JP2022168622A - プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法 - Google Patents

Abstract

【課題】歯周疾患検査における客観的な精度を向上させることが可能なプログラム等を提供する。【解決手段】コンピュータは、対象者の上下顎画像を時系列で取得する。そして、コンピュータは、取得した上下顎画像のそれぞれに対して、歯槽頂及び歯槽底を含む複数のランドマークの座標群を特定する。更に、コンピュータは、それぞれの上下顎画像に対して特定した複数のランドマークの座標群に基づいて、歯周疾患の進行に関する情報を出力する。【選択図】図１

Description

本開示は、プログラム、情報処理装置、情報処理方法及び学習モデルの生成方法に関する。

歯周疾患の検査方法として、歯周ポケット（歯と歯ぐきの隙間）の深さを測るプロ―ビング検査、Ｘ線画像上で歯槽骨の吸収状態を検査するＸ線検査等が行われている。特許文献１では、被検者の頭部位置づけを容易に行うことができる歯科用Ｘ線撮影装置が開示されている。

特開２０２０－６２３９５号公報

上述したような検査では、検査者の検査技術によって検査結果にばらつきが生じる。例えばプロービング検査では、検査者がプローブを用いて手動で歯周ポケットの深さを測るので、検査者によって検査結果が異なる可能性があり、また、わずかな力加減で測定値が変化する。Ｘ線検査も、目視によって歯槽骨の吸収状態を判断するので、検査者の読影技術によって検査結果が異なる可能性がある。よって、上述したような検査では、客観的な検査精度に欠けるという問題がある。

本開示は、このような事情に鑑みてなされたものであり、その目的とするところは、歯周疾患の検査における客観的な精度を向上させることが可能なプログラム等を提供することにある。

本開示の一態様に係るプログラムは、対象者の上下顎画像を時系列で取得し、取得した上下顎画像のそれぞれに対して、歯槽頂及び歯槽底を含む複数のランドマークの座標群を特定し、前記上下顎画像のそれぞれに対して特定した前記ランドマークの座標群に基づいて、歯周疾患の進行に関する情報を出力する処理をコンピュータに実行させる。

本開示の一態様にあっては、歯周疾患の検査における客観的な精度を向上させることができる。

情報処理装置の構成例を示すブロック図である。 情報処理装置が記憶するＤＢの構成例を示す模式図である。 歯周疾患の進行状態の判定処理手順の一例を示すフローチャートである。 結果画面の生成処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 画面例を示す模式図である。 歯周疾患の進行状態の判定処理の説明図である。 歯周疾患の進行状態の判定処理の説明図である。 経時的な観察結果を示す説明図である。 学習モデルの構成例を示す模式図である。 学習モデルの生成処理手順の一例を示すフローチャートである。 画面例を示す模式図である。 実施形態２における歯周疾患の進行状態の判定処理手順の一例を示すフローチャートである。 画面例を示す模式図である。

以下に、本開示のプログラム、情報処理装置、情報処理方法及び学習モデルの生成方法について、その実施形態を示す図面に基づいて説明する。

（実施形態１）
患者（対象者）の上下顎画像に基づいて歯周疾患の進行状態を判定する情報処理装置について説明する。本実施形態の情報処理装置は、Ｘ線撮影装置で撮影した２次元のパノラマＸ線画像（以下では単にＸ線画像という）に基づいて歯周疾患の進行状態を判定し、判定結果に応じた情報を出力する。なお、Ｘ線画像は、レントゲン撮影によって撮影したレントゲン画像であってもよく、コンピュータ断層撮影（ＣＴ：Computed Tomography）によって撮影したＣＴ画像であってもよい。また、上下顎画像は、Ｘ線画像に限定されず、磁気共鳴画像法（ＭＲＩ：Magnetic Resonance Imaging）によって撮影したＭＲＩ画像を用いてもよい。また歯周疾患は、歯肉炎、歯周炎、歯槽膿漏等の歯周病を含む。

図１は情報処理装置の構成例を示すブロック図である。情報処理装置１０は、種々の情報処理及び情報の送受信が可能であり、例えばパーソナルコンピュータ、ワークステーション又はタブレット端末等で構成される。情報処理装置１０は、例えば医療機関に設置され、歯科医師又は医師等によって使用される。本実施形態において、情報処理装置１０は、単一のコンピュータに限らず、複数のコンピュータ及び周辺機器からなるコンピュータシステムであってもよい。また情報処理装置１０は、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

情報処理装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを有する。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、情報処理装置１０が行うべき種々の情報処理及び制御処理等を行う。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。制御プログラム１２Ｐは、情報処理装置１０の製造段階において記憶部１２に書き込まれてもよく、遠隔のサーバ装置が配信するものを情報処理装置１０が通信にて取得して記憶部１２に記憶させてもよい。また記憶部１２は、後述する患者ＤＢ（データベース）１２ａ、判定結果ＤＢ１２ｂ及びアドバイスＤＢ１２ｃを記憶している。患者ＤＢ１２ａ、判定結果ＤＢ１２ｂ及びアドバイスＤＢ１２ｃは、情報処理装置１０に接続された他の記憶装置に記憶されていてもよく、情報処理装置１０が通信可能な他の記憶装置に記憶されていてもよい。

通信部１３は、有線通信又は無線通信によって、インターネット等のネットワークに接続するための通信モジュールであり、ネットワークを介して他の装置との間で情報の送受信を行う。入力部１４は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１４及び表示部１５は一体として構成されたタッチパネルであってもよい。

読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード等を含む可搬型記憶媒体１０ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１０ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１３を介して他の装置からダウンロードして記憶部１２に記憶してもよい。

図２は情報処理装置１０が記憶するＤＢ１２ａ～１２ｃの構成例を示す模式図である。図２Ａは患者ＤＢ１２ａを、図２Ｂは判定結果ＤＢ１２ｂを、図２ＣはアドバイスＤＢ１２ｃをそれぞれ示す。患者ＤＢ１２ａは、例えば情報処理装置１０が設定されている医療機関の患者に関する情報を記憶する。図２Ａに示す患者ＤＢ１２ａは、患者ＩＤ列、患者情報列、検査情報列等を含み、患者ＩＤに対応付けて患者の情報を記憶する。患者ＩＤ列は、各患者を識別するための識別情報（患者ＩＤ）を記憶する。患者ＩＤは、例えば医療機関で発行された診察券の診察券番号であってもよい。患者情報列は、患者の氏名及び連絡先の情報等の個人情報、患者の年齢及び性別等の属性情報等を含む患者情報を記憶する。なお、患者情報は、患者の既往歴、治療履歴、服薬履歴、医療機関等で行った各種の検査結果等を含んでもよい。検査情報列は、Ｘ線検査に関する情報を記憶し、具体的には、撮影日時列、Ｘ線画像列、ランドマーク情報列、初回との変化率列を含む。撮影日時列は、Ｘ線画像の撮影日時（撮影時期）を記憶し、Ｘ線画像は、撮影したＸ線画像を記憶し、ランドマーク情報列は、Ｘ線画像から特定されたランドマーク情報を記憶する。なお、Ｘ線画像は、患者ＤＢ１２ａに記憶されるほかに、記憶部１２の所定領域又は他の記憶装置に記憶されてもよく、この場合、Ｘ線画像列は、Ｘ線画像を読み出すための情報（例えば画像データの記憶場所を示すファイル名）を記憶する。ランドマーク情報は、詳細については後述するが、Ｘ線画像中に設定された複数のランドマークの座標値を含むランドマーク座標群である。初回との変化率列は、最初に撮影されたＸ線画像と、各撮影日時に撮影されたＸ線画像とに基づいて算出される、歯槽骨の吸収状態の変化を示す変化率を記憶する。変化率の詳細については後述するが、変化率は、初回との変化率のほかに、任意の２つの撮影日時における変化率であってもよい。また、変化率を算出する際にランドマークを複数の領域に分割するが、各領域における２つの撮影日時における変化率が患者ＤＢ１２ａに記憶されてもよい。患者ＤＢ１２ａの記憶内容は図２Ａに示す例に限定されない。

判定結果ＤＢ１２ｂは、歯周疾患の進行状態の判定結果に関する情報を記憶する。図２Ｂに示す判定結果ＤＢ１２ｂは、判定結果ＩＤ列、判定結果列、判定条件列等を含み、判定結果ＩＤに対応付けて判定結果の情報を記憶する。判定結果ＩＤ列は、予め用意された判定結果を識別するための識別情報（判定結果ＩＤ）を記憶する。判定結果列は、歯周疾患の進行状態に関する判定結果を記憶する。判定結果は、歯科医師、歯科衛生士、歯科技工士、医師等の専門家が歯周疾患の進行状態を、歯槽骨の吸収度合に応じて判定したものである。判定条件列は、各判定結果であると判定する際の条件を記憶する。本実施形態では、歯周疾患の進行状態を、歯槽骨の吸収度合に基づいて判定しており、判定条件は、歯槽骨の吸収状態の経年変化を示す変化率を用いて設定される。判定結果ＤＢ１２ｂの記憶内容は図２Ｂに示す例に限定されない。

アドバイスＤＢ１２ｃは、歯周疾患の進行状態の判定結果に応じて患者に提供するアドバイスに関する情報を記憶する。図２Ｃに示すアドバイスＤＢ１２ｃは、アドバイスＩＤ列、アドバイス内容列、提供条件列等を含み、アドバイスＩＤに対応付けてアドバイスの情報を記憶する。アドバイスＩＤ列は、予め用意されたアドバイスを識別するための識別情報（アドバイスＩＤ）を記憶する。アドバイス内容列は、歯周疾患の進行状態に応じて患者に提供すべきアドバイスの内容を記憶する。アドバイスは、歯周疾患の進行状態の判定結果に応じて歯周疾患の進行を防止するためのアドバイス等を含み、専門家によって設定される。またアドバイスは、歯周疾患の予防方法、治療方法、食生活及び歯磨き等の生活習慣等に関する情報を含んでもよい。提供条件列は、各アドバイスを提供する条件を記憶する。提供条件は、判定結果及び歯槽骨の吸収状態の経年変化を示す変化率を用いて設定される。アドバイスＤＢ１２ｃの記憶内容は図２Ｃに示す例に限定されない。

以下に、患者のＸ線画像から歯周疾患の進行状態を判定する処理について説明する。図３は歯周疾患の進行状態の判定処理手順の一例を示すフローチャート、図４は結果画面の生成処理手順の一例を示すフローチャート、図５及び図６は画面例を示す模式図、図７及び図８は歯周疾患の進行状態の判定処理の説明図である。以下の処理は、情報処理装置１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。なお、以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態の情報処理装置１０の制御部１１は、患者の上下顎骨を撮影したＸ線画像（上下顎画像）を取得する（Ｓ１１）。例えば情報処理装置１０がＸ線撮影装置に接続されている場合、制御部１１は、Ｘ線撮影装置からＸ線画像を取得する。また情報処理装置１０がＸ線撮影装置に搭載されている場合、制御部１１は、Ｘ線撮影装置の撮影部からＸ線画像を取得する。またＸ線画像が可搬型記憶媒体１０ａに記憶されている場合、制御部１１は、読み取り部１６によって可搬型記憶媒体１０ａから読み取ってもよい。更に制御部１１は、Ｘ線撮影装置からＸ線画像を取得した他の情報処理装置からＸ線画像を取得してもよい。Ｘ線画像には撮影日時が付加されており、制御部１１は、患者ＩＤと共にＸ線画像を取得し、取得したＸ線画像及び撮影日時を患者ＩＤに対応付けて患者ＤＢ１２ａに記憶する。そして制御部１１は、Ｘ線画像を含む操作画面を表示部１５に表示する（Ｓ１２）。

図５Ａは操作画面例を示し、操作画面は、患者ＩＤ及び患者の氏名、撮影日時、Ｘ線画像等を表示している。また操作画面はメニューバー１５ａを有しており、メニューバー１５ａは、Ｘ線画像中の上下顎骨に対して所定のランドマークを設定するためのランドマーク設定ボタンと、歯周疾患の進行状態（歯槽骨の吸収状態の経年変化）を判定する歯周疾患検査の実行を指示するための歯周疾患検査ボタンと、表示されるＸ線画像の切替を指示するための画像切替ボタンとを有する。歯周疾患検査ボタンには、表示中のＸ線画像と比較すべき比較対象のＸ線画像を指定（選択）するための入力欄１５ｂが対応付けて設けてあり、画像切替ボタンには、操作画面に表示すべきＸ線画像を指定（選択）するための入力欄１５ｃが対応付けて設けてある。入力欄１５ｂ，１５ｃには、これまでに撮影したＸ線画像の撮影日のいずれかを選択するためのプルダウンメニューが設けられている。具体的には、患者ＤＢ１２ａに記憶してある当該患者の検査情報に含まれる撮影日の一覧を表示し、いずれかの撮影日を選択できるプルダウンメニューが設定されている。

図５Ａに示す操作画面においてユーザ（例えば歯科医師）はまず、ランドマーク設定ボタンを操作して、表示中のＸ線画像に対してランドマークの設定を行う。制御部１１は、ランドマーク設定ボタンが操作されたか否かを判断しており（Ｓ１３）、操作されていないと判断した場合（Ｓ１３：ＮＯ）、操作されるまで待機する。このとき、画像切替ボタンが操作された場合、制御部１１は、入力欄１５ｃを介して選択された撮影日のＸ線画像を患者ＤＢ１２ａから読み出し、読み出したＸ線画像の表示に切り替える処理を行う。ランドマーク設定ボタンが操作されたと判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、操作画面を介してＸ線画像に対するランドマークの位置を受け付ける（Ｓ１４）。ランドマーク設定ボタンが操作された場合、制御部１１は、図５Ｂに示すように、ランドマーク設定ボタンを、ランドマークの設定中であることを示す態様で表示し、表示中のＸ線画像上にカーソル１５ｄを表示する。ユーザは、カーソル１５ｄで所望の位置を指し示した状態でダブルクリック等の操作を行うことによって、ランドマークの設定を行う。よって、制御部１１は、入力部１４を介したユーザの操作に従って、表示中のＸ線画像に対するランドマークの位置を受け付ける。なお、制御部１１は、受け付けたランドマークを表示中のＸ線画像上にプロットする。

図７Ａはランドマークの説明図であり、本実施形態では、各歯の歯槽において遠心側の歯槽頂及び歯槽底をランドマークに用いる。具体的には、図７Ａに示すように、上顎及び下顎のそれぞれにおいて、左側の各歯の歯槽については左側の歯槽頂ＬＨ及び歯槽底ＬＬをランドマークに用い、右側の各歯の歯槽については右側の歯槽頂ＲＨ及び歯槽底ＲＬをランドマークに用いる。なお、Ｘ線画像中の天然歯の歯槽（天然歯槽）における歯槽頂及び歯槽底をランドマートに使用し、人工歯（インプラント等）、第三大臼歯（親知らず）の歯槽における歯槽頂及び歯槽底はランドマークに使用しない。また、欠損歯、矯正治療の際に抜歯した歯等は、歯槽が残存している場合、当該歯槽の歯槽頂及び歯槽底をランドマークに使用してもよい。ランドマークの設定は、上述したようにユーザが手動で行うほかに、ルールベースで行うように構成されていてもよい。例えば、歯又は歯槽の形状を示す画像を予め用意しておき、この画像を用いたパターンマッチングによってＸ線画像中の歯槽を特定し、特定した歯槽に対する歯槽頂及び歯槽底をランドマークに設定してもよい。またこのとき、設定されたランドマークをプロットしたＸ線画像を表示し、ユーザによる修正を行った後に、最終的なランドマークに設定してもよい。

ユーザは、表示中のＸ線画像に対して、全ての天然歯槽に対して歯槽頂及び歯槽底の２つのランドマークの印を付けた後、設定ボタンを操作する。制御部１１は、操作画面中の設定ボタンが操作されたか否かを判断しており（Ｓ１５）、操作されていないと判断した場合（Ｓ１５：ＮＯ）、ステップＳ１４の処理に戻り、ランドマークの受付を繰り返す。設定ボタンが操作されたと判断した場合（Ｓ１５：ＹＥＳ）、制御部１１は、受け付けた各ランドマークの座標値を取得する（Ｓ１６）。例えば制御部１１は、Ｘ線画像中の所定位置（例えば左上位置）を原点とし、原点から右方向をＸ軸とし、原点から下方向をＹ軸として、全てのランドマークの座標値（ｘ，ｙ）を取得する。これにより、制御部１１（特定部）は、Ｘ線画像に対して複数のランドマークの座標値（座標群）を特定し、各ランドマークの座標値を取得できる。制御部１１は、全てのランドマークの座標値をランドマーク情報（ランドマークの座標群）として、患者ＩＤに対応付けて患者ＤＢ１２ａに記憶する（Ｓ１７）。

ユーザは、歯周疾患の進行状態を判定するために、表示中のＸ線画像と比較すべき比較対象のＸ線画像の撮影日を入力欄１５ｂに入力した後、歯周疾患検査ボタンを操作する。制御部１１は、操作画面中の歯周疾患検査ボタンが操作されたか否かを判断しており（Ｓ１８）、操作されていないと判断した場合（Ｓ１８：ＮＯ）、操作されるまで待機する。このとき、画像切替ボタンが操作された場合、制御部１１は、入力欄１５ｃを介して選択された撮影日のＸ線画像を患者ＤＢ１２ａから読み出し、読み出したＸ線画像の表示に切り替える処理を行う。歯周疾患検査ボタンが操作されたと判断した場合（Ｓ１８：ＹＥＳ）、制御部１１は、入力欄１５ｂを介して選択された比較対象のＸ線画像のランドマーク情報を患者ＤＢ１２ａから読み出す（Ｓ１９）。なお、比較対象のＸ線画像のランドマーク情報が患者ＤＢ１２ａに記憶されておらず、比較対象のＸ線画像のみが患者ＤＢ１２ａに記憶されている場合、制御部１１は、比較対象のＸ線画像を患者ＤＢ１２ａから読み出し、読み出したＸ線画像に対してステップＳ１４～Ｓ１７の処理を行ってランドマーク情報を生成してもよい。これにより、制御部１１（取得部）は、異なる撮影日に撮影した患者（対象者）の上下顎画像（時系列の上下顎画像）を取得することができる。

制御部１１は、表示中のＸ線画像のランドマーク情報及び比較対象のランドマーク情報を取得した後、それぞれのランドマーク情報に対して６つの領域に分割する処理を行う（Ｓ２０）。例えば図７Ｂに一点鎖線で示すように、上下それぞれの歯（歯槽）について、左右の犬歯部位を含み、左右の犬歯部位間の各歯槽のランドマークを含む領域、左の犬歯部位から左の第二大臼歯部位までの各歯槽のランドマークを含む領域、右の犬歯部位から右の第二大臼歯部位までの各歯槽のランドマークを含む領域に分割する。犬歯は、他の永久歯と比べて歯根が長いので残存している可能性が高く、犬歯の歯槽を含む各領域に分割することにより、各歯の歯槽を適切な領域に分割することができる。また、このような領域に分割されるランドマークに基づいて歯周疾患の進行状態を判定することにより、判定処理の信頼性の向上が期待できる。なお、ランドマークを分割する領域の数は６つに限定されない。例えば上下の歯をそれぞれ２つの領域に分割してもよく、４つの領域に分割してもよい。

制御部１１は、表示中のＸ線画像のランドマークと、比較対象のＸ線画像のランドマークとにおいて、分割した領域毎に、領域に含まれるランドマークの類似度を算出する（Ｓ２１）。例えば制御部１１は、プロクラステス解析によって領域内のランドマーク間の類似度（プロクラステス距離）を算出する。プロクラステス解析では、２つの形状の類似度を算出する際に、一方の形状を拡大又は縮小、平行移動、あるいは回転させることによって、他方の形状との誤差の二乗和が最小となる形状に変形し、変形後の形状と他方の形状との誤差の二乗和を類似度（プロクラステス距離）として算出する。なお、プロクラステス距離（類似度）は、値が小さいほど類似していることを意味する。図８上側は比較対象のＸ線画像における各領域のランドマークを結んで生成した閉領域を示し、図８中央は検査対象（表示中）のＸ線画像における各領域のランドマークを結んで生成した閉領域を示す。図８下側は２つのＸ線画像における各領域の閉領域の比較結果を示しており、制御部１１は、図８下側に示すように、比較対象のＸ線画像及び検査対象のＸ線画像において、各領域について、ランドマークによる閉領域間の類似度を算出する。なお、制御部１１は、２つのＸ線画像における各領域のランドマークの類似度として、プロクラステス解析によるプロクラステス距離の代わりに、相関係数を算出する構成でもよい。また、制御部１１は、機械学習によって構築された学習モデルを用いて、２つのＸ線画像における各領域のランドマークから、２つのランドマークの類似度を推定するように構成されていてもよい。例えばＣＮＮ（Convolution Neural Network）で構成され、各領域のランドマークがプロットされた画像が入力された場合に、各領域のランドマーク間の類似度を出力するように学習された学習モデルを用いてもよい。この場合、制御部１１は、各領域のランドマークをプロットした画像を学習済みの学習モデルに入力し、学習モデルからの出力情報に基づいて、２つのランドマークの類似度を推定できる。

次に制御部１１は、各領域について算出した類似度（プロクラステス距離）に基づいて、各領域の変化率を算出する（Ｓ２２）。本実施形態では、制御部１１は、プロクラステス距離を１００倍することにより変化率を算出する。制御部１１は、算出した各領域の変化率を記憶部１２に記憶しておく。また制御部１１は、ステップＳ２１で算出した各領域の類似度の平均値（平均類似度）を算出し（Ｓ２３）、算出した平均類似度に基づいて総合変化率を算出する（Ｓ２４）。ここでも、制御部１１は、平均類似度を１００倍することにより総合変化率を算出する。

制御部１１は、ステップＳ２２で算出した各領域の変化率と、ステップＳ２４で算出した総合変化率とに基づいて、歯周疾患の進行状態を判定する（Ｓ２５）。例えば制御部１１は、判定結果ＤＢ１２ｂに記憶してある判定条件から、各領域の変化率及び総合変化率に合致する判定条件を特定し、特定した判定条件に対応する判定結果を判定結果ＤＢ１２ｂから読み出す。なお、各領域の変化率及び総合変化率に合致する判定条件がない場合、各領域の変化率及び総合変化率に近い判定条件に対応する判定結果を特定してもよい。また制御部１１は、ステップＳ２２で算出した各領域の変化率と、ステップＳ２４で算出した総合変化率と、ステップＳ２５で判定した進行状態とに基づいて、アドバイスを特定する（Ｓ２６）。例えば制御部１１は、アドバイスＤＢ１２ｃに記憶してある提供条件から、各領域の変化率、総合変化率、又は判定結果（進行状態）に合致する提供条件を特定し、特定した提供条件に対応するアドバイスをアドバイスＤＢ１２ｃから読み出す。なお、各領域の変化率、総合変化率、又は判定結果に合致する提供条件がない場合、各領域の変化率、総合変化率、又は判定結果に近い提供条件に対応するアドバイスを特定してもよい。

制御部１１は、各領域の変化率及び総合変化率、判定した進行状態及び特定したアドバイス等に基づいて、歯周疾患の検査結果を表示する結果画面の生成処理を行う（Ｓ２７）。図６は結果画面例を示しており、制御部１１は、図６に示すような結果画面を生成する。具体的には、図４に示す結果画面の生成処理において、制御部１１は、検査対象のＸ線画像の撮影日、及び比較対象のＸ線画像の撮影日を特定する（Ｓ３１）。例えば、制御部１１は、図５Ｂに示す操作画面に表示された撮影日（検査対象のＸ線画像の撮影日）と、入力欄１５ｂに入力された比較対象のＸ線画像の撮影日とを取得する。また制御部１１は、ステップＳ２０で分割した各領域のランドマーク情報を取得する（Ｓ３２）。ここでは、制御部１１は、比較対象の撮影日（第１時期）のＸ線画像における各領域のランドマーク情報と、検査対象の撮影日（第２時期）のＸ線画像における各領域のランドマーク情報とを取得する。また制御部１１は、ステップＳ２１で算出した各領域の類似度と、ステップＳ２２で算出した各領域の変化率とを取得する（Ｓ３３）。更に制御部１１は、ステップＳ２３で算出した平均類似度と、ステップＳ２４で算出した総合変化率とを取得し（Ｓ３４）、ステップＳ２５で判定した進行状態（判定結果）と、ステップＳ２６で特定したアドバイスとを取得する（Ｓ３５）。

制御部１１は、ステップＳ３２で取得した各領域のランドマーク情報に基づいて、図８下側の比較結果に示すように、各領域のランドマークによる閉領域を重ね合わせる（Ｓ３６）。即ち、制御部１１は、各領域において、比較対象の撮影日（第１時期）のＸ線画像におけるランドマークによる閉領域と、検査対象の撮影日（第２時期）のＸ線画像におけるランドマークによる閉領域とを重畳させて、２つの閉領域を重ねた状態で表示する表示情報を生成する。そして、制御部１１は、ステップＳ３１，Ｓ３４～Ｓ３５で取得した各情報を表示し、ステップＳ３６で重ね合わせた各領域のランドマークの閉領域に、ステップＳ３３で取得した各領域の類似度及び変化率を対応付けて表示し、更に、歯科医師等のユーザが検査結果に対する所見を入力するための入力欄１５ｅを有する結果画面を生成する（Ｓ３７）。

これにより、図６に示すように、検査対象のＸ線画像の撮影日、比較対象のＸ線画像の撮影日、２つのＸ線画像において各領域のランドマークの比較結果（６つの領域のランドマークをそれぞれ重ねたもの、各領域の類似度及び変化率）、総合評価として平均類似度及び総合変化率、判定結果の進行状態、アドバイス、及び所見の入力欄１５ｅを表示する結果画面が生成される。

制御部１１は、結果画面に表示される各領域の比較結果に基づいて、ユーザにアラートを出すべき領域があるか否かを判断する（Ｓ３８）。例えば、ランドマークの比較結果の類似度及び変化率が他の領域よりも大きい領域がある場合、制御部１１は、当該領域（図６中では右下領域）を、ユーザにアラートを出すべき領域であると判断する。制御部１１は、アラートを出すべき領域があると判断した場合（Ｓ３８：ＹＥＳ）、当該領域をハイライトで表示する（Ｓ３９）。このように、例えば変化率が大きく、歯周疾患が進行している可能性のある領域をハイライト表示することにより、ユーザに注意を促すべき領域に対するアラートを出力することができる。

アラートを出すべき領域がないと判断した場合（Ｓ３８：ＮＯ）、制御部１１は、ステップＳ３９の処理をスキップして、図３の処理に戻る。そして、制御部１１（出力部）は、生成した結果画面を表示部１５に出力し、表示部１５に表示する（Ｓ２８）。これにより、図６に示すような結果画面が表示部１５に表示され、検査結果がユーザに提示される。なお、結果画面は印刷ボタンを有しており、印刷ボタンが操作された場合、制御部１１は、通信部１３を介して通信可能なプリンタに結果画面のデータを送信し印刷を行うことができる。また結果画面は、表示の終了を指示するための閉じるボタンを有しており、閉じるボタンが操作された場合、制御部１１は、結果画面の表示を終了する。このとき、制御部１１は、結果画面に表示された検査結果及び入力欄１５ｅに入力されたユーザの所見を検査結果の情報として、患者ＩＤに対応付けて患者ＤＢ１２ａに格納しておく。これにより、情報処理装置１０によって判定された検査結果（２つのＸ線画像の撮影日間における歯周疾患の進行状態、具体的には、各領域の類似度及び変化率）に加えて、ユーザによって入力された所見を検査結果の情報として患者ＤＢ１２ａに蓄積することができる。

上述した処理により、時系列で取得した２つのＸ線画像に基づいて、２つのＸ線画像の撮影日間における歯槽骨の吸収状態の変化（経年変化率）を特定し、経年変化率に基づいて歯周疾患の進行状態を判定し、判定した検査結果を提示することができる。よって、歯周疾患の進行状態が、歯槽骨の吸収状態の経年変化率という客観的な数値で判定されるので、歯周疾患検査における客観的な精度を向上させることができ、検査者による検査結果のバラツキが抑制できる。歯科医師又は歯科衛生士等の医療従事者は、患者の上下顎のレントゲン写真を撮影すればよいので、プロービング検査又はＸ線画像の読影を行う必要がなくなり、作業負担の軽減が可能となる。また、客観的な数値で歯周疾患の進行状態が表されるので、患者に対して歯周疾患の進行状態を明確に示すことができる。更に、治療方針を決定する際の指標が明確となるので、適切な治療方針の決定が可能となり、また、決定した治療方針に対する説得力が向上する。

本実施形態では、２つのＸ線画像の撮影日間における歯周疾患の進行状態を判定できるので、任意の２つの撮影日が指定されることにより、指定された撮影日間における進行状態を判定できる。よって、例えば第１撮影日～第１０撮影日の１０枚のＸ線画像を撮影した患者については、第１撮影日と、第２撮影日～第１０撮影日のそれぞれとの間における進行状態を判断することにより、第１撮影日からの歯周疾患の進行状態を経時的に観察することができる。例えば図２Ａに示すように患者ＤＢ１２ａに、各Ｘ線画像について、初回撮影日からの変化率が蓄積されている場合、変化率の推移を提示することができ、経時的な観察を行うことができる。図９は経時的な観察結果を示す説明図である。図９上側には、４３歳から７９歳までに１０枚のＸ線画像を撮影した患者において、２回目以降のＸ線画像のそれぞれを、初回撮影時（４３歳時点）のＸ線画像と比較した検査結果（類似度及び変化率）を示している。なお、初回のＸ線画像との変化率が患者ＤＢ１２ａに蓄積されている場合、制御部１１は、初回撮影時のＸ線画像と比較した検査結果（初回との変化率）を患者ＤＢ１２ａから読み出すことができる。また、制御部１１は、各Ｘ線画像の撮影日と、例えば患者ＤＢ１２ａに記憶してある患者の生年月日とに基づいて、各Ｘ線画像の撮影日における患者の年齢を算出する。各Ｘ線画像について、撮影日における年齢と、初回との変化率（又は類似度）とを算出した場合、制御部１１は、図９下側に示すようなグラフを生成し、表示部１５に表示することができる。図９下側のグラフは、横軸を年齢とし、縦軸を変化率（総合変化率）として、初回（４３歳）からの経過年数に対応する変化率の推移を示している。このようなグラフによれば、歯周疾患の進行状態を判定するための変化率の変化を明確に提示することができ、例えば歯周疾患が悪化したタイミング等を容易に把握することができる。図９下側のグラフは、図６に示す結果画面に表示されてもよい。またこの場合、グラフに含まれる複数年における変化率の推移に応じたアドバイスを提示してもよい。例えば、徐々に悪化しているのか、若干悪化しているが問題ない状態であるのか、悪化していたが回復傾向にあるのか等のアドバイスを提示することができる。これらのアドバイスもアドバイスＤＢ１２ｃに登録しておくことにより、各提供条件に合致した場合にユーザに提示することができる。

本実施形態において、初回との比較を行うほかに、時系列の撮影日において直近の撮影日のＸ線画像との比較結果を経時的に観察した検査結果を提示することもできる。この場合、情報処理装置１０の制御部１１は、患者ＤＢ１２ａに蓄積されている各Ｘ線画像のランドマーク情報に基づいて、時系列に前後する撮影日のＸ線画像間の類似度又は変化率を算出し、それぞれ算出した類似度又は変化率の推移を示すグラフを生成してもよい。また、情報処理装置１０において、制御部１１は、患者ＤＢ１２ａに蓄積してある複数枚のＸ線画像を読み出して、撮影日時の順に順次表示部１５に表示させることにより、複数のＸ線画像が時系列に切り替えて表示されるアニメーションを生成することができる。

本実施形態によれば、例えば１年に１回Ｘ線画像を撮影している場合、１年毎の進行状態を把握することができ、長期的な観察が可能となる。歯周疾患は徐々に進行する病気であり、進行状態を正確に診断するためには継続した観察が必要である。従って、本実施形態の情報処理装置１０を用いることにより、経年変化率による客観的な評価（検査結果）を長期的に継続することが可能であり、長期的な進行状態を適切に診断することができる。このように長期的な観察を行うことにより、歯槽骨の吸収による歯牙脱落の可能性を評価及び予想することができ、将来の歯周疾患の進行状態を予測することが可能となる。

本実施形態では、図６の結果画面に示すように、総合評価のほかに、領域毎の評価（検査結果）を提示できる。よって、患者によっては、歯磨きが苦手な箇所等を把握することができ、歯磨き習慣を改善することが可能となる。

本実施形態において、上下顎画像は、少なくとも患者の顎骨の画像を２次元に展開したパノラマ画像であればよく、パノラマＸ線画像のほかに、ＭＲＩ画像から生成された上下顎骨のパノラマ画像を用いてもよく、その他の撮影方法で撮影されたパノラマ画像を用いてもよい。また、２つの上下顎画像間におけるランドマークの類似度として、プロクラステス解析によるプロクラステス距離が算出される構成の代わりに、相関係数が算出される構成であってもよい。

本実施形態では、患者のＸ線画像から歯周疾患の進行状態を判定する処理を情報処理装置１０がローカルで行う構成であるが、この構成に限定されない。例えば、Ｘ線画像から歯周疾患の進行状態を判定する処理を行うサーバを設けてもよい。この場合、情報処理装置１０は、比較すべき複数（具体的には２つ）のＸ線画像又はＸ線画像から特定されたランドマーク情報（ランドマークの座標群）をサーバへ送信し、サーバで判定された判定結果を取得するように構成されていてもよい。なお、サーバは、情報処理装置１０からＸ線画像を取得した場合、Ｘ線画像に対してランドマークの特定を行い、比較すべき複数のＸ線画像において、ランドマークに基づく比較処理を行い、比較結果である類似度又は変化率を判定結果として情報処理装置１０へ送信する。このような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。なお、上述したようにサーバを設ける場合、サーバは、複数台設けられて分散処理する構成でもよく、１台のサーバ内に設けられた複数の仮想マシンによって実現されてもよく、クラウドサーバを用いて実現されてもよい。

本実施形態では、各患者の上下顎骨を撮影する都度、Ｘ線画像が情報処理装置１０に蓄積される。このように蓄積されたＸ線画像は、例えば身元確認用の情報として有効活用が可能である。よって、各医療機関に設置された情報処理装置１０をインターネット等のネットワークで接続することにより、または、各医療機関で撮影されたＸ線画像を例えばクラウドサーバにアップロードして管理することにより、身元確認を行う際に、蓄積されたＸ線画像を用いることが可能となる。これにより、歯周疾患の治療においては複数のＸ線画像に基づいて進行状態を判定することができ、更に身元確認用情報の確保が可能となる。

（実施形態２）
患者（対象者）の上下顎画像（Ｘ線画像）に対して、学習モデルを用いて上下顎画像中のランドマークの位置を特定する情報処理装置について説明する。本実施形態の情報処理装置１０は、実施形態１の情報処理装置１０と同様の構成を有するので、同様の構成については説明を省略する。なお、本実施形態の情報処理装置１０は、図１に示す構成に加えて、記憶部１２に学習モデル１２Ｍを記憶している。学習モデル１２Ｍは、所定の訓練データを学習済みの機械学習モデルである。学習モデル１２Ｍは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。なお、記憶部１２には、学習モデル１２Ｍを定義する情報として、学習モデル１２Ｍが備える層の情報、各層を構成するノードの情報、ノード間の重み付け及びバイアスの情報等が記憶される。本実施形態の情報処理装置１０は、患者のＸ線画像に対して、歯槽頂及び歯槽底を含むランドマークを特定する際に学習モデル１２Ｍを用いる。なお、本実施形態では、情報処理装置１０が学習モデル１２Ｍを記憶部１２に記憶している構成であるが、学習モデル１２Ｍは、情報処理装置１０がアクセス可能な外部装置に記憶される構成でもよい。

図１０は学習モデル１２Ｍの構成例を示す模式図である。学習モデル１２Ｍは、Ｘ線画像に含まれる特定のオブジェクト（本実施形態では各歯の歯槽の歯槽頂及び歯槽底によるランドマーク）を検出するための学習モデルである。学習モデル１２Ｍは、例えばセマンティックセグメンテーション技術により、画像中のオブジェクトを画素単位で分類することができるモデルである。学習モデル１２Ｍは、患者の上下顎骨を撮影したＸ線画像を入力とし、入力されたＸ線画像に含まれるランドマークを検出し、検出したランドマークの位置に関する情報を出力するモデルである。具体的には、学習モデル１２Ｍは、入力されたＸ線画像の各画素をランドマークの領域、及びその他の領域にそれぞれ分類し、各画素に領域毎のラベルを対応付けた分類済みのＸ線画像（以下ではラベル画像という）を出力する。本実施形態においても実施形態１と同様に、Ｘ線画像にはパノラマＸ線画像を用い、ランドマークには各歯の歯槽における遠心側の歯槽頂及び歯槽底を用いる。

学習モデル１２Ｍは、例えばＵ－Ｎｅｔ、ＦＣＮ（Fully Convolutional Network ）、ＳｅｇＮｅｔ等で構成することができる。なお、学習モデル１２Ｍは、Ｒ－ＣＮＮ（Regions with ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮ、ＳＳＤ（Single Shot Multibook Detector）、Ｍａｓｋ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）等で構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。情報処理装置１０は、所定の訓練データを学習する機械学習を行って学習モデル１２Ｍを事前に生成しておく。そして情報処理装置１０は、患者のＸ線画像を学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいて、Ｘ線画像中のランドマークの位置を特定する。

学習モデル１２Ｍは、入力層、中間層、及び出力層を有する。入力層には、処理対象のＸ線画像が入力される。中間層は、畳み込み層及びプーリング層と、逆畳み込み層とを有する。畳み込み層は、入力層を介して入力された画像の画素情報から画像の特徴量を抽出して特徴量マップを生成し、プーリング層は、生成された特徴量マップを圧縮する。逆畳み込み層は、畳み込み層及びプーリング層によって生成された特徴量マップを元の画像サイズに拡大（マッピング）する。なお、逆畳み込み層は、畳み込み層で抽出された特徴量に基づいて画像内にどのオブジェクトがどの位置に存在するかを画素単位で識別し、各画素がどのオブジェクトに対応するかを示したラベル画像を生成する。図１０右側に示すように、学習モデル１２Ｍから出力されるラベル画像は、Ｘ線画像の各画素が、ランドマークの画素（ランドマークの領域）と、その他の領域とに分類され、各領域に応じた画素値が割り当てられた画像となる。図１０では、ランドマークの領域に分類された画素を黒丸で示している。このような構成により、中間層は、入力されたＸ線画像に含まれるオブジェクト（ここではランドマーク）を検出するための演算及びＸ線画像から抽出される特徴量に基づきオブジェクトを識別するための演算等を実行する。出力層は、中間層の演算結果を基にオブジェクトの検出結果を出力する。よって、学習モデル１２Ｍは、入力層へのＸ線画像の入力に応じて、中間層にて演算を行い、ランドマークとして検出された画素の位置情報（例えばＸ線画像中の座標値）を出力層から出力するように構成される。なお、学習モデル１２Ｍは、それぞれ検出したランドマークに対して、ランドマークと判断すべき判別確率を対応付けて出力する構成でもよい。

学習モデル１２Ｍは、訓練用のＸ線画像と、このＸ線画像に対して判別すべきランドマークを示すデータがラベリングされたラベル画像とを含む訓練データを用意し、この訓練データを用いて未学習の学習モデルを機械学習させることにより生成することができる。なお、訓練用のラベル画像では、訓練用のＸ線画像に対して、ランドマークに判別すべき画素の座標値（ランドマークの座標群）が付与されている。学習モデル１２Ｍは、訓練データに含まれるＸ線画像が入力された場合に、訓練データに含まれるラベル画像を出力するように学習する。具体的には、学習モデル１２Ｍは、入力されたＸ線画像に基づいて中間層での演算を行い、Ｘ線画像中のランドマークを検出した検出結果を取得する。より具体的には、学習モデル１２Ｍは、Ｘ線画像中の各画素に対して、分類されたオブジェクトの種類（ランドマーク又はそれ以外）を示す値がラベリングされたラベル画像を出力として取得する。そして学習モデル１２Ｍは、取得した検出結果（ラベル画像）を、訓練データが示す正解のランドマークの座標値と比較し、両者が近似するように、ノード間の重み係数及びバイアス等のパラメータを最適化する。パラメータの最適化の方法は特に限定されないが、最急降下法、誤差逆伝播法等を用いることができる。これにより、Ｘ線画像が入力された場合に、Ｘ線画像中のランドマークを示すラベル画像を出力する学習モデル１２Ｍが得られる。

学習モデル１２Ｍの学習は他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル１２Ｍは、例えばネットワーク経由又は可搬型記憶媒体１０ａ経由で学習装置から情報処理装置１０にダウンロードされて記憶部１２に記憶される。

以下に、訓練データを学習して学習モデル１２Ｍを生成する処理について説明する。図１１は学習モデル１２Ｍの生成処理手順の一例を示すフローチャート、図１２は画面例を示す模式図である。以下の処理は、情報処理装置１０の制御部１１が、記憶部１２に記憶してある制御プログラム１２Ｐに従って行うが、他の学習装置で行われてもよい。以下の処理では、制御部１１はまず、学習に用いる訓練データを生成し、生成した訓練データを用いて学習処理を行う。

情報処理装置１０の制御部１１は、訓練用のＸ線画像を取得して表示部１５に表示する（Ｓ５１）。訓練用のＸ線画像は、患者ＤＢ１２ａに蓄積してあるＸ線画像を用いることができる。制御部１１は、例えば図１２Ａに示すような操作画面によってＸ線画像を表示する。次に制御部１１は、表示中のＸ線画像に対して、ランドマークの位置の指定を受け付ける（Ｓ５２）。制御部１１は、図１２Ａに示すように、表示中のＸ線画像上にカーソル１５ｄを表示し、カーソル１５ｄを介してダブルクリック等の操作によってランドマークの位置の指定を受け付ける。制御部１１は、指定されたランドマークの位置が不適切な位置であるか否かを判断する（Ｓ５３）。不適切な位置は、例えば人工歯槽（インプラント等）、第三大臼歯（親知らず）の歯槽、部位が不明な歯槽における歯槽頂及び歯槽底とすることができる。インプラントは人工歯根がＸ線画像に写るため、制御部１１は、ランドマークが指定された位置の近傍（歯槽に相当する位置）に人工歯根が写っているか否かを判断し、写っている場合、インプラントと判断し、当該ランドマークは不適切な位置であると判断する。なお、例えば人工歯根の画像を予め記憶部１２に記憶しておき、制御部１１は、パターンマッチングによってＸ線画像中に人工歯根があるか否かを判断できる。また例えば第三大臼歯（親知らず）の画像を予め記憶部１２に記憶しておき、制御部１１は、パターンマッチングによって、ランドマークが指定された位置の近傍（歯槽に相当する位置）に第三大臼歯があるか否かを判断し、第三大臼歯がある場合、当該ランドマークは不適切な位置であると判断する。また、制御部１１は、歯の配置位置に基づいて、Ｘ線画像中の各歯が中切歯、側切歯、犬歯、第１～第２小臼歯、第１～第３大臼歯のいずれであるかを特定し、ランドマークが指定された位置に対応する歯の種類を特定し、特定した種類が第三大臼歯である場合、当該ランドマークは不適切な位置であると判断してもよい。また、ランドマークが指定された位置に対応する歯の種類を特定できない場合、部位が不明な歯槽として、当該ランドマークは不適切な位置であると判断してもよい。なお、不適切な位置は上述した位置に限定されず、不適切な位置であるか否かの判断は上述した処理に限定されない。

指定されたランドマークの位置が不適切な位置でないと判断した場合（Ｓ５３：ＮＯ）、制御部１１は、指定されたランドマークを表示中のＸ線画像上にプロットする（Ｓ５４）。指定されたランドマークの位置が不適切な位置であると判断した場合（Ｓ５３：ＹＥＳ）、制御部１１は、アラートを出力する（Ｓ５５）。例えば制御部１１は、図１２Ｂに示すような警告画面を表示部１５に表示してユーザに警告する。図１２Ｂに示す警告画面には、ランドマークは天然歯槽の歯槽頂及び歯槽底に設定することと、ランドマークを設定できない歯槽の情報とが表示されている。

制御部１１は、操作画面中の設定ボタンが操作されたか否かを判断しており（Ｓ５６）、操作されていないと判断した場合（Ｓ５６：ＮＯ）、ステップＳ５２の処理に戻り、ランドマークの受付、受け付けたランドマークが不適切な位置であるか否かの判断を繰り返す。設定ボタンが操作されたと判断した場合（Ｓ５６：ＹＥＳ）、制御部１１は、受け付けた各ランドマークの座標値を取得する（Ｓ５７）。制御部１１は、表示中のＸ線画像に対して、取得した各ランドマークの座標値に対応する画素に、ランドマークを示すデータをラベリングしてラベル画像を生成する（Ｓ５８）。そして、制御部１１は、表示中のＸ線画像と、生成したラベル画像とを対応付けて訓練データとして記憶部１２に記憶する（Ｓ５９）。なお、制御部１１は、生成した訓練データを、記憶部１２に用意された訓練データＤＢに登録しておく。

制御部１１は、未処理のＸ線画像があるか否かを判断する（Ｓ６０）。例えば制御部１１は、患者ＤＢ１２ａに蓄積してあるＸ線画像において、未処理のＸ線画像があるか否かを判断する。未処理のＸ線画像があると判断した場合（Ｓ６０：ＹＥＳ）、制御部１１はステップＳ５１の処理に戻り、訓練データの生成が未処理のＸ線画像を取得して、ステップＳ５１～Ｓ５９の処理を行う。

未処理のＸ線画像がないと判断した場合（Ｓ６０：ＮＯ）、制御部１１は、ステップＳ６１の処理に移行し、訓練データＤＢに蓄積した訓練データを用いた学習処理を実行する。具体的には、制御部１１は、訓練データＤＢから訓練データを取得する（Ｓ６１）。そして、制御部１１は、取得した訓練データを用いて学習モデル１２Ｍの学習処理を行う（Ｓ６２）。ここでは、制御部１１は、訓練データに含まれるＸ線画像を学習モデル１２Ｍに入力し、Ｘ線画像に基づいて検出されたランドマークを示す値がラベリングされたラベル画像を学習モデル１２Ｍからの出力情報として取得する。制御部１１は、出力されたラベル画像を、訓練データに含まれるラベル画像（正解のラベル画像）と比較し、両者が近似するように、中間層での演算処理に用いるパラメータを最適化する。具体的には、制御部１１は、中間層におけるノード間の重み係数及びバイアス等のパラメータを、学習モデル１２Ｍの出力層から入力層に向かって順次更新する誤差逆伝播法を用いて最適化する。

制御部１１は、訓練データＤＢに記憶してある訓練データにおいて、未処理の訓練データがあるか否かを判断する（Ｓ６３）。未処理の訓練データがあると判断した場合（Ｓ６３：ＹＥＳ）、制御部１１はステップＳ６１の処理に戻り、学習処理が未処理の訓練データに基づいて、ステップＳ６１～Ｓ６２の処理を行う。未処理の訓練データがないと判断した場合（Ｓ６３：ＮＯ）、制御部１１は一連の処理を終了する。

上述した処理により、Ｘ線画像を入力することによって、Ｘ線画像中のランドマークを示すラベル画像を出力する学習モデル１２Ｍが得られる。なお、上述したような訓練データを用いた学習処理を繰り返し行うことにより、学習モデル１２Ｍを更に最適化することができる。また、既に学習済みの学習モデル１２Ｍについても、上述した処理を行うことによって再学習させることができ、この場合、判別精度がより高い学習モデル１２Ｍが得られる。

本実施形態の情報処理装置１０は、Ｘ線画像に基づいて歯周疾患の進行状態を判定する際に、学習モデル１２Ｍを用いてＸ線画像中のランドマークを特定する。よって、情報処理装置１０は、学習モデル１２Ｍを用いて特定されたＸ線画像中のランドマークに基づいて、歯周疾患の進行状態の判定処理を行うことができる。

図１３は実施形態２における歯周疾患の進行状態の判定処理手順の一例を示すフローチャート、図１４は画面例を示す模式図である。図１３に示す処理は、図３に示す処理において、ステップＳ１４の代わりにステップＳ７１～Ｓ７３を追加し、ステップＳ１７，Ｓ１８の間にステップＳ７４～Ｓ７５を追加したものである。図３と同じステップについては説明を省略する。本実施形態の情報処理装置１０では、制御部１１は、図３に示すステップＳ１１～Ｓ１３の処理を行う。そして、ランドマーク設定ボタンが操作されたと判断した場合（Ｓ１３：ＹＥＳ）、制御部１１は、学習モデル１２Ｍを用いて、操作画面に表示中のＸ線画像に対してランドマークを特定する（Ｓ７１）。ここでは、制御部１１は、Ｘ線画像を学習モデル１２Ｍに入力し、学習モデル１２Ｍからの出力情報に基づいて、Ｘ線画像中のランドマークの位置を特定する。Ｘ線画像中のランドマークの位置を特定した場合、制御部１１は、図１４に示すように、表示中のＸ線画像上に、特定したランドマークをプロットして表示する（Ｓ７２）。

図１４に示す操作画面では、表示中のＸ線画像上にカーソル１５ｄが表示されており、ユーザは、カーソル１５ｄによるドラッグ操作を行うことにより、Ｘ線画像上にプロットされた任意のランドマークの位置を変更（修正）することができる。制御部１１は、入力部１４を介したカーソル１５ｄのドラッグ操作に従って、Ｘ線画像中のランドマークの位置の修正指示を受け付ける（Ｓ７３）。制御部１１は、ランドマークの位置の修正指示を受け付けた場合、修正後（移動後）のランドマークをＸ線画像上に表示する。図１４に示す操作画面では、下の歯の左側の側切歯、犬歯、第一小臼歯の歯槽における歯槽底によるランドマークの位置が適切ではなく、ユーザは、ドラッグ操作によって、これらのランドマークの位置を適切な位置に修正する。

制御部１１は、操作画面中の設定ボタンが操作されたか否かを判断し（Ｓ１５）、操作されていないと判断した場合（Ｓ１５：ＮＯ）、ステップＳ７３の処理に戻り、Ｘ線画像中のランドマークに対する修正指示の受付を継続する。設定ボタンが操作されたと判断した場合（Ｓ１５：ＹＥＳ）、制御部１１は、ステップＳ１６以降の処理を実行する。また制御部１１は、ステップＳ１７の処理後、ステップＳ１１で取得したＸ線画像に対して、ステップＳ１６で取得した各ランドマークの座標値に対応する画素に、ランドマークを示すデータをラベリングしてラベル画像を生成する（Ｓ７４）。そして、制御部１１は、ステップＳ１１で取得したＸ線画像と、生成したラベル画像とを対応付けて訓練データとして記憶部１２に記憶する（Ｓ７５）。ここで生成した訓練データは、例えば学習モデル１２Ｍの再学習に使用できるものであり、制御部１１は、生成した訓練データを、記憶部１２に用意した再学習用の訓練データＤＢに登録しておく。

その後、制御部１１は、ステップＳ１８以降の処理を行い、操作画面中の歯周疾患検査ボタンが操作された場合、比較対象のＸ線画像及び検査対象のＸ線画像に設定されたランドマークに基づく歯周疾患検査を実行し、検査結果を提示する。なお、制御部１１は、ステップＳ７５で再学習用の訓練データＤＢに訓練データを登録することにより、再学習用の訓練データを収集することができ、所定のタイミングで又は所定量の訓練データが蓄積された後に、この訓練データを用いて学習モデル１２Ｍの再学習を行う。具体的には、制御部１１は、図１１中のステップＳ６１～Ｓ６３の処理を実行する。これにより、患者の歯周疾患検査を行う際に蓄積される訓練データを用いて学習モデル１２Ｍを再学習させることができるので、より精度が高い学習モデル１２Ｍを実現することができる。

本実施形態では、上述した実施形態１と同様の処理が可能であるので、同様の効果が得られる。また本実施形態では、学習モデル１２Ｍを用いてＸ線画像中のランドマークが特定されるので、歯科医師及び歯科衛生士等のユーザがランドマークを設定する際の作業負担が軽減される。また、学習モデル１２Ｍを用いて特定されたランドマークに対してユーザが位置の修正を行うことができるので、適切に修正されたランドマークに基づいて歯周疾患の進行状態を適切に判定することが可能である。

本実施形態では、学習モデル１２Ｍを用いて患者のＸ線画像からランドマークを特定する処理を情報処理装置１０がローカルで行う構成であるが、この構成に限定されない。例えば、学習モデル１２Ｍを用いたランドマークの特定処理を行うサーバを設けてもよい。この場合、情報処理装置１０は、患者のＸ線画像をサーバへ送信し、サーバで特定されたランドマーク情報（ランドマークの座標群）を取得するように構成されていてもよい。このような構成とした場合であっても、本実施形態と同様の処理が可能であり、同様の効果が得られる。なお、上述したようにサーバを設ける場合、サーバは、複数台設けられて分散処理する構成でもよく、１台のサーバ内に設けられた複数の仮想マシンによって実現されてもよく、クラウドサーバを用いて実現されてもよい。

上述した各実施形態において、Ｘ線画像中のランドマークに基づく歯周疾患の進行状態の判定結果に基づいて歯科医師が診断を行う医療行為（歯周疾患検査）に対して、保険点数が設定されている場合、情報処理装置１０は、例えば図３のステップＳ２８の処理後、当該歯周疾患検査に対する保険点数を、患者ＩＤに対応付けて患者ＤＢ１２ａに記憶しておく。これにより、歯科医師が電子カルテに各種の情報を入力する際に、Ｘ線画像中のランドマークに基づく歯周疾患検査の実行実績及び保険点数を患者ＤＢ１２ａから読み出して使用することができ、歯科医師の作業負担を軽減できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ 情報処理装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１２Ｍ 学習モデル

Claims (14)

1. 対象者の上下顎画像を時系列で取得し、
   取得した上下顎画像のそれぞれに対して、歯槽頂及び歯槽底を含む複数のランドマークの座標群を特定し、
   前記上下顎画像のそれぞれに対して特定した前記ランドマークの座標群に基づいて、歯周疾患の進行に関する情報を出力する
   処理をコンピュータに実行させるプログラム。
2. 前記上下顎画像のそれぞれに対して、前記ランドマークの座標群を複数領域に分割し、
   前記領域毎に、複数の上下顎画像間の類似度をプロクラステス解析により算出し、
   前記領域毎に算出した類似度に基づいて平均類似度を算出し、
   算出した平均類似度に基づいて歯周疾患の進行状態を特定する
   処理を前記コンピュータに実行させる請求項１に記載のプログラム。
3. 前記上下顎画像のそれぞれに対して、前記ランドマークの座標群を複数領域に分割し、
   前記領域毎に、複数の上下顎画像間の類似度をプロクラステス解析により算出し、
   前記領域毎に算出した類似度に基づいて、領域毎に歯周疾患の進行状態を特定する
   処理を前記コンピュータに実行させる請求項１又は２に記載のプログラム。
4. 前記領域毎に特定した歯周疾患の進行状態を、それぞれの進行状態に応じた態様で出力する
   処理を前記コンピュータに実行させる請求項３に記載のプログラム。
5. 前記領域毎に、異なる２つの撮影時期に撮影した上下顎画像におけるランドマークを重畳して表示する表示情報を生成し、
   生成した表示情報を出力する
   処理を前記コンピュータに実行させる請求項２から４までのいずれかひとつに記載のプログラム。
6. 前記ランドマークの座標群を、上顎及び下顎のそれぞれについて、左右の犬歯部位を含み左右の犬歯部位間の領域と、左の犬歯部位から左の第二大臼歯部位までの領域と、右の犬歯部位から右の第二大臼歯部位までの領域とに分割する
   請求項２から５までのいずれかひとつに記載のプログラム。
7. 取得した前記上下顎画像のそれぞれの撮影時期から２つの撮影時期の選択を受け付け、
   選択を受け付けた２つの撮影時期の上下顎画像に基づいて、前記２つの撮影時期間における歯周疾患の進行に関する情報を出力する
   処理を前記コンピュータに実行させる請求項１から６までのいずれかひとつに記載のプログラム。
8. 出力した歯周疾患の進行に関する情報に対する所見を受け付ける
   処理を前記コンピュータに実行させる請求項１から７までのいずれかひとつに記載のプログラム。
9. 上下顎画像が入力された場合に前記上下顎画像中の歯槽頂及び歯槽底を含む複数のランドマークの座標群を出力するように学習された学習モデルに、取得した前記上下顎画像を入力し、前記上下顎画像中の前記複数のランドマークの座標群を特定する
   請求項１から８までのいずれかひとつに記載のプログラム。
10. 特定した前記複数のランドマークの座標群に対する修正指示を受け付け、
    修正指示を受け付けたランドマークの座標を修正する
    処理を前記コンピュータに実行させる請求項９に記載のプログラム。
11. 対象者の上下顎画像を時系列で取得する取得部と、
    取得した上下顎画像のそれぞれに対して、歯槽頂及び歯槽底を含む複数のランドマークの座標群を特定する特定部と、
    前記上下顎画像のそれぞれに対して特定した前記ランドマークの座標群に基づいて、歯周疾患の進行に関する情報を出力する出力部と
    を備える情報処理装置。
12. 対象者の上下顎画像を時系列で取得し、
    取得した上下顎画像のそれぞれに対して、歯槽頂及び歯槽底を含む複数のランドマークの座標群を特定し、
    前記上下顎画像のそれぞれに対して特定した前記ランドマークの座標群に基づいて、歯周疾患の進行に関する情報を出力する
    処理をコンピュータが実行する情報処理方法。
13. 対象者の上下顎画像と、前記上下顎画像中の歯槽頂及び歯槽底を含む複数のランドマークの座標群とを含む訓練データを取得し、
    取得した訓練データを用いて、上下顎画像が入力された場合に前記上下顎画像中の歯槽頂及び歯槽底を含む複数のランドマークの座標群を出力する学習モデルを生成する
    処理をコンピュータが実行する学習モデルの生成方法。
14. 前記対象者の上下顎画像と、前記上下顎画像中の天然歯槽の歯槽頂及び歯槽底を含む複数のランドマークの座標群とを含む訓練データを取得する
    請求項１３に記載の学習モデルの生成方法。

Images