JP2022073148A - コンピュータプログラム、学習モデルの生成方法、情報出力装置、及び情報出力方法 - Google Patents

Abstract

【課題】コンピュータプログラム、学習モデルの生成方法、情報出力装置、及び情報出力方法の提供。【解決手段】コンピュータに、ユーザの口腔内を撮像して得られる口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成し、歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、ユーザの口腔内画像から生成した歯周領域画像を入力することにより、ユーザの口腔内における歯周病の有無を推定し、推定結果に応じた情報を出力する処理を実行させる。【選択図】図９

Description

特許法第３０条第２項適用申請有り 令和 １年１２月 ５日に、６ｔｈ Ａｎｎｕａｌ Ｃｏｎｆ．ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ ＆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＣＳＣＩ’１９），Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｈｅａｌｔｈ Ｉｎｆｏｒｍａｔｉｃｓ ａｎｄ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ（ＣＳＣＩ－ＩＳＨＩ）＋Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｉｇｎａｌ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＳＣＩ－ＩＳＰＣ）にて公開 令和 １年１２月１６日に、ソーシャル・スマートデンタルホスピタル シンポジウム（第３回）にて公開 令和 ２年 １月２２日に、Ｈｅｌｌｏ！Ｄｏｃｔｏｒのウェブサイトにて公開（ｈｔｔｐｓ：／／ｗｗｗ．ｈｅｌｌｏｄｏｃｔｏｒ．ｊｐ／２０２０／０１／２２／画像認証／） 令和 ２年 ４月２０日に、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１９ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ＆Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＣＳＣＩ），９２４頁－９２９頁が掲載されたＩＥＥＥ Ｘｐｌｏｒｅのウェブサイトにて公開（ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｄｏｃｕｍｅｎｔ／９０７１３０７）（ｈｔｔｐｓ：／／ｉｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ／ｘｐｌ／ｃｏｎｈｏｍｅ／９０５２５５４／ｐｒｏｃｅｅｄｉｎｇ？ｐａｇｅＮｕｍｂｅｒ＝８）

本発明は、コンピュータプログラム、学習モデルの生成方法、情報出力装置、及び情報出力方法に関する。

口腔内を撮像して得られる口腔内画像に基づき、齲蝕などの疾患を診断することが行われている。疾患の診断は、例えば、医師による画像の目視及び画像解析等により行われる。例えば、特許文献１には、口腔内画像に基づいて、歯の表面を画像分析することにより、虫歯の有無を検出する技術が開示されている。

特表２０１４－５０９９０８号公報

特許文献１に開示された技術は、歯の表面の色や形状を分析することによって虫歯の有無を検出するものであり、歯周病の有無を推定するための技術に転用することはできない。

本発明は、歯周病の有無を推定できるコンピュータプログラム、学習モデルの生成方法、情報出力装置、及び情報出力方法を提供することを目的とする。

本発明の一態様に係るコンピュータプログラムは、コンピュータに、ユーザの口腔内を撮像して得られる口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成し、歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記ユーザの口腔内画像から生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定し、推定結果に応じた情報を出力する処理を実行させる。

本発明の一態様に係る学習モデルの生成方法は、コンピュータを用いて、患者の口腔内画像から個々の歯を認識し、認識した歯のうち特定の歯の歯周領域を前記口腔内画像から抽出して歯周領域画像を生成し、生成した歯周領域画像と、前記患者が歯周病に罹患しているか否かを示す正解データとを含む訓練データを取得し、取得した訓練データのセットに基づき、歯周領域画像を入力した場合、歯周病の有無に係る情報を出力する学習モデルを生成する。

本発明の一態様に係る情報出力装置は、ユーザの口腔内を撮像して得られる口腔内画像を取得する取得部と、取得した口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成する生成部と、歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記生成部が生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定する推定部と、推定結果に応じた情報を出力する出力部とを備える。

本発明の一態様に係る情報出力方法は、コンピュータを用いて、ユーザの口腔内を撮像して得られる口腔内画像を取得し、取得した口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成し、歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記ユーザの口腔内画像から生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定し、推定結果に応じた情報を出力する。

本願によれば、歯周病の有無を推定できる。

実施の形態１に係る情報出力装置の構成を説明するブロック図である。 学習モデルの構成例を示す模式図である。 口腔内画像群より選別される正面画像及び上顎噛合面画像の一例を示す模式図である。 学習モデルの構成例を示す模式図である。 オブジェクトの検出例を示す模式図である。 歯周領域の抽出手法を説明する説明図である。 学習モデルの構成例を示す模式図である。 学習モデルの変形例を示す模式図である。 情報処理装置が実行する処理の手順を説明するフローチャートである。 推定結果の表示例を示す模式図である。 サーバ装置の構成を説明するブロック図である。 サーバ装置が備える口腔内画像データベースの構成例を示す概念図である。 学習モデルの生成手順を説明するフローチャートである。 実施の形態２における歯周領域の抽出手法を説明する説明図である。 実施の形態３における学習モデルの構成例を示す模式図である。 実施の形態４における学習モデルの構成例を示す模式図である。 推定結果の表示例を示す模式図である。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は実施の形態１に係る情報処理装置の構成を説明するブロック図である。情報処理装置１は、例えば、ユーザによって使用される端末装置であり、スマートフォン、タブレット端末、パーソナルコンピュータなどを含む。代替的に、情報処理装置１は、医療機関（歯科）に設置されるコンピュータであってもよい。情報処理装置１は、制御部１１、記憶部１２、撮像部１３、通信部１４、操作部１５、表示部１６などを備えており、ユーザの口腔内を撮像して得られる口腔内画像から歯周領域画像を生成し、生成した歯周領域画像を学習モデルＭＤ２０へ入力することによって歯周病の有無を推定し、推定結果に応じた情報を出力する。

情報処理装置１が備える制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、情報処理装置１が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶されている制御プログラムや記憶部１２に記憶されている各種コンピュータプログラムを読み込んで実行し、ハードウェア各部の動作を制御することによって、装置全体を本発明に係る情報出力装置として機能させる。制御部１１が備えるＲＡＭには、演算の実行中に利用されるデータが一時的に記憶される。

実施の形態１において、制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える１又は複数の演算回路であってもよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

記憶部１２は、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read Only Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などのストレージを備える。記憶部１２には、制御部１１によって実行される各種のコンピュータプログラムや制御部１１によって利用される各種のデータが記憶される。

記憶部１２に記憶されるコンピュータプログラムには、ユーザの口腔内画像に基づき、歯周病の有無を推定する処理をコンピュータに実行させるための推定処理プログラムＰＧ１が含まれる。推定処理プログラムＰＧ１は、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構成されるものであってもよい。また、推定処理プログラムＰＧ１は、既存のライブラリを部分的に用いるものであってもよい。

記憶部１２に記憶されるコンピュータプログラムは、このコンピュータプログラムを読み取り可能に記録した非一時的な記録媒体Ｍ１により提供される。記録媒体Ｍ１は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。制御部１１は、図に示していない読取装置を用いて、記録媒体Ｍ１から各種コンピュータプログラムを読み取り、読み取った各種コンピュータプログラムを記憶部１２に記憶させる。また、記憶部１２に記憶されるコンピュータプログラムは、通信部１４を介した通信により提供されてもよい。この場合、制御部１１は、通信部１４を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部１２に記憶させればよい。

また、記憶部１２は、学習モデルＭＤ１０，ＭＤ２０，ＭＤ３０を備える。学習モデルＭＤ１０は、口腔内画像の選別に用いられる学習モデルである。学習モデルＭＤ１０は、口腔内画像の入力に応じて、当該口腔内画像が撮像された撮像方向に関する情報を出力するように学習された学習済みの学習モデルである。記憶部１２には、学習モデルＭＤ１０を定義する情報として、学習モデルＭＤ１０が備える層の情報、各層を構成するノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＭＤ１０の詳細については後に詳述することとする。

学習モデルＭＤ２０は、画像内に含まれる特定のオブジェクト（歯）を検出するための学習モデルである。本実施の形態において、学習モデルＭＤ２０は、口腔内画像の入力に応じてオブジェクトの検出結果を出力するように学習された学習済みの学習モデルである。記憶部１２には、学習モデルＭＤ２０を定義する情報として、学習モデルＭＤ２０が備える層の情報、各層を構成するノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＭＤ２０の詳細については後に詳述することとする。

学習モデルＭＤ３０は、歯周病の有無を推定するための学習モデルである。本実施の形態において、学習モデルＭＤ３０は、歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するように学習される。ここで、歯周領域画像は、歯の少なくとも一部の領域と、歯を支える歯周組織の少なくとも一部の領域とを含む領域の画像である。本実施の形態では、学習モデルＭＤ２０を用いて検出されるオブジェクトに基づき、歯周領域画像が生成される。記憶部１２には、学習モデルＭＤ３０を定義する情報として、学習モデルＭＤ３０が備える層の情報、各層を構成するノードの情報、ノード間の重み付け及びバイアスの情報などが記憶される。学習モデルＭＤ３０の詳細については後に詳述することとする。

撮像部１３は、撮像素子やドライバ回路などを備える。撮像素子は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）などにより構成される。ドライバ回路は、タイミングジェネレータ（ＴＧ）やアナログ処理回路（ＡＦＥ）などを備える。ドライバ回路は、ＴＧから出力されるクロック信号に同期して撮像素子から出力されるＲＧＢ各色の信号を取り込み、ノイズ除去、増幅、ＡＤ変換などの必要な処理をＡＦＥにて施すことにより、デジタル形式の画像を生成する。ドライバ回路が生成する画像は、静止画であってもよく、動画であってもよい。以下では、静止画及び動画を区別することなく、単に画像と記載する。撮像部１３は、撮像対象を撮像することにより得られる画像を制御部１１へ出力する。本実施の形態において、撮像対象はユーザの口腔内である。すなわち、撮像部１３は、ユーザの口腔内を撮像して得られる口腔内画像を制御部１１へ出力する。

通信部１４は、各種データを送受信する通信インタフェースを備える。通信部１４が備える通信インタフェースは、例えば、ＷｉＦｉ（登録商標）やイーサネット（登録商標）で用いられるＬＡＮ（Local Area Network）の通信規格に準じた通信インタフェースである。通信部１４は、送信すべきデータが制御部１１から入力された場合、指定された宛先へ送信すべきデータを送信する。また、通信部１４は、外部装置から送信されたデータを受信した場合、受信したデータを制御部１１へ出力する。

操作部１５は、タッチパネル、キーボード、スイッチなどの操作デバイスを備え、ユーザによる各種の操作及び設定を受付ける。制御部１１は、操作部１５より与えられる各種の操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。

表示部１６は、液晶モニタや有機ＥＬ（Electro-Luminescence）などの表示デバイスを備え、制御部１１からの指示に応じて医療従事者等に報知すべき情報を表示する。

なお、本実施の形態では、情報処理装置１が学習モデルＭＤ１０，ＭＤ２０，ＭＤ３０を備える構成としたが、学習モデルＭＤ１０，ＭＤ２０，ＭＤ３０は、情報処理装置１からアクセス可能な外部装置（例えば、図１３に示すサーバ装置２）に記憶されるものであってもよい。

また、本実施の形態では、情報処理装置１が撮像部１３を備える構成としたが、外部の撮像装置にて撮像された口腔内画像を通信部１４や図に示していない読取装置を用いて取得する構成としてもよい。

更に、情報処理装置１は、単一のコンピュータに限らず、複数のコンピュータや周辺機器からなるコンピュータシステムであってもよい。また、情報処理装置１は、ソフトウェアによって仮想的に構築される仮想マシンであってもよい。

以下、情報処理装置１における処理内容について説明する。

（１）口腔内画像の選別
口腔内画像は、歯の表側（唇側）、上顎噛合面、下顎噛合面などを様々な撮像方向から撮像した画像を含む。情報処理装置１は、撮像方向が様々な口腔内画像を含む画像群から歯周病の推定に好適な口腔内画像を選別する。情報処理装置１は、歯周病の推定に好適な口腔内画像として、例えば、歯の表側を正面から撮像した口腔内画像（以下、正面画像とも記載する）と、上顎噛合面を下側から上向きに撮像し、前歯の裏側（舌側）や臼歯の噛合面を含む口腔内画像（以下、上顎噛合面画像とも記載する）とを口腔内画像群から選別する。以下、学習モデルＭＤ１０を用いて口腔内画像を選別する構成について説明する。

図２は学習モデルＭＤ１０の構成例を示す模式図である。学習モデルＭＤ１０は、画像認識に用いられる機械学習の学習モデルであり、ＶＧＧＮｅｔ（Visual Geometry Group Network）、ＲｅｓＮｅｔ（Residual Network）、ＡｌｅｘＮｅｔなどを含むＣＮＮ（Convolutional Neural Network）によって構築される。学習モデルＭＤ１０は、口腔内画像の入力に応じて、口腔内画像の撮像方向（種別）に関する情報を出力するように構成される。

学習モデルＭＤ１０は、入力層、中間層（隠れ層）、及び出力層を備える。入力層には、撮像された口腔内画像の画像データが入力される。入力層に入力された口腔内画像の画像データは中間層へ送出される。中間層は、畳み込み層、プーリング層、及び全結合層により構成される。畳み込み層とプーリング層とは交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって、入力層より入力される口腔内画像の特徴を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。

出力層は、１つ又は複数のノードを備える。出力層は、中間層の全結合層から入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、得られた確率を各ノードから出力する。例えば、第１のノードからは、入力された口腔内画像が正面画像である確率Ａ１、第２ノードからは、入力された口腔内画像が上顎噛合面画像である確率Ａ２、第３ノードからは、入力された口腔内画像がその他である確率Ａ３を出力する。情報処理装置１の制御部１１は、学習モデルＭＤ１０の出力層から出力される確率を参照することによって、口腔内画像を選別する。

このような学習モデルＭＤ１０は、撮像方向が既知の口腔内画像と、この口腔内画像に対する撮像方向を示す情報（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。学習モデルＭＤ１０は、情報処理装置１の内部において生成されてもよく、外部サーバ（例えばサーバ装置２）において生成されてもよい。生成された学習モデルＭＤ１０は、情報処理装置１の記憶部１２に記憶される。この場合、情報処理装置１の制御部１１は、処理対象の口腔内画像を学習モデルＭＤ１０へ入力し、学習モデルＭＤ１０を用いた演算を実行することによって、口腔内画像の選別結果を取得する。代替的に、学習モデルＭＤ１０は外部サーバ（例えばサーバ装置２）に記憶されてもよい。この場合、情報処理装置１は、処理対象の口腔内画像を外部サーバへ送信し、外部サーバによる演算結果（口腔内画像の選別結果）を通信により取得する。

図３は口腔内画像群より選別される正面画像及び上顎噛合面画像の一例を示す模式図である。情報処理装置１の制御部１１は、口腔内画像を学習モデルＭＤ１０に入力し、学習モデルＭＤ１０を用いた演算結果を実行することにより、口腔内画像の認識結果を取得する。制御部１１は、学習モデルＭＤ１０から得られる認識結果を参照することによって、口腔内画像群より正面画像及び上顎噛合面画像を選別する。

本実施の形態では、口腔内画像から正面画像及び上顎噛合面画像を選別する構成としたが、選別する口腔内画像は、正面画像及び上顎噛合面画像に限らず、下顎噛合面を上側から下向きに撮像した口腔内画像（下顎噛合面画像）などを含んでもよい。

また、本実施の形態では、学習モデルＭＤ１０を用いて正面画像及び上顎噛合面画像を選別する構成としたが、情報処理装置１に入力される口腔内画像が正面画像及び上顎噛合面画像に限られる場合、上述した選別処理を省略してもよい。情報処理装置１は、取得する口腔内画像を正面画像又は上顎噛合面画像に限定するために、口腔内を撮像する際、ユーザに対して撮像方向を指示してもよい。例えば、歯を閉じた状態にて正面から口腔内を撮像するようにユーザに指示することにより、正面画像が得られる。また、上顎噛合面を下方から上向きに撮像するようにユーザに指示することにより、上顎噛合面画像が得られる。この結果、情報処理装置１に入力される口腔内画像は、正面画像及び上顎噛合面画像に限定されるので、上述の選別処理を省略してもよい。

以下の説明において、選別された正面画像及び上顎噛合面画像を区別して説明する必要がある場合を除き、単に口腔内画像と記載する。

（２）歯の検出
情報処理装置１は、選別された口腔内画像から特定の歯を検出する。本実施の形態では、口腔内画像に含まれる歯列から、上顎中切歯（上顎歯列で正中線の両側に並ぶ２本の歯）と、上顎側切歯（上顎歯列で中切歯の遠心側に隣接する２本の歯）とを検出する。以下、学習モデルＭＤ２０を用いて歯を検出する構成について説明する。

図４は学習モデルＭＤ２０の構成例を示す模式図である。学習モデルＭＤ２０は、画像内の特定のオブジェクト（本実施の形態では上顎中切歯と上顎側切歯）を検出するための学習モデルである。学習モデルＭＤ２０には、例えば、Ｒ－ＣＮＮ（Region-based Convolutional Neural Network）、Ｆａｓｔ Ｒ－ＣＮＮ、ＳＳＤ（Single Shot Detector）、Ｍａｓｋ Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＲｅｔｉｎａＮｅｔなどによる学習モデルが用いられる。ここで、オブジェクト検出とは、画像内のオブジェクトを囲むような矩形領域（バウンディングボックス）を検出し、その矩形領域内に含まれるオブジェクトをクラス識別することをいう。

学習モデルＭＤ２０は、入力層、中間層、及び出力層を備える。入力層には、処理対象の口腔内画像が入力される。中間層は、畳み込み層、プーリング層、及び全結合層などを備え、入力された口腔内画像に含まれるオブジェクトらしき領域の候補を選定するための演算や入力画像から抽出される特徴量に基づきオブジェクトを識別するための演算等を実行する。出力層は、中間層の演算結果を基に求めたオブジェクトの検出結果を出力する。学習モデルＭＤ２０は、入力層への口腔内画像の入力に応じて、中間層にて演算を行い、例えば、クラス名、クラスの予測信頼度、及びバウンディングボックスに関する情報を出力層から出力するように構成される。

モデルＭＤ２０は、既知のオブジェクトが含まれる多数の画像と、各画像に含まれるオブジェクトのクラス名と、オブジェクトを囲むバウンディングボックスの座標値とを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。学習モデルＭＤ２０は、情報処理装置１の内部で生成されてもよく、外部サーバ（例えばサーバ装置２）において生成されてもよい。生成された学習モデルＭＤ２０は情報処理装置１の記憶部１２に記憶される。この場合、情報処理装置１の制御部１１は、処理対象の口腔内画像を学習モデルＭＤ２０へ入力し、学習モデルＭＤ２０を用いた演算を実行することによって、オブジェクトの検出結果を取得する。代替的に、学習モデルＭＤ２０は外部サーバ（例えばサーバ装置２）に記憶されてもよい。この場合、情報処理装置１は、処理対象の口腔内画像を外部サーバへ送信し、外部サーバによる演算結果（オブジェクトの検出結果）を通信により取得する。

図５はオブジェクトの検出例を示す模式図である。図５Ａは正面画像についての検出結果を示している。図５Ａに示す正面画像には、検出対象のオブジェクトとして、上顎の左右の中切歯と側切歯とが含まれている。情報処理装置１は、上述したような学習モデルＭＤ２０を用いることによって、これらのオブジェクトを囲むバウンディングボックスＢ１１～Ｂ１４を検出し、バウンディングボックスＢ１１～Ｂ１４内のオブジェクトをそれぞれクラス識別する。例えば、バウンディングボックスＢ１１は、領域内に存在するオブジェクトが上顎右側の中切歯（図５ではＵＲ１と表記）であると識別され、その予測信頼度「１００％」であることを示している。他のバウンディングボックスＢ１２～Ｂ１４についても図５Ａに示す通りである。なお、図中のＵＬ１は上顎左側の中切歯、ＵＲ２は上顎右側の側切歯、ＵＬ２は上顎左側の側切歯を表している。

図５Ｂは上顎噛合面画像についての検出結果を示している。図５Ｂに示す上顎噛合面画像には、図５Ａと同様に、検出対象のオブジェクトとして、上顎右側及び上顎左側の中切歯と側切歯とが含まれている。情報処理装置１は、上述したような学習モデルＭＤ２０を用いることによって、これらのオブジェクトを囲むバウンディングボックスＢ２１～Ｂ２４を検出し、バウンディングボックスＢ２１～Ｂ２４内のオブジェクトをそれぞれクラス識別する。例えば、バウンディングボックスＢ２１は、領域内に存在するオブジェクトがＵＲ１（上顎右側の中切歯）であると識別され、その予測信頼度「１００％」であることを示している。他のバウンディングボックスＢ２２～Ｂ２４についても図５Ｂに示す通りである。なお、図中のＵＬ１は上顎左側の中切歯、ＵＲ２は上顎右側の側切歯、ＵＬ２は上顎左側の側切歯を表している。

本実施の形態では、上顎の左右の中切歯と側切歯とを検出対象として学習モデルＭＤ２０を用いて検出する構成としたが、検出対象はこれらに限定されるものではない。例えば、中切歯のみを検出対象としてもよく、側切歯のみを検出対象としてもよい。また、側切歯の遠心側に隣接する犬歯、更に遠心側にある小臼歯を検出対象に含めてもよい。

（３）歯周領域の抽出
情報処理装置１は、口腔内画像から検出した特定の歯の領域から歯周領域を抽出する。ここで、歯周領域とは、歯を支える歯周組織（歯茎）の少なくとも一部を含む領域のことである。図６は歯周領域の抽出手法を説明する説明図である。本実施の形態では、特定の歯を含む領域として検出されたバウンディングボックスの座標を考慮して、歯の周辺の歯茎部分（特に歯と歯茎の境界部分）を含むように歯周領域を抽出する。以下、前述のバウンディングボックスＢ１１により検出された上顎右側の中切歯について歯周領域を抽出する手順を図６を用いて具体的に説明する。

図６の左側に上顎右側の中切歯を含む口腔内画像の部分拡大図を示す。この上顎右側の中切歯について検出されたバウンディングボックスＢ１１の幅をＷ、高さをＨとし、左上隅の座標を（ｘ０，ｙ０）とする。なお、座標系は図６に示すように設定される。情報処理装置１は、歯茎部分を含む歯周領域を抽出するために、バウンディングボックスＢ１１を歯茎方向（図６の例では－ｙ方向）へ平行移動させる。移動量ｈは、例えばバウンディングボックスＢ１１の高さＨの１／４～１／２程度に設定される。次いで、情報処理装置１は、平行移動させたバウンディングボックスＢ１１に含まれる画像を抽出し、抽出した画像を歯列方向（図６の例ではｘ方向）の幅が同一（Ｗ／３）となるように３分割する。このような処理により、上顎右側の中切歯について、近心部の歯周領域を抽出した歯周領域画像ＵＲ１Ｐ１、中央部を抽出した歯周領域画像ＵＲ１Ｐ２、及び遠心部の歯周領域を抽出した歯周領域画像ＵＲ１Ｐ３が生成される。歯周領域画像は、歯の周囲に存在する歯周組織だけでなく、歯の少なくとも一部の領域を含む。

図６では上顎右側の中切歯における歯周領域画像の生成例について説明したが、その他の歯の歯周領域画像を生成する場合についても同様である。

本実施の形態では、バウンディングボックスＢ１１を歯茎の方向（－ｙ方向）へ移動させる構成としたが、必要に応じて歯列方向（ｘ方向又は－ｘ方向）へ移動させてもよい。また、本実施の形態では、バウンディングボックスＢ１１の大きさを変更せずに移動させる構成としたが、バウンディングボックスＢ１１の大きさを変更して移動させてもよい。更に、本実施の形態では、バウンディングボックスＢ１１に含まれる画像を遠心部、中央部、及び近心部の３つの領域に均等に分割する構成としたが、分割数は３つに限らず、２分割若しくは４分割以上であってもよく、抽出する領域に応じて幅を異ならせてもよい。

（４）歯周病推定
情報処理装置１は、抽出した歯周領域画像に基づき、ユーザの口腔内における歯周病の有無を推定する。以下、学習モデルＭＤ３０を用いて歯周病の有無を推定する構成について説明する。

図７は学習モデルＭＤ３０の構成例を示す模式図である。学習モデルＭＤ３０は、画像認識に用いられる機械学習の学習モデルであり、ＩｎｃｅｐｔｉｏｎＶ３、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔなどを含むＣＮＮによって構築される。学習モデルＭＤ３０は、歯周領域画像の入力に応じて、ユーザの口腔内における歯周病の有無に関する情報を出力するように構成される。

学習モデルＭＤ３０は、入力層、中間層（隠れ層）、及び出力層を備える。入力層には、口腔内画像から生成される歯周領域画像の画像データが入力される。本実施の形態では、上顎右側中切歯の近心部を抽出して得られる歯周領域画像ＵＲ１Ｐ１、中央部を抽出して得られる歯周領域画像ＵＲ１Ｐ２、遠心部を抽出して得られる歯周領域画像ＵＲ１Ｐ３、…、上顎左側側切歯の遠心部を抽出して得られる歯周領域画像ＵＬ２Ｐ３といったように、複数の歯周領域画像が得られるので、これらの画像データを学習モデルＭＤ３０の入力層に順次入力すればよい。なお、情報処理装置１は、歯周領域画像を所定のサイズ（例えば１２８画素×１２８画素）にリサイズしてから学習モデルＭＤ３０に入力する構成としてもよい。

入力層に入力された歯周領域画像の画像データは中間層へ送出される。中間層は、畳み込み層、プーリング層、及び全結合層により構成される。畳み込み層とプーリング層とは交互に複数設けられてもよい。畳み込み層及びプーリング層は、各層のノードを用いた演算によって、入力層より入力される歯周領域画像の特徴を抽出する。全結合層は、畳み込み層及びプーリング層によって特徴部分が抽出されたデータを１つのノードに結合し、活性化関数によって変換された特徴変数を出力する。特徴変数は、全結合層を通じて出力層へ出力される。

出力層は、中間層の全結合層から入力される特徴変数を基に、ソフトマックス関数を用いて確率に変換し、得られた確率を出力する。学習モデルＭＤ３０の出力層は、ユーザが歯周病に罹患している確率Ｐ０を出力すればよい。情報処理装置１の制御部１１は、学習モデルＭＤ３０の出力層から出力される確率に基づき、ユーザが歯周病に罹患しているか否かを推定する。制御部１１は、入力した複数の歯周領域画像に対し、学習モデルＭＤ３０から出力される確率Ｐ０が閾値（例えば９０％）を超える場合、ユーザが歯周病に罹患していると推定することができる。

なお、学習モデルＭＤ３０は、口腔内画像から生成される複数の歯周領域画像のうち、何れか１つが入力された場合、歯周病に罹患している確率Ｐ０を出力するものであってもよく、複数の歯周領域画像が同時に入力された場合、歯周病に罹患している確率Ｐ０を出力するものであってもよい。前者の場合、複数の歯周領域画像を個々に学習モデルＭＤ３０に入力し、出力される確率Ｐ０が閾値を超えるものがあれば、ユーザが歯周病に罹患していると推定すればよい。後者の場合、複数の歯周領域画像を同時に学習モデルＭＤ３０に入力し、出力される確率Ｐ０が閾値を超える場合、ユーザが歯周病に罹患していると推定すればよい。また、学習モデルＭＤ３０は、複数の歯周領域画像の合成画像が入力された場合、歯周病に罹患している確率Ｐ０を出力するものであってもよい。図８は学習モデルＭＤ３０の変形例を示す模式図である。図８に示す学習モデルＭＤ３０は、複数の歯周領域画像を合成して得られる１つの合成画像を入力層への入力とし、歯周病に罹患している確率Ｐ０を出力層からの出力とした学習モデルを示している。図８の例では、４つの歯周領域画像を横方向（ｘ方向）に並べた合成画像を示しているが、縦方向（ｙ方向）に合成してもよく、横方向及び縦方向に合成してもよい。また、合成する歯周領域画像の数は４つに限らず、２つ以上であればよい。更に、合成画像を所定のサイズ（例えば１２８画素×１２８画素）にリサイズしてもよい。

学習モデルＭＤ３０は、患者の口腔内画像から抽出された歯周領域画像と、前記患者が歯周病に罹患しているか否かを示す医師の診断結果（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。訓練データに含まれる歯周領域画像は、個々の歯周領域画像であってもよく、複数の歯周領域画像のセットであってもよく、複数の歯周領域画像の合成画像であってもよい。学習モデルＭＤ３０は、情報処理装置１の内部において生成されてもよく、外部サーバ（例えばサーバ装置２）において生成されてもよい。生成された学習モデルＭＤ３０は、情報処理装置１の記憶部１２に記憶される。この場合、情報処理装置１の制御部１１は、ユーザの口腔内画像から抽出した歯周領域画像を学習モデルＭＤ３０へ入力し、学習モデルＭＤ３０を用いた演算を実行することによって、前記ユーザが歯周病に罹患しているか否かを推定する。代替的に、学習モデルＭＤ３０は外部サーバ（例えばサーバ装置２）に記憶されてもよい。この場合、情報処理装置１は、ユーザの口腔内画像から抽出した歯周領域画像を外部サーバへ送信し、外部サーバによる演算結果（歯周病の有無の判定結果）を通信により取得する。

以下、情報処理装置１の動作について説明する。
図９は情報処理装置１が実行する処理の手順を説明するフローチャートである。情報処理装置１の制御部１１は、ユーザの口腔内を様々な方向から撮像して得られる複数の口腔内画像を取得する（ステップＳ１０１）。口腔内画像は、情報処理装置１の撮像部１３によって撮像されたものであってもよく、外部の撮像装置によって撮像されたものであってもよい。後者の場合、制御部１１は、通信部１４を通じて口腔内画像を取得すればよい。

次いで、制御部１１は、取得した口腔内画像を学習モデルＭＤ１０に入力することによって、口腔内画像を選別する（ステップＳ１０２）。制御部１１は、学習モデルＭＤ１０の出力を参照することによって、様々な撮像方向から撮像された口腔内画像のうち、特定の撮像方向から撮像された口腔内画像（例えば、正面画像及び上顎噛合面画像）を処理対象として選択し、他の撮像方向から撮像された口腔内画像を処理対象から除外する。ステップＳ１０１において、特定の撮像方向から撮像された口腔内画像（処理対象の口腔内画像）のみを取得する構成としている場合、制御部１１は、ステップＳ１０２の処理を省略してもよい。

次いで、制御部１１は、選別した口腔内画像から歯周領域画像を生成する（ステップＳ１０３）。制御部１１は、選別した口腔内画像を学習モデルＭＤ２０に入力することによって、特定の歯（中切歯や側切歯などの前歯）を囲むバウンディングボックスを検出し、検出したバウンディングボックスの座標を基に、特定の歯の歯周領域を含むような歯周領域画像を生成する。制御部１１は、例えば、特定の歯の遠心部、中央部、及び近心部を含む歯周領域画像を生成することができる。

次いで、制御部１１は、生成した歯周領域画像を学習モデルＭＤ３０に入力することによって、歯周病の有無を推定する（ステップＳ１０４）。制御部１１は、ステップＳ１０３で生成した歯周領域画像を学習モデルＭＤ３０に入力して、学習モデルＭＤ３０から出力される確率Ｐ０を閾値と比較する。制御部１１は、学習モデルＭＤ３０から出力される確率Ｐ０が閾値（例えば９０％）を超える場合、ユーザは歯周病に罹患していると推定し、閾値を超えなければ、ユーザは歯周病に罹患していないと推定する。

次いで、制御部１１は、歯周病の有無の推定結果に応じた情報を出力する（ステップＳ１０５）。制御部１１は、ステップＳ１０４においてユーザが歯周病に罹患していると推定した場合、その旨を表す文字情報を表示部１６に表示させる。代替的に、制御部１１は、歯周病である確率を表示部１６に表示させてもよく、歯科の受診を推奨する旨の文字情報を表示部１６に表示させてもよい。更に、本実施の形態では、歯周領域毎に歯周病の有無を推定できるので、制御部１１は、歯周病が発生してる場所の情報を口腔内画像に重畳して表示部１６に表示させてもよい。なお、ステップＳ１０４においてユーザが歯周病に罹患していないと推定した場合、制御部１１は、その旨の文字情報を表示部１６に表示させてもよい。

図１０は推定結果の表示例を示す模式図である。情報処理装置１の制御部１１は、図１０に示すような表示画面１１０を生成し、表示部１６に表示させる。表示画面１１０は、例えば、文字情報１１１、歯周病の推定結果を示すテーブル１１２、歯周病の発生場所を示す画像１１３を含む。

文字情報１１１は、歯周病を発見した旨の文字情報と、歯科受診を推奨する旨の文字情報とを含んでいる。テーブル１１２は、歯周領域毎の推定結果を示しており、正常（歯周病なし）と推測される場合には「０」、異常（歯周病あり）と推測される場合には「１」が表示される。図１０の例は、上顎右側の中切歯については全ての歯周領域において正常と推測されていることを示している。また、上顎左側の中切歯（ＵＬ１）及び上顎右側の側切歯（ＵＲ２）については遠心部の歯周領域において異常と推定され、上顎左側の側切歯（ＵＬ２）については近心部の歯周領域において異常と推測されていることを示している。

図１０の画像１１３は口腔内の正面画像であり、歯周病の発生箇所をマークＭ１１～Ｍ１３によって示している。すなわち、上顎左側の中切歯（ＵＬ１）及び上顎右側の側切歯（ＵＲ２）については遠心部の歯周領域において異常と推定されているので、これに対応して、マークＭ１１及びＭ１２がそれぞれの領域に表示されている。また、上顎左側の側切歯（ＵＬ２）については近心部の歯周領域において異常と推測されているので、これに対応して、マークＭ１３がその領域に表示されている。

以上のように、実施の形態１に係る情報処理装置１は、ユーザの口腔内画像を基に歯周病の有無を推定し、推定結果を出力する。ユーザは、情報処理装置１を用いることによって、歯周病に関するセルフチェックを実施することができる。また、様々な角度から撮像された口腔内画像から、より重点的に歯周病検査が必要な部位を抽出できるので、推定結果を歯科医師等に提供することによって、診断補助が可能となる。

（実施の形態２）
実施の形態２では、学習モデルＭＤ３０の生成方法について説明する。学習モデルＭＤ３０は、例えば、情報処理装置１と通信可能に接続されるサーバ装置２において生成される。

図１１はサーバ装置２の構成を説明するブロック図である。サーバ装置２は、制御部２１、記憶部２２、入力部２３、通信部２４、操作部２５、及び表示部２６を備える。

制御部２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。制御部２１が備えるＲＯＭには、サーバ装置２が備えるハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部２１内のＣＰＵは、ＲＯＭに記憶された制御プログラム、及び記憶部２２に記憶された各種プログラムを実行し、ハードウェア各部の動作を制御する。

制御部２１は上述の構成に限定されない。制御部２１は、ＣＰＵ、ＲＯＭ及びＲＡＭを備えた構成に限定されない。制御部２１は、例えば、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、揮発性または不揮発性のメモリ等を含む１又は複数の制御回路または演算回路であってもよい。また、制御部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

記憶部２２は、ハードディスクドライブなどの記憶装置を備える。記憶部２２には、制御部２１によって実行される各種コンピュータプログラム、当該コンピュータプログラムによって利用される各種データ、外部から取得したデータ等が記憶される。記憶部２２に記憶されるコンピュータプログラムの一例は、学習モデルＭＤ３０を生成するためのモデル生成プログラムＰＧ２である。また、記憶部２２は、患者の口腔内画像と当該患者が歯周病に罹患しているか否かを示すラベル（正解データ）とを関連付けて記憶する口腔内画像データベースＤＢ１を備える。

入力部２３は、各種データ又はプログラムを記録した記録媒体Ｍ２から、データ及びプログラムを取得するための入力インタフェースを備える。入力部２３を通じて入力された各種データ及びプログラムは、記憶部２２に記憶される。

通信部２４は、通信ネットワークに接続する通信インタフェースを備える。通信ネットワークＮは、インターネット網、特定用途向けのＬＡＮ又はＷＡＮなどである。通信部２４は、必要に応じてデータを外部装置へ送信すると共に、外部装置から送信されてくるデータを受信する。

操作部２５は、キーボードやマウスなどの入力インタフェースを備えており、各種の操作情報や設定情報を受付ける。制御部２１は、操作部２５から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部２２に記憶させる。

表示部２６は、液晶表示パネル、有機ＥＬ表示パネル等の表示デバイスを備えており、制御部２１から出力される制御信号に基づいて、サーバ装置２の管理者等に通知すべき情報を表示する。

なお、本実施の形態では、サーバ装置２が操作部２５及び表示部２６を備える構成としたが、操作部２５及び表示部２６は必須ではなく、外部に接続されたコンピュータを通じて操作を受付け、通知すべき情報を外部のコンピュータへ出力する構成であってもよい。

図１２はサーバ装置２が備える口腔内画像データベースＤＢ１の構成例を示す概念図である。口腔内画像データベースＤＢ１では、患者の口腔内画像と、当該患者が歯周病に罹患しているか否かを示す診断結果とを患者毎に関連付けて記憶する。口腔内画像は、患者の口腔内を様々な方向から撮像した画像を含んでもよい。診断結果は、患者が歯周病に罹患しているか否かのラベル（正解データ）を示す。

図１３は学習モデルＭＤ３０の生成手順を説明するフローチャートである。サーバ装置２の制御部２１は、記憶部２２の口腔内画像データベースＤＢ１にアクセスし、特定の患者について得られた口腔内画像及び診断結果を取得する（ステップＳ２０１）。

次いで、制御部２１は、実施の形態１と同様の手順により、処理対象の口腔内画像を選別する（ステップＳ２０２）。実施の形態２において、口腔内画像の選別に必要な学習モデルＭＤ１０は学習済みであり、記憶部２２に記憶されているものとする。制御部２１は、ステップＳ２０１で取得した口腔内画像を学習モデルＭＤ１０に入力し、学習モデルＭＤ１０による演算を実行する。制御部２１は、学習モデルＭＤ１０による演算結果を参照することによって、様々な撮像方向から撮像された口腔内画像のうち、特定の撮像方向から撮像された口腔内画像（例えば、正面画像及び上顎噛合面画像）を処理対象として選択し、他の撮像方向から撮像された口腔内画像を処理対象から除外する。

次いで、制御部２１は、実施の形態１と同様の手順により、歯周領域画像を生成する（ステップＳ２０３）。実施の形態２において、口腔内画像から特定の歯を検出するために必要な学習モデルＭＤ２０は学習済みであり、記憶部２２に記憶されているものとする。制御部２１は、選別した口腔内画像を学習モデルＭＤ２０に入力することによって、特定の歯（中切歯や側切歯などの前歯）を囲むバウンディングボックスを検出し、検出したバウンディングボックスの座標を基に、特定の歯の歯周領域を含むような歯周領域画像を生成する。制御部２１は、例えば、特定の歯の遠心部、中央部、及び近心部を含む歯周領域画像を生成することができる。

制御部２１は、生成した歯周領域画像とステップＳ２０１で取得した診断結果（患者が歯周病に罹患しているか否かを示す正解データ）との組を訓練データに用いて、学習用の学習モデルによる演算を実行する（ステップＳ２０４）。すなわち、制御部２１は、ステップＳ２０３で生成した歯周領域画像を学習用の学習モデルに入力し、学習モデルの中間層による演算を実行して、出力層より演算結果を取得する。なお、学習が開始される前の段階では、学習用の学習モデルを記述する定義情報には、初期設定値が与えられているものとする。

次いで、制御部２１は、学習モデルによる歯周病の有無の推定結果と、訓練データに含まれる正解データとを比較することによって、学習モデルによる演算結果を評価し（ステップＳ２０５）、学習が完了したか否かを判断する（ステップＳ２０６）。

学習が完了していないと判断した場合（Ｓ２０６：ＮＯ）、制御部２１は、学習モデルのノード間の重み係数及びバイアスを更新する（ステップＳ２０７）。制御部２１は、学習モデルの出力層から入力層に向かって、ノード間の重み係数及びバイアスを順次更新する誤差逆伝搬法を用いて、各ノード間の重み係数及びバイアスを更新することができる。制御部２１は、重み係数及びバイアスを更新した後、処理をステップＳ２０１へ戻し、別の患者について得られた口腔内画像と診断結果とを用いて、学習を継続する。なお、ステップＳ２０３において生成される歯周領域画像のうち、学習に使用していない歯周領域画像が存在する場合、制御部２１は、処理をステップＳ２０４へ戻し、他の歯周領域画像を用いた学習を継続すればよい。

学習が完了したと判断した場合（Ｓ２０６：ＹＥＳ）、制御部２１は、学習済みの学習モデル（すなわち、実施の形態１において説明した学習モデルＭＤ３０）として記憶部２２に記憶させ、本フローチャートによる処理を終了する。

以上のように、実施の形態２では、サーバ装置２において学習モデルＭＤ３０を生成することができる。サーバ装置２は、情報処理装置１からの要求に応じて、生成した学習モデルＭＤ３０を情報処理装置１へ送信する。情報処理装置１は、サーバ装置２から学習モデルＭＤ３０を受信し、記憶部１２に記憶させた後、推定処理プログラムＰＧ１を実行することによって、歯周病の有無の推定処理を実行することができる。

なお、ステップＳ２０３において歯周領域画像を生成する際、制御部２１は、歯周領域の抽出位置をランダムに異ならせることによって、多数の歯周領域画像を生成してもよい。図１４は実施の形態２における歯周領域の抽出手法を説明する説明図である。実施の形態２では、特定の歯を含む領域として検出されたバウンディングボックスの座標を考慮して、歯の周辺の歯茎部分を含むように歯周領域をランダムに抽出（ランダムクロップ）する。例えば、制御部２１は、図１４に示すバウンディングボックスＢ１１の左上隅の座標を基準にして、抽出すべき歯周領域の位置（例えば領域の左上隅の座標）、幅、及び高さをランダムに設定する。なお、抽出すべき歯周領域の位置、幅、及び高さを完全にランダムにすると、歯の周辺の歯茎部分を含まない可能性があるため、予め設定した範囲内で歯周領域の位置、幅、及び高さをランダムに設定すればよい。制御部２１は、設定した歯周領域を口腔内画像から抽出することにより、歯周領域画像を生成する。制御部２１は、抽出すべき歯周領域の位置、幅、及び高さをランダムに変更しながら歯周領域を順次抽出することにより、多数の歯周領域画像を生成することができ、生成した多数の歯周領域画像を訓練データとして用いることができる。ランダムクロップにより得られる歯周領域画像のサイズは様々であるため、制御部２１は、抽出した歯周領域画像を学習モデルＭＤ３０において要求される画像サイズにリサイズした後に、学習モデルＭＤ３０に入力してもよい。

本実施の形態では、学習モデルＭＤ１０，ＭＤ２０は既に学習済みであるとし、学習済みの学習モデルＭＤ１０，ＭＤ２０を用いて、学習モデルＭＤ３０を生成する構成について説明したが、学習モデルＭＤ１０，ＭＤ２０についてもサーバ装置２において生成することが可能である。例えば、学習モデルＭＤ１０を生成する場合、制御部２１は、撮像方向が既知の口腔内画像と、この口腔内画像に対する撮像方向を示す情報（正解ラベル）とを多数含んでなるセットを訓練データとして与え、前述と同様の手順の演算を実行することにより、学習モデルＭＤ１０を生成することができる。また、学習モデルＭＤ２０を生成する場合、制御部２１は、既知のオブジェクトが含まれる多数の画像と、各画像に含まれるオブジェクトのクラス名と、オブジェクトを囲むバウンディングボックスの座標値とを訓練データとして与え、前述と同様の手順の演算を実行することにより、学習モデルＭＤ２０を生成することができる。

（実施の形態３）
実施の形態３では、歯肉炎及び歯周炎を判別する構成について説明する。
なお、情報処理装置１の内部構成は実施の形態１と同様であるため、その説明を省略することとする。

以下、学習モデルＭＤ３１を用いて歯肉炎及び歯周炎を推定する構成について説明する。図１５は実施の形態３における学習モデルＭＤ３１の構成例を示す模式図である。学習モデルＭＤ３１は、画像認識に用いられる機械学習の学習モデルであり、ＩｎｃｅｐｔｉｏｎＶ３、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔなどを含むＣＮＮによって構築される。学習モデルＭＤ３１は、歯周領域画像の入力に応じて、歯肉炎及び歯周炎の判別結果に関する情報を出力するように構成される。学習モデルＭＤ３１が備える入力層、中間層（隠れ層）、及び出力層の構成は、実施の形態１において説明した学習モデルＭＤ３０と同様である。

学習モデルＭＤ３１の出力層は、歯周領域画像の入力に応じて、例えば、歯肉炎に罹患している確率Ｐ１１、歯周炎に罹患している確率Ｐ１２、正常である（歯周病に罹患していない）確率Ｐ１３を出力する。情報処理装置１の制御部１１は、学習モデルＭＤ３１の出力層から出力される確率に基づき、ユーザが歯肉炎に罹患しているか否か、歯周炎に罹患しているか否かを判別することができる。制御部１１は、入力した歯周領域画像に対し、学習モデルＭＤ３１から出力される確率Ｐ１が第１閾値（例えば５０％）を超える場合、ユーザが歯肉炎に罹患していると推定し、確率Ｐ２が第２閾値（例えば５０％）を超える場合、ユーザが歯周炎に罹患していると推定する。また、確率Ｐ３が第３閾値（例えば５０％）を超える場合、ユーザは歯周病に罹患しておらず、正常であると推定する。

なお、学習モデルＭＤ３１は、複数の歯周領域画像が個別に入力された場合に判別結果に関する情報を出力する構成であってもよく、複数の歯周領域画像が同時に入力された場合に判別結果に関する情報を出力する構成であってもよい。また、学習モデルＭＤ３１は、複数の歯周領域画像からなる合成画像が入力された場合に判別結果に関する情報を出力する構成であってもよい。

学習モデルＭＤ３１は、患者の口腔内画像から抽出された歯周領域画像と、前記患者が歯肉炎又は歯周炎に罹患しているか否かを示す医師の診断結果（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。

以上のように、実施の形態３では、学習モデルＭＤ３１を用いることにより、歯周病の有無に加え、歯肉炎及び歯周炎の判別結果に係る情報をユーザに提供できる。

（実施の形態４）
実施の形態４では、歯周ポケットの深さ（PPD : Probing Pocket Depth）を推定する構成について説明する。
なお、情報処理装置１の内部構成は実施の形態１と同様であるため、その説明を省略することとする。

以下、学習モデルＭＤ３２を用いて歯周ポケットの深さを推定する構成について説明する。図１６は実施の形態４における学習モデルＭＤ３２の構成例を示す模式図である。学習モデルＭＤ３２は、画像認識に用いられる機械学習の学習モデルであり、ＩｎｃｅｐｔｉｏｎＶ３、ＶＧＧＮｅｔ、ＲｅｓＮｅｔ、ＡｌｅｘＮｅｔなどを含むＣＮＮによって構築される。学習モデルＭＤ３２は、歯周領域画像の入力に応じて、歯周ポケットの深さの推定結果に関する情報を出力するように構成される。実施の形態３では、歯周領域毎に歯周ポケットの深さを推定するために、複数の歯周領域画像を個別に学習モデルＭＤ３２に入力すればよい。学習モデルＭＤ３２が備える入力層、中間層（隠れ層）、及び出力層の構成は、実施の形態１において説明した学習モデルＭＤ３０と同様である。

学習モデルＭＤ３２の出力層は、歯周領域画像の入力に応じて、歯周ポケットの深さ（ＰＰＤ）がＫｍｍである確率Ｐ２Ｋ（Ｋは０以上の整数）を各ノードから出力する。情報処理装置１の制御部１１は、学習モデルＭＤ３２は、学習モデルＭＤ３２の出力層から出力される確率を参照し、最も高い確率を出力するノードを決定することにより、歯周ポケットの深さを推定する。例えば、制御部１１は、推定した確率Ｐ２０，Ｐ２１，Ｐ２２，Ｐ２３，…のうち、確率Ｐ２２が最も高いと判断した場合、歯周ポケットの深さは２ｍｍと推定することができる。

このような学習モデルＭＤ３２は、患者の口腔内画像から抽出された複数の歯周領域画像のそれぞれと、各歯周領域における歯周ポケットの深さの計測値（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。なお、歯周ポケットの深さは、プローブという目盛りのついた針状の器具を用いて計測することが可能である。

また、制御部１１は、歯周ポケットの深さの推定結果を基に、歯周病の進行度合いを推定してもよい。例えば、制御部１１は、推定した歯周ポケットの深さが３ｍｍ未満である場合、正常（健康）若しくは歯肉炎と推定し、３ｍｍ以上５ｍｍ未満である場合、軽度歯周炎と推定し、５ｍｍ以上６ｍｍ未満である場合、中等度歯周炎と推定し、６ｍｍ以上である場合、重度歯周炎と推定することができる。

更に、制御部１１は、歯周ポケットの深さの推定結果を基に、歯周外科処置の要否を判定してもよい。例えば、制御部１１は、推定した歯周ポケットの深さが６ｍｍ以上である場合（すなわち重度歯周炎と推定される場合）、歯周外科処置を要と判定することができる。

図１７は推定結果の表示例を示す模式図である。情報処理装置１の制御部１１は、歯周ポケットの深さを推定することにより、重度歯周炎を検出した場合、図１７に示すような表示画面１２０を生成し、表示部１６に表示させる。表示画面１２０は、例えば、文字情報１２１、歯周ポケットチャート１２２、重度歯周炎の発生場所を示す画像１２３を含む。

文字情報１２１は、重度歯周炎の疑いがある旨の文字情報と、歯科外科処置を推奨する旨の文字情報とを含んでいる。歯周ポケットチャート１２２は、歯周領域毎に推定した歯周ポケットの深さの推定値を示している。図１７の例では、表側（頬側）において、上顎右側の側切歯（ＵＲ２）の推定値は、遠心部、中央部、近心部の順に、２ｍｍ、３ｍｍ、６ｍｍであることを示しており、上顎右側の中切歯（ＵＲ１）の推定値は、同様に、７ｍｍ、２ｍｍ、４ｍｍであることを示している。他の歯周領域の推定値についても歯周ポケットチャート１２２に示す通りである。

図１７の画像１２３は口腔内の正面画像であり、重度歯周炎の発生箇所をマークＭ２１，Ｍ２２によって示している。歯周ポケットの深さの推定値によれば、表側（頬側）において、上顎右側の側切歯（ＵＲ２）の近心部と、上顎右側の中切歯（ＵＲ１）の遠心部にて推定値が６ｍｍ以上となっているため、重度歯周炎と推定される。これに対応して、マークＭ２１，Ｍ２２が正面画像の該当する領域に重畳して表示される。

図１７の例では、口腔内画像のうち正面画像を表示した例を示したが、上顎噛合面画像など他の口腔内画像を表示してもよい。また、図１７の例は、重度歯周炎を検出した場合の例を示したが、歯肉炎、軽度歯周炎、中等度歯周炎を検出した場合、その旨を報知するための画面を生成して表示部１６に表示してもよい。

以上のように、実施の形態４に係る情報処理装置１は、ユーザの口腔内画像を基に歯周ポケットの深さを推定し、推定結果を出力する。ユーザは、情報処理装置１を用いることによって、歯周病に関するセルフチェックを実施することができる。また、より重点的に処置すべき箇所を画像として表示できるので、歯科医師等に対する診断補助が可能となる。

実施の形態４では、歯周領域画像の入力に応じて、歯周ポケットの深さの推定値に関する情報を出力する学習モデルＭＤ３２について説明した。代替的に、学習モデルＭＤ３２は、歯周領域画像の入力に応じて、歯肉内縁上皮面積（ＰＥＳＡ）の推定値に関する情報を出力する学習モデルであってもよい。このような学習モデルＭＤ３２は、患者の口腔内画像から抽出された複数の歯周領域画像のそれぞれと、各歯周領域における歯肉内縁上皮面積の実測値（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。

更に、学習モデルＭＤ３２は、歯周領域画像の入力に応じて、炎症内縁上皮面積（ＰＩＳＡ）の推定値に関する情報を出力する学習モデルであってもよい。このような学習モデルＭＤ３２は、患者の口腔内画像から抽出された複数の歯周領域画像のそれぞれと、各歯周領域における炎症内縁上皮面積の実測値（正解ラベル）とを多数含んでなるセットを訓練データとして与え、所定のアルゴリズムを用いて機械学習を行うことにより生成される。

本願発明者らにより、ＰＥＳＡとＰＩＳＡとの間に相関が見られ、ＰＥＳＡと歯周外科処置との間の相関が高いとの知見が得られている。これは、歯周ポケットの内面積が広い患者は、歯周基本治療のみでは改善しないため、歯周外科処置を選択する可能性が高いことを表している。このため、情報処理装置１は、推定したＰＥＳＡ又はＰＩＳＡの数値が設定した閾値以上であれば、歯周外科処置を推奨する旨の情報を表示部１６に表示してもよい。

更に、本願発明者が口腔内の前歯部正面と上顎口蓋側（裏側）の部分的なＰＥＳＡを計算したところ、上顎口蓋側のＰＥＳＡは全顎のＰＥＳＡと相関が高いとの知見が得られた。このため、情報処理装置１は、上顎噛合面画像のみを受付け、上顎噛合面画像から特定の歯（左右の中切歯及び側切歯）の裏側の歯周領域画像を抽出して学習モデルＭＤ３０に入力し、学習モデルＭＤ３０による演算を実行することにって歯周病の有無を推定してもよい。上顎口蓋側のＰＥＳＡと、全顎のＰＥＳＡとの間には高い相関が認められるため、上顎噛合面画像から抽出した裏面側の歯周領域画像を用いたとしても、全顎的な歯周病の有無を精度良く抽出することができる。

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１ 情報処理装置
２ サーバ装置
１１ 制御部
１２ 記憶部
１３ 撮像部
１４ 通信部
１５ 操作部
１６ 表示部
２１ 制御部
２２ 記憶部
２３ 入力部
２４ 通信部
２５ 操作部
２６ 表示部
ＭＤ１０，ＭＤ２０，ＭＤ３０，ＭＤ３１，ＭＤ３２ 学習モデル
２２０ 口腔画像データベース
ＰＧ１ 推定処理プログラム
ＤＢ１ 口腔内画像データベース

Claims (11)

1. コンピュータに、
   ユーザの口腔内を撮像して得られる口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成し、
   歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記ユーザの口腔内画像から生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定し、
   推定結果に応じた情報を出力する
   処理を実行させるためのコンピュータプログラム。
2. 前記コンピュータに、
   前記口腔内画像から、前記特定の歯の近心部、中央部、及び遠心部の少なくとも２つを含む複数の歯周領域画像を生成し、
   生成した複数の歯周領域画像のそれぞれを前記学習モデルに入力することにより、前記ユーザの口腔内における歯周病の有無を推定する
   処理を実行させるための請求項１に記載のコンピュータプログラム。
3. 前記コンピュータに、
   前記口腔内画像から、前記特定の歯の近心部、中央部、及び遠心部の少なくとも２つを含む複数の歯周領域画像を生成し、
   生成した複数の歯周領域画像を合成して得られる合成画像を前記学習モデルに入力することにより、前記ユーザの口腔内における歯周病の有無を推定する
   処理を実行させるための請求項１に記載のコンピュータプログラム。
4. 前記歯周領域画像は、上顎前歯の裏面側の歯周領域を抽出することにより得られる歯周領域画像である
   請求項１から請求項３の何れか１つに記載のコンピュータプログラム。
5. 前記学習モデルは、歯周領域画像の入力に応じて、歯肉炎及び歯周炎の判別結果に係る情報を出力するよう学習してある
   請求項１から請求項４の何れか１つに記載のコンピュータプログラム。
6. 前記学習モデルは、歯周領域画像の入力に応じて、歯周ポケットの深さ、歯肉内縁上皮面積（PESA : Periodontal Epithelial Surface Area）、又は炎症内縁上皮面積（PISA : Periodontal Inflamed Surface Area）の推定結果を更に出力するよう学習してある
   請求項１から請求項５の何れか１つに記載のコンピュータプログラム。
7. 前記コンピュータに、
   前記学習モデルから出力される情報に基づき、歯周外科処置の要否を判定し、
   前記推定結果に応じた情報として、前記歯周外科処置の要否に係る情報を出力する
   処理を実行させるための請求項１から請求項６の何れか１つに記載のコンピュータプログラム。
8. コンピュータを用いて、
   患者の口腔内画像から個々の歯を認識し、
   認識した歯のうち特定の歯の歯周領域を前記口腔内画像から抽出して歯周領域画像を生成し、
   生成した歯周領域画像と、前記患者が歯周病に罹患しているか否かを示す正解データとを含む訓練データを取得し、
   取得した訓練データのセットに基づき、歯周領域画像を入力した場合、歯周病の有無に係る情報を出力する学習モデルを生成する
   学習モデルの生成方法。
9. 前記コンピュータを用いて、
   前記特定の歯について、抽出位置をランダムに異ならせた複数の歯周領域画像を生成し、
   生成した複数の歯周領域画像と、該歯周領域画像に対する正解データとを含む訓練データのセットに基づき、前記学習モデルを生成する
   請求項８に記載の学習モデルの生成方法。
10. ユーザの口腔内を撮像して得られる口腔内画像を取得する取得部と、
    取得した口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成する生成部と、
    歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記生成部が生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定する推定部と、
    推定結果に応じた情報を出力する出力部と
    を備える情報出力装置。
11. コンピュータを用いて、
    ユーザの口腔内を撮像して得られる口腔内画像を取得し、
    取得した口腔内画像から、特定の歯の歯周領域を抽出して歯周領域画像を生成し、
    歯周領域画像の入力に応じて歯周病の有無に係る情報を出力するよう構成された学習モデルに、前記ユーザの口腔内画像から生成した歯周領域画像を入力することにより、前記ユーザの口腔内における歯周病の有無を推定し、
    推定結果に応じた情報を出力する
    情報出力方法。

Images