JP2022132256A - 口腔内画像撮像装置および歯科診断支援システム - Google Patents

Abstract

【課題】歯科診断に必要な口腔内画像を容易かつ正確に撮像できる装置及び該画像を用いた歯科診断支援システムを提供する。
【解決手段】カメラ手段２、口領域拡大治具３及びマーカ４で構成される。マーカ４は複数で構成され、口領域拡大治具３の配置位置を識別するために利用される。口腔内画像撮像装置１ａは、マーカ４が配置された口領域拡大治具３を取付けた被写体の口腔内画像をカメラ手段２で撮影するものである。カメラ手段２で撮影する画像を表示と共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備えることでもよい。
【選択図】図１

Description

本発明は、遠隔での歯科診断を支援する技術に関するものである。

近年、口腔ケアが健康寿命の延伸に重要であることが分かってきている。また、ＣＯＶＩＤ－１９の影響下で、オンライン診断の普及が求められている。
オンラインでの口腔ケアについては、スマートフォンを用いて、舌の画像を撮影して判定ボタンを押すと、人工知能（ＡＩ）を活用して導き出したアルゴリズムによって、５段階で口臭リスクを判定する口臭ケアアプリが知られている（非特許文献１を参照）。これは、生理的口臭の主な原因である舌の汚れに着目したものである。

また、スマートフォンで撮影した歯ぐきの画像から特徴量を抽出し、特徴量によって歯周病を発見するＡＩを用いた技術が知られている（非特許文献２を参照）。これは、歯ぐきの色情報、歯周病独特の形状に着目したものである。

また、スマートフォンのカメラで口腔内を撮影し，どこにどんな疾患あるのかを画像認識する技術が知られている（非特許文献３を参照）。

これらの技術は何れも口腔内環境の診断を行うものであり、ユーザが口腔内の写真撮影ができることを前提としているが、口腔内の写真撮影を行うことは、初心者にとっては相当に難しいといえる。また、撮影する画像についても、口腔内写真の５枚撮影法での正面観のみであり、歯科医師が診断に使用する撮影方法とは異なるという問題がある。

他方、歯科手術の中でも特にインプラント手術において、手術の安全性や正確性を高めるために、ＰＣと、ＨＭＤ装置と、有線のＷｅｂカメラと、ＰＣに接続されたモニターを用いて、３次元ＣＴ画像をＷｅｂカメラ等により撮影された術部の実像の画像に重ね合わせて表示して、インプラント手術を補助する技術が知られている（特許文献１を参照）。そして、特許文献１に開示される技術では、患者の歯牙に被せるキャップに、３次元位置座標検出用の識別表示として、ＡＲマーカを取り付けている。
しかしながら、歯科医師等の専門家が使用するものではなく、一般のユーザが自身で、自己の口腔内を撮影し、オンラインでの歯科診断に利用するものとしては、ＡＲマーカなどを用いた技術は見当たらないのが現状である。

特開２０１８－１９７７２号公報

口臭ケアアプリ RePERO ライオン（登録商標）（https://repero.lion.co.jp/） 東北大学とドコモ（登録商標）、歯周病発見AIの共同研究を開始-スマートフォンを使って歯周病検診の受診率向上をめざす-（https://www.nttdocomo.co.jp/info/news_release/2019/02/21_00.html） YuanLiang, et al., "OralCam: EnablingSelf-Examination and Awareness of Oral Health Using a Smartphone Camera",Proceedings of the 2020CHI Conference on Human Factors in Computing Systems,2020.4.

かかる状況に鑑みて、本発明は、歯科診断に必要な口腔内画像を容易かつ正確に撮像できる口腔内画像撮像装置及び口腔内画像を用いた歯科診断支援システムを提供することを目的とする。

上記課題を解決すべく、本発明の第１の観点の口腔内画像撮像装置は、カメラ手段と、口領域拡大治具と、口領域拡大治具の配置位置を識別するための複数のマーカを備え、マーカが配置された口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影する。
口領域拡大治具に複数のマーカが配置されることにより、カメラ手段で撮影した被写体の口腔内画像中に、マーカが映り込み、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できることになる。マーカとしては、ＡＲマーカが好適に用いられるが、ＱＲコード（登録商標）などのその他の二次元コードを用いてもよい。
ここで、口領域拡大治具としては、口角に装着し拡張する公知のアングルワイダー（「口角鈎」、「口角鉤」、「オーラルワイダー」などとも言われる。）を幅広く利用可能である。カメラ手段としては、携帯電話、スマートフォン、タブレット端末などが備えるカメラが好適に用いられるが、その他ＰＣ内蔵のカメラや、デジタルカメラ等を用いてもよい。

本発明の第１の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも１つのマーカが映り込むように、口領域拡大治具にマーカが配置されることでもよい。
正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の５種類の口腔内画像を撮影することにより、口腔内写真の５枚撮影法を用いて口腔内画像を撮影することが可能になる。また、口腔内写真の９枚撮影法や１３枚撮影法を用いてもよい。
口腔内画像にマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどを判別できる。

本発明の第１の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影するものであり、各々の口腔内画像には、少なくとも２つのマーカが映り込むように、口領域拡大治具にマーカが配置されることが好ましい。
口腔内画像に少なくとも２つのマーカが映り込むことにより、マーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。

本発明の第１の観点の口腔内画像撮像装置において、各々の口腔内画像に少なくとも２つのマーカが映り込むように口領域拡大治具にマーカが配置される場合には、マーカは、口領域拡大治具の左右に４個ずつ配置され、正面観を撮影した場合には４個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には２個、撮影画像に映り込むように配置されることが好ましい。
マーカがかかる配置とされることにより、多様な角度から口腔内画像を撮影した場合でも、複数のマーカの位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。

本発明の第１の観点の口腔内画像撮像装置において、カメラ手段は、撮影時にマーカを検出した時に自動で撮影することが好ましい。
マーカを検出した時に自動で撮影することにより、撮影を行う者が初心者であっても歯科診断に適した高品質な画像を容易に撮影でき、利便性が向上する。

本発明の第２の観点の口腔内画像撮像装置は、カメラ手段と、カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段を備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像をカメラ手段で撮影する。
ディスプレイ手段を備えることにより、カメラ手段による口腔内画像の撮影時に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示することができ、歯科診断に適した高品質な口腔内画像を容易に撮影できる。
なお、本発明の第２の観点の口腔内画像撮像装置は、口領域拡大治具を更に備え、ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像をカメラ手段で撮影することが好ましい。

本発明の第２の観点の口腔内画像撮像装置において、カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影することが好ましい。

本発明の第１の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも２ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備える。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。演算部は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を分類モデルに入力し、２ラベルに分類して口領域画像にラベル付けする。
演算部を備えることにより、取得した口腔内画像を基に、診断利用可や診断利用不可といったラベル付けを行うことが可能になり、歯科医師等の専門家による口腔内画像の診断が容易となる。歯科診断支援端末としては、公知のカメラ付きの携帯電話、スマートフォン、タブレット端末などが好適に用いられるが、その他のＰＣや、デジタルカメラ等を用いてもよいし、またこれらを併用することでもよい。

本発明の第２の観点の歯科診断支援システムは、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも２ラベルに分類する第１の分類モデルを用いる第１演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、診断利用不可以外を診断利用可と不可の２ラベルに分類する第２の分類モデルを用いる第２演算部を備える歯科診断支援サーバとから構成される。カメラ部が、上述の本発明の口腔内画像撮像装置におけるカメラ手段として用いられる。歯科診断支援端末は、上記の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第１の分類モデルに入力して演算を行い、診断利用不可以外に分類された口領域画像を歯科診断支援サーバへ送信し、歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了する。歯科診断支援サーバは、診断利用不可以外に分類された口領域画像を取り込み、第２の分類モデルを用いて演算を行い、診断利用可に分類された口領域画像をメモリに保存すると共に撮影終了データを歯科診断支援端末へ送信する。

歯科診断支援端末が第１演算部を備え、さらに歯科診断支援サーバが第２演算部を備えることにより、例えば、歯科診断支援端末においては、診断利用不可と診断利用不可以外の分類のみを行い、歯科診断支援サーバおいては、歯科診断支援端末において診断利用不可以外と分類された口領域画像についてのみ、診断利用可と不可の２ラベルに分類することが可能になり、迅速かつ正確な分類が可能となる。
なお、撮影終了データの送信とは、撮影が正常に完了した旨の通知などのことである。

本発明の第１又は第２の観点の歯科診断支援システムは、分類モデルの学習において、診断利用可のラベルが付けられた口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることが好ましい。
歯科医師が注目する画素領域がぼかされた画像につき、診断利用不可のラベルが付加されることにより、専門家の知見を分類モデルの学習に利用することができ、より精度の高い分類モデルの学習が可能となる。また、診断利用不可のラベルが付けられた口領域画像を左右反転した画像につき、診断利用不可のラベルが付加されることにより、効率的かつ効果的に学習用画像データを増幅することができ、より精度の高い分類モデルの学習が可能となる。

本発明の口腔内画像撮像装置及び歯科診断支援システムによれば、歯科診断に利用できる口腔内画像を容易に撮像し診断に活用できるといった効果がある。

実施例１の口腔内画像撮像装置の機能ブロック図 実施例１のマーカ付き口領域拡大治具の外観図 実施例１のマーカ付き口領域拡大治具の背面図 右口角支持部の斜視図 左口角支持部の斜視図 マーカ付き口領域拡大治具の使用イメージ図 実施例２の口腔内画像撮像装置の機能ブロック図 実施例２のディスプレイ手段の実装イメージ図 実施例３の歯科診断支援システムの機能ブロック図 実施例３の歯科診断支援システムの概略フロー図 実施例３の歯科診断支援システムの構成図 口領域画像のぼかし加工イメージ図 口領域画像の左右反転イメージ図 正面観の撮像イメージ図 上顎咬合面観の撮像イメージ図 下顎咬合面観の撮像イメージ図 左側側方面観の撮像イメージ図 右側側方面観の撮像イメージ図 口領域画像の生成イメージ図 実施例４の歯科診断支援システムの機能ブロック図 実施例４の歯科診断支援システムの概略フロー図 実施例４の歯科診断支援システムの構成図

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

図１は、実施例１の口腔内画像撮像装置の機能ブロック図を示している。図１に示すように、口腔内画像撮像装置１ａは、カメラ手段２、口領域拡大治具３及びマーカ４で構成される。マーカ４は複数で構成され、口領域拡大治具３の配置位置を識別するために利用される。口腔内画像撮像装置１ａは、マーカ４が配置された口領域拡大治具３を取付けた被写体の口腔内画像をカメラ手段２で撮影するものである。

図２は、実施例１のマーカ付き口領域拡大治具の外観図であり、（１）は正面図、（２）は平面図を示している。図２（１）に示すように、マーカ付き口領域拡大治具３０は、口領域拡大治具３及びＡＲマーカ（４ａ～４ｈ）から成る。口領域拡大治具３は、右口角支持部３１、左口角支持部３２及びアーム部３３から成り、アーム部３３の左右端部に、右口角支持部３１及び左口角支持部３２が設けられている。右口角支持部３１は、右口角に当接する箇所であり、左口角支持部３２は、左口角に当接する箇所である。右口角支持部３１の正面にはＡＲマーカ（４ａ，４ｂ）が設けられ、側面にはＡＲマーカ（４ｅ，４ｆ）が設けられている。また同様に、左口角支持部３２の正面にはＡＲマーカ（４ｃ，４ｄ）が設けられ、側面にはＡＲマーカ（４ｇ，４ｈ）が設けられている。なお、マーカ４としては、必ずしもＡＲマーカを用いる必要はなく、ＱＲコード（登録商標）などのその他の二次元コードを用いてもよい。

図２（２）に示すように、右口角支持部３１には凹み部３１ａが形成され、左口角支持部３２には凹み部３２ａが形成されている。凹み部（３１ａ，３２ａ）が形成されることにより、ユーザ（図示せず）の唇をしっかり支持できる構造となっている。マーカ付き口領域拡大治具３０に用いられる口領域拡大治具３は、図１等に示す形状や構造に限られず、口角に装着し拡張する公知のアングルワイダーを幅広く利用可能である。
図３は、実施例１のマーカ付き口領域拡大治具の背面図を示している。図３に示すように、右口角支持部３１又は左口角支持部３２の背面側には、ＡＲマーカは設けられていない。

図４は、右口角支持部の斜視図を示している。また、図５は、左口角支持部の斜視図を示している。図４に示すように、右口角支持部３１の正面にはＡＲマーカ（４ａ，４ｂ）が設けられ、側面にはＡＲマーカ（４ｅ，４ｆ）が設けられている。また、図５に示すように、左口角支持部３２の正面にはＡＲマーカ（４ｃ，４ｄ）が設けられ、側面にはＡＲマーカ（４ｇ，４ｈ）が設けられている。このように異なる向きにＡＲマーカが設けられることにより、正面から画像を撮像した場合には、ＡＲマーカ（４ａ～４ｄ）が撮像され、斜方や側方から画像を撮像した場合には、ＡＲマーカ（４ｅ～４ｈ）が撮像され、多様な角度からＡＲマーカを含めた画像の撮影が可能となっている。

図６は、マーカ付き口領域拡大治具の使用イメージ図を示している。図６に示すように、マーカ付き口領域拡大治具３０は、公知のアングルワイダーの装着と同様に、ユーザ１２の口角に装着して使用する。アーム部３３は弾性力のある素材で形成されており、図６では、ユーザ１２の口角に装着することで、上唇１３及び下唇１４がそれぞれ上下に拡張され、かつ右口角支持部３１及び左口角支持部３２によりユーザ１２の口角が左右に拡張されている。ユーザ１２がマーカ付き口領域拡大治具３０を装着することにより、ユーザ１２の上顎の歯牙１５や、下顎の歯牙１６、歯肉１９などが視認しやすくなっている。
また、ユーザ１２がマーカ付き口領域拡大治具３０を装着したまま、口腔内を撮影すると、同時に複数のＡＲマーカ（４ａ～４ｈ）が撮像される構造となっている。ＡＲマーカ（４ａ～４ｈ）は、それぞれ配置されている位置や角度がコンピュータ（図示せず）に記憶されているため、１枚の画像中に異なる２つ以上のＡＲマーカが撮像されれば、撮像された画像中の歯牙（１５，１６）や歯肉１９などの位置や角度を判別することが可能である。

図７は、実施例２の口腔内画像撮像装置の機能ブロック図を示している。図７に示すように、口腔内画像撮像装置１ｂは、カメラ手段２、口領域拡大治具３及びディスプレイ手段５で構成される。ディスプレイ手段５は、カメラ手段２で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するものである。なお、本実施例とは異なり、口領域拡大治具３を備えない構成でもよい。

図８は、実施例２のディスプレイ手段の実装イメージ図であり、（１）は特定の歯牙のレイアウトイメージ、（２）は歯列の位置及び角度を示すレイアウトイメージを示している。図８（１）に示すように、画面イメージ２３ａは、口腔内画像撮像装置１ｂにおけるディスプレイ手段５の実装イメージであり、ここでは上顎右側の犬歯１５ｃを模したイメージがレイアウトイメージ１８ａとして表示されている。レイアウトイメージ１８ａが画面イメージ２３ａ上に表示されることにより、カメラ手段２を用いて口腔内画像を撮影する際の、撮像箇所の位置合わせが容易となる。

また、レイアウトイメージは、図８（１）に示すような歯牙を模したイメージに限られず、図８（２）に示すように、縦横の破線で歯列の位置や角度を示すものでもよい。図８（２）のレイアウトイメージ１８ｂでは、縦の破線で、歯列の中央の位置すなわち中切歯１５ａと中切歯１５ｂの間、又は中切歯１６ａと中切歯１６ｂの間となる位置を示している。また、横の破線で、上顎の歯牙１５と下顎の歯牙１６の噛み合わせが水平となるように位置及び角度を示している。
ディスプレイ手段５が撮影アングル調整のための口腔内歯列のレイアウトイメージ（１８ａ，１８ｂ）を表示した状態で、口領域拡大治具３を取付けたユーザ１２の口腔に取付けた口腔内画像をカメラ手段２で撮影する。
このように、口腔内画像撮像装置１ｂがディスプレイ手段５を備えることにより、診断に適した口腔内写真を容易に撮影することが可能となる。

図９は、実施例３の歯科診断支援システムの機能ブロック図を示している。図９に示すように、歯科診断支援システム１００ａは、口腔内画像撮像装置１ｃ及び歯科診断支援端末１０ａで構成される。口腔内画像撮像装置１ｃは、カメラ手段２、口領域拡大治具３、複数のマーカ４及びディスプレイ手段５から成る。また、歯科診断支援端末１０ａは、演算部６、データ通信部７、カメラ部２０及びディスプレイ部５０から成る。歯科診断支援端末１０ａにおけるカメラ部２０が、口腔内画像撮像装置１ｃにおけるカメラ手段２として用いられる。また、歯科診断支援端末１０ａにおけるディスプレイ部５０が、口腔内画像撮像装置１ｃにおけるディスプレイ手段５として用いられる。
演算部６は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の２ラベルに分類する分類モデルを用いるものである。

ここで、演算部６において用いられる分類モデルの学習について説明する。図１２は、口領域画像のぼかし加工イメージ図であり、（１）は加工前、（２）は加工後を示している。図１２（１）の口領域画像２２ｈは、正面観の口領域画像例であり、診断利用可のラベルが付けられたものである。かかる正面観の口領域画像２２ｈにおいて、歯科医師が注目する画素領域が、例えば口領域画像２２ｈにおける中切歯（１５ａ，１５ｂ，１６ａ，１６ｂ）及び側切歯（１５ｉ，１５ｊ，１６ｉ，１６ｊ）が含まれる領域であるとすると、図１２（２）に示すように、中切歯（１５ａ，１５ｂ，１６ａ，１６ｂ）及び側切歯（１５ｉ，１５ｊ，１６ｉ，１６ｊ）が含まれる領域にぼかし加工を施す。口領域画像２２ｉには、中切歯（１５ａ，１５ｂ，１６ａ，１６ｂ）及び側切歯（１５ｉ，１５ｊ，１６ｉ，１６ｊ）を覆うようにぼかし加工部２５が設けられている。このような口領域画像２２ｉを分類モデルの学習に利用することで、専門家の知見を分類モデルの学習に利用することができ、より精度の高い分類モデルの学習が可能となる。

図１３は、口領域画像の左右反転イメージ図であり、（１）は反転前、（２）は反転後を示している。図１３（１）の口領域画像２２ｊは、左側側方面観の口領域画像例であり、診断利用不可のラベルが付けられたものである。そして、口領域画像２２ｊを左右反転した画像が、図１３（２）の口領域画像２２ｋであり、口領域画像２２ｋについても診断利用不可のラベルが付けられる。したがって、例えば口領域画像２２ｊにおける犬歯１５ｃは、上顎の右側の犬歯であるが、左右反転することによって、口領域画像２２ｋでは、上顎の左側の犬歯と扱われ、分類モデルの学習に利用されることになる。これにより、効率的かつ効果的に学習用画像データを増幅することができ、より精度の高い分類モデルの学習が可能となる。
このような学習により得られた分類モデルの精度について、下記表１を用いて説明する。

上記表１は、正面観、左側側方面観、右側側方面観、上顎咬合面観又は下顎咬合面観の５種類の口腔内画像について、人間の基本精度、機械の基本精度及び実施例３の分類モデルの３つを比較したものである。なお、基本精度とは、合計枚数に対して判定が同じとなったものの割合を算出したものである。
表１に示されるように、実施例３の分類モデルの精度は、機械の基本精度に対して、左側側方面観については１．４４％、右側側方面観については６．９％の向上に止まったが、正面観では１０．４８％、上顎咬合面観では２３．２９％、下顎咬合面観では１７．０７％と大幅な向上が見られた。このように、実施例３の分類モデルでは、従来技術よりも著しく分類精度が向上していることがわかる。

図１０は、実施例３の歯科診断支援システムの概略フロー図を示している。また、図１１は、実施例３の歯科診断支援システムの構成図を示している。図１０に示すように、口腔内画像撮像装置１ｃによって口腔内画像を取得する（ステップＳ０１）。図９に示す演算部６は、取得した口腔内画像を入力する（ステップＳ０２）。

口腔内画像撮像装置１ｃによる口腔内画像の取得（ステップＳ０１）と、演算部６による口腔内画像の入力（ステップＳ０２）について、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の５種類の口腔内画像に関する撮影イメージ図を参照しながら説明する。図１４～１８は、何れもユーザ１２の口角にマーカ付き口領域拡大治具３０が装着され、上唇１３及び下唇１４が上下に拡張され、かつ、右口角支持部３１及び左口角支持部３２が口角を左右に拡張した状態となっている。
ＡＲマーカ（４ａ～４ｈ）には、それぞれ固有の識別情報が割り当てられており、ＡＲマーカ（４ａ～４ｈ）の位置や向き、角度、大きさなどから、口腔内の歯牙等の位置や向き、角度、大きさなどをより正確に判別できる。ここでの識別情報には、ユーザを識別する情報を含めてもよい。

図１４は、正面観の撮像イメージ図を示している。図１４に示すように、口腔内画像２１ａには、ユーザ１２の上顎の歯牙１５や、下顎の歯牙１６、歯肉１９などが撮像されている。また、口腔内画像２１ａには、右口角支持部３１に設けられたＡＲマーカ（４ａ，４ｂ）及び左口角支持部３２に設けられたＡＲマーカ（４ｃ，４ｄ）が映り込んでいる。
口腔内画像の５枚撮影法では、正面観を撮影する場合、歯列の正中すなわち中切歯１５ａと中切歯１５ｂの間、又は中切歯１６ａと中切歯１６ｂの間が画像中央となるように撮影するのが一般的であるが、ＡＲマーカ（４ａ～４ｄ）の位置などから、破線Ｌ_１に示すような、中切歯１５ａと中切歯１５ｂの間、又は中切歯１６ａと中切歯１６ｂの間の位置を算出することが可能である。
また、口腔内画像の５枚撮影法では、正面観を撮影する場合、上顎の歯牙１５と下顎の歯牙１６の噛み合わせが水平となるように撮影するのが一般的であるが、ＡＲマーカ（４ａ～４ｄ）の位置などから、破線Ｌ_２に示すように、上顎の歯牙１５と下顎の歯牙１６の噛み合わせ時の凡その向きや角度を算出することが可能である。これにより、例えば、ユーザ１２が自身でスマートフォン等の歯科診断支援端末１０ａを用いて口腔内画像を撮影した場合でも、ＡＲマーカ（４ａ～４ｄ）の位置などから、口腔内の歯牙等の位置や向き、角度、大きさなどを判別し、診断に適切な口領域を検出し切り出すことが可能である。
なお、利便性を向上させるため、カメラ２０による撮影時においては、マーカを検出した時に自動で撮影することでもよい。

図１５は、上顎咬合面観の撮像イメージ図を示している。図１５に示すように、口腔内画像２１ｂには、ユーザ１２の上顎の歯牙１５や、舌１７、歯肉１９などが撮像されている。また、口腔内画像２１ｂには、右口角支持部３１に設けられたＡＲマーカ４ｅ及び左口角支持部３２に設けられたＡＲマーカ４ｇが映り込んでいる。
口腔内画像の５枚撮影法では、上顎咬合面観を撮影する場合、歯列の正中すなわち中切歯１５ａと中切歯１５ｂの間が画像中央となるように撮影するのが一般的であるが、ＡＲマーカ（４ｅ，４ｇ）の位置などから、破線Ｌ_３に示すような、中切歯１５ａと中切歯１５ｂの間の位置を算出することが可能である。また、ＡＲマーカ（４ｅ，４ｇ）の位置などから、奥歯である第一大臼歯（１５ｅ，１５ｆ）や第二大臼歯（１５ｉ，１５ｊ）の噛合わせ面についても凡その位置や角度等を算出可能である。

図１６は、下顎咬合面観の撮像イメージ図を示している。図１６に示すように、口腔内画像２１ｃには、ユーザ１２の下顎の歯牙１６や、舌１７、歯肉１９などが撮像されている。また、口腔内画像２１ｃには、右口角支持部３１に設けられたＡＲマーカ４ｆ及び左口角支持部３２に設けられたＡＲマーカ４ｈが映り込んでいる。
口腔内画像の５枚撮影法では、下顎咬合面観を撮影する場合、歯列の正中すなわち中切歯１６ａと中切歯１６ｂの間が画像中央となるように撮影するのが一般的であるが、ＡＲマーカ（４ｆ，４ｈ）の位置などから、破線Ｌ_４に示すような、中切歯１６ａと中切歯１６ｂの間の位置を算出することが可能である。また、ＡＲマーカ（４ｆ，４ｈ）の位置などから、奥歯である第一大臼歯（１６ｅ，１６ｆ）や第二大臼歯（１６ｉ，１６ｊ）の噛合わせ面についても凡その位置や角度等を算出可能である。

図１７は、左側側方面観の撮像イメージ図を示している。図１７に示すように、口腔内画像２１ｄには、ユーザ１２の上顎の歯牙１５や、下顎の歯牙１６、歯肉１９などが撮像されている。また、口腔内画像２１ｄには、右口角支持部３１に設けられたＡＲマーカ（４ａ，４ｂ）が映り込んでいる。
口腔内画像の５枚撮影法では、左側側方面観を撮影する場合、上顎の右の犬歯１５ｃが真ん中となるように撮影するのが一般的であるが、ＡＲマーカ（４ａ，４ｂ）の位置などから、破線Ｌ_５に示すように上顎の右の犬歯１５ｃの凡その位置を算出することが可能である。
また、口腔内画像の５枚撮影法では、左側側方面観を撮影する場合、上顎の歯牙１５と下顎の歯牙１６の噛み合わせが水平となるように撮影するのが一般的であるが、ＡＲマーカ（４ａ，４ｂ）の位置などから、破線Ｌ_６に示すように、上顎の歯牙１５と下顎の歯牙１６の噛み合わせ時の凡その向きや角度を算出することが可能である。

図１８は、右側側方面観の撮像イメージ図を示している。図１８に示すように、口腔内画像２１ｅには、ユーザ１２の上顎の歯牙１５や、下顎の歯牙１６、歯肉１９などが撮像されている。また、口腔内画像２１ｅには、左口角支持部３２に設けられたＡＲマーカ（４ｃ，４ｄ）が映り込んでいる。
口腔内画像の５枚撮影法では、右側側方面観を撮影する場合、上顎の左の犬歯１５ｄが真ん中となるように撮影するのが一般的であるが、ＡＲマーカ（４ｃ，４ｄ）の位置などから、破線Ｌ_７に示すように上顎の犬歯１５ｄの凡その位置を算出することが可能である。
また、口腔内画像の５枚撮影法では、右側側方面観を撮影する場合、上顎の歯牙１５と下顎の歯牙１６の噛み合わせが水平となるように撮影するのが一般的であるが、ＡＲマーカ（４ｃ，４ｄ）の位置などから、破線Ｌ_８に示すように、上顎の歯牙１５と下顎の歯牙１６の噛み合わせ時の凡その向きや角度を算出することが可能である。

図１０に示すように、演算部６は、取得した口腔内画像を入力した後（ステップＳ０２）、口領域を検出し切り出す（ステップＳ０３）。図１９は、口領域画像の生成イメージ図であり、（１）はバウンディングボックスの生成イメージ図、（２）は口領域画像イメージ図を示している。図１９（１）に示すように、口腔内画像２１ａに撮像されたＡＲマーカ（４ａ～４ｄ）を基に、バウンディングボックス２４が生成されている。図１９（２）に示すように、バウンディングボックス２４内の画像は、口領域画像２２ｌとして切り出される。

図１１に示すように、演算部６は、切り出した口領域画像２２ａを分類モデル９ａに入力する（ステップＳ０４）。分類モデル９ａは、診断利用可と不可の２ラベルに分類して口領域画像２２ａにラベル付けする（ステップＳ０５）。図１１に示す口領域画像２２ｂは、分類モデル９ａに入力された口領域画像２２ａの内、診断利用可と分類されラベル付けされたものであり、口領域画像２２ｃは、分類モデル９ａに入力された口領域画像２２ａの内、診断利用不可と分類されラベル付けされたものである。

歯科診断支援端末１０ａは、診断利用可と分類されラベル付けされた口領域画像２２ｂに関するデータを、ユーザを識別する情報と共に、データ通信部７により、歯科医師等が使用する専門家端末１１へと送信することができる。歯科医師等が使用する専門家端末１１は、診断利用可と判断された口領域画像２２ｂを受信し、診断を行う。歯科医師等の専門家は、歯科診断支援システム１００ａにより、診断利用可とラベル付けされた口領域画像２２ｂのみを受信し診断することができるため、効率的かつ効果的な診断が可能となる。

図２０は、実施例４の歯科診断支援システムの機能ブロック図を示している。図２０に示すように、歯科診断支援システム１００ｂは、口腔内画像撮像装置１ｃ、歯科診断支援端末１０ｂ及び歯科診断支援サーバ８で構成される。口腔内画像撮像装置１ｃは、カメラ手段２、口領域拡大治具３、複数のマーカ４及びディスプレイ手段５から成る。また、歯科診断支援端末１０ｂは、第１演算部６１、データ通信部７、カメラ部２０及びディスプレイ部５０から成る。歯科診断支援端末１０ｂにおけるカメラ部２０が、口腔内画像撮像装置１ｃにおけるカメラ手段２として用いられる。また、歯科診断支援端末１０ｂにおけるディスプレイ部５０が、口腔内画像撮像装置１ｃにおけるディスプレイ手段５として用いられる。第１演算部６１は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の２ラベルに分類する第１の分類モデルを用いるものである。
歯科診断支援サーバ８は、第２演算部６２及びメモリ８０から成る。第２演算部６２は、口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可以外を診断利用可と不可の２ラベルに分類する第２の分類モデルを用いるものである。また、メモリ８０は、診断利用可に分類された口領域画像を保存するものである。

図２１は、実施例４の歯科診断支援システムの概略フロー図を示している。また、図２２は、実施例４の歯科診断支援システムの構成図を示している。
図２１に示すように、まず、口腔内画像撮像装置１ｃによって口腔内画像を取得する（ステップＳ１１）。第１演算部６１は、取得した口腔内画像を入力して（ステップＳ１２）、口領域を検出し切り出す（ステップＳ１３）。第１演算部６１は、図２２に示すように、切り出した口領域画像２２ａを第１の分類モデル９ｂに入力する（ステップＳ１４）。図２２に示す口領域画像２２ｄは、第１の分類モデル９ｂに入力された口領域画像２２ａの内、診断利用不可以外と分類されラベル付けされたものであり、口領域画像２２ｅは、第１の分類モデル９ｂに入力された口領域画像２２ａの内、診断利用不可と分類されラベル付けされたものである。
歯科診断支援端末１０ｂは、診断利用不可以外に分類された口領域画像２２ｄに関するデータを、ユーザを識別する情報と共に、データ通信部７により、歯科診断支援サーバ８へ送信する（ステップＳ１５）。

歯科診断支援サーバ８において、第２演算部６２は、診断利用不可以外に分類された口領域画像２２ｄを第２の分類モデル９ｃに入力する（ステップＳ１６）。図２２に示す口領域画像２２ｆは、第２の分類モデル９ｃに入力された口領域画像２２ｄの内、診断利用可と分類されラベル付けされたものであり、口領域画像２２ｇは、第２の分類モデル９ｃに入力された口領域画像２２ｄの内、診断利用不可と分類されラベル付けされたものである。
歯科診断支援サーバ８は、診断利用可に分類された口領域画像２２ｆをメモリ８０に保存すると共に撮影終了データを歯科診断支援端末１０ｂへ送信する（ステップＳ１７）。
また、歯科診断支援サーバ８は、診断利用可と分類されラベル付けされた口領域画像２２ｆに関するデータを、ユーザを識別する情報と共に、歯科医師等が使用する専門家端末１１へと送信することができる。歯科医師等が使用する専門家端末１１は、診断利用可と判断された口領域画像２２ｆを受信し、診断を行う。歯科医師等の専門家は、歯科診断支援システム１００ｂにより、診断利用可とラベル付けされた口領域画像２２ｆのみを受信し診断することができるため、効率的かつ効果的な診断が可能となる。

本発明は、歯科医師等の専門家が診断するための患者の口腔内画像を撮像する装置や、該画像を用いた歯科診断支援システムとして有用である。

１ａ～１ｃ 口腔内画像撮像装置
２ カメラ手段
３ 口領域拡大治具
４ マーカ
４ａ～４ｈ ＡＲマーカ
５ ディスプレイ手段
６ 演算部
７ データ通信部
８ 歯科診断支援サーバ
９ａ 分類モデル
９ｂ 第１の分類モデル
９ｃ 第２の分類モデル
１０ａ，１０ｂ 歯科診断支援端末
１１ 専門家端末
１２ ユーザ
１３ 上唇
１４ 下唇
１５ 上顎の歯牙
１５ａ，１５ｂ，１６ａ，１６ｂ 中切歯
１５ｃ，１５ｄ 犬歯
１５ｅ，１５ｆ，１６ｅ，１６ｆ 第一大臼歯
１５ｇ，１５ｈ，１６ｇ，１６ｈ 第二大臼歯
１５ｉ，１５ｊ，１６ｉ，１６ｊ 側切歯
１６ 下顎の歯牙
１７ 舌
１８ａ，１８ｂ レイアウトイメージ
１９ 歯肉
２０ カメラ部
２１ａ～２１ｅ 口腔内画像
２２ａ～２２ｌ 口領域画像
２３ａ，２３ｂ 画面イメージ
２４ バウンディングボックス
２５ ぼかし加工部
３０ マーカ付き口領域拡大治具
３１ 右口角支持部
３１ａ，３２ａ 凹み部
３２ 左口角支持部
３３ アーム部
５０ ディスプレイ部
６１ 第１演算部
６２ 第２演算部
８０ メモリ
１００ａ，１００ｂ 歯科診断支援システム
Ｌ_１～Ｌ_８ 破線

Claims (11)

1. カメラ手段と、
   口領域拡大治具と、
   前記口領域拡大治具の配置位置を識別するための複数のマーカ、を備え、
   前記マーカが配置された前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
2. 前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影するものであり、
   各々の口腔内画像には、少なくとも１つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項１に記載の口腔内画像撮像装置。
3. 前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影するものであり、
   各々の口腔内画像には、少なくとも２つの前記マーカが映り込むように、前記口領域拡大治具に前記マーカが配置されることを特徴とする請求項１に記載の口腔内画像撮像装置。
4. 前記マーカは、前記口領域拡大治具の左右に４個ずつ配置され、正面観を撮影した場合には４個、上顎咬合面観、下顎咬合面観、左側側方面観、又は右側側方面観から撮影した場合には２個、撮影画像に映り込むように配置されることを特徴とする請求項３に記載の口腔内画像撮像装置。
5. 前記カメラ手段は、撮影時に前記マーカを検出した時に自動で撮影することを特徴とする請求項１～４の何れかに記載の口腔内画像撮像装置。
6. カメラ手段と、
   前記カメラ手段で撮影する画像を表示すると共に、撮影画像の種類に応じた口腔内歯列のレイアウトイメージを表示するディスプレイ手段、を備え、
   前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする口腔内画像撮像装置。
7. 口領域拡大治具を更に備え、
   前記ディスプレイ手段が撮影アングル調整のための口腔内歯列のレイアウトイメージを表示した状態で、前記口領域拡大治具を取付けた被写体の口腔内画像を前記カメラ手段で撮影することを特徴とする請求項６に記載の口腔内画像撮像装置。
8. 前記カメラ手段は、同一被写体に対して、正面観、上顎咬合面観、下顎咬合面観、左側側方面観、及び右側側方面観の少なくとも５種類の口腔内画像を撮影することを特徴とする請求項６又は７に記載の口腔内画像撮像装置。
9. 口腔内画像から口領域を切り出した口領域画像を入力し、診断利用可と不可の少なくとも２ラベルに分類する分類モデルを用いる演算部、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末を備え、
   前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
   前記演算部は、請求項１～８の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を前記分類モデルに入力し、前記２ラベルに分類して前記口領域画像にラベル付けすることを特徴とする歯科診断支援システム。
10. 口腔内画像から口領域を切り出した口領域画像を入力し、診断利用不可と診断利用不可以外の少なくとも２ラベルに分類する第１の分類モデルを用いる第１演算部と、カメラ部と、ディスプレイ部と、データ通信部を備える歯科診断支援端末と、
    前記診断利用不可以外を診断利用可と不可の２ラベルに分類する第２の分類モデルを用いる第２演算部を備える歯科診断支援サーバとから構成され、
    前記カメラ部が、前記口腔内画像撮像装置における前記カメラ手段として用いられ、
    前記歯科診断支援端末は、請求項１～８の何れかの口腔内画像撮像装置によって取得した口腔内画像を入力し、口領域を検出し切り出し、切り出した口領域画像を第１の分類モデルに入力して演算を行い、前記診断利用不可以外に分類された前記口領域画像を前記歯科診断支援サーバへ送信し、前記歯科診断支援サーバから撮影終了データを受信したタイミングで撮影を終了し、
    前記歯科診断支援サーバは、前記診断利用不可以外に分類された前記口領域画像を取り込み、第２の分類モデルを用いて演算を行い、診断利用可に分類された前記口領域画像をメモリに保存すると共に撮影終了データを前記歯科診断支援端末へ送信する、
    ことを特徴とする歯科診断支援システム。
11. 前記分類モデルの学習において、
    診断利用可のラベルが付けられた前記口領域画像において歯科医師が注目する画素領域がぼかされた画像、及び、診断利用不可のラベルが付けられた前記口領域画像を左右反転した画像は、診断利用不可のラベルが付加されることを特徴とする請求項９又は１０に記載の歯科診断支援システム。

Images