JP2021053175A - 携帯端末、情報処理装置および口腔状態判断プログラム - Google Patents

携帯端末、情報処理装置および口腔状態判断プログラム Download PDF

Info

Publication number
JP2021053175A
JP2021053175A JP2019179838A JP2019179838A JP2021053175A JP 2021053175 A JP2021053175 A JP 2021053175A JP 2019179838 A JP2019179838 A JP 2019179838A JP 2019179838 A JP2019179838 A JP 2019179838A JP 2021053175 A JP2021053175 A JP 2021053175A
Authority
JP
Japan
Prior art keywords
oral cavity
unit
oral
estimation
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019179838A
Other languages
English (en)
Other versions
JP7292676B2 (ja
Inventor
尊士 荒木
Takashi Araki
尊士 荒木
千章 土井
Chiaki Doi
千章 土井
池田 大造
Daizo Ikeda
大造 池田
佐々木 啓一
Keiichi Sasaki
啓一 佐々木
健 小坂
Takeshi Kosaka
健 小坂
正弘 飯久保
Masahiro Iikubo
正弘 飯久保
潤 相田
Jun Aida
潤 相田
大貴 日原
Daiki Hihara
大貴 日原
一賢 泉田
Kazumasa Izumida
一賢 泉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
NTT Docomo Inc
Original Assignee
Tohoku University NUC
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC, NTT Docomo Inc filed Critical Tohoku University NUC
Priority to JP2019179838A priority Critical patent/JP7292676B2/ja
Publication of JP2021053175A publication Critical patent/JP2021053175A/ja
Application granted granted Critical
Publication of JP7292676B2 publication Critical patent/JP7292676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】口腔の状態の判断を簡易に且つ精度良く行えるシステムを提供する。【解決手段】携帯端末10は、口腔領域を撮影するためのカメラ11と、撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出する抽出部12と、抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する推定部13と、推定部13による推定で得られた推定結果および所定の基準情報(予め定めた基準値、過去の進行度情報など)に基づいて口腔対象領域の状態を判断する判断部14と、判断結果を出力する出力部15と、を備える。【選択図】図1

Description

本発明は、口腔の状態を判断する機能を有する携帯端末および口腔状態判断プログラムに関する。また、本発明は、複数ユーザの携帯端末からの口腔状態判断結果に基づいて上記複数ユーザから成る所定の集団(例えば施設の入居者など)向けのアラート提示および歯科医院の提示を行う機能、又は、複数ユーザ(例えば複数の患者)の口腔衛生管理度合いおよび上記口腔状態判断結果に基づいて診察の優先度の算出および優先度に応じたユーザ(患者)情報の提示を行う機能を備える情報処理装置に関する。
従来、ユーザが自己の口腔の状態(歯肉の腫れ度合い、歯周ポケットの深さ、口腔内の汚れ、歯肉の傷など)を精度良く把握したり、自己の口腔の状態を歯科医師に正確に伝えたりすることは難しかった。
ただし、近年は、カメラ付き携帯端末が普及しているため、歯科医師による検診を受ける前に、ユーザが携帯端末のカメラで自己の口腔付近を撮影し、得られた画像データから簡易に且つ精度良く口腔の状態を初期判断することが待望されている。
下記の特許文献1には、ユーザが携帯端末のカメラで自己の口腔付近を撮影して得られた画像データをネットワーク経由でサーバへ転送し、サーバにおいて、画像データに含まれる主に色データに基づきユーザの口腔(特に歯肉)の状態を判断して、判断結果を携帯端末へ返信するシステムが提案されている。
特開2019−030587号公報
しかし、特許文献1の技術によれば、ある程度精度の良い判断は可能と思われるものの、画像データを携帯端末からサーバへ転送してサーバにおいて口腔の状態を判断するという大掛かりなシステム構成が必要であり、口腔の状態の初期判断を簡易に行うという点では改善の余地があった。
本発明は、上記課題を解決するために成されたものであり、口腔の状態の判断を簡易に且つ精度良く行うことを目的とする。
本発明の一態様に係る携帯端末は、口腔領域を撮影するためのカメラと、前記カメラによる撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出する抽出部と、前記抽出部により抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する推定部と、前記推定部による推定で得られた推定結果および所定の基準情報に基づいて口腔対象領域の状態を判断する判断部と、前記判断部による判断結果を出力する出力部と、を備える。
上記の携帯端末では、カメラによって口腔領域が撮影されると、抽出部が、撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出し、推定部が、抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する。そして、判断部が、推定で得られた推定結果および所定の基準情報に基づいて口腔対象領域の状態を判断し、出力部が判断結果を出力する。このように、従来のようにユーザ自身が口腔の状態を把握したり口腔の状態を歯科医師に伝達したりといった人手を介した処理を排除し自動化することで、口腔の状態の判断を精度良く行うことができる。さらに、従来技術のように画像データを携帯端末からサーバへ転送してサーバにおいて口腔対象領域の状態を判断するといった大掛かりなシステム構成を必要とすることなく、ユーザが、カメラを備えた携帯端末を用いて口腔の状態の判断を簡易に行うことができる。以上により、口腔の状態の判断を簡易に且つ精度良く行うことができる。
本発明によれば、口腔の状態の判断を簡易に且つ精度良く行うことができる。
第1実施形態に係る携帯端末の構成を示す機能ブロック図である。 口腔状態判断処理を示すフロー図である。 口腔対象領域の画像データの抽出処理を示すフロー図である。 歯肉の腫れ度合い推定処理を示すフロー図である。 図4の処理における歯肉領域の分割の一例を示す図である。 腫れ箇所・度合い判定方法を説明するための図である。 腫れ箇所・度合い差分出力の一例を示す図である。 歯周ポケットの状態推定処理を示すフロー図である。 図8の処理における歯肉領域の分割の一例を示す図である。 歯周ポケット推定方法を説明するための図である。 歯周ポケットの差分出力の一例を示す図である。 口腔内の汚れの状態推定処理を示すフロー図である。 付着物判定方法を説明するための図である。 PCR判定方法を説明するための図であり、(a)は1つの歯の画像の分割例を示す図であり、(b)はPCR算出の一例を示す図である。 口腔内の汚れ指標算出方法を説明するための図である。 口腔内の汚れ指標の差分出力の一例を示す図である。 歯肉の傷の状態推定処理を示すフロー図である。 歯肉の傷推定方法を説明するための図である。 歯肉の傷指標の差分出力の一例を示す図である。 状態指標の算出方法を説明するための図である。 口腔状態判断プログラムの構成を示す図である。 第2実施形態に係るシステム構成を示す機能ブロック図である。 第2実施形態の情報処理装置により実行される処理を示すフロー図である。 第3実施形態に係るシステム構成を示す機能ブロック図である。 第3実施形態の情報処理装置により実行される処理を示すフロー図である。 携帯端末のハードウェア構成例を示す図である。
以下、図面を参照しながら、本発明に係る各種の実施形態を順に説明する。
[第1実施形態]
まず、第1実施形態として、カメラによる撮影で得られた口腔領域の画像データから口腔対象領域の状態を判断し判断結果を出力する携帯端末に関する実施形態を説明する。
図1には、第1実施形態の携帯端末10の構成を示す機能ブロック図を示しており、まず、各機能ブロックの概要を説明する。図1に示すように、携帯端末10は、口腔領域を撮影するためのカメラ11と、撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出する抽出部12と、抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する推定部13と、推定で得られた推定結果および所定の基準情報(過去に得られた推定結果、予め定めた基準値など)に基づいて口腔対象領域の状態を判断する判断部14と、判断結果を出力する出力部15と、を備える。
このうち、推定部13は、(1)画像データより得られる歯肉の色、模様および形状に基づいて歯肉の腫れ度合いを推定する歯肉の腫れ度合い推定、(2)画像データより得られる歯肉の色、模様および形状に基づいて歯周ポケットの状態を推定する歯周ポケットの状態推定、(3)画像データより得られる、歯の着色状態、歯への付着物有無およびプラーク付着有無に基づいて口腔内の汚れの状態を推定する口腔内の汚れの状態推定、および、(4)画像データより得られる、出血の有無、鬱血の有無および充血の有無に基づいて歯肉の傷の状態を推定する歯肉の傷の状態推定を実行する機能を有する。各推定処理の詳細は後述する。
また、判断部14は、推定部13による推定で得られた推定結果から、所定の判断基準に基づいて口腔対象領域の状態を総合的に表す「状態指標」を算出する機能を有する。この機能の詳細は後述する。
(第1実施形態における処理内容)
図2には、第1実施形態における口腔状態判断処理を示すフロー図を示し、例えば、ユーザが、図1の携帯端末10を用いて口腔領域を撮影し、口腔内の状態(歯肉の腫れ、歯周ポケット、口腔内の汚れ、歯肉の傷など)の初期判断を行うとき等に実行される。
ユーザが図1の携帯端末10を用いて口腔領域を撮影すると、まずは、撮影で得られた口腔領域の画像データから口腔対象領域(歯肉領域、歯領域)の画像データを抽出する処理が抽出部12により実行される(図2のステップS1)。本実施形態では、ユーザが口腔内チェック用のミラー等を用いて、口腔対象領域(歯肉領域、歯領域)の前面のみならず、口腔対象領域(歯肉領域、歯領域)の後面も撮影し、それにより、口腔対象領域(歯肉領域、歯領域)の前面および後面の画像データが得られる。ステップS1の処理では、図3に示すように、撮影で得られた口腔領域の画像データが入力されると(ステップS11)、口腔領域の画像データを、例えば予め機械学習により構築し記憶した歯・歯肉・舌領域判定モデルと照合することで、口腔領域の画像データから口腔対象領域の画像データが抽出される(ステップS12)。ここでは、口腔対象領域の画像データとして、後述する歯肉の腫れ度合い推定、歯周ポケットの状態推定、および歯肉の傷の状態推定で用いられる「歯肉領域の画像データ」が抽出されるとともに、後述する口腔内の汚れの状態推定で用いられる「歯領域の画像データ」が抽出される。
次に、ステップS12で抽出された口腔対象領域が正常であるかが確認され(ステップS13)、正常であれば、抽出された口腔対象領域の画像データ(即ち、歯肉領域の画像データおよび歯領域の画像データ)が推定部13へ出力される(ステップS15)。一方、ステップS13で正常でなければ、ユーザ向けの再撮影指示などの別処理が行われる(ステップS14)。
なお、図3における付加的な処理として、撮影で得られた口腔領域の複数の画像データから、振動によるブレおよび反射が少ない画像データを選定する画像選定処理(ステップS16)を、ステップS12の直前又は直後に実行してもよい。この画像選定処理では、例えば、撮影で得られた口腔領域の複数の画像データが入力された(ステップS16A)後、許容レベルを超える反射の有無を判定する反射判定および許容レベルを超える振動の有無を判定する振動判定を含んだ適否判定を、対象となる複数の画像データそれぞれについて実行する(ステップS16B)。上記の反射判定は、例えば、抽出部12に内蔵されたセンサにより検出された輝度値が予め定められた反射有りと判定するための閾値以上であるピクセルが、対象の画像データに含まれるか否かによって、許容レベルを超える反射の有無を判定することができる。上記の振動判定は、例えば、抽出部12に内蔵された慣性センサ(加速度センサ又はジャイロセンサ)による検出値が予め定められた振動有りと判定するための閾値以下か否かによって、許容レベルを超える振動の有無を判定することができる。以上のような適否判定により得られた、複数の画像データについての判定結果を踏まえて、反射無し且つ振動無しと判定された画像データを選定して出力する(ステップS16C)。このとき反射無し且つ振動無しと判定された画像データが複数存在する場合は、例えば、ランダムに任意の1つの画像データを選定してもよいし、最新の画像データ(即ち、取得された時刻が最も遅い画像データ)を選定してもよいし、その他の規則に従って画像データを選定してもよい。
図2へ戻ると、次に、推定部13が、(1)歯肉の腫れ度合い推定(ステップS2)、(2)歯周ポケットの状態推定(ステップS3)、(3)口腔内の汚れの状態推定(ステップS4)、および、(4)歯肉の傷の状態推定(ステップS5)を実行する。図2では、上記4つの推定処理を同時並行で実行する例を示しているが、同時並行で実行することは必須要件でなく、実行順序は任意の順序でよい。例えば、シーケンシャルに実行してもよい。
図2のステップS2の歯肉の腫れ度合い推定では、図4に示すように、抽出部12から出力された、口腔対象領域としての歯肉領域の画像データが入力されると(ステップS21)、歯肉領域の分割が行われる(ステップS22)。ここでは、例えば図5に示すように、歯肉領域は、歯からの距離に応じて複数の領域に分割される。図5の例では、歯肉領域は、歯から最も遠い領域(1)と、歯に最も近い領域(3)と、これらの中間に位置する領域(2)、の計3つの領域に分割される。この分割は、各歯に対応する前方向の歯肉領域と後方向の歯肉領域のそれぞれについて、実行される。次に、歯肉の腫れ推定のための特徴として色・模様・形状の観点での判定を行うが、推定部13は、予め歯肉の腫れレベルごとに歯肉の色・模様・形状を機械学習させて構築した歯肉の腫れ推定モデルとして、色モデル、模様モデルおよび形状モデルを記憶しているとする。そこで、推定部13は、分割された領域ごとに、当該領域の画像データを上記色モデルと照合することで当該領域の色判定を行う(ステップS23)。また、推定部13は、分割された領域ごとに、当該領域の画像データを上記模様モデルと照合することで当該領域の模様判定を行う(ステップS24)。さらに、推定部13は、分割された領域ごとに、当該領域の画像データを上記形状モデルと照合することで当該領域の形状判定を行う(ステップS25)。上記ステップS23〜S25の判定結果は、一例として、(1:健全、2:軽度、3:中等度、4:重度)の4値で表される。例えば、図6に実線で示すように、上顎中切歯(右側)の前方向の歯肉における領域(1)については、色判定結果が「1:健全」、模様判定結果が「2:軽度」、形状判定結果が「3:中等度」という結果が得られたことを示す。
そして、推定部13は、上記ステップS23〜S25の判定結果を用いて、以下のようにして、腫れ箇所・度合い判定を行う(ステップS26)。例えば、推定部13は、各歯に対応する歯肉(以下「各歯肉」と称する)の前後方向それぞれの領域(1)〜(3)について、領域の腫れ度合いを表す「領域の腫れ指標」を算出する。推定部13は、対象となる領域における色判定結果、模様判定結果および形状判定結果を予め定めた規則に基づき加重平均することで、当該領域に関する総合判定値を算出し、得られた総合判定値が、事前に定めた値の範囲のうちいずれの範囲にあるかによって「領域の腫れ指標」を算出する。例えば、総合判定値が事前に定めた値の範囲の昇順に0〜25%の範囲にある場合、領域の腫れ指標を「1:健全」とし、総合判定値が事前に定めた値の範囲の昇順に25〜50%の範囲にある場合、領域の腫れ指標を「2:軽度」とし、総合判定値が事前に定めた値の範囲の昇順に50〜75%の範囲にある場合、領域の腫れ指標を「3:中等度」とし、総合判定値が事前に定めた値の範囲の昇順に75〜100%の範囲にある場合、領域の腫れ指標を「4:重度」とする。そして、推定部13は、領域(1)〜(3)についての「領域の腫れ指標」に対し所定の重み付けを行うことで、ある歯の前方向又は後方向の「歯肉の腫れ指標」を算出する。例えば、図6に示す上顎中切歯(右側)の前方向の歯肉については、領域(1)〜(3)についての「領域の腫れ指標」に対し所定の重み付けを行うことで、図6に破線で示す範囲の総合判定結果となる「歯肉の腫れ指標」が算出される。ここでは、例えば、歯に近い領域ほど重み値が高くなるように予め設定された重み値(即ち、領域(1)の重み値<領域(2)の重み値<領域(3)の重み値という大小関係に設定された重み値)を用いて、領域(1)〜(3)についての「領域の腫れ指標」に対して重み付けを行うことで、ある歯の前方向又は後方向の「歯肉の腫れ指標」を算出してもよく、この場合、歯に近い領域の腫れ指標ほど重要度を高めて「歯肉の腫れ指標」を算出できる。以上のようなステップS26の処理において、対象となる領域の数は、(各歯に対応する歯肉32箇所×前後2箇所×領域(1)〜(3)の3箇所)により求められる計192であり、対象となる歯肉の数は、(各歯に対応する歯肉32箇所×前後2箇所)により求められる計64である。
さらに、推定部13は、腫れ箇所・度合い判定の判定結果を、過去の腫れ箇所・度合い判定結果と比較することで、腫れ度合い差分を算出し(ステップS27)、そして、ステップS26、S27で得られた腫れ箇所・度合い・度合い差分を判断部14へ出力する(ステップS28)。図7に示すように、腫れ箇所および度合い差分の出力イメージ例では、前方向の歯肉について過去の時点(xx年xx月xx日)と比べて悪化した箇所等が出力される。
次に、図2のステップS3の歯周ポケットの状態推定について説明する。歯周ポケットの状態推定では、図8に示すように、抽出部12から出力された、口腔対象領域としての歯肉領域の画像データが入力されると(ステップS31)、歯肉領域の分割が行われる(ステップS32)。ここでは、例えば図9に示すように、歯肉領域は、前方向の領域および後方向の領域それぞれについて、縦方向の境界線に沿って複数の領域に分割される。図9の例では、1つの歯に対応する歯肉領域は、前方向の領域および後方向の領域それぞれについて、中央部・左側・右側の3つの領域に分割され、前方向の領域(1)〜(3)および後方向の領域(4)〜(6)の計6つの分割領域が得られる。次に、歯周ポケットの状態推定のための特徴として、前述した歯肉の腫れ推定(ステップS2)と同様に、色・模様・形状の観点での判定を行う。推定部13は、予め歯周ポケットのレベルごとに歯肉の色・模様・形状を機械学習させて構築した歯周ポケット推定モデルとして、色モデル、模様モデルおよび形状モデルを記憶しており、推定部13は、分割された領域ごとに、当該領域の画像データを上記色モデルと照合することで当該領域の色判定を行う(ステップS33)。また、推定部13は、分割された領域ごとに、当該領域の画像データを上記模様モデルと照合することで当該領域の模様判定を行う(ステップS34)。さらに、推定部13は、分割された領域ごとに、当該領域の画像データを上記形状モデルと照合することで当該領域の形状判定を行う(ステップS35)。上記ステップS33〜S35の判定結果は、一例として、(1:健全、2:軽度、3:中等度、4:重度)の4値で表される。例えば、図10に実線で示すように、上顎中切歯(右側)の歯肉における領域(1)については、色判定結果が「1:健全」、模様判定結果が「2:軽度」、形状判定結果が「3:中等度」という結果が得られたことを示す。
そして、推定部13は、上記ステップS33〜S35の判定結果を用いて、以下のようにして、歯周ポケット推定を行う(ステップS36)。推定部13は、各歯に対応する分割領域(1)〜(6)それぞれについて、当該領域の歯周ポケットの状態(進行度)を表す「領域の歯周ポケット指標」を算出する。例えば、推定部13は、対象となる領域における色判定結果、模様判定結果および形状判定結果を予め定めた規則に基づき加重平均することで、当該領域に関する総合判定値を算出し、得られた総合判定値が、事前に定めた値の範囲のうちいずれの範囲にあるかによって「領域の歯周ポケット指標」を算出する。ここでは、歯周ポケット指標として、ラベル(例えば「1:健全」、「2:軽度」など)および歯周ポケットの深さ(例えば「0mm」、「1〜3mm」など)を用いる。例えば、総合判定値が事前に定めた値の範囲の昇順に0〜25%の範囲にある場合、領域の歯周ポケット指標を「1:健全/0mm」とし、総合判定値が事前に定めた値の範囲の昇順に25〜50%の範囲にある場合、領域の歯周ポケット指標を「2:軽度/1〜3mm」とし、総合判定値が事前に定めた値の範囲の昇順に50〜75%の範囲にある場合、領域の歯周ポケット指標を「3:中等度/4〜6mm」とし、総合判定値が事前に定めた値の範囲の昇順に75〜100%の範囲にある場合、領域の歯周ポケット指標を「4:重度/7mm以上」とする。なお、ここでの歯周ポケットの深さは、0mm、1mm、2mm…という整数値を想定している。そして、推定部13は、領域(1)〜(6)についての「領域の腫れ指標」に対し所定の重み付けを行うことで、ある歯についての「歯肉の歯周ポケット指標」を算出する。例えば、図10に示す上顎中切歯(右側)の歯肉については、領域(1)〜(6)についての「領域の歯周ポケット指標」に対し所定の重み付けを行うことで、図10に破線で示す範囲の総合判定結果となる「歯肉の歯周ポケット指標」が算出される。ここでは、例えば、歯肉の中央に位置する領域(2)、(5)の重み値が、左右の領域(1)、(3)、(4)、(6)の重み値より高くなるように予め設定された重み値を用いて、領域(1)〜(6)についての「領域の歯周ポケット指標」に対して重み付けを行うことで、ある歯の「歯肉の歯周ポケット指標」を算出してもよく、この場合、歯肉の中央に位置する領域の歯周ポケット指標ほど重要度を高めて「歯肉の歯周ポケット指標」を算出できる。以上のようなステップS36の処理において、対象となる領域の数は、(各歯に対応する歯肉32箇所×領域(1)〜(6)の6箇所)により求められる計192であり、対象となる歯肉の数は32である。ただし、前述した「歯肉の腫れ指標」は、各歯に対し前方向および後方向それぞれについて算出するため、「歯肉の歯周ポケット指標」も同様に、前方向および後方向それぞれについて算出してもよいし、上記のように領域(1)〜(6)の「領域の歯周ポケット指標」から算出された「歯肉の歯周ポケット指標」を、前方向の指標および後方向の指標として共通に使用してもよい。
さらに、推定部13は、ステップS36の歯周ポケット推定の推定結果を、過去の歯周ポケット推定結果と比較することで、歯周ポケットの差分を算出し(ステップS37)、そして、ステップS36、S37で得られた歯周ポケットの箇所・度合い・度合い差分を判断部14へ出力する(ステップS38)。図11に示すように、歯周ポケットの箇所および度合い差分の出力イメージ例では、前方向の歯肉について過去の時点(xx年xx月xx日)と比べて悪化した箇所等が出力される。
次に、図2のステップS4の口腔内の汚れの状態推定について説明する。口腔内の汚れの状態推定では、図12に示すように、抽出部12から出力された、口腔対象領域としての歯領域の画像データが入力されると(ステップS41)、歯領域の分割が行われる(ステップS42)。ここでは、例えば、後述するPCR(Plaque Control Record)判定(ステップS45)のために、図14(a)に示すように1つの歯の前方向および後方向それぞれの領域を4面(頬側(上側)、舌側(下側)、近心、遠心)に分割してもよいし、1つの歯領域を6面(頬側(上側)、舌側(下側)、近心における上側、近心における下側、遠心における上側、遠心における下側)に分割してもよい。次に、口腔内の汚れの状態推定のための特徴として歯の着色・付着物・PCRの観点での判定を行うが、このうち付着物判定のために、推定部13は、食べカス付着有無、歯垢付着有無および歯石付着有無の組合せごとに予め機械学習により構築された付着物判定モデルを記憶しているとする。そこで、推定部13は、付着物判定(ステップS44)として、各歯の前方向および後方向それぞれについて、該当する領域の画像データを上記付着物判定モデルと照合することで当該領域の食べカス付着有無、歯垢付着有無および歯石付着有無を判定し、各付着物(食べカス、歯垢、歯石)の有無の百分率を計算することで、付着物の付着度合いを表す付着物の付着指標(単位:%)を求める。例えば、図13では、太線枠に示す歯(64)、即ち「32番目の歯の後方向」については、食べカス付着は「1:有り」、歯垢付着は「1:有り」、歯石付着は「0:無し」とそれぞれ判定されたことを示し、この場合、付着物の付着指標として各付着物の有無の百分率「(有りの数/総数)=(2/3)=67%」が求められる。また、推定部13は、歯の着色判定(ステップS43)として、例えば、各歯の前方向および後方向それぞれについて、該当する領域の画像データから、当該領域の全ピクセル数に占める「着色有りと判定されたピクセル数」の百分率を計算することで、歯の着色度合いを表す「歯の着色指標(単位:%)」を求める。各ピクセルについての着色有無の判定は、当該ピクセルの輝度値が予め定められた閾値以下か否かを判定し、ここで輝度値が閾値以下の場合は着色有りと判定し、輝度値が閾値より高い場合は着色無しと判定する。さらに、推定部13は、PCR判定(ステップS45)として、例えば、上記ステップS42で分割された領域ごとに、該当する領域の画像データから、当該領域に含まれる全ピクセルについて輝度値が予め定められた閾値以下か否かを判定し、輝度値が閾値以下のピクセル数が、輝度値が閾値より高いピクセル数よりも多い場合、当該領域についてはプラーク付着有りと判定し、輝度値が閾値以下のピクセル数が、輝度値が閾値より高いピクセル数以下の場合、当該領域についてはプラーク付着無しと判定する。図14(b)には、全ての歯の前方向の領域を4面に分割して得られた分割領域ごとのプラーク付着有無の判定結果を例示しており、図14(b)においてシェードをかけた分割領域はプラーク付着有りと判定されたことを示している。ここで、推定部13は、各歯の前方向の領域ごとに、領域全体に占める「プラーク付着有りと判定された分割領域」の割合を求め、得られた値(単位:%)を当該領域のPCRとする。例えば、図14(b)において左上端の領域については4面のうち、プラーク付着有りと判定された分割領域は1面であるため、PCR=25%が得られる。上記のステップS43〜S45により、例えば、図15では、太線枠に示す歯(64)、即ち「32番目の歯の後方向」については、歯の着色指標は「10%」、付着物の付着指標は「67%」、PCRは「25%」が求められたことを示す。
そして、推定部13は、上記ステップS43〜S45の判定結果を用いて、以下のようにして、各歯の前方向の領域および後方向の領域について口腔内の汚れ指標を算出する(ステップS46)。推定部13は、対象となる領域における歯の着色指標、付着物の付着指標およびPCRを予め定めた規則に基づき加重平均することで、当該領域に関する総合判定値を算出し、得られた総合判定値が、事前に定めた値の範囲のうちいずれの範囲にあるかによって「口腔内の汚れ指標」を算出する。例えば、総合判定値が事前に定めた値の範囲の昇順に0〜25%の範囲にある場合、口腔内の汚れ指標を「1:健全」とし、総合判定値が事前に定めた値の範囲の昇順に25〜50%の範囲にある場合、口腔内の汚れ指標を「2:軽度」とし、総合判定値が事前に定めた値の範囲の昇順に50〜75%の範囲にある場合、口腔内の汚れ指標を「3:中等度」とし、総合判定値が事前に定めた値の範囲の昇順に75〜100%の範囲にある場合、口腔内の汚れ指標を「4:重度」とする。以上のようなステップS46の処理において、対象となる領域の数は、(各歯32箇所×前後2箇所)により求められる計64である。
さらに、推定部13は、口腔内の汚れ指標算出の結果を、過去の汚れ指標と比較することで、汚れ指標の差分を算出し(ステップS47)、そして、ステップS46、S47で得られた汚れの箇所・汚れ指標・汚れ指標差分を判断部14へ出力する(ステップS48)。図16に示すように、汚れの箇所および汚れ指標差分の出力イメージ例では、前方向の歯について過去の時点(xx年xx月xx日)と比べて悪化した箇所等が出力される。
次に、図2のステップS5の歯肉の傷の状態推定について説明する。歯肉の傷の状態推定では、図17に示すように、抽出部12から出力された、口腔対象領域としての歯肉領域の画像データが入力されると(ステップS51)、必要に応じて各歯の歯肉領域の分割が行われる(ステップS52)。ここでは、例えば、図9に例示したように、各歯の歯肉領域を、前方向の領域および後方向の領域それぞれについて縦方向の境界線に沿って複数の領域に分割してもよいし、その他の方向で分割してもよい。ただし、以下では、分割は行わずに、各歯の歯肉領域における前方向の領域および後方向の領域それぞれについて傷の状態を推定する処理例を説明する。次に、歯肉の傷の状態推定のために出血有無・鬱血有無・充血有無の観点での判定を行うが、推定部13は、予め機械学習により構築された、出血判定モデル、鬱血判定モデルおよび充血判定モデルを記憶しているとする。そこで、推定部13は、各歯の歯肉領域の前方向および後方向それぞれについて、該当する領域の画像データを出血判定モデルと照合することで当該領域の出血有無を判定し(ステップS53)、該当する領域の画像データを鬱血判定モデルと照合することで当該領域の鬱血有無を判定し(ステップS54)、該当する領域の画像データを充血判定モデルと照合することで当該領域の充血有無を判定する(ステップS55)。これにより、例えば、図18では、太線枠に示す歯(64)、即ち「32番目の歯の後方向」については、出血は「1:有り」、鬱血は「1:有り」、充血は「0:無し」という判定結果が得られたことを示す。
そして、推定部13は、上記ステップS53〜S55の判定結果を用いて、事前に決めた判定基準に基づき、以下のようにして、各歯の歯肉の前方向の領域および後方向の領域について歯肉の傷指標を算出する(ステップS56)。例えば、推定部13は、ステップS53〜S55の判定結果(0又は1)を値として扱い、対象となる領域における出血判定結果、鬱血判定結果および充血判定結果を予め定めた規則に基づき加重平均することで、当該領域に関する総合判定値を算出し、得られた総合判定値が、事前に定めた値の範囲のうちいずれの範囲にあるかによって「歯肉の傷指標」を算出する。例えば、総合判定値が事前に定めた値の範囲の昇順に0〜25%の範囲にある場合、歯肉の傷指標を「1:健全」とし、総合判定値が事前に定めた値の範囲の昇順に25〜50%の範囲にある場合、歯肉の傷指標を「2:軽度」とし、総合判定値が事前に定めた値の範囲の昇順に50〜75%の範囲にある場合、歯肉の傷指標を「3:中等度」とし、総合判定値が事前に定めた値の範囲の昇順に75〜100%の範囲にある場合、歯肉の傷指標を「4:重度」とする。以上のようなステップS56の処理において、対象となる領域の数は、(各歯肉32箇所×前後2箇所)により求められる計64である。
さらに、推定部13は、歯肉の傷指標算出の結果を、過去の傷指標と比較することで、傷指標の差分を算出し(ステップS57)、そして、ステップS56、S57で得られた歯肉の傷の箇所・傷指標・傷指標差分を判断部14へ出力する(ステップS58)。図19に示すように、歯肉の傷の箇所および傷指標差分の出力イメージ例では、前方向の歯肉について過去の時点(xx年xx月xx日)と比べて悪化した箇所等が出力される。
図2へ戻り、ステップS6において、判断部14は、ステップS2〜S5で得られた推定結果および所定の判断基準に基づいて、以下のようにして口腔対象領域の状態を総合的に判断する。ここでは、判断部14は、上記推定結果から、所定の判断基準に基づいて、口腔対象領域としての各歯の前方向の領域および後方向の領域それぞれについて、口腔対象領域の状態を表す状態指標を算出する。例えば、「1:健全」、「2:軽度」、「3:中等度」、「4:重度」の4値で表される、歯肉の腫れ指標、歯周ポケット指標、口腔内の汚れ指標および歯肉の傷指標から、以下のような判断基準に基づいて状態指標を算出する。例えば、ある口腔対象領域の上記4つの指標が全て「1:健全」の場合、状態指標として「1:健全」を算出し、上記4つの指標が全て「4:重度」の場合、状態指標として「4:重度」を算出する。ある口腔対象領域の上記4つの指標において、「1:健全」と「4:重度」を除いたときに「2:軽度」の数が「3:中等度」の数より多い場合、状態指標として「2:軽度」を算出し、「1:健全」と「4:重度」を除いたときに「3:中等度」の数が「2:軽度」の数より多い場合、状態指標として「3:中等度」を算出する。これにより、図20の例では、太線枠に示す歯(64)、即ち「32番目の歯の後方向」については、「1:健全」と「4:重度」を除いたときに「2:軽度」の数(2つ)が「3:中等度」の数(ゼロ)より多いため、状態指標として「2:軽度」が算出される。
図2へ戻り、ステップS7において、出力部15は、ステップS6で得られた判断結果(例えば、口腔対象領域としての各歯の前方向の領域および後方向の領域それぞれについての状態指標)を出力する。出力は、メッセージ表示でもいいし、音声出力でもよいし、その他の情報出力方法による出力でもよい。また、ステップS7では、最終的に得られた上記判断結果のみならず、ステップS2〜S5の各推定処理で得られた結果を出力してもよく、例えば図7、図11、図16および図19に例示した出力イメージを表示出力してもよい。
以上説明した第1実施形態によれば、従来のようにユーザ自身が口腔の状態を把握したり口腔の状態を歯科医師に伝達したりといった人手を介した処理を排除し自動化することで、口腔の状態の判断を精度良く行うことができる。また、従来技術のように画像データを携帯端末からサーバへ転送してサーバにおいて口腔対象領域の状態を判断するといった大掛かりなシステム構成を必要とすることなく、ユーザが、カメラを備えた携帯端末を用いて口腔の状態の判断を簡易に行うことができる。このように、従来のように診断した歯科医師個人の経験、知見等に依存することなく、ユーザは、口腔疾患(歯周病など)の進行状況を表す歯肉等の状態を簡易に且つ精度良く把握することができ、口腔疾患の初期診断・予兆判断を適切に行うことができる。
また、口腔の状態を判断するにあたり、歯肉の腫れ度合い・歯周ポケットの状態・口腔内の汚れの状態・歯肉の傷の状態といったさまざまな観点で口腔の状態を推定し、それらの推定結果を用いて口腔の状態を総合的に判断するため、非常に精度の良い判断を実現できる。
個別に見ると、歯肉の腫れ度合い推定および歯周ポケットの状態推定については、口腔対象領域の画像データより得られる歯肉の色、模様および形状といったさまざまな観点からの判定結果を用いて推定を行うため、推定精度を向上させることができる。また、口腔内の汚れの状態推定については、口腔対象領域の画像データより得られる、歯の着色状態、歯への付着物有無およびプラーク付着有無といったさまざまな観点からの判定結果を用いて推定を行うため、推定精度を向上させることができる。さらに、歯肉の傷の状態推定については、口腔対象領域の画像データより得られる、出血の有無、鬱血の有無および充血の有無といったさまざまな観点からの判定結果を用いて推定を行うため、推定精度を向上させることができる。
また、口腔の状態を総合的に判断するための判断結果として、対象領域の状態を「1:健全」、「2:軽度」、「3:中等度」、「4:重度」の4値で表す状態指標が算出され出力されるため、ユーザにとって非常に分かり易い状態指標(口腔状態の判断結果)を得ることができる。
[口腔状態判断プログラムについて]
次に、コンピュータを、本実施形態の携帯端末10における口腔状態判断機能を実現するための口腔状態判断プログラムについて説明する。図21は、口腔状態判断プログラムP1の構成を示す図である。
口腔状態判断プログラムP1は、携帯端末10における口腔状態判断機能に係る処理を統括的に制御するメインモジュールm11、抽出モジュールm12、推定モジュールm13、判断モジュールm14及び出力モジュールm15を備えて構成される。そして、各モジュールm12〜m15により、携帯端末10における抽出部12、推定部13、判断部14及び出力部15のための各機能が実現される。なお、口腔状態判断プログラムP1は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図21に示されるように、記録媒体M1に記憶される態様であってもよい。
[第2実施形態]
次に、第2実施形態として、ある施設の職員の情報処理装置(パーソナルコンピュータ等)において、入居者たちの携帯端末から第1実施形態で述べた口腔状態判断結果を受信して施設全体でのアラート出力の要否判定・施設全体に関するアラート情報の提示を行い、また、さまざまな歯科医院のスキル情報から歯科医院ごとの治療能力を算出して訪問診療希望日時および希望場所に合致する歯科医院を治療能力の高い順に提示する処理を実行する実施形態を説明する。
図22には、第2実施形態に係るシステム構成を示す機能ブロック図を示しており、まず、各機能ブロックの概要を説明する。図22に示す携帯端末10は、例えば、ある施設の入居者たちの携帯端末を想定しており、その機能・構成は前述した第1実施形態と同様であるため、重複した説明を省略するが、各入居者の口腔対象領域の状態を総合的に判断した結果として「1:健全」、「2:軽度」、「3:中等度」、「4:重度」の4値で表される「状態指標」を出力する。
情報処理装置20は、上記施設の職員のパーソナルコンピュータを想定しており、歯科医院情報取得部21と、治療能力算出部22と、アラート判定提示部23と、歯科医院提示部24と、を備える。このうち歯科医院情報取得部21は、歯科医院ごとの訪問診療可能日時および場所を示す訪問情報を予め記憶した訪問情報管理サーバ30に対し訪問情報の送信要求を行って訪問情報を取得するとともに、歯科医院ごとのスキルの度合いを示すスキル情報を予め記憶したスキル情報管理サーバ40に対しスキル情報の送信要求を行ってスキル情報を取得する。訪問情報およびスキル情報の一例は後述する。
治療能力算出部22は、歯科医院情報取得部21により取得されたスキル情報から所定の算出方法に基づいて歯科医院ごとの治療能力を算出し、取得された訪問情報に基づく前記訪問診療可能日時および場所に対応付けられた歯科医院ごとの治療能力を出力する。
アラート判定提示部23は、施設の入居者たちの携帯端末10の判断部14による判断で得られた、入居者たちの口腔対象領域の状態の判断結果(例えば第1実施形態で述べた状態指標など)に基づいて、所定の基準に照らし当該施設全体でアラート出力を要するか否かを判定し、要すると判定された場合に当該施設全体に関するアラート情報を提示する。
歯科医院提示部24は、予め取得された上記施設に関する訪問診療希望日時および希望場所と、治療能力算出部22により出力された「訪問診療可能日時および場所に対応付けられた歯科医院ごとの治療能力」とに基づいて、訪問診療希望日時および希望場所に合致する歯科医院を治療能力の高い順に提示する。
図23には、第2実施形態の情報処理装置20により実行される処理に関するフロー図を示し、例えば、ある施設の職員が、自己の情報処理装置20を用いて、入居者たちの口腔対象領域の状態の確認および訪問診療を依頼する歯科医院の選択を行う際に実行される。
まず、歯科医院情報取得部21が、スキル情報管理サーバ40に対しスキル情報の送信要求を、訪問情報管理サーバ30に対し訪問情報の送信要求を、それぞれ行い(ステップS61)、スキル情報を取得する(ステップS62)とともに訪問情報を取得する(ステップS63)。上記の訪問情報は、歯科医院が訪問診療可能な日時および場所(市町村単位)を表す情報であり、例えば、歯科医院Aの歯科医師によって訪問情報管理サーバ30に事前に登録された「歯科医院Aについて、日時:2019年8月19日(月)9:00〜15:00、場所:横須賀市」といった情報が挙げられる。上記のスキル情報は、歯科医院ごとのスキルの度合いを表す情報であり、例えば、歯科医院を利用した利用者(施設の職員、入居者等)によってスキル情報管理サーバ40に事前に登録された、歯科医院ごとの歯科医師および歯科衛生士の治療能力を5段階評価で表した評価値、例えば、「歯科医院Bについて、歯科医師の評価値:5点、歯科衛生士の評価値:4点」といった情報が挙げられる。
次に、治療能力算出部22が、取得されたスキル情報から所定の算出方法(例えば加重平均を取るなど)に基づいて歯科医院ごとの治療能力を算出する(ステップS64)。例えば、「歯科医院Bについて、歯科医師の評価値:5点、歯科衛生士の評価値:4点」というスキル情報から、歯科医師の評価値と歯科衛生士の評価値を加重平均することで治療能力を算出する。例えば、歯科医師の評価値と歯科衛生士の評価値とを、3:1の重みで加重平均する場合は、上記歯科医院Bについては、治療能力=4.75点が算出される。そして、治療能力算出部22は、ステップS63で取得された訪問情報(訪問診療可能日時および場所)に対応付けられた歯科医院ごとの治療能力を出力する。
次に、アラート判定提示部23が、上記訪問情報(訪問診療可能日時および場所)に対応付けられた歯科医院ごとの治療能力を取得するとともに、施設の入居者たちの携帯端末10から口腔対象領域の状態の判断結果(ここでは第1実施形態で述べた「状態指標」)を取得する(ステップS65)。そして、アラート判定提示部23は、入居者たちの状態指標を所定の基準に照らし当該施設全体でアラート出力を要するか否かを判定する(ステップS66)。ここでは、例えば、入居者たちの状態指標の全体における「3:中等度」の割合と「4:重度」の割合が算出され、「3:中等度」の割合が50%以上であるか又は「4:重度」の割合が30%以上である場合に施設全体でアラート出力を要すると判定され、上記以外の場合に施設全体でアラート出力を要しないと判定される。このようなステップS66でアラート出力を要すると判定された場合、アラート判定提示部23は、例えば「歯肉の状態が悪化している方が多く見られます。すぐに歯科医師の治療と歯科衛生士の指導を受けましょう。」といったアラート情報を提示する(ステップS67)。
さらに、歯科医院提示部24は、予め取得された上記施設に関する訪問診療希望日時および希望場所と、ステップS64で得られた「訪問診療可能日時および場所に対応付けられた歯科医院ごとの治療能力」とを照合することで、訪問診療希望日時および希望場所に合致する歯科医院を絞り込み、得られた歯科医院を治療能力の高い順に並べて提示する(ステップS68)。
以上説明した第2実施形態によれば、取得された歯科医院情報(スキル情報、訪問情報)に基づき歯科医院ごとの治療能力を適切に算出し、歯科医院ごとの治療能力および入居者の携帯端末からの口腔状態判断結果に基づいて施設全体に関するアラート出力要否判定・アラート情報の提示を適切に行うことができ、訪問診療希望日時および希望場所に合致する歯科医院を治療能力の高い順に提示することができる。これにより、施設の職員は、施設全体としての緊急性を適切に認知することができ、希望日時および希望場所に合致する歯科医院から適切な歯科医院を選択することができる。
なお、上記実施形態では、アラート提示および歯科医院の提示を行う対象の集団として、ある施設の入居者を想定した例を示したが、対象の集団は、これに限定されるものではなく、例えば保育所の園児たち等、さまざまな集団を想定することができる。
[第3実施形態]
次に、第3実施形態として、ある歯科医師の情報処理装置(パーソナルコンピュータ等)において、診察をリクエストした患者たちのスマート歯ブラシからの歯磨き情報に基づいて患者ごとの口腔衛生管理度合いを算出し、得られた患者ごとの口腔衛生管理度合いおよび患者たちの携帯端末からの口腔状態判断結果に基づいて診察の優先度の算出および優先度に応じた患者情報の提示を行う実施形態を説明する。
図24には、第3実施形態に係るシステム構成を示す機能ブロック図を示しており、まず、各機能ブロックの概要を説明する。図24に示す携帯端末10は、例えば、ある歯科医師が担当する患者たちの携帯端末を想定しており、その機能・構成は前述した第1実施形態と同様であるため、重複した説明を省略するが、各患者の口腔対象領域の状態を総合的に判断した結果として「1:健全」、「2:軽度」、「3:中等度」、「4:重度」の4値で表される「状態指標」を出力する。
情報処理装置50は、上記歯科医師のパーソナルコンピュータを想定しており、歯磨き情報取得部51と、歯磨き状況推定部52と、管理度合い算出部53と、優先度算出提示部54と、を備える。このうち歯磨き情報取得部51は、複数の患者それぞれのスマート歯ブラシ60に設けられた慣性センサ(加速度センサ又はジャイロセンサ)による検出で得られた、患者ごとの時系列に沿った慣性センサ検出値(加速度値又はジャイロセンサ値)および歯磨き時間を取得する。ここでの「歯磨き時間」は、例えば、スマート歯ブラシ60における慣性センサ検出値が所定閾値以上となるときに「歯磨き動作中」とみなし、当該歯磨き動作中の経過時間を歯磨き時間として取得する。スマート歯ブラシ60は、このような歯磨き時間を取得する機能を備え、また、取得された歯磨き時間を、時系列に沿った慣性センサ検出値とともに情報処理装置50へ通知する機能を備える。
歯磨き状況推定部52は、取得された患者ごとの時系列に沿った慣性センサ検出値を、例えば予め機械学習により構築し記憶した機械学習判定モデルと照合することで、患者ごとの所定期間における「歯磨き回数」を推定する。また、歯磨き状況推定部52は、患者ごとの時系列に沿った慣性センサ検出値および歯磨き時間を、例えば予め機械学習により構築し記憶した機械学習判定モデルと照合することで、歯磨き回数ごとに、患者ごとの「歯磨き方法の適切さ」を推定する。ここでは、歯磨き方法の適切さを表す値として、(0:悪い、1:良い)の2値のうち何れかを推定結果とする。
管理度合い算出部53は、推定で得られた患者ごとの歯磨き回数と歯磨き方法の適切さを表す値とを所定の重み付けで重み付け加算することで、口腔衛生の管理度合いの適切さを表す口腔衛生管理度合いを患者ごとに算出する。
優先度算出提示部54は、患者の携帯端末10の判断部14による判断で得られた患者ごとの口腔対象領域の状態判断結果、および算出された患者ごとの口腔衛生管理度合いを、後述する演算式に適用することで、患者ごとの優先度を算出し、得られた優先度に応じて患者情報を提示する。
図25には、第3実施形態の情報処理装置50により実行される処理に関するフロー図を示し、例えば、ある歯科医師が、自己の情報処理装置20を用いて、診察を希望した患者たち(以下「複数の患者」という)の優先度を算出し、優先度に応じて患者情報を提示させる際に実行される。
まず、歯磨き情報取得部51が、複数の患者それぞれのスマート歯ブラシ60に設けられた慣性センサ(加速度センサ又はジャイロセンサ)による検出で得られた、患者ごとの時系列に沿った慣性センサ検出値(加速度値又はジャイロセンサ値)および歯磨き時間を取得する(ステップS71)。そして、歯磨き状況推定部52が、取得された患者ごとの時系列に沿った慣性センサ検出値を、例えば予め機械学習により構築し記憶した機械学習判定モデルと照合することで、患者ごとの所定期間における歯磨き回数を推定する(ステップS72)とともに、患者ごとの時系列に沿った慣性センサ検出値および歯磨き時間を、例えば予め機械学習により構築し記憶した機械学習判定モデルと照合することで、歯磨き回数ごとに、患者ごとの歯磨き方法の適切さを表す(0:悪い、1:良い)の2値のうち何れかを推定する(ステップS73)。
次に、管理度合い算出部53が、ステップS72、S73で得られた患者ごとの歯磨き回数と歯磨き方法の適切さを表す値とを所定の重み付けで重み付け加算することで、口腔衛生管理度合いを患者ごとに算出する(ステップS74)。
次に、優先度算出提示部54が、ステップS74で算出された患者ごとの口腔衛生管理度合い、および複数の患者の携帯端末10からの患者ごとの口腔対象領域の状態判断結果を取得し(ステップS75)、取得された患者ごとの口腔対象領域の状態判断結果(即ち、患者および口腔対象領域ごとの状態指標Bi,u)および患者ごとの口腔衛生管理度合いCuを、以下の式(1)に適用することで、治療する患者ごとの優先度Auを算出する(ステップS76)。
Figure 2021053175

さらに、優先度算出提示部54は、複数の患者についての患者情報を、優先度Auが高い順に提示する(ステップS77)。
以上説明した第3実施形態によれば、患者のスマート歯ブラシから取得された歯磨き情報(慣性センサ検出値および歯磨き時間)に基づき算出した患者ごとの口腔衛生管理度合い、および、患者の携帯端末からの口腔状態判断結果に基づいて、患者ごとの優先度を適切に算出し、複数の患者についての患者情報を、優先度が高い順に提示することができる。そのため、歯科医師は、患者ごとの口腔衛生管理度合いおよび口腔状態判断結果に基づく適切な優先度に応じて(優先度が高い順に)提示された複数の患者情報を認知することができ、優先すべき患者を的確に把握して患者たちの診察を行うことができる。
なお、上記実施形態では、対象のユーザとして、診察をリクエストした患者たちを想定した例を示したが、対象のユーザは、これに限定されるものではなく、例えば、ある施設の入居者たち等、さまざまなユーザを想定することができる。
また、図24には、情報処理装置50が歯磨き情報をスマート歯ブラシ60から直接取得する例を示したが、情報処理装置50が歯磨き情報をスマート歯ブラシ60から携帯端末10経由で取得する構成を採用してもよい。
[変形例、用語などについて]
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した1つの装置を用いて実現されてもよいし、物理的又は論理的に分離した2つ以上の装置を直接的又は間接的に(例えば、有線、無線などを用いて)接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記1つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知(broadcasting)、通知(notifying)、通信(communicating)、転送(forwarding)、構成(configuring)、再構成(reconfiguring)、割り当て(allocating、mapping)、割り振り(assigning)などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック(構成部)は、送信部(transmitting unit)、送信機(transmitter)と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
例えば、一実施の形態における携帯端末は、本実施形態における処理を行うコンピュータとして機能してもよい。図26は、携帯端末10のハードウェア構成例を示す図である。上述の携帯端末10は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。携帯端末10のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
携帯端末10における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることによって、プロセッサ1001が演算を行い、通信装置1004による通信を制御したり、メモリ1002及びストレージ1003におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)によって構成されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュール、データなどを、ストレージ1003及び通信装置1004の少なくとも一方からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、1つのプロセッサ1001によって実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つによって構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つによって構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及びストレージ1003の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。 また、プロセッサ1001、メモリ1002などの各装置は、情報を通信するためのバス1007によって接続される。バス1007は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
本開示において説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
本開示において説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本開示において、「含む(include)」、「含んでいる(including)」及びそれらの変形が使用されている場合、これらの用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。
本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
本開示において、「AとBが異なる」という用語は、「AとBが互いに異なる」ことを意味してもよい。なお、当該用語は、「AとBがそれぞれCと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
10…携帯端末、11…カメラ、12…抽出部、13…推定部、14…判断部、15…出力部、20、50…情報処理装置、21…歯科医院情報取得部、22…治療能力算出部、23…アラート判定提示部、24…歯科医院提示部、30…訪問情報管理サーバ、40…スキル情報管理サーバ、51…歯磨き情報取得部、52…歯磨き状況推定部、53…管理度合い算出部、54…優先度算出提示部、60…スマート歯ブラシ、1001…プロセッサ、1002…メモリ、1003…ストレージ、1004…通信装置、1005…入力装置、1006…出力装置、1007…バス、M1…記録媒体、m11…メインモジュール、m12…抽出モジュール、m13…推定モジュール、m14…判断モジュール、m15…出力モジュール、P1…口腔状態判断プログラム。

Claims (10)

  1. 口腔領域を撮影するためのカメラと、
    前記カメラによる撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出する抽出部と、
    前記抽出部により抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する推定部と、
    前記推定部による推定で得られた推定結果および所定の基準情報に基づいて口腔対象領域の状態を判断する判断部と、
    前記判断部による判断結果を出力する出力部と、
    を備える携帯端末。
  2. 前記推定部は、前記抽出された口腔対象領域の画像データより得られる歯肉の色、模様および形状に基づいて、口腔対象領域の状態として歯肉の腫れ度合いを推定する、請求項1に記載の携帯端末。
  3. 前記推定部は、前記抽出された口腔対象領域の画像データより得られる歯肉の色、模様および形状に基づいて、口腔対象領域の状態として歯周ポケットの状態を推定する、請求項1又は2に記載の携帯端末。
  4. 前記推定部は、前記口腔対象領域としての歯肉領域を所定基準に基づき分割した複数の領域それぞれについて、前記抽出された口腔対象領域の画像データより得られる歯肉の色、模様および形状に基づいて、口腔対象領域の状態として、歯肉の腫れ度合い又は歯周ポケットの状態を推定し、得られた各領域の推定値に対し所定の重み付けを行うことで前記歯肉の腫れ度合い又は前記歯周ポケットの状態を総合的に推定する、請求項1〜3の何れか一項に記載の携帯端末。
  5. 前記推定部は、前記抽出された口腔対象領域の画像データより得られる、歯の着色状態、歯への付着物有無およびプラーク付着有無に基づいて、口腔対象領域の状態として口腔内の汚れの状態を推定する、請求項1〜4の何れか一項に記載の携帯端末。
  6. 前記推定部は、前記抽出された口腔対象領域の画像データより得られる、出血の有無、鬱血の有無および充血の有無に基づいて、口腔対象領域の状態として歯肉の傷の状態を推定する、請求項1〜5の何れか一項に記載の携帯端末。
  7. 前記判断部は、前記推定部による推定で得られた推定結果から、所定の判断基準に基づいて口腔対象領域の状態を表す状態指標を算出する、
    請求項1〜6の何れか一項に記載の携帯端末。
  8. 歯科医院ごとの、訪問診療可能日時および場所を示す訪問情報、並びにスキルの度合いを示すスキル情報を取得する歯科医院情報取得部と、
    前記歯科医院情報取得部により取得されたスキル情報から所定の算出方法に基づいて歯科医院ごとの治療能力を算出し、取得された訪問情報に基づく前記訪問診療可能日時および場所に対応付けられた歯科医院ごとの治療能力を出力する治療能力算出部と、
    請求項1〜7の何れか一項に記載の携帯端末が備える前記判断部による判断で得られた、ある集団に属するユーザについての口腔対象領域の状態の判断結果に基づいて、所定の基準に照らし集団全体でアラート出力を要するか否かを判定し、要すると判定された場合に当該集団全体に関するアラート情報を提示するアラート判定提示部と、
    予め取得された、前記集団に関する訪問診療希望日時および希望場所と、前記治療能力算出部により出力された前記訪問診療可能日時および場所に対応付けられた歯科医院ごとの治療能力とに基づいて、前記訪問診療希望日時および希望場所に合致する歯科医院を、前記治療能力が高い順に提示する歯科医院提示部と、
    を備える情報処理装置。
  9. 複数のユーザそれぞれの歯ブラシに設けられた慣性センサによる検出で得られる、ユーザごとの時系列に沿った慣性センサ検出値および歯磨き時間を取得する歯磨き情報取得部と、
    前記歯磨き情報取得部により取得されたユーザごとの時系列に沿った慣性センサ検出値および歯磨き時間と予め構築され記憶された機械学習判定モデルとに基づいて、所定期間における歯磨き回数および歯磨き方法の適切さをユーザごとに推定する歯磨き状況推定部と、
    前記歯磨き状況推定部による推定で得られたユーザごとの歯磨き回数および歯磨き方法の適切さに基づいて、口腔衛生の管理度合いの適切さを表す口腔衛生管理度合いをユーザごとに算出する管理度合い算出部と、
    請求項1〜7の何れか一項に記載の携帯端末が備える前記判断部による判断で得られたユーザごとの口腔対象領域の状態の判断結果、および、前記管理度合い算出部により算出されたユーザごとの口腔衛生管理度合いに基づいて、対象とするユーザの優先度を算出し、得られた優先度に応じてユーザ情報を提示する優先度算出提示部と、
    を備える情報処理装置。
  10. 口腔領域を撮影するためのカメラを備えた携帯端末、に設けられたコンピュータを、
    前記カメラによる撮影で得られた口腔領域の画像データから、推定対象となる口腔対象領域の画像データを抽出する抽出部と、
    前記抽出部により抽出された口腔対象領域の画像データに基づいて、口腔対象領域の状態を推定する推定部と、
    前記推定部による推定で得られた推定結果および所定の基準情報に基づいて口腔対象領域の状態を判断する判断部と、
    前記判断部による判断結果を出力する出力部、
    として機能させるための口腔状態判断プログラム。
JP2019179838A 2019-09-30 2019-09-30 携帯端末、情報処理装置および口腔状態判断プログラム Active JP7292676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019179838A JP7292676B2 (ja) 2019-09-30 2019-09-30 携帯端末、情報処理装置および口腔状態判断プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019179838A JP7292676B2 (ja) 2019-09-30 2019-09-30 携帯端末、情報処理装置および口腔状態判断プログラム

Publications (2)

Publication Number Publication Date
JP2021053175A true JP2021053175A (ja) 2021-04-08
JP7292676B2 JP7292676B2 (ja) 2023-06-19

Family

ID=75271744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019179838A Active JP7292676B2 (ja) 2019-09-30 2019-09-30 携帯端末、情報処理装置および口腔状態判断プログラム

Country Status (1)

Country Link
JP (1) JP7292676B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7141163B1 (ja) 2022-07-15 2022-09-22 株式会社スクリエ 酸蝕症検出システム、酸蝕症検出方法及びそのプログラム
WO2024004100A1 (ja) * 2022-06-29 2024-01-04 株式会社スクリエ 口腔内撮影支援システム、口腔内撮影支援方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197197A (ja) * 2000-12-27 2002-07-12 Masterworks:Kk 歯科医院紹介サービス支援システム及びその紹介サービス方法
JP2009183323A (ja) * 2008-02-01 2009-08-20 Satoru Shinpo 歯周疾患検査装置
JP2013078395A (ja) * 2011-09-30 2013-05-02 Advance Co Ltd 歯科用画像処理システム
JP2018198882A (ja) * 2017-05-29 2018-12-20 株式会社ミック 歯磨き支援システム、歯磨き支援方法、歯磨き支援装置、及び、歯磨き支援プログラム
JP2019030587A (ja) * 2017-08-09 2019-02-28 Dicグラフィックス株式会社 歯肉炎検査システム、歯肉炎検査方法及びそのプログラム
JP2019155027A (ja) * 2018-03-16 2019-09-19 株式会社Nttドコモ 口腔疾患診断システム及び口腔疾患診断プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002197197A (ja) * 2000-12-27 2002-07-12 Masterworks:Kk 歯科医院紹介サービス支援システム及びその紹介サービス方法
JP2009183323A (ja) * 2008-02-01 2009-08-20 Satoru Shinpo 歯周疾患検査装置
JP2013078395A (ja) * 2011-09-30 2013-05-02 Advance Co Ltd 歯科用画像処理システム
JP2018198882A (ja) * 2017-05-29 2018-12-20 株式会社ミック 歯磨き支援システム、歯磨き支援方法、歯磨き支援装置、及び、歯磨き支援プログラム
JP2019030587A (ja) * 2017-08-09 2019-02-28 Dicグラフィックス株式会社 歯肉炎検査システム、歯肉炎検査方法及びそのプログラム
JP2019155027A (ja) * 2018-03-16 2019-09-19 株式会社Nttドコモ 口腔疾患診断システム及び口腔疾患診断プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004100A1 (ja) * 2022-06-29 2024-01-04 株式会社スクリエ 口腔内撮影支援システム、口腔内撮影支援方法及びプログラム
JP7141163B1 (ja) 2022-07-15 2022-09-22 株式会社スクリエ 酸蝕症検出システム、酸蝕症検出方法及びそのプログラム
JP2024011949A (ja) * 2022-07-15 2024-01-25 株式会社スクリエ 酸蝕症検出システム、酸蝕症検出方法及びそのプログラム

Also Published As

Publication number Publication date
JP7292676B2 (ja) 2023-06-19

Similar Documents

Publication Publication Date Title
CN105832291B (zh) 牙齿变化的追踪和预测
KR102267197B1 (ko) 디지털 치아 영상에 치아 진료 데이터를 기록 및 표시하는 방법 및 장치
US11450426B2 (en) Tooth virtual editing method and system, computer device, and storage medium
JP2020179173A (ja) 情報処理システム、情報処理方法、及び制御プログラム
JP7220569B2 (ja) 撮像支援装置、スキャナシステム、および撮像支援方法
JP7292676B2 (ja) 携帯端末、情報処理装置および口腔状態判断プログラム
EP4185232A1 (en) Systems, apparatus, and methods for dental care
US20230026220A1 (en) Oral health assessment for generating a dental treatment plan
CN113194872A (zh) 识别装置、扫描仪系统、识别方法以及识别用程序
KR20190012545A (ko) 증강 현실을 이용한 양치 가이드 정보 제공 방법 및 장치
CN107403065A (zh) 牙齿问题的检测方法、装置和服务器
US20240041569A1 (en) Method for analyzing an image of a dental arch
WO2018221444A1 (ja) 歯磨き支援システム、歯磨き支援方法、歯磨き支援装置、及び、歯磨き支援プログラム
WO2023141533A1 (en) Photo-based dental appliance and attachment assessment
JP6585809B1 (ja) 歯状態判定装置及び歯状態判定方法
US20220215547A1 (en) Method for analyzing an image of a dental arch
CA3237854A1 (en) A toothbrush for providing historic brushing performance
JP2019036188A (ja) う蝕予測システム
JP7317171B2 (ja) プログラム、情報処理装置及び情報処理方法
JP7102037B1 (ja) プログラム、情報処理装置及び情報処理方法
CN117242529A (zh) 提供用于临床诊断和处方的诊疗服务的方法及其系统
JP7202729B1 (ja) 歯列矯正アドバイスシステム、歯列矯正アドバイス方法およびそのプログラム
JP2020054646A (ja) 口内状態判定装置、口内状態判定方法及びプログラム
JP7442860B2 (ja) 歯面着色画像データを活用した非対面の歯牙う蝕危険度診断及び口腔管理のためのシステムとその方法
JP2024516688A (ja) 臨床診断及び処方のための診療サービスの提供方法及びそのためのシステム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20191218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230530

R150 Certificate of patent or registration of utility model

Ref document number: 7292676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150