JP2021053174A - 携帯端末および撮影補助プログラム - Google Patents

Abstract

【課題】対象部位を円滑に且つ簡易に撮影する。【解決手段】携帯端末１０は、頭部の少なくとも一部を含む対象部位を撮影するためのカメラ１１と、撮影で得られた画像データに基づく画像を表示するための表示部１２と、撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示（例えば顎の輪郭線など）を、対象部位の画像に重畳させて、表示部１２に表示させる表示制御部１３と、撮影で得られた画像データに基づいて、対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部１４と、を備える。【選択図】図１

Description

本発明は、対象部位の撮影を補助する機能を有する携帯端末および撮影補助プログラムに関する。

従来、ユーザを撮影した撮影画像をそのユーザ自身が確認しながら化粧を施したり、身だしなみを整えたりする場合に利便性の高い画像表示を行う技術が、下記の特許文献１、２に提案されている。

特開２０１５−１７６１８１号公報 特開２０１９−０７２５３１号公報

しかし、時々刻々と得られる撮影画像における対象部位の写り具合い（対象部位の隠れ有無、光量の状況、反射状況、振動の有無など）に応じて、より適切な写り具合いに導くようにユーザ向けにガイダンスを出力することで、ユーザが対象部位を円滑に且つ簡易に撮影するための技術については、未だ改善の余地があった。

本発明は、上記課題を解決するために成されたものであり、対象部位を円滑に且つ簡易に撮影することを目的とする。

本発明の一態様に係る携帯端末は、頭部の少なくとも一部を含む対象部位を撮影するためのカメラと、前記カメラによる撮影で得られた画像データに基づく画像を表示するための表示部と、前記カメラによる撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示を、対象部位の画像に重畳させて、前記表示部に表示させる表示制御部と、前記カメラによる撮影で得られた画像データに基づいて、前記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部と、を備える。

上記の携帯端末では、カメラによって対象部位（例えば、口腔付近、頭部全体など）が撮影されるが、その際、表示制御部によって、ユーザの撮影操作をガイドするためのガイド表示が、対象部位の画像に重畳して表示部に表示される。さらに、ガイダンス制御部は、撮影で得られた画像データに基づいて、上記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力する。このように、ガイド表示のみならず、対象部位の画像の写り具合いに応じたユーザ向けのガイダンスが出力されることで、対象部位を円滑に且つ簡易に撮影することが可能となる。

本発明によれば、対象部位を円滑に且つ簡易に撮影することができる。

第１実施形態の携帯端末の構成を示す機能ブロック図である。 静止画を対象とする撮影補助に係る処理を示すフロー図である。 動画を対象とする撮影補助に係る処理を示すフロー図である。 表示制御部によるガイド表示例を示す図であり、（ａ）は口腔付近を撮影する場合のガイド表示例を示し、（ｂ）は頭部全体を撮影する場合のガイド表示例を示す。 領域判定処理を示すフロー図である。 口腔付近を撮影する場合の領域判定処理におけるガイダンス例を示す図であり、（ａ）は写っている対象領域が基準枠より大きい場合のガイダンス例を示し、（ｂ）は写っている対象領域が基準枠に比べて小さすぎる場合のガイダンス例を示し、（ｃ）は写っている領域が対象領域から外れている場合のガイダンス例を示し、（ｄ）は口腔付近は写っているが歯肉が写っていない場合のガイダンス例を示す。 写っている歯肉領域の面積に基づく判定を説明するための図である。 頭部全体を撮影する場合の領域判定処理におけるガイダンス例を示す図であり、（ａ）は写っている対象領域が基準枠より大きい場合のガイダンス例を示し、（ｂ）は写っている領域が対象領域から外れている場合のガイダンス例を示し、（ｃ）は写っている対象領域が基準枠に比べて小さすぎる場合のガイダンス例を示す。 光量判定処理を示すフロー図である。 反射判定処理を示すフロー図である。 振動判定処理を示すフロー図である。 第２実施形態の携帯端末の構成を示す機能ブロック図である。 口腔領域別疾患の相関関係情報を説明するための図であり、（ａ）は歯肉の腫れに関する相関関係情報の一例を示し、（ｂ）は口腔内のできものに関する相関関係情報の一例を示し、（ｃ）は口腔がんに関する相関関係情報の一例を示す。 第２実施形態の処理を示すフロー図である。 撮影補助プログラムの構成を示す図であり、（ａ）は第１実施形態に係る撮影補助プログラムの構成を示し、（ｂ）は第２実施形態に係る撮影補助プログラムの構成を示す。 携帯端末のハードウェア構成例を示す図である。

以下、図面を参照しながら、本発明に係る各種の実施形態を順に説明する。以下では、まず、第１実施形態として、カメラによる撮影で得られた画像データに基づいて、対象部位の画像の写り具合い（対象部位の隠れ有無、光量、反射、振動など）に応じて、ユーザ向けのガイダンスを出力する携帯端末の基本機能に関する実施形態を説明する。次に、第２実施形態として、カメラによる撮影で得られた口腔領域の画像データから口腔状態を判断し、予め記憶した口腔領域別疾患の相関関係情報を参照して、上記判断で得られたある口腔領域の口腔疾患と相関する別の口腔領域別疾患が有るか否かを判定し、相関する別の口腔領域別疾患が有ると判定された場合に当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する携帯端末の発展的機能に関する実施形態を説明する。

［第１実施形態］
（携帯端末の構成）
図１には、第１実施形態の携帯端末の構成を示す機能ブロック図を示しており、まず、各機能ブロックの概要を説明する。図１に示すように、携帯端末１０は、頭部の少なくとも一部を含む対象部位（例えば、口腔付近、頭部全体など）を撮影するためのカメラ１１と、撮影で得られた画像データに基づく画像を表示するための表示部１２と、撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示（例えば、口腔付近の基準枠、頭部全体をカバーする基準枠、顎のラインに沿った輪郭線など）を対象部位の画像に重畳させて表示部１２に表示させる表示制御部１３と、撮影で得られた画像データに基づいて、対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部１４と、を備える。

このうち、ガイダンス制御部１４は、対象部位の画像の写り具合いが適切か否かを判定する処理として、(1)写っている対象部位の領域が適切か否かを判定する領域判定、(2)画像の光量が適切か否かを判定する光量判定、(3)画像における反射状況が適切か否かを判定する反射判定、および、(4)画像のブレの原因となる振動の有無を判定する振動判定を実行し、何れか判定で適切でないと判定された場合に対象部位を適切に撮影するためのガイダンスを出力する機能を有する。各判定処理の詳細は後述する。

これに伴い、ガイダンス制御部１４は、上記領域判定のために、予め機械学習により構築した歯・歯肉・舌領域判定モデルを記憶した歯・歯肉・舌領域判定モデル記憶部１４Ａと、予め機械学習により構築した顎関節特徴点抽出モデルを記憶した顎関節特徴点抽出モデル記憶部１４Ｂとを内蔵する。また、ガイダンス制御部１４は、上記反射判定のために、予め機械学習により構築した反射判定モデルを記憶した反射判定モデル記憶部１４Ｄを内蔵する。さらに、ガイダンス制御部１４は、上記光量判定のための画像の光量を検出する光量センサ１４Ｃと、上記振動判定のための振動に係る物理量（加速度値又はジャイロセンサ値）を検出する慣性センサ１４Ｅとを内蔵する。なお、慣性センサ１４Ｅは、加速度センサ又はジャイロセンサにより構成され、以降は「慣性センサ」という総称を用いる。

（第１実施形態における処理内容）
本発明は、画像として静止画と動画の両方を対象とする。図２には、静止画を対象とする撮影補助に係る処理を示すフロー図を示し、例えば、口腔内の状態（歯肉の腫れ、歯周ポケット、口腔内の汚れ、歯肉の傷など）をチェックするための写真撮影を行うとき等に実行される。また、図３には、動画を対象とする撮影補助に係る処理を示すフロー図を示し、例えば、顎関節症などをチェックするための動画撮影を行うとき等に実行される。本実施形態では、口腔内の画像として、歯・歯肉の前面の画像のみならず、ユーザが口腔内チェック用のミラー等を用いて、歯・歯肉の後面の画像も撮影（写真撮影・動画撮影）する。以下、図２、図３を順に説明する。

図２に示すように、静止画を対象とする場合は、まず、カメラが起動される（ステップＳ１）。ここで例えば、口腔内の写真撮影を行うとき、表示制御部１３が、ユーザの撮影操作をガイドするために、図４（ａ）に示すような口腔付近の基準枠Ａを、撮影された画像に重畳させて表示部１２に表示させる。そして、後に述べる各種の判定処理対象とされる画像データ（撮影で得られた画像データ）が取得される（ステップＳ２）。本実施形態では、口腔内の画像として、歯・歯肉の前面の画像のみならず、ユーザが口腔内観察用のミラー等を用いて、歯・歯肉の後面の画像を撮影してもよい。

次に、ガイダンス制御部１４が、対象部位の画像の写り具合いが適切か否かを判定する処理として、(1)写っている対象部位の領域が適切か否かを判定する領域判定（ステップＳ３）、(2)画像の光量が適切か否かを判定する光量判定（ステップＳ４）、(3)画像における反射状況が適切か否かを判定する反射判定（ステップＳ５）、および、(4)画像のブレの原因となる振動の有無を判定する振動判定（ステップＳ６）を実行する。なお、これら４つの判定処理は、図面を用いて後に説明する。図２および後述の図３では、４つの判定処理を同時並行で実行する例を示しているが、同時並行で実行することは必須要件ではなく、実行順序は任意の順序でよい。例えば、シーケンシャルに実行してもよいし、最初に領域判定を実行して正常であれば、光量判定、反射判定および振動判定を同時並行で実行してもよい。

図２のステップＳ３〜Ｓ６の判定処理の何れかで正常でないと判定された場合（ステップＳ７でＮＯの場合）は、ステップＳ２へ戻り、次の判定対象となる新たな画像データを取得してステップＳ３〜Ｓ６の判定処理を再度実行する。

一方、図２のステップＳ３〜Ｓ６の判定処理全てで正常であると判定された場合（ステップＳ７でＹＥＳの場合）は、自動的にカメラ１１のシャッターが作動して写真撮影が行われる（ステップＳ８）。撮影で得られた画像データは取り込まれて、図２の処理を終了する。

図３に示すように、動画を対象とする場合は、まず、カメラが起動される（ステップＳ１）。ここで例えば、顎関節症チェック用の動画撮影を行うとき、表示制御部１３が、ユーザの撮影操作をガイドするために、図４（ｂ）に示すような頭部のライン（特に顎のライン）に沿った基準枠Ｂを、撮影された画像に重畳させて表示部１２に表示させる。そして、前述した図２と同様に、後に述べる各種の判定処理対象とされる画像データ（撮影で得られた画像データ）が取得され（ステップＳ２）、ガイダンス制御部１４が、対象部位の画像の写り具合いが適切か否かを判定する処理として、(1)写っている対象部位の領域が適切か否かを判定する領域判定（ステップＳ３）、(2)画像の光量が適切か否かを判定する光量判定（ステップＳ４）、(3)画像における反射状況が適切か否かを判定する反射判定（ステップＳ５）、および、(4)画像のブレの原因となる振動の有無を判定する振動判定（ステップＳ６）を実行する。

図３のステップＳ３〜Ｓ６の判定処理の何れかで正常でないと判定された場合（ステップＳ７でＮＯの場合）は、ステップＳ２へ戻り、次の判定対象となる新たな画像データを取得してステップＳ３〜Ｓ６の判定処理を再度実行する。

一方、図３のステップＳ３〜Ｓ６の判定処理全てで正常であると判定された場合（ステップＳ７でＹＥＳの場合）は、自動的にカメラ１１による動画撮影が開始され（ステップＳ９）、動画撮影で得られた時系列的な画像データ（正常と判定された画像データ以降の一連のフレーム）が取り込まれる。その後は、停止操作がされるまで、予め定められたＮ秒ごとにステップＳ２へ戻って、新たな画像データの取得と、取得された画像データを対象とするステップＳ３〜Ｓ７の判定処理を繰り返す。このようにＮ秒ごとにステップＳ３〜Ｓ７の判定処理を繰り返すことで、動画撮影で得られる画像データの品質を高く維持することができる。そして、停止操作がされた時点で、図３の処理を終了する。

（図２、図３のステップＳ３〜Ｓ６の判定処理の詳細）
図５に、ステップＳ３の領域判定の処理フローを示す。ガイダンス制御部１４は、写っている対象部位の領域が適切か否かを判定する領域判定を行う（ステップＳ３１）。ここでは、一例として、ガイダンス制御部１４は、歯・歯肉・舌領域判定モデル記憶部１４Ａから、予め機械学習により構築した歯・歯肉・舌領域判定モデルを読み出し、対象部位の画像データを当該モデルと照合することで、歯領域・歯肉領域・舌領域をそれぞれ抽出して対象部位の領域が適切か否かを判定する。また、顎関節症チェック用の動画撮影を行う場合等では、ガイダンス制御部１４は、顎関節特徴点抽出モデル記憶部１４Ｂから、予め機械学習により構築した顎関節特徴点抽出モデルを読み出し、対象部位の画像データを当該モデルと照合することで、顎関節特徴点を抽出して対象部位の領域が適切か否かを判定する。

ここで、対象部位の領域が正常に写っており適切である場合（ステップＳ３２でＹＥＳの場合）は、そのまま図２、図３のメイン処理へリターンする。一方、対象部位の領域が正常に写っておらず適切でない場合（ステップＳ３２でＮＯの場合）は、ガイダンス制御部１４は、後述する例に示すように、不具合状況を推定して（ステップＳ３３）、以下に説明するような不具合状況に応じたガイダンスを出力する（ステップＳ３４）。

例えば、口腔付近を撮影するケースでは、図６（ａ）のように写っている対象領域が基準枠Ａより大きい場合、領域が正常に写っておらず適切でないと判定されて、「対象領域が基準枠より大きい」という不具合状況が推定され、「カメラから離れてください」というガイダンスが音声出力又は画面表示される。これにより、ユーザはカメラから離れることで、写っている対象領域が基準枠内に収まるように導くことができる。

また、図６（ｂ）のように写っている対象領域が基準枠Ａより小さすぎる場合、領域が正常に写っておらず適切でないと判定されて、「対象領域が基準枠より小さすぎる」という不具合状況が推定され、「カメラに近寄ってください」というガイダンスが音声出力又は画面表示される。これにより、ユーザはカメラに近寄ることで、写っている対象領域が大きくなり、基準枠内に適度な大きさで収まるように導くことができる。ここで、図７を参照して、対象領域が基準枠Ａより小さすぎるか否かの判定について説明する。領域判定では、対象部位の画像データを歯・歯肉・舌領域判定モデルと照合することで歯肉領域を抽出し、得られた歯肉領域の面積が、予め定められた基準枠内面積に対し所定の閾値（例えばＸ％）以下か否かによって、対象領域が基準枠Ａより小さすぎるか否かを判定する。図７の左の例は、抽出された歯肉領域の面積が基準枠内面積に対し閾値より広いため、対象領域が基準枠Ａより小さすぎることはなく、領域が正常に写っており適切であると判定される。一方、図７の右の例は、抽出された歯肉領域の面積が基準枠内面積に対し閾値以下であるため、対象領域が基準枠Ａより小さすぎる状況にあり、領域が正常に写っておらず適切でないと判定される。このように、対象領域が基準枠Ａより小さすぎる場合に、領域が正常に写っておらず適切でないと判定するのは、抽出された領域の面積が小さいと、解析対象となる画像のピクセル数が少なくなり、画像解析の精度等の劣化を招くおそれがあるためである。

また、図６（ｃ）のように写っている領域が対象領域（口腔付近）よりも上の方に外れている場合、領域が正常に写っておらず適切でないと判定されて、「口腔より上の部位が写っている」という不具合状況が推定され、「カメラを下に下げてください」というガイダンスが音声出力又は画面表示される。これにより、ユーザはカメラを下に下げることで、対象領域（口腔付近）が正常に写るように導くことができる。

さらに、図６（ｄ）のように基準枠Ａの内側に口腔付近は写っているが歯肉が写っていない場合、領域が正常に写っておらず適切でないと判定されて、「歯肉が写っていない」という不具合状況が推定され、「歯肉を写すために、指で唇を上げる又は下げる動作をしてください」というガイダンスが音声出力又は画面表示される。これにより、ユーザは指で唇を上げる又は下げる動作を行うことで、歯肉が正常に写るように導くことができる。

次に、例えば、顎関節症チェック用の動画撮影を行うケースでは、図８（ａ）のように写っている対象領域（頭部全体）が基準枠Ｂより大きい場合、領域が正常に写っておらず適切でないと判定されて、「対象領域が基準枠より大きい」という不具合状況が推定され、「カメラから離れてください」というガイダンスが音声出力又は画面表示される。これにより、ユーザはカメラから離れることで、写っている対象領域が基準枠内に収まるように導くことができる。

また、図８（ｂ）のように写っている領域が対象領域から左にずれている場合、領域が正常に写っておらず適切でないと判定されて、「頭部から左にずれた部位が写っている」という不具合状況が推定され、「体を左に移動してください」というガイダンスが音声出力又は画面表示される。これにより、ユーザは体を左に移動させることで、対象領域（頭部全体）が正常に写るように導くことができる。

さらに、図８（ｃ）のように写っている対象領域が基準枠Ｂより小さすぎる場合、領域が正常に写っておらず適切でないと判定されて、「対象領域が基準枠より小さすぎる」という不具合状況が推定され、「カメラに近寄ってください」というガイダンスが音声出力又は画面表示される。これにより、ユーザはカメラに近寄ることで、写っている対象領域が大きくなり、基準枠内に適度な大きさで収まるように導くことができる。ここでの、対象領域が基準枠Ｂより小さすぎるか否かの判定については、図７を用いて前述した方法と同様である。

次に、図９には、図２および図３のステップＳ４の光量判定の処理フローを示す。ガイダンス制御部１４は、対象部位の画像データから、光量センサ１４Ｃによって対象部位の画像の光量を検出して光量検出値を取得し（ステップＳ４１）、光量検出値が予め定められた下限閾値以上で且つ予め定められた上限閾値以下の範囲（以下「閾値範囲」という）にあるか否かを判定する（ステップＳ４２）。

ここで、光量検出値が閾値範囲にある場合（ステップＳ４２でＹＥＳの場合）は、対象部位の画像の光量は適切であると判断できるため、そのまま図２、図３のメイン処理へリターンする。一方、光量検出値が閾値範囲にない場合（ステップＳ４２でＮＯの場合）は、対象部位の画像の光量は適切でないと判断できるため、ガイダンス制御部１４は、後述する例に示すような、閾値範囲からのずれに応じたガイダンスを出力（音声出力又はメッセージ表示）する（ステップＳ４３）。

例えば、光量検出値が上限閾値を超える場合は、画像の光量が多すぎるため、例えば「周囲の光が強すぎるようです。撮影場所の照明器具を少し暗く設定してください。」というガイダンス、「口腔内に光が当たりすぎているようです。少し暗い場所に移動してください。」というガイダンスなどを出力することで、画像の光量が閾値範囲に収まるように導く。

一方、光量検出値が下限閾値を下回る場合は、画像の光量が少なすぎるため、例えば「周囲の光が弱すぎるようです。撮影場所の照明器具を少し明るく設定してください。」というガイダンス、「口腔内に当たる光が少し弱いようです。少し明るい場所に移動してください。」というガイダンスなどを出力することで、画像の光量が閾値範囲に収まるように導く。

次に、図１０には、図２および図３のステップＳ５の反射判定の処理フローを示す。ガイダンス制御部１４は、写っている対象部位の画像の反射が有るか否かを判定する反射判定を行う（ステップＳ５１）。ここでは、一例として、ガイダンス制御部１４は、反射判定モデル記憶部１４Ｄから、予め機械学習により構築した反射判定モデルを読み出し、対象部位の画像データを当該モデルと照合することで、写っている対象部位の画像の反射が有るか否かを判定する。

ここで、反射が無いと判定された場合（ステップＳ５２でＹＥＳの場合）は、そのまま図２、図３のメイン処理へリターンする。一方、反射が有ると判定された場合（ステップＳ５２でＮＯの場合）、ガイダンス制御部１４は、後述する反射を無くすためのガイダンスを出力（音声出力又はメッセージ表示）する（ステップＳ５３）。例えば、ステップＳ５３では、「口腔内に光が当たりすぎているようです。撮影場所の照明器具を少し暗く設定してください。」というガイダンス、「口腔内で反射が見られます。お口の中の唾液をできる限り乾かして再度撮影してください。」というガイダンスなどを出力することで、反射を無くすように導く。

次に、図１１には、図２および図３のステップＳ６の振動判定の処理フローを示す。ガイダンス制御部１４は、慣性センサ１４Ｅによって慣性センサ検出値（ここでは加速度値又はジャイロセンサ値）を取得し（ステップＳ６１）、得られた検出値が予め定められた閾値以下であるか否かを判定する（ステップＳ６２）。

ここで、慣性センサ検出値が閾値以下である場合（ステップＳ６２でＹＥＳの場合）は、振動は無いと判断できるため、そのまま図２、図３のメイン処理へリターンする。一方、慣性センサ検出値が閾値を超える場合（ステップＳ６２でＮＯの場合）は、振動が有ると判断できるため、ガイダンス制御部１４は、後述する振動を減らすためのガイダンスを出力（音声出力又はメッセージ表示）する（ステップＳ６３）。例えば、ステップＳ６３では、「手ブレ等でうまく撮影ができませんでした。携帯端末をできる限り動かさずに、再度撮影してください。」というガイダンスなどを出力することで、振動を減らして正常な状態で再度撮影するように導く。

以上説明した第１実施形態によれば、対象部位の画像の写り具合いに応じたユーザ向けのガイダンスが出力されることで、対象部位を円滑に且つ簡易に撮影することができる。

特に、図２、図３の処理でステップＳ３の「領域判定」を実行することで、予め機械学習により構築し記憶した対象部位の画像の領域判定モデルに基づいて、写っている領域の適否を判定し、適切でない場合は写っている領域が所定の領域となるように導く（即ち、対象部位の領域を適切に撮影する）ためのガイダンスを出力することができ、領域の観点で適切に対象部位を撮影できるように導くことができる。

また、図２、図３の処理でステップＳ４の「光量判定」を実行することで、対象部位の画像の光量を検出し、検出された光量が所定の範囲内でない場合に画像の光量を所定の範囲内に収めるためのガイダンスを出力することができ、画像の光量の観点で適切に対象部位を撮影できるように導くことができる。

また、図２、図３の処理でステップＳ５の「反射判定」を実行することで、予め機械学習により構築し記憶した対象部位の画像の反射判定モデルに基づいて、対象部位の画像における反射の有無を判定し、反射が有る場合に当該反射を無くすためのガイダンスを出力することができ、画像の反射の観点で適切に対象部位を撮影できるように導くことができる。

また、図２、図３の処理でステップＳ６の「振動判定」を実行することで、慣性センサにより加速度値又はジャイロセンサ値を検出し、得られた検出値が所定の閾値を超える場合に振動有りと判定して、振動を減らすためのガイダンスを出力することができ、振動の観点で適切に対象部位を撮影できるように導くことができる。

なお、上記実施形態では、領域判定、光量判定、反射判定、振動判定の計４つの判定を全て実行する例を示したが、これら４つを全て実行することは必須要件ではなく、これら４つのうち１つを実行してもよいし、２つ又は３つを実行してもよい。

［第２実施形態］
次に、第２実施形態として、カメラによる撮影で得られた口腔領域の画像データから口腔状態を判断し、予め記憶した口腔領域別疾患の相関関係情報を参照して、上記判断で得られたある口腔領域の口腔疾患と相関する別の口腔領域別疾患が有るか否かを判定し、相関する別の口腔領域別疾患が有ると判定された場合に当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する携帯端末の発展的機能に関する実施形態を説明する。なお、「口腔状態」とは、口腔内部の状態のみならず、口腔の動作に影響する顎関節等の状態も広く含む。

（携帯端末の構成）
図１２には、第２実施形態の携帯端末１０Ｓの構成を示す機能ブロック図を示しており、この図１２に示すように、携帯端末１０Ｓは、第１実施形態と同様の機能を有する、カメラ１１、表示部１２、表示制御部１３およびガイダンス制御部１４に加え、口腔状態判断部１５と相関判定部１６とを備える。口腔状態判断部１５は、カメラ１１による撮影で得られた口腔領域の画像データから口腔状態を判断する機能を有する。この口腔状態判断機能の一例は後述する。相関判定部１６は、予め記憶した口腔領域別疾患の相関関係情報を参照し、口腔状態判断部１５による判断で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する機能を有する。さらに、第２実施形態におけるガイダンス制御部１４は、相関判定部１６により相関する別の口腔領域別疾患が有ると判定された場合に当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する機能を有する。

上記の口腔領域別疾患の相関関係情報としては、例えば、図１３（ａ）に示す「左前歯の領域に歯肉の腫れがある場合、右奥歯にも腫れがある」という情報、図１３（ｂ）に示す「舌の右側面にできものがある場合、右側の頬粘膜にもできものがある」という情報などが挙げられる。また、図１３（ｃ）には、口腔がんの例として、「疾患箇所が「舌」の場合、別の口腔領域として「口底」の撮影を促すガイダンスを出力すべきとする情報」、「疾患箇所が「舌」の場合、別の口腔領域として「歯肉」の撮影を促すガイダンスを出力すべきとする情報」、「疾患箇所が「口底」の場合、別の口腔領域として「歯肉」の撮影を促すガイダンスを出力すべきとする情報」が例示されている。

（第２実施形態の処理内容）
図１４に示す第２実施形態の処理は、口腔付近の写真撮影が行われた後、実行される。まず、図１４のステップＳ７０では、口腔状態判断部１５が、撮影で得られた口腔領域の画像データおよび所定の基準情報（例えば、予め定めた基準値、過去の判断結果の情報など）に基づいて、口腔状態を判断するための口腔状態判断処理を実行する。この口腔状態判断処理の一例として、歯肉の腫れを対象とした処理が挙げられる。同処理では、例えば、撮影で得られた口腔領域の画像データを歯・歯肉・舌領域判定モデルと照合することで歯肉領域の画像データを抽出し、抽出された歯肉領域の画像データを、予め歯肉の腫れレベルごとに色・模様・形状を機械学習させて構築した歯肉の腫れ推定（色・模様・形状）モデルと照合することで、撮影で得られた口腔領域における歯肉の腫れ箇所・度合いを判定する。その際、判定対象となる歯肉領域を、歯からの距離に応じて複数の領域に分割して、分割領域ごとに歯肉の腫れ箇所・度合いを判定し、さらに、歯に近い分割領域ほど重み係数が高くなるように設定された重み係数に基づく重み付けをして、腫れ箇所・度合いを算出してもよい。また、歯肉の腫れには時系列的な進行性が有るため、今回の腫れ箇所・度合い判定結果を予め記憶した過去の腫れ箇所・度合い判定結果と比較することで腫れ度合い差分を算出してもよい。以上のようにして得られた腫れ箇所・度合い又は腫れ度合い差分を、例えば予め定めた基準値と比較することで、口腔領域別疾患の存在を判断することができ、存在すると判断された口腔領域別疾患の情報が得られる。なお、口腔状態判断処理の別の例としては、歯周ポケットを対象とした処理、口腔内の汚れを対象とした処理、歯肉の傷を対象とした処理などが挙げられる。

次に、相関判定部１６は、予め記憶した口腔領域別疾患の相関関係情報を参照して、ステップＳ７０で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する（ステップＳ８０）。ここで、相関する別の口腔領域別疾患が有ると判定された場合、ガイダンス制御部１４は、当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する（ステップＳ８１）。例えば、図１３（ａ）に示す情報例によれば、「左前歯の領域の歯肉の腫れ」に相関する別の口腔領域別疾患として「右奥歯の腫れ」が有ると判定され、ガイダンス制御部１４は、右奥歯の領域の撮影を促すガイダンスとして「右奥歯の領域にも腫れが有るおそれが有るため、右奥歯の領域を再度撮影してください。」といったガイダンスを出力する。

ガイダンス出力後に、ユーザ判断で再度の撮影が実施されない場合（ステップＳ８２でＮＯの場合）は、そのまま図１４の処理を終了するが、ユーザ判断で再度の撮影が実施される場合（ステップＳ８２でＹＥＳの場合）は、撮影を促された領域を再度撮影するための、第１実施形態で述べた撮影処理（図２、図３）が再度実施される（ステップＳ８３）。

以上説明した第２実施形態によれば、一度目の撮影で口腔領域別疾患が発見された場合に、発見された口腔領域別疾患と相関する別の口腔領域別疾患の有無を判定して、相関する別の口腔領域別疾患が有る場合に別の口腔領域別疾患の領域の撮影を促すガイダンスを出力することで、一度目の撮影箇所以外に存在しうる別の口腔領域別疾患の見逃しを未然に防止することができる。このような第２実施形態の技術は、例えば口腔がん等の口腔疾患のスクリーニングに活用することができる。

［撮影補助プログラムについて］
次に、コンピュータを、第１、第２実施形態の携帯端末が有する機能を実現するための撮影補助プログラムについて説明する。

図１５（ａ）は、第１実施形態の携帯端末１０が有する機能を実現するための撮影補助プログラムＰ１の構成を示す図である。撮影補助プログラムＰ１は、携帯端末１０の機能に係る処理を統括的に制御するメインモジュールｍ１１、表示モジュールｍ１２、表示制御モジュールｍ１３、およびガイダンス制御モジュールｍ１４を備える。そして、上記のモジュールｍ１２〜ｍ１４により、携帯端末１０における表示部１２、表示制御部１３、およびガイダンス制御部１４のための各機能が実現される。

図１５（ｂ）は、第２実施形態の携帯端末１０Ｓが有する機能を実現するための撮影補助プログラムＰ１Ｓの構成を示す図である。撮影補助プログラムＰ１Ｓは、携帯端末１０Ｓの機能に係る処理を統括的に制御するメインモジュールｍ１１、表示モジュールｍ１２、表示制御モジュールｍ１３、ガイダンス制御モジュールｍ１４、口腔状態判断モジュールｍ１５、および相関判定モジュールｍ１６を備える。そして、上記のモジュールｍ１２〜ｍ１６により、携帯端末１０Ｓにおける表示部１２、表示制御部１３、ガイダンス制御部１４、口腔状態判断部１５、および相関判定部１６のための各機能が実現される。

なお、上記の撮影補助プログラムＰ１、Ｐ１Ｓは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１５（ａ）、図１５（ｂ）に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

［変形例、用語などについて］
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）、送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、一実施の形態における携帯端末は、本実施形態における処理を行うコンピュータとして機能してもよい。図１６は、第１実施形態に係る携帯端末１０のハードウェア構成例を示す図である。上述の携帯端末１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。なお、第２実施形態に係る携帯端末１０Ｓについても同様である。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。携帯端末１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

携帯端末１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。 また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０、１０Ｓ…携帯端末、１１…カメラ、１２…表示部、１３…表示制御部、１４…ガイダンス制御部、１４Ａ…歯・歯肉・舌領域判定モデル記憶部、１４Ｂ…顎関節特徴点抽出モデル記憶部、１４Ｃ…光量センサ、１４Ｄ…反射判定モデル記憶部、１４Ｅ…慣性センサ、１５…口腔状態判断部、１６…相関判定部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス、Ｍ１…記録媒体、ｍ１１…メインモジュール、ｍ１２…表示モジュール、ｍ１３…表示制御モジュール、ｍ１４…ガイダンス制御モジュール、ｍ１５…口腔状態判断モジュール、ｍ１６…相関判定モジュール、Ｐ１、Ｐ１Ｓ…撮影補助プログラム。

Claims (7)

1. 頭部の少なくとも一部を含む対象部位を撮影するためのカメラと、
   前記カメラによる撮影で得られた画像データに基づく画像を表示するための表示部と、
   前記カメラによる撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示を対象部位の画像に重畳させて、前記表示部に表示させる表示制御部と、
   前記カメラによる撮影で得られた画像データに基づいて、前記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部と、
   を備える携帯端末。
2. 前記ガイダンス制御部は、
   予め機械学習により構築し記憶した対象部位の画像の領域判定モデルに基づいて、前記対象部位の画像の写り具合いとして、写っている領域の適否を判定し、適切でない場合は、写っている領域が所定の領域となるように導くためのガイダンスを出力する、
   請求項１に記載の携帯端末。
3. 前記ガイダンス制御部は、
   前記対象部位の画像の写り具合いとして、前記対象部位の画像の光量を検出し、前記対象部位の画像の光量が所定の範囲内でない場合は前記対象部位の画像の光量を前記所定の範囲内に収めるためのガイダンスを出力する、
   請求項１又は２に記載の携帯端末。
4. 前記ガイダンス制御部は、
   予め機械学習により構築し記憶した対象部位の画像の反射判定モデルに基づいて、前記対象部位の画像の写り具合いとして、前記対象部位の画像における反射の有無を判定し、反射が有る場合は当該反射を無くすためのガイダンスを出力する、
   請求項１〜３の何れか一項に記載の携帯端末。
5. 前記ガイダンス制御部は、
   前記対象部位の画像の写り具合いとして、慣性センサにより加速度値又はジャイロセンサ値を検出し、得られた検出値が所定の閾値を超える場合は振動有りと判定して振動を減らすためのガイダンスを出力する、
   請求項１〜４の何れか一項に記載の携帯端末。
6. 前記カメラによる撮影で得られた口腔領域の画像データ、および、所定の基準情報に基づいて、口腔状態を判断する口腔状態判断部と、
   予め記憶した口腔領域別疾患の相関関係情報を参照し、前記口腔状態判断部による判断で得られた口腔領域別疾患と相関する別の口腔領域別疾患が有るか否かを判定する相関判定部と、
   をさらに備え、
   前記相関判定部により前記相関する別の口腔領域別疾患が有ると判定された場合、前記ガイダンス制御部は、当該別の口腔領域別疾患の口腔領域の撮影を促すガイダンスを出力する、
   請求項１〜５の何れか一項に記載の携帯端末。
7. 頭部の少なくとも一部を含む対象部位を撮影するためのカメラを備えた携帯端末、に設けられたコンピュータを、
   前記カメラによる撮影で得られた画像データに基づく画像を表示するための表示部と、
   前記カメラによる撮影で得られた画像データに基づいて、ユーザの撮影操作をガイドするためのガイド表示を、対象部位の画像に重畳させて、前記表示部に表示させる表示制御部と、
   前記カメラによる撮影で得られた画像データに基づいて、前記対象部位の画像の写り具合いに応じて、ユーザ向けのガイダンスを出力するガイダンス制御部、
   として機能させるための撮影補助プログラム。
   

Images