JP2020058710A - 舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラム - Google Patents

Abstract

【課題】被験者の口腔内の状態の判定に適した画像を取得することができる舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムを提供する。【解決手段】舌体画像処理方法は、被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影ステップと、被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定ステップとを備え、前記解像度設定ステップにおいて設定される解像度の画素サイズは、前記撮影ステップにおいて撮影される画像に含まれる舌体の糸状乳頭の直径より大きい。【選択図】図１

Description

本発明は、舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムに関する。

特許文献１には、経験の浅いユーザが健康度の診断に用いられる画像を取得するための器官画像撮影装置が記載されている。特許文献１に記載された器官画像撮影装置は、撮像部と表示部と情報抽出部とを備える。撮像部は、生体の器官を撮影して画像を取得する。表示部は、器官の撮影位置を規定するための指標を画像とともに表示する。情報抽出部は、撮影によって取得され、指標によって規定される範囲内の画像から、生体の健康度の診断に必要な情報を抽出する。
ところで、特許文献１には、撮影画像の解像度の一例として４００×４００画素が記載されているものの、特許文献１に記載された技術では、診断に用いられる画像の解像度をどのように設定すれば、診断に用いられる画像が診断に適した画像になるかについて十分に検討されていない。そのため、特許文献１に記載された技術によっては、診断に用いられる画像の解像度を適切に設定することができず、診断に適した画像を取得することができない。

特許文献２には、撮影時期が異なっても生体の器官を同じような状態で撮影する器官画像撮影装置が記載されている。特許文献２に記載された器官画像撮影装置は、撮像部と表示部と情報抽出部とを備える。特許文献２に記載された技術では、撮像部が生体の器官を含む撮影対象を撮影し、情報抽出部が撮影対象の画像から診断に必要な情報を抽出し、表示部が、器官の撮影位置を規定する枠線を、撮影によって取得される画像とともに表示する。
特許文献２には、撮像素子の解像度の一例として、１０００万画素が記載されている。特許文献２に記載された技術では、ある領域の画像の解像度を他の領域の画像の解像度より低下させた劣化画像が得られる。
ところで、特許文献２に記載された技術では、診断対象領域以外の領域の画像の画質を劣化させる劣化処理が行われるものの、診断対象領域の画像の画質を劣化させる処理は行われない。また、特許文献２に記載された技術では、診断対象領域の画像の解像度をどのように設定すれば、診断対象領域の画像を適切に取得できるかについて十分に検討されていない。そのため、特許文献２に記載された技術によっては、診断対象領域の画像の解像度を適切に設定することができず、適切な診断対象領域の画像を取得することができない。

舌や歯ぐきなど口腔内の健康状態は、全身健康にも影響している。例えば、東洋医学において舌は、免疫や血液循環、自律神経のバランスなどを反映していると言われている。また、歯ぐきの腫れは歯周病の初期症状であり、歯周病が糖尿病・狭心症・心筋梗塞・脳梗塞・早産などの全身疾患を引き起こす可能性があると報告されている。このような口腔内の健康状態を専門の医師ではなく、手軽にセルフチェックし、かつデータを蓄積することでいち早く健康状態の変化に気付くことができ、個人の健康を維持することが可能となる。

国際公開第２０１６／０７６０５９号 国際公開第２０１５／０３７３１６号

上述した点に鑑み、本発明は、被験者の口腔内の状態の判定に適した画像を取得することができる舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムを提供することを目的とする。

本発明者等は、鋭意研究において、被験者の口腔内の状態の判定に用いられる静止画像の解像度が高すぎると、被験者の口腔内の状態の判定精度が低下することを見い出した。
つまり、本発明者等は、被験者の口腔内の状態の判定に用いられる静止画像の解像度が高い値に設定されている場合に、被験者の口腔内の状態の判定精度が最も高くなるのではなく、被験者の口腔内の状態の判定に用いられる静止画像の解像度がその値より低い値に設定されている場合に、被験者の口腔内の状態の判定精度が最も高くなることを見い出したのである。
詳細には、本発明者等は、鋭意研究において、個人で手軽にセルフチェックを行う手段として、自撮りした口腔内画像を活用し、手軽に自身の口内環境や健康状態を判断するシステムを開発した。さらに、本発明者等は、口腔内画像、とりわけ舌の画像においては、被験者の口腔内の状態の判定に用いられる画像の画質を特定範囲に調整することによって、口内環境や健康状態の判定精度が向上することを見い出した。

本発明の一態様の舌体画像処理方法は、被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影ステップと、被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定ステップとを備える舌体画像処理方法であって、前記解像度設定ステップにおいて設定される解像度の画素サイズは、前記撮影ステップにおいて撮影される画像に含まれる舌体の糸状乳頭の直径より大きい。

本発明の一態様の舌体画像処理方法では、被験者の口腔内の状態の判定に用いられる静止画像は、前記撮影ステップにおいて撮影される動画像からキャプチャーされる静止画像であってもよい。

本発明の一態様の舌体画像処理方法では、前記撮影ステップにおいて撮影される動画像からキャプチャーされる静止画像の画素数が１万画素以上に設定されてもよい。

本発明の一態様の舌体画像処理方法では、前記撮影ステップにおいて撮影される画像は、被験者の呼気中の不快臭気成分の含有レベルの推定に用いられてもよい。

本発明の一態様の呼気中不快臭気成分含有レベル推定方法は、前記撮影ステップでは、被験者の舌体の判定部位を含む画像が撮影され、前記撮影ステップにおいて撮影された画像に含まれる舌体の判定部位の色味（赤みの強さ）と、舌体の判定部位の色味（赤みの強さ）と呼気中の不快臭気成分の含有レベルとの関係とに基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する推定ステップを備える。

本発明の一態様の呼気中不快臭気成分含有レベル推定方法では、前記撮影ステップにおいて撮影される画像に含まれる舌体の判定部位の面積と舌中部位の面積との比が、０．３以上、１．８以下であってもよい。

本発明の一態様の呼気中不快臭気成分含有レベル推定方法では、舌体位置合わせ用ガイド枠と被験者の舌体の判定部位とが表示される表示部を備える舌体画像処理装置によって、被験者の舌体の判定部位を含む画像が撮影され、前記舌体位置合わせ用ガイド枠は、前記舌体画像処理装置によって撮影される画像に含まれる舌体の判定部位の面積と舌中部位の面積との比が０．３以上、１．８以下になるように、前記表示部に表示されてもよい。

本発明の一態様の呼気中不快臭気成分含有レベル推定方法では、被験者の舌体の判定部位の赤みが弱いほど、被験者の呼気中の不快臭気成分の含有レベルが高いと推定してもよい。

本発明の一態様の舌体画像処理装置は、被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影部と、被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定部とを備え、前記解像度設定部によって設定される解像度の画素サイズは、前記撮影部によって撮影される画像に含まれる舌体の糸状乳頭の直径より大きい。

本発明の一態様のプログラムは、コンピュータに、被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影ステップと、被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定ステップとを実行させるためのプログラムであって、前記解像度設定ステップにおいて設定される解像度の画素サイズは、前記撮影ステップにおいて撮影される画像に含まれる舌体の糸状乳頭の直径より大きい。

本発明によれば、被験者の口腔内の状態の判定に適した画像を取得することができる舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムを提供することができる。

第１実施形態の舌体画像処理装置の一例を示す図である。 静止画像の解像度が高すぎると被験者の口腔内の状態の判定精度が低下する理由を説明するための図である。 推定部による推定に用いられる舌体の判定部位の色味（赤みの強さ）と呼気中の不快臭気成分の含有レベルとの関係を示す図である。 図１に示す舌体画像処理装置の一例を示す図である。 舌体画像処理装置の撮影部によって撮影された被験者の舌体を含む画像を示す図である。 第１実施形態の舌体画像処理装置によって実行される処理の一例を示すフローチャートである。 第２実施形態の舌体画像処理装置によって実行される処理の一例を示すフローチャートである。

以下、図面を参照し、本発明の舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムの実施形態について説明する。
なお、以下の各図面においては、各構成要素を見やすくするため、構成要素によって寸法の縮尺を異ならせて示すことがある。

＜第１実施形態＞
図１は第１実施形態の舌体画像処理装置Ａの一例を示す図である。
図１に示す例では、舌体画像処理装置Ａが、例えば、被験者によって携帯されるスマートフォンなどのような携帯端末装置である。舌体画像処理装置Ａには、被験者の口腔内の状態を判定するためのアプリケーション（詳細には、被験者の呼気中の不快臭気成分の含有レベルを推定するためのアプリケーション）がインストールされている。舌体画像処理装置Ａは、撮影部Ａ１と、表示部Ａ２と、制御部Ａ３と、操作部Ａ４とを備えている。
撮影部Ａ１は、例えば、スマートフォンに内蔵されているカメラである。撮影部Ａ１は、被験者の舌体を含む画像（詳細には、被験者の舌体の判定部位を含む画像）などを撮影する。撮影部Ａ１は、動画像撮影モードと、静止画像撮影モードとを備えている。

図１に示す例では、撮影部Ａ１が、動画像撮影モードと、静止画像撮影モードとを備えているが、他の例では、撮影部Ａ１が、動画像撮影モードのみを備えており、静止画像撮影モードを備えていなくてもよい。

図１に示す例では、撮影部Ａ１によって撮影された被験者の舌体を含む画像が、被験者の口腔内の状態の判定（被験者の呼気中の不快臭気成分の含有レベルの推定）に用いられる。
表示部Ａ２は、例えば、スマートフォンに搭載されているモニターである。表示部Ａ２は、撮影部Ａ１によって撮影された被験者の舌体を含む画像などを表示する。
制御部Ａ３は、撮影部Ａ１および表示部Ａ２の制御などを行う。制御部Ａ３は、解像度設定部Ａ３１と、呼気中不快臭気成分含有レベル推定部１００とを備えている。
解像度設定部Ａ３１は、被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する。詳細には、被験者の口腔内の状態を判定するための画像が撮影部Ａ１によって撮影されると、解像度設定部Ａ３１は、被験者などによる入力操作がなくても、撮影部Ａ１によって撮影され、被験者の口腔内の状態の判定に用いられる画像（詳細には、静止画像）の解像度を、被験者の口腔内の状態の判定に適した解像度に設定する。

本発明者等は、鋭意研究において、被験者の口腔内の状態の判定に用いられる静止画像の解像度が高すぎると、被験者の口腔内の状態の判定精度が低下することを見い出した。
具体的には、本発明者等は、解像度設定部Ａ３１によって設定される静止画像の解像度の画素サイズを、撮影部Ａ１によって撮影される画像に含まれる被験者の舌体の糸状乳頭の直径より大きくすると、画素サイズが糸状乳頭の直径以下である場合よりも、被験者の口腔内の状態の判定精度が向上することを見い出した。

図２は静止画像の解像度が高すぎると被験者の口腔内の状態の判定精度が低下する理由を説明するための図である。詳細には、図２（Ａ）および図２（Ｂ）は撮影部Ａ１によって撮影され、被験者の口腔内の状態の判定に用いられる画像の一部を拡大して示す図である。具体的には、図２（Ａ）は撮影部Ａ１によって撮影され、被験者の口腔内の状態の判定に用いられる画像の解像度の画素サイズが被験者の舌体の糸状乳頭の直径以下である例を示している。図２（Ｂ）は撮影部Ａ１によって撮影され、被験者の口腔内の状態の判定に用いられる画像の解像度の画素サイズが被験者の舌体の糸状乳頭の直径より大きい例を示している。
図２（Ａ）および図２（Ｂ）に示すように、撮影部Ａ１によって撮影され、被験者の口腔内の状態の判定に用いられる画像には、複数の糸状乳頭が含まれる。糸状乳頭は凸形状であるため、口腔内の状態の判定に用いられる画像に含まれる糸状乳頭には、影になっている部分（暗い部分）と、影になっていない部分（明るい部分）とが含まれる。

後述するように、呼気中不快臭気成分含有レベル推定部１００は、撮影部Ａ１によって撮影され、口腔内の状態の判定に用いられる画像に含まれる被験者の舌体の判定部位の色味（赤みの強さ）に基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する。
呼気中不快臭気成分含有レベル推定部１００は、撮影部Ａ１によって撮影され、口腔内の状態の判定に用いられる画像に含まれる糸状乳頭のうちの、影になっていない部分（明るい部分）の赤味の強さを、糸状乳頭が実際に有する赤味の強さとして認識する（つまり、正しく認識する）。
一方、呼気中不快臭気成分含有レベル推定部１００は、撮影部Ａ１によって撮影され、口腔内の状態の判定に用いられる画像に含まれる糸状乳頭のうちの、影になっている部分（暗い部分）の赤味の強さを、糸状乳頭が実際に有する赤味の強さよりも弱く認識する（つまり、誤って認識する）傾向がある。

図２（Ａ）に示すように、撮影部Ａ１によって撮影され、口腔内の状態の判定に用いられる画像の解像度の画素サイズが被験者の舌体の糸状乳頭の直径以下である場合には、影になっていない部分（明るい部分）を含まず、影になっている部分（暗い部分）のみを含む画素が存在する可能性がある。そのため、呼気中不快臭気成分含有レベル推定部１００が、その画素に基づいて、被験者の舌体の判定部位の色味（赤みの強さ）を誤って認識し、その結果、被験者の口腔内の状態の判定精度が低下してしまう。
一方、図２（Ｂ）に示すように、撮影部Ａ１によって撮影され、口腔内の状態の判定に用いられる画像の解像度の画素サイズが被験者の舌体の糸状乳頭の直径より大きい場合には、影になっている部分（暗い部分）のみを含む画素が存在しない。そのため、呼気中不快臭気成分含有レベル推定部１００は、図２（Ａ）に示す場合よりも、被験者の舌体の判定部位の色味（赤みの強さ）を正しく認識する。その結果、被験者の口腔内の状態の判定精度は、図２（Ａ）に示す場合よりも向上する。

そこで、図１に示す例では、解像度設定部Ａ３１が、口腔内の状態の判定に用いられる静止画像の解像度の画素サイズを、撮影部Ａ１によって撮影される画像に含まれる被験者の舌体の糸状乳頭の直径より大きい値に設定する。具体的には、解像度設定部Ａ３１は、口腔内の状態の判定に用いられる静止画像の解像度を、例えば、１万画素以上に設定する。好ましくは２．５万画素以上、より好ましくは７．５万画素以上に設定する。その範囲の画素数に設定することによって、後述するように、優れたマッチング性および再現性を実現することができる。
また、被験者の口腔内の状態を判定するためのアプリケーションが起動されると、制御部Ａ３は、撮影部Ａ１を動画像撮影モードに設定する。また、制御部Ａ３は、撮影部Ａ１によって被験者の舌体を含む動画像が撮影されると、その動画像から静止画像をキャプチャーする。
なお、動画像からキャプチャーされた静止画像は、画像ファイルサイズを圧縮する一般的なソフトウェアを使用して、所望の画素数に変換することができる。
また、口腔内の状態の判定に用いられる静止画像の画素数を変化させなくても、例えば、隣接する画素を複数組み合わせて、組み合わせた画素領域全体を舌体の糸状乳頭の直径より大きい画素領域に設定し、被験者の舌体の判定部位の色味（赤みの強さ）を平均化処理することで、優れたマッチング性および再現性を実現することができる。

また、図１に示す例では、呼気中不快臭気成分含有レベル推定部１００が、取得部１１１と、推定部１１２とを備えている。取得部１１１は、制御部Ａ３によってキャプチャーされ、解像度設定部Ａ３１によって解像度が設定された静止画像を取得する。推定部１１２は、取得部１１１によって取得された静止画像に基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する。詳細には、推定部１１２は、取得部１１１によって取得された静止画像に含まれる舌体の判定部位の色味（赤みの強さ）と、舌体の判定部位の色味（赤みの強さ）と呼気中の不快臭気成分の含有レベルとの関係とに基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する。

図３は推定部１１２による推定に用いられる舌体の判定部位の色味（赤みの強さ）と呼気中の不快臭気成分の含有レベルとの関係を示す図である。図３において、横軸は舌体の判定部位の色味（赤みの強さ）を示している。詳細には、横軸は舌体の判定部位の赤みの強弱を示している。縦軸は呼気中の不快臭気成分の含有レベルを示している。図３に示す例では、舌体の判定部位の赤みが弱いほど、呼気中の不快臭気成分の含有レベルが高くなり、舌体の判定部位の赤みが強いほど、呼気中の不快臭気成分の含有レベルが低くなる。
図１および図３に示す例では、推定部１１２は、取得部１１１によって取得された静止画像に含まれる被験者の舌体の判定部位の赤みが弱いほど、被験者の呼気中の不快臭気成分の含有レベルが高いと推定する。また、推定部１１２は、取得部１１１によって取得された静止画像に含まれる被験者の舌体の判定部位の赤みが強いほど、被験者の呼気中の不快臭気成分の含有レベルが低いと推定する。

図１に示す例では、操作部Ａ４が、被験者などによる入力操作を受け付ける。詳細には、操作部Ａ４は、被験者の口腔内の状態を判定するアプリケーションを起動するための入力操作、被験者の舌体を含む動画像を撮影するための入力操作などを受け付ける。

図４は図１に示す舌体画像処理装置Ａの一例を示す図である。詳細には、図４（Ａ）は被験者の口腔内の状態を判定するアプリケーションの非起動時における舌体画像処理装置Ａの斜視図である。図４（Ｂ）は被験者の口腔内の状態を判定するアプリケーションの起動中における舌体画像処理装置Ａの斜視図である。図４（Ｃ）は被験者Ｂの舌体Ｂ１の撮影時における舌体画像処理装置Ａと被験者Ｂの舌体Ｂ１との関係を示す図である。図４（Ｄ）は被験者Ｂの舌体Ｂ１の撮影時における舌体画像処理装置Ａの表示部Ａ２（モニター）の画面などを示す図である。
図４（Ａ）に示すように、被験者Ｂの口腔内の状態を判定するアプリケーションの非起動時には、舌体位置合わせ用ガイド枠Ａ２１が、舌体画像処理装置Ａの表示部Ａ２に表示されない。図４（Ｂ）に示すように、例えば被験者Ｂによって被験者Ｂの口腔内の状態を判定するアプリケーションが起動されると、舌体位置合わせ用ガイド枠Ａ２１が、舌体画像処理装置Ａの表示部Ａ２に表示される。図４（Ｃ）および図４（Ｄ）に示すように、被験者Ｂの舌体Ｂ１の撮影時に、被験者Ｂは、表示部Ａ２の画面上における被験者Ｂの舌体Ｂ１の輪郭と、舌体位置合わせ用ガイド枠Ａ２１とを一致させる。撮影部Ａ１は、表示部Ａ２の画面上における被験者Ｂの舌体Ｂ１の輪郭と舌体位置合わせ用ガイド枠Ａ２１とが一致した状態で、被験者Ｂの舌体Ｂ１を含む画像を撮影する。

図５は舌体画像処理装置Ａの撮影部Ａ１によって撮影された被験者Ｂの舌体Ｂ１を含む画像Ｃを示す図である。
図５に示す例では、舌体画像処理装置Ａの撮影部Ａ１によって撮影された画像Ｃに、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０が含まれる。判定部位Ｂ１０とは、舌正中溝Ｂ１１の少なくとも一部を含む部位である。舌正中溝Ｂ１１とは、舌体Ｂ１の上面に位置し、かつ、分界溝（舌根（図示せず）と舌体Ｂ１との境界）から舌尖Ｂ１３まで図５の上下方向に延びており、かつ、舌体Ｂ１を図５の左右方向に概略２分割する線（または仮想線）である。
つまり、図４および図５に示す例では、表示部Ａ２の画面上における被験者Ｂの舌体Ｂ１の輪郭と舌体位置合わせ用ガイド枠Ａ２１とが一致した状態で、撮影部Ａ１が被験者Ｂの舌体Ｂ１を含む画像Ｃを撮影すると、舌正中溝Ｂ１１の少なくとも一部を含む判定部位Ｂ１０がその画像Ｃに含まれる。
好ましくは、撮影部Ａ１によって撮影される被験者Ｂの舌体Ｂ１を含む画像Ｃには、舌中部位Ｂ１２が含まれる。
本明細書において「舌中部位」とは、分界溝から舌尖Ｂ１３にかけて縦方向に４分割したときに舌尖Ｂ１３から１／４〜２／４の部位であり、その中間から左右方向に舌体Ｂ１を４分割したときの中心側の２つの領域（つまり、図５中の破線で囲まれ、符号Ｂ１２で示される領域）を示す。
好ましくは、画像Ｃに含まれる被験者Ｂの舌体Ｂ１の判定部位Ｂ１０の面積と、画像Ｃに含まれる被験者Ｂの舌体Ｂ１の舌中部位Ｂ１２の面積との比は、０．３以上、１．８以下である。
撮影部Ａ１によって画像Ｃが撮影される場合、撮影部Ａ１は、上述した図５中の破線で囲まれ、符号Ｂ１２で示される領域を特定できるように、被験者Ｂの舌体Ｂ１を含む画像Ｃを撮影してもよい。撮影部Ａ１は、その領域が画像Ｃに含まれるように、撮影を行えばよい。

詳細には、図４および図５に示す例では、被験者Ｂの舌体Ｂ１の撮影時に、図４（Ｄ）に示すように、舌体位置合わせ用ガイド枠Ａ２１と被験者Ｂの舌体Ｂ１の判定部位Ｂ１０とが、舌体画像処理装置Ａの表示部Ａ２に表示される。また、その状態で、撮影部Ａ１によって、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０を含む画像Ｃが撮影される。その結果、その画像Ｃに含まれる判定部位Ｂ１０の面積と舌中部位Ｂ１２の面積との比が０．３以上、１．８以下になる。
制御部Ａ３は、撮影後に、撮影部Ａ１によって撮影された画像Ｃを、表示部Ａ２の画面上で移動および／または拡大縮小する機能を有する。

図６は第１実施形態の舌体画像処理装置Ａによって実行される処理の一例を示すフローチャートである。
図６に示す例では、ステップＳ１０において、操作部Ａ４が、被験者Ｂの口腔内の状態を判定するアプリケーションを起動するための入力操作を受け付ける。それに応じて、被験者Ｂの口腔内の状態を判定するアプリケーションが起動する。
次いで、ステップＳ１１において、制御部Ａ３が、撮影部Ａ１を動画像撮影モードに設定する。例えば、一般的な動画メディアの規格サイズである１９２０×１０８０画素に設定する。

次いで、ステップＳ１２において、表示部Ａ２が、舌体位置合わせ用ガイド枠Ａ２１を表示する。
次いで、被験者Ｂが、表示部Ａ２の画面上における被験者Ｂの舌体Ｂ１の輪郭と舌体位置合わせ用ガイド枠Ａ２１とを一致させる。
次いで、ステップＳ１３において、操作部Ａ４が、被験者Ｂの舌体Ｂ１を含む画像Ｃ（動画像）を撮影するための入力操作を受け付ける。それに応じて、撮影部Ａ１が、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０を含む画像Ｃ（動画像）を撮影する。つまり、撮影部Ａ１は、被験者Ｂの口腔内の状態の判定に用いられる被験者Ｂの舌体Ｂ１を含む画像Ｃ（動画像）を撮影する。
次いで、ステップＳ１４では、制御部Ａ３が、ステップＳ１３において撮影された動画像から静止画像をキャプチャーする。
次いで、ステップＳ１５では、解像度設定部Ａ３１が、ステップＳ１４においてキャプチャーされた静止画像の解像度を設定する。詳細には、ステップＳ１５において設定される解像度の画素サイズは、ステップＳ１３において撮影される画像Ｃ（動画像）に含まれる舌体Ｂ１の糸状乳頭の直径より大きい。
次いで、ステップＳ１６では、制御部Ａ３の呼気中不快臭気成分含有レベル推定部１００の取得部１１１が、ステップＳ１５において解像度が設定された静止画像（被験者Ｂの舌体Ｂ１の判定部位Ｂ１０を含む静止画像）を取得する。

次いで、ステップＳ１７では、制御部Ａ３の呼気中不快臭気成分含有レベル推定部１００の推定部１１２が、ステップＳ１６において取得された静止画像に含まれる舌体Ｂ１の判定部位Ｂ１０の色味（赤みの強さ）と、図３に示す関係とに基づいて、被験者Ｂの呼気中の不快臭気成分の含有レベルを推定する。詳細には、推定部１１２は、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０の赤みが弱いほど、被験者Ｂの呼気中の不快臭気成分の含有レベルが高いと推定する。
つまり、ステップＳ１３において撮影された画像Ｃ（動画像）は、被験者Ｂの呼気中の不快臭気成分の含有レベルの推定に用いられる。詳細には、ステップＳ１３において撮影された動画像から、ステップＳ１４においてキャプチャーされ、さらにステップＳ１５において解像度が設定された静止画像が、ステップＳ１７において被験者Ｂの口腔内の状態の判定に用いられる。
次いで、ステップＳ１８では、表示部Ａ２が、ステップＳ１７において推定された被験者Ｂの呼気中の不快臭気成分の含有レベルを出力（表示）する。

上述したように、図１に示す例では、呼気中不快臭気成分含有レベル推定部１００が舌体画像処理装置Ａに組み込まれているが、他の例では、呼気中不快臭気成分含有レベル推定部１００が、例えばクラウドなどの舌体画像処理装置Ａの外部に設けられていてもよい。
上述したように、図１に示す例では、舌体画像処理装置Ａがスマートフォンによって構成されているが、他の例では、舌体画像処理装置Ａがスマートフォン以外のもの（例えばデジタルカメラ、パーソナルコンピュータなど）によって構成されていてもよい。

＜第２実施形態＞
以下、本発明の舌体画像処理方法、呼気中不快臭気成分含有レベル推定方法、舌体画像処理装置およびプログラムの第２実施形態について説明する。
第２実施形態の舌体画像処理装置Ａは、後述する点を除き、上述した第１実施形態の舌体画像処理装置Ａと同様に構成されている。従って、第２実施形態の舌体画像処理装置Ａによれば、後述する点を除き、上述した第１実施形態の舌体画像処理装置Ａと同様の効果を奏することができる。

第２実施形態の舌体画像処理装置Ａは、図１に示す第１実施形態の舌体画像処理装置Ａと同様に構成されている。
上述したように、第１実施形態の舌体画像処理装置Ａでは、被験者の口腔内の状態を判定するためのアプリケーションが起動されると、制御部Ａ３が、撮影部Ａ１を動画像撮影モードに設定する。
一方、第２実施形態の舌体画像処理装置Ａでは、被験者の口腔内の状態を判定するためのアプリケーションが起動されると、制御部Ａ３が、撮影部Ａ１を静止画像撮影モードに設定する。また、撮影部Ａ１は、被験者の舌体を含む静止画像を撮影する。

上述したように、第１実施形態の舌体画像処理装置Ａでは、取得部１１１が、制御部Ａ３によってキャプチャーされ、解像度設定部Ａ３１によって解像度が設定された静止画像を取得する。また、推定部１１２は、取得部１１１によって取得された静止画像に基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する。
一方、第２実施形態の舌体画像処理装置Ａでは、取得部１１１が、撮影部Ａ１によって撮影され、解像度設定部Ａ３１によって解像度が設定された静止画像を取得する。また、推定部１１２は、取得部１１１によって取得された静止画像に基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する。

上述したように、第１実施形態の舌体画像処理装置Ａでは、操作部Ａ４が、被験者の舌体を含む動画像を撮影するための入力操作を受け付ける。
一方、第２実施形態の舌体画像処理装置Ａでは、操作部Ａ４が、被験者の舌体を含む静止画像を撮影するための入力操作を受け付ける。

図７は第２実施形態の舌体画像処理装置Ａによって実行される処理の一例を示すフローチャートである。
図７に示す例では、ステップＳ２０において、操作部Ａ４が、被験者Ｂの口腔内の状態を判定するアプリケーションを起動するための入力操作を受け付ける。それに応じて、被験者Ｂの口腔内の状態を判定するアプリケーションが起動する。
次いで、ステップＳ２１において、制御部Ａ３が、撮影部Ａ１を静止画像撮影モードに設定する。例えば、一般的で任意の静止画サイズに設定することができる。

次いで、ステップＳ２２において、表示部Ａ２が、舌体位置合わせ用ガイド枠Ａ２１を表示する。
次いで、被験者Ｂが、表示部Ａ２の画面上における被験者Ｂの舌体Ｂ１の輪郭と舌体位置合わせ用ガイド枠Ａ２１とを一致させる。
次いで、ステップＳ２３において、操作部Ａ４が、被験者Ｂの舌体Ｂ１を含む画像Ｃ（静止画像）を撮影するための入力操作を受け付ける。それに応じて、撮影部Ａ１が、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０を含む画像Ｃ（静止画像）を撮影する。つまり、撮影部Ａ１は、被験者Ｂの口腔内の状態の判定に用いられる被験者Ｂの舌体Ｂ１を含む画像Ｃ（静止画像）を撮影する。
次いで、ステップＳ２４では、解像度設定部Ａ３１が、ステップＳ２３において撮影された静止画像の解像度を設定する。詳細には、ステップＳ２４において設定される解像度の画素サイズは、ステップＳ２３において撮影される画像Ｃ（静止画像）に含まれる舌体Ｂ１の糸状乳頭の直径より大きい。
次いで、ステップＳ２５では、制御部Ａ３の呼気中不快臭気成分含有レベル推定部１００の取得部１１１が、ステップＳ２４において解像度が設定された静止画像（被験者Ｂの舌体Ｂ１の判定部位Ｂ１０を含む静止画像）を取得する。

次いで、ステップＳ２６では、制御部Ａ３の呼気中不快臭気成分含有レベル推定部１００の推定部１１２が、ステップＳ２５において取得された静止画像に含まれる舌体Ｂ１の判定部位Ｂ１０の色味（赤みの強さ）と、図３に示す関係とに基づいて、被験者Ｂの呼気中の不快臭気成分の含有レベルを推定する。詳細には、推定部１１２は、被験者Ｂの舌体Ｂ１の判定部位Ｂ１０の赤みが弱いほど、被験者Ｂの呼気中の不快臭気成分の含有レベルが高いと推定する。
つまり、ステップＳ２３において撮影された画像Ｃ（静止画像）は、被験者Ｂの呼気中の不快臭気成分の含有レベルの推定に用いられる。詳細には、ステップＳ２３において撮影され、ステップＳ２４において解像度が設定された静止画像が、ステップＳ２６において被験者Ｂの口腔内の状態の判定に用いられる。
次いで、ステップＳ２７では、表示部Ａ２が、ステップＳ２６において推定された被験者Ｂの呼気中の不快臭気成分の含有レベルを出力（表示）する。

上述したように、第１および第２実施形態の舌体画像処理装置Ａによれば、例えばガスクロマトグラフィーなどのような非常に高価な分析機器を用いる必要なく、簡易な手法によって呼気中の不快臭気成分の含有レベルを推定することができる。
また、第１および第２実施形態の舌体画像処理装置Ａによれば、被験者Ｂは、例えばガスクロマトグラフィーなどのような非常に高価な分析機器を用いる必要なく、自分の呼気中の不快臭気成分の含有レベルを把握することができる。
また、第１および第２実施形態の舌体画像処理装置Ａによれば、被験者の口腔内の状態の判定に用いられる静止画像の解像度を適切に設定することができるため、被験者Ｂの口腔内の状態の判定に適した画像を取得することができる。

以下、実施例を示して本発明を詳細に説明するが、本発明は以下の実施例に限定されるものではなく、その要旨を逸脱しない範囲で適宜変更して実施することができる。
下記の例では、色味（赤みの強さ）を測定するためのパラメータとしてｓＲＧＢ値が用いられるが、他の例では、色味（赤みの強さ）を測定するためにＨＳＶ、Ｌ*ａ*ｂ*等の他のパラメータを用いてもよい。

評価方法
＜口臭ランク＞
ガスクロマトグラフィー（製品名：オーラルクロマ、エフアイエス株式会社製）にて、パネラーの呼気を分析し以下の基準で口臭のランク付けを行った。オーラルクロマの分析は装置付属の手順書に従い行った。
ａ：呼気中硫化水素濃度が３００ｐｐｂ以上
ｂ：呼気中硫化水素濃度が１５０ｐｐｂ以上〜３００ｐｐｂ未満
ｃ：呼気中硫化水素濃度が１５０ｐｐｂ未満

＜アプリケーションの舌ランク＞
舌苔量が生理的口臭（主要成分：硫化水素）と相関傾向があるという知見に基づき、舌苔量に基づいた舌のランク分けを行った。「舌苔」とは、腔微生物、剥離上皮、唾液分泌物などが、凝集し、舌体Ｂ１の上に堆積したものである。「舌苔除去」とは、その堆積したものを取り除くことを意味する。
本明細書において「生理的口臭」とは、食べ物由来の口臭とは異なり、口腔内の食物残渣、唾液由来タンパク質などが口腔内細菌叢のポルフィロモナス、プレボテラ、フゾバクテリウムあるいは口腔スピロヘータなどの偏性嫌気性グラム陰性桿菌の代謝により、アンモニアやアミン類、硫化水素、メチルメルカプタンなどの有機硫化物となり、生じる口臭を意味する。硫化水素、メチルメルカプタンなど揮発性硫化物により口臭が生じることが報告されている。これらは人の健康状態に依存しない口臭である。揮発性硫化物の約６０％は舌苔で産生されることが報告されている。
本明細書における揮発性硫黄化合物としては硫化水素、メチルメルカプタン、ジメチルスルフォキサイドが挙げられる。この中でも硫化水素がもっとも好ましい。生理的口臭では硫化水素のニオイが中心である
舌苔量に関し、撮影された舌体Ｂ１を含む画像Ｃ中の（Ｒ，Ｇ，Ｂ）情報を抽出し、Ｒ（赤味）の値が相対的に少ないほど舌苔量が多いという前提のもと、舌体Ｂ１を含む画像Ｃ中のＲ−Ｇ＜５０となるピクセルの占有率で舌のランク付けを行った。
Ａ：判定部位Ｂ１０中の全ピクセルに占める、ｓＲＧＢ値がＲ−Ｇ＜５０となるピクセルの割合が４５％以上（舌体Ｂ１の赤みが少ない）
Ｂ：判定部位Ｂ１０中の全ピクセルに占める、ｓＲＧＢ値がＲ−Ｇ＜５０となるピクセルの割合が３０％以上〜４５％未満（舌体Ｂ１の赤みがやや多い）
Ｃ：判定部位Ｂ１０中の全ピクセルに占める、ｓＲＧＢ値がＲ−Ｇ＜５０となるピクセルの割合が３０％未満（舌体Ｂ１の赤みが多い）

＜舌ランクと口臭ランクのマッチング性のランク基準＞
口臭ランクと舌ランクについては、ａ−Ａ、ｂ−Ｂ、ｃ−Ｃの結果のマッチング性について確認した。
◎：舌ランク−口臭ランクのマッチング率が７５％以上
〇：舌ランク−口臭ランクのマッチング率が６０％以上〜７５％未満
△：舌ランク−口臭ランクのマッチング率が４５％以上〜６０％未満
▲：舌ランク−口臭ランクのマッチング率が３０％以上〜４５％ 未満
×：舌ランク−口臭ランクのマッチング率が３０％未満
△以上を合格とした。

＜口臭判定の再現性（％）とランク基準＞
連続で５回舌体Ｂ１を含む画像Ｃを撮影し、判定結果の再現性を確認した。
◎：再現性７５％以上
○：再現性６０％以上〜７５％未満
△：再現性４５％以上〜６０％未満
▲：再現性３０％以上〜４５％未満
×：再現性３０％未満
△以上を合格とした。
なお本検討において撮影機はｉＰｈｏｎｅ７（アップル社製）（「ｉＰｈｏｎｅ」は登録商標）を用い、インカメラを用いた自画取りモードにて舌体Ｂ１を撮影した。照度約１０００ｌｕｘの室内環境下で撮影した。評価数は９名で実施した。

［実施例１〜実施例７、比較例１：画素数の確認］
表１に示すように、動画キャプチャーモード（動画像から静止画像をキャプチャーするモード）で撮影した場合、１万画素以上の画質とすることで優れたマッチング性、再現性が得られた。特に画像を２．５万画素以上、より好ましくは７．５万画素以上の画質とすることで優れたマッチング性、再現性が得られた。

［実施例８〜実施例９：撮影モードの影響］
表２に示すように、静止画像の場合、動画キャプチャーモードと同じ画素数としてもマッチング性、再現性がやや劣った。画素数を上げることでマッチング性は向上したが再現性は低下した。

［実施例１０〜実施例１５：光環境の影響］
表３に示すように、光環境（「光条件」および「光強度」）を変えた場合でも１０万〜２００万画素の動画キャプチャーモードで撮影した画像では優れたマッチング性と再現性を示した。

上述した指標「Ｒ−Ｇ」の代わりに、指標「Ｒ−Ｂ」を用いた場合にも、同様の結果が得られる。

以上、添付図面を参照しながら本発明に係る好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、上述した実施形態における舌体画像処理装置Ａが備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

Ａ…舌体画像処理装置、Ａ１…撮影部、Ａ２…表示部、Ａ２１…舌体位置合わせ用ガイド枠、Ａ３…制御部、Ａ３１…解像度設定部、Ａ４…操作部、１００…呼気中不快臭気成分含有レベル推定部、１１１…取得部、１１２…推定部、Ｂ…被験者、Ｂ１…舌体、Ｂ１０…判定部位、Ｂ１１…舌正中溝、Ｂ１２…舌中部位、Ｂ１３…舌尖、Ｃ…画像

Claims (10)

1. 被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影ステップと、
   被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定ステップとを備える舌体画像処理方法であって、
   前記解像度設定ステップにおいて設定される解像度の画素サイズは、前記撮影ステップにおいて撮影される画像に含まれる舌体の糸状乳頭の直径より大きい、
   舌体画像処理方法。
2. 被験者の口腔内の状態の判定に用いられる静止画像は、前記撮影ステップにおいて撮影される動画像からキャプチャーされる静止画像である、
   請求項１に記載の舌体画像処理方法。
3. 前記撮影ステップにおいて撮影される動画像からキャプチャーされる静止画像の画素数が１万画素以上に設定される、
   請求項２に記載の舌体画像処理方法。
4. 前記撮影ステップにおいて撮影される画像は、被験者の呼気中の不快臭気成分の含有レベルの推定に用いられる、
   請求項１〜３のいずれか一項に記載の舌体画像処理方法。
5. 請求項４に記載の舌体画像処理方法の前記撮影ステップでは、被験者の舌体の判定部位を含む画像が撮影され、
   前記撮影ステップにおいて撮影された画像に含まれる舌体の判定部位の色味と、舌体の判定部位の色味と呼気中の不快臭気成分の含有レベルとの関係とに基づいて、被験者の呼気中の不快臭気成分の含有レベルを推定する推定ステップを備える、
   呼気中不快臭気成分含有レベル推定方法。
6. 前記撮影ステップにおいて撮影される画像に含まれる舌体の判定部位の面積と舌中部位の面積との比が、０．３以上、１．８以下である、
   請求項５に記載の呼気中不快臭気成分含有レベル推定方法。
7. 舌体位置合わせ用ガイド枠と被験者の舌体の判定部位とが表示される表示部を備える舌体画像処理装置によって、被験者の舌体の判定部位を含む画像が撮影され、
   前記舌体位置合わせ用ガイド枠は、前記舌体画像処理装置によって撮影される画像に含まれる舌体の判定部位の面積と舌中部位の面積との比が０．３以上、１．８以下になるように、前記表示部に表示される、
   請求項５または６に記載の呼気中不快臭気成分含有レベル推定方法。
8. 被験者の舌体の判定部位の赤みが弱いほど、被験者の呼気中の不快臭気成分の含有レベルが高いと推定する、
   請求項５〜７のいずれか一項に記載の呼気中不快臭気成分含有レベル推定方法。
9. 被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影部と、
   被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定部とを備え、
   前記解像度設定部によって設定される解像度の画素サイズは、前記撮影部によって撮影される画像に含まれる舌体の糸状乳頭の直径より大きい、
   舌体画像処理装置。
10. コンピュータに、
    被験者の口腔内の状態の判定に用いられる被験者の舌体を含む画像を撮影する撮影ステップと、
    被験者の口腔内の状態の判定に用いられる静止画像の解像度を設定する解像度設定ステップとを実行させるためのプログラムであって、
    前記解像度設定ステップにおいて設定される解像度の画素サイズは、前記撮影ステップにおいて撮影される画像に含まれる舌体の糸状乳頭の直径より大きい、
    プログラム。

Images