JP2004344583A - Diagnostic supporting system and terminal device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a diagnostic supporting technique capable of simply performing an accurate diagnostic support based on information on the tongue. <P>SOLUTION: A patient's tongue TN illuminated by a lighting 21 is photographed by a camera 22, and nine kinds of spectral images are obtained. A terminal body 20 calculates a measurement value such as a spectral reflectance data concerning the tongue TN utilizing for example a multiple regression method based on the nine kinds of spectral images. A host computer 3 has a database in which correlation between the measurement value and the diagnostic support information is described, and provides the diagnostic support information for the patient's measurement value transmitted from the terminal body 20. By this, an accurate diagnostic support based on the information on the tongue can be simply performed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【００１９】
このように、舌や苔の色と形の特徴により体の状態である証を定めることができる。証が定まると漢方薬の処方や鍼灸の配穴などの治療方法を決定することができる。
【００２０】
証は体の状態を処方に応じて分類したものであるが、西洋医学の診断との関連も明らかにされている。その関連を次の表２に示す。
【００２１】
【表２】

【００２２】
このような関係を用いることにより、西洋医学的な治療法の選択や、食事内容や生活方法の提案を行うことができる。
【００２３】
以上のような舌診を支援する診断支援システムの具体的な構成を、以下で説明する。
【００２４】
図１は、本発明の実施形態に係る診断支援システム１の要部構成を示す図である。
【００２５】
診断支援システム１は、端末装置２と、ネットワークＮＥを介して端末装置２に通信可能に接続するホストコンピュータ３とを備えている。このホストコンピュータ３は、端末装置２に対して遠隔地にあり、診断支援システム１を統合管理する装置として機能する。
【００２６】
端末装置２は、端末本体２０と、照明２１と、端末本体２０にケーブルＣＢを介してデータ伝送可能に接続するカメラ２２とを備えている。
【００２７】
端末本体２０は、例えばパーソナルコンピュータとして構成されており、カメラ２２から送信される画像データを処理して、ホストコンピュータ３に伝達できる。
【００２８】
照明２１は、一定の色温度を有する照明光によって、患者の舌ＴＮを照射するものである。
【００２９】
カメラ２２は、例えばマルチバンドの分光カメラとして構成されており、ワンショットで二次元のスペクトル情報を備えた分光画像を撮影できる。そして、後述するように、カメラ２により複数の波長帯で撮影した分光画像によって、連続した波長帯の画像データが推定される。
【００３０】
また、カメラ２２は、撮像部２５を有しているが、この撮像部２５について以下で説明する。
【００３１】
図２は、撮像部２５の要部構成を示す図である。
【００３２】
撮像部２５は、撮像センサ２６と、レンズアレイ２７と、フィルタアレイ２８とを備えている。
【００３３】
撮像センサ２６は、シリコン基板上に形成された、例えばＣＣＤやＣＭＯＳのエリアセンサを有しており、可視域から近赤外域までの感度を備えている。
【００３４】
レンズアレイ２７は、例えばガラスや樹脂で形成され、９個（縦３×横３）の領域に分けられている。この各領域には単レンズが並列に配置されている。なお、レンズアレイ２７では、各レンズごとに焦点距離やＦナンバーなどの仕様を一致させる設計を行っているが、選択透過波長に起因した結像位置など光学特性の差異を補正するように設計して配置するようにしても良い。
【００３５】
フィルタアレイ２８は、レンズアレイ２７に対応した９個（縦３×横３）の領域に分けられており、各領域は相互に異なる透過波長の特性を有している。具体的には、図３に示すように各領域に対応する９つの各選択波長特性Ｆ１〜Ｆ９の中心値が、可視域（４００〜７００ｎｍ）をその半値でほぼ９等分するように設定されている。このフィルタアレイ２８は、例えばガラス基板上に干渉膜を選択的に蒸着する手法、または色吸収ガラスを張り合わせる手法によって形成される。
【００３６】
上記のレンズアレイ２７およびフィルタアレイ２８は、図示しない鏡胴で撮像センサ２６に対して保持されている。この鏡胴は、各レンズを透過した撮影光が互いに干渉しないための隔壁の役目も担っている。
【００３７】
以上のような撮像部２５の構成により、被写体、つまり舌ＴＮからの反射光はレンズアレイ２７により撮像センサ２６上に９個投影されるが、これらはフィルタアレイ２８により波長が選択された９種類の画像Ｇｄとなる（図４参照）。そして、撮像センサ２６で取得される画像データを読み出してアドレスを選択し再配列することにより、各波長の画像を切出すことができる。これにより、端末本体２０では舌画像の各画素ごとに分光分布データが得られることとなる。
【００３８】
＜診断支援システム１の動作について＞
図５は、診断支援システム１の基本的な動作を示すフローチャートである。
【００３９】
まず、カメラ２２によって取得された舌の分光画像に基づき、端末本体２０において舌の分光データを生成する（ステップＳ１）。
【００４０】
ステップＳ２では、端末本体２０において舌画像の解析を行う。そして、舌画像の解析結果（計測値）は、送信データとしてホストコンピュータ３に送信される。
【００４１】
ステップＳ３では、健康状態や病状などの診断において基礎となる診断支援情報を、ホストコンピュータ３で生成する。
【００４２】
以上のような動作が診断支援システム１にて行われるが、以下ではステップＳ１〜Ｓ３の動作を分説する。
【００４３】
＜１．舌の分光データの生成＞
端末本体２０は、カメラ２２で取得された９波長の分光画像Ｇｄ（図４）に基づき、連続した分光反射率データ（分光データ）を推定により求める。この推定では、被写体とカメラ出力との関係を回帰分析によって求める重回帰法を利用するが、この方法を以下で説明する。
【００４４】
まず、診察の際、つまり実際の撮影の際に用いる照明２１およびカメラ２２により、分光反射率データが既に測定されている対象物（例えばカラーチャート）を数多く撮影する。
【００４５】
そして、端末本体２０に、図６（ａ）に示すような既知のカラーチャートの分光反射率データと、カラーチャートを撮影してカメラ２から出力された出力データ（図６（ｂ））とを記憶する。
【００４６】
ここでは、次の式（１）を示す行列式を利用して、既知の分光反射率データと、撮影されたカメラ出力とから変換行列を算出する。なお、式（１）の左辺に対応する既知の分光反射率データは、可視域（４００〜７００ｎｍ）において１０ｎｍ刻みで３０個のデータＯｂ１〜Ｏｂ３０が測定されているものとする。
【００４７】
【数１】

【００４８】
上式（１）の右辺においては、Ｖ１１〜Ｖ９３０の要素を有する変換行列と、９つの分光画像データに対応するＣ１〜Ｃ９の要素を有するカメラ出力とが乗算される。
【００４９】
以上の式（１）によって求められた変換行列を利用することで、分光画像の撮影において、照明２１の照明条件（分光分布）に依存しない舌の分光反射率を推定できることとなる。
【００５０】
すなわち、実際に照明２１で照明された舌を撮影する際には、撮影で取得される分光画像のデータ、つまりカメラ２２の出力に、既知の分光反射率データに基づき算出された式（１）の変換行列を乗算することにより、診断対象である舌の分光反射率データが推定されることとなる。なお、ここでは、カメラ出力を２次の項まで求めると推定の精度が向上する。また、撮影対象が舌に限定されている場合には、既知のカラーチャートの代わりに実際の舌を測定・撮影することにより、推定精度を向上できる。他方、照明２１やカメラ２２の分光感度が変更される場合には、既知のカラーチャートなどを再度撮影し、これに基づき変換行列を算出し直す必要がある。
【００５１】
以上の重回帰法による推定により、例えば図７に示すような舌の分光データを生成できることとなる。この図７は、例えば４人の患者における舌の分光分布例を示すグラフを表しており、横軸は波長（ｎｍ）を示し、縦軸は反射率（％）を示している。このように端末２では、カメラ２２で取得された９つの分光画像データから、連続的な分光分布で絶対的な評価値（計測値）として活用できる分光反射率データが取得できることとなる。
【００５２】
＜２．舌画像の解析＞
端末本体２０では、まずカメラ２２で得られた分光データから舌の部分を抽出する処理を行う。舌の撮影においては、舌ＴＮを中心として顔の下半分がカメラ２２で撮影される構図をとるが、この場合、画像には舌の他に顔の表面や唇、歯などが写ることとなる。ここでは、撮影画像から舌の部分を抽出する処理が必要となるが、この処理を以下で説明する。
【００５３】
端末本体２０では、撮影画像の輝度エッジに基づき、舌部が抽出される。
【００５４】
すなわち、各画素の分光反射率データに人間の視感度を掛け合わせ、三刺激値であるＸＹＺ値を求める。そして、各画素の輝度値に相当するＹの数値について４近傍（上下左右）との差分をとり、その差分値が予め設定された所定値αを超える輝度段差を持つ画素を抽出する。この所定値αについては、舌の周囲に口腔、歯、舌の影など輝度の段差が存在するため、これらを検出できるような閾値として設定される。これにより、撮影画像から舌の領域を抽出でき、また舌の中央に形成される溝や舌の周囲にある歯状痕も抽出できることとなる。
【００５５】
抽出された舌部分を観察する場合、舌が湿潤で、唾液などによって表面が濡れていると、光源からの光が反射して画像が白く飛ぶこととなる。これは、照明２１からの光が舌の表面で正反射するために生じるものであり、その分光分布は光源と一致する。一方、舌や苔の色自身が白くなっている場合もある。この場合には、被写体である舌自体が白色である、つまり完全な正反射が行われないため、光源からの光が反射する場合と異なり、この白領域の分光分布は、一般に照明２１とは一致しないこととなる。
【００５６】
そこで、舌画像において白色と観察される領域に関しては、光源の反射光によるものか否かを判断するために、まず撮影画像から輝度が所定値以上となる領域を抽出する。そして、この領域部分の分光反射率が、端末本体２０の記憶部に記憶される照明２１の分光分布と一致する場合には、舌が濡れているものと判断する。これにより、舌色・苔色が白色であるか否かを正しく判断できることとなる。
【００５７】
また、端末本体２０においては、色の類似度を用いて苔の部分を抽出する処理も行われる。すなわち、検出された舌領域の中心部分より複数の画素の色を検出する。そして、これらの画素の色を度数分布に表し、最も頻度の高い色をこの領域の背景色とみなす。この場合の色は、分光反射率でも上記のＸＹＺ値でも良い。次に、先に検出された舌領域の境界部分より、すぐ内側に位置する複数画素の色に基づき度数分布を作成し背景色を検出する。
【００５８】
以上のような検出方法によって、舌領域の中心部分における背景色は苔の色を表し、舌領域の境界部分付近の色は舌自体の色を表すこととなる。ここで、両者の色の間に所定値以上の差異が存在する場合には、中心から周辺に向けて順次に放射状に画素を選択して中心色との変化量を演算し、この変化量が予め定められた所定値となるまで画素域を拡大する。このように得られた画素域は、苔の領域とみなされ、その外側が舌本体の領域と判断される。この判断で用いられる閾値としては、両者の差異の中間程度に設定されるのが好ましい。
【００５９】
また、舌領域における色の変化量を中心からの境界領域としてではなく、画素単位で検出することによって細かな部分の色の差を判断すると、舌や苔の領域にある斑点などの検出が可能となる。すなわち、上述した輝度段差と同様に、舌や苔の領域の背景色に対して所定の差異が存在する画素を抽出することにより、斑点などが検出できることとなる。
【００６０】
以上では、前面から舌を撮影する場合を説明したが、側面から舌を撮影してその輪郭を検出することで、舌（舌本体）の厚みや、舌本体上の苔の厚みつまり糸状乳頭の高さを測定できる。このうち、苔の高さについては、撮影において照明２１の照明光が舌の表面に対して斜めに照射されているため、影の多少によりその高さを検出できる。具体的には、上記の輝度段差を利用した画素の検出方法により、閾値を苔色より低い輝度に設定することで、影の画素数を検出して厚みが測定される。なお、舌や苔の厚みに関する厚み情報については、定規などを用いた測定や光切断法など光学的な形状測定法によって計測したものを入力して、端末装置２が取得するようにしても良い。
【００６１】
＜３．診断支援情報の生成＞
以上の舌画像の解析によって検出された計測値、具体的には舌および苔の色や形、歯状痕や溝の有無、舌の湿り度合い、舌と苔との厚みを、表１に示す東洋医学の診断法に適用することにより、カメラ２２で取得した舌の分光画像に基づき「証」、すなわち診断支援情報を得ることが可能である。
【００６２】
端末本体２０で得られた計測値はホストコンピュータ３に送信されるが、ホストコンピュータ３では、判定データベースに基づいて患者の証や健康状態が判定されることとなる。この判定については、実際の診療を通して判定する場合の具体例を挙げ、以下で説明する。
【００６３】
東洋医学は経験に基づいた医学であるため過去のデータを標本として現在の患者を診断するが、これに対して天気予報や景気予測などに用いられる手法を適用する。すなわち、数値化可能な計測値と、その数値との因果関係が明らかにされていない判定結果との関係を、過去のデータに基づいて統計的に整理された判定データベースを作成する。
【００６４】
具体的には、分光画像を撮影する端末装置２を東洋医学で診療する医院に設置し、舌の分光画像を撮影して計測値を記録する。この場合、患者が来院しているため、その医師は舌診だけでなく、問診、触診など他の東洋医学的診断方法、さらに必要であれば血液検査や放射線診断など西洋医学的な診断手法を駆使して、患者の病状を診断する。そして、診断が確定すると、医師は舌画像より検出した計測値と診断結果とをネットワークＮＥを介して遠隔地のホストコンピュータ３に送信する。次に、ホストコンピュータ３では、図８に示すように、受信した計測値および診断結果をデータベースＤＢに追加して記憶する。そして、データベースＤＢで一定の情報量が蓄積されると、計測値および診断結果との相関関係を利用して、新たな計測値に対して例えば証などの診断支援情報を回帰によって生成できることとなる。
【００６５】
以上のデータベースＤＢにより、カメラ２で取得される分光画像に基づく診断支援を適切に行えることとなる。すなわち、証などの診断支援情報に基づき、症状の重い人や緊急性を有する人に対しては、検査機器が整備された病院を紹介して通院を推奨するとともに、症状の軽い人や慢性的で症状の安定した人に対しては、適した漢方薬であって最寄の薬局や通信販売で購入できるものを通知する。また、病気ではないがストレスや疲労などで体調を崩している人に対しては、生活方法や食事内容の改善、最寄の販売店や通信販売で購入できる健康食品などを提案する。
【００６６】
以上の診断支援システム１の動作により、カメラで撮影され、生成された舌の分光データに基づきデータベースを参照して診断支援情報を提供するため、舌の情報に基づく的確な診断支援を簡易に行えることとなる。
【００６７】
その結果、病気の早期発見や治療が可能となるため、医療費の削減や治療効果の改善が期待できる。また、必要な人々にタイミングよく健康に関連する物品やサービスを提供することができ、診断支援システムを運用する事業者の効率を向上できる。
【００６８】
なお、上述したデータベースＤＢについては、東洋医学の証だけに限らず、西洋医学的な珍断結果を含めたデータベースとして作成しても良い。さらに、東洋医学的な証の判定と西洋医学的な診断を併せたデータベースを作成しても良い。これにより、より正確な診断支援を行えることとなる。
【００６９】
また、各流派や医師毎にデータを分類したデータベースＤＢを構築すれば、それぞれの診断方法で判定できることとなる。一方、これらの全データを利用すれば、統合された一つの診断方法を確立することも可能である。
【００７０】
また、データベースＤＢにおいては、図８に示すように新たな計測値ＮＭに対しても、分光画像より計測される値であれば、過去に遡ってデータベースＤＢを利用できる。また、一定の情報量が蓄積された後でも、新たな患者の所見ＳＫを追加することにより、データベースＤＢ、つまり診断支援の確度を向上できることとなる。
【００７１】
また、舌の状態にも個人差が存在するため、時々の画像により証を判定するだけでなく、同一人物の時間的な画像の変化を把握することにより診断支援の確度が向上できる。この場合、健康な状態から病気の状態まで、各個人の様々な健康状態における舌画像をデータベースに登録し、その計測値の変化の大小と診断結果との関係をデータベースに蓄積する。
【００７２】
＜診断支援システムの他の形態＞
診断支援システム１については、固定式の照明２１およびカメラ２２で分光画像を取得するのは必須でなく、可搬性を有する携帯型の照明およびカメラで取得するようにしても良い。
【００７３】
すなわち、通常のカメラとストロボのような携帯型の装置では、持ち運びが可能であるため、医師だけでなく患者や介護者など個人でも撮影できる利点がある。また、レンズアレイ２７を用いると、撮像センサ２６までの結像距離が短く、携帯電話やノートパソコンなどの携帯機器に組み込むことも可能である。これにより、わざわざ通院しなくても、家庭や勤務先など出先で必要に応じて手軽に舌の分光画像を得ることができる。なお、ホストコンピュータ３との通信も有線だけでなく無線で行っても良い。
【００７４】
このような携帯機器でカメラなどを構成することにより、いつでも、どこでも手軽に健康状態を把握することができ、病気やストレスなどの早期発見や治療に役立てることができる。そして、通院する機会を逃しがちなビジネスマン、医療機関が少ない地方の住人、外出が難しい術後の患者や高齢者などの診断および健康管理に有効である。
【００７５】
このような携帯機器をビジネス展開する場合には、ビジネスの事業者は、カメラまたは光学デバイスを組み込んだ機器をユーザに販売するとともに、ユーザと舌画像による健康診断の契約を結ぶ。この契約は、期間で一定の料金を課す定額制でも、利用に応じて料金を支払う従量制でも良い。まず、契約者は、あらかじめ健康状態で舌画像を複数撮影し、事業者に送信する。そして、体の不調を感じた場合には、再び自分の舌を撮影し、画像データを事業者に送信する。次に、事業者は、この画像に基づき分光データを生成するとともに、色や形の計測値より契約者の健康状態を判定して、その健康状態を契約者にネットワークを介して通知する。さらに、通院の要否や、適した薬や健康食品、生活や食事内容の改善方法を連絡する。
【００７６】
一方、ビジネスの事業者は、これらの医療、物販やサービスの提供者とも情報提供の契約を結ぶ。そして、通院や投薬が必要な場合には、契約者の居住地や勤務地より近い医院や薬局を紹介し、契約者の了解を得て診断結果を送信する。また、生活や食事内容に関わる物販やサービスの提供が必要な場合には、これらを提供する他の事業者を紹介し、同様に診断結果を送信する。契約者が診断支援システム１の診断結果により治療、物品の購入やサービスを受けた場合には、事業者はそれらの代金の一定額を受け取ることにする。この場合、事業者、契約者、医療・物販・サービス提供者の間には秘密保持の契約を締結するのが好ましい。また、契約者本人以外の舌診を行う場合にも同様である。
【００７７】
＜変形例＞
◎上記の実施形態におけるフィルタアレイの透過波長については、可視域に限らず、近紫外域や近赤外域を含んでも良い。
【００７８】
◎上記の実施形態における分光画像については、カラーホイール、チューナブルフィルタ、ライン回折光スキャンなどの他の方法によって取得するようにしても良い。
【００７９】
◎上記の実施形態における分光データの推定においては、重回帰法を利用するのは必須でなく、波長を線形に補完するスプライン法、被写体の分光分布の主成分を用いる方法など（千葉大、１９９８光学２７巻７号を参照）を利用しても良い。
【００８０】
◎上記の実施形態における端末装置においては、図１および図２に示す照明系、結像レンズ系および二次元センサの組合せを有するのは必須でなく、照明系、走査光学系およびラインセンサの組合せや、色彩計として市販されている照明系、集光レンズおよび単一の光センサの組合せを有しても良い。なお、照明系、集光レンズおよび単一の光センサの組合せでは、舌の分光分布をスポットでしか取得できないため、手動で装置を動かして舌の部分、苔の部分などを選択して測定することとなる。
【００８１】
◎上記の実施形態においては、９種類の透過波長の分光画像を取得するのは必須でなく、２〜８種類および１０種類以上の分光画像を取得しても良い。例えば、一般のデジタルカメラなどで使用されているＲＧＢの３波長の分光画像や、その倍の６波長の分光画像を取得しても良い。なお、重回帰法などにより分光分布データを推定する場合には、撮影時のバンド数が多いほど推定誤差が小さくなる。
【００８２】
◎上記実施形態の端末装置においては、舌画像の解析によって検出された計測値を送信データとしてホストコンピュータに送信するのは必須でなく、舌の分光データを送信データとして送信するようにしても良い。この場合には、ホストコンピュータ側で舌画像の解析が行われることとなる。
【００８３】
◎本発明のおける「分光データ」とは、分光反射率データに限らず、上述した９波長の分光画像などのデータをも含む概念である。すなわち、舌色や苔色の判断においては、複数の分光画像からでも、診断支援情報である、例えば証の判定がある程度可能であるからである。
【００８４】
【発明の効果】
以上説明したように、請求項１ないし請求項５の発明によれば、照明された舌に関する分光データを生成し、この分光データに基づき診断支援情報を生成するため、舌の情報に基づく的確な診断支援を簡易に行える。
【００８５】
特に、請求項２および請求項５の発明においては、舌本体の厚みおよび／または舌本体上の苔の厚みに関する厚み情報に基づき診断支援情報を生成するため、一層的確な診断支援を行える。
【００８６】
また、請求項３の発明においては、分光データが照明手段の照明条件に依存しない分光反射率データであるため、診断支援の精度を向上できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る診断支援システム１の要部構成を示す図である。
【図２】撮像部２５の要部構成を示す図である。
【図３】フィルタアレイ２８における９つの透過波長Ｆ１〜Ｆ９の特性を説明するための図である。
【図４】カメラ２２で取得される９つの画像Ｇｄを説明するための図である。
【図５】診断支援システム１の基本的な動作を示すフローチャートである。
【図６】重回帰法を説明するための図である。
【図７】舌の分光データを説明するための図である。
【図８】データベースＤＢを説明するための図である。
【符号の説明】
１ 診断支援システム
２ 端末装置
３ ホストコンピュータ
２０ 端末本体
２１ 照明
２２ カメラ
２５ 撮像部
２６ 撮像センサ
２７ レンズアレイ
２８ フィルタアレイ
ＤＢ データベース
Ｇｄ 画像
ＴＮ 舌[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a diagnosis support technology for performing diagnosis support based on tongue information.
[0002]
[Prior art]
Conventionally, there is a diagnostic method (tongue examination) for diagnosing a health condition or a medical condition by observing the condition of the tongue.
[0003]
This tongue examination is disclosed, for example, in Patent Document 1. By comparing the tongue image of a patient with a past standard tongue image (standard tongue image), the tongue color and the like can be used without relying on experience. Assistive technologies that can be diagnosed are described.
[0004]
[Patent Document 1]
Patent No. 2763989
[0005]
[Problems to be solved by the invention]
However, in the technique of Patent Literature 1, the judgment is made based on the experience and know-how of the doctor, and the judgment criterion is not quantitative. Therefore, individual differences occur and it is difficult to make an objective and accurate judgment. Further, since metamerism occurs in accordance with the light source, the tongue colors of two cases that look the same may not be the same, and a misdiagnosis may occur.
[0006]
The present invention has been made in view of the above problems, and has as its object to provide a diagnosis support technique capable of easily performing accurate diagnosis support based on tongue information.
[0007]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 is a diagnosis support system, comprising: (a) an illumination unit for illuminating a tongue; and (b) an image of the tongue illuminated by the illumination unit, and And (c) support information generating means for generating diagnosis support information based on the spectral data, wherein diagnosis is performed based on the diagnosis support information.
[0008]
The invention according to claim 2 is the diagnostic support system according to claim 1, further comprising: (d) means for acquiring thickness information on the thickness of the tongue main body and / or the thickness of moss on the tongue main body, The support information generating means has (c-1) a means for generating the diagnosis support information based on the thickness information.
[0009]
According to a third aspect of the present invention, in the diagnosis support system according to the first or second aspect, the spectral data is spectral reflectance data that does not depend on the illumination condition of the illumination unit.
[0010]
According to a fourth aspect of the present invention, there is provided a terminal device communicably connected to the diagnosis support device, wherein (a) an illuminating unit for illuminating the tongue; A diagnostic data generating unit configured to generate spectral data related to the tongue; and (c) a transmitting unit configured to transmit transmission data based on the spectral data to the diagnosis support device. In addition to having support information generating means for generating diagnosis support information, diagnosis is performed based on the diagnosis support information.
[0011]
The invention according to claim 5 is the terminal device according to claim 4, further comprising: (d) means for acquiring thickness information relating to the thickness of the tongue body and / or the thickness of moss on the tongue body, and The means has (c-1) means for transmitting the thickness information to the diagnosis support device, and the support information generation means has means for generating the diagnosis support information based on the thickness information.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
<Main configuration of diagnostic support system>
Before describing the configuration of the diagnosis support system, the diagnosis based on the tongue color (tongue information) will be described below with reference to “Today's Kampo Practice Guidelines-Diagnosis and Treatment” published by Medical Yukon.
[0013]
Diagnosis in Oriental medicine is to define a "certificate". The testimony is expressed in the state of cold / heat and the air / blood / water. Cold and heat are classified into front and back, front and back, and back and back depending on the combination of the front and back of the body. Qi, blood, and water are classified into qi, stagnation, blood, and blood, and yin, water and moisture, depending on whether each is insufficiency or excess.
[0014]
There are four diagnostic methods: hope, hearing, questioning, and cutting, which are equivalent to inspection, auscultation, inquiry, and palpation in Western medicine. The wish examination is divided into those that examine the overall impression of the patient and those that examine the complexion and tongue (tongue examination).
[0015]
The method of examining a complexion is susceptible to sunburn, race, and the like, and cannot be diagnosed when makeup is applied. In addition, the face tends to change due to psychological influence, such as the face being flushed with excitement or the face becoming pale due to fear.
[0016]
On the other hand, the tongue is said to be a mirror of the whole body, because the change of the general condition is easy to appear. The tongue tissue is rich in blood vessels and its surface is covered with mucous membranes, so its color reflects the color of blood and body fluids. It is not affected by sunburn or race because of the mucous membrane. Also, even if the information is recorded and transmitted in a photograph or the like, the individual cannot be identified and there is a sense of security in terms of privacy.
[0017]
In tongue examination, the tongue is divided into a main body and moss, and the constitution and physical condition are diagnosed from the color and shape. In the above testimony, we can see mainly the condition of cold / heat and blood / water. The relationship between the two is shown in Table 1 below.
[0018]
[Table 1]

[0019]
In this way, the color and shape characteristics of the tongue and moss can determine the proof of the physical condition. Once the proof is established, it is possible to determine the treatment method such as prescription of Chinese medicine and acupuncture and moxibustion.
[0020]
The testimony categorizes body conditions according to prescription, but has also been linked to the diagnosis of Western medicine. The relationship is shown in Table 2 below.
[0021]
[Table 2]

[0022]
By using such a relationship, it is possible to select a Western medical treatment method and to propose a meal content and a lifestyle.
[0023]
A specific configuration of the diagnosis support system that supports the tongue examination as described above will be described below.
[0024]
FIG. 1 is a diagram showing a main configuration of a diagnosis support system 1 according to an embodiment of the present invention.
[0025]
The diagnosis support system 1 includes a terminal device 2 and a host computer 3 communicably connected to the terminal device 2 via a network NE. The host computer 3 is located at a remote location with respect to the terminal device 2 and functions as a device for integrally managing the diagnosis support system 1.
[0026]
The terminal device 2 includes a terminal main body 20, a lighting 21, and a camera 22 that is connected to the terminal main body 20 via a cable CB so that data can be transmitted.
[0027]
The terminal body 20 is configured as, for example, a personal computer, and can process image data transmitted from the camera 22 and transmit the processed image data to the host computer 3.
[0028]
The illumination 21 illuminates the tongue TN of the patient with illumination light having a constant color temperature.
[0029]
The camera 22 is configured as, for example, a multi-band spectral camera, and can capture a spectral image having two-dimensional spectral information in one shot. Then, as described later, image data of continuous wavelength bands is estimated from spectral images captured by the camera 2 in a plurality of wavelength bands.
[0030]
The camera 22 has an imaging unit 25, which will be described below.
[0031]
FIG. 2 is a diagram illustrating a main configuration of the imaging unit 25.
[0032]
The imaging unit 25 includes an imaging sensor 26, a lens array 27, and a filter array 28.
[0033]
The imaging sensor 26 has, for example, an area sensor such as a CCD or a CMOS formed on a silicon substrate, and has sensitivity from a visible region to a near infrared region.
[0034]
The lens array 27 is formed of, for example, glass or resin, and is divided into nine (3 × 3) regions. In each of these regions, single lenses are arranged in parallel. The lens array 27 is designed to match specifications such as the focal length and the F-number for each lens. However, the lens array 27 is designed to correct differences in optical characteristics such as an imaging position caused by the selective transmission wavelength. You may make it arrange | position.
[0035]
The filter array 28 is divided into nine (3 × 3) regions corresponding to the lens array 27, and each region has mutually different transmission wavelength characteristics. Specifically, as shown in FIG. 3, the center value of each of the nine selected wavelength characteristics F1 to F9 corresponding to each region is set so that the visible light range (400 to 700 nm) is approximately equal to nine at its half value. ing. The filter array 28 is formed by, for example, a method of selectively depositing an interference film on a glass substrate or a method of laminating a color absorbing glass.
[0036]
The lens array 27 and the filter array 28 are held by the imaging sensor 26 by a lens barrel (not shown). The lens barrel also serves as a partition wall so that the photographing light transmitted through each lens does not interfere with each other.
[0037]
With the configuration of the imaging unit 25 as described above, nine reflected lights from the subject, that is, the reflected light from the tongue TN are projected onto the imaging sensor 26 by the lens array 27. These are nine types of light whose wavelength is selected by the filter array 28. (See FIG. 4). Then, by reading out the image data acquired by the image sensor 26, selecting addresses and rearranging the addresses, it is possible to cut out the image of each wavelength. As a result, in the terminal body 20, spectral distribution data is obtained for each pixel of the tongue image.
[0038]
<Operation of diagnosis support system 1>
FIG. 5 is a flowchart showing a basic operation of the diagnosis support system 1.
[0039]
First, based on the spectral image of the tongue acquired by the camera 22, spectral data of the tongue is generated in the terminal body 20 (step S1).
[0040]
In step S2, the terminal body 20 analyzes the tongue image. Then, the analysis result (measured value) of the tongue image is transmitted to the host computer 3 as transmission data.
[0041]
In step S3, the host computer 3 generates diagnosis support information that is the basis for diagnosis of a health condition or a medical condition.
[0042]
The operations described above are performed by the diagnosis support system 1. Hereinafter, the operations of steps S1 to S3 will be described separately.
[0043]
<1. Generation of tongue spectral data>
The terminal body 20 estimates continuous spectral reflectance data (spectral data) based on the nine-wavelength spectral image Gd (FIG. 4) acquired by the camera 22. In this estimation, a multiple regression method for obtaining the relationship between the subject and the camera output by regression analysis is used. This method will be described below.
[0044]
First, many objects (for example, a color chart) for which spectral reflectance data has already been measured are photographed by the illumination 21 and the camera 22 used in a medical examination, that is, in actual photographing.
[0045]
Then, the terminal body 20 stores the spectral reflectance data of the known color chart as shown in FIG. 6A and the output data (FIG. 6B) output from the camera 2 by photographing the color chart. Remember.
[0046]
Here, a transformation matrix is calculated from the known spectral reflectance data and the photographed camera output using the determinant expressed by the following equation (1). In the known spectral reflectance data corresponding to the left side of Expression (1), it is assumed that 30 pieces of data Ob1 to Ob30 are measured at intervals of 10 nm in the visible region (400 to 700 nm).
[0047]
(Equation 1)

[0048]
On the right side of the above equation (1), a transformation matrix having elements V11 to V930 is multiplied by a camera output having elements C1 to C9 corresponding to nine pieces of spectral image data.
[0049]
By using the conversion matrix obtained by the above equation (1), it is possible to estimate the spectral reflectance of the tongue that does not depend on the illumination condition (spectral distribution) of the illumination 21 in capturing a spectral image.
[0050]
That is, when the tongue illuminated by the illumination 21 is actually photographed, the data of the spectral image acquired by the photographing, that is, the output of the camera 22, is used to calculate the expression (1) based on the known spectral reflectance data. , The spectral reflectance data of the tongue to be diagnosed is estimated. Here, if the camera output is obtained up to the second order, the accuracy of the estimation is improved. Further, when the photographing target is limited to the tongue, the estimation accuracy can be improved by measuring and photographing the actual tongue instead of the known color chart. On the other hand, when the spectral sensitivity of the illumination 21 or the camera 22 is changed, it is necessary to photograph a known color chart or the like again, and to calculate the conversion matrix again based on this.
[0051]
By the above estimation by the multiple regression method, for example, spectral data of the tongue as shown in FIG. 7 can be generated. FIG. 7 is a graph showing an example of the spectral distribution of the tongue in four patients, in which the horizontal axis represents the wavelength (nm) and the vertical axis represents the reflectance (%). In this manner, the terminal 2 can acquire spectral reflectance data that can be used as an absolute evaluation value (measured value) in a continuous spectral distribution from the nine spectral image data acquired by the camera 22.
[0052]
<2. Analysis of tongue image>
The terminal body 20 first performs a process of extracting a tongue portion from the spectral data obtained by the camera 22. In photographing the tongue, the composition is such that the lower half of the face is photographed by the camera 22 with the tongue TN at the center. In this case, the surface of the face, lips, teeth, etc., are shown in the image in addition to the tongue. . Here, a process of extracting the tongue portion from the captured image is required, and this process will be described below.
[0053]
In the terminal body 20, the tongue is extracted based on the luminance edge of the captured image.
[0054]
That is, the spectral reflectance data of each pixel is multiplied by the human luminosity factor to obtain an XYZ value that is a tristimulus value. Then, the difference between the value of Y corresponding to the luminance value of each pixel and the vicinity of four (upper, lower, left and right) is obtained, and a pixel having a luminance step whose difference value exceeds a predetermined value α is extracted. The predetermined value α is set as a threshold value that can detect these luminance steps such as the mouth, teeth, and shadow of the tongue around the tongue. As a result, a tongue region can be extracted from the captured image, and a groove formed at the center of the tongue and a tooth-like mark around the tongue can also be extracted.
[0055]
When observing the extracted tongue portion, if the tongue is wet and the surface is wet with saliva or the like, the light from the light source is reflected and the image flies white. This occurs because the light from the illumination 21 is specularly reflected on the surface of the tongue, and its spectral distribution matches that of the light source. On the other hand, the color of the tongue and moss itself may be white. In this case, the tongue itself, which is the subject, is white, that is, perfect regular reflection is not performed. Therefore, unlike the case where light from the light source is reflected, the spectral distribution of this white region is generally different from that of the illumination 21. They will not match.
[0056]
Therefore, in order to determine whether or not an area observed as white in the tongue image is due to reflected light from a light source, an area where the luminance is equal to or higher than a predetermined value is extracted from the captured image. If the spectral reflectance of this area matches the spectral distribution of the illumination 21 stored in the storage unit of the terminal body 20, it is determined that the tongue is wet. This makes it possible to correctly determine whether the tongue color / moss color is white.
[0057]
Further, in the terminal body 20, a process of extracting a moss portion using the color similarity is also performed. That is, the colors of a plurality of pixels are detected from the center portion of the detected tongue region. Then, the colors of these pixels are represented in a frequency distribution, and the color with the highest frequency is regarded as the background color of this area. In this case, the color may be either the spectral reflectance or the XYZ values described above. Next, a frequency distribution is created based on the colors of a plurality of pixels located immediately inside the boundary portion of the previously detected tongue region, and the background color is detected.
[0058]
By the above detection method, the background color at the center of the tongue region represents the color of the moss, and the color near the boundary of the tongue region represents the color of the tongue itself. Here, if there is a difference equal to or more than a predetermined value between the two colors, pixels are sequentially selected radially from the center to the periphery, and the amount of change from the center color is calculated. The pixel area is expanded until the pixel value reaches a predetermined value. The pixel area obtained in this way is regarded as a moss area, and the outside thereof is determined to be a tongue main body area. The threshold value used in this determination is preferably set to an intermediate level between the two.
[0059]
Also, by detecting the amount of color change in the tongue area not as a boundary area from the center but in pixel units, it is possible to detect spots in the tongue and moss areas by judging the color difference of small parts It becomes. That is, similarly to the above-described luminance step, by extracting a pixel having a predetermined difference from the background color of the tongue or moss area, a spot or the like can be detected.
[0060]
In the above, the case where the tongue is photographed from the front is described, but by detecting the contour by photographing the tongue from the side, the thickness of the tongue (the tongue main body) and the thickness of the moss on the tongue main body, that is, the thread-shaped papillae Height can be measured. Among them, the height of the moss can be detected by the degree of the shadow because the illumination light of the illumination 21 is obliquely applied to the surface of the tongue in the photographing. Specifically, by setting the threshold value to a luminance lower than the mossy color by the above-described pixel detection method using the luminance step, the number of pixels of the shadow is detected and the thickness is measured. In addition, as for the thickness information regarding the thickness of the tongue and the moss, the terminal device 2 may acquire the thickness information obtained by measuring using a ruler or the like or measuring using an optical shape measuring method such as a light cutting method. .
[0061]
<3. Generation of diagnosis support information>
Table 1 shows the measurement values detected by the above analysis of the tongue image, specifically, the color and shape of the tongue and moss, the presence or absence of tooth marks and grooves, the degree of wetness of the tongue, and the thickness of the tongue and moss. By applying the method to the diagnostic method of Oriental medicine, it is possible to obtain a “certificate”, that is, diagnosis support information, based on the spectral image of the tongue acquired by the camera 22.
[0062]
The measurement value obtained by the terminal body 20 is transmitted to the host computer 3, and the host computer 3 determines the patient's identification and health condition based on the determination database. This determination will be described below with reference to a specific example of a case where the determination is made through actual medical care.
[0063]
Oriental medicine is a medicine based on experience, and diagnoses the current patient using past data as a sample. To this, techniques used in weather forecasts and business forecasts are applied. That is, a determination database is created in which the relationship between the measured values that can be digitized and the determination results for which the causal relationship with the numerical values is not clear is statistically arranged based on past data.
[0064]
More specifically, the terminal device 2 that captures a spectral image is installed in a clinic where medical treatment is performed by Oriental medicine, and a spectral image of the tongue is captured and a measurement value is recorded. In this case, because the patient is visiting the clinic, the physician will use not only a tongue examination, but also other Oriental medical diagnostic methods such as inquiry and palpation, and if necessary, Western medical diagnostic methods such as blood test and radiological diagnosis. Make full use of the diagnosis of the patient's condition. Then, when the diagnosis is confirmed, the doctor transmits the measured value detected from the tongue image and the diagnosis result to the host computer 3 at a remote place via the network NE. Next, in the host computer 3, as shown in FIG. 8, the received measurement value and the diagnosis result are added and stored in the database DB. Then, when a certain amount of information is accumulated in the database DB, diagnosis support information such as a testimony can be generated by regression for a new measured value using the correlation between the measured value and the diagnosis result. .
[0065]
With the above database DB, diagnosis support based on the spectral image acquired by the camera 2 can be appropriately performed. In other words, based on the diagnostic support information such as identifications, for those with severe symptoms or urgency, refer to a hospital equipped with testing equipment to recommend outpatient services, and for those with mild symptoms or chronic symptoms. For those with stable symptoms, we will inform them of suitable Chinese herbs that can be purchased at the nearest pharmacy or mail order. For those who are not sick but are sick due to stress or fatigue, we will propose ways to improve our lifestyle and dietary content, as well as health foods that can be purchased at nearby stores and mail order.
[0066]
By the operation of the diagnosis support system 1 described above, the diagnosis support information is provided by referring to the database based on the spectral data of the tongue that is photographed and generated by the camera, so that accurate diagnosis support based on the information of the tongue can be easily performed. It will be.
[0067]
As a result, early detection and treatment of the disease can be performed, so that reduction of medical costs and improvement of the treatment effect can be expected. In addition, it is possible to provide goods and services related to health to those who need it in a timely manner, and it is possible to improve the efficiency of the business operator who operates the diagnosis support system.
[0068]
The database DB described above is not limited to a certificate of Oriental medicine, and may be created as a database including the results of Western medicine. Further, a database may be created that combines the determination of the test of Eastern medicine and the diagnosis of Western medicine. As a result, more accurate diagnosis support can be performed.
[0069]
In addition, if a database DB in which data is classified for each school and each doctor is constructed, it is possible to make a determination by each diagnosis method. On the other hand, if all these data are used, it is possible to establish one integrated diagnostic method.
[0070]
Further, in the database DB, as shown in FIG. 8, a new measurement value NM can be used retroactively as long as the value is measured from the spectral image. Even after a certain amount of information is accumulated, the accuracy of the database DB, that is, the accuracy of diagnosis support can be improved by adding a new patient finding SK.
[0071]
Further, since there is an individual difference in the state of the tongue, not only the identification is determined based on the images from time to time, but also the accuracy of the diagnosis support can be improved by grasping the temporal change of the image of the same person. In this case, tongue images in various health states of each individual from a healthy state to a sick state are registered in the database, and the relationship between the magnitude of the change in the measured value and the diagnosis result is stored in the database.
[0072]
<Other forms of diagnosis support system>
With respect to the diagnosis support system 1, it is not essential to acquire a spectral image with the fixed illumination 21 and the camera 22, but it may be acquired with a portable illumination and camera having portability.
[0073]
That is, since a portable device such as a normal camera and a strobe is portable, there is an advantage that not only a doctor but also an individual such as a patient or a caregiver can take an image. When the lens array 27 is used, the image formation distance to the image sensor 26 is short, and the lens array 27 can be incorporated in a portable device such as a mobile phone or a notebook computer. This makes it possible to easily obtain a spectral image of the tongue as needed at a place such as at home or at work, without going to the hospital. Communication with the host computer 3 may be performed not only by wire but also wirelessly.
[0074]
By configuring a camera or the like with such a portable device, a health condition can be easily grasped anytime and anywhere, and it can be used for early detection and treatment of illness, stress and the like. It is also effective for diagnosis and health management of businessmen who tend to miss out to hospital, local residents with few medical institutions, postoperative patients and elderly people who have difficulty going out.
[0075]
When developing such a portable device as a business, the business operator sells a device incorporating a camera or an optical device to the user and makes a contract with the user for a health checkup using tongue images. This contract may be a flat-rate system that charges a fixed fee over a period or a pay-as-you-go system that pays a fee according to use. First, the contractor photographs a plurality of tongue images in advance in a healthy state and transmits the tongue images to the business operator. Then, when the user feels sick, he again photographs his own tongue and transmits the image data to the business operator. Next, the business entity generates spectral data based on the image, determines the health condition of the contractor from the measured values of the colors and shapes, and notifies the contractor of the health condition via the network. In addition, the necessity of going to the hospital, appropriate medicines and health foods, and ways to improve the lifestyle and diet are reported.
[0076]
On the other hand, business operators make contracts for providing information with these medical, merchandise and service providers. Then, when going to a hospital or medication is required, a clinic or pharmacy closer to the residence or work place of the contractor is introduced, and the diagnosis result is transmitted with the consent of the contractor. In addition, when it is necessary to provide goods or services related to life and meal contents, other companies that provide these are introduced, and a diagnosis result is transmitted in the same manner. When the contractor receives a treatment, purchase of an article, or a service based on the diagnosis result of the diagnosis support system 1, the business operator receives a certain amount of the payment. In this case, it is preferable to conclude a confidentiality agreement between the business operator, the contractor, and the medical / product sales / service provider. The same applies to a case where a tongue examination is performed by a person other than the contractor.
[0077]
<Modification>
The transmission wavelength of the filter array in the above embodiment is not limited to the visible region but may include the near ultraviolet region and the near infrared region.
[0078]
The spectral image in the above embodiment may be obtained by another method such as a color wheel, a tunable filter, and a line diffraction light scan.
[0079]
In the estimation of the spectral data in the above embodiment, it is not essential to use the multiple regression method, but a spline method for linearly complementing the wavelength, a method using the main component of the spectral distribution of the subject (Chiba Univ., 1998) (See Optics, Vol. 27, No. 7).
[0080]
In the terminal device in the above embodiment, it is not essential to have the combination of the illumination system, the imaging lens system, and the two-dimensional sensor shown in FIGS. 1 and 2, and the combination of the illumination system, the scanning optical system, and the line sensor. Alternatively, it may have a combination of an illumination system, a condenser lens, and a single optical sensor which are commercially available as a colorimeter. Note that with the combination of the illumination system, condenser lens, and single optical sensor, the spectral distribution of the tongue can only be acquired at the spot, so the device is manually moved to select and measure the tongue, moss, etc. It will be.
[0081]
In the above embodiment, it is not essential to acquire nine types of spectral images of transmission wavelengths, and two to eight types and ten or more types of spectral images may be acquired. For example, a spectral image of three wavelengths of RGB used in a general digital camera or the like, or a spectral image of six wavelengths twice as large as the spectral image may be acquired. When estimating spectral distribution data by the multiple regression method or the like, the estimation error decreases as the number of bands at the time of imaging increases.
[0082]
In the terminal device of the above embodiment, it is not essential to transmit the measurement value detected by the analysis of the tongue image to the host computer as transmission data, and the spectral data of the tongue may be transmitted as transmission data. . In this case, the tongue image is analyzed on the host computer side.
[0083]
The term “spectral data” in the present invention is a concept including not only spectral reflectance data but also data such as the above-described 9-wavelength spectral image. That is, in the determination of the tongue color and the moss color, it is possible to determine the diagnostic support information, for example, a testimony to some extent, even from a plurality of spectral images.
[0084]
【The invention's effect】
As described above, according to the first to fifth aspects of the present invention, the spectral data relating to the illuminated tongue is generated, and the diagnosis support information is generated based on the spectral data. Diagnosis support can be easily performed.
[0085]
In particular, according to the second and fifth aspects of the present invention, since the diagnosis support information is generated based on the thickness information on the thickness of the tongue main body and / or the thickness of the moss on the tongue main body, more accurate diagnosis support can be performed.
[0086]
According to the third aspect of the invention, since the spectral data is spectral reflectance data that does not depend on the illumination conditions of the illumination means, the accuracy of diagnosis support can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a main configuration of a diagnosis support system 1 according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of a main part of an imaging unit 25.
FIG. 3 is a diagram for explaining characteristics of nine transmission wavelengths F1 to F9 in the filter array 28.
FIG. 4 is a diagram for explaining nine images Gd acquired by a camera 22;
FIG. 5 is a flowchart showing a basic operation of the diagnosis support system 1.
FIG. 6 is a diagram for explaining a multiple regression method.
FIG. 7 is a diagram for explaining spectral data of a tongue.
FIG. 8 is a diagram for explaining a database DB.
[Explanation of symbols]
1 diagnosis support system
2 Terminal device
3 host computer
20 Terminal body
21 Lighting
22 Camera
25 Imaging unit
26 Imaging Sensor
27 Lens array
28 Filter Array
DB database
Gd image
TN tongue

Claims (5)

A diagnostic support system,
(A) lighting means for illuminating the tongue;
(B) spectral data generating means for photographing the tongue illuminated by the illuminating means and generating spectral data on the tongue;
(C) support information generation means for generating diagnosis support information based on the spectral data,
A diagnosis support system, wherein diagnosis is performed based on the diagnosis support information. The diagnosis support system according to claim 1,
(D) means for acquiring thickness information on the thickness of the tongue body and / or the thickness of the moss on the tongue body,
Further comprising
The support information generating means,
(C-1) means for generating the diagnosis support information based on the thickness information,
A diagnosis support system comprising: In the diagnosis support system according to claim 1 or 2,
A diagnostic support system, wherein the spectral data is spectral reflectance data that does not depend on illumination conditions of the illumination unit. A terminal device communicably connected to the diagnosis support device,
(A) lighting means for illuminating the tongue;
(B) spectral data generating means for photographing the tongue illuminated by the illuminating means and generating spectral data on the tongue;
(C) transmission means for transmitting transmission data based on the spectral data to the diagnosis support device;
With
The diagnosis support device,
Support information generating means for generating diagnosis support information based on the transmission data,
With
A terminal device wherein diagnosis is performed based on the diagnosis support information. The terminal device according to claim 4,
(D) means for acquiring thickness information on the thickness of the tongue body and / or the thickness of the moss on the tongue body,
Further comprising
The transmitting means,
(C-1) means for transmitting the thickness information to the diagnosis support device;
With
The support information generating means,
Means for generating the diagnosis support information based on the thickness information,
A terminal device comprising:

Images