JP2006305260A - 表情診断支援装置 - Google Patents

Abstract

【課題】 現在のストレス社会で問題になっている心因性疾病患者の増大について、専門家を介さなくてもその判断を行うことができる装置があれば、短期間で多数の専門家を養成しなくても、早期発見早期治療への対応が可能になる。このような装置は、現在実用化されているものはなく、アイデアとして公表されているものもないため、システムの具体化が課題である。
【解決手段】上記課題を解決するため、被診断者の顔を撮影するディジタルカメラと、撮影した顔画像から診断データを抽出し数値化するソフトウエアおよびこの数値から医学心理学的知識を基に診断結果を導くソフトウエアからなる診断プログラムと、これら画像や診断プログラムを保存する記憶装置と、診断プログラムを起動させて診断させる操作器と、診断結果を表示する表示器から構成した。
【選択図】 図１

Description

本発明は、顔の表情から医学的心理学的知識データをベースにして心因性疾病の診断をおこなうための支援装置に関する。

近年のストレス社会による心因性疾病の増加は、企業や自治体にとっての負担増を招き、またそれによって職をはなれる人の増加や児童の登校拒否や引きこもりなどの増加は社会的問題となっている。このままの状況が続くと、将来医師やカウンセラーなど専門家の大幅な不足が予想され、この対応が遅れると社会不安の要因となりかねない。

しかし、短時間で大勢の専門家を養成することは時間や費用の面で無理があり、また国民的な負担が増すことになり行政的決断もなされにくい。
そこで、簡単な操作でしかも専門家でなくても、被診断者の顔画像から心因性疾病のある程度の判断ができる装置があれば、これを医療機関に多数設置することで早期発見につながり早期治療へ導くことで少ない投資により緊急対応が可能になり、社会不安への対策として大いに貢献できる。

このような、支援装置は、現在実用化されているものはなく、アイデアとして公表されているものもない。例えば、特許文献１は本件の支援装置にも応用できる可能性があるが、顔画像に画像強調処理を施して判定用顔画像を作成することを述べているが、具体的な判定方法についての記述がない。
顔の判定方法及び顔の判定支援装置、特願平９−３４６８８８

心因性疾病を判断するための支援装置を実現するためには、被診断者の顔画像から診断に必要なデータを抽出するソフトウエアと抽出データをもとに潜在的犯罪者であるか否かを診断するソフトウエアの具体化が課題である。

上記診断を的確にかつ短時間で行えるように、画像処理技術と心理学・医学知識を融合させた、表情判断支援装置を考案した。

本発明の装置は、上記課題を解決するため、被診断者の顔を撮影するディジタルカメラと、撮影した顔画像から診断データを抽出し数値化するソフトウエアおよびこの数値から診断結果を導くソフトウエアからなる診断プログラムと、これら画像や診断プログラムを保存する記憶装置と、診断プログラムを起動させて診断させる操作器と、診断結果を表示する表示器から構成したものである。

第二の解決手段は、事前に音声と画像でプログラムされた指示装置によって被診断者に対し所定の行動を指示し、このときの被診断者の表情を撮影して診断データベクトルを作成するような構成としたものである。

第三の解決手段は、本装置の診断データをネットワーク上のサーバーに蓄積し、これらのデータを用いて、診断マトリックスの各要素を更新するような構成としたものである。

第四の解決手段は、本装置の機能を携帯電話機に持たせたものである。携帯保有者が自分の顔を携帯電話機のディジタルカメラで撮影し、この顔画像から携帯電話機の記憶装置に保存されている診断ソフトウエアにより診断しその結果を携帯電話機の表示器に表示するような構成としたものである。

上記第一の解決手段による作用は次の通りである。即ち、撮影した被診断者の顔写真データから、非特許文献１の手法を用いて特徴点を抽出し、この特徴点の座標データから診断データベクトルＸを演算し、複数の専門家の知見を数値化した診断マトリックスＡを用いて、診断結果ベクトルＹを演算し、この診断結果ベクトルＹを表示することで、専門知識がなくても被診断者が判断を行うことができる。診断マトリックスＡは、事前に専門家による診断を行って顔写真から診断結果ベクトルＹを求めておき、次に顔写真から診断データベクトルＸを演算しておき、このＸとＹより、ニューラルネットワーク技術を用いて診断マトリックスＡの各要素の値を決める。

上記第二の解決手段による作用は次の通りである。即ち、上記第一の解決手段に指示装置を付加して、この指示装置により被診断者に指示を与えた後に顔写真を撮影すれば、被診断者の顔写真撮影の条件が一律になるため正確な判断を行うことができる。

上記第三の解決手段による作用は次の通りである。即ち、本装置の多くをネットワークでつなぎ診断データを整理蓄積することで、大量のデータがえられこれを心理学や医学研究に役立たせることができる。

上記第四の解決手段による作用は次の通りである。即ち、あたかも、体温計で日頃の体調をチェックするように、携帯電話機を用いて自宅でプライバシを保って気軽にメンタルヘルスチェックが出来るようになり、心因性疾病の早期発見がされやすい環境ができる。
Ｌ．Ｄｉａｇｏ，Ｍ．Ｋｉｔａｇｏ，Ｉ．Ｈａｇｉｗａｒａ："ＷＡＶＥＬＥＴ ＤＯＭＡＩＮ ＳＯＬＵＴＩＯＮ ＯＦ ＣＳＲＢＦ ＳＬＡＥ ＦＯＲ ＩＭＡＧＥ ＩＮＴＥＲＰＯＬＡＴＩＯＮ ＵＳＩＮＧ ＩＴＥＲＡＴＩＶＥ ＭＥＴＨＯＤＳ，"Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ２００４ ＡＳＭＥ／ＪＳＭＥ Ｐｒｅｓｓｕｒｅ Ｖｅｓｓｅｌｓ ａｎｄ Ｐｉｐｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ（ＰＶＰ２００４），ＰＶＰ−ｖｏｌ．４８２，ｐｐ．２１５−２２０，Ｓａｎ Ｄｉｅｇｏ，Ｃａｌｉｆｏｒｎｉａ，ＵＳＡ，Ｊｕｌ．２５−２９，２００４．

簡単な操作でしかも専門家でなくても、被診断者の顔画像から心因性疾病の度合いについてのある程度の判断が可能になる。本装置を、医療機関に設置すれば、専門家の大幅増員なしで、今後増加が予想される心因性疾病者の早期発見早期治療が可能になり、企業や自治体の負担増や社会的不安の払拭に貢献できる。
さらには、本装置の多くをネットワークでつなげば、大量のデータが蓄積でき、これを有効活用することで心理学や医学研究の進展に貢献できる。

発明を実施するための形態

以下に、本発明を実施するための最良の形態を図面に基づいて説明する。

図１は、本発明の表情診断装置の全体図を示す。被診断者１の顔の表情をディジタルカメラ３により撮影する。送信装置４は、顔画像データを画像データ受信記憶装置５に送る。送信装置４から画像データ受信記憶装置５への送信は専用通信網あるいはネットワークを介して送る。診断者１１は操作器１０を操作して診断装置を起動させ、特定の被診断者のデータを記憶装置から取り出し、まず診断データ抽出ソフトウエア６を作動させて診断ベクトルＸを演算し、続いて診断ソフトウエア７を作動させ、診断マトリックスＡを用いて前記診断ベクトルＸを診断結果ベクトルＹに変換する。診断結果表示ソフトウエア８は、これらの結果を表示器９に表示する。診断者１１は表示器９に表示された結果を見て被診断者を判断する。

図２は、診断データ抽出ソフトウエアの演算プロセスを示すブロック図である。特徴点の抽出は、非特許文献１で述べた方法により行う。診断者が診断プログラムを起動すると、最初に“顔画像の診断データ抽出ソフトウエア”が作動し、診断データの数値化ベクトルＸを算出する。診断データベクトルＸは、表情の左右対称度Ｘ_１、目の緊張度Ｘ_２、頬の緊張度Ｘ_３、口角の角度Ｘ_４から構成される。

図３は、診断データＸ_１（表情の左右対称度）の演算方法を示すブロック図である。Ｘ_１は次の演算式により計算される。

図４は、診断データＸ_２（目の緊張度）の演算方法を示すブロック図である。Ｘ_２は次の演算式により計算される。

図５は、診断データＸ_３（頬の緊張度）の演算方法を示すブロック図である。Ｘ_３は次の演算式により計算される。

ｆ_１，ｆ_２を定める頬の特徴点は、まず明暗と色合いの差が大きい領域を抽出し（図５の顔写真の白色に塗った領域で、これを頬面と定義する）、次にこの頬面の重心に相当する点を計算して求めこれを特徴点とする。

図６は、診断データＸ_４（口角の角度）の演算方法を示すブロック図である。Ｘ_４は次の演算式により計算される。

図７は、診断ソフトウエアの演算プロセスを示すブロック図である。ここでは、診断ベクトルＸを診断結果ベクトルＹに変換する。

ここで、診断マトリックスＡの要素ａ_ｉｊ（ｉ＝１・・ｍ，ｊ＝１・・ｎ）の値は、事前に複数の専門家による医学、心理学的知識を基にた診断結果を教師データとして、ニューラルネット技術を用いた学習により診断マトリックスの各要素の値を決めている。具体的な決め方は、非特許文献２で述べている伝達関数を求める方法と同じであり以下に概要を示す。まず、学習に１組ｎ次元の入力ベクトルｓとｍ次元の出力ベクトルｒとを用いる。入出力ベクトルの各要素は非線形変換関数により複素平面上に変換される。

ここで、ｆは入力の写像関数、ｇは出力の写像関数である。これにより入力マトリックスＳと教師マトリックスＴが得られる。

ここで、Ｓの要素は１個の顔写真から演算した１組の診断データであり、Ｔの要素は専門家による１個の顔写真から診断した１組の診断結果のデータである。
出力マトリックスＢは伝達関数Ｇを用いて次のように表される。

ここで、ＥはＧのノルムを正規化するパラメータであり次のように表される

ＢとＴの差は次式で表され、

ここで、Ｈは共役転置を表す。
Ｇは上式が最小になる条件から求まる。

これより、診断マトリックスＡは、Ａ＝Ｇ^Ｔとして求まる。ここでＴは転置を表す。
診断結果ベクトルＹは、パラノイア度Ｙ_１、ノイローゼ度Ｙ_２、ソシオパス度Ｙ_３、鬱度Ｙ_４、ストレス度Ｙ_５から構成される。

図８は、診断結果を表示器で表示した例を示す図である。総合判断Ｚと各診断結果ベクトルＹがグラフ表示され、これから診断者は容易に被診断者の心因性疾病の度合いの判断をすることができる。

図９は、第二の実施例の全体を示す図である。被診断者１は、前もって被診断者への指示内容が音声と画像でプログラムされた指示装置２の指示に従って行動する。指示装置は画像表示部とスピーカとビデオデッキから構成され、ビデオデッキには前もって被診断者への音声による指示とそれに対応する動画像がプログラムされており、例えば音声で“くつろいだ気分になって画面を見てください”と指示すると同時に画面には静寂な湖や山の風景画像が映される。このような指示を数種類実施して被診断者の顔を撮影すれば顔写真撮影の条件が一律になるため判断が正確になる。指示装置以外の構成は、第一の実施例と同じである。

図１０は、第三の実施例の全体を示す図である。
被診断者とカメラと送信装置はネットワークを介して診断者及び診断支援装置とつながり、診断データである、顔画像、診断年月日、診断データベクトル、診断マトリックス、診断結果ベクトルがネットワーク上のサーバに蓄積される。図中には一対の送信装置と診断支援装置が示されているが、実際には多数の装置をネットワークにつなげ大量のデータ蓄積を行なう。

図１１は、第四の実施例である携帯電話機の全体図とブロック図を示す。
図１に示したシステムの簡略機能が携帯電話機の記憶装置１７に格納されている。携帯電話所有者は、まず携帯電話機のデジタルカメラ２２により自分の顔を撮影し、次にキー入力装置１９により、診断ソフトウエアを起動させ、診断結果をＬＣＤ２１に表示
図中の携帯電話機の絵は表示結果の一例を示す。携帯電話機の場合は専門家の手を経ずに一般人が診断することになるため、表示内容は専門的に難しく誤解されやすい項目は避け、ストレス度などの一般的に認知されている項目について、占いタッチや遊び心のある文章表現も加えて親しみやすいものとしている。
ニューラルネットワークと計算力学に基づくシステム同定の検討、日本機械学会論文集（Ｃ編）６４巻６２１号

本発明の全体構成例である． 診断データベクトルＸを抽出するソフトウエアの演算プロセス全体を示すブロック図である。 診断データＸ_１の演算方法を示すブロック図である。 診断データＸ_２の演算方法を示すブロック図である。 診断データＸ_３の演算方法を示すブロック図である。 診断データＸ_４の演算方法を示すブロック図である。 診断ソフトウエアの演算プロセスを示すブロック図である。 診断結果を表示器で表示した例を示す図である。 第二の実施例を示す図である。 第三の実施例を示す図である。 第四の実施例を示す図である。

符号の説明

１ 被診断者
２ 指示装置
３ ディジタルカメラ
４ 送信装置
５ 画像データ受信記憶装置
６ 診断データ抽出ソフトウエア
７ 診断ソフトウエア
８ 診断結果表示ソフトウエア
９ 表示器
１０ 操作器
１１ 診断者
１２ ネットワーク
１３ サーバ
１４ 携帯電話機
１５ ＣＰＵ
１６ ＲＡＭ
１７ 記憶装置
１８ 音声入出力ユニット
１９ キー入力装置
２０ 無線通信ユニット
２１ ＬＣＤ
２２ ディジタルカメラ

Claims (13)

1. 被診断者の顔を撮影するディジタルカメラと、撮影した画像や診断プログラムを保存する記憶装置と、診断プログラムを起動させて診断させる操作器と、診断結果を表示する表示器からなることを特徴とする表情診断支援装置。
2. 請求項１において、診断プログラムは、撮影した顔画像から診断データベクトルを抽出し数値化するソフトウエアと、この数値から診断結果を導くソフトウエアからなることを特徴とする表情診断支援装置。
3. 請求項２において、診断データベクトルを、表情の左右対称度、目の緊張度、頬の緊張度、口角の角度から構成することを特徴とする表情診断支援装置。
4. 請求項２において、診断結果を導くソフトウエアは、診断マトリックスを有し、この診断マトリックスにより、診断データベクトルを診断結果ベクトルに変換するマトリックス演算プログラムで構成し、診断結果ベクトルは、パラノイア度、ノイローゼ度、ソシオパス度、鬱度、ストレス度からなる要素で構成したことを特徴とする表情診断支援装置。
5. 請求項３において、表情の非左右対称度を、左右の眉、目、口の特徴点の座標差から演算することを特徴とする表情診断支援装置。
6. 請求項３において、目の緊張度を、眉と目の各特徴点間の寸法比から演算することを特徴とする表情診断支援装置。
7. 請求項３において、頬の弛緩度を、眉、頬、口の各特徴点の寸法比から演算することを特徴とする表情診断支援装置。
8. 請求項３において、口角の角度を口角付近の二つの特徴点の座標差から演算することを特徴とする表情診断支援装置。
9. 請求項４において、事前に専門家の診断結果を教師データとして、ニューラルネットワーク技術を用いて診断マトリックスの各要素の値を決めることを特徴とする表情診断支援装置。
10. 請求項２において、診断データベクトルを、表情の左右対称度、目の緊張度、張度、口角の角度に加えて、上まぶたや下まぶたの上下動による目の開き具合や形態、虹彩の部分の濃淡、瞳孔の拡張や収縮、瞬きや凝視の回数、眉の上下の変化、眉間や鼻の脇の皺、自己タッチから構成したことを特徴とする表情診断支援装置。
11. 請求項１において、事前に音声と画像でプログラムされた指示装置によって被診断者に対し所定の行動を指示し、このときの被診断者の表情を撮影して診断データベクトルを作成することを特徴とする表情診断支援装置。
12. 請求項１において、本装置の診断データである、顔画像、診断年月日、診断データベクトル、診断マトリックス、診断結果ベクトルをネットワーク上のサーバーに蓄積し整理する手段を備えたことを特徴とする表情診断支援装置。
13. 請求項１において、ディジタルカメラと診断プログラムと診断プログラムを起動させて診断させる操作器と診断結果の表示器を携帯電話機に持たせたことを特徴とする表情診断支援装置。

Images