JP2013206320A - マルチモーダル型トラッキングシステム及びそのプログラム - Google Patents

Abstract

【課題】知識や経験値を必要とせず、迅速に的確な情報を出力することができるマルチモーダル型トラッキングシステム及びマルチモーダル型トラッキングプログラムを提供することである。
【解決手段】対象者の生体情報、社会環境情報、自己認知情報のうち、複数の情報を取得する取得部１２ｃと、取得部１２ｃで取得しうる情報から気分状態レベルを求める際に用いる各係数を定義した気分状態マスタと、気分状態レベルと応答とをそれぞれ対応させて定義した応答マスタと、気分状態マスタと、応答マスタとが記憶される記憶部１２ａと、取得部１２ｃが取得した情報と、気分状態マスタと、応答マスタとに基づき、現在の気分状態レベルを算出して応答を生成する制御部１２ｂと、生成した応答の出力先である出力部１３ｂと、を備えたマルチモーダル型トラッキングシステムとする。
【選択図】図１

Description

本発明は、マルチモーダル型トラッキングシステム及びマルチモーダル型トラッキングプログラムに関する。

近年、気分状態であるメンタルヘルスを良好な状態に導くメンタルヘルスケアサービスが注目されている。通常は、診断対象者が治療者のもとを訪ね、治療者が診断対象者に問診し、治療者が診断して結果を伝える、という一連の流れで行われる。しかしながら、この診断結果は治療者の知識や経験値に大きく依存し、また的確な問診を行うための時間も必要となる。

そこで、コンピューターネットワークを用いた診断が提案されている。例えば、特許文献１には、ネットワーク接続されたコンピューターにより利用者の生活習慣を改善する技術が示されている。これによれば、利用者が入力した情報に基づいてコンピューターからアドバイスが出力される。

ところで、コンピューターへの入力方法に関して、音声情報や画像情報などのマルチメディア情報を入出力する技術であるマルチモーダルインターフェースが開発されている（特許文献２参照）。

特開２００１−２２８３７号公報 特許第３８４４８７４号公報

しかしながら、特許文献１では利用者から入力される日々の情報が少なく、生活習慣改善支援装置側で利用者の生活内容の多くは把握できない。一方、特許文献２ではマルチモーダルインターフェースを用いた具体的な応用例は示されていない。

上述したものも含めてメンタルヘルスケアサービスにおける課題は数多く、以下のような課題が挙げられる。まず、問診による診断は問診する人の知識と経験値によって、診断結果にバラツキが生じる。また、診断対象者の自己認知度や、伝達能力に差が存在するため、問診する人が診断を下すまでの情報収集に時間がかかる。診断対象者の自己認知度や、伝達能力に差が存在するため、問診する人の診断結果にバラツキが生じる。診断対象者は、気分障害を抱えている場合、自己認知すること自体が体調に悪影響を与えることがある。

また、診断対象者は、常時、自分自身のプライバシーが記録されることに心理的な負担を感じることがある。診断対象者は、治療者に問診を受けるための時間・労力・金銭等大きな投資負担が必要である。気分障害は診断対象者が感覚的に認知せず（自覚なしに）、いつの間にか罹患することが多い。診断対象者は、入院の場合を除き、その病状は生活の実態の把握なしに通院またはカウンセラー等との面談時のみで判断される

また、診断対象者の回復状態は、自己認知の陽性変容の持続時間で判断するが、その持続性を図るすべは本人申告である。診断対象者の気分を低下させる問題の対処には行動の事実の把握は必要とされているが、多くは自己申告に基づいている。診断対象者の気分を向上させる目的の問題対処（コーピング）は、問診者の経験に依存し行動事実の把握が不十分な場合逆コーピングとなり、気分を低下させる危険性がある

また、診断対象者の気分状態は、高揚と低下が時系列で波形を取ることが多いとされているが、それを常時測定することはない。診断対象者の気分状態の回復は、高揚と低下の時系列での波形の周期が長くなるとされているがそれを測定する手段が存在していなかった。診断対象者は人との接触回数が少ないため、状態を把握することが困難である。

また、気分障害者治療法で用いられる認知行動療法では、治療者が日常的に本人が意識せずに取ってしまう思考パターン（自動思考）を考察するが、自己申告または短時間なので、バラツキが生じる。パーソナリティ障害、恐怖症などは特定の行動のみで露見するが、治療者が本人の生活全ての情報を知りえないために、病状の特定に時間がかかる。

また、認知療法では不適切な認知を矯正するが、日常的に実践できているかどうかは治療者の断続的な観測と指導タイミングに依存し、自律的な習慣づけに時間がかかる。行動療法ではシェイピングという大きな目標に向けて段階的に行動内容を変えていくが、その行動記録は自己申告が主となり、真偽にはバラツキがある。行動療法の一つの自律訓練法では呼吸や脈、体温の調節を自己暗示によってコントロールする訓練だが、その物理的変化を一意にまたは時系列で認識することはない。

また、行動療法の際に、行動分析を行うが、行動の収集は主に本人からの自己申告によるためバラツキが生じ、結果誤診に繋がる可能性がある。診断対象者が未就学児童など、言語能力が未発達なために、言語だけで心理状態の変化を把握することができない、または障害を発見しにくい場合がある。診断対象者が未成年の場合、親などの監督者が行動を観察できない時の行動に問題がある場合があるが、その行動を客観的に記録するシステムがない。

また、診断対象者が感情の自己認知を表現することは悪いことだという信念（スキーマ）をもっている場合、心理変容の兆候はその他のバイタルサインで把握しなければならない。診断対象者がひとり暮らしの場合、日常的変化を発見するために、人との接触が必要だが、属人的で本人の社会性に依存している。診断対象者が身体障害（言語障害など）を持っている場合、診断に必要な情報が獲得しにくいことがある。

また、診断対象者が症状の治療中は、扶養者の支援が必要だが、支援には時間的な制約や条件があり、支援が必要な時に出来ない。診断対象者が労働者で休職中の場合、所属会社の上司の監督が必要とされているが、その状態把握は属人的である。幼少時のエピソードがうつ病の原因とされるが、その計測手段はない。

また、未就学児童の家庭内暴力などがＰＴＳＤなどの精神障害の原因とされるが、その兆候の発見はその家庭の社会性に依存しており、ばらつきがある。学校でのいじめによる自殺者は、その兆候の発見と対処がステークホルダーの心理的情報の収集力に依存する。アルコール依存症は、無意識に飲酒をしてしまう行動癖のため、その治療に向けた行動記録は入院する以外は自己申告でありバラツキがある。過食症などは、本人の無意識下の摂食行動が起因するが、その行動記録は入院する以外は自己申告でありバラツキがある。

本発明は、上記の課題を１つ以上解決するため、知識や経験値を必要とせず、迅速に的確な情報を出力することができるマルチモーダル型トラッキングシステム及びマルチモーダル型トラッキングプログラムを提供することを目的とする。

上記目的を達成するために本発明のマルチモーダル型トラッキングシステムは、対象者の生体情報、社会環境情報、自己認知情報のうち、複数の情報を取得する取得部と、
前記取得部で取得しうる情報から気分状態レベルを求める際に用いる各係数を定義した気分状態マスタと、
前記気分状態レベルと応答とをそれぞれ対応させて定義した応答マスタと、
前記気分状態マスタと、前記応答マスタとが記憶される記憶部と、
前記取得部が取得した情報と、前記気分状態マスタと、前記応答マスタとに基づき、現在の気分状態レベルを算出して応答を生成する制御部と、
前記生成した応答の出力先である出力部と、を備える。

上記のマルチモーダル型トラッキングシステムにおいて、前記生体情報は、音声情報、表情情報、顔面温度情報、眼球運動情報、脈拍情報、心拍情報、呼吸情報、血圧情報の中の少なくとも１以上の情報であることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記自己認知情報は、喜怒哀楽情報、性格的傾向情報の中の少なくとも１以上の情報であることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記社会環境情報は、パーソナルスペース情報であることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記取得部が取得する情報は、バイタルサイン検知装置により自動的に検出されたバイタルサインであることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記取得部が取得する情報は、前記対象者により入力装置に入力された情報であることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記取得部が取得する情報の１つ以上がバイタルサイン検知装置により自動的に検出されたバイタルサインである場合、
前記制御部は、
取得した各バイタルサインの所定時間当たりの変動値に前記係数を乗じ、それらの和を気分状態レベル第１算出値とし、
取得した各バイタルサインのある時間での変動値に前記係数を乗じ、それらの和を気分状態レベル第２算出値とし、
前記気分状態レベル第１算出値と前記気分状態レベル第２算出値とから、前記取得したバイタルサインが異常か安定化傾向か変化なしかを判定し、前記応答を生成する一要素とすることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記制御部は、
前記気分状態レベル第１算出値と第１閾値とを比較し、前記気分状態レベル第２算出値と第２閾値とを比較し、
気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値≧第２閾値である場合、異常であると判定し、
気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定し、
気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定し、
気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値≦第２閾値である場合、異常であると判定し、
気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定し、
気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定し、
気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＝第２閾値である場合、変化なしであると判定することが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、音声情報を音階化するとともに、音節数及び音声値を算出する音階化装置と、
音声情報を文字列化する文字列化装置と、
前記気分状態マスタの１つであり、音声状態と音階係数とをそれぞれ対応させて定義した音階マスタと、
前記気分状態マスタの１つであり、感情状態と感情係数とをそれぞれ対応させて定義した感情マスタと、を備え、
前記取得部が取得する情報の１つが音声情報である場合、
前記制御部は、
音階化の結果から音声状態を判定し、該当する音声状態に対応した前記音階係数と対象者固有の定数との和を算出し、該算出した値と前記音声値との積を前記音節数で除して気分状態レベル第３算出値とし、
文字列化の結果から感情状態及び感情を表す単語数を判定し、該当する感情状態に対応した前記感情係数と該単語数との積を、前記音節数が１から計測時間内の前記音節数まで合計した値を気分状態レベル第４算出値とし、
前記気分状態レベル第３算出値と前記気分状態レベル第４算出値との積に対しての計測時間内での合計値を計測時間内の前記音節数で除した値を感情値とし、前記応答を生成する一要素とすることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記取得部が取得する情報の１つが文字情報である場合、
前記制御部は、
前記文字情報から音節数、感情状態及び感情を表す単語数を判定し、該当する感情状態に対応した前記感情係数と該単語数との積を、前記音節数が１から計測時間内の前記音節数まで合計した値を前記気分状態レベル第４算出値とすることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記制御部は、
前記感情値と第３閾値とを比較し、
感情値＞第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを賞賛であると判断し、前記応答マスタ中の賞賛に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＝第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを対処であると判断し、前記応答マスタ中の対処に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＜第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＞第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＝第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＜第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＞第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＝第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
感情値＜第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成することが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記記憶部に、前記気分状態レベルと出力した応答とを含む対象者の過去の個人データを記憶した行動特性情報マスタを備え、
前記制御部は、前記行動特性情報マスタの情報を加味して応答を生成することが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記出力部がスピーカーであることが望ましい。

また上記のマルチモーダル型トラッキングシステムにおいて、前記出力部が、携帯端末装置に搭載されていることが望ましい。

また本発明のマルチモーダル型トラッキングプログラムは、上記の何れかに記載のマルチモーダル型トラッキングシステムを稼働させるものである。

本発明によると、知識や経験値を必要とせず、迅速に的確な情報を出力することができるマルチモーダル型トラッキングシステム及びマルチモーダル型トラッキングプログラムを提供することができる。

本発明のマルチモーダル型トラッキングシステムの構成を示すブロック図である。 本発明のマルチモーダル型トラッキングシステムの動作を示すフローチャートである。 本発明のライフログマスタの一例である。 本発明のバイタルサインマスタの一例である。 本発明の顔面温度の一例である。 本発明の心拍数の一例である。 本発明の呼吸回数の一例である。 本発明の脈拍数の一例である。 本発明の表情の一例である。 本発明の眼球運動の一例である。 本発明の血圧の一例である。 本発明のパーソナルスペースの一例である。 本発明の自己認知度レベルの一例である。 本発明の音階マスタの一例である。 本発明の言語マスタの一例である。 本発明の感情マスタの一例である。 本発明の行動特性情報マスタの一例である。 本発明の応答マスタの一例である。 本発明の実施例である。

図１は、本発明のマルチモーダル型トラッキングシステムの構成を示すブロック図である。マルチモーダル型トラッキングシステム１０は、インターネットなどの通信ネットワーク１１に、サーバ装置などデータの蓄積及び演算が可能な中央装置１２と、パーソナルコンピューターなどの端末装置１３、１４と、携帯電話機などの携帯端末装置１５、１６と、音階化装置２６と、文字列化装置２７が接続されて構成される。中央装置１２及び端末装置１３、１４には、それぞれプリンターなどの印刷装置１７〜１９が接続されている。また、端末装置１３、１４には、カメラ２０、２３、マイク２１、２４、スピーカー２２、２５が接続されている。

各端末装置１３、１４及び携帯端末装置１５、１６は、キーやタッチパネルなどからなる入力部１３ａ、１４ａ、１５ａ、１６ａと、文字や画像を表示する液晶表示装置などからなる出力部１３ｂ、１４ｂ、１５ｂ、１６ｂとを備えている。また、携帯端末装置１５、１６は、カメラ１５ｃ、１６ｃ、マイク１５ｄ、１６ｄ、スピーカー１５ｅ、１６ｅも備えている。ここで、カメラ及びマイクはバイタルサイン検知装置としての役割がある。

音階化装置２６は、音声情報を音階化するとともに、音節数及び音声値を算出する装置である。文字列化装置２７は、音声情報を文字列化する装置である。なお、音声情報を音階化するとともに、音節数及び音声値を算出する技術、音声情報を文字列化する技術は、従来から開発されている技術を適宜採用できる。

図１の構成では、中央装置１２にマルチモーダル型トラッキングプログラムが格納されており、端末装置１３、１４及び携帯端末装置１５、１６は中央装置１２との間で情報を送受信して出力部やスピーカーから出力したり、入力部やカメラやマイクから入力された情報を中央装置１２へ送信したりする。

なお、印刷装置１７〜１９は必ずしも必要ではない。また、端末装置１３、１４及び携帯端末装置１５、１６は、何れか１つ以上あればよく、中央装置１２は例えば演算装置（制御部１２ｂ）とデータベース（記憶部１２ａ）と取得部１２ｃとが別々であるなど複数の装置が連携しているものでもよい。また本発明のシステムは、必ずしも図１のような通信ネットワーク１１で繋がった複数の装置から構成される必要はなく、通信ネットワーク１１なしで直接装置同士を接続した構成であってもよいし、１つの装置内に全ての構成が組み込まれていてもよい。

次に、マルチモーダル型トラッキングシステム１０におけるストレスのトラッキングから応答の自動生成について説明する。応答は個人（対象者）毎に現在の状況に適した応答が作成される。

図２は、マルチモーダル型トラッキングシステムの動作を示すフローチャートである。図中の破線はデータの流れを示している。ここでは、リハビリ中のＮさん（対象者）の一日の活動に沿って応答を生成する場合を例に説明する。

ステップＳ１０において、例えば、Ｎさんが起床したときなど、Ｎさんの活動が始まったときに、ベッドの近くに設置されたカメラ２０がＮさんの動きを撮影し、端末装置１３を介して中央装置１２へデータが送信されることで起床したことが検知される。また例えば、起床したＮさんが携帯端末装置１５の入力部１５ａ等を操作してシステムにチェックインすることで中央装置１２へデータが送信され起床したことが検知される。チェックインにはＧＰＳ（Global Positioning System）で検出された対象者の位置を用いることもできる。このようなＮさんの活動のデータは、対象情報として、その時間情報及びライフログＩＤとともに記憶部１２ａのライフログマスタに記憶される。

図３にライフログマスタの一例を示す。起床、入眠、朝食、仕事など、対象者が行った活動をライフログとして、それぞれの活動を行った時刻（時間情報）及びＩＤとともに記されている。時間情報に対応する実際の時刻は記憶部１２ａに記憶された対応表（不図示）に記されている。

次に、取得部１２ｃがＮさんに関する複数の情報を取得すると、取得した情報に応じてステップＳ１１、ステップＳ１２、ステップＳ１３の何れかに進む。ここで、取得部１２ｃで取得しうる情報は、対象者の生体情報、社会環境情報、自己認知情報のうち、複数の情報である。

生体情報は、例えば、対象者が発した言葉による音声情報、表情情報、顔面温度情報、眼球運動情報、脈拍情報、心拍情報、呼吸情報、血圧情報の中の少なくとも１以上の情報である。自己認知情報は、例えば、喜怒哀楽情報、性格的傾向情報の中の少なくとも１以上の情報である。社会環境情報は、例えば、パーソナルスペース情報である。

取得部１２ｃが取得する情報は、カメラやマイクにより自動的に検出されたバイタルサインなどであってもよいし、対象者により入力部に入力された情報であってもよい。例えば、カメラが対象者を撮影することにより、中央装置１２で対象者の表情、顔面温度、眼球運動、脈拍、呼吸、血圧、パーソナルスペース、喜怒哀楽などの情報を解析できる。また、対象者が会話したり、本システムへ問いかけたりするために発した言葉をマイクで拾うことにより、中央装置１２で音声情報を生成できる。また、対象者が電子メールを送信する行為など、入力部に入力された文字情報によって自己認知情報などを生成できる。

そして、取得部１２ｃがバイタルサインを取得した場合はステップＳ１１へ進んで、取得したバイタルサインをバイタルサインマスタに記憶する。本実施形態においてバイタルサインは、図４に示したバイタルサインマスタに適宜記憶され、各バイタルサインの具体的な数値は図４とＩＤによって関連づけられて記憶されている図５〜図１３に記されている。図５は顔面温度（℃）、図６は心拍数（ｂｐｍ）、図７は呼吸回数（回／分）、図８は脈拍数（ｂｐｍ）、図９は表情（基準に対する眉間の長さの比）、図１０は眼球運動（（瞳孔径）ｍｍ）、図１１は血圧（ｍｍＨｇ）、図１２はパーソナルスペース（ｃｍ）、図１３は自己認知度レベルをそれぞれ記している。

次にステップＳ１１からステップＳ１４へ進んで、制御部１２ｂは、取得したバイタルサインから応答を生成するための各要素を算出する。具体的には、取得した各バイタルサインの所定時間当たりの変動値に所定の係数を乗じ、それらの和を気分状態レベル第１算出値Ｖ１とする。また、取得した各バイタルサインのある時間での変動値に所定の係数を乗じ、それらの和を気分状態レベル第２算出値Ｖ２とする。さらに、気分状態レベル第２算出値Ｖ２の積分値を気分状態レベル第５算出値Ｖ３とする。

Ｖ１は例えば以下のような式で表すことができる。
Ｖ１（ｔ_n）＝ａ₀＋ａ₁（ＦＴ（ｔ_n）−ＦＴ（ｔ₀））＋ａ₂（ＨＢ（ｔ_n）−ＨＢ（ｔ₀））＋ａ₃（ＢＲ（ｔ_n）−ＢＲ（ｔ₀））＋ａ₄（ＰＲ（ｔ_n）−ＰＲ（ｔ₀））＋ａ₅（ＥＸ（ｔ_n）−ＥＸ（ｔ₀））＋ａ₆（ＥＢ（ｔ_n）−ＥＢ（ｔ₀））＋ａ₇（ＢＰ（ｔ_n）−ＢＰ（ｔ₀））＋ａ₈（ＰＳ（ｔ_n）−ＰＳ（ｔ₀））＋ａ₉（ＳＲ（ｔ_n）−ＳＲ（ｔ₀））
式中、ｔ_nは時間間隔、ｔ₀は対象者が本システムを最初に利用した時、ａ₀〜ａ₉はバイタルサインの種類毎に予め定められた所定の係数、ＦＴは顔面温度、ＨＢは心拍数、ＢＲは呼吸回数、ＰＲは脈拍数、ＥＸは表情、ＥＢは眼球運動、ＢＰは血圧、ＰＳはパーソナルスペース、ＳＲは自己認知度レベルである。

また、Ｖ２は例えば以下のような式で表すことができる。
Ｖ２（ｔ_n）＝ｂ₀＋ｂ₁ｄＦＴ（ｔ_n）／ｄｔ＋ｂ₂ｄＨＢ（ｔ_n）／ｄｔ＋ｂ₃ｄＢＲ（ｔ_n）／ｄｔ＋ｂ₄ｄＰＲ（ｔ_n）／ｄｔ＋ｂ₅ｄＥＸ（ｔ_n）／ｄｔ＋ｂ₆ｄＥＢ（ｔ_n）／ｄｔ＋ｂ₇ｄＢＰ（ｔ_n）／ｄｔ＋ｂ₈ｄＰＳ（ｔ_n）／ｄｔ＋ｂ₉ｄＳＲ（ｔ_n）／ｄｔ
式中、ｂ₀〜ｂ₉はバイタルサインの種類毎に予め定められた所定の係数である。

また、Ｖ２は以下のような式で表すこともできる。
Ｖ２（ｔ_n）＝（Ｖ１（ｔ_n）−Ｖ１（ｔ_n-1））／Δｔ＝ｄＶ１（ｔ_n）／ｄｔ

また、Ｖ３は例えば以下のような式で表すことができる。
Ｖ３（ｔ_n）＝∫Ｖ２（ｔ_n）ｄｔ （ｎは任意の計測区間）

続いてステップＳ１４からステップＳ１５へ進んで、制御部１２ｂは、気分状態レベル第１算出値Ｖ１と気分状態レベル第２算出値Ｖ２とから、取得したバイタルサインが異常か安定化傾向か変化なしかを判定し、応答を生成する一要素とする。ここでは、取得部１２ｃで取得しうる情報から気分状態レベルを求める際に用いる各係数を定義した気分状態マスタを用いる。気分状態マスタは記憶部１２ａに記憶され、バイタルサインマスタ、音階マスタ、感情マスタを含んでいる。

具体的には、制御部１２ｂが、気分状態レベル第１算出値Ｖ１と第１閾値（例えば、０とする）とを比較し、気分状態レベル第２算出値Ｖ２と第２閾値（例えば、０とする）とを比較し、それらの大小関係から異常（例えば、Ｚ＝−１とする）か安定化傾向（例えば、Ｚ＝１とする）か変化なし（例えば、Ｚ＝０とする）かを判定する。

例えば、気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値≧第２閾値である場合、異常であると判定する。すなわち、Ｖ１（ｔ_n）＞０、かつＶ２（ｔ_n）≧０である場合、Ｚ＝−１と判定する。

また、気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定する。すなわち、Ｖ１（ｔ_n）＞０、かつＶ２（ｔ_n）＜０である場合、Ｚ＝１と判定する。

また、気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定する。すなわち、Ｖ１（ｔ_n）＜０、かつＶ２（ｔ_n）＞０である場合、Ｚ＝１と判定する。

また、気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値≦第２閾値である場合、異常であると判定する。すなわち、Ｖ１（ｔ_n）＜０、かつＶ２（ｔ_n）≦０である場合、Ｚ＝−１と判定する。

また、気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定する。すなわち、Ｖ１（ｔ_n）＝０、かつＶ２（ｔ_n）＞０である場合、Ｚ＝１と判定する。

また、気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定する。すなわち、Ｖ１（ｔ_n）＝０、かつＶ２（ｔ_n）＜０である場合、Ｚ＝１と判定する。

また、気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＝第２閾値である場合、変化なしであると判定する。すなわち、Ｖ１（ｔ_n）＝０、かつＶ２（ｔ_n）＝０である場合、Ｚ＝０と判定する。

一方、取得部１２ｃが音声情報を取得した場合はステップＳ１０からステップＳ１２へ進んで、中央装置１２はその音声情報を音階化装置２６及び文字列化装置２７へ送信する。そして、音階化装置２６によって音声情報が音階化されるとともに、音節数及び音声値が算出され、中央装置１２に送信される。一方、文字列化装置２７によって音声情報が文字列化され、中央装置１２に送信される。そして、中央装置１２は、ステップＳ１６において音階化されたデータを受信し、ステップＳ１７において文字列化されたデータを受信する。

ステップＳ１６からはステップＳ１８へ進んで、制御部１２ｂは、音階化の結果から音声状態を判定し、該当する音声状態に対応した音階係数と対象者固有の定数との和を算出し、該算出した値と音声値との積を音節数で除して気分状態レベル第３算出値ＭＮとする。ここで、音声状態と音階係数とをそれぞれ対応させて定義した音階マスタが気分状態マスタの１つとして記憶部１２ａに記憶されている。また、対象者固有の定数は後述する行動特性情報マスタに記されている。

図１４に音階マスタの一例を示す。興奮、平静、消沈などといった音声状態に対応して、ＩＤ及び係数が記されている。

気分状態レベル第３算出値ＭＮは例えば以下のような式で表すことができる。
ＭＮ（ｔ_n）＝｛Ｖｏ（ｔ_n）×（ｍｎ₀＋ｋ₁）｝／ＶＣ
式中、Ｖｏは音声値、ｍｎ₀は対象者固有の定数、ｋ₁は音声状態に対応した音階係数、ＶＣは音節数である。

一方、ステップＳ１７からはステップＳ１３へ進んで、制御部１２ｂは、文字列化の結果から感情状態及び感情を表す単語数を判定し、言語マスタに単語を記憶し、ライフログマスタにライフログを記憶する。

図１５に言語マスタの一例を示す。疲れた、かなしいなどといった単語に対応してＩＤ及び時刻（時間情報）が記されている。時間情報に対応する実際の時刻は記憶部１２ａに記憶された対応表（不図示）に記されている。

次にステップＳ１９へ進んで、制御部１２ｂは、該当する感情状態に対応した感情係数と該単語数との積を、音節数が１から計測時間内の音節数まで合計した値を気分状態レベル第４算出値ｅとする。ここで、感情状態と感情係数とをそれぞれ対応させて定義した感情マスタが気分状態マスタの１つとして記憶部１２ａに記憶されている。

図１６に感情マスタの一例を示す。楽しさ、満足、怒りなどといった感情状態に対応して、ＩＤ及び感情係数が記されている。

気分状態レベル第４算出値ｅは例えば以下のような式で表すことができる。
ｅ（ｔ_n）＝Σ（Ｗ（ｔ_n）×ｋ₂） ＜ｎ＝１→ＷＣ＞
式中、Ｗは感情を表す単語数、ｋ₂は感情状態に対応した感情係数、ＷＣは計測時間内の音節数である。

ステップＳ１８及びステップＳ１９からはステップＳ２０へ進む。ステップＳ２０において、制御部１２ｂは、気分状態レベル第３算出値ＭＮと気分状態レベル第４算出値ｅとの積に対しての計測時間内での合計値を計測時間内の音節数で除した値を感情値Ｅとし、応答を生成する一要素とする。

感情値Ｅは例えば以下のような式で表すことができる。
Ｅ（Δｔ）＝Σ（ｅ（ｔ_n）ＭＮ（ｔ_n）／ＷＣ（ｔ_n）） ＜ｔ_n-1→ｔ_n＞

一方、取得部１２ｃが文字情報を取得した場合はステップＳ１０からステップＳ１３へ進む。ステップＳ１３においては、上記と同様に制御部１２ｂが、文字情報から音節数、感情状態及び感情を表す単語数を判定し、該当する感情状態に対応した感情係数と該単語数との積を、音節数が１から計測時間内の前記音節数まで合計した値を気分状態レベル第４算出値ｅとする。ステップＳ１３からはステップＳ１９を経てステップＳ２０へ進み、上記と同様に処理する。

次に、ステップＳ２０からステップＳ２１へ進んで、制御部１２ｂは、感情値Ｅを行動特性情報マスタの内容と比較する。ここで、行動特性情報マスタは気分状態レベルと出力した応答とを含む対象者の過去の個人データであり、記憶部１２ａに記憶されている。

図１７に行動特性情報マスタの一例を示す。各ＩＤに対応して、過去の感情値Ｅとそのときに出力した応答ＩＤ（応答ログ）などが記されている。

次に、ステップＳ２１からステップＳ２２へ進んで、感情値Ｅが同値の場合の応答ＩＤを抽出する。この応答ＩＤは、以下で応答を生成する際に加味する。

次に、ステップＳ２２からステップＳ２３へ進んで、応答マスタを用いて応答を生成する。応答マスタは気分状態レベルと応答とをそれぞれ対応させて定義したものであり、記憶部１２ａに記憶されている。

図１８に応答マスタの一例を示す。応答の分類として、賞賛（ポジティブ）、対処（ネガティブ）、同意（ニュートラル）、投げかけ（問いかけ）に分かれており、それぞれＩＤ、応答（対象者へ向けて出力する内容）、得点（感情値Ｅの値）が記されている。

具体的には、制御部１２ｂが、感情値Ｅと第３閾値（例えば、０とする）とを比較し、それらの大小関係と、上述した異常（例えば、Ｚ＝−１とする）か安定化傾向（例えば、Ｚ＝１とする）か変化なし（例えば、Ｚ＝０とする）かとの組み合わせから、賞賛（ポジティブ）、対処（ネガティブ）、同意（ニュートラル）、投げかけ（問いかけ）のうちどの分類であるかを判定し、その分類の中から感情値Ｅと同値の得点の応答を選んで生成する。

例えば、感情値＞第３閾値、かつ安定化傾向であると判定されている場合、気分状態レベルを賞賛であると判断し、応答マスタ中の賞賛に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＝第３閾値、かつ安定化傾向であると判定されている場合、気分状態レベルを対処であると判断し、応答マスタ中の対処に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＜第３閾値、かつ安定化傾向であると判定されている場合、気分状態レベルを投げかけであると判断し、応答マスタ中の投げかけに分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＞第３閾値、かつ変化なしであると判定されている場合、気分状態レベルを投げかけであると判断し、応答マスタ中の投げかけに分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＝第３閾値、かつ変化なしであると判定されている場合、気分状態レベルを同意であると判断し、応答マスタ中の同意に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＜第３閾値、かつ変化なしであると判定されている場合、気分状態レベルを同意であると判断し、応答マスタ中の同意に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＞第３閾値、かつ異常であると判定されている場合、気分状態レベルを同意であると判断し、応答マスタ中の同意に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＝第３閾値、かつ異常であると判定されている場合、気分状態レベルを同意であると判断し、応答マスタ中の同意に分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

また、感情値＜第３閾値、かつ異常であると判定されている場合、気分状態レベルを投げかけであると判断し、応答マスタ中の投げかけに分類されている応答の中から、感情値Ｅと同値の得点に対応した応答を選んで生成する。

生成された応答は分類に応じてステップＳ２４〜ステップＳ２７の何れかに進んで何れかの出力部１３ｂ、１４ｂ、１５ｂ、１６ｂへ表示する。このとき、対象者に最も近い出力部へ出力することが好ましい。なお、応答の出力先はスピーカーであってもよい。つまり、応答をスピーカーから音声で出力してもよい。また、表示と音声を両方出力してもよい。出力する文字列や音声への変換は文字列化装置２７を用いて行うことができる。

このように、自動的に応答を出力することによって、知識や経験値を必要とせず、迅速に的確な助言を出力することができる。

ステップＳ２４〜ステップＳ２７からはステップＳ２８へ進んで、次の応答の生成のために継続するか否かを判定する。次のバイタルサインなど、対象者の新たな情報を取得した場合は継続すると判定し、ステップＳ１０に戻る。

一方、取得部１２ｃが次の情報を一定時間取得しない場合は、計測時と同等の時間間隔による終了時点によるＶ３（ｔ_n）を算出し、計測時Ｖ３（ｔ_n-1）との差分をとる。そして、その差分が０未満の場合は安定化しているとみなされるため、継続しないと判定し、ステップＳ２９へ進んで今回行った処理のログを行動特性情報マスタに記録し、本システムを待機状態へ移行する。反対に、その差分が０以上の場合は異常状態とみなされるため、終了の可否を診断対象者に問い、継続意志の場合はステップＳ１０に戻り、終了意志の場合はステップＳ２９へ進む。なお、待機状態とは、プログラムの終了であってもよい。

図１９に、上述した実施形態の具体例を一覧で示す。これは一実施例であってこれに限定されるものではない。

上記の実施形態において、ステップＳ２１、Ｓ２２、Ｓ２９は必須の構成ではない。また、バイタルサイン、音声情報、文字情報のうち少なくとも１つの種類から複数の情報を取得できればよい。

したがって、本発明は少なくとも以下の構成を備えていれば、本発明が目的とする効果を得ることができる。すなわち、対象者の生体情報、社会環境情報、自己認知情報のうち、複数の情報を取得する取得部と、前記取得部で取得しうる情報から気分状態レベルを求める際に用いる各係数を定義した気分状態マスタと、前記気分状態レベルと応答とをそれぞれ対応させて定義した応答マスタと、前記気分状態マスタと、前記応答マスタとが記憶される記憶部と、前記取得部が取得した情報と、前記気分状態マスタと、前記応答マスタとに基づき、現在の気分状態レベルを算出して応答を生成する制御部と、前記生成した応答の出力先である出力部と、を備えたマルチモーダル型トラッキングシステムである。

なお、対象者のバイタルサインと感情の異常性が一定期間経過後も安定しない場合、対象者が指定した緊急連絡先に自動的に中央装置１２から連絡が送信されるようにしてもよい。また、対象者が高齢者である場合、一定時間バイタルサインが検知されないと、緊急連絡先に自動的に中央装置１２から連絡が送信されるようにしてもよい。また、バイタルサインから睡眠時無呼吸を判別し、検出した場合にスピーカーから警告音を発するように制御してもよい。

なお、上記の各種パラメーターの値は一例であり、特に限定されるものではない。また、応答をはじめ、各種マスタの情報などは適宜印刷装置で印刷できるものとする。

なお、上記のメンタルヘルスケアサービスは、気分が優れない等の治療導入検討期、リハビリ勤務可能等の時期に行うサービスであり、治療行為には該当しない。

本発明は、メンタルヘルスケアのリハビリテーションに限られたことではなく、身体的なリハビリテーションにも利用することができる。さらに、整形外科のリハビリテーション、ジムトレーニングメニュー、ダイエットメニュー、メタボリック解消メニュー、学習塾の課題メニュー、職場マネジメント支援、人事考課システムなどにも応用できる。

１０ マルチモーダル型トラッキングシステム
１２ａ 記憶部
１２ｂ 制御部
１２ｃ 取得部
１３ａ〜１６ａ 入力部
１３ｂ〜１６ｂ 出力部
１５、１６ 携帯端末装置
１５ｅ、１６ｅ、２２、２５ スピーカー
２６ 音階化装置
２７ 文字列化装置

Claims (15)

1. 対象者の生体情報、社会環境情報、自己認知情報のうち、複数の情報を取得する取得部と、
   前記取得部で取得しうる情報から気分状態レベルを求める際に用いる各係数を定義した気分状態マスタと、
   前記気分状態レベルと応答とをそれぞれ対応させて定義した応答マスタと、
   前記気分状態マスタと、前記応答マスタとが記憶される記憶部と、
   前記取得部が取得した情報と、前記気分状態マスタと、前記応答マスタとに基づき、現在の気分状態レベルを算出して応答を生成する制御部と、
   前記生成した応答の出力先である出力部と、を備えたマルチモーダル型トラッキングシステム。
2. 前記生体情報は、音声情報、表情情報、顔面温度情報、眼球運動情報、脈拍情報、心拍情報、呼吸情報、血圧情報の中の少なくとも１以上の情報であることを特徴とする請求項１記載のマルチモーダル型トラッキングシステム。
3. 前記自己認知情報は、喜怒哀楽情報、性格的傾向情報の中の少なくとも１以上の情報であることを特徴とする請求項１又は２記載のマルチモーダル型トラッキングシステム。
4. 前記社会環境情報は、パーソナルスペース情報であることを特徴とする請求項１〜３の何れかに記載のマルチモーダル型トラッキングシステム。
5. 前記取得部が取得する情報は、バイタルサイン検知装置により自動的に検出されたバイタルサインであることを特徴とする請求項１〜４の何れかに記載のマルチモーダル型トラッキングシステム。
6. 前記取得部が取得する情報は、前記対象者により入力装置に入力された情報であることを特徴とする請求項１〜５の何れかに記載のマルチモーダル型トラッキングシステム。
7. 前記取得部が取得する情報の１つ以上がバイタルサイン検知装置により自動的に検出されたバイタルサインである場合、
   前記制御部は、
   取得した各バイタルサインの所定時間当たりの変動値に前記係数を乗じ、それらの和を気分状態レベル第１算出値とし、
   取得した各バイタルサインのある時間での変動値に前記係数を乗じ、それらの和を気分状態レベル第２算出値とし、
   前記気分状態レベル第１算出値と前記気分状態レベル第２算出値とから、前記取得したバイタルサインが異常か安定化傾向か変化なしかを判定し、前記応答を生成する一要素とすることを特徴とする請求項１〜６の何れかに記載のマルチモーダル型トラッキングシステム。
8. 前記制御部は、
   前記気分状態レベル第１算出値と第１閾値とを比較し、前記気分状態レベル第２算出値と第２閾値とを比較し、
   気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値≧第２閾値である場合、異常であると判定し、
   気分状態レベル第１算出値＞第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定し、
   気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定し、
   気分状態レベル第１算出値＜第１閾値、かつ気分状態レベル第２算出値≦第２閾値である場合、異常であると判定し、
   気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＞第２閾値である場合、安定化傾向であると判定し、
   気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＜第２閾値である場合、安定化傾向であると判定し、
   気分状態レベル第１算出値＝第１閾値、かつ気分状態レベル第２算出値＝第２閾値である場合、変化なしであると判定する請求項７記載のマルチモーダル型トラッキングシステム。
9. 音声情報を音階化するとともに、音節数及び音声値を算出する音階化装置と、
   音声情報を文字列化する文字列化装置と、
   前記気分状態マスタの１つであり、音声状態と音階係数とをそれぞれ対応させて定義した音階マスタと、
   前記気分状態マスタの１つであり、感情状態と感情係数とをそれぞれ対応させて定義した感情マスタと、を備え、
   前記取得部が取得する情報の１つが音声情報である場合、
   前記制御部は、
   音階化の結果から音声状態を判定し、該当する音声状態に対応した前記音階係数と対象者固有の定数との和を算出し、該算出した値と前記音声値との積を前記音節数で除して気分状態レベル第３算出値とし、
   文字列化の結果から感情状態及び感情を表す単語数を判定し、該当する感情状態に対応した前記感情係数と該単語数との積を、前記音節数が１から計測時間内の前記音節数まで合計した値を気分状態レベル第４算出値とし、
   前記気分状態レベル第３算出値と前記気分状態レベル第４算出値との積に対しての計測時間内での合計値を計測時間内の前記音節数で除した値を感情値とし、前記応答を生成する一要素とすることを特徴とする請求項８記載のマルチモーダル型トラッキングシステム。
10. 前記取得部が取得する情報の１つが文字情報である場合、
    前記制御部は、
    前記文字情報から音節数、感情状態及び感情を表す単語数を判定し、該当する感情状態に対応した前記感情係数と該単語数との積を、前記音節数が１から計測時間内の前記音節数まで合計した値を前記気分状態レベル第４算出値とすることを特徴とする請求項９記載のマルチモーダル型トラッキングシステム。
11. 前記制御部は、
    前記感情値と第３閾値とを比較し、
    感情値＞第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを賞賛であると判断し、前記応答マスタ中の賞賛に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＝第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを対処であると判断し、前記応答マスタ中の対処に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＜第３閾値、かつ前記安定化傾向であると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＞第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＝第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＜第３閾値、かつ前記変化なしであると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＞第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＝第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを同意であると判断し、前記応答マスタ中の同意に分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成し、
    感情値＜第３閾値、かつ前記異常であると判定されている場合、前記気分状態レベルを投げかけであると判断し、前記応答マスタ中の投げかけに分類されている応答の中から、前記感情値と同値の得点に対応した応答を選んで生成することを特徴とする請求項９又は１０記載のマルチモーダル型トラッキングシステム。
12. 前記記憶部に、前記気分状態レベルと出力した応答とを含む対象者の過去の個人データを記憶した行動特性情報マスタを備え、
    前記制御部は、前記行動特性情報マスタの情報を加味して応答を生成することを特徴とする請求項１〜１１の何れかに記載のマルチモーダル型トラッキングシステム。
13. 前記出力部がスピーカーであることを特徴とする請求項１〜１２の何れかに記載のマルチモーダル型トラッキングシステム。
14. 前記出力部が、携帯端末装置に搭載されていることを特徴とする請求項１〜１３の何れかに記載のマルチモーダル型トラッキングシステム。
15. 請求項１〜１４の何れかに記載のマルチモーダル型トラッキングシステムを稼働させるマルチモーダル型トラッキングプログラム。