JP2006130121A - 生体情報に基づく感情認識方法 - Google Patents

Abstract

【課題】 適正でかつ使用されている時間が長くなればなるほど正しい判断ができ、かつ、患者の状態に応じた正確な感情判断を可能にした生体情報に基づく感情認識システムを提供すること。
【解決手段】 生体情報に基づく感情認識システム１は、患者の身体に着脱が可能なセンサー３１を用いて、当該患者の身体から発せられる生体信号を取込む生体情報収集装置３と、前記生体情報収集装置３からの生体信号を取込み、ファジー関数処理を行うことによって当該生体の現在の感情を認識させてその認識結果を出力できる感情認識装置５とを備えたものである。
【選択図】 図１

Description

本発明は、心電図等の生体情報を基に当該生体情報を発する人とのコミュニケーションを認識する方法に関するものである。

一般に、会話、表情等から意思伝達が困難な人（以下、「患者者」という）とのコミュニケーションは、医療、教育等の現場では大変重要なことである。現状は、このような患者とのコミュニケーションは、これらの患者を介護する人の経験を基に判断しているのが一般的である。したがって、だれでも簡単に患者がどう感じているのか（快、不快）がわかれば、介護する人も、医療や教育の現場でも、とても有意義なこといえる。

このような背景から、患者の身体に着脱が可能なセンサーを用いて、当該患者の身体から発せられる生体信号を取込み、当該生体信号をデジタルデータ化し、当該デジタルデータに対して所定のデジタル処理をして、その患者の身体および感情を認識する装置および方法が提案されている（特許文献１参照）。
このような身体および感情を認識する装置および方法によれば、患者の急激に変わる感情状態あるいは変わった後に長く残留する感情状態をリアルタイムに認識できる利点がある。
特開２００２−１１２９６９号公報

しかしながら、上述した従来の身体および感情を認識する装置および方法によれば、検出されたデータを基準値と比較し、あるいは、基準値との偏差が所定の値かによって感情等がどうなっているか判断しているのみであるため、次のような欠点があった。
（１）患者の生体状態の変化があっても、同一基準値で判断しているため、誤った判断がなされる恐れがある。
（２）長時間使用していても、検出されたデータがもつ情報を生かすことができない。
（３）患者によって、異なる生体情報が発せられているのに、画一的な判断をしているので、正確な判断がされているとは言い難い。
そこで、本発明は上述した欠点を解消し、適正でかつ使用されている時間が長くなればなるほど正しい判断ができ、かつ、患者の状態に応じた正確な感情判断を可能にした生体情報に基づく感情認識方法を提供することにある。

上記目的を達成するために、請求項１記載の発明に係る生体情報に基づく感情認識システムは、患者の身体に着脱が可能なセンサーを用いて、当該患者の身体から発せられる生体信号を取込む生体情報収集装置と、前記生体情報収集装置からの生体信号を取込み、当該生体信号にファジー関数処理を施して当該生体の現在の感情を認識させた結果を出力できる感情認識装置とを備えたことを特徴とするものである。
請求項２記載の発明では、本願請求項１に記載の生体情報に基づく感情認識システムにおいて、前記感情認識装置は、生体デジタルデータから所定の参照ベクトルを抽出し、当該参照ベクトルを更新することにより学習を行うファジー関数処理を施し、快、不快の判定を行うことを特徴とするものである。
上記目的を達成するために、請求項３記載の発明に係る生体情報に基づく感情認識方法は、患者の身体に着脱が可能なセンサーからの生体信号を取り込むステップと、前記生体信号を生体デジタルデータに変換するステップと、前記生体デジタルデータから所望の参照ベクトルを抽出するステップと、所望の参照ベクトルにファジー関数処理を施すステップとからなることを特徴とするものである。

本発明に係る生体情報に基づく感情認識方法によれば、
〜したので、次のような効果がある。
（１）患者の生体状態の変化があっても、患者からの検出信号を基にファジー理論により判定しているので、患者の生体状態の変化に応じた正しい判断ができる。
（２）長時間使用すればするほど、患者から検出されたデータがもつ情報を当該認識方法に取り込むことができるので、患者の状態に基づく正しい認識が可能になる。
（３）患者による異なる生体情報が発せられても、それに応じた適正な判断ができるので、患者の感情を正確に判断をすることができる。

以下、本発明を実施するための最良の形態について図面を参照して説明する。
図１は、本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現させる生体情報に基づく感情認識システムの一構成例を説明するための概略ブロック図である。

この図１において、本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現させる生体情報に基づく感情認識システム１は、患者の身体に着脱が可能なセンサー３１を用いて、当該患者の身体から発せられる生体信号を取込む生体情報収集装置３と、前記生体情報収集装置３からの生体信号を取込み、ファジー関数処理を行うことによって当該生体の現在の感情を認識させてその認識結果を出力できる感情認識装置５とを備えたものである。

前記生体情報収集装置３は、例えば、患者の身体の所定の各部位に装着するためのセンサー３１，…と，これらセンサー３１，…で検出した生体信号を各センサー３１，…毎にアナログ処理を行う心電計本体３０とから構成されたものである。ここに、前記心電計本体３０は、患者の身体の所定の各部位に装着したセンサー３１，…からの検出された生体信号をアナログ処理して所定のレベルに増幅した後、それら信号を各チャンネル（各センサー３１，…）毎に、印刷装置（例えばペンレコーダ）に出力したり、データレコーダ（例えばハードディスク装置等の記憶装置）に記憶させたり、あるいは、外部に出力できるようになっている。本発明の実施の形態では、この心電計本体３０は、前記複数のアナログ処理した生体信号を各チャンネル毎にＡＤ（アナログ−デジタル）変換して生体デジタルデータとして出力できるようになっているものとして説明する。

前記感情認識装置５は例えばパーソナルコンピュータ等のコンピュータシステムで構成したものであって、このコンピュータシステムは、コンピュータ装置本体５１と、入力装置であるキーボード５２及びマウス５３と、出力装置であるディスプレイ５４及びプリンタ５５とから構成されているものとする。また、図１に示すように、前記コンピュータ装置本体５１の例えばＵＳＢポートには、キーボード５２とマウス５３とが、表示用出力ポートにはディスプレイ５４が、印字用出力ポートにはプリンタ１１が、それぞれ接続されている。

図２は、本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現させる生体情報に基づく感情認識システムで用いるコンピュータ装置本体を説明するためのブロック図である。
前記コンピュータ装置本体５１は、生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムやその他の処理や制御を実行する中央演算処理装置（ＣＰＵ）５１ａと、オペレーティングシステムや本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムやその他必要なデータを記憶できる主メモリ５１ｂと、オペレーティングシステムや本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現するファジー関数処理を行うことができるアルゴリズムなどのアプリケーションプログラムや計算結果データベースやその他必要な定数データやその他のデータベースを格納しておくハードディスク装置（ＨＤＤ）５１ｃと、入力装置との接続に使用される入力用インターフェース（Ｉ／Ｆ）５１ｄと、ディスプレイなどの表示装置の接続に使用される表示用Ｉ／Ｆ５１ｅと、プリンタなどのハードコピー装置の接続に使用される印字出力用Ｉ／Ｆ５１ｆと、本発明に係る心電計本体３０との接続に使用されるデジルタ入力用Ｉ／Ｆ５１ｇと、これらを接続するバスライン５１ｈとから構成されている。

また、前記ＣＰＵ５１ａは、各種演算処理を実行する演算処理部と、イニシャル時に所定の処理を前記演算処理部に実行させるプログラムが記憶されたＲＯＭと、前記演算処理部が演算処理を実行する際に、必要なデータを一時格納するＲＡＭとから構成されており、これらはバスライン５１ｈに接続されている。
また、入力用Ｉ／Ｆ５１ｄにはＵＳＢポートを介してキーボード５及びマウス７が接続されており、これにより、当該コンピュータ装置本体５のＣＰＵ５１に各種データや指令を与えられるようになっている。前記表示用Ｉ／Ｆ５１ｅには表示用出力ポートを介してディスプレイ５４が接続されており、これにより、当該コンピュータ装置本体５１におけるＣＰＵ５１で処理した結果をディスプレイ５４に表示させることができるようになっている。印字出力用Ｉ／Ｆ５１ｆには印字用出力ポートを介してプリンタ５５が接続されており、これにより、当該コンピュータ装置本体５１のＣＰＵ５１で処理した結果のうち、印刷するデータをプリンタ５５に与えて印刷できるようになっている。さらに、前記デジルタ入力用Ｉ／Ｆ５１ｇには、接続ポート・ケーブルを介して生体情報収集装置３の心電計本体３０のデジタル出力端子に接続されており、心電計本体３０からのデジタルデータが感情認識装置５のコンピュータ装置本体５１に与えられるようになっている。

なお、本発明を実施するための最良の形態で使用されるコンピュータ装置本体５１のハードディスク装置５１ｃには、オペレーティングシステムのＯＳ格納領域と、生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムなどのアプリケーションプログラムが格納されているアプリケーションプログラム格納領域と、データベース領域などが設けられている。
なお、当該コンピュータ装置本体５１の電源が投入されて動作を開始すると、ＣＰＵ５１ａがその内部のＲＯＭのイニシャルプログラムにより動作し、ハードディスク装置５１ｃのＯＳ格納領域に格納されているオペレーティングシステムを主メモリ５１ｂの所定の記憶領域に記憶させ、ついで、この主メモリ５１ｂの所定の記憶領域上のオペレーティングシステムをＣＰＵ５１ａが処理することにより、当該生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムなどのプログラムやその他の処理を可能にする。

また、上述した当該生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムなどのアプリケーションプログラムに対してマウス７などで起動をかけことにより、あるいは、自動起動により、コンピュータ装置本体５１におけるＣＰＵ５１ａがハードディスク装置５１ｃのアプリケーションプログラム格納領域に格納されている生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムなどのアプリケーションプログラムを主メモリ５１ｂの所定の記憶領域に記憶させて、次に、この主メモリ５１ｂの所定の記憶領域に記憶されている生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムなどのアプリケーションプログラムをＣＰＵ５１ａが処理することにより、生体情報に基づく感情認識方法が実現される。

次に、上述したコンピュータシステム上で実行される生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムについて説明する。
まず、この生体情報に基づく感情認識方法を実現するファジー関数処理を行うアルゴリズムが次のようにして得られたことを説明する。
ここでは、まず生体情報に基づく感情認識方法に適用されるファジー関数について説明し、さらにその適用方法について図３〜図５を参照して説明する。

ここに、図３は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における正規三角ファジー数を説明するための図であって、横軸にＵｊを、縦軸に数値０〜１までのｇｒａｄｅを、それぞれとったものである。図４は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数におけるファジー数間の類似度を説明するための図であって、横軸にＵｊを、縦軸に数値０〜１までのｇｒａｄｅを、それぞれとったものである。図５は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数におけるＰＥモデルを説明するための図である。

まず、ＦＬＶＱについて説明する。ＦＬＶＱにおいて、ｎ次元の入力ファジーベクトルｘを、

と表す。ここで、ｘのｊ軸方向成分ｘjは、図３に示すような正規三角ファジー数であり、ｐ，ｑはあいまいさを意味する。また、そのメンバーシップ関数をｈxj（Ｕj ）とする。さらに、ｉ番目の参照ベクトルｍiを、

とする。ただし、ｉ＝１，２，…，ｋと表し、そのメンバーシップ関数をｈmij（ｕj）とする。このとき、ｘとｍiとのｊ軸方向の類似度μijは、図４に示すように、

で定義する。
さらに、Ｃxをｘのカテゴリーとし、Ｃcを最大類似度参照ベクトルと参照ベクトルｍcの属するカテゴリーとする。そして、入力ファジーベクトルｘと、参照ベクトルｍiの類似度μiは、その差を強調するために、次の数式４で表される、それぞれの方向での類似度の最小値から求め、カテゴリーＣcを決定する。

このときのＰＥモデルは、図６に示すようになる。また、数式４より、類似度μiはｊ軸方向の類似度μijの最小値をとることになるため、ｊ軸方向の類似度μijが一つでも０になれば、類似度μi＝０となり、ＰＥiは発火しないことに注意をする。

次に、学習アルゴリズムについて図６〜図８を参照して説明する。ここに、図６は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における正答の場合の参照ベクトルの更新を説明するための図であって、横軸にＵｕを、縦軸に数値０〜１までのｇｒａｄｅを、それぞれとったものである。図７は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における誤答の場合の参照ベクトルの更新を説明するための図であって、横軸にｕを、縦軸に数値０〜１までのｇｒａｄｅを、それぞれとったものである。図８は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における、すべてのＰＥが発火しないときの参照ベクトルの更新を説明するための図である。

ＦＬＶＱでの学習は参照ベクトルｍの更新という形で行われ、２つの側面がある。その一つは参照ベクトルｍの移動である。他の一つは形状（あいまいさ）の決定である。また、学習には、（ｉ）正答学習と、（ii)誤答学習と、(iii)すべてのＰＥが発火しない（類似度０）との３種類があり、ＬＶＱと同様に教師付き学習である。それぞれの学習の仕方を以下に表す。
いま、ｋ個のＰＥを持つＦＬＶＱネットワークを考え、ｉ番目のＰＥi(i＝1,2,…,ｋ)のｎ次元の参照ベクトルをｍi、割り当てられたカテゴリーをＣiとする。学習回数ｔに おいてｎ次元教師ベクトルをｘ、そのカテゴリーをＣxとしたときに、参照ベクトルを次のように更新する。

［正答の場合の学習（Ｃx＝Ｃc）］

この数式５は、最大類似度参照ベクトルｍcを入力ファジーベクトルｘに近づくように移動させ、最大類似度参照ベクトルｍcと、入力ファジーベクトルｘとの類似度を大きくする。
［誤答の場合の学習（Ｃx≠Ｃc ）］

この数式６も最大類似度参照ベクトルｍcのみ更新する。数式６は、図７に示すように、最大類似度参照ベクトルｍcを入力ファジーベクトルｘから離れるように移動させ、最大類似度参照ベクトルｍcのあいまい量を減少させ類似度を小さくする。
［すべてのＰＥが発火しない場合］

図８に示すように、入力ファジーベクトルｘ対していずれかのＰＥが発火するように、すべてのＰＥのあいまいさを増加させる。
なお、上記数式５〜数式７において、α（ｔ）は時間単調減少関数、β（ｔ）とγ（ｔ）は拡張原理に基づく演算によるあいまいさの増加を防ぐ減少項、δ（ｔ）はあいまいさの増加項である。また、Ｆ＝（ｆ，ｐ，ｑ）を中心とした左右の幅がｐ，ｑである三角形のファジー数としたとき、＊印は次の数式８のような演算を表す（図３参照）。

この数式８において、ａはクリスプ値である。

上述したようなファジー関数からなるアルゴリズムを、前記感情認識装置５のコンピュータ装置本体５１のＣＰＵ５１ａで次のように実行することにより、生体情報に基づく感情認識方法を実現している。
図９は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、心電計本体から感情認識装置に取り込んだ心電図であって、横軸に時間を、縦軸に生体信号のレベルを、それぞれ示したものである。この図９において、（１）は１頂点と次の第１頂点との距離、（２）は１頂点と第２頂点との距離、（３）は第２頂点と第３頂点との距離、（４）は第３頂点と第１頂点との距離、（５）は区間内での第１頂点の高さの最大と最小、（６）は第３頂点の高さである。

図１０は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、心電計本体から感情認識装置に取り込んだデータの内、ウエーブレット変換をかけた状態の図であって、横軸に時間を、縦軸に生体信号のレベルを、それぞれ示したものである。この図１０において、（７）はピーク間の変動の大きさを表している。

本発明を実施するための最良の形態に係る生体情報に基づく感情認識システム１では、患者(被験者)に装着したセンサー３１からの生体信号を生体情報収集装置３に刻一刻と取り込み、この刻一刻と取り込まれる生体信号を当該生体情報収集装置３で生体デジダルデータに刻一刻とデジタル変換した後、これら生体デジダルデータを感情認識装置５に取り込み、前記感情認識装置５において、生体デジタルデータを処理し、必要の都度データ処理した処理データにウエーブレット変換をし、かつ、刻一刻と取り込まれる生体デジタルデータから各判定用データ（（１）〜（７）)を抽出し、これら抽出した各判定用データ（（１）〜（７）)に対してファジー関数からなるアルゴリズムを適用し、患者(被験者)の快、不快を判定するようにしている。

図１１は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおける感情認識装置において学習動作を説明するためのフローチャートである。
まず、生体情報収集装置３では、複数のセンサー３１を患者（被験者）の身体の所定の部位に装着し、各センサー３１で検出した生体信号を心電計本体３０に入力する。この心電計本体３０では、各センサー３１でそれぞれ検出した生体信号をアナログ処理して増幅し、それら増幅されたアナログの生体信号を複数のＡＤ変換器でそれぞれ生体デジタルデータにアナログ・デジタル変換し、それらデジタル化した生体デジタルデータを刻一刻と感情認識装置５のコンピュータ装置本体５１のデジタル入力端子からコンピュータ装置本体５１に与える。

コンピュータ装置本体５１のＣＰＵ５１ａは、当該生体情報に基づく感情認識プログラムを動作させると、図１１のフローチャートを実行することになる。まず、コンピュータ装置本体５１のＣＰＵ５１ａは、デジタル入力端子からデジルタ入力用Ｉ／Ｆ５１ｇを介して入力されてくる各生体デジタルデータを取り込み、例えばＨＤＤ５１ｃの所定のエリアに時系列に格納してゆく（ステップ（Ｓ）１０）。この場合、ＣＰＵ５１ａは、複数のセンサー３１の数だけ、並列に格納してゆくが、以後は、説明を簡単にするため、１チャンネル（一つのセンサー３１のみからの検出信号）に着目して説明するものとする。

次に、コンピュータ装置本体５１のＣＰＵ５１ａは、次の処理のために上記したように取り込んだ生体デジタルデータを前処理を実行してＨＤＤ５１ｃの所定の格納エリアに格納する（Ｓ１１）。ついで、前記コンピュータ装置本体５１のＣＰＵ５１ａは、前処理して前記ＨＤＤ５１ｃに格納した処理データが所定量蓄積されたか判断する（Ｓ１２）。ここで、前記コンピュータ装置本体５１のＣＰＵ５１ａは、前処理されてＨＤＤ５１ｃに格納された処理データが所定量蓄積されていないときには（Ｓ１２；ＮＯ）、再び、データ取り込み・格納処理（Ｓ１０）に戻る。一方、前記コンピュータ装置本体５１のＣＰＵ５１ａは、前処理されＨＤＤ５１ｃに格納された処理データが所定量蓄積されたときには（Ｓ１２；ＹＥＳ）、前記蓄積された処理データに対してファジー関数処理のうち学習処理を実行する（Ｓ１３）。前記ＣＰＵ５１ａは、学習処理が所定の値に達したときに処理を終了する。

図１２は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおける感情認識装置において前記学習結果を基に快・不快の判定動作を説明するためのフローチャートである。
前記ＣＰＵ５１ａは、図１１のフローチャートによって得ている学習結果を基に、図１２に示すフローチャートにより未知のデータを判定する動作をする。すなわち、コンピュータ装置本体５１は、生体情報収集装置３の心電計本体３０から与えられる生体デジルタデータの未知のデータを取り込み（Ｓ１４）、前記図１１のフローチャートによって得ている学習結果を基にファジー関数処理を実行する（Ｓ１５）。このファジー関数処理を実行することにより、前記ＣＰＵ５１ａは、患者（被験者）の快・不快を正確に判断することができる。

図１３は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、感情認識装置でファジー関数処理の学習動作を説明するためのフローチャートであって、図１１のステップ１３の詳細フローチャートである。
前記ステップ１１において前処理が終了しており、かつ、前記ステップ１２で所定量の前処理データが蓄積されていると、前記コンピュータ装置本体５１のＣＰＵ５１ａは、ステップ１３のファジー関数処理の学習処理に移行する。

すなわち、前記コンピュータ装置本体５１は、ステップ１３に移行できた時点で、前記コンピュータ装置本体５１（の例えばＨＤＤ５１ｃの所定のエリア）には上述した（１）から（７）までの値が取得できていることになる。そこで、前記コンピュータ装置本体５１のＣＰＵ５１ａは、前記コンピュータ装置本体５１（の例えばＨＤＤ５１ｃの所定のエリア）にある（１）から（７）の値（ 快・不快の心電データ（各データの構成要素は７つ））を取り込む（Ｓ１３１）。
ついで、前記コンピュータ装置本体５１のＣＰＵ５１ａは、学習回数がｔより小さいか否かを判断する（Ｓ１３２）。前記ＣＰＵ５１ａは、学習回数がｔより小さい場合（Ｓ１３２；ＹＥＳ）、学習処理を終了とする。

一方、前記ＣＰＵ５１ａは、学習回数がｔより小さくない場合（Ｓ１３２；ＮＯ）、キーボード５２などから一つ目の教師データ（快）を入力してやる（Ｓ１３３）。そして、前記コンピュータ装置本体５１のＣＰＵ５１ａは、参照データ（快）と教師データ（快）の各構成要素の交点の最小値を求める処理を実行し、かつ、参照データ（不快）と教師データ（快）の各構成要素の交点の最小値を求める処理を実行する（Ｓ１３４）。

さらに、前記コンピュータ装置本体５１のＣＰＵ５１ａは、前記処理（Ｓ１３４）において交点があるか否かの判断をする（Ｓ１３５）。ここで、前記ＣＰＵ５１ａは、交点があると判断すると（Ｓ１３５；ＹＥＳ）、この学習が正しいか否かの判断に入る（Ｓ１３６）。

前記ＣＰＵ５１ａは、この学習が正しいと判断したときには（Ｓ１３６；ＹＥＳ）、正答学習を行い（Ｓ１３７）、次のＳ１４０に移行する。すなわち、前記ＣＰＵ５１ａは、ステップ１３７における快の参照データを上記数式５により更新する処理を実行する（図６参照）。
ただし、この数式５において、α（ｔ）＝０．９９９＊α（ｔ−１）、α（０）＝０．１、β（ｔ）＝０．９９とする。

一方、前記ＣＰＵ５１ａは、この学習が正しくないと判断したときには（Ｓ１３６；ＮＯ）、誤答学習を行い（図１２（１）のＳ１３８）、Ｓ１４０に移行する。すなわち、前記ＣＰＵ５１ａは、ステップ１３８における不快の参照データを上記数式６により更新する処理を実行する（図７参照）。
ただし、この数式６において、α（ｔ）＝０．９９９＊α（ｔ−１）、α（０）＝０．１、γ（ｔ）＝１−α（ｔ）とする。

ステップ１３５に戻り、前記ＣＰＵ５１ａは、当該ステップにおいて交点がないと判断したときには（Ｓ１３５；ＮＯ）、すべてのＰＥが発火しないときの処理を行い（Ｓ１３９）、Ｓ１４０に移行する。すなわち、前記ＣＰＵ５１ａは、ステップ１３９におけるすべての参照データを上記数式７で更新する処理を実行する（図８参照）。
ただし、この数式８において、δ（ｔ）＝１．１とする。

なお、上記ステップ１３７，１３８，１３９において、「１の最小値＞２の最小値」として扱う。
そして、前記ＣＰＵ５１ａは、ステップ１３７、ステップ１３８、または、ステップ１３９の処理が終了すると、不快の教師データについても上記ステップ１３５〜ステップ１３９のごとく処理を実行する（Ｓ１４０）。このステップ１４０では、「１の最小値＜２の最小値」として扱う。
前記ＣＰＵ５１ａは、前記ステップ１４０の処理が終了すると、再びステップ１３２に戻ることになる。

図１４は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、感情認識装置でファジー関数処理の実際の快・不快の判定動作を説明するためのフローチャートであって、図１２のステップ１５の詳細フローチャートである。
前記ＣＰＵ５１ａは、図１３の学習処理が終了すると、学習済みの快の参照データと、学習済みの不快の参照データが得られているので、まず、ステップ１４で前記生体情報収集装置３から生体デジルタデータの未知データを取り込む。ついで、前記ＣＰＵ５１ａは、学習済みの快の参照データと前記生体デジルタデータの未知データとの交点の最小値を求め、かつ、学習済みの不快の参照データと前記生体デジタルデータの未知データとの交点の最小値を求める処理を実行する（Ｓ１５１）。

ついで、前記ＣＰＵ５１ａは、前記ステップ１５１で求めた最小値を比較し、最小値の大きいほうを認識結果として表示データとし、これをディスプレイ５４に出力する処理を実行する（Ｓ１５２）。なお、ＣＰＵ５１ａは、交点がなかったときには、どちらにも属さないとするカテゴリーに分類し、その判定結果を表示データとする。
なお、この図１４のフローチャートの処理を所定時間毎に繰り返すことにより、患者（被験者）の快・不快をリアルタイムで判断することができる。

以上説明したように本発明を実施するための最良の形態に係る生体情報に基づく感情認識システム１は、上述したように動作するので、次のような利点がある。
（１）患者の生体状態の変化があっても、患者からの検出信号を基にファジー理論により判定しているので、患者の生体状態の変化に応じた正しい判断ができる。
（２）長時間使用すればするほど、患者から検出されたデータがもつ情報を当該認識方法に取り込むことができるので、患者の状態に基づく正しい認識が可能になる。
（３）患者による異なる生体情報が発せられても、それに応じた適正な判断ができるので、患者の感情を正確に判断をすることができる。

上述した本発明を実施するための最良の形態に係る生体情報に基づく感情認識システム１では、生体信号として心電による信号を使用したが、これに限定されることなく、例えば脳波などでもよい。
また、上述した本発明を実施するための最良の形態に係る生体情報に基づく感情認識システム１では、１チャンネルで説明したが、多チャンネルを同時処理することもできることはいうまでもない。

上述した本発明を実施するための最良の形態に係る生体情報に基づく感情認識システム１が上述したような作用効果を奏することを、具体的な実験で検証したので、以下、実施例として説明する。なお、この実施例では、図９および図１０、図１５ないし図１８を参照して説明する。

ここで、図１５は、本発明の実施例で使用したフェイススケールを示す図である。この図１５に示すフェイススケールおいて、「０」は「痛みがない」ということを顔の表情で表し、「１」は「ほんの少し痛い」ということを顔の表情で表し、「２」は「少し痛い」ということを顔の表情で表し、「３」は「かなり痛い」ということを顔の表情で表し、「４」は「ひどく痛い」ということを顔の表情で表し、「５」は「これ以上の痛みがないほど痛い」ということを顔の表情で表している図である。このようなフェイススケールを使って以下の実験を行った。

まず始めに、測定条件について説明する。本実験では、健常成人９名（成人男性４名、女性５名、平均年齢３６±３歳）に対して実験を行った。全体で６分間、心電データを測定し、まず始めの３分間は安静時での心電データを測定した。そして、残りの３分間は、肩甲骨下部に不快刺激として、一辺２センチメートルの木製の立方体を挿入して測定した。被験者には、１分おきに、今の状態がどのような感じかをフェイススケールを用いてアンケートを行った。この実験において心電波形はサンプリング周波数１［ｋＨｚ］、１２［ビット］で、パソコンに取り込んだ。
なお、上記実験データの内の一つのサンプル（評価日時：２００３年１１月２６日１８時５０分；サンプルＢ）・１セット分を表１に示した。

また、このパソコンに取り込んだ心電波形の一部を、図１６および図１７に示した。
ここに、図１６は本発明の実施例において異物挿入前の心電波形の詳細を示す波形図であって、横軸には時間（秒）を、縦軸には振幅を、それぞれとったものである。図１７は本発明の実施例において異物挿入後の心電波形の詳細を示す波形図であって、横軸には時間（秒）を、縦軸には振幅を、それぞれとったものである。
この二つの図からわかるように時間波形では、快・不快を判断することは困難である。そこで、図９および図１０に示すような参照ベクトルを考える。そのデータを以下に示す。

図１６で得た快の場合のデータは表２のようになる。

また、図１７で得た不快の場合のデータは表３のようになる。

表２のデータおよび表３のデータに対して各列の最大値で正規化を行うと表４、表５のようになる。

表４、表５から図３の正規化三角ファジーの参照ベクトルを作成する。
例えばデータ１において、γの値が、０．９９８、０．９９９、０．８２４、０．９８９、０．９４４となる７つの正規化三角ファジー数を作る。このときに、あいまい度ｐ，ｑの値は０．０２とした。データ２以下も同様にする。

本実験において、快感、不快感を判定するため、図９および図１０に示すような７次元の参照ベクトルを構成した。この参照ベクトルについて、再度説明する。
図９において、
（１）は「１頂点と次の第１頂点との距離」であり、
（２）は「１頂点と第２頂点との距離」であり、
（３）は第２頂点と第３頂点との距離であり、
（４）は第３頂点と第１頂点との距離であり、
（５）は区間内での第１頂点の高さの最大と最小であり、
（６）は第３頂点の高さである。
また、図１０において、
（７)はピーク間の変動の大きさである。
一般に、不快刺激が加わった場合、正常時（刺激が加わる前）に比べ、心拍数が大きくなったり、強さが変化したりすると考えられている。そこで、この実験では、Ｒ，Ｐ，Ｔ波の感覚を条件としている（図３〜図６参照）。また、強さの変化を知るために、ＰＲ波の高さを条件とした。さらに、心電の強さの変動状態を見るために心電波形をマザーウェーブレットにトペシイ（Ｎ＝２）を用い、レベル４分解までウエーブレット変換をする。ここでは、そのときに得られた心電波形レベルを図１０に示す。

まず始めに、認識条件を説明する。測定した心電データを１５０００点（１５［秒］）を１間隔とし、刺激なしの３分から８箇所、刺激ありの３分間から８箇所で８組のデータを作成した。学習回数は１０００回行った。そのときのＦＬＶＱＫ 初期値は以下の数式９に示すとおりである。

また、あいまいさの条件は、ｐ＝ｑ＝０．０４〜０．０６を使用した。
まず、同一人物で不快が判断できるかどうか確認するために、認識したい人物だけのデータを用いて学習をし、その後、認識したい人物の未知データの認識実験を行う。実験結果を表１，表２に示す。

ただし、表１、表２では、人物は異なる。結果をみて分かるように、８０％以上の認識率でほぼ不快の判断ができることがわかる。特に表１では、認識率がほぼ１００％になった。これにより、人物を特定し学習すれば、かなりの高い確率で快、不快の判断が心電データから認識可能だということがわかる。

次に、個人性が強いかどうかを調べるために、表１、表２を用いた学習データを使用し、表１の学習データには表２の人物未知データ、表２の学習データには表１の人物未知データを用いて実験を行う。
実験結果を表３、表４に示す。

学習した人物と未知データの人物が異なるため、表１，２に比べて認識率が落ちるものの、ほぼ７０％以上に認識率が得られる。ただし、表１、表３の結果からわかるように、表１の刺激なしの結果が、個人の特徴が強く出すぎてしまい、同じ人物のデータしか認識できないことがわかった。
最後に、学習データにすべての人のデータを使用して認識実験を行うと、表５に示すような結果が得られた。

この表１０の結果をみてわかるように、ほぼ快、不快が認識可能なシステムを構築できることが実証されたので、本発明を実施するに最良の形態のような生体情報に基づく感情認識システム１を構築できことが実証できた。

この実験では、心電の変化という比較的計測しやすいバイタルサインからＦＬＶＱＡ 用いて被験者がどう思っているかを判別できる手法を提案した。実験結果をみてわかるように、人物を特定すれば８０％以上の認識結果が得られることがわかった。また、学習にいろいろな人物のデータを用いることにより、人物に関係なく認識率が８０％近くになり、ほぼ不快、快の識別ができる。この結果から、重度心身障害者の理学療法を行う際に、コミュニケーション（意思疎通）に適用可能であることがわかった。

図１は、本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現させる生体情報に基づく感情認識システムの一構成例を説明するための概略ブロック図である。 図２は、本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法を実現させる生体情報に基づく感情認識システムで用いるコンピュータ装置本体を説明するためのブロック図である。 図３は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における正規三角ファジー数を説明するための図である。 図４は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数におけるファジー数間の類似度を説明するための図である。 図５は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数におけるＰＥモデルを説明するための図である。 図６は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における正答の場合の参照ベクトルの更新を説明するための図である。 図７は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における誤答の場合の参照ベクトルの更新を説明するための図である。 図８は本発明を実施するための最良の形態に係る生体情報に基づく感情認識方法に適用されるファジー関数における、すべてのＰＥが発火しないときの参照ベクトルの更新を説明するための図である。 図９は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、心電計本体から感情認識装置に取り込んだ心電図である。 図１０は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、心電計本体から感情認識装置に取り込んだデータの内、ウエーブレット変換をかけた状態の図である。 図１１は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおける感情認識装置において学習動作を説明するためのフローチャートである。 図１２は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおける感情認識装置において前記学習結果を基に快・不快の判定動作を説明するためのフローチャートである。 図１３は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、感情認識装置でファジー関数処理の学習動作を説明するためのフローチャートであって、図１１のステップ１３の詳細フローチャートである。 図１４は本発明を実施するための最良の形態に係る生体情報に基づく感情認識システムにおいて、感情認識装置でファジー関数処理の実際の快・不快の判定動作を説明するためのフローチャートであって、図１２のステップ１５の詳細フローチャートである。 図１５は、本発明の実施例で使用したフェイススケールを示す図である。 図１６は本発明の実施例において異物挿入前の心電波形の詳細を示す波形図である。 図１７は本発明の実施例において異物挿入後の心電波形の詳細を示す波形図である。

符号の説明

１・・生体情報に基づく感情認識システム
３・・生体情報収集装置
５・・感情認識装置
３０・・心電計本体
３１・・センサー
５１・・コンピュータ装置本体
５１ａ・・ＣＰＵ
５１ｂ・・主メモリ
５１ｃ・・ＨＤＤ
５１ｄ・・入力用Ｉ／Ｆ
５１ｅ・・表示用Ｉ／Ｆ
５１ｆ・・印字出力用Ｉ／Ｆ
５１ｇ・・デジルタ入力用Ｉ／Ｆ
５２・・キーボード
５３・・マウス
５４・・ディスプレイ
５５・・プリンタ

Claims (3)

1. 患者の身体に着脱が可能なセンサーを用いて、当該患者の身体から発せられる生体信号を取込む生体情報収集装置と、
   前記生体情報収集装置からの生体信号を取込み、当該生体信号にファジー関数処理を施して当該生体の現在の感情を認識させた結果を出力できる感情認識装置とを備えたことを特徴とする生体情報に基づく感情認識システム。
2. 前記感情認識装置は、生体デジタルデータから所定の参照ベクトルを抽出し、当該参照ベクトルを更新することにより学習を行うファジー関数処理を施し、快、不快の判定を行うことを特徴とする請求項１記載の生体情報に基づく感情認識システム。
3. 患者の身体に着脱が可能なセンサーからの生体信号を取り込むステップと、
   前記生体信号を生体デジタルデータに変換するステップと、
   前記生体デジタルデータから所望の参照ベクトルを抽出するステップと、
   所望の参照ベクトルにファジー関数処理を施すステップとからなることを特徴とする生体情報に基づく感情認識方法。

Images