JP2004000474A

JP2004000474A - 生理信号の短時間モニタリングを通じたユーザ情緒認識装置及び方法

Info

Publication number: JP2004000474A
Application number: JP2003014133A
Authority: JP
Inventors: Kyung-Hwan Kim; 金　▲きょん▼　煥; Seok-Won Bang; 方　錫　元; Dong-Geon Kong; 孔　棟　建
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2002-01-23
Filing date: 2003-01-23
Publication date: 2004-01-08
Anticipated expiration: 2023-01-23
Also published as: KR20030063640A; JP4101069B2; US7547279B2; KR100580618B1; US20030139654A1

Abstract

【課題】ユーザの生理信号（生体信号）を短時間モニタリングしてユーザの情緒状態を認識する情緒認識装置及び方法を提供する。
【解決手段】ユーザから取得された生体信号の特徴を分析する特徴分析部と、前記特徴分析部で分析された結果と、前記ユーザの情緒を認識するのに目安となる特徴値との差を求める減算部、及び前記減算部で求められた前記差分値を分析して複数の情緒を各カテゴリー別に分類し、前記分類された情緒のうち強度が最も大きい情緒を前記ユーザの情緒状態として認識する情緒分類手段を備える情緒認識装置。
【選択図】　図５

Description

【０００１】
【発明の属する技術分野】
本発明は情緒認識装置及び方法に係り、特に、ユーザの生理信号（生体信号）をモニタリングしてユーザの情緒状態を認識する情緒認識装置及び方法に関する。
【０００２】
【従来の技術】
情緒（感情）とは、内的刺激または外的刺激により生ずる生理的な活性度の変化に伴って変化する心理状態を意味する。情緒状態は、肯定情緒（ｐｏｓｉｔｉｖｅ　ｅｍｏｔｉｏｎ）と否定情緒（ｎｅｇａｔｉｖｅ　ｅｍｏｔｉｏｎ）とに大別される。前者としては、喜び、安堵、心温まり（満足）、落ち着き、増長（意気揚々、得意）などが挙げられ、後者としては、悲しみ、不満（不機嫌）、怒り、驚き、恐怖、憂欝などが挙げられる。このような肯定的（ポジティブ）か否定的（ネガティブ）かを基準とした区分以外にも、多様な情緒の区分が可能である。ここで、内的刺激としては、過去の記憶や主観的な情緒刺激などが挙げられ、外的刺激としては、情緒主体の自発的な刺激以外の周囲環境によるストレスやその軽減（アンチ−ストレス）が挙げられる。
【０００３】
情緒を定義するための理論としては、生理学的な変化を認識することにより情緒を経験するというジェームズ＝ランゲ説（Ｊａｍｅｓ−Ｌａｎｇｅ　ｔｈｅｏｒｙ）と、情緒に対する心理的な経験（ｐｓｙｃｈｏｌｏｇｉｃａｌ　ｅｘｐｅｒｉｅｎｃｅ）及び外部刺激に対する生理的な反応（ｐｈｙｓｉｏｌｏｇｉｃａｌ　ｒｅａｃｔｉｏｎｓ）が同時に起こるというキャノン＝バード説（Ｃａｎｎｏｎ−Ｂａｒｄ　ｔｈｅｏｒｙ）などがある。ジェームズ＝ランゲ説は、情緒の根源が末梢機関にあると考えるのに対し、キャノン＝バード説は、その根源を脳に置いているところに違いがある。
【０００４】
前述したように、内部的／外部的な刺激により情緒状態に起こる変化は、自律神経系の調節により生じる生理的な特性の変化を伴う。したがって、情緒状態の変化は、心臓拍動、筋電図（Ｅｌｅｃｔｒｏｍｙｏｇｒａｍ：ＥＭＧ）、皮膚電気伝導度の変化、体温の変化などのような生理的な変化を反映する信号の測定を通じて認識できる。これらの生理信号（生体信号）は適切な生体信号センサーを通じて測定できる。生体信号センサーを通じて取得された生理信号に基づき情緒を認識する方法については、過去幾つかの特許において既に発表されている。例えば、米国において、１９９７年１０月、Ｋ．Ｍ．ザウィリンスキ（Ｋｅｎｎｅｔｈ　Ｍｉｃｈａｅｌ　Ｚａｗｉｌｌｉｎｓｋｉ）により取得された特許（「エモーショナル・レスポンス・アナライザ・システム・ウィズ・マルチメディア・ディスプレイ（ＥＭＯＴＩＯＮＡＬ　ＲＥＳＰＯＮＳＥ　ＡＮＡＬＹＺＥＲ　ＳＹＳＴＥＭ　ＷＩＴＨ　ＭＵＬＴＩＭＥＤＩＡ　ＤＩＳＰＬＡＹ）」：特許文献１参照）の公報に、ＴＶなどの外部刺激手段からの刺激により発生した感情状態を分析・解釈する装置（情緒反応分析器）が開示されている。しかし、この方法は、限られた実験データ及びそれによる実験結果を示すだけである。また、ｚ−スコア（ｚ−ｓｃｏｒｅ）を用いて感情状態を区分するものである。したがって、正確度が低い点が問題である。
【０００５】
【特許文献１】
米国特許第５６７６１３８号明細書
【０００６】
【発明が解決しようとする課題】
本発明が解決しようとする技術的な課題は、腕時計のように身体に着用可能なセンサーから非浸襲的に生理信号（生体信号）を取得し、これに基づきユーザの情緒状態を認識することができる情緒認識装置及び方法を提供することである。
【０００７】
本発明が解決しようとする技術的な課題は、ユーザから取得された生理信号を短時間モニタリングしてユーザの情緒状態を正確に認識することができる情緒認識装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
前記課題を達成するために、本発明に係る情緒認識システムは、ユーザの身体に着用されて少なくとも一つ以上の生体信号を取得し、取得された前記生体信号を無線伝送する生体信号取得装置と、前記生体信号取得装置から送られてきた前記生体信号を短時間モニタリングして前記ユーザの情緒状態を認識する情緒認識装置と、を備えることを特徴とする。ここで、生体信号取得装置とは、前記生体信号を非浸襲的に受け入れる少なくとも一つ以上のセンサーと、前記センサーから入力された少なくとも一つ以上の生体信号を増幅してフィルタリングする増幅／フィルタリング部と、前記増幅／フィルタリング部を通じて処理された信号を各生体信号別に分類して出力するマルチプレクサと、前記マルチプレクサの出力をデジタル信号に変換するＡ／Ｄコンバータと、前記Ａ／Ｄコンバータにより変換された前記デジタル信号を前記情緒認識装置に無線伝送するＲＦ送信部と、を備えるものが望ましい。また、前記情緒認識装置は、好ましくは、前記生体信号を分析して前記ユーザの情緒状態を認識するアルゴリズムが記憶された演算装置である。
【０００９】
前記課題を達成するために、本発明に係る情緒認識装置は、ユーザから取得された生体信号の特徴を分析する特徴分析部と、前記特徴分析部で分析された結果と、前記ユーザの情緒を認識するのに目安となる特徴値との差を求める減算部と、前記減算部で求められた前記差分値を分析して複数の情緒を各カテゴリー別に分類し、前記分類された情緒のうち強度が最も大きい情緒を前記ユーザの情緒状態として認識する情緒分類手段と、を備えることを特徴とする。ここで、前記特徴分析部は、前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、前記心拍信号と関わった特徴値を抽出する心拍分析部と、前記ＥＤＡ信号を受け入れて皮膚伝導特性と関わった特徴値を抽出する皮膚伝導特性分析部と、前記ＳＫＴ信号を受け入れて皮膚温度と関わった特徴値を抽出する皮膚温度分析部とを備えるものが望ましい。また、好ましくは、前記減算部は、前記ユーザの情緒を認識するのに目安となる特徴値として、前記ユーザの日頃の情緒に対する特徴値を用いることを特徴とし、前記情緒分類手段は、前記減算部で求められた前記差分値を分析して前記ユーザの情緒を複数のカテゴリーに分類するＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）分類器と、前記ＳＶＭ分類器を通じて分類された前記情緒の強度を比較し、前記情緒のうち強度が最も大きい情緒を前記ユーザの情緒認識結果として出力する比較器とを備えることを特徴とする。また、前記情緒分類手段は、前記ＳＶＭ分類器を学習させるための複数の情緒データ及び前記情緒データによる前記ＳＶＭ分類器の学習結果を記憶するデータベースをさらに備えるものであってもよい。
【００１０】
前記心拍分析部は、好ましくは、前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、検出された前記心泊信号を心拍変化率の時系列に変換する心拍検出部と、前記心拍変化率の時系列信号に応答して前記心拍信号のスペクトルを分析するスペクトル分析部と、前記心拍変化率の時系列信号に応答して前記心拍信号の平均値及び標準偏差値を計算する平均／標準偏差計算部と、を備えることを特徴とする。ここで、前記心拍検出部は、入力される信号のうち前記ＥＣＧ信号が存在する帯域を通過させるバンドパスフィルタと、前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、前記加算部の出力信号にＴｅａｇｅｒエネルギーオペレータを取って前記心拍信号を検出するＴｅａｇｅｒエネルギー演算部と、を備えるものであることが望ましい。また、前記心拍検出部は、入力される信号のうち前記ＰＰＧ信号が存在する帯域を通過させるバンドパスフィルタと、前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、前記加算部の出力信号から前記心拍信号を抽出する整合フィルタと、前記心拍信号に対するゼロクリッピングを行うゼロクリッパとを備えるものであってもよい。
【００１１】
前記課題を達成するために、本発明に係る情緒認識方法は、（ａ）ユーザから少なくとも一つ以上の生体信号を入力される段階と、（ｂ）前記生体信号を分析して前記ユーザの情緒認識に用いられる複数の特徴値を抽出する段階と、（ｃ）前記（ｂ）段階で抽出された前記複数の特徴値と、情緒認識の目安となる所定の特徴値との差を求める段階と、（ｄ）前記（ｃ）段階で計算された前記特徴値間の差に応答して前記ユーザの情緒状態を複数のカテゴリーに分類する段階と、（ｅ）分類された各々の情緒のうち強度が最も大きい情緒を選んで出力する段階と、を備えることを特徴とする。
【００１２】
上述の生体信号は、好ましくは、非浸襲的に取得される光血流量（ＰＰＧ）、心電図（ＥＣＧ）、皮膚電気活動（ＥＤＡ）及び皮膚温度（ＳＫＴ）を含む。また、上述のユーザの情緒を認識するのに目安となる前記特徴値は、前記ユーザの日頃の情緒に対する特徴値を採用することができる。
【００１３】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の好ましい実施の形態について詳細に説明する。
【００１４】
図１は、本発明の好ましい実施の形態による情緒認識システムの全体構成を簡略に示す図面である。図２Ａは、図１に示す生体信号取得装置の外形を示す図面であり、図２Ｂには、この生体信号取得装置を人の身体に装着した様子を示す。図１を参照すれば、本発明に係る情緒認識装置は、生体信号取得装置２００及び情緒認識装置１からなる。
【００１５】
生体信号取得装置２００は、図１及び図２Ａ、図２Ｂに示すように、ユーザの身体に腕時計などの形で着用され、光血流量（ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｍ：ＰＰＧ）、心電図（ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ：ＥＣＧ）、皮膚電気活動（ｅｌｅｃｔｒｏｄｅｒｍａｌ　ａｃｔｉｖｉｔｙ：ＥＤＡ）、皮膚温度（ｓｋｉｎ　ｔｅｍｐｅｒａｔｕｒｅ：ＳＫＴ）などの生体信号を非浸襲的に測定する。生体信号取得装置２００を通じて取得された生体信号は情緒認識装置１に無線伝送され、ユーザの情緒状態を認識するのに用いられる。情緒認識装置１は、入力された生体信号を分析するためのアルゴリズムが記憶されたコンピュータまたはこれに相当する演算装置を含む。前記生体信号の取得に用いられるセンサーに関する具体的な内容は、ジョン・Ｇ．ウェブスター（Ｊｏｈｎ　Ｇ．　Ｗｅｂｓｔｅｒ）編「メディカル・インスツルメンテーション−アプリケーション・アンド・デザイン（Ｍｅｄｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ−Ａｐｐｌｉｃａｔｉｏｎ　ａｎｄ　Ｄｅｓｉｇｎ）」（第３版，米国，Ｊｏｈｎ　Ｗｉｌｅｙ　＆　Ｓｏｎｓ，１９９９年）等に詳細に説明されている。
【００１６】
図３及び図４は、図１に示す生体信号取得装置２００及び情緒認識装置１の構成をそれぞれ示すものである。
【００１７】
まず、図３を参照すれば、生体信号取得装置２００は、ユーザの生体信号を非浸襲的に受け入れる少なくとも一つ以上のセンサーと、前記センサーから入力された少なくとも一つ以上の生体信号（ｐｈｙｓｉｏｌｏｇｉｃａｌ　ｓｉｇｎａｌｓ）を増幅してフィルタリングする増幅／フィルタリング部２０５と、増幅／フィルタリング部２０５を通じて増幅及びフィルタリングされた信号を各信号別に分類して出力するマルチプレクサ（ＭＵＸ）２０６と、前記マルチプレクサ２０６の出力をデジタル信号に変換するＡ／Ｄコンバータ２０７、及びＡ／Ｄコンバータ２０７により変換されたデジタル信号をＲＦ信号に変換した後、前記信号をアンテナ２０９を通じて情緒認識装置１に無線伝送するＲＦ送信部２０８を備える。
【００１８】
図４を参照すれば、情緒認識装置１は、生体信号取得装置２００から送られてくるユーザの生体信号をアンテナ１０１を通じて受け入れるＲＦ受信部１０２と、ＲＦ受信部１０２により受信された生体信号を分析してユーザの情緒状態を認識する情緒認識部１００とを備える。ここで、ＲＦ受信部１０２及び情緒認識部１００は、ＲＳ２３２Ｃなどの通信プロトコルを用いて信号を伝送するものである。しかし、ＲＳ２３２Ｃは信号伝送方法の一例に過ぎず、回路の構成によって様々な通信プロトコルを用いることができる。
【００１９】
図５は、図４に示す情緒認識部１００の詳細構成を示すブロック図である。図５を参照すれば、本発明に係る情緒認識部１００は、生体信号取得装置２００から取得された生体信号（例えば、ＰＰＧ、ＥＣＧ、ＥＤＡ、ＳＫＴ）の特徴を分析する特徴分析部１０と、特徴分析部１０で分析された結果とユーザの日頃の情緒を示す特徴値との差を求める減算部２０、及び減算部２０で求められた特徴値の差を分析して情緒を分類して認識するＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）ユニット３０を備える。
【００２０】
特徴分析部１０は、ＥＣＧ信号またはＰＰＧ信号を受け入れて心拍を検出し、心拍に関わる特徴値を抽出する心拍分析部１１と、ＥＤＡ信号を受け入れて皮膚伝導特性（ｓｋｉｎ　ｃｏｎｄｕｃｔａｎｃｅ　ｒｅｓｐｏｎｓｅ：ＳＣＲ）と関わる特徴値を抽出するＳＣＲ分析部１５、及びＳＫＴ信号を受け入れてＳＫＴと関連する特徴値（すなわち、ＳＫＴの平均値Ｍｅａｎ及び最大値Ｍａｘ）を抽出するＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８（皮膚温度分析部）を備える。
【００２１】
心拍分析部１１は、ＥＣＧ信号またはＰＰＧ信号を受け入れて心拍を検出する心拍検出部１２と、検出された心拍信号から心拍変化率（ｈｅａｒｔ　ｒａｔｅ　ｖａｒｉａｂｉｌｉｔｙ：ＨＲＶ）の時系列を抽出するＨＲＶ抽出部と、抽出されたＨＲＶのスペクトルを分析するスペクトル分析部１３、及び検出された心拍信号Ｄｅｔの平均値Ｍｅａｎ及び標準偏差値（ｓｔａｎｄａｒｄ　ｄｅｖｉａｔｉｏｎ：Ｓｔｄ）を求めるＭｅａｎ／Ｓｔｄ計算部１４（平均／標準偏差計算部）を備える。そして、ＳＣＲ分析部１５は、ＥＤＡ信号を受け入れてＳＣＲを検出するＳＣＲ検出部１６、及びＳＣＲの大きさなどのパラメータを計算するＳＣＲ計算部１７を備える。
【００２２】
図６Ａ及び図６Ｂは、心拍信号の分析に用いられるＥＣＧ信号及びＰＰＧ信号の一例をそれぞれ示すグラフであり、図７及び図８は、図５に示す心拍検出部１２の詳細構成を示す図面である。ここで、図７に示す心拍検出部１２は、入力信号がＥＣＧ信号である場合の回路構成を示し、図８に示す心拍検出部１２′は、入力信号がＰＰＧ信号である場合の回路構成を示す。
【００２３】
まず、図７を参照すれば、本発明に係る心拍検出部１２は、バンドパスフィルタ（ｂａｎｄ　ｐａｓｓ　ｆｉｌｔｅｒ：ＢＰＦ）１２１と、メディアンフィルタ（ｍｅｄｉａｎ　ｆｉｌｔｅｒ：ＭＦ）１２２と、加算部１２３、及びＴｅａｇｅｒエネルギー演算部（Ｔｅａｇｅｒ　ｅｎｅｒｇｙ　ｏｐｅｒａｔｏｒ：ＴＥＯ）１２４を備える。
【００２４】
ＢＰＦ１２１は、入力される信号のうちＥＣＧ信号が存在する帯域のみを通過させ、ＭＦ１２２は、バンドパスフィルタリングされた結果に存在する低周波ノイズ成分を推定する。加算部１２３は、バンドパスフィルタリング結果とメディアンフィルタリング結果との差を計算して低周波ノイズ成分を除去する。低周波ノイズ成分が除去された加算部１２３の出力信号は、Ｔｅａｇｅｒエネルギー演算部１２４に入力されて心拍信号の抽出に用いられる。Ｔｅａｇｅｒエネルギー演算部１２４は、入力される信号にΨ［ｘ（ｔ）］で表わされるＴｅａｇｅｒエネルギーオペレータ（Ｔｅａｇｅｒ　Ｅｎｅｒｇｙ　Ｏｐｅｒａｔｏｒ：ＴＥＯ）を取ることにより、心拍信号を検出する。ＴＥＯは、入力信号の瞬間振幅と瞬間周波数との積に比例する値を生じるので、心電図のＱＲＳピークの検出に極めて有用である。これについての詳細な説明は、次の論文に開示されている。Ｓ．ムコパディヤイ（Ｓ．Ｍｕｋｈｏｐａｄｈｙａｙ），Ｇ．Ｃ．レイ（Ｇ．Ｃ．Ｒａｙ）共著「ア・ニュー・インタープリテーション・オブ・ノンリニヤ・エナジー・オペレータ・アンド・イツ・エフィカシー・イン・スパイク・ディテクション（Ａ　ｎｅｗ　ｉｎｔｅｒｐｒｅｔａｔｉｏｎ　ｏｆ　ｎｏｎｌｉｎｅａｒ　ｅｎｅｒｇｙ　ｏｐｅｒａｔｏｒ　ａｎｄ　ｉｔｓ　ｅｆｆｉｃａｃｙ　ｉｎ　ｓｐｉｋｅ　ｄｅｔｅｃｔｉｏｎ）」，ＩＥＥＥ・トランザクションズ・オン・バイオメディカル・エンジニアリング（ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ），米国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．），１９９８年２月，第４５巻，第２号，ｐｐ．１８０−１８７。
【００２５】
前述した心拍検出部１２によれば、図６Ａに示すＥＣＧ信号上に矢印で示された部分が心拍信号Ｄｅｔとして抽出される。
【００２６】
引続き、図８を参照すれば、本発明に係る心拍検出部１２′は、ＢＰＦ１２１、ＭＦ１２２、加算部１２３、整合フィルタ１２５、及びゼロクリッパ１２６を備える。
【００２７】
ＢＰＦ１２１は、入力される信号のうちＰＰＧ信号が存在する帯域のみを通過させ、ＭＦ１２２は、バンドパスフィルタリングされた結果に存在する低周波ノイズ成分を推定する。加算部１２３は、バンドパスフィルタリング結果とメディアンフィルタリング結果との差を計算して低周波ノイズ成分を除去する。低周波ノイズ成分が除去された加算部１２３の出力信号は、整合フィルタ１２５に入力され、ＰＰＧ信号が有している特定の信号、すなわち、心拍信号を抽出するのに用いられる。整合フィルタ１２５を通じて抽出された特定信号は、ゼロクリッパ１２６を通じてゼロクリッピング過程を経た後に心拍信号Ｄｅｔとして出力される。ここで、整合フィルタ１２５のパラメータは、必要あればアップデートされる。このような構成を有する心拍検出部１２′によれば、図６Ｂに示すＰＰＧ信号上に矢印で示された部分が心拍信号Ｄｅｔとして抽出される。
【００２８】
図９は、図７及び図８に示す心拍検出部１２，１２′により求められた心拍信号Ｄｅｔから心拍変化率（ＨＲＶ）の時系列を求める過程を示す図面である。図９を参照すれば、ＥＣＧまたはＰＰＧ信号１２００が取得された場合、これを拡大してみれば、１２１０のような波形が現れる。ＥＣＧまたはＰＰＧ信号は、参照番号１２００または１２１０のように周期的なパルスを示すが、このパルスは、最大値部分であるＲと、Ｒを中心として左右に位置した最小値部分であるＱ，ＳよりなるＱＲＳ波形を示す。
【００２９】
図９中１２１０にて示す波形において、矢印で示した部分が心拍信号の最大値部分であるＲ波形となり、この部分が図７及び図８に示す心拍検出部１２，１２′により抽出されてＥＣＧまたはＰＰＧ信号の瞬間Ｒ−Ｒ波形１２３０を示すことになる。この瞬間Ｒ−Ｒ波形１２３０に移動平均補間法（ｍｏｖｉｎｇ　ａｖｅｒａｇｅ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）を適用すれば、１２５０に示すように、心拍変化率（ＨＲＶ）の時系列が抽出される。このようなＨＲＶの時系列１２５０を求める方法は、例えば、次の論文に開示されている。Ｒ．Ｄ．バーガー他（Ｒ．Ｄ．　Ｂｅｒｇｅｒ　ｅｔ．ａｌ．）著，「アン・エフィシャント・アルゴリズム・フォー・スペクトラル・アナリシス・オブ・ハート・レイト・ヴァリアビリティ（Ａｎ　ｅｆｆｉｃｉｅｎｔ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｓｐｅｃｔｒａｌ　ａｎａｌｙｓｉｓ　ｏｆ　ｈｅａｒｔ　ｒａｔｅ　ｖａｒｉａｂｉｌｉｔｙ）」，ＩＥＥＥ・トランザクションズ・オン・バイオメディカル・エンジニアリング（ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ），米国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Ｉｎｓｔｉｔｕｔｅ　ｏｆＥｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．），１９８６年，第３３巻。このようなＨＲＶ信号は、交感神経系／副交感神経系の活性度を定量的に把握できる指標となる。
【００３０】
さらに、図５を参照すれば、図７または図８により求められた心拍信号Ｄｅｔは、図９に示す方法によりＨＲＶの時系列に変換された後、スペクトル分析部１３及びＭｅａｎ／Ｓｔｄ計算部１４に入力される。スペクトル分析部１３では、与えられた時系列に対して様々な次数のＡＲ（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ）、ＭＡ（ｍｏｖｉｎｇａｖｅｒａｇｅ）、ＡＲＭＡ（ａｕｔｏｒｅｇｒｅｓｓｉｖｅ　ｍｏｖｉｎｇ　ａｖｅｒａｇｅ）モデルを推定した後、推定誤差を示す指標が最小となる特定の次数の特定モデルを選んで最適の時系列モデルを選定し、選定された最適モデルからスペクトルを求める方法を用いてＨＲＶのスペクトルを分析する。ここでは、この方法をＡＲＭＡｓｅｌアルゴリズムと呼ぶ。このために用いられる推定誤差の指標及び各時系列モデルの推定方法は、例えば、次の論文に詳細に説明されている。Ｐ．Ｍ．Ｔ．ブローセン（Ｐ．Ｍ．Ｔ．Ｂｒｏｅｒｓｅｎ）著「ファクツ・アンド・フィクション・イン・スペクトラル・アナリシス（Ｆａｃｔｓ　ａｎｄ　ｆｉｃｔｉｏｎ　ｉｎ　ｓｐｅｃｔｒａｌ　ａｎａｌｙｓｉｓ）」，ＩＥＥＥ・トランザクションズ・オン・インスツルメンテーション・アンド・メジャーメント（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ　ａｎｄ　Ｍｅａｓｕｒｅｍｅｎｔ），米国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．），２０００年８月，第４９巻，第４号，ｐｐ７６６−７７２。
【００３１】
これら心拍変化率（ＨＲＶ）の周波数領域パラメータは、既に過去の多くの研究においてその重要性が認識されてきており、生理心理学的な研究においても重要な指標として取り扱われてきている。
【００３２】
本発明に係るスペクトル分析部１３では、心拍変化率のスペクトル解釈において、数分から２４時間に至る長い信号を対象とする従来のピリオドグラム（ｐｅｒｉｏｄｏｇｒａｍ）法の代わりに、ＡＲＭＡｓｅｌアルゴリズムを使用して５０秒程度の短時間の信号観測を通じ心拍変化率（ＨＲＶ）のスペクトルを分析する。スペクトル分析部１３により分析された結果は、減算部２０にユーザ情緒認識を行うための特徴値として伝えられる。
【００３３】
一方、心拍検出部１２，１２′から心拍変化率（ＨＲＶ）の時系列信号を受け入れたＭｅａｎ／Ｓｔｄ計算部１４は、与えられた時系列に対する平均及び標準偏差Ｓｔｄを計算してこれを減算部２０にユーザ情緒認識を行うための特徴値として伝える。
【００３４】
次に、図５に示す心拍分析部１１に備えられたＳＣＲ分析部１５の詳細構成及び動作を調べてみれば、下記の通りである。
【００３５】
図１０は、皮膚伝導特性（ＳＣＲ）の検出に用いられるＥＤＡ信号の波形を示す図面である。図１０には、ユーザから発せられたＥＤＡ信号の波形１６００と、ＥＤＡ信号の波形１６００のうちＳＣＲの特性が抽出される部分に対する拡大波形１６１０が示されている。１６００及び１６１０にて示す信号は、ＳＣＲ分析部１５に備えられたＳＣＲ検出部１６に入力される。
【００３６】
図１１は、図５に示すＳＣＲ検出部１６の構成を示す図面である。図１１を参照すれば、ＥＤＡ信号を受け入れて皮膚伝導特性を検出するＳＣＲ検出部１６は、ダウンサンプラー１６１と、微分器１６２、及びスムージングコンボルーションユニット１６３により構成される。
【００３７】
ダウンサンプラー１６１は、入力されたＥＤＡ信号を１０ないし１２のデータにダウンサンプリングする。微分器１６２は、ダウンサンプリングされた結果を微分し、スムージングコンボリューションユニット１６３は、長さが２０であるバートレットウィンドウ（Ｂａｒｔｌｅｔｔ　ｗｉｎｄｏｗ）を用いて微分結果に対するスムージングコンボリューションを行う。このようなＳＣＲ検出部１６によれば、入力されたＥＤＡ信号は離散ＳＣＲデータの形として出力される。
【００３８】
ＳＣＲ検出部１６により取得された離散ＳＣＲデータは、ＳＣＲ分析部１５に備えられたＳＣＲ計算部１７に入力され、一定時間のＳＣＲ発生頻度（ｎｕｍｂｅｒ　ｏｆ　ＳＣＲ／ｔｉｍｅ）、ＳＣＲの大きさ（ＳＣＲ　ａｍｐｌｉｔｕｄｅ）、及びＳＣＲ立ち上がり時間（ＳＣＲ　ｒｉｓｅ　ｔｉｍｅ）などの特徴値を生じる。ＳＣＲ計算部１７により求められたＳＣＲ特徴データ（すなわち、ＳＣＲ発生頻度、ＳＣＲの大きさ、ＳＣＲ立ち上がり時間など）は図５に示すように、減算部２０に各々入力される。
【００３９】
引続き、図５に示す心拍分析部１１のＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８に対する詳細構成及び動作を調べてみれば、下記の通りである。
【００４０】
図１２は、皮膚温度の変化を検出するのに用いられるＳＫＴ信号の波形を示す図面であり、図１３は、図５に示すＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８の構成を示すブロック図である。
【００４１】
図１３を参照すれば、ＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８は、ダウンサンプラー１８１及びＭｅａｎ／Ｍａｘ計算器１８２を有する。ＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８は、図１２に示すように、ＳＫＴ信号を受け入れて前記信号を約１００個のデータにダウンサンプリングし、ダウンサンプリングされたデータの平均値Ｍｅａｎ＿ＳＫＴ及び最大値Ｍａｘ＿ＳＫＴをＳＫＴの特徴データとして生じる。
【００４２】
上述したように、特徴分析部１０に備えられた心拍分析部１１、ＳＣＲ分析部１５及びＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８がユーザから入力された複数の生体信号からユーザの情緒認識に必要な特徴値を抽出した後に、前記特徴値は、減算部２０及びＳＶＭユニット３０に順次に入力されてユーザの情緒を認識する。
【００４３】
図１４は、図５に示す減算部２０及びＳＶＭユニット３０の構成を示すブロック図である。
【００４４】
図１４を参照すれば、減算部２０には、ユーザの情緒認識に目安となる特徴値として、ユーザの日頃の情緒状態に対する特徴値ＦＥＡＴＵＲＥ　１′−ＦＥＡＴＵＲＥ　Ｘ′が記憶されている。減算部２０は、特徴分析部１０に備えられた心拍分析部１１、ＳＣＲ分析部１５、及びＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部１８から入力される複数の特徴値ＦＥＡＴＵＲＥ　１−ＦＥＡＴＵＲＥ　Ｘとユーザの日頃の情緒状態に対する特徴値ＦＥＡＴＵＲＥ　１′−ＦＥＡＴＵＲＥ　Ｘ′との差を求めてこれをＳＶＭユニット３０に伝送する。
【００４５】
ＳＶＭユニット３０は、減算部２０から出力された特徴値の差に応答してユーザの情緒状態を学習及び分類するＳＶＭ分類器（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ　Ｃｌａｓｓｉｆｉｅｒ）３２と、ＳＶＭ分類器３２により学習された結果を記憶するデータベース３４、及びＳＶＭ分類器３２で分類された複数の情緒状態値を比較して最終の情緒状態を選んで出力する比較器３６を有する。
【００４６】
抽出された特徴ベクトルから所定の情緒状態を決めることは、一種のパターン認識の問題に該当し、パターン認識のためには、各種の分類器が適用できる。一般に、特定の情緒状態を示す特徴ベクトルが多次元空間上に一つの確率分布を形成しており、各状態に該当する確率密度関数が知られていさえすれば、ベイズの法則（Ｂａｙｅｓ’ｒｕｌｅ）により統計的に最適の分類器を具現することができる。
【００４７】
しかし、実際には、確率密度関数を正確に知ることは不可能であるため、ベイズの法則に相応する規則を実質的に実現するパルツェンウィンドウ分類器（Ｐａｒｚｅｎ　ｗｉｎｄｏｗ　ｃｌａｓｓｉｆｉｅｒ）、多重パーセプトロンなどが主として用いられている。しかし、このような従来の分類器は、一般化特性が良くないため、学習に用いられていない新しいデータに対しては誤動作率が相当高いという問題点を有している。のみならず、前記パターン分類器は、特徴ベクトルの分布において分散がかなり大きく、各々のカテゴリーに該当するクラスタ間の重なりも極めて大であるために、誤動作率が上がる可能性が極めて高い。したがって、本発明では、前記のような問題点を解決するために、高い一般化特性を有するＳＶＭ分類器３２を情緒認識のためのパターン分類器として用いる。
【００４８】
ＳＶＭ分類器３２は、高次元への非線形的なマッピングにより線形的な分離可能性を高めることができる。ＳＶＭ分類器３２は、Ｖａｐｎｉｋの統計的な学習理論（ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ）に基づき最適の一般化性能を有する線形分離器を具現する方法を基に構成される。このような特性を有するＳＶＭ分類器に関するより詳細な説明は、例えば、次の論文に記載がある。Ｖ．Ｎ．ヴァプニク（Ｖ．Ｎ．　Ｖａｐｎｉｋ）著，「アン・オーバービュー・オブ・スタティスティカル・ラーニング・セオリー（Ａｎ　ｏｖｅｒｖｉｅｗ　ｏｆ　ｓｔａｔｉｓｔｉｃａｌ　ｌｅａｒｎｉｎｇ　ｔｈｅｏｒｙ）」，ＩＥＥＥ・トランザクションズ・オン・ニューラルネットワークス（ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ），米国，インスティチュート・オブ・エレクトリカル・アンド・エレクトロニクス・エンジニアーズ・インコーポレイテッド（Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．），１９９９年９月，第１０巻，第５号，ｐｐ．９８８−９９９。
【００４９】
図１５Ａ及び図１５Ｂは、図１４に示すＳＶＭ分類器３２の情緒分類の結果を示す図面である。本発明に係るＳＶＭ分類器３２は、入力空間の非線形的な高い次数を特徴空間において線形的に投影して解釈することにより、図１５Ａ及び図１５Ｂに示すように、各特徴データ（すなわち、ユーザの情緒）間に最適の境界（すなわち、最適分離面）を提示する。
【００５０】
さらに図１４を参照すれば、ＳＶＭ分類器３２により行われた情緒分類の結果は、各情緒別に分類された後、各情緒別の強度が数字にて表わされて出力される。例えば、ストレスに当たる情緒は０．３（または３０％）、悲しみに当たる情緒は０．６（または６０％）、そして、怒りに当たる情緒は０．１（または１０％）のように各情緒別の強度が数字にて表わされる。
【００５１】
比較器３６は、ＳＶＭ分類器３２から出力される複数の情緒に対する強度を受け入れ、これらのうち強度が最も大きい情緒を最終的な情緒認識結果Ｅｍｏｔｉｏｎとして出力する。この時、データベース３４には、入力された特徴値がいかなる情緒として認識されるかに関する情報が記憶される。このようなデータベース３４に対するデータの更新は、ＳＶＭ分類器３２の学習時に行われ、一旦ＳＶＭ分類器３２の学習が終われば、データベース３４に対するデータの更新は行われない。したがって、データベース３４は、開発者の立場で必要な部分であり、エンドユーザのために開発が完了した情緒認識システムにはデータベース３４が提供されていなくても良い。
【００５２】
図１６は、本発明の好ましい実施の形態による情緒認識方法を示すフローチャートである。図１６を参照すれば、本発明に係る情緒認識方法は、まず、ＥＣＧ／ＰＰＧ、ＥＤＡ、ＳＫＴなどの複数の生体信号を入力される（第１０１０段階）。前記生体信号は人体に着用可能なセンサー付き生体信号取得装置２００により取得された後、情緒認識装置１に無線伝送される。
【００５３】
コンピュータのように情緒認識プログラムが記憶された所定のプロセッサーよりなる情緒認識装置１は、第１０１０段階で入力された複数の生体信号を分析してユーザの情緒認識に用いられる複数の特徴値を抽出する（第１０２０段階）。第１０２０段階で抽出される特徴値としては、ＥＣＧ／ＰＰＧ信号から抽出された心拍信号のスペクトル、心拍信号の平均値／標準偏差値、ＥＤＡ信号から検出されたＳＣＲに関わったパラメータ、及びＳＫＴ信号から抽出されたＳＫＴ信号の平均値／最大値などがある。
【００５４】
第１０２０段階で抽出された複数の特徴値は減算部２０に入力されて、抽出された複数の特徴値と情緒認識の目安となる特徴値との差が求められる（第１０３０段階）。ここで、情緒認識の目安となる特徴値は、ユーザが特定の情緒に偏っていない日頃の情緒を示す特徴値であって、前記目安となる特徴値は減算部２０に予め記憶されている。
【００５５】
特徴値の差が求められれば、前記差分値はＳＶＭユニット３０に入力されてユーザ情緒認識が行われる（第１０４０段階）。ＳＶＭユニット３０はユーザの情緒状態を各情緒別に区分し、区分された各々の情緒のうち強度が最も大きい情緒を選んでこれを最終的な情緒認識結果として出力する（第１０５０段階）。
【００５６】
図１７は、本発明の好ましい実施の形態による情緒認識の遂行結果の表示例である。図１７を参照すれば、本発明に係る情緒認識システムは、４１ないし４３で示されているユーザの生体信号を処理し、情緒を分類した結果を４４のように示す。そして、情緒分類の結果のうち最も多い情緒の部分を占める情緒（例えば、Ｓａｄ）を参照番号４５のように情緒認識の最終結果として出力する。
【００５７】
このように、本発明に係る情緒認識装置及び方法は、既存の方法に比べて下記のような長所を有する。例えば、既存の情緒認識方法が脳波や顔面筋電度などを用いるためにユーザの頭皮や顔に電極を取り付けねばならず、ユーザに不便さ及び不快感を与えるのに対し、本発明は、腕時計の形で着用されるセンサーを通じて非浸襲的に取得される生体信号を用いるので、実用化が極めて容易であるという長所を有する。のみならず、本発明に係る情緒認識装置及び方法は、約５０秒の短時間の生体信号の観測でも既存の方法に比べて顕著に高い情緒認識結果を有する。
【００５８】
本発明はまたコンピュータにて読取り可能な記録媒体にコンピュータにて読取り可能なコード（プログラム）として具現することが可能である。コンピュータにて読取り可能な記録媒体は、コンピュータシステムにより読取り可能なデータが記憶されるあらゆる種類の記録装置を含む。コンピュータにて読取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形で具現されるものも含む。また、コンピュータにて読取り可能な記録媒体は、ネットワークに結ばれたコンピュータシステムに分散され、分散の方式によりコンピュータにて読取り可能なコードとして記憶されて実行できる。
【００５９】
【発明の効果】
以上述べたように、本発明に係る情緒認識装置及び方法によれば、身体に負担をかけず、行動を制約せずに常時着用が可能なセンサーから生理信号（生体信号）を取得し、取得された信号を短時間モニタリングしてユーザの情緒状態を正確に認識することができる。
【図面の簡単な説明】
【図１】本発明の好ましい実施の形態による情緒認識システムの全体構成を簡略に示す図面である。
【図２Ａ】図１に示す生体信号取得装置の外形を例示する図面である。
【図２Ｂ】図２Ａに示す生体信号取得装置をユーザの身体に着用したようすを示す図面である。
【図３】図１に示す生体信号取得装置の構成を示す図面である。
【図４】図１に示す情緒認識装置の簡略な構成を示す図面である。
【図５】図４に示す情緒認識部の詳細構成を示すブロック図である。
【図６Ａ】心拍信号の分析に用いられるＥＣＧ信号の一例を示す図面である。
【図６Ｂ】心拍信号の分析に用いられるＰＰＧ信号の一例を示す図面である。
【図７】図５に示す心拍検出部の詳細構成を示す図面である。
【図８】図５に示す心拍検出部の詳細構成を示す図面である。
【図９】図７及び図８に示す心拍検出部により求められた心拍信号から心拍変化率の時系列を求める過程を示す図面である。
【図１０】皮膚伝導特性（ＳＣＲ）の検出に用いられるＥＤＡ信号の波形を示す図面である。
【図１１】図５に示すＳＣＲ検出部の構成を示す図面である。
【図１２】皮膚温度の変化を検出するのに用いられるＳＫＴ信号の波形を示す図面である。
【図１３】図５に示すＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部の構成を示すブロック図である。
【図１４】図５に示す減算部及びＳＶＭユニットの構成を示すブロック図である。
【図１５Ａ】図１４に示すＳＶＭ分類器の情緒分類結果の一例を示す図面である。
【図１５Ｂ】図１４に示すＳＶＭ分類器の情緒分類結果の他の例を示す図面である。
【図１６】本発明の好ましい実施の形態による情緒認識方法を示すフローチャートである。
【図１７】本発明の好ましい実施の形態による情緒認識の遂行結果を示す図面である。
【符号の説明】
１　　　情緒認識装置
１０　　特徴分析部
１１　　心拍分析部
１２　　心拍検出部
１３　　スペクトル分析部
１４　　Ｍｅａｎ／Ｓｔｄ計算部
１５　　ＳＣＲ分析部
１６　　ＳＣＲ検出部
１７　　ＳＣＲ計算部
１８　　ＳＫＴ　Ｍｅａｎ／Ｍａｘ計算部
２０　　減算部
３０　　ＳＶＭユニット
１００　情緒認識部
２００　生体信号取得装置

Claims

ユーザの身体に着用されて少なくとも一つ以上の生体信号を取得し、取得された前記生体信号を無線伝送する生体信号取得装置と、
前記生体信号取得装置から送られてきた前記生体信号を短時間モニタリングして前記ユーザの情緒状態を認識する情緒認識装置と、を備えることを特徴とする情緒認識システム。
前記生体信号取得装置は、
前記生体信号を非浸襲的に受け入れる少なくとも一つ以上のセンサーと、
前記センサーから入力された少なくとも一つ以上の生体信号を増幅してフィルタリングする増幅／フィルタリング部と、
前記増幅／フィルタリング部を通じて処理された信号を各生体信号別に分類して出力するマルチプレクサと、
前記マルチプレクサの出力をデジタル信号に変換するＡ／Ｄコンバータと、
前記Ａ／Ｄコンバータにより変換された前記デジタル信号を前記情緒認識装置に無線伝送するＲＦ送信部と、を備えることを特徴とする請求項１に記載の情緒認識システム。
前記生体信号は、光血流量（ＰＰＧ）、心電図（ＥＣＧ）、皮膚電気活動（ＥＤＡ）及び皮膚温度（ＳＫＴ）を含むことを特徴とする請求項１に記載の情緒認識システム。
前記情緒認識装置は、前記生体信号を分析して前記ユーザの情緒状態を認識するアルゴリズムが記憶された演算装置であることを特徴とする請求項１に記載の情緒認識システム。
前記情緒認識装置は、
前記生体信号の特徴を分析する特徴分析部と、
前記特徴分析部で分析された結果と、前記ユーザの情緒を認識するのに目安となる特徴値との差を求める減算部と、
前記減算部で求められた前記差分値を分析して複数の情緒を各カテゴリー別に分類し、前記分類された情緒のうち強度が最も大きい情緒を前記ユーザの情緒状態として認識する情緒分類手段と、を備えることを特徴とする請求項１に記載の情緒認識システム。
前記特徴分析部は、
前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、前記心拍信号と関わった特徴値を抽出する心拍分析部と、
前記ＥＤＡ信号を受け入れて皮膚伝導特性と関わった特徴値を抽出する皮膚伝導特性分析部と、
前記ＳＫＴ信号を受け入れて皮膚温度と関わった特徴値を抽出する皮膚温度分析部と、を備えることを特徴とする請求項５に記載の情緒認識システム。
前記心拍分析部は、
前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、検出された前記心泊信号を心拍変化率の時系列に変換する心拍検出部と、
前記心拍変化率の時系列信号に応答して前記心拍信号のスペクトルを分析するスペクトル分析部と、
前記心拍変化率の時系列信号に応答して前記心拍信号の平均値及び標準偏差値を計算する平均／標準偏差計算部と、を備えることを特徴とする請求項６に記載の情緒認識システム。
前記心拍検出部は、
入力される信号のうち前記ＥＣＧ信号が存在する帯域を通過させるバンドパスフィルタと、
前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、
前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、
前記加算部の出力信号にＴｅａｇｅｒエネルギーオペレータを取って前記心拍信号を検出するＴｅａｇｅｒエネルギー演算部と、を備えることを特徴とする請求項７に記載の情緒認識システム。
前記心拍検出部は、
入力される信号のうち前記ＰＰＧ信号が存在する帯域を通過させるバンドパスフィルタと、
前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、
前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、
前記加算部の出力信号から前記心拍信号を抽出する整合フィルタと、
前記心拍信号に対するゼロクリッピングを行うゼロクリッパと、を備えることを特徴とする請求項７に記載の情緒認識システム。
前記減算部は、前記ユーザの情緒を認識するのに目安となる特徴値として、前記ユーザの日頃の情緒に対する特徴値を用いることを特徴とする請求項５に記載の情緒認識システム。
前記情緒分類手段は、
前記減算部で求められた前記差分値を分析して前記ユーザの情緒を複数のカテゴリーに分類するＳＶＭ（Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）分類器と、
前記ＳＶＭ分類器を通じて分類された前記情緒の強度を比較し、前記情緒のうち強度が最も大きい情緒を前記ユーザの情緒認識結果として出力する比較器と、を備えることを特徴とする請求項５に記載の情緒認識システム。
前記情緒分類手段は、
前記ＳＶＭ分類器を学習させるための複数の情緒データ及び前記情緒データによる前記ＳＶＭ分類器の学習結果を記憶するデータベースをさらに備えることを特徴とする請求項１１に記載の情緒認識システム。
ユーザから取得された生体信号の特徴を分析する特徴分析部と、
前記特徴分析部で分析された結果と、前記ユーザの情緒を認識するのに目安となる特徴値との差を求める減算部と、
前記減算部で求められた前記差分値を分析して複数の情緒を各カテゴリー別に分類し、前記分類された情緒のうち強度が最も大きい情緒を前記ユーザの情緒状態として認識する情緒分類手段と、を備えることを特徴とする情緒認識装置。
前記生体信号は、光血流量（ＰＰＧ）、心電図（ＥＣＧ）、皮膚電気活動（ＥＤＡ）及び皮膚温度（ＳＫＴ）を含むことを特徴とする請求項１３に記載の情緒認識装置。
前記特徴分析部は、
前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、前記心拍信号と関わった特徴値を抽出する心拍分析部と、
前記ＥＤＡ信号を受け入れて皮膚伝導特性と関わった特徴値を抽出する皮膚伝導特性分析部と、
前記ＳＫＴ信号を受け入れて皮膚温度と関わった特徴値を抽出する皮膚温度分析部と、を備えることを特徴とする請求項１４に記載の情緒認識装置。
前記心拍分析部は、
前記ＥＣＧ信号及び前記ＰＰＧ信号のうちどちらか一つを受け入れて心拍信号を検出し、検出された前記心泊信号を心拍変化率の時系列に変換する心拍検出部と、
前記心拍変化率の時系列信号に応答して前記心拍信号のスペクトルを分析するスペクトル分析部と、
前記心拍変化率の時系列信号に応答して前記心拍信号の平均値及び標準偏差値を計算する平均／標準偏差計算部と、を備えることを特徴とする請求項１５に記載の情緒認識装置。
前記心拍検出部は、
入力される信号のうち前記ＥＣＧ信号が存在する帯域を通過させるバンドパスフィルタと、
前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、
前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、
前記加算部の出力信号にＴｅａｇｅｒエネルギーオペレータを取って前記心拍信号を検出するＴｅａｇｅｒエネルギー演算部と、を備えることを特徴とする請求項１６に記載の情緒認識装置。
前記心拍検出部は、
入力される信号のうち前記ＰＰＧ信号が存在する帯域を通過させるバンドパスフィルタと、
前記バンドパスフィルタリング結果に存在する低周波ノイズ成分を推定するメディアンフィルタと、
前記バンドパスフィルタリング結果に前記メディアンフィルタリング結果の逆数を加えて前記低周波ノイズ成分を除去する加算部と、
前記加算部の出力信号から前記心拍信号を抽出する整合フィルタと、
前記心拍信号に対するゼロクリッピングを行うゼロクリッパと、を備えることを特徴とする請求項１６に記載の情緒認識装置。
前記減算部は、前記ユーザの情緒を認識するのに目安となる特徴値として、前記ユーザの日頃の情緒に対する特徴値を用いることを特徴とする請求項１３に記載の情緒認識装置。
前記情緒分類手段は、
前記減算部で求められた前記差分値を分析して前記ユーザの情緒を複数のカテゴリーに分類するＳＶＭ分類器と、
前記ＳＶＭ分類器を通じて分類された前記情緒の強度を比較し、前記情緒のうち強度が最も大きい情緒を前記ユーザの情緒認識結果として出力する比較器と、を備えることを特徴とする請求項１３に記載の情緒認識装置。
前記情緒分類手段は、
前記ＳＶＭ分類器を学習させるための複数の情緒データ及び前記情緒データによる前記ＳＶＭ分類器の学習結果を記憶するデータベースをさらに備えることを特徴とする請求項２０に記載の情緒認識装置。
（ａ）ユーザから少なくとも一つ以上の生体信号を入力される段階と、
（ｂ）前記生体信号を分析して前記ユーザの情緒認識に用いられる複数の特徴値を抽出する段階と、
（ｃ）前記（ｂ）段階で抽出された前記複数の特徴値と、情緒認識の目安となる所定の特徴値との差を求める段階と、
（ｄ）前記（ｃ）段階で計算された前記特徴値間の差に応答して前記ユーザの情緒状態を複数のカテゴリーに分類する段階と、
（ｅ）分類された各々の情緒のうち強度が最も大きい情緒を選んで出力する段階と、を含むことを特徴とする情緒認識方法。
前記生体信号は、非浸襲的に取得される光血流量（ＰＰＧ）、心電図（ＥＣＧ）、皮膚電気活動（ＥＤＡ）及び皮膚温度（ＳＫＴ）を含むことを特徴とする請求項２２に記載の情緒認識方法。
前記ユーザの情緒を認識するのに目安となる前記特徴値は、前記ユーザの日頃の情緒に対する特徴値であることを特徴とする請求項２２に記載の情緒認識方法。
前記（ｄ）段階は、統計的な学習理論に基づき前記ユーザの情緒を複数のカテゴリーに分類するＳＶＭ分類器を用いることを特徴とする請求項２２に記載の情緒認識方法。