JP6899989B2 - 感情推定装置及び感情推定方法 - Google Patents

Description

本発明は、脳活動測定、瞳孔径計測、及び顔表情計測を併用した感情推定装置及び感情推定方法に関する。

コマーシャル用ビデオコンテンツの評価や、ヒトの使い心地の優劣評価が必要なコンシューマ商品開発の現場などでは、時々刻々と変化するヒトの感情をより客観的かつ定量的に評価するシステムの開発が望まれている。

従来、商品評価などの分野では、被験者がどのように感じたかを、アンケートによって調査する方法が一般的であるが、意図的に感情を偽って報告する場合もあり、客観性に欠けるのみならず、継時的なモニタリングが困難であった。これを解決する一つの方法としては、感情との関連が強い瞳孔径による感情の強さを評価する装置が提案されている（特許文献１）。しかし瞳孔計測のみの方法では、感情の強度は測定できても、悲しみで感情が高ぶっているのか、喜びで感情が高まっているのかの区別は困難であった。これに、併せて、顔の所定部位の変化を測定することで、感情を推定する装置も開発されている（特許文献２）。

特開２０１１−２３９８９１号 特許第５４４５９８１号

しかしながら、瞳孔計測や、顔画像の計測に基づいた感情推定方法では、計測の特性上、眼を閉じた状態での感情の状態推定は、事実上困難であった。本発明では、感情に伴って変化する生理学的な変量の中から、眼を閉じた場合でも感情の推定が可能な指標を抽出し、より信頼性のある感情推定、かつより安定的な感情推定が可能な感情推定装置を提供することを目的とする。

上記の課題は以下の特徴を有する本発明によって解決される。すなわち本発明の感情推定装置は、被験者の感情を推定する感情推定装置であって、上記被験者の脳電位信号を取得する脳電位信号取得手段と、上記被験者の顔映像を取得する顔映像取得手段と、上記被験者の瞳孔径を取得する瞳孔径取得手段と、上記被験者の視認対象の明るさ情報を取得する明るさ情報取得手段と、上記取得された瞳孔径、上記取得された明るさ情報、及び予め取得された明るさ情報と上記被験者の瞳孔径との対応関係に基づいて、上記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出し、上記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における上記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出し、取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出し、並びに、上記算出された注目度、顔画像特徴量、及び脳電位データに基づいて上記被験者の感情を推定する感情推定手段と、を備えるものである。

本発明の一態様として、上記感情推定手段は、上記算出された顔画像特徴量及び脳電位データ、並びに所定時間前の上記算出された注目度に基づいて上記被験者の感情を推定する。

本発明の一態様として、上記感情推定手段は、上記算出された注目度と上記被験者の安静開眼時の注目度の平均値との差を当該安静開眼時の注目度の標準偏差で除した値である瞳孔径スコア、上記算出された顔画像特徴量と上記被験者の安静開眼時の顔画像特徴量の平均値との差を当該安静開眼時の顔画像特徴量の標準偏差で除した値である表情スコア、及び上記算出された脳電位データと上記被験者の安静開眼時の脳電位データの平均値との差を当該安静開眼時の脳電位データの標準偏差で除した値である脳波スコア、に基づいて上記被験者の感情を推定する。

本発明の一態様として、上記感情推定手段は、上記瞳孔径スコア、上記表情スコア、及び上記脳波スコアそれぞれにおける所定の閾値以上又は以下のデータのみを線形結合して生成された数値を用いて上記被験者の感情を推定する。

本発明の一態様として、上記感情推定手段は、上記瞳孔径スコア、上記表情スコア、及び上記脳波スコアをそれぞれの所定の閾値を用いて二値化し、二値化されたそれぞれのデータの論理積を用いて上記被験者の感情を推定する。

本発明の感情推定装置においては、上記脳電位信号取得手段は、上記被験者の頭部表面の３つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得するものであり、上記感情推定手段は、それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、それぞれのセンサごとに抽出された３つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出するものである。

本発明の感情推定方法は、被験者の感情を推定する方法であって、上記被験者の脳電位信号を取得するステップと、上記被験者の顔映像を取得するステップと、上記被験者の瞳孔径を取得するステップと、上記被験者の視認対象の明るさ情報を取得するステップと、上記取得された瞳孔径、上記取得された明るさ情報、及び予め取得された明るさ情報と上記被験者の瞳孔径との対応関係に基づいて、上記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出するステップと、上記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における上記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出ステップと、取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出するステップと、上記算出された注目度、顔画像特徴量、及び脳電位データに基づいて上記被験者の感情を推定するステップと、を有し、
前記脳電位信号の取得ステップは、前記被験者の頭部表面の３つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得し、
前記感情の推定ステップは、それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、それぞれのセンサごとに抽出された３つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出するものである。

本発明によれば、取得された瞳孔径、顔表情、及び脳電位信号のデータを解析することで、眼を閉じた場合を含む様々な状況において、ヒトの感情をより高い精度で推定することができる。

本発明の１つの実施形態に係る感情推定装置の概要図である。 本発明の１つの実施形態に係る感情推定装置において使用される脳活動測定装置Ａの概要図である。 本発明の１つの実施形態に係る感情推定装置において使用される脳活動測定装置Ｂの概要図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの帽子装着型電極の外観概要図を示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの基準電位測定用の導電性ゴム電極概要図を示す図である。 本発明の１つの実施形態に係る脳活動測定装置の電極配置である。 中心部にダイポール電流源を持つ均一球モデル表面の電位を示す図である。 中心部にダイポール電流源を持つ均一球モデル表面の電位を示す図である。 中心部にダイポール電流源を持つ均一球モデル表面の電位を示す図である。 中心部にダイポール電流源を持つ均一球モデル表面の電位を示す図である。 中心部にダイポール電流源を持つ均一球モデル表面における各電極Ａ、Ｂ、Ｃの電位の時間発展を示す図である。 遅延パラメータ空間上のプロットを示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの測定用電極の配置例を示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの脳電位の３重相関評価装置の処理ブロックを示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの３重相関値算出部の３重相関値Ｓｉを算出する処理の流れを示すフローチャートである。 本発明の１つの実施形態に係る脳活動測定装置Ｂの３重相関表示部を示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの２つの遅延パラメータ（τ１、τ２）が形成する特徴空間上にプロットされた、健常者脳電位波形の３重相関値分布例の疑似３次元表示を示す図である。 本発明の１つの実施形態に係る脳活動測定装置Ｂの２つの遅延パラメータ（τ１、τ２）が形成する特徴空間上にプロットされた、アルツハイマー病患者脳電位波形の３重相関値分布例の疑似３次元表示を示す図である。 図１０の健常者の３次元表示の図を上から見た図であって、３つの信号が同符号をとる領域を白で表し、３つの信号のいずれか１つの符号が異なる領域を黒で表した図である。 図１１のアルツハイマー病患者の３次元表示の図を上から見た図であって、３つの信号が同符号をとる領域を白で表し、３つの信号のいずれか１つの符号が異なる領域を黒で表した図である。 図１２ａ、図１２ｂより指標ＳＤを算出するときの白の四角形の領域間の縦横方向の各距離ｄｘｉ（ｉ＝１、２、…、ｍ）、ｄｙｊ（ｊ＝１、２、…、ｎ）を説明する図である。 本発明の１つの実施形態に係る感情推定装置において使用される瞳孔径測定器（ＥＭＲ−ＡＴ ＶＯＸＥＲ）による計測状況を示す図である。 本発明の１つの実施形態に係る感情推定装置において使用される瞳孔径測定器（ＥＭＲ−９）による計測状況を示す図である。 本発明の１つの実施形態に係る感情推定装置において使用される表情測定器が利用する顔面表情線画モデルと特徴量を示す図である。 本発明の１つの実施形態に係る感情推定装置において使用される表情測定器が利用する顔表情計測点を示す図である。 本発明の１つの実施形態に係る感情推定装置において使用される表情測定器が利用する感情的意味評価を行うための３次元空間を示す図である。 本発明の１つの実施形態に係る感情推定装置を用いて行う実験プロトコルの詳細を示す図である。 図１７に示す実験におけるリラックス画像視聴時と喜び動画視聴時の注目度の平均を示す図である。 図１７に示す実験におけるリラックス画像視聴時のβ波帯域のＮＡＴ状態のＺスコアマップを示す図である。 図１７に示す実験における喜び動画視聴時のβ波帯域のＮＡＴ状態のＺスコアマップを示す図である。 図１７に示す実験におけるリラックス画像視聴時と喜び動画視聴時の電極ごとのβ波帯域のＮＡＴ状態のＺスコア（１０人平均）比較を示す図である。 図１７に示す実験における喜び動画視聴時のＴ３、Ｔ４、Ｆ７のＺスコア平均値の時間発展を示す図である。 図１７に示す実験における喜び動画視聴時の表情レベルの平均値の時間発展を示す図である。 図１７に示す実験における喜び動画視聴時の注目度の平均値の時間発展を示す図である。 図２２ａに示すＺスコア平均値に対する図２２ｂ、図２２ｃにそれぞれ示す表情レベル、注目度の相互相関関数を示す図である。 図１７に示す実験における恐怖動画（２つ目の恐怖コンテンツ）視聴時の２つのｄＮＡＴ値（前頭部、後頭部）のＺスコア及びこれらの差分の時間発展を示す図である。 図１７に示す実験における恐怖動画（２つ目の恐怖コンテンツ）視聴時の注目度の平均値の時間発展を示す図である。 図１７に示す実験における悲しみ動画視聴時の２つのｄＮＡＴ値（前頭部、後頭部）のＺスコア及びこれらの差分の時間発展を示す図である。 図１７に示す実験における悲しみ動画視聴時の注目度の平均値の時間発展を示す図である。 図１７に示す実験における悲しみ動画視聴時の表情レベルの平均値の時間発展を示す図である。 本発明の実施形態１に係る感情推定装置のデータ処理ブロック図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時と悲しみ動画視聴時それぞれのＴ３、Ｔ４、Ｆ７のＺスコア平均値の時間発展を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時と悲しみ動画視聴時それぞれの表情スコアの平均値の時間発展を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時と悲しみ動画視聴時それぞれの瞳孔径スコアの平均値の時間発展を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時のデータ処理結果（閾値をθe=0.5、θf=0、θp=0.6、加重設定をWf=0.3、We=1、Wp=1として加重和を計算）を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験において悲しみ動画視聴時のデータ処理結果（閾値をθe=0.5、θf=0、θp=0.6、加重設定をWf=0.3、We=1、Wp=1として加重和を計算）を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における恐怖動画（２つ目の恐怖コンテンツ）視聴時の２つのｄＮＡＴ値（前頭部、後頭部）のＺスコアの時間発展を示す図である。 実施形態１に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時と悲しみ動画視聴時それぞれにおける２つのｄＮＡＴ値（前頭部、後頭部）のＺスコアの差分を示す図である。 本発明の実施形態２に係る感情推定装置のデータ処理ブロック図である。 実施形態２に係る感情推定装置を用いて行った図１７に示す実験における喜び動画視聴時のデータ処理結果（閾値θe=0.5、θf=0、θp=0.6）を示す図である。 実施形態２に係る感情推定装置を用いて行った図１７に示す実験における悲しみ動画視聴時のデータ処理結果（閾値θe=0.5、θf=0、θp=0.6）を示す図である。 本発明の実施形態３に係る感情推定装置のデータ処理ブロック図である。 実施形態３に係る感情推定装置を用いて行った喜び動画視聴時の２次元指標値表示を示す図である。 実施形態３に係る感情推定装置を用いて行った悲しみ動画視聴時の２次元指標値表示を示す図である。

これより図面を参照して、感情推定装置について説明する。装置構成及び原理について説明した後、各実施形態の説明を行う。

［装置概要］
感情推定装置１００は、図１に示すように、脳活動測定装置１４０と、眼球撮影装置（瞳孔径測定器）１５０と、表情測定用カメラ１６０と、これらと通信可能に接続されるコンピュータ１１０と、コンピュータ１１０に接続される入力装置（例えばマウス、キーボード）１２０及び出力装置（例えばディスプレイ）１３０とを含む。コンピュータ１１０は、処理部１１１、記憶部１１２、通信部１１３を備え、これらの各構成部はバス１１４によって接続され、またバス１１４を通して入力装置１２０及び出力装置１３０に接続される。脳活動測定装置１４０、眼球撮影装置１５０及び表情測定用カメラ１６０から得られる信号又はデータは、例えばＩ／Ｏポートを介してバス１１４に接続されたコンピュータ１１０の感情推定手段（脳電位情報処理手段、瞳孔径情報処理手段、及び顔画像情報処理手段）によって処理される。処理されたデータは、出力装置１３０に出力することができる。処理部１１１は、各部を制御するプロセッサを備えており、記憶部１１２をワーク領域として各種処理を行う。上記処理手段、演算等は記憶部１１２内に格納されたプログラムによって実行することができる。なお、瞳孔径測定器は眼球撮影装置１５０及び瞳孔径情報処理手段により実現され、表情測定器は表情測定用カメラ１６０及び顔画像情報処理手段により実現される。入力装置１２０によりユーザは設定値等を変更することができる。

［脳活動測定装置］
脳活動測定装置としては、特許４１４５３４４号や特許５１１８２３０号に記載の装置や学会誌（渡邉ゆり、小林洋平、武者利光、小杉幸夫、朝田隆、「脳波の時空間ゆらぎによる脳機能評価の一試み」第6回臨床脳電位研究会、2014）に記載の装置（例えば脳機能研究所製デジタル脳波計ＥＳＡＭ６４８）を使用することができる。使用する脳活動測定装置の例示をその原理とともに以下に説明する。

［脳活動測定装置Ａ］
１つの例示としての脳活動測定装置２００Ａは、図２ａに示すように、複数の電極（例えば２１個前後の電極）２０１ａ〜２０１ｎと、電極２０１で測定された脳電位を増幅する増幅器２０２と、マルチプレクサ２０３と、アナログ／デジタル変換器（Ａ／Ｄ変換器）２０４と、入力（出力）インタフェースを含むコンピュータ１１０と、を有する。

複数の電極は、例えば２１個前後の電極からなり、頭部に装着されて脳機能活動に基づく脳電位を測定するが、予めこれらの２１個前後の電極を配置したキャップ又はヘルメットを頭部に装着して脳電位を測定するよう構成しても良い。勿論、キャップ又はヘルメット以外の手法であっても、脳機能活動に基づく脳電位を測定できるものであれば良い。なおこの場合の電極は、国際１０−２０法（International 10-20 standard）又はこれに準じて決められた位置に配置するとともに、基準電位として、例えば右耳朶にも電極を装着する（図示せず）。電極２０１で測定された脳電位は増幅器２０２及びマルチプレクサ２０３を介してアナログ／デジタル変換器（Ａ／Ｄ変換器）２０４に供給され、デジタル化された測定脳電位データは入力インタフェースを介してコンピュータ１１０に供給されるが、入力インタフェースでは測定脳電位データをそのまま通過させてもよいし、或いは予め指定した脳活動に起因する特定の周波数帯域（例えばアルファ波の周波数より広い所定の周波数帯域）を持つ成分のみをデジタル・フィルタリング処理を行ってから出力しても良い。

本装置を用いた脳波計測及び処理方法が前述した特許公報に掲載されているが、本発明の１つの実施形態においては、β波帯域を測定する際に用いる。

β波帯域の測定をする際は前述した脳活動測定装置２００Ａを用いるが、これは主に喜びに伴う脳電位特徴量の抽出に用いる。本発明の１つの実施形態においては、任意の電極（本発明において好ましくはＴ３、Ｔ４、Ｆ７の３つの電極）より取得した脳電位データを所定の周波数で規格化し（例えば規格化する窓幅を４．７Ｈｚ〜１８．７Ｈｚとし、そのパワーを基準として１７．２Ｈｚ〜３１．３Ｈｚの帯域のパワーを規格化）、規格化された脳電位データを用いて、Ｚスコアを算出する。好ましくは、Ｔ３、Ｔ４、Ｆ７のＺスコア平均を脳波スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。

ここでＴ３（他の電極についても同様）のＺスコアの算出方法について記載する。まずＴ３を測定する前に被験者の安静開眼時のＴ３の規格化された脳電位データを（好ましくは１０個以上）取得し、取得したデータから平均値（Ｘａｖｅ）や標準偏差(Ｘｓｄ)を算出する。この平均値や標準偏差を用いて、測定対象のＴ３の規格化された脳電位データ（Ｘ（ｔ））のＺスコアを算出する（Ｚ（ｔ）＝（Ｘ（ｔ）−Ｘａｖｅ）／Ｘｓｄ）。ここで算出したＺスコアを脳波スコアとする。なおＺスコア算出に必要な平均値等を算出するのに必要なデータの個数は、安静開眼時に取得できるデータ数によって変わることがあることを理解されたい。

Ｚスコア算出方法
Ｚスコア算出の１つの例示を以下に記載する。具体的にはチャンネルごとに帯域内の総パワーをT_i (iはチャンネル番号)とすると、

（式１）
として計算され（kとlはパワースペクトルの周波数binでk<lとする任意の値）、この総パワーによるパワーレシオ

（式２）
がまず計算される。次に各周波数binごとに以下のようにチャンネル間の平均を引き、以下のS_i,jをＮＡＴ状態量として定義した。

（式３）
q_i∈0,1は該当するチャンネルを使用する場合は１に使用しない場合は０となり、通常の２１ch計測ではすべて１となっている。S_i,jは本装置ではリアルタイムに計測されるため、時間をｔとするとS_i,j (t)表現され、安静時における時間平均と標準偏差を

（式４）

（式５）
として計算しコントロールとする。特定タスク内でのS_i,j (t)をＺスコアとして統計的に表現する。

（式６）

［脳活動測定装置Ｂ］
他の例示としての脳活動測定装置２００Ｂは、図２ｂに示すように、３つの電極２１１を有する頭部装着部２１０と、当該３つの電極２１１と信号ケーブルで接続された３ｃｈ増幅器・帯域フィルタ２２０と、当該３ｃｈ増幅器・帯域フィルタ２２０と信号ケーブルで接続されたコンピュータ１１０と、を有する。さらに脳活動測定装置２００Ｂは、基準電位測定用の基準電極２１２をさらに有する。基準電極２１２は不感電極として使用され、好ましくは耳朶接続用クリップ電極である。基準電極２１２は、３ｃｈ増幅器・帯域フィルタ２２０に接続される。頭部装着部２１０は、固定具２１３によって３つの電極２１１が固定される。固定具２１３は、例えばヘルメットから切り出したブーメラン状プラスティック製の固定具である。また頭部装着部２１０は、図３に示すような国際１０−２０法の電極配置にＦｐｚ（Ｆｐ１、Ｆｐ２の中間点として定義）、Ｏｚ（Ｏ１、Ｏ２の中間点として定義）の２電極を追加した電極のうちの３つの電極位置に各電極が配置されるように、被験者へ装着する。例えば図３に示すように、後頭部のＰ３、Ｐ４、Ｏｚの位置に３つの電極が配置されるように被験者へ装着することができる。あるいは頭部装着部２１０は、国際１０-２０法に基づくヘルメット型電極を用いて、選択的に３つの電極を使用することもできる。電極２１１は、好ましくは生理食塩水を含んだ多孔質ファイバー電極であり、電極上部は導線接続用金属円筒で構成される。

他の例示として、頭部装着部は帽子装着型であってもよい。図２ｃにその帽子装着型電極の外観概要図を、図２ｄに基準電極としての導電性ゴム電極の概要図を示す。頭部装着部２１０は、メッシュ状帽子に測定用の電極２１１が３つ取り付けられたものである。電極２１１はプリアンプ２１４と接続されたシールドケーブル２１５と接続され、好ましくは食塩水を含んだ多孔質導電性ゴムが使用される。なおプリアンプ２１４は、３ｃｈ増幅器・帯域フィルタ２２０の増幅器の機能を有するものであり、帯域フィルタを経由してコンピュータに接続される。基準電極２１２は、プリアンプと電気的に接続された導電性ゴム電極２１６であり、これによって耳朶接続用クリップ電極は不要となる。ここで、導電性ゴム状の電位均一化と、プリアンプ２１４からのケーブル接続の際の接触抵抗の低減を図るため、円周状の導電性ゴム電極と帽子の間には金属フィルム２１７が設置される。

他の例示として、測定用の３つの電極及び基準電極は無線通信機能を有し、同様に無線通信機能を有するコンピュータ１１０へ、測定用の電極２１１（３つ）と基準電極２１２から得られる脳電位信号の差分を３つの脳電位信号として、無線で送信するように構成することもできる。基準電極２１２は、測定用の３つの電極２１１の中央に配置されるのが好適である。また、測定用の３つの電極２１１及び基準電極２１２の電位信号の合計４つをコンピュータへ送信し、コンピュータにおいて測定用の電極２１１と基準電極２１２の差分を計算し、３つの脳電位信号の入力としてもよい。

上記の例示は３つの電極１セット使用する構成であるが、本発明の１つの実施形態においてはδ波帯域を測定するのに当該３つの電極を２セット（前頭部、後頭部）用いる。

δ波帯域の測定をする際は前述した脳活動測定装置Ｂを用いるが、これは主に恐怖、悲しみに伴う脳電位特徴量の抽出に用いる。本発明の１つの実施形態においては、前頭部（Ｆ３、Ｆ４、Ｃｚ）、後頭部（Ｐ３、Ｐ４、Ｏｚ）から、δ波帯域（２〜４Ｈｚ）を抽出した脳電位信号を取得して算出したｄＮＡＴ値を用いてｄＮＡＴ値のＺスコアを算出する。この算出されたＺスコアを脳波スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。ここで測定対象のｄＮＡＴ値のＺスコアの算出方法について記載する。まず測定対象のｄＮＡＴ値を測定する前に被験者の安静開眼時のｄＮＡＴ値を（好ましくは１０個以上）取得し、取得したデータから平均値や標準偏差を算出する。この平均値や標準偏差を用いて、測定対象のｄＮＡＴ値のＺスコアを算出する。なおｄＮＡＴ値は１０秒ごとに１個算出される値である。続いて脳活動測定装置Ｂの測定原理、ｄＮＡＴ値算出方法について説明する。

測定原理
脳活動測定装置２００Ｂは、３つの電極を用いた脳活動測定によって、アルツハイマー型認知症を高い確率で識別することができる（実際にＮＬ（健常者）とＡＤ（アルツハイマー患者）において実験を行い、高い確率での識別を実現している）。この原理は次の通りである。

本測定装置においては、脳深部に等価ダイポール電源を仮定している。ここで、このダイポール電位活動を解析するための電位分布測定を、頭皮上に配置した３つの異なる場所に配置された電極に限定して行う場合を考える。脳深部に電源がある場合には、これら３つの電極で観測される電位波形には、強い位相関係が存在するという事実に基づいて、この位相関係を評価する。このようにして、脳深部に仮定した等価ダイポール電源の時間的な挙動を近似的に推定する。これは、地震波に例えれば、表層に震源を持つ地震波が観測地点ごとに大きく異なるのに比し、深部に震源を持つ地震波では、近い距離をおいて配置された地震計ではほぼ同じ振幅・位相のＰ波が観測されることと同等な現象である。

脳活動測定装置Ｂでは、脳深部の活動に基づいて表面に現れる電位波形は近い距離離れた表面においてはほぼ同位相であることから、３つの電位の符号が同一であるデータのみを加算する方式を定義する。すなわち同一符号のデータのみを演算の対象とすることで、相関を有するデータを抽出することができる。ただし、すべてのデータを演算の対象とすることもできる。

具体的な情報処理としては、まず３つの電位信号が入力されると、３つの電位が同符号の信号を選択する。電位の符号を判定する際の基準電位は、例えば皮質活動を直接反映しない耳朶が用いられうるが、増幅器の帯域フィルタで直流分は遮断されるので、実質的には、各々の電極ごとの時間平均から見た正負の符号を判定することになる。なお基準電位の取り方はこれらに限定されず、導電性ゴム電極も使用することができる。さらには、無線通信機能を有する測定用の３つの電極から得られる脳電位信号と、当該３つの電極の中央に配置される基準電極から得られる脳電位信号の差分を、３つの脳電位信号として無線で送信する構成とすることもできる。この場合は、コンピュータが帯域フィルタの機能を有する。

続いて３重相関値を算出する。３重相関値は、３つの電極からの低周波帯域の電位信号をそれぞれＥＶＡ（ｔ）、ＥＶＢ（ｔ）、ＥＶＣ（ｔ）としたとき、１つの電極の電位信号に対し、τ１、τ２の時間ずれのある信号との積を使用する。以下に示す式７は３重相関値Ｓｔの１つの例示である。Ｔは３重相関値の演算対象時間であり、Δｔは各電位信号のデータサンプリング周期であり、Ｎは規格化するための定数であって、例えば３つの信号の積の計算回数である。

（式７）
算出された３重相関値を用いて所定の演算を行うことにより指標を算出し、当該指標により、認知症患者などの識別判定を行うことができる。

上述の演算で得られる遅延パラメータ空間上の３重相関プロットが、脳深部の等価ダイポール電源の挙動とどのような関係にあるかを、均一媒質からなる球状モデルを用いて説明する。以下では、説明の都合上、球モデル各部の呼称を地球になぞらえ、北極（ＮＰ）南極（ＳＰ）、赤道等と記載する。

脳深部の活動は、等価的に、深部に微小電流源があるように、脳の表面上で観測されることから、球の中心部に、南極から北極に向かう方向に微小電流源を仮定する。この電流源が球表面上につくる電位分布は、図４ａに示すように、北半球では＋、南半球では−、赤道上ではゼロ電位となる。また、この電流源は、赤道上１８０度経度の異なる点Ｐ１、Ｐ２と、ＮＰ、ＳＰを含む面内で、周期Ｔ秒で時計方向に回転する。回転角度９０度ごとに各時点での球表面電位分布は、図４ｂ、図４ｃ、図４ｄのように逐次変化する。この電位変化を球の表面上に、面Ｐ１、ＮＰ、Ｐ２、ＳＰに平行な三角形の頂点に、３つの電極Ａ、Ｂ、Ｃを配置する。各電極から測定された電位波形は、式７により相関値が計算され、計算結果が図５の遅延パラメータ空間上にプロットされる。

Ａ、Ｂ、Ｃの各電極の電位の時間発展は図４ｅのグラフのようになり、各電極は位相差１／３Ｔの関係で周期Ｔの正弦波で変化をする。電極Ａを基準にみるとこれらの電極の符号が最も一致するτ₁、τ₂の値はそれぞれ１／３＋ｋと２／３＋ｋ(ｋは整数)であり、結果として図５における縦横方向に黒丸のプロットで示されるような、周期Ｔでピークを持つ特性が得られる。またこれらのピークからいずれかの電極が半周期ずれるような位置は、１つの電極が必ず他の２つの電極と逆位相になるため電極の符号が一致することはない。そのため白丸のプロットで示されるような位置は値がプロットされない。

上述のように、脳深部の等価ダイポール電源の回転を２次元の遅延パラメータ空間上のプロットとして観測することができる。

以上では、単一の等価ダイポール電源が球状の脳深部で滑らかに回転した場合について記載しているが、ダイポールが複数ある場合や、回転が滑らかでない場合には、図５上のプロットは、同符号条件を満たす個々のケースが複雑に分布し、遅延パラメータ空間上に細かい凹凸となって現れる。

ｄＮＡＴ値算出方法
以下に認知症による脳機能の低下についての定量的な評価をするための３重相関値の算出方法について説明するとともに、ｄＮＡＴ値算出方法について説明する。

ここではまず認知症による脳機能の低下を定量的な評価を目的とし、特に３電極から得られる脳電位の空間的ゆらぎを評価する。図６に示すように、３つの電極ＥＡ６０１、ＥＢ６０２、ＥＣ６０３が三角形の各頂点部分に配置され、別途設置される基準電極と、各電極との差として、電位信号ＶＡ（ｔ）、ＶＢ（ｔ）、ＶＣ（ｔ）が計測される。各電位信号は、脳電位信号の３重相関評価装置によって処理される。図７は３重相関評価装置７００の処理ブロックを示す図であり、３ｃｈ増幅器・帯域フィルタとコンピュータによって実現される。図７に示すように、脳電位増幅器７０１によって増幅された信号はＢＰＦ７０２によって、特定の周波数帯の脳電位波形が抽出される。

次に、これら３つの信号による３重相関値Ｓの算出方法について示す。抽出された信号は３重相関値算出部によって、図８のフローチャートに示すように処理される。図８は、ｉ秒からｉ＋１秒における３重相関値Ｓｉ（ｉ＝１、２、…、T）を算出する処理のフローチャートを示す。なお、ここで実施される処理は、趣旨を逸脱しない範囲において変更することができる。

前述の通り３つの信号が入力されるとサンプリング周期でデータが抽出され（Ｓ８０１）、それぞれの電極の電位ごとに標準偏差（σ_A、σ_B、σ_C）で割って規格化（EVA(t) ＝VA(t)/σ_A、EVB(t) ＝VB(t)/σ_B、EVC(t) ＝VC(t)/σ_C）される（Ｓ７０２）。この規格化処理は１秒ごとに行うのが好ましいが、これに限定されない。

なおバンドパスフィルタによる周波数抽出処理は、規格化処理の前後いずれかに行われる。また規格化処理の前には、ノイズ処理を行うのが好ましい。ノイズ処理は、例えば、１）±１００μＶ以上のセグメントを除く、２）フラットな電位（２５ｍｓｅｃ以上一定の電位だった場合）を除く、３）±１μＶ以内の電位が１秒以上続く場合は除く、という処理から構成される。

ここで、上記３つの信号は、電極Ｅ_Aに対し、電極Ｅ_Bはτ１、電極Ｅ_Cはτ２の時間のずれがあるものとする。続いて、３つの信号の符号がすべて正(EVA(t)>0、EVB(t-τ1)>0、EVC(t-τ2)>0)、又はすべて負（EVA(t)<0、EVB(t-τ1)<0、EVC(t-τ2)<0）の信号のみを計算対象とする処理をする（Ｓ８０３）。以下の式８に示すように、３重相関値は時間ずれのある、３つの電位信号の積を加算することで求められる（Ｓ８０４）。この処理は、ｔがｔ＝ｉ＋１秒となるまでΔｔ秒ずつずらして行われる（Ｓ８０６，Ｓ８０７）。なお図８ではｔ＝ｉ秒からｉ＋１秒における３重相関値Ｓｉを算出していることからも分かる通り、全データ（Ｔ秒）について一度に計算するのではなく、所定時間ごとに、例えば１秒ごとに、３重相関値Ｓｉを求めＴ個の３重相関値の平均値を最終的には３重相関値とし、時間ずれτ１、τ２も１秒の中でΔｔ秒ずつずらして３重相関値を算出する。例えば、電位データサンプリング周波数をｆｓ（Ｈｚ）とすると、ｆｓ＝２００Ｈｚの場合はΔｔ＝１／ｆｓ＝０．００５秒ずつずらして、３つの電位信号の積を算出する。また、１秒ごとに３つの信号が正または負になった時の回数Ｎを求め（Ｓ８０５）、最後に割る（Ｓ８０８）。式８に１秒ごとの、３重相関値Ｓｉの計算式を示す。

（式８)
（ｉ＝１、２、…、T、τ１＝Δｔ、２Δｔ、…、１（秒）、τ２＝Δｔ、２Δｔ、…、１（秒））

このようにして、１秒ごとにＳｉを全データＴ秒まで計算する（Ｓ₁、Ｓ₂、・・・、Ｓ_T）。Ｔ（秒）は好ましくは１０（秒）である。ただしＳｉは１秒ごとに算出されることに限定されない。τ１及びτ２の取りうる値はサンプリング周期の整数倍に等しい１秒以下の時間であるが、これらの値の大きさの最大値は１秒に限定されない。またサンプリング周期は０．００５秒に限定されない。なお３重相関値は、３つの信号の符号判定を行わずに、式８によって算出することもできる。

この結果は、図９に示すように３重相関表示部によって２つの遅延パラメータ（τ１、τ２）が形成する特徴空間上にプロットすることで、２つの遅延パラメータ（τ１、τ２）が形成する特徴空間上にプロットされた３重相関値分布の疑似３次元表示をすることができる。図１０は、健常者脳電位波形の３重相関値分布の疑似３次元表示を示すものであるが、相関を有しないデータの影響を排除するため、予め定められたｔの値、例えばｔ＝ｉ＋１、においてＥＶＡ（ｔ）、ＥＶＢ（ｔ−τ１）及びＥＶＣ（ｔ−τ２）のすべてが同符号であったＳｉ（τ１，τ２）のみをプロットしたものである。プロットするＳｉをこのように限定することにより、ノイズを除去し、より良い精度で３重相関値分布の疑似３次元表示を示すことができる。

図１０に示すように、健常者後頭部から観測される脳電位波形については、特徴空間内の３重相関分布は滑らかで、この分布は観測時刻の推移とともに移動する。これに対して、アルツハイマー病患者から観測される脳電位波形を図１１に示す。３重相関値の分布は、細かいピークが複雑に分布する場合が多いが、この場合も観測時刻の推移とともに分布自体が移動する。両図を比較して、健常者とアルツハイマー病患者の３重相関値分布の大きな違いは、分布の滑らかさにあることがわかる。

上記のように算出された３重相関値を用いて、認知症による脳機能の低下について定量的な評価をするための指標を算出する。図１０及び図１１で示したように、２つの遅延時間パラメータ空間内で、健常者のデータでは、樹木状の分布が規則的に並ぶのに対し、アルツハイマー病患者のデータでは、樹木状の分布の不規則性が大である。この差を定量的に表現するために、図１２ａに示すように、樹木の列がτ１、τ２軸に平行となるように、座標軸を回転する。図１２ａは健常者の例であるが、図１０に示すような３次元表示の図を上から見た図で、３つの波形が同符号をとる領域を白で表示し、３信号のどれか１つ符号が異なる領域を黒で表す。このような表示をすると、健常者の場合には規則的な格子縞となるのに対して、アルツハイマー病患者のデータでは、図１２ｂに示すように、格子縞が乱れることが分かった。そこで、この乱れを定量化するために、以下の指標を定義する。

図１２ａ、図１２ｂに示すように白い四角形の領域は、隣接する白い四角形の領域と、縦横方向にそれぞれ間隔を有する。その間隔を図１２ｃに示すように、ｄｘｉ（ｉ＝１，２、…、ｍ）、ｄｙｊ（ｊ＝１，２、…、ｎ）とする。このｄｘｉとｄｙｊがτ１方向とτ２方向において、それぞれ白い四角形の縦横が均等に並んでいるか、あるいは白い四角形が乱れて並んでいるかを判断することで健常者（ＮＬ）とアルツハイマー病患者（ＡＤ）を分離することができる。ＡＤにおいては、τ１、τ２のどちらかのばらつきが偏って大きい傾向がある。なお、ＮＬであってもＡＤであっても、縦横の四角形は規則的に並んでいる為、τ１、τ２ともに任意の時間における、隣接する白い四角形間の距離で評価を行うことができる。具体的には式９、式１０に示すように、ｍ個のｄｘｉの標準偏差Ｓｔｄ＿ｄｘとｎ個のｄｙｊの標準偏差Ｓｔｄ＿ｄｙを算出し、２つの標準偏差の平均値を指標値ＳＤとする。

（式９）

（式１０）

（式１１）

上記の指標ＳＤは、ｄＮＡＴ値の１つの例示である。なお指標ＳＤを用いて、健常者（ＮＬ）５２例とアルツハイマー病患者（ＡＤ）２０例を分離した場合の判別結果から得られた感度特異度曲線によれば、本指標は、ＮＬとＡＤの交点において、６８％の識別率を示すことが判明している。

また３重相関値の値は、アルツハイマー患者は健常者に比べ、τ１、τ２に対し、変動が激しい。また、式８で算出された１秒ごとの３重相関値の変動も、アルツハイマー病患者の方が健常者よりも変動が激しい。そこで、式８の標準偏差をｓｔｄ＿Ｓｉとし、ｉ＝１、２、…、１０までの１０個の標準偏差を算出した。さらに、この１０個の標準偏差の標準偏差ｓｔｄ＿Ｓと１０個の標準偏差の平均値ａｖｅ＿Ｓを算出し、標準偏差と平均値の比を指標Ｓｓとした。

（式１２）

（式１３）

（式１４）

（式１５）

上記の指標ＳＤとＳｓを用いて、算出された指標ｄ（ｄ＝０．３７５×Ｓｓ＋ＳＤ１）は、ｄＮＡＴ値の１つの例示である。本指標をもとに、判別を行った際の感度特異度曲線は、高い確率の識別を示す。なお指標ｄを用いて、ＮＬ５２例とＡＤ２０例を分離した場合の判別結果から得られた感度特異度曲線によれば、本指標は、ＮＬとＡＤの交点において６５％の識別率を示すことが判明している。

［瞳孔径測定器］
瞳孔径測定器としては、特開２０１１−２３９８９１号や特許５４４５９８１号に記載の装置や学会誌（倉島渡、菊池光一、植田和利「瞳孔径反応と顔表情反応の融合による情感評価の新しい方法」、影像情報、Industrial、第４３巻、第６号(通巻８０７号)２０１１年６月号）に記載の装置を使用することができる。使用する瞳孔径測定器の例示を、その原理とともに以下に説明する。

デスクトップ型（ディスプレイ映像視認時の反応）
映像表示ディスプレイに映る影像を見て被験者の反応を計測する装置で、映像ディスプレイ装置の上に顔を撮影する表情測定用カメラ１６０を設置して被験者の顔を撮影する。同時にディスプレイの下にある目の位置を追尾する２つのカメラにより、三角測量の原理で目の位置を測定し、その結果により、赤外線照射により赤外線望遠レンズで被験者の目の視線方向と瞳孔径を計測する。

このタイプの装置としては、例えばナックイメージテクノロジー社製の「ＥＭＲ−ＡＴ ＶＯＸＥＲ」を利用することができ、これは図１３ａのように、ディスプレイ画面を見て被験者の目の反応を計測する装置である。被験者に装置を装着することなく視線と瞳孔径を計測できるシステムで、左右のカメラ１５０ａで顔の目を追尾して、被験者の目のありかを三角測量の原理で方向と距離を測っている。その方向と距離に従って、中央にあるカメラの望遠レンズ１５０ｂが瞳孔を正確に捉えてその直径を計測する。このとき、目が暗いと正確に計れないので、中央のカメラ１５０ｃの下から目に感じない赤外線を発射している。したがって、中央のカメラ１５０ｃは赤外線カメラである。瞳孔径測定器は、コンピュータ１１０及び表情測定用カメラ１６０と接続され、取得されたデータはコンピュータ１１０に格納することができる。

ポータブル型（空間視認情景の反応）
このタイプの装置としては、例えばナックイメージテクノロジー社製の「ＥＭＲ−９」を利用することができ、これは図１３ｂのようにヘッドマウント式で、頭に装着したまま動きまわって、外の景色、室内の機器の配置などを見て、どこを注目して見ているかを計測する装置である。被験者の頭に装着する帽子タイプのヘッドマウント装置に、視認映像撮影カメラ（マイク付）１５０ｄ、視線方向と瞳孔径を撮影するカメラ１５０ｅを装備し、視認映像、視線方向と瞳孔径を計測する。あわせて帽子のひさしの先端から顔を撮影する表情測定用カメラ１６０（図示せず）により顔を撮影する。常に頭に装着固定されているので、カメラと目の関係も固定されており、目の位置を測定・追尾する必要がない点だけが「ＥＭＲ−ＡＴ ＶＯＸＥＲ」と異なる。なお取得されたデータは、無線通信を介してコンピュータ１１０に格納することができる。

瞳孔は、明るいものを見ると瞳孔径が小さくなり、暗いものを見ると瞳孔径が大きくなる。計測装置で計測した瞳孔径は、注目度とこの明暗反応とが混在している。そのため、明暗反応に相当する瞳孔径を削除する必要がある。また、瞳孔径とその拡大、縮小の大きさは個人により大きく異なる。

注目度算出方法
注目度算出の１つの例示を以下に記載する。屋内におけるディスプレイ影像視認時の注目度計測（「ＥＭＲ−ＡＴ ＶＯＸＥＲ」）は、ディスプレイに段階的に変化する基本輝度画面を表示して、被験者の基本輝度における瞳孔径への影響を計測することで行う。

ディスプレイに段階的に変化する基本輝度画面を表示して、被験者の基本輝度における瞳孔径を計測して事前登録しておく。被験者が視認対象を見ているときの、視認対象の輝度と瞳孔径（Ｕ）を計測し、登録済みの同じ輝度での基本輝度画面での瞳孔径（Ｒ）との差（Ｕ−Ｒ）を「注目度に相当する瞳孔径（Ｐ＝Ｕ−Ｒ）」として計算している。さらに、個人差をなくして、同じ尺度で注目度を表示するため、注目度に相当する瞳孔径と、基本輝度画面での被験者の瞳孔径の最大変化値（Ｑ＝最暗時の瞳孔径（Ｍ）−最明時の瞳孔径（ｓ））との比を、被験者の視認対象への注目度（Ｙ）（瞳孔径変化、瞳孔径スコア）としている。すなわち、以下の式１６で表すことができる。

（式１６）

被験者が視認対象を見ているときの、視認対象の輝度の瞳孔径と登録済みの同じ輝度での基本輝度画面での瞳孔径との差が“０”の場合、注目度はないことになる。また、視認対象が基本輝度画面の輝度と同じ輝度画面でありながら、視認対象視認時の瞳孔径が登録済みの基本輝度画面視認時の瞳孔径より小さくなることもある。この場合は基本輝度画面を見ているときよりも退屈して視認対象を見ていることになり、注目度（Ｙ）はマイナスになる。この注目度を用いて算出されたＺスコアを瞳孔径スコアとして算出する。ここで算出されたデータを用いて、後述するデータ処理を実施する。

ちなみに今までの計測経験から、注目度Ｙにより、０．５＞Ｙ≧０であるときは「普通」、１＞Ｙ≧０．５であるときは「やや注目」、Ｙ≧１であるときは「かなり注目」、Ｙ＜０であるときは「退屈」と判定している。また上記のとおり、注目度算出にあたっては視認対象の明るさ（例えば輝度）を計測する必要があるため、瞳孔径測定器は視認対象の輝度を計測する明るさ（輝度）計測装置（図示せず）を備えるか、又は感情測定装置の他の部分に明るさ（輝度）計測装置（図示せず）を備え、瞳孔径測定器は取得された輝度データを使用することができる。

なおオープン空間での視認対象への注目度計測（「ＥＭＲ−９」）についても、ディスプレイ影像視認時の注目度計測と同じように、ある部屋での壁のスクリーンに黒から白に変化させて、被験者の「基本輝度―瞳孔径」データを計測しておき、上記と同様の処理を行うことで注目度（瞳孔径スコア）を算出する。

［表情測定器］
表情測定器としては、特開２０１１−２３９８９１号や特許５４４５９８１号に記載の装置や学会誌（倉島渡、菊池光一「瞳孔径反応と顔表情反応の融合による情感評価の新しい提案」第１４回日本顔学会大会、O2-02、2009）に記載の装置を使用することができる。表情測定器は、表情測定用カメラ１６０と記憶部等に格納されるプログラムにより実現される。なお表情測定用カメラ１６０は、図１３に示すように設置することができる。またプログラムとしては、例えば夏目綜合研究所製の「Ｆａｃｅ Ａｎａｌｙｓｉｓ Ｓｏｆｔｗａｒｅ ＦＯ版」を利用することができる。使用する表情測定器の例示を、その原理とともに以下に説明する。

顔画像特徴量算出方法
顔画像特徴量（表情レベル）の１つの例示を以下に記載する。人間の感情を捉える技術は、すでにスマイルシャッターなどと呼ばれる笑顔を測る技術でおなじみである。ここでは、顔表情解析の基本６感情（「幸福（喜び）度」=（面白度（笑い）を含む）、「悲しみ度」、「怒り度」、「恐怖度」、「嫌悪度」、「驚き度」）を判定する。

まずここで、表情測定方法を以下に説明する。第１ステップとして、表情に関係する視覚的情報（表情情報）抽出を行う。この抽出段階では、顔の中の様々に変化する眉毛、目、口などの「傾斜性」、「湾曲性・開示性」と言う構造の変化を観察している。図１４に、顔面表情線画モデルと特徴量を示す。顔の表情を把握する場合、顔の中で変化可能な眉毛、目、口等の変化（形と量）を抽出することにある。その第１因子は図２の眉、上まぶた、上下唇の中点（Ｐ２、Ｐ４、Ｐ６）を中軸とする相関的な変移構造を示すもので、いわば各部の形状全体の湾曲性ないしは開閉に深く関与するものである。第２の因子は眉や目の傾き具合（傾斜性）に深く関わるような特徴点（Ｐ１、Ｐ３、Ｐ５）を中軸とする相関的変位構造を示すものである。第３の因子は口のへの字型あるいは逆への字型になる口の傾斜性に関与するもの（Ｐ７、Ｐ８、Ｐ９）である。目の開閉を確実に計測するため、目の下中心と、それらの各特徴点の変位量の基点として、どのような表情に置いても変化の僅少な両目元の内側の２ポイントを加え、合計１２ポイントを特徴点として計測することで十分であるが、実際には図１５のように顔の表情の変化をとらえる各部にマークとなるシールを貼って、カメラで撮影して計測する。なお、このように顔にマークとなるシールを貼ることは、被験者にとっては違和感があるが、時間が経つと慣れるため、その違和感はなくなる。また、現在はシールを貼らずに顔表情の変化を計測する技術がある。

第２ステップとして、表情情報の感情的意味評価を行う。図１６は、３つの構造変数、すなわち、第１正準変数（湾曲性、開示性）、第２正準変数（口の傾斜性）、第３正準変数（眉と目の傾斜性）を軸とする３次元空間を作り、平常時の顔での全特徴点の位置を原点（０，０，０）にした座標である。ここで、図１６に示した６感情ポイントの座標の位置は、６感情の「典型的表情」の座標の位置をプロットした例である。座標のマイナス（−）領域は、湾曲性、開示性、傾斜性の動きが平常状態から逆になった場合のエリアである。被験者の被験時の知覚された顔の構造変数が、感情的意味空間のこの座標の位置に特定されると、それにより特定の感情カテゴリーに分類されることになる。

第３ステップとして、感情的意味評価に基づく感情カテゴリー判定を行う。知覚された顔が感情的意味空間の１点に表象されると、それにより特定の感情カテゴリーに分類される。すなわち、感情的意味空間の原点（０，０，０）から、被験者の演技した時の６感情の典型的表情の座標位置への線上またはその近くに、被験時の顔の構造変移点があるものと考えられる。したがって、被験者の被験時の顔の構造変移点が、どの感情の線上または線の近くにあるかにより感情を判定し、原点から典型的表情の座標位置までの距離と比較してどの程度の感情レベルかを判定することができる。第１正準変数（湾曲性、開示性）については、驚きや恐れを他のカテゴリーから類別する視覚的次元になっている。つまり、目や口が丸く大きく開かれ、眉も大きく弓なりに湾曲したような顔の形状は「驚き」の顔。その過程が弱くなると「恐れ」の顔と判断される。逆に目や口が閉じられ、眉を含めたそれらの形状が直線的になるような形状の顔は、驚きや恐れとは異なるカテゴリーの顔と判断される。第２正準変数（口部の傾斜性）については、第１正準変数では明確な類別が可能ではなかったカテゴリー群である「喜び」「悲しみ」「嫌悪」「怒り」の中から喜びを類別する視覚的次元になっている。湾曲性・開示性の程度が低い形状を持つ顔の中でも、口の形状がV字型になればなるほど、そのような形状の顔を喜びと判断し、一方、逆V字型になればなるほど怒り、嫌悪、悲しみの顔と判断する傾向がある。第３正準変数（眉と口の傾斜性）については、第１正準変数、第２正準変数上では類似していた怒り、嫌悪、悲しみを類別する次元である。つまり、湾曲性・開示性の程度が低く、口の傾斜性においても逆Ｖ字形になるような形状の顔でも、眉や目が垂れ下がるような形状を持つ顔を悲しみと判断し、逆にそれらが釣り上がっているような形状の顔を怒りの顔、また中程度のものは嫌悪の顔と判断する傾向がある。

上記を踏まえ、例えば表情スコアは、図１５の各特徴点の平常時の位置からの変位量に基づいた顔画像特徴量ΣＡ_iＰ_iにより算出することができる。ここでｉは、各特徴点の表情パーツのインデックス、Ｐは各特徴点の基点からの変位量、Ａは重み付け係数を表すものである。ここで、重み付け係数Ａは、上記の感情的意味空間や各特徴点の平常時の位置からの最大変位量を考慮して設定される。

なお解析アルゴリズムは日本大学の山田教授の方法（山田寛「顔面表情の知覚的判断過程に関する説明モデル」Japanese Psychological Review、Vol.43、No.2、2000）を採用し、本アルゴリズムを用いて得られる基本６感情のデータ（表情（感情）レベル、顔画像特徴量）を用いて算出されたＺスコアを表情スコアとして算出する。ここで後述するデータ処理を実施する。

［実験概要］
本発明は前述した装置を用いて実現されるが、個別の実施形態の理解を容易にするために、実施した実験について説明する。

実験は前述した装置を用いて、被験者は座位正面、間隔約７０ｃｍで設置されている２０インチ液晶画面上に提示されるビデオコンテンツを正視するとともに、画面脇に設置されたスピーカより音声を聴取する構成で測定を行った。

計測条件は以下の通りである。被験者１０名（平均年齢２３．６才、全員成人女性）を公募により募り、書面によりインフォームドコンセントを取得した後、国際１０−２０法に準拠した２１電極（図３）を頭皮上に設置し、リラックス画像（１２０ｓ）、笑顔動画（１１６ｓ）、悲しみ動画（１９５ｓ）、恐怖動画（１９６ｓ）の４種を順次提示し、ビデオカメラによる表情計測、瞳孔径計測、および脳電位の同時計測を行った。脳電位はＨＰＦ＝１．６Ｈｚ、ＬＰＦ＝５０Ｈｚ、サンプリング周波数２００Ｈｚで記録した。

また、各動画視聴後には、再度動画と同じ音声を聞きながら安静閉眼状態で脳電位を記録し、その直後に筆記による印象についてのアンケート調査を実施した。アンケートは、「イライラした」「楽しかった」「悲しかった」「リラックスした」「怖かった」の5項目につき、「１＝そう思わない」から「７＝そう思う」までの７段階で回答してもらった。各ビデオコンテンツから想定される代表的な感性状態は、アンケート結果より、リラックス画像視聴時は「リラックス」、同様に、笑顔動画視聴時は「喜び」、悲しみ動画視聴時は「悲しみ」、恐怖動画視聴時は「恐怖」「ストレス」、と判断して各種解析を実施した。実験プロトコルの詳細は図１７に示す。

脳電位の解析に先立ち、前頭部の電極には瞬きによる過大ノイズが混入するため、瞳孔径から瞬目のイベントを検出し、過大ノイズの除去を行った後、β帯域、θ帯域及びδ帯域を抽出するＢＰＦ処理を経て、各ビデオコンテンツから想定される感性状態に伴う脳電位特徴量の抽出を行い、瞳孔径解析・表情解析から得られる感性情報との関連を調査した。具体的には、前述したように脳電位データ（Ｔ３、Ｔ４、Ｆ７のＺスコア平均又は前頭部及び後頭部のｄＮＡＴ値のＺスコア）、瞳孔径データ、表情データを取得し、これらのデータを用いて解析を行った。なおノイズ除去方法について簡単に説明する。まず瞳孔径データ算出時において、瞬目はデータエラー等で検出することができる。そこで検出された信号（瞬目検出信号）を用いて、瞬目除去処理部は瞬目検出信号から疑似瞬目波形を生成し、取得した脳電位データから瞬目ノイズを除去する。この処理は、特に前頭部から低い周波数の脳電位計測を行う場合に効果が大きい。

リラックス画像視聴時の状態と、笑顔動画視聴時の状態を瞳孔径により比較すると、図１８のようになり有意に笑顔動画視聴時の方が瞳孔径は大きいことがわかった(t(8)=2.48、p<0.05)（計測が正常に行われた９人の平均値）。このことより、被験者は笑顔動画視聴時において、より興味を持って視聴していることが分かった。なお、ｔ（）はｔ検定を行うときのｔ値を示し、この場合は有意水準５％で差が見られたことを示している。

これに関連した視聴時の喜び指標としての脳波の特徴を抽出するために、脳波のパワーのバランスを統計的に調べるＮＡＴ(Neuronal Activity Topography)（Toshimitsu Musha, Haruyasu Matsuzaki, Yohei Kobayashi, Yoshiwo Okamoto, Mieko Tanaka, and Takashi Asada, EEG Markers for Characterizing Anomalous Activities of Cerebral Neurons in NAT (Neuronal Activity Topography) Method, IEEE Trans Biomed Eng., vol.60, no.8, pp.2332-2338, Aug. 2013.）を拡張して用いた。ここでＮＡＴ状態の計算においては、例えば前述の脳活動測定装置Ａを用いて算出される脳波スコアを用いた。本実験では脳波を規格化する窓幅を４．７Ｈｚ〜１８．７Ｈｚとし、そのパワーを基準として１７．２Ｈｚ〜３１．３Ｈｚの帯域のパワーを規格化した。また個々人の脳波には大きな差があるため、そのベースラインの差を除去するために、以下のような方法でビデオコンテンツの差のみを抽出した。

まず実験開始後最初の安静開眼２分について、セグメント長０．６４秒、時間刻み１／３０秒ごとにＮＡＴ状態を計算し、セグメント内に瞬目がないデータだけを取り出して平均と標準偏差を計算し、その個人の安静開眼のＮＡＴコントロール（Ｚスコアを算出するための平均値、標準偏差）とした。同様に各ビデオコンテンツ視聴時においてセグメント長０．６４秒、時間刻み１／３０秒でＮＡＴ状態を計算し、前述したコントロールを用いてＺスコアマップに変換した。この規格化により、安静開眼状態と比較してその瞬間のＮＡＴ状態が、統計的にどの程度特徴を持っているかがわかりやすいようにした。

図１９はリラックス画像視聴時における各人のＺスコアマップの瞬目部分を除いた時間平均、同様に図２０は喜び動画視聴時における各人のＺスコアマップの時間平均である。これらを比較すると図１９のリラックス画像視聴時には各人のマップにはあまり特徴はみられないものの、図２０の喜び動画視聴時には各人のマップには左右Ｔ３、Ｔ４付近に共通した特徴を読み取ることができる。電極ごとに１０人分の平均を比較すると図２１のようになり、Ｔ３、Ｔ４、Ｆ７などで顕著な差を確認した。リラックス画像視聴時と喜び動画視聴時とで対応有りの比較を行ったところ、Ｔ３において(t(9)=4.65、p<0.001)またＴ４において(t(9)=5.52、p<0.001)有意な差を確認した。またＦ７においてもある程度の差を確認した(t(9)=2.01、p<0.05)。

ＮＡＴ状態のβパターン（β波から得られる脳波スコア）がどの程度リアルタイムに喜びの感情の指標となっているかを評価するために、特徴が顕著であったＴ３、Ｔ４、Ｆ７の平均値の時系列データと、表情評価による喜びの指標の時間発展を比較した。図２２ａ、図２２ｂ、図２２ｃは前述した脳波から評価した喜びの指標の平均値（Ｔ３、Ｔ４、Ｆ７のＺスコア平均値）、表情から評価した喜びの指標の平均値（表情レベル（顔画像特徴量データ）の平均値）、瞳孔径から評価した喜びの指標の平均値（注目度（瞳孔径データ）の平均値）、をそれぞれ時系列にグラフ化したものである。脳波については１０人の平均を、表情と瞳孔径については計測が正常に行われた９人の平均である。これらのデータは視聴コンテンツの推移に連動するものと考えられるため、類似性のあるパターンで時間発展していくことが予想される。脳波スコアに対する、表情スコアと瞳孔径スコアの相互相関関数について調べたところ、図２３のような結果となった。

図２３から、脳波スコアの基準点（時間ずれ０）から見て、瞳孔径スコアが約１．５秒程度早くピークを出していることが分かる。また、表情スコアは、±約５秒間に亘って高い相関を持つことが分かる。そこで、瞳孔径スコアについては、約１．５秒程度の遅延操作をしたうえで、脳波β波から得られる脳波スコアと統合することで、より精度の高い表情推定が可能となり、また、瞳孔径スコアが測定不能な閉眼時も、脳波β波成分のみから、瞳孔径スコアと類似したスコアが得られる可能性がある。

さらに脳活動測定装置Ｂを用いて、恐怖動画視聴時の脳電位特徴を抽出する為に、頭皮上に正三角形状に配置された３電極で同符号成分を抽出し、その３重相関の不規則性を評価する脳電位解析手法（前述のｄＮＡＴ法）により脳深部活動の解析を行った。一般的に、δ波帯において、恐怖時は後頭部よりも前頭部の脳活動が活性化すると言われている。そこでδ波値（２Ｈｚ〜４Ｈｚ）において、前頭部（Ｆ３、Ｆ４、Ｃｚ）と後頭部（Ｐ３、Ｐ４、Ｏｚ）で解析を行い、個人の安静開眼時をコントロールとしたｄＮＡＴ値のＺスコア値を算出した。具体的なＺスコアの算出方法は脳活動測定装置Ｂの項で前述した通りである。恐怖の度合いが高かった２つ目の恐怖コンテンツを視聴した５名の平均値を算出したところ、最も恐怖シーンが出現するコンテンツ後半において、前頭部で後頭部に比べ、増加する特徴がみられた（図２４参照）。そのため、特に恐怖シーンが出現する後半において、前頭部と後頭部のｄＮＡＴ値の差分の平均値（個人ごとの前頭部と後頭部のｄＮＡＴ値差分平均）が、後半部の時間経過に伴い増加していることが分かる。また、注目度（瞳孔径変化）の時間発展結果において平均値を算出したところ、ｄＮＡＴ値と同様に、コンテンツ後半において注目度の値が高くなっており、これは平均注目度が後半に高くなっていることを示している（図２５参照）。

続いて恐怖動画視聴時と同様に、ｄＮＡＴ値を用いて、悲しみ動画視聴時の解析を行った。悲しみ動画を視聴した１０名の平均値を算出したところ、最も悲しいシーンが出現する後半部において、恐怖動画視聴時同様に、前頭部で後頭部に比べ、増加する特徴が見られた（図２６ａ参照）。また、注目度（瞳孔径変化）の時間発展結果においてもｄＮＡＴ値と同様に、後半部で注目度が大きい値を示しており、平均注目度がコンテンツ後半部で高いことを示した（図２６ｂ参照）。さらに、この時の悲しみ感情度（表情レベル（悲しみ））の指標の時間発展を調べたところ、コンテンツ後半で悲しみ感情が大きく表出していることが分かった（図２６ｃ参照）。

以上より、３つのスコアを適切な遅延量を与えたうえで同時に評価することで、より安定した感情推定が可能であることが考えられる。

［実施形態１］
本発明の１つの実施形態に係る感情推定装置のデータ処理ブロック図を図２７に示す。図に示すように、まず各々の測定からデータを取得し（Ｓ２７０１、Ｓ２７１１、Ｓ２７２１）、脳波スコア（Ｔ３、Ｔ４、Ｆ７のＺスコア平均、又は前頭部と後頭部のｄＮＡＴ値のＺスコアなど）、瞳孔径データ（注目度）、及び顔画像特徴量データ（基本６感情の感情度、感情レベル）を算出する（Ｓ２７０２、Ｓ２７１２、Ｓ２７２２）。

脳波スコアについては、算出されたデータに対して閾値θｅにより閾値処理を行う（Ｓ２７０３）。閾値処理は、例えばそれぞれの閾値θｅ以上の値のみデータとして使用する処理である。閾値処理された脳電位データの脳波スコアは、加重設定Ｗｅにより重みづけされる（Ｓ２７２４）。

瞳孔径データは、まず確率パラメータ抽出（瞳孔径スコア算出）を行う（Ｓ２７１３）。確率パラメータ抽出は、脳電位データにおける脳波スコアの算出と同様であり、次のとおりである。まず被験者の安静開眼時の瞳孔径データを（好ましくは１０個以上）取得し、取得したデータから平均値（Ｘａｖｅ）及び標準偏差(Ｘｓｄ)を算出する。この平均値及び標準偏差を用いて、測定対象の瞳孔径データ（Ｘ（ｔ））の瞳孔径スコア（Ｚスコア）を算出し（Ｚ（ｔ）＝（Ｘ（ｔ）−Ｘａｖｅ）／Ｘｓｄ）、この値を抽出することが確率パラメータ抽出である。その後、算出されたデータに対して閾値θｐにより閾値処理を行う（Ｓ２７１５）。閾値処理の前又は後で遅延時間設定により、データに遅延がつけられる（Ｓ２７１４）。これは図２３に示す通り、瞳孔径データは脳電位データに対して早く反応する傾向があり、この時間的なずれを補正するためである。続いて加重設定Ｗｐにより重みづけされる（Ｓ２７１６）。

顔画像特徴量データも、まず確率パラメータ抽出（表情スコア算出）を行う（Ｓ２７２３）。確率パラメータ抽出は、瞳孔径データと同様の処理が行われる。その後、算出されたデータに対して閾値θｆにより閾値処理を行う（Ｓ２７２４）。続いて加重設定Ｗｆにより重みづけされる（Ｓ２７２５）。

これらの加重和により得られた数値により感情推定を行う（Ｓ２７４１）。ただし、これらの加重和による演算は例示であって、各データを所定の四則演算により算出することもできる。また加重和による演算を行う場合、閉眼時に脳波計測以外の加重をゼロとすることができる。なお確実パラメータ抽出は、例えば（後藤正幸、小林学、「入門パターン認識と機械学習」、第一章、コロナ社）にあるような古典的な最尤決定法や関数識別法による線形判別、また（L. Breimen, J. H. Friedman, R. A. Olshen, C. J. Stone: Classification and Regression Trees, Wadsworth & Books (1984) ）にあるようなCARTアルゴリズムやバギング法による学習による決定木を構築することによって行うこともできる。

本実施形態の例示の１つとして笑顔動画視聴時と悲しみ動画視聴時における、瞳孔径スコア、脳波スコア（脳活動測定装置Ａを用いる）、表情スコアの１０人のアンサンブル平均の比較例は以下のようになる。図２８ａが脳波から抽出したパラメータ（脳波スコア）、図２８ｂが表情から抽出したパラメータ（表情スコア）、図２８ｃが瞳孔径から抽出したパラメータ（瞳孔径スコア）の時間的な推移であり、破線が喜び動画視聴時、実線が悲しみ動画視聴時である。喜びと悲しみの両動画については同程度の注目がなされているが、感情については差があることが読み取れる。

このデータを元に、脳波のパラメータについてはθe=0.5を閾値に、表情のパラメータについてはθf=0を閾値に、瞳孔径のパラメータはθp=0.6を閾値とし、Wf=0.3、We=1、Wp=1として加重和を計算した計算した例を図２９、図３０に示す。図２９は喜び動画視聴時の推移、図３０は悲しみ動画視聴時の推移である。

本実施形態の他の例示の１つとしては、脳活動測定装置Ｂを用いて、前頭深部のδ波と、後頭深部のδ波の空間的、時間的ゆらぎを評価する２つのｄＮＡＴの信号の差もしくは比率をとることで、脳内の抑制部位の変化を顕在化させ、感情の変化を抽出する。なお本発明においては周波数範囲をδ波帯域２〜４Ｈｚとしている。

δ波値（２Ｈｚ〜４Ｈｚ）において、前頭部（Ｆ３、Ｆ４、Ｃｚ）、後頭部（Ｐ３、Ｐ４、Ｏｚ）で解析を行い、個人の安静開眼時をコントロールとしたｄＮＡＴ値のＺスコア値を算出した。図３１に示すように、アンケート結果より恐怖の度合いが高かった２つ目の恐怖コンテンツを視聴した５名の平均値を算出したところ、最も恐怖シーンが出現するコンテンツ後半において、前頭部で後頭部に比べ、増加する特徴がみられた。

さらに、上記と同様の解析を悲しみ動画コンテンツと喜び動画コンテンツを視聴した際に行ったところ、悲しみ動画は後頭部に比べ前頭部のｄＮＡＴ値が大きくなるのに対し、喜び動画は前頭部に比べ後頭部のｄＮＡＴ値が大きくなる傾向が見られる。図３２に、喜び動画コンテンツ視聴時と悲しみコンテンツ視聴時、ストーリー展開上感情への影響が大きいコンテンツ後半について、前頭部と後頭部の安静開眼時をコントロールとしたｄＮＡＴ値のＺスコア値の差分（１０名の平均値）を取った結果を示す。悲しみのコンテンツでは、Ｚスコアが正側に分布し、前頭部の報酬系抑制の効果が良く表れている。対して、喜びのコンテンツでは抑制が負、すなわち報酬系の活動が正常に保たれていることを示している。

［実施形態２］
本発明の他の１つの実施形態に係る感情推定装置のデータ処理ブロック図を図３３に示す。図に示すように、まず各々の測定からデータを取得し（Ｓ２７０１、Ｓ２７１１、Ｓ２７２１）、脳波スコア（Ｔ３、Ｔ４、Ｆ７のＺスコア平均、又は前頭部と後頭部のｄＮＡＴ値のＺスコアなど）、瞳孔径データ（瞳孔径スコア、注目度）、顔画像特徴量データ（基本６感情の感情度、感情レベル）を算出する（Ｓ２７０２、Ｓ２７１２、Ｓ２７２２）。瞳孔径データ及び顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う（Ｓ２７１３、Ｓ２７２３）。これらの各データにそれぞれの閾値θｅ、θｐ、θｆにより閾値処理を行う（Ｓ２７０７、Ｓ２７１７、Ｓ２７２７）。ここでの閾値処理は、例えばそれぞれの閾値θｅ、θｐ、θｆ以上のデータと未満のデータで二値化する。二値化されたデータの論理積により得られた数値から感情推定を行う（Ｓ２７４２）。論理積は一例を示しただけであり、一般には、多数決論理等の論理関数で置き換えることもできる。なお瞳孔径データは、実施形態１と同様にして閾値処理の前又は後で遅延時間設定により、データに遅延がつけられる（Ｓ２７１４）。

本実施形態の例示の１つとして図３３に示した各閾値パラメータをθe=0.5、θf=0、θp=0.6を閾値とし、閾値処理で二値化し、その論理積を用いた場合は図３４、図３５のようになる。図３４は喜び動画視聴時、図３５は悲しみ動画視聴時である。

論理演算を、積の演算とする場合には、３つの条件を満たした、より信頼性の高い処理結果を得ることができる。しかしながら、測定に閉眼時を含む場合には、瞳孔径計測から閉眼が確認された場合には、論理積の中で、瞳孔径から得られる論理出力は強制的に論理値を１とすることができる。また、顔画像から得られる表情スコアについても同様である。このような演算処理を行うことで、測定時間中に被験者が目を閉じた場合についても、脳波からの情報で、出力値を得ることができ、シームレスな測定が可能となる。

［実施形態３］
本発明の１つの実施形態に係る感情推定装置のデータ処理ブロック図を図３６に示す。図に示すように、まず各々の測定からデータを取得し（Ｓ２７０１、Ｓ２７２１）、脳波スコア（Ｔ３、Ｔ４、Ｆ７のＺスコア平均、又は前頭部と後頭部のｄＮＡＴ値のＺスコアなど）、及び顔画像特徴量データ（基本６感情の感情度、感情レベル）を算出する（Ｓ２７０２、Ｓ２７２２）。顔画像特徴量データについては、算出されたデータについて確率パラメータ抽出を行う（Ｓ２７２３）。続いて横軸を表情スコア（例えばポジティブ感情度）、縦軸を脳波スコア（例えばβ波の喜び指標（Ｔ３、Ｔ４、Ｆ７のＺスコア平均））とした座標に、時々刻々と変化する各被験者の２次元指標値（座標）を軌跡としてプロットする（Ｓ２７４３）。例えば図３７ａは喜びコンテンツ視聴時の２次元指標値表示であり、図３７ｂは悲しみコンテンツ視聴時の２次元指標値表示である。２次元指標値は、悲しみ動画視聴時では点線の境界内に位置するのに対し、喜び動画視聴時ではほとんどが境界の外に位置する。各スコアをガウス分布と仮定しＺスコアとすると、座標（ｘ，ｙ）の位置の確率密度はｅｘｐ（ｘ²／２）＊ｅｘｐ（ｙ²／２）に比例するため、表情スコアをｘ、脳波スコアをｙとし、原点からの各二次元上の点までの距離ｒ＝（ｘ²＋ｙ²）^1/2を評価することで、被験者の感情が喜んでいるか悲しんでいるかを高精度で評価することができる。

上記の実施形態のように、人が注目すると瞳孔径が拡大することを利用した瞳孔径変化による注目度判定、そして顔の表情計測による表出感情の判定を合わせることにより、脳波だけによる感情推定より幅広く、きめ細かい、正確な感情推定が可能になる。すなわち、本発明により、テレビや映画、広告等のコンテンツ評価、商品評価、店舗陳列評価等のマーケッティング評価等多くの応用が可能となる。

以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。

１００ 感情推定装置
１１０ コンピュータ
１１１ 処理部
１１２ 記憶部
１１３ 通信部
１２０ 入力装置
１３０ 出力装置
１４０、２００ 脳活動測定装置
１５０ 眼球撮影装置
１６０ 表情測定用カメラ
２０１、２１１ 電極
２０２ 増幅器
２０３ マルチプレクサ
２０４ Ａ／Ｄ変換器
２１０ 頭部装着部
２１２ 基準電極
２１３ 固定具
２１４ プリアンプ
２１５ シールドケーブル
２１６ 導電性ゴム電極
２１７ 金属フィルム
２２０ ３ｃｈ増幅器・帯域フィルタ
６０１ 電極ＥＡ
６０２ 電極ＥＢ
６０３ 電極ＥＣ
７００ ３重相関評価装置
７０１ ３ｃｈ脳電位増幅器
７０２ ３ｃｈバンドパスフィルタ
７０３ ３重相関値算出部
７０４ ３重相関表示部
７０５ 指標値算出部

Claims (6)

1. 被験者の感情を推定する感情推定装置であって、
   前記被験者の脳電位信号を取得する脳電位信号取得手段と、
   前記被験者の顔映像を取得する顔映像取得手段と、
   前記被験者の瞳孔径を取得する瞳孔径取得手段と、
   前記被験者の視認対象の明るさ情報を取得する明るさ情報取得手段と、
   前記取得された瞳孔径、前記取得された明るさ情報、及び予め取得された明るさ情報と前記被験者の瞳孔径との対応関係に基づいて、前記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出し、
   前記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における前記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出し、
   取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出し、並びに、
   前記算出された注目度、顔画像特徴量、及び脳電位データに基づいて前記被験者の感情を推定する感情推定手段と、
   を備え、
   前記脳電位信号取得手段は、前記被験者の頭部表面の３つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得するものであり、
   前記感情推定手段は、それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、それぞれのセンサごとに抽出された３つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出するものである感情推定装置。
2. 前記感情推定手段は、
   前記算出された顔画像特徴量及び脳電位データ、並びに所定時間前の前記算出された注目度に基づいて前記被験者の感情を推定する、請求項１に記載の感情推定装置。
3. 前記感情推定手段は、
   前記算出された注目度と前記被験者の安静開眼時の注目度の平均値との差を当該安静開眼時の注目度の標準偏差で除した値である瞳孔径スコア、
   前記算出された顔画像特徴量と前記被験者の安静開眼時の顔画像特徴量の平均値との差を当該安静開眼時の顔画像特徴量の標準偏差で除した値である表情スコア、
   及び前記算出された脳電位データと前記被験者の安静開眼時の脳電位データの平均値との差を当該安静開眼時の脳電位データの標準偏差で除した値である脳波スコア、に基づいて前記被験者の感情を推定する請求項１又は２に記載の感情推定装置。
4. 前記感情推定手段は、
   前記瞳孔径スコア、前記表情スコア、及び前記脳波スコアそれぞれにおける所定の閾値以上又は以下のデータのみを線形結合して生成された数値を用いて前記被験者の感情を推定する、請求項３に記載の感情推定装置。
5. 前記感情推定手段は、
   前記瞳孔径スコア、前記表情スコア、及び前記脳波スコアをそれぞれの所定の閾値を用いて二値化し、二値化されたそれぞれのデータの論理積を用いて前記被験者の感情を推定する、請求項３に記載の感情推定装置。
6. 被験者の感情を推定する方法であって、
   前記被験者の脳電位信号を取得するステップと、
   前記被験者の顔映像を取得するステップと、
   前記被験者の瞳孔径を取得するステップと、
   前記被験者の視認対象の明るさ情報を取得するステップと、
   前記取得された瞳孔径、前記取得された明るさ情報、及び予め取得された明るさ情報と前記被験者の瞳孔径との対応関係に基づいて、前記視認対象の明るさの影響を消去した瞳孔径を表す注目度を算出するステップと、
   前記取得された顔映像の所定部位のそれぞれの位置の、予め設定された平常時における前記所定部位のそれぞれの位置からの変位量に基づいて、表情変化の度合いを表す顔画像特徴量を算出するステップと、
   取得された脳電位信号から抽出された脳活動に起因する特定の周波数帯の信号に基づいて脳電位データを算出するステップと、
   前記算出された注目度、顔画像特徴量、及び脳電位データに基づいて前記被験者の感情を推定するステップと、を有し、
   前記脳電位信号の取得ステップは、前記被験者の頭部表面の３つの異なる場所に取り付けられるセンサを用いて脳からの信号を取得し、
   前記感情の推定ステップは、それぞれのセンサにおいて取得された脳電位信号から脳深部の活動に起因する特定の周波数帯の信号を抽出し、抽出された信号からサンプリング周期でデータを抽出し、それぞれのセンサごとに抽出された３つの時系列データの位相関係に基づいて、それぞれのセンサにおいて取得された信号の相関関係を示す相関値を算出し、及び算出された相関値に基づいて脳深部からの信号を解析して脳機能を判断するための指標値を算出し、当該指標値を脳電位データとして算出する感情推定方法。

Images