JP2018015212A - 脳波信号処理システム、脳波信号処理方法及びプログラム - Google Patents

Abstract

【課題】多くの脳波特徴量の中から、ユーザーの生理心理的状態変化に関係している脳波特徴量を、実験者（分析者）に対して負荷を与えずに容易に探索することができる脳波信号処理システムを提供する。【解決手段】本発明の脳波信号処理システムは、与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求める脳波信号処理システムであって、前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出部と、前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出部と、前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択部とを備える。【選択図】図１

Description

本発明は、ユーザーの脳波を観測することによってユーザーの心理状態あるいは生理状態を知る際に用いて好適な脳波信号処理システム、脳波信号処理方法及びプログラムに関する。

脳内活動の分布や変化を解析することによって、ユーザーの心理状態や生理状態を推定することができる。例えば、ブレイン・マシン・インタフェース（Ｂｒａｉｎ−Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）は、ユーザーの脳内活動を解析することで当該ユーザーの意思を推定して装置の操作入力とするものである（非特許文献１）。脳内活動からユーザーの感情を推定しようとする試みも様々行われている（非特許文献２）。

脳内活動の状況を推定するために広く用いられている計測手段の一つは脳波計側である。頭皮上に複数個の脳波電極を装着し、複数チャンネルの増幅が可能な脳波アンプを用いることで、脳内活動の分布を反映した脳波信号が得られる。フーリエ変換などの周波数解析を用いて求められる脳波のパワースペクトルの変化や、電極間のパワースペクトルの差異を、脳内信号源の挙動を示す指標として、ユーザーの状態推定のために用いる方法が広く用いられている。脳の異なる部位の活動に対応する異なる電極位置で観測される複数チャンネルの脳波信号の相互関係性から、ユーザーの状態を推定する方法（非特許文献３）もある。脳内信号源の相互関係性は脳波チャンネル間の相互相関係数などで数値化することができる。

ただし、頭皮上に装着された電極を用いて計測される脳波信号（以下、観測信号と称する）は、脳内や脳外に散在する複数の信号源からの電気信号が混合されたものであり、脳内の特定部位の挙動を直接的に反映するものではない。複数の信号源が存在すると仮定される場合に、特定の事象に関係する信号源を分離して解析する方法として、信号源が発する原信号の統計的独立性を仮定した独立成分分析（特許文献１、非特許文献４）などのアルゴリズムを用いた信号源分離手法が知られている。

生理心理的影響が既知の外部刺激をユーザーに与え、この外部刺激を受容しているユーザの脳波を測定し、測定した脳波を解析して得られる特徴量（以下、脳波特徴量と記す）を求める。そして、ユーザに与えた外部刺激によってユーザに生理心理的状態の変化が生じるため、このユーザの生理心理的状態の変化に対応して連動して変化する脳波特徴量を探索することで、ユーザに与えた外部刺激における脳波特徴量と生理心理的状態の変化がとの相互関係性を求めることができる。
さらに、この相互関係性を既知の情報として用いることにより、未知の状態にあるユーザの脳波から求めた脳波特徴量に基づき、ユーザの生理心理的状態を推定することが可能となる。

また、ユーザに対して感情や場面や運動などの状況を想起するように指示し、この状況の想起を内部刺激として用い、ユーザに生理心理的状態を誘導させ、この内部刺激を与えた際の脳波を測定する。そして、この測定結果からユーザの生理心理的状態の変化と連動して変化する脳波特徴量を求めることもできる。

特許第４８７６９８８号公報

「脳を活かす」研究会編、ブレイン・マシン・インタフェース−脳と機械をつなぐ、オーム社２００７／９ 関 大輔、横澤 宏一、純正律和音が与える印象と脳磁界活動との関係性の評価、電子情報通信学会技術研究報告．ＮＣ、ニューロコンピューティング １１１（４８３）、３７１−３７６、２０１２−０３−０７ 武田 裕司、ガンマ帯域脳波で測る関心・好感度、産総研ＴＯＤＡＹ Ｖｏｌ．９、ｐｐ．２０、２００９ 金山 範明、大平 英樹、開 一夫、独立成分分析を用いた視−触覚統合処理時の脳活動の分離検討、電子情報通信学会技術研究報告、ＨＩＰ、ヒューマン情報処理 １０９（３４５）、１１９−１２３、２００９

ところで、脳波は、ニューロンネットワークを流れたインパルスを外部から観測した電気信号である。このため、脳波は、主要な振動信号の周波数によって、０．４〜４Ｈｚのデルタ波、４〜８Ｈｚのシータ波、８〜１４Ｈｚのアルファ波および１４〜２６Ｈｚのベータ波に分類することができる。

電気信号である脳波特徴量を、周波数帯域の各々における信号成分の振幅とした場合、取得する脳波特徴量の数は、以下のように計算される。すなわち、脳波を測定するためにユーザの頭部に取り付ける電極の数をＮ個とし、振幅を抽出するための周波数帯域の数をＭとしたい場合、脳波特徴量の数はＮ×Ｍ個となる。
さらに、頭部に取り付けた電極間の相互関係性、例えば位相差または相関係数を脳波特徴量として加えると、電極の数をＮ個とし、周波数帯域の数をＭとした場合、脳波特徴量の数はＮ×（Ｎ−１）／２×Ｍ個となる。

上述した位相差または相関係数だけでなく、位相差や時系列的な振幅値や波形の変化を脳波特徴量として用いることもできる。
さらに、脳波の各々の周波帯域の信号により求められる関数や、得られた脳波特徴量の四則演算を行なうことで二次的な脳波特徴量を導出することもできる。
この結果、脳波特徴量の数は膨大となり、得られた脳波特徴量の中から、ユーザの生理心理的状態の変化に対応した脳波特徴量、例えば「快適さ」や「楽しさ」の生理心理的状態の変化に関係する脳波特徴量を探索するためは、探索における解析に多大な計算負荷を要する。

本発明は、このような状況に鑑みてなされたものであり、多くの脳波特徴量の中から、ユーザーの生理心理的状態変化に関係している脳波特徴量を、実験者（分析者）に対して負荷を与えずに容易に探索することができる脳波信号処理システム、脳波信号処理方法及びプログラムを提供することを目的とする。

上述した課題を解決するために、本発明の脳波信号処理システムは、与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求める脳波信号処理システムであって、前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出部と、前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出部（例えば、実施形態における相互情報量算出部１５）と、前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択部とを備えることを特徴とする。

本発明の脳波信号処理システムは、前記相互関連度として、相互情報量を用いることを特徴とする。

本発明の脳波信号処理システムは、前記相互関連度として、相関係数を用いることを特徴とする。

本発明の脳波信号処理システムは、ユーザーに対して前記刺激を提示する刺激提示部をさらに有し、前記刺激提示部が、種類の異なる前記刺激特徴量を有する前記刺激をユーザーに対して提示することを特徴とする。

本発明の脳波信号処理システムは、前記脳波信号を複数系列の脳波の特徴を有する成分信号に分離する信号分離部と、前記成分信号から前記脳波特徴量を算出する特徴量算出部とをさらに備えることを特徴とする。

本発明の脳波信号処理システムは、脳波推定データベースをさらに備え、前記特徴量選択部が、前記刺激特徴量に対して選択した、当該刺激特徴量に対して関連性の高い前記脳波特徴量を、前記刺激特徴量と組として、前記脳波推定データベースに書き込んで記憶させることを特徴とする。

本発明の脳波信号処理システムは、前記脳波信号の前記脳波特徴量が供給されると、当該脳波特徴量に対応する前記刺激特徴量を前記脳波推定データベースから抽出して、前記刺激の刺激特徴量を推定するユーザー状態推定部をさらに備えることを特徴とする。

本発明の脳波信号処理方法は、与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求める脳波信号処理方法であって、特徴量算出部が、前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出過程と、相互関連度算出部が、前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出過程と、特徴量選択部が、前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択過程とを含むことを特徴とする。

本発明のプログラムは、与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求めるためのプログラムであって、コンピュータを、前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出手段、前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出手段、前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択手段として動作させるためのプログラムである。

以上説明したように、本発明によれば、多くの脳波特徴量の中から、ユーザーの生理心理的状態変化に関係している脳波特徴量を、実験者（分析者）に対して負荷を与えずに容易に探索することができる脳波信号処理システム、脳波信号処理方法及びプログラムを提供することができる。

本発明の脳波信号処理システムの一実施形態であるユーザー状態推定装置の概略構成を示すブロック図である。 図１に示した脳波計測部１９の概略構成を示す図である。 刺激特徴量記憶部１４に記憶させる刺激と刺激特徴量との対応関係を求めるための質問用紙の構成例を示す図である。 図１における各部の処理及び各部の出力する信号の流れを示す概念図である。 刺激特徴量記憶部１４に記憶されている刺激特徴量の構成例を示すテーブルの図である。 独立成分４２における独立成分１（ＩＣ１）と独立成分２（ＩＣ２）とのデータの一例を示す図である。 独立成分４２を周波数フィルタにより分離して求めた成分信号４３のデータの一例を示す図である。 ＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々から求めた脳波特徴量４４の構成例を示す図である。 刺激特徴量４５と脳波特徴量４４との各々の時間の区間毎を対応させて求めた相互情報量を示す図である。 刺激特徴量と脳波特徴量（アルファ波振幅）との対応関係を示すグラフの図である。 楽曲と脳波信号の独立成分におけるベータ波の振幅との対応を示すグラフである。 図３のアンケート用紙を用いて予め求めた楽曲毎の興奮度のテーブルを示す図である。 図１１に示す１９個の独立成分の各々のベータ波の振幅と興奮度とから求めた相互情報量のテーブルを示す図である。 図１１から抽出した、図１３において相互情報量が最も大きい独立成分「９」のベータ波の振幅を示す図である。 図１１から抽出した、図１３において相互情報量が最も小さい独立成分「３」のベータ波の振幅を示す図である。

以下、本発明の脳波信号処理システムの実施形態について図面を用いて説明する。なお、本実施形態は、一例として、独立成分分析による脳内信号源の分離を行って脳内信号源を推定するとともに、脳内信号源が発した特定周波数成分の信号の振幅と特定周波数成分の各々の位相差の変化を用いたユーザー状態推定を行う構成を備えている。
図１は、本発明の脳波信号処理システムの一実施形態であるユーザー状態推定装置の概略構成を示すブロック図である。ユーザー状態推定装置１は、コンピュータ１０と、脳波計測部１９と、表示装置１８ａと、スピーカ１１ａを備える。コンピュータ１０は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末等の情報処理装置である。図１に示した例は、コンピュータ１０の外部に表示装置１８ａとスピーカ１１ａを設けているが、コンピュータ１０は表示装置１８ａおよびスピーカ１１ａを内蔵していてもよい。
また、図１に示した例において、刺激の提示としては、聴覚からの刺激として音を用いているが、静止画、動画、文章などの視覚からの刺激、あるいは触覚、嗅覚、味覚による刺激など音以外の刺激を用いても良い。
また、音、画像、臭いなどの外部刺激を用いるのではなく、ユーザーに所定の感情を想起したり、所定の場面を想像させるよう指示を与え、脳内における内部的な刺激状態に誘導してもよい。
図１に示した例は、脳波特徴量と刺激特徴量との相互関係度の指標として、相互情報量を用いているが、相関係数などの２変数間の関係性（関連性）の高さを示す他の指標を用いても良い。

図１に示したコンピュータ１０は、刺激提示部１１と、信号分離部１２と、特徴量算出部１３と、刺激特徴量記憶部１４と、相互情報量算出部１５と、特徴量選択部１６と、ユーザー状態推定部１７と、表示部１８とを備える。刺激提示部１１、信号分離部１２、特徴量算出部１３、刺激特徴量記憶部１４、相互情報量算出部１５、特徴量選択部１６およびユーザー状態推定部１７は、コンピュータ１０を構成するＣＰＵ（中央処理装置）、記憶装置等のハードウェアと、ＣＰＵが実行するソフトウエアとから構成されている。

図１に示した構成例において、刺激提示部１１は、感情により変化する脳波を測定する際に、ユーザーの感情（喜怒哀楽、好き嫌いなど）を時系列的に変化させるため、時系列的に変化する刺激を、ユーザーに対して提示する。本実施形態においては、例えば、スピーカ１１ａを介してユーザーに一定時間間隔で、ユーザーの感情が大きく変化するように、曲調及び曲想の各々が異なる楽曲を切り替えて提示する。

次に、図２は、図１に示した脳波計測部１９の概略構成を示す。脳波計測部１９は接地電極２１と計測チャンネルと同数以上の脳波電極２２を含む。また、脳波計測部１９は、増幅器２４とＡＤ（アナログ／デジタル）変換器２５とを含む。接地電極２１および脳波電極２２は、ユーザーの頭部７にバンド２２ａ、キャップ、ジェル剤等を用いて装着される。増幅器２４は、微弱な電気信号である脳波を増幅し、ＡＤ変換器２５の入力とする。ＡＤ変換器２５は、増幅器２４で増幅されたアナログ脳波信号をデジタル変換し、コンピュータ１０の入力となるデジタル化された観測信号を生成する。ここで、観測信号は、複数チャンネルのデジタル脳波信号を含む。デジタル脳波信号は、脳波と雑音とを含むアナログ脳波信号をデジタル化した信号である。

ＡＤ変換器２５は、各チャンネルのアナログ脳波信号を、例えば、４０００回／秒のレートでサンプリングして、サンプリングした１サンプルを１チャンネル当たり１６ビットのデジタルデータに変換する。この場合、２ｋＨｚまでの脳波信号が計測可能である。

図１に戻り、信号分離部１２は、観測信号を、周波数分割や独立成分分析などにより複数系列の成分信号に分離する。すなわち、信号分離部１２は、複数チャンネルの観測信号に対して独立成分分析を実行し、脳内信号源に対応すると推定される相互に独立した信号である独立成分に分離する。また、信号分離部１２は、分離した独立成分を、内部に設けられた周波数フィルタを通してアルファ波成分とベータ波成分とに分離し成分信号を得る。この周波数フィルタは、分離された全ての周波数成分を含む信号から、解析に用いる周波数成分を抽出する。すなわち、周波数フィルタは、分離した各信号成分から解析に用いる目的信号として、周波数帯域のアルファ波の信号成分（以下、アルファ波成分とする）とベータ波の信号成分（以下、ベータ波成分とする）との各々を抽出して出力する。これにより、信号分離部１２は、観測信号である脳波信号を複数系列の脳波の特徴を有する成分信号に分離する。

特徴量算出部１３は、信号分離部１２によって分離された成分信号の脳波特徴量の時間区間毎の平均値を求める。本実施形態においては、脳波特徴量として、独立成分毎に抽出されたアルファ波成分とベータ波成分との各々の振幅、独立成分間のアルファ波成分とベータ波成分の各々の位相差を組み合わせて用いている。ここで、時間区間は、例えば、刺激提示部１１によって提示される刺激の切り替わりを区切りとして用いる。また、この時間区間は、任意の時間間隔として設定してもよいし、時間区間が互いに重複していても良い。

刺激特徴量記憶部１４には、刺激提示部１１によって提示される各刺激に対応して、後述する快適度、高揚度、好感度や音量などの固有の刺激特徴量が書き込まれて保持されている。この刺激特徴量は、刺激提示部１１によって提示される各刺激について、この各刺激を受けたユーザーが、各刺激に応じて感じた評価値として快適度や音量などの固有の特徴量である。

図３は、刺激特徴量記憶部１４に記憶させる刺激と刺激特徴量との対応関係を求めるための質問用紙の構成例を示す図である。例えば、この質問用紙を用いることにより、刺激提示部１１が提示するそれぞれの刺激に対してユーザーが感じる印象の程度をユーザー自身に評価させる主観評価によって得られる心理量を、上記刺激特徴量として得る。評価結果は、例えば、「不快」の０点から「快適」の４点までの５段階評価、「退屈」の０点から「楽しい」の４点までの５段階評価、「嫌い」の０点から「好き」の４点までの５段階評価とし、それぞれの評価値を当該刺激の刺激特徴量としての「快適度」、「高揚度」、「好感度」とする。

刺激特徴量の主観評価は脳波計測と同時に行っても良いし、脳波計測と同時に行なわずに、刺激を提示してその回答（主観）を取得する処理を、脳波計測の事前または事後に行っても良い。
同一の刺激に対する複数の脳波計測の対象ユーザーの各々の評価値を平均し、この平均した平均評価値を刺激特徴量として用いてもよい。また、脳波計測の対象ユーザー以外の、他のユーザーによる刺激に対する評価値を刺激特徴量として用いてもよい。

また、上述したような楽曲の刺激によりユーザーが感じた主観評価のみでなく、聴覚刺激の音量や視覚刺激の輝度などの物理量や、人が感じる音量感の評価指標であるラウドネスレベルなどの物理量の強度などから導出される心理量を刺激特徴量として用いても良い。ここで、刺激特徴量は、刺激の物理量や心理量と線形的な対応関係を有する必要はなく、刺激の物理量の強度に応じて心理量が変化すれば良い。
例えば、ユーザーに与えた刺激の各々に対して、それぞれ任意の番号を割り当てて、刺激を識別するようにしても良い。このとき、音楽のジャンル、画像の被写体の種類など、何らかの基準によって刺激をグループに分類し、分類したグループの各々に、それぞれのグループを識別するための番号を割り当て、同一グループの刺激の刺激特徴量は同一値としても良い。

相互情報量算出部１５は、特徴量算出部１３によって求められた、各成分信号の各時間区間における脳波特徴量と、刺激特徴量記憶部１４に記憶された前記時間区間に対応する刺激特徴量、との組合わせの関連の度合を示す相互情報量を求める。相互情報量に代えて、変数間の関係度を示す他の指標、例えば、相関係数を用いることもできる。この相互情報量は２つの確率変数の相互依存性の強さを示す指標であり、２つの確率変数ＸとＹとの相互情報量は、以下の（１）式により求められる。以下の（１）式において、ｐ（ｘ）とｐ（ｙ）との各々は、それぞれＸ、Ｙそれぞれの周辺確率関数である。また、ｐ（ｘ，ｙ）は、ＸとＹとの各々の同時確率関数である。

特徴量選択部１６は、相互情報量算出部１５が求めた相互情報量に基づいて、特徴量算出部１３が算出した脳波特徴量のなかから、刺激特徴量の各々に対して関係性の強い脳波特徴量それぞれを特定し選択する。
刺激特徴量と脳波特徴量との間に線形的な関係が得られる場合には、相互情報量に代えて、刺激特徴量と脳波特徴量との相関係数を用いて、この相関係数の大きさにより、刺激特徴量の各々に対して関係性の強い脳波特徴量それぞれを特定し選択する構成としてもよい。

ユーザー状態推定部１７は、特徴量選択部１６において選択された脳波特徴量と刺激特徴量との関係性を求める。すなわち、ユーザー状態推定部１７は、特徴量選択部１６が刺激特徴量の各々に対応して、それぞれ選択した脳波特徴量の関係性を、刺激特徴量の示す感情を推定する際の脳波特徴量として用いる。
これにより、ユーザー状態推定部１７は、刺激を受けた際のユーザーの脳波特徴量から、刺激よって生じるユーザーの心理状態を推定することができる。

表示部１８は、ユーザー状態推定部１７が推定したユーザーの生理心理状態に関する情報を、数値、グラフ、マップなど、ユーザーや他の実験者が認識可能な形式で表示する画像を生成し、液晶ディスプレイなどの表示装置１８ａに表示する。例えば、表示部１８は、刺激特徴量における「快適度」、「高揚度」、「好感度」などを、表示装置１８ａに対してグラフ表示することにより、受けた刺激に対応した推定される心理的な状態を示す。
また、表示部１８は、脳波計測部１９が測定した脳波波形、信号分離結果、特徴量算出部１３が算出した脳波特徴量、相互情報量算出部１５が算出した相互情報量、特徴量選択部１６が選択した脳波特徴量に関する情報などの、原データや中間情報を表示してもよい。

次に、本実施形態における信号分離処理の流れを図４を用いて説明する。図４は、図１における各部の処理及び各部の出力する信号の流れを示す概念図である。また、適宜、図１を参照して説明した本実施形態の構成例について補足説明を行う。観測信号４１は、例えばユーザーの前頭部３箇所の脳波電極２２で計測された、２チャンネルであるＣｈ１及びＣｈ２の各々の脳波をデジタル変換したデジタル脳波信号である。図４に示すように、観測信号４１は、横軸を時間、縦軸を電圧とした脳波信号の波形として図示している。

刺激提示部１１は、例えば、測定者が予め設定した順序に従って、楽曲を自動再生し、スピーカ１１ａを介してユーザーに、楽曲に対応した提示音を与えて（提示して）、音情報により聴覚に対する刺激を与える。
本実施形態では、人間が聞いた際に与える印象が異なると考えられる、例えば曲調及び曲想の各々が異なる３種類の楽曲を、３回づつ、計９回提示した場合を例として説明する。しかし、すでに述べたように、刺激として音以外、すなわち聴覚以外の刺激を用いる構成としても良い。また、聴覚などの外部刺激のみでなく、ユーザーに対して特定の場面や感情を想起させるよう指示を与えて、内部刺激を与える構成としても良い。
刺激特徴量記憶部１４には、ユーザーに対して提示される刺激（本実施形態においては聴覚の刺激）の刺激特徴量４５が予め書き込まれて記憶されている。

図５は、刺激特徴量記憶部１４に記憶されている刺激特徴量の構成例を示すテーブルの図である。図５に示すように、本実施形態において、刺激特徴量４５は、楽曲の音源番号、快適度、テンポ、音量感、ジャンルであり、９回の刺激提示の時間を示す区間それぞれに対応する値を保持している。音源番号は、３種類の楽曲のいずれであるかを識別するための識別情報である。快適度は、図３に示す質問用紙から得た、ユーザーの刺激に対する主観評価に基づく心理状態を数値化した心理量を示す。テンポは、楽曲の音声信号から物理的に計測された、楽曲において拍をどの程度の速さで打つかを示す物理量である。音量感は、楽曲の音声信号の周波数帯毎の振幅からラウドネス曲線を用いて抽出した心理量である。ジャンルは、例えば、クラッシックを「１」、ポップスを「２」などとした楽曲の分類を示している。

例えば、テーブルの１行目の区間「１」においては、音源番号が「１」であることを示している。また、音源番号「１」の音源である楽曲は、快適度が「４．２」であり、テンポが「６０」であり、音量感が「２．９」であり、ジャンルが「１（クラッシック）」であることを示している。同様に、テーブルの２行目の区間「２」においては、音源番号が「２」であることを示している。また、音源番号「２」の音源である楽曲は、快適度が「２．１」であり、テンポが「８０」であり、音量感が「４．１」であり、ジャンルが「１（ポップス）」であることを示している。

図４に戻り、脳波計測部１９は、刺激提示部１１がユーザーに刺激を提示した際、ユーザーの頭部に装着された脳波電極２２を介して、脳波信号の観測信号４１を取得し、信号分離部１２に対して出力する。本実施形態においては、脳波計測部１９が、脳波電極２２の各々に対応したチャンネルＣｈ１及びチャンネルＣｈ２それぞれの観測信号４１を取得する。ここで、すでに述べたように、脳波計測部１９は、チャンネルＣｈ１及びチャンネルＣｈ２それぞれの観測信号をＡＤ変換器２５により所定周期でサンプリングし、アナログ信号をデジタル変換したデジタル信号として観測信号４１を信号分離部１２へ出力する。また、一般に、頭部における近接した脳波電極から検出される脳波信号には、その特徴（信号波形やパワースペクトルなど）に強い相関が存在する。さらに、脳波電極の数を増加させて、頭部の広い領域をカバーするように脳波信号の観測点を配置することにより、独立成分分析による独立成分がより細かい単位で抽出されるため、得られる情報量も増加することになる。

信号分離部１２は、脳波特徴量の導出に用いるため、観測信号４１を成分信号４３に独立成分分析を用いて分離する。本実施形態においては、独立成分分析によって、複数チャンネル（チャンネルＣｈ１、Ｃｈ２）の観測信号４１を、脳内信号源に対応すると推定される相互に独立した信号である独立成分４２に分離する。この独立成分４２は、独立成分１（ＩＣ１）と独立成分２（ＩＣ２）との各々である。一般に、独立成分間の相関は低いため、得られた独立成分１（ＩＣ１）と独立成分２（ＩＣ２）との各々の相関も低い。

図６は、独立成分４２における独立成分１（ＩＣ１）と独立成分２（ＩＣ２）とのデータの一例を示す図である。この図６に示す独立成分１（ＩＣ１）のグラフと独立成分２（ＩＣ２）のグラフとの各々において、縦軸が独立成分の電圧を示し、横軸が時間を示している。この独立成分１（ＩＣ１）と独立成分２（ＩＣ２）との各々の信号波形は、ユーザーの脳内信号源の各々が発生した脳波信号の波形、すなわち脳内信号源の各々における脳波信号の特徴を示している。
本実施形態においては、独立成分の信号分離方法として、独立成分分析と周波数フィルタとを用いているが、これらに限るものではなく、独立成分分析の代わりに主成分分析などを用い、周波数フィルタの代わりにフーリエ変換などを用いた構成としてもよい。

図４に戻り、信号分離部１２は、求めた独立成分４２の独立成分１（ＩＣ１）と独立成分２（ＩＣ２）との各々を、周波数フィルタ（デジタルフィルタ）により、それぞれアルファ成分、ベータ成分とに分離し、成分信号４３を算出する。

図７は、独立成分４２を周波数フィルタにより分離して求めた成分信号４３のデータの一例を示す図である。この図６に示すＩＣ１アルファ波及びＩＣ１ベータ波の各々は、独立成分１（ＩＣ１）を周波数フィルタにより分離した信号の波形である。また、ＩＣ２アルファ波及びＩＣ２ベータ波の各々は、独立成分２（ＩＣ２）を周波数フィルタにより分離した信号の波形である。ＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々において、縦軸が成分信号の電圧を示し、横軸が時間を示している。上記ＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々の信号は、ユーザーの脳内信号源の各々における脳波信号を示す独立成分４２の信号に対して、周波数というパラメータを追加して、独立成分４２より細分化した特徴としたものである。

図４に戻り、特徴量算出部１３は、信号分離部１２によって分離された成分信号４３におけるＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々から、脳波信号の特徴を示す脳波特徴量４４を求める。

図８は、ＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々から求めた脳波特徴量４４の構成例を示す図である。
図８（ａ）は、ＩＣ１アルファ波とＩＣ１ベータ波との各々の脳波特徴量のグラフを示している。この脳波特徴量のグラフは、横軸が時間（図５に示す時間の区間「１」から区間「９」まで）を示しており、縦軸が時間の区間における信号波形の振幅を平均した平均振幅を示している。

図８（ｂ）は、ＩＣ２アルファ波とＩＣ２ベータ波との各々の脳波特徴量のグラフを示している。この脳波特徴量のグラフは、横軸が時間（図５に示す時間の区間「１」から区間「９」まで）を示しており、縦軸が時間の区間における信号波形の振幅を平均した振幅を示している。

図８（ｃ）は、独立成分間の位相差、すなわちＩＣＩアルファ波及びＩＣ２アルファ波の波形における位相差と、ＩＣＩベータ波及びＩＣ２ベータ波の波形における位相差との各々を示すグラフである。この脳波特徴量のグラフは、横軸が時間（図５に示す時間の区間「１」から区間「９」まで）を示しており、縦軸が時間の区間における信号波形の位相差を平均した位相差を示している。

図４に戻り、特徴量算出部１３は、図８に示すように、時間の区間毎のＩＣ１アルファ波、ＩＣ１ベータ波、ＩＣ２アルファ波及びＩＣ２ベータ波の各々の振幅と、時間区間毎のＩＣＩアルファ波及びＩＣ２アルファ波の位相差と、ＩＣＩベータ波及びＩＣ２ベータ波の位相差との合計６個からなる脳波信号の脳波特徴量４４を求める。

相互情報量算出部１５は、特徴量算出部１３により求められた脳波信号の脳波特徴量４４の各々と、刺激特徴量記憶部１４に記憶されている刺激特徴量４５との相互情報量４６を求める。ここで、相互情報量算出部１５は、刺激特徴量４５と脳波特徴量４４との各々の時間の区間毎を対応させて、相互情報量４６の算出を上記（１）式により求める。
本実施形態において、相互情報量算出部１５は、例えば、音源番号と快適度とテンポと音量感とジャンルに対応して値が変動する特徴量を脳波特徴量４４から特定する場合、５種類の刺激特徴量４５と６種類の脳波特徴量４４との各々の組合わせについて、脳波特徴量４４をＸとし、刺激特徴量４５をＹとして、（１）式により相互情報量４６を算出する。

図９は、刺激特徴量４５と脳波特徴量４４との各々の時間の区間毎を対応させて求めた相互情報量を示す図である。図９（ａ）に示すテーブルは、音源番号と脳波特徴量４４との相互情報量を示している。テーブルの欄１０１には、音源番号と、脳波特徴量４４におけるＩＣ１アルファ波の振幅（図８（ａ）の左側のグラフ）との相互情報量「０．４１１」が示されている。テーブルの欄１０２には、音源番号と、脳波特徴量４４におけるＩＣ１ベータ波の振幅（図８（ａ）の右側のグラフ）との相互情報量「０．３５１」が示されている。テーブルの欄１０３には、音源番号と、脳波特徴量４４におけるＩＣ２アルファ波の振幅（図８（ｂ）の左側のグラフ）との相互情報量「０．２１１」が示されている。テーブルの欄１０４には、音源番号と、脳波特徴量４４におけるＩＣ２ベータ波の振幅（図８（ｂ）の右側のグラフ）との相互情報量「０．２９２」が示されている。テーブルの欄１０５には、音源番号と、脳波特徴量４４におけるＩＣ１アルファ波とＩＣ２アルファ波との位相差（図８（ｃ）の左側のグラフ）との相互情報量「０．１７７」が示されている。テーブルの欄１０６には、音源番号と、脳波特徴量４４におけるＩＣ１ベータ波とＩＣ２ベータ波との位相差（図８（ｃ）の右側のグラフ）との相互情報量「０．２２５」が示されている。

図９（ｂ）に示すテーブルは、快適度と脳波特徴量４４との相互情報量を示している。図９（ｃ）に示すテーブルは、テンポと脳波特徴量４４との相互情報量を示している。図９（ｄ）に示すテーブルは、音量感と脳波特徴量４４との相互情報量を示している。図９（ｅ）に示すテーブルは、ジャンル（ジャンル１）と脳波特徴量４４との相互情報量を示している。これら、図９（ｂ）、図９（ｃ）、図９（ｄ）、図９（ｅ）の各々も、図１（ａ）と同様に、刺激特徴量４５の各々と、脳波特徴量４４それぞれとの相互情報量がテーブルの各欄に示されている。

図４に戻り、特徴量選択部１６は、図９に示す５種類の刺激特徴量４５と６種類の脳波特徴量４４との各々の組合わせ毎の相互情報量のなかから、相互情報量が予め設定された判定閾値を超える組合わせを抽出する。この判定閾値は、刺激特徴量と脳波特徴量との関係性の有無を判定する相互情報量の閾値である。実施形態においては、この判定閾値は、例えば、０．５に設定している。このため、特徴量選択部１６は、図９に示す５種類の刺激特徴量４５と６種類の脳波特徴量４４との各々の組合わせ毎の相互情報量のなかから、相互情報量が「０．６２４」である快適度とＩＣ１アルファ波振幅との組合わせと、相互情報量が「０．６５６」であるジャンルとＩＣ１アルファ波振幅との組合わせとを、相互情報量が判定閾値を超えているため抽出する。そして、特徴量選択部１６は、独立成分におけるＩＣ１アルファ波振幅を、ユーザーの快適度及び楽曲のジャンルの推定に用いる脳波特徴量４７として選択する。

特徴量選択部１６は、脳波推定データベース２０に対して、指標として得た刺激特徴量とこの刺激特徴量に対して関係性がある脳波特徴量とを組として、脳波推定データベース２０に対して、書き込んで記憶させる。
ユーザー状態推定部１７は、特徴量選択部１６が選択した脳波特徴量４７、すなわち脳波信号の独立成分におけるＩＣ１アルファ波振幅を、ユーザーの快適度及び楽曲のジャンルの推定の指標として用いる。

図１０は、刺激特徴量と脳波特徴量（ＩＣ１アルファ波振幅）との対応関係を示すグラフの図である。図１０（ａ）は、刺激特徴量の快適度と脳波特徴量のアルファ波振幅との対応関係を示している。図１０（ａ）のグラフからは、アルファ波振幅（ＩＣ１アルファ波振幅）が大きいほどユーザーが快適な状態であることを推定できることが判る。
同様に、図１０（ｂ）は、刺激特徴量のジャンルと脳波特徴量のアルファ波振幅との対応関係を示している。図１０（ｂ）のグラフからは、アルファ波振幅（ＩＣ１アルファ波振幅）が大きい場合には、ユーザーが視聴している曲のジャンルがジャンル２であると推定できることが判る。この図１０の関係から、アルファ波振幅（ＩＣ１アルファ波振幅）が大きいほど、ユーザーは快適な状態にあると推定され、アルファ波の振幅が予め設定した推定閾値を超える場合には、ユーザーはジャンル２の楽曲を聴取していると推定することができる。この推定閾値は、例えば、楽曲のジャンルに対する複数のユーザーのＩＣ１アルファ波振幅を取得し、ＩＣ１アルファ波振幅の分散などから求める。

以上から、本実施形態によれば、独立成分のＩＣ１アルファ波振幅が、ユーザーの快適度と聴取している楽曲のジャンルを推定するために有用な脳波特徴量であり、独立成分のＩＣ１アルファ波振幅と、ユーザーの快適度及び聴取している楽曲のジャンルそれぞれとの関係が求められる。
また、本実施形態によれば、上述した脳波推定データベース２０を参照することにより、ユーザーが刺激特徴量が未知の楽曲を聴取している場合においても、ユーザー状態推定部１７が特徴量算出部１３において求められた脳波特徴量から、ユーザーの快適度と聴取している楽曲のジャンルを推定することができる。すなわち、本実施形態においては、脳波推定データベース２０を設けて、ユーザーの刺激特徴量と脳波特徴量との関係を蓄積することにより、刺激特徴量記憶部１４と相互情報量算出部１５と特徴量選択部１６との各々の処理を省略し、未知の楽曲に対するユーザーの快適度と聴取している楽曲のジャンルとの推定を行なうことができる。

以上のように、本実施形態のユーザー状態推定装置１（脳波信号処理システム）は、時系列的にユーザーに感覚刺激を提示する刺激提示部１１と、頭部に装着された脳波電極２２を用いて観測信号４１を取得する脳波計測部１９と、観測信号４１を周波数分割や多変量解析などによって成分信号４３に分割する信号分離部１２と、成分信号４３の脳波特徴量４４を求める特徴量算出部１３と、脳波特徴量４４と刺激特徴量４５の相互情報量を求める相互情報量算出部１５と、相互情報量に基づいて刺激特徴量と関係性の強い脳波特徴量を特定し選択する特徴量選択部１６と、選択された脳波特徴量と刺激特徴量との関係性からユーザーの状態を推定する、ユーザー状態推定部１７と、ユーザーの刺激特徴量と脳波特徴量との関係を蓄積する、脳波推定データベース２０との各々を備える。

図１１は、楽曲と脳波信号の独立成分におけるベータ波の振幅との対応を示すグラフである。図１１においては、横軸が時間を示しており、縦軸がベータ波の振幅を示している。
ここで、信号分離部１２が４種の楽曲を繰り返して連続聴取した際の脳波信号を１９個の脳波電極２２で計測し、計測した脳波信号に対して独立成分分析を用いて分離した１９個の独立成分の各々のベータ波の振幅変化が図１１に示されている。

図１２は、図３のアンケート用紙を用いて予め求めた楽曲毎の興奮度を示すテーブルである。楽曲「１」の興奮度が「０．８」であり、楽曲「２」の興奮度が「３．２」であり、楽曲「３」の興奮度が「３．７」であり、楽曲「４」の興奮度が「０．５」であることが示されている。

図１３は、図１１に示す１９個の独立成分の各々のベータ波の振幅と興奮度とから求めた相互情報量のテーブルを示す図である。テーブルの項目は、順位、成分及び相互情報量の各々である。成分は、０から１８までの１９個の独立成分の各々の区別を示している。相互情報量は、興奮度と各独立成分のベータ波の振幅との相互情報量とを示している。順位は、興奮度と独立成分との相互情報量が大きい方から小さい方への順番を示している。すなわち、最も相互情報量（０．４）が大きい独立成分「９」の順位が「１」であり、最も相互情報量（０．０９）が小さい独立成分「３」の順位が「１９」である。

図１４は、図１１から抽出した、図１３において相互情報量が最も大きい独立成分「９」のベータ波の振幅を示す図である。図１４においては、横軸が時間を示しており、縦軸がベータ波の振幅を示している。
この図１４の結果から、図１２に示す取得した楽曲による興奮度が大きい程、ユーザーのベータ波の振幅が大きく、興奮度が小さいほどベータ波の振幅が小さいことが判り、この独立成分「９」であるベータ波の振幅が興奮度の推定に利用できることが判る。

図１５は、図１１から抽出した、図１３において相互情報量が最も小さい独立成分「３」のベータ波の振幅を示す図である。図１５においては、横軸が時間を示しており、縦軸がベータ波の振幅を示している。
この図１５の結果から、図１２に示す取得した楽曲による興奮度と、ベータ波の振幅との関連性（相関する変化）が観察されないため、この独立成分「３」であるベータ波の振幅が興奮度の推定に利用できないことが判る。

なお、本発明における図１の脳波信号処理システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより脳波信号から受けている刺激を推定するための情報を求める処理を行ってもよい。なお、こでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

ここまで、本発明の実施形態について説明したが、上記実施形態はあくまで一例であり、本発明は上述した実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせを含む。

１０…コンピュータ
１１…刺激提示部
１２…信号分離部
１３…特徴量算出部
１４…刺激特徴量記憶部
１５…相互情報量算出部
１６…特徴量選択部
１７…ユーザー状態推定部
１８…表示部
１９…脳波計測部
２０…脳波推定データベース
２１…接地電極
２２…脳波電極
２４…増幅器
２５…ＡＤ変換器

Claims (9)

1. 与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求める脳波信号処理システムであって、
   前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出部と、
   前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出部と、
   前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択部と
   を備えることを特徴とする脳波信号処理システム。
2. 前記相互関連度として、相互情報量を用いる
   ことを特徴とする請求項１に記載の脳波信号処理システム。
3. 前記相互関連度として、相関係数を用いる
   ことを特徴とする請求項１に記載の脳波信号処理システム。
4. ユーザーに対して前記刺激を提示する刺激提示部
   をさらに有し、
   前記刺激提示部が、種類の異なる前記刺激特徴量を有する前記刺激をユーザーに対して提示する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の脳波信号処理システム。
5. 前記脳波信号を複数系列の脳波の特徴を有する成分信号に分離する信号分離部と、
   前記成分信号から前記脳波特徴量を算出する特徴量算出部と
   をさらに備える
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の脳波信号処理システム。
6. 脳波推定データベースを
   さらに備え、
   前記特徴量選択部が、前記刺激特徴量に対して選択した、当該刺激特徴量に対して関連性の高い前記脳波特徴量を、前記刺激特徴量と組として、前記脳波推定データベースに書き込んで記憶させる
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の脳波信号処理システム。
7. 前記脳波信号の前記脳波特徴量が供給されると、当該脳波特徴量に対応する前記刺激特徴量を前記脳波推定データベースから抽出して、前記刺激の刺激特徴量を推定するユーザー状態推定部を
   さらに備える
   ことを特徴とする請求項６に記載の脳波信号処理システム。
8. 与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求める脳波信号処理方法であって、
   特徴量算出部が、前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出過程と、
   相互関連度算出部が、前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出過程と、
   特徴量選択部が、前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択過程と
   を含むことを特徴とする脳波信号処理方法。
9. 与えられた刺激に対応して発生する脳波信号の特徴量である脳波特徴量、前記刺激の特徴量である刺激特徴量の関係性を求めるためのプログラムであって、
   コンピュータを、
   前記刺激に対応した前記脳波信号の前記脳波特徴量を求める特徴量算出手段、
   前記刺激の前記刺激特徴量の各々と、前記脳波特徴量それぞれとの組合わせ毎に、当該組合わせの関連の度合を示す相互関連度を算出する相互関連度算出手段、
   前記相互関連度が所定の閾値を超える、前記刺激特徴量と前記脳波特徴量との組合わせを抽出し、前記刺激特徴量に対して関連性の高い前記脳波特徴量を選択する特徴量選択手段
   として動作させるためのプログラム。