JP2019017756A

JP2019017756A - 脳波信号評価方法

Info

Publication number: JP2019017756A
Application number: JP2017139585A
Authority: JP
Inventors: 昌宏町澤; Masahiro Machizawa; 範明金山; Noriaki Kanayama; 貴史笹岡; Takafumi Sasaoka; 成人山脇; Shigeto Yamawaki
Original assignee: Hiroshima University NUC
Current assignee: Hiroshima University NUC
Priority date: 2017-07-19
Filing date: 2017-07-19
Publication date: 2019-02-07
Anticipated expiration: 2037-07-19
Also published as: JP7122730B2

Abstract

【課題】その時々の脳の具合や体調の違いによる影響を受けにくい脳波信号評価を実現する。【解決手段】被験者の脳波信号を計測し、計測された脳波信号について独立成分分析を行って複数の独立成分を抽出し、抽出された複数の独立成分のうち関心領域に関連する独立成分について時間周波数解析を行って時間周波数スペクトラムを算出し、事前の一定期間において得られた時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を確率変数とするスペクトラム強度分布モデルを生成し、スペクトラム強度分布モデルの生成後に新たに得られた関心周波数帯域でのスペクトラム強度をスペクトラム強度分布モデルに反映させてスペクトラム強度分布モデルを累積的に更新し、更新されたスペクトラム強度分布モデルを用いて上記の新たに得られた関心周波数帯域でのスペクトラム強度を所定数値範囲内の相対値に変換する。【選択図】図２５

Description

本発明は、脳波信号の評価方法に関し、特に、脳波信号のパワー値を相対値として表す技術に関する。

人が機械やコンピュータなどのモノを操作する場合、手や足などの身体の一部を使ってハンドル、レバー、ボタン、キーボード、マウスなどの補助デバイスを操作したり、発話やジェスチャーによりモノに意思を伝達するのが一般的である。近年、脳と機械とを直接接続して人が思った通りに機械を操作するＢＭＩ（Brain Machine Interface）あるいはＢＣＩ（Brain Computer Interface）と呼ばれる技術が研究開発されている。ＢＭＩあるいはＢＣＩは、人の意思をモノに直接的に伝達できるようになることでモノの使い勝手の向上に期待されるほか、事故や病気によって運動機能や感覚機能などを失った人が自分の意思でモノを操作してモノを通じて他人と意思疎通を図ることができるようになる点で、医療や福祉の分野で期待されている。

人の無意識あるいは潜在意識、特に感性といった人の精神活動あるいは心の情報を読み取ることができれば、人に心に優しいモノづくりやサービス提供が可能になる。例えば、対象物に対して人が抱く感性を客観的に検出し、または予測することができれば、そのような感性を発揮させるような対象物を事前にデザインすることができる。さらに、読み取った感性の情報は、人の心のケアや人と人とのコミュニケーションに活かすこともできる。本発明者らは、人の感性を読み取り、感性情報を介して人と人、ヒトとモノを繋ぐＢＥＩ（Brain Emotion Interface）の開発を目指している。

ＢＥＩを実現する上で脳波（Electroencephalogram：EEG）の利用は有力な手段の一つである。しかし、脳波信号は振幅やピーク値が個人ごとに異なるため、万人に共通に適用できる判定基準を設定するのが難しいという問題がある。この問題に対して、例えば特許文献１には、個人差やノイズの影響を受けにくい、脳波の周波数ゆらぎを指標として用いることで、個人の時々刻々の中枢リズムをリアルタイムでチェックして、傾眠やストレス状態を判定可能にするとともに、周波数の分布特性やゆらぎの周波数特性などの分布情報データを記録可能にする技術が開示されている。

特開平６−１６５７６５号公報

脳波の周波数ゆらぎを指標とすることで脳波における個人差の影響を排除することができるが、脳波の周波数ゆらぎを利用したアプリケーションは生体リズムの判定といったものに限定されてしまうという問題がある。脳波を利用してＢＥＩを実現するには、脳波の周波数ゆらぎだけでは不十分であり、時々刻々と変化する脳波信号のパワー値を評価する必要がある。ところが、脳波信号の振幅やピーク値は、個人差があるだけではなく同一人であっても脳波計測時の脳の具合や体調によって変わり得る。このため、より高精度なＢＥＩを実現するには、脳波信号のパワー値をいかに正確に評価できるかが重要なファクターとなる。

上記問題に鑑み、本発明は、その時々の脳の具合や体調の違いによる影響を受けにくい脳波信号評価を実現することを課題とする。

本発明の一局面に従った脳波信号評価方法は、被験者の脳波信号を計測する第１のステップと、前記計測された脳波信号について独立成分分析を行って複数の独立成分を抽出する第２のステップと、前記抽出された複数の独立成分のうち関心領域に関連する独立成分について時間周波数解析を行って時間周波数スペクトラムを算出する第３のステップと、一定期間前記第１ないし前記第３のステップを実施して得られた前記時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を確率変数とするスペクトラム強度分布モデルを生成する第４のステップと、前記スペクトラム強度分布モデルの生成後に前記第１ないし前記第３のステップを実施して新たに得られた前記関心周波数帯域でのスペクトラム強度を前記スペクトラム強度分布モデルに反映させて前記スペクトラム強度分布モデルを累積的に更新する第５のステップと、前記更新されたスペクトラム強度分布モデルを用いて前記新たに得られた前記関心周波数帯域でのスペクトラム強度を所定数値範囲内の相対値に変換する第６のステップと、を備えた脳波信号評価方法である。

これによれば、脳波信号を計測して新たに関心周波数帯域でのスペクトラム強度が得られるごとにスペクトラム強度分布モデルがより最近の脳波の出現傾向と適合するように更新され、当該更新されたスペクトラム強度分布モデルを用いて当該新たに得られた関心周波数帯域でのスペクトラム強度が所定数値範囲内の相対値に変換される。

本発明によると、その時々の脳の具合や体調の違いによる影響を受けにくい脳波信号評価が可能となる。

情動、感情、感性の関係を表す模式図本発明らが提唱する感性多軸モデルの模式図感性多軸モデルの各軸に関連する関心領域を説明する図快反応時のさまざまなｆＭＲＩ画像を示す図快反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図活性反応性時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図快／不快の刺激画像呈示実験の概要を説明する図快画像予期時および不快画像予期時の各ｆＭＲＩ画像を示す図快画像予期時と不快画像予期時のＥＥＧ信号の差分における信号源をプロットした脳矢状断面（頭頂葉部分）および当該部分のＥＥＧ信号の時間周波数分布を示す図快画像予期時と不快画像予期時のＥＥＧ信号の差分における信号源をプロットした脳矢状断面（視覚野）および当該部分のＥＥＧ信号の時間周波数分布を示す図主観心理軸決定のための自己評価の一例を示す図関心領域の脳波独立成分および周波数帯域を特定するフローチャート脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す図独立信号成分の信号源の推定位置をプロットした脳矢状断面図快・不快反応時のｆＭＲＩ画像を示す図ＥＥＧ信号源の信号を時間周波数解析した結果を示す図脳波を用いた感性のリアルタイム評価のフローチャート脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す図関心領域に関連する独立成分として特定されたコンポーネントを示す図特定された独立成分についての時間周波数解析の結果を示す図推定された快／不快軸の値を示す模式図推定された活性／非活性軸および期待感軸の各値を示す模式図本発明の一実施形態に係る脳波信号評価方法の手順を示すブロックフロー図スペクトラム強度分布の更新の様子を表す模式図更新により尖度が変化するスペクトラム強度分布の模式図更新により歪度が変化するスペクトラム強度分布の模式図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

本発明に係る脳波信号評価方法は脳波パワー値を相対値として表すことができる点で感性の評価・可視化に好適である。以下、感性の評価・可視化への応用を例に本発明の一実施形態に係る脳波信号評価方法について説明する。

１．感性の定義
人は何かを見たり、聞いたり、あるいは何かに触れたり、触れられたりしたときに、わくわくしたり、うきうきしたり、はらはらしたり、どきどきしたりする。これらは、単なる情動や感情と異なり、運動神経および感覚神経を含む体性神経系を通して脳に入ってくる外受容感覚、交感神経および副交感神経を含む自律神経系、それに基づく内受容感覚、さらには記憶や経験などが深く関与した複雑で高次の脳活動によってもたらされていると考えられる。

本発明では、わくわく、うきうき、はらはら、どきどきなどの感情あるいは情動とは異なる複雑な高次脳機能を広く「感性」として捉える。すなわち、本発明において、感性を、外受容感覚情報（体性神経系）と内受容感覚情報（自律神経系）を統合し、過去の経験、記憶と照らし合わせて生じる情動反応を、より上位のレベルで俯瞰する高次脳機能と定義する。換言すると、感性は、予測（イメージ）と結果（感覚情報）とのギャップを経験・知識と比較することによって直感的に“はっ”と気付く高次脳機能であると言える。

ここで、情動、感情、および感性の３つの概念を整理する。図１は情動、感情、感性の関係を表す模式図である。情動は外界からの刺激などによって引き起こされる無意識的・本能的な脳機能であり、３つの中で最も低次の脳機能である。感情は情動を意識化したより高次の脳機能である。そして、感性は経験・知識も反映したヒト特有の脳機能であり、３つの中で最も高次の脳機能である。

このような高次脳機能である感性の全体像を把握するには、種々の観点あるいは側面から総合的に感性を捉える必要がある。

例えば、人が快い、快適、あるいは心地よいと感じているか、あるいは反対に人が気持ち悪い、不快、あるいは心地よくないと感じているかといった「快／不快」の観点あるいは側面から感性を捉えることができる。

また、例えば、人が覚醒、興奮、あるいは活性状態にあるか、あるいは反対に人がぼんやり、沈静、あるいは非活性状態にあるかといった「活性／非活性」の観点あるいは側面から感性を捉えることができる。

また、例えば、人が何かを期待あるいは予期してわくわくしているか、あるいは期待が外れてがっかりしているかといった「期待感」の観点あるいは側面から感性を捉えることができる。

快／不快および活性／非活性を２軸に表したラッセル（Russell）の円環モデルが知られている。感情はこの円環モデルで表すことができる。しかし、感性は予測（イメージ）と結果（感覚情報）とのギャップを経験・知識と比較する高次脳機能であるので、快／不快および活性／非活性の２軸からなる既存の円環モデルでは十分に表し得ないと本発明者らは考える。そこで、本発明者らは、ラッセルの円環モデルに、時間軸（例えば、期待感）を第３軸として加えた感性多軸モデルを提唱する。

図２は、本発明らが提唱する感性多軸モデルの模式図である。感性多軸モデルは、例えば、「快／不快」を第１軸、「活性／非活性」を第２軸、「時間（期待感）」を第３軸として表すことができる。感性を多軸モデル化することのメリットは、各軸について評価値を算出し、それらを総合することで、漠然と広い概念の感性を定量的に評価する、すなわち、可視化することができる点にある。

この高次脳機能である感性を正確に評価することができれば、ヒトとモノを繋ぐＢＥＩ技術の確立に繋がる。そして、多様な分野で感性情報を活用して新価値を創造して、新しい価値を生み出すことができる。例えば、使えば使うほどヒトの思いに的確に反応し、喜び、やる気、愛情などの精神的価値が成長する製品・システムの創出を通してＢＥＩ技術の社会実装を実現すると考えられる。

２．関心領域の特定
快／不快、活性／非可性、および期待感の各脳反応に伴い、脳のどの部位が活動するかをｆＭＲＩとＥＥＧにより測定した結果について説明する。この測定結果は、感性を可視化、数値化する上での基礎データになり、極めて重要な位置づけにある。

ｆＭＲＩとは、ある心的過程と特定の脳構造を非侵襲的に対応づける脳機能画像法の一つであり、神経活動に伴う局所脳血流の酸素レベルに依存した信号強度を計測するものである。そのためｆＭＲＩはＢＯＬＤ（Blood Oxygen Level Dependent）法とも呼ばれる。

脳の中で神経細胞の活動が生じると多くの酸素が要求されるため、脳血流を通して酸素と結合した酸化ヘモグロビン（oxyhemoglobin）が局所において流れ込んでくる。そのときに神経細胞の酸素摂取を上回る酸素が供給され、結果として酸素を運び終えた還元型ヘモグロビン（deoxyhemoglobin）が局所において相対的に減少することになる。この還元型ヘモグロビンは磁気的性質を持ち、血管周囲の磁場の局所的不均一性を引き起こす。ｆＭＲＩは、このような酸素との結合関係に応じて磁気的性質を変化させるヘモグロビンの特徴を利用して、神経細胞の活動に伴う脳血流の酸素化バランスの局所的変化によって二次的に起こる信号増強を捉えるものである。現在では、局所的な脳血流の変化を全脳にわたり、数ミリメートル程度の空間的解像度で、秒単位で計測することが可能である。

図３は、感性多軸モデルの各軸に関連する関心領域を説明する図であり、各軸に関連する脳反応についてｆＭＲＩとＥＥＧにより測定した結果を示す。図３において、快・不快軸、活性・非活性軸のｆＭＲＩ画像、ＥＥＧ画像は、それぞれ、快反応時と不快反応時、活性反応時と非活性反応時との差分（変化分）を示すものである。また、期待感軸のｆＭＲＩ画像は快画面予期反応時のものであり、ＥＥＧ画像は快画像予期反応時と不快画像予期反応時との差分を示すものである。

図３に示したように、「快・不快」と「活性・非活性」反応時には帯状回が活動していることがｆＭＲＩおよびＥＥＧの測定結果から示され、「期待感」反応時にはｆＭＲＩおよびＥＥＧの測定結果から、頭頂葉、視覚野において脳活動があることが示される。

図３に示した感性多軸モデルの各軸に関連する関心領域は、ｆＭＲＩおよびＥＥＧを用いたさまざまな条件下での脳反応の観測実験を通じて得られた知見である。以下、その観測実験について具体的に説明する。

（１）快／不快時の脳反応について
まず、国際感情画像システム（International Affective Picture System：IAPS）から抽出した快画像（例えば、愛くるしいアザラシの赤ちゃん画像）と不快画像（例えば、危険な産業廃棄物画像）を２７名の実験参加者に提示することにより、実験参加者の快／不快時の脳反応を観察する。

図４は、快反応時のさまざまなｆＭＲＩ画像（脳の矢状断、冠状断、および水平断の各ｆＭＲＩ断面画像）を示す図である。図４において、不快反応時（不快画像を見た場合）と比較して快反応時（快画像を見た場合）に顕著に反応した領域に○印を付している。図４から明らかなように、快反応時には、後帯状回、視野野、線条体、眼窩前頭前野が賦活する。

図５は、快反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図である。図５において、不快反応時と比較して快反応時に顕著に反応した領域に○印を付している。図５からわかるように、快反応時には後帯状回を含む領域の脳活動がｆＭＲＩとＥＥＧの観測結果で共通している。この結果から、帯状回を含む領域を快／不快反応時の関心領域として特定することができる。

図６は、関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図６左側は、関心領域（快反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図６右側は快反応時と不快反応時の差分を示す。図６右側において色の濃い部分は差分が大きいことを表す。このＥＥＧの測定結果から、快反応時には関心領域のθ帯域の反応が関与していることがわかる。

（２）活性／非活性時の脳反応について
ＩＡＰＳから抽出した活性画像（例えば、美味しそうな寿司の画像）および非活性画像（例えば、静かな田園にたたずむ館の画像）を２７名の実験参加者に提示することにより、実験参加者の活性／非活性時の脳反応を観察する。

図７は、活性反応時のｆＭＲＩ画像およびＥＥＧ信号源をプロットした脳矢状断面を示す図である。図７において、非活性反応時（非活性画像を見た場合）と比較して活性反応時（活性画像を見た場合）に顕著に反応した領域に○印を付している。図７からわかるように、活性反応時には後帯状回を含む領域の脳活動がｆＭＲＩとＥＥＧの観測結果で共通している。この結果から、帯状回を含む領域を活性／非活性反応時の関心領域として特定することができる。

図８は、関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図８左側は、関心領域（活性反応時の後帯状回）のＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図８右側は活性反応時と非活性反応時の差分を示す。図８右側において色の濃い部分は差分が大きいことを表す。このＥＥＧの測定結果から、活性反応時には関心領域のβ帯域の反応が関与していることがわかる。

（３）期待時の脳反応について
まず、２７名の実験参加者に対して、情動を喚起する刺激画像を呈示し、画像を視認しているときの実験参加者の感情状態を評定させる実験を行う。刺激画像として、ＩＡＰＳから抽出した情動を喚起するカラー画像８０枚を用いる。そのうち４０枚が快さを喚起する画像（快画像）であり、残りの４０枚が不快を喚起する画像（不快画像）である。

図９は、快／不快の刺激画像呈示実験の概要を説明する図である。刺激画像は、短いトーン音（Ｃｕｅ）を０．２５秒間鳴らして、その３．７５秒後に４秒間だけ呈示する。そして、呈示された画像を快いと感じたか、不快と感じたかを被験者にボタンで回答してもらう。ただし、低いトーン音（５００Ｈｚ）が鳴った後には必ず快画像が呈示される。高いトーン音（４０００Ｈｚ）が鳴った後には必ず不快画像が呈示される。そして、中くらいのトーン音（１５００Ｈｚ）が鳴った後には、５０％の確率で快画像または不快画像が呈示される。

この実験において、いずれかのトーン音がなってから画像が呈示されるまでの４秒間は実験参加者が次に起こるであろうこと（この実験の場合には、快画像または不快画像が呈示されること）を予期している期間であり、この予期時における脳活動を観測した。例えば、低いトーン音が鳴ったとき、実験参加者は快画像が呈示されることを予期する「快画像予期」の状態にあり、高いトーン音が鳴ったとき、不快画像が呈示されることを予期する「不快画像予期」の状態にある。一方、中くらいのトーン音が鳴ったとき、実験参加者は快画像および不快画像のいずれが呈示されるのかがわからない「快・不快予期不可」の状態にある。

図１０は、快画像予期時および不快画像予期時の各ｆＭＲＩ画像（脳の矢状断および水平断の各ｆＭＲＩ断面画像）を示す図である。図１０の○印部分から明らかなように、ｆＭＲＩでは快画像予期時と不快画像予期時には、頭頂葉、視覚野、島皮質を含む脳領域が関与していることがわかる。

図１１は、ＥＥＧによる測定結果を示し、図１１ａは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図１１ｂは、関心領域（快画像予測時の頭頂葉の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示し、図１１ｃは、関心領域（不快画像予測時の頭頂葉の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示す。さらに、図１１ｄは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このＥＥＧの測定結果から、快画像予測時において頭頂葉のβ帯域の反応が関与していることが理解される。

図１２は、ＥＥＧによる測定結果を示し、図１２ａは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図１２ｂは、関心領域（快画像予測時の視覚野の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示し、図１２ｃは、関心領域（不快画像予測時の視覚野の領域）のＥＥＧ信号源の信号を時間周波数解析した結果を示す。さらに、図１２ｄは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このＥＥＧの測定結果から、快画像予測時視覚野のα帯域の反応が関与していることが理解される。

３．感性の可視化
感性を快／不快の軸、活性／非活性の軸、および期待感（時間）の軸の３軸を含む感性多軸モデルを用いて表すことについては上述したが、次は、具体的に感性をどのように可視化・数値化してＢＥＩ構築に結び付けできるかが課題になる。

本発明者らは、感性を構成する３軸は独立したものでなく相関性があるものであり、各軸の値を実測すると同時に各軸の感性に寄与する関係性を特定する必要があるとの知見に基づき、感性の主観心理軸と感性の脳生理指標を次のように融合させて感性の可視化を図っている。

感性＝［主観心理軸］＊［脳生理指標］＝a＊EEG_快＋b＊EEG_活性＋c＊EEG_期待感…（式１）
ここで、主観心理軸は各軸の重み付け係数（a，b，c）を示し、脳生理指標はＥＥＧの測定結果に基づく各軸の値（EEG_快，EEG_活性，EEG_期待感)を示す。

以下、主観心理軸の決定手順、および脳生理指標の選定手順について順に説明する。

Ａ．主観心理軸の決定
感性の主観心理軸を用いた各軸の寄与率、すなわち重み付けは次の手順で決定することができる。

（１）実験参加者（男女学生：２７名）に対して、上述の快／不快の刺激画像呈示実験を行う。ここでは、各トーン音が鳴ってから画像が呈示されるまでの４秒間（予期時）における能の感性状態を実験参加者の自己評価により評定してもらう。

（２）実験参加者には、３条件（快画像予期時、不快画像予期時、および快・不快予期不可）ごとに、わくわく（感性）度合、快度合（快軸）、活性度合（活性軸）、期待感度合（期待感軸）についてＶＡＳ（Visual Analog Scale）を用いて０から１００までの１０１段階で評定してもらう。図１３は、主観心理軸決定のための自己評価の一例を示す図であり、低いトーン音が鳴ったとき（快画像予期時）の快度合を評定している様子を示す。実験参加者は０から１００の間でカーソルを移動させて評定を行う。評定の結果、例えば、ある実験参加者から、快画像予期に関して、わくわく＝７３、快＝６８、活性＝４５、期待感＝７８といったような主観評定値が得られる。

（３）実験参加者全員から得られた３条件それぞれの主観評定値から、線形回帰により主観心理軸の各係数を算出する。この結果、例えば次式のような主観心理軸における感性評価式が得られる。

感性＝0.38＊主観_快＋0.11＊主観_活性＋0.51＊主観_期待感…（式２）
ただし、主観_快、主観_活性、主観_期待感は、実験参加者が評定した快度合、活性度合、期待感度合の各数値である。

（４）主観心理軸における主観_快、主観_活性、主観_期待感と脳生理指標のEEG_快、EEG_活性、EEG_期待感とはそれぞれ対応関係にある。したがって、主観評定値の線形回帰により算出された主観心理軸の各軸の重み係数は脳生理指標のEEG_快、EEG_活性、EEG_期待感の各重み係数として用いることができる。そこで、式２で得られた各軸の重み係数を式１に適用することで、感性は、時々刻々測定されるEEG_快，EEG_活性，EEG_期待感を用いて次式のように表される。

感性＝0.38＊EEG_快＋0.11＊EEG_活性＋0.51＊EEG_期待感…（式３）
すなわち、式３により感性を数値により可視化することができる。

Ｂ．脳生理指標の選定
脳生理指標は、ＥＥＧの測定結果から計算される感性多軸モデルの各軸の推定値である。しかし、脳活動には個人差があるため、リアルタイムで感性を評価する前にあらかじめ各個人のＥＥＧを計測して各個人の脳波独立成分およびその周波数帯域を特定しておく必要がある。

まず、被験者の快／不快、活性／非活性、期待感の各脳波測定時に用いる周波数帯域を特定する手順について説明する。図１４は、関心領域の脳波独立成分および周波数帯域を特定するフローチャートである。

被験者に例えば快／不快を伴う画像を呈示して視覚刺激を与え、この刺激により誘発されたＥＥＧ脳波信号を計測する（Ｓ１）。なお、計測された脳波信号には、瞬き、目の動き、筋電に伴うノイズ（アーチファクト）が混在しているので、これらノイズを除去する。

計測した脳波信号に対して独立成分分析（ICA：Independent Component Analysis）を行って複数の独立成分（信号源）を抽出する（Ｓ２）。例えば、３２チャンネルで脳波を計測した場合は、チャンネルの数に応じた３２の独立成分が抽出される。計測した脳波の独立成分分析の結果、信号源の位置が特定される（Ｓ３）。

図１５は、ステップＳ２での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す。また、図１６は、独立信号成分の信号源の推定位置をプロットした脳矢状断面を示す。

なお、脳波の測定とは別にｆＭＲＩによる測定を行う。図１７は、快・不快反応時のｆＭＲＩ画像を示す。快・不快の反応時において、図１７中で○印で示すように帯状回が関与していることがわかる。

このように別途行われるｆＭＲＩによる測定により、例えば、「快」の状態では帯状回が関与していることが判明しているため、「快」に関連する独立成分を選定する場合、関心領域の候補として帯状回付近に存在する信号源（独立成分）を選定することができる（Ｓ４）。例えば、３２の独立成分が取捨選択されて１０の独立成分に絞り込まれる。

関心領域の候補となる信号源の信号（例えば１０の独立成分）のそれぞれについて、時間周波数解析を行って、各時間ポイントおよび各周波数ポイントにおけるパワー値を算出する（Ｓ５）。例えば、４０の時間ポイントのそれぞれにおいて２０の周波数のポイントを設定して合計８００ポイントでのパワー値を算出する。

図１８は、ステップＳ５において、ＥＥＧ信号源の信号を時間周波数解析した結果を示す図である。図１８のグラフにおいて縦軸は周波数であり、横軸は時間である。周波数はβ、α、θの順で高い。グラフの色の濃淡は信号強度を表す。実際には時間周波数解析結果のグラフはカラーで表されるが、ここでは便宜上グレースケールで表している。

次に、時間周波数に分解された各独立成分に対して主成分分析（PCA：Principal Component Analysis）を行って、時間および周波帯域の主成分に絞り込みを行う（Ｓ６）。これにより、特徴の数が絞り込まれる。例えば、上記の８００ポイントの特徴から４０の主成分に次元が削減される。

各独立成分において、絞り込まれた時間周波数の主成分を対象に機械学習（SLR：Sparse Logistic Regression）を用いて判別学習を行う（Ｓ７）。これにより、その独立成分（信号源）における軸（例えば快／不快軸）の判別に寄与する主成分（時間周波数）が検出される。例えば、被験者の「快」測定時において、関心領域の信号源ではθ帯域が関係していることが判明する。また、例えば、快または不快の２択での判別精度が７０％であるといったように、その独立成分の周波帯域における判別精度が算出される。

算出された判別精度を元に、有意な判別率をもつ独立成分およびその周波帯域を特定する（Ｓ８）。これにより、関心領域の候補である例えば１０の独立成分の中からトップの独立成分およびその周波帯域が１つ選定される。

上記は快／不快の測定時における手順であるが、活性／非活性および期待感の各測定時においても同様の手順で関心領域の脳波独立成分および周波数帯域の特定を行う。この結果、活性／非活性の場合には関心領域のβ帯域が、期待感の場合には関心領域のθ〜α帯域がそれぞれ関与していることが判明する。

上記手順で得られた結果は、次の感性のリアルタイム評価において空間フィルタとして適用される。

なお、上記のステップＳ３およびＳ４ではすべての独立成分に対する信号源を推定した後にｆＭＲＩ情報に基づいて信号源（独立成分）の絞り込みを行っているが、ｆＭＲＩ情報を用いずにステップＳ３〜Ｓ７を実施し、最後のステップＳ８において有意に判別に寄与する独立成分の中から、ｆＭＲＩ情報を用いて独立成分（信号源）の選定を行い、その中で最も判別に寄与する独立成分を選択してもよい。このようにしても結果は同じになる。

次に、上記手順で特定された独立成分の周波数帯域を用いて、時々刻々変化する被験者の脳活動を推定して感性をリアルタイムで評価する手順について説明する。図１９は、脳波を用いた感性のリアルタイム評価のフローチャートである。

被験者の脳波を計測し、リアルタイムで脳波情報（各チャンネルでの脳活動）を抽出する（Ｓ１１）。なお、計測された各チャンネルの脳波信号には、瞬き、目の動き、筋電に伴うノイズ（アーチファクト）が混在しているので、これらノイズ成分を除去する。

計測した脳波信号に対して独立成分分析を行って複数の独立成分（信号源）を抽出する（Ｓ１２）。例えば、３２チャンネルで脳波を計測した場合は、チャンネルの数に応じた３２の独立成分が抽出される。図２０は、ステップＳ１２での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント（脳波トポグラフィ）を示す。

抽出された３２個の独立成分から、関心領域に関連する独立成分を特定する（Ｓ１３）。ここでは、図１４のフローチャートで示す手順により対象とする独立成分があらかじめ特定されているので、対象のコンポーネントは容易に特定される。図２１は、関心領域に関連する独立成分として特定されたコンポーネントを示す。

次に、特定された独立成分について時間周波数解析を行って、時間周波数スペクトラムを算出する（Ｓ１４）。図２２は、特定された独立成分についての時間周波数解析の結果を示す。

ここで、被験者の「快」測定時においてその独立成分（関心領域の信号源）では、対象となる周波帯域がθ帯域であることが判明しているため、当該帯域でのスペクトラム強度より、ある時点での、快／不快軸の値（脳生理指標値）が推定される（Ｓ１５）。脳生理指標値は、例えば、０〜１００の数値で表される。図２３は、推定された快／不快軸の値を模式的に示す。例えば、図２３に示したように、快／不快軸の値としてEEG_快＝６３が推定される。

上記は快／不快の測定時における手順であるが、活性／非活性および期待感の各測定時においても同様の手順で脳生理指標値を推定する。図２４は、推定された活性／非活性軸および期待感軸の各値を模式的に示す。例えば、図２４に示したように、活性／非活性軸の値としてEEG_活性＝４２が、期待感軸（時間軸）の値としてEEG_期待感＝７２が推定される。

推定した脳生理指標値を式３に代入して感性の評価値を計算する（Ｓ１６）。例えば、EEG_快＝６３、EEG_活性＝４２、EEG_期待感＝７２という推定結果が得られた場合、感性の評価値は６５．２８と計算される。

４．脳波信号の評価方法
次に、本発明の一実施形態に係る脳波信号評価方法について説明する。上述したように、感性多軸モデルにおける各軸の値は脳波信号の関心周波数帯域でのスペクトラム強度を所定数値範囲内（例えば、０〜１００）の相対値に変換したものであるが、この変換はあらかじめ設定されたスペクトラム強度分布に基づいて行われる。より詳細には、キャリブレーション用計測として事前に被験者の脳波を一定期間計測してその人の脳波パターンに応じたスペクトラム強度分布を生成する。そして、キャリブレーション用計測が終わると次のリアルタイム評価において再び被験者の脳波をリアルタイムで計測し、それにより新たに得られたスペクトラム強度を、キャリブレーション用計測時に生成されたスペクトラム強度分布に基づいて、相対値に変換する。ところが、脳波信号の振幅やピーク値はその時々の脳の具合や体調によって変わり得るため、リアルタイム評価時に得られたスペクトラム強度がキャリブレーション用計測時に生成されたスペクトラム強度分布から大きく逸脱することがある。そうなると感性多軸モデルにおける各軸の値が振り切れて常時最大値の１００を示したり、逆に常時最小値の０を示したりすることとなり、その結果、上述の感性評価が信頼できないものとなってしまうおそれがある。そこで、下述の手法により、その時々の脳の具合や体調の違いによる影響を受けにくい脳波信号評価を実現する。

図２５は、本発明の一実施形態に係る脳波信号評価方法の手順を示すブロックフロー図である。なお、下記各ブロックは、ＣＰＵ（Central Processing Unit）にコンピュータープログラムを実行させてＣＰＵ上で実現することができる他、ハードウェアとして実現することも可能である。

まず、被験者の脳波を計測して各チャンネルでの脳波信号が独立成分分析ブロック１２に入力される。なお、各電極で測定される脳波信号には、脳（皮質）の活動に関連した電位変動のほかに、まばたきや筋電位などのアーチファクトや、商用電源ノイズなどの外部ノイズが含まれる。脳（皮質）の活動に関連した電位変動は非常に微弱であり、アーチファクトや外部ノイズに比べて小さいためＳＮ比が非常に低い。そのため、測定された脳波信号から純粋な脳反応を反映している可能性が高い信号を抽出するために、事前解析においてノイズと特定された独立成分を除去し、可能な限りノイズを除去する。

独立成分分析ブロック１２は、入力された脳波信号に対して任意の独立成分分析を行って複数の独立成分（信号源）を抽出する。例えば、３２チャンネルで脳波を計測した場合は、チャンネルの数に応じた３２の独立成分が抽出される。また、周波数帯域ごとに独立成分分析を行うことで、抽出される独立成分の数は増加する。

独立成分特定ブロック１３は、独立成分分析ブロック１２において抽出された複数の独立成分から、図１４に示したフローによりあらかじめ特定されている関心領域（例えば、感性多軸モデルの快／不快軸については帯状回が関心領域に該当する。）に関連する独立成分を特定する。

時間周波数解析ブロック１４は、独立成分特定ブロック１３において特定された独立成分について時間周波数解析を行って、時間周波数スペクトラムを算出する。

スペクトラム強度分布モデル生成ブロック１５は、感性のリアルタイム評価を行う直前の例えば３０秒間の学習期間においてキャリブレーション用計測として被験者の脳波を測定し、そのキャリブレーション用計測で得られた時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を確率変数とするスペクトラム強度分布モデル１６を生成する。例えば、被験者の「快」測定時においてその独立成分（関心領域の信号源）について対象となる周波帯域がθ帯域であることが判明している場合、快／不快軸の値を算出するために、θ帯域でのスペクトラム強度を確率変数とするスペクトラム強度分布モデル１６を生成する。このように、スペクトラム強度分布モデル生成ブロック１５は、キャリブレーション用計測時に動作してスペクトラム強度分布モデル１６を新規作成する。

キャリブレーション用計測において得られる関心周波数帯域でのスペクトラム強度は概ね正規分布となる。したがって、スペクトラム強度分布モデル１６はスペクトラム強度の平均値μおよび標準偏差σの２つのパラメータにより定義される正規分布で近似的に表すことができる。すなわち、スペクトラム強度分布モデル１６を表す確率密度関数ｆ（ｘ）は次式で表すことができる。したがって、スペクトラム強度分布モデル１６として、関心周波数帯域でのスペクトラム強度の平均値および標準偏差の２つのパラメータを保持しておけばよい。

例えば、キャリブレーション用計測においてｎ−１個のスペクトラム強度ｘ_ｉ（ｉ＝１，…，ｎ−１）が得られたとすると、スペクトラム強度分布モデル１６におけるスペクトラム強度の平均値μ_ｎ−１および標準偏差σ_ｎ−１は次式で表される。

ただし、ｗ_ｉは重み値である。ｗ_ｉ＝１に固定してもよいし、サンプルごとに異なる値にしてもよい。

スペクトラム強度分布モデル１６の生成後、すなわち、キャリブレーション用計測が終了して次のリアルタイム評価で脳波評価を実施する段階において被験者の脳波をリアルタイムに測定して時間周波数解析ブロック１４において新たに関心周波数帯域でのスペクトラム強度が得られると、スペクトラム強度分布モデル更新ブロック１７は得られたスペクトラム強度をスペクトラム強度分布モデル１６に反映させてスペクトラム強度分布モデル１６を更新する。このように、スペクトラム強度分布モデル更新ブロック１７は、リアルタイム評価時に動作して、キャリブレーション用計測において新規作成されたスペクトラム強度分布モデル１６を更新する。

このとき、スペクトラム強度分布モデル更新ブロック１７は、スペクトラム強度分布モデル１６に対して当該新たに得られたスペクトラム強度が所定の割合となるように重み付けしてスペクトラム強度分布モデル１６を更新する。例えば、新たに得られたスペクトラム強度をｘ_ｎとすると、更新後のスペクトラム強度分布モデル１６における平均値μ_ｎおよび標準偏差σ_ｎは次式で表される。

ただし、νは新たに得られたスペクトラム強度ｘ_ｎを反映させる重みであり、次式で表される。

ただし、Ｔはこれまでの計測時間長、Δｔは新たなスペクトラム強度ｘ_ｎの計測時間長、ａは任意の重み係数である。例えば、キャリブレーション用計測期間を３０秒（Ｔ＝３０［秒］）、リアルタイム評価における脳波の計測時間を１秒（Δｔ＝１［秒］）、ａ＝１とすると、ν≒３％となる。

スペクトラム強度分布モデル１６が更新されると、スペクトラム強度−相対値変換ブロック１８が、更新されたスペクトラム強度分布モデル１６を用いて、上記の新たに得られた関心周波数帯域でのスペクトラム強度ｘ_ｎを所定数値範囲内の相対値に変換する。このように、スペクトラム強度−相対値変換ブロック１８は、リアルタイム評価時に動作して、リアルタイムに得られるスペクトラム強度を相対値に変換する。

具体的には、スペクトラム強度ｘ_ｎは、次式に従ってスペクトラム強度分布１６における確率ｐ_ｎに変換される。

ただし、ｅｒｆ（ｘ）は誤差関数である。

ｐ_ｎは０から１までの値をとるため、例えばこれを１００倍することで、スペクトラム強度ｘ_ｎを０から１００までの相対値に変換することができる。

スペクトラム強度分布モデル更新ブロック１７は、キャリブレーション用計測の終了後のリアルタイム評価時において、時間周波数解析ブロック１４において新たに関心周波数帯域でのスペクトラム強度が得られるごとに、当該新たに得られたスペクトラム強度をスペクトラム強度分布モデル１６に反映させてスペクトラム強度分布モデル１６を累積的に更新する。

図２６は、スペクトラム強度分布の更新の様子を表す模式図である。キャリブレーション用計測においてスペクトラム強度分布モデル１６が生成された直後は、スペクトラム強度分布モデル１６によるスペクトラム強度分布とリアルタイム評価時に得られるスペクトラム強度の分布とが大きく異なる場合がある。この場合、スペクトラム強度の相対値はほぼ最大値の１００に張り付いてしまう。キャリブレーション用計測後のリアルタイム評価においてスペクトラム強度分布モデル１６の更新が進むとスペクトラム強度分布モデル１６によるスペクトラム強度分布とリアルタイム評価時に得られるスペクトラム強度の分布とが徐々に近づき、スペクトラム強度分布モデル１６の更新が十分に進むとスペクトラム強度分布モデル１６によるスペクトラム強度分布とリアルタイム評価時に得られるスペクトラム強度の分布とがほぼ一致するようになる。これにより、リアルタイム評価時に得られるスペクトラム強度が正確に所定数値範囲内の相対値として表されるようになる。すなわち、リアルタイム評価時に脳波信号を計測して新たに関心周波数帯域でのスペクトラム強度が得られるごとにスペクトラム強度分布モデル１６がより最近の脳波の出現傾向と適合するように更新される。このように、本実施形態に係る脳波信号評価方法を感性評価に適用することで、使えば使うほどその人にフィットしたＢＥＩを実現することができる。

スペクトラム強度分布モデル１６の更新に関して、上記の重みνにおいてａ＞１に設定すると、新たに得られたスペクトラム強度をより強く反映してスペクトラム強度分布モデル１６が更新される。これにより、最近測定した脳波を素早く反映させるようにしてスペクトラム強度分布モデル１６の更新速度を速めることができる。逆にａ＜１に設定すると、新たに得られたスペクトラム強度ｘ_ｎによる影響をあまり強く受けないようにしてスペクトラム強度分布１６の更新速度を遅らせることができる。このように、重み係数ａを適宜設定することによりスペクトラム強度分布モデル１６の更新速度を自由に調整可能である。

また、上記の重みνに関して、リアルタイム評価が繰り返し行われることによりこれまでの計測時間長Ｔは増加する一方であり、νはゼロに近づいていく。こうなると、スペクトラム強度分布モデル１６の更新が鈍くなるため、リアルタイム評価が繰り返されるにつれ、重み係数ａを徐々に大きくするようにしてもよい。これにより、νを適当な値に保ってスペクトラム強度分布モデル１６の更新速度の低下を防止することができる。あるいは、νを適当な値に固定してもよい。これにより、スペクトラム強度分布モデル１６の更新速度を一定に保つことができる。

また、上記説明ではスペクトラム強度分布モデル１６は関心周波数帯域でのスペクトラム強度が正規分布となることを前提に、スペクトラム強度分布モデル１６を平均値および標準偏差の２つのパラメータにより表されるとしたが、さらに関心周波数帯域でのスペクトラム強度の尖度および歪度の２つのパラメータを追加した４つのパラメータ、すなわち、平均値、標準偏差、尖度及び歪度でスペクトラム強度分布モデル１６を表すようにしてもよい。

図２７は、更新により尖度が変化するスペクトラム強度分布の模式図である。図２８は、更新により歪度が変化するスペクトラム強度分布の模式図である。スペクトラム強度分布モデル１６を表すパラメータとして関心周波数帯域でのスペクトラム強度の尖度および歪度を追加することにより、図２７および図２８に示したような分布の尖度および歪度の変化にも対応することができる。これにより、より高精度で信頼性の高い脳波評価を実現することができる。ひいては、感性の評価の信頼性を向上させることができる。

あるいは、スペクトラム強度分布モデル１６は、関心周波数帯域でのスペクトラム強度の非正規分布で近似的に表してもよい。この場合、非正規分布であるスペクトラム強度分布モデル１６は、関心周波数帯域でのスペクトラム強度の中央値および中央絶対偏差の２つパラメータで表すことができる。あるいは、非正規分布であるスペクトラム強度分布モデル１６は、関心周波数帯域でのスペクトラム強度の平均値、標準偏差、尖度および歪度の４つのパラメータで表すことができる。

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本発明に係る脳波信号評価方法は、その時々の脳の具合や体調の違いによる影響を受けにくい脳波信号評価を実現できるため、ヒトとモノを繋ぐＢＥＩを実現するための基礎技術として有用である。

１２独立成分分析ブロック（第２のステップ）
１３独立成分特定ブロック
１４時間周波数解析ブロック（第３のステップ）
１５スペクトラム強度分布モデル生成ブロック（第４のステップ）
１６スペクトラム強度分布モデル
１７スペクトラム強度分布モデル更新ブロック（第５のステップ）
１８スペクトラム強度−相対値変換ブロック（第６のステップ）

Claims

被験者の脳波信号を計測する第１のステップと、
前記計測された脳波信号について独立成分分析を行って複数の独立成分を抽出する第２のステップと、
前記抽出された複数の独立成分のうち関心領域に関連する独立成分について時間周波数解析を行って時間周波数スペクトラムを算出する第３のステップと、
一定期間前記第１ないし前記第３のステップを実施して得られた前記時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を確率変数とするスペクトラム強度分布モデルを生成する第４のステップと、
前記スペクトラム強度分布モデルの生成後に前記第１ないし前記第３のステップを実施して新たに得られた前記関心周波数帯域でのスペクトラム強度を前記スペクトラム強度分布モデルに反映させて前記スペクトラム強度分布モデルを累積的に更新する第５のステップと、
前記更新されたスペクトラム強度分布モデルを用いて前記新たに得られた前記関心周波数帯域でのスペクトラム強度を所定数値範囲内の相対値に変換する第６のステップと、を備えた脳波信号評価方法。
前記第５のステップでは、前記新たに得られた前記関心周波数帯域でのスペクトラム強度を、前記一定期間の長さにかかわらず所定の重みで前記スペクトラム強度分布モデルに反映させる、請求項１に記載の脳波信号評価方法。
前記スペクトラム強度分布モデルが、前記関心周波数帯域でのスペクトラム強度の平均値および標準偏差の２つのパラメータにより表される、請求項１または請求項２に記載の脳波信号評価方法。
前記スペクトラム強度分布モデルが、さらに前記関心周波数帯域でのスペクトラム強度の尖度および歪度の２つのパラメータを追加した４つのパラメータにより表される、請求項３に記載の脳波信号評価方法。