JP6590411B2 - 感性評価方法 - Google Patents

感性評価方法 Download PDF

Info

Publication number
JP6590411B2
JP6590411B2 JP2016116449A JP2016116449A JP6590411B2 JP 6590411 B2 JP6590411 B2 JP 6590411B2 JP 2016116449 A JP2016116449 A JP 2016116449A JP 2016116449 A JP2016116449 A JP 2016116449A JP 6590411 B2 JP6590411 B2 JP 6590411B2
Authority
JP
Japan
Prior art keywords
axis
brain
sensitivity
sensibility
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016116449A
Other languages
English (en)
Other versions
JP2017074356A (ja
JP2017074356A5 (ja
Inventor
範明 金山
範明 金山
快 牧田
快 牧田
貴史 笹岡
貴史 笹岡
昌宏 町澤
昌宏 町澤
知也 松本
知也 松本
成人 山脇
成人 山脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Priority to US15/768,782 priority Critical patent/US20180303370A1/en
Priority to EP16855084.6A priority patent/EP3360480A1/en
Priority to PCT/JP2016/003712 priority patent/WO2017064826A1/ja
Publication of JP2017074356A publication Critical patent/JP2017074356A/ja
Publication of JP2017074356A5 publication Critical patent/JP2017074356A5/ja
Application granted granted Critical
Publication of JP6590411B2 publication Critical patent/JP6590411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Optics & Photonics (AREA)

Description

本発明は、感性を定量的に評価する方法に関する。
人が機械やコンピュータなどのモノを操作する場合、手や足などの身体の一部を使ってハンドル、レバー、ボタン、キーボード、マウスなどの補助デバイスを操作したり、発話やジェスチャーによりモノに意思を伝達するのが一般的である。近年、脳と機械とを直接接続して人が思った通りに機械を操作するBMI(Brain Machine Interface)あるいはBCI(Brain Computer Interface)と呼ばれる技術が研究開発されている。BMIあるいはBCIは、人の意思をモノに直接的に伝達できるようになることでモノの使い勝手の向上に期待されるほか、事故や病気によって運動機能や感覚機能などを失った人が自分の意思でモノを操作してモノを通じて他人と意思疎通を図ることができるようになる点で、医療や福祉の分野で期待されている。
上記のように人の意思あるいは能動的な意識といったものでモノを操作すること以外に、人の無意識あるいは潜在意識といったものを読み取ってそれをモノの操作に利用しようとする研究も行われている。例えば、被験者が分類対象情報を視認したときに生じる、当該被験者の主観的知見や感性に関連する脳波データに基づいて、分類対象情報を自動的に分類する技術が知られている(例えば、特許文献1を参照)。また、生体および脳機能計測から推定した操作者個々の内部情報を基に操作者の注意・記憶といった内部情報を推定もしくは予測し、ヒューマンエラーの起こりやすい状態を検出および警告する技術が知られている(例えば、特許文献2を参照)。また、潜在的な意識を示す高度な脳活動の情報を用いて、人が類似する感覚を覚える対象物を検出する技術が知られている(例えば、特許文献3参照)。
特開2003−58298号公報 特開2011−150408号公報 特開2014−115913号公報 特開2006−95266号公報 特開2011−120824号公報 特開2005−58449号公報
人の無意識あるいは潜在意識、特に感性といった人の精神活動あるいは心の情報を読み取ることができれば、人に心に優しいモノづくりやサービス提供が可能になる。例えば、対象物に対して人が抱く感性を客観的に検出し、または予測することができれば、そのような感性を発揮させるような対象物を事前にデザインすることができる。さらに、読み取った感性の情報は、人の心のケアや人と人とのコミュニケーションに活かすこともできる。本発明者らは、人の感性を読み取り、感性情報を介して人と人、ヒトとモノを繋ぐBEI(Brain Emotion Interface)の開発を目指している。
脳波(Electroencephalogram:EEG)などの脳生理情報はBEIを実現するための有力な手段となり得る。そこで、本発明は、脳生理情報を用いて感性を定量的に評価することを課題とする。
本発明の一局面に従った感性評価方法は、快/不快、活性/非活性、および期待感に関連する関心領域から、快/不快、活性/非活性、および期待感の各軸を含む感性多軸モデルの各軸に係る脳生理情報を抽出するステップと、感性多軸モデルの各軸の脳生理情報を用いて感性を評価するステップと、を備えた感性評価方法である。
本発明の別の一局面に従った感性評価方法は、快/不快、活性/非活性、および期待感に関連する関心領域から、快/不快、活性/非活性、および期待感の各軸を含む感性多軸モデルの各軸に係る脳生理情報を抽出するステップと、感性多軸モデルの各軸の脳生理情報から、各軸の脳生理指標値(EEG,EEG活性,EEG期待感)を求めるステップと、被験者の主観的な統計データから得られ、感性多軸モデルの各軸の重み付け係数(a,b,c)を示す主観心理軸を用いて、次の計算式で、感性を評価するステップと、を備えた感性評価方法である。
感性=[主観心理軸]*[脳生理指標]=a*EEG+b*EEG活性+c*EEG期待感
本発明のさらに別の一局面に従った感性評価方法は、被験者の脳波信号を取得するステップと、取得した脳波信号について独立成分分析を行って、得られた独立成分ごとにダイポールの位置を推定するステップと、独立成分分析で得られた独立成分の主成分分析を行って、独立成分における脳活動データの次元縮約を行うステップと、次元縮約された独立成分における脳活動データをクラスタリングするステップと、クラスタリングで得られた複数のクラスタから、さまざまな感情あるいは情動のそれぞれを反映する脳活動を示すクラスタを選択するステップと、選択したクラスタに含まれる成分から各感情あるいは情動の評価値を計算するステップと、各感情あるいは情動について計算された評価値を総合して感性の評価値を計算するステップとを備えた、脳波を用いた感性評価方法である。
本発明のさらに別の一局面に従った感性評価方法は、fMRIを用いて被験者の全脳のBOLD信号を取得するステップと、取得した全脳のBOLD信号から、さまざまな感情あるいは情動のそれぞれを反映する脳活動を示すボクセルのBOLD信号を選択するステップと、選択したボクセルのBOLD信号から各感情あるいは情動の評価値を計算するステップと、各感情あるいは情動について計算された評価値を総合して感性の評価値を計算するステップとを備えた、fMRIを用いた感性評価方法である。
本発明によると、脳生理情報を用いて感性を定量的に評価することができる。これにより、感性情報を用いて、使えば使うほど人の感性に訴えかけて愛着が増すような製品をデザインしたり、感性情報を介して人と人とのコミュニケーションを円滑にすることができる。
情動、感情、感性の関係を表す模式図 本発明において採用する感性多軸モデルの模式図 感性多軸モデルの各軸に関連する関心領域を説明する図 快反応時のさまざまなfMRI画像を示す図 快反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図 関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図 活性反応性時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図 関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図 快/不快の刺激画像呈示実験の概要を説明する図 快画像予期時および不快画像予期時の各fMRI画像を示す図 快画像予期時と不快画像予期時のEEG信号の差分における信号源をプロットした脳矢状断面(頭頂葉部分)及び当該部分のEEG信号の時間周波数分布を示す図 快画像予期時と不快画像予期時のEEG信号の差分における信号源をプロットした脳矢状断面(視覚野)及び当該部分のEEG信号の時間周波数分布を示す図 主観心理軸決定のための自己評価の一例を示す図 関心領域の脳波独立成分および周波数帯域を特定するフローチャート 脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す図 独立信号成分の信号源の推定位置をプロットした脳矢状断面図 快・不快反応時のfMRI画像を示す図 EEG信号源の信号を時間周波数解析した結果を示す図 脳波を用いた感性のリアルタイム評価のフローチャート 脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す図 関心領域に関連する独立成分として特定されたコンポーネントを示す図 特定された独立成分についての時間周波数解析の結果を示す図 推定された快/不快軸の値を示す模式図 推定された活性/非活性軸および期待感軸の各値を示す模式図 各クラスタ(16個)の脳波トポグラフィ 各クラスタ(16個)のダイポール推定位置をプロットした脳内画像 快刺激と不快刺激との間に有意差のあったクラスタの脳波トポグラフィおよびダイポール推定位置をプロットした脳内画像 (a)快画像および(b)不快画像を見たときの主観評価と脳活動との相関を示す図 本発明の一実施形態に係る脳波を用いた感性評価方法のフローチャート 快画像を予期しているときの脳内画像 不快画像を予期しているときの脳内画像 本発明の一実施形態に係るfMRIを用いた感性評価方法のフローチャート
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
以下、1.本発明に至った背景、2.関心領域の特定、3.感性の可視化、4.脳波を用いた感性評価方法、5.fMRIを用いた感性評価方法の順に説明する。なお、上記4は本願において優先権を主張する特願2015-204963に記載された内容であり、上記5は本願において優先権を主張する特願2015−204969に記載された内容である。
1.本発明に至った背景
人は何かを見たり、聞いたり、あるいは何かに触れたり、触れられたりしたときに、わくわくしたり、うきうきしたり、はらはらしたり、どきどきしたりする。これらは、単なる情動や感情と異なり、運動神経および感覚神経を含む体性神経系を通して脳に入ってくる外受容感覚、交感神経および副交感神経を含む自律神経系、それに基づく内受容感覚、さらには記憶や経験などが深く関与した複雑で高次の脳活動によってもたらされていると考えられる。
本発明では、わくわく、うきうき、はらはら、どきどきなどの感情あるいは情動とは異なる複雑な高次脳機能を広く「感性」として捉える。すなわち、本発明において、感性を、外受容感覚情報(体性神経系)と内受容感覚情報(自律神経系)を統合し、過去の経験、記憶と照らし合わせて生じる情動反応を、より上位のレベルで俯瞰する高次脳機能と定義する。換言すると、感性は、予測(イメージ)と結果(感覚情報)とのギャップを経験・知識と比較することによって直感的に“はっ”と気付く高次脳機能であると言える。
ここで、情動、感情、および感性の3つの概念を整理する。図1は情動、感情、感性の関係を表す模式図である。情動は外界からの刺激などによって引き起こされる無意識的・本能的な脳機能であり、3つの中で最も低次の脳機能である。感情は情動を意識化したより高次の脳機能である。そして、感性は経験・知識も反映したヒト特有の脳機能であり、3つの中で最も高次の脳機能である。
このような高次脳機能である感性の全体像を把握するには、種々の観点あるいは側面から総合的に感性を捉える必要がある。
例えば、人が快い、快適、あるいは心地よいと感じているか、あるいは反対に人が気持ち悪い、不快、あるいは心地よくないと感じているかといった「快/不快」の観点あるいは側面から感性を捉えることができる。
また、例えば、人が覚醒、興奮、あるいは活性状態にあるか、あるいは反対に人がぼんやり、沈静、あるいは非活性状態にあるかといった「活性/非活性」の観点あるいは側面から感性を捉えることができる。
また、例えば、人が何かを期待あるいは予期してわくわくしているか、あるいは期待が外れてがっかりしているかといった「期待感」の観点あるいは側面から感性を捉えることができる。
快/不快および活性/非活性を2軸に表したラッセル(Russell)の円環モデルが知られている。感情はこの円環モデルで表すことができる。しかし、感性は予測(イメージ)と結果(感覚情報)とのギャップを経験・知識と比較する高次脳機能であるので、快/不快および活性/非活性の2軸からなる既存の円環モデルでは十分に表し得ないと本発明者らは考える。そこで、本発明者らは、ラッセルの円環モデルに、時間軸(例えば、期待間)を第3軸として加えた感性多軸モデルを提唱する。
図2は、本発明において採用する感性多軸モデルの模式図である。感性多軸モデルは、例えば、「快/不快」を第1軸、「活性/非活性」を第2軸、「時間(期待感)」を第3軸として表すことができる。感性を多軸モデル化することのメリットは、各軸について評価値を算出し、それらを総合することで、漠然と広い概念の感性を定量的に評価する、すなわち、可視化することができる点にある。
この高次脳機能である感性を正確に評価することができれば、ヒトとモノを繋ぐBEI技術の確立に繋がる。そして、多様な分野で感性情報を活用して新価値を創造して、新しい価値を生み出すことができる。例えば、使えば使うほどヒトの思いに的確に反応し、喜び、やる気、愛情などの精神的価値が成長する製品・システムの創出を通してBEI技術の社会実装を実現すると考えられる。
従来、感性について言及した先行文献が多数存在するが、いずれの文献においても感性と感情を明確に区別せずに感性を感情と同意味で使用している。例えば、特許文献4には、感性には感情や意志が含まれるとし、喜怒哀楽などの感性状態を定量的に計測する内容が開示されている。しかし、特許文献4では感性と感情が区別されておらず、時間軸(期待感)の観点から感性を評価することは記載されていない。
特許文献5には、快、不快などに対応する刺激を与えた時の学習用生体情報を主成分分析し、複数の感性を快、不快などとして感性を定量的に評価する内容が開示されている(特に請求項5)。また、特許文献5において先行技術文献としてあげられている特許文献6には、感情データとして2軸モデルや3軸モデルなどの感情モデルを感情パラメータ値による感情を可視化する装置が開示されている。しかし、特許文献6では感性を定量的に評価できないと説明していることから明らかなように、感情と感性を混同しており、時間軸(期待感)についての記載も示唆もない。
なお、特許文献6には、快適と不快とのどちらにより近いかの度合いを示す第1軸と、興奮または緊張とリラックスとのどちらにより近いかの度合いを示す第2軸と、緊張と弛緩とのどちらにより近いかの度合いを示す第3軸との3軸により感情モデルを形成し、当該3軸空間における座標値からなる感情パラメータにより感情の状態を表現することが記載されているが、これはあくまで感情を表すためのモデルであり、ラッセルの円環モデルを複雑にしたに過ぎない。
以上のように、いずれの先行文献も感情分析の域を出ておらず、感性を正確に評価し得ないと考えられる。
2.関心領域の特定
快/不快、活性/非可性、および期待感の各脳反応に伴い、脳のどの部位が活動するかをfMRIとEEGにより測定した結果について説明する。この測定結果は、感性を可視化、数値化する上での基礎データになり、極めて重要な位置づけにある。
fMRIとは、ある心的過程と特定の脳構造を非侵襲的に対応づける脳機能画像法の一つであり、神経活動に伴う局所脳血流の酸素レベルに依存した信号強度を計測するものである。そのためfMRIはBOLD(Blood Oxygen Level Dependent)法とも呼ばれる。
脳の中で神経細胞の活動が生じると多くの酸素が要求されるため、脳血流を通して酸素と結合した酸化ヘモグロビン(oxyhemoglobin)が局所において流れ込んでくる。そのときに神経細胞の酸素摂取を上回る酸素が供給され、結果として酸素を運び終えた還元型ヘモグロビン(deoxyhemoglobin)が局所において相対的に減少することになる。この還元型ヘモグロビンは磁気的性質を持ち、血管周囲の磁場の局所的不均一性を引き起こす。fMRIは、このような酸素との結合関係に応じて磁気的性質を変化させるヘモグロビンの特徴を利用して、神経細胞の活動に伴う脳血流の酸素化バランスの局所的変化によって二次的に起こる信号増強を捉えるものである。現在では、局所的な脳血流の変化を全脳にわたり、数ミリメートル程度の空間的解像度で、秒単位で計測することが可能である。
図3は、感性多軸モデルの各軸に関連する関心領域を説明する図であり、各軸に関連する脳反応についてfMRIとEEGにより測定した結果を示す。図3において、快・不快軸、活性・非活性軸のfMRI画像、EEG画像は、それぞれ、快反応時と不快反応時、活性反応時と非活性反応時との差分(変化分)を示すものである。また、期待感軸のfMRI画像は快画面予期反応時のものであり、EEG画像は快画像予期反応時と不快画像予期反応時との差分を示すものである。
図3に示したように、「快・不快」と「活性・非活性」反応時には帯状回が活動していることがfMRIおよびEEGの測定結果から示され、「期待感」反応時にはfMRIおよびEEGの測定結果から、頭頂葉、視覚野において脳活動があることが示される。
図3に示した感性多軸モデルの各軸に関連する関心領域は、fMRIおよびEEGを用いたさまざまな条件下での脳反応の観測実験を通じて得られた知見である。以下、その観測実験について具体的に説明する。
(1)快/不快時の脳反応について
まず、国際感情画像システム(International Affective Picture System:IAPS)から抽出した快画像(例えば、愛くるしいアザラシの赤ちゃん画像)と不快画像(例えば、危険な産業廃棄物画像)を27名の実験参加者に提示することにより、実験参加者の快/不快時の脳反応を観察する。
図4は、快反応時のさまざまなfMRI画像(脳の矢状断、冠状断、および水平断の各fMRI断面画像)を示す図である。図4において、不快反応時(不快画像を見た場合)と比較して快反応時(快画像を見た場合)に顕著に反応した領域に○印を付している。図4から明らかなように、快反応時には、後帯状回、視野野、線条体、眼窩前頭前野が賦活する。
図5は、快反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図である。図5において、不快反応時と比較して快反応時に顕著に反応した領域に○印を付している。図5からわかるように、快反応時には後帯状回を含む領域の脳活動がfMRIとEEGの観測結果で共通している。この結果から、帯状回を含む領域を快/不快反応時の関心領域として特定することができる。
図6は、関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図6左側は、関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図6右側は快反応時と不快反応時の差分を示す。図6右側において色の濃い部分は差分が大きいことを表す。このEEGの測定結果から、快反応時には関心領域のθ帯域の反応が関与していることがわかる。
(2)活性/非活性時の脳反応について
IAPSから抽出した活性画像(例えば、美味しそうな寿司の画像)および非活性画像(例えば、静かな田園にたたずむ館の画像)を27名の実験参加者に提示することにより、実験参加者の活性/非活性時の脳反応を観察する。
図7は、活性反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図である。図7において、非活性反応時(非活性画像を見た場合)と比較して活性反応時(活性画像を見た場合)に顕著に反応した領域に○印を付している。図7からわかるように、活性反応時には後帯状回を含む領域の脳活動がfMRIとEEGの観測結果で共通している。この結果から、帯状回を含む領域を活性/非活性反応時の関心領域として特定することができる。
図8は、関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図8左側は、関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図8右側は活性反応時と非活性反応時の差分を示す。図8右側において色の濃い部分は差分が大きいことを表す。このEEGの測定結果から、活性反応時には関心領域のβ帯域の反応が関与していることがわかる。
(3)期待時の脳反応について
まず、27名の実験参加者に対して、情動を喚起する刺激画像を呈示し、画像を視認しているときの実験参加者の感情状態を評定させる実験を行う。刺激画像として、IAPSから抽出した情動を喚起するカラー画像80枚を用いる。そのうち40枚が快さを喚起する画像(快画像)であり、残りの40枚が不快を喚起する画像(不快画像)である。
図9は、快/不快の刺激画像呈示実験の概要を説明する図である。刺激画像は、短いトーン音(Cue)を0.25秒間鳴らして、その3.75秒後に4秒間だけ呈示する。そして、呈示された画像を快いと感じたか、不快と感じたかを被験者にボタンで回答してもらう。ただし、低いトーン音(500Hz)が鳴った後には必ず快画像が呈示される。高いトーン音(4000Hz)が鳴った後には必ず不快画像が呈示される。そして、中くらいのトーン音(1500Hz)が鳴った後には、50%の確率で快画像または不快画像が呈示される。
この実験において、いずれかのトーン音がなってから画像が呈示されるまでの4秒間は実験参加者が次に起こるであろうこと(この実験の場合には、快画像または不快画像が呈示されること)を予期している期間であり、この予期時における脳活動を観測した。例えば、低いトーン音が鳴ったとき、実験参加者は快画像が呈示されることを予期する「快画像予期」の状態にあり、高いトーン音が鳴ったとき、不快画像が呈示されることを予期する「不快画像予期」の状態にある。一方、中くらいのトーン音が鳴ったとき、実験参加者は快画像および不快画像のいずれが呈示されるのかがわからない「快・不快予期不可」の状態にある。
図10は、快画像予期時および不快画像予期時の各fMRI画像(脳の矢状断および水平断の各fMRI断面画像)を示す図である。図10の○印部分から明らかなように、fMRIでは快画像予期時と不快画像予期時には、頭頂葉、視覚野、島皮質を含む脳領域が関与していることがわかる。
図11は、EEGによる測定結果を示し、図11aは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図11bは、関心領域(快画像予測時の頭頂葉の領域)のEEG信号源の信号を時間周波数解析した結果を示し、図11cは、関心領域(不快画像予測時の頭頂葉の領域)のEEG信号源の信号を時間周波数解析した結果を示す。さらに、図11dは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このEEGの測定結果から、快画像予測時において頭頂葉のβ帯域の反応が関与していることが理解される。
図12は、EEGによる測定結果を示し、図12aは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図12bは、関心領域(快画像予測時の視覚野の領域)のEEG信号源の信号を時間周波数解析した結果を示し、図12cは、関心領域(不快画像予測時の視覚野の領域)のEEG信号源の信号を時間周波数解析した結果を示す。さらに、図12dは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このEEGの測定結果から、快画像予測時視覚野のα帯域の反応が関与していることが理解される。
3.感性の可視化
感性を快/不快の軸、活性/非活性の軸、および期待感(時間)の軸の3軸を含む感性多軸モデルを用いて表すことについては上述したが、次は、具体的に感性をどのように可視化・数値化してBEI構築に結び付けできるかが課題になる。
本発明者らは、感性を構成する3軸は独立したものでなく相関性があるものであり、各軸の値を実測すると同時に各軸の感性に寄与する関係性を特定する必要があるとの知見に基づき、感性の主観心理軸と感性の脳生理指標を次のように融合させて感性の可視化を図っている。
感性=[主観心理軸]*[脳生理指標]=a*EEG+b*EEG活性+c*EEG期待感…(式1)
ここで、主観心理軸は各軸の重み付け係数(a,b,c)を示し、脳生理指標はEEGの測定結果に基づく各軸の値(EEG,EEG活性,EEG期待感)を示す。
以下、主観心理軸の決定手順、および脳生理指標の選定手順について順に説明する。
A.主観心理軸の決定
感性の主観心理軸を用いた各軸の寄与率、すなわち重み付けは次の手順で決定することができる。
(1)実験参加者(男女学生:27名)に対して、上述の快/不快の刺激画像呈示実験を行う。ここでは、各トーン音が鳴ってから画像が呈示されるまでの4秒間(予期時)における能の感性状態を実験参加者の自己評価により評定してもらう。
(2)実験参加者には、3条件(快画像予期時、不快画像予期時、および快・不快予期不可)ごとに、わくわく(感性)度合、快度合(快軸)、活性度合(活性軸)、期待感度合(期待感軸)についてVAS(Visual Analog Scale)を用いて0から100までの101段階で評定してもらう。図13は、主観心理軸決定のための自己評価の一例を示す図であり、低いトーン音が鳴ったとき(快画像予期時)の快度合を評定している様子を示す。実験参加者は0から100の間でカーソルを移動させて評定を行う。評定の結果、例えば、ある実験参加者から、快画像予期に関して、わくわく=73、快=68、活性=45、期待感=78といったような主観評定値が得られる。
(3)実験参加者全員から得られた3条件それぞれの主観評定値から、線形回帰により主観心理軸の各係数を算出する。この結果、例えば次式のような主観心理軸における感性評価式が得られる。
感性=0.38*主観+0.11*主観活性+0.51*主観期待感…(式2)
ただし、主観、主観活性、主観期待感は、実験参加者が評定した快度合、活性度合、期待感度合の各数値である。
(4)主観心理軸における主観、主観活性、主観期待感と脳生理指標のEEG、EEG活性、EEG期待感とはそれぞれ対応関係にある。したがって、主観評定値の線形回帰により算出された主観心理軸の各軸の重み係数は脳生理指標のEEG、EEG活性、EEG期待感の各重み係数として用いることができる。そこで、式2で得られた各軸の重み係数を式1に適用することで、感性は、時々刻々測定されるEEG,EEG活性,EEG期待感を用いて次式のように表される。
感性=0.38*EEG+0.11*EEG活性+0.51*EEG期待感…(式3)
すなわち、式3により感性を数値により可視化することができる。
B.脳生理指標の選定
脳生理指標は、EEGの測定結果から計算される感性多軸モデルの各軸の推定値である。しかし、脳活動には個人差があるため、リアルタイムで感性を評価する前にあらかじめ各個人のEEGを計測して各個人の脳波独立成分およびその周波数帯域を特定しておく必要がある。
まず、被験者の快/不快、活性/非活性、期待感の各脳波測定時に用いる周波数帯域を特定する手順について説明する。図14は、関心領域の脳波独立成分および周波数帯域を特定するフローチャートである。
被験者に例えば快/不快を伴う画像を呈示して視覚刺激を与え、この刺激により誘発されたEEG脳波信号を計測する(S1)。なお、計測された脳波信号には、瞬き、目の動き、筋電に伴うノイズ(アーチファクト)が混在しているので、これらノイズを除去する。
計測した脳波信号に対して独立成分分析(ICA:Independent Component Analysis)を行って複数の独立成分(信号源)を抽出する(S2)。例えば、32チャンネルで脳波を計測した場合は、チャンネルの数に応じた32の独立成分が抽出される。計測した脳波の独立成分分析の結果、信号源の位置が特定される(S3)。
図15は、ステップS2での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す。また、図16は、独立信号成分の信号源の推定位置をプロットした脳矢状断面を示す。
なお、脳波の測定とは別にfMRIによる測定を行う。図17は、快・不快反応時のfMRI画像を示す。快・不快の反応時において、図17中で○印で示すように帯状回が関与していることがわかる。
このように別途行われるfMRIによる測定により、例えば、「快」の状態では帯状回が関与していることが判明しているため、「快」に関連する独立成分を選定する場合、関心領域の候補として帯状回付近に存在する信号源(独立成分)を選定することができる(S4)。例えば、32の独立成分が取捨選択されて10の独立成分に絞り込まれる。
関心領域の候補となる信号源の信号(例えば10の独立成分)のそれぞれについて、時間周波数解析を行って、各時間ポイントおよび各周波数ポイントにおけるパワー値を算出する(S5)。例えば、40の時間ポイントのそれぞれにおいて20の周波数のポイントを設定して合計800ポイントでのパワー値を算出する。
図18は、ステップS5において、EEG信号源の信号を時間周波数解析した結果を示す図である。図18のグラフにおいて縦軸は周波数であり、横軸は時間である。周波数はβ、α、θの順で高い。グラフの色の濃淡は信号強度を表す。実際には時間周波数解析結果のグラフはカラーで表されるが、ここでは便宜上グレースケールで表している。
次に、時間周波数に分解された各独立成分に対して主成分分析(PCA:Principal Component Analysis)を行って、時間および周波帯域の主成分に絞り込みを行う(S6)。これにより、特徴の数が絞り込まれる。例えば、上記の800ポイントの特徴から40の主成分に次元が削減される。
各独立成分において、絞り込まれた時間周波数の主成分を対象に機械学習(SLR:Sparse Logistic Regression)を用いて判別学習を行う(S7)。これにより、その独立成分(信号源)における軸(例えば快/不快軸)の判別に寄与する主成分(時間周波数)が検出される。例えば、被験者の「快」測定時において、関心領域の信号源ではθ帯域が関係していることが判明する。また、例えば、快または不快の2択での判別精度が70%であるといったように、その独立成分の周波帯域における判別精度が算出される。
算出された判別精度を元に、有意な判別率をもつ独立成分およびその周波帯域を特定する(S8)。これにより、関心領域の候補である例えば10の独立成分の中からトップの独立成分およびその周波帯域が1つ選定される。
上記は快/不快の測定時における手順であるが、活性/非活性および期待感の各測定時においても同様の手順で関心領域の脳波独立成分および周波数帯域の特定を行う。この結果、活性/非活性の場合には関心領域のβ帯域が、期待感の場合には関心領域のθ〜α帯域がそれぞれ関与していることが判明する。
上記手順で得られた結果は、次の感性のリアルタイム評価において空間フィルタとして適用される。
なお、上記のステップS3およびS4ではすべての独立成分に対する信号源を推定した後にfMRI情報に基づいて信号源(独立成分)の絞り込みを行っているが、fMRI情報を用いずにステップS3〜S7を実施し、最後のステップS8において有意に判別に寄与する独立成分の中から、fMRI情報を用いて独立成分(信号源)の選定を行い、その中で最も判別に寄与する独立成分を選択してもよい。このようにしても結果は同じになる。
次に、上記手順で特定された独立成分の周波数帯域を用いて、時々刻々変化する被験者の脳活動を推定して感性をリアルタイムで評価する手順について説明する。図19は、脳波を用いた感性のリアルタイム評価のフローチャートである。
被験者の脳波を計測し、リアルタイムで脳波情報(各チャンネルでの脳活動)を抽出する(S11)。なお、計測された各チャンネルの脳波信号には、瞬き、目の動き、筋電に伴うノイズ(アーチファクト)が混在しているので、これらノイズ成分を除去する。
計測した脳波信号に対して独立成分分析を行って複数の独立成分(信号源)を抽出する(S12)。例えば、32チャンネルで脳波を計測した場合は、チャンネルの数に応じた32の独立成分が抽出される。図20は、ステップS12での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す。
抽出された32個の独立成分から、関心領域に関連する独立成分を特定する(S13)。ここでは、図14のフローチャートで示す手順により対象とする独立成分があらかじめ特定されているので、対象のコンポーネントは容易に特定される。図21は、関心領域に関連する独立成分として特定されたコンポーネントを示す。
次に、特定された独立成分について時間周波数解析を行って、時間周波数スペクトラムを算出する(S14)。図22は、特定された独立成分についての時間周波数解析の結果を示す。
ここで、被験者の「快」測定時においてその独立成分(関心領域の信号源)では、対象となる周波帯域がθ帯域であることが判明しているため、当該帯域でのスペクトラムの信号強度より、ある時点での、快/不快軸の値(脳生理指標値)が推定される(S15)。脳生理指標値は、例えば、0〜100の数値で表される。図23は、推定された快/不快軸の値を模式的に示す。例えば、図23に示したように、快/不快軸の値としてEEG=63が推定される。
上記は快/不快の測定時における手順であるが、活性/非活性および期待感の各測定時においても同様の手順で脳生理指標値を推定する。図24は、推定された活性/非活性軸および期待感軸の各値を模式的に示す。例えば、図24に示したように、活性/非活性軸の値としてEEG活性=42が、期待感軸(時間軸)の値としてEEG期待感=72が推定される。
推定した脳生理指標値を式3に代入して感性の評価値を計算する(S16)。例えば、EEG=63、EEG活性=42、EEG期待感=72という推定結果が得られた場合、感性の評価値は65.28と計算される。
4.脳波を用いた感性評価方法
次に、脳波を用いた別の感性評価方法について説明する。なお、以下の記載内容は、本願において優先権を主張する特願2015−204963に記載されたものである。
感性多軸モデルにおける各軸は、脳波に基づいて表される脳活動データによって評価することができる。例えば、脳波から得られる快/不快に関連する脳活動データをEEGV,EEGV,・・・,EEGVとし、各脳活動データの係数をv,v,・・・,vとすると、図2の感性多軸モデルにおける第1軸の評価値Valenceは、
Valence=v×EEGV+v×EEGV+・・・+v×EEGV
と表すことができる。
また、脳波から得られる活性/非活性に関連する脳活動データをEEGA,EEGA,・・・,EEGAとし、各脳活動データの係数をa,a,・・・,aとすると、図2の感性多軸モデルにおける第2軸の評価値Arousalは、
Arousal=a×EEGA+a×EEGA+・・・+a×EEGA
と表すことができる。
また、脳波から得られる時間に関連する脳活動データをEEGT,EEGT,・・・,EEGTとし、各脳活動データの係数をt,t,・・・,tとすると、図2の感性多軸モデルにおける第3軸の評価値Timeは、
Time=t×EEGT+t×EEGT+・・・+t×EEGT
と表すことができる。
そして、感性の評価値Emotionは、各軸の係数をa,b,cとして、
Emotion=a×Valence+b×Arousal+c×Time
と表すことができる。
なお、感性多軸モデルにおける各軸の評価値の計算に使用される係数v,a,t、および感性の評価値Emotionの計算に使用される係数a,b,cはどのような値であってもよく、目的に応じて設定すればよい。例えば、評価値が大きくなるようにしたい場合(増幅)には、係数を1以上に設定すればよく、評価値が小さくなるようにしたい場合(減衰)には係数を0以上1未満に設定すればよい。特に、感性の評価値Emotionの計算に使用される係数a,b,cは、感性多軸モデルにおける各軸の評価値を重み付け加算できるように、それぞれ0から1の範囲内かつ合計値が1になるように設定してもよい。これにより、感性多軸モデルにおける各軸の重要度あるいは寄与度に応じて各軸の評価値にバイアスをかけて感性を評価することができる。
また、図2では3軸で感性をモデル化しているが、さらに多くの軸を用いて感性をモデル化してもよい。また、上記の快/不快軸や活性/非活性軸などは軸の一例であって、別の軸で感性を多軸モデル化してもよい。
(1)実験例
快/不快と脳波との関連を調べるために実験を行った。実験の概要は図9を参照して説明した通りであるためここでの説明は省略する。
各被験者の頭部に64個以上の電極を取り付けて、呈示された刺激画像を視認しているときの脳波信号を取得する。刺激画像呈示の試行回数は200回以上とし、脳波信号の判定を図る。脳波信号のサンプリングレートは1000Hz以上とする。
すべての脳波信号に対して1Hzのハイパスフィルタをかける。
電極で測定される脳波信号には、脳(皮質)の活動に関連した電位変動のほかに、まばたきや筋電位などのアーチファクトや、商用電源ノイズなどの外部ノイズが含まれる。脳(皮質)の活動に関連した電位変動は非常に微弱であり、アーチファクトや外部ノイズに比べて小さいためSN比が非常に低い。そのため、測定された脳波信号から純粋な脳反応を反映している可能性が高い信号を抽出するために、可能な限りノイズを除去する。
被験者ごとに、上記のノイズ除去後の脳波信号の独立成分分析を行って、得られた独立成分ごとにダイポールの位置推定を行う。
さらに、独立成分分析で得られたすべての独立成分について主成分分析を行って次元縮約を行う。そして、次元縮約後のすべての独立成分をk−means法により16のクラスタにクラスタリングする。
図25は、16の各クラスタの脳波トポグラフィである。また、図26は、16の各クラスタのダイポール推定位置をプロットした脳内画像である。
上記16のクラスタのうち、快刺激と不快刺激との間に有意差(p<0.05)が見られ、かつ、脳活動データと被験者による主観評価値との間に高い相関を示すクラスタが一つあった。図27は、快刺激と不快刺激との間に有意差のあったクラスタの脳波トポグラフィおよびダイポール推定位置をプロットした脳内画像である。図28は、(a)快画像および(b)不快画像を見たときの主観評価と脳活動との相関を示す。図27のクラスタは、快画像を見たときおよび不快画像を見たときのいずれにおいても、主観評価と脳活動の高い関連が確認された。このように、今回の実験で、少なくとも後帯状回周辺が人の快/不快といった感情あるいは情動に深く関与していることが確認された。
なお、活性/非活性や時間についても脳内の同じまたは別の特定部分の活動が深く関与することが予想される。
(2)実施形態
今回の実験により得られた知見を基に、本発明に係る脳波を用いた感性評価方法は次のように実施することができる。図29は、本発明の一実施形態に係る脳波を用いた感性評価方法のフローチャートである。なお、下記の処理フローは、PCなどの汎用のコンピュータを用いて実施することができる。
被験者に何らかの刺激(対象物)を呈示した状態で被験者の脳波信号を取得する(S21)。例えば、頭部に64個の電極を取り付けて64チャンネルの脳波信号を取得する。
得られた脳波信号のフィルタリングおよびノイズ除去を行う(S22)。フィルタリングは、例えば、1Hzのハイパスフィルタである。ノイズ除去は、アーチファクトの除去、および商用電源ノイズなどの外乱ノイズの除去を含む。
フィルタリングおよびノイズ除去後の脳波信号について、独立成分分析を行い、得られた独立成分ごとにダイポールの位置推定を行う(S23)。すなわち、頭皮上で計測された脳波から脳内の主な活動源をダイポール(電流双極子)として推定する。例えば、64チャンネルの脳波信号を、64個の独立成分(ダイポール推定位置)に分解する。
独立成分分析で得られたすべての独立成分について主成分分析を行って次元縮約を行う(S24)。
次元縮約後のすべての独立成分をk−means法により所定数(例えば、16)のクラスタにクラスタリングする(S25)。
得られたクラスタのうち、快/不快を反映する脳活動を示すクラスタを選択し、その選択したクラスタに含まれる各成分(ダイポール推定位置を信号源とする脳活動データ)から、感性多軸モデルにおける快/不快軸の評価値Valenceを計算する(S26a)。
また、得られたクラスタのうち、活性/非活性を反映する脳活動を示すクラスタを選択し、その選択したクラスタに含まれる各成分(ダイポール推定位置を信号源とする脳活動データ)から、感性多軸モデルにおける活性/非活性軸の評価値Arousalを計算する(S26b)。
また、得られたクラスタのうち、時間を反映する脳活動を示すクラスタを選択し、その選択したクラスタに含まれる各成分(ダイポール推定位置を信号源とする脳活動データ)から、感性多軸モデルにおける時間軸の評価値Timeを計算する(S26c)。
ステップS26a、S26b、S26cでのクラスタ選択の際に感性データベース100を参照することができる。感性データベース100には、これまでの試行に係る多数の被験者の脳波信号およびそれら被験者による主観評価値が大量に蓄積されている。感性データベース100に蓄積された大量のデータを用いてダイポール推定位置およびクラスタリングを行うことで、ステップS26a、S26b、S26cで選択すべきクラスタを特定することができる。
なお、感性データベース100を拡充するために、ステップS21で取得した脳波信号および呈示刺激に対する被験者の主観評価値も新たに感性データベース100に記録することが好ましい。
ステップS26a、S26b、S26cで計算された各評価値を総合して、感性の評価値Emotionを計算する(S27)。
5.fMRIを用いた感性評価方法
次に、fMRIを用いた別の感性評価方法について説明する。なお、以下の記載内容は、本願において優先権を主張する特願2015−204969に記載されたものである。
感性多軸モデルにおける各軸は、fMRIに基づいて表される脳活動データによって評価することができる。例えば、fMRIから得られる快/不快に関連する脳活動データをfMRIV,fMRIV,・・・,fMRIVとし、各脳活動データの係数をv,v,・・・,vとすると、図2の感性多軸モデルにおける第1軸の評価値Valenceは、
Valence=v×fMRIV+v×fMRIV+・・・+v×fMRIV
と表すことができる。
また、fMRIから得られる活性/非活性に関連する脳活動データをfMRIA,fMRIA,・・・,fMRIAとし、各脳活動データの係数をa,a,・・・,aとすると、図2の感性多軸モデルにおける第2軸の評価値Arousalは、
Arousal=a×fMRIA+a×fMRIA+・・・+a×fMRIA
と表すことができる。
また、fMRIから得られる時間に関連する脳活動データをfMRIT,fMRIT,・・・,fMRITとし、各脳活動データの係数をt,t,・・・,tとすると、図2の感性多軸モデルにおける第3軸の評価値Timeは、
Time=t×fMRIT+t×fMRIT+・・・+t×fMRIT
と表すことができる。
そして、感性の評価値Emotionは、各軸の係数をa,b,cとして、
Emotion=a×Valence+b×Arousal+c×Time
と表すことができる。
なお、感性多軸モデルにおける各軸の評価値の計算に使用される係数v,a,t、および感性の評価値Emotionの計算に使用される係数a,b,cはどのような値であってもよく、目的に応じて設定すればよい。例えば、評価値が大きくなるようにしたい場合(増幅)には、係数を1以上に設定すればよく、評価値が小さくなるようにしたい場合(減衰)には係数を0以上1未満に設定すればよい。特に、感性の評価値Emotionの計算に使用される係数a,b,cは、感性多軸モデルにおける各軸の評価値を重み付け加算できるように、それぞれ0から1の範囲内かつ合計値が1になるように設定してもよい。これにより、感性多軸モデルにおける各軸の重要度あるいは寄与度に応じて各軸の評価値にバイアスをかけて感性を評価することができる。
また、図2では3軸で感性をモデル化しているが、さらに多くの軸を用いて感性をモデル化してもよい。また、上記の快/不快軸や活性/非活性軸などは軸の一例であって、別の軸で感性を多軸モデル化してもよい。
(1)実験例
先行研究では、情動を喚起する画像を用いた実験から脳内の島や扁桃体が人の不快予期と性格特性のそれぞれに関与することが報告されている(Simmons et al., 2006;Schuerbeek et al., 2014)。しかし、先行研究では、用いた画像の種類が少なかったり、快画像あるいは不快画像との比較がなかったりするなど、いくつかの制限がある。実験結果を汎化するためにはより多様な状況に即した知見を得ることが重要である。そこで、より多様な刺激画像を用いつつ、さらに各個人の性格特性と、快/不快を予期しているときの脳の特定部分の活動状況(賦活の程度)との関連を調べるために実験を行った。なお、実験の概要は図9を参照して説明した通りであるためここでの説明は省略する。
被験者の性格特性として「損害回避」の得点を用いた。事前に各被験者に質問紙による性格特性調査の一つである気質性格検査(Temperament and Character Inventory:TCI)を実施して「損害回避」の得点を計算した。損害回避の得点が高いほど、将来起こり得る問題に対する悲観的な心配や、好ましくない事態の予期に対する受動的回避行動(例えば、ある嫌悪刺激に対してそれに近づかないあるいは行動しないことにより回避しようとする行為)などの傾向が高いことを意味する。
被験者のfMRIの測定には3TMRI装置を用いた。刺激画像呈示の試行回数は120回とし、脳活動由来の信号の安定を図る。
図30は、快画像を予期しているとき、すなわち、低いトーン音が鳴った後の脳内画像である。図31は、不快画像を予期しているとき、すなわち、高いトーンが鳴った後の脳内画像である。快予期時および不快予期時のいずれにおいても、島皮質を含む脳領域の賦活が高まることが確認された。
さらに、島皮質を含む領域について快予期時と不快予期時の賦活を比較すると、損害回避の得点が高い人ほど不快予期時の賦活が相対的に高くなることが確認された。すなわち、島皮質を含む領域に損害回避の得点と正の相関がある領域があることが確認された。
なお、快/不快や活性/非活性についても脳内の同じまたは別の特定部分の活動が深く関与することが予想される。
(2)実施形態
今回の実験により得られた知見を基に、本発明に係るfMRIを用いた感性評価方法は次のように実施することができる。図32は、本発明の一実施形態に係るfMRIを用いた感性評価方法のフローチャートである。なお、下記の処理フローは、PCなどの汎用のコンピュータを用いて実施することができる。
被験者に何らかの刺激(対象物)を呈示した状態でfMRIを用いて被験者の全脳のBOLD信号を取得する(S31)。
得られた全脳のBOLD信号に対して、空間・時間的前処理を行う(S32)。
前処理後の全脳のBOLD信号のうち、快/不快を反映する脳活動を示すボクセルのBOLD信号、活性/非活性を反映する脳活動を示すボクセルのBOLD信号、および時間を反映する脳活動を示すボクセルのBOLD信号を抽出する(S33)。
快/不快を反映する脳活動を示すボクセルのBOLD信号から、感性多軸モデルにおける快/不快軸の評価値Valenceを計算する(S34a)。
また、活性/非活性を反映する脳活動を示すボクセルのBOLD信号から、感性多軸モデルにおける活性/非活性軸の評価値Arousalを計算する(S34b)。
また、時間を反映する脳活動を示すボクセルのBOLD信号から、感性多軸モデルにおける時間軸の評価値Timeを計算する(S34c)。
ステップS33でのボクセル選択の際に感性データベース100を参照することができる。感性データベース100には、これまでの試行に係る多数の被験者のfMRIデータおよびそれら被験者による主観評価値が大量に蓄積されている。感性データベース100に蓄積された大量のデータを用いてステップS33で選択すべきクラスタを特定することができる。
なお、感性データベース100を拡充するために、ステップS31で取得した全脳のBOLD信号および呈示刺激に対する被験者の主観評価値も新たに感性データベース100に記録することが好ましい。
ステップS34a、S34b、S34cで計算された各評価値を総合して、感性の評価値Emotionを計算する(S35)。
ステップS34a、S34b、S34c、S35における各評価値の計算において、被験者の性格特性を反映することが好ましい。例えば、損害回避傾向の高い人は、ネガティブな事象に対して脳反応が大きいことがわかっている。すなわち、損害回避傾向の高い人は、損害回避傾向の低い人と比べて、感性の評価値Emotionの絶対値が全体的に高くなる可能性がある。そのため、損害回避傾向の低い人と比較して、損害回避傾向の高い人の評価値Emotionをどのように解釈するかが難しくなる。例えば、損害回避傾向の低い人にとって少し嫌だと感じる(例えば評価値Emotionが−20程度)イベントも非常に嫌だと感じる(例えば評価値Emotionが−100以下)イベントも、損害回避傾向の高い人は極端な脳反応を示す(例えばいずれのイベントにおいても評価値Emotionが−100以下となる)ことでその差がわかりにくくなってしまう。そこで、例えばステップS34aでの快/不快の評価値Valenceの計算において、損害回避傾向の低い人の場合には、係数v,v,・・・,vを例えば1以下に設定して評価値Valenceが小さな値になるような減衰処理を施すとよい。このような減衰処理などを加えることで、損害回避傾向の高い人の感性の評価値Emotionが、損害回避傾向の低い人の感性の評価値Emotionと比較して解釈しやすくなると考えられる。
以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本発明に係る感性評価方法は、脳波などの脳生理情報を用いて感性を定量的に評価することができるため、ヒトとモノを繋ぐBEIを実現するための基礎技術として有用である。

Claims (17)

  1. 快/不快、活性/非活性、および期待感に関連する関心領域から、快/不快、活性/非活性、および期待感の各軸を含む感性多軸モデルの各軸に係る脳生理情報を抽出するステップと、
    前記感性多軸モデルの各軸の脳生理情報を用いて感性を評価するステップと、を備え
    期待感に関連する関心領域が頭頂葉、後頭葉、および島皮質を含む領域である、感性評価方法。
  2. 前記感性を評価するステップにおいて、前記感性多軸モデルの各軸の関連性を求め、この相関性と、前記感性多軸モデルの各軸の脳生理情報を用いて感性を評価する、請求項1に記載の感性評価方法。
  3. 快/不快および活性/非活性に関連する関心領域が帯状回を含む領域である、請求項1または請求項2に記載の感性評価方法。
  4. 前記脳生理情報が脳波信号に由来し、
    前記脳生理情報を取得するステップは、前記感性多軸モデルの軸ごとに、
    被験者の脳波信号を計測するステップと、
    前記脳波信号について独立成分分析を行って複数の独立成分を抽出するステップと、
    前記複数の独立成分のうち当該軸に関連する独立成分について時間周波数解析を行って時間周波数スペクトラムを算出するステップと、
    前記脳生理情報として、前記時間周波数スペクトラムのうち当該軸に関連する関心周波数帯域でのスペクトラム強度から当該軸の脳生理指標値を推定するステップとを含む、請求項1ないし請求項のいずれかに記載の感性評価方法。
  5. 前記脳生理指標値を推定するステップにおいて、fMRIにより計測されるBOLD信号を用いて関心領域を特定する、請求項に記載の感性評価方法。
  6. 快/不快に関連する関心領域の周波数帯域がθ帯域である、請求項または請求項に記載の感性評価方法。
  7. 活性/非活性に関連する関心領域の周波数帯域がβ帯域である、請求項または請求項に記載の感性評価方法。
  8. 期待感に関連する関心領域の周波数帯域がθ〜α帯域である、請求項または請求項に記載の感性評価方法。
  9. 前記脳生理情報がfMRIにより計測されるBOLD信号に由来し、
    前記脳生理情報を取得するステップは、前記感性多軸モデルの軸ごとに、
    fMRIを用いて被験者の全脳のBOLD信号を取得するステップと、
    前記全脳のBOLD信号のうち当該軸に関連するBOLD信号を選択するステップと、
    前記脳生理情報として、前記選択したBOLD信号から当該軸の脳生理指標値を推定するステップとを含む、請求項1ないし請求項のいずれか記載の感性評価方法。
  10. 快/不快、活性/非活性、および期待感に関連する関心領域から、快/不快、活性/非活性、および期待感の各軸を含む感性多軸モデルの各軸に係る脳生理情報を抽出するステップと、
    前記感性多軸モデルの各軸の脳生理情報から、脳波(EEG)の測定結果に基づく各軸の脳生理指標値(EEG,EEG活性,EEG期待感)を求めるステップと、
    被験者の主観的な統計データから得られ、前記感性多軸モデルの各軸の重み付け係数(a,b,c)を示す主観心理軸を用いて、次の計算式で、感性を評価するステップと、を備
    えた感性評価方法。
    感性=[主観心理軸]*[脳生理指標]=a*EEG+b*EEG活性+c*EEG期待感
  11. 被験者の脳波信号を取得するステップと、
    取得した脳波信号について独立成分分析を行って、得られた独立成分ごとにダイポールの位置を推定するステップと、
    前記独立成分分析で得られた独立成分の主成分分析を行って、独立成分における脳活動データの次元縮約を行うステップと、
    次元縮約された独立成分における脳活動データをクラスタリングするステップと、
    前記クラスタリングで得られた複数のクラスタから、さまざまな感情あるいは情動のそれぞれを反映する脳活動を示すクラスタを選択するステップと、
    選択したクラスタに含まれる成分から各感情あるいは情動の評価値を計算するステップと、
    前記各感情あるいは情動について計算された評価値を総合して感性の評価値を計算するステップとを備えた、脳波を用いた感性評価方法。
  12. 前記感性が、各感情あるいは情動を各軸とする多軸モデルで表され、
    前記感性の評価値を計算するステップにおいて、前記感性の評価値を前記各軸の評価値の重み付け加算により計算する、請求項11に記載の脳波を用いた感性評価方法。
  13. 前記感性が3軸の多軸モデルで表される、請求項12に記載の脳波を用いた感性評価方法。
  14. 前記感性の多軸モデルは、少なくとも快/不快の感情あるいは情動を表す軸を含んでおり、
    前記快/不快の感情あるいは情動を反映する脳活動が、後帯状回周辺の脳活動である、請求項12に記載の脳波を用いた感性評価方法。
  15. fMRIを用いて被験者の全脳のBOLD信号を取得するステップと、
    取得した全脳のBOLD信号から、さまざまな感情あるいは情動のそれぞれを反映する脳活動を示すボクセルのBOLD信号を選択するステップと、
    選択したボクセルのBOLD信号から各感情あるいは情動の評価値を計算するステップと、
    前記各感情あるいは情動について計算された評価値を総合して感性の評価値を計算するステップとを備え
    前記感性の多軸モデルは、少なくとも快予期/不快予期の感情あるいは情動を表す軸を含んでおり、
    前記快予期/不快予期の感情あるいは情動を反映する脳活動が、島皮質を含む領域の脳活動である、fMRIを用いた感性評価方法。
  16. 前記感性が各感情あるいは情動を各軸とする多軸モデルで表され、
    前記感性の評価値を計算するステップにおいて、前記感性の評価値を前記各軸の評価値の重み付け加算により計算する、請求項15に記載の脳波を用いた感性評価方法。
  17. 前記感性が3軸の多軸モデルで表される、請求項16に記載の脳波を用いた感性評価方法。
JP2016116449A 2015-10-16 2016-06-10 感性評価方法 Active JP6590411B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/768,782 US20180303370A1 (en) 2015-10-16 2016-08-10 Sensitivity evaluation method
EP16855084.6A EP3360480A1 (en) 2015-10-16 2016-08-10 Sensitivity evaluation method
PCT/JP2016/003712 WO2017064826A1 (ja) 2015-10-16 2016-08-10 感性評価方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015204969 2015-10-16
JP2015204969 2015-10-16
JP2015204963 2015-10-16
JP2015204963 2015-10-16

Publications (3)

Publication Number Publication Date
JP2017074356A JP2017074356A (ja) 2017-04-20
JP2017074356A5 JP2017074356A5 (ja) 2019-07-11
JP6590411B2 true JP6590411B2 (ja) 2019-10-16

Family

ID=58551503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016116449A Active JP6590411B2 (ja) 2015-10-16 2016-06-10 感性評価方法

Country Status (3)

Country Link
US (1) US20180303370A1 (ja)
EP (1) EP3360480A1 (ja)
JP (1) JP6590411B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6742628B2 (ja) * 2016-08-10 2020-08-19 国立大学法人広島大学 脳の島皮質活動抽出方法
JP2018187044A (ja) * 2017-05-02 2018-11-29 国立大学法人東京工業大学 感情推定装置、感情推定方法およびコンピュータプログラム
JP7097012B2 (ja) * 2017-05-11 2022-07-07 学校法人 芝浦工業大学 感性推定装置、感性推定システム、感性推定方法およびプログラム
JP7122730B2 (ja) * 2017-07-19 2022-08-22 国立大学法人広島大学 脳波信号評価装置の作動方法
JP6871830B2 (ja) * 2017-09-06 2021-05-12 花王株式会社 性格特性の検査方法
JP7222176B2 (ja) * 2017-12-11 2023-02-15 日産自動車株式会社 脳波測定方法及び脳波測定装置
CN108492643A (zh) * 2018-04-11 2018-09-04 许昌学院 一种英语学习机
JP6916527B2 (ja) * 2018-05-25 2021-08-11 国立大学法人広島大学 感性評価装置、感性評価方法および感性多軸モデル構築方法
JP6739805B2 (ja) * 2018-09-27 2020-08-12 株式会社DAncing Einstein 情報処理装置、プログラム
JP7154954B2 (ja) 2018-11-01 2022-10-18 コベルコ建機株式会社 感性フィードバック制御装置
JP7043081B2 (ja) * 2019-05-23 2022-03-29 恒雄 新田 音声想起認識装置、装着具、音声想起認識方法及びプログラム
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11553871B2 (en) 2019-06-04 2023-01-17 Lab NINE, Inc. System and apparatus for non-invasive measurement of transcranial electrical signals, and method of calibrating and/or using same for various applications
JP7290553B2 (ja) * 2019-11-20 2023-06-13 花王株式会社 皮膚への感覚刺激の快適性の評価方法
JP7257943B2 (ja) * 2019-12-05 2023-04-14 コベルコ建機株式会社 フィードバック制御装置
KR102556981B1 (ko) * 2019-12-19 2023-07-19 재단법인 제주테크노파크 소비자 만족도를 향상시키기 위한 개인 맞춤형 화장품 제공 시스템
TWI744798B (zh) * 2020-02-13 2021-11-01 國立陽明交通大學 基於腦影像的神經精神疾病評估方法及系統
JP7064787B2 (ja) * 2020-07-16 2022-05-11 株式会社DAncing Einstein 情報処理装置、プログラム、及び、情報処理方法
KR102508163B1 (ko) * 2020-09-29 2023-03-09 한국 한의학 연구원 뇌 속의 감성발원들에 근거한 뇌파 전극배치 기반 감성평가 방법 및 장치
CN114041795B (zh) * 2021-12-03 2023-06-30 北京航空航天大学 基于多模态生理信息与深度学习的情绪识别方法及系统
CN116269391B (zh) * 2023-05-22 2023-07-18 华南理工大学 一种心脑耦合分析评估方法及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004100766A2 (en) * 2003-05-06 2004-11-25 George Mason Intellectual Property Phase and state dependent eeg and brain imaging
EP2260760B1 (en) * 2004-06-18 2014-08-27 Neuronetrix Solutions, LLC Evoked response testing method for neurological disorders
CN105163659B (zh) * 2013-05-01 2018-10-23 株式会社国际电气通信基础技术研究所 脑活动分析装置、脑活动分析方法以及生物标记物装置

Also Published As

Publication number Publication date
EP3360480A4 (en) 2018-08-15
JP2017074356A (ja) 2017-04-20
US20180303370A1 (en) 2018-10-25
EP3360480A1 (en) 2018-08-15

Similar Documents

Publication Publication Date Title
JP6590411B2 (ja) 感性評価方法
Webb et al. Guidelines and best practices for electrophysiological data collection, analysis and reporting in autism
Schmidt et al. Wearable affect and stress recognition: A review
Lee et al. Assessment of construction workers’ perceived risk using physiological data from wearable sensors: A machine learning approach
JP6916527B2 (ja) 感性評価装置、感性評価方法および感性多軸モデル構築方法
US10959656B2 (en) Method for sampling cerebral insular cortex activity
Deng et al. Measurement and prediction of work engagement under different indoor lighting conditions using physiological sensing
Krupa et al. Recognition of emotions in autistic children using physiological signals
Karakale et al. Mental simulation of facial expressions: Mu suppression to the viewing of dynamic neutral face videos
Ichikawa et al. Subjective and model-estimated reward prediction: Association with the feedback-related negativity (FRN) and reward prediction error in a reinforcement learning task
Türker et al. Behavioral and brain responses to verbal stimuli reveal transient periods of cognitive integration of the external world during sleep
Kalantari et al. Evaluating wayfinding designs in healthcare settings through EEG data and virtual response testing
Heger et al. Continuous affective states recognition using functional near infrared spectroscopy
WO2017064826A1 (ja) 感性評価方法
JP2022062574A (ja) 人の表出情報からの脳活動状態推定
JP7122730B2 (ja) 脳波信号評価装置の作動方法
Lee et al. Fractal analysis of EEG upon auditory stimulation during waking and hypnosis in healthy volunteers
Deng et al. An analysis of physiological responses as indicators of driver takeover readiness in conditionally automated driving
JP6886686B2 (ja) ストレス評価装置およびストレス状態の評価方法
Sato et al. A guide for the use of fNIRS in microcephaly associated to congenital Zika virus infection
Jebelli Wearable Biosensors to Understand Construction Workers' Mental and Physical Stress
Bonnstetter et al. Electroencephalography microstates in relation to emotional decision-making
Shim et al. Altered cortical activation and functional network in post-traumatic stress disorder (PTSD) during an auditory cognitive processing
Haratian Physiological Signals Monitoring Assistive Technology in Interaction with Machines to Address Healthy Aging
Dudek Behavioural and Neural Correlates of Attention Bias to Infant Cues As Predictors of Parenting From Pregnancy to Postpartum

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190610

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190912

R150 Certificate of patent or registration of utility model

Ref document number: 6590411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250