JP2019202031A - 感性評価装置、感性評価方法および感性多軸モデル構築方法 - Google Patents

感性評価装置、感性評価方法および感性多軸モデル構築方法 Download PDF

Info

Publication number
JP2019202031A
JP2019202031A JP2018100273A JP2018100273A JP2019202031A JP 2019202031 A JP2019202031 A JP 2019202031A JP 2018100273 A JP2018100273 A JP 2018100273A JP 2018100273 A JP2018100273 A JP 2018100273A JP 2019202031 A JP2019202031 A JP 2019202031A
Authority
JP
Japan
Prior art keywords
brain
brain physiological
physiological information
human
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018100273A
Other languages
English (en)
Other versions
JP6916527B2 (ja
Inventor
昌宏 町澤
Masahiro Machizawa
昌宏 町澤
成人 山脇
Shigeto Yamawaki
成人 山脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiroshima University NUC
Original Assignee
Hiroshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hiroshima University NUC filed Critical Hiroshima University NUC
Priority to JP2018100273A priority Critical patent/JP6916527B2/ja
Priority to US16/418,946 priority patent/US20190357792A1/en
Publication of JP2019202031A publication Critical patent/JP2019202031A/ja
Application granted granted Critical
Publication of JP6916527B2 publication Critical patent/JP6916527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/378Visual stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021Measuring pressure in heart or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

【課題】どのような人に対しても現実的な時間で精度のよい感性評価結果を得る装置を提供する。【解決手段】感性評価装置10は、複数の人間タイプの中からユーザーの人間タイプを特定する人間タイプ特定部1と、脳生理指標ごとに、ユーザーの脳生理情報において複数の脳生理情報クラスタのそれぞれに属する脳生理情報を特定し、当該特定した脳生理情報から特徴データを抽出する特徴データ抽出部2と、脳生理指標ごとに、複数の人間タイプ別にあらかじめ決められた重み係数からユーザーの人間タイプに対応する重み係数を選択し、抽出された特徴データに選択した重み係数を適用して脳生理指標を算出する脳生理指標算出部3と、複数の人間タイプ別にあらかじめ決められた重み係数からユーザーの人間タイプに対応する重み係数を選択し、算出された脳生理指標に当該選択した重み係数を適用して感性評価値を算出する感性評価値算出部4とを備える。【選択図】図22

Description

本発明は、感性を定量的に評価する装置および方法ならびにそのような感性定量評価のベースとなるモデルである感性多軸モデルの構築方法に関する。
人が機械やコンピュータなどのモノを操作する場合、手や足などの身体の一部を使ってハンドル、レバー、ボタン、キーボード、マウスなどの補助デバイスを操作したり、発話やジェスチャーによりモノに意思を伝達するのが一般的である。近年、脳と機械とを直接接続して人が思った通りに機械を操作するBMI(Brain Machine Interface)あるいはBCI(Brain Computer Interface)と呼ばれる技術が研究開発されている。BMIあるいはBCIは、人の意思をモノに直接的に伝達できるようになることでモノの使い勝手の向上に期待されるほか、事故や病気によって運動機能や感覚機能などを失った人が自分の意思でモノを操作してモノを通じて他人と意思疎通を図ることができるようになる点で、医療や福祉の分野で期待されている。
人の無意識あるいは潜在意識、特に感性といった人の精神活動あるいは心の情報を読み取ることができれば、人に心に優しいモノづくりやサービス提供が可能になる。例えば、対象物に対して人が抱く感性を客観的に検出し、または予測することができれば、そのような感性を発揮させるような対象物を事前にデザインすることができる。さらに、読み取った感性の情報は、人の心のケアや人と人とのコミュニケーションに活かすこともできる。本発明者らは、人の感性を読み取り、感性情報を介して人と人、ヒトとモノを繋ぐBEI(Brain Emotion Interface)の開発を目指している。
人の感性の定量評価をするさまざまな手法が提案されているが、その多くはなんらかの一定の基準での定量評価法である。例えば、心拍数や心拍変動数などの絶対値をもとにするものや、脳機能画像(MRI: Magnetic Resonance Imaging)などから得られる脳におけるとある領域の活動の変動値や脳波(EEG: Electroencephalogram)などから得られる特定の周波数のパワーの変動値などを基準とした定量評価などの脳情報をもとにするものがある。例えば、下記特許文献1には、快/不快、活性/非活性、および期待感に関連する関心領域から、快/不快、活性/非活性、および期待感の各軸を含む感性多軸モデルの各軸に係る脳生理情報を抽出し、感性多軸モデルの各軸の脳生理情報を用いて感性を評価することで感性を定量的に評価する方法が開示されている。
国際公開第2017/064826号
上記特許文献1に開示された感性評価方法では各被験者に最適化された感性多軸モデルを用いて感性を定量評価するため、未知の人の感性の定量評価を行う場合にはまずその人に最適化されたモデルを一から構築する必要がある。しかし、そのようなモデル構築には多くの時間と手間がかかるため、誰でも気軽にすぐに感性評価を行うというわけにはいかない。
この問題の解決策として、すべての人に適用可能な平均的な単一の標準モデルをあらかじめ用意しておいて未知の人の感性定量評価を行う際にその標準モデルを適用すればよいという考えがある。しかし、人は性別、年齢、性格などのさまざまな要因で個性が大きく異なり、また、各要因に対応した脳生理反応にも多分に個人差が存在することがわかっている。したがって、個性や脳生理情報が大きく異なる人々に共通の標準モデルを適用すると、かえってどの人にとっても精度の低い評価結果しか得られなくなってしまうこととなる。
上記問題に鑑み、本発明は、どのような人に対しても現実的な時間で精度のよい感性評価結果が得られるようにすることを課題とする。
本発明の一局面に従えば、Σp*(Σq*x)(ただし、xは脳活動計測装置によって計測された脳生理情報から抽出された少なくとも一つの特徴データであり、qは前記特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標であり、pは前記脳生理指標の重み係数である。)で表される感性評価値を算出する感性評価装置であって、人の特性を分類した,あらかじめ決められた複数の人間タイプの中から感性評価対象のユーザーが該当する人間タイプを特定する人間タイプ特定部と、前記脳活動計測装置によって計測された前記ユーザーの脳生理情報を受け、前記脳生理指標ごとに、当該脳生理情報において前記脳生理指標に統計的有意性を有するあらかじめ決められた複数の脳生理情報クラスタのそれぞれに属する脳生理情報を特定し、当該特定した脳生理情報から前記特徴データを抽出する特徴データ抽出部と、前記脳生理指標ごとに、前記複数の人間タイプ別にあらかじめ決められた前記重み係数qから前記ユーザーの人間タイプに対応する重み係数qを選択し、前記抽出された特徴データに当該選択した重み係数qを適用して前記脳生理指標を算出する脳生理指標算出部と、前記複数の人間タイプ別にあらかじめ決められた前記重み係数pから前記ユーザーの人間タイプに対応する重み係数pを選択し、前記算出された脳生理指標に当該選択した重み係数pを適用して前記感性評価値を算出する感性評価値算出部とを備えた感性評価装置が提供される。
また、本発明の他の局面に従えば、上記感性評価装置に対応する感性評価方法が提供される。
この感性評価装置および方法によれば、感性評価対象のユーザーの人間タイプが特定され、その人間タイプに応じた計算式で当該ユーザーの感性評価値が計算される。このため、感性評価を行う場合に各ユーザーに最適化されたモデルを一から構築する必要がなく、誰でもすぐさま感性評価を行うことができる。また、すべての人に適用可能な平均的な単一の標準モデルを適用する場合と比較して、より高精度な感性評価結果を得ることができる。
また、本発明のさらに他の局面に従えば、Σp*(Σq*x)(ただし、xは脳活動計測装置によって計測された脳生理情報から抽出された少なくとも一つの特徴データであり、qは前記特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標であり、pは前記脳生理指標の重み係数である。)で感性評価値を表す感性多軸モデルの構築方法であって、人の特性を表した定性情報をクラスタリングして、人の特性を分類する複数の人間タイプを決定するステップと、複数の被験者に対して行った主観評定実験で得られた前記脳生理指標の主観評定値について前記複数の人間タイプ別に回帰分析を行って前記複数の人間タイプ別の前記重み係数pを算出するステップと、前記脳生理指標ごとに、前記主観評定実験において計測された前記複数の被験者の脳生理情報において前記脳生理指標に統計的有意性を有する脳生理情報を選定するステップと、前記脳生理指標ごとに、前記選定された脳生理情報をクラスタリングして複数の脳生理情報クラスタを決定するステップと、前記脳生理指標ごとに、前記複数の人間タイプのそれぞれと前記複数の脳生理情報クラスタのそれぞれとの関連度合いを求め、当該関連度合いを前記複数の人間タイプ別の前記重み係数qに変換するステップとを備えた感性多軸モデル構築方法が提供される。
この感性多軸モデル構築方法によれば、人の特性を表した定性情報から複数の人間タイプが決定され、また、複数の被験者に対して行った主観評定実験結果から脳生理指標別および人間タイプ別の複数の脳生理情報クラスタおよび感性評価値算出式の重み係数pおよびqが算出され、人間タイプ別の感性多軸モデルが構築される。当該構築された人間タイプ別の感性多軸モデルは、例えば、上記の感性評価装置および方法で使用することができる。さらに、被験者やサンプルデータを積み重ねていくことで感性多軸モデルを累進的に更新していくことができる。
本発明によると、どのような人に対しても現実的な時間で精度のよい感性評価結果を得ることができる。
情動、感情、感性の関係を表す模式図 本発明らが提唱する感性多軸モデルの模式図 感性多軸モデルの各軸に関連する関心領域を説明する図 快反応時のさまざまなfMRI画像を示す図 快反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図 関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図 活性反応性時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図 関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図 快/不快の刺激画像呈示実験の概要を説明する図 快画像予期時および不快画像予期時の各fMRI画像を示す図 快画像予期時と不快画像予期時のEEG信号の差分における信号源をプロットした脳矢状断面(頭頂葉部分)および当該部分のEEG信号の時間周波数分布を示す図 快画像予期時と不快画像予期時のEEG信号の差分における信号源をプロットした脳矢状断面(視覚野)および当該部分のEEG信号の時間周波数分布を示す図 人間タイプ別の感性多軸モデルの構築手順を示すブロックフロー図 性格特性5因子をクラスタリングして3つの人間タイプを決定した様子を示す模式図 主観心理軸決定のための自己評価の一例を示す図 関心領域の脳波独立成分および周波数帯域を選定するフローチャート 脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す図 独立信号成分の信号源の推定位置をプロットした脳矢状断面図 EEG信号源の信号を時間周波数解析した結果を示す図 快/不快に関連する脳生理情報クラスタを模式的に表す図 快/不快、活性/非活性、および期待感の各脳生理指標に係る各人間タイプと各脳生理情報クラスタとの関連度合いを表すグラフ 本発明の一実施形態に係る感性評価装置のブロック図 快/不快に関する人間タイプ別の脳生理指標の算出を説明する図 算出された快/不快、活性/非活性、および期待感の各値を示す模式図 わくわくメーターの表示例を示す図 感性評価装置をクラウド環境に配置した実施形態を示す模式図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
本発明に係る感性評価装置および方法は、各個人に最適化されたモデル(感性多軸モデル)を用いるのではなく、また、すべての人に適用可能な平均的な単一の標準モデルを用いるのでもなく、あらかじめ複数の人間タイプ別に感性多軸モデルを用意しておいて、未知の人の感性の定量評価を行う場合にその人の人間タイプに対応する感性多軸モデルを用いて感性評価値を算出し可視化するものである。以下、そのような人間タイプ別の感性多軸モデルの構築方法および人間タイプ別の感性多軸モデルを用いて感性評価値を算出する装置および方法の具体例について説明する。
1.感性の定義
人は何かを見たり、聞いたり、あるいは何かに触れたり、触れられたりしたときに、わくわくしたり、うきうきしたり、はらはらしたり、どきどきしたりする。これらは、単なる情動や感情と異なり、運動神経および感覚神経を含む体性神経系を通して脳に入ってくる外受容感覚、交感神経および副交感神経を含む自律神経系、それに基づく内受容感覚、さらには記憶や経験などが深く関与した複雑で高次の脳活動によってもたらされていると考えられる。
本発明では、わくわく、うきうき、はらはら、どきどきなどの感情あるいは情動とは異なる複雑な高次脳機能を広く「感性」として捉える。すなわち、本発明において、感性を、外受容感覚情報(体性神経系)と内受容感覚情報(自律神経系)を統合し、過去の経験、記憶と照らし合わせて生じる情動反応を、より上位のレベルで俯瞰する高次脳機能と定義する。換言すると、感性は、予測(イメージ)と結果(感覚情報)とのギャップを経験・知識と比較することによって直感的に“ふっ”と気付く高次脳機能であると言える。
ここで、情動、感情、および感性の3つの概念を整理する。図1は情動、感情、感性の関係を表す模式図である。情動は外界からの刺激などによって引き起こされる無意識的・本能的な脳機能であり、3つの中で最も低次の脳機能である。感情は情動を意識化したより高次の脳機能である。そして、感性は経験・知識も反映したヒト特有の脳機能であり、3つの中で最も高次の脳機能である。
このような高次脳機能である感性の全体像を把握するには、種々の観点あるいは側面から総合的に感性を捉える必要がある。
例えば、人が快い、快適、あるいは心地よいと感じているか、あるいは反対に人が気持ち悪い、不快、あるいは心地よくないと感じているかといった「快/不快」の観点あるいは側面から感性を捉えることができる。
また、例えば、人が覚醒、興奮、あるいは活性状態にあるか、あるいは反対に人がぼんやり、沈静、あるいは非活性状態にあるかといった「活性/非活性」の観点あるいは側面から感性を捉えることができる。
また、例えば、人が何かを期待あるいは予期してわくわくしているか、あるいは期待が外れてがっかりしているかといった「期待感」の観点あるいは側面から感性を捉えることができる。
快/不快および活性/非活性を2軸に表したラッセル(Russell)の円環モデルが知られている。感情はこの円環モデルで表すことができる。しかし、感性は予測(イメージ)と結果(感覚情報)とのギャップを経験・知識と比較する高次脳機能であるので、快/不快および活性/非活性の2軸からなる既存の円環モデルでは十分に表し得ないと本発明者らは考える。そこで、本発明者らは、ラッセルの円環モデルに、時間軸(例えば、期待感)を第3軸として加えた感性多軸モデルを提唱する。
図2は、本発明らが提唱する感性多軸モデルの模式図である。感性多軸モデルは、例えば、「快/不快」を第1軸、「活性/非活性」を第2軸、「時間(期待感)」を第3軸として表すことができる。感性を多軸モデル化することのメリットは、各軸について評価値を算出し、それらを総合することで、漠然と広い概念の感性を定量的に評価する、すなわち、可視化することができる点にある。
この高次脳機能である感性を正確に評価することができれば、ヒトとモノを繋ぐBEI技術の確立に繋がる。そして、多様な分野で感性情報を活用して新価値を創造して、新しい価値を生み出すことができる。例えば、使えば使うほどヒトの思いに的確に反応し、喜び、やる気、愛情などの精神的価値が成長する製品・システムの創出を通してBEI技術の社会実装を実現すると考えられる。
2.関心領域の特定
快/不快、活性/非可性、および期待感の各脳反応に伴い、脳のどの部位が活動するかをfMRIとEEGにより測定した結果について説明する。この測定結果は、感性を可視化、数値化する上での基礎データになり、極めて重要な位置づけにある。
fMRIとは、ある心的過程と特定の脳構造を非侵襲的に対応づける脳機能画像法の一つであり、神経活動に伴う局所脳血流の酸素レベルに依存した信号強度を計測するものである。そのためfMRIはBOLD(Blood Oxygen Level Dependent)法とも呼ばれる。
脳の中で神経細胞の活動が生じると多くの酸素が要求されるため、脳血流を通して酸素と結合した酸化ヘモグロビン(oxyhemoglobin)が局所において流れ込んでくる。そのときに神経細胞の酸素摂取を上回る酸素が供給され、結果として酸素を運び終えた還元型ヘモグロビン(deoxyhemoglobin)が局所において相対的に減少することになる。この還元型ヘモグロビンは磁気的性質を持ち、血管周囲の磁場の局所的不均一性を引き起こす。fMRIは、このような酸素との結合関係に応じて磁気的性質を変化させるヘモグロビンの特徴を利用して、神経細胞の活動に伴う脳血流の酸素化バランスの局所的変化によって二次的に起こる信号増強を捉えるものである。現在では、局所的な脳血流の変化を全脳にわたり、数ミリメートル程度の空間的解像度で、秒単位で計測することが可能である。
図3は、感性多軸モデルの各軸に関連する関心領域を説明する図であり、各軸に関連する脳反応についてfMRIとEEGにより測定した結果を示す。図3において、快・不快軸、活性・非活性軸のfMRI画像、EEG画像は、それぞれ、快反応時と不快反応時、活性反応時と非活性反応時との差分(変化分)を示すものである。また、期待感軸のfMRI画像は快画面予期反応時のものであり、EEG画像は快画像予期反応時と不快画像予期反応時との差分を示すものである。
図3に示したように、「快・不快」と「活性・非活性」反応時には帯状回が活動していることがfMRIおよびEEGの測定結果から示され、「期待感」反応時にはfMRIおよびEEGの測定結果から、頭頂葉、視覚野において脳活動があることが示される。
図3に示した感性多軸モデルの各軸に関連する関心領域は、fMRIおよびEEGを用いたさまざまな条件下での脳反応の観測実験を通じて得られた知見である。以下、その観測実験について具体的に説明する。
(1)快/不快時の脳反応について
まず、国際感情画像システム(IAPS: International Affective Picture System)から抽出した快画像(例えば、愛くるしいアザラシの赤ちゃん画像)と不快画像(例えば、危険な産業廃棄物画像)を27名の実験参加者に提示することにより、実験参加者の快/不快時の脳反応を観察する。
図4は、快反応時のさまざまなfMRI画像(脳の矢状断、冠状断、および水平断の各fMRI断面画像)を示す図である。図4において、不快反応時(不快画像を見た場合)と比較して快反応時(快画像を見た場合)に顕著に反応した領域に○印を付している。図4から明らかなように、快反応時には、後帯状回、視野野、線条体、眼窩前頭前野が賦活する。
図5は、快反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図である。図5において、不快反応時と比較して快反応時に顕著に反応した領域に○印を付している。図5からわかるように、快反応時には後帯状回を含む領域の脳活動がfMRIとEEGの観測結果で共通している。この結果から、帯状回を含む領域を快/不快反応時の関心領域として特定することができる。
図6は、関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図6左側は、関心領域(快反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図6右側は快反応時と不快反応時の差分を示す。図6右側において色の濃い部分は差分が大きいことを表す。このEEGの測定結果から、快反応時には関心領域のθ帯域の反応が関与していることがわかる。
(2)活性/非活性時の脳反応について
IAPSから抽出した活性画像(例えば、美味しそうな寿司の画像)および非活性画像(例えば、静かな田園にたたずむ館の画像)を27名の実験参加者に提示することにより、実験参加者の活性/非活性時の脳反応を観察する。
図7は、活性反応時のfMRI画像およびEEG信号源をプロットした脳矢状断面を示す図である。図7において、非活性反応時(非活性画像を見た場合)と比較して活性反応時(活性画像を見た場合)に顕著に反応した領域に○印を付している。図7からわかるように、活性反応時には後帯状回を含む領域の脳活動がfMRIとEEGの観測結果で共通している。この結果から、帯状回を含む領域を活性/非活性反応時の関心領域として特定することができる。
図8は、関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図8左側は、関心領域(活性反応時の後帯状回)のEEG信号源の信号を時間周波数解析した結果を示す図である。図8右側は活性反応時と非活性反応時の差分を示す。図8右側において色の濃い部分は差分が大きいことを表す。このEEGの測定結果から、活性反応時には関心領域のβ帯域の反応が関与していることがわかる。
(3)期待時の脳反応について
まず、27名の実験参加者に対して、情動を喚起する刺激画像を呈示し、画像を視認しているときの実験参加者の感情状態を評定させる実験を行う。刺激画像として、IAPSから抽出した情動を喚起するカラー画像80枚を用いる。そのうち40枚が快さを喚起する画像(快画像)であり、残りの40枚が不快を喚起する画像(不快画像)である。
図9は、快/不快の刺激画像呈示実験の概要を説明する図である。刺激画像は、短いトーン音(Cue)を0.25秒間鳴らして、その3.75秒後に4秒間だけ呈示する。そして、呈示された画像を快いと感じたか、不快と感じたかを被験者にボタンで回答してもらう。ただし、低いトーン音(500Hz)が鳴った後には必ず快画像が呈示される。高いトーン音(4000Hz)が鳴った後には必ず不快画像が呈示される。そして、中くらいのトーン音(1500Hz)が鳴った後には、50%の確率で快画像または不快画像が呈示される。
この実験において、いずれかのトーン音が鳴ってから画像が呈示されるまでの4秒間は実験参加者が次に起こるであろうこと(この実験の場合には、快画像または不快画像が呈示されること)を予期している期間であり、この予期時における脳活動を観測した。例えば、低いトーン音が鳴ったとき、実験参加者は快画像が呈示されることを予期する「快画像予期」の状態にあり、高いトーン音が鳴ったとき、不快画像が呈示されることを予期する「不快画像予期」の状態にある。一方、中くらいのトーン音が鳴ったとき、実験参加者は快画像および不快画像のいずれが呈示されるのかがわからない「快・不快予期不可」の状態にある。
図10は、快画像予期時および不快画像予期時の各fMRI画像(脳の矢状断および水平断の各fMRI断面画像)を示す図である。図10の○印部分から明らかなように、fMRIでは快画像予期時と不快画像予期時には、頭頂葉、視覚野、島皮質を含む脳領域が関与していることがわかる。
図11は、EEGによる測定結果を示し、図11aは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図11bは、関心領域(快画像予測時の頭頂葉の領域)のEEG信号源の信号を時間周波数解析した結果を示し、図11cは、関心領域(不快画像予測時の頭頂葉の領域)のEEG信号源の信号を時間周波数解析した結果を示す。さらに、図11dは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このEEGの測定結果から、快画像予測時において頭頂葉のβ帯域の反応が関与していることが理解される。
図12は、EEGによる測定結果を示し、図12aは脳の矢状断の断面を示すものであり、不快画像予期時と比較して快画像予期時において顕著に反応した領域に破線○印を付している。また、図12bは、関心領域(快画像予測時の視覚野の領域)のEEG信号源の信号を時間周波数解析した結果を示し、図12cは、関心領域(不快画像予測時の視覚野の領域)のEEG信号源の信号を時間周波数解析した結果を示す。さらに、図12dは、快予測時と不快予測時の差分を示した図であり、図中で丸で囲んだ部分は差分があった領域であり、その他の部分は差分がなかった領域である。このEEGの測定結果から、快画像予測時視覚野のα帯域の反応が関与していることが理解される。
3.人間タイプ別の感性多軸モデルの構築
本発明者らは、感性を構成する3軸は独立したものでなく相関性があるものであり、各軸の値を実測すると同時に各軸の感性に寄与する関係性を特定する必要があるとの知見に基づき、感性の主観心理軸と感性の脳生理指標を次のように融合させて感性の可視化を図っている。
感性=[主観心理軸]*[脳生理指標]=a*EEG+b*EEG活性+c*EEG期待感…(式1)
ここで、主観心理軸は各軸の重み付け係数(a,b,c)を示し、脳生理指標はEEGの測定結果に基づく各軸の値(EEG,EEG活性,EEG期待感)を示す。
式1を一般化すると感性評価値は次式で表される。
感性=Σp*(Σq*x)…(式2)
ここで、xは脳活動計測装置(例えば、脳波計)によって計測された脳生理情報(例えば、EEGから把握される脳神経活動)から抽出された少なくとも一つの特徴データ(例えば、時間周波数スペクトラム)であり、qは特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標(例えば、感性多軸モデルにおける快/不快の軸、活性/非活性の軸、および期待感の各軸)であり、pは脳生理指標の重み係数である。
さらに、本発明者らは、これまでの研究から、すべての人に平均的な単一の感性多軸モデルを適用するよりも、性別、年齢、性格などの特性をもとに人をいくつかのタイプ(人間タイプ)に分類し、各個人の人間タイプに最適化された感性多軸モデルを適用した方がより精度の高い感性評価結果が得られるという知見に至った。そこで、以下、本発明の一実施形態に係る人間タイプ別の感性多軸モデルの構築手順について説明する。
図13は、人間タイプ別の感性多軸モデルの構築手順を示すブロックフロー図である。概略的には、まず、さまざまな人の特性を表した特性情報(性別、年齢、性格などの情報)をクラスタリングして、人の特性を分類する複数の人間タイプを決定する(S10)。そして、複数の被験者に対して感性評価に関する主観評定実験を行ってその実験結果から得られた脳生理指標の主観評定値について、ステップS10で決定された複数の人間タイプ別に回帰分析(例えば、線形回帰分析)を行って複数の人間タイプ別の重み係数p(式2を参照)を算出する(S20)。一方、脳生理指標ごとに、上記主観評定実験において計測された複数の被験者の脳生理情報において脳生理指標に統計的有意性を有する脳生理情報を選定する(S30)。そして、脳生理指標ごとに、選定された脳生理情報をクラスタリングして複数の脳生理情報クラスタを決定する(S40)。さらに、脳生理指標ごとに、複数の人間タイプのそれぞれと複数の脳生理情報クラスタのそれぞれとの関連度合いを求め、当該関連度合いを複数の人間タイプ別の重み係数q(式2を参照)に変換する(S50)。以下、人間タイプの決定(S10)、主観心理軸の決定(S20)、脳生理情報の選定(S30)、選定された脳生理情報の統計処理(S40)、および人間タイプ別の脳生理指標の決定(S50)ついて順に詳細に説明する。
A.人間タイプの決定
人は、その人が持つ個人特性に応じていくつかのグループすなわち人間タイプに分類することができる。人間タイプ分類のための特性情報として、その人の性別、年齢あるいは年齢層、居住地、国籍などの客観的な特性情報と、その人の思想、嗜好、価値観、世界観、認知傾向などの主観的な特性情報とがある。人間タイプ分類においていずれの種類の特性情報を用いても、また、これら複数の特性情報を組み合わせてもよい。以下では主観的な特性情報である性格を用いて人間タイプの分類を行った例を示す。
人の性格を神経質(Neuroticism)、外向性(Extraversion)、開放性(Openness)、協調性(Agreeableness)、および誠実性(Conscientiousness)の5つの因子の組み合わせにより診断するビッグファイブ性格診断テストを18歳から79歳までの2つの被験者グループ(3046名および3104名)に対して実施した。そして、これら2つのグループに対するビッグファイブ性格診断テストの結果をk-means法などを用いてクラスタリングし、さらにGap統計法などの統計基準手法を適用することで、いずれのグループも人を共通した3つの人間タイプに分類することができた。図14は、性格特性5因子をクラスタリングして3つの人間タイプを決定した例を示す模式図である。
なお、上記の人間タイプの決定は一例であって、被験者グループの数および各グループの人数は上記数字に限定されない。
B.主観心理軸の決定
感性の主観心理軸を用いた各軸の寄与率、すなわち重み付けは次の手順で決定することができる。
(1)実験参加者(男女学生:28名)に対して、上述の快/不快の刺激画像呈示実験を行う。ここでは、各トーン音が鳴ってから画像が呈示されるまでの4秒間(予期時)における脳の感性状態を実験参加者の自己評価により評定してもらう。なお、事前に実験参加者に簡易なビッグファイブ性格診断テストを行って各実験参加者の人間タイプを特定しておく。実験参加者には上記の3つの人間タイプが混在している。
(2)実験参加者には、3条件(快画像予期時、不快画像予期時、および快・不快予期不可)ごとに、わくわく(感性)度合、快度合(快軸)、活性度合(活性軸)、期待感度合(期待感軸)についてVAS(Visual Analog Scale)を用いて0から100までの101段階で評定してもらう。図15は、主観心理軸決定のための自己評価の一例を示す図であり、低いトーン音が鳴ったとき(快画像予期時)の快度合を評定している様子を示す。実験参加者は0から100の間でカーソルを移動させて評定を行う。評定の結果、例えば、ある実験参加者から、快画像予期に関して、わくわく=73、快=68、活性=45、期待感=78といったような主観評定値が得られる。
(3)各人間タイプに属する実験参加者全員から得られた3条件それぞれの主観評定値から、線形回帰により主観心理軸の各係数を算出する。この結果、人間タイプ別に、例えば次式のような主観心理軸における感性評価式が得られる。
人間タイプI:感性=0.58*主観+0.12*主観活性+0.32*主観期待感…(式3)
人間タイプII:感性=0.69*主観+0.04*主観活性+0.26*主観期待感…(式4)
人間タイプIII:感性=0.21*主観+0.19*主観活性+0.60*主観期待感…(式5)
ただし、主観、主観活性、主観期待感は、実験参加者が評定した快度合、活性度合、期待感度合の各数値である。
(4)主観心理軸における主観、主観活性、主観期待感と脳生理指標のEEG、EEG活性、EEG期待感とはそれぞれ対応関係にある。したがって、主観評定値の線形回帰により算出された主観心理軸の各軸の重み係数は脳生理指標のEEG、EEG活性、EEG期待感の各重み係数(式2における重み係数p)として用いることができる。例えば、式3ないし式5で得られた各軸の重み係数を式1に適用することで、感性は、時々刻々測定されるEEG,EEG活性,EEG期待感を用いて次式のように表される。
人間タイプI:感性=0.58*EEG+0.12*EEG活性+0.32*EEG期待感…(式6)
人間タイプII:感性=0.69*EEG+0.04*EEG活性+0.26*EEG期待感…(式7)
人間タイプIII:感性=0.21*EEG+0.19*EEG活性+0.60*EEG期待感…(式8)
すなわち、式6ないし式8により人間タイプ別に感性を数値により可視化することができる。
C.脳生理情報の選定
図16は、関心領域の脳波独立成分および周波数帯域を選定するフローチャートである。被験者に例えば快/不快を伴う画像を呈示して視覚刺激を与え、この刺激により誘発されたEEG脳波信号を計測する(S1)。なお、計測された脳波信号には、瞬き、目の動き、筋電に伴うノイズ(アーチファクト)が混在しているので、これらノイズを除去する。
計測した脳波信号に対して独立成分分析(ICA: Independent Component Analysis)を行って複数の独立成分(およびその成分の信号源)を抽出する(S2)。例えば、32チャンネルで脳波を計測した場合は、チャンネルの数に応じた32の独立成分が抽出される。計測した脳波の独立成分分析の結果、信号源の位置が特定される(S3)。
図17は、ステップS2での脳波信号の独立成分分析で抽出された各独立成分における信号強度分布を表したコンポーネント(脳波トポグラフィ)を示す。また、図18は、独立信号成分の信号源の推定位置をプロットした脳矢状断面を示す。
例えば、「快」に関連する独立成分を選定する場合、関心領域の候補として帯状回付近に存在する信号源(独立成分)を選定することができる(S4)。例えば、32の独立成分が取捨選択されて10の独立成分に絞り込まれる。
関心領域の候補となる信号源の信号(例えば10の独立成分)のそれぞれについて、時間周波数解析を行って、各時間ポイントおよび各周波数ポイントにおけるパワー値を算出する(S5)。例えば、40の時間ポイントのそれぞれにおいて20の周波数のポイントを設定して合計800ポイントでのパワー値を算出する。
図19は、ステップS5において、EEG信号源の信号を時間周波数解析した結果を示す図である。図19のグラフにおいて縦軸は周波数であり、横軸は時間である。周波数はβ、α、θの順で高い。グラフの色の濃淡は信号強度を表す。実際には時間周波数解析結果のグラフはカラーで表されるが、ここでは便宜上グレースケールで表している。
次に、時間周波数に分解された各独立成分に対して主成分分析(PCA: Principal Component Analysis)を行って、時間および周波帯域の主成分に絞り込みを行う(S6)。これにより、有意な特徴の数に絞り込まれる。例えば、上記の800ポイントの特徴から40の主成分に次元が削減される。
各独立成分において、絞り込まれた時間周波数の主成分を対象にSLR(Sparse Logistic Regression)などの機械学習を用いて判別学習を行う(S7)。これにより、その独立成分(信号源)における軸(例えば快/不快軸)の判別に寄与する主成分(時間周波数)が検出される。例えば、被験者の「快」測定時において、関心領域の信号源ではθ帯域が関係していることが判明する。また、例えば、快または不快の2択での判別精度が70%であるといったように、その独立成分の周波帯域における判別精度が算出される。
算出された判別精度を元に、有意な判別率をもつ独立成分およびその周波帯域を特定する(S8)これにより、関心領域の候補である例えば10の独立成分の中から1または複数の独立成分およびその周波帯域が選定される。
上記は快/不快の測定時における手順であるが、活性/非活性および期待感の各測定時においても同様の手順で関心領域の脳波独立成分および周波数帯域の選定を行う。この結果、活性/非活性の場合には関心領域のβ帯域が、期待感の場合には関心領域のθ〜α帯域がそれぞれ関与していることが判明する。
D.選定された脳生理情報の統計処理
選定された脳生理情報を被験者全員分集め、混合ガウスモデル(GMM: Gaussian Mixture Model)を用いてクラスタリングを行う。クラスタ数の決定にはベイズ情報量基準などを採用することができる。脳生理情報が脳波独立成分である場合、各独立成分の空間的重みベクトル(各チャンネルの重み値)をクラスタリングすることとなる。
一例として、被験者28名から、脳生理指標「快/不快」に統計的有意性を有する脳波独立成分が118個、脳生理指標「活性/非活性」に統計的有意性を有する脳波独立成分が128個、および脳生理指標「期待感」に統計的有意性を有する脳波独立成分が148個得られ、それぞれを9個のクラスタにクラスタリングすることができた。図20は、快/不快に関連する脳生理情報クラスタを模式的に表す図である。図中のスキャタープロットは118個の各独立成分を表す。なお、独立成分は多次元データのため便宜的にt-SNE(t-distributed Stochastic Neighbor Embedding)で2次元表現している。図中の9つの脳波トポグラフィは9つの脳生理情報クラスタを代表的に表す。
E.人間タイプ別の脳生理指標の決定
式2にあるように脳生理指標はΣq*xで表すことができ、重み係数qには人間タイプごとに異なる値が適用される。例えば、脳生理指標のEEGは人間タイプ別に次式のように算出される。
人間タイプI:EEG=q (1)*x+q (1)*x+…+q (1)*x…(式9)
人間タイプII:EEG=q (2)*x+q (2)*x+…+q (2)*x…(式10)
人間タイプIII:EEG=q (3)*x+q (3)*x+…+q (3)*x…(式11)
人間タイプ別の重み係数qを求めるために、脳生理指標ごとに、複数の脳生理情報クラスタと各人間タイプとの関連度合いを求める。当該関連度合いは、対応分析(corresponding analysis)などの統計解析手法を用いて求めることができる。そして、求めた関連度合いを変換することで人間タイプ別の重み係数qを得ることができる。
図21は、快/不快、活性/非活性、および期待感の各脳生理指標に係る各人間タイプと各脳生理情報クラスタとの関連度合いを表すグラフである。例えば、脳生理指標「快/不快」に関して第5脳生理情報クラスタの寄与度は人間タイプIの人は比較的高く、人間タイプIIIの人は比較的低くなっている。このように、同じ脳生理情報クラスタでも人間タイプに応じて脳生理指標への寄与度が異なることがある。人間タイプ別の重み係数qはそのような人間タイプに応じた脳生理指標への寄与度を反映してより精度の高い脳生理指標の算出を可能にする。
4.感性のリアルタイム評価
次に、上述の手順に従って構築された人間タイプ別の感性多軸モデルを用いてユーザーの感性をリアルタイムに評価する感性評価装置について説明する。
(感性評価装置の実施形態)
図22は、本発明の一実施形態に係る感性評価装置のブロック図である。感性評価装置10は、人間タイプ特定部1と、特徴データ抽出部2と、脳生理指標算出部3と、感性評価値算出部4と、モデルデータ記憶部5と、モデルデータ更新部6と、可視化部7とを備えている。なお、感性評価装置10は、パソコンに感性評価プログラムをインストールする、あるいはスマートフォンやタブレット端末に感性評価アプリをインストールすることで構成可能である。
人間タイプ特定部1は、人の特性を分類した,あらかじめ決められた複数の人間タイプの中から感性評価対象のユーザーが該当する人間タイプを特定する。なお、複数の人間タイプは、例えば、上述の人間タイプIないし人間タイプIIIのことであり、人間タイプが3つ存在することがモデルデータ記憶部5に人間タイプデータ51として記憶されている。ユーザーの人間タイプを特定するためにビッグファイブ性格診断テストを紙媒体などで行ってその回答をキーボード、マウス、タッチパネルなどの入力インターフェイス101を通じて完成評価装置10に入力するようにしてもよいし、感性評価装置10において性格診断アプリなどを実行して簡易な人間タイプ診断を行ってもよい。なお、人間タイプ特定部1は、特定した人間タイプとユーザーとを紐づけて図略のメモリに記憶してもよい。これにより、次回以降、そのユーザーが感性評価装置10にログインすると、人間タイプ特定部1は、性格診断テストを行うことなくログイン情報からそのユーザーの人間タイプを特定することができる。
特徴データ抽出部2は、脳活動計測装置102によって計測されたユーザーの脳生理情報を受け、脳生理指標ごとに、当該脳生理情報において脳生理指標に統計的有意性を有するあらかじめ決められた複数の脳生理情報クラスタのそれぞれに属する脳生理情報を特定し、当該特定した脳生理情報から特徴データを抽出する。脳活動計測装置102が脳波計であり、脳生理情報が脳波信号である場合を例に挙げると、特徴データ抽出部2は、独立成分抽出部21と、独立成分特定部22と、時間周波数解析部23とを備えている。
独立成分抽出部21は、脳波計(脳活動計測装置102)によって計測されたユーザーの脳波信号(脳生理情報)を受け、当該脳波信号について独立成分分析を行って複数の独立成分を抽出する。なお、使用する脳波計は、多数のチャンネルを有する高密度電極脳波計でもよいし、チャンネル数が数個のウェアラブルタイプのものでもよい。脳波計側がアーチファクトの除去に対応していなければ、独立成分抽出部21が、脳波計から受けた脳波信号に対してアーチファクトなどのノイズ除去の処理を行う。
独立成分特定部22は、脳生理指標ごとに、抽出された複数の独立成分において複数の脳生理情報クラスタのそれぞれに属する独立成分を特定する。一例として、脳生理指標が3つ(快/不快、活性/非活性、および期待感)存在することがモデルデータ記憶部5に脳生理指標データ52として記憶されている。また、一例として、上述したように、脳生理情報クラスタは各脳生理指標に9つ(第1脳生理情報クラスタないし第9脳生理情報クラスタ)あり、その情報がモデルデータ記憶部5に脳生理情報クラスタデータ53として記憶されている。この例では、独立成分特定部22は、モデルデータ記憶部5に記憶されている脳生理指標データ52および脳生理情報クラスタデータ53を参照して、3つの脳生理指標のそれぞれについて、抽出された複数の独立成分において9つの脳生理情報クラスタのそれぞれに属する独立成分を特定する。
時間周波数解析部23は、特定された独立成分について時間周波数解析を行って時間周波数スペクトラムを算出し、当該算出した時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を特徴データとして抽出する。例えば、脳生理指標「快/不快」に係る独立成分において関心周波数帯域がθ帯域であることが判明しているため、時間周波数解析部23は、特定された独立成分から当該帯域でのスペクトラム強度を特徴データとして抽出する。
脳生理指標算出部3は、脳生理指標ごとに、複数の人間タイプ別にあらかじめ決められた重み係数q(式2を参照)からユーザーの人間タイプに対応する重み係数q(式2を参照)を選択し、抽出された特徴データに当該選択した重み係数qを適用して脳生理指標を算出する。重み係数qはモデルデータ記憶部5に重み係数データ54として記憶されている。例えば、脳生理指標が3つ(快/不快、活性/非活性、および期待感)、人間タイプが3つ(人間タイプIないし人間タイプIII)、一つの脳生理指標につき脳生理情報クラスタが9つ(第1脳生理情報クラスタないし第9脳生理情報クラスタ)の場合、全部で3×3×9=81個の重み係数qの数値がモデルデータ記憶部5に記憶されている。この例では、脳生理指標算出部3は、快/不快、活性/非活性、および期待感のそれぞれについて、モデルデータ記憶部5からユーザーの人間タイプに対応する9つの重み係数qを読み出して、それらを9つの特徴データのそれぞれに適用して脳生理指標を算出する。
図23は、快/不快に関する人間タイプ別の脳生理指標の算出を説明する図であり、式9ないし式11を模式的に表したものである。図中の脳波トポグラフィは各脳生理情報クラスタに属する独立成分から抽出された特徴データ(式9ないし式11におけるx)を表す。図23に示したように、同じ脳生理情報クラスタに係る特徴データであっても人間タイプに応じて異なる(場合によっては同じ)重み係数qが適用されて人間タイプ別に脳生理指標EEGが算出される。なお、活性/非活性および期待感の各脳生理指標も快/不快と同様に、同じ脳生理情報クラスタに係る特徴データであっても人間タイプに応じて異なる(場合によっては同じ)重み係数qが適用されて人間タイプ別に脳生理指標EEG活性およびEEG期待感が算出される。
各脳生理指標は、例えば、0〜100の数値で表される。図24は、算出された快/不快、活性/非活性、および期待感の各値を模式的に示す。例えば、図24に示したように、快/不快の値としてEEG=63、活性/非活性の値としてEEG活性=42が、期待感の値としてEEG期待感=72が算出される。
図22へ戻り、感性評価値算出部4は、複数の人間タイプ別にあらかじめ決められた重み係数p(式2を参照)からユーザーの人間タイプに対応する重み係数pを選択し、算出された脳生理指標に当該選択した重み係数pを適用して感性評価値(式2を参照)を算出する。重み係数pはモデルデータ記憶部5に重み係数データ54として記憶されている。例えば、脳生理指標が3つ(快/不快、活性/非活性、および期待感)、人間タイプが3つ(人間タイプIないし人間タイプIII)の場合、全部で3×3=9個の重み係数pの数値(式6ないし式8に示した9つの重み係数)がモデルデータ記憶部5に記憶されている。この例では、感性評価値算出部4は、モデルデータ記憶部5からユーザーの人間タイプに対応する3つの重み係数pを読み出して、それらを3つの脳生理指標のそれぞれに適用して感性評価値を算出する。
モデルデータ記憶部5は、上述の人間タイプデータ51、脳生理指標データ52、脳生理情報クラスタデータ53、および重み係数データ54といった感性多軸モデルの各データを格納する。なお、モデルデータ記憶部5は、データが書き換え可能なフラッシュメモリなどで構成することが望ましい。これは感性多軸モデルが改良される都度、そのモデルデータを更新可能にするためである。
モデルデータ更新部6は、例えば、クラウドサーバ103から感性多軸モデルに係る最新モデルデータ(上記各データの更新値)を受けてモデルデータ記憶部5に格納されている上記各データを更新する。上述の人間タイプ別の感性多軸モデルは固定されたものではなく、被験者やサンプルデータを積み重ねながら常にアップデートされるものである。クラウドサーバ103にはそのようなアップデートされた感性多軸モデルのモデルデータが保存されており、クラウドサーバ103から感性評価装置10へ適当なタイミングで上記各データの更新値を送ることで、感性評価装置10は最新の感性多軸モデルに基づく感性評価を行うことができる。
可視化部7は、算出された感性評価値を人に読み取り可能に可視化する。可視化部7は、算出された感性評価値から例えばBEIの一例としてのわくわくメーターの描画データを生成してディスプレイ104にわくわくメーターを表示する。図25は、わくわくメーターの表示例を示す図である。例えば、わくわくメーターはユーザーのわくわく感(感性評価値)をバーグラフとして表す。このように、算出された感性評価値を可視化することで、ユーザーの感性の変動状況をリアルタイムに直感的に把握することができる。
以上のように、本実施形態に係る感性評価装置10によると、感性評価を行う場合に各ユーザーに最適化されたモデルを一から構築する必要がなく、誰でもすぐさま感性評価を行うことができる。また、すべての人に適用可能な平均的な単一の標準モデルを適用するのではなく、ユーザーの人間タイプに応じたモデルに基づいて感性評価が行われるため、より精度の高い感性評価結果を得ることができる。
なお、脳生理指標算出部23において、すべての脳生理情報クラスタの特徴データ(上記例では9つの特徴データ)を考慮する必要はなく、一部の特徴データ(例えば、上位3つの特徴データ)のみを考慮するようにしてもよい。換言すると、一部の脳生理情報クラスタに対応する重み係数qをゼロにしてもよい。これにより、時間周波数解析部23において、無視してもよい脳生理情報クラスタの特徴データを抽出する必要がなくなり、解析処理すべきデータ量が減ることで計算速度の向上および消費電力の削減が可能になる。
また、上記例では脳生理情報の一例として脳波信号を挙げたが、これ以外にもfMRIやfNIRSのデータを使用することができる。さらには、心拍数、血圧、脈拍などの脳以外の生理情報を使用することもできる。
(その他の実施形態)
感性評価装置10は、パソコンやスマートフォンなどに専用ソフトウェアをインストールすることで実現可能であると説明したが、感性評価値の算出には比較的複雑な計算が必要であるところ、スマートフォンやタブレット端末など携帯端末では計算能力不足や消費電力増が懸念される。そこで、感性評価装置10を計算能力が高いクラウドサーバ103に配置してSaaS(Software as a Service)の形態で実現してもよい。
図26は、感性評価装置をクラウド環境に配置した実施形態を示す模式図である。クラウドサーバ103に上記の感性評価装置10が配置されている。ユーザーは、スマートフォンやタブレット端末などの携帯端末105を通じてクラウド上の感性評価装置10にアクセスすることができる。具体的には、携帯端末105は、脳活動計測装置102によって計測されたユーザーの脳生理情報を受け、それをクラウド上の感性評価装置10へ転送する。また、携帯端末105は、ユーザーの人間タイプ特定のために必要な情報が携帯端末105に入力されると、当該入力された情報を感性評価装置10へ転送する。感性評価装置10は、携帯端末105から送られてくるユーザーの脳生理情報を処理して感性評価値を算出し、それを携帯端末105へ送信する。携帯端末105は、感性評価装置10から送られた感性評価値を適宜画像に加工して自身のディスプレイに表示する。
このようにクラウドサーバ103に感性評価装置10を配置することで、計算能力が比較的低い携帯端末105に処理負荷をかけずにリアルタイムに高精度の感性評価結果を表示させることができる。
なお、感性評価装置10をクラウド環境に配置する場合、感性評価装置10の構成要素を一つのサーバに集中配置する必要はなく、複数のサーバに分散配置してもよい。
以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本発明に係る感性評価装置および方法は、どのような人に対しても現実的な時間で精度のよい感性評価結果を得ることができるため、産業界におけるR&Dや商品自体に組み込む評価技術としての応用展開が可能である。
10…感性評価装置、1…人間タイプ特定部、2…特徴データ抽出部、21…独立成分抽出部、22…独立成分特定部、23…時間周波数解析部、3…脳生理指標算出部、4…感性評価値算出部、5…モデルデータ記憶部、51…人間タイプデータ、52…脳生理指標データ、53…脳生理情報クラスタデータ、54…重み係数データ、6…モデルデータ更新部、7…可視化部

Claims (13)

  1. Σp*(Σq*x)(ただし、xは脳活動計測装置によって計測された脳生理情報から抽出された少なくとも一つの特徴データであり、qは前記特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標であり、pは前記脳生理指標の重み係数である。)で表される感性評価値を算出する感性評価装置であって、
    人の特性を分類した,あらかじめ決められた複数の人間タイプの中から感性評価対象のユーザーが該当する人間タイプを特定する人間タイプ特定部と、
    前記脳活動計測装置によって計測された前記ユーザーの脳生理情報を受け、前記脳生理指標ごとに、当該脳生理情報において前記脳生理指標に統計的有意性を有するあらかじめ決められた複数の脳生理情報クラスタのそれぞれに属する脳生理情報を特定し、当該特定した脳生理情報から前記特徴データを抽出する特徴データ抽出部と、
    前記脳生理指標ごとに、前記複数の人間タイプ別にあらかじめ決められた前記重み係数qから前記ユーザーの人間タイプに対応する重み係数qを選択し、前記抽出された特徴データに当該選択した重み係数qを適用して前記脳生理指標を算出する脳生理指標算出部と、
    前記複数の人間タイプ別にあらかじめ決められた前記重み係数pから前記ユーザーの人間タイプに対応する重み係数pを選択し、前記算出された脳生理指標に当該選択した重み係数pを適用して前記感性評価値を算出する感性評価値算出部とを備えた感性評価装置。
  2. 前記複数の人間タイプ、前記脳生理指標、前記複数の脳生理情報クラスタ、および前記重み係数pおよびqの各データを記憶するモデルデータ記憶部と、
    前記各データの更新値を受けて前記各データを更新するモデルデータ更新部とを備えた請求項1に記載の感性評価装置。
  3. 前記算出された感性評価値を人に読み取り可能に可視化する可視化部を備えた請求項1または請求項2に記載の感性評価装置。
  4. 前記少なくとも一つの脳生理指標が快/不快、活性/非活性、および期待感の3つの脳生理指標を含む請求項1ないし請求項3のいずれかに記載の感性評価装置。
  5. 前記脳活動計測装置が脳波計であり、
    前記脳生理情報が脳波信号であり、
    前記特徴データ抽出部が、
    前記脳活動計測装置によって計測された前記ユーザーの脳生理情報を受け、当該脳生理情報について独立成分分析を行って複数の独立成分を抽出する独立成分抽出部と、
    前記脳生理指標ごとに、前記抽出された複数の独立成分において前記複数の脳生理情報クラスタのそれぞれに属する独立成分を特定する独立成分特定部と、
    前記特定された独立成分について時間周波数解析を行って時間周波数スペクトラムを算出し、当該算出した時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を前記特徴データとして抽出する時間周波数解析部とを有する請求項1ないし請求項4のいずれかに記載の感性評価装置。
  6. Σp*(Σq*x)(ただし、xは脳活動計測装置によって計測された脳生理情報から抽出された少なくとも一つの特徴データであり、qは前記特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標であり、pは前記脳生理指標の重み係数である。)で表される感性評価値を算出する感性評価方法であって、
    人の特性を分類した,あらかじめ決められた複数の人間タイプの中から感性評価対象のユーザーが該当する人間タイプを特定するステップと、
    前記脳活動計測装置によって計測された前記ユーザーの脳生理情報を受け、前記脳生理指標ごとに、当該脳生理情報において前記脳生理指標に統計的有意性を有するあらかじめ決められた複数の脳生理情報クラスタのそれぞれに属する脳生理情報を特定し、当該特定した脳生理情報から前記特徴データを抽出するステップと、
    前記脳生理指標ごとに、前記複数の人間タイプ別にあらかじめ決められた前記重み係数qから前記ユーザーの人間タイプに対応する重み係数qを選択し、前記抽出された特徴データに当該選択した重み係数qを適用して前記脳生理指標を算出するステップと、
    前記複数の人間タイプ別にあらかじめ決められた前記重み係数pから前記ユーザーの人間タイプに対応する重み係数pを選択し、前記算出された脳生理指標に当該選択した重み係数pを適用して前記感性評価値を算出するステップとを備えた感性評価方法。
  7. 前記複数の人間タイプ、前記脳生理指標、前記複数の脳生理情報クラスタ、および前記重み係数pおよびqの各データの更新値を受けて前記各データを更新するステップを備えた請求項6に記載の感性評価方法。
  8. 前記算出された感性評価値を人に読み取り可能に可視化するステップを備えた請求項6または請求項7に記載の感性評価方法。
  9. 前記少なくとも一つの脳生理指標が快/不快、活性/非活性、および期待感の3つの脳生理指標を含む請求項6ないし請求項8のいずれかに記載の感性評価方法。
  10. 前記脳活動計測装置が脳波計であり、
    前記脳生理情報が脳波信号であり、
    前記特徴データを抽出するステップが、
    前記脳活動計測装置によって計測された前記ユーザーの脳生理情報を受け、当該脳生理情報について独立成分分析を行って複数の独立成分を抽出するステップと、
    前記脳生理指標ごとに、前記抽出された複数の独立成分において前記複数の脳生理情報クラスタのそれぞれに属する独立成分を特定するステップと、
    前記特定された独立成分について時間周波数解析を行って時間周波数スペクトラムを算出し、当該算出した時間周波数スペクトラムから関心周波数帯域でのスペクトラム強度を前記特徴データとして抽出するステップとを有する請求項6ないし請求項9のいずれかに記載の感性評価方法。
  11. Σp*(Σq*x)(ただし、xは脳活動計測装置によって計測された脳生理情報から抽出された少なくとも一つの特徴データであり、qは前記特徴データの重み係数であり、Σq*xは感性に関連する少なくとも一つの脳生理指標であり、pは前記脳生理指標の重み係数である。)で感性評価値を表す感性多軸モデルの構築方法であって、
    人の特性を表した定性情報をクラスタリングして、人の特性を分類する複数の人間タイプを決定するステップと、
    複数の被験者に対して行った主観評定実験で得られた前記脳生理指標の主観評定値について前記複数の人間タイプ別に回帰分析を行って前記複数の人間タイプ別の前記重み係数pを算出するステップと、
    前記脳生理指標ごとに、前記主観評定実験において計測された前記複数の被験者の脳生理情報において前記脳生理指標に統計的有意性を有する脳生理情報を選定するステップと、
    前記脳生理指標ごとに、前記選定された脳生理情報をクラスタリングして複数の脳生理情報クラスタを決定するステップと、
    前記脳生理指標ごとに、前記複数の人間タイプのそれぞれと前記複数の脳生理情報クラスタのそれぞれとの関連度合いを求め、当該関連度合いを前記複数の人間タイプ別の前記重み係数qに変換するステップとを備えた感性多軸モデル構築方法。
  12. 前記少なくとも一つの脳生理指標が快/不快、活性/非活性、および期待感の3つの脳生理指標を含む請求項11に記載の感性多軸モデル構築方法。
  13. 前記脳生理情報が脳波信号であり、
    前記脳生理情報を選定するステップが、
    前記主観評定実験において計測された前記複数の被験者の脳生理情報について独立成分分析を行って複数の独立成分を抽出するステップと、
    前記脳生理指標ごとに、前記抽出された複数の独立成分において前記脳生理指標に統計的有意性を有する独立成分を選定するステップとを含む請求項11または請求項12に記載の感性多軸モデル構築方法。
JP2018100273A 2018-05-25 2018-05-25 感性評価装置、感性評価方法および感性多軸モデル構築方法 Active JP6916527B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018100273A JP6916527B2 (ja) 2018-05-25 2018-05-25 感性評価装置、感性評価方法および感性多軸モデル構築方法
US16/418,946 US20190357792A1 (en) 2018-05-25 2019-05-21 Sensibility evaluation apparatus, sensibility evaluation method and method for configuring multi-axis sensibility model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018100273A JP6916527B2 (ja) 2018-05-25 2018-05-25 感性評価装置、感性評価方法および感性多軸モデル構築方法

Publications (2)

Publication Number Publication Date
JP2019202031A true JP2019202031A (ja) 2019-11-28
JP6916527B2 JP6916527B2 (ja) 2021-08-11

Family

ID=68615356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018100273A Active JP6916527B2 (ja) 2018-05-25 2018-05-25 感性評価装置、感性評価方法および感性多軸モデル構築方法

Country Status (2)

Country Link
US (1) US20190357792A1 (ja)
JP (1) JP6916527B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208873A1 (ja) * 2021-04-02 2022-10-06 日本電気株式会社 ストレス推定装置、ストレス推定方法及び記憶媒体
WO2022208874A1 (ja) * 2021-04-02 2022-10-06 日本電気株式会社 学習装置、ストレス推定装置、学習方法、ストレス推定方法及び記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6742628B2 (ja) * 2016-08-10 2020-08-19 国立大学法人広島大学 脳の島皮質活動抽出方法
CN110881975A (zh) * 2019-12-24 2020-03-17 山东中科先进技术研究院有限公司 一种基于脑电信号的情感识别方法及系统
CN111150392A (zh) * 2020-02-12 2020-05-15 五邑大学 一种有向动态脑功能网络多类情绪识别构建方法及其装置
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004290247A (ja) * 2003-03-25 2004-10-21 Yosuke Sakairi 心理状態測定装置
JP2008253727A (ja) * 2007-04-04 2008-10-23 Ind Technol Res Inst モニタ装置、モニタシステム及びモニタ方法
CN106361282A (zh) * 2016-08-31 2017-02-01 珠海多士科技有限公司 睡眠质量检测方法与系统
JP2017074356A (ja) * 2015-10-16 2017-04-20 国立大学法人広島大学 感性評価方法
JP2018023586A (ja) * 2016-08-10 2018-02-15 国立大学法人広島大学 脳の島皮質活動抽出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004290247A (ja) * 2003-03-25 2004-10-21 Yosuke Sakairi 心理状態測定装置
JP2008253727A (ja) * 2007-04-04 2008-10-23 Ind Technol Res Inst モニタ装置、モニタシステム及びモニタ方法
JP2017074356A (ja) * 2015-10-16 2017-04-20 国立大学法人広島大学 感性評価方法
JP2018023586A (ja) * 2016-08-10 2018-02-15 国立大学法人広島大学 脳の島皮質活動抽出方法
CN106361282A (zh) * 2016-08-31 2017-02-01 珠海多士科技有限公司 睡眠质量检测方法与系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208873A1 (ja) * 2021-04-02 2022-10-06 日本電気株式会社 ストレス推定装置、ストレス推定方法及び記憶媒体
WO2022208874A1 (ja) * 2021-04-02 2022-10-06 日本電気株式会社 学習装置、ストレス推定装置、学習方法、ストレス推定方法及び記憶媒体

Also Published As

Publication number Publication date
JP6916527B2 (ja) 2021-08-11
US20190357792A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
JP6590411B2 (ja) 感性評価方法
Ergan et al. Quantifying human experience in architectural spaces with integrated virtual reality and body sensor networks
JP6916527B2 (ja) 感性評価装置、感性評価方法および感性多軸モデル構築方法
Bosl et al. EEG analytics for early detection of autism spectrum disorder: a data-driven approach
Deng et al. Measurement and prediction of work engagement under different indoor lighting conditions using physiological sensing
Schmidt et al. Wearable affect and stress recognition: A review
Anusha et al. Physiological signal based work stress detection using unobtrusive sensors
Webb et al. Guidelines and best practices for electrophysiological data collection, analysis and reporting in autism
JP5982483B2 (ja) 生体状態評価装置およびそのためのプログラム
Johannessen et al. Psychophysiologic measures of cognitive load in physician team leaders during trauma resuscitation
Colombatto et al. The effects of face inversion and face race on the P100 ERP
Kalra et al. Mental stress assessment using PPG signal a deep neural network approach
RU2319444C1 (ru) Способ психологического анализа и устройство для его реализации (варианты)
Speed et al. Unpredictability increases the error-related negativity in children and adolescents
Houston et al. Emotional arousal deficit or emotional regulation bias? An electrophysiological study of age-related differences in emotion perception
Tartarisco et al. Neuro-fuzzy physiological computing to assess stress levels in virtual reality therapy
Mahesh et al. Requirements for a reference dataset for multimodal human stress detection
KR20170130207A (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
Zou et al. Evaluating the effectiveness of biometric sensors and their signal features for classifying human experience in virtual environments
Anzalone et al. QEEG coherence patterns related to mathematics ability in children
Bower et al. Enlarged interior built environment scale modulates high-frequency EEG oscillations
JP2022062574A (ja) 人の表出情報からの脳活動状態推定
Sparrow et al. Validation of affect-tag affective and cognitive indicators
JP7122730B2 (ja) 脳波信号評価装置の作動方法
WO2017064826A1 (ja) 感性評価方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210407

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210709

R150 Certificate of patent or registration of utility model

Ref document number: 6916527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150