JP2020163164A - Psychological state estimation system, psychological state estimation method, program, and method of generating estimation model - Google Patents
Psychological state estimation system, psychological state estimation method, program, and method of generating estimation model Download PDFInfo
- Publication number
- JP2020163164A JP2020163164A JP2020078599A JP2020078599A JP2020163164A JP 2020163164 A JP2020163164 A JP 2020163164A JP 2020078599 A JP2020078599 A JP 2020078599A JP 2020078599 A JP2020078599 A JP 2020078599A JP 2020163164 A JP2020163164 A JP 2020163164A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- psychological state
- unit
- activity
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000001953 sensory effect Effects 0.000 claims abstract description 104
- 230000035807 sensation Effects 0.000 claims abstract description 88
- 230000000694 effects Effects 0.000 claims abstract description 84
- 210000004556 brain Anatomy 0.000 claims abstract description 37
- 235000019615 sensations Nutrition 0.000 claims description 85
- 230000003238 somatosensory effect Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000037007 arousal Effects 0.000 claims description 10
- 230000008451 emotion Effects 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 4
- 235000019613 sensory perceptions of taste Nutrition 0.000 claims description 2
- 230000035923 taste sensation Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 25
- 238000012545 processing Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 10
- 210000003710 cerebral cortex Anatomy 0.000 description 8
- 238000004497 NIR spectroscopy Methods 0.000 description 7
- 230000007177 brain activity Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000036626 alertness Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000001339 gustatory effect Effects 0.000 description 6
- 230000008786 sensory perception of smell Effects 0.000 description 6
- 210000000857 visual cortex Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 210000003926 auditory cortex Anatomy 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 244000178870 Lavandula angustifolia Species 0.000 description 2
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 2
- 241000220317 Rosa Species 0.000 description 2
- 241000109329 Rosa xanthina Species 0.000 description 2
- 235000004789 Rosa xanthina Nutrition 0.000 description 2
- 206010039897 Sedation Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000001102 lavandula vera Substances 0.000 description 2
- 235000018219 lavender Nutrition 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 230000036280 sedation Effects 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 210000003403 autonomic nervous system Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 210000002475 olfactory pathway Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000004092 somatosensory cortex Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本開示は心理状態推定システム、心理状態推定方法、プログラム、推定モデルの生成方法に関する。より詳細には、本開示は、対象者の心理状態の要因の推定に用い得る心理状態推定システム、心理状態推定方法、及びプログラム、並びに、この心理状態推定システムで用いられる推定モデルの生成方法に関する。 The present disclosure relates to a psychological state estimation system, a psychological state estimation method, a program, and a method of generating an estimation model. More specifically, the present disclosure relates to a psychological state estimation system, a psychological state estimation method, and a program that can be used to estimate the factors of the psychological state of the subject, and a method of generating an estimation model used in this psychological state estimation system. ..
特許文献1には、生体情報表示装置が開示されている。 Patent Document 1 discloses a biological information display device.
特許文献1の生体情報表示装置は、生体情報検出手段と、検出結果表示手段と、領域表示手段と、を備えている。 The biological information display device of Patent Document 1 includes a biological information detecting means, a detection result displaying means, and an area displaying means.
生体情報検出手段は、被検者の脈波信号及び心電信号に基づいて少なくとも2種類の生体情報を検出する。検出結果表示手段は、生体情報検出手段にて検出された2種類の生体情報を、表示画面上に設定された二次元座標上の点に対応させて、過去の検出結果と共に表示する。領域表示手段は、検出結果表示手段による検出結果の表示に重ね合わせて、上記二次元座標上の点と被検者の状態との対応関係を示す複数の領域を表示画面上に表示する。 The biological information detecting means detects at least two types of biological information based on the pulse wave signal and the electrocardiographic signal of the subject. The detection result display means displays the two types of biometric information detected by the biometric information detection means together with the past detection results in correspondence with the points on the two-dimensional coordinates set on the display screen. The area display means superimposes the display of the detection result by the detection result display means, and displays a plurality of areas on the display screen showing the correspondence between the points on the two-dimensional coordinates and the state of the subject.
特許文献1に記載の生体情報表示装置は、被験者(対象者)の心理状態の変化をリアルタイムに表示することができるが、心理状態の変化に関連する要因は分からない。 The biological information display device described in Patent Document 1 can display changes in the psychological state of a subject (subject) in real time, but the factors related to the changes in the psychological state are unknown.
本開示は、対象者の心理状態の要因の特定に役立てることが可能な心理状態推定システム、心理状態推定法、及びプログラム、並びに、この心理状態推定システムで用いられる推定モデルの生成方法を提供することを目的とする。 The present disclosure provides a psychological state estimation system, a psychological state estimation method, and a program that can be useful for identifying factors of a subject's psychological state, and a method for generating an estimation model used in this psychological state estimation system. The purpose is.
本開示の一態様に係る心理状態推定システムは、取得部と、推定部と、を備える。前記取得部は、対象者の脳における複数の感覚野の活動量の情報をそれぞれ取得する。前記推定部は、前記対象者が複数種類の刺激下にあるときに、前記取得部で取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで前記対象者の感情と関連性の高い感覚を推定する。 The psychological state estimation system according to one aspect of the present disclosure includes an acquisition unit and an estimation unit. The acquisition unit acquires information on the amount of activity of a plurality of sensory areas in the subject's brain. The estimation unit corresponds to each of the plurality of sensory areas based on the information on the amount of activity of the plurality of sensory areas acquired by the acquisition unit when the subject is under a plurality of types of stimuli. Among the types of sensations, the sensations that are highly related to the subject's emotions are estimated.
本開示の一態様に係る心理状態推定方法は、取得ステップと、推定ステップと、を含む。前記取得ステップは、対象者の脳における複数の感覚野の活動量の情報をそれぞれ取得することを含む。前記推定ステップは、前記対象者が複数種類の刺激下にあるときに、取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで前記対象者の感情と関連性の高い感覚を推定することを含む。 The psychological state estimation method according to one aspect of the present disclosure includes an acquisition step and an estimation step. The acquisition step includes acquiring information on the amount of activity of a plurality of sensory areas in the subject's brain. In the estimation step, when the subject is under a plurality of types of stimuli, the plurality of types of sensations corresponding to the plurality of sensory areas are based on the acquired information on the amount of activity of the plurality of sensory areas. It includes estimating the sensations that are highly related to the emotions of the subject.
本開示の一態様に係るプログラムは、1以上のプロセッサに、前記心理状態推定方法を実行させる。 The program according to one aspect of the present disclosure causes one or more processors to execute the psychological state estimation method.
本開示の一態様に係る推定モデルの生成方法は、前記心理状態推定システムの前記推定部で用いられる推定モデルの生成方法である。前記推定モデルの生成方法は、取得ステップと、モデル生成ステップと、を含む。前記取得ステップは、対象者が複数種類の刺激下にあるときに、前記対象者の脳における複数の感覚野の活動量の情報を取得することを含む。前記モデル生成ステップは、少なくとも前記複数の感覚野の活動量の情報を入力データとし、前記対象者の感情と関連性の高い感覚を出力データとする機械学習により、前記入力データと前記出力データとに応じた前記推定モデルを生成することを含む。 The method for generating an estimation model according to one aspect of the present disclosure is a method for generating an estimation model used in the estimation unit of the psychological state estimation system. The estimation model generation method includes an acquisition step and a model generation step. The acquisition step includes acquiring information on the amount of activity of a plurality of sensory areas in the subject's brain when the subject is under a plurality of types of stimuli. In the model generation step, the input data and the output data are obtained by machine learning using at least information on the amount of activity of the plurality of sensory areas as input data and the sensations highly related to the subject's emotions as output data. Includes generating the estimation model according to.
本開示の一態様に係る心理状態推定システムは、取得部と、推定部と、を備える。前記取得部は、対象者の脳における複数の感覚野の活動量の情報をそれぞれ取得する。前記推定部は、前記対象者が複数種類の刺激下にあるときに、前記取得部で取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで前記対象者の心理状態と関連性の高い感覚を推定する。前記対象者の心理状態は、前記対象者の快適感の度合いと覚醒感の度合いとを指標として表される。 The psychological state estimation system according to one aspect of the present disclosure includes an acquisition unit and an estimation unit. The acquisition unit acquires information on the amount of activity of a plurality of sensory areas in the subject's brain. The estimation unit corresponds to each of the plurality of sensory areas based on the information on the amount of activity of the plurality of sensory areas acquired by the acquisition unit when the subject is under a plurality of types of stimuli. Among the types of sensations, the sensations that are highly related to the psychological state of the subject are estimated. The psychological state of the subject is expressed by using the degree of comfort and the degree of arousal of the subject as indexes.
本開示は、対象者の心理状態の要因の特定に役立てることができる。 The present disclosure can be useful in identifying factors in the psychological state of the subject.
(1)実施形態1
(1.1)概略
図1に、本実施形態の心理状態推定システム1を含む、制御システム100のブロック図を示す。
(1) Embodiment 1
(1.1) Schematic FIG. 1 shows a block diagram of a
本実施形態の心理状態推定システム1は、図1に示すように、取得部101と、推定部102と、を備えている。取得部101は、対象者の脳90(図2参照)における複数の感覚野91〜95の活動量の情報をそれぞれ取得する。推定部102は、対象者に複数種類の刺激が与えられたときに取得部101で取得された複数の感覚野91〜95の活動量の情報に基づいて、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚のうちで対象者の心理状態と関連性の高い感覚を推定する。
As shown in FIG. 1, the psychological state estimation system 1 of the present embodiment includes an acquisition unit 101 and an
本実施形態の心理状態推定システム1によれば、複数の感覚野91〜95の活動量の情報に基づいて、複数種類の感覚のうちで、対象者の心理状態と関連性の高い感覚を推定する。そのため、心理状態推定システム1を、対象者の心理状態の要因の特定に役立てることができる。
According to the psychological state estimation system 1 of the present embodiment, among a plurality of types of sensations, a sensation highly related to the psychological state of the subject is estimated based on information on the amount of activity of the plurality of
(1.2)詳細
(1.2.1)構成
以下、本実施形態の心理状態推定システム1を含む制御システム100について、図面を参照してより詳細に説明する。
(1.2) Details (1.2.1) Configuration Hereinafter, the
制御システム100は、心理状態推定システム1に加えて、測定部2と、制御装置3と、刺激付与装置4と、を備えている。
The
測定部2は、対象者の生体情報を測定する。測定部2は、例えば、対象者の身体に着用可能なウェアラブル端末である。
The
測定部2は、対象者の脳90の活動量を測定する脳活動量測定部21を備える。脳活動量測定部21は、例えば、対象者の頭部に装着されることにより、対象者の脳90の複数の領域の活動量を非侵襲で測定する。脳活動量測定部21は、ここではNIRS(Near Infra-RedSpectroscopy)を用いたNIRS脳計測装置である。
The
NIRS脳計測装置は、例えば、800nm近傍の波長の近赤外光を対象者の頭皮上から照射し、その透過光を測定することで、脳90の大脳皮質部分の画像を取得する。脳90において活動が活発な(活動量の大きな)領域では、ヘモグロビンが増加することが知られている。また、NIRS脳計測装置で用いられる800nm程度の波長の近赤外光は、頭皮及び頭蓋骨等の人体組織は通り抜けるが、血中のヘモグロビンには吸収される。そのため、NIRS脳計測装置で取得される脳90の画像において、近赤外光の透過光の強度変化を観測し、ヘモグロビンの増減等を観測することで、脳90の各領域の活動量を測定することが可能である。
The NIRS brain measuring device, for example, irradiates near-infrared light having a wavelength near 800 nm from above the subject's scalp and measures the transmitted light to acquire an image of the cerebral cortex portion of the
測定部2は、測定結果を、有線通信又は無線通信により心理状態推定システム1に出力する。
The
心理状態推定システム1は、処理部10と、入力部11と、操作部12と、出力部13と、記憶部14と、を備えている。
The psychological state estimation system 1 includes a
入力部11は、測定部2と有線又は無線で通信する通信インタフェースである。入力部11は、測定部2(脳活動量測定部21)から測定結果を受け取る。
The
処理部10は、取得部101と、推定部102と、基準値設定部103と、を備えている。処理部10は、例えば、プロセッサ及びメモリを有するマイクロコンピュータを備えている。プロセッサが適宜のプログラムを実行することにより、コンピュータシステムが処理部10として機能する。処理部10(取得部101、推定部102、及び基準値設定部103)の機能は、プロセッサ及びメモリを有するコンピュータシステムで実現されている。プログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
The
処理部10の取得部101は、脳活動量測定部21から受け取った測定結果に基づいて、対象者の脳90における複数の感覚野の活動量の情報をそれぞれ取得する。ここでは、処理部10の取得部101は、対象者の脳90の大脳皮質における複数の1次感覚野の活動量の情報を、それぞれ取得する。
The acquisition unit 101 of the
図2に示すように、脳90の大脳皮質は、複数の感覚野(1次感覚野)91〜95を含む。複数の感覚野(1次感覚野)91〜95は、視覚野91、聴覚野92、嗅覚野93、体性感覚野94、及び味覚野95を含む。視覚野91は、視覚に関する大脳皮質の領域であり、後頭葉に位置する。聴覚野92は、聴覚に関する大脳皮質の領域であり、側頭葉に位置する。嗅覚野93は、嗅覚に関する大脳皮質の領域であり、前頭葉に位置する。体性感覚野94は、体性感覚に関する大脳皮質の領域であり、頭頂葉に位置する。味覚野95は、味覚に関する大脳皮質の領域であり、体性感覚野と嗅覚野の間に位置する。
As shown in FIG. 2, the cerebral cortex of the
取得部101は、ここでは、測定部2から受け取った測定結果(脳90の画像)に基づいて、五感に関する感覚野(視覚野91、聴覚野92、嗅覚野93、体性感覚野94、及び味覚野95)の各々の活動量の情報を取得する。
Here, the acquisition unit 101 has a sensory area related to the five senses (
対象者の脳90の感覚野91〜95の活動量は、対象者に刺激が与えられているときに、対象者の注意がどの程度その刺激に対して向けられているかに依存する。制御システム100は、対象者への刺激を与え得る装置として、刺激付与装置4を備えている。刺激付与装置4は、例えば、対象者に対して、複数種類の感覚にそれぞれ対応する複数種類の刺激を与え得る。
The amount of activity of the sensory areas 91-95 of the subject's
刺激付与装置4は、例えば、対象者の視覚に対する刺激を与え得る装置として、照明装置、表示装置等を含む。照明装置は、例えば、明るさ、光色、色温度、輝度等が調整され得る。表示装置は、例えば、ディスプレイに適宜の映像を表示し得る。
The
刺激付与装置4は、例えば、対象者の聴覚に対する刺激を与え得る装置として、発音装置を含む。発音装置はスピーカを含み、スピーカから適宜の音声、音楽、環境音等を出力し得る。
The
刺激付与装置4は、例えば、対象者の嗅覚に対する刺激を与え得る装置として、匂い発生装置等を含む。匂い発生装置は、例えばアロマディフューザであり、嗅覚で感知され得る適宜の匂い(香り)の元となる化学物質を発生し得る。
The
刺激付与装置4は、例えば、対象者の体性感覚に対する刺激を与え得る装置として、送風装置、空調装置等を含む。送風装置及び空調装置は、例えば、風向、風量等を調整し得る。
The
刺激付与装置4は、例えば、対象者の味覚に対する刺激を与え得る装置として、味覚刺激装置を含む。味覚刺激装置は、例えば、対象者の舌に電極を当てて電極に電流を流すことで、対象者の味覚を刺激し得る。
The stimulus-imparting
刺激付与装置4の動作は、制御装置3によって制御される。制御システム100は、刺激付与装置4以外に、対象者への刺激を軽減し得る装置(例えば、空間中の化学物質を除去することで嗅覚刺激を軽減し得る空気清浄機等)を備えていてもよい。
The operation of the
ここにおいて、処理部10は、動作モードとして、第1モードと第2モードとを有している。処理部10の動作モードは、例えば、操作部12への入力操作に応じて切り替えられる。操作部12は、例えば処理部10の動作モードを切り替えるための押し釦を備えている。
Here, the
第1モードは、処理部10のうちの基準値設定部103が動作するモードである。第1モードは、例えば、対象者に対して刺激付与装置4から刺激が与えられていない状態で、実行される。第1モードにおいて、処理部10は、取得部101で取得された複数の感覚野91〜95の活動量の情報に基づいて、複数の感覚野91〜95の活動量の基準(ベースライン)としてそれぞれ用いられる複数の基準値を定める。複数の基準値は、複数の感覚野91〜95の活動量に一対一に対応する。
The first mode is a mode in which the reference value setting unit 103 of the
第1モードにおいて、処理部10(基準値設定部103)は、複数の感覚野91〜95の各々について、第1モードで動作している間に取得部101で取得された活動量の代表値を求める。基準値設定部103は、複数の感覚野91〜95の各々について、活動量の代表値として、対応する感覚野の活動量の平均値を求める。基準値設定部103は、求めた活動量の代表値(ここでは平均値)を、基準値として定める。ただしこれに限らず、基準値設定部103は、活動量の代表値として、対応する感覚野の活動量の最小値、中間値、又は最大値等を求めてもよい。
In the first mode, the processing unit 10 (reference value setting unit 103) is a representative value of the amount of activity acquired by the acquisition unit 101 while operating in the first mode for each of the plurality of
すなわち、基準値設定部103は、複数の感覚野91〜95(視覚野91、聴覚野92、嗅覚野93、体性感覚野94、及び味覚野95)の活動量それぞれに対する複数の基準値を定める。基準値設定部103は、視覚野91の活動量に対する視覚野基準値、聴覚野92の活動量に対する聴覚野基準値、嗅覚野93の活動量に対する嗅覚野基準値、体性感覚野94の活動量に対する体性感覚野基準値、及び味覚野95の活動量に対する味覚野基準値を定める。
That is, the reference value setting unit 103 sets a plurality of reference values for each of the activity amounts of the plurality of
基準値設定部103は、定めた複数の基準値を、記憶部(基準値記憶部)14に記憶させる。すなわち、記憶部(基準値記憶部)14には、複数の感覚野91〜95の活動量に一対一に対応する複数の基準値が記憶される。
The reference value setting unit 103 stores a plurality of determined reference values in the storage unit (reference value storage unit) 14. That is, the storage unit (reference value storage unit) 14 stores a plurality of reference values corresponding to the activity amounts of the plurality of
記憶部14は、RAM(RandomAccess Memory)、又はEEPROM(ElectricallyErasable Programmable Read Only Memory)等の半導体メモリである。なお、記憶部14は、半導体メモリに限らず、ハードディスクドライブ等であってもよい。
The
第2モードは、処理部10のうちの推定部102が動作するモードである。第2モードは、例えば、対象者に対して刺激付与装置4から少なくとも1種類の刺激が与えられている状態で、実行される。第2モードにおいて、処理部10は、取得部101で取得された複数の感覚野91〜95の活動量の情報に基づいて、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚のうちで対象者の心理状態と関連性の高い感覚を推定する。
The second mode is a mode in which the
第2モードにおいて、処理部10(推定部102)は、複数の感覚野91〜95の各々について、注意量を求める。注意量は、対象者が、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚への刺激に対して、どれだけ注意を払っているかを示す量である。注意量は、ここでは、第2モードで動作しているときに取得部101で取得された活動量と、基準値記憶部14に記憶されている基準値と、の差分として規定される。
In the second mode, the processing unit 10 (estimating unit 102) obtains a caution amount for each of the plurality of
推定部102は、複数の感覚野91〜95それぞれに対する複数の注意量、すなわち、複数種類の刺激それぞれに対する複数の注意量を求める。推定部102は、視覚刺激に対する注意量(視覚野注意量)、聴覚刺激に対する注意量(聴覚野注意量)、嗅覚刺激に対する注意量(嗅覚野注意量)、体性感覚刺激に対する注意量(体性感覚野注意量)、及び味覚刺激に対する注意量(味覚野注意量)を求める。
The
各感覚野についての注意量は、処理部10が第1モードで動作しているときに取得部101で取得された活動量の代表値と、処理部10が第2モードで動作しているときに取得部101で取得された活動量と、の差分に相当する。したがって、ある感覚野に関して求めた注意量が大きいことは、この感覚野が、基準値を求めたときよりも活発に活動していること、言い換えれば、対象者の注意が、この感覚野に対応する刺激に向けられていること、を意味する。
The amount of attention for each sensory area is a representative value of the amount of activity acquired by the acquisition unit 101 when the
推定部102は、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚のうちで、注意量が最も大きな感覚を、対象者の心理状態と関連性の高い感覚である、と推定する。例えば、図3に示すように、視覚、聴覚、嗅覚、体性感覚、及び味覚のうち、嗅覚についての注意量(嗅覚野注意量)が最も大きい場合、推定部102は、これらの5つの感覚(五感)のうちで嗅覚が、対象者の心理状態と関連性が高い、と推定する。
The
出力部13は、制御装置3と有線又は無線で通信する通信インタフェースである。心理状態推定システム1は、推定部102により得られた推定結果を、出力部13を介して制御装置3に出力する。また、心理状態推定システム1は、複数の感覚野91〜95それぞれについての注意量を、出力部13を介して制御装置3に出力する。
The
制御装置3は、心理状態推定システム1の出力部13から出力された推定結果、及び複数の感覚野91〜95それぞれについての注意量に基づいて、刺激付与装置4を制御する。制御装置3は、例えば、心理状態推定システム1で推定された、対象者の心理状態と関連性の高い感覚の注意量が変更される或いは維持されるように、刺激付与装置4を制御する。制御装置3は、心理状態推定システム1で推定された、対象者の心理状態と関連性の高い感覚の注意量が増加する又は減少するように、刺激付与装置4を制御してもよい。
The
(1.2)使用例
次に、本実施形態の制御システム100の使用例について説明する。
(1.2) Usage Example Next, a usage example of the
ここでは、対象者としての制御システム100の使用者が、業務等に専心することを目的として、制御システム100によって周囲環境からの刺激に注意が向くことをなるべく排除したい、という状況を想定する。
Here, it is assumed that the user of the
まず使用者は、予め、制御システム100を第1モードで動作させて、記憶部14(基準値記憶部)14に基準値を記憶させておく。基準値は、対象者に対して特殊な刺激が与えられていない状況下で、定められる。例えば、図4に示すような、制御システム100が設置された部屋200内で、刺激付与装置4に含まれる照明装置を昼光色で点灯させ、刺激付与装置4に含まれる発音装置及び匂い発生装置を動作させない。この状況下で、使用者の脳90の感覚野91〜95の活動量を、制御システム100を用いて測定し、測定された活動量に基づいて基準値を定める。つまり、心理状態推定システム1の基準値設定部103は、対象者に刺激が与えられていないときに取得部101で取得された複数の感覚野91〜95の活動量に基づいて、基準値を定める。
First, the user operates the
次に、使用者は、制御システム100が設置された部屋200内で、制御システム100の心理状態推定システム1を第2モードで動作させながら、業務等を行う。心理状態推定システム1は、測定部2から得られる脳90の感覚野91〜95について、それぞれ活動量及び注意量を求める。
Next, the user performs business or the like while operating the psychological state estimation system 1 of the
この状況下で、例えば、複数の感覚野91〜95のうちで最も注意量の大きな感覚野の注意量が、所定の閾値を超えていたとする(例えば図3の「嗅覚」のグラフを参照)。これは、使用者の注意が、この感覚野(嗅覚野93)に対応する刺激(匂い)に向けられていることを意味する。すなわち、心理状態推定システム1は、嗅覚野93についての注意量が所定の閾値を超えていたことをもって、嗅覚刺激に、使用者の(現在の)注意が(異常に)向いていると推定する。
Under this circumstance, for example, it is assumed that the attention amount of the sensory area having the largest attention amount among the plurality of
そこで、制御装置3は、使用者の注意が匂いに向かわないように、例えば空気清浄機を動作させて、匂いの元となる空気中の化学物質を除去する。或いは、制御装置3は、使用者の注意が匂いに向かわないように、匂い発生装置によって、適宜の匂い(例えば、使用者をリラックスさせるためのバラ、ラベンダー等の香り)を発生させてもよい。
Therefore, the
同様に、例えば視覚野91に関する注意量が所定の閾値を超えている場合(使用者の注意が眼からの情報に向いている場合)、制御装置3は、刺激付与装置4における照明装置の光量、光色、輝度、色温度等を変更すればよい。
Similarly, for example, when the attention amount regarding the
このように、本実施形態の心理状態推定システム1によれば、対象者の注意が向いている刺激(すなわち、対象者の現在の心理状態と関連性の高い感覚)を推定することが可能となる。これにより、心理状態推定システム1を、対象者の心理状態の要因の特定に役立てることが可能となる。 In this way, according to the psychological state estimation system 1 of the present embodiment, it is possible to estimate the stimulus that the subject is paying attention to (that is, the sensation that is highly related to the current psychological state of the subject). Become. This makes it possible to use the psychological state estimation system 1 to identify the factors of the psychological state of the subject.
また、本実施形態の心理状態推定システム1を備える制御システム100によれば、対象者に対して、心理状態推定システム1で推定された、対象者の心理状態と関連性の高い感覚に対する刺激を与えることが可能となる。
Further, according to the
(2)実施形態2
(2.1)構成
図5に、本実施形態に係る心理状態推定システム1を含む制御システム100のブロック図を示す。実施形態1の制御システム100と同様の構成については、同一の符号を付して適宜説明を省略する。
(2)
(2.1) Configuration Figure 5 shows a block diagram of the
本実施形態の測定部2は、脳活動量測定部21に相当する第1測定部21に加えて、第2測定部22を備えている。第1測定部21が、対象者の脳90の活動量を測定することで対象者の中枢神経系の生理反応を測定するのに対して、第2測定部22は、対象者の自律神経系の生理反応を測定する。第2測定部22は、例えば、対象者の心拍、血圧、呼吸数、皮膚温、又は皮膚電気活動(皮膚電位水準を含む)等を測定する。
The measuring
また、本実施形態の心理状態推定システム1は、実施形態1の推定部102に相当する第1推定部102に加えて、第2推定部104を備えている。
Further, the psychological state estimation system 1 of the present embodiment includes a second estimation unit 104 in addition to the
第2推定部104は、第1測定部21の測定結果及び第2測定部22の測定結果に基づいて、対象者の心理状態を、対象者の快適感の度合い(以下、「快適度」ともいう)と覚醒感の度合い(以下、「覚醒度」ともいう)とを指標として推定する。
Based on the measurement result of the
快適度とは、快適状態のレベルを示す指標である。覚醒度とは、覚醒状態のレベルを示す指標である。心理状態は、例えば、図6に示すように、快適度及び覚醒度を指標とした2次元心理モデル(例えばラッセルの円環モデル)によって表すことができる。この2次元心理モデルでは、X軸が快適度を示し、Y軸が覚醒度を示している。 Comfort is an index showing the level of comfort. Alertness is an index that indicates the level of alertness. The psychological state can be represented by, for example, as shown in FIG. 6, a two-dimensional psychological model (for example, Russell's ring model) using comfort and alertness as indexes. In this two-dimensional psychological model, the X-axis shows the comfort level and the Y-axis shows the arousal level.
X軸の快適度は、X軸の正領域が[快」であり、X軸の負領域が「不快」である。快適度は、X軸の正領域でのレベル(絶対値)が大きくなるほど快適度が増加し、X軸の負領域でのレベル(絶対値)が大きくなるほど不快度が増加(快適度が減少)する。 Regarding the comfort level of the X-axis, the positive region of the X-axis is "pleasant" and the negative region of the X-axis is "unpleasant". The degree of comfort increases as the level (absolute value) in the positive region of the X-axis increases, and the degree of discomfort increases (decreases comfort) as the level (absolute value) in the negative region of the X-axis increases. To do.
Y軸の覚醒度は、Y軸の正領域が「覚醒」であり、Y軸の負領域が「鎮静」である。覚醒度は、Y軸の正領域でのレベル(絶対値)が大きくなるほど覚醒度が増加し、Y軸の負領域でのレベル(絶対値)が大きくなるほど鎮静度が増加(覚醒度が減少)する。 Regarding the arousal level of the Y-axis, the positive region of the Y-axis is "awakening" and the negative region of the Y-axis is "sedation". The arousal level increases as the level (absolute value) in the positive region of the Y-axis increases, and the sedation level increases as the level (absolute value) in the negative region of the Y-axis increases (the arousal level decreases). To do.
心理状態は、快適度及び覚醒度が2次元心理モデルの2次元座標のどの象限にあるかによって、種類が区分けされる。第1象限Z1は、いわゆるリフレッシュ状態に関する。第1象限Z1であれば、心理状態が、例えば驚き、興奮、幸福、喜び、嬉しい等であることを示す。第2象限Z2は、いわゆるいらいら状態に関する。第2象限Z2であれば、心理状態が、例えば恐れ、心配、怒り、不満、不愉快等であることを示す。第3象限Z3は、いわゆる退屈状態に関する。第3象限Z3であれば、心理状態が、例えば悲しみ、憂鬱、退屈、たるみ等であることを示す。第4象限Z4は、いわゆるリフレッシュ状態に関する。第4象限Z4であれば、心理状態が、満足、気楽、落ち着き、リラックス等であることを示す。 Psychological states are classified into types according to which quadrant of the two-dimensional coordinates of the two-dimensional psychological model the comfort level and the alertness level are. The first quadrant Z1 relates to a so-called refresh state. The first quadrant Z1 indicates that the psychological state is, for example, surprise, excitement, happiness, joy, joy, and the like. The second quadrant Z2 relates to a so-called irritated state. In the second quadrant Z2, it indicates that the psychological state is, for example, fear, worry, anger, dissatisfaction, unpleasantness, or the like. Quadrant Z3 relates to the so-called bored state. The third quadrant Z3 indicates that the psychological state is, for example, sadness, depression, boredom, sagging, or the like. Quadrant Z4 relates to the so-called refresh state. In the fourth quadrant Z4, it indicates that the psychological state is satisfaction, comfort, calmness, relaxation, and the like.
第2推定部104は、測定部2(第1測定部21及び第2測定部22)の測定結果に基づいて快適度及び覚醒度を求めることにより、対象者の心理状態を推定する。第2推定部104は、対象者の心理状態が、2次元心理モデルの2次元座標のどの位置にあるかを求めることで、対象者の心理状態を推定する。
The second estimation unit 104 estimates the psychological state of the subject by obtaining the comfort level and the alertness level based on the measurement results of the measurement unit 2 (the
処理部10は、第1推定部102により得られた推定結果、及び第2推定部104により得られた推定結果を、出力部13を介して制御装置3に出力する。
The
制御装置3は、心理状態推定システム1の出力部13から出力された推定結果、及び複数の感覚野91〜95それぞれについての注意量に基づいて、刺激付与装置4を制御する。制御装置3は、例えば、第2推定部104で推定された対象者の現在の心理状態が、対象者が望んだ状態ではない場合に、対象者の心理状態が望ましい状態となるよう、刺激付与装置4を制御する。その際に、制御装置3は、対象者の現在の心理状態を惹起する要因が、第1推定部102で推定された、対象者の心理状態と関連性の高い感覚への刺激である、と推定し、この感覚に対する刺激を変更するように刺激付与装置4を制御する。
The
(2.2)使用例
次に、本実施形態の制御システム100の使用例について、図7のフローチャートを参照しながら説明する。
(2.2) Usage Example Next, a usage example of the
ここでは特に、対象者としての使用者が、リラックスしたいという目的で制御システム100を使用することを想定する。
Here, in particular, it is assumed that the user as the target person uses the
実施形態1の場合と同様に、まず使用者は、予め制御システム100を第1モードで動作させて、記憶部(基準値記憶部)14に基準値を記憶させておく。
As in the case of the first embodiment, the user first operates the
次に、使用者は、制御システム100を動作させ、操作部12を操作して、所望の心理状態(自身が実現したい所望の心理状態)を入力する。ここでは、使用者はリラックスすることを目的としているため、所望の心理状態としてリラックス状態を入力する。
Next, the user operates the
制御システム100は、使用者をリラックスさせるために、いわゆるバーやラウンジの雰囲気が再現されるよう、刺激付与装置4に含まれる照明装置を、光色を電球色として点灯させる。また、制御システム100は、一般的にリラックス状態をもたらすとされているバラの香りを、刺激付与装置4に含まれるアロマディフューザから発生させる。
In order to relax the user, the
心理状態推定システム1の第2推定部104は、測定部2の測定結果に基づいて、使用者の心理状態を推定する(S1)。心理状態推定システム1は、推定結果を制御装置3に出力する。制御装置3は、第2推定部104の推定結果が、2次元心理モデルにおいて所望の心理状態に対応する象限(第1象限Z1〜第4象限Z4のいずれか)にあるか否かを判定する(S2)。この場合、制御装置3は、第2推定部104の推定結果(第2推定結果)が、リラックス状態に対応する第4象限Z4にあるか否かを判定する。
The second estimation unit 104 of the psychological state estimation system 1 estimates the psychological state of the user based on the measurement result of the measurement unit 2 (S1). The psychological state estimation system 1 outputs the estimation result to the
第2推定部104の推定結果が、2次元心理モデルにおいて所望の心理状態に対応する象限にある場合(S2:Yes)、制御装置3は、使用者が所望の心理状態にあると判断して、刺激付与装置4の状態を現在の状態に維持する(S3)。
When the estimation result of the second estimation unit 104 is in the quadrant corresponding to the desired psychological state in the two-dimensional psychological model (S2: Yes), the
第2推定部104の推定結果が、2次元心理モデルにおいて所望の心理状態に対応する象限にない場合(S2:No)、制御装置3は、第1推定部102の推定結果(第1推定結果)を参照し(S4)、複数種類の感覚(五感)のうちで使用者の心理状態と関連性の高い感覚の情報を取得する。そして、制御装置3は、第1推定部102の推定結果と第2推定部104の推定結果とに基づいて、使用者の心理状態が所望の状態になっていない要因を特定する。具体的には、制御装置3は、第1推定部102によって推定された、使用者の心理状態と関連性の高い感覚が、使用者の心理状態が所望の状態になっていない要因(要因感覚)であると推定する(S5)。例えば、図3に示すように、第2推定部104の推定結果が、嗅覚についての注意量が最も大きいことを示す場合、制御装置3は、匂いが原因で、使用者の心理状態が所望の状態になっていない、と推定する。
When the estimation result of the second estimation unit 104 is not in the quadrant corresponding to the desired psychological state in the two-dimensional psychological model (S2: No), the
そして、制御装置3は、刺激付与装置4のうちで、第1推定部102で推定された感覚に対する刺激を与え得る装置(関連する装置)の動作を、変更する(S6)。例えば、使用者は、バラの香りが嫌いである可能性がある。そのため、制御装置3は、刺激付与装置4に含まれるアロマディフューザの動作を停止させる、或いはアロマディフューザから、ラベンダー等のバラとは異なる匂いを発生させる。
Then, the
刺激付与装置4の動作を変更した後、制御装置3は、第2推定部104の推定結果を取得して使用者の心理状態を推定し(S1)、使用者の心理状態が所望の状態(リラックス状態)になったか否かを判定する(S2)。制御装置3は、使用者の心理状態が所望の状態になるまで、上記の動作を繰り返す。
After changing the operation of the
このように、本実施形態の心理状態推定システム1によれば、第2推定部104で対象者の心理状態を推定し、第1推定部102で対象者の心理状態と関連性の高い感覚を推定している。これにより、対象者の現在の心理状態と、その心理状態を惹起する要因となっている感覚を、組み合わせて推定することが可能となる。
As described above, according to the psychological state estimation system 1 of the present embodiment, the second estimation unit 104 estimates the psychological state of the subject, and the
また、制御システム100は、第1推定部102の推定結果と第2推定部104の推定結果とを用いることで、対象者の心理状態を所望の状態に誘導することが可能となる。
Further, the
なお、第2推定部104の推定結果が、2次元心理モデルにおいて所望の心理状態に対応する象限にある場合(S2:Yes)であっても、制御装置3は、第1推定部102の推定結果(第1推定結果)を参照してもよい。そして、制御装置3は、使用者の心理状態と関連性の高い感覚に対する刺激を与え得る装置の動作を、使用者の心理状態がより望ましい状態となるように(例えば、心理状態が第4象限Z4にある場合において、快適度がより高くなるように)、刺激付与装置4を動作させてもよい。
Even when the estimation result of the second estimation unit 104 is in the quadrant corresponding to the desired psychological state in the two-dimensional psychological model (S2: Yes), the
(3)推定モデルの生成方法
心理状態推定システム1の推定部(第1推定部)102で用いられる推定モデルは、図8に示す生成方法によって生成され得る。すなわち、本開示の一態様に係る推定モデルの生成方法は、取得ステップ(S101)と、モデル生成ステップ(S102)と、を含む。取得ステップは、対象者に複数種類の刺激が与えられたときに対象者の脳90における複数の感覚野(感覚野91〜95のうち、少なくとも2つ)の活動量の情報を取得することを含む。モデル生成ステップは、少なくとも複数の感覚野(感覚野91〜95のうちの上記少なくとも2つ)の活動量の情報を入力データとし、対象者の心理状態と関連性の高い感覚を出力データとする機械学習により、入力データと出力データとに応じた推定モデルを生成することを含む。
(3) Method of generating an estimation model The estimation model used in the estimation unit (first estimation unit) 102 of the psychological state estimation system 1 can be generated by the generation method shown in FIG. That is, the method of generating the estimation model according to one aspect of the present disclosure includes an acquisition step (S101) and a model generation step (S102). The acquisition step is to acquire information on the amount of activity of a plurality of sensory areas (at least two of the
(4)変形例
上述の実施形態は、本開示の様々な実施形態の一部に過ぎない。上述の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に説明する変形例は、上述の実施形態と適宜組み合わせて適用可能である。心理状態推定システム1と同様の機能は、心理状態推定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。
(4) Modified Examples The above-described embodiments are only a part of various embodiments of the present disclosure. The above-described embodiment can be changed in various ways depending on the design and the like as long as the object of the present disclosure can be achieved. The modifications described below can be applied in combination with the above-described embodiments as appropriate. The same function as the psychological state estimation system 1 may be embodied by a psychological state estimation method, a (computer) program, a non-temporary recording medium on which the program is recorded, or the like.
一態様に係る心理状態推定方法は、取得ステップと、推定ステップと、を含む。取得ステップは、対象者の脳90における複数の感覚野91〜95の活動量の情報をそれぞれ取得する。推定ステップは、対象者に複数種類の刺激が与えられたときに取得された複数の感覚野91〜95の活動量の情報に基づいて、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚のうちで対象者の心理状態と関連性の高い感覚を推定する。
The psychological state estimation method according to one aspect includes an acquisition step and an estimation step. The acquisition step acquires information on the amount of activity of a plurality of
一態様に係るプログラムは、1以上のプロセッサに、上記の心理状態推定方法を実行させるためのプログラムである。 The program according to one aspect is a program for causing one or more processors to execute the above-mentioned psychological state estimation method.
本開示における心理状態推定システム1は、例えば、処理部10等に、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における心理状態推定システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
The psychological state estimation system 1 in the present disclosure includes, for example, a computer system in a
また、心理状態推定システム1における複数の機能が、1つの筐体内に集約されていることは心理状態推定システム1に必須の構成ではない。心理状態推定システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、心理状態推定システム1の少なくとも一部の機能は、例えば、サーバ装置及びクラウド(クラウドコンピューティング)等によって実現されてもよい。 Further, it is not an essential configuration for the psychological state estimation system 1 that a plurality of functions in the psychological state estimation system 1 are integrated in one housing. The components of the psychological state estimation system 1 may be distributed in a plurality of housings. Further, at least a part of the functions of the psychological state estimation system 1 may be realized by, for example, a server device and a cloud (cloud computing).
心理状態推定システム1は、測定部2のみと一緒に用いられてもよい。つまり、心理状態推定システム1で推定された、対象者の心理状態と関連性が高い感覚についての情報は、制御装置3による刺激付与装置4の制御以外の用途で用いられてもよい。例えば、心理状態推定システム1によって得られる、対象者の心理状態と関連性の高い感覚の情報を、複数人分集めることによって、複数の感覚のうちで、これら複数人の心理状態への影響力が強い感覚を推定することが可能である。
The psychological state estimation system 1 may be used together with the
心理状態推定システム1が、対象者の心理状態と関連性の高い感覚として推定する複数種類の感覚の候補は、五感の全てを含んでいなくともよい。つまり、複数種類の感覚は、五感(視覚、聴覚、嗅覚、体性感覚及び味覚)のうちの少なくとも2つを含んでいればよい。複数種類の感覚は、視覚、聴覚、及び嗅覚を少なくとも含むことが好ましい。 The plurality of types of sensation candidates estimated by the psychological state estimation system 1 as sensations highly related to the psychological state of the subject do not have to include all five senses. That is, the plurality of types of sensations need only include at least two of the five senses (visual, auditory, olfactory, somatosensory, and taste). The plurality of sensations preferably include at least visual, auditory, and olfactory sensations.
取得部101で活動量の情報が取得される感覚野は、1次感覚野に限られない。取得部101で活動量の情報が取得される感覚野は、1次感覚野に代えて或いは加えて、2次感覚野又は3次感覚野等の、高次の感覚野を含んでいてもよい。 The sensory area from which the activity amount information is acquired by the acquisition unit 101 is not limited to the primary sensory area. The sensory area from which the activity amount information is acquired by the acquisition unit 101 may include a higher sensory area such as a secondary sensory area or a tertiary sensory area in place of or in addition to the primary sensory area. ..
取得部101は、五感のうちの一つの感覚野に対応する脳の領域を複数の領域に分け、複数の領域毎に活動量の情報を取得してもよい。例えば、取得部101は、視覚野91のうちで物体の動きに反応する領域の活動量の情報と、視覚野91のうちで色に反応する領域の活動量の情報と、を別々に取得してもよい。
The acquisition unit 101 may divide the brain region corresponding to one of the five senses into a plurality of regions and acquire information on the amount of activity for each of the plurality of regions. For example, the acquisition unit 101 separately acquires information on the amount of activity in the area of the
記憶部(基準値記憶部)14に記憶される基準値は、対象者に刺激が与えられていないときに取得部101で取得された複数の感覚野91〜95の活動量に基づいて定められたものでなくてもよい。例えば、基準値は、予め記憶部14に記憶されたデフォルト値であってもよい。
The reference value stored in the storage unit (reference value storage unit) 14 is determined based on the amount of activity of the plurality of
心理状態推定システム1は、基準値記憶部14を備えていなくてもよい。例えば、推定部(第1推定部)102は、第2モードで動作しているときに取得部101で取得された活動量を、注意量として用いてもよい。この場合、推定部(第1推定部)102は、複数種類の感覚のうちで、対応する感覚野の注意量(すなわち、活動量)が最も大きな感覚を、対象者の心理状態と関連性の高い感覚であると推定する。
The psychological state estimation system 1 does not have to include the reference
推定部(第1推定部)102は、複数の感覚野91〜95にそれぞれ対応する複数種類の感覚のうちで、注意量が最も大きな感覚を、対象者の心理状態と関連性の高い感覚である、と推定する構成に限られない。推定部(第1推定部)102は、例えば、複数の感覚野91〜95それぞれに関する注意量を閾値と比較し、注意量が閾値より大きな感覚野に対応する感覚を、対象者の心理状態と関連性の高い感覚である、と推定してもよい。この場合、2以上の感覚が、対象者の心理状態と関連性の高い感覚であると推定され得る。閾値は、複数の感覚野91〜95の注意量に対して互いに異なっていてもよい。
The estimation unit (first estimation unit) 102 sets the sensation with the largest amount of attention among the plurality of types of sensations corresponding to the plurality of
基準値は、対象者が日常生活を送るときに測定された複数の感覚野91〜95の活動量の情報に基づいて、求められてもよい。
The reference value may be obtained based on the information on the amount of activity of the plurality of
脳活動量測定部(第1測定部)21は、NIRS脳計測装置に限られず、MRI(Magnetic ResonanceImaging)装置、脳波(γ波等)を測定する脳波計等であってもよい。 The brain activity measuring unit (first measuring unit) 21 is not limited to the NIRS brain measuring device, but may be an MRI (Magnetic Resonance Imaging) device, an electroencephalograph for measuring an electroencephalogram (γ wave or the like), or the like.
刺激付与装置4は、既存の設備が流用されてもよい。例えば、制御システム100は、建物に予め備え付けられた照明装置、空調装置等を、刺激付与装置4として用いてもよい。
As the
(5)まとめ
以上説明した実施形態及び変形例等から以下の態様が開示されている。
(5) Summary The following aspects are disclosed from the embodiments and modifications described above.
第1の態様に係る心理状態推定システム(1)は、取得部(101)と、推定部(102)と、を備える。取得部(101)は、対象者の脳(90)における複数の感覚野(91〜95)の活動量の情報をそれぞれ取得する。推定部(102)は、対象者に複数種類の刺激が与えられたときに取得部(101)で取得された複数の感覚野(91〜95)の活動量の情報に基づいて、複数の感覚野(91〜95)にそれぞれ対応する複数種類の感覚のうちで対象者の心理状態と関連性の高い感覚を推定する。 The psychological state estimation system (1) according to the first aspect includes an acquisition unit (101) and an estimation unit (102). The acquisition unit (101) acquires information on the amount of activity of a plurality of sensory areas (91 to 95) in the subject's brain (90). The estimation unit (102) has a plurality of sensations based on information on the amount of activity of the plurality of sensory areas (91 to 95) acquired by the acquisition unit (101) when a plurality of types of stimuli are given to the subject. Among the plurality of types of sensations corresponding to the fields (91 to 95), the sensations highly related to the psychological state of the subject are estimated.
この態様によれば、心理状態推定システム(1)を、対象者の心理状態の要因の特定に役立てることが可能となる。 According to this aspect, the psychological state estimation system (1) can be used to identify the factors of the psychological state of the subject.
第2の態様に係る心理状態推定システム(1)では、第1の態様において、推定部(102)は、複数種類の感覚のうちで、対応する感覚野の活動量が最も大きな感覚を、対象者の心理状態と関連性の高い感覚であると推定する。 In the psychological state estimation system (1) according to the second aspect, in the first aspect, the estimation unit (102) targets the sensation having the largest amount of activity in the corresponding sensory area among the plurality of types of sensations. It is presumed that the sensation is highly related to the psychological state of the person.
この態様によれば、心理状態推定システム(1)を、対象者の心理状態の要因の特定に役立てることが可能となる。 According to this aspect, the psychological state estimation system (1) can be used to identify the factors of the psychological state of the subject.
第3の態様に係る心理状態推定システム(1)は、第1の態様において、基準値記憶部(14)を更に備える。基準値記憶部(14)は、複数の感覚野(91〜95)の活動量に一対一に対応する複数の基準値を記憶する。推定部(102)は、複数種類の感覚のうちで、対応する感覚野の活動量と対応する基準値との差分が最も大きな感覚を、対象者の心理状態と関連性の高い感覚であると推定する。 The psychological state estimation system (1) according to the third aspect further includes a reference value storage unit (14) in the first aspect. The reference value storage unit (14) stores a plurality of reference values corresponding to the activity amounts of the plurality of sensory areas (91 to 95) on a one-to-one basis. The estimation unit (102) considers that, among the plurality of types of sensations, the sensation in which the difference between the activity amount of the corresponding sensory area and the corresponding reference value is the largest is the sensation highly related to the psychological state of the subject. presume.
この態様によれば、基準値に基づいて、対象者の心理状態と関連性の高い感覚を推定することが可能となる。 According to this aspect, it is possible to estimate a sensation highly related to the psychological state of the subject based on the reference value.
第4の態様に係る心理状態推定システム(1)は、第3の態様において、基準値設定部(103)を、更に備える。基準値設定部(103)は、対象者に刺激が与えられていないときに取得部(101)で取得された複数の感覚野(91〜95)の活動量に基づいて、複数の基準値を定める。 The psychological state estimation system (1) according to the fourth aspect further includes a reference value setting unit (103) in the third aspect. The reference value setting unit (103) sets a plurality of reference values based on the amount of activity of the plurality of sensory areas (91 to 95) acquired by the acquisition unit (101) when the subject is not stimulated. Determine.
この態様によれば、対象者に刺激が与えられていないときの感覚野(91〜95)の活動量に基づいて定められた基準値に基づいて、対象者の心理状態と関連性の高い感覚を推定することが可能となる。 According to this aspect, the sensation highly related to the psychological state of the subject is based on the reference value determined based on the amount of activity of the sensory area (91-95) when the subject is not stimulated. Can be estimated.
第5の態様に係る心理状態推定システム(1)では、第1〜第4のいずれか1つの態様において、推定部(102)は第1推定部である。心理状態推定システム(1)は、第2推定部(104)を、更に備える。第2推定部(104)は、対象者の心理状態を、対象者の快適感の度合いと覚醒感の度合いとを指標として推定する。 In the psychological state estimation system (1) according to the fifth aspect, in any one of the first to fourth aspects, the estimation unit (102) is the first estimation unit. The psychological state estimation system (1) further includes a second estimation unit (104). The second estimation unit (104) estimates the psychological state of the subject using the degree of comfort and the degree of arousal of the subject as indexes.
この態様によれば、第2推定部(104)で推定された対象者の心理状態に関連性の高い感覚を、第1推定部(102)によって推定することが可能となる。 According to this aspect, the sensation highly related to the psychological state of the subject estimated by the second estimation unit (104) can be estimated by the first estimation unit (102).
第6の態様に係る心理状態推定システム(1)では、第1〜第5のいずれか1つの態様において、複数種類の感覚は、視覚、聴覚、嗅覚、体性感覚及び味覚のうちの少なくとも2つを含む。 In the psychological state estimation system (1) according to the sixth aspect, in any one of the first to fifth aspects, the plurality of types of sensations are at least two of visual, auditory, olfactory, somatosensory, and taste sensations. Including one.
この態様によれば、心理状態推定システム(1)を、対象者の心理状態の要因の特定に役立てることが可能となる。 According to this aspect, the psychological state estimation system (1) can be used to identify the factors of the psychological state of the subject.
第7の態様に係る心理状態推定方法は、取得ステップと、推定ステップと、を含む。取得ステップは、対象者の脳における複数の感覚野(91〜95)の活動量の情報をそれぞれ取得することを含む。推定ステップは、対象者に複数種類の刺激が与えられたときに取得された複数の感覚野(91〜95)の活動量の情報に基づいて、複数の感覚野(91〜95)にそれぞれ対応する複数種類の感覚のうちで対象者の心理状態と関連性の高い感覚を推定することを含む。 The psychological state estimation method according to the seventh aspect includes an acquisition step and an estimation step. The acquisition step includes acquiring information on the amount of activity of a plurality of sensory areas (91 to 95) in the subject's brain, respectively. The estimation step corresponds to each of the plurality of sensory areas (91 to 95) based on the information on the amount of activity of the plurality of sensory areas (91 to 95) acquired when the subject is given multiple types of stimuli. It includes estimating the sensations that are highly related to the subject's psychological state among multiple types of sensations.
この態様によれば、心理状態推定方法を、対象者の心理状態の要因の特定に役立てることが可能となる。 According to this aspect, the psychological state estimation method can be used to identify the factors of the psychological state of the subject.
第8の態様に係るプログラムは、1以上のプロセッサに、第7の態様に係る心理状態推定方法を実行させる。 The program according to the eighth aspect causes one or more processors to execute the psychological state estimation method according to the seventh aspect.
この態様によれば、心理状態推定方法を実行するプログラムを、対象者の心理状態の要因の特定に役立てることが可能となる。 According to this aspect, it is possible to use the program for executing the psychological state estimation method to identify the factors of the psychological state of the subject.
第9の態様に係る推定モデルの生成方法は、第1〜第6のいずれか1つの態様に係る心理状態推定システム(1)の推定部(102)で用いられる推定モデルの生成方法である。推定モデルの生成方法は、取得ステップと、モデル生成ステップと、を含む。取得ステップは、対象者に複数種類の刺激が与えられたときに対象者の脳(90)における複数の感覚野(91〜95)の活動量の情報を取得することを含む。モデル生成ステップは、少なくとも複数の感覚野(91〜95)の活動量の情報を入力データとし、対象者の心理状態と関連性の高い感覚を出力データとする機械学習により、入力データと出力データとに応じた推定モデルを生成することを含む。 The method for generating the estimation model according to the ninth aspect is the method for generating the estimation model used in the estimation unit (102) of the psychological state estimation system (1) according to any one of the first to sixth aspects. The estimation model generation method includes an acquisition step and a model generation step. The acquisition step includes acquiring information on the amount of activity of a plurality of sensory areas (91 to 95) in the subject's brain (90) when the subject is given multiple types of stimuli. The model generation step uses machine learning that uses information on the amount of activity of at least a plurality of sensory areas (91 to 95) as input data and sensations that are highly related to the psychological state of the subject as output data. Includes generating an estimation model according to.
1 心理状態推定システム
101 取得部
102 推定部(第1推定部)
103 基準値設定部
104 第2推定部
14 基準値記憶部
90 脳
91〜95 感覚野
1 Psychological state estimation system 101
103 Reference value setting unit 104
Claims (10)
前記対象者が複数種類の刺激下にあるときに、前記取得部で取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで前記対象者の感情と関連性の高い感覚を推定する推定部と、
を備える、
心理状態推定システム。 An acquisition unit that acquires information on the amount of activity of multiple sensory areas in the subject's brain,
When the subject is under a plurality of types of stimuli, among the plurality of types of sensations corresponding to the plurality of sensory areas, based on the information on the amount of activity of the plurality of sensory areas acquired by the acquisition unit. In the estimation unit that estimates the sensation that is highly related to the subject's emotions,
To prepare
Psychological state estimation system.
請求項1に記載の心理状態推定システム。 Among the plurality of types of sensations, the estimation unit estimates that the sensation with the largest amount of activity in the corresponding sensory area is the sensation highly related to the emotion of the subject.
The psychological state estimation system according to claim 1.
前記推定部は、前記複数種類の感覚のうちで、対応する感覚野の活動量と対応する基準値との差分が最も大きな感覚を、前記対象者の感情と関連性の高い感覚であると推定する、
請求項1に記載の心理状態推定システム。 The psychological state estimation system further includes a reference value storage unit that stores a plurality of reference values corresponding to the activity amounts of the plurality of sensory areas on a one-to-one basis.
Among the plurality of types of sensations, the estimation unit estimates that the sensation having the largest difference between the activity amount of the corresponding sensory area and the corresponding reference value is the sensation highly related to the emotion of the subject. To do,
The psychological state estimation system according to claim 1.
前記対象者に前記刺激が与えられていないときに前記取得部で取得された前記複数の感覚野の活動量に基づいて前記複数の基準値を定める基準値設定部を、更に備える、
請求項3に記載の心理状態推定システム。 The psychological state estimation system
A reference value setting unit that determines the plurality of reference values based on the activity amount of the plurality of sensory areas acquired by the acquisition unit when the stimulus is not given to the subject is further provided.
The psychological state estimation system according to claim 3.
前記心理状態推定システムは、
前記対象者の感情を前記対象者の快適感の度合いと覚醒感の度合いとを指標として推定する第2推定部を、更に備える、
請求項1〜4のいずれか1項に記載の心理状態推定システム。 The estimation unit is the first estimation unit.
The psychological state estimation system
A second estimation unit that estimates the emotion of the subject using the degree of comfort and the degree of arousal of the subject as indexes is further provided.
The psychological state estimation system according to any one of claims 1 to 4.
請求項1〜5のいずれか1項に記載の心理状態推定システム。 The plurality of types of sensations include at least two of visual, auditory, olfactory, somatosensory and taste sensations.
The psychological state estimation system according to any one of claims 1 to 5.
前記対象者が複数種類の刺激下にあるときに、取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで前記対象者の感情と関連性の高い感覚を推定する推定ステップと、
を含む、
心理状態推定方法。 Acquisition steps to acquire information on the amount of activity of multiple sensory areas in the subject's brain,
When the subject is under a plurality of types of stimuli, the subject is among the plurality of types of sensations corresponding to the plurality of sensory areas based on the acquired information on the amount of activity of the plurality of sensory areas. Estimating steps to estimate sensations that are highly relevant to your emotions,
including,
Psychological state estimation method.
請求項7記載の心理状態推定方法を実行させる、
プログラム。 For one or more processors
The psychological state estimation method according to claim 7 is executed.
program.
対象者が複数種類の刺激下にあるときに、前記対象者の脳における複数の感覚野の活動量の情報を取得する取得ステップと、
少なくとも前記複数の感覚野の活動量の情報を入力データとし、前記対象者の感情と関連性の高い感覚を出力データとする機械学習により、前記入力データと前記出力データとに応じた前記推定モデルを生成するモデル生成ステップと、
を含む、
推定モデルの生成方法。 A method for generating an estimation model used in the estimation unit of the psychological state estimation system according to any one of claims 1 to 6.
When the subject is under multiple types of stimuli, the acquisition step of acquiring information on the amount of activity of multiple sensory areas in the subject's brain, and
The estimation model corresponding to the input data and the output data by machine learning using at least information on the activity amount of the plurality of sensory areas as input data and the sensation highly related to the subject's emotion as output data. Model generation steps to generate
including,
How to generate an estimation model.
前記対象者が複数種類の刺激下にあるときに、前記取得部で取得された前記複数の感覚野の活動量の情報に基づいて、前記複数の感覚野にそれぞれ対応する複数種類の感覚のうちで、前記対象者の快適感の度合いと覚醒感の度合いとを指標として表される前記対象者の心理状態と関連性の高い感覚を推定する推定部と、
を備える、
心理状態推定システム。
An acquisition unit that acquires information on the amount of activity of multiple sensory areas in the subject's brain,
Of the plurality of types of sensations corresponding to the plurality of sensory areas, based on the information on the amount of activity of the plurality of sensory areas acquired by the acquisition unit when the subject is under a plurality of types of stimuli. An estimation unit that estimates a sensation that is highly related to the psychological state of the subject, which is expressed using the degree of comfort and the degree of arousal of the subject as an index.
To prepare
Psychological state estimation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078599A JP7241318B2 (en) | 2020-04-27 | 2020-04-27 | Mental state estimation system, mental state estimation method, program, estimation model generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078599A JP7241318B2 (en) | 2020-04-27 | 2020-04-27 | Mental state estimation system, mental state estimation method, program, estimation model generation method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019069215A Division JP6709966B1 (en) | 2019-03-29 | 2019-03-29 | Mental state estimation system, mental state estimation method, program, estimation model generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020163164A true JP2020163164A (en) | 2020-10-08 |
JP7241318B2 JP7241318B2 (en) | 2023-03-17 |
Family
ID=72665965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078599A Active JP7241318B2 (en) | 2020-04-27 | 2020-04-27 | Mental state estimation system, mental state estimation method, program, estimation model generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7241318B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010264038A (en) * | 2009-05-14 | 2010-11-25 | Panasonic Electric Works Co Ltd | Device and method for evaluating psycological state |
WO2013154012A1 (en) * | 2012-04-10 | 2013-10-17 | 株式会社国際電気通信基礎技術研究所 | Object observation device, object observation method, and recording medium |
JP2013233424A (en) * | 2012-04-12 | 2013-11-21 | Canon Inc | Evaluation method, evaluation device, program, and recording medium |
JP2014133080A (en) * | 2012-04-12 | 2014-07-24 | Canon Inc | Evaluation method, evaluation device, program, and recording medium |
WO2015190028A1 (en) * | 2014-06-09 | 2015-12-17 | パナソニックIpマネジメント株式会社 | Environment control system |
JP2018189720A (en) * | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Information output control device, information output control method, information output system and program |
-
2020
- 2020-04-27 JP JP2020078599A patent/JP7241318B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010264038A (en) * | 2009-05-14 | 2010-11-25 | Panasonic Electric Works Co Ltd | Device and method for evaluating psycological state |
WO2013154012A1 (en) * | 2012-04-10 | 2013-10-17 | 株式会社国際電気通信基礎技術研究所 | Object observation device, object observation method, and recording medium |
JP2013233424A (en) * | 2012-04-12 | 2013-11-21 | Canon Inc | Evaluation method, evaluation device, program, and recording medium |
JP2014133080A (en) * | 2012-04-12 | 2014-07-24 | Canon Inc | Evaluation method, evaluation device, program, and recording medium |
WO2015190028A1 (en) * | 2014-06-09 | 2015-12-17 | パナソニックIpマネジメント株式会社 | Environment control system |
JP2018189720A (en) * | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Information output control device, information output control method, information output system and program |
Non-Patent Citations (1)
Title |
---|
安藤 広志: "人の多感覚情報処理と心理・脳活動分析技術", 映像情報メディア学会技術報告, vol. 32, no. 21, JPN6019051811, 26 May 2008 (2008-05-26), JP, pages 13 - 14, ISSN: 0004904338 * |
Also Published As
Publication number | Publication date |
---|---|
JP7241318B2 (en) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Petrantonakis et al. | Emotion recognition from brain signals using hybrid adaptive filtering and higher order crossings analysis | |
JP5320543B2 (en) | Brain function enhancement support device and brain function enhancement support method | |
JP6454944B2 (en) | Configuration and spatial arrangement of front electrode sensor for detecting physiological signals | |
Höller et al. | Individual brain-frequency responses to self-selected music | |
US20230014469A1 (en) | Sensor privacy setting control | |
JP2020073084A (en) | Discrimination of comfortableness | |
US20220261065A9 (en) | System for communicating sensory information with an interactive system and methods thereof | |
Serino et al. | Tuning of temporo‐occipital activity by frontal oscillations during virtual mirror exposure causes erroneous self‐recognition | |
JP2018023586A (en) | Brain's insular cortex activity extraction method | |
McKay et al. | Connectivity in language areas of the brain in cochlear implant users as revealed by fNIRS | |
Weder et al. | Cortical processing related to intensity of a modulated noise stimulus—a functional near-infrared study | |
KR20190049442A (en) | System and method for inducing sleep based on auditory stimulation | |
Lopes et al. | Nat (UR) e: Quantifying the relaxation potential of ultra-reality multisensory nature walk experiences | |
KR102573959B1 (en) | Digital therapy system and method thereof | |
JP7365637B2 (en) | Environmental control system, environmental control method and program | |
JP5870465B2 (en) | Brain function training apparatus and brain function training program | |
WO2020203051A1 (en) | Mental state estimation system, mental state estimation method, program, and method for generating estimation model | |
JP7241318B2 (en) | Mental state estimation system, mental state estimation method, program, estimation model generation method | |
WO2022172447A1 (en) | Environment control system, environment control method, and program | |
Mughal et al. | Emotion recognition techniques for geriatric users: a snapshot | |
JP2019040525A (en) | Affinity analysis system, affinity analysis apparatus, affinity analysis method, and program | |
JP2023533831A (en) | EMDR therapy analysis | |
WO2023189688A1 (en) | Environment control system, environment control method, and program | |
JP7233032B2 (en) | Environment control system and environment control method | |
JP5681917B2 (en) | Brain function enhancement support device and brain function enhancement support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7241318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |