JP2021079041A - Empathy degree evaluation system, empathy degree evaluation method and program - Google Patents
Empathy degree evaluation system, empathy degree evaluation method and program Download PDFInfo
- Publication number
- JP2021079041A JP2021079041A JP2019211827A JP2019211827A JP2021079041A JP 2021079041 A JP2021079041 A JP 2021079041A JP 2019211827 A JP2019211827 A JP 2019211827A JP 2019211827 A JP2019211827 A JP 2019211827A JP 2021079041 A JP2021079041 A JP 2021079041A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- visual stimulus
- retention
- eye
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 143
- 230000014759 maintenance of location Effects 0.000 claims abstract description 93
- 230000004424 eye movement Effects 0.000 claims abstract description 48
- 210000004556 brain Anatomy 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 93
- 210000001508 eye Anatomy 0.000 claims description 38
- 230000000284 resting effect Effects 0.000 claims description 8
- 238000007477 logistic regression Methods 0.000 claims description 5
- 230000000638 stimulation Effects 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 15
- 238000000537 electroencephalography Methods 0.000 description 9
- 230000002996 emotional effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000002570 electrooculography Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本開示は、一般に共感度評価システム、共感度評価方法及びプログラムに関し、より詳細には、視覚刺激に対する被験者の共感度を評価する共感度評価システム、共感度評価方法及びプログラムに関する。 The present disclosure relates generally to empathy evaluation systems, empathy evaluation methods and programs, and more specifically to empathy evaluation systems, empathy evaluation methods and programs that evaluate the subject's empathy to visual stimuli.
特許文献1には、コンテンツを閲覧している被験者に対する生理計測から得られる生理指標及び視点追跡装置による計測結果の分析を支援する分析支援装置が提案されている。 Patent Document 1 proposes an analysis support device that supports analysis of measurement results by a physiological index and a viewpoint tracking device obtained from physiological measurement for a subject viewing a content.
特許文献1に記載された分析支援装置は、感情状態算出手段と、記憶手段と、対応付け手段と、表示手段と、を具備している。 The analysis support device described in Patent Document 1 includes an emotional state calculating means, a storage means, an associating means, and a display means.
記憶手段は、生理計測から得られる被験者の生理指標と、視点追跡装置によって計測される被験者の視点座標データと、視点追跡装置によって撮像されるコンテンツに係るシーン映像又はスナップショット画像と、生理計測の生理指標の計測開始時刻及び視点追跡装置による計測開始時刻の時間差とを記憶する。感情状態算出手段は、生理指標に基づいて被験者の感情状態の指標を算出する。対応付け手段は、視点追跡装置によって計測される被験者の視点座標データに基づいて被験者の視点座標を、コンテンツに係るシーン映像又はスナップショット画像に対応付ける。表示手段は、上記時間差に基づいて時系列を同期して、被験者の視点座標が対応付けられるシーン映像またはスナップショット画像と、感情状態の指標とを同一画面に表示する。 The storage means are the physiological index of the subject obtained from the physiological measurement, the viewpoint coordinate data of the subject measured by the viewpoint tracking device, the scene image or snapshot image related to the content captured by the viewpoint tracking device, and the physiological measurement. The time difference between the measurement start time of the physiological index and the measurement start time by the viewpoint tracking device is stored. The emotional state calculation means calculates an index of the emotional state of the subject based on the physiological index. The associating means associates the subject's viewpoint coordinates with the scene image or snapshot image related to the content based on the subject's viewpoint coordinate data measured by the viewpoint tracking device. The display means synchronizes the time series based on the time difference, and displays the scene image or snapshot image to which the viewpoint coordinates of the subject are associated and the index of the emotional state on the same screen.
特許文献1には、感情状態の指標の例として、「興味度/集中度」(対象物閲覧時の興味・関心や集中の度合い)、「ストレス/リラックス状態」(対象物閲覧時のストレス/リラックス状態)、「快/不快」(対象物閲覧時の快/不快状態)、「覚醒度」(対象物閲覧時の覚醒度)、「基本感情」(対象物閲覧時の喜怒哀楽などの基本的な感情状態)、「自律神経活性度」等が挙げられている。 In Patent Document 1, as examples of an index of emotional state, "interest / concentration" (degree of interest / interest and concentration when browsing an object) and "stress / relaxed state" (stress / when browsing an object / Relaxed state), "pleasant / unpleasant" (pleasant / unpleasant state when browsing the object), "awakening degree" (awakening degree when browsing the object), "basic emotion" (emotions and sorrows when browsing the object, etc.) Basic emotional state), "autonomic nerve activity", etc. are listed.
特許文献1に開示された分析支援装置では、被験者がコンテンツを見てから生理反応が現れるまでには時間差があるので、時間差に基づいて時系列を同期させただけでは、被験者が見ている場所と感情状態との対応がずれている可能性がある。このため、特許文献1に開示された分析支援装置を利用しても、視覚刺激に対する被験者の共感度を評価することは難しかった。 In the analysis support device disclosed in Patent Document 1, there is a time difference between the time when the subject sees the content and the time when the physiological reaction appears. Therefore, simply synchronizing the time series based on the time difference is the place where the subject is looking. And the emotional state may be out of alignment. Therefore, even if the analysis support device disclosed in Patent Document 1 is used, it is difficult to evaluate the sympathy of the subject with respect to the visual stimulus.
本開示の目的は、視覚刺激に対する被験者の共感度を評価することが可能な共感度評価システム、共感度評価方法及びプログラムを提供することにある。 An object of the present disclosure is to provide an empathy evaluation system, an empathy evaluation method and a program capable of evaluating the empathy of a subject with respect to a visual stimulus.
本開示の一態様に係る共感度評価システムは、脳波抽出部と、領域分割部と、領域特定部と、眼球停留関連電位算出部と、評価部と、を備える。前記脳波抽出部は、提示されたキーワードに関連して提示された視覚刺激を見ているときの被験者の眼球運動における複数の眼球停留開始時点の情報を用い、前記視覚刺激を見ているときの前記被験者の脳波から前記複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する。前記領域分割部は、前記視覚刺激を複数の分割領域に分割する。前記領域特定部は、前記眼球運動から算出した前記視覚刺激における前記被験者の視点位置情報と、前記複数の停留時脳波と、に基づいて、前記複数の停留時脳波について前記複数の分割領域のうち対応する分割領域を特定する。前記眼球停留関連電位算出部は、前記複数の分割領域ごとに、前記複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。前記評価部は、前記複数の分割領域に一対一に対応する前記複数の眼球停留関連電位の振幅値に基づいて、前記キーワードに関する前記被験者の前記視覚刺激全体に対する共感度を評価する。 The sympathy evaluation system according to one aspect of the present disclosure includes an electroencephalogram extraction unit, a region division unit, a region identification unit, an eye retention-related potential calculation unit, and an evaluation unit. The electroencephalogram extraction unit uses information at a plurality of eyeball retention start points in the eye movement of the subject when viewing the presented visual stimulus in relation to the presented keyword, and when viewing the visual stimulus. From the brain waves of the subject, a plurality of staying brain waves corresponding to one-to-one at the start time of the plurality of eyeball stays are extracted. The region division portion divides the visual stimulus into a plurality of division regions. Based on the viewpoint position information of the subject in the visual stimulus calculated from the eye movement and the plurality of staying electroencephalograms, the region specifying portion of the plurality of divided regions of the plurality of staying electroencephalograms. Identify the corresponding split area. The eyeball retention-related potential calculation unit calculates the eyeball retention-related potential based on the corresponding group of stationary electroencephalograms among the plurality of stationary electroencephalograms for each of the plurality of divided regions. The evaluation unit evaluates the sympathy of the subject with respect to the entire visual stimulus with respect to the keyword based on the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis.
本開示の一態様に係る共感度評価方法は、第1ステップと、第2ステップと、第3ステップと、第4ステップと、第5ステップと、第6ステップと、第7ステップと、第8ステップと、を備える。第1ステップでは、キーワードが提示された被験者に対してさらに視覚刺激を提示する。第2ステップでは、視覚刺激を見ているときの被験者の脳波及び眼球運動それぞれを計測する。第3ステップでは、被験者の眼球運動から複数の眼球停留開始時点を検出する。第4ステップでは、被験者の脳波から、複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する。第5ステップでは、複数の眼球停留開始時点に一対一に対応する複数の視点位置情報を取得する。第6ステップでは、複数の視点位置情報と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域のうち対応する分割領域を特定する。第7ステップでは、複数の分割領域ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。第8ステップでは、複数の分割領域に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、キーワードに関する被験者の視覚刺激全体に対する共感度を評価する。 The sympathy evaluation method according to one aspect of the present disclosure includes a first step, a second step, a third step, a fourth step, a fifth step, a sixth step, a seventh step, and an eighth step. With steps. In the first step, a visual stimulus is further presented to the subject to whom the keyword is presented. In the second step, the brain waves and eye movements of the subject while watching the visual stimulus are measured. In the third step, a plurality of eyeball retention start time points are detected from the eyeball movement of the subject. In the fourth step, a plurality of staying electroencephalograms corresponding to one-to-one at the start time of the plurality of eyeball staying are extracted from the subject's brain waves. In the fifth step, a plurality of viewpoint position information corresponding to one-to-one at the start time of the plurality of eyeball stops is acquired. In the sixth step, the corresponding divided regions among the plurality of divided regions are specified for the plurality of stationary electroencephalograms based on the plurality of viewpoint position information and the plurality of stationary electroencephalograms. In the seventh step, the eyeball resting related potential is calculated based on the corresponding group of staying electroencephalograms among the plurality of staying electroencephalograms for each of the plurality of divided regions. In the eighth step, the sympathy of the subject with respect to the entire visual stimulus regarding the keyword is evaluated based on the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis.
本開示の一態様に係るプログラムは、コンピュータシステムに、前記共感度評価方法を実行させるためのプログラムである。 The program according to one aspect of the present disclosure is a program for causing a computer system to execute the sympathy evaluation method.
本開示の上記態様に係る共感度評価システム、共感度評価方法及びプログラムは、視覚刺激に対する被験者の共感度を評価することが可能となる。 The empathy evaluation system, the empathy evaluation method, and the program according to the above aspect of the present disclosure can evaluate the empathy of a subject with respect to a visual stimulus.
(実施形態)
以下、実施形態に係る共感度評価システム1について、図1〜7を参照して説明する。
(Embodiment)
Hereinafter, the sympathy evaluation system 1 according to the embodiment will be described with reference to FIGS. 1 to 7.
(1)概要
実施形態に係る共感度評価システム1は、あらかじめ被験者に伝えられたキーワードに関連して被験者に提示された視覚刺激に対する被験者の共感度を評価するシステムである。キーワードは、被験者に対して、例えば、質問として伝えられる。ここにおいて、共感度評価システム1は、例えば、被験者が視覚刺激100(例えば、図2に示すような住宅の室内の画像)を見ているときに計測される被験者の脳波と、被験者が視覚刺激100を見ているときに計測される被験者の眼球運動と、を利用して、視覚刺激100全体に対する共感度を評価する。視覚刺激100には被験者に注視させる注視点は定められていない。言い換えれば、被験者には、視覚刺激100を提示される前に、視覚刺激100を見ているときに自由に視線を動かしてよいことが伝えられる。キーワードは、被験者の共感度を決めるためのテーマであり、例えば、質問として被験者に伝えられる。図2に示すような住宅の室内の画像を視覚刺激100として提示する場合、キーワードとなる質問は、例えば、「好きですか」、「嫌いですか」、「住みたいですか」、「ゴージャスな感じがしますか」である。共感度は、被験者の感情の指標であり、キーワードを伝えられた被験者が視覚刺激100を見たときにその視覚刺激100に共感する感覚の度合いである。共感度は、例えば、キーワードとなる質問が「好きですか」という質問の場合に被験者が視覚刺激100を見たときに好きと感じれば高くなり、好きと感じなければ、低くなる。
(1) Outline The sympathy evaluation system 1 according to the embodiment is a system for evaluating the sympathy of a subject with respect to a visual stimulus presented to the subject in relation to a keyword conveyed to the subject in advance. The keyword is conveyed to the subject, for example, as a question. Here, in the empathy evaluation system 1, for example, the subject's brain waves measured when the subject is looking at the visual stimulus 100 (for example, an image of the interior of a house as shown in FIG. 2) and the subject's visual stimulus. The sympathy for the entire
(2)共感度評価システムの全体構成
共感度評価システム1は、図1に示すように、脳波抽出部6と、領域分割部7と、領域特定部8と、眼球停留関連電位算出部9と、評価部10と、を備える。脳波抽出部6は、提示されたキーワードに関連して提示された視覚刺激100(図2参照)を見ているときの被験者の眼球運動(図3参照)における複数の眼球停留開始時点の情報を用い、被験者の脳波から複数の眼球停留開始時点に一対一に対応する複数の停留時脳波(図3参照)を抽出する。領域分割部7は、視覚刺激100を複数(例えば、4つ)の分割領域A1〜A4(図4参照)に分割する。領域特定部8は、眼球運動から算出した視覚刺激100における被験者の視点位置情報と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域A1〜A4のうち対応する分割領域を特定する。眼球停留関連電位算出部9は、複数の分割領域A1〜A4ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位(Eye Fixation Rerated Potentials)を算出する。評価部10は、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、キーワードに関する被験者の視覚刺激100全体に対する共感度を評価する。
(2) Overall configuration of the sympathy evaluation system As shown in FIG. 1, the sympathy evaluation system 1 includes an
また、共感度評価システム1は、視覚刺激提示部2と、脳波計測部3と、眼球運動計測部4と、眼球停留検出部5と、を更に備える。以下では、説明の便宜上、まず、視覚刺激提示部2、脳波計測部3、眼球運動計測部4及び眼球停留検出部5について説明する。
Further, the empathy evaluation system 1 further includes a visual
視覚刺激提示部2は、被験者に視覚刺激としての画像を提示する画像出力装置を含む。画像出力装置は、例えば、PC(Personal Computer)モニタ、TV(Television)モニタ、プロジェクタ、タブレット、スマートフォン、ヘッドマウントディスプレイ、VR(Virtual Reality)ヘッドセットである。
The visual
視覚刺激100は、例えば、図2に示すように、住宅の室内をカメラで撮像して生成された画像である。住宅は、戸建て住宅であってもよいし、集合住宅であってもよい。画像は、静止画である。視覚刺激100は、静止画に限らず、映像であってもよい。ここでいう映像は、動画である。
The
画像は、撮像画像そのものに限らず、例えば、撮像画像を画像処理した画像でもよいし、撮像画像をもとに作成したCG(Computer Graphics)画像でもよい。例えば、撮像画像に基づく画像は、カメラで撮像された画像に対して明るさ補正を行った画像でもよい。また、撮像画像に基づく画像は、CG(Computer Graphics)画像を撮像画像に重畳した画像でもよい。 The image is not limited to the captured image itself, and may be, for example, an image obtained by processing the captured image or a CG (Computer Graphics) image created based on the captured image. For example, the image based on the captured image may be an image obtained by performing brightness correction on the image captured by the camera. Further, the image based on the captured image may be an image obtained by superimposing a CG (Computer Graphics) image on the captured image.
被験者に対して視覚刺激100よりも前に提示されるキーワードは、例えば、被験者に応対する応対者の音声、ロボットの自動音声、紙媒体、視覚刺激提示部2の少なくとも1つによって提示される。
The keyword presented to the subject before the
脳波計測部3は、被験者の脳波を計測する。脳波計測部3は、例えば、脳波計である。脳波計測部3は、例えば、被験者の頭部に装着された複数の電極における電位変化を計測することによって脳波信号を検出する。
The
被験者の頭部に装着する複数の電極は、導出電極、基準電極及び接地電極を含む。複数の電極は、例えば、国際10−20法に基づいて、例えば、導出電極をPz(正中頭頂)、基準電極をA1(右耳朶)、接地電極を前額部に配置する。導出電極は、Pz(正中頭頂)の代わりに、Pz周辺のCz(頭蓋頂)又はOz(後頭部)に配置してもよい。脳波計は、ヘッドマウント式脳波計であってもよい。 The plurality of electrodes worn on the subject's head include a lead-out electrode, a reference electrode, and a ground electrode. For the plurality of electrodes, for example, based on the international 10-20 method, for example, the lead-out electrode is arranged on Pz (median parietal region), the reference electrode is arranged on A1 (right earlobe), and the ground electrode is arranged on the forehead. The lead-out electrode may be arranged at Cz (cranial apex) or Oz (occipital region) around Pz instead of Pz (median parietal region). The electroencephalograph may be a head-mounted electroencephalograph.
眼球運動計測部4は、被験者の眼球運動を計測する。眼球運動計測部4は、被験者の視線も計測する。眼球運動計測部4は、例えば、アイトラッカー(据え置き型アイトラッカー、メガネ型アイトラッカー等)、眼電位計測器と据え置き型アイトラッカーとを組み合わせたシステム、眼電位計測器とメガネ型アイトラッカーとを組み合わせたシステム等である。
The eye
眼球停留検出部5は、眼球運動計測部4で計測された眼球運動から眼球停留開始時点(図3参照)を検出する。ここにおいて、眼球停留検出部5は、提示されたキーワードに関連して提示された視覚刺激を見ているときの被験者の眼球運動における複数の眼球停留開始時点を検出する。図3には、眼球運動計測部4で計測された眼球運動の一例を模式的に示してある。図3の眼球運動に関する縦軸の単位は、眼球運動計測部4がアイトラッカーの場合、例えば「degree」であり、眼球運動計測部4が眼電位計測器を含む場合、例えば「μV」である。図3には、眼球運動の他に、脳波及び複数の停留時脳波も図示してある。眼球停留開始時点は、図3に例示しているように、サッケード(saccade)と呼ばれる眼球運動の終了時点に相当する。サッケードは、被験者の視線が急速に動くときの眼球運動である。図3の例では、8つの眼球停留開始時点が検出される。眼球停留検出部5では、眼球停留開始時点は、例えば、眼球運動計測部4で計測された眼球運動(のデータ)から、あらかじめ機械学習を利用して構築した眼球停留開始時点の自動検出モデルを用いて検出することができる。また、眼球停留検出部5では、例えば、眼球運動計測部4で計測された眼球運動(図3参照)をディスプレイに画像で表示させて、共感度評価システム1のユーザが目視で眼球停留開始時点と判断する位置をマウス等によって指定することによって、指定された位置の座標から眼球停留開始時点を検出するようにしてもよい。
The eyeball
眼球停留検出部5では、眼球運動計測部4で計測された眼球運動から眼球停留開始時点を検出するだけでなく、眼球運動計測部4で形成された視線から視覚刺激100上の視点座標を算出する。視点座標は、被験者の視線と視覚刺激100(画像)とが交差する視点の座標である。図4には、視覚刺激100上の視点の軌跡を一点鎖線で模式的に示してある。
The eye
領域分割部7は、視覚刺激提示部2で提示される視覚刺激100(図2参照)を複数の分割領域A1〜A4(図4参照)に分割する。図4は、領域分割部7が視覚刺激100を4等分した場合の例である。図4では、左上の分割領域を分割領域A1とし、右上の分割領域を分割領域A2とし、左下の分割領域を分割領域A3とし、右下の分割領域を分割領域A4としている。領域分割部7は、視覚刺激100全体を複数の分割領域A1〜A4に分割する場合に限らず、視覚刺激100全体のうちの一部を複数の分割領域に分割してもよく、分割領域同士が隣り合わずに離れていてもよい。領域分割部7は、例えば、視覚刺激提示部2又は視覚刺激提示部2とは別のPCモニタに提示された視覚刺激100に対する、共感度評価システム1のユーザの指定によって、視覚刺激100を複数の分割領域に分割してもよい。例えば、共感度評価システム1のユーザが、入力装置(マウス等)によって視覚刺激100上の範囲を指定することによって、複数の分割領域A1〜A4に分割する。領域分割部7において、視覚刺激100を複数の分割領域に分割する方法は、特に限定されない。例えば、領域分割部7は、あらかじめ作成された領域分割アルゴリズムを用いて視覚刺激100を自動的に複数の分割領域に分割してもよい。また、領域分割部7は、あらかじめ作成された物体認識アルゴリズムを用いて視覚刺激100に含まれる複数の物体それぞれの形状と位置と特定して、複数の物体に一対一に対応する複数の分割領域に分割してもよい。なお、共感度評価システム1では、視覚刺激提示部2において被験者に実物の視覚刺激を直接提示する場合、被験者が見ている視覚刺激をカメラ等の撮像装置で撮像して生成された撮像画像である視覚刺激を領域分割部7で複数の分割領域に分割する。
The
脳波抽出部6は、脳波計測部3で計測された脳波から複数の停留時脳波を抽出する。停留時脳波は、図3に示すように眼球停留検出部5で検出された眼球停留開始時点を起点として生じる脳波を抽出することで得られる。脳波抽出部6は、脳波計測部3で計測された脳波を、脳波計測部3から脳波信号として取得する。停留時脳波を抽出する期間は、例えば、眼球停留開始時点を起点として、−100msから600msまでの期間である。停留時脳波を抽出する期間の時間幅は、700msであるが、これに限らない。
The
領域特定部8は、眼球運動から算出した視覚刺激100における被験者の視点位置情報(視点座標)と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域A1〜A4のうち対応する分割領域を特定する。要するに、領域特定部8は、脳波抽出部6で抽出された複数の停留時脳波それぞれが視覚刺激100のどこを見ているときに生じた脳波であるか特定する。さらに、領域特定部8は、領域分割部7で分割された複数の分割領域A1〜A4の座標と、眼球停留検出部5で算出した視点座標と、を比較することにより、視点座標が複数の分割領域A1〜A4のうちいずれの分割領域に属するかを特定する。領域特定部8では、複数の停留時脳波の各々を分割領域A1〜A4のいずれの分割領域に属するか特定する。図3の例では、複数の停留時脳波に一対一に対応する分割領域を分かりやすくするために、各停留時脳波の波形の下方に、各停留時脳波それぞれに対応する分割領域の符合(A1〜A4のいずれか)を記載してある。複数(8つ)の停留時脳波について、時系列上で1番目の停留時脳波が分割領域A1に対応し、2番目の停留時脳波が分割領域A2に対応し、3番目の停留時脳波が分割領域A2に対応し、4番目の停留時脳波が分割領域A4に対応し、5番目の停留時脳波が分割領域A1に対応し、6番目の停留時脳波が分割領域A3に対応し、7番目の停留時脳波が分割領域A4に対応し、8番目の停留時脳波が分割領域A2に対応している。言い換えれば、図3の例では、分割領域A1には、1番目の停留時脳波と、5番目の停留時脳波とが対応し、分割領域A2には、2番目の停留時脳波と、3番目の停留時脳波と、8番目の停留時脳波とが対応し、分割領域A3には、6番目の停留時脳波が対応し、分割領域A4には、4番目の停留時脳波と7番目の停留時脳波とが対応している。
The
眼球停留関連電位算出部9は、複数の分割領域A1〜A4ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。より詳細には、眼球停留関連電位算出部9は、領域特定部8において分割領域A1に属すると特定された一群の停留時脳波(図3では、1番目の停留時脳波、5番目の停留時脳波)を用いて、分割領域A1に関連する眼球停留関連電位を算出する。また、眼球停留関連電位算出部9は、領域特定部8において分割領域A2に属すると特定された一群の停留時脳波(図3では、2番目の停留時脳波、3番目の停留時脳波及び8番目の停留時脳波)を用いて、分割領域A2に関連する眼球停留関連電位を算出する。また、眼球停留関連電位算出部9は、領域特定部8において分割領域A3に属すると特定された一群の停留時脳波(図3では、6番目の停留時脳波)を用いて、分割領域A3に関連する眼球停留関連電位を算出する。また、眼球停留関連電位算出部9は、領域特定部8において分割領域A4に属すると特定された一群の停留時脳波(図4では、4番目の停留時脳波、7番目の停留時脳波及び8番目の停留時脳波)を用いて、分割領域A4に関連する眼球停留関連電位を算出する。ここで、眼球停留関連電位算出部9は、複数の分割領域A〜A4の各々において対応する一群の停留時脳波の加算平均を行うことによって眼球停留関連電位を算出する。眼球停留関連電位算出部9では、一群の停留時脳波の起点を一つの時間軸上で揃えることができる。眼球停留関連電位算出部9は、一群の停留時脳波の加算起点を決定する。図5は、分割領域A1に対応する一群の停留時脳波の加算平均を行うことによって算出された加算平均停留時脳波の一例を示している。図5では、眼球停留開始時点を起点として、−300ms(300ms前)から600ms(600ms後)までの区間の加算平均停留時脳波を示してある。上述の脳波抽出部6において停留時脳波を抽出する時間幅である所定時間(例えば、600ms)は、眼球停留電位の波形におけるラムダ反応(ラムダ波)を必ず含む範囲として定められている。図5では、眼球停留関連電位の波形におけるラムダ反応の振幅値をH1としてある。
The eyeball retention-related
評価部10は、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を評価する。ここにおいて、評価部10は、眼球停留関連電位算出部9で得られた分割領域A1の眼球停留関連電位の振幅値H1、分割領域A2の眼球関連電位の振幅値、分割領域A3の眼球関連電位の振幅値及び分割領域A4の眼球関連電位の振幅値から、視覚刺激100全体に対する共感度を算出する。眼球停留関連電位の振幅値は、ラムダ反応の振幅値に限らず、脳波の事象関連電位のP300であってもよい。
The
評価部10は、共感度を算出する方法として、例えば、複数の分割領域A1〜A4ごとに振幅値を基準値と比較して、振幅値が基準値を上回る場合にはその分割領域に対する共感度が高いと判断し、振幅値が基準値を下回る場合にはその分割領域に対する共感度が低いと判断し、複数の分割領域A1〜A4それぞれの共感度から視覚刺激100全体に対する共感度を算出する。ここにおいて、評価部10は、例えば、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に対して重み付けをし、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を算出する。振幅値に対して重み付けを行う場合には、例えば、ロジスティック回帰を用いて重み付けを行う。重み付けは、ロジスティック回帰以外の統計的回帰モデルを用いた重み付けであってもよい。
As a method of calculating the sympathy, the
ロジスティック回帰を用いて複数の眼球停留関連電位の振幅値に対して重み付けをし、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を算出する場合、評価部10は、例えば、下記の(1)式により求められる確率pに100を乗じた値をパーセント表示の共感度として求める。
When weighting the amplitude values of a plurality of eye retention-related potentials using logistic regression and calculating the sympathy for the entire
上記(1)式において、x、x1、x2、・・・、xkは、分割領域A1、A2、・・・、Akごとの眼球停留時関連電位の振幅値である。分割領域Akは、視覚刺激100がk個に分割された場合のk番目の分割領域であり、上述のように視覚刺激100が4個に分割された場合は分割領域A4である。a、b1、b2、・・・、bkは、係数である。ここで、b1、b2、・・・、bkは、分割領域A1、A2、・・・、Akごとの眼球停留時関連電位の振幅値に乗じる係数である。
In the above equation (1), x, x 1 , x 2 , ..., X k are the amplitude values of the eyeball resting related potentials for each of the divided regions A1, A2, ..., Ak. The divided region Ak is the k-th divided region when the
共感度評価システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における眼球停留検出部5、脳波抽出部6、領域分割部7、領域特定部8、眼球停留関連電位算出部9及び評価部10としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
The empathy evaluation system 1 includes a computer system. The main configuration of a computer system is a processor and memory as hardware. By executing the program recorded in the memory of the computer system by the processor, the eyeball
また、共感度評価システム1における複数の機能が、1つの筐体内に集約されていることは共感度評価システム1に必須の構成ではなく、共感度評価システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、共感度評価システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。 Further, it is not an essential configuration for the sympathy evaluation system 1 that a plurality of functions in the sympathy evaluation system 1 are integrated in one housing, and the components of the sympathy evaluation system 1 are a plurality of housings. It may be provided in a distributed manner. Further, at least a part of the functions of the empathy evaluation system 1 may be realized by a cloud (cloud computing) or the like.
(3)共感度評価システムの動作
以下、共感度評価システム1の動作例について、図6に示すフローチャートに基づいて説明する。
(3) Operation of the sympathy evaluation system Hereinafter, an operation example of the sympathy evaluation system 1 will be described with reference to the flowchart shown in FIG.
まず、被験者にキーワードが提示された後、共感度評価システム1では、視覚刺激提示部2において視覚刺激100を提示する(ステップS1)。
First, after the keyword is presented to the subject, the empathy evaluation system 1 presents the
被験者に視覚刺激100が提示されているときの被験者の脳波を脳波計測部3によって計測する(ステップS2)とともに、被験者に視覚刺激100が提示されているときの被験者の眼球運動を眼球運動計測部4によって計測する(ステップS3)。また、共感度評価システム1では、領域分割部7において、視覚刺激提示部2で提示される視覚刺激100を複数の分割領域A1〜A4に分割する(ステップS6)。
The
共感度評価システム1では、ステップS2及びステップS3を終了した後、眼球停留検出部5において、ステップS3で計測された眼球運動から眼球停留開始時点及び視点座標を検出する(ステップS4)。
In the sympathy evaluation system 1, after completing steps S2 and S3, the eyeball
共感度評価システム1では、ステップS4の後、脳波抽出部6において、ステップS2で計測された脳波から停留時脳波を抽出する(ステップS5)。
In the empathy evaluation system 1, after step S4, the
共感度評価システム1では、ステップS6の後、領域特定部8において、ステップS4で検出された視点座標とステップS6で分割された各分割領域A1〜A4の座標とを比較し、被験者がどの分割領域A1〜A4を見ていたかを特定する(ステップS7)。これにより、ステップS5で抽出された停留時脳波と視覚刺激100において被験者が見ていた分割領域とを対応付けることができる。
In the co-sensitivity evaluation system 1, after step S6, the
共感度評価システム1では、ステップS5及びステップS7が終了した後、眼球停留関連電位算出部9において、複数の分割領域A1〜A4ごとに特定された一群の停留時脳波の加算平均を行うことにより、眼球停留関連電位を算出する(ステップS8)。
In the co-sensitivity evaluation system 1, after the steps S5 and S7 are completed, the eyeball retention-related
共感度評価システム1では、ステップS8の後、評価部10において、ステップ8で得られた眼球停留関連電位に基づき、視覚刺激100に対する共感度を算出する(ステップS9)。
In the sympathy evaluation system 1, after step S8, the
(4)共感度評価方法
実施形態に係る共感度評価方法は、第1ステップと、第2ステップと、第3ステップと、第4ステップと、第5ステップと、第6ステップと、第7ステップと、第8ステップと、を備える。
(4) Empathy evaluation method The empathy evaluation method according to the embodiment is the first step, the second step, the third step, the fourth step, the fifth step, the sixth step, and the seventh step. And the eighth step.
第1ステップでは、キーワードが提示された被験者に対してさらに視覚刺激100を提示する。第1ステップは、共感度評価システム1の動作で説明したステップS1に対応する。
In the first step, the
第2ステップでは、視覚刺激100を見ているときの被験者の脳波及び眼球運動それぞれを計測する。第2ステップは、共感度評価システム1の動作で説明したステップS2及びステップS3に対応する。
In the second step, the brain waves and eye movements of the subject while viewing the
第3ステップでは、被験者の眼球運動から複数の眼球停留開始時点を検出する。第3ステップは、共感度評価システム1の動作で説明したステップS4に対応する。 In the third step, a plurality of eyeball retention start time points are detected from the eyeball movement of the subject. The third step corresponds to step S4 described in the operation of the sympathy evaluation system 1.
第4ステップでは、被験者の脳波から、複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する。第4ステップは、共感度評価システム1の動作で説明したステップS5に対応する。 In the fourth step, a plurality of staying electroencephalograms corresponding to one-to-one at the start time of the plurality of eyeball staying are extracted from the subject's brain waves. The fourth step corresponds to step S5 described in the operation of the sympathy evaluation system 1.
第5ステップでは、複数の眼球停留開始時点に一対一に対応する複数の視点位置情報を取得する。第5ステップは、共感度評価システム1の動作で説明したステップS4に対応する。 In the fifth step, a plurality of viewpoint position information corresponding to one-to-one at the start time of the plurality of eyeball stops is acquired. The fifth step corresponds to step S4 described in the operation of the sympathy evaluation system 1.
第6ステップでは、複数の視点位置情報と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域A1〜A4のうち対応する分割領域を特定する。第6ステップは、共感度評価システム1の動作で説明したステップS7に対応する。 In the sixth step, the corresponding divided regions among the plurality of divided regions A1 to A4 are specified for the plurality of stationary electroencephalograms based on the plurality of viewpoint position information and the plurality of stationary electroencephalograms. The sixth step corresponds to step S7 described in the operation of the sympathy evaluation system 1.
第7ステップでは、複数の分割領域A1〜A4ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。第7ステップは、共感度評価システム1の動作で説明したステップS8に対応する。 In the seventh step, the eyeball resting related potential is calculated for each of the plurality of divided regions A1 to A4 based on the corresponding group of staying electroencephalograms among the plurality of staying electroencephalograms. The seventh step corresponds to step S8 described in the operation of the sympathy evaluation system 1.
第8ステップでは、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を評価する。第8ステップは、共感度評価システム1の動作で説明したステップS9に対応する。
In the eighth step, the sympathy of the subject with respect to the entire
(5)効果
実施形態に係る共感度評価システム1では、評価部10が、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を評価する。よって、実施形態に係る共感度評価システム1では、視覚刺激100に対する被験者の共感度を評価することが可能となる。
(5) Effect In the empathy evaluation system 1 according to the embodiment, the
また、実施形態に係る共感度評価システム1では、被験者が視覚刺激100を見ているときの被験者の視点座標と被験者の眼球停留に伴って生じる眼球停留関連電位を時間的に同期させることができる。これにより、実施形態に係る共感度評価システム1では、被験者が視覚刺激100において見ている箇所(視点座標)と、被験者が視覚刺激100を見ることで被験者の脳に生じる脳活動の変化と、を対応付けた共感度の評価が可能となる。これにより、実施形態に係る共感度評価システム1では、被験者が視覚刺激100において見ていた箇所を含む分割領域に対する共感度を評価することができる。
Further, in the sympathy evaluation system 1 according to the embodiment, it is possible to temporally synchronize the viewpoint coordinates of the subject when the subject is looking at the
上記実施形態は、本開示の様々な実施形態の一つに過ぎず、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。 The above embodiment is only one of various embodiments of the present disclosure, and various modifications can be made according to the design and the like as long as the object of the present disclosure can be achieved.
例えば、共感度評価システム1では、視覚刺激提示部2、脳波計測部3、眼球運動計測部4及び眼球停留検出部5は、必須の構成要素ではない。また、共感度評価システム1は、脳波計測部3で計測された脳波(データ)を、外部記憶装置から取得してもよい。また、共感度評価システム1では、眼球運動計測部4で計測された眼球運動(データ)を、外部記憶装置から取得してもよい。また、共感度評価システム1では、眼球停留検出部5で検出された停留時脳波を、外部記憶装置から取得してもよい。
For example, in the empathy evaluation system 1, the visual
また、視覚刺激提示部2で提示する視覚刺激100としての画像は、図2に示すような住宅内の一か所からカメラ等で撮像して得られる画像に限らず、例えば、図7に示すように、住宅内の複数個所を別々にカメラで撮像して得られる複数の画像を並べた画像であってもよい。図7の例では、領域分割部7において視覚刺激100を4つの分割領域A1〜A4に分割する。図7の例では、分割領域A1は、キッチンをカメラで撮像して得られる画像に対応し、分割領域A2は、浴室をカメラで撮像して得られる画像に対応し、分割領域A3は、トイレをカメラで撮像して得られる画像に対応し、分割領域A4は、収納スペースをカメラで撮像して得られる画像に対応している。
Further, the image as the
また、視覚刺激提示部2は、画像出力装置に限らず、実物の視覚刺激を被験者に直接提示してもよい。この場合、実物の視覚刺激をカメラ等の撮像装置で撮像して得た画像を視覚刺激100として領域分割部7が取得できればよい。
Further, the visual
評価部10は、共感度を評価するためにあらかじめ作成されたベースラインとなる視覚刺激を被験者に提示したとき眼球停留関連電位の振幅値を基準として共感度を算出してもよい。また、評価部10は、脳波の事象関連電位のP300の振幅値だけでなく、脳波の事象関連電位のP300の振幅値と脳波の事象関連電位におけるP300の潜時とに基づいて共感度を算出してもよい。
The
また、評価部10は、複数の分割領域A1〜A4に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、上記キーワードに関する被験者の視覚刺激100全体に対する共感度を評価する際に、眼球停留関連電位の振幅値と共感度との関係をあらかじめ記憶したテーブルを参照して共感度を評価してもよい。
Further, the
また、共感度評価システム1は、評価部10の結果を出力する出力部を更に備えていてもよい。出力部は、例えば、画像と音声との少なくとも一方を出力可能な機器である。画像は、液晶表示装置、OLED(Organic Light Emitting Diode)ディスプレイ等の表示装置を利用して出力される。音声は、スピーカを用いて出力される。出力部は、評価部10の評価結果を画像と音声との少なくとも一方によって提示する。
Further, the sympathy evaluation system 1 may further include an output unit that outputs the result of the
共感度評価システム1で想定する視覚刺激は、住宅の画像に限らず、例えば、住宅以外の施設の外観又は施設内の画像、移動体の外観又は移動体内の画像であってもよい。「住宅以外の施設」は、例えば、病院、オフィスビル、工場、複合商業施設、美術館、博物館、遊戯施設、テーマパーク、空港、鉄道駅、ドーム球場、ホテルである。移動体は、例えば、船舶、鉄道車両、航空機である。 The visual stimulus assumed by the co-sensitivity evaluation system 1 is not limited to the image of the house, and may be, for example, the appearance of a facility other than the house or an image inside the facility, the appearance of a moving body, or an image inside the moving body. “Non-residential facilities” are, for example, hospitals, office buildings, factories, commercial complexes, museums, amusement parks, theme parks, airports, railway stations, dome stadiums, and hotels. The moving body is, for example, a ship, a railroad vehicle, or an aircraft.
(5)まとめ
本明細書には、以下の態様が開示されている。
(5) Summary The following aspects are disclosed in the present specification.
第1の態様に係る共感度評価システム(1)は、脳波抽出部(6)と、領域分割部(7)と、領域特定部(8)と、眼球停留関連電位算出部(9)と、評価部(10)と、を備える。脳波抽出部(6)は、提示されたキーワードに関連して提示された視覚刺激(100)を見ているときの被験者の眼球運動における複数の眼球停留開始時点の情報を用い、視覚刺激(100)を見ているときの被験者の脳波から複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する。領域分割部(7)は、視覚刺激を複数の分割領域(A1,A2,A3,A4)に分割する。領域特定部(8)は、眼球運動から算出した視覚刺激における被験者の視点位置情報と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域(A1,A2,A3,A4)のうち対応する分割領域を特定する。眼球停留関連電位算出部(9)は、複数の分割領域(A1,A2,A3,A4)ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。評価部(10)は、複数の分割領域に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、キーワードに関する被験者の視覚刺激全体に対する共感度を評価する。 The sympathy evaluation system (1) according to the first aspect includes an electroencephalogram extraction unit (6), a region division unit (7), a region identification unit (8), an eye retention-related potential calculation unit (9), and an eyeball retention-related potential calculation unit (9). It includes an evaluation unit (10). The electroencephalogram extraction unit (6) uses information at the start of multiple eye retention in the subject's eye movement when viewing the presented visual stimulus (100) in relation to the presented keyword, and uses the visual stimulus (100). ) Is extracted from the brain waves of the subject, which corresponds one-to-one with the start points of multiple eyeballs. The region division unit (7) divides the visual stimulus into a plurality of division regions (A1, A2, A3, A4). The region identification unit (8) has a plurality of divided regions (A1, A2, A3) for a plurality of stationary electroencephalograms based on the subject's viewpoint position information in the visual stimulus calculated from the eye movement and the plurality of stationary electroencephalograms. , A4), specify the corresponding division area. The eye-retention-related potential calculation unit (9) calculates the eye-retention-related potential for each of the plurality of division regions (A1, A2, A3, A4) based on the corresponding group of EEG-related potentials among the plurality of EEG. calculate. The evaluation unit (10) evaluates the sympathy of the subject with respect to the entire visual stimulus regarding the keyword based on the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis.
第1の態様に係る共感度評価システム(1)では、視覚刺激(100)に対する被験者の共感度を評価することが可能となる。 In the sympathy evaluation system (1) according to the first aspect, it is possible to evaluate the sympathy of the subject with respect to the visual stimulus (100).
第2の態様に係る共感度評価システム(1)では、第1の態様において、評価部(10)は、複数の分割領域に一対一に対応する複数の眼球停留関連電位の振幅値から、キーワードに関する被験者の視覚刺激(100)全体に対する共感度を算出する。 In the sympathy evaluation system (1) according to the second aspect, in the first aspect, the evaluation unit (10) uses keywords from the amplitude values of the plurality of eyeball retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis. Calculate the empathy for the entire subject's visual stimulus (100) with respect to.
第2の態様に係る共感度評価システム(1)では、共感度を数値化することが可能となる。 In the sympathy evaluation system (1) according to the second aspect, the sympathy can be quantified.
第3の態様に係る共感度評価システム(1)では、第2の態様において、評価部(10)は、複数の分割領域に一対一に対応する複数の眼球停留関連電位の振幅値に対して重み付けをし、キーワードに関する被験者の視覚刺激全体に対する共感度を算出する。 In the sympathy evaluation system (1) according to the third aspect, in the second aspect, the evaluation unit (10) with respect to the amplitude values of the plurality of eyeball retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis. Weight and calculate the empathy for the subject's overall visual stimulus for the keyword.
第3の態様に係る共感度評価システム(1)では、視覚刺激全体に対する共感度をより精度良く評価することが可能となる。また、複数の分割領域が視覚刺激(100)全体に対する共感度に貢献しているのか評価することも可能となる。 In the sympathy evaluation system (1) according to the third aspect, it is possible to evaluate the sympathy for the entire visual stimulus with higher accuracy. It is also possible to evaluate whether the plurality of divided regions contribute to the empathy for the entire visual stimulus (100).
第4の態様に係る共感度評価システム(1)では、第3の態様において、評価部(10)は、複数の分割領域(A1〜A4)に一対一に対応する複数の眼球停留関連電位の振幅値に対してロジスティック回帰を用いて重み付けをし、視覚刺激(100)全体に対する共感度を算出する。 In the sympathy evaluation system (1) according to the fourth aspect, in the third aspect, the evaluation unit (10) has a plurality of eyeball retention-related potentials having a one-to-one correspondence with the plurality of divided regions (A1 to A4). The amplitude value is weighted using logistic regression and the sympathy for the entire visual stimulus (100) is calculated.
第4の態様に係る共感度評価システム(1)では、視覚刺激(100)全体に対する共感度をより客観的に評価することが可能となる。 In the sympathy evaluation system (1) according to the fourth aspect, it is possible to more objectively evaluate the sympathy for the entire visual stimulus (100).
第5の態様に係る共感度評価システム(1)は、第1〜4の態様のいずれか一つにおいて、視覚刺激提示部(2)を更に備える。視覚刺激提示部(2)は、被験者に視覚刺激を提示する。 The empathy evaluation system (1) according to the fifth aspect further includes a visual stimulus presenting unit (2) in any one of the first to fourth aspects. The visual stimulus presentation unit (2) presents a visual stimulus to the subject.
第5の態様に係る共感度評価システム(1)では、被験者への視覚刺激(100)を提示する際に視覚刺激提示部(2)を別途用意する必要がなく、使い勝手が良くなる。 In the sympathy evaluation system (1) according to the fifth aspect, it is not necessary to separately prepare the visual stimulus presenting unit (2) when presenting the visual stimulus (100) to the subject, and the usability is improved.
第6の態様に係る共感度評価システムは、第1〜5の態様のいずれか一つにおいて、脳波計測部(3)を更に備える。脳波計測部(3)は、被験者が視覚刺激を見ているときの被験者の脳波を計測する。 The sympathy evaluation system according to the sixth aspect further includes an electroencephalogram measuring unit (3) in any one of the first to fifth aspects. The electroencephalogram measuring unit (3) measures the electroencephalogram of the subject when the subject is watching the visual stimulus.
第6の態様に係る共感度評価システム(1)では、脳波計測部(3)を別途用意する必要がなく、使い勝手が良くなる。 In the sympathy evaluation system (1) according to the sixth aspect, it is not necessary to separately prepare an electroencephalogram measuring unit (3), which improves usability.
第7の態様に係る共感度評価システム(1)は、第1〜6の態様のいずれか一つにおいて、眼球運動計測部(4)を更に備える。眼球運動計測部(4)は、被験者が視覚刺激(100)を見ているときの被験者の眼球運動を計測する。 The empathy evaluation system (1) according to the seventh aspect further includes an eye movement measurement unit (4) in any one of the first to sixth aspects. The eye movement measuring unit (4) measures the eye movement of the subject when the subject is looking at the visual stimulus (100).
第7の態様に係る共感度評価システム(1)では、眼球運動計測部(4)を別途用意する必要がなく、使い勝手が良くなる。 In the sympathy evaluation system (1) according to the seventh aspect, it is not necessary to separately prepare the eye movement measurement unit (4), and the usability is improved.
第8の態様に係る共感度評価方法は、第1ステップと、第2ステップと、第3ステップと、第4ステップと、第5ステップと、第6ステップと、第7ステップと、第8ステップと、を備える。第1ステップでは、キーワードが提示された被験者に対してさらに視覚刺激(100)を提示する。第2ステップでは、視覚刺激(100)を見ているときの被験者の脳波及び眼球運動それぞれを計測する。第3ステップでは、被験者の眼球運動から複数の眼球停留開始時点を検出する。第4ステップでは、被験者の脳波から、複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する。第5ステップでは、複数の眼球停留開始時点に一対一に対応する複数の視点位置情報を取得する。第6ステップでは、複数の視点位置情報と、複数の停留時脳波と、に基づいて、複数の停留時脳波について複数の分割領域(A1〜A4)のうち対応する分割領域を特定する。第7ステップでは、複数の分割領域(A1〜A4)ごとに、複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する。第8ステップでは、複数の分割領域(A1〜A4)に一対一に対応する複数の眼球停留関連電位の振幅値に基づいて、上記キーワードに関する被験者の視覚刺激(100)全体に対する共感度を評価する。 The sympathy evaluation method according to the eighth aspect is the first step, the second step, the third step, the fourth step, the fifth step, the sixth step, the seventh step, and the eighth step. And. In the first step, a visual stimulus (100) is further presented to the subject to whom the keyword is presented. In the second step, the brain waves and eye movements of the subject while watching the visual stimulus (100) are measured. In the third step, a plurality of eyeball retention start time points are detected from the eyeball movement of the subject. In the fourth step, a plurality of staying electroencephalograms corresponding to one-to-one at the start time of the plurality of eyeball staying are extracted from the subject's brain waves. In the fifth step, a plurality of viewpoint position information corresponding to one-to-one at the start time of the plurality of eyeball stops is acquired. In the sixth step, the corresponding divided regions among the plurality of divided regions (A1 to A4) are specified for the plurality of stationary electroencephalograms based on the plurality of viewpoint position information and the plurality of stationary electroencephalograms. In the seventh step, the eyeball resting related potential is calculated for each of the plurality of divided regions (A1 to A4) based on the corresponding group of staying electroencephalograms among the plurality of staying electroencephalograms. In the eighth step, the sympathy for the entire visual stimulus (100) of the subject regarding the above keyword is evaluated based on the amplitude values of the plurality of eye retention-related potentials corresponding to one-to-one in the plurality of divided regions (A1 to A4). ..
第8の態様に係る共感度評価方法では、視覚刺激(100)に対する被験者の共感度を評価することが可能となる。 In the sympathy evaluation method according to the eighth aspect, it is possible to evaluate the sympathy of the subject with respect to the visual stimulus (100).
第9の態様に係るプログラムは、コンピュータシステムに、第8の態様の共感度評価方法を実行させるためのプログラムである。 The program according to the ninth aspect is a program for causing a computer system to execute the sympathy evaluation method of the eighth aspect.
第9の態様に係るプログラムでは、視覚刺激(100)に対する被験者の共感度を評価することが可能となる。 In the program according to the ninth aspect, it is possible to evaluate the subject's empathy with respect to the visual stimulus (100).
1 共感度評価システム
2 視覚刺激提示部
3 脳波計測部
4 眼球運動計測部
5 眼球停留検出部
6 脳波抽出部
7 領域分割部
8 領域特定部
9 眼球停留関連電位算出部
10 評価部
100 視覚刺激
A1〜A4 分割領域
H1 振幅値
1
Claims (9)
前記視覚刺激を複数の分割領域に分割する領域分割部と、
前記眼球運動から算出した前記視覚刺激における前記被験者の視点位置情報と、前記複数の停留時脳波と、に基づいて、前記複数の停留時脳波について前記複数の分割領域のうち対応する分割領域を特定する領域特定部と、
前記複数の分割領域ごとに、前記複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する眼球停留関連電位算出部と、
前記複数の分割領域に一対一に対応する前記複数の眼球停留関連電位の振幅値に基づいて、前記キーワードに関する前記被験者の前記視覚刺激全体に対する共感度を評価する評価部と、を備える、
共感度評価システム。 Using the information at the start of multiple eye retention in the subject's eye movements when viewing the presented visual stimulus in relation to the presented keyword, the subject's brain waves when viewing the visual stimulus are described as described above. An electroencephalogram extraction unit that extracts a plurality of electroencephalograms at the time of staying, which have a one-to-one correspondence at the start of multiple eyeballs.
A region division portion that divides the visual stimulus into a plurality of division regions,
Based on the viewpoint position information of the subject in the visual stimulus calculated from the eye movement and the plurality of stationary electroencephalograms, the corresponding divided regions among the plurality of divided regions are specified for the plurality of stationary electroencephalograms. Area identification part to do,
For each of the plurality of divided regions, an eyeball retention-related potential calculation unit that calculates an eyeball retention-related potential based on a corresponding group of stationary electroencephalograms among the plurality of stationary electroencephalograms.
An evaluation unit for evaluating the sympathy of the subject with respect to the entire visual stimulus with respect to the keyword based on the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis is provided.
Empathy evaluation system.
請求項1に記載の共感度評価システム。 The evaluation unit calculates the sympathy for the entire visual stimulus of the subject regarding the keyword from the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis.
The empathy evaluation system according to claim 1.
請求項2に記載の共感度評価システム。 The evaluation unit weights the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis, and calculates the sympathy of the subject for the entire visual stimulus with respect to the keyword.
The empathy evaluation system according to claim 2.
請求項3に記載の共感度評価システム。 The evaluation unit weights the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis by using logistic regression, and calculates the sympathy for the entire visual stimulus. ,
The empathy evaluation system according to claim 3.
請求項1〜4のいずれか一項に記載の共感度評価システム。 A visual stimulus presenting unit that presents the visual stimulus to the subject is further provided.
The empathy evaluation system according to any one of claims 1 to 4.
請求項1〜5のいずれか一項に記載の共感度評価システム。 Further provided is an electroencephalogram measuring unit that measures the electroencephalogram of the subject when the subject is viewing the visual stimulus.
The empathy evaluation system according to any one of claims 1 to 5.
請求項1〜6のいずれか一項に記載の共感度評価システム。 Further comprising an eye movement measuring unit for measuring the eye movement of the subject when the subject is viewing the visual stimulus.
The empathy evaluation system according to any one of claims 1 to 6.
前記視覚刺激を見ているときの前記被験者の脳波及び眼球運動それぞれを計測する第2ステップと、
前記被験者の前記眼球運動から複数の眼球停留開始時点を検出する第3ステップと、
前記被験者の前記脳波から、前記複数の眼球停留開始時点に一対一に対応する複数の停留時脳波を抽出する第4ステップと、
前記複数の眼球停留開始時点に一対一に対応する複数の視点位置情報を取得する第5ステップと、
前記複数の視点位置情報と、前記複数の停留時脳波と、に基づいて、前記複数の停留時脳波について前記複数の分割領域のうち対応する分割領域を特定する第6ステップと、
前記複数の分割領域ごとに、前記複数の停留時脳波のうち対応する一群の停留時脳波に基づいて眼球停留時関連電位を算出する第7ステップと、
前記複数の分割領域に一対一に対応する前記複数の眼球停留関連電位の振幅値に基づいて、前記キーワードに関する前記被験者の前記視覚刺激全体に対する共感度を評価する第8ステップと、を備える、
共感度評価方法。 The first step of presenting further visual stimuli to the subject to whom the keyword was presented, and
The second step of measuring each of the subject's brain waves and eye movements while viewing the visual stimulus, and
A third step of detecting a plurality of eyeball retention start time points from the eyeball movement of the subject, and
A fourth step of extracting a plurality of staying electroencephalograms corresponding to one-to-one at the start time of the plurality of eyeball staying from the brain waves of the subject.
The fifth step of acquiring a plurality of viewpoint position information corresponding to one-to-one at the start time of the plurality of eyeball stops, and
Based on the plurality of viewpoint position information and the plurality of stationary electroencephalograms, the sixth step of identifying the corresponding divided regions among the plurality of divided regions of the plurality of stationary electroencephalograms.
The seventh step of calculating the eyeball resting related potential based on the corresponding group of staying electroencephalograms among the plurality of staying electroencephalograms for each of the plurality of divided regions.
It comprises an eighth step of evaluating the subject's sympathy for the entire visual stimulus with respect to the keyword based on the amplitude values of the plurality of eye retention-related potentials corresponding to the plurality of divided regions on a one-to-one basis.
Empathy evaluation method.
プログラム。 To cause a computer system to execute the empathy evaluation method according to claim 8.
program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019211827A JP2021079041A (en) | 2019-11-22 | 2019-11-22 | Empathy degree evaluation system, empathy degree evaluation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019211827A JP2021079041A (en) | 2019-11-22 | 2019-11-22 | Empathy degree evaluation system, empathy degree evaluation method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021079041A true JP2021079041A (en) | 2021-05-27 |
Family
ID=75961861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019211827A Pending JP2021079041A (en) | 2019-11-22 | 2019-11-22 | Empathy degree evaluation system, empathy degree evaluation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021079041A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023209962A1 (en) * | 2022-04-28 | 2023-11-02 | 日本電信電話株式会社 | Training apparatus, estimation apparatus, training method, estimation method, training program, and estimation program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009093435A1 (en) * | 2008-01-25 | 2009-07-30 | Panasonic Corporation | Brain wave interface system, brain wave interface device, method and computer program |
WO2011055505A1 (en) * | 2009-11-09 | 2011-05-12 | パナソニック株式会社 | Alertness assessment device, method, and program |
JP2012095905A (en) * | 2010-11-04 | 2012-05-24 | Panasonic Corp | Brain wave measurement system, method, and computer program |
JP2015127851A (en) * | 2013-12-27 | 2015-07-09 | 株式会社ニコン | Machine device |
JP2015229040A (en) * | 2014-06-06 | 2015-12-21 | 株式会社電通サイエンスジャム | Emotion analysis system, emotion analysis method, and emotion analysis program |
WO2019082687A1 (en) * | 2017-10-27 | 2019-05-02 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
-
2019
- 2019-11-22 JP JP2019211827A patent/JP2021079041A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009093435A1 (en) * | 2008-01-25 | 2009-07-30 | Panasonic Corporation | Brain wave interface system, brain wave interface device, method and computer program |
WO2011055505A1 (en) * | 2009-11-09 | 2011-05-12 | パナソニック株式会社 | Alertness assessment device, method, and program |
JP2012095905A (en) * | 2010-11-04 | 2012-05-24 | Panasonic Corp | Brain wave measurement system, method, and computer program |
JP2015127851A (en) * | 2013-12-27 | 2015-07-09 | 株式会社ニコン | Machine device |
JP2015229040A (en) * | 2014-06-06 | 2015-12-21 | 株式会社電通サイエンスジャム | Emotion analysis system, emotion analysis method, and emotion analysis program |
WO2019082687A1 (en) * | 2017-10-27 | 2019-05-02 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023209962A1 (en) * | 2022-04-28 | 2023-11-02 | 日本電信電話株式会社 | Training apparatus, estimation apparatus, training method, estimation method, training program, and estimation program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Valtakari et al. | Eye tracking in human interaction: Possibilities and limitations | |
Stein et al. | A comparison of eye tracking latencies among several commercial head-mounted displays | |
CN112034977B (en) | Method for MR intelligent glasses content interaction, information input and recommendation technology application | |
Suzuki et al. | Multisensory integration across exteroceptive and interoceptive domains modulates self-experience in the rubber-hand illusion | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
KR20190027354A (en) | Method and system for acquiring, analyzing and generating vision performance data and modifying media based on vision performance data | |
US20180184964A1 (en) | System and signatures for a multi-modal physiological periodic biomarker assessment | |
Dravida et al. | Joint attention during live person-to-person contact activates rTPJ, including a sub-component associated with spontaneous eye-to-eye contact | |
CN112535479B (en) | Method for determining emotion processing tendency and related products | |
Yan et al. | Enhancing audience engagement in performing arts through an adaptive virtual environment with a brain-computer interface | |
US11782508B2 (en) | Creation of optimal working, learning, and resting environments on electronic devices | |
Sarma et al. | Review on stimuli presentation for affect analysis based on EEG | |
US20230282080A1 (en) | Sound-based attentive state assessment | |
Schäfer et al. | Development and evaluation of a virtual reality-system with integrated tracking of extremities under the aspect of acrophobia | |
Trepkowski et al. | Multisensory proximity and transition cues for improving target awareness in narrow field of view augmented reality displays | |
Lim et al. | The effects of degrees of freedom and field of view on motion sickness in a virtual reality context | |
JP2021079041A (en) | Empathy degree evaluation system, empathy degree evaluation method and program | |
Mao et al. | Different eye movement behaviors related to artificial visual field defects–A pilot study of video-based perimetry | |
Jordan et al. | An analysis of eye scanpath entropy in a progressively forming virtual environment | |
Soleymani et al. | Behavioral and physiological responses to visual interest and appraisals: Multimodal analysis and automatic recognition | |
US20240164672A1 (en) | Stress detection | |
Du Plessis | Graphical processing unit assisted image processing for accelerated eye tracking | |
KR20150107511A (en) | A method on the characteristics of space search shown at observation seen in the process of perception and recognition of space and system thereof | |
US11983876B2 (en) | Image based detection of characteristic eye movements | |
US20240164677A1 (en) | Attention detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |