JP2019063324A - Emotion determination apparatus, emotion determination method, and program - Google Patents

Emotion determination apparatus, emotion determination method, and program Download PDF

Info

Publication number
JP2019063324A
JP2019063324A JP2017193092A JP2017193092A JP2019063324A JP 2019063324 A JP2019063324 A JP 2019063324A JP 2017193092 A JP2017193092 A JP 2017193092A JP 2017193092 A JP2017193092 A JP 2017193092A JP 2019063324 A JP2019063324 A JP 2019063324A
Authority
JP
Japan
Prior art keywords
index
subject
emotion
determination
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017193092A
Other languages
Japanese (ja)
Other versions
JP7058383B2 (en
Inventor
恵美 湯田
Emi Yuda
恵美 湯田
早野　順一郎
Junichiro Hayano
順一郎 早野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya City University
Original Assignee
Nagoya City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya City University filed Critical Nagoya City University
Priority to JP2017193092A priority Critical patent/JP7058383B2/en
Priority to PCT/JP2018/036853 priority patent/WO2019069910A1/en
Publication of JP2019063324A publication Critical patent/JP2019063324A/en
Application granted granted Critical
Publication of JP7058383B2 publication Critical patent/JP7058383B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

To determine emotion of a subject by physiological reaction of the subject.SOLUTION: An emotion determination apparatus includes: an acquisition unit for acquiring at least two indices based on cardiac pulsation information representing time change in heartbeat intervals of a subject, as a first index and a second index; and a determination unit for determining emotion of the subject on the basis of a determination criterion in which predetermined criteria of the first index and of the second index are associated with each other for each type of emotion of the subject, and the first index and the second index acquired by the acquisition unit.SELECTED DRAWING: Figure 1

Description

本発明は、情動判定装置、情動判定方法、及びプログラムに関する。   The present invention relates to an emotion determination device, an emotion determination method, and a program.

従来、撮像装置によってテスト中の被験者の表情を撮像し、被験者の行動反応から当該被験者の客観的な情動を判定する技術が開示されている（例えば、特許文献１）。   2. Description of the Related Art Conventionally, a technique has been disclosed that images an expression of a subject under test with an imaging device and determines an objective emotion of the subject based on a behavioral response of the subject (for example, Patent Document 1).

特開２０１２−１２０２０６号公報JP 2012-120206 A

しかしながら、従来の技術では、被験者の表情を撮像するため、被験者は、撮像装置の前でテストを実施することが求められる。この場合、被験者には、撮像されているという意識が働く。このため、従来の技術では、より自然な被験者の行動反応を取得することが困難であり、正確に被験者の情動を判定することが困難であるおそれがあった。
ここで、被験者の生理的反応には、行動反応に比べて被験者の意識の影響が表れにくい、したがって、被験者の生理的反応に基づいて、被験者の情動を判定することができれば、情動の判定結果への影響を低減させることができる。
本発明は、上記問題に鑑みて為されたものであり、被験者の生理的反応に基づいて当該被験者の情動を判定する情動判定装置、情動判定方法、及びプログラムを提供することを目的とする。 However, in the prior art, in order to image a subject's expression, the subject is required to perform a test in front of an imaging device. In this case, the subject is conscious of being imaged. For this reason, in the conventional technology, it is difficult to obtain a more natural test subject's behavioral response, and it may be difficult to accurately determine the test subject's emotions.
Here, the subject's physiological response is less likely to be affected by the subject's consciousness than the behavioral response. Therefore, if the subject's emotion can be determined based on the subject's physiological response, the judgment result of the emotion is The impact on the environment can be reduced.
The present invention has been made in view of the above problems, and an object thereof is to provide an emotion determination apparatus, an emotion determination method, and a program for determining an emotion of a subject based on a physiological response of the subject.

本発明の一態様は、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得部と、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定部と、を備える情動判定装置である。   One aspect of the present invention is an acquisition unit for acquiring at least two indices based on heart beat information indicating a time change of a heart beat interval of a subject as a first index and a second index, and a predetermined index of the first index The criteria and the criteria of the second index are based on the determination criteria in which the criteria of the subject are associated with each other for each type of emotion of the subject, and the first index and the second index of the subject acquired by the acquisition unit. And a determination unit that determines emotions of the subject.

また、本発明の一態様の情動判定装置において、前記第１指標とは、前記心拍動間隔のＲＲ間隔に基づく指標であって、前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である。   In the emotion determination apparatus according to one aspect of the present invention, the first index is an index based on an RR interval of the heart beat interval, and the second index is based on a low frequency component of the RR interval. It is an index.

また、本発明の一態様の情動判定装置において、前記第１指標とは、前記心拍動間隔のＲＲ間隔の高周波成分に基づく指標であって、前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である。   In the emotion determination apparatus according to one aspect of the present invention, the first index is an index based on a high frequency component of the RR interval of the heart beat interval, and the second index is a low frequency of the RR interval. It is a component based indicator.

また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記被験者の情動の時間変化を更に判定する。   Further, in the emotion determination device according to one aspect of the present invention, the determination unit is based on the determination criterion and the first index and the second index of the subject acquired in time series by the acquisition unit. Further determine the time change of the subject's emotions.

また、本発明の一態様の情動判定装置において、前記判定部は、前記被験者の情動の時間変化の基準である変化基準に更に基づいて、前記被験者の情動の時間変化を判定する。   Further, in the emotion determination device according to one aspect of the present invention, the determination unit determines the temporal change of the subject's emotion based further on a change criterion which is a reference of the temporal change of the subject's emotion.

また、本発明の一態様の情動判定装置において、前記判定部は、前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記所定の期間における前記被験者の情動の期間変化を更に判定する。   Further, in the emotion determination device according to one aspect of the present invention, the determination unit is based on the determination criterion and the first index and the second index of the subject acquired by the acquisition unit in a predetermined period. The change in period of the subject's emotion in the predetermined period is further determined.

また、本発明の一態様は、コンピュータが、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得し、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する、情動判定方法である。   Further, according to one aspect of the present invention, the computer acquires at least two indices based on heart beat information indicating a time change of a heart beat interval of a subject as the first index and the second index, and the first predetermined The reference of the index and the reference of the second index are based on the judgment reference in which the reference of the second index and the reference of the second index are associated with each other for each type of emotion of the subject, and the first index and the second index of the acquired subject. It is an emotion determination method which determines a subject's emotion.

また、本発明の一態様は、コンピュータに、被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得ステップと、予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定ステップと、を実行させるためのプログラムである。   In one aspect of the present invention, an acquiring step of acquiring at least two indices based on heart beat information indicating a time change of a subject's heart beat interval as a first index and a second index in a computer is predetermined. The determination criteria in which the criteria of the first index and the criteria of the second index are associated with one another for each type of emotion of the subject, and the first index of the subject and the second of the subject acquired by the acquiring step. It is a program for performing the determination step which determines the test subject's emotion based on an index.

本発明によれば、被験者の生理的反応によって当該被験者の情動を判定することができる。   According to the present invention, the subject's emotion can be determined by the subject's physiological response.

第１実施形態に係る情動判定システムの概要を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline | summary of the emotion determination system which concerns on 1st Embodiment. 第１実施形態に係る情動判定システムの構成の一例を示す図である。It is a figure which shows an example of a structure of the emotion determination system which concerns on 1st Embodiment. ラッセルの円環モデルの一例を示す図である。It is a figure which shows an example of Russell's ring model. 第１実施形態に係る判定基準情報の一例を示す図である。It is a figure showing an example of the judgment standard information concerning a 1st embodiment. 被験者が「喜び」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of RR space | interval when a test subject is feeling "joy". 被験者が「心配」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of RR space | interval when a test subject is feeling "care". 被験者が「驚き」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of RR space | interval when a test subject is feeling "surprise." 被験者が「悲しみ」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of RR space | interval when a test subject is feeling "sadness". 被験者が「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of the amplitude of a low frequency component when a test subject is feeling "joy". 被験者が「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of the amplitude of a low frequency component when a test subject is feeling "care". 被験者が「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of the amplitude of a low frequency component when a test subject is feeling "surprise." 被験者が「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。It is a figure which shows an example of the addition average of the amplitude of a low frequency component when a test subject is feeling "sadness". 第１実施形態に係る情動判定装置の動作の一例を示す図である。It is a figure which shows an example of operation | movement of the emotion determination apparatus which concerns on 1st Embodiment. 第１実施形態に係る被験者の情動の判定結果の一例を示す図である。It is a figure which shows an example of the determination result of the test subject who concerns on 1st Embodiment. 第２実施形態に係る情動判定システムの概要を示す図である。It is a figure which shows the outline | summary of the emotion determination system which concerns on 2nd Embodiment. 第２実施形態に係る変化基準情報の一例を示す図である。It is a figure which shows an example of the change reference | standard information which concerns on 2nd Embodiment. 第２実施形態に係る被験者の情動の判定結果の一例を示す図である。It is a figure which shows an example of the determination result of the test subject who concerns on 2nd Embodiment.

［第１実施形態］
以下、本発明の第１実施形態について図面を参照しながら説明する。まず、図１を参照して、情動判定システム１の概要について説明する。 First Embodiment
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. First, the outline of the emotion determination system 1 will be described with reference to FIG.

＜情動判定システム１の概要＞
図１は、第１実施形態に係る情動判定システム１の概要を示す図である。情動判定システム１は、電極ＳＣ１と、情動判定装置１０とを備える。電極ＳＣ１は、情動の判定対象の被験者（以下、被験者ＥＮ）の皮膚に貼付される。電極ＳＣ１は、被験者ＥＮの皮膚表面に生じる電位であって、心臓の活動電位を検出する。電極ＳＣ１は、検出した心臓の活動電位を示す信号（以下，心電位信号）を情動判定装置１０に供給する。 <Outline of emotion determination system 1>
FIG. 1 is a diagram showing an outline of an emotion determination system 1 according to a first embodiment. The emotion determination system 1 includes an electrode SC1 and an emotion determination device 10. The electrode SC1 is attached to the skin of a subject whose emotion is to be determined (hereinafter, subject EN). The electrode SC1 is a potential generated on the skin surface of the subject EN and detects an action potential of the heart. The electrode SC1 supplies a signal indicating the detected action potential of the heart (hereinafter referred to as a cardiac potential signal) to the emotion determination device 10.

情動判定装置１０は、電極ＳＣ１から心電位信号を取得する。情動判定装置１０は、取得した心電位信号に基づいて被験者ＥＮの心拍の時間間隔（以下、心拍動間隔）を取得する。また、情動判定装置１０は、取得された心拍動間隔に基づく指標によって、被験者ＥＮの情動を判定する。   The emotion determination device 10 acquires a cardiac potential signal from the electrode SC1. The emotion determination device 10 acquires a time interval of heart beats of the subject EN (hereinafter referred to as a heart beat interval) based on the acquired cardiac potential signal. In addition, the emotion determination device 10 determines the emotion of the subject EN based on the index based on the acquired heartbeat interval.

＜情動判定システム１の構成＞
図２は、第１実施形態に係る情動判定システム１の構成の一例を示す図である。
図２に示す通り、情動判定装置１０は、制御部１００と、記憶部２００とを備える。記憶部２００は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、フラッシュメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などにより実現される。記憶部２００には、予め判定基準情報Ｄ１が記憶される。 <Configuration of emotion determination system 1>
FIG. 2 is a diagram showing an example of the configuration of the emotion determination system 1 according to the first embodiment.
As shown in FIG. 2, the emotion determination device 10 includes a control unit 100 and a storage unit 200. The storage unit 200 is realized by, for example, a hard disk drive (HDD), a flash memory, a random access memory (RAM), a read only memory (ROM), or the like. In the storage unit 200, the determination criterion information D1 is stored in advance.

＜判定基準情報Ｄ１について＞
図３は、ラッセルの円環モデルの一例を示す図である。
従来、情感は、覚醒度（Ａｒｏｕｓａｌ）の指標と、感情のポジティブ度又はネガティブ度（Ｖａｌｅｎｃｅ）の指標とを軸とする二次元によって定義できる可能性があることが知られている。本実施形態において、情動判定装置１０は、覚醒度（Ａｒｏｕｓａｌ）の指標として、心拍動間隔、つまり、ＲＲ間隔の平均値（以下、平均ＲＲ間隔）を用いる。また、情動判定装置１０は、感情のポジティブ度又はネガティブ度（Ｖａｌｅｎｃｅ）の指標として、ＲＲ間隔の低周波成分の振幅の標準偏差（以下、ＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）振幅標準偏差）を用いる。平均ＲＲ間隔及びＬＦ振幅標準偏差の具体的な取得方法については、後述する。本実施形態において、判定基準情報Ｄ１とは、予め定められた平均ＲＲ間隔の基準及びＬＦ振幅標準偏差の基準が、被験者ＥＮの種類毎に互いに対応付けられた情報である。ここで、平均ＲＲ間隔とは、第１指標の一例である。また、ＬＦ振幅標準偏差とは、第２指標の一例である。なお、心拍動間隔は、ＲＲ間隔の他、あるＱ波から次のＱ波までの間隔であってもよく、あるＱＲＳ波から次のＱＲＳ波までの間隔であってもよい。 <About judgment criteria information D1>
FIG. 3 is a diagram showing an example of Russell's ring model.
Conventionally, it is known that emotion can be defined by two dimensions centered on an index of arousal level (Arousal) and an index of positive or negative level of emotion (Valence). In the present embodiment, the emotion determination device 10 uses a heartbeat interval, that is, an average value of RR intervals (hereinafter, an average RR interval) as an index of the arousal level (Arousal). Further, the emotion determination device 10 uses the standard deviation of the amplitude of the low frequency component of the RR interval (hereinafter referred to as LF (Low Frequency) amplitude standard deviation) as an index of the positive degree or negative degree (Valence) of emotion. The specific method of acquiring the average RR interval and the LF amplitude standard deviation will be described later. In the present embodiment, the determination reference information D1 is information in which the reference of the predetermined average RR interval and the reference of the LF amplitude standard deviation are associated with each other for each type of the subject EN. Here, the average RR interval is an example of the first index. The LF amplitude standard deviation is an example of the second index. The heartbeat interval may be an interval from a certain Q wave to the next Q wave other than the RR interval, or may be an interval from a certain QRS wave to the next QRS wave.

図４は、第１実施形態に係る判定基準情報Ｄ１の一例を示す図である。
図４に示される通り、本実施形態において、情動判定装置１０は、「喜び」、「心配」、「驚き」及び「悲しみ」を判定する。具体的には、
判定基準情報Ｄ１には、「喜び」の基準として、「７８２［ｍｓ］」程度の平均ＲＲ間隔と、「２．１４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１には、「心配」を示す基準として、「７３７［ｍｓ］」程度の平均ＲＲ間隔と、「１．０４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１は、「悲しみ」を示す基準として、「７８８［ｍｓ］」程度の平均ＲＲ間隔と、「１．３７［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。
また、判定基準情報Ｄ１は、「驚き」を示す基準として、「８１７［ｍｓ］」程度の平均ＲＲ間隔と、「１．９４［ｍｓ］」程度のＬＦ振幅標準偏差とが、互いに対応付けられる。 FIG. 4 is a diagram showing an example of the determination criterion information D1 according to the first embodiment.
As shown in FIG. 4, in the present embodiment, the emotion determination device 10 determines “joy”, “care”, “surprise” and “sadness”. In particular,
In the determination reference information D1, an average RR interval of about “782 [ms]” and an LF amplitude standard deviation of about “2.14 [ms]” are associated with each other as a reference of “joy”.
Further, in the determination reference information D1, as a reference indicating “care”, the average RR interval of about “737 [ms]” and the LF amplitude standard deviation of about “1.04 [ms]” are mutually associated. Be
Further, in the determination reference information D1, as a reference indicating "sadness", an average RR interval of about "788 [ms]" and an LF amplitude standard deviation of about "1.37 [ms]" are associated with each other. .
Further, in the determination reference information D1, as a reference indicating "surprise", an average RR interval of about "817 [ms]" and an LF amplitude standard deviation of about "1.94 [ms]" are associated with each other. .

＜制御部１００について＞
図２に戻り、制御部１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが記憶部２００に記憶されたプログラムを実行することによって実現される。制御部１００は、例えば、取得部１１０と、指標取得部１２０と、判定部１３０と、出力部１４０とをその機能部として備える。これらの機能部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。 <About Control Unit 100>
Returning to FIG. 2, the control unit 100 is realized by execution of a program stored in the storage unit 200 by a processor such as a CPU (Central Processing Unit). The control unit 100 includes, for example, an acquisition unit 110, an index acquisition unit 120, a determination unit 130, and an output unit 140 as its functional units. These functional units may be realized by hardware such as a large scale integration (LSI), an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA) or the like, or realized by cooperation of software and hardware. It may be done.

取得部１１０は、電極ＳＣ１から被験者ＥＮの心電位信号を取得する。本実施形態において、取得部１１０は、取得した心電位信号と、当該心電位信号を取得した時刻とを対応付けて、常時又は所定の時間間隔において指標取得部１２０に供給する。   The acquisition unit 110 acquires a cardiac potential signal of the subject EN from the electrode SC1. In the present embodiment, the acquisition unit 110 associates the acquired cardiac potential signal with the time when the cardiac potential signal is acquired, and supplies the index acquisition unit 120 constantly or at a predetermined time interval.

指標取得部１２０は、取得部１１０によって取得された心電位信号の時間変化に基づいて、第１指標と、第２指標とを取得する。指標取得部１２０は、例えば、取得部１１０から心電位信号を取得する度に、心電位信号を取得した時刻よりも所定の時間だけ過去の間において取得された心電位信号に基づいて、被験者ＥＮのＲＲ間隔を取得する。所定の時間とは、例えば、１分程度の間である。また、指標取得部１２０は、取得したＲＲ間隔に基づいて、平均ＲＲ間隔（つまり、第１指標）を取得する。   The index acquisition unit 120 acquires the first index and the second index based on the temporal change of the cardiac potential signal acquired by the acquisition unit 110. For example, each time the index acquisition unit 120 acquires a cardiac potential signal from the acquisition unit 110, the subject EN can obtain a subject EN based on the cardiac potential signal acquired during a predetermined time period before the time when the cardiac potential signal is acquired. Get the RR interval of The predetermined time is, for example, about one minute. Also, the index acquisition unit 120 acquires the average RR interval (that is, the first index) based on the acquired RR interval.

図５は、被験者ＥＮが「喜び」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図５に示す波形ＷＲＲ１は、７人の被験者ＥＮがそれぞれ「喜び」を感じている場合のＲＲ間隔の加算平均波形である。図６は、被験者ＥＮが「心配」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図６に示す波形ＷＲＲ２は、１６人の被験者ＥＮがそれぞれ「心配」を感じている場合のＲＲ間隔の加算平均波形である。図７は、被験者ＥＮが「驚き」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図７に示す波形ＷＲＲ３は、９人の被験者ＥＮがそれぞれ「驚き」を感じている場合のＲＲ間隔の加算平均波形である。図８は、被験者ＥＮが「悲しみ」を感じている場合のＲＲ間隔の加算平均の一例を示す図である。図８に示す波形ＷＲＲ４は、１０人の被験者ＥＮがそれぞれ「悲しみ」を感じている場合のＲＲ間隔の加算平均波形である。   FIG. 5 is a diagram showing an example of an averaging of the RR intervals when the subject EN is feeling "joy". A waveform WRR1 shown in FIG. 5 is an averaged waveform of RR intervals when seven subjects EN respectively feel "joy". FIG. 6 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “careful”. The waveform WRR2 shown in FIG. 6 is an added average waveform of the RR intervals when the 16 subjects EN each feel "care". FIG. 7 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “surprise”. The waveform WRR3 shown in FIG. 7 is an added average waveform of the RR intervals when nine subjects EN respectively feel "surprised". FIG. 8 is a diagram showing an example of the arithmetic mean of the RR intervals when the subject EN is feeling “sadness”. A waveform WRR4 shown in FIG. 8 is an averaged waveform of RR intervals when ten subjects EN each feel "sadness".

図２に戻り、指標取得部１２０は、例えば、ｃｏｍｐｌｅｘ ｄｅｍｏｄｕｌａｔｉｏｎ法を用いて取得したＲＲ間隔から低周波数成分を求める。ここで、ＲＲ間隔の低周波成分とは、例えば、ＲＲ間隔に含まれる周波数成分のうち、０．０４［Ｈｚ］から０．１５［Ｈｚ］までの周波数成分である。指標取得部１２０は、取得したＲＲ間隔に含まれる低周波数成分に基づいて、低周波成分の振幅の標準偏差であるＬＦ振幅標準偏差（つまり、第２指標）を取得する。   Returning to FIG. 2, the index acquisition unit 120 obtains a low frequency component from the RR interval acquired using, for example, the complex demodulation method. Here, the low frequency component of the RR interval is, for example, frequency components from 0.04 [Hz] to 0.15 [Hz] among frequency components included in the RR interval. The index acquisition unit 120 acquires an LF amplitude standard deviation (that is, a second index) which is a standard deviation of the amplitudes of the low frequency components based on the low frequency components included in the acquired RR interval.

図９は、被験者ＥＮが「喜び」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図９に示す波形ＷＬＦ１は、７人の被験者ＥＮがそれぞれ「喜び」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１０は、被験者ＥＮが「心配」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図１０に示す波形ＷＬＦ２は、１６人の被験者ＥＮがそれぞれ「心配」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１１は、被験者ＥＮが「驚き」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図１１に示す波形ＷＬＦ３は、９人の被験者ＥＮがそれぞれ「驚き」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。図１２は、被験者ＥＮが「悲しみ」を感じている場合の低周波数成分の振幅の加算平均の一例を示す図である。図１２に示す波形ＷＬＦ４は、１０人の被験者ＥＮがそれぞれ「悲しみ」を感じている場合のＲＲ間隔のＬＦ成分の振幅の加算平均波形である。   FIG. 9 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "joy". The waveform WLF1 shown in FIG. 9 is an added average waveform of the amplitudes of the LF components of the RR interval when each of the seven subjects EN feels "joy". FIG. 10 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "care". The waveform WLF2 shown in FIG. 10 is an added average waveform of the amplitudes of the LF components of the RR interval when each of the 16 subjects EN feels "worrying". FIG. 11 is a diagram illustrating an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling “surprise”. A waveform WLF3 illustrated in FIG. 11 is an added average waveform of the amplitudes of the LF components of the RR interval when nine subjects EN respectively feel “surprise”. FIG. 12 is a diagram showing an example of an averaging of the amplitudes of low frequency components when the subject EN is feeling "sadness". A waveform WLF4 shown in FIG. 12 is an added average waveform of the amplitudes of the LF components of the RR interval when ten subjects EN each feel "sadness".

図２に戻り、判定部１３０は、判定基準情報Ｄ１と、指標取得部１２０が取得した被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動を判定する。具体的には、判定部１３０は、指標取得部１２０が取得した被験者ＥＮの平均ＲＲ間隔の値と、ＬＦ振幅標準偏差の値とが、判定基準情報Ｄ１に示される各情動の範囲と合致する場合、被験者ＥＮが当該情動を感じていると判定する。各情動の範囲とは、判定基準情報Ｄ１に示される各情動の基準値から、平均ＲＲ間隔の値が「±０．５」以内であって、かつＬＦ振幅標準偏差の値が「±０．５」以内の範囲である。また、指標取得部１２０は、当該範囲内に被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差が合致しない場合、被験者ＥＮには、判定基準情報Ｄ１に示す各情動（この一例では、「喜び」、「心配」、「驚き」及び「悲しみ」）を感じていないと判定する。判定部１３０は、被験者ＥＮの情動を判定した判定結果を示す情報を出力部１４０に供給する。   Returning to FIG. 2, the determination unit 130 determines the emotion of the subject EN based on the determination criterion information D1 and the average RR interval and the LF amplitude standard deviation of the subject EN acquired by the index acquisition unit 120. Specifically, the determination unit 130 matches the value of the average RR interval of the subject EN acquired by the index acquisition unit 120 and the value of the LF amplitude standard deviation with the range of each emotion shown in the determination reference information D1. In the case, it is determined that the subject EN feels the emotion. The range of each emotion means that the value of the average RR interval is within “± 0.5” and the value of the LF amplitude standard deviation is “± 0. 6” from the reference value of each emotion shown in the judgment criterion information D1. The range is within 5 ". In addition, when the average RR interval of the subject EN and the LF amplitude standard deviation do not match within the range, the index acquisition unit 120 instructs the subject EN to select each emotion (“joy” in this example) shown in the determination reference information D1. It is determined not to feel "care", "surprise" and "sadness"). The determination unit 130 supplies the output unit 140 with information indicating the determination result of the determination of the emotion of the subject EN.

出力部１４０は、判定部１３０が判定した判定結果を示す情報を出力する。出力部１４０は、例えば、情動判定装置１０と情報の送受信が可能に接続された端末（不図示）に対して判定結果を示す情報を送信してもよく、判定結果を示す情報を記憶部２００に出力し記憶させてもよい。   The output unit 140 outputs information indicating the determination result determined by the determination unit 130. The output unit 140 may transmit, for example, information indicating the determination result to a terminal (not shown) connected to the emotion determination apparatus 10 so as to be able to transmit and receive information, and stores the information indicating the determination result in the storage unit 200. May be output and stored.

＜情動判定装置１０の動作について＞
図１３は、第１実施形態に係る情動判定装置１０の動作の一例を示す図である。
取得部１１０は、電極ＳＣ１から心電位信号を取得する（ステップＳ１１０）。指標取得部１２０は、取得部１１０によって取得された心電位信号の時間変化に基づいて、第１指標と、第２指標とを取得する（ステップＳ１２０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が、判定基準情報Ｄ１が示す各情動の基準と合致するか否かを判定する（ステップＳ１３０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が判定基準情報Ｄ１の示す各情動の範囲のいずれかと合致する場合（ステップＳ１３０；ＹＥＳ）、被験者ＥＮが合致する情動を感じていると判定する（ステップＳ１４０）。判定部１３０は、指標取得部１２０が取得した第１指標及び第２指標が判定基準情報Ｄ１の示す各情動の範囲のいずれかと合致しない場合（ステップＳ１３０；ＮＯ）、被験者ＥＮが判定基準情報Ｄ１に示す情動を感じていないと判定する（ステップＳ１５０）。 <About Operation of Emotion Judgment Device 10>
FIG. 13 is a diagram showing an example of the operation of the emotion determination device 10 according to the first embodiment.
The acquisition unit 110 acquires a cardiac potential signal from the electrode SC1 (step S110). The index acquisition unit 120 acquires the first index and the second index based on the time change of the cardiac potential signal acquired by the acquisition unit 110 (step S120). The determination unit 130 determines whether the first index and the second index acquired by the index acquisition unit 120 match the reference of each emotion indicated by the determination reference information D1 (step S130). If the first index and the second index acquired by the index acquisition unit 120 match any of the ranges of emotions indicated by the determination reference information D1 (step S130; YES), the determination unit 130 determines an emotion that the subject EN matches. It is determined that the user is feeling (step S140). If the first index and the second index acquired by the index acquisition unit 120 do not match any of the ranges of emotions indicated by the determination reference information D1 (step S130; NO), the determination unit 130 determines that the subject EN is the determination reference information D1. It is determined that the emotion shown in is not felt (step S150).

＜情動判定装置１０による被験者ＥＮの情動の判定結果＞
図１４は、第１実施形態に係る被験者ＥＮの情動の判定結果の一例を示す図である。
情動判定装置１０は、図５に示すＲＲ間隔に基づく平均ＲＲ間隔及び図９に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「喜び」を感じていると判定する。また、情動判定装置１０は、図６に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１０に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ２）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「心配」を感じていると判定する。また、情動判定装置１０は、図７に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１１に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ３）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「驚き」を感じていると判定する。また、情動判定装置１０は、図８に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１２に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ４）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「悲しみ」を感じていると判定する。 <Result of judgment of emotion of subject EN by emotion judgment device 10>
FIG. 14 is a diagram showing an example of the determination result of the emotion of the subject EN according to the first embodiment.
The emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 5 and the LF amplitude standard deviation (point P1 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "joy". Also, the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 6 and the LF amplitude standard deviation (point P2 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "worried". Further, the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 7 and the LF amplitude standard deviation (point P3 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "surprised". Further, the emotion determination device 10 is based on the average RR interval based on the RR interval shown in FIG. 8 and the LF amplitude standard deviation (point P4 shown) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "sadness".

＜第１実施形態のまとめ＞
以上説明したように、本実施形態の情動判定装置１０は、被験者ＥＮの心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標（この一例では、平均ＲＲ間隔）及び第２指標（この一例では、ＬＦ振幅標準偏差）として取得する取得部（この一例では、指標取得部１２０）と、予め定められた平均ＲＲ間隔の基準及びＬＦ振幅標準偏差の基準が、被験者ＥＮの情動の種類毎に互いに対応付けられた判定基準（この一例では、判定基準情報Ｄ１）と、指標取得部１２０によって取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動を判定する判定部１３０と、を備える。 Summary of First Embodiment
As described above, the emotion determination device 10 according to the present embodiment uses the first index (in this example, the average RR interval) and at least two indices based on the heart beat information indicating the time change of the heart beat interval of the subject EN. The acquisition unit (in this example, the index acquisition unit 120 in this example) acquired as the second index (in this example, the LF amplitude standard deviation), the reference of the predetermined average RR interval and the reference of the LF amplitude standard deviation The subject EN based on the determination criteria (in this example, the determination criteria information D1) mutually associated for each type of emotion and the average RR interval of the subject EN acquired by the index acquisition unit 120 and the LF amplitude standard deviation And a determination unit 130 that determines the emotion of the subject.

従来、被験者ＥＮの表情の変化等の行動反応に基づいて、当該被験者ＥＮの情動を判定する技術が知られている。行動反応は、被験者ＥＮの意識によっては情動を適切に示さない場合がある。例えば、被験者ＥＮが笑いをこらえたり、無表情を保とうと意識したりすることにより、被験者ＥＮの表情には、当該被験者ＥＮの情動が示されない。   Conventionally, there is known a technique for determining the emotion of the subject EN based on behavioral responses such as changes in the expression of the subject EN. A behavioral response may not show an emotion appropriately depending on a subject's EN's consciousness. For example, the emotion of the subject EN is not indicated in the expression of the subject EN when the subject EN holds a smile or is conscious of maintaining the expressionlessness.

これに対し、本実施形態の情動判定装置１０は、被験者ＥＮの生理的反応である心拍動間隔によって当該被験者ＥＮの情動を判定する。被験者ＥＮは、一般に、心拍等の生理的反応の変化を意識して抑制することが困難である。したがって、本実施形態の情動判定装置１０は、被験者ＥＮの生理的反応に基づいて、当該被験者ＥＮの情動をより精度高く判定することができる。   On the other hand, the emotion determination device 10 of the present embodiment determines the emotion of the subject EN based on the heartbeat interval which is a physiological response of the subject EN. In general, it is difficult for the subject EN to consciously suppress a change in a physiological response such as a heart beat. Therefore, the emotion determination device 10 of the present embodiment can determine the emotion of the subject EN more accurately, based on the physiological response of the subject EN.

また、従来、被験者ＥＮの情動を生理的反応に基づいて判定する手段として、ポリグラフが知られている。しかしながら、ポリグラフを用いて被験者ＥＮの情動を判定する場合、当該被験者ＥＮの呼吸、脈拍及び血圧等の複数の生理的反応を同時に取得することが求められる場合があった。
本実施形態の情動判定装置１０によれば、被験者ＥＮの生理的反応として心拍動間隔のみを取得することによって、当該被験者ＥＮの情動を簡便な構成、かつ客観的に判定することができる。 Also, conventionally, a polygraph is known as a means for determining the emotion of the subject EN based on a physiological response. However, in the case of determining the emotion of the subject EN using a polygraph, it has been required in some cases to simultaneously acquire a plurality of physiological responses such as respiration, pulse and blood pressure of the subject EN.
According to the emotion determination apparatus 10 of the present embodiment, the emotion of the subject EN can be determined simply and objectively by acquiring only the heartbeat interval as the physiological response of the subject EN.

［第２実施形態］
以下、本発明の第２実施形態について図面を参照しながら説明する。まず、図１５を参照して、本実施形態の情動判定システム（以下、情動判定システム２）の概要について説明する。 Second Embodiment
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. First, an outline of an emotion determination system (hereinafter, emotion determination system 2) of the present embodiment will be described with reference to FIG.

＜情動判定システム２の概要＞
図１５は、第２実施形態に係る情動判定システム２の概要を示す図である。情動判定システム２は、電極ＳＣ１と、情動判定装置１１とを備える。情動判定装置１１は、制御部１００と、記憶部２０１とを備える。記憶部２０１には、判定基準情報Ｄ１と、変化基準情報Ｄ２とが記憶される。変化基準情報Ｄ２とは、被験者ＥＮの情動の時間変化の基準を示す。 <Outline of emotion determination system 2>
FIG. 15 is a diagram showing an overview of an emotion determination system 2 according to the second embodiment. The emotion determination system 2 includes an electrode SC1 and an emotion determination device 11. The emotion determination device 11 includes a control unit 100 and a storage unit 201. The storage unit 201 stores determination criterion information D1 and change criterion information D2. The change reference information D2 indicates the reference of the time change of the emotion of the subject EN.

＜変化基準情報Ｄ２について＞
図１６は、第２実施形態に係る変化基準情報Ｄ２の一例を示す図である。
本実施形態において、被験者ＥＮには、情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じるような試験が行われる。この試験とは、例えば、映像コンテンツの視聴や、書籍や雑誌の閲覧や、芸術作品の鑑賞等である。これに伴い、変化基準情報Ｄ２は、指標取得部１２０によって時系列に取得された被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。 <About change criteria information D2>
FIG. 16 is a diagram showing an example of the change reference information D2 according to the second embodiment.
In the present embodiment, a test is performed on the subject EN such that temporal changes in emotion occur in the order of “surprise”, “joy”, “care” and “sadness”. The test includes, for example, viewing of video content, browsing of books and magazines, and appreciation of works of art. Along with this, the change criterion information D2 indicates that the time change of the emotion of the subject EN acquired in time series by the index acquisition unit 120 occurs in the order of “surprise”, “joy”, “care” and “sadness” .

図１５に戻り、本実施形態の指標取得部１２０は、所定のタイミングにおいて、取得部１１０から心電位信号を取得する。所定のタイミングとは、被験者ＥＮに与えられる試験の期間のうち、被験者ＥＮの情動が変化するタイミングである。この一例では、指標取得部１２０は、「驚き」、「喜び」、「心配」及び「悲しみ」が生じるような試験が行われている各タイミングにおいて心電位信号を取得する。指標取得部１２０は、各タイミングにおいて取得した心電位信号の時間変化に基づいて、平均ＲＲ間隔と及びＬＦ振幅標準偏差を取得する。
判定部１３０は、指標取得部１２０が各タイミングにおいて取得した平均ＲＲ間隔と及びＬＦ振幅標準偏差に基づいて、被験者ＥＮの情動の時間変化を判定する。 Returning to FIG. 15, the index acquisition unit 120 of the present embodiment acquires a cardiac potential signal from the acquisition unit 110 at a predetermined timing. The predetermined timing is the timing at which the emotion of the subject EN changes during the period of the test given to the subject EN. In this example, the index acquisition unit 120 acquires the electrocardiogram signal at each timing at which a test is performed in which “surprise”, “joy”, “care”, and “sadness” occur. The index acquisition unit 120 acquires the average RR interval and the LF amplitude standard deviation based on the time change of the cardiac potential signal acquired at each timing.
The determination unit 130 determines the time change of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation acquired at each timing by the index acquisition unit 120.

図１７は、第２実施形態に係る被験者ＥＮの情動の判定結果の一例を示す図である。
情動判定装置１１は、図７に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１１に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１１）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「驚き」を感じていると判定する。次に、情動判定装置１１は、図５に示すＲＲ間隔に基づく平均ＲＲ間隔及び図９に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１２）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「喜び」を感じていると判定する。次に、情動判定装置１１は、図８に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１２に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１３）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「悲しみ」を感じていると判定する。次に、情動判定装置１１は、図６に示すＲＲ間隔に基づく平均ＲＲ間隔及び図１０に示す低周波数成分の振幅に基づくＬＦ振幅標準偏差（図示する点Ｐ１４）と、判定基準情報Ｄ１とに基づいて、当該被験者ＥＮが「心配」を感じていると判定する。 FIG. 17 is a diagram showing an example of the determination result of the emotion of the subject EN according to the second embodiment.
The emotion determination device 11 is based on the average RR interval based on the RR interval shown in FIG. 7 and the LF amplitude standard deviation (point P11 shown in the figure) based on the amplitude of the low frequency component shown in FIG. It is determined that the subject EN feels "surprised". Next, the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 5 and the LF amplitude standard deviation (point P12 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "joy". Next, the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 8 and the LF amplitude standard deviation (point P13 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "sadness". Next, the emotion determination device 11 determines the average RR interval based on the RR interval shown in FIG. 6 and the LF amplitude standard deviation (point P14 shown) based on the amplitude of the low frequency component shown in FIG. Based on the determination, it is determined that the subject EN feels "worried".

これにより、判定部１３０は、被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「悲しみ」及び「心配」の順に変化していると判定する。上述したように、変化基準情報Ｄ２は、指標取得部１２０によって時系列に取得された被験者ＥＮの情動の時間変化が「驚き」、「喜び」、「心配」及び「悲しみ」の順に生じることを示す。つまり、被験者ＥＮの情動の時間変化と、変化基準情報Ｄ２が示す被験者ＥＮの情動の時間変化の基準とは、合致しない。したがって、判定部１３０は、被験者ＥＮの情動の時間変化が適切ではないと判定する。   Thereby, the determination unit 130 determines that the temporal change of the emotion of the subject EN changes in the order of “surprise”, “joy”, “sadness” and “care”. As described above, the change criterion information D2 indicates that the time change of the emotion of the subject EN acquired in time series by the index acquisition unit 120 occurs in the order of "surprise", "joy", "care" and "sadness". Show. That is, the temporal change in emotion of the subject EN does not match the reference of temporal change in emotion of the subject EN indicated by the change reference information D2. Therefore, the determination unit 130 determines that the time change of the emotion of the subject EN is not appropriate.

＜第２実施形態のまとめ＞
以上説明したように、本実施形態の情動判定装置１１の判定部１３０は、判定基準情報Ｄ１と、指標取得部１２０によって時系列に取得された被験者ＥＮの第１指標（この一例では、平均ＲＲ間隔）及び第２指標（この一例では、ＬＦ振幅標準偏差）と、被験者ＥＮの情動の時間変化の基準である変化基準（この一例では、変化基準情報Ｄ２）に更に基づいて、被験者ＥＮの情動の時間変化を判定する。 Summary of Second Embodiment
As described above, the determination unit 130 of the emotion determination device 11 of the present embodiment includes the determination criterion information D1, and the first index of the subject EN acquired in time series by the index acquisition unit 120 (in this example, the average RR The emotion of the subject EN further based on the interval) and the second index (in this example, the LF amplitude standard deviation) and the change reference (the change reference information D2 in this example) which is the reference of the temporal change of the test subject's emotion. Determine the time change of

ここで、被験者ＥＮに認知症の症状が現れている場合、被験者ＥＮに対して情動に変化が生じるような試験が行われていても、当該被験者ＥＮの情動に時間変化が生じない場合がある。本実施形態の情動判定装置１１によれば、被験者ＥＮに対して情動に変化が生じるような試験を行い、適切に情動が時間変化しているか否かを判定することができる。したがって、本実施形態の情動判定装置１１によれば、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。   Here, when a symptom of dementia appears in the subject EN, even if a test is performed to cause a change in emotion to the subject EN, there may be a case where the time change does not occur in the emotion of the subject EN . According to the emotion determination device 11 of the present embodiment, it is possible to conduct a test on the subject EN that causes a change in emotion, and appropriately determine whether the emotion changes with time. Therefore, according to the emotion determination device 11 of the present embodiment, it is possible to provide information to be used as a reference when diagnosing whether a symptom of dementia is appearing in the subject EN.

また、映像コンテンツの作成者等は、作成した映像コンテンツによって所望の情動の変化を被験者ＥＮに生じさせたい場合がある。本実施形態の情動判定装置１１によれば、所望の情動の時間変化が被験者ＥＮに生じているか否かを客観的に判定することができる。   In addition, the creator of the video content may want to cause the subject EN to change a desired emotion according to the created video content. According to the emotion determination device 11 of the present embodiment, it can be objectively determined whether or not a desired emotion time change occurs in the subject EN.

＜被験者ＥＮに何らかの情動の変化が生じているか否かを判定する場合＞
なお、上述では、判定部１３０が、被験者ＥＮの情動の時間変化が変化基準情報Ｄ２と合致するか否かを判定する場合について説明したが、これに限られない。判定部１３０は、例えば、試験によって、被験者ＥＮの情動に何らかの変化（時間変化）が生じているか否かを判定する構成であってもよい。この場合、判定部１３０は、指標取得部１２０によって時系列に取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差と、判定基準情報Ｄ１とに基づいて、被験者ＥＮの情動の時間変化を判定する。これにより、本実施形態の情動判定装置１１は、試験によって、被験者ＥＮに情動の時間変化が生じているか否かを判定し、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置１１は、映像コンテンツ等によって被験者ＥＮに情動の時間変化を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。 <When determining whether or not any emotional change has occurred in the subject EN>
Although the above describes the case where the determination unit 130 determines whether the time change of the emotion of the subject EN matches the change reference information D2, the present invention is not limited thereto. For example, the determination unit 130 may be configured to determine whether or not some change (temporal change) has occurred in the emotion of the subject EN by a test. In this case, the determination unit 130 determines the time change of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired in time series by the index acquisition unit 120 and the determination reference information D1. Do. Thereby, the emotion determination device 11 of the present embodiment determines whether or not the subject EN changes with time in the test, and determines whether the subject EN has a symptom of dementia or not. Can provide information that In addition, the emotion determination device 11 of the present embodiment can provide information to be used as a reference when determining whether or not the subject EN can cause a time change of emotion based on video content or the like.

＜被験者ＥＮに何らかの情動の変化が生じているか否かを判定する場合＞
また、上述では、判定部１３０が、指標取得部１２０によって時系列に取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差と、判定基準情報Ｄ１とに基づいて、被験者ＥＮの情動の時間変化を判定する場合について説明したが、これに限られない。判定部１３０は、例えば、所定の期間中（例えば、試験が行われている期間中）において、被験者ＥＮに何らかの情動が生じているか否かを判定する構成であってもよい。この場合、判定部１３０は、所定の期間において指標取得部１２０によって取得された被験者ＥＮの平均ＲＲ間隔及びＬＦ振幅標準偏差に基づいて、前記所定の期間における前記被験者の情動の時間変化を判定する。これにより、本実施形態の情動判定装置１１は、試験によって、被験者ＥＮに情動が生じているか否かを判定し、被験者ＥＮに認知症の症状が現れているかを診断する際の参考となる情報を提供することができる。また、本実施形態の情動判定装置１１は、映像コンテンツ等によって被験者ＥＮに情動を生じさせることができるか否かを判断する際の参考となる情報を提供することができる。 <When determining whether or not any emotional change has occurred in the subject EN>
Further, in the above description, the determination unit 130 changes the time of the emotion of the subject EN based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired in time series by the index acquisition unit 120 and the determination reference information D1. Although the case of determining is described, it is not limited to this. For example, the determination unit 130 may be configured to determine whether or not any emotion is generated in the subject EN during a predetermined period (for example, during a period during which a test is being performed). In this case, the determination unit 130 determines the time change of the subject's emotion in the predetermined period based on the average RR interval and the LF amplitude standard deviation of the subject EN acquired by the index acquisition unit 120 in the predetermined period. . Thereby, the emotion determination device 11 of the present embodiment determines whether or not the subject EN has an emotion by the test, and information to be used as a reference when diagnosing whether a symptom of dementia appears in the subject EN Can be provided. In addition, the emotion determination device 11 of the present embodiment can provide information that is used as a reference when determining whether the subject EN can be caused to produce emotion by video content or the like.

＜平均ＲＲ間隔の形状及び平均ＬＦ振幅の形状＞
なお、上述では、情動判定装置１０が平均ＲＲ間隔の値及びＬＦ振幅標準偏差の値に基づいて、被験者ＥＮの情動を判定する場合について説明したが、これに限られない。情動判定装置１０は、例えば、所定の期間における平均ＲＲ間隔を示す波形の形状及び、所定の期間における平均ＬＦ振幅の波形の形状に基づいて、被験者ＥＮの情動を判定する構成であってもよい。この場合、判定基準情報Ｄ１は、被験者ＥＮの平均ＲＲ間隔の基準波形を示す情報と、平均ＬＦ振幅の基準波形を示す情報とが、情動の種類毎に互いに対応付けられた情報である。基準波形を示す情報とは、当該基準波形の値を所定の時間間隔（分解能）によって示す情報であってもよく、当該基準波形を示す画像であってもよい。
判定部１３０は、例えば、被験者ＥＮの平均ＲＲ間隔を示す波形の形状及び平均ＬＦ振幅を示す波形が、判定基準情報Ｄ１が示す、ある情動の平均ＲＲ間隔の基準波形及び平均ＬＦ振幅の基準波形と合致、又は相似する波形の形状である場合、被験者ＥＮが当該情動を感じていると判定する。
なお、平均ＲＲ間隔の波形の形状、平均ＬＦ振幅の波形の形状を取得する所定の期間は、情動の種類毎に長さが異なる期間であってもよい。 <Shape of average RR interval and shape of average LF amplitude>
Although the above describes the case where the emotion determination device 10 determines the emotion of the subject EN based on the value of the average RR interval and the value of the LF amplitude standard deviation, the present invention is not limited thereto. The emotion determination device 10 may be configured to determine the emotion of the subject EN based on, for example, the shape of the waveform indicating the average RR interval in a predetermined period and the shape of the average LF amplitude waveform in the predetermined period. . In this case, the determination reference information D1 is information in which the information indicating the reference waveform of the average RR interval of the subject EN and the information indicating the reference waveform of the average LF amplitude are associated with each other for each type of emotion. The information indicating the reference waveform may be information indicating the value of the reference waveform by a predetermined time interval (resolution), or may be an image indicating the reference waveform.
For example, the determination unit 130 determines the waveform shape indicating the average RR interval of the subject EN and the waveform indicating the average LF amplitude, the reference waveform of the average RR interval of a certain emotion indicated by the determination reference information D1, and the reference waveform of the average LF amplitude It is determined that the subject EN feels the emotion when the shape of the waveform matches or is similar to
The predetermined period for acquiring the shape of the waveform of the average RR interval and the shape of the waveform of the average LF amplitude may be a period in which the lengths are different for each type of emotion.

なお、上述では、第１指標が平均ＲＲ間隔である場合について説明したが、これに限られない。第１指標は、例えば、平均ＲＲ間隔に代えて、ＲＲ間隔に含まれる高周波数成分の振幅に基づいて、高周波成分の振幅の平均値を用いる構成であってもよい。ここで、ＲＲ間隔の高周波成分とは、例えば、ＲＲ間隔に含まれる周波数成分のうち、０．１５［Ｈｚ］から０．４０［Ｈｚ］までの周波数成分である。   In the above, although the case where the first index is the average RR interval has been described, the present invention is not limited to this. For example, instead of the average RR interval, the first index may be configured to use an average value of the amplitudes of the high frequency components based on the amplitude of the high frequency components included in the RR interval. Here, the high frequency component of the RR interval is, for example, a frequency component from 0.15 [Hz] to 0.40 [Hz] among frequency components included in the RR interval.

また、上述では、電極ＳＣ１によって取得した心電位信号に基づいて、被験者ＥＮの心拍動間隔を取得する場合について説明したが、これに限られない。心拍動間隔は、例えば、被験者ＥＮを撮像した画像に基づいて、当該被験者ＥＮの心拍動間隔が取得されてもよく、脈波信号に基づいて、当該被験者ＥＮの脈拍間隔を取得し、心拍動間隔の代りに用いてもよい。   Moreover, although the above-mentioned demonstrated the case where the heart beat interval of test subject EN was acquired based on the cardiac electric potential signal acquired by electrode SC1, it is not restricted to this. The heartbeat interval may be acquired based on an image obtained by imaging the subject EN, for example. The heartbeat interval of the subject EN may be acquired, and the pulse interval of the subject EN is acquired based on the pulse wave signal. It may be used instead of the interval.

また、上述では、被験者ＥＮのＲＲ間隔を周波数領域（周波数スペクトル）によって第１指標及び第２指標を取得する場合について説明したが、これに限られない。第１指標及び第２指標は、被験者ＥＮのＲＲ間隔の非線形領域の解析によって取得されてもよく、被験者ＥＮのＲＲ間隔の時間領域の解析によって取得されてもよい。   Moreover, although the case where the 1st parameter | index and the 2nd parameter | index were acquired by the frequency domain (frequency spectrum) of the RR space | interval of test subject EN above was demonstrated above, it is not restricted to this. The first index and the second index may be acquired by analysis of a non-linear region of the RR interval of the subject EN, or may be acquired by analysis of a time domain of the RR interval of the subject EN.

また、上記の各実施形態における情動判定装置１０又は情動判定装置１１が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。   Further, each unit included in the emotion determination device 10 or the emotion determination device 11 in each of the above embodiments may be realized by dedicated hardware, and may be realized by a memory and a microprocessor, It is also good.

また、情動判定装置１０又は情動判定装置１１が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、情動判定装置１０又は情動判定装置１１が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。   Further, each unit included in the emotion determination device 10 or the emotion determination device 11 is configured by a memory and a CPU (central processing unit), and a program for realizing a function of each component included in the emotion determination device 10 or the emotion determination device 11 is stored. The function may be realized by loading and executing it.

また、情動判定装置１０又は情動判定装置１１が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。   Further, a program for realizing the function of each part included in the emotion determination device 10 or the emotion determination device 11 is recorded in a computer readable recording medium, and the program recorded in the recording medium is read into a computer system and executed. You may process by doing. Here, the “computer system” includes an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 The "computer system" also includes a homepage providing environment (or display environment) if the WWW system is used.
The term "computer-readable recording medium" refers to a storage medium such as a flexible disk, a magneto-optical disk, a ROM, a portable medium such as a ROM or a CD-ROM, or a hard disk built in a computer system. Furthermore, “computer-readable recording medium” dynamically holds a program for a short time, like a communication line in the case of transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, the volatile memory in the computer system which is the server or the client in that case, and the one that holds the program for a certain period of time is also included. The program may be for realizing a part of the functions described above, or may be realized in combination with the program already recorded in the computer system.

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。   Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and appropriate changes may be made without departing from the spirit of the present invention. it can. You may combine the structure as described in each embodiment mentioned above.

１、２…情動判定システム、１０、１１…情動判定装置、１００…制御部、１１０…取得部、１２０…指標取得部、１３０…判定部、１４０…出力部、２００、２０１…記憶部、Ｄ１…判定基準情報、Ｄ２…変化基準情報、ＥＮ…被験者 1, 2 ... emotion determination system, 10, 11 ... emotion determination device, 100 ... control unit, 110 ... acquisition unit, 120 ... index acquisition unit, 130 ... determination unit, 140 ... output unit, 200, 201 ... storage unit, D1 ... Judgment criteria information, D2 ... Change criteria information, EN ... Subject

Claims (8)

被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得部と、
予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定部と、
を備える情動判定装置。 An acquisition unit configured to acquire at least two indices based on heart beat information indicating a time change of a heart beat interval of the subject as a first index and a second index;
A determination standard in which a reference of the first index and a reference of the second index, which are determined in advance, are associated with one another for each type of emotion of the subject, and the first index of the subject acquired by the acquisition unit And a determination unit that determines an emotion of the subject based on the second index and the second index.
Emotion determination device comprising: 前記第１指標とは、前記心拍動間隔のＲＲ間隔に基づく指標であって、
前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である、
請求項１に記載の情動判定装置。 The first index is an index based on the RR interval of the heart beat interval, and
The second index is an index based on a low frequency component of the RR interval,
The emotion determination device according to claim 1. 前記第１指標とは、前記心拍動間隔のＲＲ間隔の高周波成分に基づく指標であって、
前記第２指標とは、前記ＲＲ間隔の低周波成分に基づく指標である、
請求項１又は請求項２に記載の情動判定装置。 The first index is an index based on a high frequency component of the RR interval of the heart beat interval,
The second index is an index based on a low frequency component of the RR interval,
The emotion determination apparatus according to claim 1 or 2. 前記判定部は、前記判定基準と、前記取得部によって時系列に取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動の時間変化を更に判定する、
請求項１から請求項３のいずれか一項に記載の情動判定装置。 The determination unit further determines a temporal change in emotion of the subject based on the determination criterion and the first index and the second index of the subject acquired in time series by the acquisition unit.
The emotion determination device according to any one of claims 1 to 3. 前記判定部は、前記被験者の情動の時間変化の基準である変化基準に更に基づいて、前記被験者の情動の時間変化を判定する、
請求項４に記載の情動判定装置。 The determination unit determines the temporal change of the subject's emotion based further on a change criterion that is a reference of the temporal change of the subject's emotion.
The emotion determination device according to claim 4. 前記判定部は、
前記判定基準と、所定の期間において前記取得部によって取得された前記被験者の前記第１指標及び前記第２指標に基づいて、前記所定の期間における前記被験者の情動の時間変化を更に判定する、
請求項１から請求項４のいずれか一項に記載の情動判定装置。 The determination unit is
Further determining temporal changes in emotions of the subject in the predetermined period based on the determination criteria and the first index and the second index of the subject acquired by the acquisition unit in the predetermined period;
The emotion determination device according to any one of claims 1 to 4. コンピュータが、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得し、
予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する、
情動判定方法。 The computer is
At least two indices based on heart beat information indicating a time change of a subject's heart beat interval are acquired as a first index and a second index.
A determination criterion in which a reference of the first index and a reference of the second index, which are predetermined, are associated with one another for each type of emotion of the subject, and the first index and the second of the acquired subject of the subject Determining the subject's emotion based on the index;
Emotion judgment method. コンピュータに、
被験者の心拍動間隔の時間変化を示す心拍動情報に基づく少なくとも２つの指標を第１指標及び第２指標として取得する取得ステップと、
予め定められた前記第１指標の基準及び前記第２指標の基準が、前記被験者の情動の種類毎に互いに対応付けられた判定基準と、前記取得ステップによって取得された前記被験者の前記第１指標及び前記第２指標とに基づいて、前記被験者の情動を判定する判定ステップと、
を実行させるためのプログラム。 On the computer
Acquiring at least two indices based on heart beat information indicating a time change of a heart beat interval of the subject as a first index and a second index;
A determination standard in which a reference of the first index and a reference of the second index, which are determined in advance, are associated with one another for each type of emotion of the subject, and the first index of the subject acquired by the acquisition step And a determination step of determining the emotion of the subject based on the second index and the second index.
A program to run a program.
JP2017193092A 2017-10-02 2017-10-02 Affect judgment device, emotion judgment method, and program Active JP7058383B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017193092A JP7058383B2 (en) 2017-10-02 2017-10-02 Affect judgment device, emotion judgment method, and program
PCT/JP2018/036853 WO2019069910A1 (en) 2017-10-02 2018-10-02 Emotion determination device, emotion determination method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017193092A JP7058383B2 (en) 2017-10-02 2017-10-02 Affect judgment device, emotion judgment method, and program

Publications (2)

Publication Number Publication Date
JP2019063324A true JP2019063324A (en) 2019-04-25
JP7058383B2 JP7058383B2 (en) 2022-04-22

Family

ID=65994878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017193092A Active JP7058383B2 (en) 2017-10-02 2017-10-02 Affect judgment device, emotion judgment method, and program

Country Status (2)

Country Link
JP (1) JP7058383B2 (en)
WO (1) WO2019069910A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272888B1 (en) 2021-06-22 2022-03-15 Nft Ip Holdings Llc Devices and systems that measure, quantify, compare, package, and capture human content in databases

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128579A (en) * 2013-12-05 2015-07-16 Ｐｓｔ株式会社 Assumption machine, program, method of operating assumption machine, and assumption system
WO2016108754A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Method and apparatus for deriving a mental state of a subject
JP2017073107A (en) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Control method for information presentation device, and information presentation device
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017121286A (en) * 2016-01-05 2017-07-13 富士通株式会社 Emotion estimation system, emotion estimation method, and emotion estimation program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015128579A (en) * 2013-12-05 2015-07-16 Ｐｓｔ株式会社 Assumption machine, program, method of operating assumption machine, and assumption system
WO2016108754A1 (en) * 2014-12-30 2016-07-07 Nitto Denko Corporation Method and apparatus for deriving a mental state of a subject
JP2017073107A (en) * 2015-10-08 2017-04-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Control method for information presentation device, and information presentation device
US20170105662A1 (en) * 2015-10-14 2017-04-20 Panasonic Intellectual Property Corporation of Ame Emotion estimating method, emotion estimating apparatus, and recording medium storing program
JP2017121286A (en) * 2016-01-05 2017-07-13 富士通株式会社 Emotion estimation system, emotion estimation method, and emotion estimation program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHI, HONGYU ET AL.: "Differences of Heart Rate Variability Between Happiness and Sadness Emotion States: A Pilot Study", J. MED. BIOL.ENG., vol. Vol.37, Issue 4, JPN6021011718, August 2017 (2017-08-01), pages 527 - 539, ISSN: 0004617579 *

Also Published As

Publication number Publication date
JP7058383B2 (en) 2022-04-22
WO2019069910A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
Giannakakis et al. Review on psychological stress detection using biosignals
Hogervorst et al. Combining and comparing EEG, peripheral physiology and eye-related measures for the assessment of mental workload
JP2019513516A (en) Methods and systems for acquiring, aggregating and analyzing visual data to assess human visual performance
Bousefsaf et al. Remote detection of mental workload changes using cardiac parameters assessed with a low-cost webcam
US10325066B2 (en) System for mental health clinical application
KR20170032179A (en) Representing a subjects state of mind using a psychophysiological model
Valenza et al. Autonomic nervous system dynamics for mood and emotional-state recognition: Significant advances in data acquisition, signal processing and classification
Javorka et al. Role of respiration in the cardiovascular response to orthostatic and mental stress
KR20200071647A (en) Biofeedback method based on virtual/augmented reality contents and bio-signal for diagnosis and healing of mental illness
Soundirarajan et al. Information-based analysis of the relationship between brain and facial muscle activities in response to static visual stimuli
Urrestilla et al. Measuring cognitive load: Heart-rate variability and pupillometry assessment
van den Broek et al. Unobtrusive sensing of emotions (USE)
Lim et al. The effects of degrees of freedom and field of view on motion sickness in a virtual reality context
WO2019069910A1 (en) Emotion determination device, emotion determination method, and program
EP3182892B1 (en) Method and system for eeg signal processing
Hwang et al. Classification of motion sickness levels using multimodal biosignals in real driving conditions
JP2023106629A (en) Information processing device, information processing method, and information processing program
Paliwal et al. Real time heart rate detection and heart rate variability calculation
Liu et al. Disordered high-frequency oscillation in face processing in schizophrenia patients
JP2016067480A (en) Bio-information detection apparatus
Blanco et al. CardioSounds: Real-time auditory assistance for supporting cardiac diagnostic and monitoring
KR20220117632A (en) Method and system for providing remote counseling service
Spinsante et al. Contactless measurement of heart rate for exergames applications
JP2016067481A (en) Bio-information detection apparatus
JP2015029609A6 (en) Preference evaluation method, preference evaluation apparatus and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190307

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220324

R150 Certificate of patent or registration of utility model

Ref document number: 7058383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150