CN110520048A - 情绪估计装置 - Google Patents
情绪估计装置 Download PDFInfo
- Publication number
- CN110520048A CN110520048A CN201880021918.0A CN201880021918A CN110520048A CN 110520048 A CN110520048 A CN 110520048A CN 201880021918 A CN201880021918 A CN 201880021918A CN 110520048 A CN110520048 A CN 110520048A
- Authority
- CN
- China
- Prior art keywords
- data
- mood
- processing unit
- estimation device
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012952 Resampling Methods 0.000 claims abstract description 20
- 230000016507 interphase Effects 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000000523 sample Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000012723 sample buffer Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/681—Wristwatch-type devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Cardiology (AREA)
- Human Computer Interaction (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Fuzzy Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
提供一种情绪估计装置,能够使用非接触式的脉搏检测技术来精确地估计测定对象者的情绪、精神状态。情绪估计装置针对将心跳信号进行数字化所得到的数字生物体数据,按RR间期提取出一个周期的数据之后,强制进行重采样处理,并由DCT变换处理部获得谐波分量的系数。针对这些谐波分量的系数,利用LPF去除AC分量来获得系数数据列。将该系数数据列与作为表示情绪或心理状态的特征量的词典数据组进行比较来计算相似度,由此根据受验者的心跳信号来估计出受验者的情绪或心理状态。
Description
技术领域
本发明涉及一种根据脉搏信号来估计人的情绪的情绪估计装置。
背景技术
很多的从业人员、技术人员正在开发一种检测驾驶汽车的驾驶员的疲劳状态、提前估计危险状态并向驾驶员发出警报的疲劳驾驶防止系统。
在专利文献1中公开了一种根据乘车者的表情和脉搏来估计乘车者的情绪的车辆用乘员情绪应对控制装置。
在专利文献2中公开了一种以非接触方式检测脉搏的生物体信号检测装置。
现有技术文献
专利文献
专利文献1:日本特许6083441号公报
专利文献2:日本特开2016-159081号公报
发明内容
发明要解决的问题
根据脉搏来检测疲劳的技术是已知的。
人的脉搏大约为1Hz左右,但是具有0.1Hz~0.3Hz左右的波动。当对人的脉搏进行傅立叶变换时,能够提取该波动的分量。
已知的是,0.3Hz的波动分量是由人的呼吸引起的。当人吸入氧时,由于该氧的量的增加而使心脏的跳动速度稍微变快。
已知的是,0.1Hz的波动分量是由人的血压引起的。
已知的是,当对0.3Hz的波动分量与0.1Hz的波动分量的大小关系进行分析时,能够获知人的疲劳程度、紧张状态。
但是,在获取该波动分量的大小关系时,其前提是需要准确地获取脉搏信号。
如果是使用粘贴于皮肤的电极获得的心电图波形,则能够获得比较准确的波形,但是在利用电波、光等介质来获取脉搏的情况下,峰在时间轴上的位置(相位)容易发生偏移。于是,该峰的偏移成为相对于波动分量而言的较大的噪声,从而难以获取准确的波动分量。
因此,利用这样的现有技术构成的疲劳度测量设备等的测定结果的可靠性低。也就是说,使用利用电波的脉搏检测技术进行的疲劳度检测的可靠性低,如果只是原样地采用现有技术,则无法针对测定对象者进行精确的情绪估计,进而无法实现疲劳驾驶防止系统。
本发明是鉴于上述的问题而完成的,其目的在于提供一种能够使用非接触式的脉搏检测技术来精确地估计测定对象者的情绪、精神状态的情绪估计装置。
用于解决问题的方案
为了解决上述问题,本发明的情绪估计装置具备:重采样处理部,其从将心跳信号变换为数字数据所得到的数字生物体数据中提取以RR间期为基准的一个周期的数据,并将该一个周期的数据变换为预先决定的样本数;DCT变换处理部,其对通过重采样处理部固定了样本数的标准化数字生物体数据实施离散余弦变换;低通滤波器组,其针对由DCT变换处理部输出的系数数据列,按每个系数数据降低交流分量;以及估计处理部,其将从低通滤波器组得到的系数数据列与针对每种情绪或心理状态制作出的词典数据的集合体即词典数据组进行比较,来估计出最相似的情绪或心理状态。
发明的效果
根据本发明,能够提供一种能够使用非接触式的脉搏检测技术来精确地估计测定对象者的情绪、精神状态的情绪估计装置。
上述以外的问题、结构以及效果通过下面的实施方式的说明而明确。
附图说明
图1是本发明的实施方式所涉及的情绪估计装置的外观图。
图2是示出情绪估计装置的硬件结构的框图。
图3是示出情绪估计装置的软件功能的框图。
图4是示出某受验者体验了游乐场的鬼屋时的心跳数以及心跳的各谐波分量的变化的曲线图。
图5是示出另一受验者体验了游乐场的自由落体(free fall)时的心跳数以及心跳的各谐波分量的变化的曲线图。
具体实施方式
[情绪估计装置:概要]
发明人舍弃根据脉搏的波形来获取波动分量这一以往的方法,而想到了根据进行标准化所得到的脉搏波形来获取谐波分量的方法。
在实际的人的脉搏的波形中,在紧挨着产生R波的心室收缩之前和之后,微小的微振动波形持续产生。对这些振动波形赋予P、Q、S、T等名称。
因此,当包括这些微振动波形在内进行频率分析时,能够观察以RR间期为基波的谐波分量。
当持续地观察该谐波分量时可知,人在惊吓时、愉悦状态、紧张时等,谐波分量的比率显著地变化。
例如,在某些游戏中被指出撒谎的场面或者在参加游乐场的过山车、鬼屋等游乐设施等的场面中,有时心脏的跳动“咚咚”地加剧。该“咚咚”这样的跳动的加剧呈现在心跳的谐波分量中。
因此,通过获取心跳的谐波分量,并按情绪、状态对该分量的比率进行分类并进行分析,不使用脑电波就能够估计人的情绪、心理状态。
[情绪估计装置:概要图和外观图]
图1A是搭载于汽车的情绪估计装置101的概要图。
生物体信号检测装置102从天线103向驾驶员104照射电波,并接收该电波的反射波。而且,通过使用辐射波和反射波实施规定的信号处理,来检测驾驶员104的脉搏信号。该生物体信号检测装置102的技术已经由本发明人提出(参照专利文献2)。
情绪估计装置101当从生物体信号检测装置102接收到生物体信号时,在内部进行后述的A/D变换和数据处理,来估计驾驶员104的情绪、心理状态。
情绪估计装置101输出的情绪估计结果信息被发送到与情绪估计装置101同样地搭载于汽车上的未图示的疲劳驾驶防止系统,并与其它信息综合起来,来综合地判定驾驶员104的状态。在判断为有必要时,疲劳驾驶防止系统实施对驾驶员104发出警报等的措施。
图1B是示出具有手表形态的脉搏测定装置111的一例的外观图。
图1C是示出具有手表形态的脉搏测定装置111的背面侧的外观图。
近年来,手表型的脉搏测定装置111已在市场上普及。其在手表形态的主体部112的背面侧设置发出绿色光的LED 113和光接收元件114,将由于血流而产生的光接收强度的变化检测为脉搏信号。动作原理与佩戴在耳垂上的脉动血氧仪(pulse oximeter)相同。即,脉搏测定装置111是生物体信号检测装置的一种。因而,还能够将本发明的实施方式所涉及的情绪估计装置101嵌入于该手表型的脉搏测定装置111。
[情绪估计装置101:硬件结构]
图2是示出情绪估计装置101的硬件结构的框图。
由单板微型计算机(one-board microcomputer)等计算机形成的情绪估计装置101具备与总线201连接的CPU 202、ROM 203、RAM 204、非易失性存储器205。作为非易失性存储器205,例如使用快闪存储器。该快闪存储器还能够兼用作ROM 203。
在总线201上,还通过A/D变换器206连接有生物体信号检测装置102。即,生物体信号检测装置102输出的模拟生物体信号被A/D变换器206变换为数字生物体数据。但是,在从生物体信号检测装置102直接输出将模拟生物体信号进行数字化所得到的数字生物体数据的情况下,不需要A/D变换器206。
此外,根据情绪估计装置101的形态,还能够将显示部207、操作部208连接于总线201,来向使用者呈现情绪或心理状态的估计结果。
像这样,情绪估计装置101能够通过一般的微型计算机来实现。情绪估计装置101的实体是通过程序来提供的信息处理功能。因而,还能够将情绪估计装置101的程序功能绑定在构成生物体信号检测装置102的一部分的微型计算机的软件中,来与生物体信号检测装置102一体地构成。
[情绪估计装置101:软件功能]
图3是示出情绪估计装置101的软件功能的框图。
生物体信号检测装置102输出的模拟生物体信号被A/D变换器206变换为数字生物体数据。数字生物体数据被暂时存储到生物体数据缓冲器301中。生物体数据缓冲器301具有用于保存最低两个周期以上的数字生物体数据的存储容量。
同步检测部302读入存储于生物体数据缓冲器301的数字生物体数据,并检测作为数字生物体数据、即脉搏数据的峰的R波。然后,检测表示心跳的一个周期的RR间期。
同步检测部302检测出的RR间期信息被输入到重采样处理部303。重采样处理部303读入RR间期信息和生物体数据缓冲器301,并针对一个周期的数字生物体数据实施重采样处理和利用自动增益调整(Auto Gain Control,下面为“AGC”)304进行的标准化处理。
人的脉搏的周期根据健康状态、活动状态等因素而各种各样。重采样处理部303将存在偏差的一个周期的数字生物体数据强制地应用为固定的样本数的数据,并写入到重采样缓冲器305。为了便于后述的DCT变换处理部306处理,重采样缓冲器305的样本数优选为2的乘方。例如为256个样本、512个样本或1024个样本。
另外,生物体信号检测装置102输出的模拟生物体信号未必一定是其振幅被标准化。特别是在使用电波的非接触式的生物体信号检测装置102的情况下,模拟生物体信号的振幅有可能根据电波的发送接收环境而变动。因此,通过在重采样处理部303的内部具备AGC 304的功能,将存储于重采样缓冲器305的数据针对振幅进行标准化,从而在后述的DCT变换处理部306中能够获得正确的谐波分量的强度。
存储于重采样缓冲器305的标准化数字生物体数据被读入到DCT变换处理部306。
DCT变换处理部306实施周知的离散余弦变换,来输出与重采样缓冲器305的样本数相等的系数数据列。
另外,谐波分量是指基波的整数倍的频率分量。换言之,除基波的整数倍的频率分量以外的频率分量不是谐波分量,而是噪声。因此,针对DCT变换处理部306输出的系数数据列,按每个系数设置低通滤波器(下面为“LPF”)。
基波的系数数据被输入到0阶LPF 307a,1次谐波的系数数据被输入到1阶LPF307b,2次谐波的系数数据被输入到2阶LPF 307c,···n次谐波的系数数据被输入到n阶LPF 307n。此后,在对0阶LPF 307a、1阶LPF 307b、2阶LPF 307c、···n阶LPF 307n进行统称的情况下,称为LPF组307。构成LPF组307的各个LPF(低通滤波器组)的截止频率为0.1Hz左右。
通过这样,由估计处理部309估计经过LPF组307的各LPF而得到的系数数据列308与词典数据组310中包含的哪个系数数据模式最接近。
词典数据组310具有与被测定对象者的各种情绪、心理状态有关的多个系数数据模式。例如兴奋、不快、恐怖、疲劳状态等。
系数数据列是一维的数列。在估计具有相同元素数的一维的数列之间的相似度时,例如列举计算残差平方和等。
估计处理部309按词典数据组310的每个系数数据模式来对系数数据列308计算相似度,将与相似度最高(数列之间的距离短)的系数数据模式有关的情绪、心理状态作为估计结果输出。
[情绪估计装置101:动作]
如已经说明的那样,本发明的实施方式所涉及的情绪估计装置101的获取心跳的谐波分量并捕捉其特征的技术为重要的要素技术。因此,发明人思考了如何高精度地获取心跳的谐波分量。
如上述那样,在非接触式的心跳检测技术中,噪声分量非常多。心跳原本就具有波动分量,还由于生物体活动而使心跳变快或变慢。
但是,心跳的谐波分量是指心跳的基波分量(RR间期)的整数倍的频率。也就是说,不为基波分量的整数倍的频率分量可以全部作为噪声而舍去。由于波动也为噪声,因此能够在最初通过标准化处理来去除该波动分量。
首先,由重采样处理部303进行多个周期的脉搏信号的与RR间期同步的检测。而且,按每个周期强制进行重采样。无论脉搏是快还是慢,总之都强制地使脉搏周期的样本值一致。于是,全部的脉搏周期的样本值的个数一致。样本数例如为256个样本。由重采样处理部303强制地使心跳的周期一致,由此从脉搏中去除成为噪声的波动分量。于是,更明确地呈现出脉搏样本中包含的谐波分量。
接着,已被去除噪声后的脉搏样本被提供给DCT变换处理部306,在该DCT变换处理部306中被进行离散余弦变换(DCT)。例如,当对256个样本的脉搏样本实施DCT时,能够获得相同样本数(256个)的系数数据列308。0阶为基波,1阶为2倍谐波、2阶为3倍谐波、···255阶为256倍谐波这样依次相连。
由于波动分量应当已被重采样处理部303去除,因此从DCT变换处理部306输出的谐波分量呈现为DC分量。也就是说,非DC分量的AC分量为噪声。因此,针对这些分量施加用于去除波动分量的LPF。通过这样,经由LPF组307能够获得与脉搏的谐波分量对应的系数数据列308。通过以上的处理,能够清晰地呈现出生物体信号中包含的微小的谐波分量。
发明人仿照声音的共振峰而将该系数数据列308称为生物体共振峰。
即,本发明的实施方式所涉及的情绪估计装置101着眼于目前为止未曾关注过的心跳的谐波分量,并提取该谐波分量。在提取该谐波分量的过程中,现有技术中的作为检测对象的心跳的波动分量作为妨碍检测谐波分量的噪声而被完全忽略不计并被去除。
[实验结果]
图4是示出某受验者体验了游乐场的鬼屋时的心跳数以及心跳的各谐波分量的变化的曲线图。横轴为时间,纵轴为谐波分量的大小。
在图4的曲线图中可知,在鬼屋内遇到了妖怪的时间点T401,受验者的心跳值急剧上升,并且在心跳的8次谐波处产生了显著的变化(波形P402)。
图5是示出另一受验者体验了游乐场的自由落体时的心跳数以及心跳的各谐波分量的变化的曲线图。
在图5的曲线图中,清楚地获知当载有受验者的座舱部开始移动时受验者的心跳的8次谐波急剧地上升的情形(时间点T501、波形P502)。并获知,此后随着缓慢地向塔顶上升,受验者的心跳的8次谐波缓缓地减少。这被认为是最初在座舱部开始移动的同时受验者感到惊恐,之后惊恐的情绪随着座舱部继续上升而减少。
然后,当座舱部开始下降时,在短时间内产生急剧的情绪变化(时间点点T503)。虽然在图5中难以辨别,但具体为1次谐波、3次谐波以及8次谐波急剧下降,2次谐波、4次谐波、5次谐波急剧增加。接着,8次谐波急剧增加(波形P504)。该增加被推测为受验者感到很兴奋。
如图4和图5所示可知,心跳的谐波分量与人的情绪、心理状态的变动对应地产生显著的变化。因此,大量地收集这些数据,并按每种情绪对这些数据进行分类。而且,准备多个与相同的情绪、心理状态有关的系数数据列308,对该多个系数数据列308进行例如最小二乘法等运算处理,来制作词典数据。
估计处理部309针对某个系数数据列308,运算与词典数据组310中包含的多个词典数据列之间的距离。与计算出的距离中的值最小的词典数据有关的情绪或心理状态为情绪或心理状态的估计结果。
该估计处理部309能够应用多元回归分析、主分量分析、贝叶斯估计、支持向量机等各种估计算法。
在本发明的各实施方式中公开了情绪估计装置101。
情绪估计装置101针对将心跳信号进行数字化所得到的数字生物体数据,以RR间期提取出一个周期的数据之后,强制进行重采样处理,并由DCT变换处理部306获得谐波分量的系数。然后,针对谐波分量的系数,利用LPF去除AC分量来获得系数数据列308。将该系数数据列308与作为表示情绪或心理状态的特征量的词典数据组310进行比较来计算相似度,由此根据受验者的心跳信号来估计出受验者的情绪或心理状态。
通过利用本发明的各实施方式所涉及的情绪估计装置101,能够以非接触方式实现汽车中的驾驶员的安全隐患的检测等。
以上,对本发明的实施方式进行了说明,但是本发明不限定于上述实施方式,在不脱离权利要求书所记载的本发明的要旨的范围内,包括其它变形例、应用例。
例如,关于上述的实施方式,为了以易于理解本发明的方式说明,详细且具体地说明了装置和系统的结构,但并不一定限定于具备所说明的全部结构的方式。另外,能够将某个实施方式的结构的一部分置换为其它实施方式的结构,并且还能够对某个实施方式的结构添加其它实施方式的结构。另外,还能够对各实施方式的结构的一部分进行其它结构的追加/删除/置换。
另外,关于上述的各结构、功能、处理部等,也可以通过例如在集成电路中设计它们的一部分或全部等来以硬件实现。另外,上述的各结构、功能等也可以通过用于由处理器解释并执行实现各个功能的程序的软件来实现。用于实现各功能的程序、表、文件等的信息能够保持在存储器、硬盘、SSD(Solid State Drive:固态硬盘)等易失性或非易失性的存储器、或者IC卡、光盘等记录介质中。
另外,控制线、信息线表示在说明上认为必要的线,在产品上不一定示出所有的控制线、信息线。实际上,也可以认为几乎所有的结构相互连接。
附图标记说明
101:情绪估计装置;102:生物体信号检测装置;103:天线;104:驾驶员;111:脉搏测定装置;112:主体部;113:LED;114:光接收元件;201:总线;202:CPU;203:ROM;204:RAM;205:非易失性存储器;206:A/D变换器;207:显示部;208:操作部;301:生物体数据缓冲器;302:同步检测部;303:重采样处理部;304:AGC;305:重采样缓冲器;306:DCT变换处理部;307:LPF组;308:系数数据列;309:估计处理部;310:词典数据组。
Claims (2)
1.一种情绪估计装置,具备:
重采样处理部,其从将心跳信号变换为数字数据所得到的数字生物体数据中提取以RR间期为基准的一个周期的数据,并将该一个周期的数据变换为预先决定的样本数;
DCT变换处理部,其对通过所述重采样处理部固定了样本数的标准化数字生物体数据实施离散余弦变换;
低通滤波器组,其针对由所述DCT变换处理部输出的系数数据列,按每个系数数据降低交流分量;以及
估计处理部,其将从所述低通滤波器组得到的所述系数数据列与针对每种情绪或心理状态制作出的词典数据的集合体即词典数据组进行比较,来估计出最相似的情绪或心理状态。
2.根据权利要求1所述的情绪估计装置,其特征在于,
所述重采样处理部针对从所述数字生物体数据中提取出的所述一个周期的数据,基于R波的峰值来进行自动增益调整。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063539 | 2017-03-28 | ||
JP2017-063539 | 2017-03-28 | ||
PCT/JP2018/008943 WO2018180330A1 (ja) | 2017-03-28 | 2018-03-08 | 感情推定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110520048A true CN110520048A (zh) | 2019-11-29 |
Family
ID=63675550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880021918.0A Pending CN110520048A (zh) | 2017-03-28 | 2018-03-08 | 情绪估计装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10803335B2 (zh) |
EP (1) | EP3603514A4 (zh) |
JP (1) | JP6842214B2 (zh) |
CN (1) | CN110520048A (zh) |
WO (1) | WO2018180330A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111419250A (zh) * | 2020-04-08 | 2020-07-17 | 恒爱高科(北京)科技有限公司 | 一种基于脉搏波的情绪识别方法 |
CN114089642A (zh) * | 2022-01-24 | 2022-02-25 | 慕思健康睡眠股份有限公司 | 一种智能家居系统的数据交互方法及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7001627B2 (ja) | 2019-03-01 | 2022-01-19 | Kddi株式会社 | 感情特定装置、感情特定方法及びメッセージ出力システム |
GB2612303A (en) * | 2021-10-20 | 2023-05-03 | Prevayl Innovations Ltd | Electronics module for a wearable article |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014084162A1 (ja) * | 2012-11-27 | 2014-06-05 | 国立大学法人九州工業大学 | 信号雑音除去装置、その方法及びプログラム |
WO2015127193A1 (en) * | 2014-02-20 | 2015-08-27 | Faurecia Automotive Seating, Llc. | Vehicle seat with integrated sensors |
CN105796118A (zh) * | 2014-12-28 | 2016-07-27 | 天津心康科技发展有限公司 | 一种无创情绪分析方法 |
JP2016159081A (ja) * | 2015-03-05 | 2016-09-05 | 国立大学法人九州工業大学 | 生体信号検出装置、生体信号処理装置及び血圧測定システム |
CN106419936A (zh) * | 2016-09-06 | 2017-02-22 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0686762A (ja) * | 1992-09-07 | 1994-03-29 | Kanebo Ltd | 脳波を用いた生理状態評価方法及び装置 |
JPH11128185A (ja) * | 1997-10-31 | 1999-05-18 | Matsushita Electric Ind Co Ltd | 心拍変動解析方法および装置 |
US7117188B2 (en) * | 1998-05-01 | 2006-10-03 | Health Discovery Corporation | Methods of identifying patterns in biological systems and uses thereof |
US7809433B2 (en) * | 2005-08-09 | 2010-10-05 | Adidas Ag | Method and system for limiting interference in electroencephalographic signals |
IL155955A0 (en) * | 2003-05-15 | 2003-12-23 | Widemed Ltd | Adaptive prediction of changes of physiological/pathological states using processing of biomedical signal |
JP5055781B2 (ja) * | 2006-02-14 | 2012-10-24 | 株式会社日立製作所 | 会話音声分析方法、及び、会話音声分析装置 |
US8046058B2 (en) * | 2007-08-10 | 2011-10-25 | Salutron, Inc. | Heart beat signal recognition |
JP2009178456A (ja) | 2008-01-31 | 2009-08-13 | Nippon Koden Corp | 自律神経活動計測装置及び計測方法 |
US20090275853A1 (en) * | 2008-04-30 | 2009-11-05 | The General Electric Company | Method and apparatus for monitoring physiological state of a subject |
EP2323546B1 (en) * | 2008-09-15 | 2017-03-15 | Nanyang Technological University | A method for detecting heartbeat and/or respiration |
US8725311B1 (en) * | 2011-03-14 | 2014-05-13 | American Vehicular Sciences, LLC | Driver health and fatigue monitoring system and method |
JP6083441B2 (ja) | 2015-01-29 | 2017-02-22 | マツダ株式会社 | 車両用乗員感情対応制御装置 |
JP6392151B2 (ja) * | 2015-03-23 | 2018-09-19 | 国立大学法人九州工業大学 | 心拍検出装置及び生体信号処理装置 |
US10765332B2 (en) * | 2015-04-29 | 2020-09-08 | Brainlab Ag | Detection of the heartbeat in cranial accelerometer data using independent component analysis |
US10383539B2 (en) * | 2017-06-22 | 2019-08-20 | Smart Solutions Technologies, S.L. | System and methods for classifying arrhythmia-related heartbeats |
-
2018
- 2018-03-08 EP EP18775299.3A patent/EP3603514A4/en active Pending
- 2018-03-08 US US16/497,846 patent/US10803335B2/en active Active
- 2018-03-08 WO PCT/JP2018/008943 patent/WO2018180330A1/ja unknown
- 2018-03-08 JP JP2019509130A patent/JP6842214B2/ja active Active
- 2018-03-08 CN CN201880021918.0A patent/CN110520048A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014084162A1 (ja) * | 2012-11-27 | 2014-06-05 | 国立大学法人九州工業大学 | 信号雑音除去装置、その方法及びプログラム |
WO2015127193A1 (en) * | 2014-02-20 | 2015-08-27 | Faurecia Automotive Seating, Llc. | Vehicle seat with integrated sensors |
CN105796118A (zh) * | 2014-12-28 | 2016-07-27 | 天津心康科技发展有限公司 | 一种无创情绪分析方法 |
JP2016159081A (ja) * | 2015-03-05 | 2016-09-05 | 国立大学法人九州工業大学 | 生体信号検出装置、生体信号処理装置及び血圧測定システム |
CN106419936A (zh) * | 2016-09-06 | 2017-02-22 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
Non-Patent Citations (2)
Title |
---|
宁新宝: "《生物医学电子学》", 31 March 1988, 湖南科学技术出版社 * |
寿小云: "中医脉象振动觉临床识别", 《北京中医药大学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111419250A (zh) * | 2020-04-08 | 2020-07-17 | 恒爱高科(北京)科技有限公司 | 一种基于脉搏波的情绪识别方法 |
CN114089642A (zh) * | 2022-01-24 | 2022-02-25 | 慕思健康睡眠股份有限公司 | 一种智能家居系统的数据交互方法及系统 |
CN114089642B (zh) * | 2022-01-24 | 2022-04-05 | 慕思健康睡眠股份有限公司 | 一种智能家居系统的数据交互方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
EP3603514A1 (en) | 2020-02-05 |
US20200250446A1 (en) | 2020-08-06 |
EP3603514A4 (en) | 2020-11-11 |
JP6842214B2 (ja) | 2021-03-17 |
JPWO2018180330A1 (ja) | 2020-02-06 |
WO2018180330A1 (ja) | 2018-10-04 |
US10803335B2 (en) | 2020-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6721155B2 (ja) | 生体情報分析装置、システム、及び、プログラム | |
CN110520048A (zh) | 情绪估计装置 | |
CN106560155B (zh) | 用于测量生物信息的设备和方法 | |
JP6516846B2 (ja) | 睡眠監視のデバイス及び方法 | |
JP6190466B2 (ja) | 生体信号測定器及び接触状態推定方法 | |
JP2014519352A (ja) | 頭蓋内圧および追加の頭蓋内血行動態パラメータを監視するための装置および方法 | |
RU2011122787A (ru) | Способы и системы для неинвазивного измерения уровней глюкозы | |
US10470717B2 (en) | Pulse validation | |
JP2008079813A (ja) | 血管年齢測定装置、脈波測定装置、生体情報処理システム、血管年齢測定方法 | |
US7991462B2 (en) | Method and apparatus for monitoring a sedated patient | |
CN110840427A (zh) | 基于容积脉搏波信号的连续血压测量方法、装置以及设备 | |
EP3485803B1 (en) | Wearable device capable of recognizing sleep stage and recognition method thereof | |
US20190298190A1 (en) | Pulse detection, measurement and analysis based health management system, method and apparatus | |
JP2014176427A (ja) | データ解析装置、及びデータ解析プログラム | |
JP2020076923A5 (zh) | ||
KR20170054030A (ko) | 생체 신호의 특징을 추출하는 방법 및 장치 | |
Suzuki et al. | Stress and drowsiness evaluation BBased on earbud-type photoplethysmographic sensor | |
Sieciński et al. | Heart rate variability analysis on reference heart beats and detected heart beats of smartphone seismocardiograms | |
JP7327417B2 (ja) | 状態推定装置、状態推定方法、及びプログラム | |
JP2008534093A (ja) | 心血管パラメータを判定する方法、前記方法を実行するデバイスおよびコンピュータプログラム製品 | |
CN117643471A (zh) | 测量心脏参数以检测心脏病的可穿戴和便携式系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191129 |
|
WD01 | Invention patent application deemed withdrawn after publication |