CN112043252B - 基于脉搏信号中呼吸成分的情绪识别系统及方法 - Google Patents

基于脉搏信号中呼吸成分的情绪识别系统及方法 Download PDF

Info

Publication number
CN112043252B
CN112043252B CN202011077075.1A CN202011077075A CN112043252B CN 112043252 B CN112043252 B CN 112043252B CN 202011077075 A CN202011077075 A CN 202011077075A CN 112043252 B CN112043252 B CN 112043252B
Authority
CN
China
Prior art keywords
respiratory
features
signal
emotion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011077075.1A
Other languages
English (en)
Other versions
CN112043252A (zh
Inventor
杨立才
刘荣娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202011077075.1A priority Critical patent/CN112043252B/zh
Publication of CN112043252A publication Critical patent/CN112043252A/zh
Application granted granted Critical
Publication of CN112043252B publication Critical patent/CN112043252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08—Elderly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Pulmonology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于脉搏信号中呼吸成分的情绪识别系统及方法，包括：基于光电传感等简便方式获取人体脉搏信号；对获取的脉搏信号进行集合经验模态分解，对得到的本征模函数进行重构以提取呼吸信号；对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；将特征子集输入到预先训练好的随机森林分类器，输出情绪识别结果。有效提高情绪分类精度和准确率，向终端设备输出识别结果并对消极情绪进行预警，从而实现情绪的远程监测。

Description

基于脉搏信号中呼吸成分的情绪识别系统及方法
技术领域
本发明涉及信号识别技术领域，特别是涉及一种基于脉搏信号中呼吸成分的情绪识别系统及方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
情绪是指由不同感觉、思想和行为共同产生的心理及生理状态，是对多种主观认知经验的通称。当今社会经济的不断发展，使得社会竞争日益激烈，生活节奏加快，越来越多的人长期处于紧张状态，承受很大的精神压力，严重的甚至患有焦虑症、抑郁症、躁狂症等心理疾病。情绪对人体的生理健康也有一定的影响，尤其是对心肺功能的影响较大，消极的情绪会使有心肺功能的患者病情加剧。随着生活水平的提高和健康意识的增强，人们越来越重视情绪对于自身健康的影响。有效的情绪识别能够对不良的精神状态进行监测预警，同时也有助于心理疾病的早期诊断和治疗。此外，随着社会老龄化日趋严峻，“空巢”现象日渐加剧，越来越多的老年人常因年龄的增加、身体机能的下降等，社交网络逐渐缩小，获得的情感支持明显减少，从而时常会感到孤独、寂寞、无助，极易导致老年心理疾病的发生，也很容易引发慢性疾病加重，如心肌梗死、脑血管疾病或癌症等，严重影响其生活质量和身心健康。情绪的有效识别以及远程监测可以了解人们是否长期处于消极的情绪状态，以便早期干预从而减少心理疾病的发生。
在实现本发明的过程中，发明人发现现有技术存在以下问题：
目前，常用的情感信号包括面部表情、行为姿态、语音语调、文本符号以及心电、脑电、肌电等生理信号。其中，面部表情、行为姿态、语音和文本语义信息是被试者身体行为或语音语调的外在表现，表达直接，信号采集较为简单，但容易受到被试者的主观伪装，且易受主观意识和环境的干扰，情感状态的真实度和可靠性较低。
生理信号由人体内部器官产生，受内分泌系统和自主神经系统控制，不受主观意识支配，具有连续、稳定、客观等优点。研究表明，呼吸作为一种重要的生理信号，其相关特征与情绪变化密切相关。其中呼吸信号的一些特征，可以在某些情绪方面获得比脉搏等其他生理信号更好的识别效果，特别是呼吸频率比脉搏频率更能区分某些消极情绪。但是，呼吸信号较脉搏信号的采集而言较为繁琐，在临床应用中，呼吸信号的采集大多采用专业的检测装置和传感技术，或通过胸廓运动等方式获取被试者的呼吸信息。由于传统呼吸检测装置的复杂，使得直接基于呼吸信号的情绪实时监测、特别是非专业人员操作的远程监控等应用变得难以实现。
脉搏信号可以应用光电传感器等非接触手段容易的获取，从脉搏信号中提取其包含的呼吸信息，为实现基于呼吸信号的情绪实时监测和远程监控等应用提供了可能性。
发明内容
为解决上述问题，本发明提出了一种基于脉搏信号中呼吸成分的情绪识别系统及方法，首先基于光电传感等简便方式获取人体脉搏信号，然后通过集合经验模态(EnsembleEmpirical Mode Decomposition,EEMD)算法提取脉搏信号包含的人体呼吸信息并进行特征提取，利用统计学方法和随机森林对特征进行评估与筛选，对筛选的特征子集采用随机森林分类建立情绪识别模型，有效提高情绪分类精度和准确率，从而以简便易行的技术手段和先进算法实现情绪的远程监测。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于脉搏信号中呼吸成分的情绪识别系统，包括：
信号提取模块，用于对通过光电传感器获取的脉搏信号进行集合经验模态分解，对得到的本征模态函数进行重构以提取呼吸信号；
特征提取模块，用于对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行初步的特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；
识别模块，用于将特征子集输入到预先训练好的随机森林分类器，输出情绪识别分类结果；
传输及预警模块，用于将识别模块的情绪识别分类结果传输至接收端并实现情绪预警。
第二方面，本发明提供一种基于脉搏信号中呼吸成分的情绪识别方法，包括：
对获取的脉搏信号进行集合经验模态分解，对得到的本征模态函数进行重构以提取呼吸信号；
对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；
将特征子集输入到预先训练好的随机森林分类器，输出情绪识别分类结果。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第二方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第二方面所述的方法。
第五方面，本发明提供一种情绪监控手环，包括第一方面所述的系统和/或实现第二方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明创新性地将从脉搏信号提取的呼吸成分应用于情绪识别，以简便易行的技术手段和先进算法实现基于呼吸信号的远程情绪识别，不仅能够了解测试者的情绪变化及预警，且脉搏信号的采集具有便捷、无创、精准和连续的特点。基于脉搏信号提取呼吸信息并在远程监控中客观有效的监测消极情绪、及时给出干预并示警，对于日趋老龄化社会的社区及家庭养老等公共卫生事业，无疑具有重要的临床价值和社会意义。
本发明从脉搏信号中提取出呼吸成分，提取的呼吸信号经过情绪识别处理后，可实现准确实时地对消极情绪的识别及预警。
本发明通过采集不同情绪状态下的脉搏信号，对脉搏信号进行预处理后提取其包含的呼吸成分，对提取的呼吸信号进行特征提取，利用统计学方法和随机森林对原始特征集进行评估与筛选，采用随机森林算法构建情绪识别模型，通过十折交叉检验和网格寻优算法优化参数，建立基于最优特征子集和最优参数的情绪识别模型，实现情绪的准确识别。该方法为有效提高情绪分类精度和准确率，实现情绪的远程监测，特别是远程实时监测居家老人情绪提供了切实可行的技术手段。
附图说明
构成本发明的一部分说明书附图用来提供对本发明的进一步理解。本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于脉搏信号中呼吸成分的情绪识别系统所实现的识别方法流程图；
图2(a)-(l)为本发明实施例1提供的使用集合经验模态方法从脉搏信号提取呼吸信号分解的时域示意图；
图3(a)-(l)为本发明实施例1提供的使用EEMD方法从脉搏信号提取呼吸信号分解的频域示意图；
图4(a)-(b)为本发明实施例1提供的使用EEMD方法从脉搏信号提取呼吸信号分解的对比图；
图5为本发明实施例1提供的特征筛选示意图；
图6为本发明实施例1提供的随机森林算法情绪识别模型建立流程图。
具体实施方式：
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
本实施例提供一种基于脉搏信号中呼吸成分的情绪识别系统，该系统所实现的情绪识别流程如图1所示，包括：
信号提取模块，用于对脉搏信号进行集合经验模态分解后，对得到的本征模函数(Intrinsic Mode Function,IMF)进行重构以提取呼吸信号；
特征提取模块，用于对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行初步的特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；
识别模块，用于将特征子集输入到预先训练的随机森林分类器中，输出情绪识别分类结果。
优选地，本实施例中该系统还包括结果传输及预警模块，将识别模块的识别分类结果传输至接收端并实现情绪预警；
优选地，若识别结果为消极情绪，则通过报警机制以及通过蓝牙等无线方式将其传输到接收端，所述接收端包含智能手机、电脑等终端。
在本实施例中，对获取的不同情感状态下的脉搏信号进行预处理，所述预处理包括剔除无效数据和重采样；
在本实施例中，原始信号采样率为1000Hz，对信号重采样以降低运算量从而提高运算速度，重采样频率设置为125Hz。
所述信号提取模块中，对预处理后的脉搏信号采用EEMD提取呼吸信号，具体包括：
S1-1：设置总的平均次数为M，高斯白噪声的均值为0，标准差为k，初始化m＝1；
S1-2：第m次加入高斯白噪声的信号进行经验模态(Empirical ModeDecomposition,EMD)分解；
S1-2.1：设输入信号为x(t)，待添加的随机白噪声为nm(t)，得到待分解信号为xm(t)：xm(t)＝x(t)+nm(t)；
S1-2.2：识别xm(t)中的极大值点与极小值点；
S1-2.3：利用3次样条插值法构造原始信号的极大值点包络函数fmax(t)和极小值点包络函数fmin(t)；
S1-2.4：计算包络函数的均值函数：fmean(t)＝(fmax(t)+fmin(t))/2；
S1-2.5：计算原始信号与均值函数的差值函数：e(t)＝xm(t)-fmin(t)；
S1-2.6：判定e(t)是否满足IMF函数条件：
如果满足，则c1(t)＝e(t)；如果不满足，则令x(t)＝e(t)，返回步骤S1-1，直至得到的差值函数满足IMF的条件，由此得到原始序列xm(t)最高频率部分的IMF分量；
S1-2.7：计算剩余信号r1(t)＝xm(t)-c1(t)，将剩余信号作为新的信号继续步骤S1-2.5-S1-2.7，得到第二个IMF分量c2(t)，直至剩余信号的极值点数小于2，得到
Figure BDA0002717260170000081
S1-3：经EMD分解信号xm(t)后得到ci,m。ci,m表示第m次EMD分解得到的第i个IMF分量；
S1-4：对M次分解得到的IMF求平均：
Figure BDA0002717260170000082
其中，ci为EEMD分解得到的第i个IMF；平均次数M和随机白噪声的标准差k为EEMD的两个重要参数；
平均次数M与消除白噪声的效果有关，具体公式如下：
Figure BDA0002717260170000091
其中，εM表示最终误差的标准差，添加的白噪声的标准差为原始信号标准差的0.2倍。
S1-5：如图2(a)-(l)和图3(a)-(l)所示中考虑到呼吸信号的频率和IMF的频率，IMF8与原始呼吸信号高度相关，因此IMF8被重构为所提取的呼吸信号，呼吸信号的对比图如图4(a)-(b)所示。
所述特征提取模块中，对呼吸信号进行特征提取，包括时间序列特征的时域、频域特征，时间序列的非线性(熵)特征，具体步骤包括：
S2-1：识别呼吸信号时间序列特征点。本实施例采用自适应差分阈值法，计算原始信号的一阶导数，并采用窗口化的方式识别过零点，以识别波峰位置。
具体步骤如下：
S2-1.1：对归一化后的呼吸信号进行一阶差分处理，根据呼吸信号峰值点特征得到：峰值点左侧为上升支，所以峰值点之前的一阶差分应为正值；峰值点右侧为下降支，所以峰值点之后的一阶差分应为负值；
S2-1.2：设归一化呼吸信号为X＝{x1,x2,…,xi,…,xN}，则一阶导数Y＝{y1,y2,…,yi,…,yN-1}，其中yi＝xi+1-xi，i＝1,2,…,N-1；查找一阶导数中的过零点，如果yi>0且yi+1<0，那么i就是过零点；
S2-1.3：选取过零点前的两个点yi-1和yi-2，并判断其中是否存在大于阈值t1的点，如果存在，则PreFlag＝1，否则PreFlag＝0；
S2-1.4：选取过零点后的两个点yi+1和yi+2，判断其是否存在小于阈值t2的点，如果存在，则PostFlag＝1，否则PostFlag＝0；
S2-1.5：如果满足PreFlag＝1且PostFlag＝1，那么i+1就是脉搏信号的峰值点位置，xi+1为脉搏信号的峰值。
阈值是峰值点检测的关键，本实施例选取时间长度为13.5s的实验数据，将其等分成3段，保证每一段都包含一个呼吸峰值点，寻找每段中最大的差分值，求其平均值，由此确定初始阈值；
根据初始阈值检测出前3个呼吸峰值点后，根据这3个峰值点更新最大差分平均值，重新计算阈值，即：t＝0.15*average；t＝-0.05*average；
对呼吸峰值点的漏检和多检处理；根据正常呼吸速率在每分钟20次左右，判定相邻峰值点的间隔如果超出2.25～4.5s，则出现多检或漏检；
当时间间隔小于2.25s时，则出现了多检，针对多检，本实施例选择保留相邻峰值点中幅度较大的点；
当时间间隔大于4.5s时，则出现了漏检，针对漏检，本实施例选取前一峰值点后2.25s至后一峰值点前4.5s之间的数据，寻找幅度最大的点作为漏检的峰值点；
将相邻两峰值点之间的最小值作为波谷值，从而确定呼吸信号的波峰和波谷。
S2-2：提取呼吸信号的时域特征：基于波峰和波谷点，将相邻波峰之间的时间序列作为呼吸信号的一个周期，计算呼吸信号周期的均值、均方根、标准差、波形因子以及提取整个呼吸信号的波峰、均值、均方根、标准差、最大值与均值的比值、波形因子、以及偏度值(skewness)和峰度值(kurtosis)。
其中，偏度值和峰度值的计算公式如下：
Figure BDA0002717260170000111
Figure BDA0002717260170000112
式中，σ为呼吸信号的标准差，
Figure BDA0002717260170000113
为呼吸信号的均值；偏度值表示信号的中心对称程度，峰度值描述信号分布形态的陡缓程度。
S2-3：提取呼吸信号的频域特征，采用pwelch方法对呼吸信号进行频率谱估计：
pwelch方法是一种修正周期图功率谱密度估计方法，通过选取的窗口对数据进行加窗处理，先分段求功率谱之后再进行平均；
其中，窗函数的长度为信号长度的1/5，重叠长度为窗函数长度的一半，当窗函数的长度大于256时，FFT长度取值为小于窗函数长度的最大的2整数次幂；当窗函数长度小于256时，FFT长度取值为256；
基于所获得的功率谱，计算频率在0.16～0.6Hz范围内，最大功率值所对应的频率即可认为是呼吸频率；
根据频率将呼吸信号的功率谱划分为0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz、0.4～0.6Hz五个频段，计算各个频段内功率之和作为呼吸信号用于情感分类的特征。
S2-4：提取呼吸信号的非线性熵特征，包括近似熵和模糊熵；
近似熵(ApEn)是一种用于量化时间序列波动的规律性和不可预测性的非线性动力学参数，采用非负数表示时间序列的复杂性，反映时间序列中新信息发生的可能性，越复杂的时间序列对应的近似熵值越大。
呼吸信号是非平稳的时间序列信号，不同情绪下的呼吸信号时间序列的复杂度不同，因此可以使用近似熵作为特征，近似熵具体计算方法如下：
对N维时间序列：u(1),u(2),…,u(N)，定义整数m表示比较向量的长度，实数r表示相似度的度量值，重构m维向量X(1),X(2),…,X(N-m+1)，其中，
X(i)＝[u(i),u(i+1),...,u(i+m-1)]
X(j)＝[u(j),u(j+1),...,u(j+m-1)]
计算X(i)和X(j)之间的距离，由对应元素的最大差值决定：
d[X,X*]＝max|U(a)-u*(a)|
统计所有d[X,X*]≤r的数量g，则g/(N-M)是第i次取值所对应的相似概率；计算所有相似概率对数的平均值，即熵值Φm(r)定义为：
Figure BDA0002717260170000121
则近似熵ApEn为：ApEn＝φm+1(r)。
模糊熵(FuzzyEn)是在熵的基础上引入模糊的概念，反映时间序列的复杂度，其具体计算如下：
对于时间序列X(i)，i＝1,2,…n,以m为窗，将时间序列分为k＝n-m+1个序列，即：
Xi(t)＝(xi(t),xi+1(t),…xi+m-1(t))
计算每个时间序列与所有K个时间序列之间的距离，即：
dij＝max|xi+k(t)-xj+k(t)|,k＝1,2,3,…,m-1
根据距离计算d的模糊隶属度：
Figure BDA0002717260170000131
对除自身以外的所有隶属度求平均：
Figure BDA0002717260170000132
将m窗增加为m+1，根据φm+1计算模糊熵：FuzzyEn(t)＝lnφm(t)-lnφm+1(t)。
所述特征提取模块中，将特征数据按列归一化，随机打乱后，利用十折交叉检验方式将数据分为训练集和测试集，将归一化的测试集进行显著性差异分析进行特征初步筛选，基于随机森林的Gini指数的特征重要性评估，筛选出具有分辨能力的特征以及对应的归一化权重，构建特征子集，如图5所示。
其中，对提取不同情感状态下的特征采用显著性差异分析进行特征筛选包括：
使用统计学方法对特征进行显著性差异分析，采用Shapiro-Wilk统计检验，检测呼吸信号特征的正态分布特性。Shapiro-Wilk检验是一种基于相关性的检验，通过构建一个W统计量，来判断是否符合正态分布；
采用Levene检验判断两组样本的方差齐平性，若特征符合正态分布且具有方差齐次性，则使用参数检验方法，本实施例采用的是t-检验；不符合，则使用非参数检验分析不同情感状态下特征之间的差异性。
Kruskal-Wallis(K-W)检验是一种非参数检验，该方法以变量值的秩为研究对象，根据各样本的平均秩来推断两样本来自的总体分布是都具有显著相关性。
差异性分析可检测特征序列中是否含有情感变化的信息，差异性检测的显著性水平大于0.05意味着特征序列的分布在不同情感状态之间不具有统计性差异。因此，利用差异性检验的显著性水平作为特征筛选的依据，显著性水平在0.05以上的特征将被剔除。
所述特征提取模块中，对初步筛选后的特征采用随机森林Gini指数分配权重后构建特征子集具体包括：
Gini指数是数据分类或数据训练集不纯度的度量，表示的是一个随机选中的样本在子集中被分错的可能性。在随机森林的Gini指数特征评估方法中，随机森林中Gini指数表示节点的纯度，Gini指数越大纯度越低，当特征数据发生轻微扰动时，所有树的变量分割节点平均减小的不纯度，即Gini值平均降低量作为特征重要性的评价标准，可以定量的刻画特征的重要性程度，有效地筛选出具有较高情感状态分辨能力的特征。
具体步骤为：
(1)使用Bootstrap采样方法构造数据集，建立包括m棵决策树的随机森林；
(2)对每一棵决策树进行特征采样，计算当前Gini指数；随后进行全分裂过程并计算节点的Gini指数，将其大小作为特征相关性程度；
(3)计算特征在m棵树上的平均Gini指数值，记为Gini1；
(4)随机对数据集中所用样本的特征x加入干扰噪声，其他特征保证不变，进行(2)-(3)，计算此时的平均Gini指数值，记为Gini2；
(5)特征x的重要性即为：Gini2-Gini1。
通过对特征加入随机干扰，利用Gini指数的平均变化量作为特征的重要性权重，计算特征重要性，利用序列向后选择算法按照重要性大小逐步加入特征，计算分类精度，利用统计检验方法确定合理的重要性截断阈值；
基于随机森林分类精度的特征重要性阈值寻优具体步骤如下：
(1)利用随机森林的Gini指数计算出各特征的重要性，按重要性大小对特征进行逆向排序；
(2)按照重要性大小，依次加入一个特征到60个样本的特征集中；
(3)利用随机采样技术按5:1的比例将样本分为训练集和测试集，利用训练集构建特征集的随机森林的模型；
(4)计算测试集在训练好随机森林模型上的分类精度；
(5)依次向后，再次加入一个特征进入样本特征集，重复步骤2-3，直到特征已经遍历；
(6)重复以上步骤100次，构建情感预测准确度序列；
(7)利用统计检验技术，比较相连两个情感预测精度序列的均值差异，选择具有较高预测精度，同时与上一序列的均值没有显著性差异，且特征维度较低的准确度序列对应的特征值权重，作为截断阈值。
所述识别模块中，如图6所示，预先训练的随机森林分类器具体训练过程包括：
S3-1：构建随机森林分类器，构建训练集；
S3-2：利用训练集对随机森林分类器进行训练，得到训练好的随机森林分类器；
S3-3：训练过程中，在训练集上采用十折交叉检验和网格寻优算法确定随机森林的决策树个数以及决策树的分裂属性数。
所述识别模块中，将得到的特征子集输入至随机森林分类器中，得到得分最高的标签类型即为此时数据表达的情绪；数据标签包括中性情绪、积极情绪和消极情绪；或中性、恐惧、悲伤、高兴、愤怒和厌恶六种情绪。实现情绪的远程监测，有效提高情绪识别分类精度和准确率，为远程实时监测居家老人消极情绪提供手段。
实施例2
本实施例提供一种基于脉搏信号中呼吸成分的情绪识别方法，包括：
S1：对获取的脉搏信号进行集合经验模态分解，然后对得到的本征模态函数进行重构以提取呼吸信号；
S2：对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；
S3：将特征子集输入到预先训练好的随机森林分类器中，输出情绪识别分类结果。
此处需要说明的是，上述步骤S1至S3对应于实施例1中各个模块，实施例1的模块与实施例2对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例2中所述的方法。
实施例2中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在更多实施例中，还提供：
一种情绪监控手环，实现实施例2所述的方法和/或包括实施例1所述的系统。
一种情绪监控系统，包括情绪监控手环和其通信的监控后台；至少一个情绪监控手环接入监控后台，将实时采集的脉搏数据和情绪检测结果发送至监控平台统一管理。
可以理解的，以上实施例可应用于老人的远程情绪监测，情绪监控手环佩戴方便，且脉搏信号采集便捷，有助于远程监测老人情绪；本发明创新性地从易于获取的脉搏信号中提取呼吸信号并应用于情绪识别，且能够精准、及时的识别消极情绪，有利于对老人心理健康的监控，了解老人情绪变化，并及时给出心理引导。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，包括：
信号提取模块，用于对通过光电传感器获取的脉搏信号进行集合经验模态分解，对得到的本征模态函数进行重构以提取呼吸信号；
特征提取模块，用于对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；所述的对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集，具体为：通过对特征加入随机干扰，利用Gini指数的平均变化量作为特征的重要性权重，计算特征重要性，利用序列向后选择算法按照重要性大小逐步加入特征，计算分类精度，利用统计检验方法确定合理的重要性截断阈值；
识别模块，用于将特征子集输入到预先训练好的随机森林分类器，输出情绪识别分类结果；所述的预先训练好的随机森林分类器，通过十折交叉检验和网格寻优算法和基于随机森林分类精度的特征重要性阈值进行参数寻优得到最优参数，基于最优参数和筛选后的特征子集构建用于输出情绪识别分类结果的随机森林分类器；
传输及预警模块，用于将识别模块的情绪识别分类结果传输至接收端并实现情绪预警。
2.如权利要求1所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，所述集合经验模态分解包括：
在脉搏信号中第m次加入高斯白噪声信号，经EMD分解得到第m次分解的第i个IMF分量；
计算总分解次数M次的IMF平均值，根据IMF频率与呼吸频率的相关度，选取相关度最高的IMF分量进行重构作为呼吸信号。
3.如权利要求2所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，第m次加入高斯白噪声信号进行EMD分解包括：
识别加入高斯白噪声信号的待分解脉搏信号的极大值点与极小值点；
利用样条插值法构造极大值点包络函数和极小值点包络函数；
计算包络函数的均值函数，以及原始脉搏信号与均值函数的差值函数；
判断差值函数是否满足IMF条件，若满足，差值函数为第一个IMF分量；若不满足，令更新原始脉搏信号，直至得到的差值函数满足IMF条件，得到待分解脉搏信号最高频率部分的IMF分量；
计算剩余信号的第二个IMF分量，直至剩余信号的极值点数小于2，完成分解。
4.如权利要求1所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，基于波峰和波谷点，将相邻波峰间的时间序列作为呼吸信号的周期，提取呼吸信号的时域特征，所述时域特征包括：呼吸信号周期的均值、均方根、标准差、波形因子以及整个呼吸信号的波峰、均值、均方根、标准差、最大值与均值的比值、波形因子、偏度值和峰度值；
或，采用pwelch方法提取呼吸信号不同频段的功率谱；
或，所述熵特征包括近似熵和模糊熵。
5.如权利要求1所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，采用显著性差异进行特征筛选包括：采用统计学检验特征的显著性差异，删除显著性水平高于阈值的特征。
6.如权利要求1所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，利用随机森林Gini指数计算特征的重要性，并逆向排序，筛选具有分辨能力的特征以及对应的归一化权重，构建特征子集。
7.一种基于脉搏信号中呼吸成分的情绪识别方法，采用如权利要求1-6所述的基于脉搏信号中呼吸成分的情绪识别系统，其特征在于，包括：
对获取的脉搏信号进行集合经验模态分解，对得到的本征模态函数进行重构以提取呼吸信号；
对呼吸信号提取的时域特征、频域特征以及熵特征采用显著性差异进行特征筛选，对筛选后的特征采用随机森林Gini指数分配权重后构建特征子集；具体为：通过对特征加入随机干扰，利用Gini指数的平均变化量作为特征的重要性权重，计算特征重要性，利用序列向后选择算法按照重要性大小逐步加入特征，计算分类精度，利用统计检验方法确定合理的重要性截断阈值；
通过十折交叉检验和网格寻优算法和基于随机森林分类精度的特征重要性阈值进行参数寻优得到最优参数，基于最优参数和筛选后的特征子集构建用于输出情绪识别分类结果的随机森林分类器；
将特征子集输入到预先训练好的随机森林分类器，输出情绪识别分类结果。
8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求7所述的方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求7所述的方法。
10.一种情绪监控手环，其特征在于，包括权利要求1-6任一项所述的系统和/或实现权利要求7所述的方法。
CN202011077075.1A 2020-10-10 2020-10-10 基于脉搏信号中呼吸成分的情绪识别系统及方法 Active CN112043252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077075.1A CN112043252B (zh) 2020-10-10 2020-10-10 基于脉搏信号中呼吸成分的情绪识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077075.1A CN112043252B (zh) 2020-10-10 2020-10-10 基于脉搏信号中呼吸成分的情绪识别系统及方法

Publications (2)

Publication Number Publication Date
CN112043252A CN112043252A (zh) 2020-12-08
CN112043252B true CN112043252B (zh) 2021-09-28

Family

ID=73605653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077075.1A Active CN112043252B (zh) 2020-10-10 2020-10-10 基于脉搏信号中呼吸成分的情绪识别系统及方法

Country Status (1)

Country Link
CN (1) CN112043252B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113303796B (zh) * 2021-04-22 2022-06-21 华中科技大学同济医学院附属协和医院 一种肿瘤患者心理自动测试仪及其测试方法
CN113413135B (zh) * 2021-05-12 2024-03-29 广东省科学院健康医学研究所 一种基于脉搏采集分析的方法、系统、装置及存储介质
CN113397546B (zh) * 2021-06-24 2022-06-21 福州大学 基于机器学习和生理信号的情绪识别模型构建方法及系统
CN114334090B (zh) * 2022-03-02 2022-07-12 博奥生物集团有限公司 一种数据分析方法、装置及电子设备
CN117204859B (zh) * 2023-11-09 2024-02-13 博睿康医疗科技(上海)有限公司 带有共模噪声通道的干电极脑电系统、信号的主动降噪方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104921715A (zh) * 2015-06-09 2015-09-23 上海华旌科技有限公司 一种多参数生命体征测量装置
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
KR20180119913A (ko) * 2017-04-26 2018-11-05 클라트 주식회사 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
CN109498022A (zh) * 2018-12-29 2019-03-22 西安理工大学 一种基于光电容积脉搏波的呼吸频率提取方法
CN109993093A (zh) * 2019-03-25 2019-07-09 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN110991428A (zh) * 2019-12-30 2020-04-10 山东大学 基于多尺度熵的呼吸信号情绪识别方法及系统
CN111209445A (zh) * 2018-11-21 2020-05-29 中国电信股份有限公司 识别终端用户情绪的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6124239B2 (ja) * 2012-08-07 2017-05-10 国立研究開発法人科学技術振興機構 情動認識装置、情動認識方法、及び情動認識プログラム
US10102480B2 (en) * 2014-06-30 2018-10-16 Amazon Technologies, Inc. Machine learning service
CN108216254B (zh) * 2018-01-10 2020-03-10 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN108309328A (zh) * 2018-01-31 2018-07-24 南京邮电大学 一种基于自适应模糊支持向量机的情绪识别方法
CN108464839A (zh) * 2018-03-22 2018-08-31 东华大学 一种基于机器学习的车载疲劳驾驶监测预警系统
CN110020636B (zh) * 2019-02-28 2022-10-04 郑州大学 一种基于异常特征值的室性早搏智能分析方法
CN110123266B (zh) * 2019-05-05 2021-06-15 北京航空航天大学 一种基于多模态生理信息的机动决策建模方法
CN110390358A (zh) * 2019-07-23 2019-10-29 杨勇 一种基于特征聚类的深度学习方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104921715A (zh) * 2015-06-09 2015-09-23 上海华旌科技有限公司 一种多参数生命体征测量装置
CN107007291A (zh) * 2017-04-05 2017-08-04 天津大学 基于多生理参数的紧张情绪强度识别系统及信息处理方法
KR20180119913A (ko) * 2017-04-26 2018-11-05 클라트 주식회사 생체정보를 이용한 감성 검출 장치 및 감성 검출 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN111209445A (zh) * 2018-11-21 2020-05-29 中国电信股份有限公司 识别终端用户情绪的方法和装置
CN109498022A (zh) * 2018-12-29 2019-03-22 西安理工大学 一种基于光电容积脉搏波的呼吸频率提取方法
CN109993093A (zh) * 2019-03-25 2019-07-09 山东大学 基于面部和呼吸特征的路怒监测方法、系统、设备及介质
CN110991428A (zh) * 2019-12-30 2020-04-10 山东大学 基于多尺度熵的呼吸信号情绪识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光电容积脉搏波的呼吸波提取;邹滋润;《中国生物医学工程学报》;20130831;第508-512页 *

Also Published As

Publication number Publication date
CN112043252A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112043252B (zh) 基于脉搏信号中呼吸成分的情绪识别系统及方法
Çınar et al. Classification of normal sinus rhythm, abnormal arrhythmia and congestive heart failure ECG signals using LSTM and hybrid CNN-SVM deep neural networks
Machado et al. Human activity data discovery from triaxial accelerometer sensor: Non-supervised learning sensitivity to feature extraction parametrization
Özerdem et al. Emotion recognition based on EEG features in movie clips with channel selection
CN111292853B (zh) 基于多参数的心血管疾病风险预测网络模型及其构建方法
CN113729707A (zh) 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法
Yuan et al. Wave2vec: Learning deep representations for biosignals
CN112641451B (zh) 基于单通道脑电信号多尺度残差网络睡眠分期方法及系统
TW201521676A (zh) 一種使用類神經網路產生判斷麻醉意識清醒程度指標的方法
Kalaivani et al. Prediction of biomedical signals using deep learning techniques
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
Baghizadeh et al. A new emotion detection algorithm using extracted features of the different time-series generated from ST intervals Poincaré map
CN112185493A (zh) 人格偏好诊断装置及基于该装置的项目推荐系统
Ma et al. EEG signal and feature interaction modeling-based eye behavior prediction research
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
Tago et al. Classification of TCM pulse diagnoses based on pulse and periodic features from personal health data
Yu et al. Semi-supervised learning and data augmentation in wearable-based momentary stress detection in the wild
CN113069117A (zh) 一种基于时间卷积神经网络的脑电情绪识别方法及系统
Gao et al. Real time ECG characteristic point detection with randomly selected signal pair difference (RSSPD) feature and random forest classifier
Byeon et al. Ensemble deep learning models for ECG-based biometrics
Qatmh et al. Sleep apnea detection based on ECG signals using discrete wavelet transform and artificial neural network
CN111798980A (zh) 基于深度学习网络的复杂医学生物信号处理方法和装置
Duan et al. Epileptic seizure prediction based on convolutional recurrent neural network with multi-timescale
Bozkurt et al. Development of hybrid artificial intelligence based automatic sleep/awake detection
CN115137374A (zh) 面向睡眠分期的脑电可解释性分析方法以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant