CN107007291A - 基于多生理参数的紧张情绪强度识别系统及信息处理方法 - Google Patents

基于多生理参数的紧张情绪强度识别系统及信息处理方法 Download PDF

Info

Publication number
CN107007291A
CN107007291A CN201710218032.2A CN201710218032A CN107007291A CN 107007291 A CN107007291 A CN 107007291A CN 201710218032 A CN201710218032 A CN 201710218032A CN 107007291 A CN107007291 A CN 107007291A
Authority
CN
China
Prior art keywords
intense strain
physiological
signal
user
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710218032.2A
Other languages
English (en)
Inventor
周鹏
魏晋文
孙畅
刘爽
崔欢欢
孙士松
王学民
许敏鹏
綦宏志
明东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710218032.2A priority Critical patent/CN107007291A/zh
Publication of CN107007291A publication Critical patent/CN107007291A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Nursing (AREA)
  • Pulmonology (AREA)
  • Cardiology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明属于情绪识别领域，尤其涉及基于多生理参数的紧张情绪强度识别系统及信息处理方法，包括离线训练和在线监测，所述离线训练包括诱发用户的紧张情绪、采集用户多生理信号和信号处理，信号处理包括预处理、特征提取和模式识别；预处理包括对脑电信号利用自适应滤波器抑制工频干扰、对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信息处理工具包截取有效数据。本发明有益效果：采集反映人体神经系统信息的中枢神经信号和自主神经信号，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号,可以实时检测用户的紧张情绪强度。

Description

基于多生理参数的紧张情绪强度识别系统及信息处理方法
技术领域
本发明属于情绪识别领域，尤其涉及于应用在特殊工作人群的基于多生理参数的紧张情绪强度识别系统及信息处理方法。
背景技术
情绪识别是心理学和工程学等领域的研究热点，在人机交互、远程教育等方面具有广阔的应用前景，例如对某些特殊工作人群进行情绪检测与识别，有利于及时避免特殊工作人群的精神状态恶化；在人机交互过程中，对用户情绪状态的识别可有效地提升用户体验；在远程教育领域，实时的情绪识别有助于用户学习效果的提高等。目前，情绪识别的方法主要有两种：基于非生理信号(包括面部表情、语音或身体姿态等)的识别和基于生理信号(包括心电、脑电、呼吸和皮电等)的识别。
虽然情绪识别作为多个领域的研究热点取得了许多成果，但是目前情绪识别的研究主要集中在对情绪类型的识别，例如对高兴、恐惧、悲伤等进行识别，很少有对单一情绪类型，特别是对紧张情绪的不同强度进行识别。
在现实生活中，紧张情绪扮演着重要的角色，几乎每个人都有考试、面试、演讲过程中出现紧张情绪的经历，生活经验告诉我们，适度的紧张情绪可以集中注意力，提高任务的完成绩效，过度的紧张不仅会带来心跳急剧加速，手心冒汗等生理上的不良反应，更会影响任务的完成和目标的实现。在航天领域，航天员在执行在轨任务时，由于心理压力过大经常会出现不同强度的紧张情绪，一旦自我调节不当，极易出现任务完成失败的结果，给人力物力成本巨大的航天事业带来巨大损失。所以，针对不同强度紧张情绪的识别至关重要，极具应用价值。
发明内容
本发明对紧张情绪的强度进行识别，为民生和航天等领域在紧张情绪强度识别方面提供技术支持，本发明提供一种基于多生理参数的紧张情绪强度识别系统及信息处理方法，该方法识别率高，可有效提高航天员等特殊工作者的任务绩效。
为了实现上述目的，本发明采用如下方案：
基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接；
所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。
基于多生理参数的紧张情绪强度信息处理方法，其特征在于，包括离线训练和在线监测；
其中，所述离线训练包括以下步骤：
步骤一:诱发用户的紧张情绪，诱发方式采用视频材料；
步骤二:采集用户多生理信号；
步骤三:信号处理，包括预处理、特征提取和模式识别；
所述在线监测包括以下步骤：
步骤1：在线实时采集用户多生理信号，多生理信号与离线训练部分相同；
步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器；
步骤3：预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1；
步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。
进一步地，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。
进一步地，所述步骤三中所述预处理包括：
(a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据；
(b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取有效数据。
进一步地，步骤C中所述特征提取包括：
(c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱；
(d)对于心电信号，利用变换分析方法或者QR S波检测方法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征；
(e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值；
(f)对于呼吸信号，提取多个时域特征以及多个频域特征。
进一步地，步骤三中所述模式识别具体包括：
(g)对多生理信号提取的特征优化选择后融合，特征优化采用基于支持向量机(SVM)的递归特征筛选算法；
(h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。
进一步地，所述信号处理工具包EEGLAB工具包
进一步地，所述变换分析方法采用小波变换。
进一步地，所述QRS波检测方法采用Pan-Tompkins算法。
进一步地，所述提取多个时域特征以及多个频域特征具体指提取和这2个时域特征以及0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频域特征。
进一步地，所述递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。
本发明的有益效果：采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用于分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。
附图说明
图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。
图2是本发明的基于多生理参数的紧张情绪强度信息处理方法的流程图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，参考在附图中示出并在以下描述中详述的非限制性示例实施例，更加全面地说明本公开的示例实施例和它们的多种特征及有利细节。应注意的是，图中示出的特征不是必须按照比例绘制。本申请省略了已知材料、组件和工艺技术的描述，从而不使本申请的示例实施例模糊。所给出的示例仅旨在有利于理解本公开示例实施例的实施，以及进一步使本领域技术人员能够实施示例实施例。因而，这些示例不应被理解为对本申请的实施例的范围的限制。
图1为本发明的基于多生理参数的紧张情绪强度识别系统的框图。基于多生理参数的紧张情绪强度识别系统，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，基本情绪诱发装置、用户多生理信号采集装置和信号处理装置依次连接；
基本情绪诱发装置上设置有诱发视频材料，用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，信号处理装置，包括预处理模块、特征提取模块和模式识别模块，预处理模块、特征提取模块和模式识别模块依次连接，系统采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。
图2是本发明的基于多生理参数的紧张情绪强度信息处理方法的流程图。基于多生理参数的紧张情绪强度信息处理方法，包括离线训练和在线监测；
其中离线训练包括以下步骤
(1)诱发用户的紧张情绪。
为了建立跨人或针对个体的紧张情绪强度识别分类器，需要首先诱发用户的紧张情绪。
利用视频诱发用户的紧张情绪，观看完视频后用户填写量表。其中，视频选用惊悚片或灾难片，量表内容包括情绪类型和强度选项，表1离线训练部分诱发用户紧张情绪时采用的量表。需要注意的是，第一次需要在用户观看视频的同时采集离线生理数据(步骤2)用来训练分类器，训练好分类器后则不需要此步骤。
表1离线训练部分诱发用户紧张情绪时采用的量表
(2)采集用户的多生理信号。
利用非侵入式干电极技术进行脑电、脑血氧、心电和皮电信号的采集，利用力学传感器采集呼吸信号。脑电信号的采集装置外形类似只有骨架的帽子，骨架采用弹性材料制成，骨架上安置电极采集头皮上的脑电信号。心电和皮电信号均使用常用的医用电极进行采集。呼吸信号通过缠绕在用户胸部的绷带连接在力学传感器上获得。多生理信号不限于上述信号，可根据实际需要采集其他信号，如大脑近红外光谱、心率变异性、肌电、桡动脉中医脉象信号、光电脉搏波等。
(3)信号处理，包括预处理、特征提取和模式识别。
将采集的多生理信号通过A/D转换成数字信号后进行处理。
预处理具体包括如下步骤：
(a)对于脑电信号采用自适应滤波器抑制信号中夹杂的工频干扰等噪声信号，采用独立分量分析(Independent Component Analysis，ICA)滤除眼电、肌电等干扰信号；通过放大器将采集的脑电信号进行放大后，利用EEGLAB工具包对依据量表划分的有效数据进行截取。
(b)对于心电、呼吸和皮电信号利用放大器进行放大后，采用带通滤波器滤除信号中混杂的工频干扰等噪声，利用EEGLAB工具包对依据量表划分的有效数据进行截取。
特征提取具体包括：
(c)对于脑电信号，采用功率谱估计Welch算法计算脑电功率谱。Welch算法采用数据分段加窗处理后求平均的方法，先分别求每段谱估计，再进行总平均[26]。由概率统计原理，如果将原长度是N的数据分为L段，每段长度是M＝N/L，各段数据相互独立，那么估计的方差只有原来不分段时候的1/L，其算法可用式1表述:
特征提取具体过程是对预处理后的脑电信号分成若干时段求其功率谱，然后将情绪识别中常用的6个频段，1-4Hz(delta)、4-8Hz(theta)、8-13Hz(alpha)、13-30Hz(beta)、30-36Hz(gamma1)、36-44Hz(gamma2)内的功率谱值求和，得到频段能量特征。
(d)对于心电信号，利用小波变换或者Pan-Tompkins算法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征。
时域特征包括平均值、标准差(SDNN)、连续相邻正常窦性心动周期值的均方根(RMSSD)、相邻的RR间期之差大于50ms的心搏数NN50、NN50除以总的RR间期个数PNN50、一阶差分绝对值的平均值,以及一个样本中R波的个数。如下是其中一些特征的计算公式：
1)平均值计算式2如下：
其中，N为心搏总数，RRi是第i个RR间期。
2)正常窦性RR间期的标准差SDNN，计算式3如下：
其中，N为心搏总数，RRi是第i个RR间期。是N个心搏的RR间期的平均值。标准差越大，则HRV越高，反之相反。
3)连续相邻正常窦性心动周期值的均方根RMSSD，计算式4如下：
4)相邻的RR间期之差大于50ms的心搏数NN50：全部RR间期中，相邻的RR问期之差大于50ms的心搏数，单位“个”；
5)NN50除以总的RR间期个数PNN50：NN50除以总的RR间期个数，乘以100，单位％。
的频域特征包括；超低频带(ULF,<0.0033Hz),极低频带(VLF,0.0033-0.044Hz),低频带(LF,0.04-0.15Hz),高频带(HF,0.15--0.40Hz)。
(e)对于皮电信号，提取时域特征，它们分别是：
1)均值：
2)标准差：
3)一阶差分：
ldn＝Xn+1-Xn (3-11)
4)一阶差分绝对值的平均值：
5)二阶差分：
2dn＝Xn+2-Xn (3-13)
二阶差分绝对值的平均值：
(f)对于呼吸信号，首先计算出预处理后呼吸信号的平均值：
其中，R表示采集的样本点，N表示样本点数。
然后，每个样本点减去这个均值，得到
r＝R-μ (3-6)
于是，特征1为：
特征2为：
此外，运用经典谱估计Welch法得到4个频域能量，它们分别为0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频段。
模式识别部分具体包括：
对多生理信号提取的特征优化选择后融合，然后根据最优特征组合对用户的紧张情绪强度进行识别，例如当前紧张情绪强度是级别2还是级别3。
(g)对如上多生理信号提取的特征优化选择后融合，的特征优化采用基于支持向量机(SVM)的递归特征筛选算法，即通过遍历所有的特征维度，找到对识别正确率贡献最低的特征，剔除这一特征，再次遍历所有特征维度(此时的总特征维度应比上一次少一维)，得到新的贡献最低的特征维度(该特征维度应为整个特征矩阵中对正确率贡献第二低的特征维度)，重复这一过程，直到正确率到达最大值，停止该过程，得到的便是最佳分类特征组合。
(h)根据最优特征组合对用户的紧张情绪强度进行训练，训练是采用人工神经网络或贝叶斯线性分类器或支持向量机，获得分类器的参数。
在线监测包括以下步骤：
(1)采集用户多生理信号,多生理信号包括脑电、心电、皮电和呼吸信号。采集方法与离线训练部分相同。
(2)信号处理，包括预处理、特征提取和模式识别。预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器。
(3)预警，即设定一定的紧张强度阈值，本实施例可设定紧张强度级别4为轻度阈值，紧张强度级别5为中度阈值，在实施检测时，对识别后的紧张情绪强度进行判断，如果紧张强度超过轻度阈值则对用户进行提醒，此时用户可以自行调控紧张情绪，平复心理状态，如果紧张强度超过重度阈值则进行报警，启用外部干预，例如停止任务实施，启用系统自动模式等，如果没有超出任何阈值，则返回第(1)阶段继续进行监测；
(4)存储数据,记录用户在实施任务时全程或短程的紧张情绪生理信号，绘制用户紧张情绪变化曲线，分析用户紧张情绪变化情况，有助于分析任务难度设置的合理性，比如如果用户在实施任务时紧张情绪级别过高并且持续时间较长，则说明任务难度的设置不合理，另外，在任务难度设置合理的情况下，还可了解用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。
与现有技术相比，采集反映人体神经系统信息的中枢神经信号(脑电)和自主神经信号(心电、呼吸和皮电)，离线训练建立跨人或针对个体的分类模型并利用其对用户紧张情绪的强度进行实时识别检测，对过高强度的紧张情绪进行预警，全程存储用户的情绪生理信号。本方法可以实时检测用户的紧张情绪强度，为航天员等特殊工作者执行任务时提供监护，避免因紧张情绪级别过高造成任务完成失败等后果，提高任务完成绩效。同时，存储用户的紧张情绪生理信号可用于分析任务设置的合理性以及用户的紧张情绪调控能力，有助于特殊工作者的选拔和训练。本方法也可用于在线学习，通过实时检测用户的紧张情绪强度，调整在线课程的教授方式和内容，提高在线学习者的学习效率，通过紧张情绪强度的反馈，评估使用者的心理状态。另外，本方法具有广阔的市场应用前景，可以利用本方法开发出一种基于多生理参数的紧张情绪强度识别系统，运用于游戏开发等领域。
以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化、改进或组合等，均应仍归属于本发明的专利涵盖范围之内。

Claims (10)

1.基于多生理参数的紧张情绪强度识别系统，其特征在于，包括基本情绪诱发装置、用户多生理信号采集装置和信号处理装置，所述基本情绪诱发装置、所述用户多生理信号采集装置和所述信号处理装置依次连接；
所述基本情绪诱发装置上设置有诱发视频材料，所述用户多生理信号采集装置采集脑电、心电、皮电和呼吸信号，所述信号处理装置，包括预处理模块、特征提取模块和模式识别模块，所述预处理模块、所述特征提取模块和所述模式识别模块依次连接。
2.基于多生理参数的紧张情绪强度信息处理方法，其特征在于，包括离线训练和在线监测；
其中，所述离线训练包括以下步骤：
步骤一:诱发用户的紧张情绪，诱发方式采用视频材料；
步骤二:采集用户多生理信号；
步骤三:信号处理，包括预处理、特征提取和模式识别；
所述在线监测包括以下步骤：
步骤1：在线实时采集用户多生理信号，多生理信号与离线训练部分相同；
步骤2：信号处理，包括预处理、特征提取和模式识别；预处理和特征提取的方法与离线训练部分相同，模式识别运用离线训练部分训练好的分类器；
步骤3：预警，对识别后的紧张情绪强度进行判断，如果紧张强度超过设定的阈值则进行干预，如果没有则返回步骤1；
步骤4：存储数据，记录用户的紧张情绪强度变化情况，为进一步的分析提供参考。
3.根据权利要求2所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述步骤二中多生理信号包括脑电、脑血氧、心电、皮电和呼吸信号。
4.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述预处理包括：
(a)对脑电信号利用自适应滤波器抑制工频干扰，运用独立分量分析(ICA)滤除眼电、肌电的干扰，利用信号处理工具包截取有效数据；
(b)对心电、呼吸和皮电信号进行放大后，利用带通滤波器去除工频干扰，利用信号处理工具包截取有效数据。
5.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述特征提取包括：
(c)对于脑电信号，分析频域信息，利用功率谱估计Welch算法或者AR模型法计算脑电功率谱；
(d)对于心电信号，利用变换分析方法或者QRS波检测方法得到心率变异性信号(HRV),提取HRV信号的时域特征和频域特征；
(e)对于皮电信号，提取均值、标准差、一阶差分、一阶差分绝对值的平均值、二阶差分和二阶差分绝对值的平均值；
(f)对于呼吸信号，提取多个时域特征以及多个频域特征。
6.根据权利要求2或3所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，步骤三中所述模式识别具体包括：
(g)对多生理信号提取的特征优化选择后融合，特征优化采用递归特征筛选算法；
(h)根据最优特征组合对用户的紧张情绪强度采用人工神经网络或贝叶斯线性分类器或支持向量机进行训练，获得具有较高识别率的分类器。
7.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述信号处理工具包为EEGLAB工具包。
8.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述变换分析方法采用小波变换，所述QRS波检测方法采用Pan-Tompkins算法。
9.根据权利要求4所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述提取多个时域特征以及多个频域特征具体指提取和这2个时域特征以及0～0.1Hz、0.1～0.2Hz、0.2～0.3Hz、0.3～0.4Hz频域特征。
10.根据权利要求6所述基于多生理参数的紧张情绪强度信息处理方法，其特征在于，所述递归特征筛选算法为基于支持向量机(SVM)的递归特征筛选算法。
CN201710218032.2A 2017-04-05 2017-04-05 基于多生理参数的紧张情绪强度识别系统及信息处理方法 Pending CN107007291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710218032.2A CN107007291A (zh) 2017-04-05 2017-04-05 基于多生理参数的紧张情绪强度识别系统及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710218032.2A CN107007291A (zh) 2017-04-05 2017-04-05 基于多生理参数的紧张情绪强度识别系统及信息处理方法

Publications (1)

Publication Number Publication Date
CN107007291A true CN107007291A (zh) 2017-08-04

Family

ID=59446682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710218032.2A Pending CN107007291A (zh) 2017-04-05 2017-04-05 基于多生理参数的紧张情绪强度识别系统及信息处理方法

Country Status (1)

Country Link
CN (1) CN107007291A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107822623A (zh) * 2017-10-11 2018-03-23 燕山大学 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN108095742A (zh) * 2018-02-02 2018-06-01 华北理工大学 一种考场考生减压方法和装置
CN108211268A (zh) * 2018-01-25 2018-06-29 武汉中体智美科技有限公司 基于运动训练数据的运动负荷监测与运动疲劳预警方法和系统
CN108209946A (zh) * 2018-02-02 2018-06-29 贺鹏程 一种情绪控制装置与方法
CN108309328A (zh) * 2018-01-31 2018-07-24 南京邮电大学 一种基于自适应模糊支持向量机的情绪识别方法
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
CN108634968A (zh) * 2018-04-26 2018-10-12 深圳市科思创动科技有限公司 健康监控系统及方法
CN108876018A (zh) * 2018-05-30 2018-11-23 深圳投时科技有限公司 一种基于群体情绪的预测方法、装置、系统、服务器及终端
CN108937916A (zh) * 2018-08-03 2018-12-07 西南大学 一种心电信号检测方法、装置及存储介质
CN109040455A (zh) * 2018-08-13 2018-12-18 冼汉生 一种来电处理方法、装置、终端及计算机可读存储介质
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109394203A (zh) * 2017-08-18 2019-03-01 广州市惠爱医院 精神障碍康复期情绪监测与干预方法
CN109508783A (zh) * 2018-12-28 2019-03-22 杭州翼兔网络科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109620260A (zh) * 2018-12-05 2019-04-16 广州杰赛科技股份有限公司 心理状态识别方法、设备及存储介质
CN109998571A (zh) * 2019-04-12 2019-07-12 清华大学深圳研究生院 一种儿童共情体验设备及体验方法
CN110123266A (zh) * 2019-05-05 2019-08-16 北京航空航天大学 一种基于多模态生理信息的机动决策建模方法
CN110491515A (zh) * 2019-09-25 2019-11-22 江苏启润科技有限公司 基于车载人体多参数监测终端的驾驶管控系统及方法
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110881975A (zh) * 2019-12-24 2020-03-17 山东中科先进技术研究院有限公司 一种基于脑电信号的情感识别方法及系统
CN111144436A (zh) * 2019-11-15 2020-05-12 北京点滴灵犀科技有限公司 基于可穿戴设备的情绪压力筛查及危机预警方法和装置
CN111166354A (zh) * 2020-01-23 2020-05-19 北京津发科技股份有限公司 影响情绪变化的因素的分析方法及电子设备
CN111537056A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于svm与时频域特征的管道沿线第三方施工动态预警方法
CN111603184A (zh) * 2020-06-02 2020-09-01 南京励智心理大数据产业研究院有限公司 一种情绪传感设备及其使用方法
CN112043252A (zh) * 2020-10-10 2020-12-08 山东大学 基于脉搏信号中呼吸成分的情绪识别系统及方法
CN113778228A (zh) * 2021-09-10 2021-12-10 哈尔滨工业大学（深圳） 一种基于多功能情绪识别与自适应调节的脑机接口系统
CN113853161A (zh) * 2019-05-16 2021-12-28 托尼有限责任公司 用于识别和测量情感状态的系统和方法
CN114391846A (zh) * 2022-01-21 2022-04-26 中山大学 一种基于过滤式特征选择的情绪识别方法及系统
CN114403877A (zh) * 2022-01-21 2022-04-29 中山大学 基于二维连续模型的多生理信号情绪定量评估方法
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN115192040A (zh) * 2022-07-18 2022-10-18 天津大学 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840506A (zh) * 2010-04-08 2010-09-22 上海交通大学 远程教育学生特征信号提取识别的方法
CN201814558U (zh) * 2010-05-18 2011-05-04 上海理工大学 用于信息科学和人机交互系统的情感实时探测系统
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
CN103584872A (zh) * 2013-10-29 2014-02-19 燕山大学 一种基于多生理参数融合的心理压力评估方法
CN103690165A (zh) * 2013-12-12 2014-04-02 天津大学 一种跨诱发模式情绪脑电识别建模方法
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840506A (zh) * 2010-04-08 2010-09-22 上海交通大学 远程教育学生特征信号提取识别的方法
CN201814558U (zh) * 2010-05-18 2011-05-04 上海理工大学 用于信息科学和人机交互系统的情感实时探测系统
CN102715902A (zh) * 2012-06-15 2012-10-10 天津大学 特殊人群的情绪监护方法
CN103584872A (zh) * 2013-10-29 2014-02-19 燕山大学 一种基于多生理参数融合的心理压力评估方法
CN103690165A (zh) * 2013-12-12 2014-04-02 天津大学 一种跨诱发模式情绪脑电识别建模方法
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙洪央: "基于多生理信号的压力状态下情绪识别方法研究", 《优秀硕士论文数据库信息科技辑》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109394203A (zh) * 2017-08-18 2019-03-01 广州市惠爱医院 精神障碍康复期情绪监测与干预方法
CN107822623A (zh) * 2017-10-11 2018-03-23 燕山大学 一种基于多源生理信息的驾驶员疲劳及情绪评价方法
CN108211268A (zh) * 2018-01-25 2018-06-29 武汉中体智美科技有限公司 基于运动训练数据的运动负荷监测与运动疲劳预警方法和系统
CN108211268B (zh) * 2018-01-25 2019-12-10 武汉中体智美科技有限公司 基于运动训练数据的运动负荷监测与运动疲劳预警方法和系统
CN108309328A (zh) * 2018-01-31 2018-07-24 南京邮电大学 一种基于自适应模糊支持向量机的情绪识别方法
CN108095742A (zh) * 2018-02-02 2018-06-01 华北理工大学 一种考场考生减压方法和装置
CN108209946A (zh) * 2018-02-02 2018-06-29 贺鹏程 一种情绪控制装置与方法
CN108478224A (zh) * 2018-03-16 2018-09-04 西安电子科技大学 基于虚拟现实与脑电的紧张情绪检测系统及检测方法
CN108634968A (zh) * 2018-04-26 2018-10-12 深圳市科思创动科技有限公司 健康监控系统及方法
CN108876018A (zh) * 2018-05-30 2018-11-23 深圳投时科技有限公司 一种基于群体情绪的预测方法、装置、系统、服务器及终端
CN108937916A (zh) * 2018-08-03 2018-12-07 西南大学 一种心电信号检测方法、装置及存储介质
CN109040455A (zh) * 2018-08-13 2018-12-18 冼汉生 一种来电处理方法、装置、终端及计算机可读存储介质
CN109040455B (zh) * 2018-08-13 2021-12-14 青岛民航凯亚系统集成有限公司 一种来电处理方法、装置、终端及计算机可读存储介质
CN109157231A (zh) * 2018-10-24 2019-01-08 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109157231B (zh) * 2018-10-24 2021-04-16 阿呆科技（北京）有限公司 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
CN109620260A (zh) * 2018-12-05 2019-04-16 广州杰赛科技股份有限公司 心理状态识别方法、设备及存储介质
CN109508783A (zh) * 2018-12-28 2019-03-22 杭州翼兔网络科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109508783B (zh) * 2018-12-28 2021-07-20 沛誉(武汉)科技有限公司 情绪粗略划归模型构建及自动进行情绪粗略获取方法
CN109998571A (zh) * 2019-04-12 2019-07-12 清华大学深圳研究生院 一种儿童共情体验设备及体验方法
CN110123266A (zh) * 2019-05-05 2019-08-16 北京航空航天大学 一种基于多模态生理信息的机动决策建模方法
CN113853161A (zh) * 2019-05-16 2021-12-28 托尼有限责任公司 用于识别和测量情感状态的系统和方法
CN110507335B (zh) * 2019-08-23 2021-01-01 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110507335A (zh) * 2019-08-23 2019-11-29 山东大学 基于多模态信息的服刑人员心理健康状态评估方法及系统
CN110491515A (zh) * 2019-09-25 2019-11-22 江苏启润科技有限公司 基于车载人体多参数监测终端的驾驶管控系统及方法
CN111144436A (zh) * 2019-11-15 2020-05-12 北京点滴灵犀科技有限公司 基于可穿戴设备的情绪压力筛查及危机预警方法和装置
CN110881975A (zh) * 2019-12-24 2020-03-17 山东中科先进技术研究院有限公司 一种基于脑电信号的情感识别方法及系统
CN111166354A (zh) * 2020-01-23 2020-05-19 北京津发科技股份有限公司 影响情绪变化的因素的分析方法及电子设备
CN111603184A (zh) * 2020-06-02 2020-09-01 南京励智心理大数据产业研究院有限公司 一种情绪传感设备及其使用方法
CN111537056A (zh) * 2020-07-08 2020-08-14 浙江浙能天然气运行有限公司 基于svm与时频域特征的管道沿线第三方施工动态预警方法
CN112043252A (zh) * 2020-10-10 2020-12-08 山东大学 基于脉搏信号中呼吸成分的情绪识别系统及方法
CN112043252B (zh) * 2020-10-10 2021-09-28 山东大学 基于脉搏信号中呼吸成分的情绪识别系统及方法
CN113778228A (zh) * 2021-09-10 2021-12-10 哈尔滨工业大学（深圳） 一种基于多功能情绪识别与自适应调节的脑机接口系统
CN114403877A (zh) * 2022-01-21 2022-04-29 中山大学 基于二维连续模型的多生理信号情绪定量评估方法
CN114391846A (zh) * 2022-01-21 2022-04-26 中山大学 一种基于过滤式特征选择的情绪识别方法及系统
CN114391846B (zh) * 2022-01-21 2023-12-01 中山大学 一种基于过滤式特征选择的情绪识别方法及系统
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114947852B (zh) * 2022-06-14 2023-01-10 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN115192040A (zh) * 2022-07-18 2022-10-18 天津大学 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置
CN115192040B (zh) * 2022-07-18 2023-08-11 天津大学 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Similar Documents

Publication Publication Date Title
CN107007291A (zh) 基于多生理参数的紧张情绪强度识别系统及信息处理方法
WO2019100565A1 (zh) 基于人工智能自学习的动态心电图分析方法和装置
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN107260166A (zh) 一种实用化在线脑电伪迹剔除方法
CN107280694A (zh) 一种基于多源信息融合的疲劳检测方法
CN111544015B (zh) 基于认知力的操控工效分析方法、设备及系统
CN111598451B (zh) 基于任务执行能力的操控工效分析方法、设备及系统
CN110353704B (zh) 基于穿戴式心电监测的情绪评估方法与装置
CN106236027B (zh) 一种脑电与温度相结合的抑郁人群判定系统
Altan et al. A multistage deep belief networks application on arrhythmia classification
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
Ranganathan et al. Estimation of heart rate signals for mental stress assessment using neuro fuzzy technique
Baghdadi et al. Dasps: a database for anxious states based on a psychological stimulation
Nahak et al. A fusion based classification of normal, arrhythmia and congestive heart failure in ECG
CN112057087B (zh) 精神分裂症高风险人群自主神经功能数据处理方法及装置
CN113723557A (zh) 一种基于多频带时空卷积网络的抑郁脑电分类系统
CN114246593A (zh) 一种融合脑电、眼电、心率的疲劳检测方法及系统
Patel et al. Machine learning for biomedical signal processing
Mohamad et al. Principal component analysis and arrhythmia recognition using elman neural network
Akbulut Evaluating the effects of the autonomic nervous system and sympathetic activity on emotional states
Besrour et al. ECG beat classifier using support vector machine
Zubair et al. Removal of motion artifacts from ECG signals by combination of recurrent neural networks and deep neural networks
Abbas et al. A discriminative spectral-temporal feature set for motor imagery classification
Dessai et al. Emotion detection using physiological signals
Ranganathan et al. Evaluation of ECG Signals for mental stress assessment using fuzzy technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170804

RJ01 Rejection of invention patent application after publication