CN109620262B - 一种基于可穿戴手环的情绪识别系统及方法 - Google Patents

一种基于可穿戴手环的情绪识别系统及方法 Download PDF

Info

Publication number
CN109620262B
CN109620262B CN201811518440.0A CN201811518440A CN109620262B CN 109620262 B CN109620262 B CN 109620262B CN 201811518440 A CN201811518440 A CN 201811518440A CN 109620262 B CN109620262 B CN 109620262B
Authority
CN
China
Prior art keywords
emotion
data
physiological
module
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811518440.0A
Other languages
English (en)
Other versions
CN109620262A (zh
Inventor
舒琳
余洋
徐向民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201811518440.0A priority Critical patent/CN109620262B/zh
Publication of CN109620262A publication Critical patent/CN109620262A/zh
Priority to PCT/CN2019/111531 priority patent/WO2020119245A1/zh
Application granted granted Critical
Publication of CN109620262B publication Critical patent/CN109620262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明为基于可穿戴手环的情绪识别系统及方法,其系统包括生理信号采集模块、生理信号预处理模块、生理信号特征提取模块、情绪分类模块、综合评价模块;生理信号采集模块采集佩戴者的心电、心率、皮电三种生理数据;生理信号预处理模块对三种生理数据进行数据切分,去噪之后传输至生理信号特征提取模块;生理信号特征提取模块对三种生理数据分别进行特征提取;情绪分类模块针对三种生理数据进行情绪识别,输出三种情绪状态;综合评价模块采用基于权重的投票决策规则,对三种情绪状态进行投票决策,综合确定可穿戴手环佩戴者当前的情绪状态标签,得到识别结果。本发明提高了佩戴者对自身情绪的认知和管理能力,能拥有更加健康的心理状态。

Description

一种基于可穿戴手环的情绪识别系统及方法
技术领域
本发明涉及可穿戴设备领域,具体是一种基于可穿戴手环的情绪识别系统及方法。
背景技术
近年来,移动互联网技术取得了飞速的发展,可穿戴设备已经在人们的生活中扮演着十分重要的角色,逐渐成为消费类电子中比较流行的产品。它帮助人们养成健康的生活方式,更合理规划工作与生活。可穿戴电子设备方便携带,测量准确,拓展能力强等优势深受消费者和开发者的喜爱。当今社会,人们面临的工作和生活压力与日俱增,长期的压力给人们的情绪带来严重的影响,负面的情绪极易引发抑郁症、心脏病、高血压、内分泌失调等健康问题。因此,尽早发现潜在的情绪问题,能够帮助我们更好地清除情绪障碍,使工作和生活变得更加美好。
目前大多数品类的手环,都只是采集了心率数据,并在手环端实时显示心率的情况,或者只是在移动端的APP进行了单位时间(天或者小时)心率变化的分析;而没有采集更多的生理信号,也反映不出单位时间内佩戴者情绪的变化情况,更没有针对情绪状态有可能带来的影响做出及时的反馈。达不到针对佩戴者情绪及时监测,提醒佩戴者注意调节情绪的效果。即使现在也有测量心电信号的手表,但是也只是局限在手腕处获取原始信号,没有针对佩戴者的情绪变化情况进行及时识别和反馈。
发明内容
针对现有可穿戴设备所存在的不足,本发明提供一种基于可穿戴手环的情绪识别系统,该系统在可穿戴手环上集成心率、心电、皮电监测模块,并针对采集的生理数据及时进行情绪识别并反馈,测量方法简单,方便穿戴,可直接在佩戴的手环上看到生理信号实时的变化情况,并能够很快得到情绪的识别结果。
本发明还提供一种基于可穿戴手环的情绪识别方法。
本发明情绪识别系统采用如下技术方案来实现:一种基于可穿戴手环的情绪识别系统,包括生理信号采集模块、生理信号预处理模块、生理信号特征提取模块、情绪分类模块、综合评价模块;
生理信号采集模块通过部署在可穿戴手环端的心电传感器、心率传感器、皮电传感器来分别采集佩戴者的心电、心率、皮电三种生理数据;生理信号预处理模块对三种生理数据进行数据切分,去噪之后传输至生理信号特征提取模块;生理信号特征提取模块对三种生理数据分别进行特征提取,所提取的特征包括线性特征、非线性特征、时域特性、频域特征;
情绪分类模块针对三种生理数据进行情绪识别,基于每一种生理数据输出一个情绪状态;综合评价模块采用基于权重的投票决策规则,对三种生理数据输出的情绪状态进行投票决策,综合确定可穿戴手环佩戴者当前的情绪状态标签,得到识别结果。
所述情绪识别系统还包括用户反馈模块,用户反馈模块根据识别结果和可穿戴手环佩戴者当前时刻真实情绪感受的差异,向情绪分类模块反馈当前情绪状态描述;情绪分类模块根据所反馈的当前情绪状态描述和识别结果之间的差异,动态调整情绪分类模块和综合评价模块的参数,形成与每一位可穿戴手环佩戴者更加匹配的个性化情绪识别算法。
本发明情绪识别方法采用如下技术方案来实现:一种基于可穿戴手环的情绪识别方法,包括以下步骤:
步骤1:采集手环佩戴者的心率、心电、皮电三种生理数据;
步骤2:对三种生理数据分别进行预处理,包括信号放大、去噪处理,得到相对纯净的生理信号;
步骤3:对预处理之后的生理信号提取相应的生理参数,计算心电数据的线性、非线性、时域、频域特征参数,以及心率数据和皮电数据的统计特征参数,得到三种生理数据的特征参数;
步骤4:使用不同的分类器,分别对当前佩戴者的三种生理数据的特征参数进行情绪识别,得到当前佩戴者的三种情绪标签;
步骤5:综合评价,通过对三种情绪标签及其权重设置,其中心电数据的初始权重最高,心率数据的初始权重较心电数据低,皮电数据的初始权重最低,通过基于权重的投票规则,形成用户最终的情绪状态标签。
从以上技术方案可知,本发明基于可穿戴手环,集成了数据采集、数据预处理、特征提取、情绪分类、综合评价、用户反馈等多模块,能全面准确评价手环佩戴者当前的情绪状态,提高了佩戴者对于自身情绪的认知和管理能力,能拥有一个更加健康的心理状态。与现有技术相比,本发明具有如下技术效果:
1、本发明可直接在佩戴的手环上看到生理信号实时的变化情况,佩戴者能够实时了解自身的生理信号变化情况,情绪分类模块和综合评价模块能够结合心率、心电和皮电三种生理信号,准确识别佩戴者当前的情绪状态。用户反馈模块能基于情绪识别结果和当前时刻真实情绪感受,做出更精准的情绪反馈描述。情绪分类模块先针对每一种生理信号进行单独的情绪识别,然后基于情绪变化对生理信号的影响程度,确定投票权重,并根据佩戴者对于识别结果的反馈,动态调整分类器参数和综合评价算法投票器的权重,得到佩戴者最终的情绪状态标签。提高了算法识别的准确率,同时也综合佩戴者个人数据和数据库标准数据,训练生成适合用于每一位佩戴者的“个性化”情绪识别分类器。
2、本发明基于可穿戴手环,综合利用了三种不同类型的生理信号,一方面极大地提升了生理信号对于佩戴者真实情感的描述,有效弥补了当前可穿戴手环不能识别佩戴者的情绪状态或者基于单一生理信号的情感识别;另一方面,能够简单、方便地采集到当前佩戴者的生理信号,比起其他繁杂的采集设备,体积更小,方便穿戴,成本更低。
3、本发明充分考虑从体表提取生理信号的特点,从硬件层面和软件层面,采用双重的去噪方案,且在去噪算法上,充分考虑每一种生理信号受到何种噪声的影响更大,选择去噪效果最好的算法对数据进行预处理。
4、皮电信号上所设置的放大电路位于手环表盘内部,皮电和心率的工作方式相同。只有在选择该模式的情况下,传感器和手环端的放大电路才会工作,对皮电信号进行放大处理。中值滤波选取一个奇数组成的观察窗,将观察窗数据排列,保留中值,具有实时化处理的优势。小波处理对尺度上的系数进行阈值处理,能够有效的去除基线漂移等噪声。
5、本发明在情绪分类算法的模型训练时,用于训练模型的数据集均来自于在标准实验室环境下(隔音),使用中国标准视频素材库(CEVS)作为实验材料收集到的实验数据,分类器模型是基于标准情绪状态数据集建立,且在模型和权重的参数设置上,使用GridSearch、交叉验证等方法能够在提升准确率同时,更加客观全面的反映情绪状态属性。
附图说明
图1为基于可穿戴手环的情绪识别系统整体框图。
图2是手环的外形结构示意图。
图3是手环本体示意图。
图4是正向单周期心电示意图。
图5是中性情绪下心率图。
图6是皮电变化示意图。
图7是三种生理信号的情绪识别流程图。
图8是基于用户反馈的算法动态更新流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明,但本发明的实施方式并不限于此。
心率是指正常人安静状态下每分钟心跳的次数,也叫安静心率,一般为60-100次/分。心电(electrocardiogram,ECG)是人体心脏脉搏时,由心肌细胞产生的动作电位综合而成。如果将两个电极放置在体表,就可以通过体表两点间的电位差记录心电的变化,形成一条连续的曲线,称之为心电图。皮电是一项情绪生理指标,代表机体受到刺激时皮肤电传导的变化。
心电、心率、皮电等生理信号包含着情感变化的内容。可以从这些生理信号的变化率、线性特性、非线性特性、时域特性、频域特性中分辨情绪的变化情况。研究表明:在恐惧情绪时,心率的变化明显快于悲伤情绪和中性情绪。高兴、悲伤和厌恶这三种基本情绪和中性情绪状态在心率变异性的高频成分上彼此都存在着显著性差异。皮肤电通常与情绪的激活程度密切相关,同时也是识别基本情绪的有效指标,抑郁和焦虑等负向情绪会显著的影响皮肤电。皮肤电也被认为是诊断抑郁症、焦虑症等情绪障碍患者的一个有效指标,对基于抑郁症患者的自杀行为都有一定的预测作用。
本实施例中,基于可穿戴手环的情绪识别系统的整体结构如图1所示,主要包括生理信号采集模块、生理信号预处理模块、生理信号特征提取模块、情绪分类模块、综合评价模块以及用户反馈模块。生理信号采集模块是通过部署在可穿戴手环端的心电传感器、心率传感器、皮电传感器来采集佩戴者的心电、心率、皮电三种生理信号;具体来说,生理信号采集模块包括心率信号监测模块、心电信号监测模块和皮电信号监测模块。其中:
心率信号监测模块是采用PPG原理的传感器,在腕带位置设有PPG光传感器;手环本体在位于手环背部(紧贴手背部位方向),PPG光传感器根据接收到的皮下组织的光电信号后,进行滤波和放大处理,根据单位时间监测到的信号波峰计算出当前的心率值;心率的采样频率是25Hz。采用基于PPG光传感的心率信号监测模块测量心率,有以下优势:皮肤上的黑色素会吸收大量波长较短的光,进入皮肤的绿光大部分被红细胞吸收,因而血液要比其他组织吸收更多的光;而绿光作为光源信号,信噪比要优于其他的光源。PPG测量心率的原理是当光透射皮肤组织然后再反射到光敏传感器时,光照会有一定的损失,当身体和PPG光传感器保持相对静止时,肌肉、骨骼、静脉等组织对光的吸收是基本没有变化的,人体动脉里有血液的流动,这样对光的吸收就有所变化,光信号转换成电信号的时候,交流AC部分就有变化,根据光电容积脉搏波描记,提取出尖峰,计算单位时间内峰值的个数,就计算出佩戴者的心率值,如公式(1)所示:
Figure BDA0001902630330000041
其中,N表示监测到脉搏波峰值的个数,T表示记录脉搏波变化的时间间隔。
如图2、3所示,心电信号监测模块采用双电极结构,一端电极集成在手环腕带用于固定的铆钉处,通过埋藏在腕带中的心电电极连接线和手环本体金属触点相连接,另一端电极集成在手环本体触摸点下方。在本实施例中,心电信号监测模块主要包括三个部分,第一部分电极是与人体接触的触点(即心电电极1),用于固定手环腕带的触点通过一金属扣固定在腕带的橡胶中,与通过埋藏在腕带之中的导线(即心电电极连接线2)连接到腕带和手环表盘接触的触点;将金属扣通过手环卡扣孔3与手环腕带的另一端连接后,便可将手环佩戴在佩戴者的手腕处。第二部分电极为手环表盘触摸屏下方的心电电极触点4,当进入采集心电模式时,一只手的拇指按住触点,然后沿着腕带方向紧握,这样既能保证信号采集输入点和人体的充分接触,另外一方面也能保证另一只手与手环表盘电极的接触。第三部分电极是手环表盘和埋在腕带中的心电电极连接线的接触触点,手环腕带的触点接触槽需向外凸出一部分,手环上所有的触点采用金属弹簧式触点,这样能够保证所有的触点充分接触,不会造成电极和手环之间断路。心电信号的采样频率256Hz。
皮电信号监测模块主要使用集成在腕带中的柔性传感器(即皮电电极5),如织物或者导电橡胶基材的电极,皮电电极主要包括两个部分,第一部分是柔性传感器内嵌在手环腕带的中部区域,和手腕的腕关节保持接触,通过与埋藏在腕带中的皮电电极连线6进行连接。第二部分是导线沿着腕带用于固定手环表盘的底座方向延伸,延伸至与手环表盘接触的皮电电极触点7,使柔性传感器和手环本体进行连接。采样频率为25Hz。手环表盘上还设有充电触点8。
生理信号预处理模块主要包括基于硬件电路的信号放大模块、去噪模块,以及基于软件的信号去噪算法。在手环测量的三种生理信号中,噪声来源包括工频干扰、基线漂移、肌电干扰、运动干扰等。硬件上,采用提高电路的共模抑制比,设置模拟滤波器对信号去噪。在软件上,采用小波变换、中值滤波等方法。其中,针对三种生理信号,均受到运动干扰的影响,采用小波变换,对包含噪声的频率信号进行阈值法处理,分离噪声和信号。
生理信号预处理模块,在心率数据处理上,由于采集的心率信号需要根据光电容积脉搏波描记,提取出尖峰,统计单位时间内尖峰的个数就是对应的心率值;首先进行信号的放大,然后利用小波变换方法对信号进行去噪,之后监测波峰所在位置,统计波峰出现的次数。在心电数据处理上,体表处采集的心电信号信噪比非常低,硬件方面提高信噪比,设置模拟滤波器进行去噪,使用中值滤波去除基线漂移,选用的窗口时间长度为200ms,采用50Hz陷波滤波器去除工频干扰。在皮电数据处理上,采用小波变换的阈值法去除肌电干扰,运动干扰是信号去除中比较难的一点,由于噪声和心电的频谱有大规模的重叠,因此采用独立成分分析(ICA)去除心电信号的运动干扰。皮电信号变化缓慢,用小波变换阈值法来去除其运动干扰。皮电和心率的数据切分长度为2min,心电的数据切分长度为10s。之后按照一段2min的心率数据、一段2min的皮电数据、12段10s长度的心电数据共同构成佩戴者2min的生理信号数据,组成数据集交由生理信号特征提取模块进行处理。
生理信号特征提取模块分为三大部分,所有算法均部署在云平台。基于三种生理信号进行单独提取,涵盖三种生理信号的线性特征、非线性特征、时域特性、频域特征等。本实施例中,对于心率数据和皮电数据的特征提取主要是基于统计特征,从数据的变化范围、最大值、最小值、变化率、一阶差分、二阶差分变化情况进行统计。心电数据的特征提取,主要从心电信号的时域、频域、线性、非线性四个层面进行分析,着重通过分析心电数据的变化情况来分析情绪变化对三种生理信号变化的影响。
具体来说,心率数据的特征参量具体涵盖如下,图4所示为一段心率的变化情况,根据心率变化计算心率变化一阶差分平均值,如公式(2)所示,其中,Xn表示时间tn时对应的心率值,N表示这一段心率值的长度。
Figure BDA0001902630330000061
心率变化二阶差分平均值如公式(3)所示,Xn表示时间tn时对应的心率值,N表示这一段心率值的长度。
Figure BDA0001902630330000062
归一化之后原始信号一阶差分绝对值的平均值,这里的归一化是指在手环监测佩戴者在中性情绪状态下,心率的平均值,这个数据由用户的历史数据产生,云端根据收集到的数据进行不断的更新。心率变化归一化一阶差分平均值的计算过程如式(4)所示,心率变化归一化二阶差分平均值的计算过程如式(5)所示。
Figure BDA0001902630330000063
Figure BDA0001902630330000064
2min内心率变化的范围如式(6)所示:
HRrange=Heartmax-Heartmin (6)
心率序列之间差值的平方和的平均值如式(7)所示:
Figure BDA0001902630330000065
心率变化的斜率计算过程如式(8)所示:
Figure BDA0001902630330000071
具体来说,心电数据的特征参量具体涵盖如下,图5所示为单一周期去噪之后的心电数据。提取的特征主要包括线性特征、非线性特征、时域特征、频域特征,具体指标和计算过程如下:
SDNN:全部窦性心博RR间期的标准差;
NN50:相邻NN之差>50ms的个数;
PNN50:相邻NN之差>50ms的个数占总窦性心搏个数的百分比;
SDSD:相邻RR间期差值的标准差;
RR_MEAN:RR间隙的平均值;
ECG:分析基线漂移之后Min、Max、Mean、Var;
Wavelets:使用db6小波,3层分解处理,分别统计3层高频细节和1层低频近似的最大值、最小值、中位数、标准差;
VLF(超低频)、LF(低频)、HF(高频)的能量。
具体来说,皮电数据的特征参量具体涵盖如下,图6所示为单一周期去噪之后的心电数据。提取的特征主要包括一段2min皮电数据的统计特征参量,包括最大值、最小值、均值、方差、变化率(若上升时变化率为正,下降时变化率为负数),以及一阶差分平均值、二阶差分平均值、归一化一阶差分平均值、归一化二阶差分平均值、变化范围、序列差值的平方和等。
情绪分类模块是单独针对三种生理信号进行情绪识别,然后得出每一种生理信号对应的情绪状态,如图7所示,是整个情绪分类的流程图。所使用的分类器包括SVM、KNN、RF、DT、GBDT、AdaBoost等。分类器的参数可根据具体的分类器进行设置。基于sklearn的几个分类器可设置参考参数如下:SVM首先针对数据进行归一化,参数主要选择RBF核函数,C初始值设置为5,ganma初始值设置为0.4;LDA中默认选择’lsqr’最小平方QR求解,并计算每个类别的协方差矩阵。RF的弱学习器最大迭代次数设置在900,采用袋外样本来评估样本的好坏;由于用于训练分类器的数据集规模不大,DT的主要设置特征切分点的方式为best;GBDT主要设置subsample,初始值可设置为0.5;Adaboost所有参数选择默认值即可。针对三种不同生理信号,所使用的分类器训练集均来自于使用中国标准情绪视频素材库(CEVS)采集的数据集。在模型参数的设定上,使用GridSearch在所有列举的候选参数中,通过循环遍历,尝试每一个参数对识别结果的影响,去识别率最好的参数作为最终分类器使用的参数。在每一组参数中,根据每一个具体的参数,设定合理最小化的步进值,每次控制一个参数,逐步按照步进值进行循环训练,直至得到最好的识别准确率才终止循环。针对每一种生理信号,都会使用以上分类器中,在训练中五折交叉验证准确率最好的分类器进行预测,得到每一种生理信号的情绪标签。以上使用标准数据库进行模型训练的时候,都已经将每一个模型对应的参数进行过调参处理,使得在交叉验证下,针对三种情绪的识别结果准确率最高。
综合评价模块是基于权重的投票法则,得出佩戴者当前时刻最终的情绪标签。基于权重的投票规则,心电数据量大,随情绪状态的变化敏感,且变化率快,而心率数据相对变化较慢,皮电数据变化最慢。心电数据所持有初始权重较皮电数据和心率数据高,心率数据初始权重较心电数据初始权重低,皮电数据的初始权重最低。例如:心电数据的初始权重可设置为50%,心率数据的初始权重可设置为30%,皮电数据的初始权重可设置为20%。佩戴者当前的情绪状态是总结三个情绪标签和对应的权重产生。每一次基于三种生理信号的标签,以及相应的权重比例进行投票,产生的最终标签就是佩戴者当前时刻的情绪状态。使用“正向”、“负向”、“中性”表征佩戴者的情绪状态。
综合评价模块在设置的初始权重时候,也可以心电数据所占的权重更高,皮电数据和心率数据所占比的权重相同且低于心电所占权重。12段心电数据产生的标签,取每一段标签“众数”作为心电数据所代表的总情绪标签,用三种生理信号的标签结合三者所持有的投票权重,产生总的情绪标签作为最终的识别结果。初始权重的设定标准,由标准数据集合情绪分类的准确率决定,取所有识别中准确率最高的权重作为初始的权重。在模型的更新过程中,权重也是基于当前最优准确率进行逐步调整,在每一次更新之后,仍能保持三个生理信号最佳的权重组合。
用户反馈模块的算法实现流程如图8所示,这是基于每一位手环的佩戴者进行“个性化”情绪识别的方案,针对每一位用户实际的情绪主观感受差异和使用场景的多样性,进行适配佩戴者的调整。佩戴者可根据实时反馈的情绪识别结果,及时通过移动端反馈自身的情绪感受。情绪分类模块和综合评价模块根据佩戴者反馈结果,动态调整分类器参数和投票权重,让情绪识别结果与用户反馈一致,最终形成与每一位手环佩戴者“个性化”的情绪识别算法,得到更加准确的情绪识别结果。
具体的说,在分类器动态调整中,首先将从佩戴者采集到的历史生理信号加入标准数据库,共同构成数据集的一部分,然后进行特征的提取,不断用个体标签进行模型再训练。在训练中对比新的数据集针对当前数据,识别的准确率有无提升,若无提升,则开始使用Grid_Search调整模型的参数,之后在进行准确率的对比,如没有上升,则在进行投票权重调整,寻找最高准确率和最佳模型、投票的权重组合,得出适合每一位佩戴者自身最佳的情绪识别算法。
本发明情绪识别方法包括以下步骤:
步骤1:按照规定姿势正确佩戴手环,按照使用要求采集佩戴者的心率、心电、皮电三种生理数据;
步骤2:对三种生理数据分别进行预处理,包括信号放大去噪等处理,得到相对纯净的生理信号。从PPG测量信号中计算出佩戴者实时心率值,并将所得到的生理信号按照固定长度进行切分;
步骤3:生理信号提取模块对预处理之后的生理信号提取相应的生理参数,主要计算心电数据的线性、非线性、时域、频域特征参数,以及心率数据和皮电数据的统计特征参数,得到三种生理数据的特征参数;
步骤4:使用不同的分类器,分别对当前佩戴者的三种生理数据的特征参数进行情绪识别,得到当前佩戴者的三种情绪标签;
步骤5:综合评价,通过对三种情绪标签及其权重设置,其中心电数据的初始权重最高,心率数据的初始权重较心电数据低,皮电数据的初始权重最低,通过基于权重的投票规则,形成用户最终的情绪状态标签;
步骤6:根据用户反馈,实时调整情绪分类算法的参数和投票的权重,形成更加适配每一位用户的特定算法模型,在通过与佩戴者的交互中形成更加精准的可穿戴手环情绪识别算法模型。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种基于可穿戴手环的情绪识别系统,其特征在于,包括生理信号采集模块、生理信号预处理模块、生理信号特征提取模块、情绪分类模块、综合评价模块;
生理信号采集模块通过部署在可穿戴手环端的心电传感器、心率传感器、皮电传感器来分别采集佩戴者的心电、心率、皮电三种生理数据;生理信号预处理模块对三种生理数据进行数据切分,去噪之后传输至生理信号特征提取模块;生理信号特征提取模块对三种生理数据分别进行特征提取,所提取的特征包括线性特征、非线性特征、时域特性、频域特征;
情绪分类模块针对三种生理数据进行情绪识别,基于每一种生理数据输出一个情绪状态;综合评价模块采用基于权重的投票决策规则,对三种生理数据输出的情绪状态进行投票决策,综合确定可穿戴手环佩戴者当前的情绪状态标签,得到识别结果;
所述情绪识别系统还包括用户反馈模块,用户反馈模块根据识别结果和可穿戴手环佩戴者当前时刻真实情绪感受的差异,向情绪分类模块反馈当前情绪状态描述;情绪分类模块根据所反馈的当前情绪状态描述和识别结果之间的差异,动态调整情绪分类模块和综合评价模块的参数,形成与每一位可穿戴手环佩戴者更加匹配的个性化情绪识别算法;
情绪分类模块先针对每一种生理信号进行单独的情绪识别,然后基于情绪变化对生理信号的影响程度,确定投票权重,并根据佩戴者对于识别结果的反馈,动态调整情绪分类模块中分类器参数和综合评价模块中综合评价算法投票器的权重,得到佩戴者最终的情绪状态标签;使用“正向”、“负向”、“中性”表征佩戴者的情绪状态。
2.根据权利要求1所述的情绪识别系统,其特征在于,所述生理信号采集模块包括心率信号监测模块、心电信号监测模块和皮电信号监测模块;其中:
心电信号监测模块采用双电极结构:一端电极集成在手环腕带用于固定的铆钉处,通过埋藏在腕带中的心电电极连接线和手环本体金属触点相连接,另一端电极集成在手环本体触摸点下方;
心率信号监测模块是基于PPG原理的光传感部件,放置在手环本体的背部;
皮电信号监测模块是集成在手环腕带之中的柔性传感器,位于手环腕带两侧中间部位。
3.根据权利要求1所述的情绪识别系统,其特征在于,所述生理信号预处理模块采用提高电路的共模抑制比设置模拟滤波器对信号去噪,采用小波变换、中值滤波方法处理信号。
4.根据权利要求1所述的情绪识别系统,其特征在于,所述生理信号特征提取模块,对心率数据和皮电数据的特征提取基于统计特征,从数据的变化范围、最大值、最小值、变化率、一阶差分、二阶差分变化情况进行统计;对心电数据的特征提取,从心电数据的时域、频域、线性、非线性四个层面进行分析,通过分析心电数据的变化情况来分析情绪变化对三种生理信号变化的影响;
心率数据的特征参数包括:心率变化一阶差分平均值、二阶差分平均值,心率变化归一化一阶差分绝对值平均值,持续不变时间的最大值、最小值、平均值,持续上升变化的斜率,持续下降变化的斜率,相邻两个差值平方和的平均值;
心电数据的特征参量包括全部窦性心博RR间期的标准差SDNN、相邻NN之差>50ms的个数NN50、相邻NN之差>50ms的个数占总窦性心搏个数的百分比PNN50、相邻RR间期差值的标准差SDSD、RR间隙的平均值RR_MEAN、小波变换统计特征,以及超低频VLF、低频LF、高频HF的频谱能量;
皮电数据的特征参数包括最大值、最小值、均值、方差、变化率,一阶差分平均值、二阶差分平均值、归一化一阶差分平均值、归一化二阶差分平均值、变化范围、序列差值的平方和。
5.根据权利要求4所述的情绪识别系统,其特征在于,心率变化一阶差分平均值的计算公式如下:
Figure FDA0002442098780000021
其中,Xn表示时间tn时对应的心率值,N表示这一段心率值的长度;
心率变化二阶差分平均值的计算如公式如下:
Figure FDA0002442098780000022
心率变化归一化一阶差分平均值的计算过程如下:
Figure FDA0002442098780000023
心率变化归一化二阶差分平均值的计算过程如下:
Figure FDA0002442098780000024
6.根据权利要求1所述的情绪识别系统,其特征在于,情绪分类模块单独针对三种生理数据进行情绪识别,得出每一种生理数据对应的情绪状态;所使用的分类器包括SVM、KNN、RF、DT、GBDT及AdaBoost;针对每一种生理数据,使用以上分类器中,在训练中五折交叉验证准确率最好的分类器进行预测,得到每一种生理数据的情绪标签。
7.根据权利要求6所述的情绪识别系统,其特征在于,综合评价模块基于权重的投票规则,得出佩戴者当前时刻最终的情绪标签;基于权重的投票规则中,心电数据所持有初始权重较皮电数据和心率数据高;佩戴者当前的情绪状态总结三个情绪标签和对应的权重产生;每一次基于三种生理数据的情绪标签,以及相应的权重比例进行投票,产生的最终标签为佩戴者当前时刻的情绪状态。
8.一种基于可穿戴手环的情绪识别方法,其特征在于,包括以下步骤:
步骤1:采集手环佩戴者的心率、心电、皮电三种生理数据;
步骤2:对三种生理数据分别进行预处理,包括信号放大、去噪处理,得到相对纯净的生理信号;
步骤3:对预处理之后的生理信号提取相应的生理参数,计算心电数据的线性、非线性、时域、频域特征参数,以及心率数据和皮电数据的统计特征参数,得到三种生理数据的特征参数;
步骤4:使用不同的分类器,分别对当前佩戴者的三种生理数据的特征参数进行情绪识别,得到当前佩戴者的三种情绪标签;
步骤5:综合评价,通过对三种情绪标签及其权重设置,其中心电数据的初始权重最高,心率数据的初始权重较心电数据低,皮电数据的初始权重最低,通过基于权重的投票规则,形成用户最终的情绪状态标签;
步骤6:根据用户反馈,实时调整情绪分类算法的参数和投票的权重,形成更加适配每一位用户的特定算法模型,在通过与手环佩戴者的交互中形成更加精准的可穿戴手环情绪识别算法模型;
先针对每一种生理信号进行单独的情绪识别,然后基于情绪变化对生理信号的影响程度,确定投票权重,并根据佩戴者对于识别结果的反馈,动态调整情绪分类模块中分类器参数和综合评价模块中综合评价算法投票器的权重,得到佩戴者最终的情绪状态标签;使用“正向”、“负向”、“中性”表征佩戴者的情绪状态。
CN201811518440.0A 2018-12-12 2018-12-12 一种基于可穿戴手环的情绪识别系统及方法 Active CN109620262B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811518440.0A CN109620262B (zh) 2018-12-12 2018-12-12 一种基于可穿戴手环的情绪识别系统及方法
PCT/CN2019/111531 WO2020119245A1 (zh) 2018-12-12 2019-10-16 一种基于可穿戴手环的情绪识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811518440.0A CN109620262B (zh) 2018-12-12 2018-12-12 一种基于可穿戴手环的情绪识别系统及方法

Publications (2)

Publication Number Publication Date
CN109620262A CN109620262A (zh) 2019-04-16
CN109620262B true CN109620262B (zh) 2020-12-22

Family

ID=66073106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811518440.0A Active CN109620262B (zh) 2018-12-12 2018-12-12 一种基于可穿戴手环的情绪识别系统及方法

Country Status (2)

Country Link
CN (1) CN109620262B (zh)
WO (1) WO2020119245A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109620262B (zh) * 2018-12-12 2020-12-22 华南理工大学 一种基于可穿戴手环的情绪识别系统及方法
CN110025323B (zh) * 2019-04-19 2021-07-27 西安科技大学 一种婴幼儿情绪识别方法
CN109907746A (zh) * 2019-04-22 2019-06-21 深圳仙苗科技有限公司 一种可采集紫外线与心电信号的健康手环及其使用方法
CN110379511B (zh) * 2019-05-27 2022-03-11 康岁医院投资管理有限公司 一种关于体质监测数据的分析及预警方法
CN110141259B (zh) * 2019-06-04 2021-09-28 清华大学 一种基于无线通信测量认知负荷与心理压力的方法及装置
CN110881987B (zh) * 2019-08-26 2022-09-09 首都医科大学 一种基于可穿戴设备的老年人情绪监测系统
CN110599999A (zh) * 2019-09-17 2019-12-20 寇晓宇 数据交互方法、装置和机器人
CN110717542A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种情绪识别方法、装置和设备
CN111144436A (zh) * 2019-11-15 2020-05-12 北京点滴灵犀科技有限公司 基于可穿戴设备的情绪压力筛查及危机预警方法和装置
CN110916631B (zh) * 2019-12-13 2022-04-22 东南大学 基于可穿戴生理信号监测的学生课堂学习状态评测系统
CN111241583B (zh) * 2020-01-13 2023-03-31 桂林电子科技大学 可穿戴设备分类属性个性化本地差分隐私保护方法及系统
CN111184521B (zh) * 2020-01-20 2023-01-06 北京津发科技股份有限公司 一种压力识别手环
CN111248928A (zh) * 2020-01-20 2020-06-09 北京津发科技股份有限公司 压力识别方法及装置
CN113780546A (zh) * 2020-05-21 2021-12-10 华为技术有限公司 一种评估女性情绪的方法及相关装置、设备
CN112656387A (zh) * 2020-06-15 2021-04-16 杭州星迈科技有限公司 一种可穿戴设备数据的处理方法、装置和计算机设备
CN112206394A (zh) * 2020-10-09 2021-01-12 安徽美心信息科技有限公司 一种基于vr技术的心理训练互动系统及训练方法
CN112297023B (zh) * 2020-10-22 2022-04-05 新华网股份有限公司 智能陪护机器人系统
CN112006700B (zh) * 2020-10-27 2021-07-16 成都大学 一种用于眼动仪的情感识别系统及方法
CN114403825B (zh) * 2020-10-28 2024-02-09 深圳市科瑞康实业有限公司 一种脉搏波信号识别方法和装置
CN112101823B (zh) * 2020-11-03 2021-03-02 四川大汇大数据服务有限公司 多维度情绪识别管理方法、系统、处理器、终端及介质
CN112618911B (zh) * 2020-12-31 2023-02-03 四川音乐学院 基于信号处理的音乐反馈调节系统
CN112618913A (zh) * 2021-01-06 2021-04-09 中国科学院心理研究所 一种基于多模态的自适应情绪调节系统与方法
CN112924660B (zh) * 2021-01-26 2023-09-26 上海浩创亘永科技有限公司 一种扫描系统及其扫描方法
CN112998711A (zh) * 2021-03-18 2021-06-22 华南理工大学 一种基于可穿戴装置的情绪识别系统及方法
CN113080970A (zh) * 2021-04-06 2021-07-09 北京体育大学 一种可穿戴情绪识别手环
CN113349791A (zh) * 2021-05-31 2021-09-07 平安科技(深圳)有限公司 异常心电信号的检测方法、装置、设备及介质
CN113440122B (zh) * 2021-08-02 2023-08-22 北京理工新源信息科技有限公司 一种基于生命体征的情绪波动监测识别大数据预警系统
CN114053550A (zh) * 2021-11-19 2022-02-18 东南大学 一种基于高频心电的耳机式情绪压力调节装置
CN114259214A (zh) * 2021-12-21 2022-04-01 北京心华科技有限公司 身心健康数据检测、调节、筛查方法及系统
CN114391846B (zh) * 2022-01-21 2023-12-01 中山大学 一种基于过滤式特征选择的情绪识别方法及系统
CN114334090B (zh) * 2022-03-02 2022-07-12 博奥生物集团有限公司 一种数据分析方法、装置及电子设备
CN114515149B (zh) * 2022-03-17 2023-07-18 天津大学 一种基于多模态情感模型的情感识别装置
CN115192040B (zh) * 2022-07-18 2023-08-11 天津大学 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置
CN115568853A (zh) * 2022-09-26 2023-01-06 山东大学 一种基于皮电信号的心理压力状态评估方法及系统
CN115633961A (zh) * 2022-10-28 2023-01-24 福州大学 基于动态加权决策融合恐高情绪识别模型构建方法与系统
CN115715680A (zh) * 2022-12-01 2023-02-28 杭州市第七人民医院 一种基于结缔组织电势的焦虑判别方法及装置
CN116077071B (zh) * 2023-02-10 2023-11-17 湖北工业大学 一种智能康复按摩方法、机器人及存储介质
CN116327123B (zh) * 2023-03-13 2023-08-18 深圳市雅为智能技术有限公司 一种基于智能手表的睡眠监测系统及方法
CN116636847A (zh) * 2023-06-02 2023-08-25 南京航空航天大学 一种基于腕部可穿戴设备的情感评估方法及系统
CN117204855B (zh) * 2023-10-26 2024-03-01 厚德明心(北京)科技有限公司 一种基于交互设备的用户心理状态评估方法及系统
CN117426774B (zh) * 2023-12-21 2024-04-09 深圳腾信百纳科技有限公司 一种基于智能手环的用户情绪评估方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060122474A1 (en) * 2000-06-16 2006-06-08 Bodymedia, Inc. Apparatus for monitoring health, wellness and fitness
KR100580618B1 (ko) * 2002-01-23 2006-05-16 삼성전자주식회사 생리 신호의 단시간 모니터링을 통한 사용자 정서 인식장치 및 방법
TWI470564B (zh) * 2012-02-21 2015-01-21 Wistron Corp 使用者情緒偵測方法與應用其之手寫輸入電子裝置
CN103584872B (zh) * 2013-10-29 2015-03-25 燕山大学 一种基于多生理参数融合的心理压力评估方法
CN103679214B (zh) * 2013-12-20 2017-10-20 华南理工大学 基于在线面积估计和多特征决策融合的车辆检测方法
US11032457B2 (en) * 2016-08-15 2021-06-08 The Regents Of The University Of California Bio-sensing and eye-tracking system
CN107220591A (zh) * 2017-04-28 2017-09-29 哈尔滨工业大学深圳研究生院 多模态智能情绪感知系统
CN108309328A (zh) * 2018-01-31 2018-07-24 南京邮电大学 一种基于自适应模糊支持向量机的情绪识别方法
CN108634969B (zh) * 2018-05-16 2021-03-12 京东方科技集团股份有限公司 情绪检测设备、情绪检测系统、情绪检测方法、存储介质
CN108805088B (zh) * 2018-06-14 2021-05-28 南京云思创智信息科技有限公司 基于多模态情绪识别系统的生理信号分析子系统
CN108742660A (zh) * 2018-07-02 2018-11-06 西北工业大学 一种基于可穿戴设备的情绪识别方法
CN108922626B (zh) * 2018-08-22 2022-01-18 华南师范大学 一种体征参数评价方法
CN109620262B (zh) * 2018-12-12 2020-12-22 华南理工大学 一种基于可穿戴手环的情绪识别系统及方法

Also Published As

Publication number Publication date
WO2020119245A1 (zh) 2020-06-18
CN109620262A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109620262B (zh) 一种基于可穿戴手环的情绪识别系统及方法
US7547279B2 (en) System and method for recognizing user's emotional state using short-time monitoring of physiological signals
CN107569226B (zh) 基于压电传感获取hrv的方法及应用
Xie et al. Classification of the mechanomyogram signal using a wavelet packet transform and singular value decomposition for multifunction prosthesis control
CN109843163A (zh) 用于标记睡眠状态的方法和系统
WO2018045623A1 (zh) 一种基于脉搏波时间序列分析的情绪分类方法及装置
CN105147248A (zh) 基于生理信息的抑郁症评估系统及其评估方法
CN204931634U (zh) 基于生理信息的抑郁症评估系统
CN113729707A (zh) 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法
Cecchi et al. Physical stimuli and emotions: EDA features analysis from a wrist-worn measurement sensor
CN114781465B (zh) 一种基于rPPG的非接触式疲劳检测系统及方法
Altini et al. Combining wearable accelerometer and physiological data for activity and energy expenditure estimation
KR20070087787A (ko) 생체신호를 통해 실시간으로 감정을 분류하는감정분류시스템과, 감정분류방법
CN115640827B (zh) 对电刺激数据处理的智能闭环反馈网络方法及系统
CN115211858A (zh) 一种基于深度学习的情绪识别方法、系统及可存储介质
CN109394203A (zh) 精神障碍康复期情绪监测与干预方法
Shioji et al. Personal authentication based on wrist EMG analysis by a convolutional neural network
Cosoli et al. Heart rate variability analysis with wearable devices: Influence of artifact correction method on classification accuracy for emotion recognition
CN114587288A (zh) 一种睡眠监测方法、装置以及设备
GB2600126A (en) Improvements in or relating to wearable sensor apparatus
Sindhu et al. Emotion driven mood enhancing multimedia recommendation system using physiological signal
Gisler et al. Towards glaucoma detection using intraocular pressure monitoring
CN111265209A (zh) 一种基于心电图和脑电图来评判着装接触舒适度的方法
CN114903445A (zh) 一种心脑血管疾病智能监测预警系统
Zhai et al. User stress detection in human-computer interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant