CN113040771A - 情绪识别方法、系统、可穿戴设备及存储介质 - Google Patents

情绪识别方法、系统、可穿戴设备及存储介质 Download PDF

Info

Publication number
CN113040771A
CN113040771A CN202110227057.5A CN202110227057A CN113040771A CN 113040771 A CN113040771 A CN 113040771A CN 202110227057 A CN202110227057 A CN 202110227057A CN 113040771 A CN113040771 A CN 113040771A
Authority
CN
China
Prior art keywords
ppg pulse
pulse signal
preset
emotion
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110227057.5A
Other languages
English (en)
Other versions
CN113040771B (zh
Inventor
王晓强
王德信
付晖
王见荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Goertek Intelligent Sensor Co Ltd
Original Assignee
Qingdao Goertek Intelligent Sensor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Intelligent Sensor Co Ltd filed Critical Qingdao Goertek Intelligent Sensor Co Ltd
Priority to CN202110227057.5A priority Critical patent/CN113040771B/zh
Publication of CN113040771A publication Critical patent/CN113040771A/zh
Application granted granted Critical
Publication of CN113040771B publication Critical patent/CN113040771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Abstract

本发明公开了一种情绪识别方法、系统、可穿戴设备及存储介质，所述可穿戴设备内置心率传感器，所述方法包括：利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；提取处理后的PPG脉搏信号的信号参数；根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。本发明解决了现有基于PPG脉搏信号进行情绪识别，存在准确度低的问题的问题。

Description

情绪识别方法、系统、可穿戴设备及存储介质
技术领域
本发明涉及智能可穿戴设备领域，尤其涉及一种情绪识别方法、系统、可穿戴设备及计算机可读存储介质。
背景技术
随着生活水平的提高，人们的健康越来越受到关注，人体的情绪与神经系统、内分泌系统以及心血管系统等有着密切的联系，人体情绪具有反应迅速、复杂多变的特点，长期不良情绪会严重影响个人的生活、工作。可穿戴设备的便携性和低成本，使得智能手表、手环在近年来得到了普及，目前绝大多数的智能手表、手环都具有PPG(Photoplethysmography，利用光电容积描记)脉搏信号检测功能，通过从PPG脉搏信号中提取包含情绪信息的特征进行情绪识别。但在PPG信号采集过程中，信号可能受到相当程度的干扰，影响情绪识别的准确性和灵敏性。
发明内容
本发明的主要目的在于提出一种情绪识别方法、系统、可穿戴设备及计算机可读存储介质，旨在解决现有基于PPG脉搏信号进行情绪识别，存在准确度低的问题。
为实现上述目的，本发明提供一种情绪识别方法，应用于可穿戴设备，所述可穿戴设备内置心率传感器，所述情绪识别方法包括步骤：
利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
可选地，所述对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号的步骤包括：
对PPG脉搏信号进行滤波处理，获得滤波后的PPG脉搏信号；
对滤波后的PPG脉搏信号进行归一化处理，获得处理后的PPG脉搏信号。
可选地，所述根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格的步骤包括：
判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内；
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内，则确定处理后的PPG脉搏信号的质量合格。
可选地，所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层，所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元。
可选地，所述通过所述心率传感器采集预设时长的初始利用光电容积描记PPG脉搏信号的步骤之前还包括：
利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号；
对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号；
提取各情绪对应的候选PPG脉搏信号的信号参数；
根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件，从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本；
将训练样本对应的情绪标记为训练样本的实际标签；
将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中，输出训练样本的识别标签；
基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练，获得所述基于神经网络的情绪识别模型。
可选地，所述对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号的步骤包括：
对各情绪对应的PPG脉搏信号进行滤波和归一化处理，获得各情绪对应的候选PPG脉搏信号。
可选地，所述预设的损失函数为：
L＝-Yilogyi+(1-Yi)log(1-yi)，
其中，L表示所述损失函数，Yi表示训练样本的实际标签，yi表示训练样本的识别标签。
为实现上述目的，本发明还提供一种情绪识别系统，所述系统包括：
第一采集模块，用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
第二处理模块，用于对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
提取模块，用于提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
判断模块，用于根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
识别模块，用于当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
为实现上述目的，本发明还提供一种可穿戴设备，所述可穿戴设备包括心率传感器、存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的情绪识别方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的情绪识别方法的步骤。
本发明提出的一种情绪识别方法、系统、可穿戴设备及计算机可读存储介质，可穿戴设备通过利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。在采集的PPG脉搏信号输入至情绪识别模型进行识别前，先对采集的PPG脉搏信号进行质量检测，然后使用神经网络的方法对信号质量好的脉搏波信号进行情绪分类，相较于对未经过信号质量评估的脉搏波信号直接进行情绪分类识别，本发明分类识别准确度和灵敏性等均有提高。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明情绪识别方法第一实施例的流程示意图；
图3为本发明情绪识别方法第二实施例中步骤S20的细化流程示意图；
图4为本发明情绪识别方法第三实施例的流程示意图；
图5为本发明情绪识别系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，图1为本发明各个实施例中所提供的可穿戴设备的硬件结构示意图。所述可穿戴设备包括通信模块01、存储器02、处理器03及心率传感器04等部件。本领域技术人员可以理解，图1中所示出的可穿戴设备还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中，所述处理器03分别与所述存储器02和所述通信模块01连接，所述存储器02上存储有计算机程序，所述计算机程序同时被处理器03执行。
通信模块01，可通过网络与外部设备连接。通信模块01可以接收外部设备发出的数据，还可发送数据、指令及信息至所述外部设备，所述外部设备可以是手机、平板电脑、笔记本电脑和台式电脑等电子设备。
存储器02，可用于存储软件程序以及各种数据。存储器02可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格)等；存储数据区可存储根据可穿戴设备的使用所创建的数据或信息等。此外，存储器02可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器03，是可穿戴设备的控制中心，利用各种接口和线路连接整个可穿戴设备的各个部分，通过运行或执行存储在存储器02内的软件程序和/或模块，以及调用存储在存储器02内的数据，执行可穿戴设备的各种功能和处理数据，从而对可穿戴设备进行整体监控。处理器03可包括一个或多个处理单元；优选的，处理器03可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器03中。
心率传感器04，至少包括光信号发射器以及光信号接收器，用于通过PPG技术来获取PPG脉搏信号。
尽管图1未示出，但上述可穿戴设备还可以包括电路控制模块，电路控制模块用于与市电连接，实现电源控制，保证其他部件的正常工作。
本领域技术人员可以理解，图1中示出的可穿戴设备结构并不构成对可穿戴设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
根据上述硬件结构，提出本发明方法各个实施例。
参照图2，在本发明情绪识别方法的第一实施例中，应用于可穿戴设备，所述可穿戴设备内置心率传感器，所述情绪识别方法包括步骤：
步骤S10，利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
在本方案中，PPG(Photoplethysmography，利用光电容积描记)技术是进行人体运动心率的红外无损检测技术，它利用光电传感器检测经过人体血液和组织吸收后的反射光强度的不同，描记出血管容积在心动周期内的变化,从得到的脉搏波形中计算出心率。可穿戴设备内置有心率传感器，用于采集佩戴有可穿戴设备的用户的PPG脉搏信号。可穿戴设备通过心率传感器实时采集一段预设时长的PPG脉搏信号，该预设时长可以为5s、10s、30s、1min等，在此不对预设时长的具体数值进行限定。
步骤S20，对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
当采集到一段预设时长的PPG脉搏信号后，会采用带通滤波器对PPG脉搏信号进行高通滤波和/或低通滤波，将滤波后的PPG脉搏信号作为处理后的PPG脉搏信号。
步骤S30，提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
可穿戴设备会对处理后的PPG信号分别进行时分析域和频域分析，对应获得时域特征和频域特征，然后从时域特征和频域特征中获得PPG脉搏信号的信号参数，该信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比。信号的峰度，为信号的四阶矩阵，反映了信号概率密度函数的陡峭程度。信号的偏度，为信号的三阶矩阵，反映了信号概率密度函数的不对称程度，信号的最大波峰波谷幅度差值，是指信号的时域中各波峰和对应的相邻波谷间的幅度差值中的最大值。信号幅度最值比，是指信号的时域中最大幅度与最小幅度的比值。信号的低频占比。是指信号中1-1.25Hz频率的分量与信号中0-8Hz频率的分量间的比值。峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比的计算公式分别为：
Figure BDA0002956883710000061
Figure BDA0002956883710000071
F3＝max(x波峰-x波谷)，
F4＝xmax/xmin，
F5＝LF1-1.25/HF0-8，其中F1为峰度，F2为偏度，F3为最大波峰波谷幅度差值，F4为信号幅度最值比以及F5为低频占比。
步骤S40，根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
可穿戴设备中预先设置有评价信号质量合格或不合格的条件，可穿戴设备获得处理后的PPG脉搏信号的信号参数后，会根据预设条件和信号参数对处理后的PPG脉搏信号的质量是否合格进行评判。
具体的，步骤S40包括：
步骤S41，判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内；
步骤S42，若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内，则确定处理后的PPG脉搏信号的质量合格。
在本实施例中，分别判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值，该预设峰度阈值可以为100～130中任一值，优选120。判断处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值，该预设偏度阈值可以为15～25中任一值，优选为20。判断处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内，该第一预设区间的具体范围和心率传感器的工作电流有关，不同的工作电流，预先设置的第一预设区间也不同，若该心率传感器的工作电流为10mA，则第一预设区间可以为450～550。判断处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内，该第二预设区间的具体范围和心率传感器的工作电流有关，不同的工作电流，预先设置的第二预设区间也不同，若该心率传感器的工作电流为10mA，则第二预设区间可以为2～4。判断处理后的PPG脉搏信号的低频占比是否处于第三预设区间内，第三预设区间内可以为0.6～0.8。
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、偏度大于或等于预设偏度阈值、最大波峰波谷幅度差值处于第一预设区间内、幅度最值比处于第二预设区间内以及低频占比处于第三预设区间内，则确定处理后的PPG脉搏信号的质量合格。若是这5个信号参数中有任一个信号参数不符合预设的条件，则确定处理后的PPG脉搏信号的质量不合格。
需要说明的是，当处理后的PPG脉搏信号的质量不合格时，会舍弃这段PPG脉搏信号，返回执行步骤S10，即继续采集下一段预设时长的PPG脉搏信号。
步骤S50，当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
当确定处理后的PPG脉搏信号的质量合格时，将质量合格的处理后的PPG脉搏信号作为已经训练完成的基于神经网络的情绪识别模型的输入参数，输入至已经训练完成的基于神经网络的情绪识别模型中，依次经过模型中各卷积网络层的卷积、池化和激活函数计算等，最终由已经训练完成的基于神经网络的情绪识别模型输出情绪识别结果。
具体的，在一实施例中，所述基于神经网络的情绪识别模型包括依次连接的输入层、多层卷积网络层以及全连接层，卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元，输入层用于接收质量合格的处理后的PPG脉搏信号，全连接层用于识别输入的PPG脉搏信号对应的情绪，输出情绪识别结果，激活函数单元采用的激活函数可以是Relu函数、sigmod函数或其他激活函数，优选sigmod函数，在卷积网络层中加入正则化单元进行正则化操作，是为了防止卷积网络层过拟合。例如基于神经网络的情绪识别模型，该模型中的卷积网络层的数量为4，能够输出三种情绪识别结果，分别是平静、高兴和悲伤。
本实施例通过利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。在采集的PPG脉搏信号输入至情绪识别模型进行识别前，先对采集的PPG脉搏信号进行质量检测，然后使用神经网络的方法对信号质量好的脉搏波信号进行情绪分类，相较于对未经过信号质量评估的脉搏波信号直接进行情绪分类识别，本发明分类识别准确度和灵敏性等均有提高。
进一步地，请参照图3，图3为根据本申请情绪识别方法的第一实施例提出本申请情绪识别方法的第二实施例，在本实施例中，步骤S20包括：
步骤S21，对PPG脉搏信号进行滤波处理，获得滤波后的PPG脉搏信号；
步骤S22，对滤波后的PPG脉搏信号进行归一化处理，获得处理后的PPG脉搏信号。
对采集到的PPG脉搏信号进行滤波处理后，获得滤波后的PPG脉搏信号，然后将滤波后的PPG脉搏信号再进行归一化处理，获得归一化后的PPG脉搏信号，将归一化后的PPG脉搏信号作为处理后的PPG脉搏信号。
本实施例通过在对滤波后的PPG脉搏信号进行归一化处理，将所述PPG脉搏信号归一化0-1的范围内，从而减少基于神经网络的情绪识别模型的计算量和计算速度。
进一步地，请参照图4，图4为根据本申请情绪识别方法的第一实施例和第二实施例提出本申请情绪识别方法的第三实施例，在本实施例中，步骤S10之前还包括：
步骤S60，利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号；
步骤S61，对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号；
先通过心率传感器采集多种不同情绪分别对应的多个预设时长的PPG脉搏信号，对这些采集到的PPG脉搏信号进行滤波处理，获得滤波后的PPG脉搏信号，将这些滤波后的PPG脉搏信号作为候选PPG脉搏信号。
为了进一步减少训练过程中的计算量，除了进行滤波处理，还会进行归一化处理，即步骤S61包括：
步骤S611，对各情绪对应的PPG脉搏信号进行滤波和归一化处理，获得各情绪对应的候选PPG脉搏信号。
对这些采集到的各情绪分别对应的多个预设时长的PPG脉搏信号进行滤波处理后，会将这些滤波后的PPG脉搏信号再进行归一化处理，获得滤波归一化后的PPG脉搏信号，将滤波归一化后的PPG脉搏信号作为候选PPG脉搏信号。
步骤S62，提取各情绪对应的候选PPG脉搏信号的信号参数；
步骤S63，根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件，从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本；
步骤S64，将训练样本对应的情绪标记为训练样本的实际标签；
在获得各情绪对应的多个候选PPG脉搏信号后，会提取每个候选PPG脉搏信号的参数，然后根据预设条件和每个候选PPG脉搏信号的参数，对每个候选PPG脉搏信号的质量进行评定，具体评定过程与前述实施例的步骤S41-步骤S42相同，在此不再赘述。然后根据评定结果，筛选出质量合格的候选PPG脉搏信号作为训练样本。将这些训练样本各自对应的情绪标记为训练样本的实际标签。
例如待训练的情绪识别模型的目标是识别三种情绪状态，分别为平静、高兴和悲伤，会采集平静状态下多个预设时长的PPG脉搏信号、高兴状态下多个预设时长的PPG脉搏信号以及多个预设时长的PPG脉搏信号，将这些PPG脉搏信号分别进行滤波处理以及归一化处理，获得候选PPG脉搏信号，然后提取候选PPG脉搏信号的信号参数作为信号质量评价的依据，然后根据预设条件对候选的PPG脉搏信号进行质量评价，选出信号质量合格的候选PPG脉搏信号作为训练样本，若训练样本原本对应的情绪状态为平静，则标记该训练样本的实际标签为平静，可以用0表示，若训练样本原本对应的情绪状态为高兴，则标记该训练样本的实际标签为高兴，可以用1表示，若训练样本原本对应的情绪状态为悲伤，则标记该训练样本的实际标签为悲伤，可以用2表示。
步骤S65，将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中，输出训练样本的识别标签；
步骤S66，基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练，获得所述基于神经网络的情绪识别模型。
生成训练样本以及对训练样本的实际标签进行标记后，会将训练样本输入至预先构建的基于神经网络的情绪识别初始模型，输出训练样本的标识标签。然后根据预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练，直至训练误差小于预设误差阈值时停止训练，以得到所述基于卷积神经网络的情绪识别模型。在本实施例中，预设的训练参数包括循环次数和学习速率，预设的损失函数可以为均方误差损失函数、Hinge损失函数、感知损失函数或交叉损失函数等，预设的优化算法可以为梯度下降优化算法、RMSProp优化算法、Adam优化算法或动量Momentum优化算法等。
在一优选实施例中，选用二分类交叉熵损失函数和Adam优化算法，循环次数设置为N个epoch，学习速率设置为l，二分类交叉熵损失函数公式如下：
L＝-Yi logyi+(1-Yi)log(1-yi)，
其中，L表示所述损失函数，Yi表示训练样本的实际标签，yi表示训练样本的识别标签。
本实例获取用户真实情绪状态下的PPG脉搏信号，并从中筛选出质量合格的PPG脉搏信号作为训练样本，对构建的情绪识别模型进行训练，使得在后续实际使用过程中采用最终训练完成的情绪识别模型对待测的PPG脉搏信号进行情绪识别的准确率更高。
参见图5，本发明还提供一种情绪识别系统，包括：
第一采集模块10，用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
第一处理模块20，用于对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
第一提取模块30，用于提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
判断模块40，用于根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
识别模块50，用于当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
进一步，所述处理模块20包括：
滤波单元21，用于对PPG脉搏信号进行滤波处理，获得滤波后的PPG脉搏信号；
归一化22单元，用于对滤波后的PPG脉搏信号进行归一化处理，获得处理后的PPG脉搏信号。
进一步，所述判断模块40包括：
判断单元41，用于判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内；
确定单元42，用于若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内，则确定处理后的PPG脉搏信号的质量合格。
进一步，所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层，所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元。
进一步，所述情绪识别系统还包括：
第二采集模块60，用于利用所述心率传感器采集多个情绪分别对应的PPG脉搏信号；
第二处理模块61，用于对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号；
第二提取模块62，用于提取各情绪对应的候选PPG脉搏信号的信号参数；
筛选模块63，用于根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件，从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本；
标记模块64，用于将训练样本对应的情绪标记为训练样本的实际标签；
识别标签输出模块65，用于将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中，输出训练样本的识别标签；
训练模块66，用于基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练，获得所述基于神经网络的情绪识别模型。
进一步，所述第二处理模块61，还用于对各情绪对应的PPG脉搏信号进行滤波和归一化处理，获得各情绪对应的候选PPG脉搏信号。
进一步，所述预设的损失函数为：
L＝-Yi logyi+(1-Yi)log(1-yi)，
其中，L表示所述损失函数，Yi表示训练样本的实际标签，yi表示训练样本的识别标签。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序。所述计算机可读存储介质可以是图1的可穿戴设备中的存储器02，也可以是如ROM(Read-Only Memory，只读存储器)/RAM(Random Access Memory，随机存取存储器)、磁碟、光盘中的至少一种，所述计算机可读存储介质包括若干信息用以使得可穿戴设备执行本发明各个实施例所述的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种情绪识别方法，其特征在于，应用于可穿戴设备，所述可穿戴设备内置心率传感器，所述情绪识别方法包括步骤：
利用所述心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
2.根据权利要求1所述的情绪识别方法，其特征在于，所述对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号的步骤包括：
对PPG脉搏信号进行滤波处理，获得滤波后的PPG脉搏信号；
对滤波后的PPG脉搏信号进行归一化处理，获得处理后的PPG脉搏信号。
3.根据权利要求2所述的情绪识别方法，其特征在于，所述根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格的步骤包括：
判断处理后的PPG脉搏信号的峰度是否大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度是否大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值是否处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比是否处于第二预设区间内和处理后的PPG脉搏信号的低频占比是否处于第三预设区间内；
若处理后的PPG脉搏信号的峰度大于或等于预设峰度阈值、处理后的PPG脉搏信号的偏度大于或等于预设偏度阈值、处理后的PPG脉搏信号的最大波峰波谷幅度差值处于第一预设区间内、处理后的PPG脉搏信号的信号幅度最值比处于第二预设区间内以及处理后的PPG脉搏信号的低频占比处于第三预设区间内，则确定处理后的PPG脉搏信号的质量合格。
4.根据权利要求3所述的情绪识别方法，其特征在于，所述基于神经网络的情绪识别模型的包括依次连接的输入层、多层卷积网络层以及全连接层，所述卷积网络层包括依次连接的卷积单元、池化单元、激活函数单元和正则化单元。
5.根据权利要求1至4中任一项所述的情绪识别方法，其特征在于，所述通过所述心率传感器采集预设时长的初始利用光电容积描记PPG脉搏信号的步骤之前还包括：
利用所述心率传感器采集不同情绪对应的多个预设时长的PPG脉搏信号；
对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号；
提取各情绪对应的候选PPG脉搏信号的信号参数；
根据各情绪对应的候选PPG脉搏信号的信号参数和预设条件，从各情绪对应的候选PPG脉搏信号中筛选质量合格的各情绪对应的候选PPG脉搏信号作为训练样本；
将训练样本对应的情绪标记为训练样本的实际标签；
将训练样本输入至预先构建的基于神经网络的情绪识别初始模型中，输出训练样本的识别标签；
基于预设的损失函数、预设的训练参数、预设的误差阈值、预设的优化算法、训练样本的实际标签和识别标签对基于神经网络的情绪识别初始模型进行迭代训练，获得所述基于神经网络的情绪识别模型。
6.根据权利要求5所述的情绪识别方法，其特征在于，所述对各情绪对应的PPG脉搏信号进行滤波处理，获得各情绪对应的候选PPG脉搏信号的步骤包括：
对各情绪对应的PPG脉搏信号进行滤波和归一化处理，获得各情绪对应的候选PPG脉搏信号。
7.根据权利要求6所述的情绪识别方法，其特征在于，所述预设的损失函数为：
L＝-Yilogyi+(1-Yi)log(1-yi)，
其中，L表示所述损失函数，Yi表示训练样本的实际标签，yi表示训练样本的识别标签。
8.一种情绪识别系统，其特征在于，所述情绪识别系统包括：
第一采集模块，用于利用心率传感器采集预设时长的利用光电容积描记PPG脉搏信号；
第一处理模块，用于对PPG脉搏信号进行滤波处理，获得处理后的PPG脉搏信号；
第一提取模块，用于提取处理后的PPG脉搏信号的信号参数，其中，所述信号参数包括峰度、偏度、最大波峰波谷幅度差值、信号幅度最值比和低频占比；
判断模块，用于根据处理后的PPG脉搏信号的信号参数和预设条件，判断处理后的PPG脉搏信号的质量是否合格；
识别模块，用于当处理后的PPG脉搏信号的质量合格时，将处理后的PPG脉搏信号输入至基于神经网络的情绪识别模型中，输出情绪识别结果。
9.一种可穿戴设备，其特征在于，所述可穿戴设备包括心率传感器、存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的情绪识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的情绪识别方法的步骤。
CN202110227057.5A 2021-03-01 2021-03-01 情绪识别方法、系统、可穿戴设备及存储介质 Active CN113040771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227057.5A CN113040771B (zh) 2021-03-01 2021-03-01 情绪识别方法、系统、可穿戴设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227057.5A CN113040771B (zh) 2021-03-01 2021-03-01 情绪识别方法、系统、可穿戴设备及存储介质

Publications (2)

Publication Number Publication Date
CN113040771A true CN113040771A (zh) 2021-06-29
CN113040771B CN113040771B (zh) 2022-12-23

Family

ID=76509708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227057.5A Active CN113040771B (zh) 2021-03-01 2021-03-01 情绪识别方法、系统、可穿戴设备及存储介质

Country Status (1)

Country Link
CN (1) CN113040771B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644872A (zh) * 2022-10-26 2023-01-31 广州建友信息科技有限公司 一种情绪识别方法、装置及介质
CN116746927A (zh) * 2023-05-18 2023-09-15 中国人民解放军海军特色医学中心 一种密闭舱水下作业时水下作业人员状态调节方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378965A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor
CN108633249A (zh) * 2017-01-25 2018-10-09 华为技术有限公司 一种生理信号质量判断方法及装置
CN109561222A (zh) * 2017-09-27 2019-04-02 华为终端（东莞）有限公司 一种语音数据的异常检测方法及装置
CN110090024A (zh) * 2018-01-30 2019-08-06 深圳创达云睿智能科技有限公司 一种功率控制方法、系统及穿戴设备
CN110974189A (zh) * 2019-10-25 2020-04-10 广州视源电子科技股份有限公司 脉搏波的信号质量检测方法及装置、设备、系统
CN111419250A (zh) * 2020-04-08 2020-07-17 恒爱高科(北京)科技有限公司 一种基于脉搏波的情绪识别方法
US20200294670A1 (en) * 2019-03-13 2020-09-17 Monsoon Design Studios LLC System and method for real-time estimation of emotional state of user
CN111839488A (zh) * 2020-07-15 2020-10-30 复旦大学 基于脉搏波的无创连续血压测量装置和方法
CN112294281A (zh) * 2019-07-30 2021-02-02 深圳迈瑞生物医疗电子股份有限公司 规则性评价信息的提示方法、监护设备及监护系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160378965A1 (en) * 2015-06-26 2016-12-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor
CN108633249A (zh) * 2017-01-25 2018-10-09 华为技术有限公司 一种生理信号质量判断方法及装置
CN109561222A (zh) * 2017-09-27 2019-04-02 华为终端（东莞）有限公司 一种语音数据的异常检测方法及装置
CN110090024A (zh) * 2018-01-30 2019-08-06 深圳创达云睿智能科技有限公司 一种功率控制方法、系统及穿戴设备
US20200294670A1 (en) * 2019-03-13 2020-09-17 Monsoon Design Studios LLC System and method for real-time estimation of emotional state of user
CN112294281A (zh) * 2019-07-30 2021-02-02 深圳迈瑞生物医疗电子股份有限公司 规则性评价信息的提示方法、监护设备及监护系统
CN110974189A (zh) * 2019-10-25 2020-04-10 广州视源电子科技股份有限公司 脉搏波的信号质量检测方法及装置、设备、系统
CN111419250A (zh) * 2020-04-08 2020-07-17 恒爱高科(北京)科技有限公司 一种基于脉搏波的情绪识别方法
CN111839488A (zh) * 2020-07-15 2020-10-30 复旦大学 基于脉搏波的无创连续血压测量装置和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115644872A (zh) * 2022-10-26 2023-01-31 广州建友信息科技有限公司 一种情绪识别方法、装置及介质
CN116746927A (zh) * 2023-05-18 2023-09-15 中国人民解放军海军特色医学中心 一种密闭舱水下作业时水下作业人员状态调节方法及系统
CN116746927B (zh) * 2023-05-18 2024-04-23 中国人民解放军海军特色医学中心 一种密闭舱水下作业时水下作业人员状态调节方法及系统

Also Published As

Publication number Publication date
CN113040771B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN113040771B (zh) 情绪识别方法、系统、可穿戴设备及存储介质
Page et al. Utilizing deep neural nets for an embedded ECG-based biometric authentication system
Zhang et al. ECG quality assessment based on a kernel support vector machine and genetic algorithm with a feature matrix
CN113397555A (zh) 生理参数监测用c-lstm的心率失常分类算法
CN110516593A (zh) 一种情绪预测装置、情绪预测方法及显示装置
CN112587153B (zh) 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法
Halkias et al. Classification of mysticete sounds using machine learning techniques
CN111345817B (zh) Qrs波群位置确定方法、装置、设备及存储介质
CN107468260A (zh) 一种判断动物心理状态的脑电分析装置及分析方法
CN112057066A (zh) 心率的检测方法、可穿戴设备及计算机存储介质
CN111291727A (zh) 一种光体积变化描记图法信号质量检测方法和装置
CN110070893A (zh) 一种利用婴儿哭声进行情感分析的系统、方法和装置
CN115702782A (zh) 基于深度学习的心率检测方法及可穿戴设备
CN108338777A (zh) 一种脉搏信号检测分析方法及装置
CN107894837A (zh) 动态情感分析模型样本处理方法及装置
CN110522443A (zh) 基于心电信号的房室传导阻滞检测方法、装置和电子设备
KR101829099B1 (ko) 유전 알고리즘 기반의 특징 선택을 이용한 사용자 독립적 행동 인식 방법
CN115120236A (zh) 情绪识别方法、装置、可穿戴设备及存储介质
CN113288134A (zh) 用于训练血糖分类模型的方法、装置、手环设备及处理器
CN113397563A (zh) 抑郁分类模型的训练方法、装置、终端及介质
CN113288090A (zh) 血压预测方法、系统、设备及存储介质
CN113095153A (zh) 基于深度残差网络的移动终端人类情境识别方法
CN114652280A (zh) 睡眠质量监测系统及方法
CN113143204A (zh) 心电信号质量评估方法、计算机装置和存储介质
CN110292388A (zh) 一种认知负荷与心理压力的测量方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant