CN115240241A - 针对路桥工程场景的情绪识别方法及装置 - Google Patents

针对路桥工程场景的情绪识别方法及装置 Download PDF

Info

Publication number
CN115240241A
CN115240241A CN202210465023.4A CN202210465023A CN115240241A CN 115240241 A CN115240241 A CN 115240241A CN 202210465023 A CN202210465023 A CN 202210465023A CN 115240241 A CN115240241 A CN 115240241A
Authority
CN
China
Prior art keywords
face
emotion recognition
emotion
signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210465023.4A
Other languages
English (en)
Inventor
李健
张立兵
汤瑞
王贺华
杨东东
李志尚
李景春
李桢旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210465023.4A priority Critical patent/CN115240241A/zh
Publication of CN115240241A publication Critical patent/CN115240241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Dermatology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种针对路桥工程场景的情绪识别方法及装置，涉及情绪识别技术领域。本发明将获取的用户的面部视频和生理信息经过预处理之后进行特征提取得到用户的面部运动单元和生理特征；然后选择用户的面部运动单元和生理特征的最优特征子集并进行融合，最后基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，以此获取用户的情绪状态识别结果。相比于现有技术，本发明的情绪识别体系更加可靠、鲁棒性好，可实现路桥工程复杂环境下用户的多层次、全方位、稳定的情绪识别。

Description

针对路桥工程场景的情绪识别方法及装置
技术领域
本发明涉及情绪识别技术领域，具体涉及一种针对路桥工程场景的情绪识别方法及装置。
背景技术
情绪不仅会对人的生理健康产生巨大影响，还会对生活和工作产生大幅度的影响。由于路桥工程工作压力大且要求员工情绪稳定等特点，路桥工程场景中工作人员的情绪控制尤其重要，一旦工作人员情绪不稳定，轻则影响到工作人员自身的身心健康，重则影响到路桥工程工作的持续稳定推进，且一旦工作人员情绪失控，极易引发重大事故，所以亟需提出一种可以准确、有效地针对路桥工程场景中工作人员的情绪识别技术。
传统的情绪识别方法大多数仅仅关注于面部表情或语音信号等单一身体信号进行待测者的情绪识别，且大多专注于待测者的面部表情、语音等非接触式的身体信号进行识别。
然而，路桥工作场景一般是高噪声、高温度、高湿度的复杂施工场景，路桥工作人员的面部表情、语音信号无法准确、稳定的获取，如果没有其他可靠信息作为补充，则待测者的情绪识别将会出现很大误差甚至错误；另外，路桥工作人员由于各种原因会自行控制、隐藏自己的真实情绪，在无其他稳定的接触式信息(如路桥工作人员的生理信息)进行检验和融合时，仅仅依靠单模态的非接触式信息进行情绪识别，也同样会出现较大的误差。可见，传统的情绪识别方法并不适用于在路桥工程场景中对路桥工作人员进行情绪识别。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种针对路桥工程场景的情绪识别方法及装置，解决了现有技术在路桥工程场景中对路桥工作人员进行情绪识别存在精准度低的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，本发明首先提出了一种针对路桥工程场景的情绪识别方法，所述方法包括:
获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
优选的，所述获取用户的面部视频和生理信息并进行预处理包括：
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号；所述生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号；
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集；
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
优选的，所述获取所述面部运动单元和所述生理特征的最优特征子集包括：利用随机森林模型获取所述面部运动单元和所述生理特征的最优特征子集。
优选的，所述动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道特征的逆向推理机制。
第二方面，本发明还提出了一种针对路桥工程场景的情绪识别装置，所述装置包括：
信号获取和特征提取模块，用于获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
最优特征子集获取和融合模块，用于获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
情绪状态识别模块，用于基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
优选的，所述信号获取和特征提取模块获取用户的面部视频和生理信息并进行预处理包括：
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号；所述生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号；
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集；
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
优选的，所述最优特征子集获取和融合模块获取所述面部运动单元和所述生理特征的最优特征子集包括：利用随机森林模型获取所述面部运动单元和所述生理特征的最优特征子集。
优选的，所述情绪状态识别模块中动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道特征的逆向推理机制。
第三方面，本发明还提出了一种计算机可读存储介质，其存储用于针对路桥工程场景的情绪识别的计算机程序，其中，所述计算机程序使得计算机执行如上述所述的针对路桥工程场景的情绪识别方法。
第四方面，本发明还提出了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述所述的针对路桥工程场景的情绪识别方法。
(三)有益效果
本发明提供了一种针对路桥工程场景的情绪识别方法及装置。与现有技术相比，具备以下有益效果：
1、本发明将获取的用户的面部视频和生理信息经过预处理之后进行特征提取得到用户的面部运动单元和生理特征；然后选择用户的面部运动单元和生理特征的最优特征子集，并进行融合，最后基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，以此获取用户的情绪状态识别结果。本发明将用户的面部视频和接触式生理信息等多维度的特征进行特征融合，以实现路桥工程复杂场景下用户的情绪识别，相比于现有技术，本发明的情绪识别体系更加可靠、鲁棒性好，可实现路桥工程复杂环境下用户的多层次、全方位、稳定的情绪识别。
2、本发明充分利用用户面部运动单元、心率变异性、呼吸变异性和皮肤电等多模、异构、多维的身体和信号进行情绪识别，多层次、全方位的保证了用户情绪识别的准确性。
3、本发明构建以用户面部可见光视频的非接触式数据为主、以接触式生理信号数据为校验补偿的情绪识别架构，以及基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型，增强了情绪识别模型的稳定性和鲁棒性，能够实现在路桥工程复杂场景下施工人员的情绪识别和监测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种针对路桥工程场景的情绪识别方法的流程图；
图2为本发明中针对路桥工程场景的情绪识别方法的实施例图；
图3为本发明实施例中面部运动单元提取的示意图；
图4为本发明实施例中u-net深度神经网络架构图；
图5为本发明实施例中随机森林模型示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种针对路桥工程场景的情绪识别方法及装置，解决了现有技术在路桥工程场景中对路桥工作人员进行情绪识别存在精准度低的问题，实现了对复杂场景下施工人员的高可靠、多层次、全方位的情绪识别。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
为了能够多层次、全方位、稳定的对路桥工程复杂场景下的施工人员进行情绪识别，本发明首先获取用户的面部视频和生理信息并进行预处理，并提取出用户的面部运动单元和生理特征；然后选出用户的面部运动单元和生理特征的最优特征子集，并利用基于深度神经网络和迁移学习的特征校验与融合机制融合最优特征子集；最后基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取最优特征子集与情绪分量之间的映射关系，并基于该映射关系获取用户的情绪状态识别结果。本发明可实现路桥工程等复杂场景下施工人员的精准情绪识别，且可靠性高。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明提出的针对路桥工程场景的情绪识别方法，不仅仅局限于路桥工程复杂场景下路桥工作人员的情绪识别，还可以针对其它诸如高噪声、高温度、高湿度的复杂环境下工作人员的情绪识别。
实施例1：
第一方面，本发明首先提出了一种针对路桥工程场景的情绪识别方法，参见图1-2，该方法包括：
S1、获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
S2、获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
S3、基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
可见，本实施例将获取的用户的面部视频和生理信息经过预处理之后进行特征提取得到用户的面部运动单元和生理特征；然后选择用户的面部运动单元和生理特征的最优特征子集，并进行融合，最后基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，以此获取用户的情绪状态识别结果。本发明将用户的面部视频和接触式生理信息等多维度的特征进行特征融合，以实现路桥工程复杂场景下用户的情绪识别，相比于现有技术，本发明的情绪识别体系更加可靠、鲁棒性好，可实现路桥工程复杂环境下用户的多层次、全方位、稳定的情绪识别。
下面以路桥工程复杂场景下施工人员的情绪监测为例，结合对附图1-5以及对S1-S3具体步骤的解释，来详细说明本发明一个实施例的实现过程。
S1、获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征。
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号，其中，用户的生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号。
在针对路桥工程场景下的用户进行情绪识别时，使用摄像头捕捉用户的面部视频，同时利用手环记录用户的生理信号，然后分别对获取的用户的原始面部视频和生理信号进行预处理，然后基于预处理后的用户的面部视频和生理信号进行特征提取。具体的：
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集。
面部视频预处理。
在面部视频的预处理过程中，首先需要对面部视频片段进行预处理，利用面部特征点定位和人脸检测算法从视频序列中检测人脸，利用Dlib面部特征点定位模型，以及运用基于高斯差分滤波器提出的面部边缘监测机制，对视频中的人脸进行裁剪，将人脸从背景图片中分割出来并完成人脸校准、对齐、补光等一系列操作，得到高清人脸图像集。
面部运动单元(AU)的提取。研究基于对抗学习机制的数据增强算法，创新基于LBP-TOP的眼动轨迹、头部位姿、微表情等面部特征分析方法以及可视化特征标定技术，充分发挥多任务学习的优势，进而设计用于挖掘AU运动单元卷积特征图流及光流信息的深度双流神经网络模型，如图3所示。同时针对传统算法中人脸运动单元区域难以定位的问题，创新研制基于U-NET的深度面部分割网络，参见图4，该分割网络由系列Aures-block注意力残差块组成，此设计可以将输入信息直接传输到后续层中，避免了由于网络层的堆叠导致的梯度消失问题。因为AU运动单元的提取是针对面部特定区域的(例如眼睛、嘴巴等区域)，使用基于U-NET的深度面部分割网络可以将这些区域分割出来。后续使用深度双流神经模型从这些被分割的面部区域中可以提取出AU运动单元的信息。在此过程中，U-NET解决的主要是运动单元难定位的问题，使用U-NET进行分割后，使用深度双流网络模型提取AU运动单元时就不需要额外再进行人脸运动单元区域的定位了。此外，设计block块中输入、输出信息加权融合方式，采用注意力机制增强特征图中的面部空间特征的自学习，从而能够精准的提取出16个面部运动单元(AUs)的信息。在利用上述方法得到AUs的值后，为了避免特征值过大或者过小，首先使用min-max归一化对值进行归一化。最后为了减少其他无关特征的干扰，使得相应的特征更加突出，对归一化的结果进行平方，从而实现更准确的分类。具体过程可参见如下公式：
Figure BDA0003623573970000091
由于每种情绪状态会对应多种AU运动单元，为了更加准确的进行情绪识别，通过分析不同情绪与AU运动单元之间的联系，将16个AUs组合为6种组合，我们可以通过下式得到组合的特征值：
Figure BDA0003623573970000092
其中，m表示各个AU运动单元组合中AU运动单元的个数。其中，k表示6种AU运动组合中的第k个，AUi'表示每个组合中AU运动单元的数值。
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
接触式特征的提取。情绪是自身对由刺激引发的循环系统、消化系统、内分泌系统、交感神经系统等机体变化的一种体验和感觉。因此，可以通过分析与每种情绪相关的生理变化的模式来检测情绪。同时，由于伴随情绪的生理变化具有自主性，不受主观意念控制，所以相关生理信号可以作为辅助手段以进行情绪识别。
心率变异性的提取。从接触式设备中提取PPG信号。为了更好的提取情绪相关特征，需要对采集的原始PPG信号进行预处理。预处理过程主要包括消除信号的趋势项以及去除低频和高频的干扰信号。
由于采集设备等因素会导致信号产生零点漂移，往往会使信号偏离基线，甚至偏离基线的大小还会随时间变化。偏离基线随时间变化的整个过程被称为信号的趋势项。而趋势项会影响信号的质量和正确性，因此需要利用去趋势操作将PPG信号中的趋势项进行消除。
另外，人类正常的心率为45-200bpm，相应的频带为0.75-3.33Hz，在这个频带之外会存在一些低频和高频的干扰信号，这些信号的存在会对心率变异性的提取产生较大的干扰。我们通过快速傅里叶变换(FFT)将时域信号变换到频域。然后利用带通滤波器将频率值在0.75-3.33Hz之内的数据保留，并将0.75-3.33Hz之外的数值归零。利用这种方法一方面可以消除噪声频率，另一方面可以将时域信号变换为频域信号，提取与情绪识别有关的频域信息。
在对信号进行预处理后，从获得的PPG信号中提取与情绪识别相关的时域和频域指标以用于后续状态识别。
呼吸变异性的提取。正常人的呼吸信号频率为0-0.35Hz，呼吸信号在采集过程中会受到，工频等高频噪声以及肌电干扰等影响。因此根据呼吸信号的频率范围选用巴特沃斯低通滤波器去除干扰，其截至频率为0.4Hz，在进行滤波后可以获得相对纯净的信号。从中可以提取出与情绪识别相关的呼吸变异性指标以用于后续状态识别。巴特沃斯滤波器定义为：
Figure BDA0003623573970000101
其中，ωp和ω为通带上限、下限的截止频率，N为巴特沃斯滤波器的阶数。通常，选择通带允许的最大衰减为3dB，此时ε＝1。
皮肤电信号的处理。皮肤电信号是一种微弱的人体生物电信号，采集过程中易受电磁信号、电极与皮肤接触时噪声、实验中工频和运动伪迹等因素干扰。这些因素都有可能使皮肤电信号被淹没，对后续特征提取过程产生不利影响。
人体皮肤电信号的有效频率范围在0.02～0.20Hz内，低于大多数干扰信号频率，不会与噪声等其他生理信号频谱发生重叠，所以噪声和SCR反应信号的频带是分开的，因此可利用巴特沃斯低通滤波器去除皮肤电信号频带外噪声，消除高频的干扰，高频成分信号去除也是信号平滑处理的一部分。通过巴特沃斯低通滤波器可以让无用的噪声信号最大程度去除，最终得到纯净的皮肤电信号。然后从纯净的皮肤电信号可以提取出与情绪识别相关的皮肤电指标以用于后续状态识别。
S2、获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集。
由于现实情况下一个数据集中往往有成百上千个特征，在其中选择对结果影响最大的那几个特征，可以缩减建立模型时的特征数来简化模型的建立，消除冗余数据带来的繁杂计算。本实施例中，我们通过随机森林来对上述特征进行筛选，随机森林模型如图5所示。
1)计算基尼指数(Gini index)。假设有c个特征X1,X2,X3,...,Xc，现在需要计算出每个特征Xj的Gini指数。其计算公式如下：
Figure BDA0003623573970000111
其中，M表示类别数，pcm表示节点c中类别m所占的比例。直观地说，就是随机从节点c中抽取两个样本，其类别标记不一致的概率。
2)计算变量重要性评分。特征Xj在节点c的重要性，即节点c分值前后的Gini指数变化量为：
Figure BDA0003623573970000112
其中，Gl和Gr分别表示分值之前后两个新节点的Gini指数。如果，特征Xj在决策树中出现的节点为集合C，那么Xj在第i颗树的重要性为：
Figure BDA0003623573970000113
假设，随机森林中共有n颗树，那么
Figure BDA0003623573970000121
最后，把所有求得的重要性评分进行归一化处理。
Figure BDA0003623573970000122
3)最优特征子集选择。通过设置一个合适的阈值，将大于该阈值条件下的特征全部选择出来，即为最优特征子集，并应用于情绪识别。
4)特征校验与融合。获取到面部运动单元、接触式生理特征(心率变异性、呼吸变异性、皮肤电等)后，构建以面部可见光视频的非接触式数据为主、以接触式生理信号数据为校验补偿的情绪识别体系。通过模型融合、统一建模等多样化组合建模方式，建立基于深度神经网络和迁移学习的数据层、语义层特征校验与融合机制，将上述选择出的最优特征子集通过该特征校验与融合机制进行校验个融合
S3、构建基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型，基于所述模型获取融合后的最优特征子集与POMS情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
在对用户的面部运动单元和接触式生理参数进行特征提取和融合之后，为了克服已有情绪识别模型鲁棒性低、计算成本高等问题，以及提升情绪识别的准确性与可解释性，在动态贝叶斯网络的基础之上，增加了一个多通道特征的逆向推理过程，从而构建了基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别架构，以探寻POMS情绪分量与非接触式及接触式数据特征之间的对应关系，从而可以得到鲁棒性更高的模型，不断提升情绪识别的准确性与可解释性。具体的，将融合的非接触式和接触式数据为输入到动态贝叶斯网络中，输POMS情绪分量作为一个情绪识别的结果，而增加一个逆向的推理过程就是以POMS情绪分量作为输入，以识别出POMS情绪分量和接触式和非接触式数据特征的对应关系。
最终，基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别架构模型经过训练之后，我们以输入该模型的非接触式及接触式数据特征所对应的POMS情绪分量作为用户的情绪状态识别结果。
至此，则完成了本发明一种针对路桥工程场景的情绪识别方法的全部过程。
另外，本发明的技术方案不仅适用于路桥工程复杂场景下施工人员的情绪识别，同样适用于其它长期处于高噪声、高温度、高湿度的复杂环境下的施工人员的情绪识别，在弱干扰条件下收集施工人员的面部视频和接触式生理信息。通过对受试者面部视频进行预处理，利用深度面部分割网络提取受试者的面部运动单元信息。在对接触式生理信息进行预处理后，提取心率变异性、呼吸变异性以及皮肤电等多维度信息，在对多维度信息进行降维和融合后，识别受试者的情绪状态，构建起高可靠、多层次、全方位的情绪识别体系，即可实现复杂环境下稳定、鲁棒的受试者情绪识别。
实施例2：
第二方面，本发明还提供了一种针对路桥工程场景的情绪识别装置，该装置包括：
信号获取和特征提取模块，用于获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
最优特征子集获取和融合模块，用于获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
情绪状态识别模块，用于基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
可选的，所述信号获取和特征提取模块获取用户的面部视频和生理信息并进行预处理包括：
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号；所述生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号；
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集；
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
可选的，所述最优特征子集获取和融合模块获取所述面部运动单元和所述生理特征的最优特征子集包括：利用随机森林模型获取所述面部运动单元和所述生理特征的最优特征子集。
可选的，所述情绪状态识别模块中动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道特征的逆向推理机制。
可理解的是，本发明实施例提供的针对路桥工程场景的情绪识别装置与上述针对路桥工程场景的情绪识别方法相对应，其有关内容的解释、举例、有益效果等部分可以参照针对路桥工程场景的情绪识别方法中的相应内容，此处不再赘述。
实施例3：
第三方面，本发明还提出了一种计算机可读存储介质，其存储用于针对路桥工程场景的情绪识别的计算机程序，其中，所述计算机程序使得计算机执行如上所述的针对路桥工程场景的情绪识别方法。
实施例4：
第四方面，本发明还提出了一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权上所述的针对路桥工程场景的情绪识别方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明将获取的用户的面部视频和生理信息经过预处理之后进行特征提取得到用户的面部运动单元和生理特征；然后选择用户的面部运动单元和生理特征的最优特征子集，并进行融合，最后基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，以此获取用户的情绪状态识别结果。本发明将用户的面部视频和接触式生理信息等多维度的特征进行特征融合，以实现路桥工程复杂场景下用户的情绪识别，相比于现有技术，本发明的情绪识别体系更加可靠、鲁棒性好，可实现路桥工程复杂环境下用户的多层次、全方位、稳定的情绪识别。
2、本发明充分利用用户面部运动单元、心率变异性、呼吸变异性和皮肤电等多模、异构、多维的身体和信号进行情绪识别，多层次、全方位的保证了用户情绪识别的准确性。
3、本发明构建以用户面部可见光视频的非接触式数据为主、以接触式生理信号数据为校验补偿的情绪识别架构，以及基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型，增强了情绪识别模型的稳定性和鲁棒性，能够实现在路桥工程复杂场景下施工人员的情绪识别和监测。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种针对路桥工程场景的情绪识别方法，其特征在于，所述方法包括:
获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
2.如权利要求1所述的方法，其特征在于，所述获取用户的面部视频和生理信息并进行预处理包括：
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号；所述生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号；
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集；
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
3.如权利要求1所述的方法，其特征在于，所述获取所述面部运动单元和所述生理特征的最优特征子集包括：利用随机森林模型获取所述面部运动单元和所述生理特征的最优特征子集。
4.如权利要求1所述的方法，其特征在于，所述动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道特征的逆向推理机制。
5.一种针对路桥工程场景的情绪识别装置，其特征在于，所述装置包括：
信号获取和特征提取模块，用于获取用户的面部视频和生理信息并进行预处理，并基于预处理后的面部视频利用基于U-NET的深度面部分割网络提取用户的面部运动单元，基于预处理后的生理信息提取用户的生理特征；
最优特征子集获取和融合模块，用于获取所述面部运动单元和所述生理特征的最优特征子集，并基于深度神经网络和迁移学习的特征校验与融合机制融合所述最优特征子集；
情绪状态识别模块，用于基于动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型获取融合后的最优特征子集与情绪分量之间的映射关系，并基于所述映射关系获取用户的情绪状态识别结果。
6.如权利要求5所述的装置，其特征在于，所述信号获取和特征提取模块获取用户的面部视频和生理信息并进行预处理包括：
S11、利用摄像头捕捉用户的面部视频，利用手环记录用户的生理信号；所述生理信号包括：心率变异性信号、呼吸变异性信号和皮肤电信号；
S12、利用面部特征点定位和人脸检测算法从视频序列中检测人脸，再利用Dlib面部特征点定位模型和基于高斯差分滤波器的面部边缘监测机制对视频中的人脸进行裁剪，得到高清人脸图像集；
S13、对所述心率变异性信号进行去趋势项操作和快速傅里叶变换，得到与情绪识别有关的所述心率变异性信号的时域和频域指标；利用巴特沃斯低通滤波器分别去除所述呼吸变异性信号和所述皮肤电信号的干扰信号，以获取与情绪识别有关的与情绪识别相关的呼吸变异性指标和皮肤电指标。
7.如权利要求5所述的装置，其特征在于，所述最优特征子集获取和融合模块获取所述面部运动单元和所述生理特征的最优特征子集包括：利用随机森林模型获取所述面部运动单元和所述生理特征的最优特征子集。
8.如权利要求5所述的装置，其特征在于，所述情绪状态识别模块中动态贝叶斯网络的多通道特征逆向推理与可解释性情绪识别模型为在动态贝叶斯网络中增加了一个多通道特征的逆向推理机制。
9.一种计算机可读存储介质，其特征在于，其存储用于针对路桥工程场景的情绪识别的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的针对路桥工程场景的情绪识别方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-4任一项所述的针对路桥工程场景的情绪识别方法。
CN202210465023.4A 2022-04-29 2022-04-29 针对路桥工程场景的情绪识别方法及装置 Pending CN115240241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210465023.4A CN115240241A (zh) 2022-04-29 2022-04-29 针对路桥工程场景的情绪识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210465023.4A CN115240241A (zh) 2022-04-29 2022-04-29 针对路桥工程场景的情绪识别方法及装置

Publications (1)

Publication Number Publication Date
CN115240241A true CN115240241A (zh) 2022-10-25

Family

ID=83668074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210465023.4A Pending CN115240241A (zh) 2022-04-29 2022-04-29 针对路桥工程场景的情绪识别方法及装置

Country Status (1)

Country Link
CN (1) CN115240241A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036877A (zh) * 2023-07-18 2023-11-10 六合熙诚(北京)信息科技有限公司 一种人脸表情及姿态融合的情绪识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036877A (zh) * 2023-07-18 2023-11-10 六合熙诚(北京)信息科技有限公司 一种人脸表情及姿态融合的情绪识别方法及系统

Similar Documents

Publication Publication Date Title
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN109497990B (zh) 一种基于典型相关分析的心电信号身份识别方法及系统
Luque et al. End-to-end photopleth YsmographY (PPG) based biometric authentication by using convolutional neural networks
CN111920420A (zh) 一种基于统计学习的患者行为多模态分析与预测系统
CN115329818A (zh) 基于vr的多模态融合注意力评估方法、系统及存储介质
Li et al. Verification based ECG biometrics with cardiac irregular conditions using heartbeat level and segment level information fusion
CN115240241A (zh) 针对路桥工程场景的情绪识别方法及装置
CN115937953A (zh) 心理变化检测方法、装置、设备及存储介质
CN116992421A (zh) 基于注意力增强的多分支卷积神经网络的ecg身份识别方法
CN115089179A (zh) 一种心理情绪洞察分析方法及系统
Wang ReNN: Rule-embedded neural networks
EP4278351A1 (en) Speech-analysis based automated physiological and pathological assessment
CN113887365A (zh) 一种基于多模态数据融合的特殊人员情感识别方法及系统
CN109919050B (zh) 身份识别方法和装置
Rasheed et al. Classification of hand-grasp movements of stroke patients using eeg data
CA3139034A1 (en) System and method for filtering time-varying data for physiological signal prediction
Lobabi-Mirghavami et al. A novel grammar-based approach to atrial fibrillation arrhythmia detection for pervasive healthcare environments
He et al. HMT: An EEG Signal Classification Method Based on CNN Architecture
Nemes et al. Feature learning for accelerometer based gait recognition
CN115579140A (zh) 基于校园健康管理系统的自助式健康监测方法及系统
Anju et al. Recent survey on Parkinson disease diagnose using deep learning mechanism
Kim et al. A study on user recognition using 2D ECG image based on ensemble networks for intelligent vehicles
Echtioui et al. Fusion convolutional neural network for multi-class motor imagery of EEG signals classification
CN114970641A (zh) 情感类别的识别方法、装置、处理器及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination