CN113326780A - 基于数据可靠性评价的非接触式负性心境检测方法和装置 - Google Patents

基于数据可靠性评价的非接触式负性心境检测方法和装置 Download PDF

Info

Publication number
CN113326780A
CN113326780A CN202110604875.2A CN202110604875A CN113326780A CN 113326780 A CN113326780 A CN 113326780A CN 202110604875 A CN202110604875 A CN 202110604875A CN 113326780 A CN113326780 A CN 113326780A
Authority
CN
China
Prior art keywords
negative mood
reliability
mood state
face image
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110604875.2A
Other languages
English (en)
Other versions
CN113326780B (zh
Inventor
戎千
丁帅
李霄剑
欧阳波
宋程
岳子杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110604875.2A priority Critical patent/CN113326780B/zh
Publication of CN113326780A publication Critical patent/CN113326780A/zh
Application granted granted Critical
Publication of CN113326780B publication Critical patent/CN113326780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，涉及负性心境检测技术领域。本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。

Description

基于数据可靠性评价的非接触式负性心境检测方法和装置
技术领域
本发明涉及负性心境检测技术领域，具体涉及一种基于数据可靠性评价的非接触式负性心境检测方法和装置。
背景技术
心境是一种内在的、主观的、不易被特定事件刺激的较持久而又微弱的情绪状态。心境分为积极心境和消极心境，消极心境主要包括紧张、压抑、愤怒、疲劳等方面。
由于人类会同时存在多种心境状态，目前的基于面部特征的心境状态识别研究是对于单一负性心境状态的识别，如抑郁心境状态、焦虑心境状态、压力心境状态等等，
目前的负性心境检测在数据特征融合时，特征向量拼接融合方法未能够考虑数据的可靠性，无法有效区分不同模态数据对于负性心境检测的重要性，模型的鲁棒性不高。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置，解决了目前的特征向量拼接融合方法未能够考虑数据的可靠性的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，提供了一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
进一步的，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：
将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；
对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值
Figure BDA0003093812830000022
将图像质量平均值
Figure BDA0003093812830000023
作为每个通道人脸图像序列对应的动态可靠性；
且每个通道人脸图像序列的总体可靠性TDR为：
Figure BDA0003093812830000021
进一步的，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：
每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：
Figure BDA0003093812830000031
其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。
进一步的，在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。
第二方面，提供了一种基于数据可靠性评价的非接触式负性心境检测装置，该装置包括：
人脸双光视频采集模块，用于获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
两通道人脸图像序列提取模块，用于基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
总体可靠性计算模块，用于分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
负性心境状态识别模块，用于将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
进一步的，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：
将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；
对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值
Figure BDA0003093812830000042
将图像质量平均值
Figure BDA0003093812830000043
作为每个通道人脸图像序列对应的动态可靠性；
且每个通道人脸图像序列的总体可靠性TDR为：
Figure BDA0003093812830000041
进一步的，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：
每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：
Figure BDA0003093812830000051
其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。
进一步的，所述在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。
第三方面，一种计算机可读存储介质，其存储用于非接触式负性心境检测的计算机程序，其中，所述计算机程序使得计算机执行上述的基于数据可靠性评价的非接触式负性心境检测方法的步骤。
第四方面，一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的基于数据可靠性评价的非接触式负性心境检测方法的步骤。
(三)有益效果
本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法和装置。与现有技术相比，具备以下有益效果：
本发明根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为负性心境状态识别网络的心境状态识别流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于数据可靠性评价的非接触式负性心境检测方法和装置，解决了目前的特征向量拼接融合方法未能够考虑数据的可靠性的问题。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1：
如图1所示，本发明提供了一种基于数据可靠性评价的非接触式负性心境检测方法，该方法包括：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
本实施例的有益效果为：
1)本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。
下面对本发明实施例的实现过程进行详细说明：
S1、获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
具体的，可使用网络摄像头和热红外摄像机捕捉用户的面部视频。
S2、基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；
具体的，
对于可见光视频，利用面部特征点定位和人脸检测算法从视频序列中检测人脸并定位感兴趣区域，应用3DDFA面部标记和面部检测算法，定位人脸位置，从而提取可见光图像中的人脸图像，构建可见光人脸图像序列Vij；
而对于热红外视频，由于热红外人脸图像中人脸区域和背景区域温度差异较大，图像特征差异明显，不影响人脸区域面温特征提取，可以直接从热红外人脸视频构建热红外图像序列Tij。
其中，i表示每种负性心境状态的第i个视频，i＝1，2，...，m；j表示每个视频的第j张图像，j＝1，2，...，n。m和n分别表示可见光视频和热红外视频的帧数。
S3、分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
具体的，负性心境状态主要包括压抑、疲劳、紧张、愤怒4种负性心境状态。因此，每种负性心境状态的每个通道均有对应的静态可靠性和动态可靠性。
(1)数据静态可靠性
数据类型的可靠性呈现了数据源和研究内容的相关性以及研究分析的鲁棒性，数据的静态可靠性评价能够评价数据的整体可靠性。
召回率(recall)表示模型中多少正类样本被预测正确了，在心境状态检测模型中反映模型对于检测此类别心境状态的有效性。为了反映不同模态数据特征检测单一负性心境状态的可靠性，应用单一模态数据分别训练4种负性心境状态的检测模型，并分别计算该模态数据对于4种心境状态检测的召回率R，作为该模态数据检测4种心境状态的数据静态可靠性。
Figure BDA0003093812830000091
(2)数据动态可靠性
数据的静态可靠性反映了一类通道数据对于模型结果的可靠性，而动态可靠性通过评价每一个序列的图像质量，反映每一个序列特征的重要性。无参考图像质量评估方法(NRIQA)，不需要视觉质量评估(IQA)的任何信息，通过计算图像局部结构描述符，度量图像质量。我们应用基于感知的图像质量评价方法(PIQUE)，根据测试图像的局部特征来估计给定测试图像中存在的失真量，并从感知的重要空间区域来评估整张图像质量。
对于每个输入负性心境状态识别网络的可见光人脸图像序列数据，序列包含m张图像，应用基于感知的图像质量评价方法(PIQUE)逐张计算每张可见光图像质量Pij，并计算整个序列的图像质量平均
Figure BDA0003093812830000092
Figure BDA0003093812830000093
即为该可见光图像序列的动态可靠性。
对于输入负性心境状态识别网络的热红外人脸图像数据，每个热红外人脸序列包含n张图像，应用基于感知的图像质量评价方法(PIQUE)逐张计算每张热红外人脸图像质量Pij，并计算整个序列的图像质量平均
Figure BDA0003093812830000102
即为该热红外图像序列的动态可靠性。
(3)数据总体可靠性评价
数据总体可靠性(TDR)由静态数据可靠性R和动态数据可靠性
Figure BDA0003093812830000103
两个部分组成，应用串联可靠性计算方法，
Figure BDA0003093812830000101
基于每类负性心境状态的静态数据可靠性和动态数据可靠性，计算该类别负性心境状态的可见光视频数据总体可靠性和热红外视频数据总体可靠性。
S4、将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
具体的，如图1所示，
为了提取面部可见光视频和面部热红外视频中的不同特征，我们提出了一个负性心境状态识别网络，即分类网络POMS-net，用于精确估计负性心境状态类别。
相比于2DCNN只能提取2维空间，3DCNN可以对一个视频立方体输入，使用3D卷积核和3D池化对视频进行卷积和池化，从空间维度和时间维度中提取视频特征。
因此，每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量(256*1)，且两个3DCNN架构不共享权重；由于负性心境状态主要包括压抑、疲劳、紧张、愤怒4种负性心境状态，则可设置与负性心境状态一一对应的负性心境状态识别网络。
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BatchNormalization(BN)层和一个RectifiedLinearUnit(ReLU)激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；图中的A＝256。
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z(图中未示出)：
Figure BDA0003093812830000111
其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接(FC)层对最终描述符Z进行降维，得到一个128*1的向量，最终输入sigmoid分类器，得到对应负性心境状态的概率，当所述负性心境状态的概率大于阈值，例如为0.5时，则判断存在该类心境状态。
在训练每种负性心境状态对应的负性心境状态识别网络时，由于数据存在不均衡状况，为了使每种负性心境状态的存在和不存在得类别达到均衡还可根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。四种心境状态原始采集的数据集是一样的，都是可见光视频和热红外视频。数据根据每种心境状态扩充后，在模型训练时，输入网络的数据是不相同的。而在模型应用时，输入的数据是相同的。
例如，这批数据集里压抑心境状态有160个存在压抑心境的数据，总数据是674，需要将存在压抑负性心境的数据进行扩充(针对每种负性心境分别进行扩充)，达到压抑心境状态和不存在压抑心境状态的数目总体均衡，再输入不同的分类网络。
实施例2：
一种基于数据可靠性评价的非接触式负性心境检测装置，该装置包括：
人脸双光视频采集模块，用于获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
两通道人脸图像序列提取模块，用于基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
总体可靠性计算模块，用于分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
负性心境状态识别模块，用于将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
可理解的是，本发明实施例提供的基于数据可靠性评价的非接触式负性心境检测装置与上述基于数据可靠性评价的非接触式负性心境检测方法相对应，其有关内容的解释、举例、有益效果等部分可以参考基于数据可靠性评价的非接触式负性心境检测方法中的相应内容，此处不再赘述。
实施例3：
一种计算机可读存储介质，其存储用于非接触式负性心境检测的计算机程序，其中，所述计算机程序使得计算机执行如下步骤：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
实施例4：
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如下步骤：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
综上所述，与现有技术相比，本发明具备以下有益效果：
1)本发明实施例根据可见光图像和热红外图像数据的质量评价方法，设计了多模态数据可靠性评估机制，计算双模态数据的动态可靠性、静态可靠性以及每个模态数据的总体可靠性，同时还构建了多模态数据融合网络提取双模态数据特征，并在特征融合层基于数据可靠性进行双模态数据特征融合，用于端到端的检测负性心境状态。相比于传统的特征拼接方式，基于数据可靠性评价的特征融合方式能够有效区分不同模态数据对于负性心境检测的重要性，增强模型的鲁棒性。
2)本发明实施例利用用户的面部可见光视频和热红外视频特征，识别压抑、疲劳、紧张、愤怒4种负性心境状态，相较于单一心境状态识别或普适性心理健康评估，本发明能够以低成本、低干扰的优势检测多种负性心境状态。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，该方法包括：
获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
2.如权利要求1所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：
将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；
对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值
Figure FDA0003093812820000011
将图像质量平均值
Figure FDA0003093812820000012
作为每个通道人脸图像序列对应的动态可靠性；
且每个通道人脸图像序列的总体可靠性TDR为：
Figure FDA0003093812820000021
3.如权利要求1所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：
每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：
Figure FDA0003093812820000022
其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。
4.如权利要求3所述的一种基于数据可靠性评价的非接触式负性心境检测方法，其特征在于，在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。
5.一种基于数据可靠性评价的非接触式负性心境检测装置，其特征在于，该装置包括：
人脸双光视频采集模块，用于获取被测者的人脸双光视频；所述人脸双光视频包括可见光人脸视频和热红外人脸视频；
两通道人脸图像序列提取模块，用于基于人脸双光视频提取两通道人脸图像序列，所述两通道人脸图像序列包括可见光人脸图像序列Vij和热红外人脸图像序列Tij；其中，i表示每种负性心境状态的第i个视频，j表示每个视频的第j张图像；
总体可靠性计算模块，用于分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性；
负性心境状态识别模块，用于将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果。
6.如权利要求5所述的一种基于数据可靠性评价的非接触式负性心境检测装置，其特征在于，所述分别计算每种负性心境状态的各个通道人脸图像序列的静态可靠性和动态可靠性，并基于静态可靠性和动态可靠性计算总体可靠性，包括：
将每个通道人脸图像序列的召回率R作为每个通道人脸图像序列对应的静态可靠性；
对于每个通道人脸图像序列，基于感知的图像质量评价方法逐张计算每张图像质量，得到每个通道人脸图像序列的图像质量平均值
Figure FDA0003093812820000041
将图像质量平均值
Figure FDA0003093812820000042
作为每个通道人脸图像序列对应的动态可靠性；
且每个通道人脸图像序列的总体可靠性TDR为：
Figure FDA0003093812820000043
7.如权利要求5所述的一种基于数据可靠性评价的非接触式负性心境检测装置，其特征在于，所述将可见光人脸图像序列和热红外人脸图像序列输入每种负性心境状态对应的负性心境状态识别网络，提取出每种负性心境状态对应的两通道特征向量，并基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z，对最终描述符Z降维后输出每种负性心境状态对应的检测结果，包括：
每个所述负性心境状态识别网络均包括构建了两个3DCNN架构，分别用于提取两通道特征向量，且两个3DCNN架构不共享权重；
每个所述3DCNN架构均包括5个3D卷积层和3个最大池化层，且在每个3D卷积层后都加入了一个BN层和一个ReLU激活函数运算；
每个所述负性心境状态识别网络的两个3DCNN架构输出的两通道特征向量分别为Y1＝{y11,y12,…,y1A}和Y2＝{y21,y22,…,y2A}；其中，A表示最后一层全连接层的神经元数量；
将特征向量Y1和Y2传入多源信息融合层，基于每种负性心境状态的可见光人脸图像序列的总体可靠性和热红外人脸图像序列的总体可靠性对两通道特征向量进行加权，并进行加法操作，得到每种负性心境状态的加权融合后的最终描述符Z：
Figure FDA0003093812820000044
其中，d表示可见光人脸序列和热红外人脸序列两个通道，TDR表示两个通道的总体可靠性；
再通过全连接层对最终描述符Z进行降维，最终输入sigmoid分类器，得到概率，当所述负性心境状态的概率大于阈值时，则判断存在该类心境状态。
8.如权利要求7所述的一种基于数据可靠性评价的非接触式负性心境检测装置，其特征在于，所述在训练每种负性心境状态对应的负性心境状态识别网络时，根据每种负性心境状态的原始采集的数据集，进行数据扩充，用于分别训练每种负性心境状态识别网络。
9.一种计算机可读存储介质，其特征在于，其存储用于非接触式负性心境检测的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-4任一项所述的基于数据可靠性评价的非接触式负性心境检测方法的步骤。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-4任一项所述的基于数据可靠性评价的非接触式负性心境检测方法的步骤。
CN202110604875.2A 2021-05-31 2021-05-31 基于数据可靠性评价的非接触式负性心境检测方法和装置 Active CN113326780B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110604875.2A CN113326780B (zh) 2021-05-31 2021-05-31 基于数据可靠性评价的非接触式负性心境检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110604875.2A CN113326780B (zh) 2021-05-31 2021-05-31 基于数据可靠性评价的非接触式负性心境检测方法和装置

Publications (2)

Publication Number Publication Date
CN113326780A true CN113326780A (zh) 2021-08-31
CN113326780B CN113326780B (zh) 2022-08-19

Family

ID=77422803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110604875.2A Active CN113326780B (zh) 2021-05-31 2021-05-31 基于数据可靠性评价的非接触式负性心境检测方法和装置

Country Status (1)

Country Link
CN (1) CN113326780B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141258A1 (en) * 2007-02-16 2011-06-16 Industrial Technology Research Institute Emotion recognition method and system thereof
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
US20180165570A1 (en) * 2015-06-17 2018-06-14 Cocoro Sb Corp. Emotion control system, system, and program
CN110598608A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的心理生理状态智能监测系统
CN110693508A (zh) * 2019-09-02 2020-01-17 中国航天员科研训练中心 多通道协同的心理生理主动感知方法及服务机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141258A1 (en) * 2007-02-16 2011-06-16 Industrial Technology Research Institute Emotion recognition method and system thereof
US20180165570A1 (en) * 2015-06-17 2018-06-14 Cocoro Sb Corp. Emotion control system, system, and program
CN107169426A (zh) * 2017-04-27 2017-09-15 广东工业大学 一种基于深度神经网络的人群情绪异常检测和定位方法
CN110598608A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的心理生理状态智能监测系统
CN110693508A (zh) * 2019-09-02 2020-01-17 中国航天员科研训练中心 多通道协同的心理生理主动感知方法及服务机器人

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKRITI JAISWAL ET AL.: ""Facial Emotion Detection Using Deep Learning"", 《2020 INTERNATIONAL CONFERENCE FOR EMERGING TECHNOLOGY (INCET)》 *
翟海庆 等: ""利用双流卷积神经网络的人脸表情识别方法"", 《光学技术》 *

Also Published As

Publication number Publication date
CN113326780B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN112560830B (zh) 多模态维度情感识别方法
CN109564618B (zh) 用于面部图像分析的方法和系统
US20200293840A1 (en) Image feature acquisition
Yu et al. On the integration of grounding language and learning objects
CN109902202B (zh) 一种视频分类方法及装置
US20110103695A1 (en) Image processing apparatus and image processing method
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
CN113033587B (zh) 图像识别结果评估方法、装置、电子设备及存储介质
CN111652159B (zh) 基于多层次特征联合的微表情识别方法及系统
CN113837257B (zh) 一种目标检测方法及装置
CN111814817A (zh) 视频分类方法、装置、存储介质及电子设备
CN113076905B (zh) 一种基于上下文交互关系的情绪识别方法
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN113656660B (zh) 跨模态数据的匹配方法、装置、设备及介质
CN116824625A (zh) 基于生成式多模态图像融合的目标重识别方法
CN113326735A (zh) 一种基于YOLOv5的多模态小目标检测方法
CN111444850A (zh) 一种图片检测的方法和相关装置
CN112464786A (zh) 一种视频的检测方法及装置
CN111814846A (zh) 属性识别模型的训练方法、识别方法及相关设备
CN115424315A (zh) 微表情检测方法、电子设备及计算机可读存储介质
CN114724258A (zh) 活体检测方法、装置、存储介质及计算机设备
Krishnaveni A novel framework using binary attention mechanism based deep convolution neural network for face emotion recognition
CN116522212B (zh) 基于图像文本融合的谎言检测方法、装置、设备及介质
CN113326780B (zh) 基于数据可靠性评价的非接触式负性心境检测方法和装置
CN112800923A (zh) 人体图像质量检测方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant