CN112597938B - 一种表情检测方法、装置、电子设备及存储介质 - Google Patents

一种表情检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112597938B
CN112597938B CN202011594299.XA CN202011594299A CN112597938B CN 112597938 B CN112597938 B CN 112597938B CN 202011594299 A CN202011594299 A CN 202011594299A CN 112597938 B CN112597938 B CN 112597938B
Authority
CN
China
Prior art keywords
expression
facial
temperature
time
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011594299.XA
Other languages
English (en)
Other versions
CN112597938A (zh
Inventor
朱俊
王保青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN202011594299.XA priority Critical patent/CN112597938B/zh
Publication of CN112597938A publication Critical patent/CN112597938A/zh
Application granted granted Critical
Publication of CN112597938B publication Critical patent/CN112597938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种表情检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，包括：检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。由此可见，应用本申请实施例提供的表情检测方案，可以提高表情检测的准确度。

Description

一种表情检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种表情检测方法、装置、电子设备及存储介质。
背景技术
为了检测对象的表情，通常可以采集对象的图像，识别图像中对象的面部动作变化，根据所识别到的面部动作变化确定对象的表情。
应用现有技术虽然可以检测到图像中对象的表情，但由于在一些场景下对象会隐藏表情，或做出一些虚假的表情，从而导致所检测到的表情的准确度较低。
发明内容
本申请实施例的目的在于提供一种表情检测方法、装置、电子设备及存储介质，以提高表情检测的准确度。具体技术方案如下：
第一方面，本申请实施例提供了一种表情检测方法，所述方法包括：
检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；
获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。
本申请的一个实施例中，所述基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，包括：
基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。
本申请的一个实施例中，所述根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间，包括：
查找检测到的面部温度的局部极大值；
获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。
本申请的一个实施例中，所述方法还包括：
在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度，并基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。
本申请的一个实施例中，所述基于所述对象的面部温度的变化获得所述真实表情的第一强度，包括：
确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；
基于所述温度升高值、体表温度和平稳温度，计算所述第一强度。
本申请的一个实施例中，所述初始温度为：
所述对象在所述真实表情的出现时刻的面部温度；或
所述平稳温度。
本申请的一个实施例中，所述基于所述温度升高值、体表温度和平稳温度，计算所述第一强度，包括：
按照以下公式计算所述第一强度S1：
S1＝c1*yb/[(yh+c2)-(yl-c3)]
其中，所述yb表示所述温度升高值，yh表示所述体表温度，yl表示所述平稳温度，c1表示预设的用于衡量表情强度的制式规则，c2表示面部温度最高值与所述体表温度的第一预设差值，c3表示面部温度最低值与所述体表温度的第一预设差值。
本申请的一个实施例中，所述基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度，包括：
识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；
计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。
本申请的一个实施例中，所述第一预设权重大于所述第二预设权重。
本申请的一个实施例中，所述方法还包括：
在确定真实表情后，对所确定的真实表情进行标记；和/或
在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。
本申请的一个实施例中，所述检测对象的面部温度，包括：
利用双光谱双目相机同步采集所述对象的可见光图像和热传感图像；
识别所述可见光图像中所述对象的面部特征点，将所识别的面部特征点映射至所述热传感图像，获得所述热传感图像中所映射的面部特征点的像素值反映的温度值，作为所述对象的面部温度；和/或
所述获得所述表情时间范围内采集的图像中所述对象的面部表情，包括：
识别所述表情时间范围内采集的可见光图像中所述对象的面部动作，基于所识别的面部动作确定所述对象的面部表情。
第二方面，本申请实施例提供了一种表情检测装置，所述装置包括：
温度检测模块，用于检测对象的面部温度；
时间获得模块，用于根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
时间范围确定模块，用于基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；
表情确定模块，用于获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。
本申请的一个实施例中，所述时间范围确定模块，具体用于：
基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。
本申请的一个实施例中，所述时间获得模块，具体用于：
查找检测到的面部温度的局部极大值；
获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。
本申请的一个实施例中，所述装置还包括：
第一强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度；
第二强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
表情强度获得模块，用于基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。
本申请的一个实施例中，所述第一强度获得模块，包括：
温度获得单元，用于确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；
第一强度计算单元，用于基于所述温度升高值、体表温度和平稳温度，计算所述第一强度。
本申请的一个实施例中，所述初始温度为：
所述对象在所述真实表情的出现时刻的面部温度；或
所述平稳温度。
本申请的一个实施例中，所述第一强度计算单元，具体用于：
按照以下公式计算所述第一强度S1：
S1＝c1*yb/[(yh+c2)-(yl-c3)]
其中，所述yb表示所述温度升高值，yh表示所述体表温度，yl表示所述平稳温度，c1表示预设的用于衡量表情强度的制式规则，c2表示面部温度最高值与所述体表温度的第一预设差值，c3表示面部温度最低值与所述体表温度的第一预设差值。
本申请的一个实施例中，所述第二强度获得模块，具体用于：
识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；
计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。
本申请的一个实施例中，所述第一预设权重大于所述第二预设权重。
本申请的一个实施例中，所述装置还包括：
表情标记模块，用于在确定真实表情后，对所确定的真实表情进行标记；和/或
隐藏表情确定模块，用于在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。
本申请的一个实施例中，所述温度检测模块，具体用于：
利用双光谱双目相机同步采集所述对象的可见光图像和热传感图像；
识别所述可见光图像中所述对象的面部特征点，将所识别的面部特征点映射至所述热传感图像，获得所述热传感图像中所映射的面部特征点的像素值反映的温度值，作为所述对象的面部温度；和/或
所述表情确定模块，具体用于：
识别所述表情时间范围内采集的可见光图像中所述对象的面部动作，基于所识别的面部动作确定所述对象的面部表情，将所获得的面部表情确定为真实表情。
第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的表情检测方法。
本申请实施例有益效果：
本申请实施例提供的表情检测方案中，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围；获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。这样首先根据对象的面部温度的变化判断对象是否产生了情绪波动，若为是，则认为对象会伴随产生相应的表情变化，因此可以根据对象产生情绪波动的时间推测该对象产生表情变化的时间范围，然后获得对象在上述时间范围内的表情。由于上述表情的产生时间与对象发生情绪波动的时间接近，因此可以认为上述表情为真实表情。由此可见，应用本申请实施例提供的表情检测方案，利用对象的面部温度的变化对对象的表情的真实性进行判断，可以提高表情检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种表情检测方法的流程示意图；
图2为本申请实施例提供的一种面部特征点的示意图；
图3为本申请实施例提供的一种热传感图像的示意图；
图4为本申请实施例提供的另一种表情检测方法的流程示意图；
图5为本申请实施例提供的一种面部温度波动的示意图；
图6为本申请实施例提供的一种表情检测装置的结构示意图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了提高表情检测的准确度，本申请实施例提供了一种表情检测方法、装置、电子设备及存储介质，下面分别进行详细介绍。
参见图1，图1为本申请实施例提供的一种表情检测方法的流程示意图，该方法可以应用于电子计算机、图像采集设备、NVR(Network Video Recorder，网络视频录像机)等电子设备。如图1所示，该表情检测方法可以包括如下步骤S101-S103。
S101，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间。
其中，上述对象可以是用户、动物等。上述情绪波动可以是高兴、悲伤、惊喜、生气、难过、愤怒等。
具体的，可以持续检测对象的面部温度，根据检测到的面部温度的变化判断对象是否产生了情绪波动，若为是，则可以获得上述对象产生情绪波动的时间，作为情绪发生时间。由于对象在产生情绪波动时，面部温度通常也会发生改变，因此基于面部温度的变化，可以捕捉对象的情绪波动。
本申请的一个实施例中，在检测对象的面部温度时，可以采集对象面部的热传感图像，根据热传感图像中对象面部像素点的像素值，获得对象的面部温度值，从而实现对对象面部温度的检测。
除此之外，还可以利用温度传感器对对象的面部进行跟踪，持续检测对象的面部温度，上述温度传感器可以是红外温度计、辐射温度计等。
本申请的一个实施例中，在检测得到对象的面部温度后，还可以将所获得的面部温度按照时间顺序记录在温度记录表中，后续可以基于上述温度记录表检测对象的面部温度的温度变化，进而根据上述温度变化检测对象的情绪波动。
本申请的一个实施例中，在确定对象的情绪发生时间时，可以判断检测到的面部温度是否达到预设的情绪温度阈值，若为是，则获得面部温度达到上述情绪温度阈值的时间，作为情绪发生时间。
其中，上述情绪温度阈值可以是37℃、36.96℃、37.1℃等，具体取值可以通过实验获得。
具体的，当检测到对象的面部温度升高至上述情绪温度阈值时，认为对象产生了情绪波动，因此可以将面部温度升高至情绪温度阈值的时间作为对象产生情绪波动的时间。
S102，基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围。
其中，上述预设时间关系可以反映：对象产生情绪波动的时间与产生面部表情的时间之间的时间差关系。
具体的，根据上述情绪发生时间与预设时间关系，可以确定对象产生上述情绪波动相对应的面部表情的时间范围，作为表情时间范围。这样利用预设时间关系确定对象出现面部表情的表情时间范围，防止由于情绪波动、面部表情的出现时间差而导致后续难以确定该情绪波动对应的面部表情，提高查找到情绪波动对应的面部表情的准确度。
S103，获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。
具体的，在确定表情时间范围后，由于上述表情时间范围为根据对象的情绪发生时间确定的，认为该表情时间范围内对象会产生上述情绪波动对应的面部表情，因此可以将上述表情时间范围内采集的图像中对象的面部表情确定为真实表情。
例如，假设所确定的表情时间范围为10:00-10:01，上述时间范围内采集的图像中对象的面部表情为愤怒，因此可以确定对象的真实表情为愤怒。
本申请的一个实施例中，可以确定上述表情时间范围内采集的图像，识别所确定的图像中对象的面部表情，将所识别到的面部表情确定为真实表情。
本申请的一个实施例中，在识别图像中对象的面部表情时，可以将图像输入预先训练完成的表情识别模型，得到该模型输出的、图像中对象的表情。
除此之外，还可以识别图像中对象的面部动作，根据识别到的面部动作确定对象的表情等。
本申请的一个实施例中，还可以持续采集对象的图像，针对所获得的每一图像，识别该图像中对象的面部表情，在确定表情时间范围后，将上述表情时间范围内采集的图像中对象的面部表情确定为真实表情。
除此之外，在获得每一图像中对象的面部表情后，可以将该图像中对象的面部表情及该图像的采集时间记录在表情记录表中，便于后续在确定表情时间范围后，从该表情记录表中查找上述表情时间范围内对象的面部表情。
本申请的一个实施例中，在S103确定真实表情后，还可以对所确定的真实表情进行标记。例如，可以将上述真实表情标记为“real”、“truth”等。
除此之外，对于未标记的面部表情，可以确定为虚假的表情。
本申请的一个实施例中，在表情时间范围内采集的图像中未获得对象的面部表情的情况下，确定对象隐藏表情。
具体的，在确定表情时间范围后，若是在上述表情时间范围内采集的图像中未检测到对象产生面部表情，则可以认为对象隐藏了表情。
上述实施例提供的表情检测方案中，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围；获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。这样首先根据对象的面部温度的变化判断对象是否产生了情绪波动，若为是，则认为对象会伴随产生相应的表情变化，因此可以根据对象产生情绪波动的时间推测该对象产生表情变化的时间范围，然后获得对象在上述时间范围内的表情。由于上述表情的产生时间与对象发生情绪波动的时间接近，因此可以认为上述表情为真实表情。由此可见，应用上述实施例提供的表情检测方案，利用对象的面部温度的变化对对象的表情的真实性进行判断，可以提高表情检测的准确度。
本申请的一个实施例中，对于上述步骤S101在确定情绪发生时间时，可以查找检测到的面部温度的局部极大值，获得局部极大值的出现时间，将所获得的出现时间确定为对象发生情绪波动的情绪发生时间。
其中，对象的面部温度通常是波动变化的，因此上述局部极大值也可以称为波峰温度。
具体的，可以在检测到的面部温度中监测是否出现了局部极大值，若为是，则认为对象产生了情绪波动，因此可以将上述局部极大值的出现时间确定为对象产生情绪波动的情绪发生时间。由于对象在产生情绪波动时，对象的面部温度通常会急剧上升，在上升至最高温度后，又会逐渐回落，从而出现局部极大值。这样通过检测面部温度的局部极大值，可以准确地检测得到对象的情绪波动。
本申请的一个实施例中，对于上述步骤S102在基于预设时间关系确定表情时间范围时，可以包含以下三种情况：
情况一：基于情绪波动与面部表情的发生时间的预设时间关系，确定情绪发生时间之前预设时长内的时间范围，作为对象出现面部表情的表情时间范围。
其中，上述预设时长可以是300毫秒、500毫秒、1000毫秒、1500毫秒等。
具体的，可以确定情绪发生时间之前预设时长的范围，作为表情时间范围。例如，假设情绪发生时间为16:05:00，预设时长为1000毫秒，则可以确定对象出现面部表情的表情时间范围为16:04:00-16:05:00。这样从情绪发生时间之前确定对象面部表情出现时间的范围，考虑到了由于对象面部血流量增大带来温度提升的滞后效应，所确定的表情出现时间范围的准确度更高。
情况二：确定情绪发生时间之后预设时长内的时间范围，作为对象出现面部表情的表情时间范围。
具体的，可以将情绪发生时间之后预设时长内的时间范围作为表情时间范围。
例如，假设情绪发生时间为16:05:00，预设时长为1000毫秒，则可以确定对象出现面部表情的表情时间范围为16:05:00-16:06:00。
这样从情绪发生时间之后确定对象面部表情出现时间的范围，保证在用户控制自己延迟产生面部表情的情况下，可以在情绪发生时间之前获得对象的表情。
情况三：确定情绪发生时间前后预设时长内的时间范围，作为对象出现面部表情的表情时间范围。
具体的，可以确定情绪发生时间之前和之后预设时长的时间范围，作为表情时间范围。
例如，假设情绪发生时间为16:05:00，预设时长为2000毫秒，则可以确定对象出现面部表情的表情时间范围为16:04:00-16:06:00。
这样从情绪发生时间之前和之后确定对象面部表情出现时间的范围，能够尽可能地覆盖对象产生上述情绪波动对应的面部表情的时间，提高后续获得真实表情的概率。
本申请的一个实施例中，在将所获得的面部表情确定为真实表情后，还可以基于对象的面部温度的变化获得真实表情的第一强度，并基于对象出现真实表情时的面部动作的变化获得真实表情的第二强度，基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对第一强度和第二强度进行加权求和，得到表情的表情强度。
其中，上述表情强度可以表征：该表情所反映的对象的情绪的强烈程度。
具体的，可以基于对象的面部温度的变化获得上述真实表情的第一强度，并基于对象产生上述真实表情时面部动作的变化得到第二强度，然后对上述第一强度、第二强度进行加权计算，从而得到上述真实表情的表情强度。
上述表情强度Sq可以按照以下公式进行计算：
Sq＝(S1*a1+S2*a2)/(a1+a2)
其中，上述S1表示第一强度，S2表示第二强度，a1表示第一权重，a2表示第二权重。上述第一权重和第二权重之和可以是1，也可以是其他值。
本申请的一个实施例中，上述第一预设权重可以大于第二预设权重。例如，上述第一权重的取值可以在0.6～0.8区间，第二权重的取值可以在0.2～0.4区间。
这样可以使得基于对象面部温度变化得到的第一强度，在计算得到的表情强度中所占的比重更大，由于对象面部温度的变化是不可控制的，也就是基于面部温度变化得到的第一强度的准确度更高，这样使得最终计算得到的真实表情的准确度更高。
本申请的一个实施例中，在获得上述第一强度时，可以确定对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得对象的体表温度和情绪平稳状态下的平稳温度，基于温度升高值、体表温度和平稳温度，计算第一强度。
其中，上述平稳温度可以是预设的对象的面部温度，例如，可以是36.5℃、37℃等，也可以是统计得到的、持续时间最长的对象的面部温度等。
上述体表温度也可以是预设的对象的体表的温度，如36.7℃、37.1℃等，还可以是统计得到的、持续时间最长的对象的体表温度等。
本申请的一个实施例中，上述初始温度可以是对象在真实表情的出现时刻的面部温度。
其中，上述真实表情的出现时刻可以是：表情时间范围内采集的图像中，包含上述对象的真实表情的图像的采集时刻。
具体的，可以获得所检测到的上述真实表情的出现时刻对象的面部温度，作为对象的初始温度。
除此之外，还可以将上述平稳温度作为对象的初始温度。
本申请的一个实施例中，可以按照以下公式计算第一强度S1：
S1＝c1*yb/[(yh+c2)-(yl-c3)]
其中，yb表示温度升高值，yh表示体表温度，yl表示平稳温度。
c1表示预设的用于衡量表情强度的制式规则，例如，假设用得分表示表情强度，在表情强度为百分制的情况下，上述c1可以是100，在表情强度为十分制的情况下，上述c1可以是10。
c2表示面部温度最高值与体表温度的第一预设差值，例如，可以是0.5℃、0.3℃等。
本申请的一个实施例中，上述c2的可以是预设的、对象的面部温度的最高值与体表温度的最大差值，具体可以通过实验得到。
c3表示面部温度最低值与体表温度的第一预设差值，例如，可以是0.4℃、0.5℃等。
本申请的一个实施例中，上述c3的可以是预设的、对象的面部温度的最低值与体表温度的最大差值，具体可以通过实验得到。
本申请的一个实施例中，在计算真实表情的第二强度时，可以识别目标图像中对象的面部动作，获得各个所识别到的面部动作的动作强度，计算所获得的各个动作强度的均值，作为真实表情的第二强度。
其中，目标图像为：表情时间范围内采集的、所包含的对象出现真实表情的图像。
上述面部动作可以是预先设定的、对象面部五官的动作，例如，可以是内眉上扬、眼角下弯、嘴巴张开等。
上述动作强度可以用于衡量上述面部动作的动作剧烈程度。以内眉上扬为例，内眉上扬的角度越大，该面部动作的动作强度越高，内眉上扬的角度越小，该面部动作的动作强度越低。
本申请的一个实施例中，在获得各个面部动作的动作强度时，可以利用图像检测算法，检测图像中对象面部的五官，进而根据所检测到的五官的运动位移获得面部运动的动作强度。
除此之外，还可以将图像输入预设的动作识别模型，上述动作识别模型可以输出的图像中对象的面部动作，并输出每一面部动作的动作强度。
本申请的一个实施例中，可以预先设定不同的动作强度的取值，例如，可以是0、25、50、75、100等，在检测到对象的面部动作后，可以从上述预设的取值中选择各个面部动作的动作强度。
在得到各个面部动作的动作强度后，可以计算各个动作强度的均值，作为第二强度。其中，在计算均值时，可以计算各个动作强度的算数平均值，也可以按照预设的、不同面部动作的权重，计算各个动作强度的加权平均值等。
例如，可以按照下述公式计算第二强度S2：
Figure BDA0002867656060000141
其中，上述K表示所识别到的面部动作的数量，Sk表示第k个面部动作的动作强度。
本申请的一个实施例中，可以利用双光谱双目相机同步采集对象的可见光图像和热传感图像，从而可以识别可见光图像中对象的面部特征点，将所识别的面部特征点映射至热传感图像，获得热传感图像中所映射的面部特征点的像素值反映的温度值，作为对象的面部温度。
其中，上述双光谱双目摄像机包含两目摄像机，其中一目摄像机用于采集热传感图像，一目摄像机用于采集可见光图像。
上述面部特征点可以是对象的鼻部区域特征点、眼部区域特征点、嘴部区域特征点等。参见图2，图2为本申请实施例提供的一种面部特征点的示意图。图中灰色圆圈所标记的鼻部区域、眼部区域、嘴部区域的点可以是对象的面部特征点。
由于上述区域的温度变化比较明显，对上述区域进行温度检测，可以得到较为明显的对象的面部温度变化，从而可以更为准确地识别得到对象的情绪波动。
参见图3，图3为本申请实施例提供的一种热传感图像的示意图。图3中灰色方框内所示的区域为对象面部区域的热传感图像。在识别可见光图像中对象的面部特征点后，可以将所识别的面部特征点映射至热传感图像，从而可以从热传感图像确定用户面部鼻部、嘴部、眼部等区域，进而获得上述区域的面部特征点的像素值反映的温度值。
本申请的一个实施例中，在获得热传感图像中面部特征点的像素值所反映的温度值时，可以利用该面部特征点的灰度值、图像中标定黑体的灰度值、标定黑体的温度值，计算上述面部特征点反映的面部温度值。
除此之外，还可以识别表情时间范围内采集的可见光图像中对象的面部动作，基于所识别的面部动作确定对象的面部表情。
这样可以利用双光谱双目摄像机同步采集可见光图像和热传感图像，从而保证同步获得对象的面部温度和面部表情。
参见图4，图4为本申请实施例提供的另一种表情检测方法的流程示意图。该方法包括如下步骤S401-S410：
S401，利用双光谱双目相机同步采集对象的可见光图像和热传感图像。
S402，识别可见光图像中对象的面部特征点。
其中，上述面部特征点包括鼻部区域特征点、嘴部区域特征点、眼部区域特征点。
S403，将所识别的面部特征点映射至热传感图像，获得热传感图像中所映射的面部特征点的像素值反映的温度值，作为对象的面部温度，将对象的面部温度按照时间顺序添加进入温度记录表。
其中，基于上述面部特征点所属的区域，对象的面部温度可以包括鼻部区域温度、眼部区域温度、嘴部区域温度。
具体的，可以将获得的对象的鼻部区域温度加入鼻部温度记录表、将获得的对象的眼部区域温度加入眼部温度记录表、将获得的对象的嘴部区域温度加入嘴部温度记录表。
S404，识别可见光图像中对象的面部动作，基于所识别的面部动作确定对象的面部表情，将所识别的表情记录在对象的表情记录表中。
除此之外，本申请的一个实施例中，上述表情记录表中还可以记录所识别的面部表情反映的对象的情绪、基于对象的面部动作得到的面部表情的强度，所识别到的面部表情的置信度等。
本申请的一个实施例中，在根据可见光图像识别对象的面部表情时，可能得到多个表情及每一表情的置信度，可以将上述多个表情及每一表情的置信度均添加至上述表情记录中，也可以仅将置信度最高的表情添加至上述表情记录中。
S405，在温度记录表中查找对象的面部温度是否出现了波峰温度，若为是，执行S406。
本申请的一个实施例中，若对象的鼻部区域温度、眼部区域温度、嘴部区域温度中任一区域出现了波峰温度，则可以认为对象的面部温度出现了波峰温度；
还可以是若对象的鼻部区域温度、眼部区域温度、嘴部区域温度中所有区域出现了波峰温度，才认为对象的面部温度出现了波峰温度；
还可以是若对象的鼻部区域温度、眼部区域温度、嘴部区域温度中所有区域的平均温度出现了波峰温度，才认为对象的面部温度出现了波峰温度。
S406，获得上述波峰温度的出现时间，确定波峰温度出现时间之前预设时长内的时间范围，作为对象出现面部表情的表情时间范围。
具体的，在检测到对象的面部温度出现波峰温度的情况下，认为对象产生了情绪波动，由于对象的面部温度出现波动通常是由血液流动引起的，由此会产生滞后效应，也就是基于温度检测到的对象出现的情绪波动通常位于对象产生面部表情之后，因此可以在上述波峰温度之前确定对象出现面部表情的表情时间范围。
S407，从上述表情记录表中，查找上述表情时间范围内对象是否产生了面部表情，若为是，执行S408，若为否，执行S410。
具体的，在查找上述表情时间范围内表情记录中对象的面部表情时，可以以滑动窗口的形式进行查找，上述滑动窗口的长度为上述预设时长，例如，可以是300毫秒、500毫秒。
S408，将所查找到的表情确定为真实表情。
除此之外，还可以对上述真实表情进行标记。这样后续可以将标记的表情确定为真实表情，将未标记的表情确定为虚假表情。
S409，计算上述真实表情的表情强度。
具体的，可以基于对象的面部温度的变化获得真实表情的第一强度，并基于对象出现真实表情时的面部动作的变化获得真实表情的第二强度；基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对第一强度和第二强度进行加权求和，得到表情的表情强度。
其中，在计算第一强度S1时，可以按照以下公式进行计算：
S1＝100*(y3-y1)/[(yh+0.5)-(yl-0.5)]
其中，y3表示波峰温度，y1表示对象在真实表情的出现时刻的面部温度；
yh表示对象的体表温度，yl表示对象的平稳温度。
参见图5，图5为本申请实施例提供的一种面部温度波动的示意图。图5中坐标轴的横轴表示时间，可见，在x0～x1时间段内，对象的面部温度较为平稳，说明对象处于情绪平稳状态，x1～x3时间段内，对象的面部温度急剧上升，说明对象产生了情绪波动，x3时刻之后对象的面部温度逐步下降，至x4时刻对象的面部温度趋于平稳温度，说明对象的情绪逐渐平稳。
由于在x1时刻，对象出现了面部表情，因此可以说明x1时刻对象开始产生情绪波动，因此可以将x1时刻作为对象产生情绪波动的情绪点，将该情绪点对象的面部温度y1作为初始温度，并将面部温度的局部极大值y3作为波峰温度。
另外还可以检测对象的体表温度，从而得到上述yh，并统计对象在平稳状态下面部温度的均值，作为上述平稳温度yl。
除此之外，还可以识别可见光图像中对象的面部动作，获得各个所识别到的面部动作的动作强度，计算所获得的各个动作强度的均值，作为真实表情的第二强度，然后对上述第一强度和第二强度进行加权求和，最终得到真实表情的表情强度。
S410，确定对象隐藏表情。
上述实施例提供的表情检测方案中，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围；获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。这样首先根据对象的面部温度的变化判断对象是否产生了情绪波动，若为是，则认为对象会伴随产生相应的表情变化，因此可以根据对象产生情绪波动的时间推测该对象产生表情变化的时间范围，然后获得对象在上述时间范围内的表情。由于上述表情的产生时间与对象发生情绪波动的时间接近，因此可以认为上述表情为真实表情。由此可见，应用上述实施例提供的表情检测方案，利用对象的面部温度的变化对对象的表情的真实性进行判断，可以提高表情检测的准确度。
参见图6，图6为本申请实施例提供的一种表情检测装置的结构示意图，所述装置包括：
温度检测模块601，用于检测对象的面部温度；
时间获得模块602，用于根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
时间范围确定模块603，用于基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围；
表情确定模块604，用于获得所述表情时间范围内采集的图像中所述对象的面部表情，将所获得的面部表情确定为真实表情。
本申请的一个实施例中，所述时间范围确定模块603，具体用于：
基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。
本申请的一个实施例中，所述时间获得模块602，具体用于：
查找检测到的面部温度的局部极大值；
获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。
本申请的一个实施例中，所述装置还包括：
第一强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度；
第二强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
表情强度获得模块，用于基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。
本申请的一个实施例中，所述第一强度获得模块，包括：
温度获得单元，用于确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；
第一强度计算单元，用于基于所述温度升高值、体表温度和平稳温度，计算所述第一强度。
本申请的一个实施例中，所述初始温度为：
所述对象在所述真实表情的出现时刻的面部温度；或
所述平稳温度。
本申请的一个实施例中，所述第一强度计算单元，具体用于：
按照以下公式计算所述第一强度S1：
S1＝c1*yb/[(yh+c2)-(yl-c3)]
其中，所述yb表示所述温度升高值，yh表示所述体表温度，yl表示所述平稳温度，c1表示预设的用于衡量表情强度的制式规则，c2表示面部温度最高值与所述体表温度的第一预设差值，c3表示面部温度最低值与所述体表温度的第一预设差值。
本申请的一个实施例中，所述第二强度获得模块，具体用于：
识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；
计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。
本申请的一个实施例中，所述第一预设权重大于所述第二预设权重。
本申请的一个实施例中，所述装置还包括：
表情标记模块，用于在确定真实表情后，对所确定的真实表情进行标记；和/或
隐藏表情确定模块，用于在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。
本申请的一个实施例中，所述温度检测模块601，具体用于：
利用双光谱双目相机同步采集所述对象的可见光图像和热传感图像；
识别所述可见光图像中所述对象的面部特征点，将所识别的面部特征点映射至所述热传感图像，获得所述热传感图像中所映射的面部特征点的像素值反映的温度值，作为所述对象的面部温度；和/或
所述表情确定模块604，具体用于：
识别所述表情时间范围内采集的可见光图像中所述对象的面部动作，基于所识别的面部动作确定所述对象的面部表情，将所获得的面部表情确定为真实表情。
上述实施例提供的表情检测方案中，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围；获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。这样首先根据对象的面部温度的变化判断对象是否产生了情绪波动，若为是，则认为对象会伴随产生相应的表情变化，因此可以根据对象产生情绪波动的时间推测该对象产生表情变化的时间范围，然后获得对象在上述时间范围内的表情。由于上述表情的产生时间与对象发生情绪波动的时间接近，因此可以认为上述表情为真实表情。由此可见，应用上述实施例提供的表情检测方案，利用对象的面部温度的变化对对象的表情的真实性进行判断，可以提高表情检测的准确度。
本申请实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现表情检测方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一表情检测方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一表情检测方法。
上述实施例提供的表情检测方案中，检测对象的面部温度，根据检测到的面部温度的变化确定对象发生情绪波动的情绪发生时间；基于情绪波动与面部表情的发生时间的预设时间关系，根据情绪发生时间确定对象出现面部表情的表情时间范围；获得表情时间范围内采集的图像中对象的面部表情，将所获得的面部表情确定为真实表情。这样首先根据对象的面部温度的变化判断对象是否产生了情绪波动，若为是，则认为对象会伴随产生相应的表情变化，因此可以根据对象产生情绪波动的时间推测该对象产生表情变化的时间范围，然后获得对象在上述时间范围内的表情。由于上述表情的产生时间与对象发生情绪波动的时间接近，因此可以认为上述表情为真实表情。由此可见，应用上述实施例提供的表情检测方案，利用对象的面部温度的变化对对象的表情的真实性进行判断，可以提高表情检测的准确度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字对象线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种表情检测方法，其特征在于，所述方法包括：
检测对象的面部温度，根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，所述预设时间关系反映了对象产生情绪波动的时间与产生面部表情的时间之间的时间差关系；
确定所述表情时间范围内采集的图像，识别所确定的图像中所述对象的面部表情，将所识别到的面部表情确定为真实表情，所述表情时间范围外的面部表情为虚假的表情；
在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。
2.根据权利要求1所述的方法，其特征在于，所述基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，包括：
基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围。
3.根据权利要求1所述的方法，其特征在于，所述根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间，包括：
查找检测到的面部温度的局部极大值；
获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度，并基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度。
5.根据权利要求4所述的方法，其特征在于，所述基于所述对象的面部温度的变化获得所述真实表情的第一强度，包括：
确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；
基于所述温度升高值、体表温度和平稳温度，计算所述第一强度；
所述初始温度为：
所述对象在所述真实表情的出现时刻的面部温度；或所述平稳温度。
6.根据权利要求4所述的方法，其特征在于，所述基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度，包括：
识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；
计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。
7.一种表情检测装置，其特征在于，所述装置包括：
温度检测模块，用于检测对象的面部温度；
时间获得模块，用于根据检测到的面部温度的变化确定所述对象发生情绪波动的情绪发生时间；
时间范围确定模块，用于基于情绪波动与面部表情的发生时间的预设时间关系，根据所述情绪发生时间确定所述对象出现面部表情的表情时间范围，所述预设时间关系反映了对象产生情绪波动的时间与产生面部表情的时间之间的时间差关系；
表情确定模块，用于确定所述表情时间范围内采集的图像，识别所确定的图像中所述对象的面部表情，将所识别到的面部表情确定为真实表情，所述表情时间范围外的面部表情为虚假的表情；在所述表情时间范围内采集的图像中未获得所述对象的面部表情的情况下，确定所述对象隐藏表情。
8.根据权利要求7所述的装置，其特征在于，
所述时间范围确定模块，具体用于：基于情绪波动与面部表情的发生时间的预设时间关系，确定所述情绪发生时间之前预设时长内的时间范围，作为所述对象出现面部表情的表情时间范围；所述时间获得模块，具体用于：查找检测到的面部温度的局部极大值；获得所述局部极大值的出现时间，将所获得的出现时间确定为所述对象发生情绪波动的情绪发生时间；所述装置还包括：第一强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象的面部温度的变化获得所述真实表情的第一强度；
所述装置还包括：第二强度获得模块，用于在将所获得的面部表情确定为真实表情后，基于所述对象出现所述真实表情时的面部动作的变化获得所述真实表情的第二强度；
所述装置还包括：表情强度获得模块，用于基于第一强度对应的第一预设权重、第二强度对应的第二预设权重，对所述第一强度和第二强度进行加权求和，得到所述表情的表情强度；所述第一强度获得模块，包括：温度获得单元，用于确定所述对象的面部温度从预设的初始温度升高到波峰温度的温度升高值，并获得所述对象的体表温度和情绪平稳状态下的平稳温度；第一强度计算单元，用于基于所述温度升高值、体表温度和平稳温度，计算所述第一强度；
所述第二强度获得模块，具体用于：识别目标图像中所述对象的面部动作，获得各个所识别到的面部动作的动作强度，其中，所述目标图像为：所述表情时间范围内采集的、所包含的所述对象出现所述真实表情的图像；计算所获得的各个动作强度的均值，作为所述真实表情的第二强度。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。
CN202011594299.XA 2020-12-29 2020-12-29 一种表情检测方法、装置、电子设备及存储介质 Active CN112597938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011594299.XA CN112597938B (zh) 2020-12-29 2020-12-29 一种表情检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011594299.XA CN112597938B (zh) 2020-12-29 2020-12-29 一种表情检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112597938A CN112597938A (zh) 2021-04-02
CN112597938B true CN112597938B (zh) 2023-06-02

Family

ID=75203428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011594299.XA Active CN112597938B (zh) 2020-12-29 2020-12-29 一种表情检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112597938B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103491251A (zh) * 2013-09-24 2014-01-01 深圳市金立通信设备有限公司 一种监控用户通话的方法及终端
TWI597980B (zh) * 2015-08-10 2017-09-01 宏達國際電子股份有限公司 影音管理方法及其系統
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
CN109145861B (zh) * 2018-09-04 2021-01-22 京东方科技集团股份有限公司 情绪识别装置及方法、头戴式显示设备、存储介质
CN109730701B (zh) * 2019-01-03 2022-07-26 中国电子科技集团公司电子科学研究院 一种情绪数据的获取方法及装置
CN110135242B (zh) * 2019-03-28 2023-04-18 福州大学 基于低分辨率红外热成像深度感知的情绪识别装置及方法
CN110113659A (zh) * 2019-04-19 2019-08-09 北京大米科技有限公司 生成视频的方法、装置、电子设备及介质
CN112102850B (zh) * 2019-06-18 2023-06-20 杭州海康威视数字技术股份有限公司 情绪识别的处理方法、装置、介质及电子设备
CN111178151A (zh) * 2019-12-09 2020-05-19 量子云未来（北京）信息科技有限公司 基于ai技术实现人脸微表情变化识别的方法和装置
CN111401198B (zh) * 2020-03-10 2024-04-23 广东九联科技股份有限公司 观众情绪识别方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李泓.捕捉说谎者一闪而过的表情.《极简说话心理学》.江苏凤凰美术出版社,2018,第72-73页. *

Also Published As

Publication number Publication date
CN112597938A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
US11823429B2 (en) Method, system and device for difference automatic calibration in cross modal target detection
CN111626125B (zh) 人脸温度检测的方法、系统、装置和计算机设备
CN111426393B (zh) 温度修正方法、装置及系统
CN105933589B (zh) 一种图像处理方法及终端
CN101739438B (zh) 检测脸部表情的系统和方法
CN103366171B (zh) 物体检测方法和物体检测装置
WO2021184254A1 (zh) 红外热成像测温方法、电子设备、无人机及存储介质
CN110060272A (zh) 人脸区域的确定方法、装置、电子设备及存储介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
KR100941418B1 (ko) 이동 로봇의 위치 인식 방법
CN111337142A (zh) 体温修正方法、装置及电子设备
CN105227838B (zh) 一种图像处理方法及移动终端
KR102399025B1 (ko) 개선된 데이터 비교 방법
CN107564020B (zh) 一种图像区域确定方法及装置
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN113358231B (zh) 红外测温方法、装置及设备
CN107850670A (zh) 物体检测方法及物体检测装置
CN111382635A (zh) 一种商品类别识别方法、装置及电子设备
CN107145741B (zh) 基于图像分析的耳诊数据采集方法及装置
EP3485461B1 (en) Techniques for determining proximity based on image blurriness
CN112597938B (zh) 一种表情检测方法、装置、电子设备及存储介质
JP6590477B2 (ja) 情報処理装置、情報処理方法、プログラム
CN111507244B (zh) Bmi检测方法、装置以及电子设备
CN112669382A (zh) 一种基于图像的距离确定方法及装置
CN111950597A (zh) 机器人基于原图光照不变图词袋模型改进的闭环检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant