CN110197107B - 微表情识别方法、装置、计算机设备及存储介质 - Google Patents

微表情识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110197107B
CN110197107B CN201810939223.2A CN201810939223A CN110197107B CN 110197107 B CN110197107 B CN 110197107B CN 201810939223 A CN201810939223 A CN 201810939223A CN 110197107 B CN110197107 B CN 110197107B
Authority
CN
China
Prior art keywords
identified
image
current image
micro
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810939223.2A
Other languages
English (en)
Other versions
CN110197107A (zh
Inventor
朱文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810939223.2A priority Critical patent/CN110197107B/zh
Publication of CN110197107A publication Critical patent/CN110197107A/zh
Application granted granted Critical
Publication of CN110197107B publication Critical patent/CN110197107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种微表情识别方法、装置、计算机设备及存储介质,首先,判断获取的当前待识别图像中是否存在被测者人脸图像;若当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果;若当前待识别图像中不存在被测者人脸图像,则更新动态阈值;根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。可以在保证处理精度的同时减少服务端的计算量,提高了整体的处理效率。

Description

微表情识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及AI领域,尤其涉及一种微表情识别方法、装置、计算机设备及存储介质。
背景技术
微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。它与普通表情的区别在于,微表情持续时间很短,仅为1/25秒至1/5秒。因此,大多数人往往难以觉察到它的存在。与他人交谈时,由于微表情持续时间短暂且难以识别,仅使用低速摄像机(30帧/秒)对被测试者的面部表情进行短时间记录,研究中需要分析的视频即高达30万帧。而这样的情况下由于捕捉到的微表情的数量太少,对微表情的表达仅能进行描述统计而无法使用推断统计的方法来进行数据分析。若考虑使用高速摄像机,以满足统计分析的需求,则需要分析的视频帧数将增长数倍。因此在识别和分析微表情的过程中计算机的运算量非常大,处理效率不高。
发明内容
本发明实施例提供一种微表情识别方法、装置、计算机设备及存储介质,以解决微表情识别过程中处理效率不高的问题。
一种微表情识别方法,包括:
获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
一种微表情识别装置,包括:
当前待识别图像判断模块,用于获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
情绪识别结果输出模块,用于若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
动态阈值更新模块,用于若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
第一返回模块,用于根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述微表情识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述微表情识别方法的步骤。
上述微表情识别方法、装置、计算机设备及存储介质中,首先,判断获取的当前待识别图像中是否存在被测者人脸图像;若当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果;若当前待识别图像中不存在被测者人脸图像,则更新动态阈值;根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。通过根据当前待识别图像中是否存在被测者人脸图像的判断结果来调整动态阈值,保证在当前待识别图像中不存在被测者人脸图像时可以跳过预定数量的图像,而被跳过的图像在很大概率上也是不存在被测者人脸图像的,因此可以在保证处理精度的同时减少服务端的计算量,提高了整体的处理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中微表情识别方法的一应用环境示意图;
图2是本发明一实施例中微表情识别方法的一示例图;
图3是本发明一实施例中微表情识别方法的另一示例图;
图4是本发明一实施例中微表情识别方法的另一示例图;
图5是本发明一实施例中微表情识别方法的另一示例图;
图6是本发明一实施例中微表情识别方法的另一示例图;
图7是本发明一实施例中微表情识别装置的一原理框图;
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的微表情识别方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务端进行通信。客户端采集视频或者图像数据,并将视频或者图像数据发送到服务端,服务端在获取到视频或者图像数据之后进行处理,输出微表情的识别结果。其中,客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种微表情识别方法,以该方法应用在图1中的服务端为例进行说明,包括如下步骤:
S10:获取当前待识别图像,判断当前待识别图像中是否存在被测者人脸图像。
其中,当前待识别图像为对视频数据进行截取得到的图像。可选地,客户端采集视频数据,再将采集到的视频数据发送到服务端。在这个实施例中,客户端可以但不限于是摄像机、照相机、扫描仪或其他带有拍照功能的设备,只要客户端具备视频采集功能即可,在此不对其进行限定。服务端在获取到视频数据之后,对视频数据按照预定的帧率进行截取,得到当前待识别图像。
可选地,服务端可以通过截屏的方式从视频数据中获取当前待识别图像。具体地,可以通过OpenCV来实现获取当前待识别图像的过程,OpenCV提供了一个简便易用的框架以提取视频文件中的图像帧。示例性地,采用VideoCapture类来进行视频读取和写入的操作。首先采用VideoCapture类中的cap=cv2.VideoCapture()函数显示对应的视频数据,再通过VideoCapture类中的cap.read()函数按预设的帧率读取视频数据,cap.read()函数的返回值有两个:ret和frame。其中,ret是布尔值,如果读取帧是正确的则返回True,如果该视频数据已经读取到结尾,它的返回值就为False,即可以通过cap.read()函数的返回值来判断该视频数据是否读取完毕。frame就是当前截取的图像,其可以为一个三维矩阵。可以理解地,客户端在获取到视频数据之后,也可以直接对视频数据进行截取操作,得到当前待识别图像,即上述从视频数据中获取当前待识别图像的过程也可以由客户端来实现。客户端再将当前待识别图像发送到服务端,服务端直接从客户端获取到当前待识别图像。
服务端获取到当前待识别图像之后,判断当前待识别图像中是否存在被测者人脸图像。具体地,可以将当前待识别图像输入到预先训练好的人脸识别模型中,人脸识别模型识别当前待识别图像中是否存在被测者人脸图像。
在一个具体实施方式中,若视频数据中只包含一个被测者,则可以直接通过一个人脸检测算法进行检测,只要检测到存在人脸图像,即直接确定当前待识别图像中存在被测者人脸图像。
S20:若当前待识别图像中存在被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果。
在步骤S10中判断当前待识别图像是否存在被测者人脸图像,若判断结果为当前待识别图像中存在被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果。
其中,情绪识别结果反应了当前待识别图像对应的情绪类型。示例性地,情绪识别结果为开心、悲伤、恐惧、生气、惊讶、厌恶或平静。微表情识别模型是用于判断输入图像中人脸情绪的识别模型,该微表情识别模型可以判断输入图像中人脸对应于预设的多种情绪的概率值,若某种情绪的概率值超过对应的预设阈值,则得到该输入图像对应的情绪即为情绪识别结果。例如,在本实施例中,可以将微表情识别模型中的情绪设定为开心、悲伤、恐惧、生气、惊讶、厌恶和平静7种。具体地,可以预先采集分别代表这7种情绪的大量样本图像进行标注,形成样本图像集,然后选择对应的神经网络模型或者分类器进行训练,最终得到微表情识别模型。
S30:若当前待识别图像中不存在被测者人脸图像,则更新动态阈值。
其中,动态阈值是一个预设的调整值,其可以是一个时间值或者是代表帧数的数值。对动态阈值的更新可以包括对动态阈值的增加、减少或者赋值操作等。具体地,若当前待识别图像中不存在被测者人脸图像,则对动态阈值进行增加的操作,或者对动态阈值赋予一个新的数值,该新的数值会大于原有的动态阈值。
通过对动态阈值的调整,可以在当前待识别图像中不存在被测者人脸图像时,可以保证在后续获取下一幅待识别图像时,可以从视频数据中跳过一定数量的图像,减少了服务端的计算量,提高整体的处理效率。
S40:根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。
在步骤S30中对动态阈值进行更新之后,根据更新后的动态阈值从视频数据中获取下一幅待识别图像。若动态阈值是一个帧数,例如3帧,则在视频数据中将当前待识别图像之后的第3帧图像作为下一幅待识别图像进行获取。并且在获取到下一幅待识别图像之后,将该下一幅待识别图像作为当前待识别图像。
对当前待识别图像进行更新之后,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤,即返回到步骤S10中判断当前待识别图像中是否存在被测者人脸图像,继而根据判断结果来执行对应的步骤,例如,若当前待识别图像中存在被测者人脸图像,则执行步骤S20。若当前待识别图像中不存在被测者人脸图像,则执行步骤S30和S40。
在这个实施例中,首先,判断获取的当前待识别图像中是否存在被测者人脸图像;若当前待识别图像中存在被测者人脸图像,则对当前待识别图像进行微表情识别,输出情绪识别结果;若当前待识别图像中不存在被测者人脸图像,则更新动态阈值;根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。通过根据当前待识别图像中是否存在被测者人脸图像的判断结果来调整动态阈值,保证在当前待识别图像中不存在被测者人脸图像时可以跳过预定数量的图像,而被跳过的图像在很大概率上也是不存在被测者人脸图像的,因此可以在保证处理精度的同时减少服务端的计算量,提高了整体的处理效率。
在一实施例中,如图3所示,更新动态阈值,具体包括如下步骤:
S11:将动态阈值增加一预设增加数值,得到第一目标阈值。
其中,预设增加数值是一个预设的具体数值,且该预设增加数值和动态阈值的数值类型也是一致的。通过设置预设增加数值来控制动态阈值每次的增加幅度。在将动态阈值增加一预设增加数值之后,得到第一目标阈值,即第一目标阈值为将动态阈值增加一预设增加数值之后得到的数值。
S12:若第一目标阈值大于预设最大阈值,则将预设最大阈值设为更新后的动态阈值。
其中,预设最大阈值是一个预设的数值,该预设最大阈值和动态阈值的数值类型是一致的,若动态阈值是一个代表帧数的数值,则预设最大阈值也是一个代表帧数的数值。在将第一目标阈值和预设最大阈值进行比较之后,若第一目标阈值大于预设最大阈值,则将预设最大阈值设为更新后的动态阈值,即将预设最大阈值的数值赋值到更新后的动态阈值中,以保证将动态阈值的幅度在可允许的控制范围之内。
S13:若第一目标阈值小于或等于预设最大阈值,则将第一目标阈值设为更新后的动态阈值。
若第一目标阈值小于或等于预设最大阈值,则说明该第一目标阈值还在可允许的数值范围之内,则将第一目标阈值设为更新后的动态阈值,即将第一目标阈值的数值赋值到更新后的动态阈值中。
在这个实施例中,在将动态阈值增加一预设增加数值,得到第一目标阈值之后,通过将第一目标阈值和预设最大阈值进行比较来对应地调整动态阈值。可以避免动态阈值过大而影响整体处理精度,而且,在连续多幅当前待识别图像都不存在被测者人脸图像时,可以逐步增加动态阈值的数值,以进一步地减少服务端的计算量,提高处理效率。
在一实施例中,如图4所示,在若当前待识别图像中存在被测者人脸图像,则对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果的步骤之后,该微表情识别方法还包括如下步骤:
S21:将动态阈值减小一预设减小数值,得到第二目标阈值。
其中,预设减小数值是一个预设的具体数值,且该预设减小数值和动态阈值的数值类型也是一致的。通过设置预设减小数值来控制动态阈值每次的减小幅度。在将动态阈值减小一预设减小数值之后,得到第二目标阈值,即第二目标阈值为将动态阈值减小一预设减小数值之后得到的数值。
S22:若第二目标阈值小于预设最小阈值,则将预设最小阈值设为更新后的动态阈值。
其中,预设最小阈值是一个预设的数值,该预设最小阈值和动态阈值的数值类型是一致的,若动态阈值是一个代表帧数的数值,则预设最小阈值也是一个代表帧数的数值。在将第二目标阈值和预设最小阈值进行比较之后,若第二目标阈值小于预设最大阈值,则将预设最小阈值设为更新后的动态阈值,即将预设最小阈值的数值赋值到更新后的动态阈值中,以保证将动态阈值的幅度在可允许的控制范围之内。
S23:若第二目标阈值大于或等于预设最小阈值,则将第二目标阈值设为更新后的动态阈值。
若第二目标阈值大于或等于预设最大阈值,则说明该第二目标阈值还在可允许的数值范围之内,则将第二目标阈值设为更新后的动态阈值,即将第二目标阈值的数值赋值到更新后的动态阈值中。
S24:根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。
在对动态阈值进行调整之后,根据更新后的动态阈值从视频数据中获取下一幅待识别图像。若动态阈值是一个帧数,例如3帧,则将当前待识别图像之后的第3帧图像作为下一幅待识别图像进行获取。并且在获取到下一幅待识别图像之后,将该下一幅待识别图像作为当前待识别图像。
对当前待识别图像进行更新之后,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤,即返回到步骤S10中判断当前待识别图像中是否存在被测者人脸图像,继而根据判断结果来执行对应的步骤,例如,若当前待识别图像中存在被测者人脸图像,则执行步骤S20。若当前待识别图像中不存在被测者人脸图像,则执行步骤S30和S40。
在这个实施例中,在更新动态阈值时,通过将动态阈值和预设的最小阈值进行比较来对应地调整动态阈值,保证在不影响数据处理精度的前提下减少计算量,提高处理效率。并且在识别之后继续获取下一幅待识别图像进行对应的处理,保证微表情识别的持续性。
在一实施例中,如图5所示,若当前待识别图像中存在被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果,还包括如下步骤:
S21’:获取当前待识别图像对应的当前图像时间,计算当前图像时间和上一识别图像的上一识别图像时间的时间差值。
其中,当前图像时间是指当前待识别图像在视频数据中的时间节点。上一识别图像是指上一幅在微表情识别模型中进行微表情识别的图像。而上一识别图像时间是指上一识别图像在视频数据中的时间节点。具体地,可以在获取当前待识别图像时,对该当前待识别图像进行时间点的标注。如此,当前被测者人脸图像对应的当前图像时间可以直接从对时间点的标注数据中获得。而上一识别图像时间的获取方式也是和当前图像时间的获取方式相同的,在此不再赘述。
在获取到当前图像时间和上一识别图像时间之后,计算两者之间的时间差值。时间差值即是指两个时间点的差值。
S22’:若时间差值小于预设时间阈值,则获取上一识别图像的上一识别结果,作为当前待识别图像的情绪识别结果。
在计算出当前图像时间和上一识别图像时间的时间差值之后,将该时间差值和预设时间阈值进行比较。若该时间差值小于预设时间阈值,则说明两幅图像之间相差的时间点很小,而通常一个微表情的持续时间一般为1/25秒至1/5秒。若两幅进行识别的图像之间的时间差值过小,那这两幅图像就有极大的可能是属于同一个情绪。故在该步骤中,若时间差值小于预设时间阈值,则可以认为当前被测者人脸图像和上一识别图像的微表情是一致的,因此可以获取上一识别图像的上一识别结果,作为当前待识别图像的情绪识别结果。具体地,该预设时间阈值可以根据实际需求设置,优选地,该预设时间阈值小于1/25秒。
在本实施例中,在待识别图像中存在被测者人脸图像时,进一步计算当前待识别图像对应的当前图像时间和上一识别图像的上一识别图像时间的时间差值,若时间差值小于预设时间阈值,则获取上一识别图像的上一识别结果,作为当前待识别图像的情绪识别结果。可以进一步地减少了服务端利用微表情识别模型进行识别的时间,进一步减少了服务端的计算量,提高微表情识别效率。
在一实施例中,在计算当前图像时间和上一识别图像的上一识别图像时间的时间差值的步骤之后,该微表情识别方法还包括:若时间差值大于或等于预设时间阈值,则将当前待识别图像输入到微表情识别模型中进行识别,输出当前待识别图像的情绪识别结果。
在判断出时间差值大于或等于预设时间阈值的时候,说明这两幅图像在视频数据上的时间点是超过了预设时间阈值,则这两幅图像所代表的情绪就有可能是不同的,因此将当前待识别图像输入到微表情识别模型中进行识别,输出当前待识别图像的情绪识别结果。通过这个步骤,可以保证微表情识别的识别精度。
在一实施例中,如图6所示,在若当前待识别图像中存在被测者人脸图像,则对当前待识别图像进行识别,输出情绪识别结果的步骤之前,该微表情识别方法还包括:
S31:获取微表情训练集,其中,微表情训练集包括微表情训练图像和微表情训练图像的标注数据。
其中,微表情训练集是对神经网络模型进行训练的图像集。微表情训练图像是预先采集的包含各种不同微表情的图像。微表情训练图像均对应有标注数据,其中标注数据是对微表情训练图像所属的微表情所做出的一个标识。例如:标注数据可以为开心、悲伤、恐惧、生气、惊讶、厌恶和平静7种情绪。
S32:初始化卷积神经网络模型。
其中,其中,卷积神经网络(Convolutional Neural Network,简称CNN)模型,是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,常应用于大型图像的处理。卷积神经网络通常包括至少两个非线性可训练的卷积层,至少两个非线性的池化层和至少一个全连接层,即包括至少五个隐含层,此外还包括输入层和输出层。
具体地,初始化卷积神经网络主要是初始化卷积层的卷积核(即权值)和偏置。卷积神经网络模型的权值初始化就是指给卷积神经网络模型中的所有权值赋予一个初始值。如果初始权值处在误差曲面的一个相对平缓的区域时,卷积神经网络模型训练的收敛速度可能会异常缓慢。一般情况下,网络的权值被初始化在一个具有0均值的相对小的区间内均匀分布,比如[-0.30,+0.30]这样的区间内。
S33:采用微表情训练集训练卷积神经网络模型,获取微表情识别模型。
在卷积神经网络模型中输入微表情训练集,计算卷积神经网络模型各层的输出,各层的输出采用前向传播算法可获取。其中,不同于全连接的神经网络模型,对于局部连接的卷积神经网络模型还需计算模型中卷积层的每一种输出的特征图和池化层的每一种输出的特征图,以对权值进行更新。具体地,对于卷积层的每一种输出的特征图xj其中,l是当前层,Mj表示选择的输入特征图组合,/>是输入的第i种特征图即l-1层的输出,/>是l层输入的第i种特征图和输出的第j种特征图之间连接所用的卷积核,/>是第j种特征图层对应的加性偏置,f是激活函数,该激活函数可以是sigmoid激活函数。此外,对于池化层的每一种输出的特征图xj为/>其中,down表示下采样计算,这里的/>为第j种特征图l层对应的乘性偏置,b是第j种特征图l层对应的加性偏置。本实施例主要给出卷积神经网络模型中区别于一般全连接的神经网络模型的卷积层和池化层输出,其余各层的输出与一般全连接的神经网络模型计算相同,采用前向传播算法可获取,故不一一举例,以免累赘。通过对卷积神经网络模型各层进行误差反传更新,获取更新后的各层的权值。将获取的更新后的各层的权值,应用到卷积神经网络模型中即可获取训练后的微表情识别模型。
在这个实施方式中,通过微表情训练集对卷积神经网络模型进行训练,即可得到微表情识别模型,提高了微表情识别模型的获取效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种微表情识别装置,该微表情识别装置与上述实施例中微表情识别方法一一对应。如图7所示,该微表情识别装置包括当前待识别图像判断模块10、情绪识别结果输出模块20、动态阈值更新模块30和第一返回模块40。各功能模块详细说明如下:
当前待识别图像判断模块10,用于获取当前待识别图像,判断当前待识别图像中是否存在被测者人脸图像。
情绪识别结果输出模块20,用于若当前待识别图像中存在被测者人脸图像,则基于微表情识别模型对当前待识别图像进行微表情识别,输出当前待识别图像的情绪识别结果。
动态阈值更新模块30,用于若当前待识别图像中不存在被测者人脸图像,则更新动态阈值。
第一返回模块40,用于根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。
优选地,动态阈值更新模块30包括动态阈值增加单元和动态阈值控制单元。
动态阈值增加单元,用于将动态阈值增加一预设增加数值,得到第一目标阈值。
动态阈值控制单元,用于若第一目标阈值大于预设最大阈值,则将预设最大阈值设为更新后的动态阈值;若第一目标阈值小于或等于预设最大阈值,则将第一目标阈值设为更新后的动态阈值。
优选地,该微表情识别装置还包括动态阈值减小模块、动态阈值控制模块和第二返回模块。
动态阈值减小模块,用于将动态阈值减小一预设减小数值,得到第二目标阈值。
动态阈值控制模块,用于若第二目标阈值小于预设最小阈值,则将预设最小阈值设为更新后的动态阈值;若第二目标阈值大于或等于预设最小阈值,则将第二目标阈值设为更新后的动态阈值。
第二返回模块,用于根据更新后的动态阈值获取下一幅待识别图像,将下一幅待识别图像作为当前待识别图像,返回执行判断当前待识别图像中是否存在被测者人脸图像的步骤。
优选地,情绪识别结果输出模块20还用于获取当前待识别图像对应的当前图像时间,计算当前图像时间和上一识别图像的上一识别图像时间的时间差值;若时间差值小于预设时间阈值,则获取上一识别图像的上一识别结果,作为当前待识别图像的情绪识别结果。
优选地,情绪识别结果输出模块20还用于若时间差值大于或等于预设时间阈值,则将当前待识别图像输入到微表情识别模型中进行识别,输出当前待识别图像的情绪识别结果。
优选地,该微表情识别装置还包括人脸微表情训练图像获取模块、初始化模块和微表情识别模型获取模块。
微表情训练图像获取模块,用于获取微表情训练集,其中,微表情训练集包括微表情训练图像和微表情训练图像的标注数据。
初始化模块,用于初始化卷积神经网络模型。
微表情识别模型获取模块,用于采用微表情训练集训练卷积神经网络模型,获取微表情识别模型。
关于微表情识别装置的具体限定可以参见上文中对于微表情识别方法的限定,在此不再赘述。上述微表情识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储在微表情识别方法中使用到的各种数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种微表情识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (7)

1.一种微表情识别方法,其特征在于,包括:
获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
在所述若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果的步骤之后,所述微表情识别方法还包括:
将动态阈值减小一预设减小数值,得到第二目标阈值;
若所述第二目标阈值小于所述预设最小阈值,则将所述预设最小阈值设为更新后的动态阈值;
若所述第二目标阈值大于或等于所述预设最小阈值,则将所述第二目标阈值设为更新后的动态阈值;
根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行判断所述当前待识别图像中是否存在被测者人脸图像的步骤;
若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
所述更新动态阈值,具体包括:
将所述动态阈值增加一预设增加数值,得到第一目标阈值;
若所述第一目标阈值大于所述预设最大阈值,则将所述预设最大阈值设为更新后的动态阈值;
根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
2.如权利要求1所述的微表情识别方法,其特征在于,所述若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果,还包括:
获取所述当前待识别图像对应的当前图像时间,计算当前图像时间和上一识别图像的上一识别图像时间的时间差值;
若所述时间差值小于预设时间阈值,则获取上一识别图像的上一识别结果,作为所述当前待识别图像的情绪识别结果。
3.如权利要求2所述的微表情识别方法,其特征在于,在所述计算当前图像时间和上一识别图像的上一识别图像时间的时间差值的步骤之后,所述微表情识别方法还包括:
若所述时间差值大于或等于预设时间阈值,则将所述当前待识别图像输入到微表情识别模型中进行识别,输出所述当前待识别图像的情绪识别结果。
4.如权利要求1所述的微表情识别方法,其特征在于,在所述若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果的步骤之前,所述微表情识别方法还包括:
获取微表情训练集,其中,所述微表情训练集包括微表情训练图像和微表情训练图像的标注数据;
初始化卷积神经网络模型;
采用所述微表情训练集训练所述卷积神经网络模型,获取所述微表情识别模型。
5.一种微表情识别装置,其特征在于,包括:
当前待识别图像判断模块,用于获取当前待识别图像,判断所述当前待识别图像中是否存在被测者人脸图像;
情绪识别结果输出模块,用于若所述当前待识别图像中存在所述被测者人脸图像,则基于微表情识别模型对所述当前待识别图像进行微表情识别,输出所述当前待识别图像的情绪识别结果;
所述微表情识别装置还包括:
动态阈值减小模块,用于将动态阈值减小一预设减小数值,得到第二目标阈值;
动态阈值控制模块,用于若所述第二目标阈值小于所述预设最小阈值,则将所述预设最小阈值设为更新后的动态阈值;
若所述第二目标阈值大于或等于所述预设最小阈值,则将所述第二目标阈值设为更新后的动态阈值;
第二返回模块,用于根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行判断所述当前待识别图像中是否存在被测者人脸图像的步骤;
动态阈值更新模块,用于若所述当前待识别图像中不存在所述被测者人脸图像,则更新动态阈值;
所述动态阈值更新模块包括:
动态阈值增加单元,用于将所述动态阈值增加一预设增加数值,得到第一目标阈值;
动态阈值控制单元,用于若所述第一目标阈值大于所述预设最大阈值,则将所述预设最大阈值设为更新后的动态阈值;
第一返回模块,用于根据更新后的所述动态阈值获取下一幅待识别图像,将所述下一幅待识别图像作为当前待识别图像,返回执行所述判断所述当前待识别图像中是否存在被测者人脸图像的步骤。
6.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述微表情识别方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述微表情识别方法的步骤。
CN201810939223.2A 2018-08-17 2018-08-17 微表情识别方法、装置、计算机设备及存储介质 Active CN110197107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810939223.2A CN110197107B (zh) 2018-08-17 2018-08-17 微表情识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810939223.2A CN110197107B (zh) 2018-08-17 2018-08-17 微表情识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110197107A CN110197107A (zh) 2019-09-03
CN110197107B true CN110197107B (zh) 2024-05-28

Family

ID=67751353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810939223.2A Active CN110197107B (zh) 2018-08-17 2018-08-17 微表情识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110197107B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781810B (zh) * 2019-10-24 2024-02-27 合肥盛东信息科技有限公司 一种人脸情绪识别方法
CN110941992B (zh) * 2019-10-29 2023-09-05 平安科技(深圳)有限公司 微笑表情检测方法、装置、计算机设备及存储介质
CN111144241B (zh) * 2019-12-13 2023-06-20 深圳奇迹智慧网络有限公司 基于图像校验的目标识别方法、装置和计算机设备
CN111444815B (zh) * 2020-03-24 2024-05-14 中国南方电网有限责任公司 变电站身份认证方法、系统、装置和计算机设备
CN111814570B (zh) * 2020-06-12 2024-04-30 深圳禾思众成科技有限公司 一种基于动态阈值的人脸识别方法、系统及存储介质
CN112115847B (zh) * 2020-09-16 2024-05-17 深圳印像数据科技有限公司 人脸情绪愉悦度判断方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276707A (ja) * 2007-04-04 2008-11-13 Sony Corp 画像記録装置、再生装置、撮像装置、画像再生システム、および、これらにおける処理方法、プログラム
CN101505430A (zh) * 2008-09-18 2009-08-12 西南交通大学 一种用于头肩视频序列的帧内更新方法
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
CN103824284A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于视觉注意力模型的关键帧提取方法和系统
CN103988232A (zh) * 2011-11-01 2014-08-13 谷歌公司 使用运动流形来改进图像匹配
CN104268546A (zh) * 2014-05-28 2015-01-07 苏州大学 一种基于主题模型的动态场景分类方法
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN105706108A (zh) * 2013-09-09 2016-06-22 达美生物识别科技有限公司 用于基于虹膜的生物特征识别的装置和方法
CN105814561A (zh) * 2014-01-17 2016-07-27 株式会社日立制作所 影像信息处理系统
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN106021262A (zh) * 2015-03-24 2016-10-12 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
CN107133567A (zh) * 2017-03-31 2017-09-05 北京奇艺世纪科技有限公司 一种创可贴广告点位选取方法及装置
CN107613237A (zh) * 2017-09-14 2018-01-19 国网重庆市电力公司电力科学研究院 一种视频动静混合关键帧的抽取方法
CN107729857A (zh) * 2017-10-26 2018-02-23 广东欧珀移动通信有限公司 人脸识别方法、装置、存储介质和电子设备
CN107895146A (zh) * 2017-11-01 2018-04-10 深圳市科迈爱康科技有限公司 微表情识别方法、装置、系统及计算机可读存储介质
CN108334806A (zh) * 2017-04-26 2018-07-27 腾讯科技(深圳)有限公司 图像处理方法、装置和电子设备
CN111985419A (zh) * 2020-08-25 2020-11-24 腾讯科技(深圳)有限公司 视频处理方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515393B2 (en) * 2016-06-30 2019-12-24 Paypal, Inc. Image data detection for micro-expression analysis and targeted data services

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276707A (ja) * 2007-04-04 2008-11-13 Sony Corp 画像記録装置、再生装置、撮像装置、画像再生システム、および、これらにおける処理方法、プログラム
CN101505430A (zh) * 2008-09-18 2009-08-12 西南交通大学 一种用于头肩视频序列的帧内更新方法
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
CN101827204A (zh) * 2010-04-19 2010-09-08 成都索贝数码科技股份有限公司 一种运动目标侦测方法及系统
CN103988232A (zh) * 2011-11-01 2014-08-13 谷歌公司 使用运动流形来改进图像匹配
CN105706108A (zh) * 2013-09-09 2016-06-22 达美生物识别科技有限公司 用于基于虹膜的生物特征识别的装置和方法
CN105814561A (zh) * 2014-01-17 2016-07-27 株式会社日立制作所 影像信息处理系统
CN103824284A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于视觉注意力模型的关键帧提取方法和系统
CN104268546A (zh) * 2014-05-28 2015-01-07 苏州大学 一种基于主题模型的动态场景分类方法
CN106021262A (zh) * 2015-03-24 2016-10-12 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN105913038A (zh) * 2016-04-26 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频的动态微表情识别方法
CN107133567A (zh) * 2017-03-31 2017-09-05 北京奇艺世纪科技有限公司 一种创可贴广告点位选取方法及装置
CN108334806A (zh) * 2017-04-26 2018-07-27 腾讯科技(深圳)有限公司 图像处理方法、装置和电子设备
CN107613237A (zh) * 2017-09-14 2018-01-19 国网重庆市电力公司电力科学研究院 一种视频动静混合关键帧的抽取方法
CN107729857A (zh) * 2017-10-26 2018-02-23 广东欧珀移动通信有限公司 人脸识别方法、装置、存储介质和电子设备
CN107895146A (zh) * 2017-11-01 2018-04-10 深圳市科迈爱康科技有限公司 微表情识别方法、装置、系统及计算机可读存储介质
CN111985419A (zh) * 2020-08-25 2020-11-24 腾讯科技(深圳)有限公司 视频处理方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合滑动窗口动态时间规整和CNN的视频人脸表情识别;胡敏;张柯柯;王晓华;任福继;;中国图象图形学报;20180816(第08期);全文 *

Also Published As

Publication number Publication date
CN110197107A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110197107B (zh) 微表情识别方法、装置、计算机设备及存储介质
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
KR102591961B1 (ko) 모델 트레이닝 방법 및 장치, 및 이를 위한 단말 및 저장 매체
CN108564127B (zh) 图像转换方法、装置、计算机设备及存储介质
WO2020024400A1 (zh) 课堂监控方法、装置、计算机设备及存储介质
CN113239874B (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN110599451A (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
WO2020024395A1 (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN111860147A (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN110807437B (zh) 视频粒度特征确定方法、装置和计算机可读存储介质
CN109063628B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN111783997B (zh) 一种数据处理方法、装置及设备
CN111144285B (zh) 胖瘦程度识别方法、装置、设备及介质
CN112434556A (zh) 宠物鼻纹识别方法、装置、计算机设备及存储介质
US20240153271A1 (en) Method and apparatus for selecting cover of video, computer device, and storage medium
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111598213A (zh) 网络训练方法、数据识别方法、装置、设备和介质
CN116863522A (zh) 痤疮分级方法、装置、设备及介质
CN113807353A (zh) 图像转换模型训练方法、装置、设备及存储介质
CN111159476B (zh) 目标对象的搜索方法、装置、计算机设备及存储介质
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
CN113283388B (zh) 活体人脸检测模型的训练方法、装置、设备及存储介质
CN111985340A (zh) 基于神经网络模型的人脸识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant