CN112329663B - 一种基于人脸图像序列的微表情时刻检测方法及装置 - Google Patents

一种基于人脸图像序列的微表情时刻检测方法及装置 Download PDF

Info

Publication number
CN112329663B
CN112329663B CN202011251214.8A CN202011251214A CN112329663B CN 112329663 B CN112329663 B CN 112329663B CN 202011251214 A CN202011251214 A CN 202011251214A CN 112329663 B CN112329663 B CN 112329663B
Authority
CN
China
Prior art keywords
micro
expression
image sequence
face image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011251214.8A
Other languages
English (en)
Other versions
CN112329663A (zh
Inventor
陈通
曹然磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN202011251214.8A priority Critical patent/CN112329663B/zh
Publication of CN112329663A publication Critical patent/CN112329663A/zh
Application granted granted Critical
Publication of CN112329663B publication Critical patent/CN112329663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

本申请实施例提供一种基于人脸图像序列的微表情时刻检测方法及装置，涉及微表情检测技术领域，该方法包括：获取人脸图像序列中每帧图像的完整特征向量；计算与完整特征向量相对应的微表情单帧概率；根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频；计算与每个拍摄子视频相对应的微表情窗口概率；根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。可见，实施这种实施方式，能够提高对微表情的检测精度，也能够在一段视频中准确地确定出微表情发生的时刻。

Description

一种基于人脸图像序列的微表情时刻检测方法及装置
技术领域
本申请涉及微表情检测技术领域，具体而言，涉及一种基于人脸图像序列的微表情时刻检测方法及装置。
背景技术
心理学研究表明，微表情是不可控制的，因此微表情检测在测谎、心理健康以及情感分析等领域都具有较高的应用价值。目前，微表情的检测方式通常采用专业人员根据他们的专业经验来进行检测的方式，以使微表情是否出现以及微表情出现的时刻被确定下来。然而，在实践中发现，专业人员进行微表情检测的时候，不可避免地会出现人为误差，从而导致了对微表情的检测精度不高，也不适合在一段视频中准确地确定出微表情发生的时刻。
发明内容
本申请的目的在于提供一种基于人脸图像序列的微表情时刻检测方法及装置，能够提高对微表情的检测精度，也能够在一段视频中准确地确定出微表情发生的时刻。
本申请实施例第一方面提供了一种基于人脸图像序列的微表情时刻检测方法，所述方法包括：
获取所述人脸图像序列中每帧图像的完整特征向量；
计算与所述完整特征向量相对应的微表情单帧概率；
根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
计算与每个拍摄子视频相对应的微表情窗口概率；
根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻。
在上述实现过程中，该种基于人脸图像序列的微表情时刻检测方法可以优先获取人脸图像序列中每帧图像的完整特征向量；然后计算出每帧图像中出现微表情的微表情单帧概率，并在获取到微表情单帧概率之后，使用预设长度的滑动时间窗在微表情单帧概率的基础上添加时间维度，从而确定出人脸图像序列中出现微表情的时刻。可见，实施这种实施方式，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
进一步地，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤之前，所述方法还包括：
获取原始视频；
对所述原始视频进行图像预处理操作，得到人脸图像序列。
在上述实现过程中，该方法可以优先获取拍摄得到的原始视频，然后再对该原始视频进行每帧图像的图像预处理，得到用于判断微表情是否出现的人脸图像序列。可见，实施这种实施方式，能够优先对原始视频进行处理，从而使得后续的微表情检测精度更高，效果更好。
进一步地，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤包括：
获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
在上述实现过程中，该方法可以优先获取人脸图像序列中的单帧图像，然后在该单帧图像中确定人脸关键点，再在该人脸关键点中确定参与特征向量确定的12对人脸关键点，并将其每对的欧拉距离确定为几何特征向量，在此之后，对上述的单帧图像进行图像分割，得到64个子图像，然后再对该64个子图像进行LBP直方图特征向量提取，并对LBP直方图特征向量进行组合得到特征矩阵，再对特征矩阵进行PCA降维处理，得到纹理特征向量，以使该方法可以根据几何特征向量和纹理特征向量进行综合，得到完整特征向量。可见，实施这种实施方式，能够通过两方面的特征向量来确定更高精度的完整特征向量，从而有利于微表情检测的精度提升。
进一步地，所述计算与所述完整特征向量相对应的微表情单帧概率的步骤包括：
获取与所述完整特征向量相对应的完整特征矩阵；
确定所述完整特征矩阵中，每行的均值和每行的标准差；
根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型；
根据所述单行高斯混合模型，确定所述完整特征矩阵中每个子特征的微表情子概率；
根据所述微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
在上述实现过程中，该方法可以根据完整特征向量中的76个特征形成与该完整特征向量相对应的完整特征矩阵，然后再根据该完整特征矩阵进行每行的高斯建模，以使纵列元素代入可以得到76个特征所对应的微表情子概率，并进一步确定出微表情单帧概率。可见，实施这种实施方式，能够适用高斯混合模型牌确定微表情出现的概率，从而实现客观地对微表情进行检测，进而能够提高微表情的检测结果，尽可能地避免检测误差的出现。
进一步地，所述计算与每个拍摄子视频相对应的微表情窗口概率的步骤包括：
获取与每个拍摄子视频相对应的多个微表情单帧概率；
根据所述多个微表情单帧概率进行加法运算，得到与每个拍摄子视频相对应的微表情窗口概率。
在上述实现过程中，该方法可以在确定出时间窗口之后，获取时间窗口中的拍摄子视频，并进一步获取该拍摄子视频中所有微表情单帧概率，从而能够计算出该拍摄自视频对应的微表情窗口概率。可见，实施这种实施方式，能够获取到时间窗口下的多个微表情窗口概率，从而能够获取到该时间窗口下出现微表情的微表情窗口概率，进而能够通过该微表情窗口概率进行微表情时刻的分析与确定，有利于实现在视频中准确地确定出微表情的出现与出现时刻。
本申请实施例第二方面提供了一种基于人脸图像序列的微表情时刻检测装置，所述微表情时刻检测装置包括：
获取单元，用于获取所述人脸图像序列中每帧图像的完整特征向量；
第一计算单元，用于计算与所述完整特征向量相对应的微表情单帧概率；
划分单元，用于根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
第二计算单元，用于计算与每个拍摄子视频相对应的微表情窗口概率；
分析单元，用于根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻。
在上述实现过程中，微表情时刻检测装置可以通过获取单元来获取人脸图像序列中每帧图像的完整特征向量；通过第一计算单元来计算与完整特征向量相对应的微表情单帧概率；通过划分单元来根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频；通过第二计算单元来计算与每个拍摄子视频相对应的微表情窗口概率；通过分析单元来根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。可见，实施这种实施方式，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
进一步地，所述获取单元包括：
第一获取子单元，用于获取原始视频；
第一处理子单元，用于对所述原始视频进行图像预处理操作，得到人脸图像序列。
在上述实现过程中，获取单元可以通过第一获取子单元来获取原始视频；通过第一处理子单元对原始视频进行图像预处理操作，得到人脸图像序列。可见，实施这种实施方式，能够优先对原始视频进行处理，从而使得后续的微表情检测精度更高，效果更好。
进一步地，所述第一计算单元，包括：
第二获取子单元，用于获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
第二计算子单元，用于计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
第二均分子单元，用于根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
第二处理子单元，用于提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
所述第二处理子单元，还用于对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
第二确定子单元，用于根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
在上述实现过程中，该第一计算单元可以通过第二获取子单元、第二计算子单元、第二均分子单元、第二处理子单元以及第二确定子单元确定出每帧图像的完整特征向量。可见，实施这种实施方式，能够通过两方面的特征向量来确定更高精度的完整特征向量，从而有利于微表情检测的精度提升。
本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的基于人脸图像序列的微表情时刻检测方法。
本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的基于人脸图像序列的微表情时刻检测方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于人脸图像序列的微表情时刻检测方法的流程示意图；
图2为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检测方法的流程示意图；
图3为本申请实施例提供的一种基于人脸图像序列的微表情时刻检测装置的结构示意图；
图4为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检测装置的结构示意图；
图5为本申请实施例提供的一种实验结果的举例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
请参看图1，图1为本申请实施例提供了一种基于人脸图像序列的微表情时刻检测方法的流程示意图。该方法应用于自动检测微表情的场景当中，具体的，该方法可应用于对一段视频进行微表情自动检测的过程当中。其中，该基于人脸图像序列的微表情时刻检测方法包括：
S101、获取人脸图像序列中每帧图像的完整特征向量。
本实施例中，人脸图像序列是经过预处理的视频。
在本实施例中，原始视频是最开始通过摄像机拍摄得到的视频，而该人脸图像序列是该原始视频经过预处理得到的。
本实施例中，完整特征向量用于表示人脸图像序列中每帧图像的多种特征向量集合。
在本实施例中，多种特征向量集合包括几何特征向量、纹理特征向量以及其他特征向量。
在本实施例中，对于每种特征向量的特征数量不做限定。
S102、计算与完整特征向量相对应的微表情单帧概率。
本实施例中，微表情单帧概率用于表示单帧图像中出现的微表情的概率。
在本实施例中，微表情单帧概率、完整特征向量以及单帧图像是一一对应。
S103、根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频。
本实施例中，滑动时间窗用于表示对人脸图像序列进行划分的划分窗口。
在本实施例中，滑动时间窗在人脸图像序列中进行滑动的过程中，可以获取到多个拍摄子视频，而该多个拍摄子视频之间可以存在重复的帧图像。
举例来说，当人脸图像序列包括100帧的连续图像时，滑动时间窗为40帧，那么随着滑动时间窗的滑动，该人脸图像序列将会被划分为61个拍摄子图像。
S104、计算与每个拍摄子视频相对应的微表情窗口概率。
本实施例中，微表情窗口概率用于表示对应的拍摄子视频出现微表情的概率。
在本实施例中，该方法还可以计算出每个拍摄子视频相对应的其他行为动作概率，用于进一步判断上述拍摄子视频中出现的动作究竟是否为微表情概率。
S105、根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。
本实施例中，微表情窗口概率与拍摄子视频具有相同的数量。因此，该方法可以在微表情窗口概率的变化过程中所出现的极值可以视为微表情出现，然后再根据极值出现的时刻确定人脸图像序列包括的微表情时刻。
本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
在本实施例中，该方法的执行主体还可以为智能手机和平板等智能设备，对此本实施例中不作任何限定。
实施这种实施方式，该方法不仅能够提高在长视频中进行微表情检测的准确率，而且可以将与微表情无关的动作(如眨眼、鼻子抽搐、头部晃动等)同时检测出来，并且和微表情进行区分。
本实施例中，上述的与微表情无关的动作所对应的微表情窗口概率并不为极值，因此可以通过极值分析来区分微表情和无关的动作。
可见，实施图1所描述的基于人脸图像序列的微表情时刻检测方法，能够优先获取人脸图像序列中每帧图像的完整特征向量；然后计算出每帧图像中出现微表情的微表情单帧概率，并在获取到微表情单帧概率之后，使用预设长度的滑动时间窗在微表情单帧概率的基础上添加时间维度，从而确定出人脸图像序列中出现微表情的时刻。可见，实施这种实施方式，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
实施例2
请参看图2，图2为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检测方法的流程示意图。图2所描述的基于人脸图像序列的微表情时刻检测方法的流程示意图是根据图1所描述的基于人脸图像序列的微表情时刻检测方法的流程示意图进行改进得到的。其中，该基于人脸图像序列的微表情时刻检测方法包括：
S201、获取原始视频。
本实施例中，该方法可以通过摄像装置获取到原始视频。
S202、对原始视频进行图像预处理操作，得到人脸图像序列。
本实施例中，该方法可以将原始视频转换为图像帧序列，然后再对该图像帧序列进行每帧图像的预处理，以便于消除背景噪音。
本实施例中，该方法可以使用openCV(一个基于BSD许可发行的跨平台计算机视觉和机器学习软件库)的VideoCaputer类加载视频流和read方法逐帧浏览将CASME II数据库中的视频流数据转换为图像序列，并保存为“.jpg”格式。
在本实施例中，上述“.jpg”格式的图像序列中的每帧图像对应于后续的每帧图像。
S203、获取人脸图像序列中每帧图像的人脸关键点，并获取人脸关键点包括的多个关键点对。
本实施例中，该方法结合openCV和Dlib(一个使用现代C++技术编写的跨平台的通用库)首先对每帧图像进行人脸关键点检测，并选择两个内眼角和鼻尖三个关键点与模板人脸计算仿射变换矩阵，对图像序列进行旋转和平移，使得图像中人眼处于同一水平线上。可见，实施这种实施方式，能够通过对拍摄图像进行处理可以完成对图像的配准，从而能够在一定程度上消除头部晃动影响。
在本实施例中，该方法还将对图像进行裁剪，以去除图像中包括的背景噪声，只保留人脸信息，从而提高图像中特征的纯度。
在本实施例中，截取后图像的宽W为通常为两内眼角距离的三倍，高H通常为鼻尖到两内眼角中点垂直距离的三倍，即W＝3*(x2-x1)，H＝3*(y3-(y1+y2)/2)，其中左右内眼角的坐标为(x1，y1)、(x2，y2)，鼻尖的坐标为(x3，y3)。
在本实施例中，对图像进行裁剪之后，可以使得裁剪好的图像统一为224×224的大小。
S204、计算与多个关键点对一一对应的多个欧拉距离，并确定多个欧拉距离为几何特征向量。
本实施例中，该方法再次进行人脸关键点检测，并得到68个人脸关键点坐标(对于68个人脸关键点坐标的获取方法，本实施例中不作任何限定)，选择序号为20，22，23，25，18，40，43，49，51，52，53，55，57，59，59的关键点作为数据采样点(这么选择的原因是这些关键点位于微表情的高发区域)，然后根据公式：
Figure GDA0002879614110000111
计算(20，40)、(22，40)、(28，40)、(28，43)、(23，43)、(25，43)、(40，52)、(43，52)、(51，59)、(52，58)、(53，57)、(49，55)点对之间的欧拉距离，将计算结果确定为几何特征向量。
S205、根据预设图像分割方式对人脸图像序列中每帧图像进行均分，得到多个子图像。
本实施例中，当预设图像分割方式为网格化分割方式时，该方法对每帧图像进行网格化分割，以使将图像的高和宽分别被8等分，从而得到64个大小相等的正方形区域。
S206、提取每个子图像的LBP直方图特征向量，组合LBP直方图特征向量得到特征矩阵，并对特征矩阵进行PCA降维处理，得到纹理特征向量。
本实施例中，该方法能够根据每个子图像提取出一个LBP直方图特征向量，并将多个LBP直方图特征向量组合成特征矩阵，再进行PCA降维处理得到纹理特征向量。
本实施例中，该方法可以使用LBP算子对上述每个子图像进行运算，得到LBP直方图特征向量，并将多个LBP直方图特征向量组合成特征矩阵，再将特征矩阵映射到bin＝10的直方图中，从而使得每帧图像经在处理后都会得到一个64×10的特征矩阵，然后再应用PCA降维技术可以将该特征矩阵变换为64×1的纹理特征向量。
S207、根据几何特征向量和纹理特征向量，确定人脸图像序列中每帧图像的完整特征向量。
本实施例中，该方法可以采用级联拼接的方式将几何特征向量和纹理特征向量融合在一起，得到最能体现人脸运动信息的完整特征向量。
S208、获取与完整特征向量相对应的完整特征矩阵。
本实施例中，通过实时上述步骤，该方法可以每帧图像进行相应处理，从而得到76×n的特征矩阵，其中n为人脸图像序列的总帧数。
本实施例中，64个纹理特征加上12对几何特征组成了上述每帧图像的76个特征。
S209、确定完整特征矩阵中，每行的均值和每行的标准差。
本实施例中，该方法估计出完整特征矩阵中每一行的均值μ和标准差σ。
S210、根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型。
本实施例中，该方法在获取到并对每一行的均值μ和标准差σ之后，进一步地根据如下公式进行高斯建模得到高斯混合模型，公式为：
Figure GDA0002879614110000131
其中，i为完整特征矩阵的行索引。
S211、根据单行高斯混合模型，确定完整特征矩阵中每个子特征的微表情子概率。
本实施例中，将完整特征矩阵第i列中的每一个元素代入对应的高斯模型得到一个子概率Ci(即微表情子概率)，以使该子概率可以进行相乘，从而得到该图像包含微表情的概率(即后续的微表情单帧概率)。
本实施例中，完整特征矩阵每一列代表一帧图像的特征向量。
S212、根据微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
本实施例中，在计算得到相应的概率值Ci之后，该方法再将所有概率相乘得到该图像中包含微表情的概率，即微表情单帧概率Pj，其计算公式为：
Figure GDA0002879614110000132
可见，实施该方法可以得到一个1×n的概率向量。
S213、根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频。
本实施例中，该方法可以设置一扇长度为2k+1(k＝1,2,3...)的滑动时间窗，以使该滑动时间窗可以将人脸图像序列划分为多个拍摄子视频。
S214、获取与每个拍摄子视频相对应的多个微表情单帧概率。
S215、根据多个微表情单帧概率进行加法运算，得到与每个拍摄子视频相对应的微表情窗口概率。
本实施例是，该方法可以再根据公式
Figure GDA0002879614110000133
来处理滑动时间窗内的概率，得到微表情窗口概率Sm。
在本实施例中，在滑动时间窗滑动完毕之后，可以得到由多个Sm构成的一个1×(n-2k)的概率向量。
S216、根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。
本实施例中，该方法可以对上述的1×(n-2k)的概率向量进行极值分析，从而判定微表情以及其他面部动作发生的时间界限。
请参阅图5，图5是本实施例中提供的一种实验结果举例示意图，其中，通过极值分析可以确定出图内框选的区域，并根据该区域对应的时间确定出微表情时刻。
本实施例中，图5展示了该方法在一段图像序列上的测试结果。其中，该图中横坐标代表图像序列的帧编号，纵坐标代表不包含微表情的概率，即图中曲线向我们展示了微表情在每一帧可能发生的情况；图中虚线框框出部分为微表情专家经观察标定出的图像序列中微表情发生的时间段，曲线的谷底位置为本专利所描述方法检测到的微表情幅度最大的帧，即微表情发生的时刻。
可见，实施图2所描述的基于人脸图像序列的微表情时刻检测方法，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
实施例3
请参看图3，图3为本申请实施例提供的一种基于人脸图像序列的微表情时刻检测装置的结构示意图。其中，该基于人脸图像序列的微表情时刻检测装置包括：
获取单元310，用于获取人脸图像序列中每帧图像的完整特征向量；
第一计算单元320，用于计算与完整特征向量相对应的微表情单帧概率；
划分单元330，用于根据预设长度的滑动时间窗对人脸图像序列进行划分，得到多个拍摄子视频；
第二计算单元340，用于计算与每个拍摄子视频相对应的微表情窗口概率；
分析单元350，用于根据微表情窗口概率进行极值分析，得到人脸图像序列的微表情时刻。
本实施例中，对于基于人脸图像序列的微表情时刻检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图3所描述的基于人脸图像序列的微表情时刻检测装置，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
实施例4
请参看图4，图4为本申请实施例提供的另一种基于人脸图像序列的微表情时刻检测装置的结构示意图。图4所描述的基于人脸图像序列的微表情时刻检测装置的结构示意图是根据图3所描述的基于人脸图像序列的微表情时刻检测装置的结构示意图进行改进得到的。其中，该获取单元310可以包括：
第一获取子单元311，用于获取原始视频；
第一处理子单元312，用于对原始视频进行图像预处理操作，得到人脸图像序列。
作为一种可选的实施方式，获取单元310包括：
第二获取子单元313，用于获取人脸图像序列中每帧图像的人脸关键点，并获取人脸关键点包括的多个关键点对；
第二计算子单元314，用于计算与多个关键点对一一对应的多个欧拉距离，并确定多个欧拉距离为几何特征向量；
第二均分子单元315，用于根据预设图像分割方式对人脸图像序列中每帧图像进行均分，得到多个子图像；
第二处理子单元316，用于提取每个子图像的LBP直方图特征向量，并组合LBP直方图特征向量得到特征矩阵；
第二处理子单元316，还用于对特征矩阵进行PCA降维处理，得到纹理特征向量；
第二确定子单元317，用于根据几何特征向量和纹理特征向量，确定人脸图像序列中每帧图像的完整特征向量。
作为一种可选的实施方式，第一计算单元320包括：
第三获取子单元321，用于获取与完整特征向量相对应的完整特征矩阵；
第三确定子单元322，用于确定完整特征矩阵中，每行的均值和每行的标准差；
第三建模子单元323，用于根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型；
第三确定子单元322，还用于根据单行高斯混合模型，确定完整特征矩阵中每个子特征的微表情子概率；
第三计算子单元324，用于根据微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
作为一种可选的实施方式，第二计算单元340包括：
第四获取子单元341，用于获取与每个拍摄子视频相对应的多个微表情单帧概率；
第四计算子单元342，用于根据多个微表情单帧概率进行加法运算，得到与每个拍摄子视频相对应的微表情窗口概率。
本实施例中，对于基于人脸图像序列的微表情时刻检测装置的解释说明可以参照实施例1或实施例2中的描述，对此本实施例中不再多加赘述。
可见，实施图4所描述的基于人脸图像序列的微表情时刻检测装置，能够确定单帧图像中微表情出现的概率，同时还能进一步确定出视频中出现微表情的时间点，从而实现微表情检测的自动化，提高微表情检测的精确度，进而能够通过微表情单帧概率和微表情时刻进一步实现更准确地微表情检测。
本申请实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本申请实施例1或实施例2中任一项基于人脸图像序列的微表情时刻检测方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本申请实施例1或实施例2中任一项基于人脸图像序列的微表情时刻检测方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种基于人脸图像序列的微表情时刻检测方法，其特征在于，所述方法包括：
获取所述人脸图像序列中每帧图像的完整特征向量；
计算与所述完整特征向量相对应的微表情单帧概率；
根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
计算与每个拍摄子视频相对应的微表情窗口概率；
根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻；
所述计算与所述完整特征向量相对应的微表情单帧概率的步骤包括：
获取与所述完整特征向量相对应的完整特征矩阵；其中，完整特征矩阵为76×n的特征矩阵，n为人脸图像序列的总帧数，76作为特征数量用于表示64个纹理特征和12对几何特征的特征集合的数量；
确定所述完整特征矩阵中，每行的均值和每行的标准差；
根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型；
根据所述单行高斯混合模型，确定所述完整特征矩阵中每个子特征的微表情子概率；
根据所述微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
2.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤之前，所述方法还包括：
获取原始视频；
对所述原始视频进行图像预处理操作，得到人脸图像序列。
3.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述获取所述人脸图像序列中每帧图像的完整特征向量的步骤包括：
获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
4.根据权利要求1所述的基于人脸图像序列的微表情时刻检测方法，其特征在于，所述计算与每个拍摄子视频相对应的微表情窗口概率的步骤包括：
获取与每个拍摄子视频相对应的多个微表情单帧概率；
根据所述多个微表情单帧概率进行加法运算，得到与每个拍摄子视频相对应的微表情窗口概率。
5.一种基于人脸图像序列的微表情时刻检测装置，其特征在于，所述微表情时刻检测装置包括：
获取单元，用于获取所述人脸图像序列中每帧图像的完整特征向量；
第一计算单元，用于计算与所述完整特征向量相对应的微表情单帧概率；
划分单元，用于根据预设长度的滑动时间窗对所述人脸图像序列进行划分，得到多个拍摄子视频；
第二计算单元，用于计算与每个拍摄子视频相对应的微表情窗口概率；
分析单元，用于根据所述微表情窗口概率进行极值分析，得到所述人脸图像序列的微表情时刻；
其中，第一计算单元包括：
第三获取子单元，用于获取与完整特征向量相对应的完整特征矩阵；其中，完整特征矩阵为76×n的特征矩阵，n为人脸图像序列的总帧数，76作为特征数量用于表示64个纹理特征和12对几何特征的特征集合的数量；
第三确定子单元，用于确定完整特征矩阵中，每行的均值和每行的标准差；
第三建模子单元，用于根据每行的均值和每行的标准差进行高斯建模，得到单行高斯混合模型；
第三确定子单元，还用于根据单行高斯混合模型，确定完整特征矩阵中每个子特征的微表情子概率；
第三计算子单元，用于根据微表情子概率进行乘法运算，得到与完整特征向量相对应的微表情单帧概率。
6.根据权利要求5所述的基于人脸图像序列的微表情时刻检测装置，其特征在于，所述获取单元包括：
第一获取子单元，用于获取原始视频；
第一处理子单元，用于对所述原始视频进行图像预处理操作，得到人脸图像序列。
7.根据权利要求5所述的基于人脸图像序列的微表情时刻检测装置，其特征在于，所述第一计算单元，包括：
第二获取子单元，用于获取所述人脸图像序列中每帧图像的人脸关键点，并获取所述人脸关键点包括的多个关键点对；
第二计算子单元，用于计算与所述多个关键点对一一对应的多个欧拉距离，并确定所述多个欧拉距离为几何特征向量；
第二均分子单元，用于根据预设图像分割方式对所述人脸图像序列中每帧图像进行均分，得到多个子图像；
第二处理子单元，用于提取每个子图像的LBP直方图特征向量，并组合所述LBP直方图特征向量得到特征矩阵；
所述第二处理子单元，还用于对所述特征矩阵进行PCA降维处理，得到纹理特征向量；
第二确定子单元，用于根据所述几何特征向量和所述纹理特征向量，确定所述人脸图像序列中每帧图像的完整特征向量。
8.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至4中任一项所述的基于人脸图像序列的微表情时刻检测方法。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1至4任一项所述的基于人脸图像序列的微表情时刻检测方法。
CN202011251214.8A 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置 Active CN112329663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011251214.8A CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011251214.8A CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Publications (2)

Publication Number Publication Date
CN112329663A CN112329663A (zh) 2021-02-05
CN112329663B true CN112329663B (zh) 2023-04-07

Family

ID=74317775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011251214.8A Active CN112329663B (zh) 2020-11-10 2020-11-10 一种基于人脸图像序列的微表情时刻检测方法及装置

Country Status (1)

Country Link
CN (1) CN112329663B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113505604B (zh) * 2021-07-16 2023-04-18 牡丹江医学院 一种用于心理学教育的在线辅助实验方法、装置及设备
CN114565814A (zh) * 2022-02-25 2022-05-31 平安国际智慧城市科技股份有限公司 一种特征检测方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271930A (zh) * 2018-09-14 2019-01-25 广州杰赛科技股份有限公司 微表情识别方法、装置与存储介质
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN110991348A (zh) * 2019-12-05 2020-04-10 河北工业大学 基于光流梯度幅值特征的人脸微表情检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188776B1 (en) * 1996-05-21 2001-02-13 Interval Research Corporation Principle component analysis of images for the automatic location of control points
TW200939135A (en) * 2008-03-04 2009-09-16 Avisonic Technology Corp Apparatus and method of image calculating process and face detection system using the same
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN102930294A (zh) * 2012-10-18 2013-02-13 上海交通大学 基于混沌特征量视频运动模态分割和交通状况识别的方法
US10049263B2 (en) * 2016-06-15 2018-08-14 Stephan Hau Computer-based micro-expression analysis
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
CN107403142B (zh) * 2017-07-05 2018-08-21 山东中磁视讯股份有限公司 一种微表情的检测方法
CN107358206B (zh) * 2017-07-13 2020-02-18 山东大学 一种基于感兴趣区域光流特征的微表情检测方法
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN109165608A (zh) * 2018-08-30 2019-01-08 深圳壹账通智能科技有限公司 多视角微表情识别方法、装置、存储介质和计算机设备
CN110175596B (zh) * 2019-06-04 2022-04-22 重庆邮电大学 基于双流卷积神经网络的虚拟学习环境微表情识别与交互方法
CN110852271A (zh) * 2019-11-12 2020-02-28 哈尔滨工程大学 一种基于峰值帧和深度森林的微表情识别方法
CN111611860B (zh) * 2020-04-22 2022-06-28 西南大学 一种微表情发生检测方法及检测系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271930A (zh) * 2018-09-14 2019-01-25 广州杰赛科技股份有限公司 微表情识别方法、装置与存储介质
CN109784175A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 基于微表情识别的异常行为人识别方法、设备和存储介质
CN110991348A (zh) * 2019-12-05 2020-04-10 河北工业大学 基于光流梯度幅值特征的人脸微表情检测方法

Also Published As

Publication number Publication date
CN112329663A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN109522818B (zh) 一种表情识别的方法、装置、终端设备及存储介质
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
Zhang et al. Random Gabor based templates for facial expression recognition in images with facial occlusion
CN111310731A (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
Murtaza et al. Analysis of face recognition under varying facial expression: a survey.
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
CN105095853B (zh) 图像处理装置及图像处理方法
CN110310247B (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN110633004B (zh) 基于人体姿态估计的交互方法、装置和系统
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111401318B (zh) 动作识别方法及装置
JP2007072620A (ja) 画像認識装置及びその方法
CN109977824B (zh) 物品取放识别方法、装置及设备
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN105844204B (zh) 人体行为识别方法和装置
CN113869229A (zh) 基于先验注意力机制引导的深度学习表情识别方法
CN115205933A (zh) 面部表情识别方法、装置、设备及可读存储介质
CN113255557B (zh) 一种基于深度学习的视频人群情绪分析方法及系统
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN111860057A (zh) 人脸图像模糊和活体检测方法、装置、存储介质及设备
CN112750071A (zh) 一种用户自定义的表情制作方法及系统
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant