CN114926886B - 一种微表情动作单元识别方法及系统 - Google Patents

一种微表情动作单元识别方法及系统 Download PDF

Info

Publication number
CN114926886B
CN114926886B CN202210599268.6A CN202210599268A CN114926886B CN 114926886 B CN114926886 B CN 114926886B CN 202210599268 A CN202210599268 A CN 202210599268A CN 114926886 B CN114926886 B CN 114926886B
Authority
CN
China
Prior art keywords
feature
image
micro
region
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210599268.6A
Other languages
English (en)
Other versions
CN114926886A (zh
Inventor
曹叶文
周冠群
蒋友军
袁树森
邢红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210599268.6A priority Critical patent/CN114926886B/zh
Publication of CN114926886A publication Critical patent/CN114926886A/zh
Application granted granted Critical
Publication of CN114926886B publication Critical patent/CN114926886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种微表情动作单元识别方法及系统，包括：获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。使用空间金字塔网络提取不同层的细微特征，使用区域特征网络捕获不同面部区域的局部外观变化，更加准确的识别微表情的动作单元。

Description

一种微表情动作单元识别方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种微表情动作单元识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
微表情相较于普通表情而言，持续时间很短，仅为1/25～1/5秒。微表情出现快速、短暂，且不易被察觉，在很多领域都具有应用价值，比如身份识别、实时表情动画、跟踪技术，故而有必要对微表情的识别展开研究。
在计算机视觉领域，微表情识别是全自动微表情分析系统不可或缺的模块。微表情识别是指给定一个已经检测出的微表情间隔，通过计算机视觉算法，识别出该微表情的情感类别或动作单元。
微表情识别包括两个重要的分支，分别是表情识别和动作单元识别。大多数现有研究集中在微表情的表情识别上，而很少研究如何识别微表情的动作单元。表情识别只能对表情进行简单的划分，如开心、生气、厌恶、恐惧、悲伤和惊讶等6种人类基本表情，但这是笼统的划分。由于人类的表情是复杂的，为了识别到完整的表情就需要使用面部动作单元(Action Unit，AU)进行划分。AU是单个肌肉或肌肉群的基本动作，不同的AU组合可以描述大部分表情。
目前，有许多关于宏表情的AU识别的研究方法。传统的AU识别方法使用手工特征，如Haar特征、梯度直方图(Histogram of Oriented Gradients，HOG)特征、局部二进制模式特征(Local Binary Pattern，LBP)、Garbor小波特征以及尺度不变特征变换(ScaleInvariant Feature Transform，SIFT)。
然而，手工制作的特征仍不能很好的表现面部的变化。
近年来，深度学习方法由于其强大的非线性表示能力，在宏表情的AU识别中得到了广泛的研究。与宏表情的AU识别研究相比，对于微表情的AU识别研究相对较少。这是因为存在如下问题：
①微表情AU识别的强度要低得多，发生AU的持续时间要短得多，导致定位困难；
②与宏表情AU数据集(例如BP4D数据集)(328个视频和总共约140000帧)相比，微表情AU数据集包含的样本数量非常少；
③微表情中并没有几个AU共存，即相关性较弱，也就是说，在宏表情中常见的多标签学习框架不适合微表情AU识别；
④微表情各个AU样本的数量不平衡，有的AU样本有很多，如AU4(眉毛下压)，有的AU样本只有几个，如AU10(上嘴唇提起)。
所以，目前在微表情识别中存在动作单元强度低、不易被捕捉、AU样本数量不平衡等问题。
发明内容
为了解决上述问题，本发明提出了一种微表情动作单元识别方法及系统，使用空间金字塔网络提取不同层的细微特征，使用区域特征网络捕获不同面部区域的局部外观变化，更加准确的识别微表情的动作单元。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种微表情动作单元识别方法，包括：
获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。
作为可选择的实施方式，所述预处理包括，对连续帧图像进行像素值的归一化处理，对像素值归一化后的连续帧图像进行人脸检测、人脸对齐、图像裁剪和大小归一化处理。
作为可选择的实施方式，对连续帧图像经预处理后得到图像序列，对图像序列像素采用排序池化法提取动态图。
作为可选择的实施方式，所述空间金字塔包括多层卷积，将每层卷积的最后一个残差块的输出作为空间金字塔的一层特征图，由此提取多层特征图。
作为可选择的实施方式，每个区域采用2个1×1的卷积和1个3×3的卷积进行局部特征图的提取，3×3的卷积位于2个1×1的卷积之间，在每个卷积后使用批量归一化和ReLU激活函数。
作为可选择的实施方式，注意力特征提取的过程包括：
对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道的最大值和平均值，分别生成最大特征图和平均特征图；
分别提取最大特征图和平均特征图的特征向量，并获取每个位置的特征在整个面部空间的重要程度，并将得到特征图调整大小后拼接成组合特征图，将组合特征图降维后，采用sigmoid函数将数值限制到0～1范围内，得到空间注意力特征图；
将区域特征图和空间注意力特征图做乘积，将乘积结果与区域特征图相加，得到注意力特征图。
作为可选择的实施方式，所述微表情动作单元识别方法还包括采用焦点损失函数进行网络训练。
第二方面，本发明提供一种微表情动作单元识别系统，包括：
动态图提取模块，被配置为获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
区域特征提取模块，被配置为对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
动作单元识别模块，被配置为对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明提出一种微表情动作单元识别方法及系统，针对微表情动作单元的识别，使用空间金字塔网络提取不同层的细微特征，区别于一般方法只使用最后一个网络层的高级特征进行最终的识别，会因为感受野的局限性，只能收集一种范围大小的局部区域特征信息，无法从多个范围大小的局部区域特征信息中综合定位微表情。
本发明提出一种微表情动作单元识别方法及系统，使用区域特征网络捕获不同面部区域的局部外观变化，这些区域信息提供了识别AU和整体表情的重要线索。
本发明提出一种微表情动作单元识别方法及系统，使用焦点损失函数训练网络，以解决AU样本数量不平衡的问题。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的微表情动作单元识别方法流程图；
图2为本发明实施例1提供的微表情动作单元识别模型结构图；
图3为本发明实施例1提供的空间金字塔特征提取示意图；
图4为本发明实施例1提供的区域特征提取示意图；
图5为本发明实施例1提供的注意力特征提取示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提出一种基于动态图和空间金字塔的微表情动作单元识别方法，具体包括：
获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。
如图1所示，在本实施例中，首先对微表情视频流进行解析分帧后，得到连续帧图像，并对帧图像进行像素值的归一化处理，将帧图像的像素值归一化至0～1的范围内，归一化如公式(1)所示。
Figure BDA0003669328050000071
其中，g为变换前的帧图像，g′为归一化后的帧图像，gmax为变换前的帧图像中像素最大值，gmin为变换前的帧图像中像素最小值。
然后，对像素值归一化后的帧图像进行人脸检测、人脸对齐、图像裁剪以及帧图像大小归一化处理；具体包括：
(1)使用Dlib工具包中的人脸检测器检测每一帧的人脸，并裁剪获得人脸框；
(2)由于人的头部会有轻微的偏移，这会影响提取的图像特征；所以为了消除影响，使用仿射变换将每一帧与第一帧进行人脸对齐。
(3)人脸对齐后，人脸的周围仍有背景噪声，如头发、衣服和耳机等；因此对人脸进一步裁剪；
(4)最后，将所有帧图像大小都归一化为224×224的大小。
在本实施例中，对经上述预处理后得到的图像序列，生成动态图；动态图是单个RGB图像，相当于静止图像，动态图可以捕捉整个视频序列或子序列的动态和外观的特征，可以产生一种长期、稳定的运动表示。通过对图像序列像素直接应用排序池化提取动态图，是求解RankSVM最终获得的排序函数的参数，如公式(2)所示；
Figure BDA0003669328050000072
其中，xt∈R3×224×224是第t帧图像，t＝1,…,K；K是微表情图像序列的总帧数；ψ(xt)是第t帧xt的特征表示，使用原始RGB图像表示，即ψ(xt)＝xt；
Figure BDA0003669328050000081
是帧图像xt平滑处理后的结果；αt＝2(K-t+1)-(K+1)(HK-Ht-1)，
Figure BDA0003669328050000082
αt、Ht为中间参量；参数值w*是微表情图像序列的动态图。
由于微表情动作单元AU之间共存的情况少，故本实施例对每个动作单元AU分别训练相同网络结构的识别模型，识别模型包括特征提取模块和注意力模块，并使用焦点损失函数进行训练，如图2所示。
在本实施例中，特征提取模块包括：空间金字塔模块和区域特征模块；对动态图采用空间金字塔提取多层特征图，每层特征图采用区域特征模块提取区域特征图。
如图3所示，空间金字塔模块以ResNet50网络为主体网络，包括4层卷积层，将四个卷积部分的每个部分的最后一个残差块的输出特征作为空间金字塔的一层特征图，由此提取多层特征图；
由于不同层的感受野大小的不同，所能观察到的含有重要特征的局部区域上下文范围也不同，所以本实施例综合考虑多层特征图有助于定位特征变化区域。
如图4所示，在区域特征模块中，将提取的多层特征图分别进行区域划分，分割成7×7的网格，每一个网格代表一个区域；然后对每个区域提取局部特征；
具体地，每一个区域使用2个1×1的卷积和1个3×3的卷积，3×3的卷积位于2个1×1的卷积之间，前一个1×1的卷积用于降维，后一个1×1的卷积用于升维，保证输出和输入大小一致，在每一个卷积后使用批量归一化(BN)和ReLU激活函数；局部卷积用于捕获局部的外观变化，并且每个区域的学习权重是独立更新的。
经过区域特征模块后的输出大小和输入大小是一致的，图像位置也是一致的，所以将生成的每个区域的局部特征图放置到区域所在位置处，以此输出区域特征图。
此外，如果在局部的区域中并没有学习到关于AU的有用信息，则使用残差直接输出原始局部区域特征。通过上述方式实现在稀疏的面部局部区域识别AU。
为了突出重要的特征，本实施例通过对区域特征图进行注意力特征提取，强调决定性特征，并抑制无效特征，然后利用残差提高对人脸部分遮挡或相机视点变化的鲁棒性，如图5所示。
输入的区域特征图为F∈RC×H×W，为了计算空间注意力，首先，对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置(i,j)处各个通道的最大值和平均值，用于表示该位置的显著特征，分别生成平均特征图FAvg∈R1×H×W和最大特征图FMax∈R1×H×W；最大池化操作和平均池化操作如式(3)-式(4)所示；
Figure BDA0003669328050000091
FMax(i,j)＝max(F1(i,j),…,FC(i,j))   (4)
其中，n是通道索引，指代第n个通道；C是总通道数；Fn(i,j)表示F的第n个通道特征图的(i,j)位置处的特征值；FAvg(i,j)是F的所有通道特征图在(i,j)位置处的特征平均值；FMax(i,j)是F的所有通道特征图在(i,j)位置处的特征最大值。
然后，将平均特征图和最大特征图展平成长度为H×W的特征向量，并采用softmax函数获取每个位置点的特征在整个面部空间的重要程度，得到特征图
Figure BDA0003669328050000101
和
Figure BDA0003669328050000102
Figure BDA0003669328050000103
Figure BDA0003669328050000104
将特征图
Figure BDA0003669328050000105
和
Figure BDA0003669328050000106
重新调整大小为F′Avg和F′Max，然后组合成组合特征图F′∈R2×H×W，将组合特征图F′经1×1的卷积核卷积降维后，再使用sigmoid函数将所有的数值限制到0～1范围内，得到空间注意力特征图FAtt∈R1×H×W；
最后，将区域特征图F和空间注意力特征图FAtt做乘积，并将乘积结果与区域特征图F再相加，得到最终的注意力特征图Fsp；
Fsp＝F·FAtt+F   (7)
同时，形成一个残差块，有助于避免在训练网络期间出现消失梯度问题。
对于每一个微表情AU模型来说都是二分类任务；但是由于AU的样本分布很不平衡，有的AU的样本数很多，有的AU的样本数很少，导致模型更容易识别样本数多的AU，更难识别样本数少的AU。因此本实施例使用焦点损失函数(Focal Loss)训练识别模型，用于解决样本分布不平衡的问题。损失函数如公式(8)所示；
Figure BDA0003669328050000107
其中，M是总样本数，yi是第i个样本的真实标签，若出现AU则为1，否则为0；
Figure BDA0003669328050000108
是第i个样本的预测标签，是一个大小在0～1之间的数值，表示AU出现的概率；
γ为难分样本权重，用来降低易分样本的损失贡献，常取2；一般将当前识别AU认为是正样本，其余AU是负样本。这样，对于正样本来说，预测概率
Figure BDA0003669328050000111
越大表示该样本是易分样本，预测概率
Figure BDA0003669328050000112
越小表示该样本是难分样本，负样本相反。正类的易分样本的
Figure BDA0003669328050000113
权重会很小，负类的易分样本
Figure BDA0003669328050000114
权重也会很小，这样易分样本的损失值会变小，而难分样本的损失值会变大，网络训练过程就会更加关注难分样本；
α为类别权重，常取0.25，用来权衡正负样本不均衡问题，若负样本越多，给负样本的α权重就越小，这样可以降低负样本的影响。
实施例2
本实施例提供一种微表情动作单元识别系统，包括：
动态图提取模块，被配置为获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
区域特征提取模块，被配置为对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
动作单元识别模块，被配置为对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种微表情动作单元识别方法，其特征在于，包括：
获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型；
所述注意力特征提取的过程包括：
对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道的最大值和平均值，分别生成最大特征图和平均特征图；
分别提取最大特征图和平均特征图的特征向量，并获取每个位置的特征在整个面部空间的重要程度，得到特征图
Figure FDA0004127677810000011
和
Figure FDA0004127677810000012
Figure FDA0004127677810000013
Figure FDA0004127677810000014
其中，F为输入的区域特征图，FAvg(,j)是F的所有通道特征图在(,j)位置处的特征平均值，FMax(,j)是F的所有通道特征图在(,j)位置处的特征最大值；
并将得到的特征图
Figure FDA0004127677810000015
和
Figure FDA0004127677810000016
调整大小后拼接成组合特征图，将组合特征图降维后，采用sigmoid函数将数值限制到0～1范围内，得到空间注意力特征图；
将区域特征图和空间注意力特征图做乘积，将乘积结果与区域特征图相加，得到注意力特征图。
2.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述预处理包括，对连续帧图像进行像素值的归一化处理，对像素值归一化后的连续帧图像进行人脸检测、人脸对齐、图像裁剪和大小归一化处理。
3.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，对连续帧图像经预处理后得到图像序列，对图像序列像素采用排序池化法提取动态图。
4.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述空间金字塔包括多层卷积，将每层卷积的最后一个残差块的输出作为空间金字塔的一层特征图，由此提取多层特征图。
5.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，每个区域采用2个1×1的卷积和1个3×3的卷积进行局部特征图的提取，3×3的卷积位于2个1×1的卷积之间，在每个卷积后使用批量归一化和ReLU激活函数。
6.如权利要求1所述的一种微表情动作单元识别方法，其特征在于，所述微表情动作单元识别方法还包括采用焦点损失函数进行网络训练。
7.一种微表情动作单元识别系统，其特征在于，包括：
动态图提取模块，被配置为获取微表情视频的连续帧图像，对连续帧图像经预处理后，提取动态图；
区域特征提取模块，被配置为对动态图采用空间金字塔提取多层特征图，每层特征图经区域划分后，提取每个区域的局部特征图，根据每个区域的局部特征图及区域所在位置得到各层特征图的区域特征图；
动作单元识别模块，被配置为对各层特征图的区域特征图进行注意力特征提取，根据得到的注意力特征图确定面部动作单元，从而以此获取微表情类型；
所述注意力特征提取的过程包括：
对区域特征图沿通道轴采用最大池化操作和平均池化操作获取每个位置处各个通道的最大值和平均值，分别生成最大特征图和平均特征图；
分别提取最大特征图和平均特征图的特征向量，并获取每个位置的特征在整个面部空间的重要程度，得到特征图
Figure FDA0004127677810000031
和
Figure FDA0004127677810000032
Figure FDA0004127677810000033
Figure FDA0004127677810000034
其中，F为输入的区域特征图，FAvg(,j)是F的所有通道特征图在(,j)位置处的特征平均值，FMax(,j)是F的所有通道特征图在(,j)位置处的特征最大值；
并将得到的特征图
Figure FDA0004127677810000035
和
Figure FDA0004127677810000036
调整大小后拼接成组合特征图，将组合特征图降维后，采用sigmoid函数将数值限制到0～1范围内，得到空间注意力特征图；
将区域特征图和空间注意力特征图做乘积，将乘积结果与区域特征图相加，得到注意力特征图。
8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
CN202210599268.6A 2022-05-30 2022-05-30 一种微表情动作单元识别方法及系统 Active CN114926886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210599268.6A CN114926886B (zh) 2022-05-30 2022-05-30 一种微表情动作单元识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210599268.6A CN114926886B (zh) 2022-05-30 2022-05-30 一种微表情动作单元识别方法及系统

Publications (2)

Publication Number Publication Date
CN114926886A CN114926886A (zh) 2022-08-19
CN114926886B true CN114926886B (zh) 2023-04-25

Family

ID=82812266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210599268.6A Active CN114926886B (zh) 2022-05-30 2022-05-30 一种微表情动作单元识别方法及系统

Country Status (1)

Country Link
CN (1) CN114926886B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN112836589A (zh) * 2021-01-13 2021-05-25 苏州元启创人工智能科技有限公司 基于特征融合的视频中人脸表情识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139004B (zh) * 2015-09-23 2018-02-06 河北工业大学 基于视频序列的人脸表情识别方法
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质
CN111898431B (zh) * 2020-06-24 2022-07-26 南京邮电大学 一种基于注意力机制部件遮挡的行人再识别方法
CN112766158B (zh) * 2021-01-20 2022-06-03 重庆邮电大学 基于多任务级联式人脸遮挡表情识别方法
CN113221639B (zh) * 2021-04-01 2022-07-29 山东大学 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN114155572A (zh) * 2021-11-04 2022-03-08 华中师范大学 一种面部表情识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法
CN112836589A (zh) * 2021-01-13 2021-05-25 苏州元启创人工智能科技有限公司 基于特征融合的视频中人脸表情识别方法

Also Published As

Publication number Publication date
CN114926886A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
Rao et al. A deep learning approach to detection of splicing and copy-move forgeries in images
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
CN103116763B (zh) 一种基于hsv颜色空间统计特征的活体人脸检测方法
CN111523462B (zh) 基于自注意增强cnn的视频序列表情识别系统及方法
CN109389045B (zh) 基于混合时空卷积模型的微表情识别方法与装置
CN110428399B (zh) 用于检测图像的方法、装置、设备和存储介质
WO2016138838A1 (zh) 基于投影极速学习机的唇语识别方法和装置
Anand et al. An improved local binary patterns histograms techniques for face recognition for real time application
CN108154133B (zh) 基于非对称联合学习的人脸画像-照片识别方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
JP2010108494A (ja) 画像内の顔の特性を判断する方法及びシステム
Stuchi et al. Improving image classification with frequency domain layers for feature extraction
Wan et al. Generative adversarial multi-task learning for face sketch synthesis and recognition
CN110738103A (zh) 活体检测方法、装置、计算机设备和存储介质
CN113255557A (zh) 一种基于深度学习的视频人群情绪分析方法及系统
Wang et al. Hyperspectral image classification based on PCA network
BR102014030832B1 (pt) Método de detecção de vivacidade de impressões digitais usando redes convolucionais
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
Toca et al. Normalized Autobinomial Markov Channels For Pedestrian Detection.
CN116206334A (zh) 一种野生动物识别方法和装置
CN114926886B (zh) 一种微表情动作单元识别方法及系统
CN111814682A (zh) 人脸活体检测方法及装置
CN116798041A (zh) 图像识别方法、装置和电子设备
Li Saliency prediction based on multi-channel models of visual processing
Zavialkin CNN-based ringed seal pelage pattern extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant