CN111639537A - 人脸动作单元识别方法、装置、电子设备及存储介质 - Google Patents

人脸动作单元识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111639537A
CN111639537A CN202010359833.2A CN202010359833A CN111639537A CN 111639537 A CN111639537 A CN 111639537A CN 202010359833 A CN202010359833 A CN 202010359833A CN 111639537 A CN111639537 A CN 111639537A
Authority
CN
China
Prior art keywords
action unit
feature
face
face action
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010359833.2A
Other languages
English (en)
Inventor
胡艺飞
徐国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN202010359833.2A priority Critical patent/CN111639537A/zh
Priority to PCT/CN2020/104042 priority patent/WO2021217919A1/zh
Publication of CN111639537A publication Critical patent/CN111639537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种人脸动作单元识别方法、装置、电子设备及存储介质，该方法包括：获取待识别人脸图像，对待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对待识别目标人脸图像进行特征提取，得到三个目标类人脸动作单元的子特征；通过人脸动作单元识别模型的注意力机制获取该三个目标类人脸动作单元的子特征的输出；根据该三个目标类人脸动作单元的子特征的输出，分别获取到每个目标类人脸动作单元的识别结果。实施本申请人脸动作单元识别方法的实施例，有利于提高人脸图像中人脸动作单元识别的效率。此外，本发明还涉及区块链技术，识别结果可存储于区块链节点中。

Description

人脸动作单元识别方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机视觉技术领域，尤其涉及一种人脸动作单元识别方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术的发展，人脸动作单元在人机交互领域表现出了巨大的可挖掘性，吸引了越来越多的企业或研究者的关注。人脸动作单元的识别是人脸表情分析、情绪分析以及考察对象是否有撒谎、欺诈等更深层次行为分析的基础，通常需要采用经过标注的人脸图像数据集构建神经网络模型实现。现有的人脸动作单元识别模型为了提高识别精度，采用的网络结构较为复杂，训练出来的模型量级普遍偏大，因此，并不适合于移动设备，即使能够部署在移动设备上，由于移动设备处理器的性能远低于服务器的处理器性能，模型运行一次需要消耗大量的时间，这就使得人脸动作单元识别的效率偏低。
发明内容
针对以上问题，本申请实施例提出一种人脸动作单元识别方法、装置、电子设备及存储介质，有利于提高人脸图像中人脸动作单元识别的效率。
本申请实施例第一方面，提供了一种人脸动作单元识别方法，该方法包括：
获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
在第一方面的一种实施方式中，所述采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，包括：
将所述待识别目标人脸图像输入所述骨干网络；
通过所述骨干网络中的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取。
在第一方面的另一种实施方式中，所述将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征，包括：
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征，分别输入所述人脸动作单元识别模型中对应的分支中；
经过每个分支中的所述注意力机制多次1*1的卷积处理，得到所述第一输出特征、所述第二输出特征及所述第三输出特征。
在第一方面的另一种实施方式中，所述根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，包括：
将所述第一输出特征、所述第二输出特征及所述第三输出特征的宽、高，分别与所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征的宽、高相乘，得到所述第一目标类人脸动作单元的第一待分类特征、所述第二目标类人脸动作单元的第二待分类特征及所述第二目标类人脸动作单元的第三待分类特征；
将所述第一待分类特征、所述第二待分类特征及所述第三待分类特征输入所述人脸动作单元识别模型的全连接层分别进行分类，得到所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，其中，所述识别结果存储在区块链中。
在第一方面的另一种实施方式中，所述对所述待识别人脸图像进行人脸矫正，包括：
采用预训练的多任务卷积神经网络模型对所述待识别人脸图像进行人脸检测，定位出所述待识别人脸图像中的人脸关键点；
基于所述人脸关键点对所述待识别人脸图像进行人脸矫正。
在第一方面的另一种实施方式中，所述基于所述人脸关键点对所述待识别人脸图像进行人脸矫正，包括：
将所述人脸关键点的坐标信息与预先存储的标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T；
根据预设相似变换矩阵方程求解所述相似变换矩阵T；
将所述人脸关键点的坐标信息与求解后得到的所述相似变换矩阵T相乘，得到所述待识别目标人脸图像。
本申请实施例第二方面提供了一种人脸动作单元识别装置，该装置包括：
人脸矫正模块，用于获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
特征提取模块，用于采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
特征处理模块，用于将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
人脸动作单元分类模块，用于根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
本申请实施例第三方面提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的人脸动作单元识别方法中的步骤。
本申请实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的人脸动作单元识别方法中的步骤。
本申请的上述方案至少包括以下有益效果：本申请实施例通过获取待识别人脸图像，对待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；将第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征输入人脸动作单元识别模型的注意力机制进行卷积处理，得到第一输出特征、第二输出特征和第三输出特征；根据第一输出特征、第二输出特征及第三输出特征，分别获取第一目标类人脸动作单元的识别结果、第二目标类人脸动作单元的识别结果及第三目标类人脸动作单元的识别结果。由于人脸动作单元识别模型的骨干网络采用的是可分离卷积块和反残差块的堆叠进行子特征的提取，可分离卷积使人脸动作单元识别模型的处理参数成倍减少，反残差块相比正残差结构更小，而注意力机制中采用矩阵乘法进行计算，能够保证人脸动作单元识别模型的运行速度，可见，整个人脸动作单元识别模型在结构上更轻量，且运算速度快，有利于提高人脸图像中人脸动作单元识别的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种应用场景的示例图；
图2为申请实施例提供的一种网络架构图；
图3为本申请实施例提供的一种人脸动作单元识别方法的流程示意图；
图4为本申请实施例提供的一种多任务卷积神经网络模型的结构示意图；
图5为本申请实施例提供的一种人脸动作单元识别模型的结构示意图；
图6为本申请实施例提供的一种可分离卷积的示例图；
图7为本申请实施例提供的另一种人脸动作单元识别方法的流程示意图；
图8为本申请实施例提供的一种人脸动作单元识别装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
本申请实施例提出一种人脸动作单元识别方案，可应用于如图1所示的工作人员与客户/群众办理业务的场景中，工作人员通常需要使用终端进行视频或照片的采集，例如：银行工作人员为客户办理贷款业务时、保险公司为客户办理保险业务时、政务中心为群众办理相关业务时，当然，图1所示的场景仅仅是为了举例说明，并不对本申请造成限定，本申请所提出的人脸动作单元还可应用于众多表情分析、心理活动分析、面试等场景中。本方案中采用的人脸动作单元识别模型在卷积处理上均采用可分离卷积，大大减小了模型的参数量，且在提取更深层次的特征上，采用了反残差模块，相比残差模块，反残差模块更轻量，同时，模型的骨干网络与注意力机制中的操作均采用类矩阵乘法，整个设计使得模型只有不到7M的大小，在保证对39个人脸动作单元的识别准确率的情况下，运行速度更快，效率更高，不仅可部署于服务器端，还可以部署于移动终端。
该人脸动作单元识别方案可基于图2所示的网络架构进行实施，如图1所示，该网络架构至少包括终端和服务器，终端和服务器之间通过网络进行通信，该网络包括但不限于虚拟专用网络、局域网络、城域网络，该终端主要用于进行人脸图像的拍摄上传以及最终识别结果的展示，终端可以是手机、平板、笔记本电脑、掌上电脑等设备。服务器在获取到终端发送的人脸图像后，执行一系列的人脸动作单元识别操作，最后将识别结果输出至终端，服务器可以是单台服务器，也可以是服务器集群，还可以是云端服务器，是整个面部动作单元识别方案的执行主体。本申请的一些实施例中，在人脸动作单元识别模型部署在终端的情况下，执行主体还可以是终端，终端上还部署有人脸检测、人脸矫正等相关模型或算法。
基于上述描述，以下结合其他附图对本申请实施例提供的人脸动作单元识别方法进行详细阐述。请参见图3，图3为本申请实施例提供的一种人脸动作单元识别方法的流程示意图，应用于服务器，如图3所示，包括步骤S31-S34：
S31，获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像。
本申请具体实施例中，待识别人脸图像即终端采集并实时上传至服务器的人脸图像，其可以是一段短视频，也可以是单独的图片，此处不作限定。服务器在获取到待识别图像后，首先将其输入预训练的多任务卷积神经网络模型进行人脸检测和人脸关键点定位，如图4所示，多任务卷积神经网络模型由P-Net、R-Net和O-Net三个子网络构成，其中P-Net的输入尺寸(即宽度、高度和深度)为12*12*3，R-Net的输入尺寸为24*24*3，其后接128通道的全连接层，O-Net的输入尺寸为48*48*3，其后接256通道的全连接层，待识别人脸图像先输入P-Net进行处理，P-Net的输出作为R-Net的输入，R-Net的输出作为O-Net的输入，形成级联的结构，每个子网络中采用3*3的卷积或2*2的卷积、3*3的池化或2*2的池化进行处理，最后通过一个人脸分类器给出该区域是否是人脸的置信度，同时使用边框回归和关键点定位器来进行人脸区域的标定和人脸关键点的定位。人脸关键点即待识别人脸图像中人脸的两个眼睛、鼻子、左右两侧嘴角五个关键点，对其进行定位将会得到五个关键点的坐标信息。
另外，得到五个人脸关键点的坐标信息后，从数据库中获取预先存储的标准人脸图像的人脸关键点的坐标信息，标准人脸图像即指图像中的人脸不存在转动、不需要矫正的人脸图像。将待识别人脸图像中五个人脸关键点的坐标信息与标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T，根据以下相似变换矩阵方程求解相似变换矩阵T：
Figure BDA0002473335080000071
之后，将待识别人脸图像中五个人脸关键点的坐标信息与相似变换矩阵T相乘，得到待识别目标人脸图像，即完成了对待识别人脸图像中人脸的矫正。其中，上述相似变换矩阵方程中，(x,y)表示待识别人脸图像中人脸关键点的坐标信息，(x’,y’)表示标准人脸图像中人脸关键点的坐标信息，
Figure BDA0002473335080000072
即相似变换矩阵T，s表示缩放因子，θ表示旋转角度，通常是逆时针旋转，(tx,ty)表示平移参数，具体可采用transform.SimilarityTransform函数对相似变换矩阵T进行迭代求解。
S32，采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征。
本申请具体实施例中，通过步骤S31所述的方法得到待识别目标人脸图像后，将其输入预训练的人脸动作单元识别模型进行人脸动作单元的识别，为了提高人脸动作单元识别模型的处理效率，采用了更加轻量化的卷积神经网络。具体结构如图5所示，该人脸动作单元识别模型的骨干网络部分为7个可分离卷积块和反残差模块的堆叠，总共17层，主要用于对输入的待识别目标人脸图像进行特征提取。人脸动作单元识别模型中所有标准卷积神经网络的卷积核均替换为可分离卷积，若输入的特征图大小为d*d*m(d是特征图的宽和高，m是通道数)，输出的特征图是d*d*n,卷积大小为k*k。标准的卷积核计算复杂度为d*d*m*n*k*k,而可分离卷积核的计算复杂度为d*d*m*(n+k*k)，例如：对于待识别目标人脸图像12*12*3的特征图，如图6所示，首先采用3*3*1的卷积核进行卷积，得到的特征图尺寸为10*10*3，对于10*10*3的特征图再通过1*1*3的卷积核对其进行卷积，得到的是10*10*1的特征图，模型的处理参数由原来的3*3*3*3＝81个减少为3*3*3+1*1*3*3＝36个，运算速度明显比普通的卷积操作快。其次，在可分离卷积的基础上构建反残差模块，采用“扩张-卷积-压缩”的处理模式对特征图的深度进行扩张与压缩，以期望提取到更深层次的特征，相比正残差模块，反残差模块的结构更小，更有利于提升模型的运算效率。
第一目标类人脸动作单元即预先划分的眼睛周围区域类人脸动作单元，第二目标类人脸动作单元即脸部及鼻部类人脸动作单元，第三目标类人脸动作单元即嘴部类人脸动作单元。由于训练上述人脸动作单元识别模型采用的数据集是将39个人脸动作单元分为3大类的标注数据集，即眼睛周围区域类、脸部及鼻部类、嘴部类，眼部周围的人脸动作单元变化一般为细微的皮肤收紧或拉伸，鼻部周围的人脸动作单元变化一般为褶皱，嘴部周围的人脸动作单元变化一般为嘴唇或舌头导致的皮肤部分凸起等。例如：AU45(眨眼)属于眼睛周围区域类、AU18(嘟嘴)属于嘴部类、AU04(皱眉)还是属于眼睛周围区域类，因此，人脸动作单元识别模型学习到的是分别提取以上三大类人脸动作单元的子特征，即经过可分离卷积块和反残差块处理后输出的第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征和第三目标类人脸动作单元子特征。
S33，将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征。
本申请具体实施例中，第一输出特征即第一目标类人脸动作单元子特征经过注意力机制模块中的卷积处理后输出的特征图，第二输出特征、第三输出特征同样如此。请再次参照图5，人脸动作单元识别模型在主体网络部分后分为三个分支，每个分支分别对眼睛周围区域类、脸部及鼻部类、嘴部类的子特征进行处理，每个分支中均加入有注意力机制模块，每个注意力机制模块均由三层1*1的卷积组成，第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征和第三目标类人脸动作单元子特征分别经过三次1*1的卷积得到每类子特征的输出特征。
将不同区域的子特征输入到对应的分支中进行处理能够减小网络的学习难度，有利于网络变浅以提高处理效率，每个分支中的注意力机制模块均使用连续三层1*1卷积学习到二维权重，能明确输入的人脸哪个位置的特征信息更有利于面部动作单元的识别，同时，注意力机制模块采用矩阵乘法进行计算，保证了模型的运算速度，且强化了模型对人脸动作单元的高阶特征的提取能力。
S34，根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
本申请具体实施例中，得到第一输出特征、第二输出特征及第三输出特征后，将该输出特征作为权重，其宽、高分别与第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征和第三目标类人脸动作单元子特征对应的宽、高相乘，以更关注第一目标类人脸动作单元有用的特征，即第一输出特征的宽、高与第一目标类人脸动作单元子特征的宽、高相乘，第二输出特征和第三输出特征亦是做此操作，得到第一目标类人脸动作单元的第一待分类特征、第二目标类人脸动作单元的第二待分类特征和第三目标类人脸动作单元的第三待分类特征，每类人脸动作单元的待分类特征即全连接层的输入特征。将第一待分类特征、第二待分类特征和第三待分类特征输入全连接层，由全连接层分别进行分类，最后输出第一目标类人脸动作单元的识别结果、第二目标类人脸动作单元的识别结果和第三目标类人脸动作单元的识别结果，即输出的是眼睛周围区域类人脸动作单元的识别结果、脸部及鼻部类人脸动作单元的识别结果、嘴部类人脸动作单元的识别结果，该结果是一个概率值，可为其设定一个阈值，当某个具体人脸动作单元的识别结果大于或等于该阈值时，表明待识别人脸图像中的人脸出现了该人脸动作单元，小于该阈值时，表明待识别人脸图像图像中的人脸未出现该人脸动作单元，例如：AU45(眨眼)的值为0.8，AU18(皱眉)的值为0.3，当阈值为0.5时，表明待识别图像中的人脸出现了AU45，而没有出现AU18。
可以看出，本申请实施例通过获取待识别人脸图像，对待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；将第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征输入人脸动作单元识别模型的注意力机制进行卷积处理，得到第一输出特征、第二输出特征和第三输出特征；根据第一输出特征、第二输出特征及第三输出特征，分别获取第一目标类人脸动作单元的识别结果、第二目标类人脸动作单元的识别结果及第三目标类人脸动作单元的识别结果。由于人脸动作单元识别模型的骨干网络采用的是可分离卷积块和反残差块的堆叠进行子特征的提取，可分离卷积使人脸动作单元识别模型的处理参数成倍减少，反残差块相比正残差结构更小，而注意力机制中采用矩阵乘法进行计算，能够保证人脸动作单元识别模型的运行速度，可见，整个人脸动作单元识别模型在结构上更轻量，且运算速度快，有利于提高人脸图像中人脸动作单元识别的效率。
基于图3所示的人脸动作单元识别方法实施例的描述，请参见图7，图7为本申请实施例提供的另一种人脸动作单元识别方法的流程示意图，如图7所示，包括步骤S71-S75：
S71，获取待识别人脸图像；
S72，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
可选的，上述对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像，包括：
采用预训练的多任务卷积神经网络模型对所述待识别人脸图像进行人脸检测，定位出所述待识别人脸图像中的人脸关键点；
基于所述人脸关键点对所述待识别人脸图像进行人脸矫正。
可选的，上述基于所述人脸关键点对所述待识别人脸图像进行人脸矫正，包括：
将所述人脸关键点的坐标信息与预先存储的标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T；
根据预设相似变换矩阵方程求解所述相似变换矩阵T；
将所述人脸关键点的坐标信息与求解后得到的所述相似变换矩阵T相乘，得到所述待识别目标人脸图像。
该实施方式中，并不直接将待识别人脸图像输入人脸动作单元识别模型进行处理，而先采用多任务卷积神经网络模型对待识别人脸图像进行人脸矫正，在人脸转动不同角度时模型都能准确判断，保障了模型的稳定性。
S73，将所述待识别目标人脸图像输入预训练的人脸动作单元识别模型的骨干网络，通过所述骨干网络的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
S74，将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
可选的，上述将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征，包括：
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征，分别输入所述人脸动作单元识别模型中对应的分支中；
经过每个分支中的所述注意力机制多次1*1的卷积处理，得到所述第一输出特征、所述第二输出特征及所述第三输出特征。
该实施方式中，在骨干网络后接3个分支，每个分支分别处理眼睛周围区域类人脸动作单元的子特征、脸部及鼻部类人脸动作单元的子特征、嘴部类人脸动作单元的子特征，保证了39种人脸动作单元动能识别到，且每个分支中的注意力机制模块均采用三层1*1卷积的堆叠，使得模型更加关注有用的特征。
S75，根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
可选的，上述根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，包括：
将所述第一输出特征、所述第二输出特征及所述第三输出特征的宽、高，分别与所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征的宽、高相乘，得到所述第一目标类人脸动作单元的第一待分类特征、所述第二目标类人脸动作单元的第二待分类特征及所述第二目标类人脸动作单元的第三待分类特征；
将所述第一待分类特征、所述第二待分类特征及所述第三待分类特征输入所述人脸动作单元识别模型的全连接层分别进行分类，得到所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，其中，所述识别结果存储在区块链中。
需要强调的是，为进一步保证上述识别结果的私密和安全性，上述识别结果还可以存储于一区块链的节点中。
该实施方式中，将注意力机制模块输出的特征作为权重分别与其输入特征进行运算，得到全连接层的输入特征，然后将三个目标类人脸动作单元的待分类特征输入全连接层进行二分类，有助于模型更加关注三个目标类人脸动作单元之间的区别。
其中，上述步骤S71-S75的具体实施方式在图3所示的实施例中已有详细描述，且能达到相同或相似的有益效果，为避免重复，此处不再赘述。
基于上述人脸动作单元识别方法实施例的描述，本申请还提供一种人脸动作单元识别装置，所述人脸动作单元识别装置可以是运行于终端中的一个计算机程序(包括程序代码)。该人脸动作单元识别装置可以执行图3或图7所示的方法。请参见图8，该装置包括：
人脸矫正模块81，用于获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
特征提取模块82，用于采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
特征处理模块83，用于将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
人脸动作单元分类模块84，用于根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
在一个实施例中，在采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取方面，特征提取模块82具体用于：
将所述待识别目标人脸图像输入所述骨干网络；
通过所述骨干网络的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取。
在一个实施例中，在将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征方面，特征处理模块83具体用于：
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征，分别输入所述人脸动作单元识别模型中对应的分支中；
经过每个分支中的所述注意力机制多次1*1的卷积处理，得到所述第一输出特征、所述第二输出特征及所述第三输出特征。
在一个实施例中，在根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果方面，人脸动作单元分类模块84具体用于：
将所述第一输出特征、所述第二输出特征及所述第三输出特征的宽、高，分别与所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征的宽、高相乘，得到所述第一目标类人脸动作单元的第一待分类特征、所述第二目标类人脸动作单元的第二待分类特征及所述第二目标类人脸动作单元的第三待分类特征；
将所述第一待分类特征、所述第二待分类特征及所述第三待分类特征输入所述人脸动作单元识别模型的全连接层分别进行分类，得到所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，其中，所述识别结果存储在区块链中。
在一个实施例中，在对所述待识别人脸图像进行人脸矫正方面，人脸矫正模块81具体用于：
采用预训练的多任务卷积神经网络模型对所述待识别人脸图像进行人脸检测，定位出所述待识别人脸图像中的人脸关键点；
基于所述人脸关键点对所述待识别人脸图像进行人脸矫正。
在一个实施例中，在基于所述人脸关键点对所述待识别人脸图像进行人脸矫正方面，人脸矫正模块81具体还用于：
将所述人脸关键点的坐标信息与预先存储的标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T；
根据预设相似变换矩阵方程求解所述相似变换矩阵T；
将所述人脸关键点的坐标信息与求解后得到的所述相似变换矩阵T相乘，得到所述待识别目标人脸图像。
本申请实施例提供的人脸动作单元识别装置，通过获取待识别人脸图像，对待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；将第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征输入人脸动作单元识别模型的注意力机制进行卷积处理，得到第一输出特征、第二输出特征和第三输出特征；根据第一输出特征、第二输出特征及第三输出特征，分别获取第一目标类人脸动作单元的识别结果、第二目标类人脸动作单元的识别结果及第三目标类人脸动作单元的识别结果。由于人脸动作单元识别模型的骨干网络采用的是可分离卷积块和反残差块的堆叠进行子特征的提取，可分离卷积使人脸动作单元识别模型的处理参数成倍减少，反残差块相比正残差结构更小，而注意力机制中采用矩阵乘法进行计算，能够保证人脸动作单元识别模型的运行速度，可见，整个人脸动作单元识别模型在结构上更轻量，且运算速度快，有利于提高人脸图像中人脸动作单元识别的效率。
根据本申请的一个实施例，图8所示的人脸动作单元识别装置的各个模块可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)模块还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本发明的其它实施例中，人脸动作单元识别装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图7中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的人脸动作单元识别装置设备，以及来实现本申请实施例的人脸动作单元识别方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
基于上述方法实施例和装置实施例的描述，请参见图9，图9为本申请实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备至少包括存储器901，用于存储计算机程序；处理器902，用于调用存储器901存储的计算机程序实现上述卷积神经网络的实现方法的实施例中的步骤；输入输出接口903，用于进行输入输出，该输入输出接口903可以为一个或多个；可以理解的，电子设备中各部分分别与总线相连。
计算机可读存储介质可以存储在电子设备的存储器901中，所述计算机可读存储介质用于存储计算机程序，所述计算机程序包括程序指令，所述处理器902用于执行所述计算机可读存储介质存储的程序指令。处理器902(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
其中，处理器902具体用于调用计算机程序执行如下步骤：
获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
在一种可能的实施方式中，处理器902执行所述采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，包括：
将所述待识别目标人脸图像输入所述骨干网络；
通过所述骨干网络的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取。
在一种可能的实施方式中，处理器902执行所述将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征，包括：
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征，分别输入所述人脸动作单元识别模型中对应的分支中；
经过每个分支中的所述注意力机制多次1*1的卷积处理，得到所述第一输出特征、所述第二输出特征及所述第三输出特征。
在一种可能的实施方式中，处理器902执行所述根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，包括：
将所述第一输出特征、所述第二输出特征及所述第三输出特征的宽、高，分别与所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征的宽、高相乘，得到所述第一目标类人脸动作单元的第一待分类特征、所述第二目标类人脸动作单元的第二待分类特征及所述第二目标类人脸动作单元的第三待分类特征；
将所述第一待分类特征、所述第二待分类特征及所述第三待分类特征输入所述人脸动作单元识别模型的全连接层分别进行分类，得到所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，其中，所述识别结果存储在区块链中。
在一种可能的实施方式中，处理器902执行所述对所述待识别人脸图像进行人脸矫正，包括：
采用预训练的多任务卷积神经网络模型对所述待识别人脸图像进行人脸检测，定位出所述待识别人脸图像中的人脸关键点；
基于所述人脸关键点对所述待识别人脸图像进行人脸矫正。
在一种可能的实施方式中，处理器902执行所述基于所述人脸关键点对所述待识别人脸图像进行人脸矫正，包括：
将所述人脸关键点的坐标信息与预先存储的标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T；
根据预设相似变换矩阵方程求解所述相似变换矩阵T；
将所述人脸关键点的坐标信息与求解后得到的所述相似变换矩阵T相乘，得到所述待识别目标人脸图像。
示例性的，示例性的，上述电子设备可以是各种服务器、主机等设备。电子设备可包括但不仅限于处理器902、存储器901、输入输出接口903。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
需要说明的是，由于电子设备的处理器902执行计算机程序时实现上述的人脸动作单元识别方法中的步骤，因此上述人脸动作单元识别方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的人脸动作单元识别方法中的步骤。
示例性的，计算机可读存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是，由于计算机可读存储介质的计算机程序被处理器902执行时实现上述的人脸动作单元识别方法中的步骤，因此上述人脸动作单元识别方法的所有实施例均适用于该计算机可读存储介质，且均能达到相同或相似的有益效果。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种人脸动作单元识别方法，其特征在于，所述方法包括：
获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，包括：
将所述待识别目标人脸图像输入所述人脸动作单元识别模型的骨干网络；
通过所述骨干网络的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征，包括：
将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征，分别输入所述人脸动作单元识别模型中对应的分支中；
经过每个分支中的所述注意力机制多次1*1的卷积处理，得到所述第一输出特征、所述第二输出特征及所述第三输出特征。
4.根据要求1-3任一项所述的方法，其特征在于，所述根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，包括：
将所述第一输出特征、所述第二输出特征及所述第三输出特征的宽、高，分别与所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征的宽、高相乘，得到所述第一目标类人脸动作单元的第一待分类特征、所述第二目标类人脸动作单元的第二待分类特征及所述第二目标类人脸动作单元的第三待分类特征；
将所述第一待分类特征、所述第二待分类特征及所述第三待分类特征输入所述人脸动作单元识别模型的全连接层分别进行分类，得到所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果，其中，所述识别结果存储在区块链中。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述待识别人脸图像进行人脸矫正，包括：
采用预训练的多任务卷积神经网络模型对所述待识别人脸图像进行人脸检测，定位出所述待识别人脸图像中的人脸关键点；
基于所述人脸关键点对所述待识别人脸图像进行人脸矫正。
6.根据权利要求5所述的方法，其特征在于，所述基于所述人脸关键点对所述待识别人脸图像进行人脸矫正，包括：
将所述人脸关键点的坐标信息与预先存储的标准人脸图像中人脸关键点的坐标信息进行比对，得到相似变换矩阵T；
根据预设相似变换矩阵方程求解所述相似变换矩阵T；
将所述人脸关键点的坐标信息与求解后得到的所述相似变换矩阵T相乘，得到所述待识别目标人脸图像。
7.一种人脸动作单元识别装置，其特征在于，所述装置包括：
人脸矫正模块，用于获取待识别人脸图像，对所述待识别人脸图像进行人脸矫正，得到待识别目标人脸图像；
特征提取模块，用于采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取，得到第一目标类人脸动作单元子特征、第二目标类人脸动作单元子特征及第三目标类人脸动作单元子特征；
特征处理模块，用于将所述第一目标类人脸动作单元子特征、所述第二目标类人脸动作单元子特征及所述第三目标类人脸动作单元子特征输入所述人脸动作单元识别模型的注意力机制进行卷积处理，得到所述第一目标类人脸动作单元子特征的第一输出特征、所述第二目标类人脸动作单元子特征的第二输出特征以及所述第三目标类人脸动作单元子特征的第三输出特征；
人脸动作单元分类模块，用于根据所述第一输出特征、所述第二输出特征及所述第三输出特征，分别获取所述第一目标类人脸动作单元的识别结果、所述第二目标类人脸动作单元的识别结果及所述第三目标类人脸动作单元的识别结果。
8.根据权利要求7所述的装置，其特征在于，在采用预训练的人脸动作单元识别模型的可分离卷积块和反残差块对所述待识别目标人脸图像进行特征提取方面，所述特征提取模块具体用于：
将所述待识别目标人脸图像输入所述骨干网络；
通过所述骨干网络中的所述可分离卷积块和所述反残差块对所述待识别目标人脸图像进行特征提取。
9.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的人脸动作单元识别方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的人脸动作单元识别方法中的步骤。
CN202010359833.2A 2020-04-29 2020-04-29 人脸动作单元识别方法、装置、电子设备及存储介质 Pending CN111639537A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010359833.2A CN111639537A (zh) 2020-04-29 2020-04-29 人脸动作单元识别方法、装置、电子设备及存储介质
PCT/CN2020/104042 WO2021217919A1 (zh) 2020-04-29 2020-07-24 人脸动作单元识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010359833.2A CN111639537A (zh) 2020-04-29 2020-04-29 人脸动作单元识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111639537A true CN111639537A (zh) 2020-09-08

Family

ID=72332439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010359833.2A Pending CN111639537A (zh) 2020-04-29 2020-04-29 人脸动作单元识别方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111639537A (zh)
WO (1) WO2021217919A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631525A (zh) * 2022-10-26 2023-01-20 万才科技(杭州)有限公司 基于人脸边缘点识别的保险即时匹配方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025198B (zh) * 2021-11-08 2023-06-27 深圳万兴软件有限公司 基于注意力机制的视频卡通化方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019213459A1 (en) * 2018-05-04 2019-11-07 Northeastern University System and method for generating image landmarks
CN110399788A (zh) * 2019-06-13 2019-11-01 平安科技（深圳）有限公司 图像的au检测方法、装置、电子设备及存储介质
CN110427867B (zh) * 2019-07-30 2021-11-19 华中科技大学 基于残差注意力机制的面部表情识别方法及系统
CN110889325B (zh) * 2019-10-12 2023-05-23 平安科技（深圳）有限公司 多任务面部动作识别模型训练和多任务面部动作识别方法
CN110929603B (zh) * 2019-11-09 2023-07-14 北京工业大学 一种基于轻量级卷积神经网络的天气图像识别方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631525A (zh) * 2022-10-26 2023-01-20 万才科技(杭州)有限公司 基于人脸边缘点识别的保险即时匹配方法

Also Published As

Publication number Publication date
WO2021217919A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
Rao et al. Deep convolutional neural networks for sign language recognition
EP4035064B1 (en) Object detection based on pixel differences
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
WO2021196389A1 (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN111695415A (zh) 图像识别模型的构建方法、识别方法及相关设备
EP3617946A1 (en) Context acquisition method and device based on voice interaction
CN110222718B (zh) 图像处理的方法及装置
CN111767906B (zh) 人脸检测模型训练方法、人脸检测方法、装置及电子设备
Wang et al. Deeply supervised face completion with multi-context generative adversarial network
CN110245621B (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
Yang et al. Facial expression recognition based on dual-feature fusion and improved random forest classifier
CN114549913B (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
CN114330565A (zh) 一种人脸识别方法及装置
CN114463805B (zh) 深度伪造检测方法、装置、存储介质及计算机设备
CN113449548A (zh) 更新物体识别模型的方法和装置
CN114612681A (zh) 基于gcn的多标签图像分类方法、模型构建方法及装置
CN114049491A (zh) 指纹分割模型训练、指纹分割方法、装置、设备及介质
Travieso et al. Using a Discrete Hidden Markov Model Kernel for lip-based biometric identification
CN112419249B (zh) 一种特殊服饰图片转化方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination