CN112699797A - 基于联合特征对关系网络的静态人脸表情识别方法及系统 - Google Patents

基于联合特征对关系网络的静态人脸表情识别方法及系统 Download PDF

Info

Publication number
CN112699797A
CN112699797A CN202011612954.XA CN202011612954A CN112699797A CN 112699797 A CN112699797 A CN 112699797A CN 202011612954 A CN202011612954 A CN 202011612954A CN 112699797 A CN112699797 A CN 112699797A
Authority
CN
China
Prior art keywords
static
facial expression
feature
expression
expression recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011612954.XA
Other languages
English (en)
Other versions
CN112699797B (zh
Inventor
冯全
吕修旺
姚潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Code Library Data Technology Co ltd
Original Assignee
Changzhou Code Library Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Code Library Data Technology Co ltd filed Critical Changzhou Code Library Data Technology Co ltd
Priority to CN202011612954.XA priority Critical patent/CN112699797B/zh
Publication of CN112699797A publication Critical patent/CN112699797A/zh
Application granted granted Critical
Publication of CN112699797B publication Critical patent/CN112699797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合特征对关系网络的静态人脸表情识别方法及系统，所述方法包括以下步骤：获取静态人脸表情数据；将静态人脸表情数据输入至静态表情识别模型中；通过静态表情识别模型识别人脸表情；静态表情识别模型基于联合特征对关系网络建立。本发明扩大了类间差异并减少了类内差异，提高了人脸表情识别的识别精度。

Description

基于联合特征对关系网络的静态人脸表情识别方法及系统
技术领域
本发明涉及人脸表情识别领域，具体涉及基于联合特征对关系网络的静态人脸表情识别方法及系统。
背景技术
人脸表情识别是人机交互领域中非常重要和有趣的研究领域之一，受到了广大研究者的关注。然而在不受约束的环境下，人的外表会发生很大的变化，人脸表情会存在类内差异大、类间差异小的问题，这使得人脸表情识别变得困难。因此，在不受约束的环境下，更好的人脸表情识别需要在扩大不同表情差异性的同时减少同类表情的差异。
发明内容
针对以上不足，本发明的目的在于提供一种基于联合特征对关系网络的静态人脸表情识别方法及系统，以解决现有技术中存在的人脸表情识别困难的问题。
为达到上述目的，本发明采用的技术方案为：
一种静态人脸表情识别方法，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立。
进一步的，静态表情识别模型的训练过程包括：
获取静态人脸表情数据集；
去除数据集中图像的背景；
对去除背景的图像进行尺度归一化和像素归一化；
通过归一化处理后的图像对静态表情识别模型进行训练。
进一步的，静态表情识别模型包括面部特征编码网络和联合特征对关系网络。
进一步的，通过静态表情识别模型识别人脸表情，包括：
通过面部特征编码网络对面部表情图像进行编码、输出；
将输出的表情特征划分为多个局部块；
通过每个局部块描述面部部分的局部外观块特征；
通过联合特征对关系网络对局部外观块特征进行权值计算，得到注意图；
根据注意图和设定值从局部外观块特征中选取局部外观块特征对；
根据注意图对选取的局部外观块特征对进行注意力加权；
将加权后的局部外观块特征对输入到低秩双线性池中提取联合特征对关系；
将联合特征对关系传入全连接网络中，预测得到人脸表情。
进一步的，面部表情图像的表情特征通过面部特征编码网络的最后一个卷积层进行非线性激活输出。
进一步的，局部外观块特征对的获取包括：
在列方向上堆叠每个局部外观块特征；
将堆叠后的局部外观块特征进行重新排列，形成矩阵。
一种静态人脸表情识别系统，所述系统包括：
获取模块：用于获取静态人脸表情数据；
输入模块：用于将静态人脸表情数据输入至静态表情识别模型中；
识别模块：用于通过静态表情识别模型识别人脸表情，静态表情识别模型基于联合特征对关系网络建立。
一种静态人脸表情识别系统，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。
与现有技术相比，本发明所达到的有益效果是：
(1)由于人脸中存在一定的表情无关信息，使用联合特征对关系网络对人脸区域的特征进行分区，将特征的重要性进行排序，选取设定值的；局部外观块特征对作为面部表情信息，将剩余的无关信息进行去除，扩大了类间差异并减少了类内差异，提高了表情识别精准度；(2)本发明充分利用面部的表情信息，使用局部外观块特征的相关对及其加权注意得分来表示人脸表情信息，提高了静态表情识别结果的可靠性。
附图说明
图1为联合特征对关系网络的结构图；
图2为特征对重组的过程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
一种基于联合特征对关系网络的静态人脸表情识别方法，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立。
静态表情识别模型的训练过程如下：
(1)对静态人脸表情数据集进行数据处理；
对人脸图像进行人脸检测，去除背景环境的干扰，并尺度归一化为140×140大小的图像，具体步骤如下：
使用多视角人脸检测器和深度对准网络来检测图像的人脸区域及其面部landmark，当检测失败时，则需要对失败的图像进行丢弃。然后使用检测出的68个面部landmark进行面部对齐，并对图像进行尺度归一化，使其分辨率为大小变为140×140，最后将图像的每个像素除以255使得其归一化到[0,1]的范围内。
(2)构建基于联合特征对关系网络的静态表情识别模型；
基于联合特征对关系网络的静态表情识别模型由面部特征编码网络和联合特征对关系网络组成。
(3)将步骤(1)得到的静态表情数据输入到联合特征对关系网络中进行训练。
通过静态表情识别模型识别人脸表情，包括：
首先利用面部特征编码网络Resnet-101将面部表情图像编码能够表达表情的高维特征，并使用最后一个卷积层(conv5_3)的非线性激活输出作为面部外观表示的特征映射；
将conv5_3输出的表情特征图分为81个局部块(9×9分辨率)并进行重新排列，其中每个局部块用于描述该面部部分的局部外观块特征；首先通过在列方向上堆叠每个局部外观块特征A，将一组局部外观块特征fi重新排列成矩阵形式F＝[f1,…,fi,…,fN]∈RD×N，其中N为局部外观块特征的数量即H×W；
如图1所示，随后使用联合特征对关系网络对局部外观块特征进行权值计算生成注意图，注意图通过有选择地利用给定的信息，提供了一种同时提高准确性和减少输入特征数量的有效方法。
由于只有部分的人脸特征对与表情相关，不相关的部分可能导致神经网络的过拟合。我们需要选择相关的局部外观块特征对，因此根据设定值和注意图从局部外观块特征中选取局部外观块特征对；
由于不同对的局部外观块特征对表情识别的贡献不同，我们应该进一步地对局部外观块特征对进行重新调整，以反映它们对表情的实际影响。在数学上，该过程可以被建模为乘以相应的特征对的双线性注意力得分，即对局部外观块特征对进行注意力加权。
在对特征对进行选择和注意力加权之后，加权后的局部外观块特征对会被传播到低秩双线性池以提取联合特征对关系，随后将联合特征对关系传入两层全连接层中对表情进行预测，得到表情结果。
卷积层的输出可以表示为大小为H×W×D的张量，其中H和W表示每个特征图的高度和宽度，D表示特征图中的通道数量。本质上，卷积层将输入的表情图像划分为H×W大小的子区域，并使用一维特征映射来描述每个子区域内的面部信息。由于卷积层的激活输出可以被视为二维特征的二维阵列，因此本文使用H×W个子区域的每个二维局部外观块特征作为第一面部部分的局部特征表示。而在Resnet-101网络conv5_3输出的特征图中，面部区域被分成81个局部块(9×9)，其中每个局部块用于面部部分的局部外观块特征。因此，我们总共提取了81个局部外观块特征A＝{fi|i＝1,,,81}，其中fi∈R2048。
为了找到人脸表情区域中具有高表情强度的特征，本发明使用联合特征对关系网络对人脸区域进行划分。联合特征对关系网络基于低秩双线性池，它能够提供比线性模型更丰富的表示，并通过考虑每对特征来发现注意力分布以及其表情关注分数。因此，联合特征对关系网络利用所有局部外观块特征对之间的注意特征对关系，提取局部外观块特征对的联合特征对关系。
为了获得局部外观块特征对之间的注意特征对关系和联合特征对关系，我们需要将conv5_3输出的局部外观块特征进行重新排列。首先通过在列方向上堆叠每个局部外观块特征A将一组局部外观块特征fi重新排列成矩阵形式F＝[f1,…,fi,…,fN]∈RD×N，其中N为局部外观块特征的数量即H×W。图2说明了特征重新排列的过程。
局部外观块特征对之间的注意特征对关系在本发明中表现为特征对双线性注意图。注意图通过有选择地利用给定的信息，提供了一种同时提高准确性和减少输入特征数量的有效方法。特征对双线性注意图A∈RN×N可以通过下式得到:
Figure BDA0002870776810000071
其中Ai,j是低秩双线性对的输出，p表示池化向量，U、V表示线性映射矩阵，σ表示ReLU非线性激活函数，
Figure BDA0002870776810000072
表示逐元素乘法。最终将softmax函数应用于Ai,j。所有上述操作可以被重写为矩阵形式:
Figure BDA0002870776810000073
为了减少成对的局部外观块特征的数量，我们使用具有特征对双线性关注图的低秩双线性池作为最终的联合特征对关系：
Figure BDA0002870776810000074
其中，U∈RD×L、V∈RD×L为线性映射。l是特征对关系的低秩双线性合并中通过合并和线性映射矩阵U和V得到的简化和合并特征的维数。而式(3)可视为一对局部外观块特征的双线性模型，A为双线性权重矩阵。式(3)可以重写为:
Figure BDA0002870776810000075
其中，Fi和Fj分别是输入F的第i个局部外观块特征和j个局部外观块特征。Ul和Vl分别表示U和V矩阵的第Ul列。
最后，通过将r′投影到一个可学习的汇集矩阵P上，得到联合特征对关系r；
r＝PTr′ (5)
其中r∈RC、P∈RL×C，C为联合特征对关系的维数，通过汇集P得到最终的联合特征对关系r。
而又由于只有部分的人脸特征对与表情相关，不相关的部分可能导致神经网络的过拟合。联合特征对关系可以进一步地只选择相关的局部外观块特征对，在此可以选择设定值对双线性关注度分数大的特征对来计算最终的联合特征对关系。其中，设定值默认为500，如下所示:
Φ＝{pi,j|从A中选择出设定值对Ai,j} (6)
其中pi,j表示所选的具有设定值对特征对关注分数高的的FiFj对。
由于不同对的局部外观块特征拥有相等的尺度值，但它们对表情识别的贡献不同。因此，进一步地对局部外观块特征对进行重新调整，以反映它们对表情的实际影响。在数学上，该过程可以被建模为乘以相应的特征对的双线性注意力得分，即注意力加权。因此式(4)可以重写为：
Figure BDA0002870776810000081
其中wi(k),wj(k)是第k对pi,j的i和j,k表示由对选择层选择的设定值。
由于式(6)不是一个可微函数，它无法更新网络的参数，只能在反向传播期间将梯度从后一层传递到前一层。选出的前K对局部外观块特征对的梯度将从后一层复制到前一层，而丢弃掉的局部外观块特征对的梯度将设置为零。
在对特征对进行选择和注意力加权之后，局部外观块特征的加权对会被传播到低秩双线性池以提取联合特征对关系。将联合特征对关系r传入两层全连接层中，然后对其进行损失函数优化。其中最后一个完全层的输出维度为7维，以作为最后的表情输出结果。
本发明利用面部特征编码网络对人脸表情图像进行特征提取，将人脸表情特征进行9×9局部外观块特征划分，随后联合特征对关系网络利用特征对双线性注意模块得到每对特征块的重要性，并选择局部外观块特征对的设定值对作为表情相关的面部信息，丢弃剩余的表情无关信息，并根据注意图对选取的特征对进行注意力加权，最后利用低秩双线性池化得到联合特征对关系，对表情结果进行预测，得到表情预测结果。
一种静态人脸表情识别系统，所述系统包括：
获取模块：用于获取静态人脸表情数据；
输入模块：用于将静态人脸表情数据输入至静态表情识别模型中；
识别模块：用于通过静态表情识别模型识别人脸表情，静态表情识别模型基于联合特征对关系网络建立。
一种静态人脸表情识别系统，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (8)

1.一种静态人脸表情识别方法，其特征在于，包括以下步骤：
获取静态人脸表情数据；
将静态人脸表情数据输入至静态表情识别模型中；
通过静态表情识别模型识别人脸表情；
静态表情识别模型基于联合特征对关系网络建立。
2.根据权利要求1所述的一种静态人脸表情识别方法，其特征在于，静态表情识别模型的训练过程包括：
获取静态人脸表情数据集；
去除数据集中图像的背景；
对去除背景的图像进行尺度归一化和像素归一化；
通过归一化处理后的图像对静态表情识别模型进行训练。
3.根据权利要求1所述的一种静态人脸表情识别方法，其特征在于，静态表情识别模型包括面部特征编码网络和联合特征对关系网络。
4.根据权利要求3所述的一种静态人脸表情识别方法，其特征在于，通过静态表情识别模型识别人脸表情，包括：
通过面部特征编码网络对面部表情图像进行编码、输出；
将输出的表情特征划分为多个局部块；
通过每个局部块描述面部部分的局部外观块特征；
通过联合特征对关系网络对局部外观块特征进行权值计算，得到注意图；
根据注意图和设定值从局部外观块特征中选取局部外观块特征对；
根据注意图对选取的局部外观块特征对进行注意力加权；
将加权后的局部外观块特征对输入到低秩双线性池中提取联合特征对关系；
将联合特征对关系传入全连接网络中，预测得到人脸表情。
5.根据权利要求4所述的一种静态人脸表情识别方法，其特征在于，面部表情图像的表情特征通过面部特征编码网络的最后一个卷积层进行非线性激活输出。
6.根据权利要求4所述的一种静态人脸表情识别方法，其特征在于，局部外观块特征对的获取包括：
在列方向上堆叠每个局部外观块特征；
将堆叠后的局部外观块特征进行重新排列，形成矩阵。
7.一种静态人脸表情识别系统，其特征在于，所述系统包括：
获取模块：用于获取静态人脸表情数据；
输入模块：用于将静态人脸表情数据输入至静态表情识别模型中；
识别模块：用于通过静态表情识别模型识别人脸表情，静态表情识别模型基于联合特征对关系网络建立。
8.一种静态人脸表情识别系统，其特征在于，所述系统包括处理器和存储介质；
所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1-6任一项所述方法的步骤。
CN202011612954.XA 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统 Active CN112699797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612954.XA CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612954.XA CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Publications (2)

Publication Number Publication Date
CN112699797A true CN112699797A (zh) 2021-04-23
CN112699797B CN112699797B (zh) 2024-03-26

Family

ID=75512675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612954.XA Active CN112699797B (zh) 2020-12-30 2020-12-30 基于联合特征对关系网络的静态人脸表情识别方法及系统

Country Status (1)

Country Link
CN (1) CN112699797B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042992A1 (ko) * 2011-09-23 2013-03-28 (주)어펙트로닉스 얼굴 표정 인식 방법 및 시스템
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112016368A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种基于面部表情编码系统的表情识别方法、系统及电子设备
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013042992A1 (ko) * 2011-09-23 2013-03-28 (주)어펙트로닉스 얼굴 표정 인식 방법 및 시스템
CN105095827A (zh) * 2014-04-18 2015-11-25 汉王科技股份有限公司 人脸表情识别装置和方法
CN107045618A (zh) * 2016-02-05 2017-08-15 北京陌上花科技有限公司 一种人脸表情识别方法及装置
CN105825192A (zh) * 2016-03-24 2016-08-03 深圳大学 一种人脸表情识别方法及系统
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN109766840A (zh) * 2019-01-10 2019-05-17 腾讯科技（深圳）有限公司 人脸表情识别方法、装置、终端及存储介质
CN112016368A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种基于面部表情编码系统的表情识别方法、系统及电子设备
CN111667559A (zh) * 2020-05-27 2020-09-15 西北工业大学 一种基于深度迁移网络的多形态人脸情感生成方法
CN111783622A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人脸表情识别的方法、装置、设备和计算机可读存储介质
CN112101241A (zh) * 2020-09-17 2020-12-18 西南科技大学 一种基于深度学习的轻量级表情识别方法

Also Published As

Publication number Publication date
CN112699797B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN113674403B (zh) 一种三维点云上采样方法、系统、设备及介质
CN108446689B (zh) 一种人脸识别方法
CN111523546B (zh) 图像语义分割方法、系统及计算机存储介质
Leng et al. 3D object understanding with 3D convolutional neural networks
CN107122809A (zh) 基于图像自编码的神经网络特征学习方法
WO2016168235A1 (en) Fine-grained image classification by exploring bipartite-graph labels
CN108710906B (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
CN108875076B (zh) 一种基于Attention机制和卷积神经网络的快速商标图像检索方法
Wang et al. Fully contextual network for hyperspectral scene parsing
CN109299701A (zh) 基于gan扩充多人种特征协同选择的人脸年龄估计方法
CN112949740B (zh) 一种基于多级度量的小样本图像分类方法
WO2012177913A1 (en) Method and apparatus for a local competitive learning rule that leads to sparse connectivity
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN103065158A (zh) 基于相对梯度的isa模型的行为识别方法
CN113095251B (zh) 一种人体姿态估计方法及系统
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
Sikdar et al. Scale-invariant batch-adaptive residual learning for person re-identification
Bello et al. FFPointNet: Local and global fused feature for 3D point clouds analysis
Bazazian et al. DCG-net: Dynamic capsule graph convolutional network for point clouds
Bulat et al. Matrix and tensor decompositions for training binary neural networks
Bi et al. Critical direction projection networks for few-shot learning
CN112749576A (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN112699797A (zh) 基于联合特征对关系网络的静态人脸表情识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant