CN112381046A - 多任务姿态不变的人脸识别方法、系统、装置及存储介质 - Google Patents

多任务姿态不变的人脸识别方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN112381046A
CN112381046A CN202011376722.9A CN202011376722A CN112381046A CN 112381046 A CN112381046 A CN 112381046A CN 202011376722 A CN202011376722 A CN 202011376722A CN 112381046 A CN112381046 A CN 112381046A
Authority
CN
China
Prior art keywords
face
posture
face recognition
data set
invariant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011376722.9A
Other languages
English (en)
Other versions
CN112381046B (zh
Inventor
陈真
向友君
张明月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011376722.9A priority Critical patent/CN112381046B/zh
Publication of CN112381046A publication Critical patent/CN112381046A/zh
Application granted granted Critical
Publication of CN112381046B publication Critical patent/CN112381046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种多任务姿态不变的人脸识别方法、系统、装置及存储介质，其中方法包括以下步骤：获取待识别的人脸图像；将所述人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；其中，所述人脸识别模型包括三个神经网络，所述三个神经网络用于分割人脸区域并进行三种人脸姿势识别，所述三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。本发明通过使用三个神经网络针对不同的人脸姿势，进行人脸识别，能够有效地消除姿势变化带来性能下降的问题，可广泛应用于计算机视觉领域。

Description

多任务姿态不变的人脸识别方法、系统、装置及存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种多任务姿态不变的人脸识别方法、系统、装置及存储介质。
背景技术
随着智能设备在如今社会的广泛使用，通过生物特征进行身份识别的应用变得热门且重要起来，其中通过人脸生物特征进行身份识别尤为突出。卷积神经网络由于具有提取空间特征的能力，且易于实现的特点，因此各种不同结构的卷积神经网络已经广泛应用于计算机视觉领域相关的任务之中。如人脸识别任务广泛的使用基于卷积神经网络的模型提取特征，如VGG、Resnet等。在具体任务中以其为基础再加以修改已经成为最受欢迎的方法之一。目前基于卷积神经网络的算法在单个数据集中已经可以取得很好的成果，但是当真正要在实际场景中应用时，难免会有许多漏洞，原因是这些数据集普遍都存在一些缺陷，如采集的人脸角度单一、光线变化不足、人脸表情单一等等。这也就是目前某些人脸识别算法在单个数据集可以取得很好的效果但是一到其他数据集其效果就会骤降的原因。
为了优化目前人脸识别算法中对姿势变化的图像识别效果差的问题，现有技术提出了不同的方法：其中主要可以分为增广数据和调整模型两类。前者通过联合多个数据集中不同条件的图片来训练模型从而达到一定的泛化能力；后者是调整模型来学习不同姿势的判别表示。
目前，人脸识别算法不具备泛化性的主要原因，是因为基于卷积神经网络的算法，需要数据具有广泛的分布，基于此，卷积神经网络能学习到更为广泛的特征。而目前的单一数据集由于其是在试验场景下采集的图片，具有采集环境条件相似，分布不广等缺点，与实际场景相差甚远。用某个数据集进行卷积神经网络的训练时并在该数据集取得不错的评估分数后，该卷积神经网络只学习到可能是某个视角或者某个光线下的特征，当换个视角或者换个亮度后，该卷积神经网络的表现就会相对逊色很多。训练的次数越多，该情况越明显。
术语解释：
多任务姿态不变：指不同场景下同一个人摆出不同姿势表情，如做鬼脸、哈哈大笑等，通过提出的网络将不同表情映射成一致，维持同一个人的表情。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种多任务姿态不变的人脸识别方法、系统、装置及存储介质。
本发明所采用的技术方案是：
一种多任务姿态不变的人脸识别方法，包括以下步骤：
获取待识别的人脸图像；
将所述人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；
其中，所述人脸识别模型包括三个神经网络，所述三个神经网络用于分割人脸区域并进行三种人脸姿势识别，所述三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
进一步，所述人脸识别方法还包括建立所述人脸识别模型的步骤，具体为：
根据预设的数据集获取融合有三种人脸姿势的人脸数据集；
对所述人脸数据集的人脸图像进行人脸姿势分类，获得左脸数据集、正脸数据集和右脸数据集；
分别对所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像进行人脸区域分割，获得三个训练集；
将所述三个训练集分别对三个神经网络进行训练，获得所述人脸识别模型。
进一步，所述分别对所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像进行人脸区域分割，包括：
采用区间梯度法分别将所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像解构成结构部分和纹理部分，以及抑制所述纹理部分的梯度；
采用颜色不变策略所述结构部分中获取人脸区域，实现人脸区域分割。
进一步，所述区间梯度法中采用以下方程获取区间梯度，以表示人脸图像的梯度：
Figure BDA0002808388650000021
其中，Ω表示局部窗口；
Figure BDA0002808388650000022
表示重新标量的权重；wp表示重新标量的权重；
wp通过以下方程求得：
Figure BDA0002808388650000023
其中，
Figure BDA0002808388650000024
为常数。
进一步，所述采用颜色不变策略所述结构部分中获取人脸区域，包括以下步骤：
设定颜色不变量，所述颜色不变量为独立于照明强度和视角特性的参数；
根据所述颜色不变量计算所述结构部分中每个像素的二进制掩码，实现二值图像的精化，以区分出人脸区域和非人脸区域，获得人脸区域。
进一步，所述颜色不变量的定义如下：
Figure BDA0002808388650000031
定义相等能量但照度不均匀的公式如下：
Figure BDA0002808388650000032
通过以下线性转换矩阵将图像从RGB转换到高斯颜色模型：
Figure BDA0002808388650000033
其中，x代表图像中的位置，λ表示波长，
Figure BDA0002808388650000034
表示照度谱，
Figure BDA0002808388650000035
表示Fresnel反射率，
Figure BDA0002808388650000036
表示Fresnel材料反射率。
进一步，在对三个神经网络进行训练时，需确定激活函数，所述激活函数的公式为：
Figure BDA0002808388650000037
其中，ai为可学习参数，当ai为0时，该函数退化为Relu，当ai＝0.01，该函数变为LRelu。
本发明所采用的另一技术方案是：
一种多任务姿态不变的人脸识别系统，包括：
数据获取模块，用于获取待识别的人脸图像；
人脸识别模块，用于将所述人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；
其中，所述人脸识别模型包括三个神经网络，所述三个神经网络用于分割人脸区域并进行三种人脸姿势识别，所述三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
本发明所采用的另一技术方案是：
一种多任务姿态不变的人脸识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述一种多任务姿态不变的人脸识别方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述一种多任务姿态不变的人脸识别。
本发明的有益效果是：本发明通过使用三个神经网络针对不同的人脸姿势，进行人脸识别，能够有效地消除姿势变化带来性能下降的问题。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种多任务姿态不变的人脸识别方法的步骤流程图；
图2是本发明实施例中人脸识别模型的结构示意图；
图3是本发明实施例中新数据集的部分展示示意图；
图4是本发明实施例中人脸区域分割的过程示意图；
图5是本发明实施例中人脸分割的实验示例示意图；
图6是本发明实施例中激活函数的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1所示，本实施例提供一种多任务姿态不变的人脸识别方法，包括以下步骤：
S1、建立人脸识别模型。
S2、获取待识别的人脸图像。
S3、将人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；其中，人脸识别模型包括三个神经网络，三个神经网络用于分割人脸区域并进行三种人脸姿势识别，三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
参照图2，将人脸图像输入人脸识别模型后，由人脸识别模型中的三个神经网络分别对人脸图像进行识别，当人脸图像为左脸姿势时，人脸图像能被左脸姿势对应的神经网络精准地识别到；当人脸图像为正脸姿势时，人脸图像能被正脸姿势对应的神经网络精准地识别到；当人脸图像为右脸姿势时，人脸图像能被右脸姿势对应的神经网络精准地识别到；基于此，能够准确地识别到不同角度及姿态的人脸，有效解决因姿态降低识别性能的问题。
其中，步骤S1具体包括以下步骤S11-S13：
S11、将三个公开数据集融合重新划分成三种姿势的新数据集。
参见图3，融合三个公开数据集(LFW、CFP、CASIA-WEBFACE)，划分成左、右、正的三类人脸，确定新数据集大小并以相同的数量选择三类人脸。本实施例中，从三个公开数据集收集了约513K张图片，其中选取左、右、正三个3000张图片作为训练集，左脸图片的选取原则为左眼完全可见且右眼有不大于一半的区域可见；右脸图片的选取原则为右眼完全可见且左眼有不大于一半的区域可见；正脸图片的选取原则为双眼完全可见。
S12、采用一个CNN网络对人脸图像进行姿势分类。
采用CNN网络自动对人脸图像进行分类，无需人工分类，提高工作效率。其中，姿势分类是指，将输入的人脸图像进行左、正、右三种姿势的分类，并基于此输入到对应的识别模块中进行人脸识别。
S13、通过一个分割模块将人脸图像的人脸区域与非人脸区域分割。通过该技术可以将人脸区域完全与非人脸区域区分开来，为人脸识别消除很多没用的信息。
参见图4，分割模块是指将图像分解成结构成分和纹理成分，通过对结构部分的一些特性将人脸区域分割出来。
步骤S13具体包括以下步骤A1-A2：
A1、应用区间梯度法将原始图像解构成结构部分和纹理(噪声)部分，并抑制纹理部分的梯度；
A2、在原始图像的结构部分应用颜色不变策略得到人脸区域。
其中步骤A1包括以下步骤：
用以下方程求得区间梯度来重新表示输入图像的梯度；
Figure BDA0002808388650000061
其中，Ω表示局部窗口；
Figure BDA0002808388650000062
表示重新标量的权重；wp表示重新标量的权重；
wp通过以下方程求得：
Figure BDA0002808388650000063
其中，
Figure BDA0002808388650000064
是一个防止数值不稳定的小常数。
其中步骤A2包括以下步骤：
将具有独立于照明强度和视角的特性的参数定义为颜色不变量，公式如下：
Figure BDA0002808388650000065
其中，x代表图像中的位置，λ表示波长，
Figure BDA0002808388650000066
表示照度谱，
Figure BDA0002808388650000067
表示Fresnel反射率，
Figure BDA0002808388650000068
表示Fresnel材料反射率。
定义相等能量但照度不均匀的公式如下：
Figure BDA0002808388650000069
通过以下线性转换矩阵将图像从RGB转换到高斯颜色模型：
Figure BDA00028083886500000610
通过使用公式(3)的阈值计算每个像素的二进制掩码来实现二值图像的精化，如图5所示，每个像素的标签当
Figure BDA00028083886500000611
很大时置为0，当
Figure BDA00028083886500000612
低于某个阈值时置为1，从而区分出人脸和非人脸区域，像素设置的公式表示如下：
Figure BDA00028083886500000613
S14、通过设计三个CNN网络对三种姿势进行人脸识别。
设计三个卷积-池化单元对应三种视角的人脸图像进行特征提取，在对三个CNN网络进行训练时，需要确定激活函数和目标函数。其中，卷积-池化单元由卷积层和池化层结合，整个人脸识别网络有三个卷积-池化单元，一个扁平层，两个全连接层组成。目标函数采用交叉熵函数。
参见图6，激活函数PRelu，公式如下：
Figure BDA0002808388650000071
其中，ai可学习参数，当ai为0时，该函数退化为Relu，当ai＝0.01，该函数变为LRelu，由于本发明中ai是可学习的，因此也可以通过反向传播更新其值。
综上所述，本实施例相对于现有技术，具有如下有益效果：
(1)、本实施例利用了现有的多个公开数据集，采用一种有效的方式进行融合，以满足现实场景的要求。
(2)、本实施例通过使用多个卷积神经网络针对不同的姿势，从而消除姿势变化带来性能下降的问题。
(3)、本实施例将人脸识别系统的任务分解，通过多任务进行人脸的姿势估计，人脸分割，人脸识别的实现，使整个流程更加清晰，也使得结果更为可信。
本实施例还提供一种多任务姿态不变的人脸识别系统，包括：
数据获取模块，用于获取待识别的人脸图像；
人脸识别模块，用于将人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；
其中，人脸识别模型包括三个神经网络，三个神经网络用于分割人脸区域并进行三种人脸姿势识别，三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
本实施例的一种多任务姿态不变的人脸识别系统，可执行本发明方法实施例所提供的一种多任务姿态不变的人脸识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种多任务姿态不变的人脸识别装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示的方法。
本实施例的一种多任务姿态不变的人脸识别装置，可执行本发明方法实施例所提供的一种多任务姿态不变的人脸识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种多任务姿态不变的人脸识别方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种多任务姿态不变的人脸识别方法，其特征在于，包括以下步骤：
获取待识别的人脸图像；
将所述人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；
其中，所述人脸识别模型包括三个神经网络，所述三个神经网络用于分割人脸区域并进行三种人脸姿势识别，所述三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
2.根据权利要求1所述的一种多任务姿态不变的人脸识别方法，其特征在于，所述人脸识别方法还包括建立所述人脸识别模型的步骤，具体为：
根据预设的数据集获取融合有三种人脸姿势的人脸数据集；
对所述人脸数据集的人脸图像进行人脸姿势分类，获得左脸数据集、正脸数据集和右脸数据集；
分别对所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像进行人脸区域分割，获得三个训练集；
将所述三个训练集分别对三个神经网络进行训练，获得所述人脸识别模型。
3.根据权利要求2所述的一种多任务姿态不变的人脸识别方法，其特征在于，所述分别对所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像进行人脸区域分割，包括：
采用区间梯度法分别将所述左脸数据集、所述正脸数据集和所述右脸数据集中的人脸图像解构成结构部分和纹理部分，以及抑制所述纹理部分的梯度；
采用颜色不变策略在所述结构部分中获取人脸区域，实现人脸区域分割。
4.根据权利要求3所述的一种多任务姿态不变的人脸识别方法，其特征在于，所述区间梯度法中采用以下方程获取区间梯度，以表示人脸图像的梯度：
Figure FDA0002808388640000011
其中，Ω表示局部窗口；
Figure FDA0002808388640000012
表示重新标量的权重；wp表示重新标量的权重；
wp通过以下方程求得：
Figure FDA0002808388640000013
其中，
Figure FDA0002808388640000014
为常数。
5.根据权利要求3所述的一种多任务姿态不变的人脸识别方法，其特征在于，所述采用颜色不变策略所述结构部分中获取人脸区域，包括以下步骤：
设定颜色不变量，所述颜色不变量为独立于照明强度和视角特性的参数；
根据所述颜色不变量计算所述结构部分中每个像素的二进制掩码，实现二值图像的精化，以区分出人脸区域和非人脸区域，获得人脸区域。
6.根据权利要求5所述的一种多任务姿态不变的人脸识别方法，其特征在于，所述颜色不变量的定义如下：
Figure FDA0002808388640000021
定义相等能量但照度不均匀的公式如下：
Figure FDA0002808388640000022
通过以下线性转换矩阵将图像从RGB转换到高斯颜色模型：
Figure FDA0002808388640000023
其中，x代表图像中的位置，λ表示波长，
Figure FDA0002808388640000024
表示照度谱，
Figure FDA0002808388640000025
表示Fresnel反射率，
Figure FDA0002808388640000026
表示Fresnel材料反射率。
7.根据权利要求2所述的一种多任务姿态不变的人脸识别方法，其特征在于，在对三个神经网络进行训练时，需确定激活函数，所述激活函数的公式为：
Figure FDA0002808388640000027
其中，ai为可学习参数，当ai为0时，该函数退化为Relu，当ai＝0.01，该函数变为LRelu。
8.一种多任务姿态不变的人脸识别系统，其特征在于，包括：
数据获取模块，用于获取待识别的人脸图像；
人脸识别模块，用于将所述人脸图像输入训练好的人脸识别模型进行人脸识别，输出人脸识别结果；
其中，所述人脸识别模型包括三个神经网络，所述三个神经网络用于分割人脸区域并进行三种人脸姿势识别，所述三种人脸姿势包括左脸姿势、正脸姿势以及右脸姿势。
9.一种多任务姿态不变的人脸识别装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述的一种多任务姿态不变的人脸识别方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述一种多任务姿态不变的人脸识别方法。
CN202011376722.9A 2020-11-30 2020-11-30 多任务姿态不变的人脸识别方法、系统、装置及存储介质 Active CN112381046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011376722.9A CN112381046B (zh) 2020-11-30 2020-11-30 多任务姿态不变的人脸识别方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011376722.9A CN112381046B (zh) 2020-11-30 2020-11-30 多任务姿态不变的人脸识别方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112381046A true CN112381046A (zh) 2021-02-19
CN112381046B CN112381046B (zh) 2023-02-14

Family

ID=74589271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011376722.9A Active CN112381046B (zh) 2020-11-30 2020-11-30 多任务姿态不变的人脸识别方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112381046B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831413A (zh) * 2012-09-11 2012-12-19 上海中原电子技术工程有限公司 基于多分类器融合的人脸识别方法及系统
CN105809089A (zh) * 2014-12-29 2016-07-27 中国科学院深圳先进技术研究院 复杂背景下的多人脸检测方法及装置
CN106981066A (zh) * 2017-03-06 2017-07-25 武汉嫦娥医学抗衰机器人股份有限公司 一种基于肤色的内脸图像分割方法
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN110647811A (zh) * 2019-08-15 2020-01-03 中国平安人寿保险股份有限公司 人脸姿态检测方法、装置及计算机可读存储介质
CN110807828A (zh) * 2019-10-28 2020-02-18 北京林业大学 一种倾斜摄影三维重建匹配方法
CN111191564A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于多角度神经网络的多姿态人脸情绪识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831413A (zh) * 2012-09-11 2012-12-19 上海中原电子技术工程有限公司 基于多分类器融合的人脸识别方法及系统
CN105809089A (zh) * 2014-12-29 2016-07-27 中国科学院深圳先进技术研究院 复杂背景下的多人脸检测方法及装置
CN106981066A (zh) * 2017-03-06 2017-07-25 武汉嫦娥医学抗衰机器人股份有限公司 一种基于肤色的内脸图像分割方法
CN108304829A (zh) * 2018-03-08 2018-07-20 北京旷视科技有限公司 人脸识别方法、装置及系统
CN110647811A (zh) * 2019-08-15 2020-01-03 中国平安人寿保险股份有限公司 人脸姿态检测方法、装置及计算机可读存储介质
CN110807828A (zh) * 2019-10-28 2020-02-18 北京林业大学 一种倾斜摄影三维重建匹配方法
CN111191564A (zh) * 2019-12-26 2020-05-22 三盟科技股份有限公司 基于多角度神经网络的多姿态人脸情绪识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYUNJOON LEE ET AL: "Structure-Texture Decomposition of Images with Interval Gradient", 《COMPUTER GRAPHICS FORUM》 *
魏明强 等: "基于区间梯度的联合双边滤波图像纹理去除方法", 《计算机科学》 *

Also Published As

Publication number Publication date
CN112381046B (zh) 2023-02-14

Similar Documents

Publication Publication Date Title
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
Zhang et al. Adversarial spatio-temporal learning for video deblurring
TWI754887B (zh) 活體檢測方法和裝置、電子設備及儲存介質
Zhang et al. Ensnet: Ensconce text in the wild
US20160314345A1 (en) System and method for identifying faces in unconstrained media
Yang et al. Single image haze removal via region detection network
CN107330439A (zh) 一种图像中物体姿态的确定方法、客户端及服务器
WO2022165809A1 (zh) 一种训练深度学习模型的方法和装置
US20080193020A1 (en) Method for Facial Features Detection
Li et al. Deep dehazing network with latent ensembling architecture and adversarial learning
CN111915525B (zh) 基于改进深度可分离生成对抗网络的低照度图像增强方法
WO2021139557A1 (zh) 肖像简笔画生成方法、系统及绘画机器人
TW201947528A (zh) 車輛損傷識別的處理方法、處理設備、客戶端及伺服器
US20220129682A1 (en) Machine-learning model, methods and systems for removal of unwanted people from photographs
CN111222433B (zh) 自动人脸稽核方法、系统、设备及可读存储介质
CN111080746B (zh) 图像处理方法、装置、电子设备和存储介质
Swami et al. Candy: Conditional adversarial networks based fully end-to-end system for single image haze removal
Sahu et al. A novel parameter adaptive dual channel MSPCNN based single image dehazing for intelligent transportation systems
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
CN112686247A (zh) 一种身份证号码检测方法、装置、可读存储介质和终端
CN112381046B (zh) 多任务姿态不变的人脸识别方法、系统、装置及存储介质
KR101961462B1 (ko) 객체 인식 방법 및 장치
CN116258937A (zh) 基于注意力机制的小样本分割方法、装置、终端及介质
CN117529929A (zh) 使用屏下相机捕获媒体的方法和电子装置
CN114283087A (zh) 一种图像去噪方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant