CN112487886A - 一种有遮挡的人脸识别方法、装置、存储介质及终端 - Google Patents
一种有遮挡的人脸识别方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN112487886A CN112487886A CN202011278529.1A CN202011278529A CN112487886A CN 112487886 A CN112487886 A CN 112487886A CN 202011278529 A CN202011278529 A CN 202011278529A CN 112487886 A CN112487886 A CN 112487886A
- Authority
- CN
- China
- Prior art keywords
- face
- recognized
- image
- features
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 241000712461 unidentified influenza virus Species 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明公开了一种有遮挡的人脸识别方法、装置、存储介质及终端，该方法包括：采集并预处理有遮挡的待识别人脸图像；提取预处理后的待识别人脸图像所对应的人脸全局特征；检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征；将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。因此，采用本申请实施例，可以提高复杂环境中被遮挡人脸识别的准确率。
Description
技术领域
本发明涉及数字图像与视频分析技术领域，特别涉及一种有遮挡的人脸识别方法、装置、存储介质及终端。
背景技术
目前，随着在道路、社区、机场/火车站、大型场馆等各类场所安装的摄像机数量越来越多，清晰度也越来越高，视频监控系统在安防、警务、交通、生产等领域的应用日益广泛。利用监控视频或图像进行人脸识别是其中的重要应用之一。但是例如流感病毒的爆发，为了公共卫生安全使得越来越多的人们在公共场所佩戴口罩，以降低感染传染性疾病的风险，从而使得难以识别出佩戴口罩的人脸图像。
在目前人脸识别中，佩戴口罩这一行为给人脸识别任务带来了新的挑战，目前传统的人脸识别方法主要提取整张脸的全局特征以判别行人的身份。然而，在口罩遮挡存在的情况下，人的面部的部分重要特征(比如嘴巴、下巴)等被口罩覆盖住，提取整张脸的全局特征将会引入大量噪声，影响人脸识别的准确率。
发明内容
本申请实施例提供了一种有遮挡的人脸识别方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种有遮挡的人脸识别方法，该方法包括：
采集并预处理有遮挡的待识别人脸图像；
提取预处理后的待识别人脸图像所对应的人脸全局特征；
检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征；
将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；
从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；
计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。
可选的，根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份，包括：
当相似度大于等于预设阈值时，判定待识别人脸图像和第二人脸特征的人脸图像为同一身份；以及
当相似度小于预设值时，判定待识别人脸图像和第二人脸特征的人脸图像不为同一身份；
其中，预设阈值优选0.75。
可选的，采集并预处理有遮挡的待识别人脸图像，包括：
采集有遮挡的待识别人脸图像；
将有遮挡的待识别人脸图像转换为RGB三通道彩色图；
将RGB三通道彩色图和预设通道均值做差，生成做差后的RGB三通道彩色图；
将做差后的RGB三通道彩色图确定为预处理后的待识别人脸图像。
可选的，提取预处理后的待识别人脸图像所对应的人脸全局特征，包括：
将预处理后的待识别人脸图像输入预先训练的人脸识别模型中进行卷积操作，生成人脸全局特征。
可选的，所述检测并提取所述预处理后的待识别人脸图像中未遮挡的人脸局部特征，包括：
将所述做差后的RGB三通道彩色图输入预设人脸关键点监测模型中，生成人脸的多个关键点位置；
基于所述人脸的多个关键点位置定位出待识别人脸未遮挡的局部区域；
将所述待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
可选的，按照以下步骤生成预先训练的人脸识别模型，包括：
采用卷积神经网络创建人脸识别模型；
从图像数据库中采集多个被遮挡的人脸图像训练样本；
将多个被遮挡的人脸图像训练样本输入人脸识别模型中进行训练，输出模型的损失值；
当损失值达到预设最小值时，生成预先训练的人脸识别模型。
可选的，相似度计算的方法至少包括：欧式距离、城区距离、汉明距离、直方图交集、树形索引以及倒排索引。
第二方面，本申请实施例提供了一种有遮挡的人脸识别装置，该装置包括：
图像采集模块，用于采集并预处理有遮挡的待识别人脸图像；
全局特征提取模块，用于提取预处理后的待识别人脸图像所对应的人脸全局特征；
局部特征提取模块，用于检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征；
特征拼接模块，用于将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；
第二特征查找模块，用于从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；
相似度计算模块，用于计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，有遮挡的人脸识别装置首先采集并预处理有遮挡的待识别人脸图像，再提取预处理后的待识别人脸图像所对应的人脸全局特征，再检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，然后从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征，最后计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种有遮挡的人脸识别方法的流程示意图；
图2是本申请实施例提供的一种有遮挡的人脸识别过程的过程框图；
图3是本申请实施例提供的另一种有遮挡的人脸识别方法的流程示意图；
图4是本申请实施例提供的一种有遮挡的人脸识别装置的装置示意图；
图5是本申请实施例提供的一种终端示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的系统和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在目前人脸识别中，佩戴口罩这一行为给人脸识别任务带来了新的挑战，目前传统的人脸识别方法主要提取整张脸的全局特征以判别行人的身份。然而，在口罩遮挡存在的情况下，人的面部的部分重要特征(比如嘴巴、下巴)等被口罩覆盖住，提取整张脸的全局特征将会引入大量噪声，影响人脸识别的准确率。为此，本申请提供了一种有遮挡的人脸识别方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图3，对本申请实施例提供的有遮挡的人脸识别方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的有遮挡的人脸识别系统上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。
请参见图1，为本申请实施例提供了一种有遮挡的人脸识别方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，采集并预处理有遮挡的待识别人脸图像；
其中，待识别人脸图像是道路、社区、机场/火车站、大型场馆等各类场所安装的摄像机或其他图像采集设备获取的人脸图像，该人脸图像被口罩或墨镜等其他物体遮挡。
通常，预处理为将采集的待识别人脸图像转换为RGB三通道彩色图，以及将转换后的三通道彩色图和预设通道均值做差。
在本申请实施例中，进行人脸识别时，有遮挡的人脸识别装置首先采集有遮挡的待识别人脸图像，再将有遮挡的待识别人脸图像转换为RGB三通道彩色图，然后将RGB三通道彩色图和预设通道均值做差，生成做差后的RGB三通道彩色图，最后将做差后的RGB三通道彩色图确定为预处理后的待识别人脸图像。
在一种可能的实现方式中，在进行有遮挡的人脸识别时，首先道路、社区、机场/火车站、大型场馆等各类场所安装的摄像机或其他图像采集设备获取待识别的人脸图像，采集设备采集后通过有线或者无线的方式发送至图像分析终端，图像分析终端在得到有遮挡的待识别人脸图像时，将有遮挡的待识别人脸图像转换为RGB三通道彩色图，并将转换后的RGB三通道彩色图和预设通道均值做差，生成最终预处理后的有遮挡的待识别人脸图像。
需要说明的是，本发明同样适用于无遮挡的人脸图像识别中。
S102，提取预处理后的待识别人脸图像所对应的人脸全局特征；
其中，人脸全局特征是指综合考虑整张人脸的信息之后产生的能表征人脸的特征。
在本申请实施例中，将最终预处理后的有遮挡的待识别人脸图像输入预先训练的人脸识别模型中进行卷积操作，生成人脸全局特征。
进一步地，预先训练的人脸识别模型生成时，首先采用卷积神经网络创建人脸识别模型，然后从图像数据库中采集多个被遮挡的人脸图像训练样本，然后将多个被遮挡的人脸图像训练样本输入人脸识别模型中进行训练，输出模型的损失值，最后当损失值达到预设最小值时，生成预先训练的人脸识别模型。
进一步地，当损失值未达到预设最小值时，调整模型参数继续将训练样本输入模型进行迭代训练，直到模型的损失值达到最小预设值。
在一种可能的实现方式中，根据步骤S101可得到预处理后的三通道彩色图，一般情况下为[0,255]。然后将图像输入到人脸识别模型的卷积神经网络(CNN)中进行卷积操作。CNN针对每个图像的三通道彩色图学习其纹理的表达。其中卷积神经网络CNN可以选择GoogLeNet、Inception network、ResNet或者任何其他结构。
具体的，进行卷积操作是对三通道彩色图中通道张量进行滑动相乘。其公式如下：
其中，
且
a(·)是当前层的激活函数，bij是当前层的偏置，是可学习的变量，M是(i-1)层输出的特征图的个数，也即通道数，
是当前层的卷积核参数，其中(w,h)为坐标，Wi和Hi是当前卷积核的宽和高。一般情况下，激活函数取ReLU。
卷积神经网络中还存在池化层，用于降低维度同时提高模型处理平移、形变不变性的能力。一般采用最大池化或均值池化。
在一些网络中还存在LRN层，该层对于位于(x,y)坐标的值进行以下处理：
其中，k，n，α，和β是提前定义的超参数。
S103，检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征；
其中，人脸局部特征为预处理后的待识别人脸图像中未遮挡的区域。
在一种可能的实现方式中，首先将做差后的RGB三通道彩色图输入预设空间转换网络中，生成仿射变换矩阵的参数，然后基于仿射变换矩阵的参数对待识别人脸图像进行仿射变换后定位出待识别人脸未遮挡的局部区域，最后将待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
在另一种可能的实现方式中，首先将做差后的RGB三通道彩色图输入预设人脸关键点监测模型中，生成人脸的多个关键点位置，再基于人脸的多个关键点位置定位出待识别人脸未遮挡的局部区域，最后将待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
具体的，人脸局部区域是指在佩戴口罩的情况下，未被口罩遮挡的脸部区域，比如包含额头、眉毛、眼睛的区域。本发明提出的检测方法可以但不局限与以下方法：
(a)基于视觉显著的方法：该方法可以通过图像中能量分布来确定我们需要的显著区域的位置，一般显著区域为能量较为集中的区域；
(b)具体区域的定位：比如眼睛的定位、额头的定位，可以通过先验知识或训练好的模型来获取目标的相应位置。
(c)基于特征点的方法：通过现有的特征点检测算法来获得特征点，寻找特征点相对集中的区域作为人脸的局部区域。
(d)基于时域相关与同类比较的凸区域划分方法：将人脸划分为若干个凸区域，用时域上特征比较稳定的凸区域与其他人脸的特征进行相比，选取差异明显的区域作为人脸的局部区域。
(e)基于关键点检测的方法：利用Dlib等人脸关键点检测模型，检测出人脸的多个关键点的位置，根据关键点定位目标相应位置。
在实际运用中可以从实际需求出发去选取相应的人脸局部区域检测的方法。
进一步地，在根据上述检测方法检测出有遮挡的待识别人脸图像中未遮挡区域后，对检测出来的局部区域提取局部特征。该提取方式和全局特征提取方式一致，具体可参见步骤S102，此处不再赘述。
S104，将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；
在一种可能的实现方式中，结合步骤S102生成的全局特征和步骤S103生成的局部特征，对输入做差后的RGB三通道彩色图构建相应的描述子(description)。本发明的构建描述子方法为：将步骤S102生成的全局特征和步骤S103生成的局部特征进行维度拼接,假设全局特征维度为X，局部特征维度为Y，那么描述子的维度为X+Y维。
S105，从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；
其中，预设被遮挡人脸数据库(例如口罩人脸数据库)是预先构建的，该数据库中保存了大量被遮挡人脸的描述子。
通常，构建被遮挡人脸数据库时，首先通过图像采集设备实时采集被遮挡人脸图像的照片信息，然后将采集的人脸图像照片信息进行预处理，再提取预处理后人脸图像所对应的人脸全局特征，再检测并提取预处理的人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，最后将拼接后的人脸特征发送至被遮挡人脸数据库进行保存。
在一种可能的实现方式中，根据步骤S104得到待识别人脸图像的描述子后，根据该描述子从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征。
S106，计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。
在本申请实施例中，当相似度大于等于预设阈值时，判定待识别人脸图像和第二人脸特征的人脸图像为同一身份；以及当相似度小于预设值时，判定待识别人脸图像和第二人脸特征的人脸图像不为同一身份。
具体的，相似度计算的方法至少包括：欧式距离、城区距离、汉明距离、直方图交集、树形索引以及倒排索引。
(a)欧式距离：最常见的距离，公式如下：
(b)城区距离：城区距离是欧式距离的简化，跟欧式距离相比复杂度更低，公式如下：
(c)汉明距离：一般用于特征值只有0或者1的情况，具体计算过程如下：
第一步：计算P和Q之间的异或；
第二步：计算异或结果中1的位数，作为最终的距离。
(d)直方图交集：对于0-1之间数组成的直方图，可以用如下方式来求两个直方图之间的交集，最为最后的距离：
(e)树形索引：常用的树形索引有k-均值树；在k-均值树中，每个父节点都有K个孩子节点，知道每个子类的数目小于某个阈值，则停止分裂的行为。树形索引一次平均时间开销为log(n)，n为数据库中数据的个数。
(f)倒排索引：在倒排索引中常以量化编码后的特征作为索引的关键字，在Bow这种，每个WordId都是对应的关键字，倒排索引比树形索引平均的花费时间更少，一次平均的时间开销为常数T。
例如图2所示，图2是本申请提供的一种有遮挡的人脸识别过程的示意图，首先采集图像进行预处理后得到输入图像，将输入图像输入人脸识别模型的卷积神经网络中，提取出人脸全局特征，并检测人脸局部区域以及提取出局部区域局部特征，然后将人脸全局特征和局部区域局部特征进行拼接后构造待识别人脸图像的描述子，根据该描述子在被遮挡人脸数据库(例如口罩遮挡下的人脸数据库)中进行匹配该描述子类似的描述子，匹配到后计算他们之间的相似度，最后得到口罩人脸识别结果。
在本申请实施例中，有遮挡的人脸识别装置首先采集并预处理有遮挡的待识别人脸图像，再提取预处理后的待识别人脸图像所对应的人脸全局特征，再检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，然后从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征，最后计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率。
请参见图3，为本申请实施例提供了另一种有遮挡的人脸识别方法的流程示意图。如图3所示，本申请实施例的方法可以包括以下步骤：
S201，采集有遮挡的待识别人脸图像，并将有遮挡的待识别人脸图像转换为RGB三通道彩色图；
S202，将RGB三通道彩色图和预设通道均值做差，生成做差后的RGB三通道彩色图，并将做差后的RGB三通道彩色图确定为预处理后的待识别人脸图像；
S203，将预处理后的待识别人脸图像输入预先训练的人脸识别模型中进行卷积操作，生成人脸全局特征；
S204，将所述做差后的RGB三通道彩色图输入预设人脸关键点监测模型中，生成人脸的多个关键点位置；
S205，基于所述人脸的多个关键点位置定位出待识别人脸未遮挡的局部区域；
S206，将所述待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
S207，将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；
S208，从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；
S209，当相似度大于等于预设阈值时，判定待识别人脸图像和第二人脸特征的人脸图像为同一身份；以及
当相似度小于预设值时，判定待识别人脸图像和第二人脸特征的人脸图像不为同一身份。
在本申请实施例中，有遮挡的人脸识别装置首先采集并预处理有遮挡的待识别人脸图像，再提取预处理后的待识别人脸图像所对应的人脸全局特征，再检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，然后从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征，最后计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率。
需要说明的是，上述步骤中编号S201-S209仅为描述方便，并不必然代表各步骤的先后顺序。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的有遮挡的人脸识别装置的结构示意图。该有遮挡的人脸识别系统可以通过软件、硬件或者两者的结合实现成为智能机器人的全部或一部分。该装置4包括分析目标确定模块10、任务数据获取模块20、可视化数据生成模块30、可视化元素生成模块40。
分析目标确定模块10，用于确定待管理路网上的分析目标，并从数据中心提取待管理路网上的分析目标所对应的元数据；
任务数据获取模块20，用于接收配置的数据处理规则，基于数据处理规则执行查询操作从分析目标所对应的元数据所描述的数据表中获取待管理路网上的分析目标对应的任务数据；
可视化数据生成模块30，用于接收配置的业务处理规则，根据业务处理规则对待管理路网上的分析目标对应的任务数据进行预处理，生成待管理路网上的分析目标对应的可视化数据；
可视化元素生成模块40，用于基于待管理路网上的分析目标对应的可视化数据进行渲染，生成待管理路网上的分析目标对应的可视化元素。
需要说明的是，上述实施例提供的有遮挡的人脸识别系统在执行有遮挡的人脸识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的有遮挡的人脸识别系统与有遮挡的人脸识别方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，有遮挡的人脸识别装置首先采集并预处理有遮挡的待识别人脸图像，再提取预处理后的待识别人脸图像所对应的人脸全局特征，再检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，然后从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征，最后计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的有遮挡的人脸识别方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的有遮挡的人脸识别方法。
请参见图5，为本申请实施例提供了一种终端的结构示意图。如图5所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及有遮挡的人脸识别应用程序。
在图5所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的有遮挡的人脸识别应用程序，并具体执行以下操作：
采集并预处理有遮挡的待识别人脸图像；
提取预处理后的待识别人脸图像所对应的人脸全局特征；
检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征；
将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征；
从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征；
计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。
在一个实施例中，处理器1001在执行根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份时，具体执行以下操作：
当相似度大于等于预设阈值时，判定待识别人脸图像和第二人脸特征的人脸图像为同一身份；以及
当相似度小于预设值时，判定待识别人脸图像和第二人脸特征的人脸图像不为同一身份；
其中，预设阈值优选0.75。
在一个实施例中，处理器1001在执行采集并预处理有遮挡的待识别人脸图像时，具体执行以下操作：
采集有遮挡的待识别人脸图像；
将有遮挡的待识别人脸图像转换为RGB三通道彩色图；
将RGB三通道彩色图和预设通道均值做差，生成做差后的RGB三通道彩色图；
将做差后的RGB三通道彩色图确定为预处理后的待识别人脸图像。
在一个实施例中，处理器1001在执行提取预处理后的待识别人脸图像所对应的人脸全局特征时，具体执行以下操作：
将预处理后的待识别人脸图像输入预先训练的人脸识别模型中进行卷积操作，生成人脸全局特征。
在一个实施例中，处理器1001在执行检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征时，具体执行以下操作：
将所述做差后的RGB三通道彩色图输入预设人脸关键点监测模型中，生成人脸的多个关键点位置；
基于所述人脸的多个关键点位置定位出待识别人脸未遮挡的局部区域；
将所述待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
在本申请实施例中，有遮挡的人脸识别装置首先采集并预处理有遮挡的待识别人脸图像，再提取预处理后的待识别人脸图像所对应的人脸全局特征，再检测并提取预处理后的待识别人脸图像中未遮挡的人脸局部特征，再将人脸全局特征和人脸局部特征拼接后，生成拼接后的人脸特征，然后从预设被遮挡人脸数据库中匹配拼接后的人脸特征对应的第二人脸特征，最后计算拼接后的人脸特征与第二人脸特征之间的相似度，并根据相似度判定待识别人脸图像和第二人脸特征的人脸图像是否为同一身份。由于本发明通过提取待识别人脸图像的全局特征和局部特征进行拼接后从预设数据库进行分身匹配，从而提升了提高复杂环境中被遮挡人脸识别的准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种有遮挡的人脸识别方法，其特征在于，所述方法包括：
采集并预处理有遮挡的待识别人脸图像；
提取所述预处理后的待识别人脸图像所对应的人脸全局特征；
检测并提取所述预处理后的待识别人脸图像中未遮挡的人脸局部特征；
将所述人脸全局特征和所述人脸局部特征拼接后，生成拼接后的人脸特征；
从预设被遮挡人脸数据库中匹配所述拼接后的人脸特征对应的第二人脸特征；
计算所述拼接后的人脸特征与所述第二人脸特征之间的相似度，并根据所述相似度判定所述待识别人脸图像和所述第二人脸特征的人脸图像是否为同一身份。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相似度判定所述待识别人脸图像和所述第二人脸特征的人脸图像是否为同一身份，包括：
当所述相似度大于等于预设阈值时，判定所述待识别人脸图像和所述第二人脸特征的人脸图像为同一身份；以及
当所述相似度小于预设值时，判定所述待识别人脸图像和所述第二人脸特征的人脸图像不为同一身份；
其中，所述预设阈值优选0.75。
3.根据权利要求1所述的方法，其特征在于，所述采集并预处理有遮挡的待识别人脸图像，包括：
采集有遮挡的待识别人脸图像；
将所述有遮挡的待识别人脸图像转换为RGB三通道彩色图；
将所述RGB三通道彩色图和预设通道均值做差，生成做差后的RGB三通道彩色图；
将所述做差后的RGB三通道彩色图确定为预处理后的待识别人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述提取所述预处理后的待识别人脸图像所对应的人脸全局特征，包括：
将所述预处理后的待识别人脸图像输入预先训练的人脸识别模型中进行卷积操作，生成人脸全局特征。
5.根据权利要求1或3所述的方法，其特征在于，所述检测并提取所述预处理后的待识别人脸图像中未遮挡的人脸局部特征，包括：
将所述做差后的RGB三通道彩色图输入预设人脸关键点监测模型中，生成人脸的多个关键点位置；
基于所述人脸的多个关键点位置定位出待识别人脸未遮挡的局部区域；
将所述待识别人脸未遮挡的局部区域输入预先训练的人脸识别模型中进行卷积操作，生成人脸局部特征。
6.根据权利要求5所述的方法，其特征在于，按照以下步骤生成预先训练的人脸识别模型，包括：
采用卷积神经网络创建人脸识别模型；
从图像数据库中采集多个被遮挡的人脸图像训练样本；
将所述多个被遮挡的人脸图像训练样本输入所述人脸识别模型中进行训练，输出模型的损失值；
当所述损失值达到预设最小值时，生成预先训练的人脸识别模型。
7.根据权利要求1所述的方法，其特征在于，所述相似度计算的方法至少包括：欧式距离、城区距离、汉明距离、直方图交集、树形索引以及倒排索引。
8.一种有遮挡的人脸识别装置，其特征在于，所述装置包括：
图像采集模块，用于采集并预处理有遮挡的待识别人脸图像；
全局特征提取模块，用于提取所述预处理后的待识别人脸图像所对应的人脸全局特征；
局部特征提取模块，用于检测并提取所述预处理后的待识别人脸图像中未遮挡的人脸局部特征；
特征拼接模块，用于将所述人脸全局特征和所述人脸局部特征拼接后，生成拼接后的人脸特征；
第二特征查找模块，用于从预设被遮挡人脸数据库中匹配所述拼接后的人脸特征对应的第二人脸特征；
相似度计算模块，用于计算所述拼接后的人脸特征与所述第二人脸特征之间的相似度，并根据所述相似度判定所述待识别人脸图像和所述第二人脸特征的人脸图像是否为同一身份。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011278529.1A CN112487886A (zh) | 2020-11-16 | 2020-11-16 | 一种有遮挡的人脸识别方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011278529.1A CN112487886A (zh) | 2020-11-16 | 2020-11-16 | 一种有遮挡的人脸识别方法、装置、存储介质及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112487886A true CN112487886A (zh) | 2021-03-12 |
Family
ID=74930900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011278529.1A Pending CN112487886A (zh) | 2020-11-16 | 2020-11-16 | 一种有遮挡的人脸识别方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112487886A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033373A (zh) * | 2021-03-19 | 2021-06-25 | 北京百度网讯科技有限公司 | 用于训练人脸识别模型及识别人脸的方法及相关装置 |
| CN113158883A (zh) * | 2021-04-19 | 2021-07-23 | 汇纳科技股份有限公司 | 基于区域注意力的人脸识别方法、系统、介质及终端 |
| CN113221922A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市商汤科技有限公司 | 图像处理方法及相关装置 |
| CN113239875A (zh) * | 2021-06-01 | 2021-08-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
| CN113536953A (zh) * | 2021-06-22 | 2021-10-22 | 浙江吉利控股集团有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN113657457A (zh) * | 2021-07-27 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 局部人脸的匹配方法、系统、存储介质及电子设备 |
| WO2022213349A1 (zh) * | 2021-04-09 | 2022-10-13 | 鸿富锦精密工业(武汉)有限公司 | 戴口罩人脸识别方法、装置、计算机存储介质 |
| WO2023103372A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏理工学院 | 一种人脸口罩佩戴状态下的识别方法 |
| CN113536953B (zh) * | 2021-06-22 | 2024-04-19 | 浙江吉利控股集团有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354563A (zh) * | 2015-12-14 | 2016-02-24 | 南京理工大学 | 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 |
-
2020
- 2020-11-16 CN CN202011278529.1A patent/CN112487886A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105354563A (zh) * | 2015-12-14 | 2016-02-24 | 南京理工大学 | 结合深度和彩色图像的遮挡人脸检测预警装置及实现方法 |
Non-Patent Citations (2)
| Title |
|---|
| FEIFEI DING ET AL.: "Masked Face Recognition with Latent Part Detection", 《MM "20》 * |
| 吴青青 等: "复杂背景下的颜色分离背景差分目标检测方法", 《兵工学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033373A (zh) * | 2021-03-19 | 2021-06-25 | 北京百度网讯科技有限公司 | 用于训练人脸识别模型及识别人脸的方法及相关装置 |
| WO2022213349A1 (zh) * | 2021-04-09 | 2022-10-13 | 鸿富锦精密工业(武汉)有限公司 | 戴口罩人脸识别方法、装置、计算机存储介质 |
| CN113158883A (zh) * | 2021-04-19 | 2021-07-23 | 汇纳科技股份有限公司 | 基于区域注意力的人脸识别方法、系统、介质及终端 |
| CN113221922A (zh) * | 2021-05-31 | 2021-08-06 | 深圳市商汤科技有限公司 | 图像处理方法及相关装置 |
| CN113239875A (zh) * | 2021-06-01 | 2021-08-10 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
| CN113239875B (zh) * | 2021-06-01 | 2023-10-17 | 恒睿(重庆)人工智能技术研究院有限公司 | 人脸特征的获取方法、系统、装置及计算机可读存储介质 |
| CN113536953A (zh) * | 2021-06-22 | 2021-10-22 | 浙江吉利控股集团有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN113536953B (zh) * | 2021-06-22 | 2024-04-19 | 浙江吉利控股集团有限公司 | 一种人脸识别方法、装置、电子设备及存储介质 |
| CN113657457A (zh) * | 2021-07-27 | 2021-11-16 | 上海明略人工智能(集团)有限公司 | 局部人脸的匹配方法、系统、存储介质及电子设备 |
| WO2023103372A1 (zh) * | 2021-12-06 | 2023-06-15 | 江苏理工学院 | 一种人脸口罩佩戴状态下的识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112487886A (zh) | 一种有遮挡的人脸识别方法、装置、存储介质及终端 | |
| US20200364443A1 (en) | Method for acquiring motion track and device thereof, storage medium, and terminal | |
| US10762376B2 (en) | Method and apparatus for detecting text | |
| US11423701B2 (en) | Gesture recognition method and terminal device and computer readable storage medium using the same | |
| Kuo et al. | Two-stage road sign detection and recognition | |
| Nazir et al. | A bag of expression framework for improved human action recognition | |
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| WO2023010758A1 (zh) | 一种动作检测方法、装置、终端设备和存储介质 | |
| KR102592551B1 (ko) | Ar장치를 위한 객체 인식 처리 장치 및 방법 | |
| CN111813997A (zh) | 入侵分析方法、装置、设备及存储介质 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| WO2024001123A1 (zh) | 基于神经网络模型的图像识别方法、装置及终端设备 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20230095533A1 (en) | Enriched and discriminative convolutional neural network features for pedestrian re-identification and trajectory modeling | |
| CN111444817B (zh) | 一种人物图像识别方法、装置、电子设备和存储介质 | |
| Biswas et al. | A new perceptual hashing method for verification and identity classification of occluded faces | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
| CN111353385A (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN116612542A (zh) | 基于多模态生物特征一致性的音视频人物识别方法及系统 | |
| CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
| CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
| CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN114038045A (zh) | 一种跨模态人脸识别模型构建方法、装置及电子设备 | |
| CN114333062A (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |