CN111274947B - 一种多任务多线索人脸识别方法、系统及存储介质 - Google Patents
一种多任务多线索人脸识别方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111274947B CN111274947B CN202010061116.1A CN202010061116A CN111274947B CN 111274947 B CN111274947 B CN 111274947B CN 202010061116 A CN202010061116 A CN 202010061116A CN 111274947 B CN111274947 B CN 111274947B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- feature
- neural network
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000013528 artificial neural network Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 210000000887 face Anatomy 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000009792 diffusion process Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 210000001331 nose Anatomy 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多任务多线索人脸识别方法、系统及存储介质，方法包括：对获取的图片进行人脸检测，获取人脸框图像，并根据特征点检测定位得到人脸关键点坐标，截取获得人脸特征部位区域集，将人脸特征部位区域集分别输入到对应的特征部位神经网络进行特征提取，将提取到的特征向量融合得到人脸总体特征向量，采用余弦相似度进行计算，得到人脸识别结果。本发明将人脸不同的特征部位区域进行区分，并输入到各自的人脸识别网络进行特征提取，并融合特征，进行人脸识别。由于该方法利用了人脸的部分区域，不只是依赖人脸，因此本发明在人脸受到遮挡的情况下，依然拥有较好的识别效果。本发明可广泛应用于机器视觉和模式识别技术领域。
Description
技术领域
本发明涉及机器视觉和模式识别技术领域，尤其涉及一种多任务多线索人脸识别方法、系统及存储介质。
背景技术
随着人工智能的蓬勃发展，人脸识别算法的性能有了很大的提升，人脸识别作为一种可靠的生物认证技术，越来越广泛地应用在人机交互、社会安定、商业营销等领域，人脸特征的提取受到的关注越来越多。人脸识别算法，要解决的问题是，对一个有人脸的照片检测出人脸区域，再检测定位出人脸关键部位，如眉毛，眼睛，鼻子，嘴巴的坐标位置。根据提取到的人脸特征点进行人脸对齐，然后计算人脸特征进行特征比对用于人脸识别。人脸识别在犯罪识别、城市安全、视频监控、档案管理、视频会议和照片检索等领域有重要的应用。而在目前，深度学习算法的人脸识别是主流，例如用深度卷积神经网络提取人脸特征，基于深度卷积神经网络进行3D人脸重建等方法，极大的提高了人脸识别的精度，推动这一技术真正走向实用。
但是实际应用仍然存在一些问题：在现实情况中，识别不配合的人脸图像，往往存在遮挡的问题，例如眼镜遮挡，手部遮挡，头发遮挡等等，导致人脸面部特征受到遮挡，影响识别的效果。
发明内容
为了解决上述技术问题，本发明的目的是提供一种抗遮挡的多任务多线索人脸识别方法、系统及存储介质。
一种多任务多线索人脸识别方法，包括以下步骤：
获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像；
对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量；
采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果。
进一步，对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像这一步骤，包括以下步骤：
将人脸图像输入第一神经网络，获取第一人脸候选框集合；
将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合；
将第二人脸候选框集合输入第三神经网络进行过滤，获取人脸框图像。
进一步，对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像这一步骤，还包括以下步骤：
对输入的人脸图像数据进行归一化处理，构建图像金字塔，采用多尺度下的滑动窗口方法生成人脸候选框；
所述第一神经网络，采用全连接网络的框架；
获取第一人脸候选框集合、获取第二人脸候选框集合，使用非极大值抑制合并所述人脸候选框；
获取第一人脸候选框集合、获取第二人脸候选框集合，使用边界框回归向量对所述人脸候选框进行校准；
获取第二人脸候选框集合，使用设定的人脸概率阈值，对所述人脸候选框进行过滤处理。
进一步，对第一人脸框图像和第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集和第二人脸特征部位区域集这一步骤，输入为第一人脸框图像，包括以下步骤：
将第一人脸框图像输入预训练好的卷积神经网络进行计算，获取人脸关键点坐标，结果为一个包含72个元素的坐标向量；
根据包含72个元素的人脸关键点坐标，根据所述人脸关键点坐标中的部位特征点坐标，获取每个部位的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；
根据每个部位的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值，确定边界，并根据所述边界截取人脸特征部位区域，获取第一人脸特征部位区域集。
进一步，所述人脸特征部位包括眼睛、嘴巴、鼻子、左耳、右耳和整个脸部区域。
进一步，所述余弦相似度计算公式为：
其中similarity表示余弦相似度，Ai表示第一人脸总体特征向量，Bi表示第二人脸总体特征向量。
本发明还提出了一种多任务多线索人脸识别系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述的一种多任务多线索人脸识别方法。
本发明还提出了一种多任务多线索人脸识别系统，包括：
人脸图片获取模块，用于获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
人脸检测模块，用于对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像；
人脸特征获取模块，用于对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
人脸特征融合模块，用于将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量；
人脸识别模块，用于采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果。
进一步，人脸检测模块包括有建设网络模块，提炼网络模块和输出网络模块，其中建设网络模块用于将人脸图像输入第一神经网络，获取第一人脸候选框集合；提炼网络模块用于将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合；输出网络模块用于将第二人脸候选框集合输入第三神经网络进行过滤，获取第一人脸框图像。
本发明还提出了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述的一种多任务多线索人脸识别方法。
上述本发明的实施例中的一个或多个技术方案具有如下优点：
本发明采用了一种多线索的神经网络算法对检测到的人脸进行特征提取，即将人脸不同的特征部位区域进行区分，并输入到各自的人脸识别网络进行特征提取，并融合特征，进行人脸识别。由于该方法不只是依赖于整个人脸，还利用了人脸的部分区域，当人脸的某些特征部位被遮挡的时候，其他特征部位仍然可以进行有效的人脸识别，因此本方法在人脸面部特征受到遮挡的情况下，依然拥有较好的识别效果。
附图说明
图1是本发明一种多任务多线索人脸识别方法的流程图；
图2是本发明根据热力图矩阵截取人脸框的示意图；
图3是本发明建议网络、提炼网络和输出网络的卷积计算步骤的流程图；
图4是本发明一种多任务多线索人脸识别系统的结构示意图。
具体实施方式
下面结合附图，对本发明的技术方案进行详细描述。
参考图1，一种多任务多线索人脸识别方法，包括以下步骤：
S1：获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
S2：对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像；
S3：对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
S4：将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量；
S5：采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果。
其中，在上述提到的所有步骤所采用的神经网络中，均采用margin based loss作为损失函数。
其中，第一人脸图片一般为原人脸图片，第二人脸图片为需要进行识别的图片，在实施例中往往为经过人工添加遮挡后的图片。第一人脸框图像为第一人脸图片经过S2处理后获得的图像，第二人脸框图像为第二人脸图片经处理获得。其余第一人脸特征部位区域集、第二人脸总体特征向量参考第一人脸框图像和第二人脸框图像，分别由第一人脸图片和第二人脸图片按照步骤处理后获得。
以及，第二人脸框图像的获取步骤，以及第二人脸特征区域集的获取步骤，和第一人脸框图像、第一人脸特征区域集的获取步骤相同。
在步骤S1，获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像这一步骤中，如果没有检测到人脸，则结束检测，不进入后续步骤。
在步骤S2，对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像这一步骤中，首先会对输入的数据进行归一化处理，根据输入图像的尺寸构建图像金字塔，在生成图像金字塔后，在不同的尺度下，均对输入图像进行归一化处理，然后通过第一神经网络生成图像的热成像图和边界框回归向量。其中第一神经网络是一种采用全连接网络框架的卷积神经网络，本方案中称为建议网络(Proposal network，P-Net)。再通过建议网络得到不同尺度下的热成像图后，在每个尺度下均使用滑动窗口的方法生成人脸候选框，此时会得到不同尺度下得出的不同的人脸候选框。然后将不同尺度的人脸候选框缩放到同一个预设的尺度，并采用非极大值抑制(NMS)的方法对不同的候选框中，产生高度交叠的人脸候选框进行合并处理，并采用边界框回归向量对人脸候选框进行校准，此时剩余的人脸候选框即为第一人脸候选框集合。
第一人脸候选框集合会作为后续第二神经网络的输入数据，第二神经网络为卷积神经网络，称为提炼网络(Refine Network，R-Net)。该提炼网络获取第一人脸候选框集合作为输入，同时得到人脸概率和边界框回归向量作为输出，对于输出使用预设的人脸概率阈值，对大量错误的人脸候选框进行过滤，然后同样采用非极大值抑制方法和边界框回归向量方法，对人脸候选框进行合并和校正，获得的结果为第二人脸候选框集合。
第二人脸候选框集合会作为后续第三神经网络的输入数据，第三神经网络为卷积神经网络，称为输出网络(Output Network,O-Net)，进一步对人脸候选框进行过滤，并得到最终的人脸框图像。
如图3所示，本实施例以提炼网络的卷积计算步骤为例，下面详细说明提炼网络对人脸候选框进行过滤的具体实施步骤：
S201：对输入图像进行卷积计算，得到图像特征图；
S202：对S201得到的特征图进行卷积计算；
S203：对S201得到的特征图进行上采样，同时和S202计算后的特征图进行乘积计算，获取增强特征；
S204：对S202计算后的特征图进行卷积计算；
S205：对S202得到的特征图进行上采样，同时和S204计算后的特征图进行乘积计算，获取增强特征；
S206：对S204计算后的特征图进行卷积计算；
S207：对S204得到的特征图进行上采样，同时和S206计算后的特征图进行乘积计算，获取增强特征；
S208：对S207计算得到的特征图再次进行全卷积计算，获取类似如下的人脸热力图矩阵。该人脸热力图矩阵，大小为输入图像的尺寸，每个元素的值是属于人脸的概率值。
人脸热力图矩阵
S209：参考图2，对S208的人脸热力图矩阵，选取概率大于0.8的点作为中心点，同时从中心点开始向外向上下左右方向扩散，当扩散的位置像素点的概率值小于0.5时，则停止并记录像素点的位置。由此可获得人脸上下左右四个像素点的位置，即x1，x2，y1，y2，如图所示，根据x1，x2，y1，y2的位置，截取出人脸框。图2中使用黑色方框框取的即为人脸框。
在步骤S3，对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集这一步骤中，将此前S2步骤中获得的人脸框图像输入到预训练好的卷积神经网络进行计算，通过该神经完了过的计算，就可以获取人脸关键点坐标。该人脸关键点坐标是一个包含72个元素的坐标向量。
在步骤S4，将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量这一步骤，将S3步骤中获得的包含72个元素的人脸关键点坐标，根据眼睛、嘴巴、鼻子、左耳、右耳和整个脸部区域的特征点坐标，分别获取每个部位的横坐标最大值xmax、横坐标最小值xmin、纵坐标最大值ymax和纵坐标最小值ymin。并根据Xmin-5，xmax+5，ymin-5，ymax+5的坐标，将这些坐标作为边界，分别截取获得眼睛、嘴巴、鼻子等区域。其中，也可根据情况，采用xmin-10，xmax+10，ymin-10，ymax+10的坐标，对眼睛、嘴巴、鼻子等区域进行截取。将所有获得的区域分别与人脸区域用各自的神经网络进行特征提取，然后对以上特征向量进行特征融合，从而融合成为一个向量，即得到第一人脸总体特征向量Ai。而从S1步骤开始输入的第二人脸图像则最终在本步骤中计算得出第二人脸总体特征向量Bi。其中，眼睛、嘴巴、鼻子等区域各自的神经网络，以及人脸区域的神经网络，均采用margin based loss作为损失函数。
在步骤S5，采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果这一步骤中，采用的余弦相似度计算公式为：
其中similarity表示余弦相似度，Ai表示第一人脸总体特征向量，Bi表示第二人脸总体特征向量，n表示特征向量的维度，根据实际情况取值，一般情况下n的值为512或1024。
进行余弦相似度计算后，一般在相似度大于0.75的情况下，则可认为两张人脸图片应当是同一个人。
为了实现如上所述的一种多任务多线索人脸识别方法，本发明还提出了一种多任务多线索人脸识别系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述的一种多任务多线索人脸识别方法。
参考图4，为了实现如上所述的一种多任务多线索人脸识别方法，本发明还提出了一种多任务多线索人脸识别系统，包括：
人脸图片获取模块，用于获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
人脸检测模块，用于对所述人脸图像进行人脸检测，获取第一人脸框图像和第二人脸框图像；人脸检测模块包括有建设网络模块，提炼网络模块和输出网络模块，其中建设网络模块用于将人脸图像输入第一神经网络，获取第一人脸候选框集合；提炼网络模块用于将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合；输出网络模块用于将第二人脸候选框集合输入第三神经网络进行过滤，获取第一人脸框图像，三个模块分别包括有在多任务多线索人脸识别方法中提到的建议网络(Proposal network，P-Net)，提炼网络(Refine Network，R-Net)和输出网络(Output Network,O-Net)。
人脸特征获取模块，用于对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
人脸特征融合模块，用于将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量；由于该模块采用不同的神经网络对人脸不同的特征部位进行特征提取，因此该模块可划分为6个子模块，分别为：眼睛特征模块、嘴巴特征模块、鼻子特征模块、左耳特征模块、右耳特征模块和人脸特征模块，每个模块包含有各自的用于特征提取的神经网络，分别为eyeNet、mouthNet、noseNet、leftearNet、righteraNet和faceNet。
人脸识别模块，用于采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果。
本发明还提出了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述的一种多任务多线索人脸识别方法。
综上所述，相较于现有技术，本发明具有以下优点：
(1)本发明采用了一种多线索的神经网络算法对检测到的人脸进行特征提取，即将人脸不同的特征部位区域进行区分，并输入到各自的人脸识别网络进行特征提取，并融合特征，进行人脸识别。由于该方法不只是依赖于整个人脸，还利用了人脸的部分区域，当人脸的某些特征部位被遮挡的时候，其他特征部位仍然可以进行有效的人脸识别，因此本方法在人脸面部特征受到遮挡的情况下，依然拥有较好的识别效果。
(2)本发明在所有神经网络中的损失函数均采用了margin based loss，该损失函数可以较灵活地适应不同人脸的空间形状，同时拥有一定的抗噪声能力，而且计算效率较高，能够对不同的数据分布产生自适应效果。
(3)本发明基于全卷积神经网络对人脸图像进行检测。由于本发明使用的神经网络为全卷积神经网络，因此本发明在进行人脸识别时可以输入任意大小的图像进行人脸识别，提高了对复杂图像数据的适应能力。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种多任务多线索人脸识别方法，其特征在于，包括以下步骤：
获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像；
对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量，其中，人脸特征部位区域集包括眼睛、嘴巴、鼻子、左耳、右耳、人脸；
采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果；
其中，所述对第一人脸图像进行人脸检测，获取第一人脸框图像包括：
将第一人脸图像输入第一神经网络，获取第一人脸候选框集合，
将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合，所述第二神经网络根据输入图像获取人脸热力图矩阵，所述人脸热力图矩阵大小为输入图像的尺寸，每个元素的值是属于人脸的概率值，根据所述人脸热力图矩阵，选取概率大于0.8的点作为中心点，从中心点开始向外向上下左右方向扩散，当扩散的位置像素点的概率值小于0.5时，则停止扩散并记录像素点的位置，得到人脸上下左右四个像素点的位置，根据所述四个像素点的位置截取出人脸框，
将第二人脸候选框集合输入第三神经网络进行过滤，获取第一人脸框图像，
所述第一神经网络、所述第二神经网络、所述第三神经网络均采用margin based loss损失函数。
2.根据权利要求1所述的一种多任务多线索人脸识别方法，其特征在于：当获取第一人脸框图像时，所述对第一人脸图像进行人脸检测，获取第一人脸框图像这一步骤，还包括以下步骤：
对输入的人脸图像数据进行归一化处理，构建图像金字塔，采用多尺度下的滑动窗口方法生成人脸候选框；
所述第一神经网络，采用全连接网络的框架；
获取第一人脸候选框集合、获取第二人脸候选框集合，使用非极大值抑制合并所述第一人脸候选框；
获取第一人脸候选框集合、获取第二人脸候选框集合，使用边界框回归向量对所述第一人脸候选框进行校准；
获取第二人脸候选框集合，使用设定的人脸概率阈值，对所述第二人脸候选框进行过滤处理，得到第一人脸框图像。
3.根据权利要求1所述的一种多任务多线索人脸识别方法，其特征在于：当获取第一人脸特征部位区域集时，对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集这一步骤，包括以下步骤：
将第一人脸框图像输入预训练好的卷积神经网络进行计算，获取人脸关键点坐标，结果为一个包含72个元素的坐标向量；
根据包含72个元素的人脸关键点坐标，根据所述人脸关键点坐标中的部位特征点坐标，获取每个部位的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值；
根据每个部位的横坐标最大值、横坐标最小值、纵坐标最大值和纵坐标最小值，确定边界，并根据所述边界截取人脸特征部位区域，获取第一人脸特征部位区域集。
4.根据权利要求3所述的一种多任务多线索人脸识别方法，其特征在于：所述人脸特征部位包括眼睛、嘴巴、鼻子、左耳、右耳和整个脸部区域。
5.根据权利要求1所述的一种多任务多线索人脸识别方法，其特征在于：所述余弦相似度计算公式为：
其中similarity表示余弦相似度，Ai表示第一人脸总体特征向量，Bi表示第二人脸总体特征向量，n表示所述特征向量的维度。
6.一种多任务多线索人脸识别系统，其特征在于：包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的一种多任务多线索人脸识别方法。
7.一种多任务多线索人脸识别系统，其特征在于：包括：
人脸图片获取模块，用于获取输入的第一人脸图片和第二人脸图片，对所述图片检测人脸，获取第一人脸图像和第二人脸图像；
人脸检测模块，用于对第一人脸图像进行人脸检测，获取第一人脸框图像，对第二人脸图像进行人脸检测，获取第二人脸框图像；
人脸特征获取模块，用于对第一人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第一人脸特征部位区域集；对第二人脸框图像进行特征点检测定位，获取人脸关键点坐标，并根据人脸关键点坐标，截取获得第二人脸特征部位区域集；
人脸特征融合模块，用于将第一人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第一人脸总体特征向量；将第二人脸特征部位区域集输入到对应的特征部位神经网络进行特征提取，并将提取到的特征向量融合得到第二人脸总体特征向量，其中，人脸特征部位区域集包括眼睛、嘴巴、鼻子、左耳、右耳、人脸；
人脸识别模块，用于采用余弦相似度对第一人脸总体特征向量和第二人脸总体特征向量进行相似度计算，根据相似度计算结果得到人脸识别结果；
所述人脸检测模块，还用于将第一人脸图像输入第一神经网络，获取第一人脸候选框集合，将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合，所述第二神经网络根据输入图像获取人脸热力图矩阵，所述人脸热力图矩阵大小为输入图像的尺寸，每个元素的值是属于人脸的概率值，根据所述人脸热力图矩阵，选取概率大于0.8的点作为中心点，从中心点开始向外向上下左右方向扩散，当扩散的位置像素点的概率值小于0.5时，则停止扩散并记录像素点的位置，得到人脸上下左右四个像素点的位置，根据所述四个像素点的位置截取出人脸框，将第二人脸候选框集合输入第三神经网络进行过滤，获取第一人脸框图像，所述第一神经网络、所述第二神经网络、所述第三神经网络均采用margin based loss损失函数。
8.根据权利要求7所述的一种多任务多线索人脸识别系统，其特征在于：
人脸检测模块包括有建设网络模块，提炼网络模块和输出网络模块，其中建设网络模块用于将人脸图像输入第一神经网络，获取第一人脸候选框集合；提炼网络模块用于将第一人脸候选框集合输入第二神经网络进行过滤，获取第二人脸候选框集合；输出网络模块用于将第二人脸候选框集合输入第三神经网络进行过滤，获取第一人脸框图像。
9.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5中任一项所述的一种多任务多线索人脸识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010061116.1A CN111274947B (zh) | 2020-01-19 | 2020-01-19 | 一种多任务多线索人脸识别方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010061116.1A CN111274947B (zh) | 2020-01-19 | 2020-01-19 | 一种多任务多线索人脸识别方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111274947A CN111274947A (zh) | 2020-06-12 |
| CN111274947B true CN111274947B (zh) | 2023-03-10 |
Family
ID=71001791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010061116.1A Active CN111274947B (zh) | 2020-01-19 | 2020-01-19 | 一种多任务多线索人脸识别方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111274947B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914665B (zh) * | 2020-07-07 | 2023-06-20 | 泰康保险集团股份有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111985323B (zh) * | 2020-07-14 | 2021-10-22 | 珠海市卓轩科技有限公司 | 基于深度卷积神经网络的人脸识别方法及系统 |
| CN112487922B (zh) * | 2020-11-25 | 2024-05-07 | 奥比中光科技集团股份有限公司 | 一种多模态人脸活体检测方法及系统 |
| CN113157956B (zh) * | 2021-04-23 | 2022-08-05 | 雅马哈发动机（厦门）信息系统有限公司 | 图片搜索方法、系统、移动终端及存储介质 |
| CN113361506B (zh) * | 2021-08-11 | 2022-04-29 | 中科南京智能技术研究院 | 一种面向移动端的人脸识别方法与系统 |
| CN116012921A (zh) * | 2023-01-31 | 2023-04-25 | 湖南安智网络科技有限公司 | 一种用于校园的云家访系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150205997A1 (en) * | 2012-06-25 | 2015-07-23 | Nokia Corporation | Method, apparatus and computer program product for human-face features extraction |
| CN107145842A (zh) * | 2017-04-19 | 2017-09-08 | 西安电子科技大学 | 结合lbp特征图与卷积神经网络的人脸识别方法 |
| CN109784219A (zh) * | 2018-12-28 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种基于集中协调学习的人脸识别方法、系统及装置 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
-
2020
- 2020-01-19 CN CN202010061116.1A patent/CN111274947B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150205997A1 (en) * | 2012-06-25 | 2015-07-23 | Nokia Corporation | Method, apparatus and computer program product for human-face features extraction |
| CN107145842A (zh) * | 2017-04-19 | 2017-09-08 | 西安电子科技大学 | 结合lbp特征图与卷积神经网络的人脸识别方法 |
| CN109784219A (zh) * | 2018-12-28 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种基于集中协调学习的人脸识别方法、系统及装置 |
| CN110569756A (zh) * | 2019-08-26 | 2019-12-13 | 长沙理工大学 | 人脸识别模型构建方法、识别方法、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111274947A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111274947B (zh) | 一种多任务多线索人脸识别方法、系统及存储介质 | |
| CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
| CN110569721A (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
| CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
| JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
| CN110852704B (zh) | 基于密集微小人脸识别的考勤方法、系统、设备及介质 | |
| WO2020253304A1 (zh) | 人脸识别装置及图像处理方法、特征提取模型、存储介质 | |
| CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| CN112364827A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
| WO2021218659A1 (zh) | 人脸识别 | |
| CN113158883A (zh) | 基于区域注意力的人脸识别方法、系统、介质及终端 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN111222433A (zh) | 自动人脸稽核方法、系统、设备及可读存储介质 | |
| CN116453232A (zh) | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 | |
| WO2017173578A1 (zh) | 一种图像增强方法及装置 | |
| CN112001285B (zh) | 一种美颜图像的处理方法、装置、终端和介质 | |
| CN106156739A (zh) | 一种基于脸部轮廓分析的证件照耳朵检测与提取方法 | |
| CN113011307A (zh) | 一种基于深度残差网络的人脸识别身份认证方法 | |
| CN113139527A (zh) | 视频隐私保护方法、装置、设备及存储介质 | |
| CN113486688A (zh) | 一种人脸识别方法及智能设备 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN116342135A (zh) | 基于图像背景的防欺诈方法、装置、计算机设备 | |
| CN114511911A (zh) | 一种人脸识别方法、装置以及设备 | |
| Reddy et al. | Facial Recognition Enhancement Using Deep Learning Techniques | |
| CN113505722A (zh) | 一种基于多尺度特征融合的活体检测方法、系统及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A multi task and multi clue face recognition method, system, and storage medium Effective date of registration: 20230627 Granted publication date: 20230310 Pledgee: Bank of China Limited by Share Ltd. Guangzhou Tianhe branch Pledgor: GRG TALLY-VISION I.T. Co.,Ltd. Registration number: Y2023980045868 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CP03 | Change of name, title or address |
Address after: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong Patentee after: GRG TALLY-VISION I.T. Co.,Ltd. Country or region after: China Patentee after: Guangdian Yuntong Group Co.,Ltd. Address before: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong Patentee before: GRG TALLY-VISION I.T. Co.,Ltd. Country or region before: China Patentee before: GRG BANKING EQUIPMENT Co.,Ltd. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240202 Address after: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong Patentee after: GRG TALLY-VISION I.T. Co.,Ltd. Country or region after: China Address before: No. 001-030, Yuntong Space Office Card, Research Institute Office Building, No. 9, Kelin Road, Science City, Guangzhou Hi tech Industrial Development Zone, 510000 Guangdong Patentee before: GRG TALLY-VISION I.T. Co.,Ltd. Country or region before: China Patentee before: Guangdian Yuntong Group Co.,Ltd. |
|
| TR01 | Transfer of patent right |