CN110363091A - 侧脸情况下的人脸识别方法、装置、设备及存储介质 - Google Patents
侧脸情况下的人脸识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110363091A CN110363091A CN201910529244.1A CN201910529244A CN110363091A CN 110363091 A CN110363091 A CN 110363091A CN 201910529244 A CN201910529244 A CN 201910529244A CN 110363091 A CN110363091 A CN 110363091A
- Authority
- CN
- China
- Prior art keywords
- face
- frame
- neural network
- image
- advance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种侧脸情况下的人脸识别方法、装置、设备及存储介质,该方法包括:获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对局部二值特征进行回归处理,识别人脸形状;当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对人脸图像进行重构,生成正脸图像;根据正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;根据人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;对人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;获取最大相似度对应的正脸图像样本,并输出为人脸识别结果;该方法在侧脸或部分遮挡情况下,能够有效提高人脸识别的准确性。
Description
技术领域
本发明涉及计算机图像处理领域,尤其涉及一种侧脸情况下的人脸方法、装置、设备及存储介质。
背景技术
随着计算机技术特别是模式识别技术的发展,侧脸情况下的人脸识别作为一个技术方向出现在人们的视野。侧脸情况下的人脸识别技术可以作为图像处理和视频分析领域中多应用项目的基础性工作,比如人脸识别、人脸图像检索以及驾驶员疲劳状态检测等等。在人脸识别过程中,侧脸识别在人脸识别中具有非常重要的意义,在很多情况下会很难得到人的正脸图像,存在因人脸被遮挡或者侧脸的现象对人脸难以识别的问题,例如:在监控场景下拍摄到人正脸的概率就比较小。因此,提高侧脸识别的准确率是人脸识别需要解决的一项非常关键的技术问题。
发明内容
针对上述问题,本发明的目的在于提供一种侧脸情况下的人脸识别方法、装置、设备及存储介质,其能有效提供侧脸识别的准确率。
第一方面,本发明实施例提供了一种侧脸情况下的人脸识别方法,包括以下步骤:
获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;
当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;
根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;
根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;
对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;
获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
优选地,所述根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框,具体包括:
根据所述正脸图像,通过预先构建的图像金字塔模型,获取不同尺寸的人脸候选框;
对不同尺寸的人脸候选框进行区域切分;
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框。
优选地,所述方法还包括:
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点;
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点,分别对所述正脸图像样本、侧脸图像样本进行分块;
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练,构建正脸重构模型;其中,所述预先构建的深度神经网络包括逻辑回归算法。
优选地,所述根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框之前,还包括:
对所述正脸图像进行旋转校正,得到正视的正脸图像。
优选地,所述对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度,具体包括:
对所述人脸特征向量进行拼接;
对拼接后的人脸特征向量进行KNN聚类,并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离,作为人脸特征向量与正脸图像样本的相似度。
优选地,所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框,具体包括:
将所有人脸候选框缩放至第一预设尺寸,并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归,获得第一边框回归结果;
将所有人脸候选框缩放至第二预设尺寸,并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归,获得第二边框回归结果;
将所有人脸候选框缩放至第三预设尺寸,并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归,获得第三边框回归结果;
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理,得到所述人脸框。
优选地,所述第一预设尺寸为12×12,所述第一层卷积神经网络为12维卷积神经网络;所述第二预设尺寸为24×24,所述第二层卷积神经网络为24维卷积神经网络;所述第二预设尺寸为48×48,所述第三层卷积神经网络为48维卷积神经网络。
第二方面,本发明实施例提供了一种侧脸情况下的人脸识别装置,包括:
人脸形状识别模块,用于获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;
正脸重构模块,用于当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;
人脸框提取模块,用于根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;
人脸特征向量提取模块,用于根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;
相似度计算模块,用于对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;
人脸识别模块,用于获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
第三方面,本发明实施例提供了一种侧脸情况下的人脸识别设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的侧脸情况下的人脸识别方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的侧脸情况下的人脸识别方法。
以上实施例具有如下有益效果:
通过获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;获取最大相似度对应的正脸图像样本,并输出为人脸识别结果,在侧脸或部分遮挡情况下,能够有效提高人脸识别的准确性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的侧脸情况下的人脸识别方法的流程示意图;
图2是本发明第二实施例提供的侧脸情况下的人脸识别装置的结构示意图;
图3是本发明第三实施例提供的侧脸情况下的人脸识别设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,本发明第一实施例提供了一种侧脸情况下的人脸识别方法,其可由侧脸情况下的人脸识别设备来执行,并包括以下步骤:
S11:获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状。
在本发明实施例中,所述侧脸情况下的人脸识别设备可为电脑、手机、平板电脑、笔记本电脑或者服务器等计算设备,所述侧脸情况下的人脸识别方法可作为其中一个功能模块集成与所述侧脸情况下的人脸识别设备上,由所述侧脸情况下的人脸识别设备来执行。
在本发明实施例中,基于haarcascade_frontalface_alt2.xml提取接收到得到人脸图像的人脸特征点对应的局部二值特征,并进行现状回归处理,得出该人脸图像的人脸形状,具体过程如下:
步骤1:将人脸图像初始化一个shape,得到人脸图像对应的局部二值特征向量;
步骤2:基于shape找出人脸的特征点,计算局部的特征差异,找到人脸特征点,包括鼻子、眼睛、嘴巴点,即为feature;
步骤3:基于步骤2找到的人脸特征点和人工标记的特征点计算一个特征点差异Delta,并训练一个函数:Delta=f(feature);
步骤4:将Delta加到初始化的shape上,得出了当前的人脸形状。
S12:当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像。
S13:根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框。
需要说明的是:暂态混沌神经网络(MTCNN,Multi-task convolutional neuralnetwork),将人脸区域检测与人脸关键点检测放在了一起,基于cascade框架,总体可分为PNet、RNet、和ONet三层网络结构。
S14:根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量。
S15:对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度。
S16:获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
本发明实施例对采集的视频或图像先进行步骤S11的人脸现状识别,若识别出是否非正脸,即侧脸或者部分遮挡的情况,执行步骤S12重构正脸,若识别出是正脸时,跳过步骤S12、执行步骤S13,本发明实施例主要针对非正脸的情况进行人脸识别。基于MTCNN和FaceNet对重构后的正脸进行人脸识别,在侧脸或部分遮挡情况下,能够有效提高人脸识别的准确性。
在一种可选的实施例中,S13:根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框,具体包括:
根据所述正脸图像,通过预先构建的图像金字塔模型,获取不同尺寸的人脸候选框;
对不同尺寸的人脸候选框进行区域切分;
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框。
在本发明实施例中,可采用DeepID的patch进行人脸候选框的区域切分。采用图像金字塔生成不同尺度的人脸候选框并进行多区域切分,能够保证小人脸框的特征也能得到较好的提取,避免小人脸的漏检,解决小人脸存在而导致小人脸检测不准确的问题。
在一种可选的实施例中,所述方法还包括:
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点;
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点,分别对所述正脸图像样本、侧脸图像样本进行分块;
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练,构建正脸重构模型;其中,所述预先构建的深度神经网络包括逻辑回归算法。
在本发明实施例中,模型的训练过程如下:训练每一个正脸图像样本和侧脸图像样本对,提取5个人脸特征带你并基于这些特征提取10个不同的patch,对每一个patch进行单独训练;多个特征在网络的最后一层被级联在一起,采用PCA降维,将冗余特征去掉;采用逻辑回归算法将侧脸生成正脸,最后的逻辑回归停止的条件:
其中,M(Yi)达到最小值的时候,算法结束。其中Yi为人脸的图像,公式的第一项代表对称性;第二项代表图像的秩;λ是一个默认的值;P,Q矩阵是参数,可以理解为左边人脸矩阵和右边人脸矩阵的参数。
通过上述构建的正脸重构模型能够准确将侧脸或部分遮挡的脸部重构成正脸。
在一种可选的实施例中,所述根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框之前,还包括:
对所述正脸图像进行旋转校正,得到正视的正脸图像。
由于暂态混沌神经网络无法检测大于45度的人脸和侧脸的,在本发明实施例中,将所述正脸图像输入暂态混沌神经网络前,进行人脸角度检测,并将大于45度的人脸进行旋转校正,得到正视的正脸图像。
在一种可选的实施例中,所述对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度,具体包括:
对所述人脸特征向量进行拼接;
对拼接后的人脸特征向量进行KNN聚类,并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离,作为人脸特征向量与正脸图像样本的相似度。
在一种可选的实施例中,所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框,具体包括:
将所有人脸候选框缩放至第一预设尺寸,并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归,获得第一边框回归结果;
将所有人脸候选框缩放至第二预设尺寸,并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归,获得第二边框回归结果;
将所有人脸候选框缩放至第三预设尺寸,并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归,获得第三边框回归结果;
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理,得到所述人脸框。
在一种可选的实施例中,所述第一预设尺寸为12×12,所述第一层卷积神经网络为12维卷积神经网络;所述第二预设尺寸为24×24,所述第二层卷积神经网络为24维卷积神经网络;所述第二预设尺寸为48×48,所述第三层卷积神经网络为48维卷积神经网络。
在本发明实施例中,将所述人脸候选框逐一resize到12×12,并分别放进第一个12-卷积神经网络中,该网络的主要作用就是获取对人脸候选框进行识别以及对人脸候选框进行边框回归。边框回归的主要方式是采用非极大值抑制的方法删除大量的候选窗口,实现候选框的调整。将所述人脸候选框逐一resize到24×24,并分别放进第一个24-卷积神经网络中,该网络的主要作用就是获取对所述人脸候选框进行识别以及对所述人脸候选框进行边框回归。24-卷积神经网络的边框回归结果要融合12-卷积神经网络的边框回归结果,实现由粗到精的人脸框定位的调整。将所述人脸候选框逐一resize到48×48,并分别放进第一个48-卷积神经网络中,该网络的主要作用就是获取对所述人脸候选框进行识别以及对所述人脸候选框进行边框回归。48-卷积神经网络的边框回归结果要融合12-卷积神经网络、24卷积神经网络的边框回归结果,实现由粗到精的人脸框定位的调整。在人脸的检测识别层面:将48-卷积神经网络、12-卷积神经网络、24卷积神经网络的边框回归结果进行加权平均,实现人脸框预测,得到人脸框检测结果,通过对每一个保留下来的人脸候选框进行卷积,采用由粗到细的方式,逐层精细化人脸框的定位,提高人脸识别的准确性。
相对于现有技术,本发明实施例的有益效果在于:
1、本本发明实施例对视频或图像中侧脸或者部分遮挡的情况,重构正脸,并基于MTCNN和FaceNet对重构后的正脸进行人脸识别,FaceNet输出的人脸特征向量进行拼接,通过聚类实现人脸识别的目,在侧脸或部分遮挡情况下,能够有效提高人脸识别的准确性,同时能提升了计算机检测人脸的速度。
2、采用图像金字塔生成不同尺度的人脸候选框,并进行多区域切分,有效实现小尺寸的特征提取,避免小人脸的漏检,解决小人脸存在而导致小人脸检测不准确的问题。
3、采用暂态混沌神经网络对每一个保留下来的人脸候选框进行卷积,采用由粗到细的方式,逐层精细化人脸框的定位,提高人脸检测的准确性。
请参阅图2,本发明第二实施例提供了一种侧脸情况下的人脸识别装置,包括:
人脸形状识别模块1,用于获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;
正脸重构模块2,用于当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;
人脸框提取模块3,用于根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;
人脸特征向量提取模块4,用于根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;
相似度计算模块5,用于对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;
人脸识别模块6,用于获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
在一种可选的实施例中,所述人脸框提取模块3包括:
人脸候选框获取单元,用于根据所述正脸图像,通过预先构建的图像金字塔模型,获取不同尺寸的人脸候选框;
区域切分单元,用于对不同尺寸的人脸候选框进行区域切分;
人脸框提取单元,用于将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框。
在一种可选的实施例中,所述装置还包括:
人脸特征点提取模块,用于提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点;
图像分块模块,用于根据所述正脸图像样本、侧脸图像样本对应的人脸特征点,分别对所述正脸图像样本、侧脸图像样本进行分块;
模型构建模块,用于采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练,构建正脸重构模型;其中,所述预先构建的深度神经网络包括逻辑回归算法。
在一种可选的实施例中,所述装置包括:
图像校正模块,用于对所述正脸图像进行旋转校正,得到正视的正脸图像。
在一种可选的实施例中,所述相似度计算模块5包括:
向量拼接单元,用于对所述人脸特征向量进行拼接;
欧式距离计算单元,用于对拼接后的人脸特征向量进行KNN聚类,并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离,作为人脸特征向量与正脸图像样本的相似度。
在一种可选的实施例中,所述人脸框提取单元包括:
第一边框回归子单元,用于将所有人脸候选框缩放至第一预设尺寸,并通过所述联级神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归,获得第一边框回归结果;
第二边框回归子单元,用于将所有人脸候选框缩放至第二预设尺寸,并通过所述联级神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归,获得第二边框回归结果;
第三边框回归子单元,用于将所有人脸候选框缩放至第三预设尺寸,并通过所述联级神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归,获得第三边框回归结果;
加权平均处理子单元,用于对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理,得到所述侧脸情况下的人脸识别结果。
在一种可选的实施例中,所述第一预设尺寸为12×12,所述第一层卷积神经网络为12维卷积神经网络;所述第二预设尺寸为24×24,所述第二层卷积神经网络为24维卷积神经网络;所述第二预设尺寸为48×48,所述第三层卷积神经网络为48维卷积神经网络。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
参见图3,是本发明第三实施例提供的侧脸情况下的人脸识别设备的示意图。如图3所示,该侧脸情况下的人脸识别设备包括:至少一个处理器11,例如CPU,至少一个网络接口14或者其他用户接口13,存储器15,至少一个通信总线12,通信总线12用于实现这些组件之间的连接通信。其中,用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器,也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。
在一些实施方式中,存储器15存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:
操作系统151,包含各种系统程序,用于实现各种基础业务以及处理基于硬件的任务;
程序152。
具体地,处理器11用于调用存储器15中存储的程序152,执行上述实施例所述的侧脸情况下的人脸识别方法,例如图1所示的步骤S11。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如人脸形状识别模块。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述侧脸情况下的人脸识别设备中的执行过程。
所述侧脸情况下的人脸识别设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述侧脸情况下的人脸识别设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述示意图仅仅是侧脸情况下的人脸识别设备的示例,并不构成对侧脸情况下的人脸识别设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件。
所称处理器11可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器11是所述侧脸情况下的人脸识别设备的控制中心,利用各种接口和线路连接整个侧脸情况下的人脸识别设备的各个部分。
所述存储器15可用于存储所述计算机程序和/或模块,所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述侧脸情况下的人脸识别设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器15可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述侧脸情况下的人脸识别设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
本发明第四实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一实施例中任意一项所述的侧脸情况下的人脸识别方法。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种侧脸情况下的人脸识别方法,其特征在于,包括以下步骤:
获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;
当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;
根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;
根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;
对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;
获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
2.如权利要求1所述的侧脸情况下的人脸识别方法,其特征在于,所述根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框,具体包括:
根据所述正脸图像,通过预先构建的图像金字塔模型,获取不同尺寸的人脸候选框;
对不同尺寸的人脸候选框进行区域切分;
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框。
3.如权利要求1所述的侧脸情况下的人脸识别方法,其特征在于,所述方法还包括:
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点;
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点,分别对所述正脸图像样本、侧脸图像样本进行分块;
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练,构建正脸重构模型;其中,所述预先构建的深度神经网络包括逻辑回归算法。
4.如权利要求1或2所述的侧脸情况下的人脸识别方法,其特征在于,所述根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框之前,还包括:
对所述正脸图像进行旋转校正,得到正视的正脸图像。
5.如权利要求1所述的侧脸情况下的人脸识别方法,其特征在于,所述对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度,具体包括:
对所述人脸特征向量进行拼接;
对拼接后的人脸特征向量进行KNN聚类,并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离,作为人脸特征向量与正脸图像样本的相似度。
6.如权利要求2所述的侧脸情况下的人脸识别方法,其特征在于,所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络,提取人脸框,具体包括:
将所有人脸候选框缩放至第一预设尺寸,并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归,获得第一边框回归结果;
将所有人脸候选框缩放至第二预设尺寸,并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归,获得第二边框回归结果;
将所有人脸候选框缩放至第三预设尺寸,并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归,获得第三边框回归结果;
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理,得到所述人脸框。
7.如权利要求6所述的人脸检测方法,其特征在于,所述第一预设尺寸为12×12,所述第一层卷积神经网络为12维卷积神经网络;所述第二预设尺寸为24×24,所述第二层卷积神经网络为24维卷积神经网络;所述第二预设尺寸为48×48,所述第三层卷积神经网络为48维卷积神经网络。
8.一种侧脸情况下的人脸识别装置,其特征在于,包括:
人脸形状识别模块,用于获取接收到的人脸图像中人脸特征点对应的局部二值特征,并对所述局部二值特征进行回归处理,识别人脸形状;
正脸重构模块,用于当识别出的人脸形状为非正脸时,通过预先构建的正脸重构模型,对所述人脸图像进行重构,生成正脸图像;
人脸框提取模块,用于根据所述正脸图像,通过预先构建的暂态混沌神经网络,提取人脸框;
人脸特征向量提取模块,用于根据所述人脸框,通过预先构建的FaceNet网络模型,提取人脸特征向量;
相似度计算模块,用于对所述人脸特征向量进行拼接,并计算拼接后的人脸特征向量与正脸图像样本的相似度;
人脸识别模块,用于获取最大相似度对应的正脸图像样本,并输出为人脸识别结果。
9.一种侧脸情况下的人脸识别设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的侧脸情况下的人脸识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的侧脸情况下的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910529244.1A CN110363091B (zh) | 2019-06-18 | 2019-06-18 | 侧脸情况下的人脸识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910529244.1A CN110363091B (zh) | 2019-06-18 | 2019-06-18 | 侧脸情况下的人脸识别方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110363091A true CN110363091A (zh) | 2019-10-22 |
CN110363091B CN110363091B (zh) | 2021-08-10 |
Family
ID=68216397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910529244.1A Active CN110363091B (zh) | 2019-06-18 | 2019-06-18 | 侧脸情况下的人脸识别方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363091B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488810A (zh) * | 2020-03-31 | 2020-08-04 | 长沙千视通智能科技有限公司 | 人脸识别方法、装置、终端设备及计算机可读介质 |
CN111582141A (zh) * | 2020-04-30 | 2020-08-25 | 京东方科技集团股份有限公司 | 人脸识别模型训练方法、人脸识别方法及装置 |
CN111695462A (zh) * | 2020-05-29 | 2020-09-22 | 平安科技(深圳)有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
CN111797797A (zh) * | 2020-07-13 | 2020-10-20 | 深圳大学 | 基于网格形变优化的人脸图像处理方法、终端及存储介质 |
CN111881770A (zh) * | 2020-07-06 | 2020-11-03 | 上海序言泽网络科技有限公司 | 一种人脸识别方法及系统 |
CN111881740A (zh) * | 2020-06-19 | 2020-11-03 | 杭州魔点科技有限公司 | 人脸识别方法、装置、电子设备及介质 |
CN112101216A (zh) * | 2020-09-15 | 2020-12-18 | 百度在线网络技术(北京)有限公司 | 人脸识别方法、装置、设备及存储介质 |
CN112749626A (zh) * | 2020-12-10 | 2021-05-04 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
CN112785683A (zh) * | 2020-05-07 | 2021-05-11 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
CN113486807A (zh) * | 2021-07-08 | 2021-10-08 | 网易(杭州)网络有限公司 | 脸部的检测模型训练方法、识别方法、装置、介质和设备 |
CN113780216A (zh) * | 2021-09-16 | 2021-12-10 | 中国平安人寿保险股份有限公司 | 无感考勤方法、装置、计算机设备及存储介质 |
CN113807327A (zh) * | 2021-11-18 | 2021-12-17 | 武汉博特智能科技有限公司 | 一种基于光线补偿的深度学习侧脸图像处理方法及系统 |
CN114926887A (zh) * | 2022-05-30 | 2022-08-19 | 深圳市龙光云众智慧科技有限公司 | 人脸识别方法、装置及终端设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101491832B1 (ko) * | 2014-05-23 | 2015-02-12 | 동국대학교 산학협력단 | 영상 선택 장치 및 방법 |
CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
CN109711384A (zh) * | 2019-01-09 | 2019-05-03 | 江苏星云网格信息技术有限公司 | 一种基于深度卷积神经网络的人脸识别方法 |
CN109800643A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 一种活体人脸多角度的身份识别方法 |
-
2019
- 2019-06-18 CN CN201910529244.1A patent/CN110363091B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101491832B1 (ko) * | 2014-05-23 | 2015-02-12 | 동국대학교 산학협력단 | 영상 선택 장치 및 방법 |
CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
CN109800643A (zh) * | 2018-12-14 | 2019-05-24 | 天津大学 | 一种活体人脸多角度的身份识别方法 |
CN109711384A (zh) * | 2019-01-09 | 2019-05-03 | 江苏星云网格信息技术有限公司 | 一种基于深度卷积神经网络的人脸识别方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111488810A (zh) * | 2020-03-31 | 2020-08-04 | 长沙千视通智能科技有限公司 | 人脸识别方法、装置、终端设备及计算机可读介质 |
CN111582141A (zh) * | 2020-04-30 | 2020-08-25 | 京东方科技集团股份有限公司 | 人脸识别模型训练方法、人脸识别方法及装置 |
WO2021218899A1 (zh) * | 2020-04-30 | 2021-11-04 | 京东方科技集团股份有限公司 | 人脸识别模型训练方法、人脸识别方法及装置 |
CN112785683A (zh) * | 2020-05-07 | 2021-05-11 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
CN112785683B (zh) * | 2020-05-07 | 2024-03-19 | 武汉金山办公软件有限公司 | 一种人脸图像调整方法及装置 |
CN111695462A (zh) * | 2020-05-29 | 2020-09-22 | 平安科技(深圳)有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
CN111881740A (zh) * | 2020-06-19 | 2020-11-03 | 杭州魔点科技有限公司 | 人脸识别方法、装置、电子设备及介质 |
CN111881740B (zh) * | 2020-06-19 | 2024-03-22 | 杭州魔点科技有限公司 | 人脸识别方法、装置、电子设备及介质 |
CN111881770B (zh) * | 2020-07-06 | 2024-05-31 | 上海序言泽网络科技有限公司 | 一种人脸识别方法及系统 |
CN111881770A (zh) * | 2020-07-06 | 2020-11-03 | 上海序言泽网络科技有限公司 | 一种人脸识别方法及系统 |
CN111797797B (zh) * | 2020-07-13 | 2023-09-15 | 深圳大学 | 基于网格形变优化的人脸图像处理方法、终端及存储介质 |
CN111797797A (zh) * | 2020-07-13 | 2020-10-20 | 深圳大学 | 基于网格形变优化的人脸图像处理方法、终端及存储介质 |
CN112101216A (zh) * | 2020-09-15 | 2020-12-18 | 百度在线网络技术(北京)有限公司 | 人脸识别方法、装置、设备及存储介质 |
CN112749626A (zh) * | 2020-12-10 | 2021-05-04 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
CN112749626B (zh) * | 2020-12-10 | 2022-09-13 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
CN113486807B (zh) * | 2021-07-08 | 2024-02-27 | 网易(杭州)网络有限公司 | 脸部的检测模型训练方法、识别方法、装置、介质和设备 |
CN113486807A (zh) * | 2021-07-08 | 2021-10-08 | 网易(杭州)网络有限公司 | 脸部的检测模型训练方法、识别方法、装置、介质和设备 |
CN113780216B (zh) * | 2021-09-16 | 2024-03-05 | 中国平安人寿保险股份有限公司 | 无感考勤方法、装置、计算机设备及存储介质 |
CN113780216A (zh) * | 2021-09-16 | 2021-12-10 | 中国平安人寿保险股份有限公司 | 无感考勤方法、装置、计算机设备及存储介质 |
CN113807327A (zh) * | 2021-11-18 | 2021-12-17 | 武汉博特智能科技有限公司 | 一种基于光线补偿的深度学习侧脸图像处理方法及系统 |
CN114926887A (zh) * | 2022-05-30 | 2022-08-19 | 深圳市龙光云众智慧科技有限公司 | 人脸识别方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110363091B (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363091A (zh) | 侧脸情况下的人脸识别方法、装置、设备及存储介质 | |
CN108197532B (zh) | 人脸识别的方法、装置及计算机装置 | |
US12034747B2 (en) | Unsupervised learning to simplify distributed systems management | |
CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
CN108520229A (zh) | 图像检测方法、装置、电子设备和计算机可读介质 | |
Salomon et al. | Deep learning for image-based automatic dial meter reading: Dataset and baselines | |
CN110110593A (zh) | 基于自学习的人脸考勤方法、装置、设备及存储介质 | |
CN111898547A (zh) | 人脸识别模型的训练方法、装置、设备及存储介质 | |
CN111784528B (zh) | 异常社群检测方法、装置、计算机设备及存储介质 | |
CN109376596A (zh) | 人脸匹配方法、装置、设备及存储介质 | |
WO2019213459A1 (en) | System and method for generating image landmarks | |
CN110210457A (zh) | 人脸检测方法、装置、设备及计算机可读存储介质 | |
US11514605B2 (en) | Computer automated interactive activity recognition based on keypoint detection | |
CN111985374A (zh) | 人脸定位方法、装置、电子设备及存储介质 | |
US20210166058A1 (en) | Image generation method and computing device | |
CN110347724A (zh) | 异常行为识别方法、装置、电子设备及介质 | |
CN111325271A (zh) | 图像分类方法及装置 | |
CN109948666A (zh) | 图像相似性识别方法、装置、设备及存储介质 | |
CN108288252A (zh) | 图像批处理方法、装置及电子设备 | |
CN110941978A (zh) | 一种未识别身份人员的人脸聚类方法、装置及存储介质 | |
CN110516734A (zh) | 一种图像匹配方法、装置、设备及存储介质 | |
US20230021551A1 (en) | Using training images and scaled training images to train an image segmentation model | |
CN112328657A (zh) | 特征衍生方法、装置、计算机设备及介质 | |
CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
CN105426392A (zh) | 一种协同过滤推荐方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |