CN110363091B - 侧脸情况下的人脸识别方法、装置、设备及存储介质 - Google Patents

侧脸情况下的人脸识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110363091B
CN110363091B CN201910529244.1A CN201910529244A CN110363091B CN 110363091 B CN110363091 B CN 110363091B CN 201910529244 A CN201910529244 A CN 201910529244A CN 110363091 B CN110363091 B CN 110363091B
Authority
CN
China
Prior art keywords
face
frame
face image
neural network
constructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910529244.1A
Other languages
English (en)
Other versions
CN110363091A (zh
Inventor
杜翠凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GCI Science and Technology Co Ltd
Original Assignee
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GCI Science and Technology Co Ltd filed Critical GCI Science and Technology Co Ltd
Priority to CN201910529244.1A priority Critical patent/CN110363091B/zh
Publication of CN110363091A publication Critical patent/CN110363091A/zh
Application granted granted Critical
Publication of CN110363091B publication Critical patent/CN110363091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种侧脸情况下的人脸识别方法、装置、设备及存储介质，该方法包括：获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对局部二值特征进行回归处理，识别人脸形状；当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对人脸图像进行重构，生成正脸图像；根据正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；根据人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；对人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；获取最大相似度对应的正脸图像样本，并输出为人脸识别结果；该方法在侧脸或部分遮挡情况下，能够有效提高人脸识别的准确性。

Description

侧脸情况下的人脸识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机图像处理领域，尤其涉及一种侧脸情况下的人脸方法、装置、设备及存储介质。
背景技术
随着计算机技术特别是模式识别技术的发展，侧脸情况下的人脸识别作为一个技术方向出现在人们的视野。侧脸情况下的人脸识别技术可以作为图像处理和视频分析领域中多应用项目的基础性工作，比如人脸识别、人脸图像检索以及驾驶员疲劳状态检测等等。在人脸识别过程中，侧脸识别在人脸识别中具有非常重要的意义，在很多情况下会很难得到人的正脸图像，存在因人脸被遮挡或者侧脸的现象对人脸难以识别的问题，例如：在监控场景下拍摄到人正脸的概率就比较小。因此，提高侧脸识别的准确率是人脸识别需要解决的一项非常关键的技术问题。
发明内容
针对上述问题，本发明的目的在于提供一种侧脸情况下的人脸识别方法、装置、设备及存储介质，其能有效提供侧脸识别的准确率。
第一方面，本发明实施例提供了一种侧脸情况下的人脸识别方法，包括以下步骤：
获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；
当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；
根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；
根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；
对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；
获取最大相似度对应的正脸图像样本，并输出为人脸识别结果。
优选地，所述根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框，具体包括：
根据所述正脸图像，通过预先构建的图像金字塔模型，获取不同尺寸的人脸候选框；
对不同尺寸的人脸候选框进行区域切分；
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框。
优选地，所述方法还包括：
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点；
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点，分别对所述正脸图像样本、侧脸图像样本进行分块；
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练，构建正脸重构模型；其中，所述预先构建的深度神经网络包括逻辑回归算法。
优选地，所述根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框之前，还包括：
对所述正脸图像进行旋转校正，得到正视的正脸图像。
优选地，所述对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度，具体包括：
对所述人脸特征向量进行拼接；
对拼接后的人脸特征向量进行KNN聚类，并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离，作为人脸特征向量与正脸图像样本的相似度。
优选地，所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框，具体包括：
将所有人脸候选框缩放至第一预设尺寸，并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归，获得第一边框回归结果；
将所有人脸候选框缩放至第二预设尺寸，并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归，获得第二边框回归结果；
将所有人脸候选框缩放至第三预设尺寸，并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归，获得第三边框回归结果；
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理，得到所述人脸框。
优选地，所述第一预设尺寸为12×12，所述第一层卷积神经网络为12维卷积神经网络；所述第二预设尺寸为24×24，所述第二层卷积神经网络为24维卷积神经网络；所述第二预设尺寸为48×48，所述第三层卷积神经网络为48维卷积神经网络。
第二方面，本发明实施例提供了一种侧脸情况下的人脸识别装置，包括：
人脸形状识别模块，用于获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；
正脸重构模块，用于当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；
人脸框提取模块，用于根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；
人脸特征向量提取模块，用于根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；
相似度计算模块，用于对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；
人脸识别模块，用于获取最大相似度对应的正脸图像样本，并输出为人脸识别结果。
第三方面，本发明实施例提供了一种侧脸情况下的人脸识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的侧脸情况下的人脸识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的侧脸情况下的人脸识别方法。
以上实施例具有如下有益效果：
通过获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；获取最大相似度对应的正脸图像样本，并输出为人脸识别结果，在侧脸或部分遮挡情况下，能够有效提高人脸识别的准确性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的侧脸情况下的人脸识别方法的流程示意图；
图2是本发明第二实施例提供的侧脸情况下的人脸识别装置的结构示意图；
图3是本发明第三实施例提供的侧脸情况下的人脸识别设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本发明第一实施例提供了一种侧脸情况下的人脸识别方法，其可由侧脸情况下的人脸识别设备来执行，并包括以下步骤：
S11：获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状。
在本发明实施例中，所述侧脸情况下的人脸识别设备可为电脑、手机、平板电脑、笔记本电脑或者服务器等计算设备，所述侧脸情况下的人脸识别方法可作为其中一个功能模块集成与所述侧脸情况下的人脸识别设备上，由所述侧脸情况下的人脸识别设备来执行。
在本发明实施例中，基于haarcascade_frontalface_alt2.xml提取接收到得到人脸图像的人脸特征点对应的局部二值特征，并进行现状回归处理，得出该人脸图像的人脸形状，具体过程如下：
步骤1：将人脸图像初始化一个shape，得到人脸图像对应的局部二值特征向量；
步骤2：基于shape找出人脸的特征点，计算局部的特征差异，找到人脸特征点，包括鼻子、眼睛、嘴巴点，即为feature；
步骤3：基于步骤2找到的人脸特征点和人工标记的特征点计算一个特征点差异Delta，并训练一个函数：Delta＝f(feature)；
步骤4：将Delta加到初始化的shape上，得出了当前的人脸形状。
S12：当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像。
S13：根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框。
需要说明的是：暂态混沌神经网络(MTCNN，Multi-task convolutional neuralnetwork)，将人脸区域检测与人脸关键点检测放在了一起，基于cascade框架，总体可分为PNet、RNet、和ONet三层网络结构。
S14：根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量。
S15：对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度。
S16：获取最大相似度对应的正脸图像样本，并输出为人脸识别结果。
本发明实施例对采集的视频或图像先进行步骤S11的人脸现状识别，若识别出是否非正脸，即侧脸或者部分遮挡的情况，执行步骤S12重构正脸，若识别出是正脸时，跳过步骤S12、执行步骤S13，本发明实施例主要针对非正脸的情况进行人脸识别。基于MTCNN和FaceNet对重构后的正脸进行人脸识别，在侧脸或部分遮挡情况下，能够有效提高人脸识别的准确性。
在一种可选的实施例中，S13：根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框，具体包括：
根据所述正脸图像，通过预先构建的图像金字塔模型，获取不同尺寸的人脸候选框；
对不同尺寸的人脸候选框进行区域切分；
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框。
在本发明实施例中，可采用DeepID的patch进行人脸候选框的区域切分。采用图像金字塔生成不同尺度的人脸候选框并进行多区域切分，能够保证小人脸框的特征也能得到较好的提取，避免小人脸的漏检，解决小人脸存在而导致小人脸检测不准确的问题。
在一种可选的实施例中，所述方法还包括：
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点；
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点，分别对所述正脸图像样本、侧脸图像样本进行分块；
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练，构建正脸重构模型；其中，所述预先构建的深度神经网络包括逻辑回归算法。
在本发明实施例中，模型的训练过程如下：训练每一个正脸图像样本和侧脸图像样本对，提取5个人脸特征带你并基于这些特征提取10个不同的patch，对每一个patch进行单独训练；多个特征在网络的最后一层被级联在一起，采用PCA降维，将冗余特征去掉；采用逻辑回归算法将侧脸生成正脸，最后的逻辑回归停止的条件：
Figure BDA0002098629000000071
其中，M(Yi)达到最小值的时候，算法结束。其中Yi为人脸的图像，公式的第一项代表对称性；第二项代表图像的秩；λ是一个默认的值；P,Q矩阵是参数，可以理解为左边人脸矩阵和右边人脸矩阵的参数。
通过上述构建的正脸重构模型能够准确将侧脸或部分遮挡的脸部重构成正脸。
在一种可选的实施例中，所述根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框之前，还包括：
对所述正脸图像进行旋转校正，得到正视的正脸图像。
由于暂态混沌神经网络无法检测大于45度的人脸和侧脸的，在本发明实施例中，将所述正脸图像输入暂态混沌神经网络前，进行人脸角度检测，并将大于45度的人脸进行旋转校正，得到正视的正脸图像。
在一种可选的实施例中，所述对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度，具体包括：
对所述人脸特征向量进行拼接；
对拼接后的人脸特征向量进行KNN聚类，并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离，作为人脸特征向量与正脸图像样本的相似度。
在一种可选的实施例中，所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框，具体包括：
将所有人脸候选框缩放至第一预设尺寸，并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归，获得第一边框回归结果；
将所有人脸候选框缩放至第二预设尺寸，并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归，获得第二边框回归结果；
将所有人脸候选框缩放至第三预设尺寸，并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归，获得第三边框回归结果；
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理，得到所述人脸框。
在一种可选的实施例中，所述第一预设尺寸为12×12，所述第一层卷积神经网络为12维卷积神经网络；所述第二预设尺寸为24×24，所述第二层卷积神经网络为24维卷积神经网络；所述第二预设尺寸为48×48，所述第三层卷积神经网络为48维卷积神经网络。
在本发明实施例中，将所述人脸候选框逐一resize到12×12，并分别放进第一个12-卷积神经网络中，该网络的主要作用就是获取对人脸候选框进行识别以及对人脸候选框进行边框回归。边框回归的主要方式是采用非极大值抑制的方法删除大量的候选窗口，实现候选框的调整。将所述人脸候选框逐一resize到24×24，并分别放进第一个24-卷积神经网络中，该网络的主要作用就是获取对所述人脸候选框进行识别以及对所述人脸候选框进行边框回归。24-卷积神经网络的边框回归结果要融合12-卷积神经网络的边框回归结果，实现由粗到精的人脸框定位的调整。将所述人脸候选框逐一resize到48×48，并分别放进第一个48-卷积神经网络中，该网络的主要作用就是获取对所述人脸候选框进行识别以及对所述人脸候选框进行边框回归。48-卷积神经网络的边框回归结果要融合12-卷积神经网络、24卷积神经网络的边框回归结果，实现由粗到精的人脸框定位的调整。在人脸的检测识别层面：将48-卷积神经网络、12-卷积神经网络、24卷积神经网络的边框回归结果进行加权平均，实现人脸框预测，得到人脸框检测结果，通过对每一个保留下来的人脸候选框进行卷积，采用由粗到细的方式，逐层精细化人脸框的定位，提高人脸识别的准确性。
相对于现有技术，本发明实施例的有益效果在于：
1、本本发明实施例对视频或图像中侧脸或者部分遮挡的情况，重构正脸，并基于MTCNN和FaceNet对重构后的正脸进行人脸识别，FaceNet输出的人脸特征向量进行拼接，通过聚类实现人脸识别的目，在侧脸或部分遮挡情况下，能够有效提高人脸识别的准确性，同时能提升了计算机检测人脸的速度。
2、采用图像金字塔生成不同尺度的人脸候选框，并进行多区域切分，有效实现小尺寸的特征提取，避免小人脸的漏检，解决小人脸存在而导致小人脸检测不准确的问题。
3、采用暂态混沌神经网络对每一个保留下来的人脸候选框进行卷积，采用由粗到细的方式，逐层精细化人脸框的定位，提高人脸检测的准确性。
请参阅图2，本发明第二实施例提供了一种侧脸情况下的人脸识别装置，包括：
人脸形状识别模块1，用于获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；
正脸重构模块2，用于当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；
人脸框提取模块3，用于根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；
人脸特征向量提取模块4，用于根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；
相似度计算模块5，用于对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；
人脸识别模块6，用于获取最大相似度对应的正脸图像样本，并输出为人脸识别结果。
在一种可选的实施例中，所述人脸框提取模块3包括：
人脸候选框获取单元，用于根据所述正脸图像，通过预先构建的图像金字塔模型，获取不同尺寸的人脸候选框；
区域切分单元，用于对不同尺寸的人脸候选框进行区域切分；
人脸框提取单元，用于将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框。
在一种可选的实施例中，所述装置还包括：
人脸特征点提取模块，用于提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点；
图像分块模块，用于根据所述正脸图像样本、侧脸图像样本对应的人脸特征点，分别对所述正脸图像样本、侧脸图像样本进行分块；
模型构建模块，用于采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练，构建正脸重构模型；其中，所述预先构建的深度神经网络包括逻辑回归算法。
在一种可选的实施例中，所述装置包括：
图像校正模块，用于对所述正脸图像进行旋转校正，得到正视的正脸图像。
在一种可选的实施例中，所述相似度计算模块5包括：
向量拼接单元，用于对所述人脸特征向量进行拼接；
欧式距离计算单元，用于对拼接后的人脸特征向量进行KNN聚类，并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离，作为人脸特征向量与正脸图像样本的相似度。
在一种可选的实施例中，所述人脸框提取单元包括：
第一边框回归子单元，用于将所有人脸候选框缩放至第一预设尺寸，并通过所述联级神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归，获得第一边框回归结果；
第二边框回归子单元，用于将所有人脸候选框缩放至第二预设尺寸，并通过所述联级神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归，获得第二边框回归结果；
第三边框回归子单元，用于将所有人脸候选框缩放至第三预设尺寸，并通过所述联级神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归，获得第三边框回归结果；
加权平均处理子单元，用于对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理，得到所述侧脸情况下的人脸识别结果。
在一种可选的实施例中，所述第一预设尺寸为12×12，所述第一层卷积神经网络为12维卷积神经网络；所述第二预设尺寸为24×24，所述第二层卷积神经网络为24维卷积神经网络；所述第二预设尺寸为48×48，所述第三层卷积神经网络为48维卷积神经网络。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
参见图3，是本发明第三实施例提供的侧脸情况下的人脸识别设备的示意图。如图3所示，该侧脸情况下的人脸识别设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。
在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
程序152。
具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的侧脸情况下的人脸识别方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如人脸形状识别模块。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述侧脸情况下的人脸识别设备中的执行过程。
所述侧脸情况下的人脸识别设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述侧脸情况下的人脸识别设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是侧脸情况下的人脸识别设备的示例，并不构成对侧脸情况下的人脸识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述侧脸情况下的人脸识别设备的控制中心，利用各种接口和线路连接整个侧脸情况下的人脸识别设备的各个部分。
所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述侧脸情况下的人脸识别设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器15可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述侧脸情况下的人脸识别设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明第四实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一实施例中任意一项所述的侧脸情况下的人脸识别方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种侧脸情况下的人脸识别方法，其特征在于，包括以下步骤：
获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；
当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；
根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；
根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；
对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；
获取最大相似度对应的正脸图像样本，并输出为人脸识别结果；
所述根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框，具体包括：
根据所述正脸图像，通过预先构建的图像金字塔模型，获取不同尺寸的人脸候选框；
采用DeepID对不同尺寸的人脸候选框进行区域切分；
将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框；
所述获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状，包括：
将人脸图像初始化一个shape，得到人脸图像对应的局部二值特征向量；
基于shape找出人脸的特征点，计算局部的特征差异，找到人脸特征点feature；
基于找到的人脸特征点和人工标记的特征点计算一个特征点差异Delta，并训练一个函数：Delta＝f(feature)；
将Delta加到初始化的shape上，得出了当前的人脸形状。
2.如权利要求1所述的侧脸情况下的人脸识别方法，其特征在于，所述方法还包括：
提取预先采集的正脸图像样本和侧脸图像样本的人脸特征点；
根据所述正脸图像样本、侧脸图像样本对应的人脸特征点，分别对所述正脸图像样本、侧脸图像样本进行分块；
采用分块后的正脸图像样本、侧脸图像样本对预先构建的深度神经网络进行模型训练，构建正脸重构模型；其中，所述预先构建的深度神经网络包括逻辑回归算法。
3.如权利要求1所述的侧脸情况下的人脸识别方法，其特征在于，所述根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框之前，还包括：
对所述正脸图像进行旋转校正，得到正视的正脸图像。
4.如权利要求1所述的侧脸情况下的人脸识别方法，其特征在于，所述对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度，具体包括：
对所述人脸特征向量进行拼接；
对拼接后的人脸特征向量进行KNN聚类，并计算KNN聚类后的人脸特征向量与正脸图像样本的欧氏距离，作为人脸特征向量与正脸图像样本的相似度。
5.如权利要求1所述的侧脸情况下的人脸识别方法，其特征在于，所述将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框，具体包括：
将所有人脸候选框缩放至第一预设尺寸，并通过所述暂态混沌神经网络的第一层卷积神经网络对第一预设尺寸的人脸候选框进行边框回归，获得第一边框回归结果；
将所有人脸候选框缩放至第二预设尺寸，并通过所述暂态混沌神经网络的第二层卷积神经网络对第二预设尺寸的人脸候选框和所述第一边框回归结果进行边框回归，获得第二边框回归结果；
将所有人脸候选框缩放至第三预设尺寸，并通过所述暂态混沌神经网络的第三层卷积神经网络中对第三预设尺寸的人脸候选框、所述第一边框回归结果和所述第二边框回归结果进行边框回归，获得第三边框回归结果；
对所述第一边框回归结果、第二边框回归结果和第三边框回归结果进行加权平均处理，得到所述人脸框。
6.如权利要求5所述的人脸识别 方法，其特征在于，所述第一预设尺寸为12×12，所述第一层卷积神经网络为12维卷积神经网络；所述第二预设尺寸为24×24，所述第二层卷积神经网络为24维卷积神经网络；所述第二预设尺寸为48×48，所述第三层卷积神经网络为48维卷积神经网络。
7.一种侧脸情况下的人脸识别装置，其特征在于，包括：
人脸形状识别模块，用于获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状；
正脸重构模块，用于当识别出的人脸形状为非正脸时，通过预先构建的正脸重构模型，对所述人脸图像进行重构，生成正脸图像；
人脸框提取模块，用于根据所述正脸图像，通过预先构建的暂态混沌神经网络，提取人脸框；
人脸特征向量提取模块，用于根据所述人脸框，通过预先构建的FaceNet网络模型，提取人脸特征向量；
相似度计算模块，用于对所述人脸特征向量进行拼接，并计算拼接后的人脸特征向量与正脸图像样本的相似度；
人脸识别模块，用于获取最大相似度对应的正脸图像样本，并输出为人脸识别结果；
所述人脸框提取模块包括：
人脸候选框获取单元，用于根据所述正脸图像，通过预先构建的图像金字塔模型，获取不同尺寸的人脸候选框；
区域切分单元，用于采用DeepID对不同尺寸的人脸候选框进行区域切分；
人脸框提取单元，用于将区域切分后的人脸候选框输入到预先构建的暂态混沌神经网络，提取人脸框；
所述获取接收到的人脸图像中人脸特征点对应的局部二值特征，并对所述局部二值特征进行回归处理，识别人脸形状，包括：
将人脸图像初始化一个shape，得到人脸图像对应的局部二值特征向量；
基于shape找出人脸的特征点，计算局部的特征差异，找到人脸特征点feature；
基于找到的人脸特征点和人工标记的特征点计算一个特征点差异Delta，并训练一个函数：Delta＝f(feature)；
将Delta加到初始化的shape上，得出了当前的人脸形状。
8.一种侧脸情况下的人脸识别设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的侧脸情况下的人脸识别方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的侧脸情况下的人脸识别方法。
CN201910529244.1A 2019-06-18 2019-06-18 侧脸情况下的人脸识别方法、装置、设备及存储介质 Active CN110363091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910529244.1A CN110363091B (zh) 2019-06-18 2019-06-18 侧脸情况下的人脸识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910529244.1A CN110363091B (zh) 2019-06-18 2019-06-18 侧脸情况下的人脸识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110363091A CN110363091A (zh) 2019-10-22
CN110363091B true CN110363091B (zh) 2021-08-10

Family

ID=68216397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910529244.1A Active CN110363091B (zh) 2019-06-18 2019-06-18 侧脸情况下的人脸识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110363091B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488810A (zh) * 2020-03-31 2020-08-04 长沙千视通智能科技有限公司 人脸识别方法、装置、终端设备及计算机可读介质
CN111582141B (zh) * 2020-04-30 2023-05-09 京东方科技集团股份有限公司 人脸识别模型训练方法、人脸识别方法及装置
CN112785683B (zh) * 2020-05-07 2024-03-19 武汉金山办公软件有限公司 一种人脸图像调整方法及装置
CN111881740B (zh) * 2020-06-19 2024-03-22 杭州魔点科技有限公司 人脸识别方法、装置、电子设备及介质
CN111881770A (zh) * 2020-07-06 2020-11-03 上海序言泽网络科技有限公司 一种人脸识别方法及系统
CN111797797B (zh) * 2020-07-13 2023-09-15 深圳大学 基于网格形变优化的人脸图像处理方法、终端及存储介质
CN112101216A (zh) * 2020-09-15 2020-12-18 百度在线网络技术（北京）有限公司 人脸识别方法、装置、设备及存储介质
CN112749626B (zh) * 2020-12-10 2022-09-13 同济大学 一种面向dsp平台的快速人脸检测与识别方法
CN113486807B (zh) * 2021-07-08 2024-02-27 网易（杭州）网络有限公司 脸部的检测模型训练方法、识别方法、装置、介质和设备
CN113780216B (zh) * 2021-09-16 2024-03-05 中国平安人寿保险股份有限公司 无感考勤方法、装置、计算机设备及存储介质
CN113807327B (zh) * 2021-11-18 2022-02-08 武汉博特智能科技有限公司 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491832B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 영상 선택 장치 및 방법
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法
CN109800643A (zh) * 2018-12-14 2019-05-24 天津大学 一种活体人脸多角度的身份识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491832B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 영상 선택 장치 및 방법
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法
CN109800643A (zh) * 2018-12-14 2019-05-24 天津大学 一种活体人脸多角度的身份识别方法
CN109711384A (zh) * 2019-01-09 2019-05-03 江苏星云网格信息技术有限公司 一种基于深度卷积神经网络的人脸识别方法

Also Published As

Publication number Publication date
CN110363091A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN110363091B (zh) 侧脸情况下的人脸识别方法、装置、设备及存储介质
US10635890B2 (en) Facial recognition method and apparatus, electronic device, and storage medium
CN109376596B (zh) 人脸匹配方法、装置、设备及存储介质
CN109697416B (zh) 一种视频数据处理方法和相关装置
US8792722B2 (en) Hand gesture detection
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
US20120027263A1 (en) Hand gesture detection
CN110874594A (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN109829396B (zh) 人脸识别运动模糊处理方法、装置、设备及存储介质
CN109117773B (zh) 一种图像特征点检测方法、终端设备及存储介质
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN107944381B (zh) 人脸跟踪方法、装置、终端及存储介质
WO2021120961A1 (zh) 大脑成瘾结构图谱评估方法及装置
CN110689046A (zh) 图像识别方法、装置、计算机装置及存储介质
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN111340213A (zh) 神经网络的训练方法、电子设备、存储介质
CN110210425B (zh) 人脸识别方法、装置、电子设备及存储介质
CN112488054A (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN112348008A (zh) 证件信息的识别方法、装置、终端设备及存储介质
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN108629264B (zh) 用于图像处理的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant