CN106951826A - 人脸检测方法及装置 - Google Patents

人脸检测方法及装置 Download PDF

Info

Publication number
CN106951826A
CN106951826A CN201710079126.6A CN201710079126A CN106951826A CN 106951826 A CN106951826 A CN 106951826A CN 201710079126 A CN201710079126 A CN 201710079126A CN 106951826 A CN106951826 A CN 106951826A
Authority
CN
China
Prior art keywords
face
candidate region
grid
vector
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710079126.6A
Other languages
English (en)
Other versions
CN106951826B (zh
Inventor
王生进
舒晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710079126.6A priority Critical patent/CN106951826B/zh
Publication of CN106951826A publication Critical patent/CN106951826A/zh
Application granted granted Critical
Publication of CN106951826B publication Critical patent/CN106951826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸检测方法及装置,属于图像识别技术领域。该方法包括:获取原始图像中人脸校正候选区域的位置响应特征图;对位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量;基于区域特征向量,输出原始图像中最终包含人脸的区域。由于为位置响应特征图中不同方格类型引入了不同人脸部位的权重,从而能够减少复杂场景下外在条件对对检测结果的影响。因此,人脸检测的准确率较高,且提高了人脸检测的适用性。

Description

人脸检测方法及装置
技术领域
本发明涉及图像识别技术领域,更具体地,涉及一种人脸检测方法及装置。
背景技术
近年来,人脸检测技术已经广泛应用到了身份辨认、账户注册、金融支付及安全防控等诸多领域。人脸检测技术,即检测出一张图片或一段视频中人脸的位置。现有的人脸检测方法主要是基于Haar特征和Adaboost分类器进行人脸检测,即先确定原始图像中的人脸候选区域,在人脸候选区域中计算若干个矩形特征,训练出与这些矩形特征对应的弱分类器。接着,让每一候选区域逐级通过弱分类器,如果置信度低于阈值,则不再进行下一步判断并将该候选区域作为非人脸区域。反之,通过所有弱分类器的候选区域会被作为人脸区域。其中,原始图像为包含人脸的待检测图像。
在实现本发明的过程中,发现现有技术至少存在以下问题:由于于Haar特征表征能力较弱,而人脸检测的应用场景逐渐趋于复杂多变,基于Haar特征的人脸检测过程并不能满足复杂场景的应用需求,从而在复杂应用场景下人脸检测的准确率较低。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的人脸检测方法及装置。
根据本发明的一方面,提供了一种人脸检测方法,该方法包括:
获取原始图像中人脸校正候选区域的位置响应特征图,位置响应特征图中不同区域对应人脸的不同部位;
对位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;
按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;
基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量,区域特征向量与特征向量的长度一致;
基于区域特征向量,输出原始图像中最终包含人脸的区域。
根据本发明的另一方面,提供了一种人脸检测装置,该装置包括:
获取模块,用于获取原始图像中人脸校正候选区域的位置响应特征图,位置响应特征图中不同区域对应人脸的不同部位;
划分模块,用于对位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;
确定模块,用于按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;
计算模块,用于基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量,区域特征向量与特征向量的长度一致;
输出模块,用于基于区域特征向量,输出原始图像中最终包含人脸的区域。
本申请提出的技术方案带来的有益效果是:
通过获取原始图像中人脸校正候选区域的位置响应特征图,对位置响应特征图进行划分,得到相应数量的方格。按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重。基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量。基于区域特征向量,输出原始图像中最终包含人脸的区域。由于为位置响应特征图中不同方格类型引入了不同人脸部位的权重,权重大的人脸部位对人脸检测结果影响较大,权重小的人脸部位对检测结果影响较小,从而在计算区域特征向量时,能够减少复杂场景下外在条件对计算结果的影响,进而减少了对检测结果的影响。因此,在复杂应用场景下人脸检测的过程具有更强的表征能力,人脸检测的准确率较高,且提高了人脸检测的适用性。
附图说明
图1为本发明实施例的一种人脸检测方法的流程示意图;
图2为本发明实施例的一种人脸检测方法的流程示意图;
图3为本发明实施例的一种人脸检测装置的流程示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
近年来,以人脸检测为代表的生物特征检测识别已经广泛应用到了身份辨认、账户注册、金融支付及安全防控等诸多领域。人脸检测识别的应用场景也逐渐从主动配合式场景逐渐向开放式场景发展。其中,开放式场景主要指的是更加复杂多变的应用场景,如光照、姿态、尺度、表情或遮挡物的变化。相应地,这对人脸检测技术提出了更高的要求。
人脸检测技术主要指的是检测出一张图片或一段视频中人脸的位置。现有的人脸检测方法主要依赖尺度、位置变化的检测窗口产生人脸候选区域,即提取人工设计的特征训练分类器,判断候选区域是否为人脸。其中,最具代表性的是基于Haar特征和Adaboost分类器的人脸检测方法。该方法在候选区域中计算若干个矩形特征,训练出与这些矩形特征对应的弱分类器。每一个候选区域逐级通过弱分类器,如果置信度低于阈值,则不再进行下一步判断。反之,通过所有弱分类器的候选区域会被作为人脸区域。这种人脸检测方法可基本满足简单的实时应用,但对于复杂多变的应用场景,由于Haar特征表征能力较弱,从而不能满足此类场景的应用需求。因此,人脸检测的适用性较差。
针对现有技术中的问题,本发明实施例提供了一种人脸检测方法。由于本实施例及后续实施例涉及到提取特征图、计算置信度等过程,从而在执行本实施例及后续实施例之前,还可训练得到人脸检测的深度神经网络模型。本实施例不对训练得到深度神经网络模型的方式作具体限定,包括但不限于:收集网络中图片和视频中人脸图像,并标定人脸的位置作为人脸训练图像;利用大规模物体检测及分类数据集,对提取特征的深度神经网络进行预训练;根据收集得到的人脸训练图像,对进行预训练后的深度神经网络进行再训练,得到人脸检测的深度神经网络模型。
基于训练得到的深度神经网络模型,参见图1,该方法包括:101、获取原始图像中人脸校正候选区域的位置响应特征图;102、对位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;103、按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;104、基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量;105、基于区域特征向量,输出原始图像中最终包含人脸的区域。
其中,位置响应特征图中不同区域对应人脸的不同部位。如果人脸校正候选区域中包含人脸,则位置响应特征图对应区域的特征值也就越大,特征响应越突出。另外,区域特征向量与特征向量的长度一致。
本发明实施例提供的方法,通过获取原始图像中人脸校正候选区域的位置响应特征图,对位置响应特征图进行划分,得到相应数量的方格。按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重。基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量。基于区域特征向量,输出原始图像中最终包含人脸的区域。由于为位置响应特征图中不同方格类型引入了不同人脸部位的权重,权重大的人脸部位对人脸检测结果影响较大,权重小的人脸部位对检测结果影响较小,从而在计算区域特征向量时,能够减少复杂场景下外在条件对计算结果的影响,进而减少了对检测结果的影响。因此,在复杂应用场景下人脸检测的过程具有更强的表征能力,人脸检测的准确率较高,且提高了人脸检测的适用性。
作为一种可选实施例,获取原始图像中人脸校正候选区域的位置响应特征图,包括:
提取原始图像对应的特征图;
根据特征图,确定原始图像中的人脸校正候选区域;
基于特征图及人脸校正候选区域,获取人脸校正候选区域的位置响应特征图。
作为一种可选实施例,根据特征图,确定原始图像中的人脸校正候选区域,包括:
将特征图划分为相应数量的分块区域;
基于原始图像与特征图之间的映射关系,对于每一分块区域,将每一分块区域映射至原始图像,并将映射得到的正方形区域作为每一分块区域对应的候选区域,分块区域与候选区域的数量一致;
基于每一候选区域,确定原始图像中的人脸校正候选区域。
作为一种可选实施例,基于每一候选区域,确定原始图像中的人脸校正候选区域,包括:
对于任一候选区域,计算任一候选区域中包含人脸的第一置信度;
当第一置信度大于第一预设阈值时,将任一候选区域作为人脸候选区域,对人脸候选区域进行校正,得到相应的人脸校正候选区域。
作为一种可选实施例,对人脸候选区域进行校正,得到相应的人脸校正候选区域,包括:
计算人脸候选区域进行校正时的平移量及缩放变化量,并作为第一校正向量;
根据第一校正向量,校正人脸候选区域,得到相应的人脸校正候选区域。
作为一种可选实施例,按照每一方格所处的位置,区分所有方格的方格类型,包括:
对于位置响应特征图中划分后的所有方格,将位于中间部位的方格作为中心方格,将与中心方格直接相邻的方格作为次中心方格,将剩下的方格作为边缘方格。
作为一种可选实施例,基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量,包括:
基于每种方格类型下每一方格对应的特征向量,计算每种方格类型对应的平均特征向量;
根据每种方格类型对应的权重及平均特征向量,计算人脸校正候选区域对应的区域特征向量。
作为一种可选实施例,基于区域特征向量,输出原始图像中最终包含人脸的区域,包括:
根据区域特征向量,计算人脸校正候选区域中包含人脸的第二置信度;
当第二置信度大于第二预设阈值时,对人脸校正候选区域作进一步校正;
输出最终的校正结果,并作为原始图像中包含人脸的区域。
作为一种可选实施例,对人脸校正候选区域作进一步校正,包括:
获取人脸校正候选区域进行校正时的平移量及缩放变化量,并作为第二校正向量;
根据第二校正向量,进一步校正人脸校正候选区域。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
基于上述图1对应实施例所提供的深度神经网络模型,本发明实施例提供了一种人脸检测方法。参见图2,该方法包括:201、获取原始图像中人脸校正候选区域的位置响应特征图;202、对位置响应特征图进行划分,得到相应数量的方格;203、按照每一方格所处的位置,区分所有方格的方格类型;204、按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;205、基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量;206、基于区域特征向量,输出原始图像中最终包含人脸的区域。
其中,201、获取原始图像中人脸校正候选区域的位置响应特征图。
在本步骤中,位置响应特征图中不同区域对应人脸的不同部位。如果人脸校正候选区域中包含人脸,则位置响应特征图对应区域的特征值也就越大,即特征响应越突出。反之,则位置响应特征图对应区域的特征值也就越小,即特征响应越不明显。
本实施例不对获取原始图像中人脸校正候选区域的位置响应特征图的方式作具体限定,包括但不限于:提取原始图像对应的特征图;根据特征图,确定原始图像中的人脸校正候选区域;基于特征图及人脸校正候选区域,获取人脸校正候选区域的位置响应特征图。
在提取原始图像对应的特征图时,可将原始图像经过深度神经网络模型中第一层全卷积神经网络,从而提取到对应的特征图。具体地,通过第一层全卷积神经网络对应的卷积核,在对原始图像中每一像素点值进行卷积运算后,可得到对应的特征图。由于在将原始图像转化为特征图后,特征图相比于原始图像的尺寸大大较小,从而极大地降低了计算复杂度。因此,提高了后续人脸检测的效率。
在得到特征图后,可确定原始图像中的人脸校正候选区域。本实施例不对根据特征图,确定原始图像中的人脸校正候选区域的方式作具体限定,包括但不限于:将特征图划分为相应数量的分块区域;基于原始图像与特征图之间的映射关系,对于每一分块区域,将每一分块区域映射至原始图像,并将映射得到的正方形区域作为每一分块区域对应的候选区域,分块区域与候选区域的数量一致;基于每一候选区域,确定原始图像中的人脸校正候选区域。
在将特征图划分为相应数量的分块区域时,分块区域可以为正方形。在通过第一层全卷积神经网络从原始图像中提取特征图时,原始图像与特征图之间相应像素点存在一定的映射关系。基于这种映射关系,对于任一分块区域,可将任一分块区域的中心作为映射中心,将任一分块区域映射至原始图像,从而得到对应的候选区域。其中,候选区域为正方形区域。
在得到候选区域后,可先确定原始图像中的人脸候选区域。本实施例不对确定原始图像中的人脸候选区域的方式作具体限定,包括但不限于:对于任一候选区域,计算任一候选区域中包含人脸的第一置信度;当第一置信度大于第一预设阈值时,将任一候选区域作为人脸候选区域。
其中,第一置信度中的“第一”只是为了区后续过程中其它计算得到的置信度,并不带有任何限定含义。在计算候选区域中包含人脸的第一置信度时,可通过深度神经网络模型中第二层全卷积神经网络的一个分支进行计算,本实施例对此不作具体限定。在计算得到每一候选区域的第一置信度后,对于第一置信度大于第一预设阈值的候选区域,可将该类候选区域作为人脸候选区域。对于第一置信度小于第一预设阈值的候选区域,可不再对这类候选区域作后续处理。
考虑到相对于原始图像中的真实人脸区域,通过上述过程得到的人脸候选区域可能还不够对齐,从而在得到人脸候选区域后,还可对人脸候选区域进行校正。关于对人脸候选区域进行校正的方式,本实施例对此不作具体限定,包括但不限于:计算人脸候选区域进行校正时的平移量及缩放变化量,并作为第一校正向量;根据第一校正向量,校正人脸候选区域,得到相应的人脸校正候选区域。
其中,第一校正向量中的“第一”同第一置信度中的“第一”,主要是为了区分后续计算得到的校正向量。在计算第一校正向量时,可通过深度神经网络模型中第二层全卷积神经网络的另一个分支进行计算,本实施例对此不作具体限定。
在得到人脸校正候选区域后,由于人脸校正候选区域相对于校正前的人脸候选区域进行了平移及缩放,为了进一步地保证人脸检测的准确率,可再次计算人脸校正候选区域中包含人脸的置信度,从而筛选掉置信度小于第一预设阈值的人脸校正候选区域,本实施例对此不作具体限定。
在确定原始图像中人脸校正候选区域后,可基于特征图及人脸校正候选区域,获取人脸校正候选区域的位置响应特征图。在获取人脸校正候选区域的位置响应特征图时,可将人脸校正候选区域对应在特征图中的分块区域,经过深度神经网络模型中第三层全卷积神经网络,从而得到相应的位置响应特征图。
其中,202、对位置响应特征图进行划分,得到相应数量的方格。
在执行本步骤时,可按照预设行列数对对位置响应特征图进行划分,本实施例对此不作具体限定。例如,可按照6*6或8*8的方式将位置响应特征图划分为一个个方格。
其中,203、按照每一方格所处的位置,区分所有方格的方格类型。
本实施例不对按照每一方格所处的位置,区分所有方格的方格类型的方式作具体限定,包括但不限于:对于位置响应特征图中划分后的所有方格,将位于中间部位的方格作为中心方格,将与中心方格直接相邻的方格作为次中心方格,将剩下的方格作为边缘方格。
其中,中心方格对应人脸中的眼睛、鼻子等中心部位,中心方格对于人脸检测的贡献程度最大。次中心方格对应人脸中的嘴唇、额头、颧骨等部位,对于人脸检测的贡献程度次之。边缘方格对应人脸的脸部边界,且可能会引入其它的噪声信息,从而其对于人脸检测的贡献程度最小。
例如,以将位置响应特征图划分为6*6的方格为例。正中间2*2的4个方格可作为中心方格,与正中间2*2的方格直接相邻的8个方格可作为次中心方格,剩下的24个方格可均作为边缘方格。
其中,204、按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重。
基于上述步骤203中的内容可知,不同方格类型对应人脸检测的贡献程度不同,从而在本步骤中可根据每种方格类型对应人脸检测贡献程度的大小,确定每种方格类型对应的权重。其中,每种方格类型对应权重的累加和为1。
其中,205、基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量。
本实施例不对基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量的方式作具体限定,包括但不限于:基于每种方格类型下每一方格对应的特征向量,计算每种方格类型对应的平均特征向量;根据每种方格类型对应的权重及平均特征向量,计算人脸校正候选区域对应的区域特征向量。
例如,以将位置响应特征图划分为6*6的方格为例。对于正中间2*2的4个方格,可累加每一方格的特征向量,将累加和除以4可以得到中心方格对应的平均特征向量。同理,可分别计算得到次中心方格及边缘方格对应的平均特征向量。
对于每种方格类型对应的权重及平均特征向量,可将两者相乘,从而可得到每种方格类型对应的乘积。将每种方格类型对应的乘积进行叠加,可得到人脸校正候选区域的区域特征向量。
其中,206、基于区域特征向量,输出原始图像中最终包含人脸的区域。
本实施例不对基于区域特征向量,输出原始图像中最终包含人脸的区域的方式作具体限定,包括但不限于:根据区域特征向量,计算人脸校正候选区域中包含人脸的第二置信度;当第二置信度大于第二预设阈值时,对人脸校正候选区域作进一步校正;输出最终的校正结果,并作为原始图像中包含人脸的区域。
其中,第二置信度及第二预设阈值中的“第二”只是为了区分前面步骤中的第一置信度及第一预设阈值。第一预设阈值与第二预设阈值可以相同,也可以不同,本实施例对此不作具体限定。在计算人脸校正候选区域中包含人脸的第二置信度时,可基于区域特征向量训练softmax分类器,从而通过训练得到的softmax分类器,得到人脸校正候选区域中包含人脸的第二置信度。其中,分类器除了softmax分类器之外,还可以采用其它的分类器,本实施例对此不作具体限定。
关于对人脸校正候选区域作进一步校正的方式,本实施例对此不作具体限定,包括但不限于:获取人脸校正候选区域进行校正时的平移量及缩放变化量,并作为第二校正向量;根据第二校正向量,进一步校正人脸校正候选区域。
其中,可将区域特征向量经过深度神经网络模型中第四层全卷积神经网络,从而得到人脸校正候选区域的第二校正向量。通过进一步校正置信度大于预设阈值的人脸校正候选区域,可使得最终得到的人脸区域窗口更加准确。
本发明实施例提供的方法,通过获取原始图像中人脸校正候选区域的位置响应特征图,对位置响应特征图进行划分,得到相应数量的方格。按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重。基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量。基于区域特征向量,输出原始图像中最终包含人脸的区域。由于为位置响应特征图中不同方格类型引入了不同人脸部位的权重,权重大的人脸部位对人脸检测结果影响较大,权重小的人脸部位对检测结果影响较小,从而在计算区域特征向量时,能够减少复杂场景下外在条件对计算结果的影响,进而减少了对检测结果的影响。因此,在复杂应用场景下人脸检测的过程具有更强的表征能力,人脸检测的准确率较高,且提高了人脸检测的适用性。
其次,由于是以特征图为基础产生候选区域,而特征图相比于原图尺寸大大减小,从而候选区域的个数也大大减小,进而减少了后续的计算复杂度。因此,提高了人脸检测的效率。
另外,由于深度神经网络模型采用了全卷积神经网络,大大压缩了模型的体积,从而降低了硬件的要求。
最后,由于在进行人脸检测时,通过置信度与预设阈值的比对过程,筛选掉了包含人脸可能性低的候选区域,从而提高了人脸检测的准确率。在筛选出置信度高的候选区域后,还对候选区域进行了校正,从而保证检测得到的人脸区域窗口更加准确。
基于上述图1或图2对应实施例所提供的人脸检测方法,本发明实施例提供了一种人脸检测装置。参见图3,该装置包括:
获取模块301,用于获取原始图像中人脸校正候选区域的位置响应特征图,位置响应特征图中不同区域对应人脸的不同部位;
划分模块302,用于对位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;
确定模块303,用于按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;
计算模块304,用于基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量,区域特征向量与特征向量的长度一致;
输出模块305,用于基于区域特征向量,输出原始图像中最终包含人脸的区域。
作为一种可选实施例,获取模块301,包括:
提取单元,用于提取原始图像对应的特征图;
确定单元,用于根据特征图,确定原始图像中的人脸校正候选区域;
获取单元,用于基于特征图及人脸校正候选区域,获取人脸校正候选区域的位置响应特征图。
作为一种可选实施例,确定单元,包括:
划分子单元,用于将特征图划分为相应数量的分块区域;
映射子单元,用户与基于原始图像与特征图之间的映射关系,对于每一分块区域,将每一分块区域映射至原始图像,并将映射得到的正方形区域作为每一分块区域对应的候选区域,分块区域与候选区域的数量一致;
确定子单元,用于基于每一候选区域,确定原始图像中的人脸校正候选区域。
作为一种可选实施例,确定子单元,用于对于任一候选区域,计算任一候选区域中包含人脸的第一置信度;当第一置信度大于第一预设阈值时,将任一候选区域作为人脸候选区域,对人脸候选区域进行校正,得到相应的人脸校正候选区域。
作为一种可选实施例,确定子单元,用于计算人脸候选区域进行校正时的平移量及缩放变化量,并作为第一校正向量;根据第一校正向量,校正人脸候选区域,得到相应的人脸校正候选区域。
作为一种可选实施例,划分模块302,用于对于位置响应特征图中划分后的所有方格,将位于中间部位的方格作为中心方格,将与中心方格直接相邻的方格作为次中心方格,将剩下的方格作为边缘方格。
作为一种可选实施例,计算模块304,用于基于每种方格类型下每一方格对应的特征向量,计算每种方格类型对应的平均特征向量;根据每种方格类型对应的权重及平均特征向量,计算人脸校正候选区域对应的区域特征向量。
作为一种可选实施例,输出模块305,包括:
计算单元,用于根据区域特征向量,计算人脸校正候选区域中包含人脸的第二置信度;
校正单元,用于当第二置信度大于第二预设阈值时,对人脸校正候选区域作进一步校正;
输出单元,用于输出最终的校正结果,并作为原始图像中包含人脸的区域。
作为一种可选实施例,校正单元,用于获取人脸校正候选区域进行校正时的平移量及缩放变化量,并作为第二校正向量;根据第二校正向量,进一步校正人脸校正候选区域。
本发明实施例提供的装置,通过获取原始图像中人脸校正候选区域的位置响应特征图,对位置响应特征图进行划分,得到相应数量的方格。按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重。基于每一方格对应的特征向量及权重,计算人脸校正候选区域对应的区域特征向量。基于区域特征向量,输出原始图像中最终包含人脸的区域。由于为位置响应特征图中不同方格类型引入了不同人脸部位的权重,权重大的人脸部位对人脸检测结果影响较大,权重小的人脸部位对检测结果影响较小,从而在计算区域特征向量时,能够减少复杂场景下外在条件对计算结果的影响,进而减少了对检测结果的影响。因此,在复杂应用场景下人脸检测的过程具有更强的表征能力,人脸检测的准确率较高,且提高了人脸检测的适用性。
其次,由于是以特征图为基础产生候选区域,而特征图相比于原图尺寸大大减小,从而候选区域的个数也大大减小,进而减少了后续的计算复杂度。因此,提高了人脸检测的效率。
另外,由于深度神经网络模型采用了全卷积神经网络,大大压缩了模型的体积,从而降低了硬件的要求。
最后,由于在进行人脸检测时,通过置信度与预设阈值的比对过程,筛选掉了包含人脸可能性低的候选区域,从而提高了人脸检测的准确率。在筛选出置信度高的候选区域后,还对候选区域进行了校正,从而保证检测得到的人脸区域窗口更加准确。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种人脸检测方法,其特征在于,所述方法包括:
步骤1,获取原始图像中人脸校正候选区域的位置响应特征图,所述位置响应特征图中不同区域对应人脸的不同部位;
步骤2,对所述位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;
步骤3,按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;
步骤4,基于每一方格对应的特征向量及权重,计算所述人脸校正候选区域对应的区域特征向量,所述区域特征向量与所述特征向量的长度一致;
步骤5,基于所述区域特征向量,输出所述原始图像中最终包含人脸的区域。
2.根据权利要求1所述的方法,其特征在于,所述步骤1,包括:
提取所述原始图像对应的特征图;
根据所述特征图,确定所述原始图像中的人脸校正候选区域;
基于所述特征图及所述人脸校正候选区域,获取所述人脸校正候选区域的位置响应特征图。
3.根据权利要求2所述的方法,其特征在于,所述根据所述特征图,确定所述原始图像中的人脸校正候选区域,包括:
将所述特征图划分为相应数量的分块区域;
基于所述原始图像与所述特征图之间的映射关系,对于每一分块区域,将每一分块区域映射至所述原始图像,并将映射得到的正方形区域作为每一分块区域对应的候选区域,分块区域与候选区域的数量一致;
基于每一候选区域,确定所述原始图像中的人脸校正候选区域。
4.根据权利要求3所述的方法,其特征在于,所述基于每一候选区域,确定所述原始图像中的人脸校正候选区域,包括:
对于任一候选区域,计算所述任一候选区域中包含人脸的第一置信度;
当所述第一置信度大于第一预设阈值时,将所述任一候选区域作为人脸候选区域,对所述人脸候选区域进行校正,得到相应的人脸校正候选区域。
5.根据权利要求4所述的方法,其特征在于,所述对所述人脸候选区域进行校正,得到相应的人脸校正候选区域,包括:
计算所述人脸候选区域进行校正时的平移量及缩放变化量,并作为第一校正向量;
根据所述第一校正向量,校正所述人脸候选区域,得到相应的人脸校正候选区域。
6.根据权利要求1所述的方法,其特征在于,所述步骤2中按照每一方格所处的位置,区分所有方格的方格类型,包括:
对于所述位置响应特征图中划分后的所有方格,将位于中间部位的方格作为中心方格,将与中心方格直接相邻的方格作为次中心方格,将剩下的方格作为边缘方格。
7.根据权利要求1所述的方法,其特征在于,所述步骤4,包括:
基于每种方格类型下每一方格对应的特征向量,计算每种方格类型对应的平均特征向量;
根据每种方格类型对应的权重及平均特征向量,计算所述人脸校正候选区域对应的区域特征向量。
8.根据权利要求1所述的方法,其特征在于,所述步骤5,包括:
根据所述区域特征向量,计算所述人脸校正候选区域中包含人脸的第二置信度;
当所述第二置信度大于第二预设阈值时,对所述人脸校正候选区域作进一步校正;
输出最终的校正结果,并作为所述原始图像中包含人脸的区域。
9.根据权利要求8所述的方法,其特征在于,所述对所述人脸校正候选区域作进一步校正,包括:
获取所述人脸校正候选区域进行校正时的平移量及缩放变化量,并作为第二校正向量;
根据所述第二校正向量,进一步校正所述人脸校正候选区域。
10.一种人脸检测装置,其特征在于,所述装置包括:
获取模块,用于获取原始图像中人脸校正候选区域的位置响应特征图,所述位置响应特征图中不同区域对应人脸的不同部位;
划分模块,用于对所述位置响应特征图进行划分,得到相应数量的方格,并按照每一方格所处的位置,区分所有方格的方格类型;
确定模块,用于按照每种方格类型对应的人脸检测贡献程度,确定每种方格类型对应的权重;
计算模块,用于基于每一方格对应的特征向量及权重,计算所述人脸校正候选区域对应的区域特征向量,所述区域特征向量与所述特征向量的长度一致;
输出模块,用于基于所述区域特征向量,输出所述原始图像中最终包含人脸的区域。
CN201710079126.6A 2017-02-14 2017-02-14 人脸检测方法及装置 Active CN106951826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079126.6A CN106951826B (zh) 2017-02-14 2017-02-14 人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079126.6A CN106951826B (zh) 2017-02-14 2017-02-14 人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN106951826A true CN106951826A (zh) 2017-07-14
CN106951826B CN106951826B (zh) 2019-09-20

Family

ID=59466176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079126.6A Active CN106951826B (zh) 2017-02-14 2017-02-14 人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN106951826B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704847A (zh) * 2017-10-26 2018-02-16 成都品果科技有限公司 一种人脸关键点的检测方法
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108062787A (zh) * 2017-12-13 2018-05-22 北京小米移动软件有限公司 三维人脸建模方法及装置
CN109829424A (zh) * 2019-01-30 2019-05-31 华南理工大学 一种基于人脸识别技术的智能立体车库存取车方法及系统
WO2019153175A1 (zh) * 2018-02-08 2019-08-15 国民技术股份有限公司 基于机器学习的遮挡人脸识别系统、方法及存储介质
CN110135268A (zh) * 2019-04-17 2019-08-16 深圳和而泰家居在线网络科技有限公司 人脸比对方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101968850A (zh) * 2010-10-21 2011-02-09 重庆大学 一种模拟生物视觉机制的人脸特征提取方法
US8442927B2 (en) * 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442927B2 (en) * 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
CN101968850A (zh) * 2010-10-21 2011-02-09 重庆大学 一种模拟生物视觉机制的人脸特征提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI ET.AL: "R-FCN: Object Detection via Region-based Fully Convolutional Networks", 《ARXIV:1605.06409V2 [CS.CV]》 *
常亮 等: "图像理解中的卷积神经网络", 《自动化学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704847A (zh) * 2017-10-26 2018-02-16 成都品果科技有限公司 一种人脸关键点的检测方法
CN107704847B (zh) * 2017-10-26 2021-03-19 成都品果科技有限公司 一种人脸关键点的检测方法
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN107886064B (zh) * 2017-11-06 2021-10-22 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法
CN108062787A (zh) * 2017-12-13 2018-05-22 北京小米移动软件有限公司 三维人脸建模方法及装置
CN108062787B (zh) * 2017-12-13 2022-02-11 北京小米移动软件有限公司 三维人脸建模方法及装置
WO2019153175A1 (zh) * 2018-02-08 2019-08-15 国民技术股份有限公司 基于机器学习的遮挡人脸识别系统、方法及存储介质
CN109829424A (zh) * 2019-01-30 2019-05-31 华南理工大学 一种基于人脸识别技术的智能立体车库存取车方法及系统
CN110135268A (zh) * 2019-04-17 2019-08-16 深圳和而泰家居在线网络科技有限公司 人脸比对方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN106951826B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN106951826A (zh) 人脸检测方法及装置
CN110909690B (zh) 一种基于区域生成的遮挡人脸图像检测方法
CN105917353B (zh) 用于生物认证的特征提取及匹配以及模板更新
CN110728330A (zh) 基于人工智能的对象识别方法、装置、设备及存储介质
CN110490212A (zh) 钼靶影像处理设备、方法和装置
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
WO2019237567A1 (zh) 基于卷积神经网络的跌倒检测方法
CN107832708A (zh) 一种人体动作识别方法及装置
CN105741375B (zh) 一种大视场双目视觉的红外图像考勤方法
CN106156692A (zh) 一种用于人脸边缘特征点定位的方法及装置
CN105760859A (zh) 基于多任务卷积神经网络的网纹人脸图像识别方法及装置
CN103413120A (zh) 基于物体整体性和局部性识别的跟踪方法
CN106919921A (zh) 结合子空间学习与张量神经网络的步态识别方法及系统
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN109472193A (zh) 人脸检测方法及装置
CN107992807A (zh) 一种基于cnn模型的人脸识别方法及装置
CN107301376A (zh) 一种基于深度学习多层刺激的行人检测方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN108564040A (zh) 一种基于深度卷积特征的指纹活性检测方法
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN110135446A (zh) 文本检测方法及计算机存储介质
CN115909172A (zh) 深度伪造视频检测分割识别系统、终端及存储介质
CN109460767A (zh) 基于规则的凸印银行卡卡号分割与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant