CN113743197A - 快速人脸检测方法、装置、电子设备及存储介质 - Google Patents
快速人脸检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113743197A CN113743197A CN202110835416.5A CN202110835416A CN113743197A CN 113743197 A CN113743197 A CN 113743197A CN 202110835416 A CN202110835416 A CN 202110835416A CN 113743197 A CN113743197 A CN 113743197A
- Authority
- CN
- China
- Prior art keywords
- face
- face detection
- feature
- receptive field
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 165
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000001629 suppression Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 54
- 208000029152 Small face Diseases 0.000 claims description 22
- 238000010801 machine learning Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 33
- 230000000694 effects Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种快速人脸检测方法、装置、电子设备及存储介质，属于机器学习技术领域，所述快速人脸检测方法包括：获取待检测的人脸图像；在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。本发明实施例使用感受野替代anchor，并使其覆盖所有尺度的人脸，准确率高，检测速度快，属于轻量级的人脸检测方法，特别适用于部署在边缘设备上。
Description
技术领域
本发明涉及机器学习技术领域，特别是指一种快速人脸检测方法、装置、电子设备及存储介质。
背景技术
人脸检测方法在计算视觉领域中一直是一个被长期研究的问题。在实际使用中，人脸检测是很多人脸相关产品的必备技术，如人脸对齐和人脸识别等。此外，人脸检测算法往往会被部署在边缘设备上，如移动手机、IP摄像头或者IoT传感器等。这些设备的存储能力和计算能力通常较弱，所以这就要求人脸检测方法有较高的准确率和较快的检测速度。因此，在边缘设备上通过复杂并且较大的框架提升人脸检测的准确率是困难的和不现实的。
现有人脸检测方法主要包括以下两类：
(1)传统机器学习方法
传统机器学习方法使用的大多是专家系统，其使用手工设计的特征以及级联分类器的方法进行滑动窗口人脸检测，如Viola-Jones人脸检测器使用的是自适应提升方法和Haar特征来训练具有判别能力的分类器。这一类方法往往不是端到端的，也就是说特征学习和分类是两个独立的的过程。并且尽管传统机器学习方法有较快的分类速度，但无法达到较高的人脸检测准确率。
(2)深度学习方法
现有深度学习方法通常包括两阶段方法和一阶段(单阶段)方法，两阶段方法如RCNN、fast RCNN等。由于两阶段方法不是端到端的模式，所以无论在训练还是测试的过程中都会有较大的困难。一阶段方法是端到端的模式，可以使用深度学习网络直接完成候选区域提取以及分类过程。但是，现有效果较好的一阶段人脸检测方法使用的网络框架计算复杂度都比较高，导致其无法真正的应用到边缘设备上。
发明内容
本发明实施例要解决的技术问题是提供一种准确率高，检测速度快，且适用于边缘设备的快速人脸检测方法、装置、电子设备及存储介质。
为解决上述技术问题，本发明实施例提供技术方案如下：
一方面，提供一种快速人脸检测方法，包括：
获取待检测的人脸图像；
在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
在本发明一些实施例中，所述感受野的大小为待检测人脸尺度的1-5倍，待检测人脸尺度越小，感受野越大。
在本发明一些实施例中，待检测人脸包括大人脸、中等人脸、小人脸和超小人脸中的至少一种；
当待检测人脸为大人脸时，感受野的大小为待检测人脸尺度的1-2倍；当待检测人脸为中等人脸时，感受野的大小为待检测人脸尺度的2-3倍；当待检测人脸为小人脸时，感受野的大小为待检测人脸尺度的2-4倍；当待检测人脸为超小人脸时，感受野的大小为待检测人脸尺度的4-5倍。
在本发明一些实施例中，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，包括：
判断感受野的中心点是否在groundtruth中，如果感受野的中心点在groundtruth内部，则认为该感受野区域存在人脸，反之则认为该感受野区域不存在人脸。
在本发明一些实施例中，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，包括：
在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，得到多个特征图；
利用所述多个特征图经过特征增强模块得到多个增强特征图；
根据所述多个特征图和多个增强特征图进行人脸检测，计算得到多个人脸检测结果。
在本发明一些实施例中，所述人脸检测结果包括人脸分类和人脸位置回归。
在本发明一些实施例中，所述特征增强模块的操作为分别对当前特征层和当前特征层的上一特征层进行卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用两个以上空洞卷积进行卷积操作，对获得的特征图进行相加获得最终的特征增强模块输出。
另一方面，提供一种快速人脸检测装置，包括：
获取模块，用于获取待检测的人脸图像；
检测模块，用于在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
抑制模块，用于对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
再一方面，提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任一所述的方法。
又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的方法。
本发明实施例具有以下有益效果：
本发明实施例提供的快速人脸检测方法、装置及电子设备，首先获取待检测的人脸图像，然后在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域，最后对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。现有技术中，基于anchor的人脸检测方法较难充分覆盖所有的人脸尺寸，本发明实施例使用感受野替代anchor，并使其覆盖所有尺度的人脸，准确率高，检测速度快，属于轻量级的人脸检测方法，特别适用于部署在边缘设备上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明的快速人脸检测方法一个实施例的流程示意图；
图2为待检测的人脸图像的示例图；
图3为图1所示方法实施例的原理图；
图4为图3中特征增强模块的原理图；
图5为本发明的快速人脸检测装置一个实施例的结构示意图；
图6为本发明的电子设备一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
一方面，本发明实施例提供一种快速人脸检测方法，如图1所示，本实施例的方法包括：
步骤101：获取待检测的人脸图像；
步骤102：在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
本发明实施例采用基于感受野的人脸检测方法。人脸图像经过卷积神经网络后可以得到特征图，特征图的每一个单元都是由原图的某个区域经过卷积运算得到的，原图中的图像区域即为该神经元的感受野。在感受野中心区域的像素检测和性能是较强的，往四周发散这种能力就会逐渐的减弱，这种现象类似于高斯分布。所以，在本发明人脸检测任务的设计中，要尽可能的保证待检测的人脸在感受野的中心位置。此外，在人脸检测任务中我们不难发现，较大的人脸五官之间的关系基本是刚性的，尽管人脸会存在表情或者遮挡等变化，但这种刚性关系导致人脸仍然具有较强的判别性。但是，对于较小的人脸通常从外观上较难分辨，如图2所示，仅仅从人脸区域很难分别其是否是人脸，所以对于较小人脸的检测任务更多的类似于脖子、肩膀的信息补充是比较重要的。
如图2所示，人脸1属于较大人脸，通过人脸的五官信息就可以比较明确的判断该区域是人脸检测的目标位置。但对于人脸2，仅依靠人脸区域无法进行准确的判断，但增加了内容信息后，依靠脖子、肩膀甚至背景或者衣服可以判断该区域是人脸。所以，在本发明网络的设计中，对于较小的人脸，要保证感受野进行可覆盖充分多的信息，对于中等大小的人脸，感受野只需要包含少部分的内容信息，对于较大的人脸，感受野只需要覆盖人脸部分即可满足检测任务的需求。
故优选的，感受野的大小为待检测人脸尺度的1-5倍，待检测人脸尺度越小，感受野越大。
进一步的，待检测人脸可以包括大人脸、中等人脸、小人脸和超小人脸中的至少一种；
当待检测人脸为大人脸时，感受野的大小为待检测人脸尺度的1-2倍；当待检测人脸为中等人脸时，感受野的大小为待检测人脸尺度的2-3倍；当待检测人脸为小人脸时，感受野的大小为待检测人脸尺度的2-4倍；当待检测人脸为超小人脸时，感受野的大小为待检测人脸尺度的4-5倍。
本发明实施例中，直接使用感受野来表示人脸检测的候选区域，而不再使用anchor(锚，其本质为多尺度的滑动窗口)的方法。基于anchor的人脸检测方法较难充分覆盖所有的人脸尺寸，在本发明实施例中使用感受野替代anchor，并使其覆盖所有尺度的人脸。
并且，作为一种优选的实施例，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果(步骤102)，可以包括：
步骤1020：判断感受野的中心点是否在groundtruth中，如果感受野的中心点在groundtruth内部，则认为该感受野区域存在人脸，反之则认为该感受野区域不存在人脸。
本发明实施例中，在判断感受野是否表示人脸区域时，也不再使用IOU(交并比)的计算方式，而是判断感受野的中心点是否在groundtruth中，如果感受野的中心点在groundtruth内部，则认为该感受野区域存在人脸，反之则认为该感受野区域不存在人脸。现有技术中，使用anchor与groundtruth计算IOU的方式匹配人脸需要靠经验选取阈值，并且对于小人脸容易出现漏检的问题，本发明实施例使用感受野中心是否在groundtruth中的方式进行改进，能够大大降低漏检的概率。
此外，作为另一种可选的实施例，如图3所示，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果(步骤102)，可以包括：
步骤1021：在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，得到多个特征图；
步骤1022：利用所述多个特征图经过特征增强模块得到多个增强特征图；
步骤1023：根据所述多个特征图和多个增强特征图进行人脸检测，计算得到多个人脸检测结果。其中，人脸检测结果可以包括人脸分类和人脸位置回归。
此处，为了提升网络的人脸检测效果，在每一个分支的特征图上使用特征增强模块对特征图进行特征增强，同时在增强后的特征图上使用感受野区域进行人脸检测。
优选的，如图4所示，特征增强模块的操作可以为分别对当前特征层和当前特征层的上一特征层进行卷积操作(例如1*1卷积操作)，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘(product)操作，再使用两个以上空洞卷积(例如空洞率分别为1、2、4的3*3空洞卷积)进行卷积操作，对获得的特征图进行相加(concat)获得最终的特征增强模块输出。这样，通过使用特征加强模块可以增强特征的性能，获得更好的检测效果。
显然，当前述步骤1020、步骤1021-1023同时存在时，可以先执行步骤1020，再依次执行步骤1021-1023。
步骤103：对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
可以想到的是，在网络的每一个尺度上都可能检测到人脸，并且会出现一个人脸同时在两个或多个尺度上都被检测到的情况。所以，在每个尺度计算人脸位置后，需要对结果使用NMS(Non-Maximum Suppression，非极大值抑制)进行后处理操作，其为本领域常规算法，此处不再赘述。
综上，本发明实施例的快速人脸检测方法，首先获取待检测的人脸图像，然后在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域，最后对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。现有技术中，基于anchor的人脸检测方法较难充分覆盖所有的人脸尺寸，本发明实施例使用感受野替代anchor，并使其覆盖所有尺度的人脸，准确率高，检测速度快，属于轻量级的人脸检测方法，特别适用于部署在边缘设备上。
下面以一个具体的例子对本发明的技术方案进行说明。
本实施例中，通过控制感受野的步长我们可以保证完全的覆盖人脸的各种尺度大小。具体实施时，人脸感受野的大小、步长以及检测的人脸大小可以如下表1所示。
表1：
根据前述分析，在网络结构中感受野的大小以及步长会直接影响人脸检测的效果，所以人脸检测任务特征图的位置选取要保证可以100％覆盖人脸的尺度。在人脸检测任务中，本实施例设定最小检测人脸的像素大小为10，划分超小人脸、小人脸、中等人脸以及大人脸四种类型，每种类型检测的感受野步长2倍增长，如上表所示。
本实施例中，使用的网络结构如图3所示，其中将待测图像输入网络后获得16个损失分支，通过16个损失分支以后分别获得16个人脸分类结果和位置回归结果，之后采用NMS方法获得最终的人脸分类结果和位置回归结果。如图3所示，图像经过网络后会进行如下操作：
对图像使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c1使用的激活函数为ReLU；对特征图c1使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c2；对特征图c2使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c3；对特征图c3使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图与特征图c2进行加和运算后得到特征图c4；对特征图c4使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到c5；对特征图c5使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图与特征图c4进行加和运算后得到特征图c6；对特征图c6使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c7；对特征图c7使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图与特征图c6进行加和运算后得到特征图c8；对特征图c8使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支1；同时，对特征图c8输入特征增强模块后获得特征图FE8，对特征图FE8使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支9；对特征图c8使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c9；对特征图c9使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图与特征图c8进行加和运算后得到特征图c10，对特征图c10使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支2；同时，对特征图c10输入特征增强模块后获得特征图FE10，对特征图FE10使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支10，对损失分支1、损失分支2、损失分支9和损失分支10输出的人脸分类结果和位置回归结果使用NMS方法后获得超小人脸检测结果；
对特征图c10使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c11；对特征图c11使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c12；对特征图c12使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图与特征图c11进行加和运算获得特征图c13，对特征图c13使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支3；同时对特征图c13输入特征增强模块后获得特征图FE13，对特征图FE13使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支11；
对特征图c13使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c14；对特征图c14使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图并与特征图c13进行加和运算获得特征图c15，对特征图c15使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支4；同时对特征图c15输入特征增强模块后获得特征图FE15，对特征图FE15使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行softmax分类和全连接操作获得损失分支12；对损失分支3、损失分支4、损失分支11和损失分支12输出的人脸分类结果和位置回归结果使用NMS方法后获得小人脸检测结果；
对特征图c15使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c16，对特征图c16使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c17，对特征图c17使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图并与特征图c16进行加和运算后获得特征图c18，对特征图c18使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支5；对特征图c18输入特征增强模块后获得特征图FE18，对特征图FE18使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支13，对损失分支5、损失分支13输出的人脸分类结果和位置回归结果使用NMS方法后获得中等人脸检测结果；
对特征图c18使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c19，对特征图c19使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c20，对特征图c20使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图后与特征图c19进行加和运算获得特征图c21，对特征图c21使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支6，同时将特征图c21输入特征增强模块后获得特征图FE21，对特征图FE21使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支14；
对特征图c21使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c22，对特征图c22使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图后与特征图c21进行加和运算获得特征图c23，对特征图c23使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图c24，对特征图c24使用卷积核大小为3x3的卷积核以步长为2，补充边缘为0进行卷积操作得到特征图之后与特征图c23进行加和运算得到特征图c25，对特征图c25使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支8，同时将特征图c25输入特征增强模块后获得特征图FE25，对特征图FE25使用卷积核大小为1x1的卷积核以步长为1，补充边缘为0进行卷积操作得到特征图后进行sofmax分类和全连接操作得到损失分支16；损失分支7与损失分支6相似，损失分支15与损失分支9相似，此处不再赘述；对损失分支6、损失分支7、损失分支8、损失分支14、损失分支15和损失分支16输出的人脸分类结果和位置回归结果使用NMS方法后获得大人脸检测结果。
需要说明的是，上述网络结构只是本发明的一个举例，并不限制网络的层数，例如不限制获得的特征图的数目是c1到c25。为保证推理过程的实时性，在网络的结构中没有使用BN(Batch Normalization，批量标准化)方法。
其中，所采用的特征增强模块可以增强原始特征使这些特征更加可分并鲁棒，如图4所示，该特征增强模块的操作为分别对当前特征层和当前特征层的上一层进行1*1卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，然后在使用空洞率分别为1、2、4的3*3空洞卷积进行卷积操作，对获得的三个特征图进行相加获得最终的特征增强模块输出。
另外，因为检测的目标是尺度大于10以上的人脸，所以在训练时，可以选取人脸大于10个像素的样本进行数据扩充。数据扩充的方法可以包括光照噪声、随机亮度变化、随机对比度变化、不同尺度随机采样以及随机翻折等。此外为了获得更好的检测效果，还可以使用复杂样本挖掘的方法，增强算法的泛化性。
在损失的选择上，针对人脸分类可以使用softmax，对人脸框的回归可以使用L2损失，二者直接加权系数比例可以为1:1。
综上，本实施例是一种anchor free的方案，使用感受野来对anchor进行替换，虽然是一种单阶段的人脸检测方法，但使用了特征加强模块可以增强特征的性能，获得更好的检测效果。此外，由于人脸候选区域是可控的，使用轻量级的网络在边缘设备上可以达到实时的人脸检测效果。具体来说，有以下有益效果：
(1)基于anchor的人脸检测方法较难充分覆盖所有的人脸尺寸，在本实施例中使用感受野替代anchor，并使其覆盖所有尺度的人脸；
(2)使用anchor与groundtruth计算IOU的方式匹配人脸需要靠经验选取阈值，并且对于小人脸容易出现漏检的问题，本实施例使用感受野中心是否在groundtruth中的方式进行改进；
(3)Anchor尺度和比例的设计需要较强的经验，并且不同的场景可能会存在差别，本实施例提出的感受野替代anchor的方案是anchor-free方法；
(4)使用特征加强模块的方法，增强检测的效果。
在边缘设备(以IP摄像头为例)上进行测验，上述实施例(即图1、3-4对应的实施例)在构造的测试集上的检测速度为30ms，准确率是99.65％；如果只保留损失分支1-8，去掉特征增强模块和损失分支9-16，其他方法步骤相同，则检测速度为17ms，识别准确率为89.53％；利用传统机器学习方法Viola-Jones人脸检测器，检测速度为4ms，准确率是70.88％；利用一阶段深度学习方法，检测速度为70ms，准确率是90.21％；利用二阶段深度学习方法fast RCNN，检测速度为420ms，准确率是85.40％。由此可知，本发明实施例使用感受野替代anchor，并使其覆盖所有尺度的人脸，准确率高，检测速度快，属于轻量级的人脸检测方法，特别适用于部署在边缘设备上。
另一方面，本发明实施例提供一种快速人脸检测装置，如图5所示，包括：
获取模块11，用于获取待检测的人脸图像；
检测模块12，用于在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
抑制模块13，用于对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
优选的，所述感受野的大小为待检测人脸尺度的1-5倍，待检测人脸尺度越小，感受野越大。
优选的，待检测人脸包括大人脸、中等人脸、小人脸和超小人脸中的至少一种；
当待检测人脸为大人脸时，感受野的大小为待检测人脸尺度的1-2倍；当待检测人脸为中等人脸时，感受野的大小为待检测人脸尺度的2-3倍；当待检测人脸为小人脸时，感受野的大小为待检测人脸尺度的2-4倍；当待检测人脸为超小人脸时，感受野的大小为待检测人脸尺度的4-5倍。
优选的，所述检测模块12，包括：
判断单元，用于判断感受野的中心点是否在groundtruth中，如果感受野的中心点在groundtruth内部，则认为该感受野区域存在人脸，反之则认为该感受野区域不存在人脸。
优选的，所述检测模块12，包括：
提取单元，用于在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，得到多个特征图；
增强单元，用于利用所述多个特征图经过特征增强模块得到多个增强特征图；
计算单元，用于根据所述多个特征图和多个增强特征图进行人脸检测，计算得到多个人脸检测结果。
优选的，所述人脸检测结果包括人脸分类和人脸位置回归。
优选的，所述特征增强模块的操作为分别对当前特征层和当前特征层的上一特征层进行卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用两个以上空洞卷积进行卷积操作，对获得的特征图进行相加获得最终的特征增强模块输出。
本发明实施例还提供一种电子设备，图6为本发明的电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图6所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一方法实施例所述的方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。
该电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
本发明实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一方法实施例提供的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种快速人脸检测方法，其特征在于，包括：
获取待检测的人脸图像；
在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
2.根据权利要求1所述的方法，其特征在于，所述感受野的大小为待检测人脸尺度的1-5倍，待检测人脸尺度越小，感受野越大。
3.根据权利要求2所述的方法，其特征在于，待检测人脸包括大人脸、中等人脸、小人脸和超小人脸中的至少一种；
当待检测人脸为大人脸时，感受野的大小为待检测人脸尺度的1-2倍；当待检测人脸为中等人脸时，感受野的大小为待检测人脸尺度的2-3倍；当待检测人脸为小人脸时，感受野的大小为待检测人脸尺度的2-4倍；当待检测人脸为超小人脸时，感受野的大小为待检测人脸尺度的4-5倍。
4.根据权利要求1所述的方法，其特征在于，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，包括：
判断感受野的中心点是否在groundtruth中，如果感受野的中心点在groundtruth内部，则认为该感受野区域存在人脸，反之则认为该感受野区域不存在人脸。
5.根据权利要求1-4中任一所述的方法，其特征在于，所述在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，包括：
在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，得到多个特征图；
利用所述多个特征图经过特征增强模块得到多个增强特征图；
根据所述多个特征图和多个增强特征图进行人脸检测，计算得到多个人脸检测结果。
6.根据权利要求5所述的方法，其特征在于，所述人脸检测结果包括人脸分类和人脸位置回归。
7.根据权利要求5所述的方法，其特征在于，所述特征增强模块的操作为分别对当前特征层和当前特征层的上一特征层进行卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用两个以上空洞卷积进行卷积操作，对获得的特征图进行相加获得最终的特征增强模块输出。
8.一种快速人脸检测装置，其特征在于，包括：
获取模块，用于获取待检测的人脸图像；
检测模块，用于在所述人脸图像上遍历人脸检测的候选区域，使用卷积神经网络对所述候选区域进行特征提取，并根据提取的特征进行人脸检测，得到多个人脸检测结果，其中使用感受野来表示人脸检测的候选区域；
抑制模块，用于对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
9.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110835416.5A CN113743197A (zh) | 2021-07-23 | 2021-07-23 | 快速人脸检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110835416.5A CN113743197A (zh) | 2021-07-23 | 2021-07-23 | 快速人脸检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113743197A true CN113743197A (zh) | 2021-12-03 |
Family
ID=78729056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110835416.5A Pending CN113743197A (zh) | 2021-07-23 | 2021-07-23 | 快速人脸检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743197A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657551A (zh) * | 2018-11-15 | 2019-04-19 | 天津大学 | 一种基于上下文信息增强的人脸检测方法 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN111062324A (zh) * | 2019-12-17 | 2020-04-24 | 上海眼控科技股份有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN111382638A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种图像检测方法、装置、设备和存储介质 |
| CN111401290A (zh) * | 2020-03-24 | 2020-07-10 | 杭州博雅鸿图视频技术有限公司 | 一种人脸检测方法及系统、计算机可读存储介质 |
| CN111695430A (zh) * | 2020-05-18 | 2020-09-22 | 电子科技大学 | 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法 |
| CN111783749A (zh) * | 2020-08-12 | 2020-10-16 | 成都佳华物链云科技有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
| CN111967455A (zh) * | 2020-10-23 | 2020-11-20 | 成都考拉悠然科技有限公司 | 一种基于计算机视觉综合判定规定着装的方法 |
| CN112329702A (zh) * | 2020-11-19 | 2021-02-05 | 上海点泽智能科技有限公司 | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 |
| CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
| CN112926506A (zh) * | 2021-03-24 | 2021-06-08 | 重庆邮电大学 | 一种基于卷积神经网络的非受控人脸检测方法及系统 |
-
2021
- 2021-07-23 CN CN202110835416.5A patent/CN113743197A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657551A (zh) * | 2018-11-15 | 2019-04-19 | 天津大学 | 一种基于上下文信息增强的人脸检测方法 |
| CN111382638A (zh) * | 2018-12-29 | 2020-07-07 | 广州市百果园信息技术有限公司 | 一种图像检测方法、装置、设备和存储介质 |
| CN109741318A (zh) * | 2018-12-30 | 2019-05-10 | 北京工业大学 | 基于有效感受野的单阶段多尺度特定目标的实时检测方法 |
| CN111062324A (zh) * | 2019-12-17 | 2020-04-24 | 上海眼控科技股份有限公司 | 人脸检测方法、装置、计算机设备和存储介质 |
| CN111401290A (zh) * | 2020-03-24 | 2020-07-10 | 杭州博雅鸿图视频技术有限公司 | 一种人脸检测方法及系统、计算机可读存储介质 |
| CN111695430A (zh) * | 2020-05-18 | 2020-09-22 | 电子科技大学 | 一种基于特征融合和视觉感受野网络的多尺度人脸检测方法 |
| CN111783749A (zh) * | 2020-08-12 | 2020-10-16 | 成都佳华物链云科技有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
| CN111967455A (zh) * | 2020-10-23 | 2020-11-20 | 成都考拉悠然科技有限公司 | 一种基于计算机视觉综合判定规定着装的方法 |
| CN112329702A (zh) * | 2020-11-19 | 2021-02-05 | 上海点泽智能科技有限公司 | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 |
| CN112906718A (zh) * | 2021-03-09 | 2021-06-04 | 西安电子科技大学 | 一种基于卷积神经网络的多目标检测方法 |
| CN112926506A (zh) * | 2021-03-24 | 2021-06-08 | 重庆邮电大学 | 一种基于卷积神经网络的非受控人脸检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JIAN LI等: "DSFD: Dual Shot Face Detector", 《CVPR》, pages 5060 - 5069 * |
| SONGTAO LIU等: "Receptive Field Block Net for Accurate and Fast Object Detection", 《CVPR》, pages 385 - 400 * |
| 刘济樾: "基于轻量化网络的实时人脸检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, pages 138 - 1236 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
| CN110427867B (zh) | 基于残差注意力机制的面部表情识别方法及系统 | |
| Niu et al. | Facial expression recognition with LBP and ORB features | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN109299315B (zh) | 多媒体资源分类方法、装置、计算机设备及存储介质 | |
| CN108229531B (zh) | 对象特征提取方法、装置、存储介质和电子设备 | |
| US20190392202A1 (en) | Expression recognition method, apparatus, electronic device, and storage medium | |
| CN108629306B (zh) | 人体姿态识别方法及装置、电子设备、存储介质 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN112101329B (zh) | 一种基于视频的文本识别方法、模型训练的方法及装置 | |
| CN106648078B (zh) | 应用于智能机器人的多模态交互方法及系统 | |
| KR20190099914A (ko) | 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN111563435A (zh) | 用户的睡眠状态检测方法及装置 | |
| US10891471B2 (en) | Method and system for pose estimation | |
| CN113050860B (zh) | 一种控件识别方法和相关装置 | |
| Zhang et al. | IL-GAN: Illumination-invariant representation learning for single sample face recognition | |
| CN112699832B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN112487844A (zh) | 手势识别方法、电子设备、计算机可读存储介质和芯片 | |
| CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
| US11948088B2 (en) | Method and apparatus for image recognition | |
| CN111680546A (zh) | 注意力检测方法、装置、电子设备及存储介质 | |
| CN111461202A (zh) | 甲状腺结节超声图像实时识别方法及装置 | |
| US20220335666A1 (en) | Method and apparatus for point cloud data processing, electronic device and computer storage medium | |
| CN110222576B (zh) | 拳击动作识别方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |