CN109886128A

CN109886128A - 一种低分辨率下的人脸检测方法

Info

Publication number: CN109886128A
Application number: CN201910068263.9A
Authority: CN
Inventors: 梁栋; 吴天鹏; 潘家兴; 孙涵
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2019-01-24
Filing date: 2019-01-24
Publication date: 2019-06-14
Anticipated expiration: 2039-01-24
Also published as: CN109886128B

Abstract

本发明公开了一种低分辨率下的人脸检测方法，包括如下步骤：(1)对输入图片使用候选区域深度学习网络，选用多尺度的anchor，采用多个特征图融合作为分数层用于分类，经过检测框回归产生未经非极大值抑制的人脸检测框；(2)对步骤(1)中的人脸检测框使用基于分数特殊化的非极大值抑制，去除冗余框；(3)对步骤(2)中的人脸检测框利用人脸共存性广义的目标检测上下文关系进行处理，删除非人脸框，对真人脸框分数提升；(4)对于步骤(3)中的框的分数设置阈值，去除低于阈值的框，并可视化在输入图片上，完成人脸检测结果的输出。本发明能够解决高密度人群中的人脸检测所存在的人脸遮挡和低分辨率等问题，适用于在高密度人群中检测人脸。

Description

一种低分辨率下的人脸检测方法

技术领域

本发明涉及目标检测技术领域，尤其是一种低分辨率下的人脸检测方法。

背景技术

目前，随着深度学习在目标检测领域的应用，许多人脸检测方法在公认的数据集上取得了良好的结果，甚至达到了商用的级别。但是在人脸检测领域还有许多遗留问题等待解决，比如不同的光照条件、不同的肤色、遮挡、低分辨率等问题，在这些情形下，现有检测方法还有很大的提升空间。

人脸检测属于目标检测的一类。因为深度学习方法效果好到可以商用，目前主流的是深度学习方法，在深度学习方法出现之前的方法效果很差。第一个将深度学习带入目标检测的方法是R-CNN(Girshick R B,Donahue J,Darrell T,et al.Rich FeatureHierarchies for Accurate Object Detection and Semantic Segmentation[J].computer vision and pattern recognition,2014:580-587.)，之后的方法大多在此基础上发展而来，该方法主要分为四步，一是选择性的搜索策略，将输入图片依据相似性，主要考虑纹理、颜色、尺寸、交叠等相似性，从中选出几千个候选区域，将这些候选区域的调整尺寸为同一尺寸，作为下一步的输入。第二步是将候选区域分别作为输入到卷积神经网络。第三步是使用支持向量机的分类方法对第二步的输出作为输入进行分类，最后得到对应的候选区域的预测。第四步是边界回归(bounding box regression)，这一步是确定标签信息的候选区域做修正，使之与标签(ground truth)更为接近。R-CNN的训练过程是分开的，无法整体的训练参数。之后提出的SPP-net(He K,Zhang X,Ren S,et al.Spatial PyramidPooling in Deep Convolutional Networks for Visual Recognition[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.)是将R-CNN的第二步做了修改，R-CNN是将候选区域在CNN中一个个运行，耗费了大量的时间成本，SPP-net是直接将原图片尺寸标准化后只跑一次，对得到的最后一层卷积层特征图中与输入图片的候选区域对应的部分拿出来，采用特殊的金字塔池化的方法，将这些特征改变大小到最后一步的全连接层的输入尺寸，再进行相应的分类与边界回归，但是SPP-net的卷积层与全连接层的参数无法同时调整。再之后提出的Fast-RCNN(Girshick RB.Fast R-CNN[J].international conference on computer vision,2015:1440-1448.)借鉴了SPP-net的思路，但是将金字塔池化简化为ROI池化，并且解决了候选框的映射问题，这样网络可以反向传播，使得卷积层和全连接层的参数能够同时调整。Fast-RCNN的另外一个贡献是，使用Softmax代替了SVM的hingle loss，并且将边界回归的loss集合到分类的前景loss上。Fast-RCNN还采取了其他的优化算法使得速度有大幅提高，但是Fast-RCNN还是没有解决候选框的生成太慢问题。最后Faster-RCNN解决了之前都没有解决的候选框生成很慢的问题，思路是候选框的提取不一定在原图上做，也可以在低分辨率的特征图上做，这样还可以减少计算量，提高速度。Faster-RCNN(Ren S,He K,Girshick R B,et al.FasterR-CNN:towards real-time object detection with region proposal networks[C].neural information processing systems,2015:91-99.)采用的策略是使用RPN(RegionProposal Network)，通过滑动窗口在卷积层的输出实现候选框的选取，对于每个滑动窗口选取9个候选框，输入卷积层，再使用目标分类和边框回归两个全连接层进行判断，保留部分概率高的候选框，如何选候选框完全取决于RPN网络自己在训练时调整的参数，摆脱了选择性搜索的显性设置，同时速度得到大幅提高。之后的YOLO，SSD(Liu W,Anguelov D,ErhanD,et al.SSD:Single Shot MultiBox Detector[J].european conference on computervision,2016:21-37.)等方法在结构上很有特色，精度上还是Faster-RCNN最高。

非极大值抑制(NMS)在目标检测领域是一个非常经典的算法，现在的大多数检测方法仍使用此方法。在人脸检测的时候，希望一个人脸只保留一个最优的框，非极大值抑制就用于去除冗余的框，使用的策略为将所有的框按得分从高到低排序，选取分最高的，删除所有和它的面积交并比超出阈值的框，对未处理的框选取分最高继续此操作。Soft-NMS(Bodla N,Singh B,Chellappa R,et al.Soft-NMS—Improving Object Detection withOne Line of Code[J].international conference on computer vision,2017:5562-5570.)与NMS的不同之处在于，对于NMS中直接删除的框，采用的策略为依据交并比降低这个框的分数，如果该框的分数没有降低到分数的阈值之下，那么这个框不会被删除，Soft-NMS的好处在于可能存在被人脸遮挡部分的人脸，使用这种方法可以使这些被误删的人脸保留下来，但也会引起冗余框的增多。上下文信息(context)在检测小目标的时候很有效。HR(Hu P,Ramanan D.Finding Tiny Faces[J].computer vision and patternrecognition,2017:1522-1530.)在人脸检测领域使用了context，得到了很好的人脸检测结果。

发明内容

本发明所要解决的技术问题在于，提供一种低分辨率下的人脸检测方法，能够解决高密度人群中的人脸检测所存在的人脸遮挡和低分辨率等问题，适用于在高密度人群中检测人脸。

为解决上述技术问题，本发明提供一种低分辨率下的人脸检测方法，包括如下步骤：

(1)对输入图片使用候选区域深度学习网络RPN，选用多尺度的anchor，并采用多个特征图融合作为分数层用于分类，再经过检测框回归产生未经非极大值抑制的人脸检测框；

(2)对步骤(1)中的人脸检测框使用基于分数特殊化的非极大值抑制，去除冗余框；

(3)对步骤(2)中的人脸检测框利用人脸共存性这个广义的目标检测上下文关系进行处理，删除非人脸框，对真人脸框分数提升；

(4)对于步骤(3)中的框的分数设置阈值，去除低于阈值的框，并可视化在输入图片上，完成人脸检测结果的输出。

优选的，步骤(1)中，一个anchor对应原图片上的一种框型，有几个anchor对应分数层中有几个分数图，使用的anchor数为25，框型的选择通过对训练集人脸标签框的形状进行聚类得到的25个聚类中心，经过卷积，分数图的尺寸小于原图片，某anchor对应的分数图中的一个点的值就是对应原图片中的该框型的框的分值。

优选的，步骤(1)中，采用多个特征图融合作为分数层用于分类。特征图融合方式：使用卷积神经网络，低层的特征图经过卷积得到高层的特征图，高层的特征图的尺寸小于低层的特征图，对高层的特征图进行上采样使得其尺寸与低层的特征图尺寸一致，相加得到新的特征图作为分数层，这样特征图融合的好处是高层特征图具有更大的感受野，特征图上的某一点对应到原图片的区域大小，而低层特征图丢失的信息少，经过的卷积过程少，这样结合起来有利更好的检测小目标。采用res101的网络，去除所有的res5层，对res4和res3进行特征图融合，再经过检测框回归，检测框回归：在训练的时候，设定的anchor框与人脸标签框的交并比大于阈值，该框为正样本，但是该正样本与人脸标签框还是有偏差，记录该正样本与人脸检测框的左上角横纵坐标的偏差，对应的长宽的比例偏差，共四个参数作为检测框回归的训练目标；在检测的时候，对于分类为人脸的框，使用检测框回归修正这一偏差产生未经非极大值抑制的人脸检测框。

优选的，步骤(2)中，基于分数特殊化的非极大值抑制的方法结合了传统的非极大值抑制(NMS)和Soft-NMS的思路的优点。首先对于同一张图片得到的框按照分数由大到小的顺序进行排序，对于分数较大的框，使其与所有比其分数低的框做计算重合程度，选用的指标为两个框的面积交并比o为框A和框B的交并比。对于输入的两个框的重合程度超出交并比阈值的时候，如果分数较低的框的分数低于设置的分数阈值，那么对该框采用传统的非极大值抑制直接删除，这样可以去除大量冗余的框，不会像Soft-NMS那样引起额外的冗余框。如果分数较低的框的分数高于设置的分数阈值，那么使用Soft-NMS的方式进行分数抑制，采用的分数抑制公式为b＝(1-o)b，b为分数较低的框的分数，o为交并比的值，两框重合程度越大(o越大)分数抑制的程度越大，但是这种方式保留了不被直接删除的可能性。如果仅使用传统的非极大值抑制方法，那么被人脸遮挡的人脸会被直接删除，而使用分数特殊化的非极大值抑制可以使得被人脸遮挡的人脸有机会得以保留。

优选的，步骤(3)中，使用两个人脸之间的共存关系去删除冗余框，主要是对于两种情况下，大的人脸框完全包含小的冗余框，小的人脸框完全包含于大的冗余框，这两种情况在很多算法中存在，使用两个人脸之间的共存关系就可以删除冗余框，提升检测器，删除冗余框的方式为删除分数较低的框。使用同一张图片的相似人脸的共存关系对框的分数进行调整，如果同一张图片中出现很多相似的人脸，那么依据他们的共存的关系可以对其进行有限制的分数提升。对于同一张图片中的某一人脸框，首先计算图片中所有框的面积介于该人脸框面积0.9倍到1.1倍的数量α，如果α大于5，那么对该人脸框进行分数提升，分数提升公式为b＝w_sb，b是该人脸框的分数，w_s是提升系数，为了防止分数提升过大，设计w_s＝0.5+sigmoid(0.1α)，随着α的增大，sigmoid函数会趋于1，这样w_s的范围为1到1.5，进而对于分数提升量做了限制。

本发明的有益效果为：本发明的分数特殊化的非极大值抑制较传统的非极大值抑制，可以有效地防止被人脸遮挡的人脸框被直接删除，较之Soft-NMS又减少了冗余框的保留；本发明的人脸之间的关系是一种更为广义的上下文关系，较之传统的上下文关系仅考虑物体周边的信息，将影响信息扩大到整张图片，两个人脸之间的关系去除了很多冗余框，相似人脸之间的关系则能够使得许多真人脸框得到保留。

附图说明

图1为本发明的方法流程示意图。

图2为本发明特殊化的非极大值抑制结构与传统结构的对照示意图。

图3为本发明的两人脸共存关系的原理示意图。

图4为本发明的相似人脸共存关系的原理示意图。

具体实施方式

如图1所示，一种低分辨率下的人脸检测方法，包括如下步骤：

如图1所示，本发明的人脸检测方法主要优化点在两大方面，包括基于分数特殊化的非极大值抑制和人脸共存性对框的增删，人脸共存性又分为两个人脸之间的共存关系和众多相似人脸之间的共存关系。

如图2所示，所述的基于分数特殊化的非极大值抑制的方法结合了传统的非极大值抑制(NMS)和Soft-NMS的思路。对于输入的两个存在重合的框，在需处理的框分低的时候采用传统的非极大值抑制直接删除，这样可以去除大量冗余的框，在需处理的框分高的时候使用Soft-NMS的方式进行分数抑制，保留了不被直接删除的可能性。如果使用传统的非极大值抑制方法，那么被人脸遮挡的人脸会被直接删除，而使用分数特殊化的非极大值抑制可以使得被人脸遮挡的人脸有机会得以保留。

如图3中的左边的两种情况，不能删除多余的框。因为当两个框的面积有较大的差异时，它们的交集远远小于并集，交并比达不到采用非极大值抑制类的方法删除多余框的阈值。一个很容易理解的概念是，正常图片中一个真人的脸包含了另一个比它面积小很多的真人人脸的情况是不存在的，反之亦然，根据这个两人脸之间的共存关系，我们设计了相应的冗余框删除算法,删除原理很简单，对于图3中的两种情况，删除分数低的框，从而删除多余的框。

所述的众多相似人脸的共存关系，如果一张图片上有很多人脸，因为处于同一张图片上，光照及拍摄角度等等条件类似，部分人脸就存在一定程度的共性，比如颜色，纹理，尺寸等等，将这些共性称之为相似性，得到利用同一张图片上相似人脸的共存关系来优化人脸检测器的思路，在高密度人群情景下，这种思路可以得到更多的效果。如图4所示，对于输入的框，计算与其尺寸相似的而且分高的框的数量，作为提升该框分数的参数，然后使用sigmoid函数处理，随着自变量的增大，sigmoid函数趋于饱和，这样图4中的w_s的范围为(1,1.5)，w_s是分数提升的倍数，这样处理使得框的分数提升得到限制，防止分数的过度提高。

本发明使用分数特殊化的非极大值抑制替换传统的非极大值抑制，并在后面加了利用同一张图片上同一类物体的关系对人脸框的分数的增加使其达到显示的阈值，利用两个人脸的关系删除一些冗余的框，使第一次使用同一张图片上同类物体的关系这个更为广义的上下文关系来提高物体检测器的性能，本发明达到了对人脸检测器效果的提升。

Claims

1.一种低分辨率下的人脸检测方法，其特征在于，包括如下步骤：

2.如权利要求1所述的低分辨率下的人脸检测方法，其特征在于，步骤(1)中，一个anchor对应原图片上的一种框型，有几个anchor对应分数层中有几个分数图，使用的anchor数为25，框型的选择通过对训练集人脸标签框的形状进行聚类得到的25个聚类中心，经过卷积，分数图的尺寸小于原图片，某anchor对应的分数图中的一个点的值就是对应原图片中的该框型的框的分值。

3.如权利要求1所述的低分辨率下的人脸检测方法，其特征在于，采用多个特征图融合作为分数层用于分类，采用res101的网络，去除所有的res5层，对res4和res3进行特征图融合，再经过检测框回归，在训练的时候，设定的anchor框与人脸标签框的交并比大于阈值，该框为正样本，记录该正样本与人脸检测框的左上角横纵坐标的偏差，对应的长宽的比例偏差，共四个参数作为检测框回归的训练目标；在检测的时候，对于分类为人脸的框，使用检测框回归修正这一偏差产生未经非极大值抑制的人脸检测框。

4.如权利要求1所述的低分辨率下的人脸检测方法，其特征在于，步骤(2)中，对于同一张图片得到的框按照分数由大到小的顺序进行排序，对于分数较大的框，使其与所有比其分数低的框做计算重合程度，选用的指标为两个框的面积交并比o为框A和框B的交并比；对于输入的两个框的重合程度超出交并比阈值的时候，如果分数较低的框的分数低于设置的分数阈值，那么对该框采用传统的非极大值抑制直接删除，去除大量冗余的框；如果分数较低的框的分数高于设置的分数阈值，那么使用Soft-NMS的方式进行分数抑制，采用的分数抑制公式为b＝(1-o)b，b为分数较低的框的分数，o为交并比的值，两框重合程度越大分数抑制的程度越大。

5.如权利要求1所述的低分辨率下的人脸检测方法，其特征在于，步骤(3)中，使用两个人脸之间的共存关系去删除冗余框，对于两种情况下，大的人脸框完全包含小的冗余框，小的人脸框完全包含于大的冗余框，使用两个人脸之间的共存关系就可以删除冗余框，提升检测器，删除冗余框的方式为删除分数较低的框；使用同一张图片的相似人脸的共存关系对框的分数进行调整，如果同一张图片中出现很多相似的人脸，那么依据他们的共存的关系可以对其进行有限制的分数提升；对于同一张图片中的某一人脸框，首先计算图片中所有框的面积介于该人脸框面积0.9倍到1.1倍的数量α，如果α大于5，那么对该人脸框进行分数提升，分数提升公式为b＝w_sb，b是该人脸框的分数，w_s是提升系数，为了防止分数提升过大，设计w_s＝0.5+sigmoid(0.1α)，随着α的增大，sigmoid函数会趋于1，这样w_s的范围为1到1.5，进而对于分数提升量做了限制。