CN107766806A - 一种基于尺度变换的人脸检测方法及系统 - Google Patents

Abstract

本发明公开了本发明提供了一种基于尺度变换的人脸检测方法，包括如下步骤：接收视频流；对视频流中图像输入SPN尺度建议网络，得到推荐图像；利用人脸检测器对推荐图像进行识别，获取人脸检测区域及对应的关键点。本发明对有较大姿势变化，光线变化，遮挡，表情变化，模糊，低分辨率都有较好的识别率和识别速度，有较高的检测率，检测速度较快且对遮挡问题有很好的鲁棒性。

Description

一种基于尺度变换的人脸检测方法及系统

技术领域

本发明涉及人脸检测技术领域，具体涉及一种基于尺度变换的人脸检测方法及系统。

背景技术

现如今的人脸检测技术大多通过使用图像金字塔技术，对同一张待检测的图片进行不断的放缩，来应对人脸的多尺度的检测难题，这样会浪费大量的时间在不必要的计算上，造成检测速度慢。而且单一尺度的人脸检测任务相比于多尺度的任务可以达到更高的检测率。

发明内容

本发明的目的提高人脸检测效率及速度。

为了实现上述目的，本发明提供了一种基于尺度变换的人脸检测方法，包括如下步骤：

接收视频流；

对视频流中图像输入SPN尺度建议网络，得到推荐图像；

利用人脸检测器对推荐图像进行识别，获取人脸检测区域及对应的关键点。

进一步，所述对视频流中图像输入SPN尺度建议网络，得到推荐图像包括

将视频流中图像进行降采样得到待检测图像；

将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度；

按照建议尺度对待检测图像进行降采样处理，得到推荐尺度的图像。

所述将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度具体包括

获取SPN网络输出的尺度并进行去噪处理；

将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。

进一步，去噪的方式包括平均值滤波器、中值滤波器。

本发明还提供了一种基于尺度变换的人脸检测系统，包括

接收模块，用于接收视频流；

推荐模块，用于对视频流中图像输入SPN尺度建议网络，得到推荐图像；

检测模块，用于利用人脸检测器对推荐图像进行检测，获取人脸检测区域及对应的关键点。

进一步，所述推荐模块包括

降采样单元，用于将视频流中图像进行降采样得到待检测图像；

尺度计算单元，用于将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度；

推荐图像单元，用于按照建议尺度对待检测图像进行降采样处理，得到推荐图像。

进一步，所述尺度计算单元包括

首次处理子单元，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度；

二次处理子单元，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。

在上述技术方案中，本发明对有较大姿势变化，光线变化，遮挡，表情变化，模糊，低分辨率都有较好的识别率和识别速度；有较高的检测率，检测速度较快且对遮挡问题有很好的鲁棒性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明所述的基于尺度变换的人脸检测系统的框图结构示意图；

图2为本发明所述的推荐模块的框图结构示意图；

图3为本发明所述的基于尺度变换的人脸检测方法的流程示意图；

图4所示为本发明中利用SPN尺度建议网络得到推荐图像的流程示意图；

图5所示为本发明中利用SPN尺度建议网络得到推荐图像的流程示意图；

图6为应用本发明所述的基于尺度变换的人脸检测系统一个实施例的假设示意图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

如图1所示，本发明还提供了一种基于尺度变换的人脸检测系统，包括接收模块10、推荐模块20和检测模块30。

其中，接收模块10，用于接收视频流；推荐模块20，用于将视频流中图像输入SPN尺度建议网络，得到推荐尺度的图像；检测模块30，用于利用人脸检测器对推荐图像进行检测，获取人脸检测区域及对应的关键点。

本发明通过训练一个SPN尺度建议网络，来产生少量合适的图片放缩比例。根据SPN的建议，将图片放缩到被建议的尺寸，然后进行检测。这样可以减少图片进行放缩的次数，以及通过人脸检测器的次数。即可实现较高的检测率，同时检测速度较快。

进一步，所述推荐模块20如图2所示包括降采样单元201、尺度计算单元202和推荐图像单元203。其中，降采样单元201，用于将视频流中图像进行降采样得到待检测图像；尺度计算单元202，用于将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度；推荐图像单元203，用于按照建议尺度对待检测图像进行降采样处理，得到推荐尺度的图像。更进一步，所述尺度计算单元202如图3所示包括首次处理子单元2021、二次处理子单元2022。其中，首次处理子单元2021，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度；二次处理子单元2022，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。

尺度计算单元通过首次处理子单元、二次处理子单元对视频流中图像进行两次降采样，得到推荐尺度，减少图片进行放缩的次数，从而提高人脸检测的通过率及检测效率。

如图3所示为本发明所述的基于尺度变换的人脸检测方法的流程示意图。

所述方法包括S101-S103。

其中，在S101中，接收模块10接收视频流；具体地，视频流可为移动设备、摄像机等具有拍照功能的设备拍摄完成的。本发明的目的在于识别图像中的人脸区域及其关键点，因此具体实施时，可仅仅对单独的图像进行处理。

在S102中，推荐模块20将视频流中图像输入SPN尺度建议网络，得到推荐尺度的图像；

SPN尺度建议网络是由一个res-10网络后接global pooling层构成的一个位置信息不敏感的深度神经网络。使用随机梯度下降的方法，以图片中人脸的尺寸为监督信号，进行监督训练。具体实施时，还可选的使用其它相同深度和容量的神经网络，但是效果没有res-10的效果好。

如图4所示为本发明中利用SPN尺度建议网络得到推荐图像的流程示意图。

S102具体包括S1021-S1023。

在S1021中，降采样单元201将视频流中图像进行降采样得到待检测图像；具体地，利用尺度分布直方图方式将输入SPN网络中图像进行排列，尺度分布直方图是对SPN网络输出的尺寸进行图形化对表示。一般采用双线性插值方法，即对需要放缩的图片，取相关像素点均值。

在S1022中，尺度计算单元202将视频流中图像降采样后，输入SPN网络并进行噪处理，得到建议尺度；

去噪处理的目的在于改善给定的图像，解决实际图像由于噪声干扰而导致图像质量下降的问题。通过去噪技术可以有效地提高图像质量，增大信噪比，更好的体现原来图像所携带的信息。本发明的最终目的在于进行人脸检测，因此去噪作为一种人脸检测前对原图像的预处理手段。具体实施时，可选的去噪技术包括平均值滤波器、中值滤波器、频域低通滤波器、小波滤波器等。

具体实施时，如图5所示为对视频流中图像输入SPN网络进行降采样的具体流程示意图。

S1022包括S201-S202。

在S201中，首次处理子单元2021获取SPN网络输出的尺度并进行去噪处理；

具体实施时，首次去噪过程中本发明采用一维平均值滤波器对降采样后的图像进行去噪，处理后的一维数组的变化更加平滑。本发明中SPN尺度建议网络目的在于产生少量合适的图片放缩比例，具体可采用直方图方式得到所有图像的尺度，最后统计根据所有图像的尺度的权重进行处理，利用以为平均值滤波器对图像的尺度进行初步筛选，得到初步的建议尺度，具体地，初步的建议尺度可选的采用一维数组的方式进行标记，这是因为一维数组具有数量量小、直观的特点。

在S202中，二次处理子单元2022将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。

经过首次去噪得到的初步的建议尺度数量仍比较大，为了再次减少推荐尺度的数量，降低图像放缩次数，本发明进行二次去噪。二次去噪过程中可选的采用一维中值滤波器(NMS)对降采样后的图像进行去噪。NMS是寻找区域极大值的一个算法。如41353398经过NMS后得到40050090。NMS后得到很多人脸建议尺寸如[20,50,128,400]，然后根据人脸检测器的最优的尺寸进行放缩。比如人脸检测最优的尺寸是256，那么如果建议的尺寸是128，就需要把原图扩大1倍。如果建议尺寸是512，就需要把原图缩小1倍。

在S1023中，推荐图像单元203按照建议尺度对待检测图像进行降采样处理，得到推荐尺度的图像。

在S103中，检测模块30利用人脸检测器对推荐图像进行识别，获取人脸检测区域及对应的关键点。

具体地，人脸检测器可选的采用MTCNN，OpenCV检测器。

本发明中人脸检测器选用三级的神经网络进行串联，使用滑动框扫描图片，然后输入三级神经网络，得到后选框，然后对后选框使用soft NMS技术进行合并。

图6为应用本发明所述的基于尺度变换的人脸检测系统一个实施例的假设示意图。

本实施例中包括移动设备100和服务端200。其中，移动设备100(相当于接收模块)用于用于接收视频流，服务端200(相当于推荐模块和检测模块)用于检测人脸区域及对应的关键点，最终检测结果通过移动设备进行显示。本实施例中推荐模块与检测模块集成为一体，置于服务端，这种设置极大的减小了移动设备端的计算量。具体实施时，接收模块、推荐模块和检测模块也可选都设置在移动设备端(即本地)，通过本地扩展了因网络的限制导致的无法检测。

本实施例中，移动设备接收到视频流后，服务端首先会将图片降采样到224*224，然后输入SPN网络，通过网络的输出得到一个尺寸直方图。其尺寸直方图的组距是以2为基底的对数，即定义直方图向量h为

h＝[a₁，a₂，a₃，...，a_n]

图片的最大尺寸对应的对数为Sn，最小尺寸对应的对数是S₀，令d＝(s_n-s₀)/_n。所以，其中，a_i为存在人脸尺寸在该区间的概率。随着n的增加，尺寸被分得会越来越精细，输出的噪声也会渐渐变大，因此，需要使用平均值滤波器来降低高频噪声。然后使用一维NMS，选出极大值作为输出的建议尺寸。然后根据输出的建议尺寸，将原图缩放到对应合适的尺寸后，输入已经训练好的单一尺寸的人脸检测器，该人脸检测器是基于RPN网络的，该检测器可以直接对输入的图片，给出人脸框的位置已经关键点的坐标值。之后对所有得到的候选框进行soft NMS来提取候选框的筛选，去掉重复的候选框。

D为修正后的候选框，S为修正后的得分。

Begin

D＝{}

B＝{B1,…,BN}

S＝{S1,..,SN}

While B≠{}

do

m＝argmax S

M＝B_m

D＝D∪M；B＝B-M

For bi in B do

S(i)＝S(i)f(iou(M，b_i))

end

end

return D,S

end

设置一个阈值θ，筛选出低于θ的候选框，最后可以得到人脸框D。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

Claims (7)

1.一种基于尺度变换的人脸检测方法，其特征在于，包括如下步骤：

接收视频流；

将视频流中图像输入SPN尺度建议网络，得到推荐尺度的图像；

利用人脸检测器对推荐图像进行检测，获取人脸检测区域及对应的关键点。

2.根据权利要求1所述的基于尺度变换的人脸检测方法，其特征在于，所述将视频流中图像输入SPN尺度建议网络，得到推荐尺度的图像包括

将视频流中图像进行降采样得到待检测图像；

将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度；

按照建议尺度对待检测图像进行降采样处理，得到推荐尺度的图像。

3.根据权利要求2所述的基于尺度变换的人脸检测方法，其特征在于，所述将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度具体包括

获取SPN网络输出的尺度并进行去噪处理；

将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。

4.根据权利要求3所述的基于尺度变换的人脸检测方法，其特征在于，去噪的方式包括平均值滤波器、中值滤波器。

5.一种基于尺度变换的人脸检测系统，其特征在于，包括

接收模块，用于接收视频流；

推荐模块，用于对视频流中图像输入SPN尺度建议网络，得到推荐尺度的图像；

检测模块，用于利用人脸检测器对推荐尺度的图像进行识别，获取人脸检测区域及对应的关键点。

6.根据权利要求5所述的基于尺度变换的人脸检测系统，其特征在于，所述推荐模块包括

降采样单元，用于将视频流中图像进行降采样得到待检测图像；

尺度计算单元，用于将视频流中图像降采样后，输入SPN网络并进行去噪处理，得到建议尺度；

推荐图像单元，用于按照建议尺度对待检测图像进行降采样处理，得到推荐尺度的图像。

7.根据权利要求6所述的基于尺度变换的人脸检测方法，其特征在于，所述尺度计算单元包括

首次处理子单元，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度；

二次处理子单元，用于将去噪处理后的尺度进行平滑处理，得到图像的建议尺度。