CN110197113B - 一种高精度锚点匹配策略的人脸检测方法 - Google Patents

Abstract

本发明涉及一种高精度锚点匹配策略的人脸检测方法，包括构建人脸识别系统，设定识别模型，图像识别及构建识别数据库及人脸识别等四个步骤。本发明有效的提高了人脸识别作业的工作效率和精度，并极大的提高了人脸识别作业使用灵活性和通用性，有效满足不同使用场合的需要，并具有良好的数据处理能力、数据通讯能力及数据管理能力，极大的提高了人脸识别作业的可靠性。

Description

一种高精度锚点匹配策略的人脸检测方法

技术领域

本发明涉及一种高精度锚点匹配策略的人脸检测方法，属人脸识别技术领域。

背景技术

最近几年，目标检测作为一个大的领域已经取了极大的进步，尤其是基于深度学习的目标检测技术。基于深度学习的目标检测主要可以分为两类：两步检测方法和一步检测方法。

两步检测方法的代表之一有R-CNN算法，R-CNN算法相对于传统目标检测算法在性能上提高了50％。该算法首先通过区域建议算法产生一系列候选目标区域，然后通过卷积神经网络对这些区域进行特征提取，由于每一个候选框都要统一到固定大小后再进行特征提取，这存在着大量的重复运算，制约了算法的性能，使得算法的速度变得很慢。针对这一情况，在2015年提出了SPP-Net算法，该算法主要针对RCNN的缺点做了优化，引入了空间金字塔池化，从而比R-CNN速度提升了近100倍。受到该算法的启发，R-CNN的进阶版Fast-RCNN算法就是在R-CNN的基础上，加了一个可以看作单层SPP-Net的网络层，叫做ROI池化层。该网络层解决了R-CNN中需要将每一个候选框统一到相同尺寸大小所带来的速度问题。之后，Faster-RCNN算法通过将区域建议算法替换为RPN算法，大大提高了生成候选目标区域的速度，从而实现目前最好的效果。两步检测方法虽然识别精度比较高，但是相对而言速度还是不算太快。

另一方面，一步检测方法的代表算法之一YOLO，通过给定输入图像，直接在图像的多个位置上回归出这个位置的目标边框以及目标类别，这样一个端到端的网络，极大的增加了检测速度。后面在YOLO的基础上又衍生出了YOLOv2，该算法主要是在YOLO的基础上解决了YOLO定位不准确以及召回率低的缺点，这一提升使得YOLOv2的性能更稳定，速度也更快。与此同时，Wei Liu在ECCV 2016上提出了一种目标检测算法SSD，该算法结合了两步检测算法Faster RCNN的锚点思想和一步检测方法YOLO中将检测问题转化为回归问题的思想，同时加入了特征金字塔的检测方式，这些结构使得SSD在保持很高的检测速度的同时，检测精度也提高了不少。

后来，目标检测算法也逐渐进入人脸检测领域，基于锚点的方法如Faster-RCNN和SSD经过修改后也用来检测人脸区域。然而当使用这些算法来检测小人脸时，检测性能却急剧下降。

因此针对这一现状，迫切需要开发一种全新的检测方法，以满足实际使用的需要。

附图说明

图1为本发明流程示意图；

图2为本发明结构示意图。

图中：1-摄像机，2-承载座，3-转台机构，4-控制电路，5-通讯网络，6-服务器。

发明内容

本发明目的就在于克服上述不足，提供一种高精度锚点匹配策略的人脸检测方法及其制备工艺。

为实现上述目的，本发明是通过以下技术方案来实现：

一种高精度锚点匹配策略的人脸检测方法，包括以下步骤：

S1，构建人脸识别系统，根据人脸识别作业需要，首先构建包括CCD摄像机、承载座、转台机构、数据采集控制电路、通讯网络及基于云计算基础的人脸识别服务器，其中CCD摄像机至少一个，均安装在承载座上，且CCD摄像机通过转台机构与承载座连接，然后将承载座固定到指定工作位置上，此外另将数据采集控制电路安装在承载座内，并分别与CCD摄像机、转台机构及通讯网络相互连接，所述通讯网络与云计算基础的识别服务器间建立数据连接，从而构成人脸识别系统；

S2，设定识别模型，完成S1步骤后，在基于云计算基础的识别服务器录入基于锚点计算为基础的人脸识计算算法和基于“四邻域连通”图像预处理策略；

S3，图像识别及构建识别数据库，完成S2步骤后，首先由基于云计算基础的识别服务器通过通讯网络一方面从第三方平台中下载先用人脸识别数据，并保存在基于云计算基础的识别服务器中，另一方面由CCD摄像机直接对目标人群进行面部图像信息采集，并保存至基于云计算基础的识别服务器中，共同构成人脸识别训练数据库，然后由基于云计算基础的识别服务器基于S2步骤中的“四邻域连通”图像预处理策略，对人脸识别训练数据库中的面部图像信息进行滤波、图像差分、二值化处理，并在二值化后，对物基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记，并统计各区域面积，最后由基于云计算基础的识别服务器基于S2步骤中的基于锚点计算为基础的人脸识计算算法，分别为各人脸识别训练数据库中的面部图像划分的连通域范围内进行锚点计算和定位，并对划分面域中分布的锚点数量和位置进行统计，从而完成识别数据库建设；

S4，人脸识别，在完成S3步骤后，即可进行人脸识别作业，在人脸识别作业时，首先由S1步骤中CCD摄像机对待识别人员面部采集至少3张图像信息，然后将采集的图像信息通过通讯网络发送至云计算基础的识别服务器在内的人脸识别服务器中，由云计算基础的识别服务器在内的人脸识别服务器按照S3步骤，对新采集的图像信息分别进行图像识别，然后对识别后的图像信息首先根据S2步骤中的“四邻域连通”图像预处理策略进行划分，然后根据S2步骤中的基于锚点计算为基础的人脸识计算算法对各划分区域内进行锚点锚点数量和位置进行统计，完成图像识别，最后将完成图像识别后的图像连通域划分信息及锚点数量和分布信息与S3步骤中识别数据库中存储数据进行比对，并在新识别图像信息于识别数据库建中相关图像新型存储信息相似度达到80％以上时，完成人脸识别，低于80％时则再次识别，并在连续识别3—5次后相似度均低于80％时，则向及基于云计算基础的人脸识别服务器发送信息拓展请求，并在信息拓展请求审批通过后再返回S3步骤进行图像信息识别并保存至识别数据库中。

进一步的，所述的S1中，CCD摄像机至少一个，且当CCD摄像机为两个及两个以上时，则各CCD摄像机光轴呈0°—120°夹角。

进一步的，所述的S2中，基于锚点计算为基础的人脸识计算算法包括R-CNN算法、YOLO算法、Faster-RCNN算法和SSD算法中的任意一种。

进一步的，所述的S2中四邻域连通”图像预处理策略包括有体态体型特征计算函数。

进一步的，所述的体态体型特征计算函数为：

其中：

H：体型特征值；

A：目标物上半部分面积S_A；

B:目标物下半部分面积S_B；

M：图像连通域标记矩形区域面积；

其中目标物上半部分面积A和目标物下半部分面积B计算函数为：

其中，目标物上半部分面积S_A和目标物下半部分面积S_B的计算函数为：

其中：

为目标物上半部分在图像连通域标记矩形区域内占像素点个数；

为目标物下半部分在图像连通域标记矩形区域内占像素点个数；

o为正方形像素格面积。

进一步的，所述的S4中，在进行图像信息比对时，采用基于高斯混合模型的前后帧像素概率匹配运算函数。

如图1所示，一种高精度锚点匹配策略的人脸检测方法，包括以下步骤：

S1，构建人脸识别系统，根据人脸识别作业需要，首先构建包括CCD摄像机1、承载座2、转台机构3、数据采集控制电路4、通讯网络5及基于云计算基础的人脸识别服务器6，其中CCD摄像机1至少一个，均安装在承载座2上，且CCD摄像机1通过转台机构3与承载座2连接，然后将承载座2固定到指定工作位置上，此外另将数据采集控制电路4安装在承载座2内，并分别与CCD摄像机1、转台机构3及通讯网络5相互连接，所述通讯网络5与云计算基础的识别服务器6间建立数据连接，从而构成人脸识别系统；

S2，设定识别模型，完成S1步骤后，在基于云计算基础的识别服务器录入基于锚点计算为基础的人脸识计算算法和基于“四邻域连通”图像预处理策略；

S3，图像识别及构建识别数据库，完成S2步骤后，首先由基于云计算基础的识别服务器通过通讯网络一方面从第三方平台中下载先用人脸识别数据，并保存在基于云计算基础的识别服务器中，另一方面由CCD摄像机直接对目标人群进行面部图像信息采集，并保存至基于云计算基础的识别服务器中，共同构成人脸识别训练数据库，然后由基于云计算基础的识别服务器基于S2步骤中的“四邻域连通”图像预处理策略，对人脸识别训练数据库中的面部图像信息进行滤波、图像差分、二值化处理，并在二值化后，对物基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记，并统计各区域面积，最后由基于云计算基础的识别服务器基于S2步骤中的基于锚点计算为基础的人脸识计算算法，分别为各人脸识别训练数据库中的面部图像划分的连通域范围内进行锚点计算和定位，并对划分面域中分布的锚点数量和位置进行统计，从而完成识别数据库建设；

S4，人脸识别，在完成S3步骤后，即可进行人脸识别作业，在人脸识别作业时，首先由S1步骤中CCD摄像机对待识别人员面部采集至少3张图像信息，然后将采集的图像信息通过通讯网络发送至云计算基础的识别服务器在内的人脸识别服务器中，由云计算基础的识别服务器在内的人脸识别服务器按照S3步骤，对新采集的图像信息分别进行图像识别，然后对识别后的图像信息首先根据S2步骤中的“四邻域连通”图像预处理策略进行划分，然后根据S2步骤中的基于锚点计算为基础的人脸识计算算法对各划分区域内进行锚点锚点数量和位置进行统计，完成图像识别，最后将完成图像识别后的图像连通域划分信息及锚点数量和分布信息与S3步骤中识别数据库中存储数据进行比对，并在新识别图像信息于识别数据库建中相关图像新型存储信息相似度达到80％以上时，完成人脸识别，低于80％时则再次识别，并在连续识别3—5次后相似度均低于80％时，则向及基于云计算基础的人脸识别服务器发送信息拓展请求，并在信息拓展请求审批通过后再返回S3步骤进行图像信息识别并保存至识别数据库中。

其中，所述的S1中，CCD摄像机1至少一个，且当CCD摄像机1为两个及两个以上时，则各CCD摄像机1光轴呈0°—120°夹角。

此外，所述的S2中，基于锚点计算为基础的人脸识计算算法包括R-CNN算法、YOLO算法、Faster-RCNN算法和SSD算法中的任意一种。

重点说明的，所述的S2中四邻域连通”图像预处理策略包括有体态体型特征计算函数，且体态体型特征计算函数为：

其中：

H：体型特征值；

A：目标物上半部分面积S_A；

B:目标物下半部分面积S_B；

M：图像连通域标记矩形区域面积；

其中目标物上半部分面积A和目标物下半部分面积B计算函数为：

其中，目标物上半部分面积S_A和目标物下半部分面积S_B的计算函数为：

其中：

为目标物上半部分在图像连通域标记矩形区域内占像素点个数；

为目标物下半部分在图像连通域标记矩形区域内占像素点个数；

o为正方形像素格面积。

同时，所述的S4中，在进行图像信息比对时，采用基于高斯混合模型的前后帧像素概率匹配运算函数，其具体为：

其中：

x^*,y^*:为图像连通域标记矩形区域内正方形像素格坐标；

为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的均值；

为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的方差；

d：维度；

A:密度函数的共变异矩阵。

本发明在具体实施中，为了解决传统锚点匹配策略所带来的上述问题，本专利提出一种基于新的锚点匹配策略的人脸检测方法，该方法能够提高远距离小人脸召回率，从而提高小人脸的检测性能。

首先第一步和传统的锚点匹配策略基本一样，只是在设置阈值时，将阈值从0.5调到0.3，这样可以增加匹配锚点的平均数量；第二步，经过传统的锚点匹配以后，有些人脸(例如较小的人脸)匹配到的锚点数量仍然很少，导致这些人脸匹配的正样本数量不够，因此在第二步中我们将这些匹配锚点较少的人脸单独取出来，然后找出与这些人脸的groundtruth的IOU值超过0.1的锚点，将它们排序，挑选出前M个锚点，此时的M为第一步中提取的正样本的平均值，将这M个锚点作为该人脸匹配的正样本。经过测试，该方法能够有效的提高小人脸的召回率。

本专利通过提出一种改进的锚点匹配策略，极大的提高了小人脸的召回率。以SSD算法为例，通过在SSD框架上运用两种不同的锚点匹配策略，以WiderFace人脸数据库为训练集，发现在Easy类别上mAP提高了0.5％，Medium类别上mAP提高了0.9％，Hard类别上mAP提高了9.1％。实验表明该方法确实可以提高小人脸的检测性能。

本发明有效的提高了人脸识别作业的工作效率和精度，并极大的提高了人脸识别作业使用灵活性和通用性，有效满足不同使用场合的需要，并具有良好的数据处理能力、数据通讯能力及数据管理能力，极大的提高了人脸识别作业的可靠性。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种高精度锚点匹配策略的人脸检测方法，其特征在于：所述的高精度锚点匹配策略的人脸检测方法包括以下步骤：

S1，构建人脸识别系统，根据人脸识别作业需要，首先构建包括CCD摄像机、承载座、转台机构、数据采集控制电路、通讯网络及基于云计算基础的人脸识别服务器，其中CCD摄像机至少一个，均安装在承载座上，且CCD摄像机通过转台机构与承载座连接，然后将承载座固定到指定工作位置上，此外另将数据采集控制电路安装在承载座内，并分别与CCD摄像机、转台机构及通讯网络相互连接，所述通讯网络与云计算基础的识别服务器间建立数据连接，从而构成人脸识别系统；

S2，设定识别模型，完成S1步骤后，在基于云计算基础的识别服务器录入基于锚点计算为基础的人脸识别计算算法和基于“四邻域连通”图像预处理策略；

S3，图像识别及构建识别数据库，完成S2步骤后，首先由基于云计算基础的识别服务器通过通讯网络一方面从第三方平台中下载先用人脸识别数据，并保存在基于云计算基础的识别服务器中，另一方面由CCD摄像机直接对目标人群进行面部图像信息采集，并保存至基于云计算基础的识别服务器中，共同构成人脸识别训练数据库，然后由基于云计算基础的识别服务器基于S2步骤中的“四邻域连通”图像预处理策略，对人脸识别训练数据库中的面部图像信息进行滤波、图像差分、二值化处理，并在二值化后，对基础视频图像进行连通域分析，在连通域上按照“四邻域连通”对基础视频图像中的人体进行分离并标记，并统计各区域面积，最后由基于云计算基础的识别服务器基于S2步骤中的基于锚点计算为基础的人脸识别计算算法，分别为各人脸识别训练数据库中的面部图像划分的连通域范围内进行锚点计算和定位，并对划分面域中分布的锚点数量和位置进行统计，从而完成识别数据库建设；

S4，人脸识别，在完成S3步骤后，即可进行人脸识别作业，在人脸识别作业时，首先由S1步骤中CCD摄像机对待识别人员面部采集至少3张图像信息，然后将采集的图像信息通过通讯网络发送至云计算基础的识别服务器在内的人脸识别服务器中，由云计算基础的识别服务器在内的人脸识别服务器按照S3步骤，对新采集的图像信息分别进行图像识别，然后对识别后的图像信息首先根据S2步骤中的“四邻域连通”图像预处理策略进行划分，然后根据S2步骤中的基于锚点计算为基础的人脸识别计算算法对各划分区域内进行锚点锚点数量和位置进行统计，完成图像识别，最后将完成图像识别后的图像连通域划分信息及锚点数量和分布信息与S3步骤中识别数据库中存储数据进行比对，并在新识别图像信息于识别数据库建中相关图像新型存储信息相似度达到80％以上时，完成人脸识别，低于80％时则再次识别，并在连续识别3—5次后相似度均低于80％时，则向及基于云计算基础的人脸识别服务器发送信息拓展请求，并在信息拓展请求审批通过后再返回S3步骤进行图像信息识别并保存至识别数据库中。

2.根据权利要求1所述的一种高精度锚点匹配策略的人脸检测方法，其特征在于：所述的S1中，CCD摄像机至少一个，且当CCD摄像机为两个及两个以上时，则各CCD摄像机光轴呈0°—120°夹角。

3.根据权利要求1所述的一种高精度锚点匹配策略的人脸检测方法，其特征在于：所述的S2中，基于锚点计算为基础的人脸识别计算算法包括R-CNN算法、YOLO算法、Faster-RCNN算法和SSD算法中的任意一种。

4.根据权利要求1所述的一种高精度锚点匹配策略的人脸检测方法，其特征在于：所述的S2中四邻域连通”图像预处理策略包括有体态体型特征计算函数，具体的，所述的体态体型特征计算函数为：

其中：

A：目标物上半部分面积S_A；

B:目标物下半部分面积S_B；

M：图像连通域标记矩形区域面积；

其中，目标物上半部分面积S_A和目标物下半部分面积S_B的计算函数为：

其中：

为目标物上半部分在图像连通域标记矩形区域内占像素点个数；

为目标物下半部分在图像连通域标记矩形区域内占像素点个数；

o为正方形像素格面积。

5.根据权利要求1所述的一种高精度锚点匹配策略的人脸检测方法，其特征在于：所述的S4中，在进行图像信息比对时，采用基于高斯混合模型的前后帧像素概率匹配运算函数，

具体的，所述的基于高斯混合模型的前后帧像素概率匹配运算函数具体为：

其中：

x^*,y^*:为图像连通域标记矩形区域内正方形像素格坐标；

为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的均值；

为图像连通域标记矩形区域内正方形像素格在x轴和y轴方向上的方差；

d：维度。

Images