CN110909690B - 一种基于区域生成的遮挡人脸图像检测方法 - Google Patents

Abstract

本发明公开了一种基于区域生成的遮挡人脸图像检测方法，属于人脸图像检测技术领域，首先获取人脸图像，所述人脸图像包括无遮挡人脸图像和遮挡人脸图像，对所述人脸图像进行预处理，并制作所述人脸图像对应的目标图像；接着构建人脸图像检测网络，所述人脸图像检测网络包括特征提取基干网络、特征提取分支网络和特征增强分支网络；再利用预处理后的人脸图像和目标图像对所述人脸图像检测网络进行训练，得到完成训练的检测模型；最后输入待检测遮挡人脸图像至所述完成训练的检测网络，实现遮挡人脸图像的检测；本发明能够有效的对遮挡的人脸图像进行检测。

Description

一种基于区域生成的遮挡人脸图像检测方法

技术领域

本发明涉及人脸图像检测技术领域，具体涉及一种基于区域生成的遮挡人脸图像检测方法。

背景技术

人脸图像检测也简称人脸检测(Face Detection)，是指判断输入图像中是否存在人脸图像并确定所有人脸图像区域具体位置的过程。随着智能化识别技术愈加普遍，人脸图像自动检测技术在案件侦破、身份识别、移动社交、拍照美化等广泛场景中发挥着重要的应用价值。

人脸图像检测技术主要分为传统检测方法和基于深度学习的检测方法。其中，传统人脸图像检测技术主要通过设计人工特征，如灰度特征、轮廓特征、肤色特征等对图像进行人脸与非人脸的二分类。Paul Viola等人提出的VJ检测算法就是传统检测算法的优秀代表。VJ算法利用Haar特征(Haar-like features)和Adaboost级联策略，通过层级训练弱分类器构建强检测器，达到了实时的检测速率和比较好的检测准确率。

相比于传统机器学习方法，神经网络在非线性函数拟合方面更具优势。随着近年来深度学习领域相关技术的进步，相关模型在图片特征提取及分类检测方面都具有优异的表现，因此深度学习在人脸图像检测上的应用愈发广泛。比如经典的RCNN(Region-CNN)系检测模型，通过卷积与池化层对输入图像进行特征提取，然后在特征图的基础上获取不同比例的候选区域，并对候选区域进行是否是人脸的二分类以及边框回归。

现有人脸图像检测模型在约束条件下能够取得不错的检测效果，但实际应用场景中通常存在各种情况的遮挡，这种部分特征缺失的人脸图像给人脸图像准确检测带来了困难和挑战。比如Faster RCNN能够在公开数据集VOC2007(包含9963张标注过的图片，由train/val/test三部分组成，共标注出24,640个物体)上取得较高的准确率，但是在处理存在大量遮挡的人脸图像时，存在大量的漏检和误检。

发明内容

本发明的目的在于：本发明提供了一种基于区域生成的遮挡人脸图像检测方法，解决了目前的人脸检测方法无法在人脸图像被遮挡的情况下进行有效检测的技术问题。

本发明采用的技术方案如下：

一种基于区域生成的遮挡人脸图像检测方法，包括以下步骤：

步骤1：获取人脸图像，所述人脸图像包括无遮挡人脸图像和遮挡人脸图像，对所述人脸图像进行预处理，并制作所述人脸图像对应的目标图像；

步骤2：构建人脸图像检测网络，所述人脸图像检测网络包括特征提取基干网络、特征提取分支网络和特征增强分支网络；

步骤3：利用预处理后的人脸图像和目标图像对所述人脸图像检测网络进行训练，得到完成训练的检测模型；

步骤4：输入待检测遮挡人脸图像至所述完成训练的检测网络，实现遮挡人脸图像的检测。

进一步的，所述步骤1中，所述预处理包括人脸图像尺寸的缩放处理。

进一步的，所述步骤2构建人脸图像检测网络具体为：

步骤2.1构建特征提取基干网络和特征提取分支网络，用于输入人脸图像，输出融合后的特征图；

步骤2.2构建特征增强分支网络，用于输入融合后的特征图，输出与特征图尺寸相同的输出图像；

步骤2.3利用特征增强分支网络的输出图像与所述特征提取基干网络输出的图像进行融合，得到融合特征；

步骤2.4利用RPN(Region Proposal Network，区域候选网络)模块和ROI(regionof interest，感兴趣区域)模块获取所述融合特征中归一化的提议区域；

步骤2.5通过分类分支和回归分支实现对所述提议区域的人脸二分类和边框微调。

进一步的，所述步骤2.1具体为：

步骤2.1.1构建特征提取基干网络，所述特征提取基干网络包括级联的若干个卷积模块，每个卷积模块包括若干个用于特征提取的卷积和一个确定输出特征图尺寸的最大池化层；

步骤2.1.2构建特征提取分支网络，所述构建特征提取分支网络与特征提取基干网络相同，还包括用于与特征提取基干网络侧面连接的卷积；

步骤2.1.3将所述特征提取基干网络和特征提取分支网络平行设置；

步骤2.1.4将特征提取基干网络和特征提取分支网络中上一卷积模块得到的特征图通过卷积进行融合，并将融合后的特征图输入至下一卷积模块中；

步骤2.1.5特征提取基干网络和特征提取分支网络中最后一级卷积模块得到的特征图融合后输入特征增强分支网络。

进一步的，所述步骤2.2具体为：

步骤2.2.1特征增强分支网络包括用于特征筛选的卷积网络和用于图像生成的反卷积网络，构建所述卷积网络和反卷积网络；

步骤2.2.2将融合的特征图输入所述卷积网络，输出得到中间特征；

步骤2.2.3将所述中间特征输出反卷积网络，输出与特征图尺寸相同的输出图像；

步骤2.2.4计算所述输出图像与目标图像的相似度损失，利用所述相似度损失调整特征增强分支网络的网络参数。

进一步的，所述相似度损失的损失函数为：

L_sim＝αL_f+(1-α)L_nf (1)，

L_sim表示生成损失，α表示用于调节L_sim中人脸区域对损失的贡献度的参数，L_f表示人脸区域损失，L_nf表示非人脸区域损失，其中L_f和L_nf的计算公式为：

其中，y_i表示生成图像的像素值，y_i ^*表示目标图像对应的像素值。

进一步的，所述步骤2.5中分类分支和回归分支的分类回归损失计算公式为：

其中，L_cls表示分类损失，p_i表示分类得分，

表示anchor(锚)标签，L_reg表示回归损失，/>

表示仅对分类为前景的anchor(锚)回归边框，t_i表示预测边框参数分量，/>

表示标记为正的anchor(锚)对应的被标注的真实人脸部分的参数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明针对遮挡对人脸图像检测造成的干扰问题，以Faster RCNN模型为基干，设计了基于可见区域生成的特征增强分支网络和强化人脸细节特征提取的并行特征提取分支网络，通过叠加原图特征、并行特征提取网络特征与生成人脸区域特征，可以有效提高可见人脸区域特征在整体特征中的比重，提升检测模型对于遮挡人脸图像的鲁棒性，抑制遮挡为特征区域带来的损失和干扰，对图片样本中人脸图像进行更好的定位和提取，对于遮挡人脸图像具有更高的检测准确率和召回率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

一种基于区域生成的遮挡人脸图像检测方法，包括以下步骤：包括以下步骤：

步骤1：获取人脸图像，所述人脸图像包括无遮挡人脸图像和遮挡人脸图像，将人脸图像作为训练集中的训练图像，对所述人脸图像进行预处理，并制作所述人脸图像对应的目标图像；

人脸图像来自于WiderFace公开数据集，所述预处理包括对所有输入图像进行尺寸缩放处理，以避免占用过高显存；WiderFace公开数据集包含大量面部遮挡图片，数据标注中occlusion(遮挡，图片中被遮挡的部分)项表示遮挡程度，分为0、1、2级，分别表示无遮挡、轻微遮挡、大面积遮挡；从occlusion等级为0的样本中随机选取50％，对于每张图片从非ground truth(GT，图片中标注的部分)区域截取方形背景区域，区域大小范围为随机[0.2，0.8]倍的最大GT框边长，使用裁剪的背景区域覆盖部分GT框造成人为遮挡；输入网络前，将所有人脸图像进行尺寸处理，按比例缩放至短边不超过600像素、长边不超过800像素。

对选取的每一张人脸图像，制作相应的生成目标图片，用于计算相似度生成损失。制作方法为：将每张人脸图像非GT区域像素值置零，得到仅包含人脸区域的图像，作为目标图像。

步骤2：构建人脸图像检测网络，所述人脸图像检测网络包括特征提取基干网络、特征提取分支网络和特征增强分支网络；

具体包括以下步骤：

步骤2.1所述特征提取基干网络和特征提取分支网络均包括级联的若干个卷积模块，每个卷积模块包括若干个用于特征提取的卷积和一个确定输出特征图尺寸的最大池化层；特征提取基干网络和特征提取分支网络的具体构建方法为：

步骤2.1.1构建特征提取基干网络，本实施例中特征提取基干网络具体为：采用VGG16的前置卷积模块，其中包括5个卷积模块conv1’，conv2’，…，conv5’，其中conv1’包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2’包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3’包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4’包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5’包含3个3*3卷积，通道数512；

步骤2.1.2构建特征提取分支网络，本实施例中特征提取分支网络具体为：采用VGG16的前置卷积模块，其中包括5个卷积模块conv1’，conv2’，…，conv5’，其中conv1’包含2个3*3卷积，通道数64，一个最大池化层，输出特征图尺寸为原图的1/2，Conv2’包含2个3*3卷积，通道数128，一个最大池化层，输出特征图尺寸为原图的1/4，Conv3’包含3个3*3卷积，通道数256，一个最大池化层，输出特征图尺寸为原图的1/8，Conv4’包含3个3*3卷积，通道数512，一个最大池化层，输出特征图尺寸为原图的1/16，Conv5’包含3个3*3卷积，通道数512；每个卷积模块中均加入1*1的卷积，用于与特征提取基干网络侧面连接。

步骤2.1.3将所述特征提取基干网络和特征提取分支网络平行设置，即一个人脸图像同时输入至这两个网络中进行特征提取；步骤2.1.1与步骤2.1.2可以交换。

步骤2.1.4将特征提取基干网络和特征提取分支网络中上一卷积模块得到的特征图通过1*1的卷积进行融合，并将融合后的特征图输入至下一卷积模块中。

步骤2.1.5特征提取基干网络和特征提取分支网络中最后一级卷积模块得到的特征图融合后输入后续网络。

步骤2.2特征增强分支网络用于输入步骤2.5融合的特征图，输出与特征图尺寸相同的输出图像，构建过程具体为：

步骤2.2.1构建用于特征筛选的卷积网络和用于图像生成的反卷积网络；

本实施例中，所述卷积网络包括3层卷积层，卷积核大小3*3，padding为1，步长为1；

反向卷积网络为caffe深度学习框架下4层反向卷积层；

步骤2.2.2融合的特征图输入所述卷积网络，得到尺度不变的512通道中间特征；

步骤2.2.3所述中间特征经过反卷积网络得到与输入相同尺寸的1通道输出图像；

步骤2.2.4计算所述输出图像与目标图像的相似度损失，利用所述相似度损失调整特征增强分支网络的网络参数，所述相似度损失采用L2损失，损失函数如下：

L_sim＝αL_f+(1-α)L_nf (4)，

L_sim表示生成损失，α表示用于调节L_sim中人脸区域对损失的贡献度的参数，L_f表示人脸区域损失，L_nf表示非人脸区域损失，其中L_f和L_nf的计算公式为：

其中，y_i表示生成图像的像素值，y_i ^*表示目标图像对应的像素值。

步骤2.3利用特征增强分支网络的输出图像与所述特征提取基干网络输出的图像进行融合，得到融合特征，增强可见人脸区域在分类特征中的权重，强化人脸细节特征的提取。

步骤2.4利用RPN(Region Proposal Network，区域候选网络)模块和ROI(regionof interest，感兴趣区域)模块获取所述融合特征中归一化的提议区域。

步骤2.5通过分类分支和回归分支实现对所述提议区域的人脸二分类和边框微调；

分类分支和回归分支的分类回归损失函数为：

其中，L_cls表示分类损失，p_i表示分类得分，

表示anchor(锚)标签，L_reg表示回归损失，/>

表示仅对分类为前景的anchor(锚)回归边框，t_i表示预测边框参数分量，/>

表示标记为正的anchor(锚)对应的被标注的真实人脸部分的参数。

步骤3：利用预处理后的人脸图像和目标图像对所述人脸图像检测网络进行训练，得到完成训练的检测模型；

训练的步骤具体为：

步骤3.1设置特征增强分支网络的损失函数和分类回归损失函数。

步骤3.2网络进行端到端训练，并基于联合损失调整参数，更新网络参数，得到完成训练的检测模型；本步骤中，使用VGG16预训练模型，开始训练网络参数，训练采用带冲量和权重衰减的随机梯度下降法，冲量为0.8，衰减为0.0005，每个mini-batch处理2张图片，初始学习率设置为0.001，每18000步衰减率为0.1。

步骤4：输入待检测遮挡人脸图像至所述完成训练的检测网络，实现遮挡人脸图像的检测。

本发明利用注意力机制，设计了基于人脸区域生成的特征增强分支和强化人脸细节特征提取的并行特征提取网络；特征增强分支基于原图特征生成ground truth区域附近图像，将训练后的可以生成较好目标的特征与主干网络卷积特征进行点乘融合，增强可见面部特征的比重，有利于降低遮挡对特征造成的干扰。实验结果表明，融合后的特征能够显著提升模型对遮挡人脸的检测准确率。并行于主干网络的特征提取分支通过1×1的卷积侧向连接，能有效的捕捉人脸图像的细节特征，加强人脸区域的定位，能有效地提升人脸图像的识别精度。

为从特征中准确的恢复人脸区域，本发明利用构造目标数据集有监督的训练增强分支。通过对每张输入图片非GT区域置零的方式，制作生成目标图片。本发明将特征增强分支融合进Faster RCNN检测模型，实验结果表明融合了特征增强分支的模型相比于原模型对遮挡人脸具有更好的检测效果。鉴于图片中，脸部区域不会占据很大的比例，构建的并行特征提取网络分支可以进一步用于底层特征的提取，然后逐级进行卷积、池化等操作，对于占图片比例不大的人脸区域回归和人脸图像识别大有裨益。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于区域生成的遮挡人脸图像检测方法，其特征在于：包括以下步骤：

步骤1：获取人脸图像，所述人脸图像包括无遮挡人脸图像和遮挡人脸图像，对所述人脸图像进行预处理，并制作所述人脸图像对应的目标图像；

步骤2：构建人脸图像检测网络，所述人脸图像检测网络包括特征提取基干网络、特征提取分支网络和特征增强分支网络；

步骤3：利用预处理后的人脸图像和目标图像对所述人脸图像检测网络进行训练，得到完成训练的检测模型；

步骤4：输入待检测遮挡人脸图像至所述完成训练的检测网络，实现遮挡人脸图像的检测；

所述步骤2构建人脸图像检测网络具体为：

步骤2.1构建特征提取基干网络和特征提取分支网络，用于输入人脸图像，输出融合后的特征图；

步骤2.2构建特征增强分支网络，用于输入融合后的特征图，输出与特征图尺寸相同的输出图像；

步骤2.3利用特征增强分支网络的输出图像与所述特征提取基干网络输出的图像进行融合，得到融合特征；

步骤2.4利用RPN(Region Proposal Network，区域候选网络)模块和ROI(region ofinterest，感兴趣区域)模块获取所述融合特征中归一化的提议区域；

步骤2.5通过分类分支和回归分支实现对所述提议区域的人脸二分类和边框微调。

2.根据权利要求1所述的一种基于区域生成的遮挡人脸图像检测方法，其特征在于：所述步骤1中，所述预处理包括人脸图像尺寸的缩放处理。

3.根据权利要求1所述的一种基于区域生成的遮挡人脸图像检测方法，其特征在于：所述步骤2.1具体为：

步骤2.1.1构建特征提取基干网络，所述特征提取基干网络包括级联的若干个卷积模块，每个卷积模块包括若干个用于特征提取的卷积和一个确定输出特征图尺寸的最大池化层；

步骤2.1.2构建特征提取分支网络，所述构建特征提取分支网络与特征提取基干网络相同，还包括用于与特征提取基干网络侧面连接的卷积；

步骤2.1.3将所述特征提取基干网络和特征提取分支网络平行设置；

步骤2.1.4将特征提取基干网络和特征提取分支网络中上一卷积模块得到的特征图通过卷积进行融合，并将融合后的特征图输入至下一卷积模块中；

步骤2.1.5特征提取基干网络和特征提取分支网络中最后一级卷积模块得到的特征图融合后输入特征增强分支网络。

4.根据权利要求1所述的一种基于区域生成的遮挡人脸图像检测方法，其特征在于：所述步骤2.2具体为：

步骤2.2.1特征增强分支网络包括用于特征筛选的卷积网络和用于图像生成的反卷积网络，构建所述卷积网络和反卷积网络；

步骤2.2.2将融合的特征图输入所述卷积网络，输出得到中间特征；

步骤2.2.3将所述中间特征输出反卷积网络，输出与特征图尺寸相同的输出图像；

步骤2.2.4计算所述输出图像与目标图像的相似度损失，利用所述相似度损失调整特征增强分支网络的网络参数。

5.根据权利要求4所述的一种基于区域生成的遮挡人脸图像检测方法，其特征在于：所述相似度损失的损失函数为：

L_sim＝αL_f+(1-α)L_nf(1)，

L_sim表示生成损失，α表示用于调节L_sim中人脸区域对损失的贡献度的参数，L_f表示人脸区域损失，L_nf表示非人脸区域损失，其中L_f和L_nf的计算公式为：

其中，y_i表示生成图像的像素值，y_i ^*表示目标图像对应的像素值。

6.根据权利要求1所述的一种基于区域生成的遮挡人脸图像检测方法，其特征在于：

所述步骤2.5中分类分支和回归分支的分类回归损失计算公式为：

其中，L_cls表示分类损失，p_i表示分类得分，

表示anchor(锚)标签，L_reg表示回归损失，

表示仅对分类为前景的anchor(锚)回归边框，t_i表示预测边框参数分量，/>

表示标记为正的anchor(锚)对应的被标注的真实人脸部分的参数。/>

Images