CN109214353B

CN109214353B - 一种基于剪枝模型的人脸图像快速检测训练方法和装置

Info

Publication number: CN109214353B
Application number: CN201811127886.0A
Authority: CN
Inventors: 陶大鹏; 谢东阳; 吴婉银; 李想
Original assignee: Yunnan University YNU
Current assignee: Yunnan University YNU
Priority date: 2018-09-27
Filing date: 2018-09-27
Publication date: 2021-11-23
Anticipated expiration: 2038-09-27
Also published as: CN109214353A

Abstract

本发明公开了一种基于剪枝模型的人脸图像快速检测训练方法和装置，包括以下步骤：(1)建立特征提取模型，并对该模型进行剪枝操作；(2)使用区域候选网络模型，生成候选框；(3)判定候选框中的内容，是属于前景还是背景；(4)判定候选框中目标的属性，同时计算候选框的偏移量，剔除太小或超出边界的候选框，并修正候选框的位置；(5)输出包含人脸标注框及人脸属性的图像。本发明适用于人脸快速检测训练，既提高了模型训练的速率，又保证了模型的准确率。

Description

一种基于剪枝模型的人脸图像快速检测训练方法和装置

技术领域

本发明属于人脸图像检测训练技术领域，尤其是属于一种基于剪枝模型的人脸图像快速检测训练方法技术领域；本发明还设计了该方法内容的装置结构。

背景技术

目前，人脸检测技术被频繁应用于人们的日常生活中，其应用背景已经超过了人脸识别的范畴，在视频检测、内容检索、数字视频处理等方面都有着广阔的应用前景，其中较为热门的几个应用领域是活体验证、图像搜索、智能美颜、电影制作等。在这样的应用背景下，人脸检测技术得到了长足的发展，检测模型的速度和精度也在不断提高，当前有两个系列的算法表现得极为突出，其一是级联卷积神经网络(Cascade CNN,CascadeConvolutional Neural Network)系列；其二是区域卷积神经网络(R-CNN,Region-basedConvolutional Neural Network)系列。这两个系列各有优点，Cascade CNN系列是当前人脸检测速度最快的算法，R-CNN系列是当前人脸检测性能最好的算法，但R-CNN的缺点是速度慢。若能将R-CNN在速度上进行改进，那么该算法则可成为当前人脸检测算法中较实用的算法。

2014年至2017年，Ross Girshick、何凯文等人对R-CNN系列算法进行了数次改进，已经大大提高了其检测效率，但是仍存在一些没有解决的缺点：1)人脸检测任务在模型训练时参数较多，需要较长的训练时间；2)神经网络层数越深参数越多，所得出的结果就越精细，但与此同时，越精细意味着所消耗的计算资源也就越多，这将造成网络模型在训练过程中速度过慢；3)对图像进行特征提取时，随着网络层数的加深，训练变得越来越困难，一些冗余的参数增加了模型的负担。现有技术对于剪枝模型是将模型统一修剪，将贡献度低的神经元剪去，但这样的做法可能会导致模型精度降低，且对神经元的贡献度进行排序的方法还不够好，导致模型精度损失太多，方法实现的难度较大。

综上所述，考虑到一些模型的参数对模型并无太大影响，寻找一种既能保证被剪枝的模型在性能上不会损失过多从而保证模型的准确率，又能对神经元进行很好的排序，且模型训练时间大大缩短的人脸图像快速检测训练方法成为亟需解决的问题。

发明内容

本发明主要针对人脸图像快速检测训练方法，为解决检测训练速度和准确度欠佳的问题，本发明提供了一种基于剪枝模型的人脸图像快速检测训练方法。本发明的目的在于，第一，在训练过程中充分利用计算机资源，提高模型训练的速度；第二，对人脸检测模型进行剪枝操作，剔除贡献度较低的神经元，但同时保证模型的精度损失较小。

为了实现上述目的，本发明采用如下技术方案：

一种基于剪枝模型的人脸图像快速检测训练方法，首先输入一张人脸图像，该方法对上述图片的处理包括以下步骤：

步骤1 建立特征提取模型，并对该模型进行剪枝操作。

步骤1 包括以下步骤：

步骤1.1 采用深度神经网络模型对输入的图像进行特征提取，使用残差网络中训练出的模型参数进行剪枝；

步骤1.2 从提取特征过程中层与层之间连接的连接权值入手，按照传统的模型训练方式训练得到一个模型；

步骤1.3 从第一层连接的权值开始，设定精简比例——所保留的权值占原本权值的比例，采用训练的方式找到一个阈值，然后将低于该阈值的权值删除，达到在该精简比例下的最好效果；

步骤1.4 确定了该层所要保留的权值，然后再进行训练，仅更新该层中剩余权值的数值，确保在该层中所保留并更新的权值是最优；由于修剪已经降低了模型容量，再训练时丢弃率会减小，丢弃率的计算过程为：

令C_i为第i层的参数个数，

为原始网络的参数个数，

为再训练后的网络的参数个数，N_i是第i层中的神经元个数；由于丢弃对神经元起作用，并且C_i与N_i有一个正交关系，因此有如下公式：

C_i＝N_iN_i-1 (1)

根据公式(1)，修剪后的丢弃率参数应遵循如下公式：

其中，D_o表示原始的丢弃率，D_r表示再训练后的丢弃率；

步骤1.5 用相同的方法对下一层的连接权值进行精简和更新；

步骤1.6 计算目标函数，对代价函数损失的绝对值的累积和进行优化，并通过多次迭代，得出最优解。

步骤2 使用区域候选网络模型，生成候选框。

步骤2 包括以下步骤：

步骤2.1 通过局部智能感知方式截取局部特征图，遵循局部图像与目标图像的关系R^obj以及局部区域与局部图像的关系R^part；

步骤2.2 通过选择性搜索的方式生成若干局部候选区域{p₁,p₂,…,p_i}，其中，p_i是第i个局部候选区域，判断该区域的像素点属于人脸还是非人脸，并将属于人脸的像素点记录下来；

步骤2.3 根据以上两个步骤得到局部图像与目标图像的关系

尽量保证所选取的局部区域与原人脸所在区域关联性较强，并且满足：

其中，IoU为所选取的局部区域与原人脸所在区域的重叠率；

步骤2.4 在确定了局部图像与目标图像的关系后，还要关注局部区域与局部图像的关系，将所有人脸中局部候选区域的面积和表示为A_T，将这些局部候选区域中有重叠的面积和表示为A_I，将在局部区域内而不在目标区域内的面积和表示为A_O，智能感知选取方式满足：

R^part＝log(A_T-A_I-A_O)+log(Mean(A_T)) (4)

其中，Mean(A_T)＝1/|A_T|∑_i,jp_i，是当前局部候选区域的像素点中构成人脸像素的平均个数；令R^obj(局部图像与目标图像的关系)与R^part(局部区域与局部图像的关系)二者的乘积为变量R_I，则有R_I＝R^obj*R^part，选取R_I数值最大时的p_i作为最佳局部候选区域。

步骤3 判定候选框中的内容，是属于前景还是背景。

步骤3 包括以下步骤：

步骤3.1 将步骤2中生成的若干个人脸候选区域与之前的特征图整合起来，综合这些信息，并提取属于最佳候选区域的特征；

步骤3.2 将所形成的最佳候选区域的特征送入柔性最大传输函数(softmax)分类器中获取前景和背景，以便计算出精确的偏移量，为之后的定位修正提供位置信息。

步骤4 判定候选框中目标的属性，同时计算候选框的偏移量，剔除太小或超出边界的候选框，保留特征明确的标注框，并修正标注框的位置。

步骤4 包括以下步骤：

步骤4.1 根据步骤3提供的最佳候选区域特征，使用最大传输函数softmax计算出标注框里目标的属性；

步骤4.2 根据步骤3提供的位置信息，使用多任务损失函数将标注框中的内容映射回原图，判断是否超出边界或者留白信息过多，从而确定标注框的准确位置。

步骤5 输出包含人脸标注框及人脸属性的图像。

使用一种基于剪枝模型的人脸图像快速检测训练方法的装置，该装置包含以下硬件模块：1)实现步骤1作用的特征提取及剪枝模块；2)实现步骤2作用的生成候选框模块；3)实现步骤3作用的前景或背景判定模块；4)实现步骤4作用的目标属性分类及标注框修正模块；5)实现步骤5的输出模块。

本发明上述该装置的连接关系为，特征提取及剪枝模块、生成候选框模块、前景或背景判定模块、目标属性分类及标注框修正模块、输出模块依序连接。

本发明的有益效果在于，提出了一种基于剪枝模型的人脸图像快速检测训练方法，具体为：

(1)本发明提出使用代价函数损失的绝对值作为优化目标，而不是单纯的差值，保证被剪枝的模型在性能上不会损失过多。

(2)本发明把那些对输出结果贡献不大的参数剪掉，根据最终输出结果的贡献大小对模型的神经元进行排序，然后舍去部分贡献度低的神经元，使得模型运行速度更快、模型文件更小。

(3)本发明使用残差网络中训练出的模型参数进行剪枝，减少不必要的网络连接。这样做的优势在于，一方面能够减少模型的“体积”，在计算的过程中降低内存的消耗，节省更多的硬件计算资源给其他模块使用，从而达到整体加速的效果。

综上，本发明提出的人脸检测算法既提高了模型训练的速率，又保证了模型的准确率。

下面结合附图和具体实施方式本发明做进一步解释。

附图说明

图1为本发明整体技术流程示意图。

图2为本发明剪枝模型的流程示意图。

图3为本发明模块连接的结构示意图。

具体实施方式

一种基于剪枝模型的人脸图像快速检测训练方法，包括以下步骤：建立特征提取模型，并对该模型进行剪枝操作；使用区域候选网络模型，生成候选框；判定候选框中的内容，是属于前景还是背景；判定候选框中目标的属性，同时修正含有目标的候选框位置；最后输出含有人脸标注框及人脸属性的图像。具体为：

(1)第一步：建立特征提取模型，并对该模型进行剪枝操作

本发明从提取特征过程中层与层之间连接的连接权值入手，按照传统的模型训练方式训练得到一个模型；从第一层连接的权值开始，设定精简比例(所保留的权值占原本权值的比例)，采用训练的方式找到一个阈值，然后将低于该阈值的权值删除，达到在该精简比例下的最好效果；确定了该层所要保留的权值后，再进行训练，仅更新该层中剩余权值的数值，确保在该层中所保留并更新的权值是最优。由于修剪已经降低了模型容量，再训练的时候丢弃率会减小，丢弃率的计算过程为：令C_i为第i层的参数个数，

为原始网络的参数个数，

C_i＝N_iN_i-1 (1)

根据公式(1)，修剪后的丢弃率参数应遵循如下公式：

其中，D_o表示原始的丢弃率，D_r表示再训练后的丢弃率。

然后用相同的方法对下一层的连接权值进行精简和更新，如此保证每一层在被处理时是最优，如图2所示，以一个三层的网络模型为例：a)原始模型b)将第一层修剪达到最优c)将第二层修剪达到最优d)将第三层修剪达到最优，从而实现整体最优的结构。

最后计算目标函数，对代价函数损失的绝对值的累积和进行优化，并通过多次迭代，得出最优解。

(2)第二步：生成候选框

通过局部智能感知方式截取局部特征图，遵循局部图像与目标图像的关系R^obj以及局部区域与局部图像的关系R^part；通过选择性搜索的方式生成若干局部候选区域{p₁,p₂,…,p_i}，其中，p_i是第i个局部候选区域，判断该区域的像素点属于人脸还是非人脸，并将属于人脸的像素点记录下来；因此，局部图像与目标图像的关系表示为

其中，IoU为所选取的局部区域与原人脸所在区域的重叠率；

在确定了局部图像与目标图像的关系后，还要关注局部区域与局部图像的关系，将所有人脸中局部候选区域的面积和表示为A_T，将这些局部候选区域中有重叠的面积和表示为A_I，将在局部区域内而不在目标区域内的面积和表示为A_O，智能感知选取方式满足：

R^part＝log(A_T-A_I-A_O)+log(Mean(A_T)) (4)

其中，Mean(A_T)＝1/|A_T|∑_i,jp_i，是当前局部候选区域的像素点中构成人脸像素的平均个数。令R_I＝R^obj*R^part，选取R_I数值最大时的p_i作为最佳局部候选区域。

(3)第三步：分离前景和背景

将步骤2中生成的若干个人脸候选区域与之前的特征图整合起来，综合这些信息，并提取属于最佳候选区域的特征；将所形成的最佳候选区域的特征送入柔性最大传输函数(softmax)分类器中获取前景和背景，以便计算出精确的偏移量，为之后的定位修正提供位置信息。

(4)第四步：计算标注框所属类别，并修正标注框

根据第三步提供的最佳候选区域特征，使用最大传输函数softmax计算出标注框里目标的属性；根据第三步提供的位置信息，使用多任务损失函数将标注框中的内容映射回原图，判断是否超出边界或者留白信息过多，从而确定标注框的准确位置。

(5)第五步：输出包含人脸标注框及人脸属性的图像。

使用一种基于剪枝模型的人脸图像快速检测训练方法的装置，该装置包含以下硬件模块；1)实现“建立特征提取模型，并对该模型进行剪枝操作”作用的特征提取及剪枝模块；2)实现“使用区域候选网络模型，生成候选框”作用的生成候选框模块；3)实现“判定候选框中的内容属于前景还是背景”作用的前景或背景判定模块；4)实现“计算标注框所属类别，并修正标注框”作用的目标属性分类及标注框修正模块。

以上所述的仅是本发明的具体实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，上述实施例不以任何方式限制本发明，对于本领域的技术人员来说，凡是采用等同替换或等效变换的方式获得的技术方案均落在本发明的保护范围内。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载用于解释权利要求的内容。

Claims

1.一种基于剪枝模型的人脸图像快速检测训练方法，首先输入一张人脸图像，其特征在于，该方法对上述图像的处理包括以下步骤：

步骤1建立特征提取模型，并对该模型进行剪枝操作；

步骤2使用区域候选网络模型，生成候选框；所述的步骤2包含以下步骤：

步骤2.1通过局部智能感知方式截取局部特征图，遵循局部图像与目标图像的关系R^obj以及局部区域与局部图像的关系R^part；

步骤2.2通过选择性搜索的方式生成若干局部候选区域{p₁，p₂，...，p_i}，其中，p_i是第i个局部候选区域，判断该区域的像素点属于人脸还是非人脸，并将属于人脸的像素点记录下来；

步骤2.3根据以上两个步骤得到局部图像与目标图像的关系

满足：

其中，IoU为所选取的局部区域与原人脸所在区域的重叠率；

步骤2.4在确定了局部图像与目标图像的关系后，将所有人脸中局部候选区域的面积和表示为A_T，将这些局部候选区域中有重叠的面积和表示为A_I，将在局部区域内而不在目标区域内的面积和表示为A_O，智能感知选取方式满足：

R^part＝log(A_T-A_I-A_O)+log(Mean(A_T)) (4)

其中，Mean(A_T)＝1/|A_T|∑_i，jp_i，是当前局部候选区域的像素点中构成人脸像素的平均个数；令局部图像与目标图像的关系与局部区域与局部图像的关系R^part二者的乘积为变量R_I，则有R_I＝R^obj*R^part，选取R_I数值最大时的p_i作为最佳局部候选区域；

步骤3判定候选框中的内容，是属于前景还是背景；

步骤4判定候选框中目标的属性，计算候选框的偏移量，剔除太小或超出边界的候选框；

步骤5输出包含人脸标注框及人脸属性的图像。

2.根据权利要求1所述的一种基于剪枝模型的人脸图像快速检测训练方法，其特征在于，所述的步骤1包含以下步骤：

步骤1.1采用深度神经网络模型对输入的图像进行特征提取，使用残差网络中训练出的模型参数进行剪枝；

步骤1.2从提取特征过程中层与层之间连接的连接权值入手，按照传统的模型训练方式训练得到一个模型；

步骤1.3从第一层连接的权值开始，设定精简比例——所保留的权值占原本权值的比例，采用训练的方式找到一个阈值，然后将低于该阈值的权值删除；

步骤1.4确定了该层所要保留的权值，然后再进行训练，仅更新该层中剩余权值的数值，确保在该层中所保留并更新的权值是最优；

步骤1.5用相同的方法对下一层的连接权值进行精简和更新；

步骤1.6计算目标函数，对代价函数损失的绝对值的累积和进行优化，并通过多次迭代，得出最优解。

3.根据权利要求2所述的一种基于剪枝模型的人脸图像快速检测训练方法，其特征在于，所述的步骤1.4包含以下步骤：

令C_i为第i层的参数个数，

为原始网络的参数个数，

C_i＝N_iN_i-1 (1)

根据公式(1)，修剪后的丢弃率参数应遵循如下公式：

其中，D_o表示原始的丢弃率，D_r表示再训练后的丢弃率。

4.根据权利要求1所述的一种基于剪枝模型的人脸图像快速检测训练方法，其特征在于，所述的步骤3包含以下步骤：

步骤3.1将步骤2中生成的若干个人脸候选区域与之前的特征图整合起来，综合这些信息，并提取属于最佳候选区域的特征；

步骤3.2将所形成的最佳候选区域的特征送入柔性最大传输函数softmax分类器中获取前景和背景，计算出精确的偏移量，为之后的定位修正提供位置信息。

5.根据权利要求1所述的一种基于剪枝模型的人脸图像快速检测训练方法，其特征在于，所述的步骤4包含以下步骤：

步骤4.1根据步骤3提供的最佳候选区域特征，使用最大传输函数softmax计算出标注框里目标的属性；

步骤4.2根据步骤3提供的位置信息，使用多任务损失函数将标注框中的内容映射回原图，判断是否超出边界或者留白信息过多，确定标注框的准确位置。

6.使用权利要求 1-5 任一项所述的一种基于剪枝模型的人脸图像快速检测训练方法的装置，其特征在于，该装置包含以下硬件模块：1)实现步骤1作用的特征提取及剪枝模块；2)实现步骤2作用的生成候选框模块；3)实现步骤3作用的前景或背景判定模块；4)实现步骤4作用的目标属性分类及标注框修正模块；5)实现步骤5的输出模块。

7.根据权利要求6所述的使用一种基于剪枝模型的人脸图像快速检测训练方法的装置，其特征在于，该装置的连接关系为，特征提取及剪枝模块、生成候选框模块、前景或背景判定模块、候选框类别计算模块及修正模块、输出模块依序连接。