CN112132005A - 一种基于聚类分析与模型压缩的人脸检测方法 - Google Patents

Abstract

本发明涉及一种基于聚类分析与模型压缩的人脸检测方法，首先获取人脸检测数据集，对人脸数据集进行K‑means聚类分析，进行锚框数量、大小与数据集适用程度分析，最终生成最适合该数据集的检测锚框；接着将生成的检测锚框应用于深度学习网络中，训练人脸检测网络；最后对训练好的人脸检测网络，进行层剪枝或者通道剪枝后，对网络进行微调，得到更加轻量级的网络；利用该网络对图像、视频进行检测，得到最终的结果。本发明具有检测准确率高与检测速率快并存的优点，能应用于人脸考勤、门禁系统、交通身份核准等场景。

Description

一种基于聚类分析与模型压缩的人脸检测方法

技术领域

本发明涉及人脸检测与计算机视觉领域，特别是一种基于聚类分析与模型压缩的人脸检测方法。

背景技术

随着科学技术的不断发展进步，作为其中重要部分的信息技术也有着长足的发展，大量的数据随之而生，随着数据诞生的计算机视觉技术在人们的生活中也发挥着越来越重要的作用。在今天，人脸检测这一技术被应用在各种各样的方面，例如:考勤、门禁、甚至是监控下的对于特定人群的寻找等等。但现在许多深度学习网络进行的人脸检测存在实时性效果不足的问题。

发明内容

有鉴于此，针对现在许多深度学习网络进行的人脸检测实时性效果不足的问题，本发明的目的是提供一种基于聚类分析与模型压缩的人脸检测方法，通过聚类将更符合人脸大小、数量的锚框应用于原深度学习网络中，提高精度。模型压缩方法，在尽可能保持精度的前提下，将深度学习网络模型进行宽度与深度的压缩，使得检测速度更快，更加符合实时性要求。

本发明采用以下方案实现：一种基于聚类分析与模型压缩的人脸检测方法，包括以下步骤：

步骤S1：获取公开的人脸检测数据集，对人脸数据集进行K-means聚类分析，生成适用于该数据的锚框，包括锚框的数量与大小；

步骤S2：使用步骤S1获取的数据集，以YOLOv3深度学习网络为基础，并将步骤S1生成的锚框应用于其中，进行人脸检测网络的训练；

步骤S3：对步骤S2中训练好的人脸检测网络进行层剪枝或通道剪枝或同时进行层剪枝与通道剪枝，对剪枝后的网络进行微调；

步骤S4：使用步骤S3中剪枝完成的网络，进行图片检测或者视频检测，得到最终的人脸检测结果。

进一步地，所述步骤S1具体包括以下步骤：

步骤S11：采用公开的人脸检测数据集，标签信息不完整或与标注信息不一致无用数据采用遍历数据集的方式进行剔除，以此完成数据预处理，并将其中70％划分为训练集，30％划分为测试集；

步骤S12：将将公开人脸检测数据集中的训练集的每张图像的每一个像素点归一化到0-1的值，最终将图像转化为每个矩阵点值在0-1范围内的归一化矩阵，根据每个图像的归一化矩阵，计算每个图像之间的欧几里得范数距离，最终根据距离确定此人脸数据集应用K-means方法得到的K值范围，K值取3到12；

步骤S13：根据K值在训练集样本中随机选取G张图片,G与K数值上相等，G张图片作为初始的聚类中心接着计算每张图像与各个选取出来聚类中心之间的距离，把每张图片分配给离它距离最近的聚类中心,其中K-means聚类分析的目标函数如下：

上式中：L为目标函数，Object为样本目标，Center为类簇的中心；n_v为v个聚类中心的样本个数；Q为本目标的总个数；I_IoU(Object,Center)为聚类算法流程中的中心框与聚类框的交并比；a为样本中心序号，其序号从1开始到原先选取的K值；b为类簇的中心序号；

步骤S14：每次分配一个图片样本，聚类中心根据每个类簇中现有的对象进行重新计算；

步骤S15：重复步骤S14,当没有或最小数目对象被重新分配给不同的聚类，没有或最小数目的聚类中心不再发生变化，则此聚类误差平方和局部最小，得到最终的K值与G个锚框的大小，将生成的G个锚框应用于检测网络的训练中，用以提高检测准确率。进一步地，所述步骤S2具体包括以下步骤：

步骤S21：将步骤S1中生成的G个数量的锚框应有于深度学习网络中，，调制网络参数，包括将Batch Size设置为32和卷积核大小设置为1*1，并开启多尺度训练，用以使训练结果更佳；

步骤S22：根据人脸检测数据集中训练集人脸比例大小，调整锚框大小，用以使训练过程中生成的预测框能更好的适应数据集中的人脸目标；

步骤S23：基于YOLOv3深度学习网络训练人脸检测网络。

进一步地，所述步骤S3具体包括以下步骤：

步骤S31：对S2步骤中训练好的人脸检测网络进行稀疏化训练，用以用最小的训练集样本数量表示所要的人脸目标，以此减小模型的大小，稀疏化训练的公式如下：

Y_i＝D*X_i

上式中，Y_i是一个N*1的矩阵，表示第i个测试样本；N表示样本的维度；D是一个N*M的矩阵，是一个字典，功能是将二维图像展开成一个向量，M表示字典中的训练样本数量；X_i就是对于第i个测试样本的稀疏系数；

步骤S32:将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝，用以完成对深度学习模型深度和宽度的同时压缩；

步骤S33:因为剪枝会损坏模型精度，因此分别针对进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝中剪枝完的网络，根据前6个训练轮次的权重信息进行回调，用以实现模型的回调，使得精度回升，得到最终的压缩后的人脸检测网络。

进一步地，步骤S32中所述对步骤S2中训练好的人脸检测网络进行层剪枝和通道剪枝的具体内容分别为：

将步骤S31中稀疏化训练完成的人脸检测网络进行通道剪枝，为图像的每个颜色通道引入比例因子γ；继而以此联合训练网络权重和这些比例因子，使用最小因子对这些通道进行修剪，用以实现对模型宽度的压缩，并对修剪后的网络进行微调，通道剪枝的目标公式如下：

上式中，O为目标函数；第一项求和∑_(t，u)l(f(x，W)，y)是人脸检测网络正常训练的loss值，其中in表示训练的输入，out表示最终目标的输出，W是通道剪枝训练的权重；σ是平衡系数，g函数是一种特异性惩罚比例因素，r表示此比例因素中选择的比例值；

将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝，针对每一个网络中的每一个shortcut层的前一层进行评价，对各层中的Gamma均值进行排序，选取其中最小的进行层剪枝，除了剪枝对应的shortcut层结点外，为了保持整个网络的完整性，将shortcut的前两层一起减掉，用以实现对模型深度的压缩。

进一步地，所述步骤S4具体包括以下步骤：

步骤S41:将人脸检测数据集中的测试集送入训练并经过S3步骤剪枝过的神经网络模型中，所述神经网络将图像分割为7*7个网格，并将待检测图像或视频帧直接作为模型的输入，通过步骤S1中聚类得到的锚框，对于每个网格都使用得到的锚框进行预测，每个网格都预测三个边界框，根据图像左上角偏移量坐标进行预测，最后通过逻辑回归计算此网格对这个物体的得分，预测的公式如下：

b_xx＝ε(t_x)+c_x

b_yy＝ε(t_y)+c_x

上四式中t_x，t_y是每个边界框预测的中心点的横坐标与纵坐标的偏置值，t_w，t_h是每个边界框预测的边界框边缘距离中心点的高度和宽度的偏置值；ε是偏移系数函数；c_x，c_y为此预测框距离图像左上角的边距；p_w，p_h为网格预测的边界框的宽度与高度；b_xx，b_yy为边界框的中心点的横坐标、纵坐标，b_ww，b_hh为边界框中心点离边界框边缘的高度与宽度，四个坐标表示了一个预测检测目标的边界框的位置与大小；e为自然常数；

步骤S42:对步骤S41中每个网格生成的预测框，通过人为阈值设置排除交并比小于阈值的预测框，然后通过非极大值抑制方法，获得最终目标的位置与类别。

与现有技术相比，本发明具有以下有益效果：

(1)本发明引入聚类分析，针对人脸检测，生成更加符合人脸的锚框数量、大小，使得人脸检测的精度得到提升。

(2)本发明能够在保证检测效果的同时对视频中的人脸进行在线检测。

(3)针对现深度学习网络精度足够但速率过低的问题，本发明提出了模型压缩方法，对深度学习模型进行宽度以及深度的压缩，在保证精度尽量不下降的前提下，对模型进行压缩，使得检测速率更快，达到符合实时性的要求。

(4)相较于过去的传统方法，本发明兼顾实时性与准确率，更加符合实际应用需求。

附图说明

图1为本发明实施例的流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供一种基于聚类分析与模型压缩的人脸检测方法，包括以下步骤：

步骤S1：获取公开的人脸检测数据集，对人脸数据集进行K-means聚类分析，生成适用于该数据的锚框，包括锚框的数量与大小；

步骤S2：使用步骤S1获取的数据集，以YOLOv3深度学习网络为基础，并将步骤S1生成的锚框应用于其中，进行人脸检测网络的训练；

步骤S3：对步骤S2中训练好的人脸检测网络进行层剪枝、通道剪枝或同时进行层剪枝与通道剪枝，对剪枝后的网络进行微调；

步骤S4：使用步骤S3中剪枝完成的网络，进行图片检测或者视频检测，得到最终的人脸检测结果。

在本实施例中，所述步骤S1具体包括以下步骤：

步骤S11：采用公开的人脸检测数据集，将标签信息不完整或与标注信息不一致无用数据采用遍历数据集的方式进行剔除，剔除方法是将图像标注信息与标签信息通过程序进行对比，将不一致的直接删除图像及对应的标签，以此完成数据预处理，并将其中70％划分为训练集，30％划分为测试集；

步骤S12：将将公开人脸检测数据集中的训练集的每张图像的每一个像素点归一化到0-1的值，最终将图像转化为每个矩阵点值在0-1范围内的归一化矩阵，根据每个图像的归一化矩阵，计算每个图像之间的欧几里得范数距离，最终根据距离确定此人脸数据集应用K-means方法得到的K值范围，K值取3到12；

步骤S13：根据K值在训练集样本中随机选取G张图片,G与K数值上相等，G张图片作为初始的聚类中心接着计算每张图像与各个选取出来聚类中心之间的距离，把每张图片分配给离它距离最近的聚类中心,其中K-means聚类分析的目标函数如下：

上式中：L为目标函数，Object为样本目标，Center为类簇的中心；n_v为v个聚类中心的样本个数；Q为本目标的总个数；I_IoU(Object,Center)为聚类算法流程中的中心框与聚类框的交并比；a为样本中心序号，其序号从1开始到原先选取的K值；b为类簇的中心序号；

步骤S14：每次分配一个图片样本，聚类中心根据每个类簇中现有的对象进行重新计算；

步骤S15：重复步骤S14,当没有或最小数目对象被重新分配给不同的聚类，没有或最小数目的聚类中心不再发生变化，则此聚类误差平方和局部最小，得到最终的K值与G个锚框的大小，将生成的G个锚框应用于检测网络的训练中，用以提高检测准确率。

在本实施例中，所述步骤S2具体包括以下步骤：

步骤S21：将步骤S1中生成的G个数量的锚框应有于深度学习网络中，，调制网络参数，包括将Batch Size设置为32和卷积核大小设置为1*1，并开启多尺度训练，用以使训练结果更佳；

步骤S22：根据人脸检测数据集中训练集人脸比例大小，调整锚框大小，用以使训练过程中生成的预测框能更好的适应数据集中的人脸目标；

步骤S23：基于YOLOv3深度学习网络训练人脸检测网络。

在本实施例中，所述步骤S3具体包括以下步骤：

步骤S31：对S2步骤中训练好的人脸检测网络进行稀疏化训练，用以用最小的训练集样本数量表示所要的人脸目标，以此减小模型的大小，稀疏化训练的公式如下：

Y_i＝D*X_i

上式中，Y_i是一个N*1的矩阵，表示第i个测试样本，本实施例中只针对人脸，因此i＝1；N表示样本的维度；D是一个N*M的矩阵，是一个字典，功能是将二维图像展开成一个向量，M表示字典中的训练样本数量；X_i就是对于第i个测试样本的稀疏系数；

步骤S32:将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝，用以完成对深度学习模型深度和宽度的同时压缩；

步骤S33:因为剪枝会损坏模型精度，因此分别针对进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝中剪枝完的网络，本实施例根据前6个训练轮次的权重信息进行回调，用以实现模型的回调，使得精度回升，得到最终的压缩后的人脸检测网络模型。经过步骤S3得到的深度学习网络模型能在保证准确率的前提下使得检测速率大大提升。

在本实施例中，步骤S32中所述对步骤S2中训练好的人脸检测网络进行层剪枝和通道剪枝的具体内容为：

将步骤S31中稀疏化训练完成的人脸检测网络进行通道剪枝，为图像的每个颜色通道引入比例因子γ；继而以此联合训练网络权重和这些比例因子，使用最小因子对这些通道进行修剪，用以实现对模型宽度的压缩，并对修剪后的网络进行微调，通道剪枝的目标公式如下：

上式中，O为目标函数；第一项求和∑_(t，u)l(f(x，W)，y)是人脸检测网络正常训练的loss值，其中in表示训练的输入，out表示最终目标的输出，W是通道剪枝训练的权重；σ是平衡系数，g函数是一种特异性惩罚比例因素，r表示此比例因素中选择的比例值；

将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝，针对每一个网络中的每一个shortcut层的前一层进行评价，对各层中的Gamma均值进行排序，选取其中最小的进行层剪枝，除了剪枝对应的shortcut层结点外，为了保持整个网络的完整性，将shortcut的前两层一起减掉，用以实现对模型深度的压缩。

在本实施例中，所述步骤S4具体包括以下步骤：

步骤S41:将人脸检测数据集中的测试集送入训练并经过S3步骤剪枝过的神经网络模型，本实施例中的所述神经网络将图像分割为7*7个网格，并待检测图像或视频帧直接作为模型的输入，通过步骤S1中聚类得到的锚框，对于每个网格都使用得到的锚框进行预测，每个网格都预测三个边界框，根据图像左上角偏移量坐标进行预测，最后通过逻辑回归计算此网格对这个物体的得分，预测的公式如下：

b_xx＝ε(t_x)+c_x

b_yy＝ε(t_y)+c_x

上四式中t_x，t_y是每个边界框预测的中心点的横坐标与纵坐标的偏置值，t_w，t_h是每个边界框预测的边界框边缘距离中心点的高度和宽度的偏置值；ε是偏移系数函数；c_x，c_y为此预测框距离图像左上角的边距；p_w，p_h为网格预测的边界框的宽度与高度；b_xx，b_yy为边界框的中心点的横坐标、纵坐标，b_ww，b_hh为边界框中心点离边界框边缘的高度与宽度，四个坐标表示了一个预测检测目标的边界框的位置与大小；e为自然常数；

步骤S42:对步骤S41中每个网格生成的预测框，通过人为阈值设置排除交并比过低的预测框，本实施例将阈值设置为0.4，若交并比小于0.4的将会被直接排除，然后通过非极大值抑制方法，获得最终目标的位置与类别。

较佳的，本实施例对读入的图像或者通过摄像头对读入实时视频的检测分析，实现对人脸的实时检测。通过聚类将更符合人脸大小、数量的锚框应用于原深度学习网络中，提高精度。模型压缩方法，在尽可能保持精度的前提下，将深度学习网络模型进行宽度与深度的压缩，使得检测速度更快，更加符合实时性要求。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：包括以下步骤：

步骤S1：获取公开的人脸检测数据集，对人脸数据集进行K-means聚类分析，生成适用于该数据的锚框，包括锚框的数量与大小；

步骤S2：使用步骤S1获取的数据集，以YOLOv3深度学习网络为基础，并将步骤S1生成的锚框应用于其中，进行人脸检测网络的训练；

步骤S3：对步骤S2中训练好的人脸检测网络进行层剪枝或通道剪枝或同时进行层剪枝与通道剪枝，对剪枝后的网络进行微调；

步骤S4：使用步骤S3中剪枝完成的网络，进行图片检测或者视频检测，得到最终的人脸检测结果。

2.根据权利要求1所述的一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S11：采用公开的人脸检测数据集，将标签信息不完整或与标注信息不一致的无用数据采用遍历数据集的方式进行剔除，以此完成数据预处理，并将其中70％划分为训练集，30％划分为测试集；

步骤S12：将公开人脸检测数据集中的训练集的每张图像的每一个像素点归一化到0-1的值，最终将图像转化为每个矩阵点值在0-1范围内的归一化矩阵，根据每个图像的归一化矩阵，计算每个图像之间的欧几里得范数距离，最终根据距离确定此人脸数据集应用K-means方法得到的K值范围，K值取3到12；

步骤S13：根据K值在训练集样本中随机选取G张图片,G与K数值上相等，G张图片作为初始的聚类中心，接着计算每张图像与各个选取出来聚类中心之间的距离，把每张图片分配给离它距离最近的聚类中心,其中K-means聚类分析的目标函数如下：

上式中：L为目标函数，Object为样本目标，Center为类簇的中心；n_v为v个聚类中心的样本个数；Q为本目标的总个数；I_IoU(Object,Center)为聚类算法流程中的中心框与聚类框的交并比；a为样本中心序号，其序号从1开始到原先选取的K值；b为类簇的中心序号；

步骤S14：每次分配一个图片样本，聚类中心根据每个类簇中现有的对象进行重新计算；

步骤S15：重复步骤S14,当没有或最小数目对象被重新分配给不同的聚类，没有或最小数目的聚类中心不再发生变化，则此聚类误差平方和局部最小，得到最终的K值与G个锚框的大小，将生成的G个锚框应用于检测网络的训练中，用以提高检测准确率。

3.根据权利要求1所述的一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S21：将步骤S1中生成的G个数量的锚框应有于深度学习网络中，调制网络参数，包括将Batch Size设置为32和卷积核大小设置为1*1，并开启多尺度训练，用以使训练结果更佳；

步骤S22：根据人脸检测数据集中训练集中人脸比例大小，调整锚框大小，用以使训练过程中生成的预测框能更好的适应数据集中的人脸目标；

步骤S23：基于YOLOv3深度学习网络训练人脸检测网络。

4.根据权利要求1所述的一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S31：对S2步骤中训练好的人脸检测网络进行稀疏化训练，用以用最小的训练集样本数量表示所要的人脸目标，以此减小模型的大小，稀疏化训练的公式如下：

Y_i＝D*X_i

上式中，Y_i是一个N*1的矩阵，表示第i个测试样本，i＝1；N表示样本的维度；D是一个N*M的矩阵，是一个字典，功能是将二维图像展开成一个向量，M表示字典中的训练样本数量；X_i就是对于第i个测试样本的稀疏系数；

步骤S32:将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝，用以完成对深度学习模型深度和宽度的同时压缩；

步骤S33:因为剪枝会损坏模型精度，因此分别针对进行层剪枝或通道剪枝或同时进行通道剪枝和层剪枝中剪枝完的网络，根据前6个训练轮次的权重信息进行回调，用以实现模型的回调，使得精度回升，得到最终的压缩后的人脸检测网络。

5.根据权利要求4所述的一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：步骤S32中所述对步骤S2中训练好的人脸检测网络进行层剪枝和通道剪枝的具体内容分别为：

将步骤S31中稀疏化训练完成的人脸检测网络进行通道剪枝，为图像的每个颜色通道引入比例因子γ；继而以此联合训练网络权重和这些比例因子，使用最小因子对这些通道进行修剪，用以实现对模型宽度的压缩，并对修剪后的网络进行微调，通道剪枝的目标公式如下：

上式中，O为目标函数；第一项求和∑_(t，u)l(f(x，W)，y)是人脸检测网络正常训练的loss值，其中in表示训练的输入，out表示最终目标的输出，W是通道剪枝训练的权重；σ是平衡系数，g函数是一种特异性惩罚比例因素，r表示此比例因素中选择的比例值；

将步骤S31中稀疏化训练完成的人脸检测网络进行层剪枝，针对每一个网络中的每一个shortcut层的前一层进行评价，对各层中的Gamma均值进行排序，选取其中最小的进行层剪枝，除了剪枝对应的shortcut层结点外，为了保持整个网络的完整性，将shortcut的前两层一起减掉，用以实现对模型深度的压缩。

6.根据权利要求1所述的一种基于聚类分析与模型压缩的人脸检测方法，其特征在于：所述步骤S4具体包括以下步骤：

步骤S41:将人脸检测数据集中的测试集送入训练并经过S3步骤剪枝过的神经网络模型中，所述神经网络将图像分割为7*7个网格，并将待检测图像或视频帧直接作为模型的输入，通过步骤S1中聚类得到的锚框，对于每个网格都使用得到的锚框进行预测，每个网格都预测三个边界框，根据图像左上角偏移量坐标进行预测，最后通过逻辑回归计算此网格对这个物体的得分，预测的公式如下：

b_xx＝ε(t_x)+c_x

b_yy＝ε(t_y)+c_x

上四式中t_x，t_y是每个边界框预测的中心点的横坐标与纵坐标的偏置值，t_w，t_h是每个边界框预测的边界框边缘距离中心点的高度和宽度的偏置值；ε是偏移系数函数；c_x，c_y为此预测框距离图像左上角的边距；p_w，p_h为网格预测的边界框的宽度与高度；b_xx，b_yy为边界框的中心点的横坐标、纵坐标，b_ww，b_hh为边界框中心点离边界框边缘的高度与宽度，四个坐标表示了一个预测检测目标的边界框的位置与大小；e为自然常数；

步骤S42:对步骤S41中每个网格生成的预测框，通过人为阈值设置排除交并比小于阈值的预测框，然后通过非极大值抑制方法，获得最终目标的位置与类别。

Images