CN110580445A - 一种基于GIoU和加权NMS改进的人脸关键点检测方法 - Google Patents

Abstract

本发明涉及一种基于GIoU和加权NMS改进的人脸关键点检测方法，首先，采用一个轻量级级联式人脸目标检测网络对图像中的人脸目标进行检测和旋转角度检测，其中采用GIoU替代IoU作为目标框位置精度指标，并采用IoU损失进行位置回归；其次，对获取的人脸目标采用加权NMS抑制方法，获取图像中置信度高的人脸目标框；最后，采用一个轻量级级联式人脸关键点检测网络，对人脸关键点进行检测和回归。相较传统卷积网络，提高了速度，增强算法实时性，在不额外增加运算量的前提下提高网络检测精度。解决了传统的目标检测加人脸关键点检测方法实时性差的问题，可在保证检测精度的情况下，对复杂环境中多个不同旋转方向人脸目标进行实时的关键点检测。

Description

一种基于GIoU和加权NMS改进的人脸关键点检测方法

技术领域

本发明属于计算机数字图像识别技术领域，涉及一种基于GIoU(GeneralizedIntersection over Union)和加权NMS(Convolutional Neural Network)改进的人脸关键点检测方法，一步实现复杂环境下多人脸目标检测和人脸关键点检测，可实时地进行 复杂场景下多人脸目标关键点检测。

背景技术

随着人工智能和计算机视觉技术的不断进步，生物特征识别技术逐渐走入人们的生活中。生物特征识别指的是利用特定的生物传感器设备分析人固有的生理和行为特 征，进一步对数据进行建模，从而实现对个人身份的认证。最为常见的生物识别技术 包括：指纹识别，人脸识别，虹膜识别，声音识别等。而其中人脸识别作为生物特征 识别最重要也是研究历史最为悠久的分支，在生活的各个方面，例如公安和犯罪领域， 智能人脸图像检索，智能人机交互系统都有着巨大的应用前景。相比于其他例如指纹， 视网膜等特征识别技术，人脸识别有着无法比拟的优点，也正是因此，人脸识别技术 成为最易被大众所接受的识别技术。而人脸关键点检测技术可对人脸的位姿、表情进 行判断，协助提供人的性别、年龄等信息，是人脸识别任务中不可或缺的先序任务。

人脸关键点检测又称脸部关键点定位。在机器学习的领域里，人脸关键点检测技术有着其独特的应用价值，该技术是人脸识别和分析领域中的关键一步，它是诸如自 动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破 口。近些年来，深度学习方法由于其自动学习及持续学习能力，已被成功应用到了图 像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很显著 的改善。人脸关键点检测是指给定人脸图像，定位出人脸面部的关键区域位置，包括 眉毛、眼睛、鼻子、嘴巴、脸部轮廓等和人脸检测类似，由于受到姿态和遮挡等因素 的影响，人脸关键点检测也是一个富有挑战性的任务。人脸关键点精确检测对众多科 研和应用课题具有关键作用，例如，人脸姿态矫正、姿态识别、表情识别、疲劳监测、 嘴型识别等。因此，如何获取高精度人脸关键点，一直以来都是计算机视觉、模式识 别、图像处理等领域的热点研究问题。

目前的人脸检测识别任务往往是在复杂环境下的多目标检测任务，因此人脸关键点检测也就需要从单张人脸上关键点检测任务拓展至在一个场景下的多目标检测和关 键点识别任务。同时复杂的环境可能带来的问题是目标遮挡和目标旋转问题，这使得 传统的人脸关键点检测方法难以完成这一复杂任务。随着深度学习领域的发展，有学 者将人脸关键点检测作为回归问题。Sun首次将CNN应用到人脸关键点检测，提出级 联CNN来实现人脸5个关键点检测；Tang在CNN中使用人脸相关属性来协助定位人 脸关键点位置；Zhang提出了多任务级联CNN，进行人脸分类、边框回归和关键点定 位。这些方法的缺陷在于：只针对单个人脸目标图像，无法进行多人脸目标关键点检 测。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于GIoU和加权NMS改进的人 脸关键点检测方法。解决传统的人脸关键点检测方法只针对单张人脸图像的关键点检 测识别，导致在复杂环境中多人脸目标的应用场景下无法直接应用，若将该任务作为 目标检测和人脸关键点检测两个子任务进行处理，又存在耗时过长的问题。

技术方案

一种轻量级人脸检测卷积神经网络模型，其特征在于：网络模型为两层Stage 1和Stage 2，每层网络采用“深度可分离卷积+Leaky ReLU”的结构分别为四层或五层 的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same，Stride＝2，K参数在conv1层中为16，并逐层倍增；所述Stage 1对对输入的可见光图像进行人脸目标的检 测，输出人脸目标四维坐标、旋转角度以及置信度；所述Stage 2中实现人脸目标四维 坐标信息的回归和人脸具体旋转角度的回归；

(1)采用深度可分离卷积网络设计网络框架：将传统卷积分解为一个深度卷积和一个1*1卷积，深度卷积针对每张输入特征图的卷积核个数固定为1；该卷积方式的 卷积参数有K,S,P,Stride，其中K为1*1卷积核的数量，也是其输出特征图的数量；S为 卷积核大小；P为卷积过程中的padding方式；Stride为卷积核的步长；

输入图像或特征图的参数为W_in×H_in×C_in，在上述卷积规则下，其输出特征图 计算公式如下：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分 别设计了四层和五层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same， Stride＝2，K参数在conv1层中为16，并逐层倍增；Leaky ReLU为：

(2)：设计网络输出与损失函数：

在上述网络框架后并行连接两个Softmax层和一个卷积层，Softmax层计算公式为：

各输出层含义即损失函数设计如下：

第一个Softmax层输出一个二维向量，第一维数据表示检测到人脸目标的概率p_obj， 第二维数据表示未检测到人脸目标的概率p_noobj，则有检测目标的置信度：

p_obj+p_noobj＝1 (4)

采用Softmax loss回归置信度：

其中表示真值，y为网络输出值；

在Stage1中第二个Softmax层输出一个四维向量，将人脸朝向判别作为一个分类问题，四维坐标代表人脸朝向四个方向的置信度，同样采用公式5中的Softmax loss 进行回归，设为L_ori；

在Stage2中将第二个Softmax层替换为一个全连接层加tanh激活函数该值表示网络预测的人脸的倾斜角度；Tanh激活函数如下：

损失函数采用MSE损失函数：

卷积层输出代表了检测框的四维坐标，对检测框使用基于GIoU的IoU损失进行 回归；用B_DR表示检测结果，B_GT表示目标真值，则检测框IoU的计算公式为：

IoU＝|B_DR∩B_GT|/|B_DR∪B_GT| (8)

GIoU相较IoU可更好的衡量B_DR和B_GT间距离和重叠情况，设B_DR和B_GT求其封闭 轮廓最小面积凸包围框为C，则GIoU的计算公式为：

若B_DR和B_GT四维坐标为(x_{min_DR},y_{min_DR},x_{max_DR},y_{max_DR})和 (x_{min_GT},y_{min_GT},x_{max_GT},y_{max_GT})，则C的计算公式为：

检测框的四维坐标回归的IoU损失函数为：

L_IoU＝1-GIoU (11)

输出层的总损失函数为：

L＝L_obj+λ_oriL_ori+λ_IoUL_IoU (12)

其中，λ_ori和λ_IoU是用于平衡不同损失函数，取值应在[0.2,5]间；

由此得到一个基本的网络模型，它的输入是一幅可见光图像，输出是检测到的人脸的四维坐标、旋转角度和置信度信息；

所述网络的backbone采用深度可分离卷积网络进行搭建。

在含有人脸目标图像及相应标注信息的数据集上，采用梯度下降算法对基本的网络模型进行训练：其中，Stage 2的输入为Stage 1的输出的检测框，并将其图像调整 至64×64大小便于网络训练，得到一个训练完成的可进行人脸目标检测的网络模型。

一种轻量级人脸关键点检测卷积神经网络模型，其特征在于：网络对输入的人脸图像进行68个关键点检测，网络模型为两层Stage 1和Stage 2，在Stage1、Stage2中 每层网络为五层和七层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same， K值随层数的增长设置为：16，32，64，128，128，256，256，在K增长的网络层上 设置Stride＝2，其余设置Stride＝1；所述Stage 1中进行关键点的粗略检测；所述Stage 2中进行关键点的精细回归；

(1)采用深度可分离卷积网络设计网络框架：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分 别设计了五层和七层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same， K值随层数的增长设置为：16，32，64，128，128，256，256，在K增长的网络层上 设置Stride＝2，其余设置Stride＝1；

(2)设计网络输出与损失函数：

首先在数据集上对所有68个关键点位置进行归一化，并逐一求均值，假设关键点位置为(x_p,y_p)，人脸目标框ground truth的大小为(w,h)，则单个关键点的均值为：

(x_mean,y_mean)将作为关键点检测的先验，在网络预测时，只需预测回归真值与该 先验间的差值，而不需要去直接预测真值。在Stage 2中该先验需被Stage 1的输出更 新，即将Stage 1输出与(x_mean,y_mean)相加得到Stage 2的先验。

在(1)中的卷积神经网络后连接一个Global average Pooling层和FC层，FC层采用tanh激活函数输出136维向量，表示预测点相较归一化后关键点均值的偏差，采用 MSE损失函数来回归该偏差：

式中表示真值相较归一化后关键点均值的偏差，y_i表示预测点的偏差。

将Stage 1和Stage 2的输出相加，即为关键点的预测。

经过步骤1，得到一个基本网络模型，它的输入是一张人脸图像，输出是人脸68个关 键点的预测。

所述网络的backbone采用深度可分离卷积网络进行搭建。

所述网络模型在包含68关键点信息的人脸图像数据集上对网络模型采用梯度下降算法进行训练。

一种利用所述轻量级人脸检测卷积神经网络模型和所述轻量级人脸关键点检测卷 积神经网络模型进行基于GIoU和加权NMS改进的人脸关键点检测方法，其特征在于 步骤如下：

步骤1：采用轻量级人脸检测卷积神经网络模型对包含人脸目标的图像进行检测，Stage 1对对输入的可见光图像进行人脸目标的检测，输出人脸目标四维坐标、旋转角 度以及置信度；Stage 2中实现人脸目标四维坐标信息的回归和人脸具体旋转角度的 回归；

该人脸检测网络模型检测图像输出的若干个检测框，为四维坐标，包括其旋转角度和置信度信息；其置信度阈值来过滤掉部分误检的检测框，只保留置信度高于 的检测框；取值在[0.1,0.5]间；

步骤2加权NMS实现检测框抑制：对于人脸目标检测网络输出存在多个检测框检测到同一人脸目标的检测框，采用加权NMS，去除重叠检测框的同时，由多个检测框 加权决策新检测框位置；

对检测框进行加权NMS操作：

(a)设置集合H存储所有的检测框，并按照置信度从高到低排列；

(b)选择置信度最高的检测框m，将其放入集合M_i，其中i表示选取框的次数；

(c)设置阈值th_NMS，取值一般在[0.3,0.5]间，遍历其余检测框，计算其与m的 IoU，若高于th_NMS，则将其放入集合M_i；

(d)重复(b)、(c)步骤，至H集合为空，并得到一系列集合M_i；

(e)在每个集合上进行加权NMS，其计算方法为：

其中，p_{obj_j}表示集合中第j个检测框的置信度，t_j表示第j个检测框的四维坐标，t^′为加权NMS后得到的最终检测框位置。通过加权处理，让多个检测框共同确定新检 测框位置，提高检测精度。

通过步骤2，对检测框的数量进行了抑制，得到新的若干个检测框；

步骤3采用轻量级人脸关键点检测卷积神经网络模型对检测框中的人脸目标进行关键点检测：

该网络模型输出的关键点检测是归一化的检测值相较式(13)中关键点均值的差值，采用人脸图像的宽高、关键点均值数据得到真实关键点检测值：

(x_T,y_T)＝((x_mean+x)·w,(y_mean+y)·h) (16)

式中(x_T,y_T)表示真实关键点检测值，(x_mean,y_mean)表示关键点均值，(x,y)表示网络输出的关键点预测，w，h表示检测图像的宽高；

通过步骤3，可得到步骤2中输出检测框中人脸关键点检测值，至此完成复杂环 境下多人脸目标关键点检测任务。

有益效果

本发明提出的一种基于GIoU和加权NMS改进的人脸关键点检测方法，设计级联 式CNN，逐级实现以下子任务：1)图像中人脸目标检测和人脸朝向预测；2)回归人 脸目标检测框和确定人脸精确朝向；3)在检测到的人脸目标上采用Coarse-to-fine CNN 算法进行关键点提取。网络搭建均采用轻量级的深度可分离卷积网络，并使用GIoU 和加权NMS优化检测精度，弥补轻量级网络带来的精度下降问题，实现实时复杂环 境下多人脸关键点检测。首先，采用一个轻量级级联式人脸目标检测网络对图像中的 人脸目标进行检测和旋转角度检测，其中采用GIoU替代IoU作为目标框位置精度指 标，并采用IoU损失进行位置回归；其次，对获取的人脸目标采用加权NMS抑制方 法，获取图像中置信度高的人脸目标框；最后，采用一个轻量级级联式人脸关键点检 测网络，对人脸关键点进行检测和回归。由于所提出算法对两个检测网络都采用了深 度可分离卷积，相较传统卷积网络，提高了速度，增强算法实时性，并采用GIoU和 加权NMS在不额外增加运算量的前提下提高网络检测精度。该算法解决了传统的目 标检测加人脸关键点检测方法实时性差的问题，可在保证检测精度的情况下，对复杂 环境中多个不同旋转方向人脸目标进行实时的关键点检测。

本发明在关键点检测网络前级联一个轻量级人脸检测网络，实现实时的复杂环境下多人脸目标检测，同时，该网络可检测并修正人脸旋转角度，输出可直接用于人脸 关键点检测；另外采用GIoU和加权NMS改进人脸检测网络，以弥补轻量级网络带来 的精度不足问题。并且在整个任务中采用级联式神经网络，这种检测策略将任务“由 粗到精”分布至各个级联网络，减轻网络学习负担，可保持精度的情况下实现实时的 人脸关键点检测。

本发明将多人脸目标关键点检测任务划分为人脸检测和关键点检测两个子任务，通过级联网络的方式逐步实现，并采用了深度级可分离卷积神经网络搭建方式和GIoU 和加权NMS优化方法，兼顾了实时性和精度，可实现复杂环境下实时多人脸目标关 键点检测任务。

附图说明

图1：本发明方法的总体框架图；

图2：深度可分离卷积网络；

图3：级联网络搭建结构；

(a)人脸检测网络，(b)人脸关键点检测网络。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本文实验的硬件环境为：GPU：Intel至强系列，内存：8G，硬盘：500G机械硬 盘，独立显卡：NVIDIA GeForce GTX 1080Ti，11G；系统环境为Ubuntu 16.0.4；软件 环境为python3.6，OpenCV3.4.1，caffe。本文针对多人脸目标检测网络在WIDER FACE 数据集上进行验证，通过实际测试，召回率达到85.6％，单帧检测时长受人脸目标数 量影响，可达到5～50ms；人脸关键点检测网络在AFW和LFPW数据集上进行测试， 其对单个关键点检测的误差值在0.05以内，对单张人脸目标检测时长为20ms。在检 测到多人脸目标时采用跳帧检测的方式，可以保证检测的实时性要求。

本发明具体实施如下：

步骤1对可见光图像进行人脸目标检测，输出图像中人脸目标的位置、旋转角度和置信度信息。

(1)设计级联式人脸检测网络模型：利用该网络对输入的可见光图像进行人脸目标的检测，输出人脸目标四维坐标、旋转角度以及置信度。该网络分为Stage 1和Stage 2。在Stage 1中实现人脸目标四维坐标信息和人脸朝向的获取；在Stage 2中实现人脸 目标四维坐标信息的回归和人脸具体旋转角度的回归。其中，网络的backbone采用深 度可分离卷积网络进行搭建。设计其输出以及对应的损失函数。

(a)采用深度可分离卷积网络设计网络框架：

深度可分离卷积网络将传统卷积分解为一个深度卷积和一个1*1卷积，深度卷积针对每张输入特征图的卷积核个数固定为1。该卷积方式的卷积参数有K,S,P,Stride， 其中K为1*1卷积核的数量，也是其输出特征图的数量；S为卷积核大小(kernel size)； P为卷积过程中的padding方式；Stride为卷积核的步长。

若假设输入图像或特征图的参数为W_in×H_in×C_in，则在上述卷积规则下，其输 出特征图计算公式如下：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分 别设计了四层和五层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same， Stride＝2，K参数在conv1层中为16，并逐层倍增。Leaky ReLU如下所示：

(b)设计网络输出与损失函数：

特征提取网络后并行两个Softmax层和一个卷积层，Softmax层计算公式为：

各输出层含义即损失函数设计如下：

第一个Softmax层输出一个二维向量，第一维数据表示检测到人脸目标的概率p_obj， 第二维数据表示未检测到人脸目标的概率p_noobj，则有：

p_obj+p_noobj＝1 (20)

由此，可用p_obj表示检测目标的置信度。采用softmax loss回归置信度：

其中表示真值，y为网络输出值。

在Stage1中第二个Softmax层输出一个四维向量，将人脸朝向判别作为一个分类问题，四维坐标代表人脸朝向四个方向的置信度，同样采用(21)中的softmax loss 进行回归，设为L_ori。

在Stage2中将第二个Softmax层替换为一个卷积层加tanh激活函数该值表示网络预测的人脸的倾斜角度。tanh激活函数如下：

损失函数采用MSE损失函数：

卷积层输出代表了检测框的四维坐标，对检测框使用基于GIoU的IoU损失进行 回归。用B_DR表示检测结果，B_GT表示目标真值，则检测框IoU的计算公式为：

IoU＝|B_DR∩B_GT|/|B_DR∪B_GT| (24)

GIoU相较IoU可更好的衡量B_DR和B_GT间距离和重叠情况，设B_DR和B_GT求其封闭 轮廓最小面积凸包围框(smallest enclosing convex object)为C，则GIoU的计算公式为：

由于求解C的方式过于复杂，这里将其简化为求次优解，若B_DR和B_GT四维坐标为(x_{min_DR},y_{min_DR},x_{max_DR},y_{max_DR})和(x_{min_GT},y_{min_GT},x_{max_GT},y_{max_GT})，则C的计算公 式为：

检测框的四维坐标回归的IoU损失函数为：

L_IoU＝1-GIoU (27)

输出层的总损失函数为：

L＝L_obj+λ_oriL_ori+λ_IoUL_IoU (28)

其中，λ_ori和λ_IoU是用于平衡不同损失函数，取值应在[0.2,5]间。

(2)训练网络并使用训练好的网络模型进行人脸检测：

在含有人脸目标图像及相应标注信息的数据集上，采用梯度下降算法对步骤1中的网络进行训练。其中，Stage 2的输入为Stage 1的输出的检测框，并将其图像调整 至64×64大小便于网络训练。训练可获取一个人脸检测网络模型。

该人脸检测网络模型可在检测图像时输出若干个检测框，包括其方向和置信度信息。人工设置其置信度阈值来过滤掉部分误检的检测框，只保留置信度高于的 检测框。需根据网络模型性能经验性设置，取值一般在[0.1,0.5]间。

通过步骤1，可得到若干个检测框，这些检测框是由其四维坐标、旋转角度和置 信度等信息表示的。

步骤2加权NMS实现检测框抑制：人脸目标检测网络输出的检测框可能存在多个检测框检测到同一人脸目标，采用加权NMS，去除重叠检测框的同时，由多个检测框 加权决策新检测框位置。

对检测框进行加权NMS操作：

(a)设置集合H存储所有的检测框，并按照置信度从高到低排列；

(b)选择置信度最高的检测框m，将其放入集合M_i，其中i表示选取框的次数；

(c)设置阈值th_NMS，取值一般在[0.3,0.5]间，遍历其余检测框，计算其与m的 IoU，若高于th_NMS，则将其放入集合M_i；

(d)重复(b)、(c)步骤，至H集合为空，并得到一系列集合M_i；

(e)在每个集合上进行加权NMS，其计算方法为：

其中，p_{obj_j}表示集合中第j个检测框的置信度，t_j表示第j个检测框的四维坐标，t′为加权NMS后得到的最终检测框位置。通过加权处理，让多个检测框共同确定新检 测框位置，提高检测精度。

通过步骤2，对检测框的数量进行了抑制，得到新的若干个检测框。

步骤3对检测框中的人脸图像进行关键点检测：

(1)设计级联式人脸关键点检测网络模型：利用该网络对输入的人脸图像进行68个关键点检测。该网络分为Stage 1和Stage 2。在Stage 1中进行关键点的粗略检测； 在Stage 2中进行关键点的精细回归。其中，网络搭建原则与人脸检测网络相同，同样 采用深度可分离卷积网络。设计其输出以及对应的损失函数。

(a)采用深度可分离卷积网络设计网络框架：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分 别设计了五层和七层的卷积神经网络。深度可分离卷积的参数设置为S＝3，P＝same， K值随层数的增长设置为：16，32，64，128，128，256，256，在K增长的网络层上 设置Stride＝2，其余设置Stride＝1。

(b)设计网络输出与损失函数：

首先在数据集上对所有68个关键点位置进行归一化，并逐一求均值，假设关键点位置为(x_p,y_p)，人脸目标框ground truth的大小为(w,h)，则单个关键点的均值为：

(x_mean,y_mean)将作为关键点检测的先验，在网络预测时，只需预测回归真值与该 先验间的差值，而不需要去直接预测真值。在Stage 2中该先验需被Stage 1的输出更 新，即将Stage 1输出与(x_mean,y_mean)相加得到Stage 2的先验。

在(a)中的卷积神经网络后连接一个Global average Pooling层和FC层，FC层采用tanh激活函数输出136维向量，表示预测点相较归一化后关键点均值的偏差，采用 MSE损失函数来回归该偏差：

式中表示真值相较归一化后关键点均值的偏差，y_i表示预测点的偏差。

将Stage 1和Stage 2的输出相加，即为关键点的预测。

(2)训练网络模型并进行人脸关键点检测：

在包含68关键点信息的人脸图像数据集上对步骤1中的网络采用梯度下降算法进行训练。训练可获得一个人脸关键点检测网络模型。该网络模型输入为一副人脸图像， 输出为人脸68个关键点相较归一化后关键点均值的偏差。

将步骤2中的检测框依次输入该网络模型，得到136维的输出向量，使用人脸图 像的宽高、关键点均值等数据得到真实关键点检测值：

(x_T,y_T)＝((x_mean+x)·w,(y_mean+y)·h) (32)

式中(x_T,y_T)表示真实关键点检测值，(x_mean,y_mean)表示关键点均值，(x,y)表示网络输出的关键点预测，w，h表示检测图像的宽高。

通过步骤3，可得到步骤2中输出检测框中人脸关键点检测值，至此完成复杂环 境下多人脸目标关键点检测任务。

Claims (5)

1.一种轻量级人脸检测卷积神经网络模型，其特征在于：网络模型为两层Stage1和Stage2，每层网络采用“深度可分离卷积+Leaky ReLU”的结构分别为四层或五层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same，Stride＝2，K参数在conv1层中为16，并逐层倍增；所述Stage1对对输入的可见光图像进行人脸目标的检测，输出人脸目标四维坐标、旋转角度以及置信度；所述Stage2中实现人脸目标四维坐标信息的回归和人脸具体旋转角度的回归；

(1)采用深度可分离卷积网络设计网络框架：将传统卷积分解为一个深度卷积和一个1*1卷积，深度卷积针对每张输入特征图的卷积核个数固定为1；该卷积方式的卷积参数有K,S,P,Stride，其中K为1*1卷积核的数量，也是其输出特征图的数量；S为卷积核大小；P为卷积过程中的padding方式；Stride为卷积核的步长；

输入图像或特征图的参数为W_in×H_in×C_in，在上述卷积规则下，其输出特征图计算公式如下：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分别设计了四层和五层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same，Stride＝2，K参数在conv1层中为16，并逐层倍增；Leaky ReLU为：

(2)：设计网络输出与损失函数：

在上述网络框架后并行连接两个Softmax层和一个卷积层，Softmax层计算公式为：

各输出层含义即损失函数设计如下：

第一个Softmax层输出一个二维向量，第一维数据表示检测到人脸目标的概率p_obj，第二维数据表示未检测到人脸目标的概率p_noobj，则有检测目标的置信度：

p_obj+p_noobj＝1 (4)

采用Softmax loss回归置信度：

其中表示真值，y为网络输出值；

在Stage1中第二个Softmax层输出一个四维向量，将人脸朝向判别作为一个分类问题，四维坐标代表人脸朝向四个方向的置信度，同样采用公式5中的Softmax loss进行回归，设为L_ori；

在Stage2中将第二个Softmax层替换为一个全连接层加tanh激活函数该值表示网络预测的人脸的倾斜角度；Tanh激活函数如下：

损失函数采用MSE损失函数：

卷积层输出代表了检测框的四维坐标，对检测框使用基于GIoU的IoU损失进行回归；用B_DR表示检测结果，B_GT表示目标真值，则检测框IoU的计算公式为：

IoU＝|B_DR∩B_GT|/|B_DR∪B_GT| (8)

GIoU相较IoU可更好的衡量B_DR和B_GT间距离和重叠情况，设B_DR和B_GT求其封闭轮廓最小面积凸包围框为C，则GIoU的计算公式为：

若B_DR和B_GT四维坐标为(x_{min_DR},y_{min_DR},x_{max_DR},y_{max_DR})和(x_{min_GT},y_{min_GT},x_{max_GT},y_{max_GT})，则C的计算公式为：

检测框的四维坐标回归的IoU损失函数为：

L_IoU＝1-GIoU (11)

输出层的总损失函数为：

L＝L_obj+λ_oriL_ori+λ_IoUL_IoU (12)

其中，λ_ori和λ_IoU是用于平衡不同损失函数，取值应在[0.2,5]间；

由此得到一个基本的网络模型，它的输入是一幅可见光图像，输出是检测到的人脸的四维坐标、旋转角度和置信度信息；

所述网络的backbone采用深度可分离卷积网络进行搭建。

2.根据权利要求2所述的轻量级人脸检测卷积神经网络模型，其特征在于：在含有人脸目标图像及相应标注信息的数据集上，采用梯度下降算法对基本的网络模型进行训练：其中，Stage2的输入为Stage1的输出的检测框，并将其图像调整至64×64大小便于网络训练，得到一个训练完成的可进行人脸目标检测的网络模型。

3.一种轻量级人脸关键点检测卷积神经网络模型，其特征在于：网络对输入的人脸图像进行68个关键点检测，网络模型为两层Stage1和Stage2，在Stage1、Stage2中每层网络为五层和七层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same，K值随层数的增长设置为：16，32，64，128，128，256，256，在K增长的网络层上设置Stride＝2，其余设置Stride＝1；所述Stage1中进行关键点的粗略检测；所述Stage2中进行关键点的精细回归；

(1)采用深度可分离卷积网络设计网络框架：

在Stage1、Stage2中每层网络均采用“深度可分离卷积+Leaky ReLU”的结构分别设计了五层和七层的卷积神经网络，深度可分离卷积的参数设置为S＝3，P＝same，K值随层数的增长设置为：16，32，64，128，128，256，256，在K增长的网络层上设置Stride＝2，其余设置Stride＝1；

(2)设计网络输出与损失函数：

首先在数据集上对所有68个关键点位置进行归一化，并逐一求均值，假设关键点位置为(x_p,y_p)，人脸目标框ground truth的大小为(w,h)，则单个关键点的均值为：

(x_mean,y_mean)将作为关键点检测的先验，在网络预测时，只需预测回归真值与该先验间的差值，而不需要去直接预测真值；在Stage2中该先验需被Stage1的输出更新，即将Stage1输出与(x_mean,y_mean)相加得到Stage2的先验；

在(1)中的卷积神经网络后连接一个Global average Pooling层和FC层，FC层采用tanh激活函数输出136维向量，表示预测点相较归一化后关键点均值的偏差，采用MSE损失函数来回归该偏差：

式中表示真值相较归一化后关键点均值的偏差，y_i表示预测点的偏差；

将Stage1和Stage2的输出相加，即为关键点的预测；

经过步骤1，得到一个基本网络模型，它的输入是一张人脸图像，输出是人脸68个关键点的预测；

所述网络的backbone采用深度可分离卷积网络进行搭建。

4.根据权利要求3所述的轻量级人脸关键点检测卷积神经网络模型，其特征在于：所述网络模型在包含68关键点信息的人脸图像数据集上对网络模型采用梯度下降算法进行训练。

5.一种利用权利要求1所述轻量级人脸检测卷积神经网络模型和权利要求3所述轻量级人脸关键点检测卷积神经网络模型进行基于GIoU和加权NMS改进的人脸关键点检测方法，其特征在于步骤如下：

步骤1：采用轻量级人脸检测卷积神经网络模型对包含人脸目标的图像进行检测，Stage1对对输入的可见光图像进行人脸目标的检测，输出人脸目标四维坐标、旋转角度以及置信度；Stage2中实现人脸目标四维坐标信息的回归和人脸具体旋转角度的回归；

该人脸检测网络模型检测图像输出的若干个检测框，为四维坐标，包括其旋转角度和置信度信息；其置信度阈值th_cls来过滤掉部分误检的检测框，只保留置信度高于th_cls的检测框；th_cls取值在[0.1,0.5]间；

步骤2加权NMS实现检测框抑制：对于人脸目标检测网络输出存在多个检测框检测到同一人脸目标的检测框，采用加权NMS，去除重叠检测框的同时，由多个检测框加权决策新检测框位置；

对检测框进行加权NMS操作：

(a)设置集合H存储所有的检测框，并按照置信度从高到低排列；

(b)选择置信度最高的检测框m，将其放入集合M_i，其中i表示选取框的次数；

(c)设置阈值th_NMS，取值一般在[0.3,0.5]间，遍历其余检测框，计算其与m的IoU，若高于th_NMS，则将其放入集合M_i；

(d)重复(b)、(c)步骤，至H集合为空，并得到一系列集合M_i；

(e)在每个集合上进行加权NMS，其计算方法为：

其中，p_{obj_j}表示集合中第j个检测框的置信度，t_j表示第j个检测框的四维坐标，t′为加权NMS后得到的最终检测框位置；通过加权处理，让多个检测框共同确定新检测框位置，提高检测精度；

通过步骤2，对检测框的数量进行了抑制，得到新的若干个检测框；

步骤3采用轻量级人脸关键点检测卷积神经网络模型对检测框中的人脸目标进行关键点检测：

该网络模型输出的关键点检测是归一化的检测值相较式(13)中关键点均值的差值，采用人脸图像的宽高、关键点均值数据得到真实关键点检测值：

(x_T,y_T)＝((x_mean+x)·w,(y_mean+y)·h) (16)

式中(x_T,y_T)表示真实关键点检测值，(x_mean,y_mean)表示关键点均值，(x,y)表示网络输出的关键点预测，w，h表示检测图像的宽高；

通过步骤3，可得到步骤2中输出检测框中人脸关键点检测值，至此完成复杂环境下多人脸目标关键点检测任务。