CN111507248B - 一种低分辨热力图的人脸额头区域检测与定位方法及其系统 - Google Patents

Abstract

本发明公开了一种低分辨热力图的人脸额头区域检测与定位方法，包括以下步骤：清除红外摄像仪采集到热力图像中的无人脸和模糊图像，得到有效的热力图像集，将所述热力图像集分为训练集和测试集，并标记相应的标签；对带标签的训练集和测试集进行数据增强处理；利用双向多尺度特征和快速归一化融合方法联合为多尺度特征融合网络TwFPN；并基于带权重的多尺度特征融合网络TwFPN和联合缩放算法，求得DEfficientNet人脸额头检测模型；将带标签的训练集输入至DEfficientNet人脸额头检测模型中，提取最优的额头区域特征，并获得最优的人脸额头检测模型；将带标签的测试集输入至最优的人脸额头检测模型中，以获得人脸的额头区域，并在额头区域附加检测框。

Description

一种低分辨热力图的人脸额头区域检测与定位方法及其系统

技术领域

本发明涉及人脸目标检测技术领域，尤其是一种低分辨热力图的人脸额头区域检测与定位方法及其系统。

背景技术

随着社会的进步和发展，人脸目标检测技术在公共安全领域起着非常关键的作用，例如，人脸检测算法可以检测视频中发高烧的人员；另外，人脸识别技术可以在视频监控中实时检测可疑的犯罪嫌疑人员，来帮助相关人员及时报警和预警。因此，许多科研人员花费了大量的时间和成本来开发一种实时、高效的人脸检测算法，以满足不同的功能需要。目前，在实际的场景中，人脸检测主要有如下的难点导致人脸检测的识别率较低：

第一，摄像头安装的位置一般比较高，与行人之间有一定的角度，很难采集到正面的人脸图像；

第二，随着人数的增多，行人之间的相互遮挡或阻塞，不能得到清晰完整的五官区域(眼睛、鼻子、嘴巴等)的图像；

第三，行人的分辨率与摄像机位置有关，距离摄像头越远行人的分辨率小；

第四，可见光对光照变化、夜间可视性及其他恶劣环境的影响较大，人脸图片与真实图片的视差较大，从而无法获得真实场景中的信息，尤其在低分辨率的情况下，更难分辨人脸图像。而红外成像热力图有非接触、易判别，即使在深夜也能够采集清晰的图片。另外，热力图在低分辨率情形下，通过显著区域能够检测人脸，有效地避免了可见光的许多缺点。

例如，专利申请号为“201811040656.0”、名称为“一种基于深度多特征融合级联回归的人脸关键点定位方法”的中国发明申请专利，其首先将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位，其次根据定位结果将其对应的人脸图像进行校正，同时计算初步定位结果的热力图，然后将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正，最后根据实际预测精度决定是否再次进行人脸关键点修正。但是，其存在以下问题：

第一，该技术的人脸关键点定位的精度严重依赖所用的“两眼间的瞳孔距离”，但在复杂的场景中，人与人之间的相互遮挡或阻塞，不能得到清晰完整五官区域(眼睛、鼻子、嘴巴等)的图像，使人脸关键点的检测精度大大降低；

第二，该技术将深度网络的多层特征进行融合，并使用回归的方法来初步定位人脸的关键点，然后根据定位结果来校正人脸图像，接着将校正后的图像和热力图重复不断地输入深度网络中，以修正人脸关键点。此过程太复杂，增加了模型的复杂度使算法的效率不高；

第三，由于不同图像的分辨率对人脸关键点检测结果的影响不同，该技术将这些不同人脸图像的分辨率统一调整为相同大小，不能很好地区分人脸图像的关键点不均等地影响特征融合。

不仅如此，基于以上人脸检测的难点分析，许多研究人员使用基于肤色的方法来检测人脸，此方法不受人脸面部细节的限制，算法稳定能够很好的区分背景信息，主要通过肤色模型(高斯概率统计)来统计像素的空间分布，从而通过肤色模型来判断是否属于人脸区域。但是此方法没有统计额头区域的发色和肤色，导致人脸检测的效果差。为了弥补以上缺点，许多研究人员基于低分辨热力图来检测和定位人脸的额头区域，以便对人脸的额头区域进行定位分析。最近几年，一些检测算法大大提高了人脸额头区域的精确度，但是检测模型的开发成本也越来越贵。例如，最新的AmoebaNet算法模型复杂度高，需要更大的参数量才能达到比较好的精度，这些复杂度高的模型和高额的成本阻碍了人脸检测模型的发展。因此，急需要提出一种实时、高效的人脸额头检测模型，以便在有限的资源条件下(带口罩或夜间等)，能够找到每个人的额头区域，以精确地测量人的体温。

然而，目前额头检测模型还存在以下的缺点：

第一，许多人脸额头检测模型的实时性较差，例如，人脸图像通过Softmax函数来融合不同的特征，降低了GPU的运行时间，从而增加了算法的运行时间；

第二，FPN人脸检测模型单向网络的限制，具有比较低的精确度，模型复杂度高并且需要较大的参数量。另外，许多目标检测网络模型(PANet和NAS-FPN)跨尺度融合了不同的人脸图像特征，但只是简单地将这些不同分辨率的输入特征相加，没有考虑这些不同分辨率的输入特征对网络模型的影响。

第三，为了增加检测模型的精确度，许多研究将人脸图像输入更大的主干网络或者扩大输入图像的分辨率，但这些模型的复杂度大大增加，不能实时地检测人脸额头区域。

因此，急需要提出一种高效、准确的低分辨热力图的人脸额头区域检测与定位方法及其系统，以实时检测和定位人脸额头区域。

发明内容

针对上述问题，本发明的目的在于提供一种低分辨热力图的人脸额头区域检测与定位方法及其系统，本发明采用的技术方案如下：

一种低分辨热力图的人脸额头区域检测与定位方法，包括以下步骤：

清除红外摄像仪采集到热力图像中的无人脸和模糊图像，得到有效的热力图像集，将所述热力图像集分为训练集和测试集，并标记相应的标签；

对带标签的训练集和测试集进行数据增强处理；

利用双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN；并基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型；

将带标签的训练集输入至DEfficientNet人脸额头检测模型中，提取最优的额头区域特征，并获得最优的人脸额头检测模型；

将带标签的测试集输入至最优的人脸额头检测模型中，以获得人脸的额头区域，并在额头区域附加检测框。

进一步地，所述对带标签的训练集和测试集进行数据增强处理，包括对带标签的训练集和测试集进行图片混合、人脸额头区域框做数据抖动、水平和垂直翻转。

进一步地，所述DEfficientNet人脸额头检测模型的构建过程如下：

利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构；

向带标签的训练集的图像加入特征权重，融合得到带权重的双向多尺度特征网络TwFPN；

基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型。

更进一步地，所述利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构，包括以下步骤：

移除PANet网络中单一输入的节点；

在同一级的PANet网络中的输入和输出之间新增一条边；

并将PANet网络中任一自上而下和自下而上的路径作为特征网络层，以得到双向跨尺度连接的网络结构。

更进一步地，所述将双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN，包括以下步骤：

对带标签的训练集的图像加入特征权重，采用快速归一化算法进行特征融合，其表达式为：

其中，i和j表示热力图像的张数，w_i表示特征权重，ε表示常数，其取值为0.001，I_i表示热力图像。

采用多尺度特征融合网络TwFPN的第p3至p7级融合得到多尺度特征融合，且第六级采用两个融合特征，其表达式为：

其中，p₆ ⁱⁿ表示第六级的图像输入特征，p₆ ^td表示第六级的中间特征，p₅ ^out表示第五级的图像输出特征，且p₇ ⁱⁿ表示第七级的图像输入特征。

优选地，所述DEfficientNet人脸额头检测模型采用ImageNet网络作为主干网络，以TwFPN网络作为特征网络，且以class/box网络作为预测网络。

进一步地，所述联合缩放算法，包括以下步骤：

优化求得双向多尺度特征网络TwFPN的宽度W_twFPN和深度D_twFPN，其表达是为：

W_twfpn＝64×(1.35^φ)

D_twfpn＝3+φ

其中，φ表示TwFPN网络宽度和深度的缩放系数。

设置双向多尺度特征网络TwFPN的宽度W_twFPN和深度D_twFPN相等，求得双向多尺度特征网络TwFPN的网络深度D_box线性增加量，其表达式为：

输入带标签的训练集的热力图像的分辨率，以实现联合缩放；所述分辨率的表达式为：

R_input＝512+φ×128。

更进一步地，所述将带标签的训练集输入至DEfficientNet人脸额头检测模型中，提取最优的额头区域特征，并获得最优的人脸额头检测模型，包括以下步骤：

初始化DEfficientNet人脸额头检测模型的网络参数；

将带标签的训练集的热力图像输入至DEfficientNet人脸额头检测模型的主干网络、特征网络和预测网络；

采用SGD梯度下降算法优化主干网络、特征网络和预测网络，提取最优的额头区域特征，并获得最优的人脸额头检测模型。

进一步地，所述人脸额头区域检测与定位方法，还包括将有效的热力图像集的热力图像设置成大小为32*32，并按7:3划分为训练集和测试集。

一种低分辨热力图的人脸额头区域检测与定位系统，包括：

数据预处理模块，用于清除红外摄像仪采集到热力图像中的无人脸和模糊图像，并将有效的热力图像集划分为训练集和测试集，标记相应的标签；

特征提取模块，对带标签的训练集和测试集进行数据增强处理；利用双向多尺度特征和快速归一化融合联合为多尺度特征网络TwFPN，并基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型；提取最优的额头区域特征，并获得最优的人脸额头检测模型；

人脸额头目标检测模块，利用最优的人脸额头检测模型获取测试集中的额头区域；

人脸额头定位模块，根据人脸的额头区域，并在额头区域附加检测框。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地用预处理方法清除红外摄像仪采集到热力图像中的无人脸和模糊图像的数据集，其有利于提高人脸识别的准确度，并提高网络模型的计算速度，从而提升整体算法的性能；

(2)本发明采用对训练集和测试集进行图片混合、人脸额头区域框做数据抖动、水平和垂直翻转等预处理，有效地防止了图像拟合；

(3)本发明巧妙地设置了一个带权重的双向多尺度特征网络(TwFPN)，解决了FPN网络单向流的限制，节省了大量的开发时间，并且提高了检测算法的准确度；

(4)本发明采用快速归一化融合处理，一方面有效地限制了权重的范围，能够更稳定的训练人脸数据集；另一方面有效防止了Softmax融合函数使GPU硬件的速度显著下降，从而提升了检测算法的效率；

(5)本发明巧妙地构建了以ImageNet网络作为主干网络、TwFPN网络作为特征网络、且以class/box网络作为预测网络的DEfficientNet人脸额头检测模型，其目标检测算法的准确度高，还提高了目标检测上的性能，降低了模型的复杂度；

(6)本发明采用了联合缩放算法，以解决单一的或有限维度上的缩放，优化了DEfficientNet的总体网络的准确性和效率。联合缩放算法比其他单一缩放方法的精确度高，提升了检测模型的准确性；

(7)本发明采用SGD随机梯度下降算法，不仅加快了训练的速度，还减少了算法检测的时间。另外，此模型能够在大规模数据集下，实时检测人脸的额头区域，能够有效地应用在真实的场景中。

综上所述，本发明具有高效准确、计算工作量少、模型简单等优点，在人脸目标检测技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的系统原理图。

图2为本发明的双向多尺度特征融合网络TwFPN的结构框架图。

图3为本发明的三种特征节点在训练时采用softmax和快速归一化融合函数对权重影响测试图。

图4为本发明的网络架构图。

图5为联合缩放和单一缩放算法的对比图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图5所示，本实施例提供了一种低分辨热力图的人脸额头区域检测与定位系统，包括数据预处理模块、特征提取模块、人脸额头目标检测模块和人脸额头定位模块；

其中，数据预处理模块，通过红外摄像仪采集到热力图像后，清除非人脸和模糊的无用图片，设置人脸图片相同(低分辨)的大小为32×32，然后按7：3划分训练集和测试集，并将这些数据集标记相应的标签(1为额头区域，0为非额头区域)，最后将带标签的数据集(训练和测试)转化为相应的tfrecord格式文件，以多线程并行化读取人脸数据；

特征提取模块，将带标签的数据通过数据增强方法(图片混合mixup，人脸额头区域框做数据抖动，水平和垂直翻转等)来防止过拟合。本发明将双向多尺度特征和快速归一化融合方法联合为多尺度特征融合网络TwFPN，基于带权重的多尺度特征融合网络和联合缩放方法，提出DEfficientNet的总体网络架构，从而提出了DEfficientNet人脸额头检测模型。将增强后的训练集输入DEfficientNet网络模型中训练，以提取人脸中最好的额头区域特征，从而得到最优的人脸额头检测模型；

人脸额头目标检测，测试集数据通过训练好的最优模型来检测人脸的额头区域；

人脸额头定位，根据检测的额头区域，在相应的区域标上矩形框。

下面详细阐述一种低分辨热力图的人脸额头区域检测与定位方法，本实施例提出了带权重的双向多尺度特征融合网络(TwFPN)和DEfficientNet检测模型，先介绍TwFPN的详细步骤：

第一步，如图2(a)所示，由于传统的FPN受到网络单向流的限制，使人脸额头的准确度不高。为了解决上述问题，在图2(b)PANet的右侧新添加一个自底向上的网络结构。另外，不同图像的分辨率对额头检测结果的影响不同，而很多研究人员只是将这些不同输入图像的分辨率统一调整为相同大小，然后再简单相加。最近，NAS-FPN(如图2(c)所示)使用神经体系结构搜索来查找更好的跨尺度特征网络的拓扑结构，由于网络结构是无规律的，在搜索过程中消耗了大量的时间，并且此网络结构复杂，很难修改网络的结构。因此，本实施例提出了有效的双向TwFPN多尺度特征融合网络(如图2(f)所示)，在以下两方面进行了改进：

1)有效的双向(自上而下和自下而上)跨尺度连接；

2)特征权重快速归一化融合。

输入不同分辨率的图像，使用多尺度方法来融合不同分辨率的图像，例如，一系列输入特征pⁱⁿ＝(p_l1 ⁱⁿ，p_l2 ⁱⁿ，…，p_li ⁱⁿ)通过f函数融合为一系列新的输出特征p^out。其中，p_li ⁱⁿ表示li级别上的特征。多尺度特征融合公式为：

p^out＝f(pⁱⁿ)

则级别在3到7层的一系列输入特征为：

pⁱⁿ＝(p₃ ⁱⁿ,...,p₇ ⁱⁿ)

其中p_i ⁱⁿ表示分辨率为输入图像的1/2ⁱ倍；FPN自顶向下融合多尺度输入图像特征的公式为：

其中，Resize为调整图像的大小(上采样或下采样操作)，Conv为网络层的卷积操作。

第二步，由于FPN网络单向流的限制，使人脸额头的精确度不高。为了提高检测算法的准确度，使用以下3个步骤改进网络结构。

(1)如图2(e)所示，PANet网络的输入只有一个节点，没有与其他结点特征融合，则精确度不高，因此移除网络中只有一个输入的节点。

(2)如图2(e)所示，在同一级别的输入和输出节点中添加一条额外的边，以在同一级别上融合更多的特征。

(3)将每个双向(自上而下和自下而上)PANet路径看作一个特征网络层，连接多个PANet来融合更多的特征。

第三步，不同输入图像的分辨率对额头检测结果的影响不同，而很多研究人员只是将这些不同输入图像的分辨率统一调整为相同大小，然后再简单相加。为了提高算法的精确度，本实施例在每个输入图像中加入特征权重，并让神经网络学习每个输入特征的权重。

有以下三种加权特征融合的方法：

(1)Unbounded fusion

w_i是学习的权重，w_i可以在最小的计算成本下实现较好的精度。但是权重w_i没有边界，会导致训练不稳定；I_i表示第i张人脸的特征值。因此，输入图像使用权以下公式来限制每个权重的范围。

其中，w_j表示学习的权重；I_i表示第i张人脸的特征值。

(2)Softmax-based fusion

Softmax融合函数通过每个权重来表示每个输入的重要性，将所有权重归一化的范围限定为0到1。然而，Softmax融合函数会导致GPU硬件的速度显著下降，为了最小化时间成本，提出了一种快速融合(Fast normalized fusion)方法。

(3)Fast normalized fusion

其中，w_i≥0，ε＝0.001以防止分母为零。由于没有Softmax函数操作延迟GPU运行的时间，快速融合方法节省了大量的时间。

第四步，本发明将双向多尺度特征和快速归一化融合方法联合为双向多尺度特征融合网络TwFPN。本实施例采用TwFPN网络的第p3至p7级融合得到多尺度特征融合，则第6级的两个融合特征分别为：

其中，p₆ ^td是第6级的中间特征，p₆ ^out是第6级的输出特征。

第五步，为了验证快速归一化融合方法的可行性和有效性，实验设置三个不同的模型(Model1，Model2和Model3)，分别使用Softmax和快速归一化融合进行比较，结果如表1所示。快速归一化融合方法在三个模型的精确度与Softmax类似，但是快速归一化融合方法克服了Softmax额外的时间消耗，速度提高了1.27到1.3倍。

表1 Softmax和快速归一化融合算法的比较

第六步，为了进一步了解三个特征节点在训练时，特征权重对结果的影响。本实验将三个特征节点分别使用两种算法(softmax和快速归一融合)来测试特征权重的影响，这些特征节点是从TwFPN网络层中随机选取的。如图3所示，在训练时节点的特征权重发生了极大的改变，表明不同的特征节点不均等地影响特征融合。尽管三个特征节点的权重变化得很快，经Fast normalized fusion与softmax训练后具有非常相似的特征权重曲线。

表2显示不同网络模型的精确度和模型复杂度的比较。由于FPN单向网络固有的限制，具有最低的精确度，模型复杂度高并且需要较大的参数量。PANet新添加了自下而上的网络流向，精确度比单向FPN提高了2mps。另外，PANet的精确度比NAS-FPN高，但模型更复杂导致需要更多的参数量。TwFPN与PANet的精确度相似，但是TwFPN模型更简单，需要较少的参数量。另外，带有权重融合的TwFPN精确度最高，模型最简单并且需要的参数量最少。

表2 比较不同特征网络的精确度

下面详细阐述联合缩放人脸额头检测模型，其具体网络结构如下：

DEfficientNet的总体主干网络架构，图4显示了DEfficientNet的总体架构，此网络架构使用ImageNet作为EfficientNet的主干网络。TwFPN作为特征网络，它从主干网络中获取3到7级{p₃，p₄，p₅，p₆，p₇}，反复地应用自上而下和自下而上的双向特征融合，以融合更多的特征。这些融合的特征输入class和box网络中分别检测额头和定位人脸额头区域。

(1)联合缩放(Compound Scaling)

最初本领域的技术人员在各种受限资源的情况下使用更大的主干网络，或者输入更大的图像或堆叠更多的网络结构来优化人脸额头检测模型，这些方法局限于单一的或有限的维度上缩放，模型的精确度和效率都比较低。为了优化检测网络的准确性，目前，本领域的技术人员使用单一的缩放技术(网络的宽度、深度和图像大小)，提高了目标检测的精确度。基于以上研究，本发明提出了一种全新的人脸额头检测网络DEfficientNet，该网络扩展了基准的EfficientNet主干网络，使用简单的联合系数φ来缩放主干网络、TwFPN特征网络和class/box预测网络的宽度、高度和图像分辨率，具体结构如下：

主干网络(Backbone network)，设置EfficientNet的宽度和深度使用相同的缩放系数φ，因此可以复用ImageNet模型的checkpoints文件，以继续上一阶段的训练过程。

特征网络(TwFPN network)，本发明TwFPN的深度D_TwFPN，通过一系列参数(1.2，1.25，1.3，1.35，1.4，1.45)网格搜索得到最优的值(1.35)。最优的1.35作为宽度比例系数，以线性增加TwFPN的深度，则TwFPN的宽度(W_twFPN)和深度(D_twFPN)使用以下公式进行缩放：

W_twfpn＝64×(1.35^φ)

D_twfpn＝3+φ

预测网络(Box/class prediction network)，本发明设置与TwFPN相同的宽度(W_pred＝W_twFPN)，网络深度(D_box)线性增加的公式如下：

输入图像的分辨率(Input image resolution)，由于在TwFPN中使用了3至7层的特征层，输入图像的分辨率需要除以128(2⁷＝128)，因此输入图像的分辨率R_input使用以下公式来线性增加：

R_input＝512+φ×128

实验1，表3显示DEfficientNet从D0到D6的参数配置，φ为缩放系数，用来联合扩展主干网络、TwFPN特征网络和box/class预测网络的深度、宽度和图像分辨率大小。

表3 DEfficientNet从D0到D6的参数配置

如图5所示，比较了联合缩放和其他单一缩放方法的深度、宽度和图像大小。尽管这些缩放算法的精确度从相同起点开始，联合缩放方法比其他单一缩放方法的精确度高，表明了联合缩放比单一缩放的效果好，能够提升模型的准确性。

实验2，为了验证DEfficientNet在人脸数据集ORL(12000个人的500000张图片)的准确性和效率，实验比较了DEfficientNet和其他目标检测算法。实验采用SGD随机梯度下降法来优化DEfficientNet网络结构，动量为0.9，权重衰减为0.00004，学习率为0.16，然后使用cosine衰减规则来降低学习率，批处理为128。实验结果如表4可知，DEfficientNet的准确度和性能比他目标检测算法高，DEfficientNet-D0与YOLOv3的精确度相似，但模型复杂度(FLOPs)更低。DEfficientNet-D1与其他目标检测模型(RetinaNet和Mask-RCNN)的精确度相似，但模型复杂度(FLOPs)更低并且所需的参数量更少。同样，DEfficientNet-D6的精确度优于NAS-FPN，模型复杂度(FLOPs)更低。由此可知，基于DEfficientNet人脸额头检测模型比其他检测算法的准确度高并且性能更好，同时模型的复杂度更低。从表可知，DEfficientNet网络模型在GPU上的速度加快了3.2倍，在CPU上的速度快了8.1倍。

表4 DEfficientNet与其他检测算法的比较

实验3，为了验证主干网络和TwFPN对DEfficientNet网络的影响，实验用ResNet50网络结合自上而下的FPN网络结构，然后用DEfficientNet-B3代替ResNet-50网络。实验结果如表5所示，替换后网络模型提高了3.3mAP的精确度，降低了模型的复杂度的同时，也减少了参数量。接着用TwFPN代替FPN，模型的精确度提高了4mAP，降低了模型的复杂度的同时，也减少了模型所需要的参数量。实验结果表明DEfficientNet和TwFPN的结合(DEfficientNet)能提高模型精确度和减少模型的复杂度，并且减少了所需的参数量。

表5 主干网络和TwFPN网络的比较

在本发明中，通过以上实验系统地研究了各种网络结构设计来检测人脸的额头区域的准确度和性能。基于不同图像的分辨率对检测结果的影响，提出了带权重的双向特征网络TwFPN和一种新的联合缩放方法(联合缩放主干网络，特征网络和box/class预测网络的深度、宽度和分辨率)，以提高人脸额头检测的准确性。基于这些优化的TwFPN和联合缩放方法，设计了一个新的DEfficientNet检测器，该检测器在有限的资源条件下比之前的检测方法有更高的准确性和性能。特别是DEfficientNet比现有的人脸额头检测方法的精确度高，模型复杂度低并且参数量少。综上所述，本发明具有较高的准确度和性能，在目标检测技术领域有非常高的实用价值和推广价值。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (9)

1.一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，包括以下步骤：

清除红外摄像仪采集到热力图像中的无人脸和模糊图像，得到有效的热力图像集，将所述热力图像集分为训练集和测试集，并标记相应的标签；

对带标签的训练集和测试集进行数据增强处理；

利用双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN；并基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型；

将带标签的训练集输入至DEfficientNet人脸额头检测模型中，提取最优的额头区域特征，并获得最优的人脸额头检测模型；

将带标签的测试集输入至最优的人脸额头检测模型中，以获得人脸的额头区域，并在额头区域附加检测框，

所述将双向多尺度特征和快速归一化融合联合为多尺度特征融合网络TwFPN，包括以下步骤：

对带标签的训练集的图像加入特征权重，采用快速归一化算法进行特征融合，其表达式为：

其中，i表示热力图像的张数，w_i表示特征权重，ε表示常数，其取值为0.001；

采用多尺度特征融合网络TwFPN的第p3至p7级融合得到多尺度特征融合，且第六级采用两个融合特征，其表达式为：

其中，p₆ ⁱⁿ表示第六级的图像输入特征，p₆ ^td表示第六级的中间特征，p₅ ^out表示第五级的图像输出特征，且p₇ ⁱⁿ表示第七级的图像输入特征。

2.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述对带标签的训练集和测试集进行数据增强处理，包括对带标签的训练集和测试集进行图片混合、人脸额头区域框做数据抖动、水平和垂直翻转。

3.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述DEfficientNet人脸额头检测模型的构建过程如下：

利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构；

向带标签的训练集的图像加入特征权重，融合得到带权重的双向多尺度特征网络TwFPN；

基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型。

4.根据权利要求3所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述利用PANet网络将单向FPN网络结构修改为双向跨尺度连接的网络结构，包括以下步骤：

移除PANet网络中单一输入的节点；

在同一级的PANet网络中的输入和输出之间新增一条边；

并将PANet网络中任一自上而下和自下而上的路径作为特征网络层，以得到双向跨尺度连接的网络结构。

5.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述DEfficientNet人脸额头检测模型采用ImageNet网络作为主干网络，以TwFPN网络作为特征网络，且以class/box网络作为预测网络。

6.根据权利要求5所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述联合缩放算法，包括以下步骤：

优化求得双向多尺度特征网络TwFPN的宽度W_twFPN和深度D_twFPN，其表达是为：

W_twfpn＝64×(1.35^φ)

D_twfpn＝3+φ

其中，φ表示TwFPN网络宽度和深度的缩放系数；

设置双向多尺度特征网络TwFPN的宽度W_twFPN和深度D_twFPN相等，求得双向多尺度特征网络TwFPN的网络深度D_box线性增加量，其表达式为：

输入带标签的训练集的热力图像的分辨率，以实现联合缩放；所述分辨率的表达式为：

R_input＝512+φ×128。

7.根据权利要求5所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，所述将带标签的训练集输入至DEfficientNet人脸额头检测模型中，提取最优的额头区域特征，并获得最优的人脸额头检测模型，包括以下步骤：

初始化DEfficientNet人脸额头检测模型的网络参数；

将带标签的训练集的热力图像输入至DEfficientNet人脸额头检测模型的主干网络、特征网络和预测网络；

采用SGD梯度下降算法优化主干网络、特征网络和预测网络，提取最优的额头区域特征，并获得最优的人脸额头检测模型。

8.根据权利要求1所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，还包括将有效的热力图像集的热力图像设置成大小为32*32，并按7:3划分为训练集和测试集。

9.一种低分辨热力图的人脸额头区域检测与定位系统，包括权利要求1～8任意一项所述的一种低分辨热力图的人脸额头区域检测与定位方法，其特征在于，还包括：

数据预处理模块，用于清除红外摄像仪采集到热力图像中的无人脸和模糊图像，并将有效的热力图像集划分为训练集和测试集，标记相应的标签；

特征提取模块，对带标签的训练集和测试集进行数据增强处理；利用双向多尺度特征和快速归一化融合联合为多尺度特征网络TwFPN，并基于带权重的多尺度特征融合网络和联合缩放算法，求得DEfficientNet人脸额头检测模型；提取最优的额头区域特征，并获得最优的人脸额头检测模型；

人脸额头目标检测模块，利用最优的人脸额头检测模型获取测试集中的额头区域；

人脸额头定位模块，根据人脸的额头区域，并在额头区域附加检测框。

Images