CN113128413A - 一种人脸检测模型训练方法、人脸检测方法及其相关装置 - Google Patents

一种人脸检测模型训练方法、人脸检测方法及其相关装置 Download PDF

Info

Publication number
CN113128413A
CN113128413A CN202110437081.1A CN202110437081A CN113128413A CN 113128413 A CN113128413 A CN 113128413A CN 202110437081 A CN202110437081 A CN 202110437081A CN 113128413 A CN113128413 A CN 113128413A
Authority
CN
China
Prior art keywords
face
network
face detection
key point
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110437081.1A
Other languages
English (en)
Inventor
袁丽莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Weaving Point Intelligent Technology Co ltd
Original Assignee
Guangzhou Weaving Point Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Weaving Point Intelligent Technology Co ltd filed Critical Guangzhou Weaving Point Intelligent Technology Co ltd
Priority to CN202110437081.1A priority Critical patent/CN113128413A/zh
Publication of CN113128413A publication Critical patent/CN113128413A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种人脸检测模型训练方法、人脸检测方法及其相关装置，构建的人脸检测网络包括主干网络、转置卷积模块和预测模块，主干网络中的若干个卷积模块与转置卷积模块跳跃连接；将具有标签信息的人脸训练样本输入到人脸检测网络，通过主干网络对人脸训练样本进行卷积，通过转置卷积模块对目标卷积特征图进行上采样，通过预测模块对采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到人脸预测结果；基于人脸预测结果和标签信息计算网络损失值，进而更新网络参数，得到人脸检测模型。本申请解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。

Description

一种人脸检测模型训练方法、人脸检测方法及其相关装置
技术领域
本申请涉及人脸检测技术领域，尤其涉及一种人脸检测模型训练方法、人脸检测方法及其相关装置。
背景技术
人脸检测是自动识别系统中的一个重要环节，其包括人脸框检测、人脸关键点检测，现有技术需要采用两个网络模型进行人脸框检测和人脸关键点检测，使得模型使用效率较低；且在一个设备中嵌入多个网络模型进行人脸检测，会影响设备的检测速度。若简单的将人脸框检测、人脸关键点检测集成在一个网络模型中，检测精度难以保证。
因此，提供一种高精度的人脸检测方法是目前亟需解决的技术问题。
发明内容
本申请提供了一种人脸检测模型训练方法、人脸检测方法及其相关装置，用于解决现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
有鉴于此，本申请第一方面提供了一种人脸检测模型训练方法，包括：
构建人脸检测网络，所述人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，所述主干网络中的若干个卷积模块与所述转置卷积模块跳跃连接；
获取人脸训练样本，所述人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；
将所述人脸训练样本输入到所述人脸检测网络，使得所述主干网络对所述人脸训练样本进行卷积处理，所述转置卷积模块对所述主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，所述预测模块对所述采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到所述人脸训练样本的人脸预测结果，其中，所述目标卷积特征图包括所述主干网络最后一个卷积模块输出的卷积特征图，以及与所述转置卷积模块跳跃连接的卷积模块输出的卷积特征图；
基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，并通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
可选的，所述主干网络为采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层得到的改进后的MobileNetV3网络，所述主干网络的第五个卷积模块的输出端与所述转置卷积模块的第一个转置卷积层的输出端跳跃连接，所述主干网络的第四个卷积模块的输出端与所述转置卷积模块的第二个转置卷积层的输出端跳跃连接。
可选的，所述人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，所述基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，包括：
根据所述人脸训练样本的所述真实人脸关键点坐标和所述人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；
根据所述人脸训练样本的所述真实人脸检测框和所述人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；
根据所述人脸训练样本的所述人脸关键点偏置预测结果，以及所述真实人脸检测框的中心点和所述人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；
根据预置权重对所述人脸关键点损失值、所述人脸关键点偏置损失值和所述人脸尺寸损失值进行加权求和，得到最终的网络损失值。
本申请第二方面提供了一种人脸检测方法，包括：
获取待检测人脸图像；
将所述待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到所述待检测人脸图像的人脸预测结果，其中，所述人脸检测模型通过权利要求第一方面任一种所述的人脸检测模型训练方法得到。
本申请第三方面提供了一种人脸检测模型训练装置，包括：
构建单元，用于构建人脸检测网络，所述人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，所述主干网络中的若干个卷积模块与所述转置卷积模块跳跃连接；
获取单元，用于获取人脸训练样本，所述人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；
输入单元，用于将所述人脸训练样本输入到所述人脸检测网络，使得所述主干网络对所述人脸训练样本进行卷积处理，所述转置卷积模块对所述主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，所述预测模块对所述采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到所述人脸训练样本的人脸预测结果，其中，所述目标卷积特征图包括所述主干网络最后一个卷积模块输出的卷积特征图，以及与所述转置卷积模块跳跃连接的卷积模块输出的卷积特征图；
计算单元，用于基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，并通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
可选的，所述主干网络为采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层得到的改进后的MobileNetV3网络，所述主干网络的第五个卷积模块的输出端与所述转置卷积模块的第一个转置卷积层的输出端跳跃连接，所述主干网络的第四个卷积模块的输出端与所述转置卷积模块的第二个转置卷积层的输出端跳跃连接。
可选的，所述人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，所述计算单元具体用于：
根据所述人脸训练样本的所述真实人脸关键点坐标和所述人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；
根据所述人脸训练样本的所述真实人脸检测框和所述人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；
根据所述人脸训练样本的所述人脸关键点偏置预测结果，以及所述真实人脸检测框的中心点和所述人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；
根据预置权重对所述人脸关键点损失值、所述人脸关键点偏置损失值和所述人脸尺寸损失值进行加权求和，得到最终的网络损失值；
通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
本申请第三方面提供了一种人脸检测装置，包括：
获取单元，用于获取待检测人脸图像；
预测单元，用于将所述待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到所述待检测人脸图像的人脸预测结果，其中，所述人脸检测模型通过第一方面任一种所述的人脸检测模型训练方法得到。
本申请第四方面提供了一种设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的人脸检测模型训练方法，或执行第二方面所述的人脸检测方法。
本申请第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的人脸检测模型训练方法，或执行第二方面所述的人脸检测方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种人脸检测模型训练方法，包括：构建人脸检测网络，人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，主干网络中的若干个卷积模块与转置卷积模块跳跃连接；获取人脸训练样本，人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；将人脸训练样本输入到人脸检测网络，使得主干网络对人脸训练样本进行卷积处理，转置卷积模块对主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，预测模块对采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到人脸训练样本的人脸预测结果，其中，目标卷积特征图包括主干网络最后一个卷积模块输出的卷积特征图，以及与转置卷积模块跳跃连接的卷积模块输出的卷积特征图；基于人脸训练样本的人脸预测结果和标签信息计算网络损失值，并通过网络损失值更新人脸检测网络的参数，直至人脸检测网络收敛，得到人脸检测模型。
本申请中，构建人脸检测网络时，在主干网络后增加一个转置卷积模块，通过转置卷积模块还原待检测人脸图像中的人脸的位置和语义信息，通过将主干网络中的卷积模块与转置卷积模块进行跳跃连接，通过跳跃连接来弥补上采样过程中丢失的细节数据，提高人脸检测准确率；通过预测模块进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，通过人脸关键点偏置预测结果修正人脸关键点预测结果，进一步提高人脸检测结果，本申请通过一个模型实现了人脸检测和人脸关键点检测，提高了模型使用效率，解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种人脸检测模型训练方法的一个流程示意图；
图2本申请实施例提供的一种人脸检测网络的一个结构示意图；
图3本申请实施例提供的三种空洞卷积核的示意图；
图4为本申请实施例提供的一种人脸检测方法的一个流程示意图；
图5为本申请实施例提供的一种人脸检测模型训练装置的一个结构示意图；
图6为本申请实施例提供的一种人脸检测装置的一个结构示意图。
具体实施方式
本申请提供了一种人脸检测模型训练方法、人脸检测方法及其相关装置，用于解决现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种人脸检测模型训练方法的一个实施例，包括：
步骤101、构建人脸检测网络，人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，主干网络中的若干个卷积模块与转置卷积模块跳跃连接。
本申请实施例中的人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，主干网络中的若干个卷积模块与转置卷积模块跳跃连接，人脸检测网络的具体结构可以参考图2。为了保证人脸检测的实时性，本申请实施例中的主干网络优选采用轻量级网络。
步骤102、获取人脸训练样本，人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框。
可以从现有的公开的人脸数据集中获取人脸训练样本，该人脸训练样本均标注有对应的人脸框位置和人脸关键点位置。
步骤103、将人脸训练样本输入到人脸检测网络，使得主干网络对人脸训练样本进行卷积处理，转置卷积模块对主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，预测模块对采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到人脸训练样本的人脸预测结果，其中，目标卷积特征图包括主干网络最后一个卷积模块输出的卷积特征图，以及与转置卷积模块跳跃连接的卷积模块输出的卷积特征图。
将人脸训练样本输入到人脸检测网络之前，可以对人脸训练样本进行预处理，例如，裁剪、归一化、去噪等。
在实际应用场景中，当人脸靠近设备时，检测的人脸尺寸较大，对人脸尺寸检测和关键点检测需要较大的感受野，感受野可以看作经过卷积后每一层输出的卷积特征图上的像素点在原图像上映射的区域大小。
本申请实施例考虑在标准的卷积中增加空洞，用来增加卷积核的感受野，这样的卷积核又称为空洞卷积核，空洞卷积核和标准卷积核的主要不同在于卷积核之间增加了零值，如图3所示。图3的左部分图为空洞率为1的标准3×3卷积核的感受野，图3的中间图为空洞率为2的标准3×3卷积核的感受野，感受野大小为5×5，图3的右部分图为空洞率为3的标准3×3卷积核的感受野，感受野大小为7×7。通过图3可以发现，对于标准3×3卷积核添加不同数目的空洞，能够扩大感受野且不需要引入额外的参数数量。
卷积神经网络浅层提取的是一些边缘、条纹等信息，层数越深，提取的特征越抽象，为了避免使用空洞卷积时，产生的稀疏化的输入对卷积结果的影响，本申请实施例只考虑在主干网络的浅层使用空洞率为2的空洞卷积层代替深度可分离卷积层，这样在相同参数量和计算量下，拥有更大的感受野，提高对较大人脸图像的人脸尺寸检测和关键点检测的准确率。
本申请实施例中的主干网络优选采用改进后的MobileNetV3网络，包括6个卷积模块，采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层，得到改进后的MobileNetV3网络。MobileNetV3网络的第一个卷积模块中的第一个深度可分离卷积层的步长为2，以避免距离过远的卷积造成局部信息的丢失，本申请实施例对其不做改进；MobileNetV3网络的第一个卷积模块中的第二个深度可分离卷积层的步长为1，本申请实施例采用空洞卷积层替换MobileNetV3网络中的第一个卷积模块(即图2中实线框内的卷积模块)中的第二个深度可分离卷积层，该空洞卷积层的空洞率为2，其他卷积模块不进行改变。
将人脸训练样本输入到人脸检测网络后，主干网络中的6个卷积模块依次对该待检测人脸图像进行卷积操作以提取人脸特征，得到卷积特征图。
本申请实施例为了更好的还原人脸图像中的人脸的位置和语义信息，在主干网络后添加转置卷积模块对主干网络提取的目标卷积特征图进行上采样处理，映射到原图大小。该转置卷积模块包括3个转置卷积层。其中，主干网络的第五个卷积模块的输出端与转置卷积模块的第一个转置卷积层的输出端跳跃连接，主干网络的第四个卷积层的输出端与转置卷积模块的第二个转置卷积层的输出端跳跃连接。由于主干网络提取的卷积特征图经过转置卷积模块的上采样处理后，得到的采样特征图是粗糙的，丢失了许多细节数据，因此，本申请实施例采用跳跃连接来弥补丢失的细节数据，改善上采样的粗糙程度，通过结合上采样和上一层卷积模块输出的卷积特征图，来修复还原的图像，有助于提高人脸检测准确率。
主干网络的第六个卷积模块的输出为转置卷积模块的第一个转置卷积层的输入，第一个转置卷积层对输入的卷积特征图进行上采样处理，得到第一特征图；第二个转置卷积层对该第一特征图和第五个卷积模块提取的卷积特征图进行上采样处理，得到第二特征图；第三个转置卷积层对第二特征图和第四个卷积模块输出的卷积特征图进行上采样处理，得到采样特征图。
转置卷积模块将提取的采样特征图送入到预测模块中进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到待检测人脸图像的人脸预测结果。
步骤104、基于人脸训练样本的人脸预测结果和标签信息计算网络损失值，并通过网络损失值更新人脸检测网络的参数，直至人脸检测网络收敛，得到人脸检测模型。
人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，基于人脸训练样本的人脸预测结果和标签信息计算网络损失值，包括：
根据人脸训练样本的真实人脸关键点坐标和人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；根据人脸训练样本的真实人脸检测框和人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；根据人脸训练样本的人脸关键点偏置预测结果，以及真实人脸检测框的中心点和人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；根据预置权重对人脸关键点损失值、人脸关键点偏置损失值和人脸尺寸损失值进行加权求和，得到最终的网络损失值。
本申请实施例中的人脸关键点损失函数为：
Figure BDA0003033487450000081
式中，Lk为人脸关键点损失值，N为输入的人脸训练样本I的关键点数量，I∈RW ×H×3，W、H分别为训练样本的宽、高，α、β为超参数，可以实际情况设置具体的取值，人脸训练样本分为正、负训练样本，
Figure BDA0003033487450000091
为人脸关键点预测值，c为人脸个数，Yxyc为人脸训练样本的真实值(标签)，Yxyc＝1表示当前像素点(x，y)是人脸关键点，Yxyc＝0表示当前像素点(x，y)不是人脸关键点。
由于在主干网络对人脸训练样本进行特征提取时，进行了M倍的下采样，将卷积特征图重新映射到原始图像上时，会带来精度误差。因此，对每个关键点采用人脸关键点偏置损失进行补偿，人脸关键点偏置损失函数为：
Figure BDA0003033487450000092
式中，Loff为人脸关键点偏置损失值，
Figure BDA0003033487450000093
为关键点偏置预测结果，
Figure BDA0003033487450000094
为预测的人脸检测框的中心点位置，
Figure BDA0003033487450000095
为标注的真实人脸检测框的中心点位置p与预测的人脸检测框的中心点位置
Figure BDA0003033487450000096
的差值。
人脸尺寸损失函数为：
Figure BDA0003033487450000097
式中，Lsize为人脸尺寸损失值，假设某目标k(标注的人脸检测框)为
Figure BDA0003033487450000098
分别为人脸检测框的左上角坐标和右下角坐标，该人脸检测框的中心点为
Figure BDA0003033487450000099
采用关键点中的中心点对每个目标k的尺寸进行回归，得到人脸检测框预测结果，根据人脸检测框预测结果计算得到预测的人脸尺寸
Figure BDA00030334874500000910
Figure BDA00030334874500000911
为真实的人脸尺寸。
根据预置权重对人脸关键点损失值、人脸关键点偏置损失值和人脸尺寸损失值进行加权求和，得到最终的网络损失值Ldet，即：
Ldet＝λkLk+λoffLoff+λsizeLsize；
式中，λk、λoff、λsize分别为人脸关键点损失值、人脸关键点偏置损失值和人脸尺寸损失值的预置权重，可以根据实际情况进行设置，本申请实施例中的λk优选设置为1。
通过网络损失值更新人脸检测网络的参数，直至人脸检测网络收敛，得到人脸检测模型。本申请实施例中的人脸检测网络的损失函数中加入了人脸关键点偏置损失，对每个关键点采用人脸关键点偏置损失进行补偿，有助于提高人脸关键点检测结果。
本申请实施例中，构建人脸检测网络时，在主干网络后增加一个转置卷积模块，通过转置卷积模块还原待检测人脸图像中的人脸的位置和语义信息，通过将主干网络中的卷积模块与转置卷积模块进行跳跃连接，通过跳跃连接来弥补上采样过程中丢失的细节数据，提高人脸检测准确率；通过预测模块进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，通过人脸关键点偏置预测结果修正人脸关键点预测结果，进一步提高人脸检测结果，本申请实施例通过一个模型实现了人脸检测和人脸关键点检测，提高了模型使用效率，解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
以上为本申请提供的一种人脸检测模型训练方法的一个实施例，以下为本申请提供的一种人脸检测方法的一个实施例。
请参考图4，本申请实施例提供的一种人脸检测方法，包括：
步骤201、获取待检测人脸图像。
可以通过图像采集设备获取待检测人脸图像，将待检测人脸图像输入到人脸检测模型之前，可以对待检测人脸图像进行预处理，例如，裁剪、归一化、去噪等。
步骤202、将待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到待检测人脸图像的人脸预测结果。
本申请实施例中的人脸检测模型通过前述方法实施例中的人脸检测模型训练方法得到。
本申请实施例中，通过训练好的人脸检测模型进行人脸关键点预测和人脸检测框预测，通过一个模型实现了人脸检测和人脸关键点检测，提高了模型使用效率；通过转置卷积模块还原待检测人脸图像中的人脸的位置和语义信息，通过将主干网络中的卷积模块与转置卷积模块进行跳跃连接，提高人脸检测准确率，解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
以上为本申请提供的一种人脸检测方法的一个实施例，以下为本申请提供的一种人脸检测模型训练装置的一个实施例。
请参考图5，本申请实施例提供的一种人脸检测模型训练装置，包括：
构建单元，用于构建人脸检测网络，人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，主干网络中的若干个卷积模块与转置卷积模块跳跃连接；
获取单元，用于获取人脸训练样本，人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；
输入单元，用于将人脸训练样本输入到人脸检测网络，使得主干网络对人脸训练样本进行卷积处理，转置卷积模块对主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，预测模块对采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到人脸训练样本的人脸预测结果，其中，目标卷积特征图包括主干网络最后一个卷积模块输出的卷积特征图，以及与转置卷积模块跳跃连接的卷积模块输出的卷积特征图；
计算单元，用于基于人脸训练样本的人脸预测结果和标签信息计算网络损失值，并通过网络损失值更新人脸检测网络的参数，直至人脸检测网络收敛，得到人脸检测模型。
作为进一步地改进，主干网络为采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层得到的改进后的MobileNetV3网络，主干网络的第五个卷积模块的输出端与转置卷积模块的第一个转置卷积层的输出端跳跃连接，主干网络的第四个卷积模块的输出端与转置卷积模块的第二个转置卷积层的输出端跳跃连接。
作为进一步地改进，人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，计算单元具体用于：
根据人脸训练样本的真实人脸关键点坐标和人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；
根据人脸训练样本的真实人脸检测框和人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；
根据人脸训练样本的人脸关键点偏置预测结果，以及真实人脸检测框的中心点和人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；
根据预置权重对人脸关键点损失值、人脸关键点偏置损失值和人脸尺寸损失值进行加权求和，得到最终的网络损失值；
通过网络损失值更新人脸检测网络的参数，直至人脸检测网络收敛，得到人脸检测模型。
本申请实施例中，构建人脸检测网络时，在主干网络后增加一个转置卷积模块，通过转置卷积模块还原待检测人脸图像中的人脸的位置和语义信息，通过将主干网络中的卷积模块与转置卷积模块进行跳跃连接，通过跳跃连接来弥补上采样过程中丢失的细节数据，提高人脸检测准确率；通过预测模块进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，通过人脸关键点偏置预测结果修正人脸关键点预测结果，进一步提高人脸检测结果，本申请实施例通过一个模型实现了人脸检测和人脸关键点检测，提高了模型使用效率，解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
以上为本申请提供的一种人脸检测模型训练装置的一个实施例，以下为本申请提供的一种人脸检测装置的一个实施例。
请参考图6，本申请实施例提供的一种人脸检测装置，包括：
获取单元，用于获取待检测人脸图像；
预测单元，用于将待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到待检测人脸图像的人脸预测结果，其中，人脸检测模型通过前述方法实施例中的人脸检测模型训练方法得到。
本申请实施例中，通过训练好的人脸检测模型进行人脸关键点预测和人脸检测框预测，通过一个模型实现了人脸检测和人脸关键点检测，提高了模型使用效率；通过转置卷积模块还原待检测人脸图像中的人脸的位置和语义信息，通过将主干网络中的卷积模块与转置卷积模块进行跳跃连接，提高人脸检测准确率，解决了现有技术在进行人脸框检测和人脸关键点检测时，需采用两个网络模型，存在的模型使用效率低和检测速度慢的技术问题。
本申请实施例还提供一种设备，包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行上述人脸检测模型训练方法实施例中的人脸检测模型训练方法，或执行上述人脸检测方法实施例中的人脸检测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行上述人脸检测模型训练方法实施例中的人脸检测模型训练方法，或执行上述人脸检测方法实施例中的人脸检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸检测模型训练方法，其特征在于，包括：
构建人脸检测网络，所述人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，所述主干网络中的若干个卷积模块与所述转置卷积模块跳跃连接；
获取人脸训练样本，所述人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；
将所述人脸训练样本输入到所述人脸检测网络，使得所述主干网络对所述人脸训练样本进行卷积处理，所述转置卷积模块对所述主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，所述预测模块对所述采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到所述人脸训练样本的人脸预测结果，其中，所述目标卷积特征图包括所述主干网络最后一个卷积模块输出的卷积特征图，以及与所述转置卷积模块跳跃连接的卷积模块输出的卷积特征图；
基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，并通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
2.根据权利要求1所述的人脸检测方法，其特征在于，所述主干网络为采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层得到的改进后的MobileNetV3网络，所述主干网络的第五个卷积模块的输出端与所述转置卷积模块的第一个转置卷积层的输出端跳跃连接，所述主干网络的第四个卷积模块的输出端与所述转置卷积模块的第二个转置卷积层的输出端跳跃连接。
3.根据权利要求1所述的人脸检测方法，其特征在于，所述人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，所述基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，包括：
根据所述人脸训练样本的所述真实人脸关键点坐标和所述人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；
根据所述人脸训练样本的所述真实人脸检测框和所述人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；
根据所述人脸训练样本的所述人脸关键点偏置预测结果，以及所述真实人脸检测框的中心点和所述人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；
根据预置权重对所述人脸关键点损失值、所述人脸关键点偏置损失值和所述人脸尺寸损失值进行加权求和，得到最终的网络损失值。
4.一种人脸检测方法，其特征在于，包括：
获取待检测人脸图像；
将所述待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到所述待检测人脸图像的人脸预测结果，其中，所述人脸检测模型通过权利要求1-3任一项所述的人脸检测模型训练方法得到。
5.一种人脸检测模型训练装置，其特征在于，包括：
构建单元，用于构建人脸检测网络，所述人脸检测网络包括依次连接的主干网络、转置卷积模块和预测模块，所述主干网络中的若干个卷积模块与所述转置卷积模块跳跃连接；
获取单元，用于获取人脸训练样本，所述人脸训练样本的标签信息包括真实人脸关键点坐标和真实人脸检测框；
输入单元，用于将所述人脸训练样本输入到所述人脸检测网络，使得所述主干网络对所述人脸训练样本进行卷积处理，所述转置卷积模块对所述主干网络提取的目标卷积特征图进行上采样处理，得到采样特征图，所述预测模块对所述采样特征图分别进行人脸关键点预测、人脸关键点偏置预测和人脸检测框预测，得到所述人脸训练样本的人脸预测结果，其中，所述目标卷积特征图包括所述主干网络最后一个卷积模块输出的卷积特征图，以及与所述转置卷积模块跳跃连接的卷积模块输出的卷积特征图；
计算单元，用于基于所述人脸训练样本的人脸预测结果和所述标签信息计算网络损失值，并通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
6.根据权利要求5所述的人脸检测模型训练装置，其特征在于，所述主干网络为采用空洞卷积层代替MobileNetV3网络浅层中的深度可分离卷积层得到的改进后的MobileNetV3网络，所述主干网络的第五个卷积模块的输出端与所述转置卷积模块的第一个转置卷积层的输出端跳跃连接，所述主干网络的第四个卷积模块的输出端与所述转置卷积模块的第二个转置卷积层的输出端跳跃连接。
7.根据权利要求5所述的人脸检测模型训练装置，其特征在于，所述人脸训练样本的人脸预测结果包括人脸关键点预测结果、人脸关键点偏置预测结果和人脸检测框预测结果，所述计算单元具体用于：
根据所述人脸训练样本的所述真实人脸关键点坐标和所述人脸关键点预测结果，通过人脸关键点损失函数计算人脸关键点损失值；
根据所述人脸训练样本的所述真实人脸检测框和所述人脸检测框预测结果，通过人脸尺寸损失函数计算人脸尺寸损失值；
根据所述人脸训练样本的所述人脸关键点偏置预测结果，以及所述真实人脸检测框的中心点和所述人脸检测框预测结果的中心点的差值，通过人脸关键点偏置损失函数计算人脸关键点偏置损失值；
根据预置权重对所述人脸关键点损失值、所述人脸关键点偏置损失值和所述人脸尺寸损失值进行加权求和，得到最终的网络损失值；
通过所述网络损失值更新所述人脸检测网络的参数，直至所述人脸检测网络收敛，得到人脸检测模型。
8.一种人脸检测装置，其特征在于，包括：
获取单元，用于获取待检测人脸图像；
预测单元，用于将所述待检测人脸图像输入到人脸检测模型进行人脸关键点预测和人脸检测框预测，得到所述待检测人脸图像的人脸预测结果，其中，所述人脸检测模型通过权利要求1-3任一项所述的人脸检测模型训练方法得到。
9.一种设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-3任一项所述的人脸检测模型训练方法，或执行权利要求4所述的人脸检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-3任一项所述的人脸检测模型训练方法，或执行权利要求4所述的人脸检测方法。
CN202110437081.1A 2021-04-22 2021-04-22 一种人脸检测模型训练方法、人脸检测方法及其相关装置 Pending CN113128413A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437081.1A CN113128413A (zh) 2021-04-22 2021-04-22 一种人脸检测模型训练方法、人脸检测方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437081.1A CN113128413A (zh) 2021-04-22 2021-04-22 一种人脸检测模型训练方法、人脸检测方法及其相关装置

Publications (1)

Publication Number Publication Date
CN113128413A true CN113128413A (zh) 2021-07-16

Family

ID=76779239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437081.1A Pending CN113128413A (zh) 2021-04-22 2021-04-22 一种人脸检测模型训练方法、人脸检测方法及其相关装置

Country Status (1)

Country Link
CN (1) CN113128413A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657321A (zh) * 2021-08-23 2021-11-16 平安科技（深圳）有限公司 基于人工智能的狗脸关键点检测方法、装置、设备及介质
CN113822239A (zh) * 2021-11-22 2021-12-21 聊城中赛电子科技有限公司 一种基于电子围栏的安全监控方法、装置、电子设备
CN114267062A (zh) * 2021-12-07 2022-04-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN117523636A (zh) * 2023-11-24 2024-02-06 北京远鉴信息技术有限公司 一种人脸检测方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298291A (zh) * 2019-06-25 2019-10-01 吉林大学 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN110647817A (zh) * 2019-08-27 2020-01-03 江南大学 基于MobileNet V3的实时人脸检测方法
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111612008A (zh) * 2020-05-21 2020-09-01 苏州大学 基于卷积网络的图像分割方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
CN112215255A (zh) * 2020-09-08 2021-01-12 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298291A (zh) * 2019-06-25 2019-10-01 吉林大学 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN110647817A (zh) * 2019-08-27 2020-01-03 江南大学 基于MobileNet V3的实时人脸检测方法
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN111612008A (zh) * 2020-05-21 2020-09-01 苏州大学 基于卷积网络的图像分割方法
CN111915526A (zh) * 2020-08-05 2020-11-10 湖北工业大学 一种基于亮度注意力机制低照度图像增强算法的摄影方法
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112215255A (zh) * 2020-09-08 2021-01-12 深圳大学 一种目标检测模型的训练方法、目标检测方法及终端设备
CN112070043A (zh) * 2020-09-15 2020-12-11 常熟理工学院 基于特征融合的安全帽佩戴卷积网络、训练及检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657321A (zh) * 2021-08-23 2021-11-16 平安科技（深圳）有限公司 基于人工智能的狗脸关键点检测方法、装置、设备及介质
CN113657321B (zh) * 2021-08-23 2024-04-26 平安科技（深圳）有限公司 基于人工智能的狗脸关键点检测方法、装置、设备及介质
CN113822239A (zh) * 2021-11-22 2021-12-21 聊城中赛电子科技有限公司 一种基于电子围栏的安全监控方法、装置、电子设备
CN114267062A (zh) * 2021-12-07 2022-04-01 北京的卢深视科技有限公司 模型训练方法、电子设备和计算机可读存储介质
CN117523636A (zh) * 2023-11-24 2024-02-06 北京远鉴信息技术有限公司 一种人脸检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Lei et al. Coupled adversarial training for remote sensing image super-resolution
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
CN113128413A (zh) 一种人脸检测模型训练方法、人脸检测方法及其相关装置
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN109949276A (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN111860233B (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN104317902A (zh) 基于局部保持迭代量化哈希的图像检索方法
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN112883227B (zh) 一种基于多尺度时序特征的视频摘要生成方法和装置
CN117557414B (zh) 基于遥感图像自动解译的耕地监管方法、装置、设备及存储介质
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN112966548A (zh) 一种大豆地块识别方法及系统
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
Wang et al. Intelligent nonconvex compressive sensing using prior information for image reconstruction by sparse representation
CN115375548A (zh) 一种超分辨率的遥感图像生成方法、系统、设备和介质
CN110659641B (zh) 一种文字识别的方法、装置及电子设备
CN117788295A (zh) 一种遥感图像的超分辨率重建方法、系统及介质
CN112215241B (zh) 一种基于小样本学习的图像特征提取装置
CN113313077A (zh) 基于多策略和交叉特征融合的显著物体检测方法
CN115984296B (zh) 一种应用多注意力机制的医学图像分割方法及系统
CN111814693A (zh) 一种基于深度学习的海上船舶识别方法
CN113920323B (zh) 基于语义图注意力网络的不同混乱度高光谱图像分类方法
CN115965905A (zh) 一种基于多尺度融合卷积网络的人群计数方法及系统
CN116152575A (zh) 基于类激活采样引导的弱监督目标定位方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716