CN112967216B - 人脸图像关键点的检测方法、装置、设备以及存储介质 - Google Patents

人脸图像关键点的检测方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112967216B
CN112967216B CN202110249337.6A CN202110249337A CN112967216B CN 112967216 B CN112967216 B CN 112967216B CN 202110249337 A CN202110249337 A CN 202110249337A CN 112967216 B CN112967216 B CN 112967216B
Authority
CN
China
Prior art keywords
image
face
face image
feature
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110249337.6A
Other languages
English (en)
Other versions
CN112967216A (zh
Inventor
薛全华
张国辉
刘玉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110249337.6A priority Critical patent/CN112967216B/zh
Publication of CN112967216A publication Critical patent/CN112967216A/zh
Application granted granted Critical
Publication of CN112967216B publication Critical patent/CN112967216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸图像关键点的检测方法，包括：将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像；将第一特征图像进行卷积和上采样后，与第二特征图像进行融合，以得到第一融合图像；将第二特征图像进行卷积和上采样后，与第三特征图像进行融合，以得到第二融合图像；将第一融合图像、第二融合图像和第三特征图像分别输入至预先确定出的检测模块，以得到至少包括目标人脸图像的人脸关键点的检测结果。可见，本发明能够更好地适应各种分辨率的人脸图像，提高人脸图像关键点的检测准确性。本发明还涉及区块链技术领域。

Description

人脸图像关键点的检测方法、装置、设备以及存储介质
技术领域
本发明涉及图像区域提取技术领域，尤其涉及一种人脸图像关键点的检测方法、装置、计算机设备以及存储介质。
背景技术
在利用计算机技术对人脸图像进行识别时，对人脸图像中的关键点的检测是一项关键任务。在目前的人脸图像关键点的检测方法中，通常对人脸图像进行特征提取得到一种分辨率的特征图像，然后对该分辨率下的特征图像进行分析得到最后的关键点检测结果。在实际应用中，人脸图像的分辨率往往大小不一，甚至同一张图像内可能存在几种分辨率的人脸图像。若针对不同分辨率的人脸图像仍然只提取一种分辨率的特征图像进行分析，最后得到的分析结果可能并不理想，如，使用小分辨率的特征图像对大分辨率的人脸图像进行分析时，人脸图像经过多次压缩后，有可能会丢失部分细节信息，导致最后的分析结果的准确性降低。可见，目前的人脸图像关键点的检测方法的检测准确性仍有提升的空间。
发明内容
本发明所要解决的技术问题在于，目前的人脸图像关键点的检测方法只提取一种分辨率的特征图像进行分析，未能很好地适应各种分辨率的人脸图像，关键点的检测准确性不高。
为了解决上述技术问题，本发明第一方面公开了一种人脸图像关键点的检测方法，所述方法包括：
将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果。
本发明第二方面公开了一种人脸图像关键点的检测装置，所述装置包括：
输入模块，用于将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
融合模块，用于将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
所述融合模块，还用于将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
所述输入模块，还用于将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果。
本发明第三方面公开了一种计算机设备，所述计算机设备包括：
存储有可执行程序代码的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的人脸图像关键点的检测方法中的部分或全部步骤。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的人脸图像关键点的检测方法中的部分或全部步骤。
本发明实施例中，在将目标人脸图像输入目标检测网络后，得到第一特征图像、第二特征图像和第三特征图像，再将第一特征图像进行卷积和上采样后，与第二特征图像进行融合，得到第一融合图像，将第二特征图像进行卷积和上采样后，与第三特征图像进行融合，得到第二融合图像，最后对第一融合图像、第二融合图像和第三特征图像进行分析得到至少包括人脸关键点的检测结果，能够针对目标人脸图像提取出不同分辨率的特征图像，并将不同分辨率的特征图像进行融合后进行分析，从而能够更好地适应各种分辨率的人脸图像，提高人脸图像关键点的检测准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种人脸图像关键点的检测方法的流程示意图；
图2是本发明实施例公开的一种人脸图像关键点的检测装置的结构示意图；
图3是本发明实施例公开的一种计算机设备的结构示意图；
图4是本发明实施例公开的一种计算机存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种人脸图像关键点的检测方法、装置、计算机设备以及存储介质，能够在将目标人脸图像输入目标检测网络后，得到第一特征图像、第二特征图像和第三特征图像，再将第一特征图像进行卷积和上采样后，与第二特征图像进行融合，得到第一融合图像，将第二特征图像进行卷积和上采样后，与第三特征图像进行融合，得到第二融合图像，最后对第一融合图像、第二融合图像和第三特征图像进行分析得到至少包括人脸关键点的检测结果，能够针对目标人脸图像提取出不同分辨率的特征图像，并将不同分辨率的特征图像进行融合后进行分析，从而能够更好地适应各种分辨率的人脸图像，提高人脸图像关键点的检测准确性。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种人脸图像关键点的检测方法的流程示意图。如图1所示，该人脸图像关键点的检测方法可以包括以下操作：
101、将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
102、将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
103、将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
104、将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果。
本发明实施例中，目标人脸图像可以是同时包含有多个人脸的图像，各个人脸的分辨率也可以不同。例如，在一个照片中，离摄像头较近的地方有一个人脸，较远的地方也有一个人脸，较近的人脸在照片中所占的像素通常较多则该人脸的分辨率较大，较远的人脸在照片中所占的像素通常较少则该人脸的分辨率较小。目标检测网络可以是mobilenetv3轻量级特征提取网络。其中，mobilenetv3网络通常由多个卷积层级联而成，卷积层所输出的特征图像的分辨率逐渐降低，通过提取指定的卷积层所输出的特征图像，即能够获得第一特征图像、第二特征图像和第三特征图像。假设，mobilenetv3网络共有10层卷积层，则可以提取第1层卷积层所输出的特征图像作为第三特征图像，提取第5层卷积层所输出的特征图像作为第二特征图像，提取第10层卷积层所输出的特征图像作为第一特征图像。对特征图像进行上采样的过程，可以理解为通过插值的方法将低分辨率的特征图像转化为高分辨率的特征图像，例如，一个分辨率为30*30的特征图像经过上采样后可以转化成一个分辨率为100*100的特征图像，其中，常见的插值方法有最近邻插值法、双线性插值法、双三次插值法等。特征图像的融合可以使用常见的主成分分析法、差分演化计算法、遗传算法、蚁群算法等。还可以使用简单的直接叠加实现特征图像的融合，如，30*30的第一特征图像经过卷积和上采样后得到100*100的特征图像，将所得到的100*100的特征图像每个像素的值与分辨率同样为100*100的第二特征图像每个像素的值相加，最后得到分辨率为100*100的第一融合图像中的每个像素的值，从而生成第一融合图像。检测模块可以包括第一卷积层、批归一化层、elu激活函数层和第二卷积层(具体稍后描述)，用于根据第一融合图像、第二融合图像和第三特征图像输入最终的检测结果。由于第一融合图像是由分辨率较低的第一特征图像和第二特征图像融合得到的，所以将第一融合图像输入检测模块有利于对低分辨率人脸的检测，由于第二融合图像是由分辨率中等的第二特征图像和分辨率最高的第三特征图像融合得到的，所以将第二融合图像输入检测模块有利于对中等分辨率人脸的检测，由于第三特征图像是分辨率最高的特征图像，所以将第三特征图像输入检测模块有利于对高分辨率人脸的检测。
可见，实施图1所描述的人脸图像关键点的检测方法，能够在将目标人脸图像输入目标检测网络后，得到第一特征图像、第二特征图像和第三特征图像，再将第一特征图像进行卷积和上采样后，与第二特征图像进行融合，得到第一融合图像，将第二特征图像进行卷积和上采样后，与第三特征图像进行融合，得到第二融合图像，最后对第一融合图像、第二融合图像和第三特征图像进行分析得到至少包括人脸关键点的检测结果，能够针对目标人脸图像提取出不同分辨率的特征图像，并将不同分辨率的特征图像进行融合后进行分析，从而能够更好地适应各种分辨率的人脸图像，提高人脸图像关键点的检测准确性。
在一个可选的实施例中，所述目标检测网络为删除了目标卷积层的mobilenetv3网络，其中，所述目标卷积层包括mobilenetv3网络中的第一层卷积层和mobilenetv3网络的最后一个阶段中除最后一个阶段的第一层卷积层以外的所有卷积层。
在该可选的实施例中，mobilenetv3网络主要是用于进行分类任务，然而人脸关键点的检测中包含有回归任务，删除mobilenetv3网络中的部分卷积层(mobilenetv3网络中的第一层卷积层和mobilenetv3网络的最后一个阶段中除最后一个阶段的第一层卷积层以外的所有卷积层)，能够在回归任务和分类任务中寻找平衡，从而能够在保证目标检测网络的精度的同时，提升目标检测网络的速度。
可见，实施该可选的实施例，通过删除mobilenetv3网络中的部分卷积层，能够在回归任务和分类任务中寻找平衡，从而能够在保证目标检测网络的精度的同时，提升目标检测网络的速度。
在一个可选的实施例中，所述目标检测网络中的任意一个或多个hswish激活函数被替换成mish激活函数，其中，mish激活函数的定义为:
Figure BDA0002965350310000061
hswish激活函数的定义为：
Figure BDA0002965350310000062
在该可选的实施例中，可以将目标检测网络中的任意一个或多个hswish激活函数替换为mish激活函数，由于mish激活函数相对于hswish激活函数的复杂度更高，所以将hswish激活函数替换为mish激活函数能够提高检测结果的准确性。具体地，可以在训练的过程中根据实际的训练效果，在目标检测网络中选择被替换成mish激活函数的hswish激活函数。
可见，实施该可选的实施例，通过将目标检测网络中的任意一个或多个hswish激活函数替换成mish激活函数，能够增加目标检测网络的复杂度，从而提高检测结果的准确性。
在一个可选的实施例中，所述检测模块包括第一卷积层、批归一化层、elu激活函数层和第二卷积层，其中，elu激活函数层中elu激活函数的定义为：
Figure BDA0002965350310000071
其中，a为任意正实数。
在该可选的实施例中，elu激活函数融合了sigmoid函数和ReLU函数，其输出均值接近于零，所以收敛速度更快，并且左侧软饱能够让elu激活函数对输入变化或噪声更鲁棒。将第一融合图像输入至检测模块之后，即能够得到第一融合图像对应的初步检测结果，该初步检测结果对于低分辨率的人脸的检测效果较好。将第二融合图像输入至检测模块之后，即能够得到第二融合图像对应的初步检测结果，该初步检测结果对于中等分辨率的人脸的检测效果较好。将第三特征图像输入至检测模块之后，即能够得到第三特征图像对应的初步检测结果，该初步检测结果对于高分辨率的人脸的检测效果较好。最后，综合第一融合图像、第二融合图像和第三特征图像各自对应的初步检测结果，得到最终的能够更好地适应不同分辨率的人脸图像的检测结果。
可见，实施该可选的实施例，通过将elu激活函数作为检测模块中的激活函数，能够提高最后得到的检测结果的准确性。
在一个可选的实施例中，所述人脸关键点的损失函数wing的定义为：
Figure BDA0002965350310000072
其中，C为任意实数。
在该可选的实施例中，人脸图像关键点的检测方法通常是运行于人工神经网络中。而人工神经网络的训练过程是人工神经网络技术中非常重要的一环。在人工神经网络的训练过程中，人工神经网络的每种输出通常都需要设置对应的损失函数，例如，人工神经网络的输出包括人脸图像的人脸关键点，则需要对应人脸关键点的输出设置一个损失函数进行训练，人工神经网络的输出包括人脸图像的置信值，则需要对应人脸图像的置信值的输出设置另一个损失函数进行训练。人脸关键点的检测是一个回归任务，常见的回归任务所使用的损失函数，在某一人脸关键点所产生的误差较大时，容易出现由该误差较大的人脸关键点主导人工神经网络的训练的情况，从而影响最终训练完成的人工神经网络的检测准确度。使用上述函数wing作为人脸关键点的损失函数即能够减少这种情况的发生。
可见，实施该可选的实施例，通过使用函数wing作为人脸关键点的损失函数，能够提高人工神经网络的训练效果，从而提高最终输出的人脸关键点的准确性。
在一个可选的实施例中，所述检测结果还包括人脸图像的位置、人脸图像的类别和人脸图像的置信值；
以及，整体的损失函数的定义如下：
L＝αLobj+βLpos+γLcls+θLlandmark
其中，L为整体的损失函数，Lobj为人脸图像的置信值对应的损失函数，Lpos为人脸图像的位置对应的损失函数，Lcls为人脸图像的类别对应的损失函数，Llandmark为人脸图像的人脸关键点对应的损失函数，α、β、γ、θ为任意实数。
在该可选的实施例中，用于实现人脸图像关键点的检测方法的人工神经网络可以使用yolov3作为主框架。具体地，可以将yolov3模型中的特征提取网络darknet53替换成mobilenetv3网络。yolov3模型是一种现有的较为成熟的用于检测人脸图像的置信值、位置和类别的人工神经网络模型。当使用yolov3作为主框架时，yolov3模型的输出原本已包含人脸图像的置信值、人脸图像的位置以及人脸图像的类别共3种输出，相应地，也会存在这三种输出各自对应的损失函数Lobj、Lpos和Lcls。所以在原有的yolov3模型的基础上，再增加人脸关键点的检测任务，需要再增加人脸关键点对应的损失函数Llandmark。最后，通过对各个损失函数进行加权，能够平衡四种任务之间的损失函数，使得最终训练完成的人工神经网络能够在四种任务之间取得较为平衡的效果，从而提高最终的检测结果的准确性。优选地，四个权值的取值可以为α＝320；β＝3.5；γ＝40；θ＝0.01。人脸关键点对应的损失函数Llandmark可以为上述的函数wing。
可见，实施该可选的实施例，在同时具有多个损失函数时，通过对各个损失函数进行加权，能够平衡各个任务之间的损失函数，使得最终训练完成的人工神经网络能够在各个任务之间取得较为平衡的效果，从而提高最终的检测结果的准确性。
在一个可选的实施例中，所述目标人脸图像为深度图像；
以及，所述将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像之前，所述方法还包括：
获取原始的人脸深度图像；
对原始的人脸深度图像进行直方图归一化后得到所述目标人脸图像，并触发执行所述将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像的步骤。
在该可选的实施例中，目标人脸图像可以是通过深度摄像头拍摄得到的深度图像。深度图像可以是指比正常的图像多一个维度(深度)信息的图像，如，正常的图像每个像素点对应有三个维度的信息(分别为R、G、B通道的像素值)，深度图像的每个像素点则可以对应有四个维度的信息(分别为R、G、B通道的像素值以及用于表示该像素点离摄像头的距离的距离值)。通过使用深度图像进行人脸关键点的检测，能够减少不良光照环境对检测结果的影响，提高检测的鲁棒性和精度。在使用深度图像进行人脸关键点的检测时，可以先对原始的人脸深度图像进行直方图归一化的预处理后，再将预处理后的人脸深度图像输入网络，得到最终的检测结果。其中，原始的人脸深度图像可以是指深度摄像头直接拍摄到的深度图像。由于深度摄像头直接拍摄到的原始的人脸深度图像的距离值维度的值通常较为分散，有时会导致较大误差的出现，例如，深度图像中一部分像素的距离值可能分布在0-10的区间，另一部分的像素的距离值有可能分布在300-320的区间，这样深度图像的像素的距离值将分散地分布在0-320的区间的两头，分布不够平滑，容易导致检测结果的误差的出现。在直方图归一化的过程中，可以设置一个上限阈值，当像素点的距离值大于该上限阈值时，将该像素点的距离值设置为预设的距离值，这样即能够实现对深度图像的距离值的均衡化，将深度图像的距离值限制在一个相对平滑的区间内。例如，上限阈值设置为250，对应的预设的距离值设置为250，这样，上述的例子中分散地分布在0-320的区间的两头的距离值经过直方图归一化后，分布在300-320的区间的像素的距离值将被设置为250，深度图像的距离值将被限制在相对平滑的0-250区间，从而能够减少深度图像中像素点的距离值过大所带来的误差，提高检测结果的准确性。
可见，实施该可选的实施例，通过对原始的人脸深度图像进行直方图归一化后，得到目标人脸图像，再将目标人脸图像输入至网络进行分析以得到检测结果，能够减少深度图像中像素点的距离值分布散乱而造成的检测误差，提高检测结果的准确性。
可选地，还可以：将所述人脸图像关键点的检测方法的检测信息上传至区块链中。
具体来说，检测信息是通过运行所述人脸图像关键点的检测方法后得到的，用于记录人脸图像关键点的检测情况，例如，检测过程中生成的第一融合图像、第二融合图像，最终检测得到的人脸关键点等等。将检测信息上传至区块链可保证其安全性和对用户的公正透明性。用户可以从区块链中下载得到该检测信息，以便查证所述人脸图像关键点的检测方法的检测信息是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
可见，实施本发明实施例所公开的人脸图像关键点的检测方法，能够在将目标人脸图像输入目标检测网络后，得到第一特征图像、第二特征图像和第三特征图像，再将第一特征图像进行卷积和上采样后，与第二特征图像进行融合，得到第一融合图像，将第二特征图像进行卷积和上采样后，与第三特征图像进行融合，得到第二融合图像，最后对第一融合图像、第二融合图像和第三特征图像进行分析得到至少包括人脸关键点的检测结果，能够针对目标人脸图像提取出不同分辨率的特征图像，并将不同分辨率的特征图像进行融合后进行分析，从而能够更好地适应各种分辨率的人脸图像，提高人脸图像关键点的检测准确性。还通过删除mobilenetv3网络中的部分卷积层，能够在回归任务和分类任务中寻找平衡，从而能够在保证目标检测网络的精度的同时，提升目标检测网络的速度。还通过将目标检测网络中的任意一个或多个hswish激活函数替换成mish激活函数，能够增加目标检测网络的复杂度，从而提高检测结果的准确性。还通过将elu激活函数作为检测模块中的激活函数，能够提高最后得到的检测结果的准确性。还通过使用函数wing作为人脸关键点的损失函数，能够提高人工神经网络的训练效果，从而提高最终输出的人脸关键点的准确性。还在同时具有多个损失函数时，通过对各个损失函数进行加权，能够平衡各个任务之间的损失函数，使得最终训练完成的人工神经网络能够在各个任务之间取得较为平衡的效果，从而提高最终的检测结果的准确性。还通过对原始的人脸深度图像进行直方图归一化后，得到目标人脸图像，再将目标人脸图像输入至网络进行分析以得到检测结果，能够减少深度图像中像素点的距离值分布散乱而造成的检测误差，提高检测结果的准确性。
实施例二
请参阅图2，图2是本发明实施例公开的一种人脸图像关键点的检测装置的结构示意图。如图2所示，该人脸图像关键点的检测装置可以包括：
输入模块201，用于将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
融合模块202，用于将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
所述融合模块202，还用于将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
所述输入模块201，还用于将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果。
在一个可选的实施例中，所述目标检测网络为删除了目标卷积层的mobilenetv3网络，其中，所述目标卷积层包括mobilenetv3网络中的第一层卷积层和mobilenetv3网络的最后一个阶段中除最后一个阶段的第一层卷积层以外的所有卷积层。
在一个可选的实施例中，所述目标检测网络中的任意一个或多个hswish激活函数被替换成mish激活函数，其中，mish激活函数的定义为:
Figure BDA0002965350310000111
hswish激活函数的定义为：
Figure BDA0002965350310000112
在一个可选的实施例中，所述检测模块包括第一卷积层、批归一化层、elu激活函数层和第二卷积层，其中，elu激活函数层中elu激活函数的定义为：
Figure BDA0002965350310000121
其中，a为任意正实数。
在一个可选的实施例中，所述人脸关键点的损失函数wing的定义为：
Figure BDA0002965350310000122
其中，C为任意实数。
在一个可选的实施例中，所述检测结果还包括人脸图像的位置、人脸图像的类别和人脸图像的置信值；
以及，整体的损失函数的定义如下：
L＝αLobj+βLpos+γLcls+θLlandmark
其中，L为整体的损失函数，Lobj为人脸图像的置信值对应的损失函数，Lpos为人脸图像的位置对应的损失函数，Lcls为人脸图像的类别对应的损失函数，Llandmark为人脸图像的人脸关键点对应的损失函数，α、β、γ、θ为任意实数。
在一个可选的实施例中，所述目标人脸图像为深度图像；
以及，所述装置还包括：
获取模块，用于在所述输入模块201将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像之前，获取原始的人脸深度图像；
归一化模块，用于对原始的人脸深度图像进行直方图归一化后得到所述目标人脸图像，并触发所述输入模块201执行所述将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像的步骤。
对于上述人脸图像关键点的检测装置的具体描述可以参照上述人脸图像关键点的检测方法的具体描述，在此不再一一赘述。
实施例三
请参阅图3，图3是本发明实施例公开的一种计算机设备的结构示意图。如图3所示，该计算机设备可以包括：
存储有可执行程序代码的存储器301；
与存储器301连接的处理器302；
处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的人脸图像关键点的检测方法中的步骤。
实施例四
本发明实施例公开了一种计算机存储介质401，计算机存储介质401存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的人脸图像关键点的检测方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-OnlyMemory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种人脸图像关键点的检测方法、装置、计算机设备以及存储介质所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (7)

1.一种人脸图像关键点的检测方法，其特征在于，所述方法包括：
将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果；
所述目标检测网络中的任意一个或多个hswish激活函数被替换成mish激活函数，其中，mish激活函数的定义为:
Figure FDA0004213705080000011
hswish激活函数的定义为：
Figure FDA0004213705080000012
所述人脸关键点的损失函数wing的定义为：
Figure FDA0004213705080000013
其中，C为任意实数；
所述检测结果还包括人脸图像的位置、人脸图像的类别和人脸图像的置信值；
以及，整体的损失函数的定义如下：
L＝αLobj+βLpos+γLcls+θLlandmark
其中，L为整体的损失函数，Lobj为人脸图像的置信值对应的损失函数，Lpos为人脸图像的位置对应的损失函数，Lcls为人脸图像的类别对应的损失函数，Llandmark为人脸图像的人脸关键点对应的损失函数，α、β、γ、θ为任意实数。
2.根据权利要求1所述的人脸图像关键点的检测方法，其特征在于，所述目标检测网络为删除了目标卷积层的mobilenetv3网络，其中，所述目标卷积层包括mobilenetv3网络中的第一层卷积层和mobilenetv3网络的最后一个阶段中除最后一个阶段的第一层卷积层以外的所有卷积层。
3.根据权利要求1所述的人脸图像关键点的检测方法，其特征在于，所述检测模块包括第一卷积层、批归一化层、elu激活函数层和第二卷积层，其中，elu激活函数层中elu激活函数的定义为：
Figure FDA0004213705080000021
其中，a为任意正实数。
4.根据权利要求1所述的人脸图像关键点的检测方法，其特征在于，所述目标人脸图像为深度图像；
以及，所述将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像之前，所述方法还包括：
获取原始的人脸深度图像；
对原始的人脸深度图像进行直方图归一化后得到所述目标人脸图像，并触发执行所述将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像的步骤。
5.一种人脸图像关键点的检测装置，其特征在于，所述装置包括：
输入模块，用于将目标人脸图像输入目标检测网络，得到第一特征图像、第二特征图像和第三特征图像，其中，所述第三特征图像的分辨率大于所述第二特征图像的分辨率，所述第二特征图像的分辨率大于所述第一特征图像的分辨率；
融合模块，用于将所述第一特征图像进行卷积和上采样后，与所述第二特征图像进行融合，以得到第一融合图像；
所述融合模块，还用于将所述第二特征图像进行卷积和上采样后，与所述第三特征图像进行融合，以得到第二融合图像；
所述输入模块，还用于将所述第一融合图像、所述第二融合图像和所述第三特征图像分别输入至预先确定出的检测模块，以得到至少包括所述目标人脸图像的人脸关键点的检测结果；
所述目标检测网络中的任意一个或多个hswish激活函数被替换成mish激活函数，其中，mish激活函数的定义为:
Figure FDA0004213705080000031
hswish激活函数的定义为：
Figure FDA0004213705080000032
所述人脸关键点的损失函数wing的定义为：
Figure FDA0004213705080000033
其中，C为任意实数；
所述检测结果还包括人脸图像的位置、人脸图像的类别和人脸图像的置信值；
以及，整体的损失函数的定义如下：
L＝αLobj+βLpos+γLcls+θLlandmark
其中，L为整体的损失函数，Lobj为人脸图像的置信值对应的损失函数，Lpos为人脸图像的位置对应的损失函数，Lcls为人脸图像的类别对应的损失函数，Llandmark为人脸图像的人脸关键点对应的损失函数，α、β、γ、θ为任意实数。
6.一种计算机设备，其特征在于，所述计算机设备包括：
存储有可执行程序代码的存储器；
与所述存储器连接的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-4任一项所述的人脸图像关键点的检测方法。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的人脸图像关键点的检测方法。
CN202110249337.6A 2021-03-08 2021-03-08 人脸图像关键点的检测方法、装置、设备以及存储介质 Active CN112967216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110249337.6A CN112967216B (zh) 2021-03-08 2021-03-08 人脸图像关键点的检测方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110249337.6A CN112967216B (zh) 2021-03-08 2021-03-08 人脸图像关键点的检测方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112967216A CN112967216A (zh) 2021-06-15
CN112967216B true CN112967216B (zh) 2023-06-09

Family

ID=76277496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110249337.6A Active CN112967216B (zh) 2021-03-08 2021-03-08 人脸图像关键点的检测方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112967216B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578753B (zh) * 2022-09-23 2023-05-05 中国科学院半导体研究所 人体关键点检测方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111275005A (zh) * 2020-02-21 2020-06-12 腾讯科技（深圳）有限公司 绘制人脸图像识别方法、计算机可读存储介质和相关设备
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及系统、计算机可读存储介质
CN111814744A (zh) * 2020-07-30 2020-10-23 河南威虎智能科技有限公司 一种人脸检测方法、装置、电子设备和计算机存储介质
CN112215179A (zh) * 2020-10-19 2021-01-12 平安国际智慧城市科技股份有限公司 车内人脸识别方法、设备、装置及存储介质
CN112257645A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297483B (zh) * 2018-03-21 2020-12-18 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871105A (zh) * 2016-09-26 2018-04-03 北京眼神科技有限公司 一种人脸认证方法和装置
CN110399809A (zh) * 2019-07-08 2019-11-01 北京亮亮视野科技有限公司 多特征融合的人脸关键点检测方法及装置
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111291637A (zh) * 2020-01-19 2020-06-16 中国科学院上海微系统与信息技术研究所 一种基于卷积神经网络的人脸检测方法、装置及设备
CN111275005A (zh) * 2020-02-21 2020-06-12 腾讯科技（深圳）有限公司 绘制人脸图像识别方法、计算机可读存储介质和相关设备
CN111401290A (zh) * 2020-03-24 2020-07-10 杭州博雅鸿图视频技术有限公司 一种人脸检测方法及系统、计算机可读存储介质
CN111814744A (zh) * 2020-07-30 2020-10-23 河南威虎智能科技有限公司 一种人脸检测方法、装置、电子设备和计算机存储介质
CN112215179A (zh) * 2020-10-19 2021-01-12 平安国际智慧城市科技股份有限公司 车内人脸识别方法、设备、装置及存储介质
CN112257645A (zh) * 2020-11-02 2021-01-22 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN112967216A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
WO2021077984A1 (zh) 对象识别方法、装置、电子设备及可读存储介质
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
CN114913565B (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
KR102385463B1 (ko) 얼굴 특징 추출 모델 학습 방법, 얼굴 특징 추출 방법, 장치, 디바이스 및 저장 매체
US9569778B2 (en) Efficient prevention of fraud
CN108805047B (zh) 一种活体检测方法、装置、电子设备和计算机可读介质
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN109934300B (zh) 模型压缩方法、装置、计算机设备及存储介质
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
US20140270409A1 (en) Efficient prevention of fraud
CN112733802B (zh) 图像的遮挡检测方法、装置、电子设备及存储介质
CN110188670B (zh) 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN112528764B (zh) 人脸表情识别方法、系统、装置及可读存储介质
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
WO2021082562A1 (zh) 活体检测方法、装置、电子设备、存储介质及程序产品
CN112581370A (zh) 人脸图像的超分辨率重建模型的训练及重建方法
CN112215043A (zh) 一种人脸活体检测方法
CN112560753A (zh) 基于特征融合的人脸识别方法、装置、设备及存储介质
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN111626134A (zh) 一种基于隐密度分布的密集人群计数方法、系统及终端
Tapia et al. Selfie periocular verification using an efficient super-resolution approach
CN112329586A (zh) 基于情绪识别的客户回访方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant