CN114998953A - 人脸关键点检测方法及装置 - Google Patents

人脸关键点检测方法及装置 Download PDF

Info

Publication number
CN114998953A
CN114998953A CN202210427133.1A CN202210427133A CN114998953A CN 114998953 A CN114998953 A CN 114998953A CN 202210427133 A CN202210427133 A CN 202210427133A CN 114998953 A CN114998953 A CN 114998953A
Authority
CN
China
Prior art keywords
face key
key point
points
face
preset range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210427133.1A
Other languages
English (en)
Inventor
贺克赛
程新景
杨睿刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Network Technology Shanghai Co Ltd
Original Assignee
International Network Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Network Technology Shanghai Co Ltd filed Critical International Network Technology Shanghai Co Ltd
Priority to CN202210427133.1A priority Critical patent/CN114998953A/zh
Publication of CN114998953A publication Critical patent/CN114998953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸关键点检测方法及装置，方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。本发明通过关键点预设范围内的点指导人脸关键点检测模型学习人脸关键点，以将人脸关键点检测模型由预测人脸关键点变为预测人脸关键点及预设范围内的点，从而增加模型学习的信息，提高模型的鲁棒性，进一步提高人脸关键点检测的稳定性，降低误检率。

Description

人脸关键点检测方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种人脸关键点检测方法及装置。
背景技术
人脸关键点检测是计算机视觉领域一项重要的任务，其目的是获取如唇角、眼角和鼻尖等面部关键点在图片或视频中的位置。人脸关键点检测的过程是许多下游任务的关键步骤，在人脸识别和人脸年龄估计等任务中都起到重要作用。由于应用场景广泛，人脸关键点检测涉及一些困难场景，如面部遮挡和光线变化，因此这对识别方法的准确率和鲁棒性提出了更高的要求。
在驾驶员检测系统中，人脸关键点检测是必不可少的，关键点检测的精度对判断驾驶员的分心，疲劳等起着决定性作用。
目前，由于成本以及功耗等考虑，往往要求人脸关键点模型在极低的算力下工作，因此大多使用回归方法直接预测人脸关键点。然后这种方式常常因为微小偏移，使关键点产生较大误差，导致人脸关键点稳定性较差，且在复杂环境中容易出现漏检或误检的情形。
发明内容
本发明提供一种人脸关键点检测方法及装置，用以解决现有技术中由于模型算力较低以致人脸关键点检测稳定性较差的缺陷，提高模型检测人脸关键点的稳定性，降低了模型的误检率以及提高模型的鲁棒性。
本发明提供一种人脸关键点检测方法，包括：获取人脸图像；将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值训练得到的；所述人脸关键点模型用于基于对所述人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
根据本发明提供的一种人脸关键点检测方法，所述人脸关键点检测模型，包括：特征点提取层，对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到所述人脸关键点及其预设范围内的点分别对应的置信度；人脸关键点检测层，基于所述人脸关键点及其预设范围内的点和所述人脸关键点及其预设范围内的点分别对应的置信度，得到所述人脸关键点检测结果。
根据本发明提供的一种人脸关键点检测方法，所述对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到所述人脸关键点及其预设范围内的点分别对应的置信度，包括：对输入的人脸图像进行特征提取，得到人脸关键点及其预设范围内的点；以及，基于所述人脸关键点及其预设范围内的点，利用二维高斯分布，得到所述人脸关键点及其预设范围内的点分别对应的置信度。
根据本发明提供的一种人脸关键点检测方法，所述得到所述人脸关键点检测结果，包括：基于所述人脸关键点及其预设范围内的点，结合所述人脸关键点及其预设范围内的点分别对应的置信度进行加权输出，得到所述人脸关键点检测结果。
根据本发明提供的一种人脸关键点检测方法，训练所述人脸关键点检测模型，包括：获取样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值；将所述样本图像作为待训练模型的输入数据，将所述人脸关键点真值及所述人脸关键点预设范围内的点真值作为标签，对所述待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
根据本发明提供的一种人脸关键点检测方法，所述对所述待训练模型进行训练，包括：将所述样本图像输入至特征点提取层，得到所述特征点提取层输出的人脸关键点预测点及其预设范围内的预测点，以及得到所述特征点提取层输出的所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度；将所述人脸关键点及其预设范围内的预测点和所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度，得到所述人脸关键点检测结果；基于所述人脸关键点预测点及其预设范围内的预测点、所述人脸关键点真值和所述人脸关键点预设范围内的点真值构建关键点损失函数，并基于所述关键点损失函数收敛，结束训练。
本发明还提供一种人脸关键点检测装置，包括：图像获取模块，获取人脸图像；关键点检测模块，将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值训练得到的；所述人脸关键点模型用于基于对所述人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸关键点检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸关键点检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸关键点检测方法的步骤。
本发明提供的人脸关键点检测方法及装置，通过关键点预设范围内的点指导人脸关键点检测模型学习人脸关键点，以避免人脸关键点预设范围内的点对人脸关键点检测模型学习的干扰，并将人脸关键点检测模型由预测单个人脸关键点变为预测单个人脸关键点及预设范围内的点，从而增加模型学习的信息，提高模型的鲁棒性；另外，通过将预测的人脸关键点及其周围的若干个点的置信度进行加权，以得到人脸关键点检测结果，从而提高人脸关键点检测的稳定性，避免因为微小的偏移造成人脸关键点检测误差较大的情况，降低了误检率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸关键点检测方法的流程示意图之一；
图2是本发明提供的人脸关键点检测方法的流程示意图之二；
图3是本发明提供的训练人脸关键点检测模型的流程示意图；
图4是本发明提供的人脸关键点检测装置的结构示意图；
图5是本发明提供的训练模块的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一种人脸关键点检测方法的流程示意图，该方法包括：
S11，获取人脸图像；
S12，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
需要说明的是，本说明书中的S1N不代表人脸关键点检测方法的先后顺序，下面具体结合图2描述本发明的人脸关键点检测方法。
步骤S11，获取人脸图像。
在本实施例中，获取人脸图像，包括：基于应用人脸关键点检测方法的电子设备或应用平台，获得待进行人脸关键点检测的人脸图像；或者，基于与应用人脸关键点检测方法的电子设备或应用平台连接的终端设备，获得人脸图像。需要说明的是，上述终端设备可以通过与其连接的视觉传感器获得识别区域内人物的人脸图像。应当注意，上述人脸图像可以为拍摄得到的单帧图片或图片帧序列，或者是对视频进行镜头分割，得到的与待检测人脸相关的图像帧或图像帧序列。
在一个可选实施例中，获取的人脸图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定人脸拍摄的图像，此处不对人脸图像的来源做进一步地限定。
步骤S12，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
在本实施例中，人脸关键点检测模型，包括：特征点提取层，对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到人脸关键点及其预设范围内的点分别对应的置信度；人脸关键点检测层，基于人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度，得到人脸关键点检测结果。相对应的，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果，包括：将人脸图像输入至特征点提取层，得到特征点提取层输出的人脸关键点及其预设范围内的点，以及得到特征点提取层输出的人脸关键点及其预设范围内的点分别对应的置信度；将人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度输入至人脸关键点检测层，得到人脸关键点检测层输出的人脸关键点检测结果。具体而言，
首先，将人脸图像输入至特征点提取层，得到人脸关键点及其预设范围内的点，以及得到所述人脸关键点及其预设范围内的点分别对应的置信度，参考图2。
更进一步地说，特征点提取层，对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到人脸关键点及其预设范围内的点分别对应的置信度，包括：对输入的人脸图像进行特征提取，得到人脸关键点及其预设范围内的点；以及，基于人脸关键点及其预设范围内的点，利用二维高斯分布，得到人脸关键点及其预设范围内的点分别对应的置信度。
需要说明的是，特征点提取层可以基于输入的人脸图像提取人脸关键点及其周围区域的点，得到人脸关键点及其预设范围内的点，其中，人脸关键点可以表示为(x,y)，人脸关键点预设范围内的点可以表示为(x-t,y)、(x+t,y)、(x,y-t)和(x，y+t)，其中，t表示预设范围，t为可调节学习参数。
另外，特征点提取层还可以在提取得到人脸关键点及其周围区域的点的同时，利用二维高斯分布，得到各点对应的置信度。应当说明的是，在其他实施例中，也可以在提取得到人脸关键点及其周围区域的点之后，利用二维高斯分布，得到各点对应的置信度，此处不做进一步的限定。
本实施例中，置信度表示为：
Figure BDA0003608857340000071
其中，f(xi,yj)表示人脸关键点(x,y)的附近点(xi,yj)对应的置信度，(xi,yj)也可以表示为本实施例中(x-t,y)、(x+t,y)、(x,y-t)和(x,y+t)，将其分别带入上述二维高斯热力图中，以得到各点分别对应的置信度。需要说明的是，将(x-t,y)、(x+t,y)、(x,y-t)和(x,y+t)分别而输入至上述二维高斯热力图中，得到对应的置信度。应当理解，虽然图2中示出了人脸关键点预设范围内的点可以表示为(x-t,y)、(x+t,y)、(x,y-t)和(x，y+t)，但是这只是举例说明，人脸关键点预设范围内的点的数量可以小于或多于4个，例如2个、6个、8个等等；此外，人脸关键点预设范围内的点的位置也可以是其他位置，例如(x-t,y-t)、(x+t,y+t)、(x+t,y-t)和(x-t,y+t)等等，本公开的范围在此不作限制。
其次，将人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度输入至人脸关键点检测层，得到人脸关键点检测层输出的人脸关键点检测结果。
更进一步地说，人脸关键点检测层，基于人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度，得到人脸关键点检测结果，包括：基于人脸关键点及其预设范围内的点，结合人脸关键点及其预设范围内的点分别对应的置信度进行加权输出，得到人脸关键点检测结果。
本实施例中，人脸关键点检测结果，表示为：
output_x＝(x-t)*f(x-t,y)+x*f(x，y)+(x+t)*f(x+t，y)
output_y＝(y-t)*f(x,y-t)+y*f(x,y)+(y+t)*f(x,y+t)
其中，(output_x，output_y)表示人脸关键点模型输出的人脸关键点检测结果，output_x表示人脸关键点检测模型输出的沿预设第一方向的坐标，output_y表示人脸关键点检测模型输出的沿预设垂直于所述第一方向的第二方向的坐标，(x-t)、(x+t)表示预设范围内的点沿所述第一方向的坐标，(y-t)、(y+t)表示预设范围内的点沿第二方向的坐标，f(x-t,y)表示点(x-t,y)对应的置信度，f(x,y)表示点(x,y)对应的置信度，f(x+t，y)表示点(x+t，y)对应的置信度，f(x,y-t)表示点(x,y-t)对应的置信度，f(x,y+t)表示点(x,y+t)对应的置信度。
在一个可选实施例中，参考图3，该方法，还包括：在将人脸图像输入至人脸关键点检测模型中之前，训练人脸关键点检测模型，具体包括：
S31，获取样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值；
S32，将样本图像作为待训练模型的输入数据，将人脸关键点真值及人脸关键点预设范围内的点真值作为标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
需要说明的是，本说明书中的S3N不代表训练人脸关键点检测模型的先后顺序，下面具体描述本发明的训练人脸关键点检测模型。
步骤S31，获取样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值。
在本实施例中，获取样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值，包括：获取样本图像；对样本图像进行标注，得到人脸关键点真值及人脸关键点预设范围内的点真值。
需要说明的是，获取样本图像，包括：获取视频流；基于预设间隔采集一定数量的视频帧图像作为样本图像；或者，基于至少一个人脸连续拍摄至少一帧图像，作为样本图像。应当注意，在获取视频流或者拍摄人脸图像时，可以基于不同的姿态角、遮挡物、光照等外界因素下获取。
另外，在获取样本图像之后，还包括：对获取的样本图像进行人脸识别，以去除未包含人脸的人脸图像。需要说明的是，样本图像可以理解为图片数据的集合，该图片数据可以是针对至少一个人脸目标，并且对应各人脸目标位于不同角度、不同像素颜色等状态下的图片，图片数据量通常比较大，可达到百万级别。上述样本图像用于训练待训练网络，以完成模型的构建。
在一个可选实施例中，在获取样本图像及样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值之后，还包括：利用数据增强策略对样本图像进行数据增强。具体而言，数据增强策略包括翻转、旋转、裁剪、变形和缩放中的至少一种；和/或，数据增强策略包括噪声、模糊、颜色变换、擦除和填充中的至少一种。需要说明的是，基于本实施例选择的数据增强策略，适用于对上述样本图像进行数据增强，以便于增加训练图像数据量的同时，且有利于后续模型训练过程中，大幅度提升模型对于光照、遮挡、不完整、偏转角度大、表情等场景下的关键点检测精度。
步骤S32，将样本图像作为待训练模型的输入数据，将人脸关键点真值及人脸关键点预设范围内的点真值作为标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
在本实施例中，待训练网络中通常包括分别用于对样本图像进行检测的特征点提取层、基于特征点提取层得到的人脸关键点预测点及其预设范围内预测点，以及得到所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度，对人脸图像进行关键点检测的人脸关键点检测层和损失函数；按照预设的迭代规则，将上述样本图像或经数据增强后的样本图像输入至待训练模型中进行训练，得到训练后的人脸关键点检测模型。
具体而言，对待训练模型进行训练，包括：将样本图像输入至特征点提取层，得到特征点提取层输出的人脸关键点预测点及其预设范围内的预测点，以及得到特征点提取层输出的人脸关键点预测点及其预设范围内的预测点分别对应的置信度；将人脸关键点及其预设范围内的预测点和人脸关键点预测点及其预设范围内的预测点分别对应的置信度，得到人脸关键点检测结果；基于人脸关键点预测点及其预设范围内的预测点、人脸关键点真值和人脸关键点预设范围内的点真值构建关键点损失函数，并基于关键点损失函数收敛，结束训练。需要说明的是，由于人脸关键点周围点对人脸关键点检测模型学习有极大的干扰，因此在不增加模型计算量的情况下，通过添加关键点附近信息指导模型学习，以将模型由预测单个人脸关键点变为预测单个人脸关键点及其周围若干个点，从而增加模型学习的信息，进一步提高模型的鲁棒性；基于将预测的人脸关键点及其周围的若干个点的置信度进行加权，输出人脸关键点预测结果，从而提高人脸关键点检测的稳定性，避免因为微小的偏移造成人脸关键点检测误差较大的情况。
综上所述，本发明实施例通过关键点预设范围内的点指导人脸关键点检测模型学习人脸关键点，以避免人脸关键点预设范围内的点对人脸关键点检测模型学习的干扰，并将人脸关键点检测模型由预测单个人脸关键点变为预测单个人脸关键点及预设范围内的点，从而增加模型学习的信息，提高模型的鲁棒性；另外，通过将预测的人脸关键点及其周围的若干个点的置信度进行加权，以得到人脸关键点检测结果，从而提高人脸关键点检测的稳定性，避免因为微小的偏移造成人脸关键点检测误差较大的情况，降低了误检率。
下面对本发明提供的人脸关键点检测装置进行描述，下文描述的人脸关键点检测装置与上文描述的人脸关键点检测方法可相互对应参照。
图4示出了本发明一种人脸关键点检测装置的结构示意图，该装置包括：
图像获取模块41，获取人脸图像；
关键点检测模块42，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
具体而言，图像获取模块41，包括：数据获取单元，基于应用人脸关键点检测方法的电子设备或应用平台，获得待进行人脸关键点检测的人脸图像；或者，数据获取单元，基于与应用人脸关键点检测方法的电子设备或应用平台连接的终端设备，获得人脸图像。需要说明的是，上述终端设备可以通过与其连接的视觉传感器获得识别区域内人物的人脸图像。应当注意，上述人脸图像可以为拍摄得到的单帧图片或图片帧序列，或者是对视频进行镜头分割，得到的与待检测人脸相关的图像帧或图像帧序列。
在一个可选实施例中，数据获取模块41获取的人脸图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定人脸拍摄的图像，此处不对人脸图像的来源做进一步地限定。
另外，关键点检测模块42，包括：数据输入单元，将人脸图像输入至人脸关键点检测模型中；人脸关键点检测单元，基于人脸关键点检测模型对人脸图像进行检测，得到人脸关键点检测结果；数据输出单元，用于输出人脸关键点检测结果。
具体而言，人脸关键点检测单元，包括：特征点提取子单元，对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到人脸关键点及其预设范围内的点分别对应的置信度；人脸关键点检测子单元，基于人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度，得到人脸关键点检测结果。相对应的，将人脸图像输入至人脸关键点检测单元中，得到人脸关键点检测单元输出的人脸关键点检测结果，包括：将人脸图像输入至特征点提取子单元，得到特征点提取子单元输出的人脸关键点及其预设范围内的点，以及得到特征点提取子单元输出的人脸关键点及其预设范围内的点分别对应的置信度；将人脸关键点及其预设范围内的点和人脸关键点及其预设范围内的点分别对应的置信度输入至人脸关键点检测子单元，得到人脸关键点检测子单元输出的人脸关键点检测结果。
在一个可选实施例中，特征点提取子单元，包括：特征提取孙单元，对输入的人脸图像进行特征提取，得到人脸关键点及其预设范围内的点；以及，置信度获取孙单元，基于人脸关键点及其预设范围内的点，利用二维高斯分布，得到人脸关键点及其预设范围内的点分别对应的置信度。
人脸关键点检测子单元，包括：检测孙单元，基于人脸关键点及其预设范围内的点，结合人脸关键点及其预设范围内的点分别对应的置信度进行加权输出，得到人脸关键点检测结果。
在一个可选实施例中，参考图5，该装置还包括：训练模块，用于在将人脸图像输入至人脸关键点检测模型中之前，训练人脸关键点检测模型。具体而言：训练模块包括：
样本获取单元51，获取样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值；
训练单元52，将样本图像作为待训练模型的输入数据，将人脸关键点真值及人脸关键点预设范围内的点真值作为标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
在本实施例中，样本获取单元51，包括：样本获取子单元，获取样本图像；标注子单元，对样本图像进行标注，得到人脸关键点真值及人脸关键点预设范围内的点真值。
需要说明的是，样本获取子单元，包括：视频获取孙单元，获取视频流；图像采集孙单元，基于预设间隔采集一定数量的视频帧图像作为样本图像；或者，图像获取孙单元，基于至少一个人脸连续拍摄至少一帧图像，作为样本图像。应当注意，在获取视频流或者拍摄人脸图像时，可以基于不同的姿态角、遮挡物、光照等外界因素下获取。
另外，样本获取子单元，还包括：筛选子单元，对获取的样本图像进行人脸识别，以去除未包含人脸的人脸图像。需要说明的是，样本图像可以理解为图片数据的集合，该图片数据可以是针对至少一个人脸目标，并且对应各人脸目标位于不同角度、不同像素颜色等状态下的图片，图片数据量通常比较大，可达到百万级别。上述样本图像用于训练待训练网络，以完成模型的构建。
在一个可选实施例中，该装置还包括：数据增强模块，利用数据增强策略对样本图像进行数据增强。具体而言，数据增强策略包括翻转、旋转、裁剪、变形和缩放中的至少一种；和/或，数据增强策略包括噪声、模糊、颜色变换、擦除和填充中的至少一种。需要说明的是，基于本实施例选择的数据增强策略，适用于对上述样本图像进行数据增强，以便于增加训练图像数据量的同时，且有利于后续模型训练过程中，大幅度提升模型对于光照、遮挡、不完整、偏转角度大、表情等场景下的关键点检测精度。
待训练网络中通常包括分别用于对样本图像进行检测的特征点提取层、基于特征点提取层得到的人脸关键点预测点及其预设范围内预测点，以及得到所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度，对人脸图像进行关键点检测的人脸关键点检测层和损失函数；按照预设的迭代规则，将上述样本图像或经数据增强后的样本图像输入至训练单元52中进行训练，得到训练后的人脸关键点检测模型。
训练单元52，包括：特征点提取子单元，将样本图像输入至特征点提取层，得到特征点提取层输出的人脸关键点预测点及其预设范围内的预测点，以及得到特征点提取层输出的人脸关键点预测点及其预设范围内的预测点分别对应的置信度；人脸关键点检测子单元，将人脸关键点及其预设范围内的预测点和人脸关键点预测点及其预设范围内的预测点分别对应的置信度，得到人脸关键点检测结果；损失函数构建子单元，基于人脸关键点预测点及其预设范围内的预测点、人脸关键点真值和人脸关键点预设范围内的点真值构建关键点损失函数，并基于关键点损失函数收敛，结束训练。
综上所述，本发明实施例通过关键点检测模块在关键点预设范围内的点指导人脸关键点检测模型学习人脸关键点，以避免人脸关键点预设范围内的点对人脸关键点检测模型学习的干扰，并将人脸关键点检测模型由预测单个人脸关键点变为预测单个人脸关键点及预设范围内的点，从而增加模型学习的信息，提高模型的鲁棒性；另外，通过将预测的人脸关键点及其周围的若干个点的置信度进行加权，以得到人脸关键点检测结果，从而提高人脸关键点检测的稳定性，避免因为微小的偏移造成人脸关键点检测误差较大的情况，降低了误检率。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)61、通信接口(Communications Interface)62、存储器(memory)63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信。处理器61可以调用存储器63中的逻辑指令，以执行人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的人脸关键点真值及人脸关键点预设范围内的点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸关键点检测方法，其特征在于，包括：
获取人脸图像；
将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；
其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值训练得到的；
所述人脸关键点模型用于基于对所述人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
2.根据权利要求1所述的人脸关键点检测方法，其特征在于，所述人脸关键点检测模型，包括：
特征点提取层，对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到所述人脸关键点及其预设范围内的点分别对应的置信度；
人脸关键点检测层，基于所述人脸关键点及其预设范围内的点和所述人脸关键点及其预设范围内的点分别对应的置信度，得到所述人脸关键点检测结果。
3.根据权利要求2所述的人脸关键点检测方法，其特征在于，所述对输入的人脸图像进行关键点检测，得到人脸关键点及其预设范围内的点，以及得到所述人脸关键点及其预设范围内的点分别对应的置信度，包括：
对输入的人脸图像进行特征提取，得到人脸关键点及其预设范围内的点；
以及，基于所述人脸关键点及其预设范围内的点，利用二维高斯分布，得到所述人脸关键点及其预设范围内的点分别对应的置信度。
4.根据权利要求2所述的人脸关键点检测方法，其特征在于，所述得到所述人脸关键点检测结果，包括：
基于所述人脸关键点及其预设范围内的点，结合所述人脸关键点及其预设范围内的点分别对应的置信度进行加权输出，得到所述人脸关键点检测结果。
5.根据权利要求1所述的人脸关键点检测方法，其特征在于，训练所述人脸关键点检测模型，包括：
获取样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值；
将所述样本图像作为待训练模型的输入数据，将所述人脸关键点真值及所述人脸关键点预设范围内的点真值作为标签，对所述待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
6.根据权利要求5所述的人脸关键点检测方法，其特征在于，所述对所述待训练模型进行训练，包括：
将所述样本图像输入至特征点提取层，得到所述特征点提取层输出的人脸关键点预测点及其预设范围内的预测点，以及得到所述特征点提取层输出的所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度；
将所述人脸关键点及其预设范围内的预测点和所述人脸关键点预测点及其预设范围内的预测点分别对应的置信度，得到所述人脸关键点检测结果；
基于所述人脸关键点预测点及其预设范围内的预测点、所述人脸关键点真值和所述人脸关键点预设范围内的点真值构建关键点损失函数，并基于所述关键点损失函数收敛，结束训练。
7.一种人脸关键点检测装置，其特征在于，包括：
图像获取模块，获取人脸图像；
关键点检测模块，将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；
其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的人脸关键点真值及所述人脸关键点预设范围内的点真值训练得到的；
所述人脸关键点模型用于基于对所述人脸图像预测得到的人脸关键点及其预设范围内的点进行加权输出，得到人脸关键点检测结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述人脸关键点检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸关键点检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述人脸关键点检测方法的步骤。
CN202210427133.1A 2022-04-21 2022-04-21 人脸关键点检测方法及装置 Pending CN114998953A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427133.1A CN114998953A (zh) 2022-04-21 2022-04-21 人脸关键点检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427133.1A CN114998953A (zh) 2022-04-21 2022-04-21 人脸关键点检测方法及装置

Publications (1)

Publication Number Publication Date
CN114998953A true CN114998953A (zh) 2022-09-02

Family

ID=83025417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427133.1A Pending CN114998953A (zh) 2022-04-21 2022-04-21 人脸关键点检测方法及装置

Country Status (1)

Country Link
CN (1) CN114998953A (zh)

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
Zhang et al. Adversarial spatio-temporal learning for video deblurring
Jiang et al. Fastderain: A novel video rain streak removal method using directional gradient priors
Li et al. Single image rain streak decomposition using layer priors
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
TW202101371A (zh) 視訊流的處理方法和裝置
US9721387B2 (en) Systems and methods for implementing augmented reality
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
US10373379B2 (en) Deformable-surface tracking based augmented reality image generation
CN110569844B (zh) 基于深度学习的船舶识别方法及系统
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN112381183A (zh) 目标检测方法、装置、电子设备及存储介质
CN111445496B (zh) 一种水下图像识别跟踪系统及方法
CN112734914A (zh) 一种增强现实视觉的图像立体重建方法及装置
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
US20220207917A1 (en) Facial expression image processing method and apparatus, and electronic device
CN115008454A (zh) 一种基于多帧伪标签数据增强的机器人在线手眼标定方法
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
Pandey et al. Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos
CN114998953A (zh) 人脸关键点检测方法及装置
CN113436251A (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN112991179B (zh) 用于输出信息的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination