CN116884050A - 人脸关键点检测方法、装置、电子设备及存储介质 - Google Patents

人脸关键点检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116884050A
CN116884050A CN202210315032.5A CN202210315032A CN116884050A CN 116884050 A CN116884050 A CN 116884050A CN 202210315032 A CN202210315032 A CN 202210315032A CN 116884050 A CN116884050 A CN 116884050A
Authority
CN
China
Prior art keywords
key point
image
face
point information
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210315032.5A
Other languages
English (en)
Inventor
田秀敏
霰心培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202210315032.5A priority Critical patent/CN116884050A/zh
Publication of CN116884050A publication Critical patent/CN116884050A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸关键点检测方法、装置、电子设备及存储介质，该方法包括：对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；根据第一关键点信息和去噪图像确定去遮挡图像；对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。实现了在对被遮挡的人脸图像的关键点的检测过程中，保留被遮挡部分并进行处理，提高关键点定位的完备性和准确性。

Description

人脸关键点检测方法、装置、电子设备及存储介质
技术领域
本申请涉及人脸图像处理技术领域，尤其涉及一种人脸关键点检测方法、装置、电子设备及存储介质。
背景技术
人脸关键点检测在人脸识别、表情识别以及人脸动画等计算机视觉应用中起着重要的作用。但是当面部存在被遮挡的情况时，会使得人脸关键点检测的准确性会大大降低。当前，用于遮挡情况下的人脸关键点检测方法通常是检测并丢弃被遮挡的部分，而这种方式会使得人脸关键点的定位不准确。
发明内容
本申请实施例的目的是提供一种人脸关键点检测方法、装置、电子设备及存储介质，提高人脸关键点的定位准确性。
在第一方面，本申请实施例提供了一种人脸关键点检测方法，包括：
对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
根据第一关键点信息和去噪图像确定去遮挡图像；
对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
在第二方面，本申请实施例提供了一种人脸关键点检测装置，包括：
第一处理模块，用于对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
第一确定模块，用于根据第一关键点信息和去噪图像确定去遮挡图像；
第二处理模块，用于对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
第二确定模块，用于当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
在第三方面，本申请实施例提供了一种电子设备，电子设备包括处理器、存储器以及存储于存储器中且可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的人脸关键点检测方法中的步骤。
在第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的人脸关键点检测方法中的步骤。
本申请实施例提供了一种人脸关键点检测方法、装置、电子设备及存储介质，该方法在对被遮挡的人脸图像进行人脸关键点检测时，首先得到被遮挡人脸图像的第一关键点信息，然后对被遮挡人脸图像进行处理得到去遮挡的人脸图像，并且对去遮挡的人脸图像进行处理，得到第二关键点信息，最后根据做得到的第一关键点信息和第二关键点信息确定待处理人脸图像对应的关键点的检测结果。实现了在对被遮挡的人脸图像的关键点的检测过程中，保留被遮挡部分，同时对被遮挡部分进行恢复处理，提高关键点定位的完备性，同时在对被遮挡部分的关键点进行定位时，通过前后对比确定是否定位准确，提高人脸关键点定位的准确性。
附图说明
图1为本申请实施例提供的人脸关键点检测方法的一种流程示意图；
图2为本申请实施例提供的得到第一关键点信息的步骤的一流程示意图；
图3为本申请实施例提供的得到去噪图像的步骤的一流程示意图；
图4为本申请实施例提供的得到去遮挡图像的步骤的一流程示意图；
图5为本申请实施例提供的级联网络的一结构示意图
图6为本申请实施例提供的人脸关键点检测装置的一种结构示意图；
图7为本申请实施例提供的电子设备的一种结构示意图；
图8为本申请实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解的是，本申请公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
请参见图1，图1为本申请实施例提供的人脸关键点检测方法的一种流程示意图，如图1所示，本申请实施例提供的人脸关键点检测方法包括步骤S101至步骤S104。
步骤S101、对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像。
其中，待处理人脸图像为被遮挡人脸图像，关键点信息为待处理人脸图像中人脸图像上的关键点的相关信息，如位置信息，去噪图像为未被遮挡人脸图像。当然，对于未被遮挡的图像，也可以依据本申请所提及的方式进行人脸关键点的检测。
在一实施例中，在进行人脸关键点检测时，首先获取需要进行检测处理的待处理人脸图像，然后利用所设定的检测方式和手段对待处理人脸图像进行处理，实现对待处理人脸图像中的人脸关键点的检测和确定。具体地，在得到待处理人脸图像时，将会对待处理人脸图像进行处理，以得到待处理人脸图像对应的第一关键点信息和去噪图像。
在实际应用中，在对待处理人脸图像进行处理时，可以利用预先训练好的深度神经网络模型来实现，因此，此时需要预先对深度神经网络模型进行训练，进而在训练完成时，使用训练好的深度神经网络模型实现对待处理人脸图像的处理。具体地，利用训练好的深度神经网络模型对待处理图像进行处理，以预测得到对应的人脸脸型，而在使用深度神经网络模型进行处理时，通过在训练时确定不同的人脸特征对应的关键点信息，实现对人脸脸型的预测。
在一实施例中，对于深度神经网络模型而言，在进行训练时，首先构建响应的训练集，进而根据所构建的训练集对深度神经网络模型进行训练。对于一个包含N张人脸图片xi及其对应的p个面部关键点图Si的训练集深度回归网络是一个非线性模型，通过优化以下目标将人脸图片xi映射到相应的人脸关键点图Si上。
其中，是特征提取函数，/>是初始关键点，ΔSi表示真实关键点与初始关键点/>之间的偏差，/>
深度回归网络模型用于表征从外观到关键点图的非线性映射，对于隐含层数为m-1的深层网络，可表示为优化以下目标函数：
(am-1)＝Wmam-1+bm；
其中，F包含f1,f2,f3,…,fm；是一个用Wq和bq参数化的深度网络中第q层的非线性函数，σ是非线性激活函数，比如sigmoid或tanh函数，aq是隐藏层q的响应。对于最后一层m，利用线性回归将特征表示am-1投影到对应的脸型偏差ΔSi，引入正则化项来防止过拟合。
因此，在完成对深度神经网络模型的训练之后，在需要进行人脸关键点检测时，利用训练好的深度神经网络模型对待处理人脸图像进行处理，得到关键点信息。
在一实施例中，在对待处理图像进行处理时，除了得到对应的关键点信息之外，还会得到相应的去噪图像。
在一些可能的实施例中，对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像，包括：
对获取的待处理人脸图像进行特征提取，得到人脸特征，并根据人脸特征确定待处理人脸图像对应的第一关键点信息；
对待处理人脸图像进行区域划分，得到若干第一区域，并对若干第一区域进行降噪处理，得到待处理人脸图像对应的去噪图像。
在对待处理人脸图像进行处理时，在得到第一关键点信息时，通过对待处理图像进行特征提取，如人脸边缘、眼睛、鼻子等部位的特征，然后根据所得到的特征实现对待处理人脸图像的关键点信息的确定。而在得到去噪图像时，由于不同的特征代表不同的区域，因此也相当于对待处理人脸图像进行区域划分，得到若干区域，然后对所得到若干区域利用编码器进行编码和解码处理，以得到对应的去噪图像。
示例性地，在得到去噪图像时，首先确定被遮挡区域，然后进行解码和编码处理，激活函数使用sigmoid函数，通过对待处理人脸图像进行编码和解码处理，获取使得原图像和处理后图像差别不大的参数，最后连接一个全连接层，以将被遮挡区域移除得到得去噪的人脸图像，也就是去噪图像。
参照图2，图2为本申请实施例提供的得到第一关键点信息的步骤的一流程示意图。其中，该步骤包括步骤S201至步骤S202。
步骤S201、计算人脸特征中每一特征与标准特征之间的相似度值，并根据多个相似度值确定人脸特征对应的特征类别；
其中，多个相似度值中的最大相似度值对应的标准特征的类别为所对应的特征类别；
步骤S202、根据确定特征类别后的人脸特征，得到待处理人脸图像对应的第一关键点信息。
在对待处理人脸图像进行处理，得到对应的第一关键点信息时，利用训练好的深度神经网络模型进行处理得到的。具体地，在模型进行处理时，首先对待处理人脸图像进行人脸特征的提取，得到待处理人脸图像对应的人脸特征，然后再根据所得到的人脸特征得到待处理人脸图像对应的第一关键点信息。
在通过特征提取，得到待处理图像所对应的人脸特征之后，由于所得到的人脸特征包含有人脸中不同部位和不同区域的特征，因此在得到人脸特征之后，确定人脸特征所代表的特征类型，如眼睛和鼻子属于不同的类型，通过计算所得到的人脸特征中每一特征与标准特征之间的相似度值，通过相似度值确定人脸特征中每一特征对应的特征类型，最后根据所确定的特征类型构建第一关键点信息。
其中，标准特征为真实人脸图像中各部位对应的特征，通过计算人脸特征中每一特征与标准特征的相似度值，确定每一特征的特征类型，而在确定其所对应的特征类型时，首先确定人脸特征中每一特征与其中一个标准特征的相似度值，然后在所得到的相似度值中选择最大相似度值对应的特征与该标准特征对应，他也就确定了人脸特征中的一个特征对应的特征类别。同样的，在确定人脸特征中的其他特征的特征类别时，也是通过最大相似度值来确定。
在一实施例中，在得到待处理人脸图像对应的去噪图像时，参照图3，图3为本申请实施例提供的得到去噪图像的步骤的一流程示意图，其中，该步骤包括步骤S301至步骤S303。
步骤S301、根据第一关键点信息，在若干第一区域中选取第一被遮挡区域；
步骤S302、对第一被遮挡区域进行降噪处理，得到第一被遮挡区域对应的第一去噪区域；
步骤S303、根据若干第一区域中的未被遮挡区域以及第一去噪区域，得到待处理人脸图像对应的去噪图像；其中，待处理人脸图像由第一被遮挡区域以及未被遮挡区域组成。
在得到待处理人脸图像对应的去噪图像时，在对待处理人脸图像完成区域划分之后，首先根据所得到的第一关键点信息，在所得到的若干第一区域中确定第一被遮挡区域，然后利用相应的编码器对第一被遮挡区域进行编码和解码等处理，得到第一被遮挡区域对应的第一去噪区域，最后根据所得到的待处理人脸图像和第一去噪区域，得到对应的去噪图像。
示例性地，去噪图像是利用编码器进行编码处理恢复的，通过编码和解码将待处理图像中的被遮挡部分进行恢复。而对于编码器，是可以预先设计和优化好的。对于所设定的编码器，其表达式如下：
其中，xi表示被遮挡的人脸图片，表示未遮挡的人脸图片。
对于一个包含N个样本的训练集xi是一个带有关键点标注的/>的遮挡人脸，/>是相对应的没有遮挡的真实人脸。这里/>是利用前述描述的深度回归网络模型预测得到的关键点图。去遮挡的自动编码器被用来从遮挡人脸xi重建真实人脸/>
其中，表示xi围绕关键点图/>的外观，/>表示/>围绕关键点图/>的外观。考虑到人脸在不同的姿态和表情下的外观是不同的，设计一个去遮挡的自编码网络来重建整个人脸的细节是很重要的。为了在不同姿态和表情下恢复一个生动的面孔，根据人脸关键点图/>将人脸图像xi分割成J个部分，并设计J个独立的去遮挡自编码网络Gj。
为了获得泛化能力较强的去遮挡自编码器网络，需要建立一个包含遮挡人脸xi以及真实人脸的训练集。然而，遮挡有成千上万的外观变化，并且遮挡可能发生在任何地方。有各种可能遮挡的真实世界图像是很难甚至不可能收集到的。但是在没有遮挡的情况下很容易收集图像/>通过在图像上随机放置遮挡物，可以获得大范围的遮挡人脸图像。
步骤S102、根据第一关键点信息和去噪图像确定去遮挡图像。
在得到第一关键点信息和去噪图像之后，不会直接使用第一关键点信息作为关键点检测的结结果，此时将会根据所得到的第一关键点信息和去噪图像，进行图像的处理，得到去遮挡图像。
示例性地，去遮挡图像是基于关键点信息和去噪图像所得到的，包含有关键点信息和去噪图像，也就是由部分关键点信息和部分去噪图像所得到。具体地，对于待处理人脸图像，存在由部分被遮挡的情况，而在对待处理人脸图像进行人脸恢复时，利用相应的编码器进行处理，得到一个所预测的去噪图像，也就是一个未被遮挡的人脸图像。而为了更加准确的对被遮挡部分的关键点进行检测，此时将会根据待处理人脸图像对应的第一关键点信息和去噪图像得到一个去遮挡图像。
参照图4，图4为本申请实施例提供的得到去遮挡图像的步骤的一流程示意图，其中，该步骤包括步骤S401至步骤S403。
步骤S401、对去噪图像进行区域划分，得到若干第二区域；
步骤S402、基于第一被遮挡区域的位置信息，在若干第二区域中选取第二被遮挡区域；
步骤S403、根据若干第二区域中的未被遮挡区域以及第二被遮挡区域，得到去遮挡图像；其中，若干第二区域中的未被遮挡区域是基于第一关键点信息确定的。
在得到去遮挡图像时，首先对去噪图像进行区域划分，而具体地进行区域划分的划分规则与对去噪图像进行区域划分的划分规则相同，在完成区域划分之后将会得到若干第二区域，第二区域与第一区域中的每一个区域可以一一对应，然后基于第一被遮挡区域的位置信息，在第二区域中确定相对应的第二被遮挡区域，最后根据待处理人脸图像中的未被遮挡区域和此时所得到的第二被遮挡区域，得到去遮挡图像。
在实际的处理过程中，对于待处理人脸图像中的被遮挡的部分，在得到去遮挡图像使用去噪图像中对应的部分代替，而对于待处理人脸图像中未被遮挡的部分，在得到去遮挡图像时依旧使用待处理人脸图像中的部分图像表示。
比如，在对待处理人脸图像和去噪图像进行区域划分时，假如划分的区域有7个，但是实际上并不是7个区域都被遮挡，若此时区域2被遮挡，那么在生成去遮挡图像时，区域2所对应的位置使用去噪图像中对应的图像，而剩余的其他区域所对应的位置使用待处理人脸图像中的图像。
步骤S103、对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息。
在得到去遮挡图像之后，将会对区域去遮挡图像再次进行处理，得到去遮挡图像对应的第二关键点信息，进而根据所得到的第二关键点信息确定对待处理人脸图像的人脸关键点的检测是否完成。
而在对去遮挡图像进行处理得到第二关键点信息的方式，与对待处理人脸图像进行处理得到第一关键点信息的方式相同，因此，具体实现过程可以参考前述描述的得到第一关键点信息的各实施例。
步骤S104、当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
在得到第一关键点信息和第二关键点信息之后，将会根据第一关键点信息和第二关键点信息确定是否满足检测条件，也就是确定人脸关键点检测是否完成，而在确定满足检测条件时，确定第二关键点信息为待处理人脸图像对应的人脸关键点信息。
当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息，包括：
计算第一关键点信息与第二关键点信息的位移偏量；其中，位移偏量包括位移方向和位移距离；
当位移偏量满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息；其中，
若位移偏量小于或者等于偏量阈值，则位移偏量满足检测条件；
若位移偏量大于偏量阈值，则位移偏量不满足检测条件。
具体地，关键点信息中包含有各关键点在图像中的位置信息，第一关键点信息是进行关键点检测和预测时的第一结果，第二关键点信息是进行关键点检测和预测时的第二结果，在实际的预测处理过程中，关键点的检测是基于一个级联网络进行处理得到的，参照图5，图5为本申请实施例提供的级联网络的一结构示意图。
在级联网络中，包含有若干子网络，一个子网络在使用的过程中对应的一个输出结果，如上述描述的第一关键点信息和第二关键点信息，而在使用过程中，各子网络是串联状态，也就是前一个子网络的输出为下一个子网络的输入，当然并不是所有的输出都会输入到下一个子网络中，需要根据相邻两次的输出结果确定是否需要输入至下一个子网络中进行处理。
实际上，对于所得到的关键点信息，其中包含有各关键点的位置信息，如坐标等，通过相邻两个关键点信息的对比，可以确定各关键点的位移偏量。而在进行预测处理时，相邻两个子网络的输出结果会存在有一点的差异，此时将会根据所得到的差异确定检测是否完成。具体地，在得到位移偏量时，若位移偏量小于或者等于所设定的偏量阈值，则确定满足检测条件，即检测完成；而若位移偏量大于所设定的偏量阈值，则确定不满足检测条件，需要进行进一步的处理。
而在进行进一步的处理时，也就是需要进入下一个子网络进行人脸关键点的检测，并且根据所得到的检测结果进行判断确定。
以每一个子网络为一个阶段，在如图5所示的级联网络中，在进行图像处理时，理论上有若干个处理阶段，其中每一个阶段都会输出一个关键点信息。具体而言，对于第k阶段，其对应的预测结果Sk-1，为第j个组件构建去遮挡编码器公式如下：
以为输入，第k层深度回归网络旨在通过预测当前关键点定位偏差ΔSk＝S-Sk -1来进一步细化关键点图。
其中，表示用形状索引特征提取，此时关键点图可以被细化为Sk＝Sk-1+ΔSk，被进一步用于学习下面的去遮挡自编码器网络。
通过学习级联结构下的去遮挡自编码网络和深度回归网络，两者可以相互受益。一方面，可以得到更精确的脸型，每个组件内部的外观变化变得更一致，从而导致更紧凑的去遮挡的编码器，以更好地去遮挡面部图像。另一方面，对遮挡具有鲁棒性的深度回归网络可以通过利用更好的去遮挡的面孔来实现。
由上述描述可以知道，计算第一关键点信息与第二关键点信息的位移偏量之后，还包括：
当位移偏量不满足检测条件时，对去遮挡图像进行处理，得到去遮挡图像对应的第一去噪图像；
根据第二关键点信息以及第一去噪图像，得到第三去遮挡图像，并对第三去遮挡图像进行处理，得到第三去遮挡图像对应的第三关键点信息；
当基于第三关键点信息以及第二关键点信息确定满足检测条件时，将第三关键点信息确定为待处理人脸图像对应的人脸关键点信息。
具体地，在根据第一关键点信息和第二关键点信息确定不满足检测条件时，此时去遮挡图像将会变为进行图像处理的对象，如对去遮挡图像进行处理，得到去遮挡图像对应的去噪图像，接着根据第二关键点信息和此时所得到的去噪图像，得到第三关键点信息，进而根据所得到的第二关键点信息和第三关键点信息确定是否满足检测条件。其中，具体的判断方式与根据第一关键点信息和第二关键点信息进行判断的方式相同。
同样地，在此时进行判断时依旧确定不满足检测条件时，按照相同的方式进行后续的处理，直至最终得到的关键点信息与前一关键点信息满足检测条件为止。
由于待处理人脸图像是不完整的人脸图像，也就是没有完整的包含人脸的所有部分，因此在得到待处理人脸图像所对应的人脸关键点信息之后，可以根据所得到的人脸关键点信息得到待处理人脸图像所对应的具有完整人脸的人脸图像。
综上，本申请实施例提供的人脸关键点检测方法，在对被遮挡的人脸图像进行人脸关键点检测时，首先得到被遮挡人脸图像的第一关键点信息，然后对被遮挡人脸图像进行处理得到去遮挡的人脸图像，并且对去遮挡的人脸图像进行处理，得到第二关键点信息，最后根据做得到的第一关键点信息和第二关键点信息，确定待处理人脸图像对应的关键点的检测结果。实现了在对被遮挡的人脸图像的关键点的检测过程中，保留被遮挡部分，同时对被遮挡部分进行恢复处理，提高关键点定位的完备性，同时在对被遮挡部分的关键点进行定位时，通过前后对比确定是否定位准确，提高人脸关键点定位的准确性。
根据上述实施例所描述的方法，本实施例将从人脸关键点检测装置的角度进一步进行描述，该人脸关键点检测装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑等。
请参见图6，图6为本申请实施例提供的一种人脸关键点检测装置的结构示意图，该人脸关键点检测装置600包括：
第一处理模块601，用于对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
第一确定模块602，用于根据第一关键点信息和去噪图像确定去遮挡图像；
第二处理模块603，用于对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
第二确定模块604，用于当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。
另外，请参见图7，图7为本申请实施例提供的电子设备的一种结构示意图，该电子设备可以是移动终端如智能手机、平板电脑等设备。如图7所示，电子设备700包括处理器701、存储器702。其中，处理器701与存储器702电性连接。
处理器701是电子设备700的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器702内的应用程序，以及调用存储在存储器702内的数据，执行电子设备700的各种功能和处理数据，从而对电子设备700进行整体监控。
在本实施例中，电子设备700中的处理器701会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能：
对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
根据第一关键点信息和去噪图像确定去遮挡图像；
对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
该电子设备700可以实现本申请实施例所提供的人脸关键点检测方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的任一人脸关键点检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
请参见图8，图8为本申请实施例提供的电子设备的另一种结构示意图，如图8所示，图8示出了本申请实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的人脸关键点检测方法。该电子设备800可以为移动终端如智能手机或笔记本电脑等设备。
RF电路810用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。RF电路810可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路810可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(Global System for Mobile Communication,GSM)、增强型移动通信技术(Enhanced DataGSM Environment,EDGE)，宽带码分多址技术(Wideband Code Division MultipleAccess,WCDMA)，码分多址技术(Code Division Access,CDMA)、时分多址技术(TimeDivision Multiple Access,TDMA)，无线保真技术(Wireless Fidelity，Wi-Fi)(如美国电气和电子工程师协会标准IEEE 802.11a，IEEE 802.11b,IEEE802.11g和/或IEEE802.11n)、网络电话(Voice over Internet Protocol,VoIP)、全球微波互联接入(Worldwide Interoperability for Microwave Access，Wi-Max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
存储器820可用于存储软件程序以及模块，如上述实施例中人脸关键点检测方法对应的程序指令/模块，处理器880通过运行存储在存储器820内的软件程序以及模块，从而执行各种功能应用以及人脸关键点检测，即实现如下功能：
对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
根据第一关键点信息和去噪图像确定去遮挡图像；
对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
存储器820可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器820可进一步包括相对于处理器880远程设置的存储器，这些远程存储器可以通过网络连接至电子设备800。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元830可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元830可包括触敏表面831以及其他输入设备832。触敏表面831，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面831上或在触敏表面831附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器880，并能接收处理器880发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面831。除了触敏表面831，输入单元830还可以包括其他输入设备832。具体地，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及电子设备800的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元840可包括显示面板841，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板841。进一步的，触敏表面831可覆盖显示面板841，当触敏表面831检测到在其上或附近的触摸操作后，传送给处理器880以确定触摸事件的类型，随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图中，触敏表面831与显示面板841是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面831与显示面板841集成而实现输入和输出功能。
电子设备800还可包括至少一种传感器850，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板841的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备800还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路860、扬声器861，传声器862可提供用户与电子设备800之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号，传输到扬声器861，由扬声器861转换为声音信号输出；另一方面，传声器862将收集的声音信号转换为电信号，由音频电路860接收后转换为音频数据，再将音频数据输出处理器880处理后，经RF电路810以发送给比如另一终端，或者将音频数据输出至存储器820以便进一步处理。音频电路860还可能包括耳塞插孔，以提供外设耳机与电子设备800的通信。
电子设备800通过传输模块870(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块870，但是可以理解的是，其并不属于电子设备800的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是电子设备800的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器820内的软件程序和/或模块，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器880可包括一个或多个处理核心；在一些实施例中，处理器880可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器880中。
电子设备800还包括给各个部件供电的电源890(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器880逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源890还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备800还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：
对获取的待处理人脸图像进行处理，得到待处理人脸图像对应的第一关键点信息以及去噪图像；
根据第一关键点信息和去噪图像确定去遮挡图像；
对去遮挡图像进行处理，得到去遮挡图像对应的第二关键点信息；
当基于第一关键点信息以及第二关键点信息确定满足检测条件时，将第二关键点信息确定为待处理人脸图像对应的人脸关键点信息。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现本申请实施例所提供的人脸关键点检测方法中任一实施例的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的人脸关键点检测方法任一实施例中的步骤，因此，可以实现本申请实施例所提供的任一人脸关键点检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种人脸关键点检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

Claims (11)

1.一种人脸关键点检测方法，其特征在于，包括：
对获取的待处理人脸图像进行处理，得到所述待处理人脸图像对应的第一关键点信息以及去噪图像；
根据所述第一关键点信息和所述去噪图像确定去遮挡图像；
对所述去遮挡图像进行处理，得到所述去遮挡图像对应的第二关键点信息；
当基于所述第一关键点信息以及所述第二关键点信息确定满足检测条件时，将所述第二关键点信息确定为所述待处理人脸图像对应的人脸关键点信息。
2.根据权利要求1所述的方法，其特征在于，所述对获取的待处理人脸图像进行处理，得到所述待处理人脸图像对应的第一关键点信息以及去噪图像，包括：
对获取的待处理人脸图像进行特征提取，得到人脸特征，并根据所述人脸特征确定所述待处理人脸图像对应的第一关键点信息；
对所述待处理人脸图像进行区域划分，得到若干第一区域，并对所述若干第一区域进行降噪处理，得到所述待处理人脸图像对应的去噪图像。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸特征确定所述待处理人脸图像对应的第一关键点信息，包括：
计算所述人脸特征中每一特征与标准特征之间的相似度值，并根据多个相似度值确定所述人脸特征对应的特征类别；
根据确定特征类别后的所述人脸特征，得到所述待处理人脸图像对应的第一关键点信息。
4.根据权利要求2所述的方法，其特征在于，所述对所述若干第一区域进行降噪处理，得到所述待处理人脸图像对应的去噪图像，包括：
根据所述第一关键点信息，在所述若干第一区域中选取第一被遮挡区域；
对所述第一被遮挡区域进行降噪处理，得到所述第一被遮挡区域对应的第一去噪区域；
根据所述若干第一区域中的未被遮挡区域以及所述第一去噪区域，得到所述待处理人脸图像对应的去噪图像；其中，所述待处理人脸图像由所述第一被遮挡区域以及所述未被遮挡区域组成。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一关键点信息和所述去噪图像确定去遮挡图像，包括：
对所述去噪图像进行区域划分，得到若干第二区域；
基于所述第一被遮挡区域的位置信息，在所述若干第二区域中选取第二被遮挡区域；
根据所述若干第二区域中的未被遮挡区域以及所述第二被遮挡区域，得到去遮挡图像；其中，所述若干第二区域中的未被遮挡区域是基于所述第一关键点信息确定的。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述当基于所述第一关键点信息以及所述第二关键点信息确定满足检测条件时，将所述第二关键点信息确定为所述待处理人脸图像对应的人脸关键点信息，包括：
计算所述第一关键点信息与所述第二关键点信息的位移偏量；其中，所述位移偏量包括位移方向和位移距离；
当所述位移偏量满足检测条件时，将所述第二关键点信息确定为所述待处理人脸图像对应的人脸关键点信息；其中
若所述位移偏量小于或者等于偏量阈值，则所述位移偏量满足所述检测条件；
若所述位移偏量大于所述偏量阈值，则所述位移偏量不满足所述检测条件。
7.根据权利要求6所述的方法，其特征在于，所述计算所述第一关键点信息与所述第二关键点信息的位移偏量之后，所述方法还包括：
当所述位移偏量不满足所述检测条件时，对所述去遮挡图像进行处理，得到所述去遮挡图像对应的第一去噪图像；
根据所述第二关键点信息以及所述第一去噪图像，得到第三去遮挡图像，并对所述第三去遮挡图像进行处理，得到所述第三去遮挡图像对应的第三关键点信息；
当基于所述第三关键点信息以及所述第二关键点信息确定满足所述检测条件时，将所述第三关键点信息确定为所述待处理人脸图像对应的人脸关键点信息。
8.根据权利要求1所述的方法，其特征在于，所述将所述第二关键点信息确定为所述待处理人脸图像对应的人脸关键点信息之后，所述方法还包括：
基于所述人脸关键点信息，生成所述待处理人脸图像对应的人脸图像。
9.一种人脸关键点检测装置，其特征在于，包括：
第一处理模块，用于对获取的待处理人脸图像进行处理，得到所述待处理人脸图像对应的第一关键点信息以及去噪图像；
第一确定模块，用于根据所述第一关键点信息和所述去噪图像确定去遮挡图像；
第二处理模块，用于对所述去遮挡图像进行处理，得到所述去遮挡图像对应的第二关键点信息；
第二确定模块，用于当基于所述第一关键点信息以及所述第二关键点信息确定满足检测条件时，将所述第二关键点信息确定为所述待处理人脸图像对应的人脸关键点信息。
10.一种电子设备，其特征在于，所述电子设备包括处理器、存储器以及存储于所述存储器中且可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的人脸关键点检测方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的人脸关键点检测方法中的步骤。
CN202210315032.5A 2022-03-28 2022-03-28 人脸关键点检测方法、装置、电子设备及存储介质 Pending CN116884050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210315032.5A CN116884050A (zh) 2022-03-28 2022-03-28 人脸关键点检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210315032.5A CN116884050A (zh) 2022-03-28 2022-03-28 人脸关键点检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116884050A true CN116884050A (zh) 2023-10-13

Family

ID=88255595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210315032.5A Pending CN116884050A (zh) 2022-03-28 2022-03-28 人脸关键点检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116884050A (zh)

Similar Documents

Publication Publication Date Title
CN109241859B (zh) 指纹识别方法及相关产品
CN110163380B (zh) 数据分析方法、模型训练方法、装置、设备及存储介质
CN112820299B (zh) 声纹识别模型训练方法、装置及相关设备
WO2017088434A1 (zh) 人脸模型矩阵训练方法、装置及存储介质
CN107480488A (zh) 解锁控制方法及相关产品
CN110147742B (zh) 一种关键点定位方法、装置及终端
CN107451444A (zh) 解锁控制方法及相关产品
CN112329926A (zh) 智能机器人的质量改善方法及系统
CN112817450A (zh) 动作识别方法、装置、电子设备及存储介质
CN112488157B (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN117576258A (zh) 图像处理方法、装置、电子设备及存储介质
CN107357412A (zh) 解锁控制方法及相关产品
CN115240250A (zh) 模型训练方法、装置、计算机设备及可读存储介质
CN116884050A (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN114840570A (zh) 数据处理方法、装置、电子设备及存储介质
CN111046215B (zh) 一种图像处理方法、装置、存储介质及移动终端
CN109379531B (zh) 一种拍摄方法及移动终端
CN113806532B (zh) 比喻句式判断模型的训练方法、装置、介质及设备
CN113806533B (zh) 比喻句式特征词语提取方法、装置、介质及设备
CN113763230B (zh) 图像风格迁移模型训练方法、风格迁移方法及装置
CN118052990A (zh) 图像识别方法、装置、电子设备及存储介质
CN110109606B (zh) 一种解锁方法和移动终端
CN118262381A (zh) 姿态估计方法、装置、电子设备及计算机可读存储介质
CN118071627A (zh) 图像降噪方法、装置、电子设备及存储介质
CN118262135A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication