CN113780040A - 唇部关键点的定位方法及装置、存储介质、电子设备 - Google Patents

Abstract

本公开属于图像处理技术领域，涉及一种唇部关键点的定位方法及装置、存储介质、电子设备。该方法包括：获取待处理图像中唇部关键点的初始定位结果，并根据初始定位结果裁剪待处理图像得到唇部图像；利用边缘检测算法对唇部图像进行边缘检测处理，得到唇部图像的边缘定位结果；根据边缘定位结果修正初始定位结果，得到唇部关键点的目标定位结果。本公开一方面通过深度学习模型输出唇部关键点的初始定位结果，无需额外增加新的标注数据，且丰富了定位方法的应用场景；另一方面，利用边缘定位结果对初始定位结果进行修正，提升了唇部关键点的定位精度，避免后续应用中渲染区域过小或过多等不贴合的现象。

Description

唇部关键点的定位方法及装置、存储介质、电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种唇部关键点的定位方法与唇部关键点的定位装置、计算机可读存储介质及电子设备。

背景技术

唇部关键点检测作为人脸关键点检测的一部分，其任务是在给定人脸图像以后，定位出嘴唇部位的特征点。这在虚拟上妆、表情分析和唇语识别等领域都是极为重要的基础要素。一般的，可以通过传统特征方法和基于深度学习的方法定位唇部关键点。

但是，由于传统特征方法十分依赖专家的经验，并且在实际场景中也极易出现遮挡和光照等复杂情景，利用高精度的传统特征方法会带来较高的时间复杂度。而利用深度学习的方法进行定位时，容易在收集数据和标注时出现误差，也会由于在要求实时性和轻量性的场景下由于影响精度而无法应用。

鉴于此，本领域亟需开发一种新的唇部关键点的定位方法及装置。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种唇部关键点的定位方法、唇部关键点的定位装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的时间复杂度高和精度较低等问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明实施例的第一个方面，提供一种唇部关键点的定位方法，所述方法包括：获取待处理图像中唇部关键点的初始定位结果，并根据所述初始定位结果裁剪所述待处理图像得到唇部图像；利用边缘检测算法对所述唇部图像进行边缘检测处理，得到所述唇部图像的边缘定位结果；根据所述边缘定位结果修正所述初始定位结果，得到所述唇部关键点的目标定位结果。

在本发明的一种示例性实施例中，所述根据所述边缘定位结果修正所述初始定位结果，包括：建立所述边缘定位结果的字典映射，并在所述字典映射中查询与所述初始定位结果对应的所述边缘定位结果；根据查询结果确定所述唇部关键点中的待修正关键点，并利用所述边缘定位结果修正所述待修正关键点。

在本发明的一种示例性实施例中，所述根据查询结果确定所述唇部关键点中的待修正关键点，包括：若查询到多个与所述初始定位结果对应的所述边缘定位结果，分别计算所述初始定位结果与多个所述边缘定位结果之间的多个欧式距离；根据所述多个欧式距离确定所述唇部关键点中的待修正关键点。

在本发明的一种示例性实施例中，所述根据所述多个欧式距离确定所述唇部关键点中的待修正关键点，包括：比较所述多个欧式距离，并根据比较结果确定所述唇部关键点中的候选修正关键点；若所述候选修正关键点满足预设条件，将所述候选修正关键点确定为待修正关键点。

在本发明的一种示例性实施例中，所述根据所述初始定位结果裁剪所述待处理图像得到唇部图像，包括：根据所述初始定位结果确定所述唇部关键点的最小外接矩形，并获取所述最小外接矩形的尺寸信息；根据所述尺寸信息对所述最小外接矩形进行外扩得到目标矩形，并利用所述目标矩形裁剪所述待处理图像得到唇部图像。

在本发明的一种示例性实施例中，在所述利用边缘检测算法对所述唇部图像进行边缘检测处理之前，所述方法还包括：对所述唇部图像进行灰度化处理，得到所述唇部图像的灰度图像；对所述灰度图像进行形态学闭运算处理，得到处理后的所述唇部图像。

在本发明的一种示例性实施例中，所述待处理图像包括人脸图像；所述获取待处理图像中唇部关键点的初始定位结果，包括：获取所述人脸图像，并将所述人脸图像输入至预先训练好的人脸关键点检测模型中，得到人脸定位结果；根据所述人脸定位结果确定唇部关键点的初始定位结果。

在本发明的一种示例性实施例中，所述待处理图像包括待处理唇部图像；所述获取待处理图像中唇部关键点的初始定位结果，包括：获取所述待处理唇部图像，并将所述待处理唇部图像输入至预先训练好的唇部关键点模型中，得到唇部关键点的初始定位结果。

根据本发明实施例的第二个方面，提供一种唇部关键点的定位装置，所述装置包括：初始定位模块，被配置为获取待处理图像中唇部关键点的初始定位结果，并根据所述初始定位结果裁剪所述待处理图像得到唇部图像；边缘检测模块，被配置为利用边缘检测算法对所述唇部图像进行边缘检测处理，得到所述唇部图像的边缘定位结果；定位修正模块，被配置为根据所述边缘定位结果修正所述初始定位结果，得到所述唇部关键点的目标定位结果。

根据本发明实施例的第三个方面，提供一种电子设备，包括：处理器和存储器；其中，存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的唇部关键点的定位方法。

根据本发明实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意示例性实施例中的唇部关键点的定位方法。

由上述技术方案可知，本发明示例性实施例中的唇部关键点的定位方法、唇部关键点的定位装置、计算机存储介质及电子设备至少具备以下优点和积极效果：

在本公开的示例性实施例提供的方法及装置中，一方面通过深度学习模型输出唇部关键点的初始定位结果，无需额外增加新的标注数据，且丰富了定位方法的应用场景；另一方面，利用边缘定位结果对初始定位结果进行修正，提升了唇部关键点的定位精度，避免后续应用中渲染区域过小或过多等不贴合的现象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种唇部关键点的定位方法的流程图；

图2示意性示出本公开示例性实施例中获取初始定位结果的方法的流程示意图；

图3示意性示出本公开示例性实施例中得到唇部图像的方法的流程示意图；

图4示意性示出本公开示例性实施例中预处理唇部图像的方法的流程示意图；

图5示意性示出本公开示例性实施例中修正初始定位结果的方法的流程示意图；

图6示意性示出本公开示例性实施例中确定待修正关键点的方法的流程示意图；

图7示意性示出本公开示例性实施例中进一步确定待修正关键点的方法的流程示意图；

图8示意性示出本公开示例性实施例中应用场景下的唇部关键点定位方法的流程示意图；

图9示意性示出本公开示例性实施例中标注人脸定位结果的人脸图像；

图10示意性示出本公开示例性实施例中利用目标矩形裁剪得到的唇部图像；

图11示意性示出本公开示例性实施例中对唇部图像进行灰度化处理得到的灰度图像；

图12示意性示出本公开示例性实施例中执行形态学闭运算处理后的唇部图像；

图13示意性示出本公开示例性实施例中唇部图像的边缘定位图像；

图14示意性示出本公开示例性实施例中将边缘定位在唇部图像中的效果图；

图15示意性示出本公开示例性实施例中对唇部关键点进行修正后的目标定位结果的效果图；

图16示意性示出本公开示例性实施例中一种唇部关键点的定位装置的结构示意图；

图17示意性示出本公开示例性实施例中一种用于实现唇部关键点的定位方法的电子设备；

图18示意性示出本公开示例性实施例中一种用于实现唇部关键点的定位方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

针对相关技术中存在的问题，本公开提出了一种唇部关键点的定位方法。图1示出了唇部关键点的定位方法的流程图，如图1所示，唇部关键点的定位方法至少包括以下步骤：

步骤S110.获取待处理图像中唇部关键点的初始定位结果，并根据初始定位结果裁剪待处理图像得到唇部图像。

步骤S120.利用边缘检测算法对唇部图像进行边缘检测处理，得到唇部图像的边缘定位结果。

步骤S130.根据边缘定位结果修正初始定位结果，得到唇部关键点的目标定位结果。

在本公开的示例性实施例中，一方面通过深度学习模型输出唇部关键点的初始定位结果，无需额外增加新的标注数据，且丰富了定位方法的应用场景；另一方面，利用边缘定位结果对初始定位结果进行修正，提升了唇部关键点的定位精度，避免后续应用中渲染区域过小或过多等不贴合的现象。

下面对唇部关键点的定位方法的各个步骤进行详细说明。

在步骤S110中，获取待处理图像中唇部关键点的初始定位结果，并根据初始定位结果裁剪待处理图像得到唇部图像。

在本公开的示例性实施例中，基于深度学习的方法通过构建深度学习模型来定位人脸关键点，包括唇部关键点。但是由于深度学习模型对数据集的要求较高，在数据集标注不准确或者缺少某些特定场景下的数据时，都会影响深度学习模型的精度。另一方面，深度学习方法中的模型大小与精度常常是正相关的。在对实时性和轻量性有要求的特定场景下难以应用较大的模型，因此精度也往往会受到影响。由于唇部曲线多变，且姿态千变万化，在收集数据及标注时，关键点的特征不明确容易在标注阶段就出现误差。在这种情况下，深度学习模型最终得到的效果难以满足实际要求。因此，可以首先获取深度学习模型输出的初始定位结果，以进一步对初始定位结果进行修正。

在可选的实施例中，待处理图像包括人脸图像，图2示出了获取初始定位结果的方法的流程示意图，如图2所示，在步骤S210中，获取人脸图像，并将人脸图像输入至预先训练好的人脸关键点检测模型中，得到人脸定位结果。其中，人脸图像可以包括对各种图像进行人脸检测后截取的图像。举例而言，对互联网中的图像进行人脸检测后，会得到用于指示人脸对象所在区域的位置信息，亦即人脸检测框的位置。对该人脸对象所在区域进行截图，即可得到人脸图像。此外，人脸图像也可以包括直接对人物脸部进行拍摄的图像。

人脸关键点检测模型可以用于检测人脸图像中的人脸关键点的位置，该位置可以用坐标进行表示。此外，人脸定位结果可以是人脸关键点的位置信息，例如人脸关键点的坐标。在实践中，人脸关键点可以是人脸中的关键点，以对人脸五官与轮廓定位进行标注，例如具有语义信息的点，或者影响面部轮廓和五官形状的点等。例如，人脸关键点可以包括但不限于眼角、嘴角、轮廓中的点等。

人脸关键点检测模型可以是利用机器学习方法对现有的模型进行有监督训练后得到的。此外，还可以使用各种现有的、能够提取图像特征的模型进行训练。例如，使用卷积神经网络、深度神经网络等模型。其中，卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色的表现，因此可以利用卷积神经网络进行样本图像的特征提取。卷积神经网络可以包含卷积层、池化层、全连接层等。其中，卷积层用于提取图像特征，池化层用于对输入的信息进行降采样。

因此，将人脸图像输入至预先训练好的人脸关键点检测模型中，可以使人脸关键点检测模型输出人脸定位结果。

在步骤S220中，根据人脸定位结果确定唇部关键点的初始定位结果。人脸定位结果一般包括人脸的68个特征点，并且68个特征点主要分布于眉毛、眼睛、鼻子、嘴巴以及面部轮廓。因此，可以从中筛选得到唇部关键点的初始定位结果。

在本示例性实施例中，通过人脸关键点检测模型可以对人脸图像进行检测，以进一步得到唇部关键点的初始定位结果，丰富了初始定位结果的获取方法，扩大了本公开的应用场景。

除此之外，还可以直接获取待处理的唇部图像以进行处理得到初始定位结果。

在可选的实施例中，待处理图像包括待处理唇部图像，获取初始定位结果的方法可以是获取待处理唇部图像，并将待处理唇部图像输入至预先训练好的唇部关键点模型中，得到唇部关键点的初始定位结果。

其中，待处理唇部图像可以包括对各种图像进行唇部检测后截取的图像，也可以包括直接对人物唇部进行拍摄的图像。

唇部关键点模型可以用于检测待处理唇部图像中的唇部关键点的位置，该位置可以用坐标进行表示。具体的，该唇部关键点模型可以是深度学习模型，也可以是传统模型，本示例性实施例对此不做特殊限定。

因此，将待处理唇部图像输入至预先训练好的唇部关键点模型中，可以使唇部关键点模型直接输出唇部关键点的初始定位结果。

在本示例性实施例中，通过唇部关键点模型可以直接得到初始定位结果，获取方式简单准确，极大地丰富了初始定位结果的获取方式和应用场景。

不论待处理图像是人脸图像或者是待处理唇部图像，在得到初始定位结果之后，都可以对待处理图像进行裁剪处理，以排除唇部以外的部分对后续处理结果的影响，并且在一定程度上减小计算量。

在可选的实施例中，图3示出了得到唇部图像的方法的流程示意图，如图3所示，该方法至少包括以下步骤：在步骤S310中，根据初始定位结果确定唇部关键点的最小外接矩形，并获取最小外接矩形的尺寸信息。具体的，可以在初始定位结果中确定唇部关键点中的左上角的点和右下角的点。可以理解的是，左上角的点的横坐标为唇部关键点坐标中的最小值，左上角的点的纵坐标为唇部关键点坐标中的最小值，右下角的点的横坐标为唇部关键点坐标中的最大值，右下角的点的纵坐标为唇部关键点坐标中的最大值。因此，可以根据这两个点确定出唇部关键点的最小外接矩形。

更进一步的，获取该最小外接矩形的尺寸信息，亦即最小外接矩形的长和宽。鉴于在图像矩阵中，0为左上角的唇部关键点的坐标值，往下移唇部关键点的纵坐标值增加，往右移唇部关键点的横坐标值增加，因此，具体的，可以是利用右下角的点的横坐标减去左上角的点的横坐标得到最小外接矩形的长，利用右下角的点的纵坐标减去左上角的纵坐标得到最小外接矩形的宽。除此之外，也可以根据实际情况确定其他尺寸信息或者根据其他方式获取尺寸信息，本示例性实施例对此不做特殊限定。

在步骤S320中，根据尺寸信息对最小外接矩形进行外扩得到目标矩形，并利用目标矩形裁剪待处理图像得到唇部图像。当初始定位结果不够准确时，可能导致最小外接矩形也不准确，为避免裁剪的唇部图像未包含整个唇部区域，因此可以对最小外接矩形进行外扩。具体的，可以设置外扩比例为最小外接矩形的长和宽的10％。除此之外，也可以根据实际需求设置其他外扩比例，本示例性实施例对此不做特殊限定。

在进行外扩处理之后可以确定一用于裁剪的目标矩形，进一步的，利用该目标矩形对待处理图像进行裁剪处理即可得到唇部图像。

值得说明的是，当待处理图像为待处理唇部图像，且待处理唇部图像已满足目标矩形的尺寸要求时，可以不做剪裁处理。

在步骤S120中，利用边缘检测算法对唇部图像进行边缘检测处理，得到唇部图像的边缘定位结果。

在本公开的一种示例性实施例中，在对唇部图像进行边缘检测处理之前，可以对得到的唇部图像进行预处理的。

在可选的实施例中，图4示出了预处理唇部图像的方法的流程示意图，如图4所示，该方法至少包括以下步骤：在步骤S410中，对唇部区域进行灰度化处理，得到唇部图像的灰度图像。对唇部图像进行灰度化处理的方式有多种，可以基于浮点算法、整数方法、移位方法、平均值法以及仅取绿色等方法中的任意一种确定唇部区域中各个像素点的灰度值，利用该灰度值代替像素点中红绿蓝三通道的像素值，得到灰度图像。

在步骤S420中，对灰度图像进行形态学闭运算处理，得到处理后的唇部图像。形态学闭运算处理包含膨胀和腐蚀两个过程。具体的，选择与灰度图像大小和形状相同的矩形结构元素，并将灰度图像与矩形结构元素进行卷积处理，亦即计算矩形结构元素覆盖的区域的像素点的最大值，并把最大值赋给矩形结构元素的中心点指定的像素，可以得到形态学膨胀运算的结果。

由于形态学膨胀运算所选择的矩形结构元素是非对称结构，为了保证闭运算后的图像不发生错误的偏移，可以进一步进行形态学腐蚀运算。具体的，把矩形结构元素在水平和垂直方向上沿几何中心分别依次翻转180°，得到新的结构元素，新的结构元素的同样是大小未变化的矩形结构。进一步的，将形态学膨胀运算的结构与新的结构元素做卷积处理，计算新的结构元素覆盖区域的像素点的最小值，并把最小值赋给新的结构元素的中心点指定的像素，得到处理后的唇部图像。

在本示例性实施例中，对灰度化处理的唇部图像进行形态学闭运算处理，可以去除唇部图像中的牙齿部分的毛刺，以降低牙齿间边缘对后续边缘检测结果的影响。

在对唇部图像进行处理之后，可以进一步利用边缘检测算法对唇部图像进行边缘检测处理。其中，该边缘检测算法可以是Canny边缘检测算法，也可以是Sobel边缘检测算法，或者是拉普拉斯算法等，本示例性实施例对此不做特殊限定。

因此，可以得到唇部图像的边缘定位结果。该边缘定位结果中的每个边缘是由一组点组成的。为避免光照和亮度等因素造成的影响，可以对应剔除包含点数较少的边缘。

在步骤S130中，根据边缘定位结果修正初始定位结果，得到唇部关键点的目标定位结果。

在本公开的一种示例性实施例中，在对初始定位结果进行修正之前，可以建立一个用于查询初始定位结果的字典映射。

在可选的实施例中，图5示出了修正初始定位结果的方法的流程示意图，如图5所示，该方法至少包括以下步骤：在步骤S510中，建立边缘定位结果的字典映射，并在字典映射中查询与初始定位结果对应的边缘定位结果。具体的，字典映射如公式(1)所示：

map＝{(x_p:y_p)|P∈c,c∈C} (1)

其中，C是上一步保留的所有边缘的几何，x,y分别是各点的横坐标和纵坐标，并且该横坐标和纵坐标可以以整数形式进行保存，以便于检索。

一方面，由于唇部关键点的主要作用是帮助估计唇部边缘区域，因此唇部关键点在水平方向上的误差和影响均较小，而垂直方向上的误差会直接影响到边缘曲线的效果；另一方面，为了避免穷举搜索带来的较大的时间复杂度，因此可以对每一个唇部关键点进行小范围的搜索。

具体的，对唇部关键点的初始定位结果取各个唇部关键点的横坐标的水平区间[x-ε,x+ε]内，查询字典映射map中包含所有初始定位结果符合条件的边缘定位结果。

在步骤S520中，根据查询结果确定唇部关键点中的待修正关键点，并利用边缘定位结果修正待修正关键点。

在可选的实施例中，图6示出了确定待修正关键点的方法的流程示意图，如图6所示，该方法至少包括以下步骤：在步骤S610中，若查询到多个与初始定位结果对应的边缘定位结果，分别计算初始定位结果与多个边缘定位结果之间的多个欧式距离。在字典映射map中查询边缘定位结果时，可能查到一个，也可能查到多个。当查询到多个边缘定位结果时，可以一一计算初始定位结果与多个边缘定位结果之间的欧式距离，因此，可以得到多个边缘定位结果对应的多个欧式距离。

在步骤S620中，根据多个欧式距离确定唇部关键点中的待修正关键点。

在可选的实施例中，图7示出了进一步确定待修正关键点的方法的流程示意图，如图7所示，该方法至少包括以下步骤：在步骤S710中，比较多个欧式距离，并根据比较结果确定唇部关键点中的候选修正关键点。在比较多个欧式距离之后，可以从中选择欧式距离最小的点作为候选修正关键点，亦即距离初始定位结果最近的边缘定位结果。

在步骤S720中，若候选修正关键点满足预设条件，将候选修正关键点确定为待修正关键点。其中，预设条件可以是限定候选修正关键点是否需要修正的条件，具体的，可以是设定的预设距离阈值。举例而言，当候选修正关键点的欧式距离小于预设距离阈值时，将候选修正关键点确定为待修正关键点，以进行进一步的修正。

值得说明的是，当根据初始定位结果查询到一个边缘定位结果时，可以仅计算一个欧氏距离，并将欧式距离与预设距离阈值进行比较，以确定是否要对该初始定位结果进行修正。

在本示例性实施例中，利用欧式距离可以在候选修正关键点中确定出需要修正处理的待修正关键点，确定方式准确且逻辑严谨，为得到精准的修正结果提供了基础。

在确定出待修正关键点之后，可以利用边缘定位结果的纵坐标替换初始定位结果中的纵坐标实现对初始定位结果的修正。

在本示例性实施例中，通过边缘定位结果对初始定位结果进行修正，无需增加额外的标注数据，即可以达到提升定位精度的目的。

在利用边缘定位结果修正初始定位结果之后，就可以得到唇部关键点中已修正的目标定位结果。

下面结合一应用场景对本公开实施例中的唇部关键点的定位方法做出详细说明。

图8示出了在应用场景下的唇部关键点定位方法的流程示意图，如图8所示，在步骤S810中，深度学习人脸关键点检测出唇部关键点。

其中，图9示出了标注人脸定位结果的人脸图像，如图9所示，在得到人脸图像之后，可以通过人脸关键点检测模型得到人脸关键点，并将人脸关键点在人脸图像中标注出来。因此，唇部关键点也在人脸图像中标注出来。

在步骤S820中，裁剪唇部图像，并转化为灰度图像。

图10示出了利用目标矩形裁剪得到的唇部图像，如图10所示，根据唇部关键点的初始定位结果可以确定最小外接矩形。进一步的按照最小外界矩形的长和宽外扩10％，裁剪出唇部区域的唇部图像。

图11示出了对唇部图像进行灰度化处理得到的灰度图像，如图11所示，可以利用浮点算法、整数方法、移位方法、平均值法以及仅取绿色等方法中的任意一种确定唇部区域中各个像素点的灰度值，利用该灰度值代替像素点中红绿蓝三通道的像素值，得到灰度图像。

在步骤S830中，执行一次闭运算，以平滑牙齿间的边缘。

图12示出了执行形态学闭运算处理后的唇部图像，如图12所示，对灰度化处理的唇部图像进行形态学闭运算处理，可以去除唇部图像中的牙齿部分的毛刺，以降低牙齿间边缘对后续边缘检测结果的影响。

在步骤S840中，边缘检测得到符合长度条件的边缘，以得到唇部图像的边缘定位结果。

图13示出了唇部图像的边缘定位图像，如图13所示，利用Canny边缘检测算法可以求出唇部图像的所有边缘，也可以使用其他边缘检测算法，本示例性实施例对此不做特殊限定。

图14示出了将边缘定位在唇部图像中的效果图，如图14所示，可以看出，唇部图形的主要边缘集中在上下嘴唇的内外轮廓。

并且，在检测到的10条边缘中，为了避免较短边缘造成的误检，可以去除包含点数小于10的边缘，此时还剩下3条边缘。

在步骤S850中，以保留的边缘构建点映射。具体的，建立边缘定位结果的字典映射，并在字典映射中查询与初始定位结果对应的边缘定位结果。

在步骤S860中，在字典映射中查询所有初始定位结果，并判断所有唇部关键点是否已查询。值得说明的是，在遍历所有初始定位结果时，可以根据实际情况对两边嘴角的两点不做处理，也可以对其他特定的点不做处理。

在步骤S870中，当初始定位结果的唇部关健点未查询结束时，可以检索每个唇部关键点的最近邻的边缘定位结果表征的唇部关键点。

在步骤S880中，判断初始定位结果与最近邻点的距离是否小于预设距离阈值。一般的，可以设置预设距离阈值为5，且水平查询范围ε＝2。

在步骤S890中，若初始定位结果与最近邻点的距离小于预设阈值，可以将初始定位结果的纵坐标变更为边缘定位结果中最近邻的唇部关键点的纵坐标。

图15示出了对唇部关键点进行修正后的目标定位结果的效果图，如图15所示，位置进行修正的唇部关键点用黑色表示，可见修正后的唇部关键点的定位较此前更为贴近实际边缘，修正效果较好。

在本公开的示例性实施例中，一方面通过深度学习模型输出唇部关键点的初始定位结果，无需额外增加新的标注数据，且丰富了定位方法的应用场景；另一方面，利用边缘定位结果对初始定位结果进行修正，提升了唇部关键点的定位精度，避免后续应用中渲染区域过小或过多等不贴合的现象。

此外，在本公开的示例性实施例中，还提供一种唇部关键点的定位装置。图16示出了唇部关键点的定位装置的结构示意图，如图16所示，唇部关键点的定位装置1600可以包括：初始定位模块1610、边缘检测模块1620和定位修正模块1630。其中：

初始定位模块1610，被配置为获取待处理图像中唇部关键点的初始定位结果，并根据初始定位结果裁剪待处理图像得到唇部图像；边缘检测模块1620，被配置为利用边缘检测算法对唇部图像进行边缘检测处理，得到唇部图像的边缘定位结果；定位修正模块1630，被配置为根据边缘定位结果修正初始定位结果，得到唇部关键点的目标定位结果。

上述唇部关键点的定位装置1600的具体细节已经在对应的唇部关键点的定位方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及唇部关键点的定位装置1600的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

下面参照图17来描述根据本发明的这种实施例的电子设备1700。图17显示的电子设备1700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图17所示，电子设备1700以通用计算设备的形式表现。电子设备1700的组件可以包括但不限于：上述至少一个处理单元1710、上述至少一个存储单元1720、连接不同系统组件(包括存储单元1720和处理单元1710)的总线1730、显示单元1740。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1710执行，使得所述处理单元1710执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

存储单元1720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1721和/或高速缓存存储单元1722，还可以进一步包括只读存储单元(ROM)1723。

存储单元1720还可以包括具有一组(至少一个)程序模块1725的程序/实用工具1724，这样的程序模块1725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1700也可以与一个或多个外部设备1900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1700交互的设备通信，和/或与使得该电子设备1700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1750进行。并且，电子设备1700还可以通过网络适配器1760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1740通过总线1730与电子设备1700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。

参考图18所示，描述了根据本发明的实施例的用于实现上述方法的程序产品1800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (11)

1.一种唇部关键点的定位方法，其特征在于，所述方法包括：

获取待处理图像中唇部关键点的初始定位结果，并根据所述初始定位结果裁剪所述待处理图像得到唇部图像；

利用边缘检测算法对所述唇部图像进行边缘检测处理，得到所述唇部图像的边缘定位结果；

根据所述边缘定位结果修正所述初始定位结果，得到所述唇部关键点的目标定位结果。

2.根据权利要求1所述的唇部关键点的定位方法，其特征在于，所述根据所述边缘定位结果修正所述初始定位结果，包括：

建立所述边缘定位结果的字典映射，并在所述字典映射中查询与所述初始定位结果对应的所述边缘定位结果；

根据查询结果确定所述唇部关键点中的待修正关键点，并利用所述边缘定位结果修正所述待修正关键点。

3.根据权利要求2所述的唇部关键点的定位方法，其特征在于，所述根据查询结果确定所述唇部关键点中的待修正关键点，包括：

若查询到多个与所述初始定位结果对应的所述边缘定位结果，分别计算所述初始定位结果与多个所述边缘定位结果之间的多个欧式距离；

根据所述多个欧式距离确定所述唇部关键点中的待修正关键点。

4.根据权利要求3所述的唇部关键点的定位方法，其特征在于，所述根据所述多个欧式距离确定所述唇部关键点中的待修正关键点，包括：

比较所述多个欧式距离，并根据比较结果确定所述唇部关键点中的候选修正关键点；

若所述候选修正关键点满足预设条件，将所述候选修正关键点确定为待修正关键点。

5.根据权利要求1所述的唇部关键点的定位方法，其特征在于，所述根据所述初始定位结果裁剪所述待处理图像得到唇部图像，包括：

根据所述初始定位结果确定所述唇部关键点的最小外接矩形，并获取所述最小外接矩形的尺寸信息；

根据所述尺寸信息对所述最小外接矩形进行外扩得到目标矩形，并利用所述目标矩形裁剪所述待处理图像得到唇部图像。

6.根据权利要求1所述的唇部关键点的定位方法，其特征在于，在所述利用边缘检测算法对所述唇部图像进行边缘检测处理之前，所述方法还包括：

对所述唇部图像进行灰度化处理，得到所述唇部图像的灰度图像；

对所述灰度图像进行形态学闭运算处理，得到处理后的所述唇部图像。

7.根据权利要求1所述的唇部关键点的定位方法，其特征在于，所述待处理图像包括人脸图像；

所述获取待处理图像中唇部关键点的初始定位结果，包括：

获取所述人脸图像，并将所述人脸图像输入至预先训练好的人脸关键点检测模型中，得到人脸定位结果；

根据所述人脸定位结果确定唇部关键点的初始定位结果。

8.根据权利要求1所述的唇部关键点的定位方法，其特征在于，所述待处理图像包括待处理唇部图像；

所述获取待处理图像中唇部关键点的初始定位结果，包括：

获取所述待处理唇部图像，并将所述待处理唇部图像输入至预先训练好的唇部关键点模型中，得到唇部关键点的初始定位结果。

9.一种唇部关键点的定位装置，其特征在于，包括：

初始定位模块，被配置为获取待处理图像中唇部关键点的初始定位结果，并根据所述初始定位结果裁剪所述待处理图像得到唇部图像；

边缘检测模块，被配置为利用边缘检测算法对所述唇部图像进行边缘检测处理，得到所述唇部图像的边缘定位结果；

定位修正模块，被配置为根据所述边缘定位结果修正所述初始定位结果，得到所述唇部关键点的目标定位结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任意一项所述的唇部关键点的定位方法。

11.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-8中任意一项所述的唇部关键点的定位方法。

Images