CN113837067A - 器官轮廓检测方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供一种器官轮廓检测方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。该方法通过采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果，根据分割结果提取每个面部器官对应的轮廓线，如果提取目标面部器官的正常轮廓线失败，则对目标面部器官对应的区域图像进行关键点提取，以生成目标面部器官对应的轮廓线，这样可以先通过图像分割来获取面部器官的轮廓线，可以提高检测效率，若提取正常轮廓线失败，则再通过关键点检测来提取轮廓线，可以提高检测精度，所以，本申请的检测方法可以兼顾效率和精度。

Description

器官轮廓检测方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种器官轮廓检测方法、装置、电子设备及可读存储介质。

背景技术

面部器官轮廓检测是人脸分析比较重要的步骤，目前的方案中是对所有的图像中的面部器官都进行关键点检测后，再获得对应的轮廓，常见的面部关键点格式有68点、98点、106点等，这种方式需要检测的关键点数量较多，检测效率较低。

发明内容

本申请实施例的目的在于提供一种器官轮廓检测方法、装置、电子设备及可读存储介质，用以改善现有技术中检测效率低的问题。

第一方面，本申请实施例提供了一种器官轮廓检测方法，所述方法包括：

采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；

根据所述分割结果提取每个面部器官对应的轮廓线；

判断是否成功提取到每个面部器官的正常轮廓线；

若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；

根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

在上述实现过程中，通过采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果，根据分割结果提取每个面部器官对应的轮廓线，如果提取目标面部器官的正常轮廓线失败，则对目标面部器官对应的区域图像进行关键点提取，以生成目标面部器官对应的轮廓线，这样可以先通过图像分割来获取面部器官的轮廓线，可以提高检测效率，若提取正常轮廓线失败，则再通过关键点检测来提取轮廓线，可以提高检测精度，所以，本申请的检测方法可以兼顾效率和精度。

可选地，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

获取每个面部器官对应的轮廓线的平滑程度；

若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

在上述实现过程中，通过轮廓线的平滑程度来衡量面部器官的正常轮廓线提取是否成功，这样可以将不满足平滑需求的轮廓线剔除，然后通过提取关键点来提高检测精度。

可选地，所述获取每个面部器官对应的轮廓线的平滑程度，包括：

获取每个面部器官对应的轮廓线的曲率，所述曲率表征对应的面部器官的轮廓线的平滑程度；

所述若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败，包括：

若所述曲率大于设定曲率，则确定提取对应的目标面部器官的正常轮廓线失败。

在上述实现过程中，通过曲率来表征轮廓线的平滑程度，这样可以更好、更准确地评估轮廓线的平滑程度。

可选地，所述获取每个面部器官对应的轮廓线的曲率，包括：

对每个面部器官对应的轮廓线按照水平方向进行采样，获得多个采样点；

将所述多个采样点划分为多个部分，每个部分包括至少三个采样点；

将每个部分中的采样点拟合成曲线，并计算所述曲线的曲率；

从每个部分对应的曲率中确定最大曲率，所述最大曲率表征对应的面部器官的轮廓线的平滑程度。

在上述实现过程中，将采样点分为多个部分，然后计算每个部分的曲率，以最大曲率来评估轮廓线的平滑程度，这样更准确，效果更好。

可选地，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

获取每个面部器官对应的轮廓线的长度比例；

若所述长度比例超出设定范围，则确定提取对应的目标面部器官的正常轮廓线失败。

在上述实现过程中，通过判断轮廓线的长度比例来确定提取的轮廓线是否是正常轮廓线，从而可更好地评估分割效果。

可选地，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

若提取不到面部器官对应的轮廓线，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述从所述面部图像中截取所述目标面部器官对应的区域图像，包括：

获取所述面部图像的上一帧面部图像中所述目标面部器官所在的位置；

根据所述位置在所述面部图像中截取所述目标面部器官对应的区域图像。

在上述实现过程中，通过获取上一帧面部图像中目标面部器官所在的位置来截取区域图像，这样可对当前的面部图像中目标面部器官所在的位置进行准确定位，从而实现区域图像的截取。

第二方面，本申请实施例提供了一种器官轮廓检测装置，所述装置包括：

分割模块，用于采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；

轮廓线提取模块，用于根据所述分割结果提取每个面部器官对应的轮廓线；

判断模块，用于判断是否成功提取到每个面部器官的正常轮廓线；

关键点检测模块，用于若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；

轮廓线生成模块，用于根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

可选地，所述判断模块，用于获取每个面部器官对应的轮廓线的平滑程度；若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块，用于获取每个面部器官对应的轮廓线的曲率，所述曲率表征对应的面部器官的轮廓线的平滑程度；若所述曲率大于设定曲率，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块，用于对每个面部器官对应的轮廓线按照水平方向进行采样，获得多个采样点；将所述多个采样点划分为多个部分，每个部分包括至少三个采样点；将每个部分中的采样点拟合成曲线，并计算所述曲线的曲率；从每个部分对应的曲率中确定最大曲率，所述最大曲率表征对应的面部器官的轮廓线的平滑程度。

可选地，所述判断模块，用于获取每个面部器官对应的轮廓线的长度比例；若所述长度比例超出设定范围，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块，用于若提取不到面部器官对应的轮廓线，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述关键点检测模块，用于获取所述面部图像的上一帧面部图像中所述目标面部器官所在的位置；根据所述位置在所述面部图像中截取所述目标面部器官对应的区域图像。

第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。

本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种器官轮廓检测方法的流程图；

图2为本申请实施例提供的一种待检测的面部图像的示意图；

图3为本申请实施例提供的一种分割结果示意图；

图4为本申请实施例提供的一种轮廓线提取示意图；

图5为本申请实施例提供的一种通过关键点拟合成轮廓线的示意图；

图6为本申请实施例提供的一种分割有误的面部图像的示意图；

图7为本申请实施例提供的一种关键点标注后的面部图像的示意图；

图8为本申请实施例提供的一种截取后的区域图像的示意图；

图9为本申请实施例提供的一种器官轮廓检测装置的结构框图；

图10为本申请实施例提供的一种用于执行器官轮廓检测方法的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

本申请实施例提供一种器官轮廓检测方法，通过采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果，根据分割结果提取每个面部器官对应的轮廓线，如果提取目标面部器官的正常轮廓线失败，则对目标面部器官对应的区域图像进行关键点提取，以生成目标面部器官对应的轮廓线，这样可以先通过图像分割来获取面部器官的轮廓线，可以提高检测效率，若提取正常轮廓线失败，则再通过关键点检测来提取轮廓线，可以提高检测精度，所以，本申请的检测方法可以兼顾效率和精度。

下面详细介绍本申请的器官轮廓检测方法的实现过程。

请参照图1，图1为本申请实施例提供的一种器官轮廓检测方法的流程图，该方法包括如下步骤：

步骤S110：采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果。

其中，在一些应用场景下，若需要对连续的多帧图像进行面部器官轮廓检测时，待检测的面部图像可以是其中的任意一帧图像，如待检测的面部图像如图2所示。

在一些实施方式中，图像分割方法可以为实例分割方法，采用实例分割方法可以对面部图像中的各个面部器官进行检测，并输出对应的分割结果，该分割结果为二值化掩码图，每个面部器官对应一个二值化掩码图，分割结果可如图3所示。二值化掩码图可表示为[BM₁,BM₂,...,BM_n]，其中，BM_i表示第i个面部器官对应的一个二值化掩码图，下标i表示不同的面部器官(如左眼、右眼、嘴等)，其中，为了便于处理，二值化掩码图和待检测的面部图像的大小一致。

图3中的白色部分的灰度值为255，表示面部器官所在的位置，黑色部分的灰度值为0，为非面部器官位置，这样就可以从二值化掩码图得到面部器官的完整形状和位置，分割的过程可以表示为：

[BM₁,BM₂,...,BM_n]＝F(I)；

其中，F表示实例分割方法，I表示待检测的面部图像。本申请实施例中，可以选用不同的实例分割模型来实现，如Mask RCNN模型，通过该模型进行实例分割的过程可以表示如下：

F(I)＝FCN(RIO_Align(RPN(BackBone(I))))；

具体过程为先利用一个骨干网络(BackBone)对待检测的面部图像I进行特征提取，得到特征图，然后由候选区域网络(RPN)生成候选区域，然后经过RIO_Align对候选区域进行对齐转化为固定大小后，再利用全卷积网络(FCN)对候选区域生成二值化掩码图，如此即可得到各个面部器官的分割结果。

可以理解地，上述只是实例分割方法的实现方式，在具体实施过程中，还可以采用别的分割方法或模型进行分割，如语义分割方法等。

步骤S120：根据所述分割结果提取每个面部器官对应的轮廓线。

分割结果能够准确定位各个面部器官的位置以及完整形状，在一些实施方式中，可以对各个二值化掩码图进行边缘提取，得到各个面部器官对应的轮廓边缘(可表示为[E₁,E₂,...,E_n])，然后可将轮廓边缘形成轮廓线(可表示为[C₁,C₂,...,C_m])，提取的轮廓线如图4所示。

对二值化掩码图进行边缘提取的方式可以是使用形态学的膨胀和腐蚀操作提取面部器官的边界，当然还可以使用一些边缘提取算子(如Sobel、Prewitt、Roberts、Log、Canny等)，通过计算梯度的方式来检测边缘，以此得到面部器官的轮廓边缘，得到轮廓边缘后，可以先找到水平两侧端点，再通过竖直位置关系区分出上下轮廓线，该过程可以表示如下：

E_i＝Edge(BM_i,'Canny'),i＝1,2,...,n；

其中，Edge函数表示边缘提取，BM_i是输入的某一面部器官对应的二值化掩码图，'Canny'表示本实施例中边缘提取方法采用Canny算子，这里也可用其他边缘提取算子代替。然后利用Divide函数将轮廓边缘E_i划分为上轮廓线

和下轮廓线

如眼睛可分为上下两条轮廓线，嘴唇也可分为内外两条轮廓线。图4中展示了利用实例分割技术检测眼部、嘴部的轮廓线的过程，按照同样的方式可对眉毛，鼻子等其他面部器官的轮廓线进行提取。

由于通过图像分割方法对面部器官进行分割后来提取轮廓线，这样能够检测到面部器官的完整轮廓线，比通过关键点检测轮廓线的方式精度更高，因为通过关键点检测可能不能完整贴合面部器官的轮廓边缘。并且如果是对一段连续的视频帧图像进行检测时，因为通过分割检测轮廓线是检测完整的边缘轮廓，可以避免通过关键点检测由于前后帧图像中关键点位置可能不准确而造成抖动的问题。

步骤S130：判断是否成功提取到每个面部器官的正常轮廓线。

但是当闭眼或抿嘴时，眼睛或嘴唇对应的轮廓线是一条线，具体的实例个体隐藏了，所以，上述在进行分割时，就会分割失败，或者根据分割结果提取的轮廓线不满足要求，不是正常轮廓线。这种情况下，为了提高检测精度，还可以判断是否成功提取到每个面部器官的正常轮廓线，若失败，则可再通过关键点检测来获得面部器官的轮廓线。

步骤S140：若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点。

若提取某个面部器官(如眼部)的正常轮廓线失败时，该面部器官称为目标面部器官，则可从面部图像中截取目标面部器官对应的区域图像，如可从面部图像中定位眼部所在的位置，然后截取该眼部所在的区域图像，即将眼部图像单独截取出来，然后对区域图像进行关键点检测。

在一些实施方式中，若截取的区域图像太小，可能影响关键点检测的效果，还可以将区域图像进行放大后再进行关键点检测，如将区域图像进行变形放大得到矩形图像，该矩形图像的面积大于区域图像的面积，这样在检测关键点时，能够准确定位到矩形图像中的关键点的位置，避免由于图像太小而无法定位关键点位置的情况，如此可提高关键点检测的精度。

另外，关键点检测的方式可以是通过局部关键点检测模型来进行检测，即采用局部关键点检测模型从区域图像中提取目标面部器官关键点，该局部关键点检测模型为神经网络模型，如卷积神经网络模型、循环神经网络模型等。或者，还可以采用传统模型进行关键点检测，如基于模型的ASM(Active Shape Model)和AAM(Active Appearance Model)方法、基于级联形状回归CPR(Cascaded pose regression)等。

局部关键点检测模型可以分为各个面部器官的关键点检测模型，如眼部关键点检测模型和嘴部关键点检测模型，这样可以将对应的面部器官的区域图像输入对应的检测模型中进行关键点检测，如将嘴部对应的区域图像输入嘴部关键点检测模型中进行检测，这样可以同时针对各个面部器官进行关键点检测，可有效提高检测效率。

步骤S150：根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

在获得面部器官关键点后，可将面部器官关键点进行曲线拟合，以生成对应的轮廓线，曲线拟合的方式如下：

其中，

表示第i张区域图像中的目标面部器官p的轮廓线，若是眼部则为上下两条轮廓线，若是嘴唇则为上下两条外轮廓线和两条内轮廓线共四条轮廓线组成。'cubicbspline'表示使用的曲线为三次B样条曲线，因为三次B样条曲线可很好地拟合眼部、嘴部不同表情的轮廓变化，效果更好。当然，也可用其他的曲线代替。最后将轮廓线替换到原来的面部图像中，最终得到目标面部器官对应的轮廓线，效果如图5所示，图中仅展示了对眼部、嘴部进行轮廓线检测的过程，按照同样的方式如果眉毛、鼻子等其他面部器官如果分割效果不好时，也可以采用关键点检测的方式来获得对应的轮廓线，这样可以检测到所有面部器官的轮廓线，检测精度和效率更高，若后续需要进行人脸识别时，可以识别出所有的面部器官，识别精度也会更高。

在上述实现过程中，通过采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果，根据分割结果提取每个面部器官对应的轮廓线，如果提取目标面部器官的正常轮廓线失败，则对目标面部器官对应的区域图像进行关键点提取，以生成目标面部器官对应的轮廓线，这样可以先通过图像分割来获取面部器官的轮廓线，可以提高检测效率，若提取正常轮廓线失败，则再通过关键点检测来提取轮廓线，可以提高检测精度，所以，本申请的检测方法可以兼顾效率和精度。

一般情况下，在利用图像分割方法对各个面部器官分割后，若能够根据分割结果提取到每个面部器官的正常轮廓线时，则结束流程，不再进行后续的关键点检测，但是当待检测的面部图像中的表情、光照、背景环境、拍摄角度等与训练模型时所采用的训练图像存在较大差异时，则根据分割结果提取到的每个面部器官的轮廓线可能效果较差，所以还需要对效果较差的面部器官进行后续的关键点检测，虽然关键点检测不能获取到完整轮廓，但是在闭眼或抿嘴情况下其轮廓较简单，利用关键点进行曲线拟合成轮廓线，精度损失会更小。发明人经过试验，发现效果较差时的面部器官的轮廓线主要表现在两个方面，一个是轮廓线不平滑，另一个是轮廓线过长或过短。

所以，在一些实施方式中，在判断是否成功提取到每个面部器官的正常轮廓线的方式中，可以先获取每个面部器官对应的轮廓线的平滑程度，平滑程度可以理解为是轮廓线的平稳程度和/或光滑程度，若平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

例如，对于闭眼、抿嘴等表情时，提取出的轮廓线可能不平滑，这时的轮廓线可以认为不是正常的轮廓线，这样对后续进行人脸识别的效果不好，所以，可以针对每个面部器官的轮廓线的平滑程度进行判断，如果平滑程度较小，则认为不是正常的轮廓线，如果平滑程度较大，则认为是正常的轮廓线。

在一些实施方式中，可以通过轮廓线的曲率来表征轮廓线的平滑程度，例如，可以计算获得每个面部器官的轮廓线的曲率，然后比较曲率的大小来判断平滑程度。若针对眼部和嘴部有两条轮廓线的，可以计算出多个曲率(对于每只眼有两条轮廓线，则有两个曲率，对于嘴唇有四条轮廓线，则有四个曲率)，然后选择最大的曲率来进行比较，如果曲率大于设定曲率，则可确定提取对应的目标面部器官的正常轮廓线失败。

或者，还可以计算每个点处的曲率，然后选择最大的曲率(该最大的曲率即为轮廓线的曲率)来进行比较，如果最大的曲率大于设定曲率，则确定该轮廓线的平滑程度小于设定程度，提取正常轮廓线失败，反之，则提取正常轮廓线成功。

其中，曲率的计算方式可以是：对轮廓线进行采样一定数量的点，如采样200个点，然后计算中间点处的曲率(该中间点处的曲率即为该轮廓线的曲率)，然后判断该中间点处的曲率是否大于设定曲率，如果是，则确定该轮廓线的平滑程度小于设定程度，提取的正常轮廓线失败，反之，如果曲率小于或等于设定曲率，则确定该轮廓线的平滑程度大于或等于设定程度，提取的正常轮廓线成功。

在上述实现过程中，通过曲率来表征轮廓线的平滑程度，这样可以更好、更准确地评估轮廓线的平滑程度。

在另一些实施方式中，为了减少计算量且提高曲率计算的准确度，可以对每个面部器官对应的轮廓线按照水平方向进行采样，获得多个采样点，然后将多个采样点划分为多个部分，每个部分包括至少三个采样点，再将每个部分中的采样点拟合成曲线，并计算该曲线的曲率，然后从每个部分对应的曲率中确定最大曲率，该最大曲率则表征对应的面部器官的轮廓线的平滑程度，若最大曲率大于设定曲率，则确定提取对应的目标面部器官的正常轮廓线失败。

举例来说，可以针对每个面部器官的轮廓线按照水平方向等距采样64个点，然后从左到右滑动窗口，窗口大小为3，步长为1，这样可每次滑动3个采样点，即每个部分包括3个采样点，如此可将采样点划分为22个部分，最后一个部分只有一个采样点。然后将每个部分中的三个采样点拟合成曲线，计算中间点处的曲率，最后一个部分则计算该部分的采样点的曲率，最后获得22个曲率，然后可从中确定出最大曲率。如果最大曲率大于设定曲率，则表示该面部器官的正常轮廓线提取失败，即提取的不是正常轮廓线。

其中，设定曲率可以根据实际需求灵活设置，例如，发明人经过试验证明，设定曲率设置为3.5时，效果最好。

在上述实现过程中，将采样点分为多个部分，然后计算每个部分的曲率，以最大曲率来评估轮廓线的平滑程度，这样更准确，效果更好。

上述判断轮廓线的平滑程度的方式除了通过曲率判断外，还可以通过轮廓线的采样点的极值来判断，如对每个面部器官的轮廓线进行采样，获得多个采样点，然后获取每个采样点的坐标值，确定其中的极大坐标值和极小坐标值，如果极大坐标值和极小坐标值之间的差值大于设定差值(这里对于眼部和嘴部有两条轮廓线的，可分别判断极大坐标值和极小坐标值之间的差值)，则认为该轮廓线的平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

在判断是否成功提取到每个面部器官的正常轮廓线的方式中，还可以通过获取每个面部器官对应的轮廓线的长度比例，若长度比例超出设定范围，则确定提取对应的目标面部器官的正常轮廓线失败。

例如，对于眼部的轮廓线来说，如果其轮廓线占人脸宽度的长度比例在设定范围(如0.15,0.33)内，则认为是正常轮廓线，提取成功，反之，如果超出这个范围，这认为不是正常轮廓线，提取失败。或者，还可以将眼部轮廓线的长度与嘴部轮廓线的长度进行比较来获得眼部轮廓线的长度比例，如眼部轮廓线的长度占嘴部轮廓线长度的比例在设定范围(如0.35,1.3)内，则认为是正常轮廓线，提取成功，反之，如果超出这个范围，这认为不是正常轮廓线，提取失败。

其中，设定范围可以根据实际需求灵活设置，对于不同的数据集由于人脸比例以及表情变化可能会有出入，则可以根据实际情况灵活调整设定范围。

在上述实现过程中，通过判断轮廓线的长度比例来确定提取的轮廓线是否是正常轮廓线，从而可更好地评估分割效果。

在判断是否成功提取到每个面部器官的正常轮廓线的方式中，还可以包括：若提取不到面部器官对应的正常轮廓线，则确定提取对应的目标面部器官的正常轮廓线失败。

例如，若采用图像分割方法对面部器官进行分割后，分割结果中没有眼部器官对应的二值化掩码图，则利用分割结果提取不到眼部器官对应的轮廓线，此时，也可认为眼部器官对应的正常轮廓线提取失败，后续可针对眼部器官对应的区域图像进行关键点提取，以利用关键点来获取眼部器官对应的轮廓线。

可以理解地，在上述判断是否成功提取到每个面部器官的正常轮廓线的方式中，只要满足其中至少一种方式，则认为提取对应的目标面部器官的正常轮廓线失败，反之，若不满足任意一种方式，则提取成功。或者，在实际应用中，也可以通过人工来判断是否成功提取到每个面部器官的正常轮廓线，通过人工将没有成功提取到每个面部器官的正常轮廓线的面部图像挑选出来，这样可以更准确地找出不合适的面部图像进行后续的关键点检测，可以有效提高轮廓检测的精度。

在上述实施例的基础上，在对区域图像进行关键点检测时，需要先从面部图像中截取获得对应的区域图像，如果是对连续帧图像进行器官轮廓检测，由于相邻两帧图像中各个面部器官的大小和位置的变化差异不大，所以，可以获取面部图像的上一帧面部图像中目标面部器官所在的位置，然后根据位置在面部图像中截取目标面部器官对应的区域图像。

上一帧面部图像是指已经完成器官轮廓检测的图像，所以可以直接从上一帧面部图像中确定出各个面部器官所在的位置和大小，进而可以利用上一帧面部图像中目标面部器官所在的位置和大小来确定出当前帧面部图像中目标面部器官所在的位置，进而可以根据位置从面部图像中截取出目标面部器官对应的区域图像。

其中，在截取区域图像时，可以是指直接从面部图像中裁剪出包含目标面部器官的区域图像，如对于眼部器官，则可以在面部图像中眼部器官所在的位置处生成一个矩形框，然后将矩形框内的图像裁剪出来作为区域图像。

当然，若没有连续帧图像，还可以根据其他面部器官所在的位置与目标面部器官所在位置之间的相对位置来确定，例如，对于鼻子和嘴唇能够成功提取其对应的正常轮廓线，而对于眼部不能提取正常轮廓线，此时为了定位眼部所在的位置，可以利用鼻子与眼部之间的相对位置来确定，如可以在鼻子的坐标的基础上上移一定位置后，然后各左右移动一定位置，此时所在的位置即为眼部所在的位置，然后再进行区域图像的截取。

或者，在其他实施方式中，若能够提取到眼部的轮廓线，但是其轮廓线不正常，此时也可直接定位到眼部所在的位置，然后进行区域图像截取即可。

在上述实现过程中，通过获取上一帧面部图像中目标面部器官所在的位置来截取区域图像，这样可对当前的面部图像中目标面部器官所在的位置进行准确定位，从而实现区域图像的截取。

在上述实施例的基础上，在利用局部关键点检测模型对区域图像进行关键点检测的实现过程中，该局部关键点检测模型可以是预先训练好的，该局部关键点检测模型可以是基于级联形状回归的ERT(Ensemble Regression Trees)模型、基于参数化的形状模型ASM(Active Shape Model)或基于形状回归的ESR(Explicit Shape Regression)等。

下面针对局部关键点检测模型的训练过程进行详细介绍。

可以理解地，同样可以对上述的图像分割模型进行训练，在图像分割模型的训练过程中，由于训练时的标注数据是面部器官的轮廓边缘，所以可以拖动曲线覆盖面部器官的轮廓边缘即可，耗时较少，标注效率较高。而且在对局部关键点检测模型进行训练时，也不用对全部的面部器官进行关键点标注，而是针对分割有误的面部器官进行关键点标注，也可以减少因人工标注对关键点位置判断不准确而造成的标注误差的问题。通过图像分割模型输出分割结果后，可以根据分割结果从训练图像中确定出不能成功提取出面部器官的正常轮廓线(判断方式与上述实施例相同)的图像，或者也可以人工来查找出不能成功提取出面部正常轮廓线的图像，通过人工查找可准确从中确定出不能成功提取出面部正常轮廓线的图像，这些图像即为分割有误的图像，针对这些图像，可从中截取出有误的面部器官的区域图像，或者，也可以从分割有误的图像中挑选出一部分图像，然后从这一部分图像中截取有误的面部器官的区域图像，然后对这区域图像进行关键点标注，该区域图像即可作为局部关键点检测模型的训练图像，这样在训练过程中，可以不用对全部的图像进行关键点标注，只需对分割有误的面部器官的关键点进行标注，效率更高。

如获取的分割有误的图像包括[I₁,I₂,...,I_n]，有误的面部器官记为P，如图6所示，共获得20帧有误的图像，其中，嘴唇为抿嘴状态，嘴部轮廓线提取失败。

当然，为了提高训练效率，还可以从有误的图像中挑选出一些具有代表性的图像[T₁,T₂,...,T_m]，如一些特殊表情的图像，这些图像可作为局部关键点检测模型的训练图像，然后对这些图像标注关键点

如图7中选出3帧图像进行标注。在标注后好，可以从图像中裁剪出区域图像，裁剪的规则可以先由标注的关键点范围得到一个矩形框，然后对这个矩形框进行一定程度地放大(如保持矩形框中心点不变，长宽放大相同倍数，经发明人试验，放大1.4倍的效果较好，由于闭眼、抿嘴等情况可能造成宽度很小，因此设定宽度最小取值为长度的一半)，放大后进行裁剪，或者也可以裁剪后再进行放大。或者，也可以先裁剪出区域图像后再标注，然后再进行放大，得到放大后的区域图像

裁剪后得到的区域图像如图8所示，其中，图8中对嘴部进行了关键点标注。

然后利用标注的区域图像训练局部关键点检测模型：

其中，P表示某一面部器官，比如左眼、右眼、嘴唇等。

若局部关键点检测模型选用ERT模型，ERT模型可表示为：

其中，t表示训练阶段，

表示t训练阶段计算得到的形状，即各个关键点的位置，I表示输入的区域图像，r_t表示t训练阶段的回归器，这里采用梯度提升决策树(GradientBoosting Decision Tree，GBDT)，其原理是通过各训练阶段回归器输出当前阶段的形状和真实形状的残差，逐渐逼近真实形状。

利用训练好的局部关键点检测模型对区域图像进行关键点检测，可表示如下：

其中，

表示第i张区域图像中面部器官P的关键点，

表示第i个面部器官P的区域图像。

在对局部关键点检测模型进行一次训练后，可利用训练好的局部关键点检测模型重新对上述的区域图像进行关键点检测，将关键点拟合成曲线获得对应的轮廓线，然后检测轮廓线是否是正常轮廓线(即满足上述示例中所述的可以成功提取正常轮廓线的条件)，若否，则继续对局部关键点检测模型进行训练，直至检测结果无误为止。

本申请实施例中，将分割有误的面部器官称为目标面部器官，通过局部关键点检测模型获得目标面部器官的关键点后，可将关键点拟合成曲线，使其能够更好地覆盖面部器官的轮廓边缘，可以减少个别关键点位置不准确而带来的误差，从而可准确获得该目标面部器官的轮廓线。

请参照图9，图9为本申请实施例提供的一种器官轮廓检测装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

可选地，所述装置200包括：

分割模块210，用于采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；

轮廓线提取模块220，用于根据所述分割结果提取每个面部器官对应的轮廓线；

判断模块230，用于判断是否成功提取到每个面部器官的正常轮廓线；

关键点检测模块240，用于若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；

轮廓线生成模块250，用于根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

可选地，所述判断模块230，用于获取每个面部器官对应的轮廓线的平滑程度；若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块230，用于获取每个面部器官对应的轮廓线的曲率，所述曲率表征对应的面部器官的轮廓线的平滑程度；若所述曲率大于设定曲率，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块230，用于对每个面部器官对应的轮廓线按照水平方向进行采样，获得多个采样点；将所述多个采样点划分为多个部分，每个部分包括至少三个采样点；将每个部分中的采样点拟合成曲线，并计算所述曲线的曲率；从每个部分对应的曲率中确定最大曲率，所述最大曲率表征对应的面部器官的轮廓线的平滑程度。

可选地，所述判断模块230，用于获取每个面部器官对应的轮廓线的长度比例；若所述长度比例超出设定范围，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述判断模块230，用于若提取不到面部器官对应的轮廓线，则确定提取对应的目标面部器官的正常轮廓线失败。

可选地，所述关键点检测模块240，用于获取所述面部图像的上一帧面部图像中所述目标面部器官所在的位置；根据所述位置在所述面部图像中截取所述目标面部器官对应的区域图像。

需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。

请参照图10，图10为本申请实施例提供的一种用于执行器官轮廓检测方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器310，例如CPU，至少一个通信接口320，至少一个存储器330和至少一个通信总线340。其中，通信总线340用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口320用于与其他节点设备进行信令或数据的通信。存储器330可以是高速RAM存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器330可选的还可以是至少一个位于远离前述处理器的存储装置。存储器330中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器310执行时，电子设备执行上述图1所示方法过程。

可以理解，图10所示的结构仅为示意，所述电子设备还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。图10中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；根据所述分割结果提取每个面部器官对应的轮廓线；判断是否成功提取到每个面部器官的正常轮廓线；若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

综上所述，本申请实施例提供一种器官轮廓检测方法、装置、电子设备及可读存储介质，通过采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果，根据分割结果提取每个面部器官对应的轮廓线，如果提取目标面部器官的正常轮廓线失败，则对目标面部器官对应的区域图像进行关键点提取，以生成目标面部器官对应的轮廓线，这样可以先通过图像分割来获取面部器官的轮廓线，可以提高检测效率，若提取正常轮廓线失败，则再通过关键点检测来提取轮廓线，可以提高检测精度，所以，本申请的检测方法可以兼顾效率和精度。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种器官轮廓检测方法，其特征在于，所述方法包括：

采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；

根据所述分割结果提取每个面部器官对应的轮廓线；

判断是否成功提取到每个面部器官的正常轮廓线；

若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；

根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

2.根据权利要求1所述的方法，其特征在于，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

获取每个面部器官对应的轮廓线的平滑程度；

若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败。

3.根据权利要求2所述的方法，其特征在于，所述获取每个面部器官对应的轮廓线的平滑程度，包括：

获取每个面部器官对应的轮廓线的曲率，所述曲率表征对应的面部器官的轮廓线的平滑程度；

所述若所述平滑程度小于设定程度，则确定提取对应的目标面部器官的正常轮廓线失败，包括：

若所述曲率大于设定曲率，则确定提取对应的目标面部器官的正常轮廓线失败。

4.根据权利要求3所述的方法，其特征在于，所述获取每个面部器官对应的轮廓线的曲率，包括：

对每个面部器官对应的轮廓线按照水平方向进行采样，获得多个采样点；

将所述多个采样点划分为多个部分，每个部分包括至少三个采样点；

将每个部分中的采样点拟合成曲线，并计算所述曲线的曲率；

从每个部分对应的曲率中确定最大曲率，所述最大曲率表征对应的面部器官的轮廓线的平滑程度。

5.根据权利要求1所述的方法，其特征在于，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

获取每个面部器官对应的轮廓线的长度比例；

若所述长度比例超出设定范围，则确定提取对应的目标面部器官的正常轮廓线失败。

6.根据权利要求1所述的方法，其特征在于，所述判断是否成功提取到每个面部器官的正常轮廓线，包括：

若提取不到面部器官对应的轮廓线，则确定提取对应的目标面部器官的正常轮廓线失败。

7.根据权利要求1所述的方法，其特征在于，所述从所述面部图像中截取所述目标面部器官对应的区域图像，包括：

获取所述面部图像的上一帧面部图像中所述目标面部器官所在的位置；

根据所述位置在所述面部图像中截取所述目标面部器官对应的区域图像。

8.一种器官轮廓检测装置，其特征在于，所述装置包括：

分割模块，用于采用图像分割方法对待检测的面部图像中的每个面部器官进行分割，获得分割结果；

轮廓线提取模块，用于根据所述分割结果提取每个面部器官对应的轮廓线；

判断模块，用于判断是否成功提取到每个面部器官的正常轮廓线；

关键点检测模块，用于若提取目标面部器官的正常轮廓线失败，则从所述面部图像中截取所述目标面部器官对应的区域图像，并从所述区域图像中提取目标面部器官关键点；

轮廓线生成模块，用于根据所述目标面部器官关键点生成所述目标面部器官对应的轮廓线。

9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一所述的方法。

Images