CN112053367A - 图像处理方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、设备及存储介质。本申请实施例提供的图像处理方法中，分割待处理图像得到第一目标图像对应的第一预估区域和第二目标图像对应的第二预估区域，根据这两个预估的图像区域的轮廓特征，可确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域；接着，分割该待处理图像上的目标区域，以对第一预估区域和第二预估区域进行修正。基于上述图像处理过程，到的待处理图像的分割结果后，再根据待处理图像上不易准确分割的目标区域的分割结果，对待处理图像的分割结果加以修正，进而可提高图像的分割精度，有效增加图像分割结果的可用性和可靠性。

Description

图像处理方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

在一些图像处理的应用场景中，存在图像分割的需求。该需求通常指示将图像中的某一图像区域从整幅图像中分割出来，以基于该分割得到的图像区域执行其他的图像处理操作。

然而，现有的图像分割技术的分割精度有限，无法在图像存在阴影或其他图像干扰时对图像进行精确分割，不利于后续的图像处理操作。因此，有待提出一种新的解决方案。

发明内容

本申请的多个方面提供一种图像处理方法、设备及存储介质，用以在图像分割时，提高图像的分割精度。

本申请实施例提供一种图像处理方法，包括：分割待处理图像，得到所述待处理图像上的主体物对应的预估主体区域以及所述主体物的阴影对应的预估阴影区域；根据所述预估主体区域和所述预估阴影区域的轮廓特征，确定所述待处理图像上包含所述主体物和所述主体物的阴影之间的边界的目标区域；重分割所述目标区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影。

本申请实施例提供一种图像处理方法，包括：分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域；根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上包含所述第一目标图像和所述第二目标图像的边界的目标区域；重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域。

本申请实施例还提供一种图像处理设备，包括：存储器和处理器；其中，存储器用于存储一条或多条计算机指令；所述处理器，用于执行所述一条或多条计算机指令，以用于：分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域；根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上的目标区域；重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域。

本申请实施例还包括一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现本申请实施例提供的图像处理方法。

本申请实施例提供的图像处理方法中，分割待处理图像得到第一目标图像对应的第一预估区域和第二目标图像对应的第二预估区域，根据这两个预估的图像区域的轮廓特征，可确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域；接着，分割该待处理图像上的目标区域，以对第一预估区域和第二预估区域进行修正。基于上述图像处理过程，到的待处理图像的分割结果后，再根据待处理图像上不易准确分割的目标区域的分割结果，对待处理图像的分割结果加以修正，进而可提高图像的分割精度，有效增加图像分割结果的可用性和可靠性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一示例性实施例提供的图像处理方法的流程示意图；

图2a为本申请另一示例性实施例提供的图像处理方法的流程示意图；

图2b为本申请一示例性实施例提供的获取待处理图像上的目标区域的一种示意；

图2c为本申请一示例性实施例提供的第一图像掩膜的一种示意；

图2d为本申请另一示例性实施例提供的第一图像掩膜的一种示意；

图2e为本申请一示例性实施例提供的对第一预估区域和第二预估区域进行修正的一种示意；

图2f为本申请又一示例性实施例提供的图像处理方法的流程示意图；

图3a为本申请一示例性实施例提供的第二图像分割模型的训练方法的流程示意图；

图3b为本申请一示例性应用场景实例提供的模型训练流程示意图；

图4是本申请一示例性实施例提供的图像处理设备的结构示意图；

图5是本申请另一示例性实施例提供的图像处理设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

对图像的分割处理操作指的是，将图像中的某一图像区域从整幅图像中分割出来，以基于该分割得到的图像区域执行其他的图像处理操作。例如，分割原始图像中的前景人物与原始背景图像，将原始背景图像替换为新的背景图像，以实现人物背景更换。然而，现有的图像分割技术的分割精度有限，无法在图像存在阴影时，对图像进行精确分割，不利于后续的图像处理操作。例如，图像上的前景物存在阴影时，对图像中的前景物和背景进行分割得到的结果中，前景物通常包含阴影信息，导致该分割结果的可用性变差。

针对上述技术问题，在本申请一些实施例中，提供了一种解决方案，以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一示例性实施例提供的图像处理方法的流程示意图，如图1所示，该方法包括：

步骤101、分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域。

步骤102、根据第一预估区域和第二预估区域的轮廓特征，确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域。

步骤103、重分割待处理图像上的目标区域，以修正第一预估区域和第二预估区域。

在本实施例中，待处理图像，可以是用户输入的图像，也可以是其他设备或应用传递来的图像。待处理图像上包含第一目标图像和第二目标图像。其中，第一目标图像和第二目标图像通常相互接触或接近，且二者的颜色相似，以导致不易将第一目标图像和第二目标图像分割开。例如，在一些实施例中，第一目标图像可实现为待处理图像上的前景物，第二目标图像可实现为前景物附近的阴影、噪声等等，本实施例不做限制。

本实施例中，为描述方便，采用第一预估区域和第二预估区域来标记分割待处理图像得到的分割结果。通常，该分割结果的精确度未达到指定要求。其中，第一预估区域中的大部分像素隶属于待处理图像上的第一目标图像，但可能存在部分像素隶属于待处理图像上的第二目标图像；第二预估区域中的大部分像素隶属于待处理图像上的第二目标图像，但可能存在部分像素隶属于待处理图像上的第一目标图像。

在本实施例中，第一目标图像和第二目标图像的边界，指的是第一目标图像和第二目标图像真实的边界。受限于分割精度，该真实的边界并非和第一预估区域与第二预估区域的边界重合，而是可能分布在与第一预估区域和第二预估区域的轮廓关联的位置。

待处理图像上的目标区域，指的是待处理图像上可能包含第一目标图像与第二目标图像的边界的区域。对该待处理图像上的目标区域重新分割，可将分割操作的重点集中在第一目标图像和第二目标图像的边界附近，有利于提升分割的精度。在重分割待处理图像上的目标区域后，可根据该重分割的结果修正第一预估区域和第二预估区域，进而可得到分割精度较高的第一目标图像和第二目标图像。

本实施例中，分割待处理图像得到第一目标图像对应的第一预估区域和第二目标图像对应的第二预估区域，根据这两个预估的图像区域的轮廓特征，可确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域；接着，分割该待处理图像上的目标区域，以对第一预估区域和第二预估区域进行修正。基于上述图像处理过程，得到待处理图像的分割结果后，再根据待处理图像上不易准确分割的目标区域的分割结果，对待处理图像的分割结果加以修正，进而可提高图像的分割精度，有效增加图像分割结果的可用性和可靠性。

在本申请的上述以及下述各实施例中，重分割待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域的一种可选的实施方式为：识别待处理图像上的目标区域中隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素，以重分割待处理图像上的目标区域；接着，根据重分割的结果修正第一预估区域和第二预估区域，以得到第一目标图像和所述第二目标图像。

在一些示例性实施例中，根据重分割的结果修正第一预估区域和第二预估区域的一种方式可以实现为：根据重分割的结果，对第一预估区域和第二预估区域交界处的轮廓进行调整，以修正第一目标图像和第二目标图像的边界的分布位置。根据修正后的边界，可得到分割精度较高的第一目标图像和第二目标图像。

在另一些示例性实施例中，根据重分割的结果修正第一预估区域和第二预估区域的一种方式可以实现为：采用重分割待处理图像上的目标区域得到的图像区域，替换第一预估区域和第二预估区域上与该目标区域对应的图像区域。

应当理解，上述两种可选的修正方式用于对本申请实施例进行示例性说明，不排除在本申请的其他可选的实施例中，采用不同于上述两种实施方式的修正方式对第一预估区域和第二预估区域进行修正。

在本申请的上述以及下述各实施例中，在分割待处理图像以及重分割待处理图像上的目标区域时，可采用以下至少一种图像分割方法：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于聚类分析理论的分割方法、基于模糊集理论的分割方法、基于基因编码理论的分割方法、基于小波变换理论的分割方法以及基于神经网络模型(Neural Networks,NN)的分割方法，本申请实施例对此不作限制。在以下实施例中，将以基于神经网络模型的分割方法为例进行示例性说明。

图2a为本申请另一示例性实施例提供的图像处理方法的流程示意图，如图2a所示，该方法包括：

步骤201a、将待处理图像输入第一图像分割模型；该第一图像分割模型以包含第一目标图像和第二目标图像的样本图像为训练样本，通过最小化第一目标图像和/或第二目标图像的损失函数训练得到。

步骤202a、运行第一图像分割模型，以从待处理图像上识别出第一目标图像对应的第一预估区域，以及第二目标图像对应的第二预估区域。

步骤203a、扩展第一预估区域的轮廓得到第一扩展轮廓，以及，扩展第二预估区域的轮廓得到第二扩展轮廓。

步骤204a、获取第一扩展轮廓和第二扩展轮廓的重叠区域，并将待处理图像上与该重叠区域对应的图像区域，作为待处理图像上的目标区域。

步骤205a、标记待处理图像上的目标区域，并将标记后的待处理图像输入第二图像分割模型；第二图像分割模型以标记有第一目标图像和第二目标图像、且标记有目标区域的样本图像为训练样本，通过最小化目标区域的损失函数训练得到。

步骤206a、运行第二图像分割模型，以从待处理图像上的目标区域中识别隶属于第一目标图像的部分像素和隶属于所述第二目标图像的部分像素。

步骤207a、以隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素替换第一预估区域以及第二预估区域上与待处理图像上的目标区域对应的图像区域，得到第一目标图像和第二目标图像。

在步骤201a中，第一图像分割模型可基于神经网络模型实现。

训练该第一图像分割模型时，可获取包含有第一目标图像和第二目标图像的样本图像作为训练样本。标注训练样本上的第一目标图像和第二目标图像，并将标注完成的训练样本输入神经网络模型。

在神经网络模型内，通过卷积层提供的卷积核提取训练样本的图像特征，并基于该图像特征对训练样本上的第一目标图像和第二目标图像进行识别。在得到识别结果后，获取识别结果与训练样本上标注的第一目标图像的差距，根据该差距确定第一目标图像的损失函数，并判断该损失函数是否小于设定的阈值。若判断为否，则更新神经网络模型的模型参数，重复执行上述训练过程，直至第一目标图像的损失函数小于设定的阈值。

或者，在得到识别结果后，获取识别结果与训练样本上标注的第二目标图像的差距，根据该差距确定第二目标图像的损失函数，并判断该损失函数是否小于设定的阈值。若判断为否，则更新神经网络模型的模型参数，重复执行上述训练过程，直至第二目标图像的损失函数小于设定的阈值。

或者，在得到识别结果后，分别获取第一目标图像的损失函数以及第二目标图像的损失函数，并判断上述两个损失函数是否均小于设定的阈值。若判断为否，则更新神经网络模型的模型参数，重复执行上述训练过程，直至第一目标图像的损失函数以及第二目标图像的损失函数均小于设定的阈值。

可选地，在本实施例中，损失函数可实现为交叉熵(Cross Entropy)损失函数，本实施例包含但不限于此。

在步骤202a中，运行第一图像分割模型时，第一图像分割模型可基于预先训练得到的模型参数，提取待处理图像的图像特征，并基于提取到的图像特征识别待处理图像上可能包含第一目标图像的图像区域，作为第一预估区域，以及识别待处理图像上可能包含第二目标图像的图像区域，作为第二预估区域。

在步骤203a中，获取到第一预估区域以及第二预估区域后，可扩展第一预估区域的轮廓得到第一扩展轮廓，以及，扩展第二预估区域的轮廓得到第二扩展轮廓，如图2b所示。

可选地，在执行轮廓扩展之前，可对该第一预估区域和第二预估区域进行轮廓检测，以识别第一预估区域的轮廓以及第二预估区域的轮廓。

可选地，在一些实施例中，可采用边缘检测算子，例如Laplace算子、Sobel算子、Canny算子等，检测第一预估区域的轮廓以及第二预估区域的轮廓。可选地，在另一些实施例中，可采用基于人类视觉感知模型的方法检测第一预估区域的轮廓以及第二预估区域的轮廓。应当理解，上述两种方式仅用于示例性说明，本实施例包含但不限于上述两种方式。

在一些示例性的实施例中，对第一预估区域以及对第二预估区域进行轮廓扩展时，可采用基于腐蚀(Erosion)处理和膨胀(Dilation)处理的形态学算法实现。

执行腐蚀处理和膨胀处理时，可采用任意形状的内核在图像上滑动。针对腐蚀处理而言，内核在每次滑动时，提取内核覆盖区域内的最小像素值，并以该最小像素值替代与内核中的锚点(通常为内核中的中心点)对应的像素的像素值。针对膨胀处理而言，内核在每次滑动时，提取内核覆盖区域内的最大像素值，并以该最大像素值替代与内核中的锚点对应的像素的像素值。也就是说，腐蚀操作可将图像上灰度值较小的区域拓宽，膨胀操作可将图像上灰度值较大的区域拓宽。

基于此，当第一预估区域的轮廓以及第二预估区域的轮廓上的像素的灰度值较小(例如，小于设定的灰度阈值时)，可对第一预估区域的轮廓以及第二预估区域的轮廓执行腐蚀处理，分别得到第一扩展轮廓和第二扩展轮廓。其中，腐蚀处理的半径可根据实际需求进行设置，本实施例对此不作限制。

当第一预估区域的轮廓以及第二预估区域的轮廓上的像素的灰度值较大(例如，大于或者等于设定的灰度阈值时)，可对第一预估区域的轮廓以及第二预估区域的轮廓执行膨胀处理，分别得到第一扩展轮廓和第二扩展轮廓。其中，膨胀处理的半径可根据实际需求进行设置，本实施例对此不作限制。

在另一些示例性的实施例中，对第一预估区域以及对第二预估区域进行轮廓扩展时，可采用基于画笔描边的方法实现。可选地，在这种实施方式中，对第一预估区域进行轮廓扩展时，可设置画笔的灰度值为与第一预估区域的轮廓的灰度值接近的值，采用设定的画笔宽度，沿着第一预估区域的轮廓描画，以扩宽第一预估区域的轮廓，得到第一扩展轮廓。同理，对第二预估区域进行轮廓扩展时，可设置画笔的灰度值为与第二预估区域的轮廓的灰度值接近的值，采用设定的画笔宽度，沿着第二预估区域的轮廓描画，以扩宽第二预估区域的轮廓，得到第二扩展轮廓。其中，对第一预估区域和第二预估区域进行轮廓扩展所采用的画笔宽度可以相同，也可以不同，本实施例不做限制。

当然，上述两种实施方式列举的轮廓扩展方法仅用于对本步骤的实施方式进行示例性说明，在其他可选的实施例中，不排除采用其他的轮廓扩展方式对第一预估区域和第二预估区域进行轮廓扩展，本实施例不再赘述。

在步骤204a中，在获取第一扩展轮廓和第二扩展轮廓后，可获取第一扩展轮廓和第二扩展轮廓的重叠区域。接着，将待处理图像上与该重叠区域对应的图像区域，作为待处理图像上的目标区域，如图2b所示。应当理解，第一目标图像和第二目标图像的边界，可能位于待处理图像上的目标区域内。

在步骤205a中，可选地，标记待处理图像上的目标区域的目的在于，指示第二图像分割模型将图像分割处理的重点集中在待处理图像上的目标区域上。以下将结合一些可选的实施方式进行示例性说明。

在一些示例性的实施例中，可获取待处理图像上的目标区域对应的像素坐标。接着，在待处理图像上对该像素坐标进行位置标记，并将位置标记后的待处理图像输入第二图像分割模型。进而，第二图像分割模型可基于该像素坐标的位置标记，确定损失函数的计算范围。

在另一些示例性的实施例中，可生成与待处理图像分辨率相同的第一图像掩膜(mask)。其中，在生成第一图像掩膜时，可将第一图像掩膜上的像素分为第一像素、第二像素、第三像素。其中，第一像素指的是第一图像掩膜上，与待处理图像上的目标区域对应的像素；第二像素指的是第一图像掩膜上，除第一像素之外，与第一预估区域对应的像素；第三像素指的是第一图像掩膜上，除第一像素和第二像素之外的其他像素。

在本实施例中，可选的，可设置第一像素的灰度值为设定的标记值，设置第二像素和第三像素的灰度值可设为非标记值。第二图像分割模型在执行分割操作时，可根据该标记值，识别待处理图像上哪些像素所在的图像区域是待重点分割的图像区域，以及哪些像素可参与计算损失函数。其中，标记值和非标记值的具体取值，可根据实际需求进行设置，本实施例不做限制。

可选地，在一些实施例中，该标记值可设为128。在第一像素的灰度值为128时，可设置第二像素的灰度值为255，第三像素对应的灰度值为0，以使得人眼具有较好的视觉效果，如图2c所示。基于以上参数得到的第一图像掩膜，第二图像分割模型在图像分割过程中，可识别出待处理图像上与128对应的像素，并将分割的重点集中在这些像素上，提升分割精度。

可选地，在另一些实施例中，可将该标记值设为1，非标记值设为0。进而，可得到第一像素的灰度值为1，第二像素和第三像素的灰度值为0的二值化的第一图像掩膜，如图2d所示。基于以上参数得到的第一图像掩膜，可辅助第二图像分割模型在图像分割过程中，对待处理图像进行滤波操作，过滤掉除目标区域之外的其他图像区域，以排除待处理图像上除目标区域之外的其他图像区域对分割过程的干扰，提升分割精度。

其中，第二图像分割模型可基于神经网络模型训练得到。在训练时，可获取标注有第一目标图像和第二目标图像、且标记有目标区域的样本图像为训练样本，通过最小化目标区域的损失函数训练得到。此部分训练过程将在后续实施例中进行描述，此处不赘述。

应当理解，第一图像掩膜为单通道图像，待处理图像通常为三通道图像(例如，为红、绿、蓝三通道的RGB图像)，因此第一图像掩膜无法直接对待处理图像执行标记操作。为解决此问题，本申请实施例在神经网络模型中新增用于对第一图像掩膜进行卷积处理的卷积处理模块。该卷积处理模块,可被设置在神经网络模型中第一图像掩膜的输入端。

基于此，在步骤206a中，运行第二图像分割模型时，可选地，在第二图像分割模型内部，可采用掩膜卷积模块提供的单通道的第一卷积核对第一图像掩膜进行卷积处理，得到第一特征图，以及在第一层卷积层，采用三通道的第二卷积核对待处理图像进行卷积处理，得到第二特征图。

在本实施例中，设置第一卷积核和第二卷积核的数量相同，且尺寸相同。进而，第一图像掩膜经第一卷积核卷积处理后，可得到通道数与第一卷积核的数量相同的第一特征图。待处理图像经第二卷积核卷积处理后，可得到通道数与第二卷积核的数量相同的第二特征图。

例如，第一卷积核与第二卷积核的数量均为N个，则第一图像掩膜经掩膜卷积模块进行卷积处理后，可得到N通道的第一特征图；待处理图像经由第一层卷积层进行卷积处理后，可得到N通道的第二特征图。

由于待处理图像与第一图像掩膜的分辨率相同，故第一特征图和第二特征图的分辨率也相同。基于上述，可在第一特征图和第二特征图分辨率相同，且通道数相同时，按位叠加第一特征图与第二特征图，得到第三特征图。

该步骤中，在第一层卷积层结束后，根据第一特征图的灰度值分布特征，过滤掉了第二特征图上的特定信息，一方面可使得其他计算层的计算重点集中在待处理图像上的目标区域，另一方面，有效降低了第一层卷积层之后的其他计算层的计算量，节约了计算资源。

应当理解，在其他可选的实施方式中，也可将第一特征图与第二层、第三层或者其他层卷积层输出的结果按位叠加，本实施例不做限制。

其中，卷积层之后的其他计算层，可包括神经网络模型中除第一层卷积层之外的其他卷积层、整流层、池化层、全连接层等等，不再赘述。应当理解，经过该其他计算层的计算，可使得神经网络模型输出识别结果。

可选地，神经网络模型的输出结果的一种表现形式为：识别到待处理图像上的目标区域中隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素。

接着，在步骤207a中，可选的，可采用隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素替换第一预估区域以及第二预估区域上与待处理图像上的目标区域对应的图像区域，得到第一目标图像和第二目标图像。以下将结合具体的例子进行示例性说明。

在一些示例性的实施例中，如图2e所示，假设第一预估区域中，与待处理图像上的目标区域对应的像素为像素A，第二预估区域中，与待处理图像上的目标区域对应的像素为像素B；假设，识别到的待处理图像上的目标区域中隶属于第一目标图像的部分像素为像素A’，隶属于第二目标图像的部分像素为像素B’；那么，在根据重分割的结果修正第一预估区域和第二预估区域时，可采用像素A’替换像素A，采用像素B’替换像素B，以最终得到分割精度较高的第一目标图像和第二目标图像。

本实施例中，分割待处理图像得到第一目标图像对应的第一预估区域和第二目标图像对应的第二预估区域，根据这两个预估的图像区域的轮廓特征，可确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域；接着，分割该待处理图像上的目标区域，以对第一预估区域和第二预估区域进行修正。基于上述图像处理过程，到的待处理图像的分割结果后，再根据待处理图像上不易准确分割的目标区域的分割结果，对待处理图像的分割结果加以修正，进而可提高图像的分割精度，有效增加图像分割结果的可用性和可靠性。

图2f为本申请另一示例性实施例提供的图像处理方法的流程示意图，如图2f所示，该方法包括：

步骤201f、分割待处理图像，得到待处理图像上的主体物对应的预估主体区域以及主体物的阴影对应的预估阴影区域。

步骤202f、根据预估主体区域和预估阴影区域的轮廓特征，确定待处理图像上包含主体物和主体物的阴影之间的边界的目标区域。

步骤203f、重分割目标区域，以得到待处理图像上的主体物和主体物的阴影。

在本实施例中，待处理图像上的主体物可以是待处理图像上的前景物或者人眼视觉感兴趣的主要物体。例如，待处理图像实现为商品海报时，主体物可以是海报上的商品，例如，鞋子、衣服、水果、电子产品等等。又例如，待处理图像实现为风景图像时，主体物可以是图像上的人物、建筑物、车辆等等。主体物的阴影，指的是由于拍摄光线不均匀产生的阴影，或者为了美观设计导致的分布在主体物附近的阴影。

可选地，获取目标区域的可选实施方式可参考前述实施例的记载，此处不赘述。在获取目标区域之后，可识别目标区域中隶属于预估主体区域的部分像素和隶属于预估阴影区域的部分像素，以重分割待处理图像上的主体物；接着，根据重分割的结果修正预估主体区域和预估阴影区域，以得到待处理图像上的主体物和主体物的阴影。

基于本实施例的技术方案，可对待处理图像上的主体物及其阴影进行初次分割，得到预估主体区域以及预估阴影区域。接着，根据预估主体区域以及预估阴影区域的轮廓特征，从待处理图像上确定包含主体物及其阴影之间的边界的目标区域；接着，再次分割该待处理图像上的目标区域，以对初次分割的结果进行修正，使得最终分割得到的主体物及其阴影具有较高的精度，有效增加图像分割结果的可用性和可靠性。

图3a为本申请一示例性实施例提供的第二图像分割模型的训练方法的流程示意图，如图3a所示，该方法包括：

步骤301、获取标注有第一目标图像和第二目标图像的样本图像，并根据样本图像上的目标区域生成与样本图像分辨率相同的第二图像掩膜。

步骤302、将样本图像和第二图像掩膜输入神经网络模型。

步骤303、采用掩膜卷积模块提供的单通道的第一卷积核对所述第二图像掩膜进行卷积处理，得到第一特征样本图，以及在第一层卷积层，采用三通道的第二卷积核对所述样本图像进行卷积处理，得到第二特征样本图；所述第一卷积核与所述第二卷积核的尺寸和数量相同。

步骤304、按位叠加第一特征样本图与所述第二特征样本图，得到第三特征样本图，并将第三特征样本图输入所述第一层卷积层之后的其他计算层。

步骤305、获取该其他计算层根据第三特征样本图对样本图像上的目标区域的识别结果，并计算目标区域的损失函数。

步骤306、判断该目标区域的损失函数是否小于设定的阈值；若为是，则执行步骤307；若为否，则执行步骤308。

步骤307、根据第一层卷积层和其他计算层的参数确定第二图像分割模型的模型参数。

步骤308、更新掩膜卷积模块、第一层卷积层和该其他计算层的参数，并重新执行步骤303。

在本实施例中，样本图像标记有第一目标图像和第二目标图像，且样本图像上标记有目标区域。可选地，可采用前述实施例记载的方案，通过第一图像分割模型分割样本图像，并采用前述实施例记载的方案根据样本图像的分割结果，获取样本图像上的目标区域，不再赘述。

第二图像掩膜用于在模型的训练阶段，标记样本图像上的目标区域，降低样本图像上的干扰因素对训练过程的影响。第二图像掩膜中，像素灰度值的设置方法可参考前述实施例与第一图像掩膜的有关的记载，此处不再赘述。

在本实施例中，由于第二图像掩膜的存在，神经网络模型中的其他计算层在根据第三特征样本图对样本图像上的目标区域进行识别的过程中，可将参与损失函数计算的像素分布范围调整到目标区域所在的范围。进而，不断迭代训练得到的第二图像分割模型，可专注于对目标区域进行分割，以提高分割精度。

以下部分将结合图3b，以一个具体的应用场景，对本申请实施例的技术方案进行进一步说明。

在一些典型的应用场景中，图像上的物体为黑色鞋子，且黑色鞋子具有黑色阴影的情况下，以较高的精度将鞋子和阴影分割开是一件困难的事情。基于前述实施例的记载，可执行以下操作，以解决上述技术问题：

首先，可获取包含鞋子和阴影的样本图像，基于该样本图像和神经网络模型，训练图像语义分割模型。在本实施例中，可通过两个训练阶段训练得到两个图像语义分割模型。

在第一个训练阶段中，可在样本图像上沿着鞋子的边缘勾勒出鞋子的轮廓，沿着阴影区域的边缘勾勒出阴影的轮廓，以得到标注后的样本图像。接着，可基于鞋子和阴影这两个类目，训练第一个图像语义分割模型。在训练的过程中，可基于样本图像全图进行损失函数计算，直至训练得到的图像语义分割模型可以较好的分割出鞋子和阴影区域。

但是，通常情况下，阴影与背景区域并无严格边界。因此，在标注样本时，如何在阴影渐变区域标注阴影的边界是一件较为困难的事。基于上述原因，实际标注出的阴影可能与真实的阴影的分布位置有一定差距。因此，在训练第一个图像语义分割模型的过程中，计算全图的损失函数时，该阴影标注产生的差距将会导致损失函数的可靠性变差。进而，第一图像分割模型的无法精确地分割出鞋子和阴影。在阴影的颜色和鞋子的颜色极为相近或者鞋子的底部形状不平整时，分割误差尤为明显。

因此，本实施例中，提出了重分割的解决方案，并在训练重分割所使用的第二个图像语义分割模型的过程中，将损失函数的计算过程集中阴影与鞋子交界的鞋底区域。这种方式可以将优化的方向更多集中在不易分割准确的鞋底和阴影的边界上，有效避开阴影与背景区域的交界部分分割不正确对损失函数的可靠性造成的影响。以下将详细说明。

在第二个训练阶段中，可将第一个图像语义分割模型的分割结果作为训练基础。为描述方便，将第一个图像语义分割模型分割得到的近似鞋子所在的区域标记为第一区域，将近似阴影所在的区域标记为第二区域。

接着，可检测第一区域和第二区域的轮廓。例如，可对第一区域以及第二区域的轮廓上的每个像素点以一定半径进行腐蚀处理，或者，用一定宽度的画笔拓宽第一区域以及第二区域的轮廓。

当获得第一区域以及第二区域的扩展轮廓后，可将两个扩展轮廓的重叠区域作为鞋子和阴影的边界可能存在的区域。为描述方便，将鞋子和阴影的边界可能存在的区域标记为目标区域。

接着，生成与样本图像的分辨率相同的图像掩膜，将图像掩膜上与目标区域对应的像素的灰度值设为128，将第一区域剩余的像素的灰度值设为255，将第二区域上剩余的像素的灰度值设为0。

接着，将样本图像和图像掩膜输入神经网络模型，进行第二个图像语义分割模型的训练。其中，第二个图像语义分割模型沿用第一个图像语义分割模型的模型结构，并在图像掩膜对应的输入端新增了一个卷积处理模块。卷积处理模块提供了与第一层卷积层提供的卷积核数量相同的卷积核。

例如，样本图像为3通道图像，分辨率为800*800，假设第一层卷积层中包含64个卷积核，每个卷积核的尺寸为3c*3h*3w(其中，c为通道数，h为卷积核纵向的像素数，w为卷积核横向的像素数)。样本图像经第一层卷积层计算后可得到一个分辨率为800*800的64通道的特征图。

为了使得图像掩膜对样本图像起作用，可在卷积处理模块设置64个1c*3h*3w的卷积核。基于此，图像掩膜经过卷积处理模块的卷积计算后，也可得到分辨率为800*800的64通道的特征图。接着，可将两个64通道的特征图按位相加，并执行模型中后续的其他计算。

在后续的其他计算过程中，可识别与图像掩膜上灰度值为128的区域对应的像素，并基于这些像素进行损失函数的计算，直至训练得到的第二个图像语义分割模型可以较好的从目标区域中以较高的精度分割出鞋子和阴影区域。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤201至步骤204的执行主体可以为设备A；又比如，步骤201和202的执行主体可以为设备A，步骤203的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如201、202等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图4是本申请一示例性实施例提供的图像处理设备的结构示意图，如图4所示，该图像处理设备包括：存储器401以及处理器402。

存储器401，用于存储计算机程序，并可被配置为存储其它各种数据以支持在图像处理设备上的操作。这些数据的示例包括用于在图像处理设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器401可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器402，与存储器401耦合，用于执行存储器401中的计算机程序，以用于：分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域；根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上包含所述第一目标图像和所述第二目标图像的边界的目标区域；重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域。

进一步可选地，处理器402在分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域时，具体用于：将所述待处理图像输入第一图像分割模型；所述第一图像分割模型以包含第一目标图像和第二目标图像的样本图像为训练样本，通过最小化第一目标图像和/或第二目标图像的损失函数训练得到；运行所述第一图像分割模型，以从所述待处理图像上识别出所述第一预估区域以及所述第二预估区域。

进一步可选地，处理器402在根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上包含第一目标图像和第二目标图像的边界的目标区域时，具体用于：扩展所述第一预估区域的轮廓得到第一扩展轮廓，以及，扩展所述第二预估区域的轮廓得到第二扩展轮廓；获取所述第一扩展轮廓和所述第二扩展轮廓的重叠区域；将所述待处理图像上与所述重叠区域对应的图像区域，作为所述待处理图像上的目标区域。

进一步可选地，处理器402在重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域时，具体用于：识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素，以重分割所述待处理图像上的目标区域；根据所述重分割的结果修正所述第一预估区域和第二预估区域，以得到所述第一目标图像和所述第二目标图像。

进一步可选地，处理器402在识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素，以重分割所述待处理图像上的目标区域时，具体用于：标记所述待处理图像上的目标区域；将标记后的待处理图像输入第二图像分割模型；所述第二图像分割模型以标记有第一目标图像和第二目标图像、且标记有目标区域的样本图像为训练样本，通过最小化目标区域的损失函数训练得到；运行所述第二图像分割模型，以从所述待处理图像上的目标区域中识别隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素。

进一步可选地，处理器402在标记所述待处理图像上的目标区域时，具体用于：生成与所述待处理图像分辨率相同的第一图像掩膜；所述第一图像掩膜中，与所述待处理图像上的目标区域对应的像素的灰度值为设定的标记值，以通过所述标记值标记所述待处理图像上的目标区域。

进一步可选地，处理器402在运行所述第二图像分割模型，以从所述待处理图像上的目标区域中识别隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素时，具体用于：在所述第二图像分割模型内部，采用掩膜卷积模块提供的单通道的第一卷积核对所述第一图像掩膜进行卷积处理，得到第一特征图；以及，在第一层卷积层，采用三通道的第二卷积核对所述待处理图像进行卷积处理，得到第二特征图；所述第一卷积核与所述第二卷积核的尺寸和数量相同；按位叠加所述第一特征图与所述第二特征图，得到第三特征图；将所述第三特征图输入所述第一层卷积层之后的其他计算层，以使所述其他计算层根据所述第三特征图识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素。

进一步可选地，处理器402在根据所述重分割结果的修正所述第一预估区域和第二预估区域，以得到所述第一目标图像和所述第二目标图像时，具体用于：以所述隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素替换所述第一预估区域以及第二预估区域上与所述待处理图像上的目标区域对应的图像区域，得到所述第一目标图像和所述第二目标图像。

进一步可选地，处理器402还用于：获取标注有第一目标图像和第二目标图像的样本图像，并根据所述样本图像上的目标区域生成与所述样本图像分辨率相同的第二图像掩膜；将所述样本图像和所述第二图像掩膜输入神经网络模型执行以下模型训练操作：采用掩膜卷积模块提供的单通道的第一卷积核对所述第二图像掩膜进行卷积处理，得到第一特征样本图；以及在第一层卷积层，采用三通道的第二卷积核对所述样本图像进行卷积处理，得到第二特征样本图；所述第一卷积核与所述第二卷积核的尺寸和数量相同；按位叠加所述第一特征样本图与所述第二特征样本图，得到第三特征样本图，并将所述第三特征样本图输入所述第一层卷积层之后的其他计算层；获取所述其他计算层根据所述第三特征样本图对所述样本图像上的目标区域的识别结果，并计算目标区域的损失函数；判断所述目标区域的损失函数是否小于设定的阈值，若为是，则根据所述第一层卷积层和所述其他计算层的参数确定所述第二图像分割模型的模型参数；若为否，则更新所述掩膜卷积模块、所述第一层卷积层和所述其他计算层的参数，并重新执行所述模型训练操作。

进一步，如图4所示，该图像处理设备还包括：通信组件403、显示器404、电源组件405、音频组件406等其它组件。图4中仅示意性给出部分组件，并不意味着图像处理设备只包括图4所示组件。

其中，通信组件403被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中，显示器404包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

其中，电源组件405，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

本实施例中，分割待处理图像得到第一目标图像对应的第一预估区域和第二目标图像对应的第二预估区域，根据这两个预估的图像区域的轮廓特征，可确定待处理图像上包含第一目标图像和第二目标图像的边界的目标区域；接着，分割该待处理图像上的目标区域，以对第一预估区域和第二预估区域进行修正。基于上述图像处理过程，到的待处理图像的分割结果后，再根据待处理图像上不易准确分割的目标区域的分割结果，对待处理图像的分割结果加以修正，进而可提高图像的分割精度，有效增加图像分割结果的可用性和可靠性。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由图像处理设备执行的各步骤。

图5是本申请一示例性实施例提供的图像处理设备的结构示意图，如图5所示，该图像处理设备包括：存储器501以及处理器502。

存储器501，用于存储计算机程序，并可被配置为存储其它各种数据以支持在图像处理设备上的操作。这些数据的示例包括用于在图像处理设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

其中，存储器501可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器502，与存储器501耦合，用于执行存储器501中的计算机程序，以用于：分割待处理图像，得到所述待处理图像上的主体物对应的预估主体区域以及所述主体物的阴影对应的预估阴影区域；根据所述预估主体区域和所述预估阴影区域的轮廓特征，确定所述待处理图像上包含所述主体物和所述主体物的阴影之间的边界的目标区域；重分割所述目标区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影。

进一步可选地，处理器502在重分割所述目标区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影时，具体用于：识别所述目标区域中隶属于所述预估主体区域的部分像素和隶属于所述预估阴影区域的部分像素，以重分割所述待处理图像上的主体物；根据所述重分割的结果修正所述预估主体区域和所述预估阴影区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影。

进一步，如图5所示，该图像处理设备还包括：通信组件503、显示器504、电源组件505、音频组件506等其它组件。图5中仅示意性给出部分组件，并不意味着图像处理设备只包括图5所示组件。

其中，通信组件503被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术和其他技术来实现。

其中，显示器504包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

其中，电源组件505，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

基于本实施例的技术方案，可对待处理图像上的主体物及其阴影进行初次分割，得到预估主体区域以及预估阴影区域。接着，根据预估主体区域以及预估阴影区域的轮廓特征，从待处理图像上确定包含主体物及其阴影之间的边界的目标区域；接着，再次分割该待处理图像上的目标区域，以对初次分割的结果进行修正，使得最终分割得到的主体物及其阴影具有较高的精度，有效增加图像分割结果的可用性和可靠性。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由图像处理设备执行的各步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种图像处理方法，其特征在于，包括：

分割待处理图像，得到所述待处理图像上的主体物对应的预估主体区域以及所述主体物的阴影对应的预估阴影区域；

根据所述预估主体区域和所述预估阴影区域的轮廓特征，确定所述待处理图像上包含所述主体物和所述主体物的阴影之间的边界的目标区域；

重分割所述目标区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影。

2.根据权利要求1所述的方法，其特征在于，重分割所述目标区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影，包括：

识别所述目标区域中隶属于所述预估主体区域的部分像素和隶属于所述预估阴影区域的部分像素，以重分割所述待处理图像上的主体物；

根据所述重分割的结果修正所述预估主体区域和所述预估阴影区域，以得到所述待处理图像上的所述主体物和所述主体物的阴影。

3.一种图像处理方法，其特征在于，包括：

分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域；

根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上包含所述第一目标图像和所述第二目标图像的边界的目标区域；

重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域。

4.根据权利要求3所述的方法，其特征在于，分割待处理图像，得到第一目标图像对应的第一预估区域以及第二目标图像对应的第二预估区域，包括：

将所述待处理图像输入第一图像分割模型；所述第一图像分割模型以包含第一目标图像和第二目标图像的样本图像为训练样本，通过最小化第一目标图像和/或第二目标图像的损失函数训练得到；

运行所述第一图像分割模型，以从所述待处理图像上识别出所述第一预估区域以及所述第二预估区域。

5.根据权利要求3所述的方法，其特征在于，根据所述第一预估区域和所述第二预估区域的轮廓特征，确定所述待处理图像上包含第一目标图像和第二目标图像的边界的目标区域，包括：

扩展所述第一预估区域的轮廓得到第一扩展轮廓，以及，扩展所述第二预估区域的轮廓得到第二扩展轮廓；

获取所述第一扩展轮廓和所述第二扩展轮廓的重叠区域；

将所述待处理图像上与所述重叠区域对应的图像区域，作为所述待处理图像上的目标区域。

6.根据权利要求3所述的方法，其特征在于，重分割所述待处理图像上的目标区域，以修正所述第一预估区域和第二预估区域，包括：

识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素，以重分割所述待处理图像上的目标区域；

根据所述重分割的结果修正所述第一预估区域和第二预估区域，以得到所述第一目标图像和所述第二目标图像。

7.根据权利要求6所述的方法，其特征在于，识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素，以重分割所述待处理图像上的目标区域，包括：

标记所述待处理图像上的目标区域；

将标记后的待处理图像输入第二图像分割模型；所述第二图像分割模型以标记有第一目标图像和第二目标图像、且标记有目标区域的样本图像为训练样本，通过最小化目标区域的损失函数训练得到；

运行所述第二图像分割模型，以从所述待处理图像上的目标区域中识别隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素。

8.根据权利要求7所述的方法，其特征在于，标记所述待处理图像上的目标区域，包括：

生成与所述待处理图像分辨率相同的第一图像掩膜；所述第一图像掩膜中，与所述待处理图像上的目标区域对应的像素的灰度值为设定的标记值，以通过所述标记值标记所述待处理图像上的目标区域。

9.根据权利要求8所述的方法，其特征在于，运行所述第二图像分割模型，以从所述待处理图像上的目标区域中识别隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素，包括：

在所述第二图像分割模型内部，采用掩膜卷积模块提供的单通道的第一卷积核对所述第一图像掩膜进行卷积处理，得到第一特征图；以及，在第一层卷积层，采用三通道的第二卷积核对所述待处理图像进行卷积处理，得到第二特征图；所述第一卷积核与所述第二卷积核的尺寸和数量相同；

按位叠加所述第一特征图与所述第二特征图，得到第三特征图；

将所述第三特征图输入所述第一层卷积层之后的其他计算层，以使所述其他计算层根据所述第三特征图识别所述待处理图像上的目标区域中隶属于所述第一目标图像的部分像素和隶属于所述第二目标图像的部分像素。

10.根据权利要求6-9任一项所述的方法，其特征在于，根据所述重分割结果的修正所述第一预估区域和第二预估区域，以得到所述第一目标图像和所述第二目标图像，包括：

以所述隶属于第一目标图像的部分像素和隶属于第二目标图像的部分像素替换所述第一预估区域以及第二预估区域上与所述待处理图像上的目标区域对应的图像区域，得到所述第一目标图像和所述第二目标图像。

11.根据权利要求7-9任一项所述的方法，其特征在于，还包括：

获取标注有第一目标图像和第二目标图像的样本图像，并根据所述样本图像上的目标区域生成与所述样本图像分辨率相同的第二图像掩膜；

将所述样本图像和所述第二图像掩膜输入神经网络模型执行以下模型训练操作：采用掩膜卷积模块提供的单通道的第一卷积核对所述第二图像掩膜进行卷积处理，得到第一特征样本图；以及在第一层卷积层，采用三通道的第二卷积核对所述样本图像进行卷积处理，得到第二特征样本图；所述第一卷积核与所述第二卷积核的尺寸和数量相同；

按位叠加所述第一特征样本图与所述第二特征样本图，得到第三特征样本图，并将所述第三特征样本图输入所述第一层卷积层之后的其他计算层；

获取所述其他计算层根据所述第三特征样本图对所述样本图像上的目标区域的识别结果，并计算目标区域的损失函数；

判断所述目标区域的损失函数是否小于设定的阈值，若为是，则根据所述第一层卷积层和所述其他计算层的参数确定所述第二图像分割模型的模型参数；若为否，则更新所述掩膜卷积模块、所述第一层卷积层和所述其他计算层的参数，并重新执行所述模型训练操作。

12.一种图像处理设备，其特征在于，包括：存储器和处理器；

其中，存储器用于存储一条或多条计算机指令；

所述处理器，用于执行所述一条或多条计算机指令，以用于：执行权利要求1-11任一项所述的图像处理方法中的步骤。

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被执行时能够实现权利要求1-11任一项所述的图像处理方法。

Images