CN112102340A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、电子设备和计算机可读存储介质。所述方法包括对获取的待处理图像进行人像分割处理，得到人像掩膜图；对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。采用本申请的方法可以解决遮挡物分割空洞的问题。

Description

图像处理方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。

背景技术

目前人像掩膜图的生成方法，通常采用matting(抠图)的方法来抠图人像，并将抠图结果用于虚化、曝光、对焦等不同应用处理。而在人像虚化、留色等应用中，当图像中含有遮挡物时，易出现遮挡物分割空洞的问题。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，解决了人像含有手持物或者身前含有遮挡物时，易出现遮挡物分割空洞或者分割丢失的问题，提升了人像分割的精度。

一种图像处理方法，包括：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

一种对焦方法，所述方法包括：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

基于所述目标掩膜图进行对焦。

一种图像处理装置，包括：

人像分割模块，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块，用于对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

掩膜图融合模块，用于基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

一种对焦装置，包括：

人像分割模块，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块，用于对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

消除模块，用于基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

目标对焦模块，用于基于所述目标掩膜图进行对焦。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

基于所述目标掩膜图进行对焦。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

基于所述目标掩膜图进行对焦。

上述图像处理方法、装置、电子设备和计算机可读存储介质，通过对获取的待处理图像进行人像分割处理，得到人像掩膜图，对待处理图像进行物体分割处理，得到遮挡物掩膜图，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图，能够融合遮挡物和人像，能够有效解决遮挡物空洞的问题，并且能够处理手持物分割丢失的问题，提高图像分割的精度，也提高将该目标掩膜图用于后续图像处理的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的流程图；

图2为一个实施例中人像分割模型和用于物体检测的解码器的架构示意图；

图3为一个实施例中待处理图像的示意图；

图4为一个实施例中人像掩膜图的示意图；

图5为一个实施例中遮挡物掩膜图的示意图；

图6为一个实施例中目标掩膜图的示意图；

图7为另一个实施例中图像处理方法的流程示意图；

图8为一个实施例中对焦方法的流程示意图；

图9为一个实施例中图像处理装置的结构框图；

图10为一个实施例中对焦装置的结构框图；

图11为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种数据，但这些数据不受这些术语限制。这些术语仅用于将第一个数据与另一个数据区分。举例来说，在不脱离本申请的范围的情况下，可以将第一区域坐标范围称为第二区域坐标范围，且类似地，可将第二区域坐标范围称为第一区域坐标范围。第一区域坐标范围和第二区域坐标范围两者都是区域坐标范围，但其不是同一区域坐标范围。

图1为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于电子设备为例进行描述。可以理解的是，该方法也可以应用于服务器，还可以应用于包括电子设备和服务器的系统，并通过电子设备和服务器的交互实现。电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。如图1所示，图像处理方法包括步骤102至步骤106。

步骤102，对获取的待处理图像进行人像分割处理，得到人像掩膜图。

其中，待处理图像可以是电子设备拍摄的图像，也可以是电子设备本地存储的图像，还可以是从网上下载的图像等不限于此。待处理图像可以是raw图(原始图像)、YUV图、RGB(Red Green Blue,红绿蓝)图、深度图像或者经过归一化后的图像等。归一化后的图像可以是指图像中所有像素点的像素值在0～1的范围内，或者所有像素点的像素值在-1～1的范围内等不限于此。归一化的方式可以是将图像中每个像素点RGB三通道的值先减均值，后除以图像中像素值的反差的方式。人像分割处理即将人像与待处理图像中的背景区分开。掩膜图(Mask)即二值化图像。人像掩膜图的图像大小可与待处理图像的图像大小相同。

具体地，电子设备对获取的待处理图像进行人像分割处理，得到人像掩膜图。人像掩膜图中的像素点的像素值只有两个，例如0和1，或者0和255等。可以用0表示人像轮廓区域的像素值，用255表示人像掩膜图中除了人像轮廓区域之外的其他区域的像素值。

本实施例中，电子设备对获取的原始图像进行缩放处理，缩放至人像分割模型所适配的尺寸，并将缩放后的原始图像进行归一化处理，得到待处理图像。

本实施例中，对获取的待处理图像进行人像分割处理，得到人像掩膜图包括：对获取的待处理图像进行人像识别，得到人像识别结果；基于人像识别结果对待处理图像进行二值化处理，得到人像掩膜图。

步骤104，对待处理图像进行物体分割处理，得到遮挡物掩膜图。

其中，物体分割处理是指将物体与待处理图像中其他景物或者人像区分开。物体不包括人像。遮挡物是指遮盖住人像的至少一部分的物体。例如遮挡物可以是人像的手持物，或者位于人像前的一些物体。遮挡物具体可以是花、草、虫、鱼、杯子、手机等不限于此。

具体地，当待处理图像中只包含一个物体，且该物体为遮挡物时，电子设备将待处理图像输入至物体分割模型中，得到遮挡物掩膜图。其中，遮挡物掩膜图中的像素点的像素值只有两个，例如0和1，或者0和255等。可以用255表示遮挡物轮廓区域的像素值，用0表示遮挡物掩膜图中除了遮挡物轮廓区域之外的其他区域的像素值。

步骤106，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图。

其中，遮挡物掩膜图在待处理图像中的位置可以是指遮挡物掩膜图在待处理图像中所处的区域坐标范围。例如，遮挡物的区域坐标范围

具体地，电子设备基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图中每个像素点与人像掩膜图中每个像素点进行融合，得到目标掩膜图。则目标掩膜图中包括将遮挡物轮廓区域和人像轮廓区域进行融合的融合结果。

本实施例中的图像处理方法，通过对获取的待处理图像进行人像分割处理，得到人像掩膜图，对待处理图像进行物体分割处理，得到遮挡物掩膜图，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图，能够融合遮挡物和人像，能够有效解决遮挡物空洞的问题，并且能够处理手持物分割丢失的问题，提高图像分割的精度，提高将该目标掩膜图用于后续图像处理的效果。

在一个实施例中，对待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：对待处理图像进行物体分割处理，得到物体掩膜图；基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图。

具体地，当待处理图像中包含至少两个物体，且至少两个物体中包含至少一个遮挡物时，电子设备对待处理图像进行物体分割处理，得到每个物体的物体掩膜图。并基于物体掩膜图在待处理图像中的位置，当存在人像轮廓区域与物体掩膜图中的物体轮廓区域存在重合区域的目标物体掩膜图时，将该目标物体掩膜图作为遮挡物掩膜图。例如，待处理图像中包含杯子和花这两种物体，那么电子设备对待处理图像进行物体分割处理，得到杯子的掩膜图和花的掩膜图。而花的掩膜图对应于待处理图像中的位置与人像轮廓区域无交叉范围，杯子的掩膜图对应待处理图像中的位置与人像轮廓区域有交叉范围，因此杯子的掩膜图为遮挡物掩膜图。

本实施例中的图像处理方法，对待处理图像进行过物体分割处理，得到物体掩膜图，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，能够在待处理图像中包含至少两个物体时，确定其中的遮挡物，而不是将图像中所有物体视为遮挡物，解决了在人像被遮挡物遮挡一部分时，出现的遮挡物分割空洞或者遮挡物分割丢失的问题，提高图像分割的精度，并且提高区分前景和背景的准确性。

在一个实施例中，对待处理图像进行物体分割处理，得到物体掩膜图，包括：对待处理图像进行物体检测处理，获得物体所在区域；基于物体所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到物体图像；对物体图像进行物体分割处理，得到物体掩膜图。

其中，物体检测处理用于检测出物体在待处理图像中的所处区域。物体所在区域可以用检测框表示。物体所在区域可以是根据物体的轮廓边缘的最小外接长方形。并且物体所在区域可映射到待处理图像中，得到物体所在区域在待处理图像中的位置。

具体地，电子设备采用物体检测算法，对待处理图像进行物体检测处理，获得物体所在区域。基于物体所在区域在待处理图像中的位置，电子设备分别在待处理图像中相应位置裁剪得到物体图像。电子设备将物体图像缩放至物体分割网络所适配的尺寸。并且当待处理图像未进行归一化处理时，电子设备可对缩放后的物体图像进行归一化处理。电子设备对物体图像进行物体分割处理，得到包含物体轮廓区域和其它区域的物体掩膜图。例如，以物体为杯子为例，对待处理图像进行物体检测处理，获得杯子所在区域；基于杯子所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到杯子图像。对杯子图像进行物体分割处理，得到杯子的掩膜图。

本实施例中的图像处理方法，通过物体检测能够检测出物体所在区域，而且通过物体检测能够提高检测出的物体的准确性，进而裁剪出物体图像，则可以从待处理图像中分离出物体图像，方便后续对物体图像的物体分割处理，提高得到的物体掩膜图的准确性。

在一个实施例中，对待处理图像进行物体检测处理，获得物体所在区域，包括：对待处理图像进行物体检测处理，获得候选物体区域；确定每个候选物体区域所对应的物体类别；获取相同物体类别的候选物体区域之间的区域交并比；确定区域交并比大于交并比阈值的候选物体区域对；保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

其中，候选物体区域是指未确定的物体区域。而对于同一个物体，当算法存在漏洞时，可能会有超过一个的候选物体区域。交并比用于表示两个区域之间的交集面积与两个区域的并集之比。例如存在区域A和区域B,那么区域交并比则为(A∩B)/(A∪B)。物体类别是指物体所属的类别。例如杯子类、花类、草类等不限于此。候选物体区域对中包括两个候选物体区域。

具体地，电子设备对待处理图像进行物体检测处理，获得至少两个候选物体区域，并确定至少两个候选区域中每个候选区域所对应的物体类别。获取相同物体类别的候选区域之间的区域交并比，确定区域交并比大于交并比阈值的候选物体区域对。电子设备保留候选物体区域对中的其中任意一个候选物体区域，作为物体所在区域。或者，电子设备确定候选物体区域对中每个候选物体区域的置信度，将候选物体区域对中置信度最高的候选物体区域作为物体所在区域。例如，对待处理图像进行物体检测处理，获得候选物体区域A、候选物体区域B和候选物体区域C，且候选物体区域A、候选物体区域B和候选物体区域C均为杯子类别。那么确定A和B之间的区域交并比、B和C之间的区域交并比以及A和C之间的区域交并比。假设交并比阈值为50％，AB区域交并比为70％，AC区域交并比为0，BC区域交并比为2％，那么候选物体区域对为AB区域对。保留A或者B其中一个候选物体区域，作为物体所在区域。

本实施例中的图像处理方法，由于物体检测中可能会出现对同一物体的重复检测，因此相同物体类别的对象所在区域之间的区域交并比如果较大，说明是对同一物体的重复检测，需要保留其中一个对象区域作为物体所在区域，以避免重复检测，提高物体检测的准确性。

在一个实施例中，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，包括：获取物体掩膜图中的物体轮廓区域在待处理图像中的第一区域范围；获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围；将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

其中，物体轮廓区域是指物体的轮廓所处的区域。人像轮廓区域是指人像的轮廓所处的区域。一般情况下物体轮廓区域和人像轮廓区域均是不规则的区域。区域范围可通过在待处理图像中的坐标范围体现。例如区域范围可以是横坐标为10到20的区域，纵坐标为0到20的区域等。

具体地，电子设备获取物体掩膜图中的人像轮廓区域在待处理图像中的第一区域范围，以及获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围。将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

本实施例中，将与第二区域范围不存在交叉范围的第一区域范围所对应的物体掩膜图删除。与第二区域范围不存在交叉范围，说明该物体掩膜图中的物体为待处理图像中背景区域中的物体。

本实施例中的图像处理方法，物体轮廓区域即为该物体实际在的区域，人像轮廓区域即为该人像实际所在的区域，如果这两个区域存在交叉，则说明物体遮蔽了人像，则该物体掩膜图即为遮挡物掩膜图，能够从多个物体掩膜图中判断哪个是遮挡物掩膜图，并解决遮挡物分割空洞的问题。

在一个实施例中，对获取的待处理图像进行人像分割处理，得到人像掩膜图，包括：将待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征；将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图。对待处理图像进行物体检测处理，获得物体所在区域，包括：将图像特征输入至用于物体检测的解码器中，获得物体所在区域。

其中，人像分割模型可以是由包含人像的图片以及对应的人像标注训练而成的。人像分割模型可采用深度学习类算法得到，例如CNN(Convolutional Neural Networks，卷积神经网络)、U-Net算法、FCN(Fully Convolutional Neural Networks，全卷积神经网络)等。编码器即特征提取模块，用于进行特征提取。解码器即用于对图像特征进行处理得到人像掩膜图。

具体地，电子设备将待处理图像输入至人像分割模型中的编码器进行特征提取，得到图像特征。将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图。当需要对待处理图像进行物体检测时，将图像特征输入至用于物体检测的解码器中，获得物体所在区域。

本实施例中，如图2所示，为一个实施例中人像分割模型和用于物体检测的解码器的架构示意图。为了减少计算量，物体检测模型采用与人像分割网络共享编码器的方法，即共享特征提取模块。下图的物体检测结果即物体所在区域为(C+4)x K x m x n。其中，x为乘号。

C：目标检测的类别数。

4：每个检测框的回归值。

K:feature map每个点的位置预测的检测框的个数。

m x n:feature map的大小。

本实施例中的图像处理方法，通过将特征提取后的图像特征分别输入至人像分割模型的解码器以及用于物体检测的解码器中可得到人像掩膜图和物体所在区域，即人像分割模型和物体检测模型共用图像特征，共用同一个编码器，能够减少计算量，提高图像处理效率。

在一个实施例中，对待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：对待处理图像进行物体检测，得到遮挡物所在区域；基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像；对遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

具体地，当待处理图像中仅包含一个物体，且该物体为遮挡物时，电子设备对待处理图像进行物体检测，得到遮挡物所在区域。电子设备基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像。电子设备可将遮挡物图像缩放至物体分割模型适配的尺寸后输入至物体分割模型中，进行物体分割处理，得到遮挡物掩膜图。物体分割模型基本结构与人像分割模型基本一致。为减少计算量，物体分割模型需要的图像输入尺寸更小，或者网络通道数、层数可以做一些裁剪。该模型的训练数据由包含物体的样本图像集构成，其中物体是一种类别，背景是一种类别。

本实施例中的图像处理方法，当待处理图像中仅包含一个物体，且该物体为遮挡物时，可直接对待处理图像进行物体检测，得到遮挡物所在区域，能够更准确确定得到遮挡物的位置；基于遮挡物所在区域在待处理图像中的位置，裁剪得到遮挡物图像，并进行物体分割处理，能够准确地进行物体分割。

在一个实施例中，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图，包括：分别获取人像掩膜图和遮挡物掩膜图中每个像素点坐标的像素值；当存在像素值中至少一个像素值为第一像素值的第一相同像素点坐标时，将第一相同像素点坐标所对应的目标像素值设为第一像素值；其中第一像素值为人像轮廓区域或者物体轮廓区域的像素值；当存在像素值均为第二像素值的第二相同像素点坐标时，将第二相同像素点坐标所对应的目标像素值设为第二像素值；其中，第二像素值为背景区域的像素值；基于每个像素点坐标的目标像素值生成目标掩膜图。

具体地，遮挡物掩膜图和人像掩膜图均基于在待处理图像中的位置确定像素点坐标。例如，遮挡物掩膜图的左上角的像素点在待处理图像中的位置坐标为(10，10)，那么遮挡物掩膜图左上角的像素点则为(10，10)，而不是(0，0)。那么同一个像素点坐标可能会对应两个像素值，分别是人像掩膜图的像素值和遮挡物掩膜图的像素值。当同一像素点坐标对应的像素值中至少一个值为第一像素值时，则将该像素点坐标称为第一相同像素点坐标，将第一相同像素点坐标对所对应的目标像素值设为第一像素值。例如，人像轮廓区域或者物体轮廓区域的像素值均为1；那么像素点坐标为(1，1)时，人像掩膜图中(1，1)坐标的像素值为1，物体掩膜图中(1，1)坐标的像素值为0，那么得到(1，1)坐标的目标像素值为1。

当同一像素点坐标对应的像素值均为第二像素值时，则将该像素点坐标称为第二相同像素点坐标，将第二相同像素点坐标对所对应的目标像素值设为第二像素值。例如，背景区域的像素值为0；那么像素点坐标为(2，2)时，人像掩膜图中(2，2)坐标的像素值为0，物体掩膜图中(2，2)坐标的像素值也为0，那么得到(2，2)坐标的目标像素值为0。

当人像掩膜图与遮挡物掩膜图的图像大小不同时，则将不相同的像素点坐标对应的像素值作为目标像素值。例如，人像掩膜图中存在像素点坐标(100，100)，并且对应的像素值为0；而遮挡物掩膜图中不存在像素点坐标(100，100)，那么将像素点坐标(100，100)对应的目标像素值设为0。至此得出了所有像素点坐标的目标像素值，得到目标掩膜图。

本实施例中的图像处理方法，分别获取人像掩膜图和遮挡物掩膜图中每个像素点坐标的像素值，当某个像素点对应的至少一个像素值为人像轮廓区域或者物体轮廓区域的像素值时，说明该像素点实际上有物体或者人像存在，则需设为第一像素值；而当某个像素点对应的两个像素值均为第二像素值时，说明该像素点实际上是背景的像素点，设为第二像素值，即将人像轮廓区域和物体轮廓区域融合了，有效解决遮挡物空洞的问题。

在一个实施例中，该图像处理方法还包括：确定目标掩膜图中的背景区域；基于背景区域在待处理图像中的位置，对待处理图像的背景区域进行虚化处理，得到目标图像。

具体地，电子设备基于目标掩膜图中每个像素点的像素值，确定目标掩膜图中的背景区域。例如背景区域中的像素值均为0。并基于背景区域在待处理图像中的位置，对待处理图像的背景区域进行虚化处理，得到目标图像。

本实施例中的图像处理方法，由于目标掩膜图中有效区分了背景区域和包含人像和遮挡物的前景区域，那么对待处理图像中的背景区域进行虚化，得到的虚化效果更好。

在一个实施例中，如图3所示，为一个实施例中待处理图像的示意图。图中包括待处理图像300以及物体所在区域310。同时也可以称为遮挡物所在区域310。对获取的待处理图像进行人像分割处理，得到人像掩膜图400。如图4所示，为一个实施例中人像掩膜图的示意图。图4中包括人像掩膜图400、人像轮廓区域410以及背景区域420。人像掩膜图400的大小可与待处理图像的大小相同。对待处理图像进行物体分割处理，得到遮挡物掩膜图500。如图5所示，为一个实施例中遮挡物掩膜图的示意图。图5中包括遮挡物掩膜图500、遮挡物轮廓区域510即图5中的白色部分、以及背景区域520即图5中的黑色部分。遮挡物掩膜图500的大小可与物体所在区域310的大小相同。如图6所示，为一个实施例中目标掩膜图的示意图。图6中包括目标掩膜图600、人像轮廓区域和物体轮廓区域融合得到的融合结果610和背景区域620。

在一个实施例中，一种图像处理方法，包括：

步骤a1，将待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征。

步骤a2，将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图。

当待处理图像中仅包含一个物体，且该物体为遮挡物时，执行下述步骤a3至a5，以及a16至a21：

步骤a3，对待处理图像进行物体检测，得到遮挡物所在区域。

步骤a4，基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像。

步骤a5，对遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

当待处理图像中包含至少两个物体，且至少两个物体中至少一个物体为遮挡物时，执行下述步骤a6-a21：

步骤a6，将图像特征输入至用于物体检测的解码器中，获得候选物体区域。

步骤a7，确定每个候选物体区域所对应的物体类别。

步骤a8，获取相同物体类别的候选物体区域之间的区域交并比。

步骤a9，确定区域交并比大于交并比阈值的候选物体区域对。

步骤a10，保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

步骤a11，基于物体所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到物体图像。

步骤a12，对物体图像进行物体分割处理，得到物体掩膜图。

步骤a13，获取物体掩膜图中的物体轮廓区域在待处理图像中的第一区域范围。

步骤a14，获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围。

步骤a15，将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

步骤a16，分别获取人像掩膜图和遮挡物掩膜图中每个像素点坐标的像素值。

步骤a17，当存在像素值中至少一个像素值为第一像素值的第一相同像素点坐标时，将第一相同像素点坐标所对应的目标像素值设为第一像素值。其中第一像素值为人像轮廓区域或者物体轮廓区域的像素值。

步骤a18，当存在像素值均为第二像素值的第二相同像素点坐标时，将第二相同像素点坐标所对应的目标像素值设为第二像素值。其中，第二像素值为背景区域的像素值。

步骤a19，基于每个像素点坐标的目标像素值生成目标掩膜图。

步骤a20，确定目标掩膜图中的背景区域。

步骤a21，基于背景区域在待处理图像中的位置，对待处理图像中的背景区域进行虚化处理，得到目标图像。

本实施例中的图像处理方法，通过对获取的待处理图像进行人像分割处理，得到人像掩膜图，对待处理图像进行物体分割处理，得到遮挡物掩膜图，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图，能够融合遮挡物和人像区域，能够有效解决遮挡物空洞的问题，并且能够处理手持物分割丢失的问题，提高将该目标掩膜图用于后续图像处理的效果。

在一个实施例中，如图7所示，为另一个实施例中图像处理方法的流程示意图。本发明的技术框架图如图7所示。首先获取待处理图像，对待处理图像进行缩放归一化操作后，输入人像分割模型，输出人像掩膜图。共享人像分割模型的特征提取模块，进行物体检测，并对物体所在区域进行过滤，得到物体所在区域。根据物体所在区域，在待处理图像上裁剪相应区域并进行缩放和图像归一化操作，分别对相应的物体进行物体分割，得到物体掩膜图。并从物体掩膜图中确定遮挡物掩膜图。根据遮挡物在待处理图像中的位置，将遮挡物掩膜图映射回原图位置。最后，将遮挡物掩膜图与人像掩膜图进行融合，输出目标掩膜图。

1、获取待处理图像。待处理图像不限于是raw图、YUV图、RGB图、深度图等。

2、将待处理图像缩放至人像分割模型所需要的大小。例如但不限于800X600。

3、图像归一化：将图像每个像素点RGB三通道的值，进行先减均值，后除方差的操作。

4、人像掩膜图：一般人像分割卷积神经网络CNN采用的算法，可以是但不限于deeplab系列分割算法、U-Net、FCN等。该类算法通常包括特征编码模块(encoder)和目标模板生成模块(decoder)。该模型的训练数据由人像数据集构成，人的身体是一种类别，背景是一种类别。将缩放且归一化后的待处理图像输入人像分割模型中，获得人像掩膜图。

5、物体检测：手持物、遮挡物检测采用目标检测的方法。为了减少计算量，采用与人像分割网络共享encoder模块的方法，即共享特征提取模块。

6、检测结果过滤：对待处理图像进行物体检测处理，获得候选物体区域；确定每个候选物体区域所对应的物体类别；获取相同物体类别的候选物体区域之间的区域交并比；确定区域交并比大于交并比阈值的候选物体区域对；保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。过滤后检测框即物体所在区域。

7、裁剪缩放和图像归一化：过滤后的检测框，结合获取的待处理图像，在待处理图像相应位置进行裁剪，得到物体图像。并将物体图像缩放到物体分割模型需要的尺寸。同样需要对物体图像进行归一化操作。

8、遮挡物掩膜图：将物体图像输入至物体分割网络中，得到遮挡物掩膜图。

9、映射回待处理图像的位置：将遮挡物掩膜图根据物体所在区域映射会原图。

10、融合：确定物体掩膜图和人像掩膜图之间是否有像素交集，即是否存在交叉范围。若没有，表示该物体掩膜图不是遮挡物掩膜图，舍弃掉。否则，将物体掩膜图和人像掩膜图进行融合。假设物体掩膜图和人像掩膜图均为二值图，0或255。其中0为背景区域对应的像素值，255为人像轮廓区域或者物体轮廓区域的像素值。只要物体掩膜图和人像掩膜图中的任一点的值为255，则融合图上该点的值为255，否则该点的值为0。

本实施例中的图像处理方法，详述了基于人像分割的结果，利用遮挡物检测与分割，并将遮挡物掩膜图与人像掩膜图进行融合，从而提升部署过程中人像分割的精度，避免了传统方法在人像前含有遮挡物时，出现的遮挡物分割空洞或者遮挡物丢失的问题，提升了后续人像应用的效果。

在一个实施例中，如图8所示，为一个实施例中对焦方法的流程示意图，其中：

步骤802，对获取的待处理图像进行人像分割处理，得到人像掩膜图。

步骤804，对待处理图像进行物体分割处理，得到遮挡物掩膜图；遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域。

步骤806，基于遮挡物轮廓区域在待处理图像中相应的位置，对人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图。

具体地，电子设备基于目标遮挡物在待处理图像中相应的位置，将人像掩膜图中相应的遮挡物轮廓区域设为背景区域，得到目标掩膜图。

本实施例中，基于遮挡物轮廓区域在待处理图像中相应的位置，对人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图，包括：基于遮挡物轮廓区域在待处理图像中相应的位置，将人像掩膜图中相应的遮挡物区域的像素值设为第二像素值，其中，第二像素值为背景区域的像素值。

步骤808，基于目标掩膜图进行对焦。

具体地，电子设备基于目标掩膜图中的人像区域进行对焦。

本实施例中的对焦方法，由于传统方式中对人像分割用于对焦的项目中，人像分割掩膜图中若含有遮挡物部分，容易导致对焦到遮挡物上，造成对焦失败，而通过对待处理图像进行人像分割处理和物体分割处理，分别得到人像掩膜图和遮挡物掩膜图，并对人像掩膜图中相应的遮挡物轮廓区域进行消除，可以避免对焦到遮挡物上，增强对焦的稳定性。

在一个实施例中，对待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：对待处理图像进行物体分割处理，得到物体掩膜图；基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图。

本实施例中的对焦方法，对待处理图像进行过物体分割处理，得到物体掩膜图，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，能够在待处理图像中包含至少两个物体时，确定其中的遮挡物，而不是将图像中所有物体视为遮挡物，解决了在人像被遮挡物遮挡一部分时，出现的遮挡物分割空洞或者遮挡物分割丢失的问题，并且提高区分前景和背景的准确性。

在一个实施例中，对待处理图像进行物体分割处理，得到物体掩膜图，包括：对待处理图像进行物体检测处理，获得物体所在区域；基于物体所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到物体图像；对物体图像进行物体分割处理，得到物体掩膜图。

本实施例中的对焦方法，通过物体检测能够检测出物体所在区域，而且通过物体检测能够提高检测出的物体的准确性，进而裁剪出物体图像，则可以从待处理图像中分离出物体图像，方便后续对物体图像的物体分割处理，提高得到的物体掩膜图的准确性。

在一个实施例中，对待处理图像进行物体检测处理，获得物体所在区域，包括：对待处理图像进行物体检测处理，获得候选物体区域；确定每个候选物体区域所对应的物体类别；获取相同物体类别的候选物体区域之间的区域交并比；确定区域交并比大于交并比阈值的候选物体区域对；保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

本实施例中的对焦方法，由于物体检测中可能会出现对同一物体的重复检测，因此相同物体类别的对象所在区域之间的区域交并比如果较大，说明是对同一物体的重复检测，需要保留其中一个对象区域作为物体所在区域，以避免重复检测，提高物体检测的准确性。

在一个实施例中，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，包括：获取物体掩膜图中的物体轮廓区域在待处理图像中的第一区域范围；获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围；将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

本实施例中的对焦方法，物体轮廓区域即为该物体实际在的区域，人像轮廓区域即为该人像实际所在的区域，如果这两个区域存在交叉，则说明物体遮蔽了人像，则该物体掩膜图即为遮挡物掩膜图，能够从多个物体掩膜图中判断哪个是遮挡物掩膜图，并解决遮挡物分割空洞的问题。

在一个实施例中，对获取的待处理图像进行人像分割处理，得到人像掩膜图，包括：将待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征；将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图；对待处理图像进行物体检测处理，获得物体所在区域，包括：将图像特征输入至用于物体检测的解码器中，获得物体所在区域。

本实施例中的对焦方法，通过将特征提取后的图像特征分别输入至人像分割模型的解码器以及用于物体检测的解码器中可得到人像掩膜图和物体所在区域，即人像分割模型和物体检测模型共用图像特征，共用同一个编码器，能够减少计算量，提高图像处理效率。

在一个实施例中，对待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：对待处理图像进行物体检测，得到遮挡物所在区域；基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像；对遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

本实施例中的对焦方法，当待处理图像中仅包含一个物体，且该物体为遮挡物时，可直接对待处理图像进行物体检测，得到遮挡物所在区域，能够更准确确定得到遮挡物的位置；基于遮挡物所在区域在待处理图像中的位置，裁剪得到遮挡物图像，并进行物体分割处理，能够准确地进行物体分割。

应该理解的是，虽然图1、7和8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、7和8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例的图像处理装置的结构框图。如图9所示，一种图像处理装置包括人像分割模块902、物体分割模块904和掩膜图融合模块906，其中：

人像分割模块902，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块904，用于对待处理图像进行物体分割处理，得到遮挡物掩膜图；

掩膜图融合模块906，用于基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图。

本实施例中的图像处理装置，通过对获取的待处理图像进行人像分割处理，得到人像掩膜图，对待处理图像进行物体分割处理，得到遮挡物掩膜图，基于遮挡物掩膜图在待处理图像中的位置，将遮挡物掩膜图和人像掩膜图进行融合，得到目标掩膜图，能够融合遮挡物和人像，能够有效解决遮挡物空洞的问题，并且能够处理手持物分割丢失的问题，提高将该目标掩膜图用于后续图像处理的效果。

在一个实施例中，物体分割模块904用于对待处理图像进行物体分割处理，得到物体掩膜图；基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图。

本实施例中的图像处理装置，对待处理图像进行过物体分割处理，得到物体掩膜图，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，能够在待处理图像中包含至少两个物体时，确定其中的遮挡物，而不是将图像中所有物体视为遮挡物，解决了在人像被遮挡物遮挡一部分时，出现的遮挡物分割空洞或者遮挡物分割丢失的问题，并且提高区分前景和背景的准确性。

在一个实施例中，物体分割模块904用于对待处理图像进行物体检测处理，获得物体所在区域；基于物体所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到物体图像；对物体图像进行物体分割处理，得到物体掩膜图。

本实施例中的图像处理装置，通过物体检测能够检测出物体所在区域，而且通过物体检测能够提高检测出的物体的准确性，进而裁剪出物体图像，则可以从待处理图像中分离出物体图像，方便后续对物体图像的物体分割处理，提高得到的物体掩膜图的准确性。

在一个实施例中，物体分割模块904用于对待处理图像进行物体检测处理，获得候选物体区域；确定每个候选物体区域所对应的物体类别；获取相同物体类别的候选物体区域之间的区域交并比；确定区域交并比大于交并比阈值的候选物体区域对；保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

本实施例中的图像处理装置，由于物体检测中可能会出现对同一物体的重复检测，因此相同物体类别的对象所在区域之间的区域交并比如果较大，说明是对同一物体的重复检测，需要保留其中一个对象区域作为物体所在区域，以避免重复检测，提高物体检测的准确性。

在一个实施例中，物体分割模块904用于获取物体掩膜图中的物体轮廓区域在待处理图像中的第一区域范围；获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围；将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

本实施例中的图像处理装置，物体轮廓区域即为该物体实际在的区域，人像轮廓区域即为该人像实际所在的区域，如果这两个区域存在交叉，则说明物体遮蔽了人像，则该物体掩膜图即为遮挡物掩膜图，能够从多个物体掩膜图中判断哪个是遮挡物掩膜图，并解决遮挡物分割空洞的问题。

在一个实施例中，人像分割模块902用于将待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征；将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图。物体分割模块904用于将图像特征输入至用于物体检测的解码器中，获得物体所在区域。

本实施例中的图像处理装置，通过将特征提取后的图像特征分别输入至人像分割模型的解码器以及用于物体检测的解码器中可得到人像掩膜图和物体所在区域，即人像分割模型和物体检测模型共用图像特征，共用同一个编码器，能够减少计算量，提高图像处理效率。

在一个实施例中，物体分割模块904用于对待处理图像进行物体检测，得到遮挡物所在区域；基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像；对遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

本实施例中的图像处理装置，当待处理图像中仅包含一个物体，且该物体为遮挡物时，可直接对待处理图像进行物体检测，得到遮挡物所在区域，能够更准确确定得到遮挡物的位置；基于遮挡物所在区域在待处理图像中的位置，裁剪得到遮挡物图像，并进行物体分割处理，能够准确地进行物体分割。

在一个实施例中，掩膜图融合模块906用于分别获取人像掩膜图和遮挡物掩膜图中每个像素点坐标的像素值；当存在像素值中至少一个像素值为第一像素值的第一相同像素点坐标时，将第一相同像素点坐标所对应的目标像素值设为第一像素值；其中第一像素值为人像轮廓区域或者物体轮廓区域的像素值；当存在像素值均为第二像素值的第二相同像素点坐标时，将第二相同像素点坐标所对应的目标像素值设为第二像素值；其中，第二像素值为背景区域的像素值；基于每个像素点坐标的目标像素值生成目标掩膜图。

本实施例中的图像处理装置，分别获取人像掩膜图和遮挡物掩膜图中每个像素点坐标的像素值，当某个像素点对应的至少一个像素值为人像轮廓区域或者物体轮廓区域的像素值时，说明该像素点实际上有物体或者人像存在，则需设为第一像素值；而当某个像素点对应的两个像素值均为第二像素值时，说明该像素点实际上是背景的像素点，设为第二像素值，即将人像轮廓区域和物体轮廓区域融合了，有效解决遮挡物空洞的问题。

在一个实施例中，图像处理模块还包括虚化模块。虚化模块用于确定目标掩膜图中的背景区域；基于背景区域在待处理图像中的位置，对待处理图像的背景区域进行虚化处理，得到目标图像。

本实施例中的图像处理装置，由于目标掩膜图中有效区分了背景区域和包含人像和遮挡物的前景区域，那么对待处理图像中的背景区域进行虚化，得到的虚化效果更好。

图10为一个实施例中对焦装置的结构框图。如图10所示，一种对焦装置包括人像分割模块1002、物体分割模块1004、消除模块1006和目标对焦模块1008，其中：

人像分割模块1002，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块1004，用于对待处理图像进行物体分割处理，得到遮挡物掩膜图；遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

消除模块1006，用于基于遮挡物轮廓区域在待处理图像中相应的位置，对人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

目标对焦模块1008，用于基于目标掩膜图进行对焦。

本实施例中的对焦装置，由于传统方式中对人像分割用于对焦的项目中，人像分割掩膜图中若含有遮挡物部分，容易导致对焦到遮挡物上，造成对焦失败，而通过对待处理图像进行人像分割处理和物体分割处理，分别得到人像掩膜图和遮挡物掩膜图，并对人像掩膜图中相应的遮挡物轮廓区域进行消除，可以避免人像掩膜图中含有遮挡物，增强对焦的稳定性。

在一个实施例中，物体分割模块1004用于对待处理图像进行物体分割处理，得到物体掩膜图；基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图。

本实施例中的对焦装置，对待处理图像进行过物体分割处理，得到物体掩膜图，基于物体掩膜图在待处理图像中的位置，从物体掩膜图中确定遮挡物掩膜图，能够在待处理图像中包含至少两个物体时，确定其中的遮挡物，而不是将图像中所有物体视为遮挡物，解决了在人像被遮挡物遮挡一部分时，出现的遮挡物分割空洞或者遮挡物分割丢失的问题，并且提高区分前景和背景的准确性。

在一个实施例中，物体分割模块1004用于对待处理图像进行物体检测处理，获得物体所在区域；基于物体所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到物体图像；对物体图像进行物体分割处理，得到物体掩膜图。

本实施例中的对焦装置，通过物体检测能够检测出物体所在区域，而且通过物体检测能够提高检测出的物体的准确性，进而裁剪出物体图像，则可以从待处理图像中分离出物体图像，方便后续对物体图像的物体分割处理，提高得到的物体掩膜图的准确性。

在一个实施例中，物体分割模块1004用于对待处理图像进行物体检测处理，获得候选物体区域；确定每个候选物体区域所对应的物体类别；获取相同物体类别的候选物体区域之间的区域交并比；确定区域交并比大于交并比阈值的候选物体区域对；保留候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

本实施例中的对焦装置，由于物体检测中可能会出现对同一物体的重复检测，因此相同物体类别的对象所在区域之间的区域交并比如果较大，说明是对同一物体的重复检测，需要保留其中一个对象区域作为物体所在区域，以避免重复检测，提高物体检测的准确性。

在一个实施例中，物体分割模块1004用于获取物体掩膜图中的物体轮廓区域在待处理图像中的第一区域范围；获取人像掩膜图中的人像轮廓区域在待处理图像中的第二区域范围；将与第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

本实施例中的对焦装置，物体轮廓区域即为该物体实际在的区域，人像轮廓区域即为该人像实际所在的区域，如果这两个区域存在交叉，则说明物体遮蔽了人像，则该物体掩膜图即为遮挡物掩膜图，能够从多个物体掩膜图中判断哪个是遮挡物掩膜图，并解决遮挡物分割空洞的问题。

在一个实施例中，人像分割模块1002用于将待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征；将图像特征输入至人像分割模型中的解码器中，得到人像掩膜图。物体分割模块1004用于将图像特征输入至用于物体检测的解码器中，获得物体所在区域。

本实施例中的对焦装置，通过将特征提取后的图像特征分别输入至人像分割模型的解码器以及用于物体检测的解码器中可得到人像掩膜图和物体所在区域，即人像分割模型和物体检测模型共用图像特征，共用同一个编码器，能够减少计算量，提高图像处理效率。

在一个实施例中，物体分割模块1004用于对待处理图像进行物体检测，得到遮挡物所在区域；基于遮挡物所在区域在待处理图像中的位置，在待处理图像中相应位置中裁剪得到遮挡物图像；对遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

本实施例中的对焦装置，当待处理图像中仅包含一个物体，且该物体为遮挡物时，可直接对待处理图像进行物体检测，得到遮挡物所在区域，能够更准确确定得到遮挡物的位置；基于遮挡物所在区域在待处理图像中的位置，裁剪得到遮挡物图像，并进行物体分割处理，能够准确地进行物体分割。

在一个实施例中，消除模块1006用于基于遮挡物轮廓区域在待处理图像中相应的位置，将人像掩膜图中相应的遮挡物区域的像素值设为第二像素值，其中，第二像素值为背景区域的像素值。

本实施例中的对焦装置，通过将人像掩膜图中相应的遮挡物区域的像素值设为第二像素值，能够消除遮挡物对图像的影响，避免对焦到遮挡物上，提高对焦的稳定性。

上述图像处理装置和对焦装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置和对焦装置按照需要划分为不同的模块，以完成上述图像处理装置和对焦装置的全部或部分功能。

关于图像处理装置和对焦装置的具体限定可以参见上文中对于图像处理方法和对焦方法的限定，在此不再赘述。上述图像处理装置和对焦装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图11为一个实施例中电子设备的内部结构示意图。如图11所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的图像处理装置和对焦装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行对焦方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行对焦方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：

对所述待处理图像进行物体分割处理，得到物体掩膜图；

基于所述物体掩膜图在所述待处理图像中的位置，从所述物体掩膜图中确定遮挡物掩膜图。

3.根据权利要求2所述的方法，其特征在于，所述对所述待处理图像进行物体分割处理，得到物体掩膜图，包括：

对所述待处理图像进行物体检测处理，获得物体所在区域；

基于所述物体所在区域在所述待处理图像中的位置，在所述待处理图像中相应位置中裁剪得到物体图像；

对所述物体图像进行物体分割处理，得到物体掩膜图。

4.根据权利要求3所述的方法，其特征在于，所述对所述待处理图像进行物体检测处理，获得物体所在区域，包括：

对所述待处理图像进行物体检测处理，获得候选物体区域；

确定每个所述候选物体区域所对应的物体类别；

获取相同物体类别的候选物体区域之间的区域交并比；

确定区域交并比大于交并比阈值的候选物体区域对；

保留所述候选物体区域对中的其中一个候选物体区域，作为物体所在区域。

5.根据权利要求2所述的方法，其特征在于，所述基于所述物体掩膜图在所述待处理图像中的位置，从所述物体掩膜图中确定遮挡物掩膜图，包括：

获取所述物体掩膜图中的物体轮廓区域在所述待处理图像中的第一区域范围；

获取所述人像掩膜图中的人像轮廓区域在所述待处理图像中的第二区域范围；

将与所述第二区域范围存在交叉范围的第一区域范围所对应的物体掩膜图作为遮挡物掩膜图。

6.根据权利要求2所述的方法，其特征在于，所述对获取的待处理图像进行人像分割处理，得到人像掩膜图，包括：

将所述待处理图像输入至人像分割模型中的编码器中进行特征提取，得到图像特征；

将所述图像特征输入至所述人像分割模型中的解码器中，得到人像掩膜图；

所述对所述待处理图像进行物体检测处理，获得物体所在区域，包括：

将所述图像特征输入至用于物体检测的解码器中，获得物体所在区域。

7.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像进行物体分割处理，得到遮挡物掩膜图，包括：

对所述待处理图像进行物体检测，得到遮挡物所在区域；

基于所述遮挡物所在区域在所述待处理图像中的位置，在所述待处理图像中相应位置中裁剪得到遮挡物图像；

对所述遮挡物图像进行物体分割处理，得到遮挡物掩膜图。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图，包括：

分别获取所述人像掩膜图和所述遮挡物掩膜图中每个像素点坐标的像素值；

当存在像素值中至少一个像素值为第一像素值的第一相同像素点坐标时，将所述第一相同像素点坐标所对应的目标像素值设为所述第一像素值；其中所述第一像素值为人像轮廓区域或者物体轮廓区域的像素值；

当存在像素值均为第二像素值的第二相同像素点坐标时，将所述第二相同像素点坐标所对应的目标像素值设为所述第二像素值；其中，所述第二像素值为背景区域的像素值；

基于每个像素点坐标的目标像素值生成目标掩膜图。

9.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

确定所述目标掩膜图中的背景区域；

基于所述背景区域在所述待处理图像中的位置，对所述待处理图像中的背景区域进行虚化处理，得到目标图像。

10.一种对焦方法，其特征在于，所述方法包括：

对获取的待处理图像进行人像分割处理，得到人像掩膜图；

对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

基于所述目标掩膜图进行对焦。

11.一种图像处理装置，其特征在于，包括：

人像分割模块，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块，用于对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；

掩膜图融合模块，用于基于所述遮挡物掩膜图在所述待处理图像中的位置，将所述遮挡物掩膜图和所述人像掩膜图进行融合，得到目标掩膜图。

12.一种对焦装置，其特征在于，包括：

人像分割模块，用于对获取的待处理图像进行人像分割处理，得到人像掩膜图；

物体分割模块，用于对所述待处理图像进行物体分割处理，得到遮挡物掩膜图；所述遮挡物掩膜图中包括遮挡物轮廓所围成的遮挡物轮廓区域；

消除模块，用于基于所述遮挡物轮廓区域在所述待处理图像中相应的位置，对所述人像掩膜图中相应的遮挡物轮廓区域进行消除处理，得到目标掩膜图；

目标对焦模块，用于基于所述目标掩膜图进行对焦。

13.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的方法的步骤。

Images