CN109325954A - 图像分割方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种图像分割方法、装置及电子设备，涉及图像处理技术领域。本发明实施例所提供的图像分割方法、装置及电子设备，将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。该方法可以使分割得到的目标对象区域边缘更加清晰和平滑，提高图像分割的精度。

Description

图像分割方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像分割方法、装置及电子设备。

背景技术

图像分割是指将图像中的目标对象区域与背景区域进行分割。例如，将图像中的人物区域与背景区域分割，提取出图像中的人物与另一背景相结合，可以替换图像中的背景，生成新的图像。

现有的图像分割方法一般通过神经网络先将一幅图像进行编码，然后进行解码得到分割结果。通过该方法得到的目标对象区域的边缘不精确，因此图像分割的效果不佳。

发明内容

有鉴于此，本发明的目的在于提供一种图像分割方法、装置及电子设备，可以提高图像分割的精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种图像分割方法，包括：

将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；

将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；

将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；

获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；

根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，获取所述待处理图像的边缘图像的步骤，包括：

采用边缘检测算法确定所述待处理图像中目标对象区域的边界区域，得到所述待处理图像的边缘图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，获取所述待处理图像的边缘图像的步骤，包括：

将所述第一级联图像输入边缘网络，得到所述待处理图像的边缘图像。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果的步骤，包括：

将所述精分割图像与所述边缘图像进行级联，生成第二级联图像；

将所述第二级联图像作为所述待处理图像的分割结果。

结合第一方面或第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果的步骤，包括：

将所述精分割图像与所述边缘图像进行级联，生成第二级联图像；

将所述第二级联图像输入第三分割网络，得到所述待处理图像的分割结果。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述第一分割网络、第二分割网络、边缘网络或第三分割网络采用全卷积神经网络。

结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述全卷积神经网络包括编码层和解码层；所述编码层将输入图像编码生成特征图，所述解码层对所述特征图进行解码得到输出图像；所述输出图像与所述输入图像大小相同。

结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述编码层包括一个或多个带孔卷积层和至少一个池化层。

结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，所述多个带孔卷积层的卷积核的膨胀系数不同。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述将待处理图像输入第一分割网络的步骤之前，所述方法还包括：

获取训练图像样本集；所述训练图像样本集包括训练图像和每张训练图像对应的第一标注图像；所述第一标注图像为标注了目标对象区域和背景区域的二值图像；

采用所述训练图像样本集对网络模型进行训练；所述网络模型至少包括以下网络之一：第一分割网络、第二分割网络、边缘网络、第三分割网络。

结合第一方面的第九种可能的实施方式，本发明实施例提供了第一方面的第十种可能的实施方式，其中，采用所述训练图像样本集对第一分割网络进行训练的步骤，包括：

从所述训练图像样本集中随机选取训练图像，通过所述第一分割网络，获取所述训练图像对应的初级分割图像；

根据所述训练图像对应的第一标注图像，通过第一损失函数对所述训练图像对应的初级分割图像进行准确度检验，得到第一损失函数值；

基于所述第一损失函数值对所述第一分割网络的参数进行训练，得到训练好的第一分割网络。

结合第一方面的第十种可能的实施方式，本发明实施例提供了第一方面的第十一种可能的实施方式，其中，采用所述训练图像样本集对第二分割网络进行训练的步骤，包括：

将训练好的第一分割网络的参数作为第二分割网络的参数的初始值；

将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入第二分割网络，得到所述训练图像对应的精分割图像；

根据所述训练图像对应的第一标注图像，通过第二损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第二损失函数值；

基于所述第二损失函数值对所述第二分割网络的参数进行训练，得到训练好的第二分割网络；

采用所述训练图像样本集对边缘网络进行训练的步骤，包括：

将训练好的第一分割网络的参数作为边缘网络的参数的初始值；

将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入边缘网络，得到所述训练图像对应的边缘图像；

采用边缘检测算法确定所述训练图像中目标对象区域的边界区域，得到所述训练图像对应的第二标注图像；

根据所述训练图像对应的第二标注图像，通过第三损失函数对所述训练图像对应的边缘图像进行准确度检验，得到第三损失函数值；

基于所述第三损失函数值对所述边缘网络的参数进行训练，得到训练好的边缘网络。

结合第一方面的第十一种可能的实施方式，本发明实施例提供了第一方面的第十二种可能的实施方式，其中，采用所述训练图像样本集对第三分割网络进行训练的步骤，包括：

将训练好的第二分割网络的参数作为第三分割网络的参数的初始值；

将所述训练图像对应的精分割图像与所述训练图像对应的边缘图像进行级联，输入第三分割网络，得到所述训练图像对应的分割结果；

根据所述训练图像对应的第一标注图像，通过第四损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第四损失函数值；

基于所述第四损失函数值对所述第三分割网络的参数进行训练，得到训练好的第三分割网络。

第二方面，本发明实施例还提供一种图像分割装置，包括：

第一分割模块，用于将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；

图像级联模块，用于将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；

第二分割模块，将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；

边缘确定模块，用于获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；

第三分割模块，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述的方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例所提供的图像分割方法、装置及电子设备，先通过第一分割网络得到待处理图像的初级分割图像，再通过第二分割网络得到待处理图像的精分割图像；获取待处理图像的边缘图像；根据精分割图像和边缘图像，获取待处理图像的分割结果。该方法可以使分割得到的目标对象区域边缘更加清晰和平滑，提高图像分割的精度。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种电子设备的结构示意图；

图2示出了本发明实施例所提供的一种图像分割方法的流程图；

图3示出了本发明实施例所提供的另一种图像分割方法的流程图；

图4示出了本发明实施例所提供的带孔卷积层的卷积核的示意图；

图5示出了本发明实施例的初级分割图像与传统方法得到的分割结果的对比图；

图6示出了本发明实施例的不同网络输出的图像的示意图；

图7示出了本发明实施例所提供的一种图像分割装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像分割方法的示例电子设备100。该示例电子设备100可以是计算机，也可以是智能手机、平板电脑、相机等移动终端，还可以是计算机或服务器等其它设备。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的图像分割功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种图像等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储器104中以供其它组件使用。

实施例二：

由于现有的图像分割方法得到的目标对象区域的边缘不精确，图像分割的效果不佳，为了提高图像分割的精度，本实施例首先提供了一种图像分割方法。该图像分割方法可以用于将待处理图像中的人像与背景进行分割，也可以用于将其它目标对象(如动植物或指定物品等)与背景进行分割。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。

图2示出了本发明实施例所提供的一种图像分割方法流程图，如图2所示，该方法包括如下步骤：

步骤S202，将待处理图像输入第一分割网络，得到待处理图像的初级分割图像。

在本发明实施例中，待处理图像为用于进行物体检测和图像分割的图像。在一个示例中，待处理图像可以是图像采集装置(如摄像头)实时采集的图像。在其他示例中，待处理图像也可以为预先存储的来自任何源的图像。待处理图像可以是图片格式的图像，也可以是视频图像。本发明实施例不作限制。待处理图像中包含有目标对象。所述目标对象包括但不限于人像、动物、植物或其它指定物品。目标对象还可以是人像的一部分(如头部)、动物的一部分或植物的一部分。

第一分割网络用于将待处理图像中的目标对象区域与背景区域进行初级分割(或称为粗分割)，得到待处理图像的初级分割图像。初级分割图像为二值图像，在初级分割图像中，目标对象区域的像素点的像素值为255，背景区域的像素点的像素值为0；也可以相反地，目标对象区域的像素点的像素值为0，背景区域的像素点的像素值为255。

可选地，第一分割网络可以采用预先训练好的全卷积神经网络(Fullyconvolutional neuron networks，FCN)。全卷积神经网络包括编码层和解码层。其中，编码层用于将输入的待处理图像进行编码，生成待处理图像的特征图。解码层用于对上述特征图进行解码后输出初级分割图像。初级分割图像与待处理图像的大小相同。

步骤S204，将初级分割图像与待处理图像进行级联，生成第一级联图像。

一般情况下，待处理图像为一幅彩色图像，由红色、绿色、蓝色三个通道组成。待处理图像经第一分割网络后，得到的初级分割图像为单通道(该单通道可以称为亮度通道)的二值图像。两个图像的级联(concat)指将待处理图像的三个通道的信号值与初级分割图像的单通道的信号值进行组合，生成四通道的第一级联图像。第一级联图像中既携带有待处理图像的特征信息，也携带有第一分割网络输出的初级分割图像的特征信息。

步骤S206，将第一级联图像输入第二分割网络，得到待处理图像的精分割图像。

第二分割网络用于根据第一级联图像，对待处理图像中的目标对象区域与背景区域进行二次分割(称为细分割)，得到待处理图像的精分割图像。精分割图像也是一个二值图像。第二分割网络可以采用与第一分割网络相同或相近的网络结构。

由于第二分割网络在第一分割网络输出的初级分割图像的基础上进行二次分割，并且第二分割网络的参数由于第一分割网络，因此，第二分割网络输出的精分割图像的效果优于第一分割网络输出的初级分割图像。例如，在目标对象区域的边缘，初级分割图像可能会存在一些像素值大于0而小于255的像素点，使目标对象区域的边缘存在模糊区域，因而不够清晰，在精分割图像中，目标对象区域的边缘存在的模糊区域很小，或者不存在模糊区域。

步骤S208，获取待处理图像的边缘图像。

其中，边缘图像标示出了待处理图像中目标对象区域与背景区域之间的过渡区域。边缘图像也可以是一个二值图像，在边缘图像中，可以将目标对象区域与背景区域之间的过渡区域的像素点的像素值设定为255，而图像其它区域的像素点的像素值设定为0。

在一种可选的实施例中，可以通过边缘检测算法直接对待处理图像进行处理，确定待处理图像中目标对象区域的边界区域(该边界区域即目标对象区域与背景区域之间的过渡区域)；或者通过边缘检测算法对第一级联图像进行处理，确定待处理图像中目标对象区域的边界区域。例如，可以采用Canny边缘检测算法对待处理图像或第一级联图像进行处理。Canny边缘检测算法是由John Canny提出的，因此称为Canny边缘检测算法。Canny边缘检测算法可以较准确地捕获图像中的边界区域，错误率很低。

采用Canny边缘检测算法确定待处理图像中目标对象区域的边界区域，包括如下步骤，为了方便描述，在介绍Canny边缘检测算法的步骤时，将待处理图像和第一级联图像统一为图像进行描述。

步骤一：使用高斯滤波器平滑图像，滤除噪声，以减少噪声引起的边缘错误检测。

步骤二：计算图像中各个像素点的梯度强度和方向。

图像中的边缘可以指向各个方向，Canny边缘检测算法使用四个边缘检测算子来检测图像中的水平、垂直和对角边缘。边缘检测算子可以返回水平Gx和垂直Gy方向的一阶导数值，由此可以确定各个像素点的梯度强度和方向。

步骤三：应用非极大值(Non-Maximum Suppression)抑制消除边缘检测带来的杂散响应。

非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，得到的梯度图像中，目标对象区域的边界仍然很模糊。非极大值抑制可以将局部最大值之外的所有梯度强度抑制为0，对梯度图像中每个像素点进行非极大值抑制的算法是：将当前像素点的梯度强度与沿正负梯度方向上的两个像素点进行比较；如果当前像素点的梯度强度与另外两个像素点相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。

步骤四：应用双阈值(Double-Threshold)检测来区分强边缘像素点和弱边缘像素点。

在施加非极大值抑制之后，剩余的像素点可以更准确地表示图像中的实际边缘。但仍然存在由于噪声和颜色变化引起的一些伪边缘像素点。为了解决这些杂散响应，必须用弱梯度强度过滤伪边缘像素点，并保留具有高梯度强度的边缘像素点，可以通过选择高低阈值来实现。如果边缘像素点的梯度强度高于高阈值，则将其标记为强边缘像素点；如果边缘像素点的梯度强度小于高阈值并且大于低阈值，则将其标记为弱边缘像素点；如果边缘像素点的梯度强度小于低阈值，则会被抑制。

步骤五：通过抑制孤立的弱边缘像素点最终完成边缘检测。

被划分为强边缘像素点可以被确定为目标对象的边缘。然而对于弱边缘像素点，这些像素点可能是从真实边缘提取的，也可能是因噪声或颜色变化引起的。为了获得准确的结果，应该抑制由后者引起的弱边缘像素点。通常，由真实边缘引起的弱边缘像素点将连接到强边缘像素点，而噪声响应未连接至。为了跟踪边缘连接，通过查看弱边缘像素点及其8个邻域的像素点，只要其中一个为强边缘像素点，则该弱边缘像素点就可以保留为真实的边缘，从而确定图像中目标对象区域的边界区域，获取待处理图像的边缘图像。

在另一种可选的实施例中，可以将第一级联图像输入边缘网络，得到待处理图像的边缘图像。边缘网络为预先经过训练的神经网络，边缘网络也可以采用全卷积神经网络实现。

需要说明的是，步骤S208与步骤S206的顺序可以调换。

步骤S210，根据精分割图像和边缘图像，获取待处理图像的分割结果。

精分割图像已经标记出了待处理图像的目标对象区域和背景区域，边缘图像更清晰地标记了待处理图像中目标对象区域的边界区域，结合精分割图像和边缘图像的标记结果，可以得到待处理图像的分割结果。该分割结果仍可以为二值图像，其精度高于初级分割图像和精分割图像。

上述图像分割方法，先通过第一分割网络得到待处理图像的初级分割图像，再通过第二分割网络得到待处理图像的精分割图像；获取待处理图像的边缘图像；根据精分割图像和边缘图像，获取待处理图像的分割结果。该方法多次对待处理图像的目标对象区域和背景区域进行分割，将每次分割的结果相结合，得到最终的分割结果，可以使分割得到的目标对象区域边缘更加清晰和平滑，提高图像分割的精度。

实施例三：

本实施例在上述实施例二的基础上，提供了另一种可以较好的将目标对象区域与背景区域进行分割的图像分割方法。如图3所示，该方法包括如下步骤：

步骤S302，将待处理图像输入第一分割网络，得到待处理图像的初级分割图像。

第一分割网络用于将待处理图像中的目标对象区域与背景区域进行初级分割，得到待处理图像的初级分割图像。可选地，第一分割网络可以采用全卷积神经网络。全卷积神经网络包括编码层和解码层。编码层用于将输入的待处理图像进行编码，生成待处理图像的特征图。解码层用于对上述特征图进行解码后输出初级分割图像。编码层和解码层的数量可以是一个，也可以是多个。

示例性地，全卷积神经网络可以由卷积神经网络(convolutional neuronnetworks，CNN)转化得到。CNN网络一般包括卷积层、池化层和全连接层，将CNN网络中的全连接层转化为卷积层，即可得到全卷积神经网络。得到的全卷积神经网络包括至少一个卷积层和至少一个全连接层，示例性地，卷积层和全连接层可以间隔设置，即相邻的全连接层之间可以设置一个或多个卷积层。一个卷积层和一个全连接层组成一个编码层，或者，多个卷积层和一个全连接层组成一个编码层。由于编码层输出的特征图的尺寸小于输入的待处理图像，特征图输入解码层后，解码层将特征图放大，输出大小与待处理图像相同的初级分割图像。解码层也可称为上采样层(upsampling)，通过上采样将特征图放大。示例性地，上采样层可以采用反卷积层实现。

考虑到待处理图像经全卷积神经网络的编码层后，得到的特征图的尺寸可能远远小于输入的待处理图像，如特征图的尺寸可能会缩小到待处理图像的1/32。特征图中的特征往往为高维特征，图像的很多细节和语义信息可能会丢失，为了改善这一问题，在本发明实施例中，一部分或所有的卷积层可以采用带孔卷积层。带孔卷积层的卷积核可以理解为在原有卷积核中间隔地设置空洞，或者理解为在原有卷积核中增加零元素，达到扩大卷积核，增大卷积层的感受野的目的。示例性地，图4所示为一个带孔卷积层的卷积核的示意图，该卷积核为一个3*3的卷积核，原卷积核的尺寸为3*3，在原卷积核的相邻元素之间设置一个空洞(或增加一个零元素)，同时在左边第一列元素的左侧、右边第一列元素的右侧、第一行元素的上方和最后一行元素的下方也设置空洞，则该卷积核的覆盖面积扩大为图4所示的7*7，与原卷积核相比，增大了卷积层的感受野。在进行卷积计算时，只有图4中标记的9个点对应的元素与卷积核发生卷积操作，其余的点略过，也可以理解为卷积核的尺寸扩大为7*7，但只有9个点的权重不为0，其余点的权重均为0。

如图4所示，在卷积核的相邻元素之间增加一个零元素，该卷积核的膨胀系数为2。如果在卷积核的相邻元素之间增加三个零元素，则卷积核的膨胀系数为4。依次类推，如果在卷积核的相邻元素之间增加N个零元素，则卷积核的膨胀系数为(N+1)。卷积核的膨胀系数不同，则对应的带孔卷积层的感受野也不相同。带孔卷积层的感受野的尺度与卷积核的膨胀系数成正比。

为了提升全卷积神经网络在不同尺度下对输入图像的描述能力，多个带孔卷积层的卷积核的膨胀系数可以不同。需要说明的是，具有相同膨胀系数的卷积核的带孔卷积层可以有多个或仅有一个。通过不同尺度的带孔卷积层对输入图像进行编码，可以获得高维特征的进一步扩展，将不同尺度的带孔卷积输出的编码结果相加，可以提升全卷积神经网络在不同尺度下对输入图像的描述能力。

例如，全卷积神经网络的一种可实现方式为：全卷积神经网络包括第一带孔卷积层、第一池化层、第二带孔卷积层、第二池化层、第三带孔卷积层、第三池化层以及第一解码层和第二解码层。其中，第一带孔卷积层、第二带孔卷积层和第三带孔卷积层的卷积核的膨胀系数各不相同。待处理图像经第一带孔卷积层和第一池化层，输出第一特征提取结果；第一特征图经第二带孔卷积层和第二池化层，输出第二特征提取结果；第二特征图经第三带孔卷积层和第三池化层，输出第三特征提取结果；将第一特征提取结果、第二特征提取结果和第三特征提取结果通过加法器相加后，得到待处理图像的特征图。待处理图像的特征图顺次经过第一解码层和第二解码层解码后，得到待处理图像的初级分割图像。

全卷积神经网络的另一种可实现方式为：全卷积神经网络包括第一卷积层、第一带孔卷积层、第二带孔卷积层、第三带孔卷积层、第一池化层、以及第一反卷积层。其中，第一带孔卷积层、第二带孔卷积层和第三带孔卷积层的卷积核的膨胀系数各不相同。待处理图像经第一卷积层，得到第一卷积结果；第一卷积结果经第一带孔卷积层，得到第二卷积结果；第二卷积结果经第二带孔卷积层，得到第三卷积结果；第三卷积结果经第三带孔卷积层，得到第四卷积结果；将第一卷积结果、第二卷积结果、第三卷积结果和第三卷积结果通过加法器相加后，输入第一池化层，得到待处理图像的特征图。待处理图像的特征图经过第一反卷积层，得到待处理图像的初级分割图像。

图5中(a)为待处理图像，在这幅待处理图像中，目标对象为人像，采用传统的图像分割方法对待处理图像进行处理，得到的分割结果如图5中(b)所示。采用本实施例提供的第一分割网络对待处理图像进行处理，得到的初级分割图像如图5中(c)所示，由此可见，本发明实施例采用的网络结构，可以大幅度提高图像分割的效果。

步骤S304，将初级分割图像与待处理图像进行级联，生成第一级联图像。

可以通过通道级联的方式实现初级分割图像与待处理图像的级联。

步骤S306，将第一级联图像输入第二分割网络，得到待处理图像的精分割图像。

第二分割网络用于根据第一级联图像，对待处理图像中的目标对象区域与背景区域进行二次分割，得到待处理图像的精分割图像。精分割图像也是一个二值图像。第二分割网络可以采用与第一分割网络相同或相近的网络结构，例如，第二分割网络也采用全卷积神经网络实现，且也可以包括带孔卷积层。全卷积神经网络的结构可以参照上述对第一分割网络的描述，在此不再赘述。

步骤S308，将第一级联图像输入边缘网络，得到待处理图像的边缘图像。

边缘网络用于根据第一级联图像，确定待处理图像中目标对象区域与背景区域相接的边界区域，得到待处理图像的边缘图像。边缘图像也可以是一个二值图像，边缘图像增强了目标对象区域的边缘的梯度，可以使最终的分割结果变得平滑。可选地，在边缘图像中，目标对象区域与背景区域相接的边界区域的像素点的像素值为255，图像其它区域的像素点的像素值为0；或者，目标对象区域与背景区域相接的边界区域的像素点的像素值为0，图像其它区域的像素点的像素值为255。边缘网络可以采用与第一分割网络相同或相近的网络结构，例如，边缘网络也可以采用预先训练好的全卷积神经网络实现，且也可以包括带孔卷积层。边缘网络的训练过程将在下文中详细描述。

需要说明的是，步骤S308与步骤S306的顺序可以调换。

步骤S310，将精分割图像与边缘图像进行级联，生成第二级联图像。

精分割图像与边缘图像的级联也可以通过通道级联的方式实现。例如，精分割图像是单通道的二值图像，边缘图像也是单通道的二值图像。将精分割图像的单通道的信号值与边缘图像的单通道的信号值进行组合，生成两通道的第二级联图像。第二级联图像保留了目标对象区域内部的语义信息，同时对目标对象区域的边缘进行了增强。

步骤S312，将第二级联图像输入第三分割网络，得到待处理图像的分割结果。

第三分割网络用于最后的调优，进一步提高分割结果的精度和准确度。同样，第三分割网络可以采用与第一分割网络或第二分割网络相同或相近的网络结构。例如，第三分割网络也可以采用预先训练好的全卷积神经网络实现，且也可以包括带孔卷积层。

本发明实施例提供的图像分割方法，可以适用于将图像中的任意目标对象与背景进行分割，当用于对人像与背景进行分割时，其优势更加明显。人像分割往往要求精度较高，如打光，虚化等场景时，稍微的边缘误差都会带来非常明显的错误。由于人像的语义信息往往非常复杂，因此传统的图像分割法在进行人像分割时往往效果很差，不能满足实际要求。例如，由于人的衣服和人像的形态变化多样，不同人像之间的类内距离很大；由于人的胳膊颜色和衣服颜色往往差异较大，统一肤色的胳膊与多样化的衣服往往被认为不同类，常常会出现胳膊被误分割的现象；在人像与背景的级联中，背景中往往也会出现布料，同色的物体等，使得分类空间的维度变得更高，增加了图像分割的难度。本发明实施例提供的图像分割方法，采用多个分割网络，能够学习到更多的人像语义信息，可以将多样化的衣服和统一肤色的胳膊分到同一类中，有效提高图像分割的精度。

如图6所示，图6中(a)为待处理图像，(b)为采用本发明实施例的图像分割方法获取的边缘图像，(c)为采用本发明实施例的图像分割方法获取的精分割图像，(d)为采用本发明实施例的图像分割方法获取的最终的分割结果，(e)为人工对待处理图像进行标注得到的结果。可以看出，

图6中(c)所示的精分割图像虽已与人工标注的结果很相近，但仍有个别位置存在误差，而经过第三分割网络后输出的最终分割结果效果更好，与人工标注的结果十分接近。

为了使上述第一分割网络、第二分割网络、边缘网络和第三分割网络可以直接应用于对待处理图像进行图像分割，输出较为准确可靠的结果，需要事先对第一分割网络、第二分割网络、边缘网络和第三分割网络进行训练。训练过程包括：获取训练图像样本集；训练图像样本集中包含大量训练图像以及每张训练图像对应的第一标注图像。所述第一标注图像为标注了目标对象区域和背景区域的二值图像。采用所述训练图像样本集对网络模型进行训练；该网络模型至少包括以下网络之一：第一分割网络、第二分割网络、边缘网络、第三分割网络。其中，第一分割网络、第二分割网络、边缘网络和第三分割网络可以单独进行训练。

第一分割网络、第二分割网络、边缘网络和第三分割网络可以进行多层的训练，过程包括：从训练图像样本集中随机选取训练图像，通过第一分割网络，获取训练图像对应的初级分割图像；根据训练图像对应的第一标注图像，通过第一损失函数对训练图像对应的初级分割图像进行准确度检验，得到第一损失函数值；基于第一损失函数值对第一分割网络的参数进行训练，得到训练好的第一分割网络。例如，基于第一损失函数值，通过反向传播算法对第一分割网络的参数进行训练。直至第一损失函数值收敛至第一预设值，将第一损失函数值收敛至第一预设值时对应的参数作为训练好的第一分割网络的参数。

将训练好的第一分割网络的参数作为第二分割网络的参数的初始值；将训练图像对应的初级分割图像与所述训练图像进行级联，输入第二分割网络，得到训练图像对应的精分割图像；根据训练图像对应的第一标注图像，通过第二损失函数对训练图像对应的精分割图像进行准确度检验，得到第二损失函数值；基于第二损失函数值对第二分割网络的参数进行训练，得到训练好的第二分割网络。例如，基于第二损失函数值，通过反向传播算法对第二分割网络的参数进行训练。直至第二损失函数值收敛至第二预设值，将第二损失函数值收敛至第二预设值时对应的参数作为训练好的第二分割网络的参数。

将训练好的第一分割网络的参数作为边缘网络的参数的初始值；将训练图像对应的初级分割图像与训练图像进行级联，输入边缘网络，得到训练图像对应的边缘图像；采用边缘检测算法(如上述的Canny边缘检测算法)确定训练图像中目标对象区域的边界区域，得到训练图像对应的第二标注图像；根据训练图像对应的第二标注图像，通过第三损失函数对训练图像对应的边缘图像进行准确度检验，得到第三损失函数值；基于第三损失函数值对边缘网络的参数进行训练，得到训练好的边缘网络。例如，基于第三损失函数值，通过反向传播算法对边缘网络的参数进行训练。直至第三损失函数值收敛至第三预设值，将第三损失函数值收敛至第三预设值时对应的参数作为训练好的边缘网络的参数。

将训练好的第二分割网络的参数作为第三分割网络的参数的初始值；将训练图像对应的精分割图像与训练图像对应的边缘图像进行级联，输入第三分割网络，得到训练图像对应的分割结果；根据训练图像对应的第一标注图像，通过第四损失函数对训练图像对应的精分割图像进行准确度检验，得到第四损失函数值；基于第四损失函数值对第三分割网络的参数进行训练，得到训练好的第三分割网络。例如，基于第四损失函数值，通过反向传播算法对第三分割网络的参数进行训练。直至第四损失函数值收敛至第四预设值，将第四损失函数值收敛至第四预设值时对应的参数作为训练好的第三分割网络的参数。

通过上述的多层训练方法得到的网络模型，可以获得更优的图像分割效果，进一步提高图像分割的精度。

实施例四：

对应于实施例二或实施例三中所提供的图像分割方法，本实施例提供了一种图像分割装置。图7示出了本发明实施例所提供的一种图像分割装置的结构示意图，如图7所示，该装置包括以下模块：

第一分割模块71，用于将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；

图像级联模块72，用于将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；

第二分割模块73，将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；

边缘确定模块74，用于获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；

第三分割模块75，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。

其中，边缘确定模块74还可以用于：采用边缘检测算法确定所述待处理图像中目标对象区域的边界区域，得到所述待处理图像的边缘图像；或者用于：将所述第一级联图像输入边缘网络，得到所述待处理图像的边缘图像。

第三分割模块75还可以用于：将所述精分割图像与所述边缘图像进行级联，生成第二级联图像；将所述第二级联图像输入第三分割网络，得到所述待处理图像的分割结果。

其中，所述第一分割网络、第二分割网络、边缘网络或第三分割网络采用全卷积神经网络。所述全卷积神经网络包括编码层和解码层；所述编码层将输入图像编码生成特征图，所述解码层对所述特征图进行解码得到输出图像；所述输出图像与所述输入图像大小相同。所述编码层包括一个或多个带孔卷积层和至少一个池化层。所述多个带孔卷积层的卷积核的膨胀系数不同。

进一步地，图像分割装置还可以包括训练模块。训练模块与第一分割模块71连接，用于获取训练图像样本集；所述训练图像样本集包括训练图像和每张训练图像对应的第一标注图像；所述第一标注图像为标注出目标对象区域和背景区域的二值图像；采用所述训练图像样本集对网络模型进行训练；所述网络模型至少包括以下网络之一：第一分割网络、第二分割网络、边缘网络、第三分割网络。

训练模块还可以用于：从所述训练图像样本集中随机选取训练图像，通过所述第一分割网络，获取所述训练图像对应的初级分割图像；根据所述训练图像对应的第一标注图像，通过第一损失函数对所述训练图像对应的初级分割图像进行准确度检验，得到第一损失函数值；基于所述第一损失函数值对所述第一分割网络的参数进行训练，得到训练好的第一分割网络。

训练模块还可以用于：将训练好的第一分割网络的参数作为第二分割网络的参数的初始值；将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入第二分割网络，得到所述训练图像对应的精分割图像；根据所述训练图像对应的第一标注图像，通过第二损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第二损失函数值；基于所述第二损失函数值对所述第二分割网络的参数进行训练，得到训练好的第二分割网络。

训练模块还可以用于：将训练好的第一分割网络的参数作为边缘网络的参数的初始值；将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入边缘网络，得到所述训练图像对应的边缘图像；采用边缘检测算法确定所述训练图像中目标对象区域的边界区域，得到所述训练图像对应的第二标注图像；根据所述训练图像对应的第二标注图像，通过第三损失函数对所述训练图像对应的边缘图像进行准确度检验，得到第三损失函数值；基于所述第三损失函数值对所述边缘网络的参数进行训练，得到训练好的边缘网络。

训练模块还可以用于：将训练好的第二分割网络的参数作为第三分割网络的参数的初始值；

将所述训练图像对应的精分割图像与所述训练图像对应的边缘图像进行级联，输入第三分割网络，得到所述训练图像对应的分割结果；

根据所述训练图像对应的第一标注图像，通过第四损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第四损失函数值；

基于所述第四损失函数值对所述第三分割网络的参数进行训练，得到训练好的第三分割网络。

本发明实施例所提供的图像分割装置，先通过第一分割网络得到待处理图像的初级分割图像，再通过第二分割网络得到待处理图像的精分割图像；获取待处理图像的边缘图像；根据精分割图像和边缘图像，获取待处理图像的分割结果。该方法多次对待处理图像的目标对象区域和背景区域进行分割，将每次分割的结果相结合，得到最终的分割结果，可以使分割得到的目标对象区域边缘更加清晰和平滑，提高图像分割的精度。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

此外，本发明实施例提供了一种电子设备，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述方法实施例提供的方法的步骤。

进一步地，本发明实施例还提供了一种图像分割方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (15)

1.一种图像分割方法，其特征在于，包括：

将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；

将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；

将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；

获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；

根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。

2.根据权利要求1所述的方法，其特征在于，获取所述待处理图像的边缘图像的步骤，包括：

采用边缘检测算法确定所述待处理图像中目标对象区域的边界区域，得到所述待处理图像的边缘图像。

3.根据权利要求1所述的方法，其特征在于，获取所述待处理图像的边缘图像的步骤，包括：

将所述第一级联图像输入边缘网络，得到所述待处理图像的边缘图像。

4.根据权利要求1或3所述的方法，其特征在于，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果的步骤，包括：

将所述精分割图像与所述边缘图像进行级联，生成第二级联图像；

将所述第二级联图像输入第三分割网络，得到所述待处理图像的分割结果。

5.根据权利要求4所述的方法，其特征在于，所述第一分割网络、所述第二分割网络、所述边缘网络或所述第三分割网络采用全卷积神经网络。

6.根据权利要求5所述的方法，其特征在于，所述全卷积神经网络包括编码层和解码层；所述编码层将输入图像编码生成特征图，所述解码层对所述特征图进行解码得到输出图像；所述输出图像与所述输入图像大小相同。

7.根据权利要求6所述的方法，其特征在于，所述编码层包括一个或多个带孔卷积层和至少一个池化层。

8.根据权利要求7所述的方法，其特征在于，所述多个带孔卷积层的卷积核的膨胀系数不同。

9.根据权利要求4所述的方法，其特征在于，所述将待处理图像输入第一分割网络的步骤之前，所述方法还包括：

获取训练图像样本集；所述训练图像样本集包括训练图像和每张训练图像对应的第一标注图像；所述第一标注图像为标注出目标对象区域和背景区域的二值图像；

采用所述训练图像样本集对网络模型进行训练；所述网络模型至少包括以下网络之一：第一分割网络、第二分割网络、边缘网络、第三分割网络。

10.根据权利要求9所述的方法，其特征在于，采用所述训练图像样本集对第一分割网络进行训练的步骤，包括：

从所述训练图像样本集中随机选取训练图像，通过所述第一分割网络，获取所述训练图像对应的初级分割图像；

根据所述训练图像对应的第一标注图像，通过第一损失函数对所述训练图像对应的初级分割图像进行准确度检验，得到第一损失函数值；

基于所述第一损失函数值对所述第一分割网络的参数进行训练，得到训练好的第一分割网络。

11.根据权利要求10所述的方法，其特征在于，采用所述训练图像样本集对第二分割网络进行训练的步骤，包括：

将训练好的第一分割网络的参数作为第二分割网络的参数的初始值；

将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入第二分割网络，得到所述训练图像对应的精分割图像；

根据所述训练图像对应的第一标注图像，通过第二损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第二损失函数值；

基于所述第二损失函数值对所述第二分割网络的参数进行训练，得到训练好的第二分割网络；

采用所述训练图像样本集对边缘网络进行训练的步骤，包括：

将训练好的第一分割网络的参数作为边缘网络的参数的初始值；

将所述训练图像对应的初级分割图像与所述训练图像进行级联，输入边缘网络，得到所述训练图像对应的边缘图像；

采用边缘检测算法确定所述训练图像中目标对象区域的边界区域，得到所述训练图像对应的第二标注图像；

根据所述训练图像对应的第二标注图像，通过第三损失函数对所述训练图像对应的边缘图像进行准确度检验，得到第三损失函数值；

基于所述第三损失函数值对所述边缘网络的参数进行训练，得到训练好的边缘网络。

12.根据权利要求11所述的方法，其特征在于，采用所述训练图像样本集对第三分割网络进行训练的步骤，包括：

将训练好的第二分割网络的参数作为第三分割网络的参数的初始值；

将所述训练图像对应的精分割图像与所述训练图像对应的边缘图像进行级联，输入第三分割网络，得到所述训练图像对应的分割结果；

根据所述训练图像对应的第一标注图像，通过第四损失函数对所述训练图像对应的精分割图像进行准确度检验，得到第四损失函数值；

基于所述第四损失函数值对所述第三分割网络的参数进行训练，得到训练好的第三分割网络。

13.一种图像分割装置，其特征在于，包括：

第一分割模块，用于将待处理图像输入第一分割网络，得到所述待处理图像的初级分割图像；

图像级联模块，用于将所述初级分割图像与所述待处理图像进行级联，生成第一级联图像；

第二分割模块，将所述第一级联图像输入第二分割网络，得到所述待处理图像的精分割图像；

边缘确定模块，用于获取所述待处理图像的边缘图像；所述边缘图像标示出所述待处理图像中目标对象区域与背景区域之间的过渡区域；

第三分割模块，根据所述精分割图像和所述边缘图像，获取所述待处理图像的分割结果。

14.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1～12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1～12中任一项所述的方法的步骤。