CN107871321A - 图像分割方法及装置 - Google Patents

Abstract

本发明提供一种图像分割方法及装置，该方法包括：A、获取待分割图像对应的第一分割图像；B、确定当前第一分割图像所需要提取的特征；C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量；D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图；E、遍历所述无向图中的边，合并无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；F、循环执行B‑E共N次，其中，N为大于等于2的预设值。该方法能够极大提升图像分割的精度以及速度。

Description

图像分割方法及装置

技术领域

本发明涉及计算机技术，尤其涉及一种图像分割方法及装置。

背景技术

图像分割被广泛应用于计算机视觉以及图形学问题中。图像分割是指利用特定的算法将一张图像划分成若干个互不相交的子区域，每个子区域内部相似度越高、不同子区域之间差异越大，则分割效果越好。

现有技术中，提出了一种基于图的贪心聚类图像分割算法，在该算法中，首先将需要进行图像分割的原始图像转换成一个无向图，该无向图中的每个顶点为原始图像中的一个像素点，该无向图中的每条边具有一个权重，该权重表示该条边所连接的两个像素点，即两个区域的不相似度。其次，根据无向图中边的权重进行相邻区域的相似度判断及区域合并。

但是，现有技术的算法的精度不高，不能满足多种图像处理场景中对于图像分割精度的要求。

发明内容

本发明实施例提供一种图像分割方法及装置，用于解决现有技术中图像分割精度不高的问题。

本发明实施例第一方面提供一种图像分割方法，该方法包括：

A、获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

B、确定当前第一分割图像所需要提取的特征；

C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

其中，上述每两个相邻区域是指当前第一分割图像中的任意两个相邻区域。

D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

E、遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

F、循环执行B-E共N次，其中，N为大于等于2的预设值。

该方法通过在每次区域合并时根据对本次区域合并作用最大的特征来进行区域合并，能够极大提升图像分割的精度以及速度，另外，通过进行预设的多次的区域合并，可以使得选择作用最大的特征进行区域合并被执行多次，即精度很高的区域合并操作被执行多次，从而保证了整体图像分割的精度。同时，区域合并的次数可以根据所应用的场合进行灵活设置，从而使得该方法可以应用于各种图像分割场景中。

在一种可能的设计中，当第一次执行B时，所述确定当前第一分割图像所需要提取的特征，包括：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

在一种可能的设计中，所述对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，包括：

使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

在一种可能的设计中，当第二次执行B时，所述确定当前第一分割图像所需要提取的特征，包括：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

在一种可能的设计中，所述对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，包括：

确定所述两个相邻区域的边缘以及所述边缘上的像素点；

计算所述边缘上的每个像素点的邻域内的最大梯度值；

计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

在一种可能的设计中，所述获取当前第一分割图像中的每两个相邻区域的特征向量，包括：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

在一种可能的设计中，所述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

使用上述几种特征的一种或多种进行区域合并时，仅在生成特征向量时的过程不同，在计算特征的特征值时需要分别计算各特征的特征值，并将各特征的特征值组合为特征向量，其余步骤与前述的方法相同，此处不再赘述。

本发明实施例第二方面提供一种图像分割装置，包括：

获取模块，用于获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

确定模块，用于确定当前第一分割图像所需要提取的特征；

计算模块，用于对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

构造模块，用于根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

合并模块，用于遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

控制模块，用于控制所述确定模块至所述合并模块的操作被执行N次，其中，N为大于等于2的预设值。

在一种可能的设计中，当所述确定模块第一次执行所对应的操作时，所述确定模块具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

在一种可能的设计中，所述计算模块包括：

第一计算单元，用于使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

组合单元，用于将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

在一种可能的设计中，当所述确定模块第二次执行所对应的操作时，所述确定模块具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

在一种可能的设计中，所述计算模块还包括：

确定单元，用于确定所述两个相邻区域的边缘以及所述边缘上的像素点；

第二计算单元，用于计算所述边缘上的每个像素点的邻域内的最大梯度值；

第三计算单元，用于计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

在一种可能的设计中，所述计算模块还用于：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

在一种可能的设计中，所述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

本发明实施例第三方面提供一种图像分割装置，包括：

存储器和处理器；

所述存储器用于存储程序指令，所述处理器用于调用所述存储器中的程序指令，执行下述方法：

A、获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

B、确定当前第一分割图像所需要提取的特征；

C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

E、遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

F、循环执行B-E共N次，其中，N为大于等于2的预设值。

在一种可能的设计中，所述处理器还用于：当第一次执行B时，确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

在一种可能的设计中，所述处理器还用于：

使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

在一种可能的设计中，所述处理器还用于：

当第二次执行B时，确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

在一种可能的设计中，所述处理器还用于：

确定所述两个相邻区域的边缘以及所述边缘上的像素点；

计算所述边缘上的每个像素点的邻域内的最大梯度值；

计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

在一种可能的设计中，所述处理器还用于：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

在一种可能的设计中，前述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

本发明实施例所提供的方案，相比于现有技术，能够极大提升图像分割的精度和速度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为四邻域和八邻域的示意图；

图2为本发明实施例提供的图像分割方法实施例一的流程示意图；

图3为当前第一分割图像的相邻区域的示例图；

图4为图3所示的分割区域所对应的无向图；

图5为顶点合并之后的无向图；

图6为本发明提供的图像分割方法实施例二的流程示意图；

图7为本发明提供的图像分割方法实施例三的流程示意图；

图8为像素点邻域的示例图；

图9为本发明实施例所提供的图像分割装置实施例一的模块结构图；

图10为本发明实施例所提供的图像分割装置实施例二的模块结构图；

图11为本发明实施例所提供的图像分割装置实施例三的模块结构图；

图12为本发明实施例所提供的图像分割装置实施例一的实体框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图像分割技术可以在多种场景中发挥重要作用，例如，在场景理解中，可以先对图像进行分割，再识别每个区域所属的物体类别，从而实现对整个场景的语义分割；在物体跟踪中，用分割区域的集合表示待跟踪的物体，一定程度上解决遮挡问题，减少跟踪丢失的情况；在显著性物体检测中，在显著度图的基础上通过图像分割可以将显著性物体从场景中提取出来；在拟物性采样中，基于图像分割来优化候选物体的包围框；在双目深度估计中，可以以图像分割的区域为单位进行立体视觉匹配，得到健壮性更强的深度估计，进而辅助移动终端的虚拟现实重建；在3D重构中，基于图像分割分析各区域的法向量等特性，进而估计出地面、墙面等几何结构，用于机器人或无人车的环境感知。

现有技术中广泛使用的一种图像分割算法为基于图的贪心聚类算法，该算法将需要分割的图像先转化成一个无向图。该无向图由顶点集V和边集E组成，可以表示为G＝(V,E)，顶点v∈V，其中，每个v代表一个单独的像素点，连接一对顶点的边(v_i,v_j)∈E，边具有权重w(v_i,v_j)，边的权重的含义为边所连接的两个顶点之间，即两个像素点之间的不相似度。对于两个单独的像素点，用RGB颜色的欧拉距离来衡量两点的相似性，即

该算法的具体执行步骤为：

1、计算每个像素点与其八邻域或四邻域像素点的不相似度，从而得到无向图的每条边权重。图1为四邻域和八邻域的示意图，如图1所示，中心的黑色像素点周围的4个黑色像素点就属于中心的黑色像素点的四邻域，中心的黑色像素点周围的8个像素点(包括4个黑色像素点和4个白色像素点)属于中心的黑色像素点的八邻域。

2、将无向图的所有边按权重升序排列，得到w₁,w₂,...,w_n。

3、选择当前最小的权重w₁。

4、对当前选择的边权重w_i进行判断，如果满足以下条件则合并边两边的两个顶点对应的两个区域：

(1)w_i连接的两个顶点不属于同一个区域；

(2)不相似度w_i不大于连接的两个区域内部的最大不相似度；

5、将合并的两个区域的标签更新为统一的新标签，更新该区域内部的最大不相似度。

6、继续选择下一条边执行步骤(4)，直到遍历完所有的边。

在上述方法中，对于两个像素点之间的不相似性仅通过两个像素点的RGB颜色的欧拉距离来表示，即仅选用RGB颜色特征来表示两个像素点之间的不相似性，因此，通过该方法进行图像分割时精度不高。另外，该方法从图像中的单个像素开始合并，其处理速度较慢，其处理一张图片的时间大约为0.11秒，因此不能满足实时性系统的要求。

本发明实施例基于上述问题，提出一种图像分割方法，该方法首先对待分割图像进行超分割，再对超分割之后的所形成的区域进行预设次数的合并，每次合并中都根据对本次合并作用最大的特征来进行，从而使得图像分割的精度得到大幅提升，同时图像分割的处理速度也有大幅提升。

图2为本发明实施例提供的图像分割方法实施例一的流程示意图，如图1所示，该方法的执行过程为：

S101、获取待分割图像对应的第一分割图像，该第一分割图像为对待分割图像进行超分割后所形成的，该第一分割图像中包括多个区域。

具体地，上述待分割图像就是原始的需要进行分割的图像，当输入一幅待分割图像之后，首先会对待分割图像进行超分割，形成第一分割图像。

其中，超分割是指对一幅图像进行合理的细小分割，进行超分割之后的图像中会包括相邻的多个小区域，这些小区域都具有颜色、形状、纹理等有意义的特征，因此，在这些小区域中可以提取更高级的特征，因此可以作为后续区域合并的基础。并且，进行超分割之后所形成的小区域的数量比图像中像素的数量少，相比于现有技术中的从单个像素开始合并，本发明实施例首先对图像进行超分割，在此基础上再进行区域合并，能够极大提升图像分割的处理速度。因此，本步骤中对图像进行超分割是本发明实施例中后续区域合并的基础。

在一种可选的实施方式中，可以使用简单的线性迭代聚类(SuperpixelsCompared to State-of-the-Art Superpixel Methods，简称SLIC)算法来对待分割图像进行超分割。

S102、确定当前第一分割图像所需要提取的特征。

本发明实施例中会对超分割之后形成的区域执行预设次数的合并，每次合并都以上一次区域合并所形成图像作为输入，每次区域合并都需要执行S102-S105的步骤。

对于经过上述超分割所分割出的区域来说，可能具有各种维度的各种特征，例如，颜色和亮度特征、梯度特征等，而这些特征在不同次的区域合并中的作用并不相同，因此，本步骤中，当进行特定次的区域合并之前，首先获取本次区域合并时重要性最大的特征。

作为一种优选的实施方式，各特征在各次区域合并时的重要性，即权重可以通过训练的方式得到。具体地，在图像数据集上进行训练，在每一次训练时提取包含多种特征的特征向量，用机器学习的方法自动确定每一个特征的权重，特征的权重越大，则说明该特征在本次区域合并中的重要性越大。

举例来说，如果经过训练得出，第一次区域合并时颜色和亮度特征的权重为0.9，其他特征的权重都小于0.1，则说明颜色和亮度特征在第一次区域合并中的作用最大，进而，在第一次区域合并时，就可以仅选择颜色和亮度特征，根据该特征就可以得到精度很高的区域合并结果，而不需要再考虑其他特征；而第二次区域合并时颜色和亮度特征的权重为0.6，梯度特征的权重为0.3，则说明颜色和亮度特征，以及梯度特征在第二次区域合并中的作用最大，进而，在第二次区域合并时，就可以仅选择颜色和亮度特征，以及梯度特征，根据这两种特征就可以得到精度很高的区域合并结果。

本步骤中，通过在每次区域合并前确定在本次区域合并中重要性最大的特征，可以使得每次区域合并时都只根据这些重要性最大的特征来进行合并，而不需要关注其他的特征，从而在保证区域合并的精度的基础上大大节省了区域合并的处理时间。

S103、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，该特征向量为所需要提取的特征的特征值所组成的向量，特征向量中的特征值用于表示两个相邻区域的差异。

其中，当前第一分割图像中的每两个相邻区域是指当前第一分割图像中的任意两个相邻区域。图3为当前第一分割图像的相邻区域的示例图，如图3所示，假设当前第一分割图像中包括A、B、C、D这4个区域，则在这些区域中，区域A和区域B为相邻区域、区域A和区域C为相邻区域、区域B和区域D为相邻区域、区域D和区域C为相邻区域，而本实施例中会对这些所有的相邻区域进行特征提取。

对于两个相邻区域，会对这两个区域进行所需提取的特征的特征值计算。需要说明的是，两个区域的特征表示的是两个区域在各维度上的差异，因此，对两个区域进行所需提取的特征的特征值计算，就需要结合两个区域的各维度值来进行计算。具体的计算方法将在下文进行详细介绍。

当计算出特征值之后，将这些特征值进行组合，形成特征向量，该特征向量会作为后续计算的基础。

S104、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与特征权值的乘积作为无向图中的边的值，其中，该特征向量中的一个特征值对应一个特征权值，该无向图中的一个顶点表示当前第一分割图像中的一个区域。

如上述步骤S102中所述，可以通过训练的方式得到每个特征在每次区域合并中的权值，即特征权值。即，在某次区域合并时，特定的特征都会唯一对应一个特征权值。

图4为图3所示的分割区域所对应的无向图，如图4所示，无向图中的一个顶点代表一个分割区域，其中，区域A和区域B、区域A和区域C、区域B和区域D、区域D和区域C之间各有一条边，代表区域相邻。经过上述步骤S103可知，区域A和区域B之间会计算出一个特征向量，区域A和区域C会计算出一个特征向量，以此类推。

以区域A和区域B为例，本步骤中，会为区域A和区域B之间的边赋予一个值，这个值等于区域A和区域B的特征向量与特征向量中的每个特征值所对应的特征权值的乘积。

S105、遍历无向图中的边，若所遍历到的边的值小于或等于所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并该所遍历到的边所连接的两个顶点，得到合并后的无向图，根据合并后的无向图得到区域合并后的新的第一分割图像。

以图4所示的无向图为例，假设图4中A和B之间的边的值为1，A和C之间的边的值为1.5，B和D之间的边的值为1.3，D和C之间的边的值为2。则，在本步骤中，遍历该无向图中的边，优选地，可以按照边的值递增的顺序遍历无向图的边。首先遍历到A和B之间的边，对于该边，其值为1，而该边所连接的两个顶点A和B所连接的所有边中，边的最大值为1.5，因此，A和B之间的边的值小于A和B所对应的所有边的中最大值，因此，可以将该边所连接的顶点A和B合并，形成图5所示的无向图，图5为顶点合并之后的无向图，如图5所示，当顶点A和B合并之后，顶点A和B原本的边都会作为新的顶点的边。

以此类推，直到遍历完无向图中的所有边，就会形成合并后的无向图。根据无向图中的顶点合并情况，就可以对其所对应的当前第一分割图像进行区域合并，得到新的第一分割图像。

当本步骤完成后，就完成了以此区域合并。

S106、循环执行S102-S105共N次，其中，N为大于等于2的预设值。

每完成一次区域合并，就会形成一些新的区域，相比于前次区域合并，新的以此区域合并完成后所形成的区域的特点也不同于前次区域所形成的区域，因此，本实施例中，会执行多次的区域合并，以使得在每次区域合并中使用该次区域合并所对应的重要性最大的特征，经过多次区域合并之后，就可以得到精度很高的区域合并结果。

本实施例中，通过在每次区域合并时根据对本次区域合并作用最大的特征来进行区域合并，能够极大提升图像分割的精度以及速度，另外，通过进行预设的多次的区域合并，可以使得选择作用最大的特征进行区域合并被执行多次，即精度很高的区域合并操作被执行多次，从而保证了整体图像分割的精度。同时，区域合并的次数可以根据所应用的场合进行灵活设置，从而使得该方法可以应用于各种图像分割场景中。

经过实际试验得出，应用本方法，每秒中可以处理50幅图片，同时，图像分割的精度也比现有技术提升了5倍，因此，进一步验证了本发明实施例所提供的方法能够极大提升图像分割的精度和速度。

在上述实施例的基础上，本实施例涉及第一次执行区域合并时的具体方式。

首先，当第一次执行步骤B时，上述步骤S102具体为：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

具体地，颜色和亮度特征为根据CIELAB颜色空间下的Lab分量所得到的特征，颜色和亮度特征可以通过以下公式得到：

(1)

(2)

(3)

(4)

其中，公式1中，d_l为两个相邻区域的l通道的平均值的差值，具体地，和分别表示个相邻区域中的一个区域，为区域中l通道的平均值，为区域中l通道的平均值。

公式2中，d_a为两个相邻区域的a通道的平均值的差值，具体地，和分别表示两个相邻区域中的一个区域，为区域中a通道的平均值，为区域中a通道的平均值。

公式3中，d_b为两个相邻区域的b通道的平均值的差值，具体地，为区域中b通道的平均值，为区域中b通道的平均值。

公式4，d_c为d_l、d_a、d_b的欧式距离。

在CIELAB颜色空间中，l通道表示亮度，a通道和b通道表示颜色，因此，上述4个公式中，公式1表示了相邻区域的亮度差异，公式2表示了相邻区域的a通道颜色差异，公式3表示了相邻区域的b通道颜色差异，公式4表示了颜色、亮度差异的差异，即公式4表示了两个相邻区域在CIELAB空间上的整体差异。

由上述4个公式构成了颜色和亮度特征，即，颜色和亮度特征可以用来表示两个相邻区域在CIELAB颜色空间中各通道的差异以及在CIELAB颜色空间中的整体差异。

经过训练得出，在第一次进行区域合并时，颜色和亮度特征对于区域合并的作用最大，其权重远远高于其他特征的权重之和，因此，在第一次进行区域合并时，仅需要使用颜色和亮度特征来进行区域合并，就可以达到很高的合并精度。

其次，对第一次区域合并的对应特征进行特征值计算以及生成特征向量。

具体地，图6为本发明提供的图像分割方法实施例二的流程示意图，如图6所示，在上述确定当前第一分割图像所需要提取的特征为颜色和亮度特征基础上，计算两个相邻区域的特征向量的具体方法为：

S201、使用上述公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值。

通过上述4个公式，可以计算出4个值，来表示颜色和亮度特征的特征值。

S202、将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

当计算出4个值之后，将这4个值组合为相邻区域的特征向量，即，相邻区域的特征向量中的元素分别为d_l、d_a、d_b、d_c。

进而，基于该特征向量就可以构造第一次区域合并时的无向图并进行无向图的顶点合并，并得到第一次区域合并后的新的第一分割图像。

在上述实施例的基础上，本实施例涉及第二次区域合并的具体方式。

首先，当第二次执行步骤B时，上述步骤S102具体为：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

具体地，颜色和亮度特征如前所述，此处不再赘述，而区域边缘梯度差值特征表示两个相邻区域的边缘上的像素的梯度的平均值。

经过训练得出，在第二次进行区域合并时，颜色和亮度特征以及区域边缘梯度差值特征对于区域合并的作用最大，二者的权重之和远远高于其他特征的权重之和，因此，在第二次进行区域合并时，仅需要使用颜色和亮度特征以及区域边缘梯度差值特征来进行区域合并，就可以达到很高的区域合并精度。

其次，在第二次区域合并时，在确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征的基础上，需要分别计算这两个特征的特征值，其中，颜色和亮度特征的特征值计算可以参照前述实施例，此处详细描述区域边缘梯度差值特征的特征值计算。

图7为本发明提供的图像分割方法实施例三的流程示意图，如图7所示，对两个相邻区域进行区域边缘梯度差值特征的特征值计算的过程为：

S301、确定两个相邻区域的边缘以及边缘上的像素点。

S302、计算边缘上的每个像素点的邻域内的最大梯度值。

图8为像素点邻域的示例图，如图8所示，对于黑色的像素点P，其周围半径为3(即3个像素点)的区域为该像素点P的邻域。根据实际需要，像素点的邻域半径也可以选择更大或更小。在像素点P的邻域内，计算该邻域的最大梯度值，具体计算邻域内最大梯度值的方法可以参照现有技术。

本步骤中，对于两个相邻区域的边缘上的每个像素点，都会确定其邻域，并且计算其邻域内的最大梯度值。

S303、计算边缘上的像素点的邻域内的最大梯度值的平均值，将该平均值作为两个相邻区域的区域边缘梯度差值特征的特征值。

当计算出两个相邻区域的边缘上的每个像素点的邻域最大梯度之后，求出这些最大梯度的平均值，从而形成区域边缘梯度差值特征的特征值。可知，该特征从梯度的维度来表示两个相邻区域的差异。

进而，在第二次区域合并时，在计算出颜色和亮度特征的特征值以及区域边缘梯度差值特征的特征值的基础上，就可以根据这些特征值来生成特征向量。即，将颜色和亮度特征以及区域边缘梯度差值特征组合为两个相邻区域的特征向量。假设区域边缘梯度差值特征使用d_g表示，则第二次区域合并时相邻区域的特征向量中的元素分别为d_l、d_a、d_b、d_c、d_g。

进而，基于该特征向量就可以构造第二次区域合并时的无向图并进行无向图的顶点合并，并得到第二次区域合并后的新的第一分割图像。

作为优选的方案，第一次区域合并时使用颜色和亮度特征，第二次区域合并时使用颜色和亮度特征，以及区域边缘梯度差值特征。而除了这两个特征之外，图像中的区域差异也可以通过其他维度的特征来表示。可选地，当前第一分割图像所需要提取的特征还可以包括以下特征中的至少一种：

(1)RGB直方图卡方距离特征

(2)梯度直方图卡方距离特征

(3)颜色空间方差特征

(4)深度学习边缘特征

上述几种特征的特征值计算方法分别为：

(1)RGB直方图卡方距离特征

首先，对于两个相邻区域，分别构造其在RGB颜色空间下的RGB直方图，其次，计算两个直方图之间的卡方距离。具体构造RGB直方图以及计算直方图之间卡方距离的方法可以参照现有技术。

(2)梯度直方图卡方距离特征

首先，对于两个相邻区域，分别构造其梯度直方图，其次，计算两个梯度直方图之间的卡方距离。具体构造梯度直方图以及计算直方图之间卡方距离的方法可以参照现有技术。

(3)颜色空间方差特征

假设两个相邻区域和首先求出两个相邻区域的并集R_i ^(l)∪R_j ^(l)，其次，计算其在RGB颜色空间和CIELAB颜色空间的方差。

需要说明的是，RGB颜色空间和CIELAB颜色空间都具有3个通道，因此，在计算这两个颜色空间的方差时，需要分别对RGB的3个通道以及CIELAB的3个通道计算方差，因此，该特征最终可以计算出6个特征值。

(4)深度学习边缘特征

深度学习边缘检测(Holistically-Nested Edge Detection，简称HED)算法是一种边缘检测算法，该算法通过一个同时考虑了全卷积神经网络和深度监督网络的深度学习网络提取边缘特征，通过该算法可以计算出两个相邻区域中沿边缘处的HED极值，将该值作为深度学习边缘特征。

经过训练得出，在进行区域合并时，上述4种特征的权值相比于颜色和亮度特征以及区域边缘梯度差值特征的权值要小很多，但是，如果用户更加注重图像分割的精度，而愿意牺牲一些速度，则可以使用上述这4种特征中的一个或多个作为某一次区域分割时的特征。

举例来说，如果确定某一次区域分割时需要提取的特征为颜色和亮度特征、区域边缘梯度差值特征以及RGB直方图卡方距离特征，假设RGB直方图卡方距离特征使用d_r表示，则在这次区域合并时，会分别计算颜色和亮度特征、区域边缘梯度差值特征以及RGB直方图卡方距离特征的特征值，并将这些特征值组合为特征向量，组合的特征向量中的参数分别为：d_l、d_a、d_b、d_c、d_g。其余处理过程都和前述实施例类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图9为本发明实施例所提供的图像分割装置实施例一的模块结构图，如图9所示，该装置包括：

获取模块501，用于获取待分割图像对应的第一分割图像，该第一分割图像为对待分割图像进行超分割后所形成的，该第一分割图像中包括多个区域。

确定模块502，用于确定当前第一分割图像所需要提取的特征。

计算模块503，用于对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，该特征向量为所需要提取的特征的特征值所组成的向量，该特征向量中的特征值用于表示两个相邻区域的差异。

构造模块504，用于根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与特征权值的乘积作为无向图中的边的值，其中，特征向量中的一个特征值对应一个特征权值，无向图中的一个顶点表示当前第一分割图像中的一个区域。

合并模块505，用于遍历无向图中的边，若所遍历到的边的值小于或等于所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所遍历到的边所连接的两个顶点，得到合并后的无向图，根据合并后的无向图得到区域合并后的新的第一分割图像。

控制模块506，用于控制确定模块502至合并模块505的操作被执行N次，其中，N为大于等于2的预设值。

该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

另一实施例中，当确定模块502第一次执行所对应的操作时，确定模块502具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

图10为本发明实施例所提供的图像分割装置实施例二的模块结构图，如图10所示，计算模块503包括：

第一计算单元5031，用于使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值。

组合单元5032，用于将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

另一实施例中，当确定模块502第二次执行所对应的操作时，确定模块502具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

图11为本发明实施例所提供的图像分割装置实施例三的模块结构图，如图11所示，计算模块503还包括：

确定单元5033，用于确定两个相邻区域的边缘以及边缘上的像素点。

第二计算单元5034，用于计算边缘上的每个像素点的邻域内的最大梯度值。

第三计算单元5035，用于计算边缘上的像素点的邻域内的最大梯度值的平均值，将平均值作为两个相邻区域的区域边缘梯度差值特征的特征值。

另一实施例中，计算模块503还用于：

将上述颜色和亮度特征以及上述区域边缘梯度差值特征组合为两个相邻区域的特征向量。

另一实施例中，上述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

图12为本发明实施例所提供的图像分割装置实施例一的实体框图，如图12所示，该装置包括：

存储器601和处理器602。

存储器601用于存储程序指令，处理器602用于调用存储器601中的程序指令，执行下述方法：

A、获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

B、确定当前第一分割图像所需要提取的特征；

C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

E、遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

F、循环执行B-E共N次，其中，N为大于等于2的预设值。

进一步地，处理器602还用于：

当第一次执行B时，确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

进一步地，处理器602还用于：

使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

进一步地，处理器602还用于：

当第二次执行B时，确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

进一步地，处理器602还用于：

确定所述两个相邻区域的边缘以及所述边缘上的像素点；

计算所述边缘上的每个像素点的邻域内的最大梯度值；

计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

进一步地，处理器602还用于：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种图像分割方法，其特征在于，包括：

A、获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

B、确定当前第一分割图像所需要提取的特征；

C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

E、遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

F、循环执行B-E共N次，其中，N为大于等于2的预设值。

2.根据权利要求1所述的方法，其特征在于，当第一次执行B时，所述确定当前第一分割图像所需要提取的特征，包括：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

3.根据权利要求2所述的方法，其特征在于，所述对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，包括：

使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

4.根据权利要求1所述的方法，其特征在于，当第二次执行B时，所述确定当前第一分割图像所需要提取的特征，包括：

确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

5.根据权利要求4所述的方法，其特征在于，所述对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，包括：

确定所述两个相邻区域的边缘以及所述边缘上的像素点；

计算所述边缘上的每个像素点的邻域内的最大梯度值；

计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

6.根据权利要求5所述的方法，其特征在于，所述获取当前第一分割图像中的每两个相邻区域的特征向量，包括：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

8.一种图像分割装置，其特征在于，包括：

获取模块，用于获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

确定模块，用于确定当前第一分割图像所需要提取的特征；

计算模块，用于对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

构造模块，用于根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

合并模块，用于遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

控制模块，用于控制所述确定模块至所述合并模块的操作被执行N次，其中，N为大于等于2的预设值。

9.根据权利要求8所述的装置，其特征在于，当所述确定模块第一次执行所对应的操作时，所述确定模块具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征。

10.根据权利要求9所述的装置，其特征在于，所述计算模块包括：

第一计算单元，用于使用公式 以及计算当前第一分割图像中两个相邻区域的颜色和亮度特征的特征值，其中，和分别表示两个相邻区域中的一个区域，d_l为两个相邻区域的l通道的平均值的差值，d_a为两个相邻区域的a通道的平均值的差值，d_b为两个相邻区域的b通道的平均值的差值，d_c为dl、da、db的欧式距离，为区域中l通道的平均值，为区域中l通道的平均值，为区域中a通道的平均值，为区域中a通道的平均值，为区域中b通道的平均值，为区域中b通道的平均值；

组合单元，用于将d_l、d_a、d_b、d_c组合为当前第一分割图像中两个相邻区域的特征向量。

11.根据权利要求8所述的装置，其特征在于，当所述确定模块第二次执行所对应的操作时，所述确定模块具体用于：确定当前第一分割图像所需要提取的特征为颜色和亮度特征以及区域边缘梯度差值特征。

12.根据权利要求11所述的装置，其特征在于，所述计算模块还包括：

确定单元，用于确定所述两个相邻区域的边缘以及所述边缘上的像素点；

第二计算单元，用于计算所述边缘上的每个像素点的邻域内的最大梯度值；

第三计算单元，用于计算所述边缘上的像素点的邻域内的最大梯度值的平均值，将所述平均值作为所述两个相邻区域的区域边缘梯度差值特征的特征值。

13.根据权利要求12所述的装置，其特征在于，所述计算模块还用于：

将所述颜色和亮度特征以及所述区域边缘梯度差值特征组合为所述两个相邻区域的特征向量。

14.根据权利要求8-13任一项所述的装置，其特征在于，所述当前第一分割图像所需要提取的特征还包括RGB直方图卡方距离特征、梯度直方图卡方距离特征、颜色空间方差特征以及深度学习边缘特征中的至少一种。

15.一种图像分割装置，其特征在于，包括：

存储器和处理器；

所述存储器用于存储程序指令，所述处理器用于调用所述存储器中的程序指令，执行下述方法：

A、获取待分割图像对应的第一分割图像，所述第一分割图像为对所述待分割图像进行超分割后所形成的，所述第一分割图像中包括多个区域；

B、确定当前第一分割图像所需要提取的特征；

C、对当前第一分割图像中的每两个相邻区域进行所需要提取的特征的特征值计算，并按照预设算法获取当前第一分割图像中的每两个相邻区域的特征向量，所述特征向量为所需要提取的特征的特征值所组成的向量，所述特征向量中的特征值用于表示两个相邻区域的差异；

D、根据当前第一分割图像中的每两个相邻区域的特征向量以及预设的特征权值，构造无向图，并且将所述无向图中的边所连接的两个顶点所对应的两个相邻区域的特征向量与所述特征权值的乘积作为所述无向图中的边的值，其中，所述特征向量中的一个特征值对应一个特征权值，所述无向图中的一个顶点表示当前第一分割图像中的一个区域；

E、遍历所述无向图中的边，若所遍历到的边的值小于或等于所述所遍历到的边所连接的两个顶点所对应边的值中的最大值，则合并所述所遍历到的边所连接的两个顶点，得到合并后的无向图，根据所述合并后的无向图得到区域合并后的新的第一分割图像；

F、循环执行B-E共N次，其中，N为大于等于2的预设值。