CN102270343A - 一种基于Ising图模型的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于Ising图模型的图像分割方法，通过构建图像对应的Ising图模型、Ising图模型对应的对偶图、对偶图对应的扩充对偶图，然后根据Ising图模型的系统总能量计算扩充对偶图的最大权值完美匹配，再根据扩充对偶图的最大权值完美匹配，获取Ising图模型的最小权值割，最终根据最小权值割对应Ising图模型中节点的状态配置获得图像的分割结果，利用简单有效的Ising图模型进行图像分割，不仅计算复杂度低、效率高，而且分割精确度高，同时相比于现有的图像分割算法没有过于严格的条件限制；本发明方法在计算Ising图模型的边的权值能量时，充分利用了Ising图模型中节点的灰度信息或颜色信息或纹理信息，将这些信息作为图像分割的依据，可以达到比较准确的分割结果。

Description

一种基于Ising图模型的图像分割方法

技术领域

本发明涉及一种图像分割技术，尤其是涉及一种基于Ising图模型的图像分割方法。

背景技术

图像分割技术是计算机视觉领域中最基本的也是最重要的内容，准确的分割结果和高效率的处理能够使得图像分割技术在众多领域中有着重要的应用。图像分割主要是提取图像中的目标物体，进而进行图像的编辑，主要的目的是作为视觉处理的基础，以实现高层视觉中目标物体的识别和解释。图像分割具体要做的就是对图像中的每个像素点确定一个标签，这个标签就代表着分割结果，而确定标签的方法直接影响着图像分割结果的好坏。对于图像分割技术的研究一般使用的是概率图模型(图模型)。

图模型已经被成功的应用于很多领域中，涉及的领域有生物信息学、自然语言处理和计算机视觉等。近几年在机器视觉学习领域中，图模型已经成为非常重要的研究工具。在计算机视觉领域中，图模型被应用到图像分割、目标识别、边界检测、图像复原、纹理建模、图匹配、立体重建、数码合成照片和视频分割。在计算机视觉领域中需要处理的大部分问题都可以利用图模型来解决。

图模型包括无向图模型和有向图模型两大类。一般的无向图模型中的推理算法大多是NP-hard问题，而一些特殊性的无向图模型具有非常有效的推理算法。在无向图模型中影响其推理算法的复杂性的因素主要有：无向图模型的结构、能量的构造形式、输出标签的数量等。无向图模型中经典的推理算法有很多，如：变量消元法(VariableElimination)、置信网传播算法(Loopy Belief Propagation)、联合树算法(Junction Treealgorithm)、树结构重赋权值算法(Tree Reweighting)等，变量消元法是无向图模型推理算法中的经典算法；置信网传播算法是常用的近似推理算法，该算法对于树结构更加准确；联合树算法也是其中比较经典的推理算法；树结构重赋权值算法是一个近似的推理算法。上述推理算法适用于图像分割领域，但其推理时间比较长，且效率比较低。

有向图模型中经典的推理算法是图割算法(Graph Cuts)，该图割算法常用于图像分割领域，并且通常基于马尔可夫随机场实现，该图割算法将待处理的能量优化问题的求解转化为在有向图模型中求解最大流问题，由于其在处理复杂的计算机视觉问题中展现出强大的能力，因此其受到计算机视觉领域的重视，但该图割算法的能量函数需要满足submodular条件作为基础。

发明内容

本发明所要解决的技术问题是提供一种计算复杂度低、效率高，且分割结果精确度高的基于Ising图模型的图像分割方法。

本发明解决上述技术问题所采用的技术方案为：一种基于Ising图模型的图像分割方法，其特征在于包括以下步骤：

①对待分割的图像进行归一化预处理；

②构建归一化处理后的图像对应的平面的Ising图模型，记为G(v，ε)，其中，v表示G(v，ε)中的节点，ε表示G(v，ε)中的边，归一化处理后的图像中的像素点与G(v，ε)中的节点一一对应，G(v，ε)中的每个节点有且仅有两种状态，状态值为0或1；

③计算G(v，ε)中所有相邻节点之间的边的权值能量，将G(v，ε)中相邻的第i个节点和第j个节点之间的边的权值能量记为E_ij，E_ij＝a×Disagreement_ij+b，其中，a为负相关系数，a＜0，b为偏置量，b＞0，Disagreement_ij表示G(v，ε)中相邻的第i个节点和第j个节点的差异度，Disagreement_ij＝|feature_i-feature_j|，feature_i表示G(v，ε)中的第i个节点的灰度信息或颜色信息或纹理信息，feature_j表示G(v，ε)中的第j个节点的灰度信息或颜色信息或纹理信息，“||”为绝对值符号，1≤i≤n，1≤j≤n，n表示G(v，ε)中包含的节点的总个数；

④将G(v，ε)中的割边集合定义为C(y)，C(y)＝{(i，j)∈ε:y_i≠y_j}，然后根据C(y)G(v，ε)的系统总能量，E(y)，E(y)＝w(C(y))，其中，(i，j)表示G(v，ε)中的第i个节点与G(v，ε)中的第j个节点之间的边，y表示G(v，ε)中所有节点的状态，y∈{0，1}ⁿ，y_i表示G(v，ε)中的第i个节点的状态值，y_i∈{0，1}，y_j表示G(v，ε)中的第j个节点的状态值，y_j∈{0，1}，w(C(y))表示G(v，ε)中所有割边的权值能量之和；

⑤构建G(v，ε)对应的对偶图，记为G′(v′，ε′)，其中，v′表示G′(v′，ε′)中的节点，ε′表示G′(v′，ε′)中的边，G′(v′，ε′)中的边与G(v，ε)中的边一一对应；再构建G′(v，ε)对应的扩充对偶图，记为G^*(v^*，ε^*)，其中，v^*表示G^*(v^*，ε^*)中的节点，ε^*表示G^*(v^*，ε^*)中的边；

⑥采用blossom-shrinking算法计算G^*(v^*，ε^*)的最大权值完美匹配，再根据G^*(v^*，ε^*)的最大权值完美匹配计算G(v，ε)的最小权值割，G^*(v^*，ε^*)的最大权值完美匹配与G(v，ε)的最小权值割互补；

⑦将G(v，ε)的最小权值割对应的各个节点的状态值作为归一化处理后的图像中与各个节点相对应的各个像素点的标签，将归一化处理后的图像中标签值为0的像素点判定为图像的背景像素点，将归一化处理后的图像中标签值为1的像素点判定为图像的前景像素点。

所述的步骤①的具体过程为：①-1、将待分割的图像中的第m个像素点的灰度值记为gray_m，其中，1≤m≤M，M表示待分割的图像中包含的像素点的总个数；①-2、将归一化处理后的图像中的第m个像素点的灰度值记为gray′_m， ${{\mathrm{gray}}^{\′}}_m=({\mathrm{gray}}_m-{\mathrm{gray}}_{\min })\×\frac{255}{{\mathrm{gray}}_{\max }-{\mathrm{gray}}_{\min }},$ 其中，gray_min表示待分割的图像中的最小灰度值，gray_max表示待分割的图像中的最大灰度值。

所述的步骤③中a的取值范围为[-1/2，-1]，b的取值范围为[14，20]。

所述的步骤⑤中G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)的构建过程为：定义G′(v′，ε′)中当前正在处理的节点为当前节点，然后将当前节点替换为多个节点的全相连，用于替换的节点的数量等于当前节点的度，再将增加的边的权值能量设置为0，得到G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)。

与现有技术相比，本发明的优点在于通过构建图像对应的Ising图模型、Ising图模型对应的对偶图、对偶图对应的扩充对偶图，然后根据Ising图模型的系统总能量计算扩充对偶图的最大权值完美匹配，再根据扩充对偶图的最大权值完美匹配，获取Ising图模型的最小权值割，最终根据最小权值割对应Ising图模型中节点的状态配置获得图像的分割结果，利用简单有效的Ising图模型进行图像分割，不仅计算复杂度低、效率高，而且分割精确度高，同时相比于现有的图像分割算法没有条件限制。本发明方法在构建图像对应的Ising图模型前，先对待分割的图像先进行归一化预处理，可以有效提高图像的分割精确度。本发明方法在计算Ising图模型的边的权值能量时，充分利用了Ising图模型中节点的灰度信息或颜色信息或纹理信息，将这些信息作为图像分割的依据，可以达到比较准确的分割结果。

附图说明

图1为本发明的图像分割方法的流程图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的图像分割方法是基于Ising图模型的，Ising图模型属于无向图模型，其是统计学领域中的一种重要的二元无向图模型，其推理算法一般使用随机算法解决。在Ising图模型中，通常假设每一个节点只有两种状态，状态值为0或1，而且只有相邻的两个节点是相互影响的。

本发明的图像分割方法的流程如图1所示，其主要包括以下步骤：

①对待分割的图像进行归一化预处理，具体过程为：①-1、将待分割的图像中的第m个像素点的灰度值记为gray_m，其中，1≤m≤M，M表示待分割的图像中包含的像素点的总个数；①-2、将归一化处理后的图像中的第m个像素点的灰度值记为gray′_m， ${{\mathrm{gray}}^{\′}}_m=({\mathrm{gray}}_m-{\mathrm{gray}}_{\min })\×\frac{255}{{\mathrm{gray}}_{\max }-{\mathrm{gray}}_{\min }},$ 其中，gray_min表示待分割的图像中的最小灰度值，gray_max表示待分割的图像中的最大灰度值。

②利用现有技术构建归一化处理后的图像对应的平面的Ising图模型，记为G(v，ε)，其中，v表示G(v，ε)中的节点，ε表示G(v，ε)中的边，归一化处理后的图像中的像素点与G(v，ε)中的节点一一对应，G(v，ε)中的每个节点有且仅有两种状态，状态值为0或1，G(v，ε)中的任一节点的状态与该节点的相邻节点的状态相关。

③计算G(v，ε)中所有相邻节点之间的边的权值能量，将G(v，ε)中相邻的第i个节点和第j个节点之间的边的权值能量记为E_ij，E_ij＝a×Disagreement_ij+b，其中，a为负相关系数，a＜0，b为偏置量，b＞0，Disagreement_ij表示G(v，ε)中相邻的第i个节点和第j个节点的差异度，Disagreement_ij＝|feature_i-feature_j|，feature_i表示G(v，ε)中的第i个节点的灰度信息或颜色信息或纹理信息，feature_j表示G(v，ε)中的第j个节点的灰度信息或颜色信息或纹理信息，“||”为绝对值符号，1≤i≤n，1≤j≤n，n表示G(v，ε)中包含的节点的总个数。

在此具体实施例中，a的取值与b的取值相反，即当a的取值越大时，则b的取值应相对小一点，当a的取值越小时，则b的取值应相对大一点。在此，设置a的取值范围为[-1/2，-1]，b的取值范围为[14，20]。

在此具体实施例中，通过将G(v，ε)中的节点(即对应于归一化处理后的图像中的像素点)的灰度信息、纹理信息、颜色信息等作为图像分割的依据，可以达到比较准确的分割结果。G(v，ε)中相邻两个节点的差异度越大，则对应的边的权值能量越小，趋近负值；G(v，ε)中相邻两个节点的差异度越小，则对应的边的权值能量就越大，趋近正值。

④将G(v，ε)中的割边集合定义为C(y)，C(y)＝{(i，j)∈ε:y_i≠yj}，然后根据C(y)G(v，ε)的系统总能量，为E(y)，E(y)＝w(C(y))，其中，(i，j)表示G(v，ε)中的第i个节点与G(v，ε)中的第j个节点之间的边，y表示G(v，ε)中所有节点的状态，y∈{0，1}ⁿ，y_i表示G(v，ε)中的第i个节点的状态值，y_i∈{0，1}，y_j表示G(v，ε)中的第j个节点的状态值，y_j∈{0，1}，w(C(y))表示G(v，ε)中所有割边的权值能量之和。

⑤利用现有技术构建G(v，ε)对应的对偶图，记为G′(v′，ε′)，其中，v′表示G′(v′，ε′)中的节点，ε′表示G′(v′，ε′)中的边，G′(v′，ε′)中的边与G(v，ε)中的边一一对应；再构建G′(v，ε)对应的扩充对偶图，记为G^*(v^*，ε^*)，其中，v^*表示G^*(v^*，ε^*)中的节点，ε^*表示G^*(v^*，ε^*)中的边。

在此具体实施例中，G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)的构建过程为：定义G′(v′，ε′)中当前正在处理的节点为当前节点，然后将当前节点替换为多个节点的全相连，用于替换的节点的数量等于当前节点的度(即与当前节点相关联的边的数目)，再将增加的边的权值能量均设置为0，得到G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)。在此，将增加的边的权值能量均设置为0，目的是为了保证G(v，ε)的系统总能量E(y)恒定不变。

⑥采用blossom-shrinking算法计算G^*(v^*，ε^*)的最大权值完美匹配，再根据G^*(v^*，ε^*)的最大权值完美匹配计算G(v，ε)的最小权值割。

由于w(M′)+E(y)＝∑_(i，j)∈εE_ij，其中，M′表示G^*(v^*，ε^*)的权值完美匹配，w(M′)表示G^*(v^*，ε^*)的权值完美匹配的权值能量之和，即G^*(v^*，ε^*)的权值完美匹配的权值能量之和与G(v，ε)中所有割边的权值能量之和的和是一个恒定不变的正值，因此G^*(v^*，ε^*)的最大权值完美匹配与G(v，ε)的最小权值割是互补的关系。由于G(v，ε)中所有边的集合是确定的，因此可根据G^*(v^*，ε^*)的最大权值完美匹配所对应的G(v，ε)中的边的集合，就可得到G(v，ε)的最小权值割，即G(v，ε)中剩下边的集合，而G(v，ε)的最小权值割在G(v，ε)中对应于G(v，ε)的最小权值能量和。

在此具体实施例中，计算G^*(v^*，ε^*)的最大权值完美匹配采用现有的blossom-shrinking算法，该算法是非常有效的快速算法，利用该算法计算G^*(v^*，ε^*)的最大权值完美匹配的时间复杂度为O(|ε^*|×|v^*|×log|v^*|)。

⑦G(v，ε)的最小权值割求得后，通过图像深度遍历方式确定G(v，ε)的最小权值割对应的各个节点的状态，这些状态对应的就是G(v，ε)的基态能量。将G(v，ε)的最小权值割对应的各个节点的状态值作为归一化处理后的图像中与各个节点相对应的各个像素点的标签，将归一化处理后的图像中标签值为0的像素点判定为图像的背景像素点，将归一化处理后的图像中标签值为1的像素点判定为图像的前景像素点，得到分割结果。

Claims (4)

1.一种基于Ising图模型的图像分割方法，其特征在于包括以下步骤：

①对待分割的图像进行归一化预处理；

②构建归一化处理后的图像对应的平面的Ising图模型，记为G(v，ε)，其中，v表示G(v，ε)中的节点，ε表示G(v，ε)中的边，归一化处理后的图像中的像素点与G(v，ε)中的节点一一对应，G(v，ε)中的每个节点有且仅有两种状态，状态值为0或1；

③计算G(v，ε)中所有相邻节点之间的边的权值能量，将G(v，ε)中相邻的第i个节点和第j个节点之间的边的权值能量记为E_ij，E_ij＝a×Disagreement_ij+b，其中，a为负相关系数，a＜0，b为偏置量，b＞0，Disagreement_ij表示G(v，ε)中相邻的第i个节点和第j个节点的差异度，Disagreement_ij＝|feature_i-feature_j|，feature_i表示G(v，ε)中的第i个节点的灰度信息或颜色信息或纹理信息，feature_j表示G(v，ε)中的第j个节点的灰度信息或颜色信息或纹理信息，“||”为绝对值符号，1≤i≤n，1≤j≤n，n表示G(v，ε)中包含的节点的总个数；

④将G(v，ε)中的割边集合定义为C(y)，C(y)＝{(i，j)∈ε:y_i≠y_j}，然后根据C(y)G(v，ε)的系统总能量，为E(y)，E(y)＝w(C(y))，其中，(i，j)表示G(v，ε)中的第i个节点与G(v，ε)中的第j个节点之间的边，y表示G(v，ε)中所有节点的状态，y∈{0，1}ⁿ，y_i表示G(v，ε)中的第i个节点的状态值，y_i∈{0，1}，y_j表示G(v，ε)中的第j个节点的状态值，y_j∈{0，1}，w(C(y))表示G(v，ε)中所有割边的权值能量之和；

⑤构建G(v，ε)对应的对偶图，记为G′(v′，ε′)，其中，v′表示G′(v′，ε′)中的节点，ε′表示G′(v′，ε′)中的边，G′(v′，ε′)中的边与G(v，ε)中的边一一对应；再构建G′(v，ε)对应的扩充对偶图，记为G^*(v^*，ε^*)，其中，v^*表示G^*(v^*，ε^*)中的节点，ε^*表示G^*(v^*，ε^*)中的边；

⑥采用blossom-shrinking算法计算G^*(v^*，ε^*)的最大权值完美匹配，再根据G^*(v^*，ε^*)的最大权值完美匹配计算G(v，ε)的最小权值割，G^*(v^*，ε^*)的最大权值完美匹配与G(v，ε)的最小权值割互补；

⑦将G(v，ε)的最小权值割对应的各个节点的状态值作为归一化处理后的图像中与各个节点相对应的各个像素点的标签，将归一化处理后的图像中标签值为0的像素点判定为图像的背景像素点，将归一化处理后的图像中标签值为1的像素点判定为图像的前景像素点。

2.根据权利要求1所述的一种基于Ising图模型的图像分割方法，其特征在于所述的步骤①的具体过程为：①-1、将待分割的图像中的第m个像素点的灰度值记为gray_m，其中，1≤m≤M，M表示待分割的图像中包含的像素点的总个数；①-2、将归一化处理后的图像中的第m个像素点的灰度值记为gray′_m， ${{\mathrm{gray}}^{\′}}_m=({\mathrm{gray}}_m-{\mathrm{gray}}_{\min })\×\frac{255}{{\mathrm{gray}}_{\max }-{\mathrm{gray}}_{\min }},$ 其中，gray_min表示待分割的图像中的最小灰度值，gray_max表示待分割的图像中的最大灰度值。

3.根据权利要求1或2所述的一种基于Ising图模型的图像分割方法，其特征在于所述的步骤③中a的取值范围为[-1/2，-1]，b的取值范围为[14，20]。

4.根据权利要求3所述的一种基于Ising图模型的图像分割方法，其特征在于所述的步骤⑤中G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)的构建过程为：定义G′(v′，ε′)中当前正在处理的节点为当前节点，然后将当前节点替换为多个节点的全相连，用于替换的节点的数量等于当前节点的度，再将增加的边的权值能量设置为0，得到G′(v′，ε′)对应的扩充对偶图G^*(v^*，ε^*)。

Images