CN108305258A - 一种基于最小生成树的超像素分割方法、系统及存储设备 - Google Patents

Abstract

本发明提供了一种基于最小生成树的超像素分割方法、系统及存储设备，包括，获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，得到最小生成树；将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并获取最终的区域分割。与现有技术相比，基于最小生成树的超像素分割方法，具有分割速度快，分割精度高，获取超像素分割区域规则等特点。

Description

一种基于最小生成树的超像素分割方法、系统及存储设备

技术领域

本发明涉及一种基于最小生成树的超像素分割方法、系统及存储设备，涉及图像处理领域。

背景技术

语义图像分割的目的是将图像划分为一系列特定的局部区域，使得区域的边界能够定位到图像中语义对象的边界。由于其分割结果具有抗噪性能强，区域语义感知一致性，边界贴合度高等特性，被广泛用作多媒体数据内容挖掘与理解的关键步骤。现有的超像素分割方法可大致分为两个类别：基于聚类的方法及基于图的方法。基于聚类的方法初始化种子点到规则网格，并将超像素分割问题建模为像素聚类的问题，比如，基于简单线性迭代聚类(SLIC)、线性谱聚类(LSC)、简单非迭代聚类(SNIC)等方法。尽管该类方法获得了较好的运行速度及区域紧致性，但生成的超像素区域并不能很好的贴合对象的边界。特别是针对具有精细结构的对象，这些方法基于规则网格来生成种子点，稀疏超像素下很难定位到对象的精细结构区域，因而造成了高的欠分割误差。基于图的方法将图像像素表达为图结构，构建并优化能量函数以获得图的区域分割，比如，有效图割(FH)、熵率超像素(ERS)、层次超像素(SH)。然而传统的图节点的表达忽略了像素间的空间位置关系，容易生成不规则边界的超像素区域。

发明内容

本发明提供了一种基于最小生成树的超像素分割方法、系统及存储设备，具有分割速度快，分割精度高，获取超像素分割区域规则等特点。

根据本发明采用的一种高效的基于最小生成树的超像素分割方法，包括：

构建无向加权图：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

构造最小生成树：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

获取区域分割：将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

所述方法还包括：对最小生成树的边权值排序，并依次获取e_i作为候选割边，若满足约束条件并降低了能量函数，则e_i被加入到割边集合中；否则继续获取下一候选割边；循环直到生成子树达到超像素个数。

所述方法还包括：构建无向加权图时，获取图像的边缘谱信息。

根据本发明采用的一种基于最小生成树的超像素分割系统，包括，

无向加权图构建模块：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

最小生成树构造模块：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

区域分割获取模块：将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

根据本发明采用的一种存储设备，包括多个指令，所述指令适于处理器加载并执行：

获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

重复(1)到(5)的内容，得到最小生成树；(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

所述指令还包括适于处理器加载并执行：

对最小生成树的边权值排序，并依次获取e_i作为候选割边，判断是否满足约束条件并降低了能量函数，如果是，则e_i被加入到割边集合中；如果否，则继续获取下一候选割边；循环直到生成子树达到超像素个数。

与现有技术相比，本发明的有益效果是：基于最小生成树的超像素分割方法，具有分割速度快，分割精度高，获取超像素分割区域规则等特点。

附图说明

图1为本发明其中一实施例构建的无向加权图。

图2为基于图1所示实施例构造的最小生成树。

图3为基于图2所示实施例割边搜索过的规则超像素。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

一种基于最小生成树的超像素分割方法，包括：

构建无向加权图：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

构造最小生成树：在本发明的一个具体实施例中，基于无向加权图G＝(V,E,W)，采用基于边收缩的最小生成树方法：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

获取区域分割：将获取的最小生成树结构划分为一系列最小生成森林；这些构成森林的子树形成了不连通的超像素集合；为了保证超像素区域的规则性，对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

所述方法还包括：在本发明的一个具体实施例中，通过贪婪算法，对最小生成树的边权值排序，并依次获取e_i作为候选割边，若满足约束条件并降低了能量函数，则e_i被加入到割边集合中；否则继续获取下一候选割边；循环直到生成子树达到超像素个数。

所述方法还包括：构建无向加权图时，获取图像的边缘谱信息。

作为本发明的一个实施例，如图1所示为构建无向加权图；图2为构造最小生成树；图3为割边搜索过的规则超像素，即获取区域分割，在图3的一个实施例中：(1)初始化割边集合(2)对于排序边依次搜索(3)若E(C∪y_i)＜E(C)，并且满足约束(4)将y_i添加到割边结合中，即C←C∪y_i；(5)更新每颗子树的节点能量；重复(2)到(5)，直至达到超像素个数。

根据本发明采用的一种基于最小生成树的超像素分割系统，包括，

无向加权图构建模块：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

最小生成树构造模块：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

区域分割获取模块：将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

根据本发明采用的一种存储设备，包括多个指令，所述指令适于处理器加载并执行：

获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

重复(1)到(5)的内容，得到最小生成树；(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

所述指令还包括适于处理器加载并执行：

对最小生成树的边权值排序，并依次获取e_i作为候选割边，判断是否满足约束条件并降低了能量函数，如果是，则e_i被加入到割边集合中；如果否，则继续获取下一候选割边；循环直到生成子树达到超像素个数。

Claims (6)

1.一种高效的基于最小生成树的超像素分割方法，包括：

构建无向加权图：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

构造最小生成树：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

获取区域分割：将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

2.根据权利要求1所述的超像素分割方法，所述方法还包括：对最小生成树的边权值排序，并依次获取e_i作为候选割边，若满足约束条件并降低了能量函数，则e_i被加入到割边集合中；否则继续获取下一候选割边；循环直到生成子树达到超像素个数。

3.根据权利要求1或2所述的超像素分割方法，所述方法还包括：构建无向加权图时，获取图像的边缘谱信息。

4.一种基于最小生成树的超像素分割系统，其特征在于：包括，

无向加权图构建模块：获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

最小生成树构造模块：

(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；

重复(1)到(5)的内容，得到最小生成树；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

区域分割获取模块：将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

5.一种存储设备，包括多个指令，所述指令适于处理器加载并执行：

获取图像的边缘谱信息，并结合图像像素的颜色信息，构建无向加权图G＝(V,E,W)以表达四邻域的像素邻接关系；其中，V为顶点集，表示图像像素集合；E为边集合，表示像素之间的邻域关系；W为边权重，描述两像素之间的差异性；

重复(1)到(5)的内容，得到最小生成树；(1)根据无向加权图G＝(V,E,W)，对应节点V＝{A,B,...,G}以及不同的边权重，记录每个节点的初始标签l(e)；(2)记录每个节点v_k对应的最小邻接边e_k，并将对应的初始标签添加到最小生成树的边集合中，即T←T∪{l(e₁),...,l(e_n)}；(3)记录每个节点对应连通分量的根节点标签；(4)移除环及平行边，仅保留最小权重平行边；(5)融合每个连通分量为单个超顶点，并更新所述无向加权图结构；其中，n为大于等于1的自然数，k∈{1,2,…,n}；

将获取的最小生成树结构划分为一系列最小生成森林；对所述最小生成森林加入规则性约束并定义能量函数获取最终的区域分割；

其中，β_u,v为边权重，I为指示函数，L为节点的可能标签空间集合；L^|V|为所有图节点可能标签空间；α∈[0.5,1]为尺度因子，用来控制生成子树的节点个数与目标超像素面积的比例；N为总的像素个数；l为节点的可能标签；u,v∈E表示无向加权图结构的任意一条边。

6.根据权利要求5所述的存储设备，所述指令还包括适于处理器加载并执行：

对最小生成树的边权值排序，并依次获取e_i作为候选割边，判断是否满足约束条件并降低了能量函数，如果是，则e_i被加入到割边集合中；如果否，则继续获取下一候选割边；循环直到生成子树达到超像素个数。