CN103871089A - 一种基于融合的图像超像素网格化方法 - Google Patents

Abstract

本发明公开了一种基于融合的图像超像素网格化方法，所述方法包括以下步骤：通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图；通过匈牙利算法设置网格点；根据活动轮廓计算网格点之间边，更新所述软边缘图；对每一个由四个网格点及其之间的边围城的图像区域给定一个对应的标签，由所述标签唯一确定图像区域，即生成网格超像素。本方法降低了计算的数量级，提高了运行速度，网格超像素在物体边缘分割效果好，提高了检测精度，满足实际应用中需要，根据实验结果表明，本发明提出的方法在更短的计算时间下，获得了更准确的检测结果。

Description

一种基于融合的图像超像素网格化方法

技术领域

本发明涉及多媒体信息处理和计算机视觉领域，特别涉及一种基于融合的图像超像素网格化方法，本方法可用于快速准确的进行图像处理、识别与匹配。

背景技术

目前在计算机视觉领域中，在解决图像识别与匹配等问题时，通过计算两幅图像中的一块对应区域内的像素级的特征，来提取两个区域之间的相似性，以此来进行特定物体的识别与匹配。简单的来说，超像素级图像处理，识别与匹配方法是用来在超像素级别上，进行检测两幅图像或多幅图像间的相同物体或相似区域的一种方法。

现有技术中通常在对每一幅图像的一块区域内所有像素的所有颜色通道，来提取区域特征，即区域描述符，通过比较两个区域的特征描述符的相似性，来提取不同图像间最相近的对应区域。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

首先，对于图像中的一块区域，对所有的像素都进行特征提取，计算量非常大；

其次，现有方法对于图像中一块区域的划定，只能是一个矩形区域，这样对于不规则边缘物体进行检测，得到的检测结果较差。

发明内容

本发明提供了一种基于融合的图像超像素网格化方法，本发明降低了计算的复杂度，提高了检测效果，详见下文描述：

一种基于融合的图像超像素网格化方法，所述方法包括以下步骤：

（1）通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图；

（2）通过匈牙利算法设置网格点；

（3）根据活动轮廓计算网格点之间边，更新所述软边缘图；

（4）对每一个由四个网格点及其之间的边围城的图像区域给定一个对应的标签，由所述标签唯一确定图像区域，即生成网格超像素。

所述通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图的操作具体为：

1）采用超像素分割方法分别对输入图像进行超像素分割，得到n个超像素分割结果；

2）对每一个超像素分割结果，提取其图像边缘然后将n个图像边缘累加到一起并进行归一化，生成初始边缘图；

3）计算当前像素点与非零像素点的距离，用最短距离更新当前像素点的像素值，最终生成软边缘图。

所述通过匈牙利算法设置网格点的操作具体为：

定义G={X，I}为二部图，其中X为图模型中对应于图像中的网格点的节点，I为图模型中对应于图像中的像素点的节点，第i个网格点所对应的节点和第j个像素点所对应的节点记之间的权重集合为B_tj={b_tj}，节点之间的权重设为：b_tj=D_u+D_p，D_u为X中第i个网格点设置在图像的第j个像素上，第j个像素是边缘的概率，D_p为第i个网格点和其四邻域之间的距离。

所述根据活动轮廓计算网格点之间边，更新所述软边缘图的操作具体为：

1）沿着一行或一列的网格点提取一个指定大小的带区域；

2）对带区域之内的像素按照四邻域建立图模型，节点间边的权重为：c(i，）=（g(i，j)+g(j，i))⁶，其中

以及

grad_tj(k)为图像在位置k的像素点从位置i到位置j的方向梯度，grad_jt(k)为图像在位置k的像素点从位置j到位置i的方向梯度；

3）对图模型应用最小割算法，获取带区域中的边缘；

4）由若干条边缘组成的图形为更新后边缘图，对更新后边缘图进行距离转换，生成更新后软边缘图，在更新后软边缘图上重新对网格点进行设置；

5）判断对网格点设置的次数是否达到三次，如果是，执行步骤6），如果否，在更新后软边缘图上重新对网格点进行设置；

6）对相邻的网格点之间基于最短路径生成网格点与网格点之间边的最终结果。

本发明提供的技术方案的有益效果是：本发明提出了网格超像素计算方法，与现有技术不同，本发明对多种超像素分割结果进行融合，应用匈牙利算法进行二部图匹配，使得网格点规则地设置在图像边缘上，进而，应用基于图模型的切割的算法进行活动轮廓，最终，对每一块由四个网格点定位的图像区域，给定一个对应的标签。本方法降低了计算的数量级，提高了运行速度，网格超像素在物体边缘分割效果好，提高了检测精度，满足实际应用中需要，根据实验结果表明，本发明提出的方法在更短的计算时间下，获得了更准确的检测结果。

附图说明

图1为基于融合的图像超像素网格方法流程图；

图2为图像超像素网格的计算结果的示意图；

图3a为提取到的带区域的示意图；

图3b为应用最小割算法计算带区域中边缘的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明的目的是针对现有技术在计算复杂度高，以及不能准确定位到物体边缘的不足，提供一套实用的，快速的图像识别与匹配技术，可以使用户快速准确地从多幅图像中计算出物体的识别与匹配的检测结果。

本方法主要包括：超像素融合生成图像边缘图，基于匈牙利算法的网格点设置，基于活动轮廓对网格上边的变形，生成网格超像计算四部分，图1给出了该方法的流程图，该方法包括以下步骤：

101：通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图；

1）超像素分割：例如：采用SLICⁱ、Turboⁱⁱ、SEEDSⁱⁱⁱ和EGS^iv等超像素分割方法（该些方法为本领域技术人员所公知，本方法对超像素分割的步骤不做赘述）分别对输入图像进行超像素分割，得到n个超像素分割结果；

即超像素分割结果的数量等于所采用的超像素分割方法的数量。

2）超像素融合：对每一个超像素分割结果，提取其图像边缘（即提取到n个图像边缘），然后将n个图像边缘累加到一起并进行归一化，生成初始边缘图；

其中，提取图像边缘具体为：对超像素分割结果中不同的超像素边缘进行图像边缘提取，图像边缘提取的结果为二值（即0和1）的边缘图。

3）距离变换：按照如下规则更新边缘图中的每一个像素的值：计算距离该像素点与非零点的中的最短距离，最终生成软边缘图。

102：基于匈牙利算法v的网格点设置；

定义G={X，I}为二部图，其中X为图模型中对应于图像中的网格点的节点，I为图模型中对应于图像中的像素点的节点，第i个网格点所对应的节点和第j个像素点所对应的节点记之间的权重集合为B_tj={b_tj}，节点之间的权重设为：b_tj=D_u+D_P，D_u为X中第i个网格点设置在图像的第j个像素上，第j个像素是边缘的概率，D_p为第i个网格点和其四邻域之间的距离。参见图2，方框的点表示网格点，连接四个网格点之间的边所围成的区域为所对应的一个超像素网格。

103：基于活动轮廓计算网格点之间边，更新软边缘图；

1）沿着一行（或一列）的网格点提取一个指定大小的带区域。

2）对该带区域之内的像素按照四邻域建立图模型，节点间边的权重为：c(i，j)=(g(i，j)+g(j，i))⁶，其中

以及grad_tj(k)为图像在位置k的像素点从位置i到位置j的方向梯度，grad_jt(k)为图像在位置k的像素点从位置j到位置i的方向梯度。

3）对该图模型应用最小割算法，获取带区域中的边缘。

对其他行或列的网格点也进行上述操作，即对每一行或列都获取到对应的边缘，最终获取到若干条边缘。参见图3，图3a是所取出的带区域，图3b是通过最小割算法求得的边缘。

4）由若干条边缘组成的图形为更新后边缘图，对更新后边缘图进行距离转换，生成更新后软边缘图，在更新后软边缘图上重新对网格点进行设置；

5）判断对网格点设置的次数是否达到三次，如果是，执行步骤6），如果否，在更新后软边缘图上重新对网格点进行设置；

6）对相邻的网格点之间基于最短路径生成网格点与网格点之间边的最终结果。

104：生成网格超像素：对每一个由四个网格点及其之间的边围城的图像区域给定一个对应的标签，由该标签唯一确定该图像区域。

该步骤为本领域技术人员所公知，本发明实施例对此不做赘述。

参考文献:

[1].Achanta R S K L A,Shaji A,P F.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274–2282.

[2]Levinshtein A,Stere A,Kutulakos K N,et al.Turbopixels:Fast superpixels using geometric flows[J].PatternAnalysis and Machine Intelligence,IEEE Transactions on,2009,31(12):2290–2297.

[3]Van den BerghM,BoixX,RoigG,et al.SEEDS:superpixels extracted via energy-driven sampling[C].InComputer Vision–ECCV2012,2012:13–26.

[4]Felzenszwalb P F,Huttenlocher D P.Efficient graph-based image segmentation[J].International Journal ofComputer Vision,2004,59(2):167–181.

[5]Kuhn,Harold W."The Hungarian method for the assignment problem."Naval research logisticsquarterly2.1‐2(1955):83-97.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于融合的图像超像素网格化方法，其特征在于，所述方法包括以下步骤：

（1）通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图；

（2）通过匈牙利算法设置网格点；

（3）根据活动轮廓计算网格点之间边，更新所述软边缘图；

（4）对每一个由四个网格点及其之间的边围城的图像区域给定一个对应的标签，由所述标签唯一确定图像区域，即生成网格超像素。

2.根据权利要求1所述的一种基于融合的图像超像素网格化方法，其特征在于，所述通过多种超像素分割方法对输入图像进行分割，获取多种超像素分割结果，再依次进行边缘提取、线性融合和归一化处理，对处理后结果进行距离转换，生成软边缘图的操作具体为：

1）采用超像素分割方法分别对输入图像进行超像素分割，得到n个超像素分割结果；

2）对每一个超像素分割结果，提取其图像边缘然后将n个图像边缘累加到一起并进行归一化，生成初始边缘图；

3）计算当前像素点与非零像素点的距离，用最短距离更新当前像素点的像素值，最终生成软边缘图。

3.根据权利要求1所述的一种基于融合的图像超像素网格化方法，其特征在于，所述通过匈牙利算法设置网格点的操作具体为：

定义G={X，I}为二部图，其中X为图模型中对应于图像中的网格点的节点，I为图模型中对应于图像中的像素点的节点，第i个网格点所对应的节点和第j个像素点所对应的节点记之间的权重集合为B_ij={b_ij}，节点之间的权重设为：b_ij=D_u+D_p，D_u为X中第i个网格点设置在图像的第j个像素上，第j个像素是边缘的概率，D_p为第i个网格点和其四邻域之间的距离。

4.根据权利要求1所述的一种基于融合的图像超像素网格化方法，其特征在于，所述根据活动轮廓计算网格点之间边，更新所述软边缘图的操作具体为：

1）沿着一行或一列的网格点提取一个指定大小的带区域；

2）对带区域之内的像素按照四邻域建立图模型，节点间边的权重为：c(i，j）=（g(i，j)+g(j，i))⁶，其中以及grad_ij(k)为图像在位置k的像素点从位置i到位置j的方向梯度，grad_ji(k)为图像在位置k的像素点从位置j到位置i的方向梯度；

3）对图模型应用最小割算法，获取带区域中的边缘；

4）由若干条边缘组成的图形为更新后边缘图，对更新后边缘图进行距离转换，生成更新后软边缘图，在更新后软边缘图上重新对网格点进行设置；

5）判断对网格点设置的次数是否达到三次，如果是，执行步骤6），如果否，在更新后软边缘图上重新对网格点进行设置；

6）对相邻的网格点之间基于最短路径生成网格点与网格点之间边的最终结果。

Images