CN106447681A - 一种非均一严重运动退化图像的对象分割方法 - Google Patents

Abstract

一种非均一严重运动退化图像的对象分割方法，使用均值漂移算法为退化图像创建超像素，计算超像素的复合特征，接着使用一种多路背景搜索的算法，结合超像素复合特征，从初始背景超像素开始扩张，获得背景超像素集，最后从图像中分割出部分模糊的对象。本发明采用背景反推对象的方法，比直接在对象上选取种子的方式更方便，准确性更高，且能有效避免因为一般模糊参数计算无法贴近自然轮廓的问题；使用种子搜索的方式，克服了一般模糊图像分割严重依赖模糊计算结果的缺点。

Description

一种非均一严重运动退化图像的对象分割方法

技术领域

本发明涉及计算机视觉、图像处理等技术领域，尤其是非均一严重运动退化图像的对象分割方法。

背景技术

目前，解决运动退化图像对象分割的常用方法有RCC、Edges、Mcg等方法，存在的技术缺陷：精度较低，存在严重依赖模糊计算结果的缺点以及严重依赖局部窗口的边缘溢出或者说无法贴近自然轮廓的问题。

发明内容

为了克服现有的退化图像对象分割方法的精度较低、存在严重依赖模糊计算结果的缺点以及严重依赖局部窗口的边缘溢出或者说无法贴近自然轮廓的问题的不足，本发明提供了一种非均一严重运动退化图像的对象分割方法。构建了一种超像素级的模糊链接度与模糊方向估计方法，同时根据超像素的形态，对超像素进行了分类，为最终的分割提供分割条件。并且在已构建的超像素节点网络关系基础上，提出了一种多路背景搜索的算法来选择超像素，分割出部分模糊对象。

本发明解决其技术问题所采用的技术方案是：

一种非均一严重运动退化图像的对象分割方法，所述分割方法包括如下步骤：

1)、利用mean-shift算法对退化图像进行过分割处理，生成初始超像素s₁,s₂,s₃…s_i，获得超像素集S＝{s₁,s₂,s₃…s_i}；对于同一对象，它可能被分成不同的超像素块，但是不同对象肯定不在同一超像素内；

2)、为每个超像素建立索引，存储超像素的相关信息，将该超像素名称、超像素所有像素点信息、聚类中心点坐标、聚类半径、与该超像素相邻的所有超像素标签、与各个相邻超像素的边界像素点信息录入该超像素的表格；

3)、计算模糊链接度，公式如下：

此处k₁为距离衰退因子，k₂为梯度权重；

表示像素p₁,p₂的衰退度，而表示像素p₁,p₂的模糊链接度；

d_r,d_c分别表示当前两个像素的x,y坐标的距离差，G表示像素的灰度值；

在已获取的超像素边缘上计算模糊链接度来代表两个超像素s_a和s_b之间的模糊链接度

p_i,p_j均属于超像素s_a与s_b相交边界上的点；

n表示该边界上点的个数i≠j,且p_i,p_j相邻；

N为满足以上关系的像素级模糊链接度数目。

4)、运动方向估计，采用局部自相关一致性来描述运动退化的方向，在一个以点p(x,y)为中心的局部窗口w(3x3)内，局部自相关函数计算方式如下，

上式替换为，

其中，

求取矩阵M，计算M的特征值，较小的特征值所对应的特征向量即为长轴的方向，视它为窗口中心点的运动方向，并将其按比例映射为0～180度之间的角；

然后使用非极大值抑制的方法将每个像素的方向处理成等距分布的值；

在超像素内统计各像素点的运动方向，以众数来代表超像素整体的运动方向。

SP_d＝D(N_max) (4.5)

其中，SP_d表示该超像素的运动方向，D表示取方向，N_max表示该超像素内各向上运动方向的众数；

计算完成后，将模糊链接度和运动方向，也录入超像素对应的表格，模糊链接度和运动方向共同组成了超像素的复合特征；

5)、种子初始化，此种子将应用于后续的背景搜索，将所有毗邻图像边界的超像素添加进S_ini作为背景的种子；

6)、提取超像素的特征，运用背景搜索策略来获取所有背景超像素，按如下步骤进行：

其中，S_c是当前作为种子的超像素，为S_c第i个相邻的超像素；CO为超像素的运动方向，FC_i(S_c)表示S_c与的模糊链接度；表示相交边界上的点与 中心的平均距离；R(S)为相交边界占总边界S的比例；

步骤6.1：对于S_ini中的每一个超像素，都将它添加进S_e，然后按顺序搜索它邻近的超像素，并选出符合条件(6.1)和(6.2)的超像素，

FC_i(S_c)＞t₁(6.2)

将其设置为S_c并添加进超像素集S_e，执行步骤6.2；

步骤6.2：对于S_c,搜索与其相邻的超像素，如果其中一个超像素满足条件

FC_i(S_c)＞|t₂*FC_l| (6.3)

其中，FC_l是前一次使用的FC_i(S_c)，r是的半径

将该满足条件的超像素设置为S_c并添加进超像素集S_e执行步骤6.3；

步骤6.3：递归步骤6.2，直到S_c的所有邻近超像素都属于S_e或者超像素不满足添加进入S_e的条件。

完成所有步骤后，选取下一个种子继续搜索，直到种子全部搜索完毕；

7)、对整个图像进行求取最大连通域操作，以排除S_tiny，S_tiny为实际背景中符合循环终止条件而被排除在S_e之外的超像素的集合，得到最终的前景超像素集S_f，S_f＝S-S_e-S_tiny，S为所有超像素的集和，S_e为步骤6得到的背景超像素集。

本发明的技术构思为：非均一严重运动退化图像的对象分割，首先通过预分割，将对象分割问题转换成了一个对象超像素的选择问题，并计算超像素级的复合特征，最后通过背景搜索策略，将图像分割为前景与背景。相比于现有技术的方法，非均一严重运动退化图像的对象分割方法，精度较高，避免了一般模糊图像分割方法严重依赖模糊计算结果的缺点以及一般模糊参数计算严重依赖局部窗口的边缘溢出或者说无法贴近自然轮廓的问题。

本发明的有益效果主要表现在：采用背景反推对象的方法，比直接在对象上选取种子更方便，且具有更高准确性；利用超像素预分割边缘作为我们的分割轮廓，有效避免因为一般模糊参数计算严重依赖局部窗口而导致的边缘溢出或者说无法贴近自然轮廓的问题；使用种子搜索的方式，也避免了一般模糊图像分割严重依赖模糊计算结果的缺点。

附图说明

图1是超像素初始化结果示意图。每个S代表一个超像素，图像由i个超像素组成。

图2是超像素间的邻接关系示意图。

图3是超像素相交边界示意图(局部图)，其中，像素集T₁＝{p_a,p_b,p_c...p_p}属于超像素S₁₂，T₂＝{p_q,p_r,p_s...p₁,p₂...p₆}属于超像素S₁₃。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图3，一种非均一严重运动退化图像的对象分割方法，包括如下步骤：

1)、利用mean-shift算法对退化图像进行过分割处理，生成初始的超像素。获得超像素集S＝{s₁,s₂,s₃…s_i}，如图1。

2)、为每个超像素建立索引，存储超像素的相关信息。将该超像素名称、超像素所有像素点信息、聚类中心点坐标、聚类半径、与该超像素相邻的所有超像素名称、与各个相邻超像素的边界像素点信息录入该超像素的表格。以图2的S₈为例，它的相邻超像素有S₅、S₆、S₇、S₉。图3中，像素集T₁＝{p_a,p_b,p_c...p_p}是S₁₃边界中与S₁₄相邻的部分，T₂＝{p_q,p_r,p_s...p₁,p₂...p₆}是S₁₄边界中与S₁₃相邻的部分。T₁与T₂共同组成像素集T₃＝{p_a,p_b,p_c...p_z,p₁,p₂...p₆}，作为超像素S₁₃与S₁₄的相邻边界，分别录入超像素S₁₃与S₁₄的表格中。

3)、计算模糊链接度。模糊链接度是一种常用于医学图像处理的分割方法，其根据像素的值和距离反映图像中两个像素点的紧密度，并以此作为分割依据。

此处k₁＝0.1(距离衰退银子)，k₂＝2(梯度权重)；

表示像素p₁,p₂的衰退度，而表示像素p₁,p₂的模糊链接度；

d_r,d_c分别表示当前两个像素的x,y坐标的距离差，G表示像素的灰度值。

对于超像素，我们已经获取了超像素两两间的边界信息。在已获取的边缘上计算模糊链接度来代表两个超像素直接的模糊链接度。

p_i,p_j均属于超像素s_a与s_b相交边界上的点；

n表示该边界上点的个数i≠j,且p_i,p_j相邻；

N为满足以上关系的像素级模糊链接度数目。

如图3所示，超像素S₁₂与S₁₃的边界为像素集T₃＝{p_a,p_b,p_c...p_z,p₁,p₂...p₆}，

N为T₃中相邻像素对的数量。

4)、运动方向估计。相比于背景，前景对象尽管也会有不同程度的部分模糊。但从对象整体来看，清晰部分明显与退化的背景有着退化度上的不一致；而退化的那部分，往往因对象自身也存在局部运动而导致运动模糊的方向与背景不一致。当我们从超像素层面来考虑的时候，会发现这个现象极其明显，同一个超像素内部的各像素点有着几乎一致的运动方向。

我们采用局部自相关一致性来描述运动退化的方向。在一个以点p(x,y)为中心的局部窗口w(3x3)内，其局部自相关函数计算方式如下，

上式可替换为，

其中，

求取矩阵M，计算M的特征值，较小的特征值所对应的特征向量即为长轴的方向，我们视它为窗口中心点的运动方向，并将其按比例映射为0～180度之间的角。

然后使用非极大值抑制的方法将每个像素的方向处理成等距分布的值{0,22.5,45,67.5,90,112.5,135,157.5}。

在超像素内统计各像素点的运动方向，以众数来代表超像素整体的运动方向。

SP_d＝D(N_max) (4.4)

其中，SP_d表示该超像素的运动方向，D表示取方向，N_max表示该超像素内各向上运动方向的众数；

计算完成后，将模糊链接度和运动方向，也录入超像素对应的表格。模糊链接度和运动方向共同组成了超像素的复合特征。

5)、种子初始化，此种子将应用于后续的背景搜索。将毗邻图像边界的超像素添加进S_ini,作为背景的种子。如图1中，S_ini＝{S₁，S₃，S₄...S_i}。

6)、提取超像素的特征，运用背景搜索策略来获取所有背景超像素。

结合图2，对背景搜索的步骤作进一步解释。

其中，S_c是当前作为种子的超像素，为S_c第i个相邻的超像素；CO为超像素的运动方向，FC_i(S_c)表示S_c与的模糊链接度；表示相交边界上的点与 中心的平均距离；R(S)为相交边界占总边界S的比例。

从超像素集S_ini中按顺序选取种子，假设第一次选出的种子为S₅。

步骤6.1：将S₅添加进S_e，然后按顺序搜索它邻近的超像素{S₆，S₇，S₈}，并选出符合条件(6.1)和(6.2)的超像素，

FC_i(S₅)＞t₁

假设此步骤找到的符合条件的超像素为S₈，将S₈设置为S_c并将S₈添加进超像素集S_e，执行步骤6.2。

步骤6.2：对于S_c(当前为S₈),搜索与其相邻的超像素{S₆，S₇，S₉，S₁₂}(S₅也是相邻超像素，但已经添加进S_e)，如果其中一个超像素满足条件

FC_i(S₈)＞|t₂*FC_l|

其中，FC_l是前一次使用的FC_i(S_c)，即FC_i(S₅)，r是的半径。

假设超像素S₉满足条件，将其设置为S_c并将S₉添加进超像素集S_e，然后执行步骤6.3。

步骤6.3：递归步骤6.2，直到S_c的所有邻近超像素都属于S_e或者超像素不满足添加进入S_e的条件。

完成所有步骤后，选取下一个种子继续搜索，直到种子全部搜索完毕。

7)、得出最终的前景超像素集S_f。经过上述步骤得到的S_e还并不是我们最终想要的背景超像素集S_b，在背景中仍存在一些细小的超像素或者超像素集S_tiny刚好符合终止条件，因此被排除S_e之外。我们对整个图像进行求取最大连通域操作，以排除S_tiny。而最终的我们想要的S_f＝S-S_e-S_tiny，S为所有超像素的集和，S_e为步骤6)得到的背景超像素集。

本实施例中，使用均值漂移算法为退化图像创建超像素，计算超像素的复合特征，接着使用一种多路背景搜索的算法，结合超像素复合特征，让作为种子的超像素逐渐扩张，获得背景超像素集，最后从图像中分割出部分模糊的对象。本发明采用背景反推对象的方法，比直接在对象上选取种子的方式更方便，准确性更高，且能有效避免因为一般模糊参数计算无法贴近自然轮廓的问题。使用种子搜索的方式，克服了一般模糊图像分割严重依赖模糊计算结果的缺点。

Claims (1)

1.一种非均一严重运动退化图像的对象分割方法，其特征在于：所述分割方法包括如下步骤：

1)、利用mean-shift算法对退化图像进行过分割处理，生成初始超像素s₁,s₂,s₃...s_i，获得超像素集S＝{s₁,s₂,s₃...s_i}；对于同一对象，它可能被分成不同的超像素块，但是不同对象肯定不在同一超像素内；

2)、为每个超像素建立索引，存储超像素的相关信息，将该超像素名称、超像素所有像素点信息、聚类中心点坐标、聚类半径、与该超像素相邻的所有超像素标签、与各个相邻超像素的边界像素点信息录入该超像素的表格；

3)、计算模糊链接度，公式如下：

此处k₁为距离衰退因子，k₂为梯度权重；

表示像素p₁,p₂的衰退度，而表示像素p₁,p₂的模糊链接度；

d_r,d_c分别表示当前两个像素的x,y坐标的距离差，G表示像素的灰度值；

在已获取的超像素边缘上计算模糊链接度来代表两个超像素s_a和s_b之间的模糊链接度

p_i,p_j均属于超像素s_a与s_b相交边界上的点；

n表示该边界上点的个数i≠j,且p_i,p_j相邻；

N为满足以上关系的像素级模糊链接度数目。

4)、运动方向估计，采用局部自相关一致性来描述运动退化的方向，在一个以点p(x,y)为中心的局部窗口w内，局部自相关函数计算方式如下，

上式替换为，

其中，

求取矩阵M，计算M的特征值，较小的特征值所对应的特征向量即为长轴的方向，视它为窗口中心点的运动方向，并将其按比例映射为0～180度之间的角；

然后使用非极大值抑制的方法将每个像素的方向处理成等距分布的值；

在超像素内统计各像素点的运动方向，以众数来代表超像素整体的运动方向。

SP_d＝D(N_max) (4.5)

其中，SP_d表示该超像素的运动方向，D表示取方向，N_max表示该超像素内

各向上运动方向的众数；

计算完成后，将模糊链接度和运动方向，也录入超像素对应的表格，模糊链接度和运动方向共同组成了超像素的复合特征；

5)、种子初始化，此种子将应用于后续的背景搜索，将所有毗邻图像边界的超像素添加进S_ini作为背景的种子；

6)、提取超像素的特征，运用背景搜索策略来获取所有背景超像素，按如下步骤进行：

其中，S_c是当前作为种子的超像素，为S_c第i个相邻的超像素；CO为超像素的运动方向，FC_i(S_c)表示S_c与的模糊链接度；表示相交边界上的点与中心的平均距离；R(S)为相交边界占总边界S的比例；

步骤6.1：对于S_ini中的每一个超像素，都将它添加进S_e，然后按顺序搜索它邻近的超像素，并选出符合条件(6.1)和(6.2)的超像素

FC_i(S_c)＞t₁ (6.2)

将其设置为S_c并添加进超像素集S_e，执行步骤6.2；

步骤6.2：对于S_c,搜索与其相邻的超像素，如果其中一个超像素满足条件

FC_i(S_c)＞|t₂*FC_l| (6.3)

其中，FC_l是前一次使用的FC_i(S_c)，r是的半径；

将该满足条件的超像素设置为S_c并添加进超像素集S_e执行步骤6.3；

步骤6.3：递归步骤6.2，直到S_c的所有邻近超像素都属于S_e或者超像素不满足添加进入S_e的条件；

完成所有步骤后，选取下一个种子继续搜索，直到种子全部搜索完毕；

7)、对整个图像进行求取最大连通域操作，以排除S_tiny，S_tiny为实际背景中符合循环终止条件而被排除在S_e之外的超像素的集合，得到最终的前景超像素集S_f，S_f＝S-S_e-S_tiny，S为所有超像素的集和，S_e为步骤6)得到的背景超像素集。