CN103310452B

CN103310452B - 一种权重自动选择的图像分割方法

Info

Publication number: CN103310452B
Application number: CN201310238264.6A
Authority: CN
Inventors: 马伟; 刘倞; 段立娟
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2013-06-17
Filing date: 2013-06-17
Publication date: 2016-07-06
Anticipated expiration: 2033-06-17
Also published as: CN103310452A

Abstract

一种权重自动选择的图像分割方法，属于计算机视觉、计算机图形学和图像处理等交叉领域。通过应用程序的用户接口，交互式指定部分前、背景像素。然后，建立指定部分前、背景的颜色模型，构造图和对应的能量函数。能量函数中包含在图中每个节点处定义的颜色约束和梯度约束以及调节二者的权值；图的节点可以是图像的像素，也可以是过分割原图像后的超像素。通过在图的每个节点处衡量颜色约束和梯度约束的有效性，确立该节点处的权值。最后，采用图割算法求解函数最小值，得到分割结果。本发明首次提出权值自动选择的分割方法，相比传统固定权值的方法，在同样的交互量的前提下，分割效果更好。

Description

一种权重自动选择的图像分割方法

技术领域

本发明属于计算机视觉、计算机图形学和图像处理等交叉领域，涉及一种权重自动选择的交互式图像分割方法。

背景技术

图像分割具有广泛应用。在影视制作方面，可以将分割出的人物前景与新的背景融合，实现高惊险动作的合成，如坠落悬崖等；在军事领域，图像分割可用于获取雷达图像中的目标以便进行针对性分析；在医学领域，对组织器官(如膀胱、肾脏等)扫描图像进行分割，用于治疗分析；在交通监控方面，把目标车辆从背景中分割出来并进行目标检测、识别与跟踪。

当前基于图割算法的交互式图像分割方法，例如YinLi等人于2004年在《ACMTransactionsonGraphics》上发表的论文“lazysnapping”，以及JiangyuLiu等人于2009年在《ACMTransactionsonGraphics》上发表的论文“paintselection”等，均需要用户交互式指定少量前、背景像素（或过分割后的超像素），用以建立前、背景的颜色分布。然后，建立能量函数。函数中包含颜色约束和梯度约束。现有方法中，用于调节颜色约束与梯度约束的权重对于所有待分割图像都是固定的。然而，在很多图像中，前、背景颜色分布重叠很大，又或者目标物的边缘梯度不够明显，现有方法中固定的权重不能灵活应对这些变动的情况。

发明内容

鉴于目前图像分割方法中采用固定权重的局限性，本发明力图探索能够根据实际需求自动选择权重来调节颜色和梯度约束的方法，实现提高分割过程智能化的目的。

为实现这个目标，本发明的技术方案为：用户通过应用程序的用户接口，交互式指定部分前、背景像素。然后，建立指定部分前、背景的颜色模型。接着，构造图和对应的能量函数，能量函数中包含在图中每个节点处定义的颜色约束和梯度约束以及调节二者的权值。图的节点可以是图像的像素，也可以是过分割原图像后的超像素。之后，本发明通过在图的每个节点处衡量颜色约束和梯度约束的有效性，确立该节点处的权值。最后，采用图割算法求解函数最小值，得到分割结果。若用户对分割结果不满意可以再次进行前背景线索的添加，流程重复循环执行，直至得到满意的分割效果，流程结束。

与现有技术相比，本发明的创新在于：首次提出权值自动选择的分割方法。该方法为图的每个节点自动选择权值，以平衡该节点处的梯度约束和颜色约束。相比传统固定权值的方法，在同样的交互量的前提下，分割效果更好。

附图说明

图1为本发明所涉及方法的流程图；

图2为本发明应用实例实验结果：(a)列为输入的图像以及本发明所用的前背景线索(深色线条为前景，浅色线条为背景)，(b)列为采用本发明所提出的自动权值选择的方法得到的分割结果，(c)列是采用固定权值的方法得到的分割结果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明的流程如图1所示，具体包括如下步骤：

步骤一，添加前、背景线索。

读入图像后，用户通过所设计的界面指定部分前背景。本发明的图例中（如图2(a)），采用YinLi等人于2004年在《ACMTransactionsonGraphics》上发表的论文“lazysnapping”中用到的方式，即通过鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素。如图2(a)列所示，深色线条覆盖的像素属于前景，浅色线条覆盖的像素属于背景。但本发明的后续步骤对于该步骤中所用的前背景像素指定方式并无限制，其它方式亦可使用，例如DanielFreedman等人于2005年在《IEEEConferenceonComputerVisionandPatternRecognition》上发表的论文“InteractiveGraphCutBasedSegmentationWithShapePriors”中，采用圆点指定部分前景，用方块指定部分背景。

步骤二，定义前、背景颜色模型。

用F表示指定的前景像素集合，B表示指定的背景像素集合。本发明采用YinLi等人于2004年在《ACMTransactionsonGraphics》上发表的论文“lazysnapping”中的方法建立前景与背景的颜色模型，即利用K-means聚类方法，对F与B中的像素或超像素颜色值分别进行聚类，得到前、背景的颜色统计模型。前景模型表示为N个前景类簇背景模型表示为M个背景类簇本发明建议N=M=64。

步骤三，定义能量函数。

图像可以表示成一个无向图G＝<ν,ε>，ν为图G中的节点集合，ε为边的集合。图G中的每个顶点i∈ν，对应图像的一个像素（或过分割后的超像素）。图像中除集合F和集合B中的像素外，其余像素设定属于集合U。图像分割可视为一个二元标记问题，即为集合U中的每个节点分配一个唯一的标记x_i，x_i∈{0,1}。x_i＝0表示节点i属于背景，x_i＝1表示节点i属于前景。求解上述二元标记问题，可视为求解使得以下能量函数最小化的标记集合：

E (X) = \underset{i &Element; {F, B}}{Σ} E_{0} (x_{i}) + ω \underset{i &Element; U}{Σ} E_{1} (x_{1}) + \underset{(i, j) &Element; ϵ, x_{i} &NotEqual; x_{j}}{Σ} E_{2} (x_{i}, x_{j})

式中，E₀(x_i)为强制约束项，E₁(x_i)为颜色约束项，E₂(x_i,x_j)为梯度约束项，ω表示权重。

E₀(x_i)用于强制限制已经被交互式标定的像素，即属于F和B的像素，不在分割过程中被重标记，其定义为：

\{\begin{matrix} E_{0} (x_{i} = 1) = 0 & E_{0} (x_{i} = 0) = \infty & &ForAll; i &Element; F \\ E_{0} (x_{i} = 1) = \infty & E_{0} (x_{i} = 0) = 0 & &ForAll; i &Element; B \end{matrix}

真正对标记未知像素起作用的是颜色约束项E₁(x_i)与梯度约束项E₂(x_i,x_j)。E₁(x_i)表示x_i＝0和x_i＝1时的代价。E₂(x_i,x_j)用于表示相邻像素分别取不同标记时的代价。由于E₀(x_i)作为强制约束项不随其他能量项的强弱而变化，因此不受权重的影响。ω仅用于调节E₁(x_i)与E₂(x_i,x_j)。ω越大，表示对颜色项E₁(x_i)的依赖越大；反之，则对梯度项E₂(x_i,x_j)的依赖大。

(1)定义颜色约束项

本发明的颜色约束项E₁(x_i)采用YinLi等人于2004年在《ACMTransactionsonGraphics》上发表的论文“lazysnapping”中的定义方法：

\{\begin{matrix} E_{1} (x_{i} = 1) = \frac{d_{i}^{F}}{d_{i}^{F} + d_{i}^{B}} \\ E_{1} (x_{i} = 0) = \frac{d_{i}^{B}}{d_{i}^{F} + d_{i}^{B}} \end{matrix} &ForAll; i &Element; U

式中，与分别表示节点i到前、背景分布之间的距离。用C_i表示节点i的颜色值，则

d_{i}^{F} = \min_{k = 1, . ., 64} | | C_{i} - K_{k}^{F} | |, d_{i}^{B} = \min_{k = 1, . ., 64} | | C_{i} - K_{k}^{B} | | \cdot

(2)定义梯度约束项

梯度约束项E₂(x_i,x_j)的定义为：

E_{2} (x_{i}, x_{j}) = | x_{i} - x_{j} | \frac{λ}{{1 + | | C_{i} - C_{j} | |}^{2}}

式中，C_i、C_j分别表示节点i和节点j的颜色值，i、j为图上的相邻节点。λ是调节E₁与E₂值域的常数，本实施例中，λ=100。分母当中的1是为了避免零分母而设定。|x_i-x_j|表示E₂(x_i,x_j)仅在x_i与x_j取值不同时有值。梯度反映的是相邻像素间颜色的差异。梯度越大，相邻像素颜色的差异越大，此相邻像素处在待分割对象边界上的可能性越大；反之，可能性越小。

(3)自动选择权值

通过分析图G中每个节点与前、背景颜色分布的距离，实现权重自动选择。对于节点i，ω的定义为：

\{\begin{matrix} ω = 1 & | d_{i}^{F} - d_{i}^{B} | &GreaterEqual; η \\ ω = 0 & | d_{i}^{F} - d_{i}^{B} | < η \end{matrix}

式中，η为判断阈值，这里η=50。

通过计算与的差值，判断像素颜色与前、背景颜色分布的差异，若差值在限定范围之内，ω＝0；若在限定范围之外，ω＝1。当ω＝0时，颜色约束项不起作用，即只考虑梯度约束；而当ω＝1时，颜色约束项恢复作用，即像素在颜色约束和梯度约束的共同作用下进行前背景划分。

步骤四，求解能量函数最小值。

采用YuriBoykov等人于2004年在《IEEETransactiononPAMI》上发表的论文“AnExperimentalComparisonofMin-Cut/Max-FlowAlgorithmsforEnergyMinimizationinVision”中所提出的图割算法，通过最优化本发明所定义的能量函数，得到最优的标记结果，即分割结果。用户如对分割结果不满意，可返回步骤一，继续添加前、背景线索。每添加一笔，将触发一次分割过程。

下面给出本发明的一个应用实例。

本次实验以固定权值的分割方法，即YinLi等人于2004年在《ACMTransactionsonGraphics》上发表的论文“lazysnapping”中提出的方法为对比对象。图2给出了分割对比。图2(a)为输入的图像以及本发明方法和对比方法所用的前、背景线索，深色为前景，浅色为背景；图2(b)为本发明的分割结果；图2(c)是对比方法的分割结果。从图中可看出，在相同交互量的前提下，本发明的方法能够得到较为完整地分割对象。而对比方法得到的结果较差。例如，图2(c)中的目标枫叶，仅仅有一部分被正确分割出来，而作为背景的枫叶也有一部分被错误地标记为前景；小船图中的沙滩上和建筑物上都有错标记为前景的部分区域。

Claims

1.一种权重自动选择的图像分割方法，其特征在于包括如下步骤：

步骤一，添加前、背景线索；

读入图像后，采用鼠标、触摸屏或者手写笔输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；

步骤二，定义前、背景颜色模型；

用F表示指定的前景像素集合，B表示指定的背景像素集合；采用K-means聚类方法，对F与B中的像素或超像素颜色值分别进行聚类，得到前、背景的颜色统计模型；前景模型表示为n个前景类簇背景模型表示为m个背景类簇N＝M＝64；

步骤三，定义能量函数；

图像表示成一个无向图G＝<ν,ε>，ν为图G中的节点集合，ε为边的集合；图G中的每个顶点i∈ν，对应图像的一个像素或分割后的超像素；图像中除集合F和集合B中的像素外，其余像素设定属于集合U；图像分割可视为一个二元标记问题，即为集合U中的每个节点分配一个唯一的标记x_i，x_i∈{0,1}；x_i＝0表示节点i属于背景，x_i＝1表示节点i属于前景；求解上述二元标记问题，可视为求解使得式(1)的能量函数最小化的标记集合：

E (X) = \underset{i &Element; {F, B}}{Σ} E_{0} (x_{i}) + ω \underset{i &Element; U}{Σ} E_{1} (x_{i}) + \underset{(i, j) &Element; ϵ, x_{i} &NotEqual; x_{j}}{Σ} E_{2} (x_{i}, x_{j}) - - - (1)

式中，E₀(x_i)为强制约束项，E₁(x_i)为颜色约束项，E₂(x_i,x_j)为梯度约束项，ω表示权重；X为x_i,x_j子集的总集合；

E₀(x_i)用于强制限制已被二元标记的像素，即属于F和B的像素不在分割过程中被重标记，其定义为：

\{\begin{matrix} E_{0} (x_{i} = 1) = 0 & E_{0} (x_{i} = 0) = \infty & &ForAll; i &Element; F \\ E_{0} (x_{i} = 1) = \infty & E_{0} (x_{i} = 0) = 0 & &ForAll; i &Element; B \end{matrix}

颜色约束项E₁(x_i)表示x_i＝0和x_i＝1时的代价；梯度约束项E₂(x_i,x_j)用于表示相邻像素分别取不同标记时的代价；x_i,x_j分别表示相邻像素；由于E₀(x_i)作为强制约束项不随其它能量项的强弱而变化，因此不受权重的影响；ω用于调节E₁(x_i)与E₂(x_i,x_j)；ω越大，表示对颜色项E₁(x_i)的依赖越大；反之，则对对颜色项E₁(x_i)的依赖越小；

其中，能量函数E(X)各项定义如下：

(1)定义颜色约束项

颜色约束项E₁(x_i)定义为：

\{\begin{matrix} E_{1} (x_{i} = 1) = \frac{d_{i}^{F}}{d_{i}^{F} + d_{i}^{B}} \\ E_{1} (x_{i} = 0) = \frac{d_{i}^{B}}{d_{i}^{F} + d_{i}^{B}} \end{matrix}, &ForAll; i &Element; U

式中，与分别表示节点i到前、背景分布之间的距离；用C_i表示节点i的颜色值，则K表示第k个类簇中心，k表示类簇序号，其取自然数；与分别表示前、背景分布的类簇中心；

(2)定义梯度约束项

梯度约束项E₂(x_i,x_j)的定义为：

E_{2} (x_{i}, x_{j}) = | x_{i} - x_{j} | \frac{λ}{1 + | | C_{i} - C_{j} | |^{2}}

式中，C_i、C_j分别表示节点i和节点j的颜色值，i、j为图上的相邻节点；λ是调节E₁与E₂值域的常数；分母中的1是为了避免零分母而设定；|x_i-x_j|表示E₂(x_i,x_j)仅在x_i与x_j取值不同时有值；梯度反映的是相邻像素间颜色的差异；梯度越大，相邻像素颜色的差异越大，此相邻像素处在待分割对象边界上的可能性越大；反之，可能性越小；

(3)自动选择权值

通过分析图G中每个节点与前、背景颜色分布的距离，实现权重自动选择；对于节点i，ω的定义为：

\{\begin{matrix} ω = 1 & | d_{i}^{F} - d_{i}^{B} | &GreaterEqual; η \\ ω = 0 & | d_{i}^{F} - d_{i}^{B} | < η \end{matrix}

式中，η为与的差值限定范围阈值；

通过计算与的差值，判断像素颜色与前、背景颜色分布的差异，若差值在限定范围之内，ω＝0；若在限定范围之外，ω＝1；当ω＝0时，颜色约束项不起作用，只考虑梯度约束；当ω＝1时，颜色约束项恢复作用，像素在颜色约束和梯度约束的共同作用下进行前背景划分；

步骤四，求解能量函数最小值；

采用图割算法，通过最优化能量函数(1)，得到最优的标记结果，即分割结果；若对分割结果不满意，返回步骤一，继续添加前、背景线索；每添加一笔前景及一笔背景，将触发一次分割过程。