CN103996206A - 一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法 - Google Patents

Abstract

一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，步骤为（1）选择感兴趣图像区域；（2）指定感兴趣图像区域的前景和背景；（3）得到前景和背景区域的颜色分布直方图；（4）建立图模型G=<V,E>；（5）分别计算区域项能量R(A)和边缘项能量B(A)；（6）计算自适应权值λ，构造能量函数；（7）利用最大流最小割算法优化能量函数，得到初步分割结果；（8）针对分割有误的区域强制指定前景和背景；（9）根据操作员输入的强制约束修改修改图模型；（10）重新优化能量函数，得到最终分割结果。本发明可以提高颜色分布信息统计的准确性；同时可增强GraphCut算法在复杂背景遥感图像中的适应性，有效的提高分割的准确度，减少交互次数。

Description

一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法

技术领域

本发明涉及基于GraphCut的交互式目标提取方法，属于计算机遥感图像处理技术领域，用于遥感应用中高分全色、多光谱、红外等多种类型遥感影像中复杂背景下的目标提取。

背景技术

近十几年来，遥感技术发展迅速，基于遥感影像实现目标提取和分析对军事侦察等应用领域有重要意义。但是遥感影像中还有大量的地物结构信息和纹理信息，使得目标所处的背景通常都很复杂，给目标的分割提取带来了很大的困难。因此如何快速、准确的从复杂背景中提取出目标是遥感侦察应用的难点。

针对复杂背景中目标提取的问题，传统的解决方法是通过手工标绘提取出目标，这种方法精度很高，但是既耗费人力，又耗费时间。同时也有很多自动提取的方法，但是它们通常通用性较差，分割结果不精确，难以应用于复杂背景下的遥感目标提取中来。

另外一种方法是交互式的提取方法，这种方法针对自动和手动提取方法的在精度或效率上的不足而提出，其思想在于利用少量用户输入作为约束修正自动提取方法的结果，从而提高提取的精度。这种方法目前已经取得了较好的效果。例如蛇形算法、交互式Graph-Cut算法、GrabCut算法和Lazysnapping算法等。其中有代表性的是Graph-Cut算法，该算法综合考虑了目标的区域信息和边缘信息，分割时仅仅需要少量用户交互即可得到准确的结果。但对于复杂背景来说，Graph-Cut算法仍需要合理的权衡模型中区域信息和边缘信息的比重。一些方法将两者的比重设为两个固定值，但这未能完全反映不同图像中目标灰度信息的不同。GrabCut算法是基于GraphCut模型的改进算法，其利用混合高斯模型估计图像前景背景的颜色分布，在复杂背景情形下比GraphCut算法中用直方图模型估计颜色分布的方法更准确，但是混合高斯模型的建立过程复杂，计算时耗费大量时间，影像分割的效率。Lazysnapping算法则利用分水岭算法进行预分割，并建立基于区域的GraphCut模型，以达到提高效率的目的，一定程度上达到了实时交互的效果，但是采用分水岭算法造成大量的过分割，对原有的图像结构会造成破坏，需要更多的交互弥补过分割的错误。

发明内容

本发明的技术解决问题是：针对复杂背景条件下的遥感目标提取问题，本发明提出了一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，提高了目标提取的精度和效率。

本发明的技术解决方案是：一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，步骤如下：

（1）在遥感图像中，选取进行目标提取的感兴趣图像区域；

（2）在选取的感兴趣图像区域中指定前景和背景；

（3）对前景和背景区域中的像素进行统计计算，分别得到前景区域和背景区域的颜色分布直方图；

（4）对选取的感兴趣图像区域以像素为节点建立图模型G=<V,E>；

（5）根据步骤（3）中得到的颜色分布直方图计算感兴趣图像区域中反映区域信息的区域项能量R(A)和反应边缘信息的边缘项能量B(A)；

（6）计算区域项能量和边缘项能量的自适应权值λ，构造能量函数E(A)=λR(A)+(1-λ)B(A)；

（7）根据步骤（4）建立的图模型，利用最大流最小割算法优化能量函数，得到图模型中每个节点的标号，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，进入步骤（8）；

（8）通过笔画方式针对分割有误的区域强制指定前景和背景；

（9）根据输入的强制约束来修改图模型；

（10）重新优化能量函数，利用最大流最小割算法优化能量函数，得到图模型中每个节点的标签，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于等于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，重复步骤（8）～步骤（10），直至分割结果准确率大于等于设定的阈值。

步骤（2）中所述选取的感兴趣图像区域中指定前景和背景，具体方法为：

指定前景和背景的方式为笔画方式、矩形框选方式或多边形框选方式，若使用笔画方式指定感兴趣图像区域中的前景和背景，则需分别用不同类型的画笔对前景和背景予以区别；若使用矩形框选方式或多边形框选方式框定感兴趣图像区域中的前景和背景，则被选中的区域为前景，其余的区域为背景。

步骤（6）中所述计算区域项能量和边缘项能量的自适应权值λ，具体方法为：

通过公式计算自适应权值λ，其中ave(ΔI)为相邻像素节点梯度的平均值，max(ΔI)为相邻像素节点梯度的最大值。

本发明与现有技术相比的有益效果在于：

（1）使用交互式的方法提取目标，可以通过增加强制约束对分割结果进行修正，较自动算法更精确。

（2）根据图像信息对区域项能量和边缘项能量间的权值进行自适应计算，该权值满足以下变化规律：当图像中灰度变化强烈，目标与背景的可分性强时，权值较大，模型趋向于利用区域性信息进行分割；当图像中灰度变化舒缓，目标与背景的可分性不强时，权值较小，模型趋向于利用边缘性信息进行分割。这样每次交互后的分割结果更准确，从而介绍交互次数，提高了目标提取效率。

附图说明

图1为本发明基于GraphCut的交互式目标提取方法流程图；

图2(a)为一副简单灰度图像；

图2(b)为基于GraphCut的图像像素点构成的图模型；

图2(c)为基于GraphCut的经过分割计算后的图模型；

图2(d)为基于GraphCut的图像分割结果；

图3为本发明前景和背景的灰度直方图示意图；

图4为本发明最大流最小割算法示意图。

具体实施方式

下面结合附图1至图4对本发明的具体实施方式进行进一步的详细描述，其中基于GraphCut的交互式目标提取总体流程图如图1所示。基于GraphCut的图像分割流程如图2（a）～图2（d）所示，其中图2(a)为一副简单灰度图像，图中每个方格代表一个像素点且每个像素点的灰度值不同，B、O分别代表背景的种子点与前景的种子点；图2(b)为基于GraphCut的图像像素点构成的图模型，图中S、T分别代表源点和终点，源点和终点初始时与图像中每个像素均有连接，此时表示图像尚未分割；图2(c)为基于GraphCut的经过分割计算后的图模型，S、T分别只与前景点和背景点连接，此时表示图像已完成分割；图2(d)为基于GraphCut的图像分割结果；

本发明的具体步骤如下：

（1）利用矩形框选取复杂背景遥感图像中包含目标的感兴趣区域。

（2）在感兴趣图像区域中指定前景和背景，指定前景和背景的方式为笔画方式、矩形框选方式或多边形框选方式，若使用笔画方式指定感兴趣图像区域中的前景和背景，则需分别用不同类型的画笔对前景和背景予以区别；若使用矩形框选方式或多边形框选方式框定感兴趣图像区域中的前景和背景，则被选中的区域为前景，其余的区域为背景。

（3）对前景、背景区域中的像素进行统计计算，分别得到前景和背景区域的颜色分布直方图。

对于全色遥感影像，图像的颜色直方图即灰度直方图，对于多波段的影像，则根据多波段的像素值计算一个唯一的索引值，然后统计该索引值的直方图。计算索引值的方法如下式所示：（以RGB三波段为例）

Index=R×bin²+G×bin+B

其中bin是每波段中像素灰度级的总数，对于位深度为8的图像而言，bin等于256。前景和背景的直方图示意图如图3所示。

（4）对整个图像感兴趣区域以像素为节点建立图模型G=<V,E>。

将感兴趣区域图像内的所有像素作为图模型的节点组成无向图，图中节点的连接关系可按照与图像中像素点的邻域关系类似的方式表示，如4邻域连接和8邻域连接，这些像素节点的连接被称为n-link。

在GraphCut算法模型中，还有两个特殊的节点，称为图的终点。这两个终点分别记为源s和汇t，s是图模型中网络流的起点，t是网络流的终点。图中除了又图像像素点组成的节点间存在连接外，s和t分别和每一个像素节点都有连接，这些连接被称为t-link。

在实际实现的过程中，只需要将图像的每个像素作为节点输入到新建的图模型中，并逐一指定这些像素节点之间的连接关系，而两个终点在图模型中是默认的，因为对于每个图模型都存在这两个终点。

图模型中的一个割是将s和t分离的一组边（连接）的集合，而每一条边在图模型中都有权重，这个权重决定了相应的代价，最优的割即图模型中代价最小的割。图模型和图割的示意图如图2(b)和图2(c)所示，其中图2(b)为基于本发明的图像像素点构成的图模型；图2(c)为基于本发明的图像分割结果。

（5）分别计算图像中反映区域信息的区域项能量R(A)和反应边缘信息的边缘项能量B(A)。R(A)和B(A)的表达式如下式所示。

$R\left(A\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{R}_p\left(A_p\right)$

$B\left(A\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}\underset{\{p,q\}\&Element;N}{\mathrm{\&Sigma;}}{B}_{\{p,q\}}\&CenterDot;\mathrm{\&delta;}(A_p,A_q)$

$\mathrm{\&delta;}(A_p,A_q)=\left\{\begin{array}{cc}1& A_p\&NotEqual;A_q\\ 0& A_p=A_q\end{array}\right.$

其中：

A_p表示p点被赋予的类别标签，R_p(A_p)表示将点p赋予目标类（”obj”）或者背景类（”bkg”）的代价，及p点上两个t-link的代价。

B{p,q}表示p，q两个点间边缘的代价值，及p，q间n-link的代价，当p，q的像素值很接近时，B{p,q}值很大，当p，q的像素值差异很大时，B{p,q}接近于0。

R_p(A_p)和B{p,q}的值如下表所示。

表中

Rp("obj")=-lnPr(Ip|0)

Rp("bkg")=-lnPr(Ip|B)

其中Pr(Ip|0)表示p点的像素值在目标前景中出现的概率，计算时为p点像素值在前景颜色直方图中出现的频率。Pr(Ip|B)表示p点的像素值在背景中出现的概率，计算时为p点像素值在背景颜色直方图中出现的频率。

$B_{\{p,q\}}\&Proportional;\exp (-\frac{{(I_p-I_q)}^2}{2{\mathrm{\&sigma;}}^2})\&CenterDot;\frac{1}{\mathrm{dist}(p,q)}$

其中σ是dist(p,q)是像素的不连续程度的度量。dist(p,q)表示p，q两点之间的距离。

$K=1+\underset{p\&Element;P}{\max }\left(\underset{q:\{p,q\}\&Element;N}{\mathrm{\&Sigma;}}{B}_{\{p,q\}}\right)$

（6）计算区域项能量和边缘项能量的自适应权值λ，构造能量函数

E(A)=λR(A)+(1-λ)B(A)

权值λ用于权衡区域性特征和边缘性特征在优化过程中的作用。而在实际目标提取中，由于背景复杂，不同图像中目标的区域性特征和边缘性特征的强度不尽相同，因此对所用图像使用同一权值进行分类难以获得较好的分割效果。为了适应复杂背景的要求，现按如下方式构造λ：

$\mathrm{\&lambda;}={\left(\frac{\mathrm{ave}\left(\mathrm{\&Delta;I}\right)}{\max \left(\mathrm{\&Delta;I}\right)}\right)}^2$

其中ave(ΔI)为相邻像素节点梯度的平均值，max(ΔI)为相邻像素节点梯度的最大值。

由表达式的形式可见，当图像中像素值的差异较大时，说明目标和背景的灰度可分性较强，因此λ偏大，模型偏向于使用区域性特征进行优化，而当图像中像素值的差异较小时，目标和背景的灰度可分性小，此时区域性特征不明显，因此模型偏向于使用边缘性特征进行优化。通过以上调整，模型可以更好的适应于各种不同复杂背景中的目标提取。

（7）利用最大流最小割算法优化能量函数，得到图模型中每个节点的标号，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，则进入步骤（8），直至分割结果准确。

最大流最小割算法是图论中的经典算法，用于优化图模型得到代价最小的割，经典的实现方法有Ford-Fulkerson和Push-Relabel算法，而在GraphCut模型中，其使用了一种新的最大流最小割算法，它是基于augmenting paths算法衍生而来的，其核心思想为通过建立以s和t为根节点的两颗搜索树来找到s和t之间的连通路径。图4为该算法的示意图。实际实现时调用已有的第三方库函数。

（8）通过笔画针对分割有误的区域强制指定前景和背景。该步骤的具体实施方式与步骤（2）相同。

（9）根据输入的强制约束修改图模型。

对于强制指定类别的像素节点，在下一步优化前需要改变其t-link的代价值，改变的方法如下表所示（以p点被强制指定为前景为例）。

t-link	Initial cost（原始值）	Add（添加项）	new cost（新值）
				t-link{p,s}	λ·Rp("bkg")	K+λ·Rp("obj")	K+cp
t-link{p,t}	λ·Rp("obj")	λ·Rp("bkg")	cp

通过上述修改，图模型可以在已有的优化结果基础上继续优化，从而避免了模型的重新计算，提高了优化的效率。

（10）重新优化能量函数，利用最大流最小割算法优化能量函数，得到图模型中每个节点的标签，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，则重复步骤（8）～步骤（10），直至分割结果准确率大于设定的阈值。

Claims (3)

1.一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，其特征在于步骤如下：

（1）在遥感图像中，选取进行目标提取的感兴趣图像区域；

（2）在选取的感兴趣图像区域中指定前景和背景；

（3）对前景和背景区域中的像素进行统计计算，分别得到前景区域和背景区域的颜色分布直方图；

（4）对选取的感兴趣图像区域以像素为节点建立图模型G=<V,E>；

（5）根据步骤（3）中得到的颜色分布直方图计算感兴趣图像区域中反映区域信息的区域项能量R(A)和反应边缘信息的边缘项能量B(A)；

（6）计算区域项能量和边缘项能量的自适应权值λ，构造能量函数E(A)=λR(A)+(1-λ)B(A)；

（7）根据步骤（4）建立的图模型，利用最大流最小割算法优化能量函数，得到图模型中每个节点的标号，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，进入步骤（8）；

（8）通过笔画方式针对分割有误的区域强制指定前景和背景；

（9）根据输入的强制约束来修改图模型；

（10）重新优化能量函数，利用最大流最小割算法优化能量函数，得到图模型中每个节点的标签，并输出分割结果，进而得到分割结果准确率，若分割结果准确率大于等于设定的阈值，则目标提取结束；若分割结果准确率小于设定的阈值，重复步骤（8）-步骤（10），直至分割结果准确率大于等于设定的阈值。

2.根据权利要求1所述的一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，其特征在于：步骤（2）中所述选取的感兴趣图像区域中指定前景和背景，具体方法为：

指定前景和背景的方式为笔画方式、矩形框选方式或多边形框选方式，若使用笔画方式指定感兴趣图像区域中的前景和背景，则需分别用不同类型的画笔对前景和背景予以区别；若使用矩形框选方式或多边形框选方式框定感兴趣图像区域中的前景和背景，则被选中的区域为前景，其余的区域为背景。

3.根据权利要求1所述的一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法，其特征在于：步骤（6）中所述计算区域项能量和边缘项能量的自适应权值λ，具体方法为：

通过公式计算自适应权值λ，其中ave(ΔI)为相邻像素节点梯度的平均值，max(ΔI)为相邻像素节点梯度的最大值。