CN101872481A - 一种结合可见光图像信息的sar图像快速分割方法 - Google Patents

Abstract

一种结合可见光图像信息的SAR图像快速分割方法，实现如下：可见光图像的双阈值分割。灰度大于目标阈值的像素划分为目标像素点，小于背景阈值的像素划分为背景像素，位于两个阈值之间的像素判定为不确定像素点；结合可见光图像分割结果的SAR图像分割。可见光图像的分割结果作为初始分割场以及图像分割的先验信息，提供给SAR图像进行图像分割。本发明能够实现准确的分割，且分割速度大大提高。

Description

一种结合可见光图像信息的SAR图像快速分割方法

技术领域

本发明属于图像处理领域，更具体地说涉及合成孔径雷达(Synthetic ApertureRadar，SAR)图像的分割方法。

背景技术

SAR是一种高分辨微波成像雷达，具有全天时、全天侯工作的优点，并且对植被具有一定的穿透能力。因此，从上个世纪五十年代SAR被提出后，其发展非常迅速，到2008年底，民用和军用的SAR卫星达18颗，而机载SAR系统更是不计其数。随着这些SAR系统的成功运行，SAR图像的应用和理解亟待发展。因此，SAR成像处理技术成为当前SAR领域的研究热点之一。SAR图像分割是图像处理的重要内容之一，它是图像目标检测和分类的基础，因此也是SAR目标识别系统的重要组成部分之一。

由于SAR系统固有的相干斑效应，使得SAR图像中存在着乘性斑点噪声，因此与可见光图像处理相比，SAR图像分割要复杂得多。现有的SAR图像分割方法主要包括基于数据驱动和基于模型驱动两大类：

(1)基于数据驱动的SAR图像分割方法是首先对SAR图像进行斑点噪声抑制，然后利用传统的可见光图像分割方法对斑点抑制后的SAR图像进行分割。比较经典的方法有：基于直方图最优阈值分割，基于边缘检测分割，基于区域分块合并分割等。

(2)基于模型驱动的SAR图像分割方法是建立在对SAR图像特性分析的基础上，在图像分割的过程中抑制斑点噪声，主要包括基于马尔可夫随机场(Markev Random Field，MRF)模型分割，基于组合优化模型分割，以及基于多尺度模型分割等。

由于受到斑点噪声的影响，现有的SAR图像分割方法均存在分割区域边界粗糙，分割区域内部均匀度不好的缺点。基于数据驱动的SAR图像分割方法，受SAR图像斑点噪声抑制效果影响很大，而后续的图像分割处理不具有乘性噪声抑制能力，因此分割效果较差。基于模型驱动的SAR图像分割方法，比较充分地利用了SAR图像本身特性，因此分割精度较高，但是分割速度非常慢，不利于SAR图像的快速处理，无法满足目前大量SAR图像信息快速应用的需求。

随着传感器技术的迅速发展，越来越多种类的传感器可以实现对同一区域的观测，获取多种遥感信息。信息源的增加有可能提供更多的、相互补充的信息。美国、欧盟等的现有信息获取系统就能够提供同一地区的SAR图像、可见光图像、红外图像等。例如美国的JDL系统、英国的多平台多传感器系统等。适当的融合方法，能够很好地综合不同传感器图像的互补信息，降低图像信息的不确定性，提高对遥感信息的感知和利用能力。因此，本世纪以来，利用多传感器数据融合提高信息利用和图像分析性能的技术倍受关注。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种结合可见光图像信息的SAR图像快速分割方法，该方法能够实现准确的分割，且分割速度大大提高。

本发明的技术解决方案：一种结合可见光图像信息的SAR图像快速分割方法，实现步骤如下：

第一步，进行可见光图像的双阈值分割

(1.1)首先进行分割阈值确定，确定方法如下：

利用人眼提取出可见光图像上的一块目标区域R_Obj和一块背景区域R_Bkd，则目标阈值T_Obj和背景阈值T_Bkd的计算式分别为

$T_{\mathrm{Obj}}=\underset{(x,y)\∈R_{\mathrm{Obj}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y),$ $T_{\mathrm{Bkd}}=\underset{(x,y)\∈R_{\mathrm{Bkd}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y)$

其中，s_Opt(x，y)为可见光图像的灰度值，(x，y)表示图像坐标；

(1.2)遍历整个图像，将可见光图像灰度值大于目标阈值的像素点判定为目标像素点，小于背景阈值的像素点判定为背景像素点，位于所述两个阈值之间的像素判定为不确定像素点，计算公式为

式中，s_Opt(x，y)为坐标(x，y)处可见光图像的灰度值，C(x，y)表示坐标(x，y)处像素点的类别，这里像素点的类别有目标像素点、背景像素点和不确定像素点三类。

第二步，将第一步得到的可见光图像的分割结果作为初始分割场以及图像的先验信息，提供给SAR图像进行图像分割，分割方法具体为：

(2.1)结合可见光图像的分割结果确定SAR图像的初始分割

将可见光图像的目标像素点对应的SAR图像像素点直接标记为目标；将可见光图像的背景像素点对应的SAR图像像素点直接标记为背景；可见光图像的不确定像素点对应的SAR图像像素点利用最大似然方法确定每个像素s_SAR(x，y)的初始分割标记(x，y)∈R_Rand，R_Rand为不确定像素的集合，有

$\hat{z}(x,y)=\arg \underset{z(x,y)}{\max }p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y)),$ (x，y)∈R_Rand

其中，p(s_SAR(x，y)|z(x，y))为SAR图像的观测模型，采用瑞利分布，即

$p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y))=\frac{s_{\mathrm{SAR}}(x,y)}{\mathrm{\α}{\left(z(x,y)\right)}^2}\exp \{-\frac{s_{\mathrm{SAR}}^2(x,y)}{2\mathrm{\α}{\left(z(x,y)\right)}^2}\},$ (x，y)∈R_Rand

式中α(z(x，y))与瑞利分布的均值μ_R(z(x，y))和方差

的关系为

${\mathrm{\μ}}_R\left(z(x,y)\right)=\mathrm{\α}\left(z(x,y)\right)\sqrt{\frac{\mathrm{\π}}{2}}$ ${\mathrm{\σ}}_R^2\left(z(x,y)\right)=\frac{4-\mathrm{\π}}{2}{\mathrm{\α}}^2\left(z(x,y)\right),$ (x，y)∈R_Rand；

(2.2)不确定像素的分割

随机改变可见光分割结果中标定为不确定的那些像素点对应的SAR图像中像素点的标记，计算新标记下每个不确定像素的局部能量，有

E_Lk(x，y)＝-[lnp(s_SAR(x，y)|z_k(x，y))+lnp(z_k(x，y))]，(x，y)∈R_Rand

其中，z_k(x，y)表示第k迭代下的新标记，k表示迭代次数，初次迭代时有k＝1；k＝0表示初始分割标记的本地能量，p(z_k(x，y))为SAR图像的先验模型，它可以通过下式计算：

$p\left(z_k(x,y)\right)=\frac{1}{Z}{e}^{-H\left(z_k(x,y)\right)},$ $H\left(z_k(x,y)\right)=-\mathrm{\β}\underset{(x^{\′},y^{\′})\∈R_{(x,y)}}{\mathrm{\Σ}}[\mathrm{\δ}(z_k(x,y)-z_k(x^{\′},y^{\′}))-1]$

其中，Z是归一化常数；β是(0，1)之间的一个常数；δ(·)是狄拉克函数；R_(x，y)是像素(x，y)的邻域；

若新标记下每个不确定像素的局部能量低于未改变旧标记下每个不确定像素的局部能量，即E_Lk(x，y)＞E_Lk-1(x，y)，接受新标记；反之，选取在[0，1]中均匀分布的随机变量λ，当exp[-(E_Lk(x，y)-E_Lk-1(x，y))/T]≥λ，则接受新标记；否则，保持当前标记；T为退火温度，采用指数降温形式，有

T＝T₀χ^k

其中，T₀为初始退火温度，χ为温度系数；

计算当前状态和新状态的全局能量差ΔE_k，有

${\mathrm{\ΔE}}_k=|\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_k(x,y))+\ln p\left(z_k(x,y)\right)$

$+\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_{k-1}(x,y))+\ln p\left(z_{k-1}(x,y)\right)|$

其中|·|表示取绝对值，ln为自然对数。

如果全局能量的变化量小于收敛阈值ε，即ΔE_k≤ε，则得到最终分割结果；反之，更新温度系数，令k＝k+1，如果k≤K，并重复该步骤处理过程；如果k＞K，强行结束程序，分割处理失败，ε为预先设置的收敛阈值，K为预先设置的迭代次数的上限值。

本发明与现有技术相比的优点在于：SAR是一种常用的微波遥感手段，它能够全天时、全天候工作，可以获取高的空间分辨率，并且具有一定的穿透能力，但是其固有的斑点噪声使得图像识别能力大大受限。可见光传感器具有多频谱特性，并且图像的可辨识性能较好，但是其图像的获取受光线条件影响很大，在黑夜无法工作。本发明的目的在于利用同一地区的可见光图像和SAR图像，提出一种结合可见光图像信息的SAR图像分割方法。本发明利用可见光图像将SAR图像像素划分为目标像素、背景像素和不确定像素三类，然后针对不同的图像像素采用不同的图像分割策略。本发明利用可见光图像信息给出的目标像素和背景像素能够实现非常准确的分割；充分利用了可见光图像提供的先验信息，仅采用基于模型驱动的SAR图像分割算法对不确定区域进行分割，因此可以大大提高分割速度。

附图说明

图1为本发明实现流程图；

图2为本发明的双阈值分割处理流程图；

图3为本发明的SAR图像分割采用基于MRF的分割方法流程图；

图4为天津地区SAR图像和可见光图像，其中a为1米分辨率SAR图像，b为可见光图像；

图5采用本发明方法得到的SAR图像分割结果，其中a为可见光图像双阈值分割结果，b为结合可见光的SAR图像分割结果；

图6为经典的基于MRF的SAR图像分割结果。

具体实施方式

本发明的实现流程如图1所示，具体的实现步骤主要包括：

1.可见光图像的双阈值分割。灰度大于目标阈值的像素划分为目标像素点，小于背景阈值的像素划分为背景像素，位于两个阈值之间的像素判定为不确定像素点。这些不确定像素的划分类别主要依赖SAR分割来确定。可见光图像分割中两个阈值的确定必须保证目标像素和背景像素判定的准确性。

2.结合可见光图像分割结果的SAR图像分割。可见光图像的分割结果作为初始分割场以及图像的先验信息，提供给SAR图像进行图像分割。

可见光图像的双阈值分割具体处理流程如图2，主要包括以下步骤：

(1)分割阈值确定。利用人眼提取出可见光图像上的一块目标区域R_Obj和一块背景区域R_Bkd，则目标阈值T_Obj和背景阈值T_Bkd的计算式分别为

$T_{\mathrm{Obj}}=\underset{(x,y)\∈R_{\mathrm{Obj}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y),$ $T_{\mathrm{Bkd}}=\underset{(x,y)\∈R_{\mathrm{Bkd}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y)$

其中，s_Opt(x，y)为可见光图像的灰度值，(x，y)表示图像坐标。

(2)双阈值分割。根据目标阈值和背景阈值，遍历整个图像，将可见光图像灰度值大于目标阈值的像素点判定为目标像素点，小于背景阈值的像素点判定为背景像素点，位于所述两个阈值之间的像素判定为不确定像素点，具体计算公式为

式中，s_Opt(x，y)为坐标(x，y)处可见光图像的灰度值，C(x，y)表示坐标(x，y)处像素点的类别，这里像素点的类别有目标像素点、背景像素点和不确定像素点三类。

结合可见光图像分割结果的SAR图像分割采用基于马尔可夫随机场(Markev Random Fiel d，MRF)的分割方法，具体处理如图3，主要包括以下步骤：

(1)确定初始分割。结合可见光图像的分割结果确定SAR图像的初始分割：将可见光图像的目标像素点对应的SAR图像像素点直接标记为目标；将可见光图像的背景像素点对应的SAR图像像素点直接标记为背景；可见光图像的不确定像素点对应的SAR图像像素点利用最大似然方法确定每个像素s_SAR(x，y)的初始分割标记

$\hat{z}(x,y)=\arg \underset{z(x,y)}{\max }p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y)),$ (x，y)∈R_Rand

其中：(x，y)∈R_Rand，R_Rand为不确定像素的集合，p(s_SAR(x，y)|z(x，y))为SAR图像的观测模型，这里采用瑞利分布，即

$p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y))=\frac{s_{\mathrm{SAR}}(x,y)}{\mathrm{\α}{\left(z(x,y)\right)}^2}\exp \{-\frac{s_{\mathrm{SAR}}^2(x,y)}{2\mathrm{\α}{\left(z(x,y)\right)}^2}\},$ (x，y)∈R_Rand

式中α(z(x，y))与瑞利分布的均值μ_R(z(x，y))和方差

的关系为

${\mathrm{\μ}}_R\left(z(x,y)\right)=\mathrm{\α}\left(z(x,y)\right)\sqrt{\frac{\mathrm{\π}}{2}}$ ${\mathrm{\σ}}_R^2\left(z(x,y)\right)=\frac{4-\mathrm{\π}}{2}{\mathrm{\α}}^2\left(z(x,y)\right),$ (x，y)∈R_Rand

它们可以通过EM方法估计获得。

(2)不确定像素的分割。随机改变可见光分割结果中标定为不确定的那些像素点的标记，计算新标记下每个不确定像素的局部能量，有

E_Lk(x，y)＝-[lnp(s_SAR(x，y)|z_k(x，y))+lnp(z_k(x，y))]，(x，y)∈R_Rand

其中，z_k(x，y)表示第k迭代下的新标记，k表示迭代次数，初次迭代时有k＝1；k＝0表示初始分割标记的本地能量。p(z_k(x，y))为SAR图像的先验模型，它可以通过下式计算：

其中，Z是归一化常数；β是(0，1)之间的一个常数，常选取为0.5；δ(·)是狄拉克函数；R_(x，y)是像素(x，y)的邻域，常选取4邻域。(x′，y′)是R_(x，y)中的像素坐标。

若新标记能量低于旧标记能量，即E_Lk(x，y)＞E_Lk-1(x，y)，接受新标记；反之，选取在[0，1]中均匀分布的随机变量λ，当能量变化与温度之比的负指数大于等于该随机量，即exp[-(E_Lk(x，y)-E_Lk-1(x，y))/T]≥λ，则接受新标记；否则，保持当前标记；T为退火温度，这里采用指数降温形式，有：T＝T₀χ^k

其中，T₀为初始退火温度，χ为温度系数。本发明给出的方法取T₀＝4，χ＝0.9。

计算当前状态和新状态的全局能量差ΔE_k，有

${\mathrm{\ΔE}}_k=|\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_k(x,y))+\ln p\left(z_k(x,y)\right)$

$+\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_{k-1}(x,y))+\ln p\left(z_{k-1}(x,y)\right)|$

如果全局能量的变化量小于收敛阈值ε，即ΔE_k≤ε，则得到最终分割结果；反之，更新温度系数，令k＝k+1，如果k≤K，并重复该步骤处理过程。如果k＞K，强行结束程序，分割处理失败。ε为预先设置的收敛阈值，取值越小则收敛精度越高，但速度越慢，本发明取ε＝0.1。K为预先设置的迭代次数的上限值，常选取K＝1000。

图4中4a是天津地区的1米分辨率TerraSAR图像，4b是同一区域的快鸟卫星获取的可见光图像。采用本发明给出的方法，对图4a进行双阈值分割得到图5a；结合图5a给出的信息，对图4a给出的SAR图像进行快速分割处理，得到图5b。为了比较，同时给出了传统单幅SAR图像基于MRF方法的分割结果如图6。

为了更好地说明分割效果，表1给出了传统方法和本发明方法分割结果精度和速度的评估结果。可以看出，与传统方法相比，本发明给出的方法在能够获取更好分割效果的同时，提高了分割处理的速度，本实例中的分割精度提高了约两倍多，分割速度提高了约50％。

表1图像分割效果评估

图像	错误分割的像素点数(个)	分割处理时间(秒)
			1米分辨率SAR图像分割结果(图6所示)	4918	60.80

图像	错误分割的像素点数(个)	分割处理时间(秒)
			加入可见光信息的1米SAR图像分割结果(图5b所示)	1837	43.58

本发明未详细阐述部分属于本领域技术公知技术。

Claims (2)

1.一种结合可见光图像信息的SAR图像快速分割方法，其特征在于实现步骤如下：

第一步，进行可见光图像的双阈值分割

遍历整个图像，将可见光图像灰度值大于目标阈值T_Obj的像素点判定为目标像素点，小于背景阈值T_Bkd的像素点判定为背景像素点，位于所述两个阈值之间的像素判定为不确定像素点，计算公式为

式中，s_Opt(x，y)为坐标(x，y)处可见光图像的灰度值，C(x，y)表示坐标(x，y)处像素点的类别，这里像素点的类别有目标像素点、背景像素点和不确定像素点三类；

第二步，将第一步得到的可见光图像的双阈值分割结果作为初始分割场以及图像的先验信息，提供给SAR图像进行图像分割，分割方法具体为：

(2.1)结合可见光图像的分割结果确定SAR图像的初始分割

将可见光图像的目标像素点对应的SAR图像像素点直接标记为目标；将可见光图像的背景像素点对应的SAR图像像素点直接标记为背景；可见光图像的不确定像素点对应的SAR图像像素点利用最大似然方法确定每个像素s_SAR(x，y)的初始分割标记

(x，y)∈R_Rand，R_Rand为不确定像素的集合，有

$\hat{z}(x,y)=\arg \underset{z(x,y)}{\max }p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y)),$ (x，y)∈R_Rand

其中，p(s_SAR(x，y)|z(x，y))为SAR图像的观测模型，采用瑞利分布，即

$p\left(s_{\mathrm{SAR}}(x,y)\right|z(x,y))=\frac{s_{\mathrm{SAR}}(x,y)}{\mathrm{\α}{\left(z(x,y)\right)}^2}\exp \{-\frac{s_{\mathrm{SAR}}^2(x,y)}{2\mathrm{\α}{\left(z(x,y)\right)}^2}\},$ (x，y)∈R_Rand

式中α(z(x，y))与瑞利分布的均值μ_R(z(x，y))和方差的关系为

${\mathrm{\μ}}_R\left(z(x,y)\right)=\mathrm{\α}\left(z(x,y)\right)\sqrt{\frac{\mathrm{\π}}{2}}$ ${\mathrm{\σ}}_R^2\left(z(x,y)\right)=\frac{4-\mathrm{\π}}{2}{\mathrm{\α}}^2\left(z(x,y)\right),$ (x，y)∈R_Rand；

(2.2)不确定像素的分割

随机改变可见光分割结果中标定为不确定像素点对应的SAR图像像素点的标记，计算新标记下每个不确定像素的局部能量，有

E_Lk(x，y)＝-[lnp(s_SAR(x，y)|z_k(x，y))+lnp(z_k(x，y))]，(x，y)∈R_Rand

其中，z_k(x，y)表示第k迭代下的新标记，k表示迭代次数，初次迭代时有k＝1；k＝0表示初始分割标记的本地能量，p(z_k(x，y))为SAR图像的先验模型，通过下式计算：

$p\left(z_k(x,y)\right)=\frac{1}{Z}{e}^{-H\left(z_k(x,y)\right)},$ $H\left(z_k(x,y)\right)=-\mathrm{\β}\underset{(x^{\′},y^{\′})\∈R_{(x,y)}}{\mathrm{\Σ}}[\mathrm{\δ}(z_k(x,y)-z_k(x^{\′},y^{\′}))-1]$

其中，Z是归一化常数；β是(0，1)之间的一个常数；δ(·)是狄拉克函数；R_(x，y)是像素(x，y)的邻域；

若新标记下每个不确定像素的局部能量低于未改变旧标记下每个不确定像素的局部能量，即E_Lk(x，y)＞E_Lk-1(x，y)，接受新标记；反之，选取在[0，1]中均匀分布的随机变量λ，当exp[-(E_Lk(x，y)-E_Lk-1(x，y))/T]≥λ，则接受新标记；否则，保持当前标记；T为退火温度，采用指数降温形式，有

T＝T₀χ^k

其中，T₀为初始退火温度，χ为温度系数；

计算当前状态和新状态的全局能量差ΔE_k，有

${\mathrm{\ΔE}}_k=|-\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_k(x,y))+\ln p\left(z_k(x,y)\right)$

$+\underset{(x,y)\∈R_{\mathrm{Rand}}}{\mathrm{\Σ}}\ln p\left(s_{\mathrm{SAR}}(x,y)\right|z_{k-1}(x,y))+\ln p\left(z_{k-1}(x,y)\right)|$

其中|·|表示取绝对值，ln为自然对数；

如果全局能量的变化量小于收敛阈值ε，即ΔE_k≤ε，则得到最终分割结果；反之，更新温度系数，令k＝k+1，如果k≤K，并重复该步骤处理过程；如果k＞K，强行结束程序，分割处理失败，ε为预先设置的收敛阈值，K为预先设置的迭代次数的上限值。

2.根据权利要求1所述的结合可见光图像信息的SAR图像快速分割方法，其特征在于所述第一步中目标阈值T_Obj和背景阈值T_Bkd的确定方法为：

利用人眼提取出可见光图像上的一块目标区域R_Obj和一块背景区域R_Bkd，则目标阈值T_Obj和背景阈值T_Bkd的计算式分别为

$T_{\mathrm{Obj}}=\underset{(x,y)\∈R_{\mathrm{Obj}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y),$ $T_{\mathrm{Bkd}}=\underset{(x,y)\∈R_{\mathrm{Bkd}}}{\mathrm{\Σ}}{s}_{\mathrm{Opt}}(x,y)$

其中，s_Opt(x，y)为可见光图像的灰度值，(x，y)表示图像坐标。

Images