CN103065307A - 非精确配准下sar/spot图像的区域融合检测方法 - Google Patents

Abstract

本发明公开了一种非精确配准下SAR/SPOT图像的区域融合检测算法，其首先对SAR和光学图像中进行目标的目标边缘和区域信息的提取，并以Ratio算子值为依据进行边缘连接，将图像分为有限个连通区域；然后通过模糊集判断进行两图像相近区域融合，以域内Ratio均值作为隶属度权值进行融合检测。本发明针对SAR和光学两种异构传感器图像配准精度的局限性，最大限度地降低对配准精度的要求，提高了非精确配准下SAR和光学图像融合检测概率。在保证检测概率的前提下降低了虚警，获得了比单一传感器更精确、更完整的目标信息。

Description

非精确配准下SAR/SPOT图像的区域融合检测方法

技术领域

本发明涉及一种基于多传感器成像区域融合的目标检测方法，特别地，涉及一种非精确配准下SAR/SPOT(Satellite for Earth Probationary Observation，地球观察测试卫星)图像的区域融合检测方法，其应用于复杂背景中非精确配准前提下的桥梁、道路等目标的检测。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率成像雷达，属于主动式遥感系统，具有全天候、多极化、多视角数据获取功能以及对地物的穿透性能。因此，不论在白天或黑夜，SAR能够提供全天候条件下的地面图像，这种能力对于现代观测是至关重要的，也是SAR最大的优点。相比于传统光学传感器，它能够在严酷恶劣的气候下产生清晰的图像。由于雷达发射的是微波，可以穿透云雾雨雪，因而不像光学传感器那样极易受气象条件的影响；而且这种雷达波对植被、干沙、土壤、冰块等地物也有一定的穿透能力。SAR能透过植被和松散土层获取植被覆盖的地面影像，对干沙穿透的深度可达几十米，因而能揭露伪装，发现隐蔽的武器装备和地下设施。

然而SAR也有自己的局限性，与所有的主动雷达一样，SAR在面对自身面积较大而雷达散射截面(Radar Cross-Section，RCS)较小的物体(如球形金属物体)时，所成图像与实际图像相差甚远；另外，主动雷达靠自身发射带能量电磁波对目标进行探测，会受到许多人为因素影响，如电磁波干扰或其他相关电子对抗技术，以致其无法满足军事应用中的可靠性要求。

因此，满足全天候、全天时、全自动的基于图像融合的地面目标检测有着很大的应用需求。通过利用主被动雷达进行多传感器融合检测可以有效地避开单传感器的种种弊端，达到更好的检测效果。相比以往单传感器的目标探测，融合检测具有如下优点：

1)可以有效对抗来自地面的电子干扰；

2)可以得到更完整的目标主体信息以及更平滑连续的目标边缘信息；

3)可以在保证检测概率的前提下有效降低虚警。

将多个传感器组合起来的复合体制具有着更好抗干扰等性能，满足全天侯、全天候工作要求，并且能降低检测虚警率。对于侧视SAR和前视光学传感器来说，由于其二者成像方式的不同，即便精确配准的图像也无法合适地使用像素级别的融合(例如小波融合)，这不是特征提取算法导致的，而是因为客观上两幅图像存在分辨率、角度、成像质量上的差异。因此设计一种能够在各种复杂环境且非精确配准前提下准确、快速、稳定地实现目标检测功能的方法仍是一项极具挑战性和急需解决的课题。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种非精确配准下SAR/SPOT图像的区域融合检测方法，其是一种在非精确配准前提下基于边缘检测的区域分割并进行融合检测的算法。

为实现上述目的，本发明提供了一种非精确配准下SAR/SPOT图像的区域融合检测算法，其包括以下步骤：

步骤一、利用Ratio算子对图像中的每一个像素点进行计算，以得到该点的Ratio值；

步骤二、在获得图像中各点的Ratio值的基础上，对图像进行Canny边缘检测，通过Canny算法得到初步的边缘信息，然后将各个像素点的Ratio值引入后把边缘断点连接起来，使得整幅图像由多个封闭区域组成；

步骤三、在得到区域信息后对区域内像素点赋灰度均值并进行阈值分割，得到块状分割图像，从而以区域为单元进行后续的融合工作；

步骤四、在融合过程中，以模糊算子为引导对每个区域进行判别，若两幅图像中的某个区域在阈值分割后都被初步地判定为目标，就对该两块区域进行以Ratio均值、纹理信息为特征的模糊融合，最终以隶属度判别该区域是否属于目标。

根据上述的非精确配准下SAR/SPOT图像的区域融合检测算法，其中，步骤三中，基于边缘的分割方法具体包含以下步骤：

1)利用Ratio算子遍历整幅图像得到每点的γ_(i，j)，及一个梯度方向d_(i，j)，其中，γ作为点(i，j)的Ratio值，d_(i，j)为该γ对应的方向；

2)利用Canny高阈值检测图像得到边缘图Edge₁；

3)开始遍历Edge₁，找到一个断点A₁，选取其8邻域中γ值最小，且与点A₁不在一个梯度方向d上的点B，判定点B为边缘，并验证点B是否属于断点；

4)以点B为起点重复步骤3)实现递归，直到该点不再为断点；

5)继续遍历Edge₁，得到新的断点A₂，进行步骤3)；

5)遍历结束，得到图像Edge₂；

6)对Edge₂的每个封闭区域内像素点赋值为该区域均值。

根据上述的非精确配准下SAR/SPOT图像的区域融合检测算法，其中，步骤四中，融合算法包括以下步骤：

1)两幅分割图求交，得到重叠像素点；

2)对包含重叠像素点的区域分别计算其隶属度；

3)进行广义加权平均融合，得到融合隶属度；

4)根据融合隶属度进行图像目标最终解释。

进一步地，根据上述的非精确配准下SAR/SPOT图像的区域融合检测算法，其中，所述隶属度为区域内Ratio算子均值。

进一步地，根据上述的非精确配准下SAR/SPOT图像的区域融合检测算法，其中，所述广义加权平均中的权值为两个传感器的信任度。

进一步地，根据上述的非精确配准下SAR/SPOT图像的区域融合检测算法，其中，所述最终解释为当融合隶属度高于事先预设的阈值时，判定该区区域为目标；反之，该区域为背景。

因此，本发明的非精确配准下SAR/SPOT图像的区域融合检测方法是一种依靠模糊算子判别融合区域类型的方法，其利用某一副图像的区域信息，加上另一幅图像的边缘信息，考虑二者的模糊集融合，利用SAR提供的可靠的目标位置信息和可见光平滑、完整的边缘、纹理信息进行模糊匹配，如果某个区域既属于SAR上的目标区域又在该位置附近搜索到可见光的目标区域，且在模糊集上的融合结果符合条件，则保留该区域为目标信息，否则判定为背景。本发明在复杂背景下道路、桥梁、机场跑道等目标检测中可有广泛的应用。

附图说明

图1为本发明的非精确配准下SAR/SPOT图像的区域融合检测方法的结构示意图；

图2为本发明涉及的Ratio检测算子的结构示意图；

图3为本发明中单传感器下边缘连接以及区域分割的试验结果示意图；

图4为本发明多传感器融合检测的试验结果示意图；

图5为本发明多传感器融合检测的试验结果分析示意图。

具体实施方式

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

本发明的非精确配准下SAR/SPOT图像的区域融合检测方法利用Ratio算子对图像中的每一个像素点进行计算，以得到该点的Ratio值，该值反映了一个点在水平、垂直、45度、135度这4个方向上的灰度变化梯度，从物理意义上讲就是判断该点是否属于边缘和属于边缘的可能性为多大，以及该点若是边缘，其所在边缘的法线方向是如何的。在获得该值的基础上，对图像进行Canny边缘检测，通过Canny经典算法得到初步的边缘信息，然后将各个像素点的Ratio值引入后把边缘断点连接起来，使得整幅图像由多个封闭区域组成。在得到区域信息后对区域内像素点赋灰度均值并进行阈值分割，得到块状分割图像，这样以区域为单元进行后续的融合工作。在融合过程中，以模糊算子为引导对每个区域进行判别，若两幅图像中的某个区域在阈值分割后都被初步地判定为目标，就对该两块区域进行以Ratio均值、纹理信息为特征的模糊融合，最终以隶属度判别该区域是否属于目标。当融合隶属度高于事先预设的阈值时，判定该区域为目标；反之，该区域为背景。

具体地，本发明的非精确配准下SAR/SPOT目标融合检测方法的结构示意图如图1所示。包括以下步骤：

(1)构建如图1所示非精确配准下SAR/SPOT图像的区域融合检测框架；即输入光学图像和SAR图像，分别计算两幅图像相应的每个像素点的Ratio值，然后连接Canay边缘，再进行区域灰度均值赋值，最后计算两幅图中对应区域的模糊隶属度，以得到融合判决结果。

(2)利用Matlab编程实现目标边缘检测算法，边缘连接算法基于Ratio算子，该算子的如图2所示；

(3)通过获取的边缘信息进行区域分割得到初步分割图像如图3(e)所示；

(4)利用广义加权平均算法对两幅图像的分割结果进行融合判定，判定结果如图4(e)所示；

最后，还可以对融合检测结果进行直观的曲线分析，验证融合算法的有效性以及其相比单一传感器的优势。

下面详细介绍以下几个部分：

一、Ratio算子

Ratio边缘检测算子是以SAR图像中某点周围邻域的灰度均值比作为特征量，它的机制是通过计算某点A(x_i，y_i)的邻域被从中心点沿4个方向(0°，45°，90°，135°)分割为两部分的灰度均值之比来确定A点是否属于边缘。以一个大小为N*N的滑动窗口W为例，当窗口中心滑至点A时，对该窗口沿上述4个方向分割为两个等面积的部分W1、W2，各自含有(N²-N)/2个像素。

用作判别的特征值γ＝min(w1/w2，w2/w1)，(0≤γ≤1)其中，

w1＝[∑I(x_i，y_i)]/[(N²-N)/2]，(x_i，y_i)∈W1      (1)

w2＝[∑I(x_i，y_i)]/[(N²-N)/2]，(x_i，y_i)∈W2      (2)

其中，N为滑动窗口的变长，W1、W2为对该窗口沿上述4个方向分割为两个等面积的部分(4种方向可以有4对不同的W1，W2)，W1和W2各自含有(N²-N)/2个像素。w1和w2分别为区域W1和W2中像素的灰度均值；I(x，y)表示图像I中坐标为(x，y)的灰度值。

显然，每个方向的分割均对应于一个γ，由上式得到γ₁，γ₂，γ₃，γ₄，取γ＝min(γ₁，γ₂，γ₃，γ₄)作为该点A的Ratio值，并记录该γ对应的方向。遍历全图，可以得到所有点的γ值，及相应的存在最大梯度差异的方向d。

二、边缘连接并分割

采用Canny算子作为初始的边缘检测算子，因为Canny算法与其他边缘检测算法相比对噪声较为不敏感，可应用于对图像的加性噪声的消除，对存在于SAR图像中的乘性噪声的抑制效果虽然不是很好，但Canny算法的边缘定位能力较强，还是依然能得到较为理想的及检测结果。然后以Ratio算子作为引导将Canny算子检测出的边缘中所有的断点进行连接。

通过连接断点最终得到一幅具有若干个封闭区域的图像。如此设定的原因在于canny算子的阈值设定直接影响到边缘检测的结果，阈值过低容易产生过多的虚假边缘，虚警率高且不利于后期处理；阈值过高则会在处理部分较弱的有效边缘时发生漏检，降低检出率。利用两个算子的有效结合可以得到一组连续的边缘，以实现后期的分割。在得到连续边缘图的基础上，对每个闭合区域进行区域内均值赋值，然后进行阈值判断，最后得到一幅分割后的图像。

本文基于边缘的分割方法具体步骤为：

(1)利用Ratio算子遍历整幅图像得到每点的γ_(i，j)，及一个梯度方向d_(i，j)；

(2)利用Canny高阈值检测图像得到边缘图Edge₁；

(3)开始遍历Edge₁，找到一个断点A1，选取其8邻域中γ值最小，且与点A₁不在一个梯度方向d上的点B，判定点B为边缘，并验证点B是否属于断点；

(4)以点B为起点重复步骤(3)实现递归，直到该点不再为断点；

(5)继续遍历Edge₁，得到新的断点A₂，进行步骤(3)；

(6)遍历结束，得到图像Edge₂；

(7)对Edge₂的每个封闭区域内像素点赋值为该区域均值。

三、SAR/SPOT融合检测

SAR成像的过程是从回波信号中提取地表的雷达后向散射系数，所以图像反映的是被测地域对微波的散射特性。只有具有相同后向散射系数的地域，才能获得相同的图像灰度，而这两部分地域的光学特性并不一定相同。同理，这也意味着即使在可见光中呈与目标灰度特征类似的区域，在SAR中不一定是类似的，融合检测即是利用这个成像差异，来达到改善检测结果的目的。

四、基于模糊算子对的图像区域融合

在隶属度的确定上，由于机场、跑道等目标对SAR和SPOT传感器都属均匀区域。采用图像区域的Ratio均值

特征进行判定，认为区域Ratio均值越小，该区域对目标类的隶属度越高，其中R为该区域，N为区域中像素总数。

而在区域融合中，最容易理解的融合策略就是“一票赞成”法和“一票否决法”。所谓“一票赞成法”，就是如果待融合的像素在任意一幅影像中被判定为目标，就认为它是目标，而“一票否决法”相当于待融合像素在任意一幅影像中被确认为背景，就否认其为目标。假设目标以“1”代表，背景用“0”代表，融合后的目标的属性在“一票赞成”的情况下相当于对应像素属性的“或”，融合区域相当于所有待融合目标区域的“并集”，而“一票否决”则可以认为是像素属性的“与”，融合区域是所有待融合目标区域的“交集”。

但在实际的影像处理过程中，目标属于类别的程度具有一定的模糊度，相应的各融合影像的目标区域为模糊子集，则“并集”，“交集”的概念就建立在模糊子集“并、交”的概念上，根据Zadeh关于模糊集定义和运算法则：

设论域u的模糊子集为F(U)，子集A，B∈F(U)，a_A，a_B分别代表A和B的隶属度函数，定义模糊子集并与交的隶属度函数：

a_A∩b(U)＝min(a_A(U)，a_B(U))        (3)

a_A∪b(U)＝max(a_A(U)，a_B(U))        (4)

这样设定融合后目标的隶属度会造成信息丢失过多，选择合取(取并)过分强调了信息之间的增强型和互补性，选择析取(取交)又过分强调了信息之间的一致性。在图像融合中，合取在提高检测概率的同时也增大了虚警，析取在减少虚警的同时又降低了检测概率。如何解决虚警和检测概率之间的平衡是非常重要的，采用广义模糊算子对可以很好地解决这个问题。

由于Gabor滤波器不同的参数建立的目标直方图相似，只选取方向坐标转换角度θ＝0°，方差σ²＝5的滤波器，其中σ越大能量越分散，越小越集中。将目标图像与滤波器进行卷积，对卷积后的纹理图像计算灰度直方图，得到纹理特征信息。

Zadeh算子的广义“交”是所有取交运算中最大的，广义“并”是所有取并运算中最小的，而上文已经分析了在图像融合的过程中，max和min各有缺点，试图通过另一个算子对，实现融合后的隶属度a_AB(U)满足：

min(a_A(U)，a_B(U))≤a_AB(U)≤max(a_A(U)，a_B(U))     (5)

五、广义加权平均算子

当融合后目标隶属度满足公式(5)，该算子可以理解为一种在保留目标一致性的同时，通过加入信息间的相关性来解决决策冲突。

广义加权平均的公式为：

$a_{\mathrm{AB}}\left(U\right)=\frac{p_A*a_A\left(U\right)+p_B*a_B\left(U\right)}{p_A+p_B}---\left(6\right)$

其中，P_A和P_B分别为子集A和B的权值，上式满足条件，可以作为融合图像的模糊隶属度计算公式。通过上式可以做到，当目标在不同传感器中的属性一致时，目标被增强；二者属性互斥时，目标被弱化。

在对SAR和SPOT进行机场、跑道等均匀目标的融合时，对于各传感器的信任度，可以采用该类传感器在相似条件下的表现作为依据。所以采用SAR以及SPOT单一传感器在通过Ratio算子进行区域分割以实现目标检测时的检测概率为其相应的权值。

融合算法描述：

(1)两幅分割图求交，得到重叠像素点；

(2)对包含重叠像素点的区域分别计算其隶属度，即区域内Ratio算子均值；

(3)进行广义加权平均融合，得到融合隶属度，其中，权值为两个传感器的信任度；

(4)根据融合隶属度进行图像目标最终解释。当融合隶属度高于事先预设的阈值时，判定为目标；反之，为背景。

通过引入Ratio算子，需要额外计算的信息为每块区域的ratio均值，该值在边缘检测步骤中已经得到，可直接调用，N为符合条件的区域个数时，该步骤算法复杂度为O(5N)＝O(N)。

目标融合检测算法分为{融合检测}和{结果分析}两大内容。其中，{融合检测}包涵了{Ratio+Canny边缘算子}、{均值赋值}、{边缘连接}、{广义加权平均}和{模糊隶属度判别}等检测算法。基于Matlab7.0平台的多源图像融合评价结果如图5所示。

图3为边缘连接以及图像分割试验结果的示意图。其中：(a)为原始图像，(b)为Canny边缘检测，(c)为连接结果，(d)为区域填充结果，(e)为阈值判断结果。图(b)中的Canny边缘检测提供了图像中边缘的初步检测结果，但仍有大部分的边缘不够清晰完整，如机场左侧与大楼连接部分。图(c)中利用Ratio算子进行断边的连接，尽管出现了很多虚假边缘，但却将图像中所有的边缘实现了闭合。图(d)对图(c)中的所有区域进行了区域均值赋值，可以看出机场跑道与周围复杂背景已经明显区分开来并且目标的主题信息足够完整。图(e)最后对图(d)进行阈值分割，彻底地将机场目标检测出来。

图4为多传感器融合检测试验结果示意图。可见，多传感器融合检测为实现目标信息从背景中抽离、去除虚假信息提供了一种非常有效的技术手段。图(a)、图(b)分别为SPOT和SAR传感器下某机场的遥感图像，图中圈中部分为特别注意区域，该区域内存在于目标特性相似的景物，本文算法并未对其进行处理，在后期的处理中可以通过线状目标特征检测对该区域进行判除。图(c)和图(d)分别为SPOT和SAR利用本文算法进行的单一传感器检测结果，图(e)为融合检测结果。相比图(c)，融合后的检测图像信息量明显减少但主体信息依然被完整地保留了下来。

图5为试验结果分析图。结合下表

可以看出，在目标与背景的分离的能力上，SPOT图像中机场周围景物复杂，背景杂物与目标灰度相似，SPOT单一传感器的检测虚警率为25.39％，而在SAR图像中目标相对独立；从目标自身完整性及连续性看，SPOT图像明显要优于SAR图像，SAR的单一传感器检测概率为65.58％。目标周围的辅助建筑与目标对雷达的反射特性不同，而在可见光下难以区分，通过SAR图像准确地描绘出目标的位置，通过广义模糊算子与SPOT进行融合，在SPOT中被认为是目标的地物由于其在SAR中呈现明显的不均匀状态，或根本不认为是目标，故而被舍弃，最终保留下来的区域即认为是目标，实现了融合检测的目的，相对于SAR和SPOT单一传感器检测而言分别提高了检测概率、降低了虚警，融合后的虚警率仅为10.01％。可以看出，SPOT检测概率与融合检测概率保持一致，而虚警率在融合后有效下降到10％以下，表明通过该算法可以有效地在保证检测概率不降低的情况下降低虚警，达到了融合增强的目的。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，包括以下步骤：

步骤一、利用Ratio算子对图像中的每一个像素点进行计算，以得到该点的Ratio值；

步骤二、在获得图像中各点的Ratio值的基础上，对图像进行Canny边缘检测，通过Canny算法得到初步的边缘信息，然后将各个像素点的Ratio值引入后把边缘断点连接起来，使得整幅图像由多个封闭区域组成；

步骤三、在得到区域信息后对区域内像素点赋灰度均值并进行阈值分割，得到块状分割图像，从而以区域为单元进行后续的融合工作；

步骤四、在融合过程中，以模糊算子为引导对每个区域进行判别，若两幅图像中的某个区域在阈值分割后都被初步地判定为目标，就对该两块区域进行以Ratio均值、纹理信息为特征的模糊融合，最终以隶属度判别该区域是否属于目标。

2.根据权利要求1所述的非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，步骤三中，基于边缘的分割方法具体包含以下步骤：

1)利用Ratio算子遍历整幅图像得到每点的γ_(i，j)，及一个梯度方向d_(i，j)其中，γ作为点(i，j)的Ratio值，d_(i，j)为该γ对应的方向；

2)利用Canny高阈值检测图像得到边缘图Edge₁；

3)开始遍历Edge₁，找到一个断点A₁，选取其8邻域中γ值最小，且与点A₁不在一个梯度方向d上的点B，判定点B为边缘，并验证点B是否属于断点；

4)以点B为起点重复步骤3)实现递归，直到该点不再为断点；

5)继续遍历Edge₁，得到新的断点A₂，进行步骤3)；

5)遍历结束，得到图像Edge₂；

6)对Edge₂的每个封闭区域内像素点赋值为该区域均值。

3.根据权利要求1所述的非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，步骤四中，融合算法包括以下步骤：

1)两幅分割图求交，得到重叠像素点；

2)对包含重叠像素点的区域分别计算其隶属度；

3)进行广义加权平均融合，得到融合隶属度；

4)根据融合隶属度进行图像目标最终解释。

4.根据权利要求3所述的非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，所述隶属度为区域内Ratio算子均值。

5.根据权利要求3所述的非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，所述广义加权平均中的权值为两个传感器的信任度。

6.根据权利要求3所述的非精确配准下SAR/SPOT图像的区域融合检测算法，其特征在于，所述最终解释为当融合隶属度高于事先预设的阈值时，判定该区区域为目标；反之，该区域为背景。

Images