CN103927741B - 增强目标特征的sar图像合成方法 - Google Patents

Abstract

本发明提出的增强目标特征的SAR图像合成方法，旨在提供一种有效的利用SAR图像和光学图像进行合成，从而增强目标特征的方法。本发明通过下述技术方案予以实现：首先获取从同一场景拍摄到的光学图像和SAR图像，经计算机中的色彩转换模块对光学图像进行色彩预处理；利用恒虚警检测SAR图像中的高亮点，对亮点进行区域合并后利用目标先验信息及特征完成检测后处理，剔除虚警，将SAR图像分成目标区域和背景区域；光学图像目标特征提取模块利用SAR图像目标位置信息，提取光学图像目标区域及目标特征；最后通过图像合成模块将SAR图像与光学图像进行三通道彩色图像合成，将提取到的光学图像目标边缘叠加到合成图像中生成最终合成图像。

Description

增强目标特征的SAR图像合成方法

技术领域

本发明是关于图像处理领域的目标图像合成技术，特别是涉及目标特征增强的SAR图像合成方法。

背景技术

近几年来合成孔径雷达(SAR)成像技术的成熟使其成为对地观测的一种重要手段。SAR具有全天候、全天时成像的特点，且能发现隐藏在树丛、草堆、地表下的目标。与光学、红外图像相比，SAR成像质量受气候与昼夜因素的影响较小，但是它也有图像分辨率低等缺点，且图像不易人眼判读。

图像合成技术将多个传感器探测到的图像通过特定方式合成，从而提供更加清晰的图像细节信息。光学图像成像分辨率较高，可获得较为丰富的颜色、形状和纹理信息。因此，在SAR图像中自动提取目标区域，将SAR图像、光学图像与目标图像合成，充分利用光学图像中获取的目标特征信息，可以有效的提高合成图像中目标对比度，减小对目标解译、识别的误差和不确定性。

在多传感器图像合成方面，近年来国外使用红外与可见光流式数据进行变比例合成，取得了较好的效果，且已经得到实际应用。不足是没有对目标信息进行单独处理。而SAR图像由于成像机理与红外图像有很大不同，不能以流式数据与光学图像进行合成，且SAR图像中目标特性与红外目标特性也有很大差异。因此，国外的方法并不适用。

目前，国内在SAR图像合成方面的研究较少，但在SAR与光学图像融合方面开展了一些研究，主要包括：

(1)主成分变换(PCA)，多光谱图像进行PCA变换，提取第一主成分后，再将全色波段图像拉伸到第一主成分的方差和均值；用拉伸后的全色波段图像代替第一主成分，进行逆PCA变换，得到融合后图像。基于PCA变换的图像融合在保持图像的清晰度方面有优势。

(2)IHS变换融合，把光学图像的3个波段合成的RGB假彩色图像变换到IHS色度空间，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成融合后影像。

(3)Brovey融合，将参与RGB组合的每个波段与该组合波段总和做比值计算进行正规化，以保持低分辨率影像的光谱分辨率，然后将比值结果乘以高分辨率波段的亮度以获取高频空间信息，优点是锐化影像的同时能够保持原多光谱影像的信息内容，具有很高的光谱信息保真度。缺点是对中高光谱的低空间分辨率RGB组合选择比较麻烦。

(4)高通滤波融合，采用高通滤波来抑制高分辨率影像中的低频光谱信息和增强高频空间信息，处理后的高分辨率影像和低分辨率影像相加可以达到提高低分辨率影像的空间分辨率。

(5)小波变换融合，对参与融合的遥感图像数据进行小波正变换，将图像分解为高频信息和低频信息。分别抽取来自高空间分辨率影像分解后的高频信息和低空间分辨率的低频信息进行小波逆变换，生成融合图像。

上述方法主要针对图像像素进行，不具备明显的目标指示特性，没有充分发挥SAR图像目标探测能力的优势。

发明内容

本发明目的在于提供一种增强目标特征的SAR图像合成方法，实现SAR图像和光学图像的合成并增强目标特征。

为达到上述的目的，一种增强目标特征的SAR图像合成方法，步骤如下：

首先将从外景获得的经过配准的合成孔径雷达SAR图像和光学数字图像读入计算机内存图像合成程序软件，经计算机中的色彩转换模块对光学图像进行色彩预处理，按红R、绿G、蓝B分成三分量彩色图像像素，并将彩色图像经亮度计算转换为灰度图像；SAR图像目标提取模块提取目标区域信息，将SAR图像的归一化直方图作为统计分布模型，将SAR图像分成目标区域和背景区域，然后通过恒虚警目标检测SAR图像中的高亮点，并依据图像合成程序中预先存储的先验目标标记信息对亮点的目标形状、位置特征进行区域合并形成SAR目标区域图像，同时剔除虚警；目标特征提取模块利用SAR图像检测到的目标区域位置信息作为初始目标位置参考，采用最大方差法对光学图像进行目标区域分割，提取光学图像的目标区域和边缘特征；图像合成模块将SAR目标区域图像、SAR背景区域图像和光学图像分别放在不同颜色通道上计算出彩色合成图像，对三通道彩色图像进行初次合成，最后将提取到的光学图像目标边缘叠加到合成图像中生成合成图像。

本发明相比于现有技术具有如下显著优点：

本发明根据SAR图像与光学图像的特点，通过恒虚警目标检测、目标图像合成、目标边缘增强等处理，对SAR与光学图像完成目标区域提取与图像合成，经恒虚警检测后综合利用SAR图像中目标形状、位置特征进行区域合并，并利用目标先验信息剔除虚警，目标区域提取结果准确；采用三通道目标图像合成技术计算出彩色合成图像，目标背景细节清晰，且在图像合成过程中利用目标合成系数对目标显示效果进行控制，提高了目标对比度，突出了合成图像中的目标视觉效果；利用提取出的目标边缘特征增强目标图像，图像具备鲜明的目标指示特性，有利于后续的目标精确定位和识别。

附图说明

为了更清楚地理解本发明，现将通过本发明实施方式，同时参照附图，来描述本发明，其中：

图1是本发明增强目标特征SAR图像合成流程图。

图2是本发明利用SAR图像完成目标检测的流程图。

图3是本发明图像合成与目标增强处理的流程图。

具体实施方式

参阅图1。根据本发明提出的一种增强目标特征的SAR图像合成方法，首先将从外景获得的经过配准的合成孔径雷达SAR图像和光学数字图像读入计算机内存图像合成程序软件，经计算机中的色彩转换模块对光学图像进行色彩预处理，按红R、绿G、蓝B分成三分量彩色图像像素，并将彩色图像经亮度计算转换为灰度图像；SAR图像目标提取模块提取目标区域信息，将SAR图像的归一化直方图作为统计分布模型，将SAR图像分成目标区域和背景区域，然后通过恒虚警目标检测SAR图像中的高亮点，并依据图像合成程序中预先存储的先验目标标记信息对亮点的目标形状、位置特征进行区域合并形成SAR目标区域图像，同时剔除虚警；目标特征提取模块利用SAR图像检测到的目标区域位置信息作为初始目标位置参考，采用最大方差法对光学图像进行目标区域分割，提取光学图像的目标区域和边缘特征；图像合成模块将SAR目标区域图像、SAR背景区域图像和光学图像分别放在不同颜色通道上计算出彩色合成图像，对三通道彩色图像进行初次合成，最后将提取到的光学图像目标边缘叠加到合成图像中生成合成图像。

上述利用目标特征增强的SAR图像合成的方法，具体可以通过如下步骤予以实现：

1)由计算机图像合成程序读入经过配准的SAR图像和光学数字图像，经计算机程序色彩转换模块进行亮度计算，通过亮度计算将三分量为R、G、B的彩色图像转换为灰度图像，转换后灰度图像的像素亮度按以下公式计算：

I＝0.114B+0.587G+0.299R

其中，R、G、B分别代表对应点的彩色图像像素的红色、绿色和蓝色分量的亮度值。

2)计算机中的SAR图像目标提取模块利用恒虚警的方法检测SAR图像中的高亮点的步骤为：

第一，SAR图像目标提取模块对于输入灰度范围为[O，N]的SAR图像X(i，j)，计算SAR图像的归一化统计直方图，并记为F(x)，则：

式中，#{X(i，j)=k}表示图像X(i，j)中灰度值为k的像素个数，#{X(i，j)}表示图像X(i，j)的像素个数。

第二，SAR图像目标提取模块根据虚警率计算亮点检测的阈值T，在计算得到的阈值T中，提取SAR图像中的高亮点像素，得到阈值分割结果

$X^{\text{'}}(i,j)=\left\{\begin{array}{cc}1,& X(i,j)\&GreaterEqual;T\\ 0,& X(i,j)<T\end{array}\right.;$

3)在SAR图像目标检测处理中，SAR图像目标提取模块根据亮点像素的密度自动剔除分割结果X′(i，j)中的孤立点，具体实现方法为：给定阈值分割结果X′(i，j)，如果X′(i，j)=1，统计像素(i，j)所在窗口内的亮点个数D(i，j)；如果X′(i，j)=0，

记D(i，j)=0，且亮点密度

然后，根据亮点密度D(i，j)剔除X′(i，j)中的孤立点，记处理结果为X″(i，j)，具体实现方法为：若D(i，j)小于设定的密度阈值D_T，则将相应位置的X″(i，j)值为0，可描述为下式

$X^{\&prime;\&prime;}(i,j)=\left\{\begin{array}{cc}1,& D(i,j)\&GreaterEqual;D_T\\ 0,& 0,D(i,j)<D_T\end{array}\right.$

SAR图像目标提取模块对剔除孤立点后的亮点图像进行标号，使得同一连通区域内的亮点具有相同的标号，不同连通区域具有不同的标号，然后统计各连通区域的信息，并记为如下具有4个分量的结构体数据：R(k)={′Label′，′PointNum′，′Location′，′Rect′}

其中，四个分量分别表示连通区域的标号′Label′、像素点数′PointNum′、质心位置′Location′和最小外接矩形′Rect′，k表示连通区域的序号。

SAR图像目标提取模块根据各连通区域的信息进行区域合并，形成候选目标区域。具体实现方法为：对任意两个不同的连通区域R(m)和R(n)，计算两连通区域质心位置之间的距离Dis(m，n)=|R(m).Location-R(n).Location|

式中，m和n是连通区域的序号。

设DisT是程序预先给定的区域合并距离阈值，如果Dis(m，n)<DisT，则合并R(m)和R(n)，形成一个新的连通区域R(k)。R(k)的域信息可由下式确定

重复以上过程直至所有连通区域之间的距离都不小于DisT，此时的连通区域即为候选目标区域；

SAR图像目标提取模块根据下式自动计算各候选目标区域R(k)的相关特征长-L、宽-W、大小-Size、面积比-Ratio：

其中，R(k).Rect表示目标区域R(k)的外接矩形Rect的结构体数据，其中包含的四个分量分别表示外接矩形Rect的最大列数据MaxCol、、最小列数据MinCol、最大行数据MaxRow和最小行数据MinRow。

SAR图像目标提取模块根据目标的先验信息，剔除不符合目标特征的区域，同时，将相应的连通区域标记为背景。这样，SAR图像目标区域可形成目标图像Target(i，j)，i和j分别为图像的行列坐标。

计算机剔除不符合目标特征的区域的公式如下：

$\begin{array}{c}T\arg \mathrm{et}(i,j)\\ =\begin{array}{c}\left\{\begin{array}{c}\begin{array}{cc}\mathrm{SAR}(i,j)& \mathrm{if}(L\&Element;[L_{\min },L_{\max }\left]\right)\&cap;(W\&Element;[W_{\min },W_{\max }\left]\right)\&cap;\end{array}\\ (\mathrm{Size}\&Element;[{\mathrm{Size}}_{\min },{\mathrm{Size}}_{\max }\left]\right)\&cap;(\mathrm{Ratio}\&Element;[{\mathrm{Ratio}}_{\min },{\mathrm{Ration}}_{\max }\left]\right)\\ \begin{array}{cc}0& \mathrm{else}\end{array}\end{array}\right.\end{array}\end{array}$

其中，L_min和L_max分别是目标的先验长度的最大值和最小值。其他依次类推。

SAR图像目标提取模块通过如下公式获得SAR图像目标在X轴和Y轴的坐标信息：

$\begin{array}{cc}{X}_k=\frac{\mathrm{\&Sigma;R}\left(k\right),x_j}{\mathrm{Size}}& Y_k=\frac{\mathrm{\&Sigma;R}\left(k\right),y_j}{\mathrm{Size}}\end{array}$

式中，X_k和Y_k分别为SAR目标在X轴和Y轴的坐标，Size为目标区域R(k)的大小，(x_i，y_i)为目标区域R(k)中像素点的坐标。

4)光学图像目标分割的步骤为：

在光学图像目标分割中，设光学图像的灰度级为L，灰度为i的像素的个数为ni，图像总像素数为N，则可计算出各灰度级出现的概率为pi=ni／N。在光学图像分割中，假设目标特征提取模块程序可按照图像灰度级用阈值t将灰度划分为背景C₀=(0，1，…，t)和目标C₁=(t+1，t+2，…，L-1)，则C₀和C₁出现的概率ω₀和ω₁分别为：

${\mathrm{\&omega;}}_0=\underset{i=0}{\overset{t}{\mathrm{\&Sigma;}}}{p}_i$

${\mathrm{\&omega;}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\&Sigma;}}}{p}_i=1-{\mathrm{\&omega;}}_0$

C₀和C₁出现的平均灰度μ₀和μ₁分别为：

${\mathrm{\&mu;}}_0=\underset{i=0}{\overset{t}{\mathrm{\&Sigma;}}}i\&CenterDot;p_i/{\mathrm{\&omega;}}_0=\mathrm{\&mu;}\left(t\right)/\mathrm{\&omega;}\left(t\right)$

${\mathrm{\&mu;}}_1=\underset{i=t+1}{\overset{L-1}{\mathrm{\&Sigma;}}}i\&CenterDot;p_i/{\mathrm{\&omega;}}_1=\mathrm{\&mu;}-\mathrm{\&mu;}\left(t\right)/1-\mathrm{\&omega;}\left(t\right)$

式中，μ为每个窗口对应的图像子区域的像素灰度平均值，μ(t)是阈值为t时的灰度平均值，ω(t)是阈值为t时的C₀类出现的概率。

全部采样的灰度的平均值μ=ω₀μ₀+ω₁μ₁

类间方差

σ²=ω₀(μ₀-μ)²+ω₁(μ₁-μ)²

最大类间方差分割法(也称作大津法)把两类的类间方差作为判别准则，当σ²值最大时的图像灰度t^*即为最佳分割阈值t^*=Argmax_0〈t<L-1ω₀(μ₀-μ)²+ω₁(μ₁-μ)²。

计算机中的目标特征提取模块采用SAR图像目标区作为掩膜，利用t^*分割光学图像EO，将光学图像中像素灰度大于t^*的像素形成一幅新的图像TargetEO，则：

$T\arg \mathrm{etEO}(i,j)=\left\{\begin{array}{cc}\mathrm{EO}(i,j)& \mathrm{EO}(i,j)>t^{*}\\ 0& \mathrm{EO}(i,j)<t^{*}\end{array}\right.$

其中，i和j分别为图像的行列坐标。

5)光学图像目标特征提取的方法为：

目标边缘特征提取是在对应的光学图像目标区TargetEO中，利用Canny算子模板提取目标区域的边缘特征。计算机完成边缘提取后，形成的边缘图像为Edge(i，j)，i和j分别为图像的行列坐标。

6)SAR图像与光学图像进行三通道彩色图像合成的方法为：SAR图像与光学图像进行三通道彩色图像合成时，计算机中的图像合成模块新生成一幅合成图像H，图像大小与SAR和光学图像大小相同。将SAR图像的目标区域、背景区域和光学图像分别放在合成图像不同通道：

$H(i,j)\left\{\begin{array}{c}R(i,j)=\left(\frac{\mathrm{val}}{100}\right)\&times;\mathrm{SAR}(i,j)\\ G(i,j)=(1-\frac{\mathrm{val}}{100})\&times;\mathrm{EO}(i,j)\\ B(i,j)=\mathrm{\&mu;}\&times;T\arg \mathrm{et}(i,j)\end{array}\right.$

式子中，R(i，j)、G(i，j)、B(i，j)分别为合成图像H(i，j)的红、绿、蓝三通道颜色，SAR(i，j)为SAR图像，EO(i，j)为光学图像，Target(i，j)为SAR图像目标区域，val为合成系数，取值从0到100之间，μ为目标合成系数，取值0到1之间。

7)目标增强处理，计算机中的图像合成模块将提取到的光学图像目标边缘Edge(i，j)叠加到合成图像中，叠加公式为：

H^*(i，j)=H(i，j)+τ×Edge(i，j)

式中，H(i，j)是合成图像，H^*(i，j)为最终目标增强图像，T为边缘增强系数，取值0到1之间。

Claims (10)

1.一种增强目标特征的SAR图像合成方法，其特征在于包括如下步骤：

首先将从外景获得的经过图像配准的合成孔径雷达SAR图像和光学数字图像读入计算机内存中的图像合成程序软件，经计算机中的色彩转换模块对光学图像进行色彩预处理，按红R、绿G、蓝B分成三分量彩色图像像素，并将彩色图像经亮度计算转换为灰度图像；SAR图像目标提取模块提取目标区域信息，将SAR图像的归一化直方图作为统计分布模型，将SAR图像分成目标区域和背景区域，然后通过恒虚警目标检测SAR图像中的高亮点，并依据图像合成程序中预先存储的先验目标标记信息对亮点的目标形状、位置特征进行区域合并形成SAR目标区域图像，同时剔除虚警；目标特征提取模块利用SAR图像检测到的目标区域位置信息作为初始目标位置参考，采用最大方差法对光学图像进行目标区域分割，提取光学图像的目标区域和边缘特征；图像合成模块将SAR目标区域图像、SAR背景区域图像和光学图像分别放在不同颜色通道上计算出彩色合成图像，对三通道彩色图像进行初次合成，最后将提取到的光学图像目标区域和边缘特征叠加到合成图像中生成合成图像。

2.如权利要求1所述的增强目标特征的SAR图像合成方法，其特征在于：转换后灰度图像的像素亮度按以下公式计算：I＝0.114B+0.587G+0.299R

其中，R、G、B分别代表对应点的彩色图像像素的红色、绿色和蓝色分量的亮度值。

3.如权利要求1所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像目标提取模块对于输入灰度范围为[0,N]的SAR图像X(i,j)，计算SAR图像统计的归一化直方图，并记为F(x)，则：

式中，#{X(i,j)＝k}表示图像X(i,j)中灰度值为k的像素个数，#{X(i,j)}表示图像X(i,j)的像素个数，N为自然数。

4.如权利要求3所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像目标提取模块根据虚警率计算亮点检测的阈值T，在计算得到的阈值T中，提取SAR图像中的高亮点像素，得到阈值分割结果

5.如权利要求1所述的增强目标特征的SAR图像合成方法，其特征在于：在恒虚警目标检测处理中，SAR图像目标提取模块根据亮点像素的密度自动剔除分割结果X′(i,j)中的孤立点；给 定阈值分割结果X′(i,j)，如果X′(i,j)＝1，统计像素(i,j)所在窗口内的亮点个数D(i,j)；如果X′(i,j)＝0，记D(i,j)＝0，且

6.如权利要求5所述的增强目标特征的SAR图像合成方法，其特征在于：若D(i,j)小于设定的密度阈值D_T，则将相应位置的分割结果X″(i,j)值为0，描述为下式

7.如权利要求5所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像目标提取模块对剔除孤立点后的亮点图像进行标号，使得同一连通区域内的亮点具有相同的标号，不同连通区域具有不同的标号，然后统计各连通区域的信息，并记为如下具有4个分量的结构体数据：

R(k)＝{′Label′,′PointNum′,′Location′,′Rect′}，

其中，四个分量分别表示连通区域的标号′Label′、像素点数′PointNum′、质心位置′Location′和最小外接矩形′Rect′，k表示连通区域的序号。

8.如权利要求7所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像目标提取模块根据各连通区域的信息进行区域合并，形成候选目标区域，对任意两个不同的连通区域R(m)和R(n)，计算两连通区域质心位置之间的距离Dis(m,n)＝|R(m).Location-R(n).Location|，式中，m和n是连通区域的序号。

9.如权利要求1所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像目标提取模块根据下式自动计算各目标区域R(k)的相关特征长-L、宽-W、大小-Size、面积比-Ratio：

式中，R(k).Rect表示目标区域R(k)的外接矩形Rect的结构体数据，其中包含的四个分量分别表示外接矩形Rect的最大列数据MaxCol、最小列数据MinCol、最大行数据MaxRow和最小行数据MinRow。

10.如权利要求1所述的增强目标特征的SAR图像合成方法，其特征在于：SAR图像与光学图像进行三通道彩色图像合成时，图像合成模块新生成一幅合成图像H，图像大小与SAR和光学图像大小相同，将SAR图像的目标区域、背景区域和光学图像分别放在合成图像不同通道：

式子中，R(i,j)、G(i,j)、B(i,j)分别为合成图像H(i,j)的红、绿、蓝三通道颜色，SAR(i,j)为SAR图像，EO(i,j)为光学图像，Target(i,j)为SAR图像目标区域，val为合成系数，取值从0到100之间，μ为目标合成系数，取值0到1之间。