CN102521818A - 一种基于nsct的sar图像和可见光图像的融合方法 - Google Patents

Abstract

本发明涉及一种基于NSCT的SAR图像与可见光图像融合方法，其特征在于：首先，对SAR图像和可见光图像分别进行NSCT分解；然后，采用不同的融合规则对NSCT低频和高频子带系数进行融合处理，其中，根据噪声和信号在NSCT域的分解系数特性，先对SAR图像最大分解尺度下的NSCT高频子带系数进行硬阈值去噪，再以阈值处理后系数为基础分别采取不同融合规则对最大分解尺度和其他分解尺度下的NSCT高频子带系数进行融合处理；最后，对融合后的NSCT系数进行NSCT逆变换，得到融合图像。该方法将去噪作为融合规则设计的依据，融合处理的同时兼顾噪声抑制，方法简单易行，能够取得很好的融合效果，特别对斑点噪声污染严重的SAR图像和可见光图像的融合比较适用。

Description

一种基于NSCT的SAR图像和可见光图像的融合方法

技术领域

本发明涉及一种基于非下采样Contourlet变换(Nonsubsampled ContourletTransform，NSCT)的合成孔径雷达(Synthetic Aperture Radar，SAR)图像和可见光图像的融合方法，设计了一种有效抑制斑点噪声并充分保留源图像重要特征的融合规则，可以应用于各类军用或民用的图像处理系统。

背景技术

随着航天技术的迅猛发展，在遥感测量领域，由单一可见光遥感模式逐渐发展成多种传感器遥感模式，特别是近几年来，SAR遥感越来越受到人们的关注，作为一种主动式遥感系统，SAR对目标的几何特性非常敏感，反映在图像上常常是非常暗或亮的点或区域，而可见光对目标的物理和化学属性(如反射率、反照率、颜色)则更为敏感，图像主要反映了不同地物的轮廓与光谱信息。将SAR图像与可见光图像融合，可以充分利用其互补信息，获得地物的多层次特性，进一步揭示地物的本质特征。针对SAR与可见光图像的融合一直很难获得令人满意的效果，这是因为：SAR图像会受到相干斑噪声干扰；SAR与可见光图像光谱差异大，互补性强，对应区域可能存在极性完全相反的情况。这给融合方法加大了难度，以往融合方法常会出现融合噪声严重、对比度低、重要信息丢失以及光谱扭曲严重等现象。

基于小波分析的图像融合技术是目前遥感图像融合研究的主流，其中多尺度几何分析图像融合算法一直是热点研究方法，随着多尺度几何工具研究的日益深入，M.N.Do和M.Vetterli提出了一种“真正的”二维图像的表示方法Contourlet变换。Contourlet基的支撑区间是随尺度而变化的“长条形”结构，因而能具有比小波变换更好的多分辨率、局部性、方向性和各向异性，能更加有效的捕获图像的边缘信息。但是由于其变换过程中的下采样操作，信号频谱会产生混叠现象，融合图像中则表现为较明显的吉布斯现象。Arthur L.da Cunha等根据构造非下采样小波的启发提出了一种非下采样Contourlet变换(Nonsubsampled Contourlet transform，NSCT)，该变换以冗余度换取了平移不变性，克服了Contourlet变换的频谱混叠现象。基于此将NSCT引入图像融合，可以充分利用NSCT变换的多尺度、多方向的分解能力及强大的稀疏表示能力，利用变换系数有效地表征和提取图像中的边缘、轮廓及纹理等重要特征，抑制噪声、提高融合效果和质量。目前国内外已有学者提出了基于NSCT的图像融合方法，但大多都是应用于融合相对容易处理的同质图像源，如多聚焦图像融合、多光谱和全色图像融合等。针对SAR与可见光图像的融合大都处理噪声干扰小的图像源或是对去噪后的图像融合，直接对噪声严重的SAR与可见光图像的融合方法鲜有报道。

现阶段常用的基于NSCT的图像融合方法都是在像素级的图像融合方法，所采用的融合规则都是基于像素点以及窗口规则的，这些方法对SAR图像与可见光图像的融合存在以下问题：1)对NSCT分解系数仅作了低频和高频的划分，没有更精细的区分，融合规则比较粗糙；2)抑制噪声能力差，融合方法如果没有考虑抑制噪声的因素，会对融合结果造成严重影响，而如果在融合前进行滤波去噪处理，又会使图像的重要特征信息出现模糊的现象；3)抑制噪声和融合一般都作为两个独立的步骤，这样浪费了存储空间，同时耗时较多。

基于此，本发明提出了一种最大尺度硬阈值去噪的方法，在此基础上设计了一种有效抑制斑点噪声并充分保留源图像重要特征的融合规则，将去噪作为融合规则设计的一个步骤，突破了以往先对SAR图像进行降斑，再与其他图像进行融合的方法，是一种比较新颖的图像融合方法。理论上这种方法不仅能有效抑制斑点噪声并可以充分保留源图像重要特征。

发明内容

要解决的技术问题

以往融合方法对SAR图像与可见光图像很难获得令人满意的效果，尤其是对相干斑噪声干扰严重的SAR图像，本发明提出了一种基于NSCT的SAR图像和可见光图像的融合方法。

本发明的思想在于：NSCT变换具有多尺度、多方向的分解能力及强大的稀疏表示能力，并且克服了Contourlet变换过程中下采样造成的吉布斯现象，利用变换系数能有效地表征和提取图像中的边缘、轮廓及纹理等重要特征；同时，NSCT作为一种多尺度分析工具，同小波一样在时频域都具有较好的局部性，其多尺度特性使得NSCT变换对信号具有一种“集中”的能力，自然图像的NSCT变换系数集中于少数幅值较大的系数上，而噪声的变换系数均匀分布于整个尺度空间，幅度相差不大，并且随着尺度的增大，噪声的变换系数迅速减小，从这点出发，根据噪声和信号在NSCT域的分解系数特性，提出了一种最大尺度硬阈值去噪的方法，在此基础上设计了一种有效抑制斑点噪声并充分保留源图像重要特征的融合规则，将去噪作为融合规则设计的一个步骤，融合规则设计简单易行，不仅噪声得到了有效的抑制，同时也得到了很好的融合结果。

技术方案

一种基于NSCT的SAR图像和可见光图像的融合方法，其特征在于：

步骤1：对已配准的待融合SAR图像和可见光图像分别进行NSCT分解，得到各自的NSCT系数

和

其中，

为SAR图像第j尺度下第k个方向的NSCT高频子带系数，L^SAR为SAR图像的NSCT低频系数，

为可见光图像第j尺度下第k个方向的NSCT高频子带系数，L^PAN为可见光图像的NSCT低频系数，所述的j表示NSCT分解尺度，j＝1，2，Λ，J，J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2^j；

步骤2：按融合规则对步骤1得到的SAR图像和可见光图像各自的NSCT系数

和

进行融合，得到融合后的NSCT系数；

所述的融合规则为：

a.最大分解尺度下NSCT高频子带系数融合

首先，按 ${\tilde{H}}_{J,k}^{\mathrm{SAR}}(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^{\mathrm{SAR}}(m,n)\&GreaterEqual;T_k\\ 0& H_{J,k}^{\mathrm{SAR}}(m,n)<T_k\end{array}\right.$ 对SAR图像最大分解尺度下的NSCT高频子带系数

进行硬阈值去噪处理，得到处理后SAR图像最大分解尺度下的NSCT高频子带系数

其中，表示SAR图像最大分解尺度J下、k方向的NSCT高频子带系数；m和n分别表示图像中像素的位置为m行n列，m＝1，2，Λ，M，n＝1，2，Λ，N，M为图像的总行数，N为图像的总列数；T_k为按T_k＝ω×A_k计算得到的阈值，ω为加权系数，满足ω＞1，A_k为最大分解尺度J下、k方向的NSCT高频子带系数的平均值；

然后，比较处理后SAR图像最大分解尺度下的NSCT高频子带系数

和可见光图像最大分解尺度下的NSCT高频子带系数

的窗口区域频率，并按 $H_{J,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)\&GreaterEqual;{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\\ H_{J,k}^{\mathrm{PAN}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)<{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对可见光图像和SAR图像最大分解尺度下的NSCT高频子带系数进行融合处理，得到融合后的最大分解尺度下的NSCT高频子带系数

其中，

为处理后SAR图像最大分解尺度下的NSCT高频子带系数

中以m行n列像素为中心的区域窗口内的空间频率，

为可见光图像最大分解尺度下的NSCT高频子带系数

中以m行n列像素为中心的区域窗口内的空间频率；所述的区域窗口的大小为5×5；

所述的空间频率的计算公式为

其中，SF为图像的空间频率，RF为按计算得到的图像的行频率，CF为按

计算得到的图像的列频率；其中，P×Q表示图像F的大小，F(p，q)为图像F中p行q列像素的值，p＝1，2，Λ，P，q＝1，2，Λ，Q；

b.其他分解尺度下的NSCT高频子带系数融合规则

按 $H_{j,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{j,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{SAR}}(m,n)\\ H_{j,k}^{\mathrm{PAN}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对所有j≠J的其他分解尺度j下的SAR图像和可见光图像的NSCT高频子带系数进行融合处理，得到融合后的其他分解尺度下的NSCT高频子带系数

c.NSCT低频系数融合规则

按 $L^F(m,n)=\left\{\begin{array}{cc}{L}^{\mathrm{SAR}}(m,n)& L^{\mathrm{SAR}}(m,n)\&GreaterEqual;L^{\mathrm{PAN}}(m,n)\\ L^{\mathrm{PAN}}(m,n)& L^{\mathrm{SAR}}(m,n)<L^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对SAR图像和可见光图像的NSCT低频系数进行融合处理，得到融合后的NSCT低频系数；其中，L^F表示融合后的NSCT低频系数；

步骤3：对步骤2得到的融合后的NSCT系数

进行NSCT逆变换，得到融合图像。

有益效果

本发明提出的SAR图像与可见光图像的融合方法，利用了NSCT变换的多尺度、多方向的分解能力，有效的提取了源图像中的轮廓、纹理及细节信息；融合规则设计对分解系数有了更精细的划分，并且利用噪声和信号的多尺度系数特性，以硬阈值去噪的思想为融合规则设计的理论依据，将抑制噪声和融合规则设计一起实现，与先去噪再融合相比既节省了存储空间、提高了计算效率，又尽量多的保留了图像中的重要特征信息，这种方法在有效保留图像重要的边缘、纹理特征的同时对SAR图像中的斑点噪声得到了很好的抑制。本发明对斑点噪声污染严重的SAR图像和可见光图像的融合是比较适用的。

附图说明

图1：本发明方法的基本流程图

图2：本发明方法NSCT分解后相邻尺度系数对应关系图

图3：使用本发明方法完成SAR图像与可见光图像融合的例子

(a)待融合SAR图像

(b)待融合可见光图像

(c)基于像素点的融合图像

(d)基于窗口的融合图像

(e)先Lee滤波后窗口策略的融合图像

(f)先维纳滤波后再融合的融合图像

(g)本发明方法ω＝2的融合图像

(h)本发明方法ω＝3的融合图像

(i)本发明方法ω＝4的融合图像

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Pentium-43G计算机、2GB内存、128M显卡，运行的软件环境是：Matlab7.0和Windows XP。我们用Matlab程序设计语言实现了本发明提出的方法。图像数据采用同一场景意大利Pavia城市的ERS22SAR图像与Landsat 7全色图像。

本发明方法的基本流程如附图1所示，具体实施如下：

步骤一：对已配准的待融合SAR图像和可见光图像分别进行NSCT分解，得到各自的NSCT系数和

其中，

为SAR图像第j尺度下第k个方向的NSCT高频子带系数，L^SAR为SAR图像的NSCT低频系数，

为可见光图像第j尺度下第k个方向的NSCT高频子带系数，L^PAN为可见光图像的NSCT低频系数。j表示NSCT分解尺度，取值为j＝1，2，Λ，J，J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2^j。本实施例中，NSCT分解采用的塔形尺度滤波器组为′maxflat′，方向滤波器组为′dmaxflat7′，共分解四个尺度，即最大分解尺度J＝4，j＝1，2，Λ，4，各尺度的方向数分别为k＝2，4，8，16。

步骤二：设计融合规则对上述步骤得到的SAR图像和可见光图像各自的NSCT系数

和

进行融合，得到融合后的NSCT系数。由于NSCT低频系数主要是图像的概貌信息，NSCT高频子带系数则包含了图像的细节信息和噪声，因此在融合过程中，需要对图像的高频细节信息和低频近似信息加以区分，采用不同的融合规则。具体如下：

1)NSCT高频子带系数融合规则

NSCT高频子带系数包含噪声和图像的高频细节信息，因此高频子带系数的融合规则设计既要抑制SAR图像噪声，又要尽量保留源图像的细节信息。

a)最大分解尺度下NSCT高频子带系数融合规则

根据SAR图像中噪声和信号的NSCT分解系数特性，可以看出随着变换尺度的增大，噪声的变换系数值迅速减小，而信号呈现与之截然相反的特征，因此很容易在最大的分解尺度上将噪声和真实信号区分开来。将待融合SAR图像进行NSCT分解后，借鉴小波硬阈值去噪的方法，在得到的最大尺度J下、方向k的NSCT高频子带系数

上设定阈值T，当某位置的NSCT高频子带系数小于设定的阈值T时，则可认为该位置处的像素点对应噪声，置该位置处的NSCT高频子带系数为0，反之，可认为该位置处的像素点对应于信号，将该位置处的NSCT高频子带系数值保留。设

为阈值量化后的NSCT高频子带系数，这个过程可以用下式表示：

${\tilde{H}}_{J,k}^{\mathrm{SAR}}(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^{\mathrm{SAR}}(m,n)\&GreaterEqual;T_k\\ 0& H_{J,k}^{\mathrm{SAR}}(m,n)<T_k\end{array}\right.---\left(1\right)$

其中，m和n分别表示图像中像素的位置为m行n列，m＝1，2，Λ，M，n＝1，2，Λ，N，M为图像的总行数，N为图像的总列数。

上述方法称之为最大尺度硬阈值去噪方法，该方法可以有效的分离噪声和信号，有效的抑制噪声。

在本发明中阈值T_k按照T_k＝ω×A_k计算获得，其中，ω为加权系数，A_k为最大分解尺度J下、k方向的NSCT高频子带系数的平均值。如果阈值T_k较大，则可以很好的抑制噪声，但图像真实信号的微弱纹理分解系数也会被抑制；如果阈值T_k较小，则能保证信号的完整性，但噪声却得不到有效的抑制。

本发明对斑点噪声的抑制以融合为目的，所以要尽量保留较多的NSCT系数，以确保信号的完整性，同时要在一定程度上抑制噪声。为了克服上述硬阈值去噪处理带来的细节信号的损失，本发明采用基于区域窗口的融合策略，这是因为一般真实信号的分解系数并不是孤立的，而有很强的连续性，即信号的分解系数一般在某一区域内均有值，而噪声一般表现为孤立的点，那么可以用区域窗口内的某些指标来判断该区域是信号还是噪声。空间频率能反映窗口内灰度变化的趋势，空间频率较大者对应着一些突变，如图像的边缘、纹理等重要信息，可检测出高频信息中包含的图像特征的细节信息，因此可以将空间频率作为判断窗口所在区域是真实图像信息还是噪声的准则。

图像的空间频率反映了一幅图像在空间域的总体活跃程度。图像的空间频率定义为：

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}---\left(2\right)$

其中，SF为图像的空间频率，RF为图像的行频率，CF为图像的列频率，其定义分别为：

$\mathrm{RF}=\sqrt{\frac{1}{P\&times;Q}\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}{[F(p,q)-F(p,q-1)]}^2}---\left(3\right)$

$\mathrm{CF}=\sqrt{\frac{1}{P\&times;Q}\underset{q=1}{\overset{Q}{\mathrm{\&Sigma;}}}{[F(p,q)-F(p-1,q)]}^2}---\left(4\right)$

其中，P×Q表示计算空间频率的图像F的大小，F(p，q)为位于图像中p行q列处的像素的像素值，p＝1，2，Λ，P，q＝1，2，Λ，Q。本发明采用区域窗口策略，图像F对应于区域窗口，P×Q就是窗口大小，窗口的大小为5×5。

因此，对硬阈值去噪后的SAR图像最大分解尺度下的高频子带系数

和可见光图像最大分解尺度下的高频子带系数

在滑动窗口内比较空间频率，若SAR图像在该窗口内的空间频率较大，则令融合后该窗口中心位置处的NSCT系数取值为去噪处理前相应位置处的SAR图像的NSCT高频子带系数，这样可以将去噪抑制的微弱纹理信息再重新加入融合图像中；若可见光图像在该窗口内的空间频率较大，则令融合后该窗口中心位置处的NSCT系数取值为相应位置处的可见光图像的NSCT高频子带系数，这样既保留了可见光的纹理信息，又进一步抑制了噪声。上述过程可以用数学公式描述如下：

$H_{J,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)\&GreaterEqual;{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\\ H_{J,k}^{\mathrm{PAN}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)<{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\end{array}\right.---\left(5\right)$

这里，

为硬阈值去噪后的SAR图像最大分解尺度下的高频子带系数

中以m行n列像素为中心的窗口区域的空间频率；

为可见光图像最大分解尺度下的高频子带系数

中以m行n列像素为中心的窗口区域的空间频率。

b)其他分解尺度下的NSCT高频子带系数融合规则

图像经NSCT分解后，图像大小不变，各方向子带的系数位置与原始图像像素点的位置一一对应，因此最大分解尺度和其他分解尺度下各高频子带的系数位置也一一对应(如附图2所示)。前面，在最大尺度下将噪声对应的NSCT高频子带系数置零，以抑制噪声，因此，也可以认为零点所在位置对应SAR图像中的斑点噪声，因此在融合图像的其他分解尺度(j≠J)下的NSCT高频子带系数时，也参照最大分解尺度下高频子带系数的融合，对于最大分解尺度下取值为SAR图像NSCT高频子带系数的位置处，也取为SAR图像的NSCT系数，其他位置取为可见光图像的NSCT系数。这样做可以进一步抑制噪声，并且保留可见光图的细节信息。

上述过程可以用数学公式描述如下：

$H_{j,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{j,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{SAR}}(m,n)\\ H_{j,k}^{\mathrm{PAN}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{PAN}}(m,n)\end{array}\right.,j\&NotEqual;J---\left(5\right)$

2)NSCT低频系数融合规则

低频系数保留了图像的概貌信息，本文采用“绝对值取大”的融合策略，如式(6)所示。该方法可以从源图像中提取尽可能多的概貌信息。

$L^F(m,n)=\left\{\begin{array}{cc}{L}^{\mathrm{SAR}}(m,n)& L^{\mathrm{SAR}}(m,n)\&GreaterEqual;L^{\mathrm{PAN}}(m,n)\\ L^{\mathrm{PAN}}(m,n)& L^{\mathrm{SAR}}(m,n)<L^{\mathrm{PAN}}(m,n)\end{array}\right.---\left(6\right)$

步骤三：进行图像的NSCT重构。利用上述步骤中得到的融合后的NSCT低频和高频子带系数进行NSCT逆变换，即进行NSCT重构，得到的结果就是最终的融合图像。

将本发明与其他基于NSCT的融合方法所得的融合结果进行对比，进行对比的各融合方法低频均采用绝对值取大的融合规则，基于窗口的融合规则，窗口大小为5×5，并以空间频率为度量标准。附图3给出了所有对比结果。从附图3(g)(h)(i)很明显可以看出本文方法对斑点噪声进行了有效的抑制，全色图像的细节特征信息得到了更为清晰和突出的显示。ω较小斑点噪声的抑制效果不好，但图像信息量较多，ω较大则融合图像噪声抑制很明显，但图像中的弱小纹理和明亮区域减少。因此可以根据应用目的的不同，灵活设置ω。

选取相关系数、偏差指数、等效视数为评价指标，定量评价不同方法用于SAR图像与可见光图像融合的性能。各指标如表1所示。相关系数反映了两幅图像的相关程度，两幅图像的相关系数越接近于1，表示图像的接近度越好。实验数据表明本发明方法系数ω≥3时最大。偏差指数用来表示融合图像和源待融合图像的偏离程度，偏差指数越小越好，本发明偏差指数与先滤波后融合方法结果相当。等效视数可以用来衡量噪声的抑制效果、边缘的清晰度和图像的保持性，等效视数越大，说明抑制噪声的效果越好，本发明等效视数这一指标较传统融合方法也有显著改善，说明该方法在抑制噪声方面性能优越。综上所述，本发明方法较传统的基于像素点和窗口的融合方法优越性显著，较先滤波后融合方法效果相当，但该方法融合去噪一步完成，不必额外设计滤波器，节省了存储空间，提高了计算效率。

表1各方法图像融合性能客观评价指标

Claims (2)

1.一种基于NSCT的SAR图像和可见光图像的融合方法，其特征在于：

步骤1：对已配准的待融合SAR图像和可见光图像分别进行NSCT分解，得到各自的NSCT系数

和

其中，

为SAR图像第j尺度下第k个方向的NSCT高频子带系数，L^SAR为SAR图像的NSCT低频系数，

为可见光图像第j尺度下第k个方向的NSCT高频子带系数，L^PAN为可见光图像的NSCT低频系数，所述的j表示NSCT分解尺度，j＝1，2，A，J，J为最大分解尺度，k表示分解尺度j下的分解方向数，满足k＝2^j；

步骤2：按融合规则对步骤1得到的SAR图像和可见光图像各自的NSCT系数和

进行融合，得到融合后的NSCT系数；

所述的融合规则为：

a.最大分解尺度下NSCT高频子带系数融合

首先，按 ${\tilde{H}}_{J,k}^{\mathrm{SAR}}(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^{\mathrm{SAR}}(m,n)\&GreaterEqual;T_k\\ 0& H_{J,k}^{\mathrm{SAR}}(m,n)<T_k\end{array}\right.$ 对SAR图像最大分解尺度下的NSCT高频子带系数进行硬阈值去噪处理，得到处理后SAR图像最大分解尺度下的NSCT高频子带系数

其中，

表示SAR图像最大分解尺度J下、k方向的NSCT高频子带系数；m和n分别表示图像中像素的位置为m行n列，m＝1，2，Λ，M，n＝1，2，Λ，N，M为图像的总行数，N为图像的总列数；T_k为按T_k＝ω×A_k计算得到的阈值，ω为加权系数，满足ω＞1，A_k为最大分解尺度J下、k方向的NSCT高频子带系数

的平均值；

然后，比较处理后SAR图像最大分解尺度下的NSCT高频子带系数和可见光图像最大分解尺度下的NSCT高频子带系数

的窗口区域频率，并按 $H_{J,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{J,k}^{\mathrm{SAR}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)\&GreaterEqual;{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\\ H_{J,k}^{\mathrm{PAN}}(m,n)& {\mathrm{SF}}_{\mathrm{window}}^{\mathrm{SAR}}(m,n)<{\mathrm{SF}}_{\mathrm{window}}^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对可见光图像和SAR图像最大分解尺度下的NSCT高频子带系数进行融合处理，得到融合后的最大分解尺度下的NSCT高频子带系数其中，

为处理后SAR图像最大分解尺度下的NSCT高频子带系数

中以m行n列像素为中心的区域窗口内的空间频率，

为可见光图像最大分解尺度下的NSCT高频子带系数

中以m行n列像素为中心的区域窗口内的空间频率；所述的区域窗口的大小为5×5；

b.其他分解尺度下的NSCT高频子带系数融合规则

按 $H_{j,k}^F(m,n)=\left\{\begin{array}{cc}{H}_{j,k}^{\mathrm{SAR}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{SAR}}(m,n)\\ H_{j,k}^{\mathrm{PAN}}(m,n)& H_{J,k}^F(m,n)=H_{J,k}^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对所有j≠J的其他分解尺度j下的SAR图像和可见光图像的NSCT高频子带系数进行融合处理，得到融合后的其他分解尺度下的NSCT高频子带系数

c.NSCT低频系数融合规则

按 $L^F(m,n)=\left\{\begin{array}{cc}{L}^{\mathrm{SAR}}(m,n)& L^{\mathrm{SAR}}(m,n)\&GreaterEqual;L^{\mathrm{PAN}}(m,n)\\ L^{\mathrm{PAN}}(m,n)& L^{\mathrm{SAR}}(m,n)<L^{\mathrm{PAN}}(m,n)\end{array}\right.$ 对SAR图像和可见光图像的NSCT低频系数进行融合处理，得到融合后的NSCT低频系数；其中，L^F表示融合后的NSCT低频系数；

步骤3：对步骤2得到的融合后的NSCT系数进行NSCT逆变换，得到融合图像。

2.一种基于NSCT的SAR图像和可见光图像的融合方法，其特征在于：所述的空间频率的计算公式为

其中，SF为图像的空间频率，RF为按

计算得到的图像的行频率，CF为按

计算得到的图像的列频率；其中，P×Q表示图像F的大小，F(p，q)为图像F中p行q列像素的值，p＝1，2，Λ，P，q＝1，2，Λ，Q。

Images