CN111199530A - Sar图像与可见光图像的融合方法 - Google Patents

Sar图像与可见光图像的融合方法 Download PDF

Info

Publication number
CN111199530A
CN111199530A CN201911376799.3A CN201911376799A CN111199530A CN 111199530 A CN111199530 A CN 111199530A CN 201911376799 A CN201911376799 A CN 201911376799A CN 111199530 A CN111199530 A CN 111199530A
Authority
CN
China
Prior art keywords
image
visible light
fusion
gray
sar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911376799.3A
Other languages
English (en)
Inventor
孔莹莹
张博文
闫碧原
刘艳娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201911376799.3A priority Critical patent/CN111199530A/zh
Publication of CN111199530A publication Critical patent/CN111199530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种SAR图像与可见光图像的融合方法，涉及图像处理技术领域，解决了SAR图像与可见光图像融合容易产生光谱畸变的技术问题，其技术方案要点是在Gram‑Schmidt变换中，利用NSCT分解对SAR图像与可见光图像进行处理，获得包含可见光图像光谱信息与SAR图像细节信息的图像。之后，初步融合图像代替Gram‑Schmidt变换的第一分量进行Gram‑Schmidt逆变换，从而获得最终融合图像。该方法利用NSCT变换改进了Gram‑Schmidt算法，两种方法的结合能够改善融合中仅使用Gram‑Schmidt方法而产生的严重的光谱畸变，取得较好的融合效果。

Description

SAR图像与可见光图像的融合方法
技术领域
本公开涉及图像处理技术领域，尤其涉及一种SAR图像与可见光图像的融合方法。
背景技术
随着国内外在轨遥感卫星数量的井喷式发展以及遥感市场的迅速扩张，遥感卫星已从过去专用于军用领域转而向民用领域扩张，并有了广泛研究与应用。SAR数据和光学遥感数据是卫星遥感平台的两类主要数据。可见光遥感图像能够直观反映地物真实的纹理、色彩及地理分布等信息，但易受到天气和时间的限制，获取数据的能力有所不足。SAR卫星利用合成孔径原理，通过微波实现高分辨率的成像，具有全天候、全天时的对地观测能力，而且微波能够部分穿透云层、稀疏植被，从而获得丰富的地面信息；但SAR影像不具有光谱信息，且因自身微波特性及斜视成像的几何特点，易产生叠掩、阴影、斑点噪声等影响观察的现象。
SAR图像与可见光图像的融合可以综合两种图像的优点，保持光学遥感影像的光谱信息，减少云层、时间的影响，突出SAR图像对地面细节的表现力，提高图像的可解释性。目前国内外已有的图像融合方法，大多针对融合相对容易的图像源，如多光谱和全色图像的融合，其光谱特征经直方图匹配能够保持大致相同，因此融合结果不会发生光谱畸变。而SAR图像自身成像的特点，使其不具备可见光图像的光谱特性，因此在沿用已有的多光谱和全色图像的融合方法时，会产生严重的光谱畸变。
发明内容
本公开的技术目的为：针对现有技术的不足，提供一种基于Gram-Schmidt变换与NSCT(Nonsubsampled Contourlet)变换的SAR图像与可见光图像的融合方法，通过NSCT方法对SAR图像做预处理，为SAR图像提供光谱特征，从而改善基于Gram-Schmidt变换的融合方法所产生的光谱畸变。
本公开的上述技术目的是通过以下技术方案得以实现的：
一种SAR图像与可见光图像的融合方法包括：
将可见光图像的各波段进行加权平均，得到所述可见光图像的灰度图GS1；
对SAR图像和所述灰度图GS1分别进行NSCT分解，得到各自的NSCT系数
Figure BDA0002341191380000021
其中，
Figure BDA0002341191380000022
LSAR分别为所述SAR图像第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，
Figure BDA0002341191380000023
LGray分别为所述灰度图GS1第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，所述i表示NSCT分解的第i个高频子带，且i∈[1,I]，所述j表示高频子带i所对应的的第j个分解方向数，且而所述高频子带i所对应的分解方向数共有J个，且J＝2i，则j∈[1,J]；
依据融合规则对所述SAR图像和灰度图GS1的高频子带系数
Figure BDA0002341191380000024
Figure BDA0002341191380000025
进行高频子带系数融合，对低频子带系数LSAR、LGray进行低频子带系数融合，得到融合后的NSCT系数
Figure BDA0002341191380000026
对所述
Figure BDA0002341191380000027
进行NSCT逆变换，得到初步融合图像；
对所述可见光图像进行Gram-Schmidt变换，所述灰度图GS1为Gram-Schmidt变换的第一分量，将所述初步融合图像代替所述灰度图GS1进行Gram-Schmidt逆变换，得到最终融合图像。
进一步地，所述融合规则包括低频融合规则和高频融合规则；
所述低频融合规则，即Lnew(m,n)＝LGray(m,n)；
所述高频融合规则，即
Figure BDA0002341191380000031
则有
Figure BDA0002341191380000032
其中，m和n分别代表子带系数矩阵的行数与列数，且m和n都为正整数。
进一步地，以所述灰度图GS1为第一分量的所述可见光图像的Gram-Schmidt变换包括：
Figure BDA0002341191380000033
Figure BDA0002341191380000034
Figure BDA0002341191380000035
Figure BDA0002341191380000036
GST为Gram-Schmidt变换后产生的第T个分量,GST(m,n)为GST在第T个分量中m行n列的像素值；
BT-1为第T-1个波段分量，BT-1(m,n)为所述可见光图像在第T-1个波段中m行n列的像素值，μT-1为第T-1个波段像素值的平均值，
Figure BDA0002341191380000037
为BT、GSk的协方差与GSk方差的比值，M、N分别为子带系数矩阵总的行数与列数,T为大于1的正整数，且T小于等于4，k为正整数。
进一步地，将所述初步融合图像代替所述灰度图GS1进行Gram-Schmidt逆变换，该逆变换公式为：
Figure BDA0002341191380000041
本公开的有益效果在于：本公开所提出的SAR图像与可见光图像的融合方法，通过Gram-Schmidt变换有效提取了源图像的轮廓、纹理和细节信息；同时在Gram-Schmidt变换中利用NSCT变换使融合后的图像保留了可见光图像的光谱特征，与现有技术相比，本公开避免了仅使用Gram-Schmidt变换融合后光谱畸变的产生，较好地保留了SAR图像的纹理特性和可见光图像的光谱特性。
附图说明
图1为本公开方法的流程图；
图2中：(a)为可见光图像；(b)为SAR图像；(c)为Gram-Schmidt(GS)融合图像；(d)为IHS融合图像；(e)为PCA融合图像；(f)为Gram-Schmidt(GS)+NSCT融合图像。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。
如图1所示，本公开所述的SAR图像与可见光图像的融合方法，首先将可见光图像的各波段进行加权平均，得到可见光图像的灰度图GS1。然后对SAR图像和灰度图GS1分别进行NSCT分解，得到各自的NSCT系数
Figure BDA0002341191380000042
其中，
Figure BDA0002341191380000043
LSAR分别为SAR图像第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，
Figure BDA0002341191380000044
LGray分别为灰度图GS1第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，i表示NSCT分解的第i个高频子带，且i∈[1,I]，j表示高频子带i所对应的的第j个分解方向数，而所述高频子带i所对应的分解方向数共有J个，且J＝2i，则j∈[1,J]。本实施例中，NSCT分解采用的塔形尺度滤波器组为“maxflat”，方向滤波器组为“dmaxflat7”，共分解生成3个尺度高频子带系数，每个尺度的方向数分别为j＝2、4、8。
依据融合规则对SAR图像和灰度图GS1各自的NSCT系数
Figure BDA0002341191380000051
和
Figure BDA0002341191380000052
进行融合，得到融合后的NSCT系数
Figure BDA0002341191380000053
融合规则又包括低频融合规则和高频融合规则，低频融合规则即Lnew(m,n)＝LGray(m,n)；
高频融合规则即：
Figure BDA0002341191380000054
则有
Figure BDA0002341191380000055
其中，m和n分别代表子带系数矩阵的行数与列数，且m和n都为正整数。
NSCT低频子带系数主要是图像的概貌信息及基本光谱信息，高频子带系数包含了图像的细节信息。因此，采用不同的融合规则，以达到保留可见光图像的光谱信息的目的。
然后对
Figure BDA0002341191380000056
进行NSCT逆变换，得到初步融合图像(即NSCT融合图像)；对可见光图像进行Gram-Schmidt变换，那么灰度图GS1为Gram-Schmidt变换的第一分量，将初步融合图像代替灰度图GS1进行Gram-Schmidt逆变换，得到最终融合图像。
以灰度图GS1为第一分量的可见光图像的Gram-Schmidt变换包括：
Figure BDA0002341191380000061
Figure BDA0002341191380000062
Figure BDA0002341191380000063
Figure BDA0002341191380000064
GST为Gram-Schmidt变换后产生的第T个分量,GST(m,n)为GST在第T个分量中m行n列的像素值；
BT-1为第T-1个波段分量，BT-1(m,n)为所述可见光图像在第T-1个波段中m行n列的像素值，μT-1为第T-1个波段像素值的平均值，
Figure BDA0002341191380000065
为BT、GSk的协方差与GSk方差的比值，M、N分别为子带系数矩阵总的行数与列数,T为大于1的正整数，k为正整数。因GS1直接为可见光图像的灰度图，故计算从GS2开始。T的最大值由可见光图像的波段数决定，因可见光图像一般以R、G、B三个波段表示，故T的最大值一般为4。
将初步融合图像代替灰度图GS1进行Gram-Schmidt逆变换，得到最终融合图像，该逆变换公式为：
Figure BDA0002341191380000066
本公开的试验结果如图2所示，同时图2也展示了其他融合方法所得到的结果与本方法进行比较。从图2可以看出，在分辨率相同的情况下，可见光图像的成像效果比SAR图像的要好，但是SAR图像中存在有部分多光谱图像没有的细节。对于融合后的图像，我们希望能够尽可能维持多光谱图像的特性，同时能够体现SAR图像对融合图像在空间特性上的增强。从图2的融合图像对比中可以看到其他方法的融合图像发生了严重的光谱畸变，色彩损失严重，而本公开的融合图像能够和可见光图像的光谱特性保持基本一致。
选取信息熵、相关系数、光谱扭曲度和峰值信噪比作为图像的评价指标，定量评价不同融合方法应用于SAR图像与可见光图像融合的性能，各项指标如表1所示。信息熵反映了图像所含的信息量，相同大小的图像信息熵越大越好，实验数据表明本公开方法在融合图像中保留了最多的信息量；相关系数则反映了两幅图像的相关程度，两幅图像的相关程度越接近于1，则图像接近程度越高，本公开方法的相关系数最大，说明本公开的融合图像最接近于可见光图像。
光谱扭曲度反映了图像的光谱信息与可见光图像的偏离程度，扭曲度越高，则偏离程度越大，本公开的光谱扭曲度在融合图像中最低，说明融合图像基本保留了可见光图像的光谱信息；峰值信噪比是用来评价融合影响品质的一个重要指标，衡量图像的失真或噪声水平，峰值信噪比值越大，代表失真程度越少，图像质量越好，本公开的峰值信噪比最高，故图像质量最优。
信息熵 相关系数 光谱扭曲度 峰值信噪比
可见光图像 7.27 1 0 -
SAR图像 6.74 0.03 71.096 9.31
GS融合图像 4.094 0.14 64.81 10.25
IHS融合图像 6.86 0.04 69.73 9.53
PCA融合图像 7.11 0.01 52.62 11.56
GS+NSCT融合图像 7.17 0.86 18.15 20.37
表1
综上所述，本公开改进了Gram-Schmidt融合方法造成的光谱扭曲问题，使其适用于SAR图像与可见光图像的融合。实验表明，融合图像保留了可见光图像的光谱信息，改善了融合图像的成像效果，同时也获得了SAR图像的纹理信息。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本公开的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (4)

1.一种SAR图像与可见光图像的融合方法，其特征在于，包括：
将可见光图像的各波段进行加权平均，得到所述可见光图像的灰度图GS1；
对SAR图像和所述灰度图GS1分别进行NSCT分解，得到各自的NSCT系数
Figure FDA0002341191370000011
其中，
Figure FDA0002341191370000012
LSAR分别为所述SAR图像第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，
Figure FDA0002341191370000013
LGray分别为所述灰度图GS1第i尺度下第j个方向的NSCT的高频子带系数、低频子带系数，所述i表示NSCT分解的第i个高频子带，且i∈[1,I]，所述j表示高频子带i所对应的第j个分解方向数，而所述高频子带i所对应的分解方向数共有J个，且J＝2i，则j∈[1,J]；
依据融合规则对所述SAR图像和灰度图GS1的高频子带系数
Figure FDA0002341191370000014
Figure FDA0002341191370000015
进行高频子带系数融合，对低频子带系数LSAR、LGray进行低频子带系数融合，得到融合后的NSCT系数
Figure FDA0002341191370000016
对所述
Figure FDA0002341191370000017
进行NSCT逆变换，得到初步融合图像；
对所述可见光图像进行Gram-Schmidt变换，所述灰度图GS1为Gram-Schmidt变换的第一分量，将所述初步融合图像代替所述灰度图GS1进行Gram-Schmidt逆变换，得到最终融合图像。
2.如权利要求1所述的SAR图像与可见光图像的融合方法，其特征在于，所述融合规则包括低频融合规则和高频融合规则；
所述低频融合规则，即Lnew(m,n)＝LGray(m,n)；
所述高频融合规则，即
Figure FDA0002341191370000021
则有
Figure FDA0002341191370000022
其中，m和n分别代表子带系数矩阵的行数与列数，且m和n都为正整数。
3.如权利要求2所述的SAR图像与可见光图像的融合方法，其特征在于，以所述灰度图GS1为第一分量的所述可见光图像的Gram-Schmidt变换包括：
Figure FDA0002341191370000023
Figure FDA0002341191370000024
Figure FDA0002341191370000025
Figure FDA0002341191370000026
GST为Gram-Schmidt变换后产生的第T个分量,GST(m,n)为GST在第T个分量中m行n列的像素值；
BT-1为第T-1个波段分量，BT-1(m,n)为所述可见光图像在第T-1个波段中m行n列的像素值，μT-1为第T-1个波段像素值的平均值，
Figure FDA0002341191370000027
为BT、GSk的协方差与GSk方差的比值，M、N分别为子带系数矩阵总的行数与列数,T为大于1的正整数，且T小于等于4，k为正整数。
4.如权利要求3所述的SAR图像与可见光图像的融合方法，其特征在于，将所述初步融合图像代替所述灰度图GS1进行Gram-Schmidt逆变换，该逆变换公式为：
Figure FDA0002341191370000028
Figure FDA0002341191370000029
CN201911376799.3A 2019-12-27 2019-12-27 Sar图像与可见光图像的融合方法 Pending CN111199530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911376799.3A CN111199530A (zh) 2019-12-27 2019-12-27 Sar图像与可见光图像的融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911376799.3A CN111199530A (zh) 2019-12-27 2019-12-27 Sar图像与可见光图像的融合方法

Publications (1)

Publication Number Publication Date
CN111199530A true CN111199530A (zh) 2020-05-26

Family

ID=70747162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911376799.3A Pending CN111199530A (zh) 2019-12-27 2019-12-27 Sar图像与可见光图像的融合方法

Country Status (1)

Country Link
CN (1) CN111199530A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036893A (zh) * 2023-10-08 2023-11-10 南京航空航天大学 一种基于局部跨阶段和快速下采样的图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521818A (zh) * 2011-12-05 2012-06-27 西北工业大学 一种基于nsct的sar图像和可见光图像的融合方法
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN109064435A (zh) * 2018-07-06 2018-12-21 航天星图科技（北京）有限公司 一种Gram-Schmdit融合快速处理算法
CN110033408A (zh) * 2019-04-12 2019-07-19 南京理工大学 针对多云雨地区的sar与多光谱遥感数据的融合方法
CN110111259A (zh) * 2019-05-15 2019-08-09 电子科技大学 一种基于区域引导的多源图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521818A (zh) * 2011-12-05 2012-06-27 西北工业大学 一种基于nsct的sar图像和可见光图像的融合方法
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN109064435A (zh) * 2018-07-06 2018-12-21 航天星图科技（北京）有限公司 一种Gram-Schmdit融合快速处理算法
CN110033408A (zh) * 2019-04-12 2019-07-19 南京理工大学 针对多云雨地区的sar与多光谱遥感数据的融合方法
CN110111259A (zh) * 2019-05-15 2019-08-09 电子科技大学 一种基于区域引导的多源图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李存军等: "两种高保真遥感影像融合方法比较", 《中国图象图形学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036893A (zh) * 2023-10-08 2023-11-10 南京航空航天大学 一种基于局部跨阶段和快速下采样的图像融合方法
CN117036893B (zh) * 2023-10-08 2023-12-15 南京航空航天大学 一种基于局部跨阶段和快速下采样的图像融合方法

Similar Documents

Publication Publication Date Title
CN108765359B (zh) 一种基于jskf模型和nsct技术的高光谱遥感影像与全色图像的融合方法
CN109272010B (zh) 基于卷积神经网络的多尺度遥感图像融合方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
CN111192193B (zh) 一种基于1维-2维卷积神经网络高光谱单图超分辨方法
CN110544212B (zh) 基于层级特征融合的卷积神经网络高光谱图像锐化方法
CN111161141B (zh) 基于频带间注意力机制对抗学习高光谱单图超分辨率方法
CN114821261A (zh) 一种图像融合的算法
Zhang et al. Translate SAR data into optical image using IHS and wavelet transform integrated fusion
CN107169946A (zh) 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
KR102160687B1 (ko) 항공 이미지 융합 방법
CN116309136A (zh) 一种基于sar先验知识引导的遥感影像云区重建方法
Yan et al. A fusion method of SAR image and optical image based on NSCT and gram-Schmidt transform
CN113421198B (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
CN111199530A (zh) Sar图像与可见光图像的融合方法
CN112734683B (zh) 基于目标增强的多尺度sar与红外图像融合方法
CN111598115B (zh) 一种基于交叉皮质神经网络模型的sar影像融合方法
Lal et al. Enhanced dictionary based sparse representation fusion for multi-temporal remote sensing images
Liu et al. Comparative Analysis of Pixel Level Fusion Algorithms in High Resolution SAR and Optical Image Fusion
CN102722878A (zh) 基于目标提取和ppb算法的sar图像去斑方法
CN115049942A (zh) 一种基于频谱分析的高光谱卫星影像融合方法及应用
Huang et al. An NSST-Based Fusion Method for Airborne Dual-Frequency, High-Spatial-Resolution SAR Images
Narsaiah et al. A survey on image fusion Requirements, techniques, evaluation metrics, and its applications
CN113554671A (zh) 基于轮廓增强的sar图像到可见光图像的转换方法及装置
CN113359133A (zh) 一种协同光学和雷达遥感数据的面向对象变化检测方法
Jayanth et al. Comparative Analysis of Image Fusion Techniques in Remote Sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Kong Yingying

Inventor after: Yan Biyuan

Inventor after: Zhang Bowen

Inventor after: Liu Yanjuan

Inventor before: Kong Yingying

Inventor before: Zhang Bowen

Inventor before: Yan Biyuan

Inventor before: Liu Yanjuan

CB03 Change of inventor or designer information