CN113436069B - 一种基于最大信噪比投影的遥感图像融合方法 - Google Patents

一种基于最大信噪比投影的遥感图像融合方法 Download PDF

Info

Publication number
CN113436069B
CN113436069B CN202110667783.9A CN202110667783A CN113436069B CN 113436069 B CN113436069 B CN 113436069B CN 202110667783 A CN202110667783 A CN 202110667783A CN 113436069 B CN113436069 B CN 113436069B
Authority
CN
China
Prior art keywords
image
noise ratio
projection
bands
maximum signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110667783.9A
Other languages
English (en)
Other versions
CN113436069A (zh
Inventor
孙康
李方方
陈金勇
王敏
帅通
王士成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202110667783.9A priority Critical patent/CN113436069B/zh
Publication of CN113436069A publication Critical patent/CN113436069A/zh
Application granted granted Critical
Publication of CN113436069B publication Critical patent/CN113436069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于最大信噪比投影的遥感图像融合方法，属于遥感图像处理领域。该方法将多光谱数据和全色数据按照最大信噪比方向进行投影，将最低信噪比的图像分量去除之后，通过其逆变换计算得到融合数据，能够保留图像融合过程中最大信息量，降低融合造成的信息损失。本发明方法不需要参数设置，易于实现，计算复杂度较低。

Description

一种基于最大信噪比投影的遥感图像融合方法
技术领域
本发明属于遥感图像处理技术领域，具体涉及一种基于最大信噪比投影的遥感图像融合方法。
背景技术
光学遥感器是目前空间对地观测最常用的传感器类型，其中多光谱遥感图像和全色遥感图像是最典型的两种图像。通常，多光谱图像的光谱分辨率较高，但空间分辨率比较低；全色图像则刚好相反。图像融合采用一定的算法，综合来自相同或不同类型传感器的两个或多个具有互补性的图像信息，以获得具有更高可信度和清晰度、更好的可理解性及更为全面的新融合图像。它可以从多幅图像中抽取出比任何单一图像更为准确和可靠的信息，降低了单一图像描述的不确定性和模糊度，提供了仅依靠单一传感器而无法获得的全面信息。融合后的图像更适合人的视觉感知或计算机的处理。因此，将多光谱图像和全色图像进行融合，使融合后的多光谱图像既具有较高的空间细节表现能力又能保留多光谱图像的光谱特性。
图像融合方法有了较多的研究，其关键问题是如何尽可能多的保留全色和多光谱图像的信息，降低融合过程中的信息损失。
发明内容
本发明的目的在于提供一种基于最大信噪比投影的遥感图像融合方法，该方法将多光谱数据和全色数据按照最大信噪比方向进行投影，将最低信噪比的图像分量去除之后，通过其逆变换计算得到融合数据，能够保留图像融合过程中最大信息量，降低融合造成的信息损失。
为了实现上述目的，本发明采用的技术方案为：
一种基于最大信噪比投影的遥感图像融合方法，该方法用于将全色图像和多光谱图像进行融合，包括以下步骤：
步骤1，针对待融合的多光谱图像的4个波段，使用双线性插值方法将各个波段的多光谱图像的行、列各扩大为原始尺寸的4倍；
步骤2，将待融合的全色图像与步骤1中扩大后的4个波段的多光谱图像进行波段拼接，形成一个具有5个波段的合并图像I，其第一个波段为全色图像，其余4个波段为步骤1得到的扩大后的4个波段的多光谱图像；
步骤3，估计合并图像I的噪声图像S；
步骤4，计算合并图像I以及噪声图像S的协方差矩阵K和F；
步骤5，根据K和F的最大信噪比方向对合并图像I进行投影，获取投影图像L；
步骤6，将投影图像L的第五个波段去除，得到包含4个波段的图像M，计算其协方差矩阵Q；
步骤7，计算协方差矩阵Q的逆矩阵的特征向量，作为新的投影向量U；
步骤8，将步骤6中的图像M按照U进行投影，得到的图像即为融合后图像。
进一步的，步骤3的具体方式为：
步骤3a，将合并图像I的第i个波段的图像记为
Figure BDA0003117592370000021
其中，w,h分别为图像的宽和高；
步骤3b，对第i个波段的图像
Figure BDA0003117592370000022
估计其噪声图像Si：
Figure BDA0003117592370000023
其中，
Figure BDA0003117592370000024
和
Figure BDA0003117592370000025
分别为将
Figure BDA0003117592370000026
沿水平方向和竖直方向平移一个像素后的图像；
步骤3c，重复步骤3b，直至获得5个波段的噪声图像S1,S2,…,S5。
进一步的，步骤5的具体方式为：
步骤5a，令R＝KF-1，则最大信噪比方向P为矩阵R的特征向量，其中P＝[p1 … p5]，
Figure BDA0003117592370000027
步骤5b，投影图像L包含5个波段L1,L2,…,L5，第i个波段的图像Li的计算方式如下：
Figure BDA0003117592370000028
本发明具有如下优点：
(1)本发明提出基于最大信噪比方向进行投影的图像融合方法，在投影过程中能够保持信噪比的最大化，因此造成的信息损失较低。
(2)本发明方法不需要参数设置，易于实现，计算复杂度较低。
附图说明
图1为本发明方法的流程图。
图2为本发明方法的试验结果对比。
具体实施方式
下面结合附图及具体实施方式对本发明的技术方案做进一步的说明。
如图1所示，一种基于最大信噪比投影的遥感图像融合方法，该方法将全色图像和多光谱图像进行最大信噪比投影，然后去除信噪比最低的分量，再逆向投影，获取融合图像。该方法具体包括以下步骤：
步骤1，对待融合多光谱图像的4个波段，使用双线性插值方法将各个波段图像的行、列各扩大为原始尺寸的4倍；
步骤2，将待融合全色图像与步骤1得到的4个光谱图像进行波段拼接，形成一个具有5个波段的合并图像I，其第一个波段为全色图像，其余4个波段为步骤1得到的多光谱图像；
步骤3，估计合并图像的噪声图像S；
步骤4，计算合并图像I以及噪声图像S的协方差矩阵K和F；
步骤5，根据K和F的最大信噪比方向对合并图像进行投影，获取投影图像L；
步骤6，将投影图像L的第五个波段去除，得到包含4个波段的图像M，计算其协方差矩阵Q；
步骤7，计算协方差矩阵Q的逆矩阵的特征向量，作为新的投影向量U；
步骤8，将步骤6中的图像M按照U进行投影，得到的图像即为融合后图像。
其中，步骤3所述的噪声图像的估计方法如下：
步骤3a，将第i个波段的图像记为
Figure BDA0003117592370000031
其中，w,h分别为图像的宽和高；
步骤3b，对第i个波段的图像
Figure BDA0003117592370000032
估计其噪声图像Si：
Figure BDA0003117592370000033
其中，
Figure BDA0003117592370000034
和
Figure BDA0003117592370000035
分别为将
Figure BDA0003117592370000036
沿水平方向和竖直方向平移一个像素后的图像；
步骤3c，重复步骤3b，直至获得5个波段的噪声图像S1,S2,…,S5；
步骤4的计算方法如下：
步骤4a，按照下式计算合并图像I的协方差矩阵K：
Figure BDA0003117592370000037
其中，kij为合并图像I中第i波段图像
Figure BDA0003117592370000038
和第j波段图像
Figure BDA0003117592370000039
的内积。
步骤4b，按照下式计算噪声图像S的协方差矩阵F：
Figure BDA0003117592370000041
其中，fij为噪声图像S中第i波段图像Si和第j波段图像Sj的内积。
步骤5所述投影图像L计算方法如下：
步骤5a，令R＝KF-1，则最大信噪比方向P为矩阵R的特征向量，其中P＝[p1 … p5]，
Figure BDA0003117592370000042
对任意pi，满足Rpi＝cipi，ci为一个标量；
步骤5b，投影图像L包含5个波段，L1,L2,…,L5，第i个波段Li图像的计算方式如下：
Figure BDA0003117592370000043
步骤7中，投影方向U为协方差矩阵Q的逆矩阵Q-1的特征向量，其中U＝[u1 … u4]，
Figure BDA0003117592370000044
对任意ui，满足Q-1ui＝λiui，λi为一个标量。
步骤8中，融合图像的计算方法如下：
记融合图像为H，H包含4个波段，H1,…,H4，第i个波段Hi图像的计算方式如下
Figure BDA0003117592370000045
图像融合的关键在于减少图像融合过程中的信息损失。传统方法如主成分分析法，使用方差最大化的思路进行图像融合，其未考虑噪声的影响。本方法通过将全色图像、多光谱图像投影到最大信噪比方向，将信噪比而不是方差作为图像融合过程中的代价函数，去除信噪比最低的分量，实现最大信息的保留。
同时，本方法是无监督的方法，不需要先验参数，能够自适应的对融合各类传感器数据。
本方法的效果可通过以下试验进一步说明：
1.试验条件。
计算机配置为Intel Core i7-3770 CPU 3.4Ghz，64GB内存；操作系统为Windows764位专业版，软件环境为MATLAB 2017。
2.试验方法。
采用本方法和对照方法进行图像融合对比试验。数据采用2019年高分二号北京地区数据，对照方法包括Brovey、Gram-Schmit以及PCA三种方法。图像融合评价指标采用图像标准差、信息熵、平均梯度、相关系数四个客观指标。
3.试验结果。
试验结果如图2所示。
试验结果表明，本方法在标准差以及信息熵两个指标上都获得了最优结果，在平均梯度和相关系数上分别比Brovey和PCA方法低一些。综合来看，与对比方法相比，本方法获得了最好的结果。

Claims (3)

1.一种基于最大信噪比投影的遥感图像融合方法，其特征在于，用于将全色图像和多光谱图像进行融合，包括以下步骤：
步骤1，针对待融合的多光谱图像的4个波段，使用双线性插值方法将各个波段的多光谱图像的行、列各扩大为原始尺寸的4倍；
步骤2，将待融合的全色图像与步骤1中扩大后的4个波段的多光谱图像进行波段拼接，形成一个具有5个波段的合并图像I，其第一个波段为全色图像，其余4个波段为步骤1得到的扩大后的4个波段的多光谱图像；
步骤3，估计合并图像I的噪声图像S；
步骤4，计算合并图像I以及噪声图像S的协方差矩阵K和F；
步骤5，根据K和F的最大信噪比方向对合并图像I进行投影，获取投影图像L；
步骤6，将投影图像L的第五个波段去除，得到包含4个波段的图像M，计算其协方差矩阵Q；
步骤7，计算协方差矩阵Q的逆矩阵的特征向量，作为新的投影向量U；
步骤8，将步骤6中的图像M按照U进行投影，得到的图像即为融合后图像。
2.根据权利要求1所述的一种基于最大信噪比投影的遥感图像融合方法，其特征在于，步骤3的具体方式为：
步骤3a，将合并图像I的第i个波段的图像记为
Figure FDA0003117592360000011
其中，w,h分别为图像的宽和高；
步骤3b，对第i个波段的图像
Figure FDA0003117592360000012
估计其噪声图像Si：
Figure FDA0003117592360000013
其中，
Figure FDA0003117592360000014
和
Figure FDA0003117592360000015
分别为将
Figure FDA0003117592360000016
沿水平方向和竖直方向平移一个像素后的图像；
步骤3c，重复步骤3b，直至获得5个波段的噪声图像S1,S2,…,S5。
3.根据权利要求1所述的一种基于最大信噪比投影的遥感图像融合方法，其特征在于，步骤5的具体方式为：
步骤5a，令R＝KF-1，则最大信噪比方向P为矩阵R的特征向量，其中P＝[p1…p5]，
Figure FDA0003117592360000017
步骤5b，投影图像L包含5个波段L1,L2,…,L5，第i个波段的图像Li的计算方式如下：
Figure FDA0003117592360000021
CN202110667783.9A 2021-06-16 2021-06-16 一种基于最大信噪比投影的遥感图像融合方法 Active CN113436069B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110667783.9A CN113436069B (zh) 2021-06-16 2021-06-16 一种基于最大信噪比投影的遥感图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110667783.9A CN113436069B (zh) 2021-06-16 2021-06-16 一种基于最大信噪比投影的遥感图像融合方法

Publications (2)

Publication Number Publication Date
CN113436069A CN113436069A (zh) 2021-09-24
CN113436069B true CN113436069B (zh) 2022-03-01

Family

ID=77756347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110667783.9A Active CN113436069B (zh) 2021-06-16 2021-06-16 一种基于最大信噪比投影的遥感图像融合方法

Country Status (1)

Country Link
CN (1) CN113436069B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679675A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种面向水质定量遥感应用的遥感影像融合方法
CN105719262A (zh) * 2016-01-21 2016-06-29 西北大学 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
CN106251368A (zh) * 2016-06-12 2016-12-21 中国科学院遥感与数字地球研究所 基于bemd的sar影像与多光谱影像的融合方法
CN106251320A (zh) * 2016-08-15 2016-12-21 西北大学 基于联合稀疏与结构字典的遥感图像融合方法
CN107169946A (zh) * 2017-04-26 2017-09-15 西北工业大学 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
CN110428387A (zh) * 2018-11-16 2019-11-08 西安电子科技大学 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN110517212A (zh) * 2019-08-21 2019-11-29 西北工业大学 基于非重叠波段模拟的高光谱和多光谱图像融合方法
CN110942451A (zh) * 2019-11-20 2020-03-31 东南大学 一种无参考图像的遥感图像融合性能评价方法
CN111544023A (zh) * 2020-04-09 2020-08-18 赛诺联合医疗科技（北京）有限公司 一种基于pet数据的感兴趣区域实时定位的方法和系统
CN112330620A (zh) * 2020-10-30 2021-02-05 中国电子科技集团公司第五十四研究所 一种高光谱图像虚拟维数估计方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679675A (zh) * 2013-11-29 2014-03-26 航天恒星科技有限公司 一种面向水质定量遥感应用的遥感影像融合方法
CN105719262A (zh) * 2016-01-21 2016-06-29 西北大学 基于子字典稀疏重构的全色与多光谱遥感图像融合方法
CN106251368A (zh) * 2016-06-12 2016-12-21 中国科学院遥感与数字地球研究所 基于bemd的sar影像与多光谱影像的融合方法
CN106251320A (zh) * 2016-08-15 2016-12-21 西北大学 基于联合稀疏与结构字典的遥感图像融合方法
CN107169946A (zh) * 2017-04-26 2017-09-15 西北工业大学 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
CN110428387A (zh) * 2018-11-16 2019-11-08 西安电子科技大学 基于深度学习与矩阵分解的高光谱与全色图像融合方法
CN110517212A (zh) * 2019-08-21 2019-11-29 西北工业大学 基于非重叠波段模拟的高光谱和多光谱图像融合方法
CN110942451A (zh) * 2019-11-20 2020-03-31 东南大学 一种无参考图像的遥感图像融合性能评价方法
CN111544023A (zh) * 2020-04-09 2020-08-18 赛诺联合医疗科技（北京）有限公司 一种基于pet数据的感兴趣区域实时定位的方法和系统
CN112330620A (zh) * 2020-10-30 2021-02-05 中国电子科技集团公司第五十四研究所 一种高光谱图像虚拟维数估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
" 基于HIS小波变换和MOPSO的全色与多光谱图像融合";赵辽英等;《物理学报》;20121231;第194204-01-194204-09页 *
"基于梯度一致性约束的多光谱/全色影像最大后验融合方法";孟祥超等;《光谱学与光谱分析》;20140531;第1332-1337页 *

Also Published As

Publication number Publication date
CN113436069A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111145131A (zh) 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法
CN105913413B (zh) 一种基于在线流形学习的彩色图像质量客观评价方法
US20210058596A1 (en) Systems and methods for sensor-independent illuminant determination
US8666700B2 (en) Compact representation of a reflectance spectrum
CN111680579B (zh) 一种自适应权重多视角度量学习的遥感图像分类方法
Amiri et al. A step by step recovery of spectral data from colorimetric information
CN115760814A (zh) 一种基于双耦合深度神经网络的遥感图像融合方法及系统
CN115131580A (zh) 基于注意力机制的空间目标小样本识别方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN110111276A (zh) 基于空-谱信息深度利用的高光谱遥感影像超分辨率方法
Ye et al. An unsupervised SAR and optical image fusion network based on structure-texture decomposition
Qu et al. Lfacon: introducing anglewise attention to no-reference quality assessment in light field space
CN113436069B (zh) 一种基于最大信噪比投影的遥感图像融合方法
CN111563866B (zh) 一种多源遥感图像融合方法
Cakir et al. Pixel level fusion of panchromatic and multispectral images based on correspondence analysis
WO2023142753A1 (zh) 图像相似性度量方法及其装置
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
CN105023261A (zh) 基于agihs及低通滤波器的遥感图像融合方法
CN116309139A (zh) 一种适用于一对多红外多光谱图像去马赛克方法
CN113191970B (zh) 一种正交色彩传递网络及方法
CN109190506A (zh) 一种基于核稀疏和空间约束的高光谱目标检测方法
CN115358927A (zh) 一种结合空间自适应和纹理转换的图像超分辨重建方法
CN114018834A (zh) 一种硅基多光谱信号的智能识别目标方法及探测装置
CN111046844B (zh) 一种基于邻域选取约束的高光谱图像分类方法
CN113670440A (zh) 一种基于自适应字典的压缩光谱成像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant