CN111833280A - 一种基于中频信号调制和补偿的高保真遥感图像融合方法 - Google Patents
一种基于中频信号调制和补偿的高保真遥感图像融合方法 Download PDFInfo
- Publication number
- CN111833280A CN111833280A CN201910948162.0A CN201910948162A CN111833280A CN 111833280 A CN111833280 A CN 111833280A CN 201910948162 A CN201910948162 A CN 201910948162A CN 111833280 A CN111833280 A CN 111833280A
- Authority
- CN
- China
- Prior art keywords
- compensation
- remote sensing
- intermediate frequency
- image
- frequency signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000002347 injection Methods 0.000 claims abstract description 8
- 239000007924 injection Substances 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims description 20
- 230000003595 spectral effect Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 abstract description 15
- 230000014759 maintenance of location Effects 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 101150117600 msc1 gene Proteins 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于中频信号调制和补偿的遥感图像融合方法，主要解决遥感图像融合中光谱保持性能与空间保持性能之间存在矛盾、光谱保持性能较好的算法严重受制于配准精度和调制传递函数（MTF）计算精度的问题。本发明的核心机制是利用高分辨率全色数据和低分辨率多光谱数据的中频成分进行空间细节调制与注入，并以二者的线性组合进行光谱信息/空间结构信息的补偿。融合结果具有很好的光谱保持能力，对配准偏差较不敏感，可以有效抑制边缘的虚假结构。融合方法的健壮性高，光谱保持性能和空间保持性能在较高水平上达到平衡，并可根据融合任务需求通过单个参数进行性能调整，可适用于遥感及医学影像融合。
Description
技术领域
本发明涉及一种基于中频信号调制和补偿的遥感图像融合技术,属于遥感影像处理数据融合技术领域。
背景技术
卫星遥感技术可以对地球表面进行大规模全覆盖的观测，在测绘、气象、海洋、农业、自然资源调查、灾害监测、国防安全等诸多方面均发挥巨大作用，世界各国也都十分重视。由于传感器信噪比的限制，光学遥感卫星所获取图像的光谱分辨率和空间分辨率之间存在矛盾，因此目前光学遥感卫星一般配置一个高分辨率全色波段和多个低分辨率多光谱波段。
遥感图像融合技术是指将高空间分辨率低光谱分辨率的全色图像与低空间分辨率高光谱分辨率的多光谱图像集成，生成兼具高空间分辨率和高光谱分辨率的遥感图像的图像处理技术，又称为像素级遥感数据融合技术。
以IHS、PCA、BT变换为代表的第一代遥感图像融合主要侧重于对多光谱图像进行视觉效果增强，所采用的理论假设较强，光谱扭曲比较严重；以小波变换、HPF等为代表的第二代遥感图像融合面向计算机图像处理和定量遥感应用，采用从全色图像提取空间细节，经调制后注入多光谱图像的策略，光谱保持性能远胜于第一代方法，但容易引起频谱混叠，表现为图像发虚以及空间分辨率增强不足等，全色与多光谱图像之间的配准偏差对融合结果亦会造成较大影响。目前学术界致力于构建第三代遥感图像融合框架，利用稀疏表达、压缩传感等新理论，以及机器学习等新技术，将遥感图像融合问题视为优化问题予以解决。目前第三代融合方法距离达到实用水平还有相当大的差距。
第一代融合方法多属于分量替换方法(Component Substitution,CS)，即将多光谱数据投影变换到某一特征空间，利用全色数据或其某种变换形式替换其中某一相关性较高的特征，并进行逆变换获得融合图像。第二代融合方法则多采用多分辨率分析技术(Multi-Resolution Analysis, MRA)，对全色和多光谱数据分别进行空间频谱的分解，然后依据一定的波段间空间结构模型，将全色数据中包含的空间细节成分注入到低分辨率多光谱数据中。
CS方法可以较好的保持全色数据的空间细节信息，但会严重扭曲多光谱数据的光谱信息，因此融合图像的空间性能好，光谱性能差；MRA方法则相反，光谱性能好，空间性能差。有相当数量的研究试图将CS和MRA方法结合起来，构造混合模型以吸取二者的优势，但通过理论分析可知混合模型通常都与某种单一方法等价。因此也有学者认为，光谱性能和空间性能是图像融合中的一对矛盾。虽然这一猜想源于空间分辨率和光谱分辨率的矛盾，理论上确实存在对二者共同提升的上限，但现有方法呈现出这种矛盾平衡距离理论上限还有相当大的提升空间。提升MRA方法的空间性能，或改善CS方法的光谱保持性能，是目前比较可行的解决方案。目前对MRA方法的改进，主要着眼于基于MTF的滤波对MRA方法几何性能的提高，但实际的MTF值受到诸多因素影响，并且基于MTF滤波的方法并不能解决配准误差的问题。如何构建稳健的、对配准偏差较不敏感的MRA方法是一个需要解决的问题。
发明内容
本发明为解决现有基于MRA的遥感图像融合方法空间性能较差的问题，在采用适配 MTF的滤波器基础上，通过添加空间/光谱补偿项，降低MTF的不确定性对融合结果的影响，减弱图像配准偏差造成的虚轮廓效应；在保持一定的光谱保持能力的基础上，将融合图像的空间分辨率提高到与CS方法相近的程度。
本发明的技术方案为一种基于遥感图像中频信息进行空间细节调制和空间补偿的遥感影像融合方法，包含以下步骤：
步骤1：对原始多光谱图像MS通过立方卷积法上采样至与全色图像P相同的尺寸，得到插值图像MSl；
步骤2：根据多光谱传感器相对全色传感器的相对MTF构造高斯低通滤波器G；
步骤3：图像成分提取，包括以下步骤，
步骤3.1：利用G对P进行高通滤波，获取高频成分PH；
步骤3.2：对PH进行低通滤波，获取中频成分PM；
步骤3.3：对MSl进行高通滤波，获取高频成分
步骤4：根据
和PM的计算波段间结构参数W；
步骤5；根据W将PH注入MSl，得到未经空间补偿的融合图像
步骤6：根据
和PM构造空间补偿项
步骤7：根据
和自定义性能参数k对
进行补偿，并进行异常处理，得到融合图像。
步骤1中可采用其他图像插值核，但必须保证采用的是图像插值方法，而不是信号插值方法，否则会造成半个像元的偏移。
步骤2中使用相对MTF值构造高斯滤波器。令全色与多光谱数据的MTF值分别为MP和 MM,则相对MTF值M＝MP/MM.由于大部分数据厂商提供的全色图像已经过MTF补偿，所以M可直接采用MM.如果数据厂商未提供数据的MTF值，可通过其他方法对图像MTF值进行测量，或采用典型值，一般为0.15到0.3.
对于给定的M值，滤波器G定义为
其中x,y为离散值，K为归一化系数,σ为尺度参数。σ由下式获得
其中M为多光谱传感器相对全色传感器的相对MTF，r为多光谱和全色图像像元尺寸的比值， r＞1.给定滤波器抽头数p,则归一化系数为
步骤3.1采用步骤2构造的滤波器进行高通滤波，通过下式实现
步骤3.2和3.3分别对进行高通滤波和相应的低通滤波，给定低通滤波核H,步骤3.2的滤波过程如下：
步骤3.3的滤波过程如下：
H推荐采用G,也可采用其他自定义滤波核。
步骤4根据
和PM的计算波段间结构参数W如下
其中σM为
的标准差，σP为PM的标准差。
步骤5根据遥感图像像素级融合统一理论框架进行细节注入，得到未经空间补偿的融合图像，细节注入方法如下式所示：
步骤6根据
和PB构造空间补偿项
构造方法如下：
步骤7根据
对
进行空间补偿，得到融合图像。空间补偿过程采用下式
其中Fused是融合图像，k为自定义的补偿强度系数，推荐值为0.5，取值范围为(-1,1).配准偏差较大时可采用较大的k值，光谱性能要求很高时可采用较小的k值。
本发明与现有技术相比，改进主要体现在：首先，本发明充分保留了MRA方法的优势，具有良好的光谱保持性能；其次，采用中频空间信息构建波段间关系，提高了空间细节调制的准确度；再次，利用中频空间信息进行信息补偿，采用缺省参数可以有效降低MTF的不确定性对融合结果的影响，提高了融合方法的稳健度；采用小于0的补偿系数可进行光谱信息增强；最后，本发明总体效果可以减弱图像配准偏差造成的虚轮廓效应，在保持良好的光谱保持能力的基础上，将融合图像的空间分辨率提高到与CS方法相近的程度，从而使得本发明的方法在空间性能和光谱性能上达到了较高水平的平衡。
具体实施方式
下面实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。采用真实国产遥感卫星高分二号(GF-2)星载遥感多光谱和全色光图像，多光谱图像包含四个波段(MSS1～MSS4)，全色图像(PAN)为单波段。多光谱图像的空间分辨率为4.0m，大小为2500行×2500列。全色图像空间分辨率为1.0m，大小为10000 行×10000列。实施本发明包括以下步骤：
步骤一：上采样多光谱图像：对原始多光谱图像4个波段(MSS1～MSS4)通过立方卷积法 4倍上采样至全色图像PAN相同的尺寸，得到插值图像(LMS1～LMS4)；
步骤二：构造高斯低通滤波器G.多光谱传感器MTF采用典型值0.15，由于全色数据已经过MTF补偿，则相对MTF取值为0.15.根据下式计算滤波器尺度参数σ
其中M＝0.15为多光谱传感器相对全色传感器的相对MTF，多光谱和全色图像像元尺寸的比值r＝4.计算可得σ＝2.4801.由于高斯滤波器是方向可分离的，所以可以先计算一维高斯滤波器，然后相乘得到二维滤波器。如下MATLAB代码构造了一个19抽头的二维高斯滤波器：
M＝0.15；p＝19；r＝4；
s＝r*sqrt(-2*log(M))/pi；
x＝1:p；
x＝x-(p+1)/2；
h＝1/(sqrt(2*pi)*s)*exp(-x.^2/(2*s^2))；
G＝h'*h；
G＝G/sum(G(:))；
步骤三：图像成分提取，包括以下步骤：
首先，利用步骤二构造的滤波器G对PAN滤波，并用PAN减去滤波结果，得到PAN的高频成分图像PANH；同样的方式，用LMS1～LMS4分别减去各自低通滤波结果，得到多光谱图像的高频成分图像LMSH1～LMSH4.；最后，利用G对PANH进行滤波，获得PAN的中频成分图像PANM.由于高斯滤波器的方向分离特性，这一步骤中的二维滤波步骤也可用步骤二中构造的一维滤波器h在行和列两个方向上分别进行。
步骤四：计算各波段细节注入的调制参数W1～W4.分别统计PANM的标准差Sp和LMSH1～LMSH4的标准差S1～S4，用Sp分别除S1～S4得到W1～W4.
步骤五：空间细节注入获取未经空间补偿的融合图像MSU.对LMS1～LMS4，分别加上 PANH与对应波段的调制参数W1～W4的乘积，得到初步融合结果FMSU1～FMSU4.
步骤六：构造空间补偿项MSC.各多光谱波段的空间补偿项为该波段的高频成分减去该波段对应的调制参数W与全色中频成分PANM的乘积，以第一波段为例, MSC1＝LMSH1-W1*PANM
步骤七：对初步融合结果进行空间补偿，空间补偿方法如下：从未经补偿的初步融合结果FMSU中减去k倍的空间补偿项MSC，k为用户自定义的性能参数，缺省值为0.5，较大的k值可以提高空间增强的效果，k<0时可以增强光谱信息削弱空间结构信息。
步骤八：对融合结果进行异常处理并输出。
Claims (10)
1.一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于包括下述步骤：
步骤1：对原始多光谱图像MS通过立方卷积法上采样至与全色图像P相同的尺寸，得到插值图像MSl；
步骤2：根据多光谱传感器相对全色传感器的相对MTF构造高斯低通滤波器G；
步骤3：图像成分提取，包括以下步骤，
步骤3.1：利用G对P进行高通滤波，获取高频成分PH；
步骤3.2：对PH进行低通滤波，获取中频成分PM；
步骤3.3：对MSl进行高通滤波，获取高频成分
步骤4：根据
和PM的计算波段间结构参数W；
步骤5；根据W将PH注入MSl，得到未经空间补偿的融合图像
步骤6：根据
和PM构造空间补偿项
步骤7：根据
和自定义性能参数k对
进行补偿，并进行异常处理，得到融合图像。
2.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤2中采用多光谱传感器相对全色传感器的相对MTF，即多光谱和全色传感器MTF值的比值，构造高斯低通滤波器G。
3.根据权利要求1或2所述的一种基于中频信号调制和补偿的遥感图像融合方法，滤波器G定义为
K为归一化系数,σ为尺度参数。
4.根据权利要求3所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：σ由下式获得
其中M为多光谱传感器相对全色传感器的相对MTF，r为多光谱和全色图像像元尺寸的比值，r＞1 。
5.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤3.1采用步骤2构造的滤波器进行高通滤波，通过下式实现
6.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤3.2和步骤3.3采用相同的低通滤波核，采用步骤2构造的滤波核。
7.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤4根据
和PM的计算波段间结构参数W如下
其中σM为
的标准差，σP为PM的标准差。
8.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤5根据遥感图像像素级融合统一理论框架进行细节注入，得到未经空间补偿的融合图像，细节注入方法如下式所示：
9.根据权利要求1所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：步骤6根据
和PB构造空间/光谱补偿项
构造方法如下：
10.根据权利要求8或9所述的所述的一种基于中频信号调制和补偿的遥感图像融合方法，其特征在于：根据
对
进行信号补偿，得到融合图像。补偿过程采用下式
其中Fused是融合图像，k为自定义的补偿强度系数，缺省值为0.5，取值范围为(-1,1)，取负值时对融合图像进行光谱信息补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910948162.0A CN111833280B (zh) | 2019-09-30 | 2019-09-30 | 一种基于中频信号调制和补偿的高保真遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910948162.0A CN111833280B (zh) | 2019-09-30 | 2019-09-30 | 一种基于中频信号调制和补偿的高保真遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111833280A true CN111833280A (zh) | 2020-10-27 |
| CN111833280B CN111833280B (zh) | 2024-04-16 |
Family
ID=72912009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910948162.0A Active CN111833280B (zh) | 2019-09-30 | 2019-09-30 | 一种基于中频信号调制和补偿的高保真遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111833280B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
-
2019
- 2019-09-30 CN CN201910948162.0A patent/CN111833280B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886870A (zh) * | 2018-12-29 | 2019-06-14 | 西北大学 | 基于双通道神经网络的遥感图像融合方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN113191993B (zh) * | 2021-04-20 | 2022-11-04 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111833280B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080724B (zh) | 一种红外和可见光的融合方法 | |
| Shao et al. | Remote sensing image fusion with deep convolutional neural network | |
| Sun et al. | MLR-DBPFN: A multi-scale low rank deep back projection fusion network for anti-noise hyperspectral and multispectral image fusion | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
| US8699790B2 (en) | Method for pan-sharpening panchromatic and multispectral images using wavelet dictionaries | |
| CN114254715B (zh) | 一种gf-1 wfv卫星影像超分辨率方法、系统及应用 | |
| CN108090872B (zh) | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 | |
| CN114936995A (zh) | 基于大核注意力机制的多尺度特征增强的遥感图像融合方法 | |
| Xu et al. | UPanGAN: Unsupervised pansharpening based on the spectral and spatial loss constrained generative adversarial network | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| Li et al. | A pseudo-siamese deep convolutional neural network for spatiotemporal satellite image fusion | |
| Wang et al. | Coarse-to-fine disentangling demoiréing framework for recaptured screen images | |
| Yan et al. | Md³net: Integrating model-driven and data-driven approaches for pansharpening | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN111833280B (zh) | 一种基于中频信号调制和补偿的高保真遥感图像融合方法 | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN117291808A (zh) | 一种基于流先验与极偏补偿的光场图像超分辨处理方法 | |
| Huang et al. | Attention-based for multiscale fusion underwater image enhancement | |
| CN111179171A (zh) | 基于残差模块和注意力机制的图像超分辨率重建方法 | |
| CN116309227A (zh) | 基于残差网络与空间注意力机制的遥感图像融合方法 | |
| Wang et al. | Neighbor Spectra Maintenance and Context Affinity Enhancement for Single Hyperspectral Image Super-Resolution | |
| CN109658358B (zh) | 一种基于多导向滤波的快速bayer彩色重建方法 | |
| Li et al. | Memory-Constrained Semantic Segmentation for Ultra-High Resolution UAV Imagery | |
| Liu et al. | Pan-sharpening based on geometric clustered neighbor embedding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |