CN112488978A - 基于模糊核估计的多光谱图像融合成像方法及系统 - Google Patents
基于模糊核估计的多光谱图像融合成像方法及系统 Download PDFInfo
- Publication number
- CN112488978A CN112488978A CN202110157440.8A CN202110157440A CN112488978A CN 112488978 A CN112488978 A CN 112488978A CN 202110157440 A CN202110157440 A CN 202110157440A CN 112488978 A CN112488978 A CN 112488978A
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral image
- panchromatic
- multispectral
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 94
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000001228 spectrum Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000003595 spectral effect Effects 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 23
- 230000003321 amplification Effects 0.000 claims description 18
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000005520 cutting process Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 125000004432 carbon atom Chemical group C* 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 229910052500 inorganic mineral Inorganic materials 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000011707 mineral Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于模糊核估计的多光谱图像融合成像方法及系统，本发明方法包括获取多光谱图像和全色图像；将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络，得到融合后的多光谱图像，所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系，且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于空间模糊核和光谱模糊核构建的融合训练数据集，本发明可高效重建出高空间分辨率多光谱图像，能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。
Description
技术领域
本发明涉及多光谱图像融合方法，具体涉及一种基于模糊核估计的多光谱图像融合成像方法及系统。
背景技术
遥感卫星多光谱图像包含从可见光到近红外等多个光谱波段，拥有丰富的地物光谱信息，已被广泛应用于自然灾害监测、农作物检测、矿产勘探和土地资源调查等领域。然而，因为受限于成像传感器制造工艺、硬件成本和卫星体积重量，目前多光谱遥感卫星的成像器件仅能获取低空间分辨率的多光谱图像和高空间分辨率的全色（灰度）图像。为了获取高空间分辨率多光谱图像，融合低空间分辨率多光谱图像和高空间分辨率全色图像是一种有效解决方法。现有基于深度学习的多光谱图像融合方法往往采用固定的空间模糊核模糊并下采样卫星获取的低空间分辨率多光谱图像和高空间分辨率全色图像来构建训练数据集。然而固定的空间模糊核往往与卫星实际的点扩散函数不符，而错误的空间模糊核会极大地削弱深度模型的图像融合性能，导致融合的多光谱图像细节不清晰、光谱保真度低。因此，需要一种高效的多光谱与全色图像的空间模糊核估计与融合方法。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于模糊核估计的多光谱图像融合成像方法及系统，本发明可高效重建出高空间分辨率多光谱图像，能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于模糊核估计的多光谱图像融合成像方法，包括：
1）获取多光谱图像和全色图像；
2）将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络，得到融合后的多光谱图像，所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系，且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于光谱模糊核构建的融合训练数据集。
可选地，步骤2）中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括：
2.1）通过一个缩放层对多光谱图像进行放大操作；
2.2）通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取；
2.3）通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征；
2.4）通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征；
2.5）将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征，通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。
可选地，步骤2.1）中进行放大操作采用的操作为双立方插值操作，且放大倍数为s。
可选地，步骤2.2）中第一卷积层包含64个3×3大小的卷积核。
可选地，步骤2.4）中的每一个第二卷积层均包含64个3×3大小的卷积核。
可选地，步骤2）之前还包括训练全色与多光谱图像深度融合网络的步骤：
S1）输入融合训练数据集；
S2）将训练数据集送入全色与多光谱图像深度融合网络，通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练；
上式中，N为融合训练数据集{yi,zi,Yi}中的样本数量，Net表示全色与多光谱图像深度融合网络，θ为全色与多光谱图像深度融合网络的网络参数, Yi为融合训练数据集中将原始的多光谱图像Y经过裁剪得到的64×64的第i个小块。
可选地，步骤S1）中构建融合训练数据集{yi,zi,Yi}的步骤包括：
S1.1）获取多光谱图像Y和全色图像Z；
S1.2）建立多光谱图像Y和全色图像Z的空间和光谱联系，并根据多光谱图像Y和全色图像Z的空间和光谱联系构建无监督的模糊核学习网络；
S1.3）将多光谱图像Y带重叠地裁剪得到的16×16的小块{Yi}，将全色图像Z带重叠地裁剪得到的64×64的小块{Zi}，并构建训练数据集{Yi, Zi }；将训练数据集{Yi, Zi }输入模糊核学习网络进行学习，得到空间模糊核和光谱模糊核；
S1.4）利用空间模糊核将原始的多光谱图像Y进行模糊和下采样得到的多光谱图像y，利用空间模糊核将原始的全色图像Z经过模糊和下采样得到的全色图像z；将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi}，将得到的全色图像z带重叠地裁剪得到的64×64的小块{ zi}，将原始的多光谱图像Y经过裁剪得到的64×64的小块{Yi}，最终得到构建的融合训练数据集{yi,zi,Yi}。
此外，本发明还提供一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的步骤。
此外，本发明还提供一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，所述存储器中存储有被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明方法包括获取多光谱图像和全色图像；将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络，得到融合后的多光谱图像，所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系，本发明可高效重建出高空间分辨率多光谱图像，能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中全色与多光谱图像深度融合网络的结构示意图。
图3为本发明实施例中全色与多光谱图像深度融合网络的训练流程示意图。
图4为本发明实施例中模糊核学习网络的结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，本实施例基于模糊核估计的多光谱图像融合成像方法包括：
1）获取多光谱图像和全色图像；
2）将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络，得到融合后的多光谱图像，所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系，且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于光谱模糊核构建的融合训练数据集。
参见图2，本实施例步骤2）中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括：
2.1）通过一个缩放层对多光谱图像进行放大操作；
2.2）通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取；
2.3）通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征；
2.4）通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征；
2.5）将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征，通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。
本实施例中，步骤2.1）中进行放大操作采用的操作为双立方插值操作，放大倍数为s。缩放层对多光谱图像进行放大操作的操作可描述为：
上式中，yi′表示放大操作后的多光谱图像，yi表示放大操作前的多光谱图像，bic表示对输入图像做双立方插值操作。
本实施例中，步骤2.2）中第一卷积层包含64个3×3大小的卷积核。通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取可描述为：
上式中，y 1 为针对放大操作后的多光谱图像yi′提取得到的初始特征，yi′表示放大操作后的多光谱图像，σ为激活函数（本实施例中使用修正线性单元ReLU作为激活函数），w 1 y和b 1 y分别为第一卷积层对进行放大操作后的多光谱图像进行初始特征的权重及偏置量，w 1 z和b 1 z分别为第一卷积层对全色图像进行初始特征的权重及偏置量，z 1 为针对全色图像zi提取得到的初始特征。
本实施例中，步骤2.3）通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征，可以表示为：
上式中，F 1 为提取到的堆叠特征，y 1 为针对放大操作后的多光谱图像yi′提取得到的初始特征，z 1 为针对全色图像zi提取得到的初始特征，c表示特征堆叠操作。
本实施例中，步骤2.4）中的每一个第二卷积层均包含64个3×3大小的卷积核。通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征可以表示为：
上式中，F 2 为提取到的深度特征，F 1 为堆叠特征，σ为激活函数（本实施例中使用修正线性单元ReLU作为激活函数），w 2～w 7分别为六个第二卷积层的权重，b 2～b 7分别为六个第二卷积层的偏置量，且其中最后一个第二卷积层（下标为2）未加激活函数σ。
本实施例中，步骤2.5）将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征，通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像，该过程可以描述为：
上式中，X为重建出高空间分辨率的多光谱图像，F 2 为提取到的深度特征，y 1 为针对放大操作后的多光谱图像yi′提取得到的初始特征，σ为激活函数（本实施例中使用修正线性单元ReLU作为激活函数），w 8为第三卷积层的权重，b 8为第三卷积层的偏置量。
本实施例中的全色与多光谱图像深度融合网络首先分别对输入低空间分辨率多光谱图像和高空间分辨率的全色图像进行缩放和初始特征提取；然后堆叠所提取的特征并串联多个卷积层实现深度残差特征提取；最终利用一个卷积层重建出高空间分辨率多光谱图像。
如图3所示，本实施例步骤2）之前还包括训练全色与多光谱图像深度融合网络的步骤：
S1）输入融合训练数据集；
S2）将融合训练数据集送入全色与多光谱图像深度融合网络，通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练；
上式中，N为融合训练数据集{yi,zi,Yi}中的样本数量，Net表示全色与多光谱图像深度融合网络，θ为全色与多光谱图像深度融合网络的网络参数, Yi为融合训练数据集中将原始的多光谱图像Y经过裁剪得到的64×64的第i个小块。
参见图3，融合训练数据集的构建步骤包括：
S1.1）获取多光谱图像Y和全色图像Z；
本实施例中，卫星获取的低空间分辨率的多光谱图像Y可表示为：
上式中，w为低空间分辨率多光谱图像的宽，h为低空间分辨率多光谱图像的高，L为低空间分辨率多光谱图像的波段数量，W为高空间分辨率全色图像的宽，H为高空间分辨率全色图像的高。
全色图像Z可表示为：
上式中，W为高空间分辨率全色图像的宽，H为高空间分辨率全色图像的高。
多光谱图像Y和全色图像Z的退化模型可以表示为：
上式中，X为理想的高空间分辨率多光谱图像，C为多光谱图像Y的空间模糊核，R为全色图像Z的光谱模糊核，*为空间卷积操作，↓ spectral 代表空间模糊及下采样操作（采样倍率为s，s=W/w），↓ spatial 代表光谱模糊及下采样操作（采样倍率为s，s=W/w）。
理想的高空间分辨率多光谱图像X可以表示为：
多光谱图像Y的空间模糊核C一般为高斯核，即满足：
上式中，C(u,v,σ)表示空间模糊核C，其中(u,v)表示模糊核中位置坐标，k为模糊核中心到边界的距离，σ为高斯核的标准差。
全色图像Z的光谱模糊核R满足：
上式中，R i 为光谱模糊核R中的第i个元素，L光谱模糊核R中的元素个数。
S1.2）建立多光谱图像Y和全色图像Z的空间和光谱联系，并根据多光谱图像Y和全色图像Z的空间和光谱联系构建无监督的模糊核学习网络；
本实施例中建立多光谱图像Y和全色图像Z的空间和光谱联系是指分别利用多光谱图像Y的空间模糊核C、全色图像Z的光谱模糊核R做光谱和空间下采样，该过程可描述为：
上式中，Y′为多光谱图像Y做光谱和空间下采样得到的结果，Z′为全色图像Z做光谱和空间下采样得到的结果。
代入多光谱图像Y和全色图像Z的退化模型，则有：
考虑到空间模糊及下采样与光谱模糊并下采样这两个过程是独立的，我们可以获得多光谱图像Y和全色图像Z的空间和光谱联系的等式关系如下：
上式将用来构建模糊核学习网络，因为上式仅利用原始多光谱和全色图像，故求解模糊核的过程是无监督的。
本实施例中，步骤S1.2）中构建无监督的模糊核学习网络如图4所示，该模糊核学习网络为轻量级网络，仅包含一个全连接层和一个卷积层，其中全连接层和卷积层的权重即为待优化的光谱和空间模糊核，通过构建结构损失，优化得到空间模糊核和光谱模糊核。其中：
全连接层用于对输入的多光谱图像做光谱下采样，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1, L为多光谱图像通道数，该参数即为待优化的光谱模糊核R。
卷积层（带步长）用于对输入的全色图像做空间下采样，步长为s，该卷积层仅包含一个卷积核，即为待求解的空间模糊核C，该卷积核有两个待优化参数，即模糊核大小（模糊核中心到边界的距离）k和高斯核的标准差σ。考虑到模糊核大小k为离散量，为了使其可优化，即求解是可导的。我们引入插值操作，使得k处处可导，其表达式如下：
上式中，C k 表示待求解模糊核，k f =k-[k]，k表示模糊核大小，[k]表示取整操作，C[k]表示待求解模糊核下边界模糊核，C[k]+1表示待求解模糊核上边界模糊核。
S1.3）将多光谱图像Y带重叠地裁剪得到的16×16的小块{Yi}，将全色图像Z带重叠地裁剪得到的64×64的小块{Zi}，并构建训练数据集{Yi, Zi }；将训练数据集{Yi, Zi }输入模糊核学习网络进行学习，得到空间模糊核和光谱模糊核；
将训练数据集{Yi, Zi }输入模糊核学习网络进行学习时，考虑到实际遥感卫星的多光谱图像与全色图像的波段覆盖范围可能不同，所以这里选择SSIM（Structuralsimilarity index）作为损失函数。该损失函数loss可表示为：
上式中，Y′为多光谱图像Y做光谱和空间下采样得到的结果，Z′为全色图像Z做光谱和空间下采样得到的结果，k为模糊核大小，λ为正则项，正则项λ用于避免过大的空间模糊核引起的恢复图像的结构失真，本实施例中正则项λ取值为1e-5。
S1.4）利用空间模糊核将原始的多光谱图像Y进行模糊和下采样得到的多光谱图像y，利用空间模糊核将原始的全色图像Z经过模糊和下采样得到的全色图像z；将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi}，将得到的全色图像z带重叠地裁剪得到的64×64的小块{ zi}，将原始的多光谱图像Y经过裁剪得到的64×64的小块{Yi}，最终得到构建的融合训练数据集{yi,zi,Yi}。
本实施例中，利用光谱模糊核将原始的多光谱图像Y进行模糊和下采样得到的多光谱图像y时，采样步长为s（本实施例中取值为4）。该过程可描述为：
上式中，y为利用光谱模糊核将原始的多光谱图像Y进行模糊和下采样得到的多光谱图像，C为多光谱图像Y的空间模糊核，↓ space 代表利用光谱模糊核进行模糊和下采样操作。
利用光谱模糊核将原始的全色图像Z经过模糊和下采样得到的全色图像z时，采样步长为s（本实施例中取值为4）。该过程可描述为：
上式中，z为利用光谱模糊核将原始的全色图像Z经过模糊和下采样得到的全色图像，C为多光谱图像Y的空间模糊核，↓ space 代表利用光谱模糊核进行模糊和下采样操作。
参见前文步骤S1.1）～S1.4）可知，本实施例方法通过分析原始低空间分辨率多光谱图像与高空间分辨率全色图像的内在联系，准确学习得到空间模糊核，保证多光谱图像融合网络的泛化能力，有效保证融合图像的质量，极大提升其空间分辨率和光谱保真度，具有广阔的应用前景和巨大的实用价值。
为了对本实施例基于模糊核估计的多光谱图像融合成像方法进行验证，本实施例中在高分二号遥感卫星数据上开展，使用的图像数据由中国高分二号卫星成像于2017年3月2日，成像区域为长沙地区，数据包含一幅大小为27620×29200的全色图像和一幅大小为6908×7300的多光谱图像。我们将原多光谱图像作为参考图像，分别对其做空间和光谱下采样得到模拟的多光谱和全色图像，也就是待融合图像，方便指标比对。在模糊核估计网络中，训练采用ADAM优化器，学习率设置为0.01。在后面的全色与多光谱图像深度融合网络中，训练同样采用ADAM优化器，学习率设置为5×10-4。实验采用均方根误差（Root meansquare error，简称RMSE，值越小越好）、光谱角图（Spectral angle mapper，简称SAM，值越小越好）、互相关性（Cross correlation，简称CC，值越大越好）和无量纲误差（Erreurrelative globale adimensionnelle de synthese，简称ERGAS，值越小越好）作为参考指标，结合与B. Aiazzi、G. Masi提出的融合方法作为对比，最终得到的实验结果如表1所示。
表1：不同方法在高分二号数据上的效果对比。
由表1可知，本实施例方法与B. Aiazzi、G. Masi提出的融合方法相比，在各个指标上均有优势，因此可确定本实施例基于模糊核估计的多光谱图像融合成像方法能够更好地重建出高空间分辨率多光谱图像。
综上所述，为了解决上述多光谱图像模糊核估计与融合难题，本实施例提供了一种基于模糊核估计的多光谱图像融合成像方案，通过充分考虑低空间分辨率多光谱图像与高空间分辨率全色图像的内在联系，构建轻量级模糊核估计网络，训练学习得到准确的空间模糊核和光谱模糊核；进而利用学习到的空间模糊核模糊和下采样原始低空间分辨率多光谱图像和高空间分辨率全色图像来构建融合训练集，训练深度多光谱图像融合网络；最后将原始低空间分辨率多光谱图像和高空间分辨率全色图像输入已训练完成的多光谱图像融合网络，得到高空间分辨率多光谱图像。本实施例提出的方法可无监督学习得到空间模糊核，进而高效重建出高空间分辨率多光谱图像，且与现有B. Aiazzi、G. Masi提出的融合方法相比，本实施例方法能够更好地重建出高空间分辨率多光谱图像，科广泛应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。
此外，本实施例还提供一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的步骤。
此外，本实施例还提供一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，所述存储器中存储有被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，本发明的应用范围适用但不限于多光谱图像模糊核估计以及融合等图像处理领域。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于模糊核估计的多光谱图像融合成像方法，其特征在于，包括：
1）获取多光谱图像和全色图像；
2）将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络，得到融合后的多光谱图像，所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系，且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于空间模糊核和光谱模糊核构建的融合训练数据集；
步骤2）之前还包括训练全色与多光谱图像深度融合网络的步骤：
S1）输入融合训练数据集；
S2）将训练数据集送入全色与多光谱图像深度融合网络，通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练；
上式中，N为融合训练数据集中的样本数量，Net表示全色与多光谱图像深度融合网络，θ为全色与多光谱图像深度融合网络的网络参数,Yi为融合训练数据集中将原始的多光谱图像Y经过裁剪得到的64×64的第i个小块；所述融合训练数据集的构建步骤包括：
S1.1）获取多光谱图像Y和全色图像Z；
S1.2）建立多光谱图像Y和全色图像Z的空间和光谱联系，并根据多光谱图像Y和全色图像Z的空间和光谱联系构建无监督的模糊核学习网络；
S1.3）将多光谱图像Y带重叠地裁剪得到的16×16的小块{Yi}，将全色图像Z带重叠地裁剪得到的64×64的小块{Zi}，并构建训练数据集{Yi, Zi }；将训练数据集{Yi, Zi }输入模糊核学习网络进行学习，得到空间模糊核和光谱模糊核；
S1.4）利用空间模糊核将原始的多光谱图像Y进行模糊和下采样得到的多光谱图像y，利用空间模糊核将原始的全色图像Z经过模糊和下采样得到的全色图像z；将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi}，将得到的全色图像z带重叠地裁剪得到的64×64的小块{zi}，将原始的多光谱图像Y经过裁剪得到的64×64的小块{Yi}，最终得到构建的融合训练数据集{yi,zi,Yi}。
2.根据权利要求1所述的基于模糊核估计的多光谱图像融合成像方法，其特征在于，步骤2）中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括：
2.1）通过一个缩放层对多光谱图像进行放大操作；
2.2）通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取；
2.3）通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征；
2.4）通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征；
2.5）将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征，通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。
3.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法，其特征在于，步骤2.1）中进行放大操作采用的操作为双立方插值操作，且放大倍数为s。
4.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法，其特征在于，步骤2.2）中第一卷积层包含64个3×3大小的卷积核。
5.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法，其特征在于，步骤2.4）中的每一个第二卷积层均包含64个3×3大小的卷积核。
6.一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的步骤。
7.一种基于模糊核估计的多光谱图像融合成像系统，包括相互连接的微处理器和存储器，其特征在于，所述存储器中存储有被编程或配置以执行权利要求1～5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157440.8A CN112488978A (zh) | 2021-02-05 | 2021-02-05 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110157440.8A CN112488978A (zh) | 2021-02-05 | 2021-02-05 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488978A true CN112488978A (zh) | 2021-03-12 |
Family
ID=74912376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110157440.8A Pending CN112488978A (zh) | 2021-02-05 | 2021-02-05 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488978A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991249A (zh) * | 2021-03-18 | 2021-06-18 | 国网经济技术研究院有限公司 | 一种基于深度可分离cnn模型的遥感图像融合方法 |
| CN112990164A (zh) * | 2021-05-19 | 2021-06-18 | 湖南大学 | 一种多光谱与全色图像联合配准与模糊核估计方法与系统 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN114493963A (zh) * | 2022-02-24 | 2022-05-13 | 杨邦会 | 一种矿山生态环境监测与修复系统 |
| CN114527087A (zh) * | 2022-03-03 | 2022-05-24 | 东北大学 | 一种尾砂成分含量估测方法及系统 |
| CN115588140A (zh) * | 2022-10-24 | 2023-01-10 | 北京市遥感信息研究所 | 一种多光谱遥感图像多方向目标检测方法 |
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| WO2023240857A1 (zh) * | 2022-06-13 | 2023-12-21 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
| US20170186162A1 (en) * | 2015-12-24 | 2017-06-29 | Bosko Mihic | generating composite images using estimated blur kernel size |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| US20190244331A1 (en) * | 2018-02-02 | 2019-08-08 | Nvidia Corp. | Unsupervised Learning Approach for Video Deblurring |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
-
2021
- 2021-02-05 CN CN202110157440.8A patent/CN112488978A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609930A (zh) * | 2012-01-20 | 2012-07-25 | 中国科学院自动化研究所 | 一种基于多方向梯度场的图像融合方法 |
| US20170186162A1 (en) * | 2015-12-24 | 2017-06-29 | Bosko Mihic | generating composite images using estimated blur kernel size |
| US20190244331A1 (en) * | 2018-02-02 | 2019-08-08 | Nvidia Corp. | Unsupervised Learning Approach for Video Deblurring |
| CN109272010A (zh) * | 2018-07-27 | 2019-01-25 | 吉林大学 | 基于卷积神经网络的多尺度遥感图像融合方法 |
| CN109146831A (zh) * | 2018-08-01 | 2019-01-04 | 武汉大学 | 基于双支深度学习网络的遥感图像融合方法及系统 |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| GUO ANJING ET AL.: "Unsupervised Blur Kernel Learning for Pansharpening", 《IGARSS 2020 – 2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991249B (zh) * | 2021-03-18 | 2023-11-24 | 国网经济技术研究院有限公司 | 一种基于深度可分离cnn模型的遥感图像融合方法 |
| CN112991249A (zh) * | 2021-03-18 | 2021-06-18 | 国网经济技术研究院有限公司 | 一种基于深度可分离cnn模型的遥感图像融合方法 |
| CN113191993A (zh) * | 2021-04-20 | 2021-07-30 | 山东师范大学 | 基于深度学习的全色与多光谱图像融合方法 |
| CN112990164A (zh) * | 2021-05-19 | 2021-06-18 | 湖南大学 | 一种多光谱与全色图像联合配准与模糊核估计方法与系统 |
| CN112990164B (zh) * | 2021-05-19 | 2021-07-27 | 湖南大学 | 一种多光谱与全色图像联合配准与模糊核估计方法与系统 |
| CN113191325A (zh) * | 2021-05-24 | 2021-07-30 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN113191325B (zh) * | 2021-05-24 | 2023-12-12 | 中国科学院深圳先进技术研究院 | 一种图像融合方法、系统及其应用 |
| CN114493963A (zh) * | 2022-02-24 | 2022-05-13 | 杨邦会 | 一种矿山生态环境监测与修复系统 |
| CN114527087A (zh) * | 2022-03-03 | 2022-05-24 | 东北大学 | 一种尾砂成分含量估测方法及系统 |
| WO2023240857A1 (zh) * | 2022-06-13 | 2023-12-21 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
| CN115588140B (zh) * | 2022-10-24 | 2023-04-18 | 北京市遥感信息研究所 | 一种多光谱遥感图像多方向目标检测方法 |
| CN115588140A (zh) * | 2022-10-24 | 2023-01-10 | 北京市遥感信息研究所 | 一种多光谱遥感图像多方向目标检测方法 |
| CN117079105A (zh) * | 2023-08-04 | 2023-11-17 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
| CN117079105B (zh) * | 2023-08-04 | 2024-04-26 | 中国科学院空天信息创新研究院 | 遥感图像空谱融合方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及系统 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN113129247B (zh) | 基于自适应多尺度残差卷积的遥感图像融合方法及介质 | |
| CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
| CN110246148B (zh) | 多模态的深度信息融合和注意力学习的显著性检测方法 | |
| CN113066037B (zh) | 基于图注意力机制的多光谱与全色图像融合方法及系统 | |
| CN113066030B (zh) | 一种基于空谱融合网络的多光谱图像全色锐化方法及系统 | |
| CN116309070A (zh) | 一种高光谱遥感图像超分辨率重建方法、装置及计算机设备 | |
| CN111369442A (zh) | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 | |
| CN113902646A (zh) | 基于深浅层特征加权融合网络的遥感影像泛锐化方法 | |
| CN114418853A (zh) | 基于相似图像检索的图像超分辨率优化方法、介质及设备 | |
| CN115760814A (zh) | 一种基于双耦合深度神经网络的遥感图像融合方法及系统 | |
| Zhang et al. | Deformable and residual convolutional network for image super-resolution | |
| CN113610905A (zh) | 基于子图像匹配的深度学习遥感图像配准方法及应用 | |
| Zhang et al. | Transres: a deep transfer learning approach to migratable image super-resolution in remote urban sensing | |
| CN103208109B (zh) | 一种基于局部约束迭代邻域嵌入的人脸幻构方法 | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| CN115861083A (zh) | 一种多尺度和全局特征的高光谱与多光谱遥感融合方法 | |
| CN116309227A (zh) | 基于残差网络与空间注意力机制的遥感图像融合方法 | |
| Guo et al. | Unsupervised blur kernel learning for pansharpening | |
| Deng et al. | Multiple frame splicing and degradation learning for hyperspectral imagery super-resolution | |
| CN114972022A (zh) | 一种基于非对齐rgb图像的融合高光谱超分辨率方法和系统 | |
| CN114331922A (zh) | 多尺度自校准气动光学效应湍流退化图像复原方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |
|
| RJ01 | Rejection of invention patent application after publication |