CN112990164B - 一种多光谱与全色图像联合配准与模糊核估计方法与系统 - Google Patents

Abstract

本发明公开了一种多光谱与全色图像联合配准与模糊核估计方法与系统，本发明方法包括建立图像偏移量学习子网络、空间和光谱模糊核估计子网络，连接得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。本发明仅利用从卫星直接得到的低空间分辨率多光谱图像和高空间分辨率的全色图像以及其空间光谱联系，可无监督训练学习得到配准的全色图像以及空间和光谱模糊核，可应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

Description

一种多光谱与全色图像联合配准与模糊核估计方法与系统

技术领域

本发明涉及遥感卫星的高分辨率图像处理技术，具体涉及一种多光谱与全色图像联合配准与模糊核估计方法与系统。

背景技术

高分辨率遥感卫星多光谱图像相对可见光图像拥有更加丰富的光谱信息，可提供重要地物如水体、植被、建筑等关键指数计算，被广泛应用于自然灾害监测、农作物长势分析、环境污染治理和土地资源调查等领域。然而，受限于多光谱相机空间和光谱分辨率相互制约的固有矛盾，目前多光谱遥感卫星仅能获取低空间分辨率的多光谱图像和高空间分辨率的全色（灰度）图像，通过融合多光谱与全色图像来获取高空间分辨率高光谱图像是解决这一矛盾的有效手段。为了提高图像融合质量，需要对卫星获取的低空间分辨率多光谱图像和高空间分辨率全色图像精确建模，其中实现两图像间精确配准和相对空间光谱模糊核估计十分重要。然而传统方法大多采用先图像配准再模糊核估计的步骤，配准过程与模糊核估计过程相互独立，往往无法使得配准与模糊核估计效果达到最优，而不精确的配准和空间模糊核估计过程又会极大地削弱后续图像融合性能，导致融合的多光谱图像细节不清晰、光谱保真度低。因此，急需一种可同时实现多光谱、全色图像配准与模糊核估计的图像分析方法。

发明内容

本发明要解决的技术问题为：针对现有技术的上述问题，提供一种多光谱与全色图像联合配准与模糊核估计方法与系统，本发明仅利用从卫星直接得到的低空间分辨率多光谱图像和高空间分辨率的全色图像以及其空间光谱联系，可无监督训练学习得到配准的全色图像以及空间和光谱模糊核，可应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

为了解决上述技术问题，本发明采用的技术方案为：

一种多光谱与全色图像联合配准与模糊核估计方法，包括：

1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；

2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；

3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。

可选地，步骤1）中多光谱图像、已配准全色图像之间的空间和光谱联系是指：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。

可选地，步骤1）中建立的图像偏移量学习子网络包括：

一个边缘扩充层，用于对输入的多光谱图像做边缘扩充，使之能在缩放的时候保持正确的位置和比例关系；

一个通道平均层，用于对边缘扩充后的多光谱图像做通道平均，压缩为单通道图像，降低计算参数量，使得训练更加稳定；

一个图片缩放层，用于对经过通道平均的多光谱图像进行放大操作；

一个堆叠层，用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F₁；

两个空洞卷积层，用于依次对堆叠特征F₁进一步特征提取得到扩大感受野特征F₂；

两个常规卷积层，用于依次对扩大感受野特征F₂进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量，从而得到全色图像相对多光谱图像的图像偏移量F₃。

可选地，步骤1）中建立的空间和光谱模糊核估计子网络包括：一个用于对输入的多光谱图像做光谱下采样的全连接层，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1，L为多光谱图像通道数，该学习权重参数为待求解的光谱模糊核R；一个用于对输入的全色图像做空间下采样的带步长的卷积层，该卷积层的步长为s，卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值，该卷积层仅包含一个卷积核，该卷积核为待求解的空间模糊核C，该卷积核有两个待优化参数，包括模糊核大小k和标准差σ，且模糊核大小k引入插值操作使得模糊核大小k处处可导。

可选地，步骤2）中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样，得到已配准全色图像，将已配准全色图像作为空间和光谱模糊核估计子网络的一路输入，将输入图像偏移量学习子网络的多光谱图像同时作为空间和光谱模糊核估计子网络的另一路输入。

可选地，将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样的步骤包括：针对输入的全色图像上的任意坐标为(x,y)的像素p，根据对应在行、列两个方向上的偏移量为(Δx, Δy)计算得到已配准全色图像中对应的坐标为(x+Δx,y+Δy)的像素p′；针对每一个像素p′的坐标对其向上、向下取整得到相邻像素点的坐标分别为p′ _tl ([x+Δx],[y+Δy]),p′ _tr ([x+Δx],[y+Δy+1]), p′ _bl ([x+Δx+1],[y+Δy]), p′ _br ([x+Δx+1],[y+Δy+1])，其中p′ _tl ,p′ _tr , p′ _bl , p′ _br 分别为左上、右上、左下、右下的相邻像素点，然后根据左上、右上、左下、右下的相邻像素点p′ _tl ,p′ _tr , p′ _bl , p′ _br 插值得到像素p′的新像素值。

可选地，步骤3）中结合遥感卫星原始全色图像与多光谱图像构建训练数据集是指：针对配准全色图像Z、多光谱图像Y，将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块，得到已配准全色图像Z对应的小块集合{Z_i}和多光谱图像Y对应的小块集合{Y_i}，将{Y_i,Z_i}构建多光谱、全色图像配准与模糊核估计网络的训练数据集。

可选地，步骤3）中通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络时，采用的损失函数loss的函数表达式为：

loss=(1-SIMM(Y′, Z′))+λ·k+β·var(F₃)

上式中，SSIM表示结构相似性计算，Y′表示第一下采样结果，Z′表示第二下采样结果，λ·k为用于避免过大的空间模糊核引起的恢复图像的结构失真的正则项，β·var(F₃)为用于保证图像偏移量学习子网络输出全色图像相对多光谱图像的图像偏移量的平滑性的正则项，k为模糊核大小，F₃为全色图像相对多光谱图像的图像偏移量，var(F₃) 表示全色图像相对多光谱图像的图像偏移量F₃逐层标准差之和，β和λ为常数系数。

此外，本发明还提供一种多光谱与全色图像联合配准与模糊核估计系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述多光谱与全色图像联合配准与模糊核估计方法的步骤。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述多光谱与全色图像联合配准与模糊核估计方法的计算机程序。

和现有技术相比，本发明具有下述优点：本发明是一种基于深度学习的多光谱与全色图像联合配准与模糊核估计方法，通过构建多光谱、全色图像配准与模糊核估计网络，结合多光谱图像与全色图像内在空间和光谱联系，可实现无监督训练优化，准确配准和估计模糊核，保证后续图像融合质量极大提升其空间分辨率和光谱保真度，具有广阔的应用前景和巨大的实用价值。

附图说明

图1为本发明实施例方法的基本流程图。

图2为本发明实施例中图像偏移量学习子网络的示意结构图。

图3为本发明实施例中空间和光谱模糊核估计子网络的结构示意图。

图4为本发明实施例中多光谱、全色图像配准与模糊核估计网络的结构示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步详细描述，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1所示，本实施例多光谱与全色图像联合配准与模糊核估计方法包括：

1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；

2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；

3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核。

本实施例中，步骤1）中多光谱图像、已配准全色图像之间的空间和光谱联系是指：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。上述多光谱图像、已配准全色图像之间的空间和光谱联系的推导过程如下：

S1、卫星获取的低空间分辨率的多光谱图像Y、已配准全色图像Z可表示为：

，

上式中，w,h,L分别为多光谱图像Y的宽度、高度和通道，W,H,l分别为已配准全色图像Z的宽度、高度和通道，且有l=1，

表示实数域。低空间分辨率的多光谱图像Y、已配准全色图像Z的退化模型可表示为：

，

上式中，C为多光谱图像Y的空间模糊核，R为已配准全色图像Z的光谱模糊核，X为理想的高空间分辨率多光谱图像，*为空间卷积操作；↓ _spatial 代表空间下采样操作，采样倍率为s，s=W/w；↓ _spectral 代表光谱下采样操作。

其中，理想的高空间分辨率多光谱图像X可表示为：

一般来说，多光谱图像Y的空间模糊核C为高斯核，即满足：

，

上式中，C(u,v,σ) 为多光谱图像Y的空间模糊核C的函数表达式，(u,v)表示模糊核中位置坐标，k为模糊核中心到边界的距离，σ为高斯核的标准差。

已配准全色图像Z的光谱模糊核R满足：

，

上式中，R _i 为已配准全色图像Z的光谱模糊核R中的第i个元素。

S2、分别利用已配准全色图像Z的光谱模糊核R对多光谱图像Y做光谱下采样，多光谱图像Y的空间模糊核C对已配准全色图像Z做空间下采样，即：

，

上式中，Y′表示多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果，Z′表示已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果，*为空间卷积操作；↓ _spatial 代表空间下采样操作，采样倍率为s，s=W/w；↓ _spectral 代表光谱下采样操作。

S3、将步骤S1中的退化模型代入，可以得到：

，

S4、考虑到空间模糊及下采样与光谱模糊并下采样这两个过程是独立的，我们可以获得等式关系：

，

即：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。上式将用来构建模糊核学习网络，因为上式仅利用原始多光谱和全色图像，故求解模糊核的过程是无监督的。

本实施例中图像偏移量学习子网络得到全色图像相对多光谱图像的图像偏移量的基本原理为：首先将输入的低空间分辨率多光谱图像缩放到与全色图像同样大小，然后堆叠输入偏移量学习网络，通过串联若干个空洞卷积层来提升感受野，最后回归出全色图像逐像素的偏移量。如图2所示，步骤1）中建立的图像偏移量学习子网络包括：

一个边缘扩充层，用于对输入的多光谱图像做边缘扩充，使之能在缩放的时候保持正确的位置和比例关系；

一个通道平均层，用于对边缘扩充后的多光谱图像做通道平均，压缩为单通道图像，降低计算参数量，使得训练更加稳定；

一个图片缩放层，用于对经过通道平均的多光谱图像进行放大操作；

一个堆叠层，用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F₁；

两个空洞卷积层，用于依次对堆叠特征F₁进一步特征提取得到扩大感受野特征F₂；

两个常规卷积层，用于依次对扩大感受野特征F₂进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量，从而得到全色图像相对多光谱图像的图像偏移量F₃。

其中，边缘扩充层对输入的多光谱图像进行边缘扩充，因为输入的多光谱图像是基准图像，我们操作全色图像使之与多光谱图像配准，所以输入全色图像块要更大，需要扩充基准多光谱图像使之与PAN图像保持正确的位置和比例关系，边缘扩充层可描述为：

上式中,

为边缘扩充后的多光谱图像，y _i 为输入的多光谱图像，pad表示边缘扩充操作，本实施例中，上下左右四个边缘各扩充8个像素。

通道平均层是对边缘扩充后的多光谱图像做通道平均操作，得到一幅单通道图像，通过通道平均，降低偏移量学习网络的参数量，通道平均层可描述为：

上式中，

为通道平均操作得到的单通道图像，spec_ave表示通道平均操作。

其中，图片缩放层对输入的多光谱图像进行放大操作，放大倍数为s，s为全色图像与多光谱图像之尺寸比，图片缩放层可描述为：

上式中，

为放大操作后的图像，

为通道平均操作得到的单通道图像，bic表示放大操作，本实施例中放大操作具体采用双立方插值的方式进行放大，此外也可以根据需要采用其他插值方式进行放大。堆叠层可以描述为：

上式中，F₁为堆叠特征，c表示堆叠操作，y′ _i 为放大操作后的多光谱图像，

为输入的全色图像。两个空洞卷积层卷积核尺寸均为5×5，卷积核数量为32，空洞卷积膨胀率为2，设置空洞卷积有利于扩大感受野，可以表示为：

F₂=σ (w ₂ σ(w ₂ F₁+b ₁)+b ₂)

上式中，F₂为扩大感受野特征，w ₁和w ₂分别表示两个空洞卷积层的核权重，b ₁和b ₂分别表示两个空洞卷积层的偏置量，σ表示激活函数。两个常规卷积层的卷积核尺寸为3×3，卷积核数量分别为32和2，因为回归出的偏移量有正有负，所以最后一层卷积层无激活函数，即可以表示为：

F₃=w ₄ σ(w ₃ F₂+b ₃)+b ₄

上式中，F₃为全色图像相对多光谱图像的图像偏移量F₃，w ₃和w ₄分别表示两个常规卷积层的核权重，b ₃和b ₄分别表示两个常规卷积层的偏置量，σ表示激活函数。

本实施例中空间和光谱模糊核估计子网络为轻量级网络，仅包含一个全连接层和一个卷积层，其中全连接层和卷积层的权重即为待优化的光谱模糊核和空间模糊核。如图3所示，步骤1）中建立的空间和光谱模糊核估计子网络包括：一个用于对输入的多光谱图像做光谱下采样的全连接层，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1，L为多光谱图像通道数，该学习权重参数为待求解的光谱模糊核R；一个用于对输入的全色图像做空间下采样的带步长的卷积层，该卷积层的步长为s，卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值，该卷积层仅包含一个卷积核，该卷积核为待求解的空间模糊核C，该卷积核有两个待优化参数，包括模糊核大小k和标准差σ，且模糊核大小k引入插值操作使得模糊核大小k处处可导。

最终，本实施例中得到可端到端训练的多光谱、全色图像配准与模糊核估计网络如图4所示，参见图4，本实施例步骤2）中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样，得到已配准全色图像，将已配准全色图像作为空间和光谱模糊核估计子网络的一路输入，将输入图像偏移量学习子网络的多光谱图像同时作为空间和光谱模糊核估计子网络的另一路输入。通过将两个子网络连接起来，可以得到可端到端训练的联合配准与模糊核估计的深度网络。该网络利用全色图像偏移量学习子网络得到的逐像素偏移量插值重采样原始全色图像，使得图像配准然后输入到模糊核估计子网络进一步估计模糊核。

本实施例中，将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样的步骤包括：针对输入的全色图像上的任意坐标为(x,y)的像素p，根据对应在行、列两个方向上的偏移量为(Δx, Δy)计算得到已配准全色图像中对应的坐标为(x+Δx,y+Δy)的像素p′；针对每一个像素p′的坐标对其向上、向下取整得到相邻像素点的坐标分别为p′ _tl ([x+Δx],[y+Δy]),p′ _tr ([x+Δx],[y+Δy+1]), p′ _bl ([x+Δx+1],[y+Δy]), p′ _br ([x+Δx+1],[y+Δy+1])，其中p′ _tl ,p′ _tr , p′ _bl , p′ _br 分别为左上、右上、左下、右下的相邻像素点，然后根据左上、右上、左下、右下的相邻像素点p′ _tl ,p′ _tr , p′ _bl , p′ _br 插值得到像素p′的新像素值，其函数表达式为：

，

上式中，

,

分别表示像素p上侧、下侧相邻像素点的插值位置，[]代表取整操作，通过引入插值操作，使得该重采样过程是可导的，方便后续的端到端训练。

在得到配准后的全色图像后，只取与多光谱图像对应的图像块，而舍弃图像边缘部分。在本实施例中，我们得到配准的128*128的全色图像，而输入多光谱图像大小是16*16，因此只取全色图像中心64*64的区域，此区域恰好与多光谱图像位置对应。

本实施例中，步骤3）中结合遥感卫星原始全色图像与多光谱图像构建训练数据集是指：针对配准全色图像Z、多光谱图像Y，将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块，得到已配准全色图像Z对应的小块集合{Z_i}和多光谱图像Y对应的小块集合{Y_i}，将{Y_i,Z_i}构建多光谱、全色图像配准与模糊核估计网络的训练数据集。例如，本实施例中已配准全色图像Z与多光谱图像Y的尺寸比值为4，多光谱图像Y的通道数L也为4。将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块是指分别带重叠地裁剪为16×16的小块{Y_i}与128×128小块{Z_i}，用来构建深度网络的训练集。

本实施例中，步骤3）中通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络时，采用的损失函数loss的函数表达式为：

loss=(1-SIMM(Y′, Z′))+λ·k+β·var(F₃)

上式中，SSIM表示结构相似性计算，Y′表示第一下采样结果，Z′表示第二下采样结果，λ·k为用于避免过大的空间模糊核引起的恢复图像的结构失真的正则项，β·var(F₃)为用于保证图像偏移量学习子网络输出全色图像相对多光谱图像的图像偏移量的平滑性的正则项，k为模糊核大小，F₃为全色图像相对多光谱图像的图像偏移量，var(F₃) 表示全色图像相对多光谱图像的图像偏移量F₃逐层标准差之和，β和λ为常数系数（本实施例中取值均为1e-5）。通过构建结构损失和部分正则项，优化可得到空间模糊核和光谱模糊核。将训练数据集{Y_i,Z_i}输入到多光谱、全色图像配准与模糊核估计网络，考虑到实际遥感卫星的多光谱图像与全色图像的波段覆盖范围可能不同，所以这里选择SSIM（Structuralsimilarity index）作为损失函数，同时需要对偏移量学习子网络的输出结果加以约束，保证其平滑性。

综上所述，为了解决上述多光谱图像配准与模糊核估计难题，本实施例提供了一种基于深度学习的多光谱与全色图像联合配准与模糊核估计方案，通过分析低空间分辨率多光谱图像与高空间分辨率全色图像的空间和光谱联系，构建全色图像逐像素偏移量学习子网络和空间光谱模糊核估计子网络，进而训练得到配准的全色图像以及相应的空间和光谱模糊核。本实施例方法实现了图像配准与模糊核估计的联合优化、可端到端学习。本实施例方法首先构建全色图像偏移量学习子网络和模糊核估计子网；然后将二者连接起来得到可端到端训练的深度模型；接下来利用获取的全色、多光谱图像构建训练数据，训练优化该配准与模糊核估计模型；最后提取空间和光谱模糊核，以及重采样出已配准的全色图像。本实施例方法仅利用从卫星直接得到的低空间分辨率多光谱图像和高空间分辨率的全色图像以及其空间光谱联系，可无监督训练学习得到配准的全色图像以及空间和光谱模糊核。本实施例方法能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

此外，本实施例还提供一种多光谱与全色图像联合配准与模糊核估计系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述多光谱与全色图像联合配准与模糊核估计方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述多光谱与全色图像联合配准与模糊核估计方法的计算机程序。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，本发明的应用范围适用但不限于多光谱图像模糊核估计以及融合等图像处理领域。上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种多光谱与全色图像联合配准与模糊核估计方法，其特征在于，包括：

1）建立图像偏移量学习子网络，以根据输入的多光谱图像、全色图像得到全色图像相对多光谱图像的图像偏移量；根据多光谱图像、已配准全色图像之间的空间和光谱联系建立空间和光谱模糊核估计子网络以估计空间模糊核与光谱模糊核；

2）连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络，得到可端到端训练的多光谱、全色图像配准与模糊核估计网络；

3）结合遥感卫星原始全色图像与多光谱图像构建训练数据集，通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络，训练完成得到空间模糊核与光谱模糊核；

步骤1）中建立的图像偏移量学习子网络包括：

一个边缘扩充层，用于对输入的多光谱图像做边缘扩充，使之能在缩放的时候保持正确的位置和比例关系；

一个通道平均层，用于对边缘扩充后的多光谱图像做通道平均，压缩为单通道图像，降低计算参数量，使得训练更加稳定；

一个图片缩放层，用于对经过通道平均的多光谱图像进行放大操作；

一个堆叠层，用于将输入的全色图像、放大的多光谱图像堆叠在一起得到堆叠特征F₁；

两个空洞卷积层，用于依次对堆叠特征F₁进一步特征提取得到扩大感受野特征F₂；

两个常规卷积层，用于依次对扩大感受野特征F₂进一步特征提取并回归出全色图像每个像素在行、列两个方向上的偏移量，从而得到全色图像相对多光谱图像的图像偏移量F₃；

步骤2）中连接所述图像偏移量学习子网络、空间和光谱模糊核估计子网络具体是指将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样，得到已配准全色图像，将已配准全色图像作为空间和光谱模糊核估计子网络的一路输入，将输入图像偏移量学习子网络的多光谱图像同时作为空间和光谱模糊核估计子网络的另一路输入；

将图像偏移量学习子网络输出的全色图像相对多光谱图像的图像偏移量对全色图像重采样的步骤包括：针对输入的全色图像上的任意坐标为(x,y)的像素p，根据对应在行、列两个方向上的偏移量为(Δx, Δy)计算得到已配准全色图像中对应的坐标为(x+Δx,y+Δy)的像素p′；针对每一个像素p′的坐标对其向上、向下取整得到相邻像素点的坐标分别为p′ _tl ([x+Δx],[y+Δy]),p′ _tr ([x+Δx],[y+Δy+1]),p′ _bl ([x+Δx+1],[y+Δy]),p′ _br ([x+Δx+1],[y+Δy+1])，其中p′ _tl ,p′ _tr ,p′ _bl ,p′ _br 分别为左上、右上、左下、右下的相邻像素点，然后根据左上、右上、左下、右下的相邻像素点p′ _tl ,p′ _tr ,p′ _bl ,p′ _br 插值得到像素p′的新像素值。

2.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中多光谱图像、已配准全色图像之间的空间和光谱联系是指：多光谱图像Y和已配准全色图像Z的光谱模糊核R两者的空间卷积操作结果进行光谱下采样操作后得到的第一下采样结果、已配准全色图像Z和多光谱图像Y的空间模糊核C两者的空间卷积操作结果进行空间下采样操作后得到的第二下采样结果两者相等。

3.根据权利要求1所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤1）中建立的空间和光谱模糊核估计子网络包括：一个用于对输入的多光谱图像做光谱下采样的全连接层，该全连接层仅包含1个节点，无偏置，其可学习权重参数大小为L×1，L为多光谱图像通道数，该学习权重参数为待求解的光谱模糊核R；一个用于对输入的全色图像做空间下采样的带步长的卷积层，该卷积层的步长为s，卷积层的步长s为已配准全色图像Z、多光谱图像Y的尺寸比值，该卷积层仅包含一个卷积核，该卷积核为待求解的空间模糊核C，该卷积核有两个待优化参数，包括模糊核大小k和标准差σ，且模糊核大小k引入插值操作使得模糊核大小k处处可导。

4.根据权利要求2所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤3）中结合遥感卫星原始全色图像与多光谱图像构建训练数据集是指：针对配准全色图像Z、多光谱图像Y，将已配准全色图像Z、多光谱图像Y分别带重叠地裁剪为相同数量的小块，得到已配准全色图像Z对应的小块集合{Z_i}和多光谱图像Y对应的小块集合{Y_i}，将{Y_i,Z_i}构建多光谱、全色图像配准与模糊核估计网络的训练数据集。

5.根据权利要求4所述的多光谱与全色图像联合配准与模糊核估计方法，其特征在于，步骤3）中通过训练数据集训练优化多光谱、全色图像配准与模糊核估计网络时，采用的损失函数loss的函数表达式为：

loss=(1-SSIM(Y′,Z′))+λ·k+β·var(F₃)

上式中，SSIM表示结构相似性计算，Y′表示第一下采样结果，Z′表示第二下采样结果，λ·k为用于避免过大的空间模糊核引起的恢复图像的结构失真的正则项，β·var(F₃)为用于保证图像偏移量学习子网络输出全色图像相对多光谱图像的图像偏移量的平滑性的正则项，k为模糊核大小，F₃为全色图像相对多光谱图像的图像偏移量，var(F₃) 表示全色图像相对多光谱图像的图像偏移量F₃逐层标准差之和，β和λ为常数系数。

6.一种多光谱与全色图像联合配准与模糊核估计系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的步骤。

7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述多光谱与全色图像联合配准与模糊核估计方法的计算机程序。

Images