CN109360147B

CN109360147B - 基于彩色图像融合的多光谱图像超分辨率重建方法

Info

Publication number: CN109360147B
Application number: CN201811022528.3A
Authority: CN
Inventors: 沈会良; 潘之玮
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2018-09-03
Filing date: 2018-09-03
Publication date: 2020-08-14
Anticipated expiration: 2038-09-03
Also published as: CN109360147A

Abstract

本发明公开了一种基于彩色图像融合的多光谱图像超分辨率重建方法。该方首先采集并配准高分辨率彩色图像和低分辨率多光谱图像，然后获取耦合在彩色图像中的逆相机响应函数和光谱敏感函数，并构建基于采集图像内容的观测模型。高分辨率多光谱图像根据该模型求解，首先从采集的RGB图像中提取边界结构信息，以引导高分辨率多光谱图像的重建，然后从采集的多光谱图像中训练得到解空间的基，并构建基于图像融合的迭代算法框架以求解多光谱图像在空间基上的系数，最后将系数与空间基结合得到高分辨率多光谱图像。本发明通过利用RGB图像的边界引导与内容融合，减少了传统多光谱图像超分辨率方法由于信息缺失而产生的误差，提高了多光谱图像的重建精度。

Description

基于彩色图像融合的多光谱图像超分辨率重建方法

技术领域

本发明涉及提升多光谱图像的空间分辨率，尤其涉及一种利用彩色图像的边界引导与内容融合进行多光谱图像超分辨率重建的方法。

背景技术

多光谱成像可以记录场景丰富的光谱信息，因此在各领域引起了广泛的关注，如生物，遥感，颜色复制等。多光谱成像系统通常由可调谐滤波器组和单色相机组成，其能在可见光谱波段采集一系列连续的窄带通道图像。多光谱成像系统可以达到很高的谱域分辨率，但受到系统硬件等因素的困扰，其在空域分辨率上有着严重的局限性。

为了提升多光谱图像的空间分辨率，一种在遥感领域应用较广的方法是全色锐化，即将低分辨率的多光谱图像与一张单通道的高分辨率的全色图像进行融合。这类融合方法通常通过在变换域进行成份替换或者细节注入来实现。然而只有一张可用的高分辨率图像，全色锐化方法会在补偿空间细节的同时造成明显的光谱失真。

为了解决这个问题，最近的图像融合算法利用多个通道的高分辨率图像来提升光谱数据的精度。根据多光谱图像在光谱域和空间域上的退化模型，图像融合问题可以用贝叶斯推理表述。贝叶斯推论可将场景的先验信息结合到多光谱图像的求解中，合适的先验信息可以改善求解的质量。Q.Wei,等人在文献【“Bayesian fusion of hyperspectral andmultispectral images,”IEEE International Conference on Acoustics,Speech andSignal Processing,3176–3180,IEEE(2014).】中遵循这一策略，将场景中光谱的分布信息可以用线性混合模型描述，且一种吉布斯采样算法被提出，使重建的光谱分布与先验分布渐进。先验信息的提取需要额外的计算，其降低了重建的效率；同时先验信息的提取往往不够准确，影响了重建的精度。

在多光谱图像和多通道高分辨率图像融合的过程中，矩阵分解往往被用来消去多光谱图像的冗余性，从而提升重建的精度。矩阵分解通常基于谱分解理论，其介绍了多光谱数据可被分解成一组谱基和对应的线性系数。Q.Wei,等人在文献【“R-fuse:Robust fastfusion of multiband images based on solving a Sylvester equation,”IEEE signalprocessing letters,1632–1636,IEEE(2016).】中根据谱分解理论，使用字典学习算法从多光谱图像中分解得到谱字典，同时使用稀疏表示算法求解谱字典所对应的系数矩阵。谱分解理论有着非负性，和为一等较强的约束。这些约束的存在限制了解空间的自由度，使重建结果无法达到最优。

当目标多光谱图像位于一个相对高维度的子空间时，图像融合问题通常是病态的。针对这个问题，正则化技术被应用于得到一个合理的近似解。W.Dong,等人在文献【“Hyperspectral image super-resolution via non-negative structured sparserepresentation,”IEEE Transactions on Image Processing,2337–2352,IEEE(2016).】中提出重建的像素谱需与找到的类中心相似这一假设，使用一种基于聚类的正则项来描述像素谱之间的空间相关性。该正则项的使用较好地恢复了重建多光谱图像的光谱信息，却影响了在时域上边界信息的恢复。

发明内容

本发明针对现有多光谱超分辨率成像方法因融合信息不足，融合方式不恰当导致重建精度不高等问题，提出了一种利用RGB图像的边界引导和内容融合进行多光谱图像超分辨率重建的方法。

该方法首先采集相同场景下的高分辨率RGB图像和低分辨率多光谱图像，并做配准预处理；然后获取基于采集图像内容的观测模型，同时构建求解高空间分辨率多光谱图像的算法框架；该算法框架包括了从高分辨率RGB图像中得到边界引导项，从低分辨率多光谱图像中得到低维空间基，并求解高分辨率多光谱图像在该空间基上的系数，最后利用得到的系数与空间基结合得到高分辨率的多光谱图像。具体来说，该方法包括以下步骤：

(1)采集高分辨率的RGB图像Z和低分辨率的多光谱图像Y，并将多光谱图像Y与RGB图像Z配准；

(2)获取耦合在彩色图像Z中的逆相机响应函数g(·)和光谱敏感函数R，并通过式(1)，式(2)分别构建基于采集图像Z的光谱域退化观测模型和基于采集图像Y的空间域退化观测模型；

g(Z)＝RX (1)

Y＝XBS (2)

其中，在式(1)中的X表示高分辨率的多光谱图像；在式(2)中的B为空间模糊矩阵；S为降采样矩阵；

(3)构建边界重建引导算子Guide(XD_x,XD_y)，以利用彩色图像引导多光谱图像在重建过程中边界的形成以及噪声的抑制；其中D_x和D_y分别为相应方向上的一阶梯度算子；

(4)将低分辨率多光谱图像Y中的各个像素谱组成样本矩阵，并从中训练得到可表示多光谱图像的低维度空间基Ψ；

(5)根据步骤(2)得到的光谱域和空间域退化观测模型，以及步骤(3)得到的边界重建引导算子，采用目标式(3)对多光谱图像在低维度空间基下的系数矩阵C进行求解；

其中，

表示经过逆相机响应函数g(·)线性化后的彩色图像，β和γ分别是用于在目标式中控制数据项和引导项权重的系数；

(6)根据步骤(4)得到的低维度空间基Ψ以及步骤(5)得到的系数矩阵C，采用式(4)得到最终的高分辨率多光谱图像。

X＝ΨC (4)

进一步地，RGB图像的边界结构信息被用于构建边界重建引导算子Guide(XD_x,XD_y)，具体形式为

Guide(XD_x,XD_y)＝W⊙||XD_x||₁+W⊙||XD_y||₁ (5)

其中，⊙表示哈达马乘积，矩阵W由RGB图像在每个像素位置上的梯度值的近倒数形式构成，其作为权重来调节重建多光谱图像的边界梯度形态；当RGB图像在某像素位置处没有边界信息时，重建多光谱图像在该处的边界生成会被抑制，当RGB图像在某像素位置处梯度很大时，将不影响多光谱图像边界在该处的重建。

进一步地，RGB图像的边界结构信息被用于构建边界重建引导算子Guide(XD_x,XD_y)，具体形式为：

Guide(XD_x,XD_y)＝W⊙||XD_x||₁+W⊙||XD_y||₁ (5)

进一步地，用于构建矩阵W的每一个元素值w_i为如下彩色图像梯度的近倒数形式：

其中，常数η用于衡量边界幅度的相对大小，同时防止出现倒数不存在的情况；f(·)为图像灰度化函数。

进一步地，所述步骤(2)中，事先采集多张不同曝光时间下的白板图片来估计逆相机响应函数g(·)，同时利用线性回归的方法从采集的色卡图像中求解光谱敏感函数R。

进一步地，所述步骤(4)中，通过对多光谱图像所有像素谱组成样本集，并计算样本矩阵基于维度的协方差矩阵，然后采用主成分分析法选取主能量所对应的9个特征向量基作为空间基Ψ。

进一步地，所述步骤(5)中，采用Alternating Direction Method ofMultipliers算法通过引入辅助变量迭代求解式(3)，并取β＝0.4，γ＝1e^-4，且迭代次数为20。

本发明的有益效果是，本发明将多光谱成像和RGB成像的优势互补起来。多光谱成像可得到较高精度的谱域分辨率，但由于硬件的限制，其无法获得高空域分辨率。相比于多光谱成像，RGB成像的空域分辨率可以达到多光谱成像的数倍，且在相同的曝光时间下拥有更高的信噪比，但也存在光谱信息退化的缺点。采用本发明的方法可融合得到同时拥有高空域分辨率和高谱域分辨率的多光谱图像。此外，本发明提出的图像融合算法在低维子空间进行推理，减少了融合算法的计算负担，同时也避免了在重建过程中遇到由于光谱数据的光谱依赖性带来的矩阵奇异。此外，本发明的应用场景要求较为宽松，不需要严格的限制。

附图说明

图1为本发明所用的图像采集系统图；

图2为本发明利用RGB图像的边界引导与内容融合进行多光谱图像超分辨率重建方法的流程图；

图3中(a)为RGB图像及其边界结构；(b)为多光谱真值图像及其边界结构；(c)为采用字典学习和稀疏表示算法得到的多光谱图像及其边界结构；(d)为采用本发明方法得到的多光谱图像及其边界结构；

图4中(a)为借助均方根误差图分别对采用本发明方法，基于字典学习与稀疏重建方法和使用谱聚类正则项的方法进行多光谱图像重建的精度对比结果；(b)为借助光谱角制图分别对采用本发明方法，基于字典学习与稀疏重建方法和使用谱聚类正则项的方法进行多光谱图像重建的精度对比结果。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

本发明的图像采集系统如图1所示。多光谱成像装置由镜头、可调谐滤波器组和单色工业相机组成，用于在可见光谱范围内等间隔采集低分辨率多光谱图像，低分辨率多光谱图像的像素个数通常为万级。然后用RGB相机替换多光谱成像装置，拍摄相同场景下的高分辨率彩色图片，高分辨率彩色图片的像素个数通常为百万级。若采集得到的多光谱图像和RGB图片未完全对齐，可采用图像配准算法进行预处理；作为优选，本发明采用S.J.Chen,等人在文献【“Normalized total gradient:a new measure for multispectral imageregistration,”IEEE Transactions on Image Processing,1297–1310,2018).】中提出的配准算法。图2是本发明利用RGB图像进行多光谱图像超分辨率重建的方法流程，包括以下步骤：

1、采集图像并获取耦合在彩色图像Z中的逆相机响应函数g(·)和光谱敏感函数R，并根据式(1)和式(2)构建观测模型；作为优选，本发明事先采集多张不同曝光时间下的白板图片来估计逆相机响应函数g(·)，同时利用线性回归的方法从采集的色卡图像中求解光谱敏感函数R；

2、从RGB图像中提取图像边界的结构信息，并根据式(5)构建边界重建引导算子Guide(XD_x,XD_y)；作为优选，本发明用于构建权重矩阵W的每一个元素值w_i为如下彩色图像梯度的近倒数形式，

其中，常数η用于衡量边界幅度的相对大小，同时防止出现倒数不存在的情况，本发明取η＝0.01；f(·)为图像灰度化函数；

3、从低分辨率多光谱图像Y中训练得到可表示多光谱图像的低维度空间基Ψ；作为优选，本发明通过对多光谱图像所有像素谱组成样本集，并计算样本矩阵基于维度的协方差矩阵，然后采用主成分分析法选取主能量所对应的9个特征向量基作为空间基Ψ；

4、根据得到的光谱域和空间域退化观测模型，以及边界重建引导算子，采用目标式(3)对多光谱图像在低维度空间基下的系数矩阵C进行求解。作为优选，本发明采用Alternating Direction Method of Multipliers算法通过引入辅助变量迭代求解式(3)，并取β＝0.4，γ＝1e^-4，且迭代次数为20；

5、根据式(4)将低维度空间基Ψ和系数矩阵C相乘得到最终的高分辨率多光谱图像X。

实施例1

以下利用本发明方法实现多光谱图像的超分辨率重建。为了比较边界结构的重建精度，首先使用仿真数据生成高分辨率的RGB图像和低分辨率的多光谱图像，然后采用本发明方法进行超分辨率重建，并将重建结果与已知的真值图像进行比较。从图3中可以看出，真值图像由于噪声很大，采用字典学习和稀疏表示算法得到的多光谱图像显示模糊，且其边界结构几乎消失；而采用本发明算法得到多光谱图像显示清晰，且由于使用了RGB图像的边界信息进行引导，重建的边界结构得到了较好的保留。

实施例2

以下从量化角度对利用本发明方法提升多光谱图像空间分辨率的重建结果进行衡量。从图4中可以看到，(a)根据均方根误差值越小，空域重建精度越高的度量指标，使用基于字典学习和稀疏表示的算法或基于谱聚类正则项的算法得到的估计结果在空间域上的质量较差，(b)根据光谱角制图值越小，谱域重建精度越高的度量指标，使用基于字典学习和稀疏表示的算法或基于谱聚类正则项的算法得到的估计结果在光谱域上的质量也较差；相比之下，本发明方法的重建精度整体较高。

以上仅为本发明具体实施方式，不能以此来限定本发明的范围，本技术领域内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。

Claims

1.一种基于彩色图像融合的多光谱图像超分辨率重建方法，其特征在于，该方法包括以下步骤：

(1)采集高分辨率彩色图像Z和低分辨率多光谱图像Y，并将低分辨率多光谱图像Y与高分辨率彩色图像Z配准；

(2)获取耦合在高分辨率彩色图像Z中的逆相机响应函数g(·)和光谱敏感函数R，并通过式(1)、式(2)分别构建基于高分辨率彩色图像Z的光谱域退化观测模型和基于多光谱图像Y的空间域退化观测模型；

g(Z)＝RX (1)

Y＝XBS (2)

其中，式(1)中的X表示高分辨率多光谱图像；式(2)中的B为空间模糊矩阵，表示在高空间分辨率下作用于多光谱相机传感器上的点扩散函数；S为降采样矩阵，解释了对图像的均一化降采样；

(3)构建边界重建引导算子Guide(XD_x,XD_y)，以利用高分辨率彩色图像引导高分辨率多光谱图像在重建过程中边界的形成以及噪声的抑制；其中D_x和D_y分别为相应方向上的一阶梯度算子；高分辨率彩色图像的边界结构信息被用于构建边界重建引导算子Guide(XD_x,XD_y)，具体形式为：

Guide(XD_x,XD_y)＝W⊙||XD_x||₁+W⊙||XD_y||₁ (3)

其中，⊙表示哈达马乘积，矩阵W由高分辨率彩色图像在每个像素位置上的梯度值的近倒数形式构成，其作为权重来调节重建多光谱图像的边界梯度形态；当高分辨率彩色图像在某像素位置处没有边界信息时，重建高分辨率多光谱图像在该处的边界生成会被抑制，当高分辨率彩色图像在某像素位置处梯度很大时，将不影响高分辨率多光谱图像边界在该处的重建；

(4)利用多光谱图像在通道间的相关性，将低分辨率多光谱图像Y中的各个像素谱组成样本矩阵，并从中训练得到可表示低分辨率多光谱图像的低维度空间基Ψ，消去低分辨率多光谱图像在高维空间的冗余性；

(5)根据步骤(2)得到的光谱域和空间域退化观测模型，以及步骤(3)得到的边界重建引导算子，采用目标式(4)对低分辨率多光谱图像在低维度空间基下的系数矩阵C进行求解；

其中，

(6)根据步骤(4)得到的低维度空间基Ψ以及步骤(5)得到的系数矩阵C，采用式(5)得到最终的高分辨率多光谱图像；

X＝ΨC (5)。

2.根据权利要求1所述一种基于彩色图像融合的多光谱图像超分辨率重建方法，其特征在于，用于构建矩阵W的每一个元素值w_i为如下彩色图像梯度的近倒数形式：

3.根据权利要求1所述一种基于彩色图像融合的多光谱图像超分辨率重建方法，其特征在于，所述步骤(2)中，事先采集多张不同曝光时间下的白板图片来估计逆相机响应函数g(·)，同时利用线性回归的方法从采集的色卡图像中求解光谱敏感函数R。

4.根据权利要求1所述一种基于彩色图像融合的多光谱图像超分辨率重建方法，其特征在于，所述步骤(4)中，通过对低分辨率多光谱图像所有像素谱组成样本集，并计算样本矩阵基于维度的协方差矩阵，然后采用主成分分析法选取主能量所对应的9个特征向量基作为空间基Ψ。

5.根据权利要求1所述一种基于彩色图像融合的多光谱图像超分辨率重建方法，其特征在于，所述步骤(5)中，采用Alternating Direction Method of Multipliers算法通过引入辅助变量迭代求解式(4)，并取β＝0.4，γ＝1e^-4，且迭代次数为20。