CN113421216B - 一种高光谱融合计算成像方法及系统 - Google Patents
一种高光谱融合计算成像方法及系统 Download PDFInfo
- Publication number
- CN113421216B CN113421216B CN202110971174.2A CN202110971174A CN113421216B CN 113421216 B CN113421216 B CN 113421216B CN 202110971174 A CN202110971174 A CN 202110971174A CN 113421216 B CN113421216 B CN 113421216B
- Authority
- CN
- China
- Prior art keywords
- image
- hyperspectral
- resolution
- sampling
- subspace
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 title abstract description 19
- 238000005070 sampling Methods 0.000 claims abstract description 60
- 230000003595 spectral effect Effects 0.000 claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000008901 benefit Effects 0.000 abstract description 7
- 230000004044 response Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100043438 Mus musculus Srsf10 gene Proteins 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高光谱融合计算成像方法及系统，本发明包括将低分辨率高光谱图像Xlr进行子空间表示得到低秩光谱基S和低分辨率子空间系数Alr；将低分辨率子空间系数Alr上采样后与多光谱图像Y堆叠输入预先训练好的卷积神经网络得到高分辨率子空间系数A；将高分辨率子空间系数A、低秩光谱基S进行融合得到融合高分辨率高光谱图像X。本发明能够有效实现高精度定量建立并求解高光谱和多光谱图像的成像模型，并通过建立的成像模型从待融合图像中生成训练数据，解决训练数据不足的问题，并把卷积神经网络和子空间表示模型相结合，降低网络的参数，提升学习效率，具有模型轻量化、计算效率高、融合精度高等优点。
Description
技术领域
本发明涉及高光谱成像技术，具体涉及一种高光谱融合计算成像方法及系统。
背景技术
高光谱成像技术可以同时获取与不同光谱波长相对应的图像，光谱范围覆盖了可见光波段到短波红外波段。由于不同材料反射率也不一样，所以高光谱图像可以帮助准确识别目标，因而高光谱图像被广泛地应用于遥感、医学诊断和人脸识别等领域。但是由于成像传感器的限制，现有光学成像系统在空间分辨率、光谱分辨率以及信噪比之间相互制约，难以直接获取高空间分辨率高光谱图像，降低了高光谱图像的应用价值。通过设计新的光学成像系统来提高高光谱图像的空间分辨率是困难且昂贵的。而高光谱图像与多光谱图像融合提供了一种高分辨率高光谱图像的获取途径，具有重要的应用价值。
目前流行的高光谱融合计算成像方法可以分为基于全色锐化的方法、基于模型优化的方法和基于深度卷积神经网络的方法。基于全色锐化方法首先是针对多光谱图像与全色图像融合而提出，现在也被应用与高光谱和多光谱图像融合，具有较低的计算成本的优点，但是融合精度低。基于模型优化的方法首先假设高光谱图像和多光谱图像是由高分辨率高光谱图像下采样获得的，并由此建立起数学模型，定量模拟高分辨率高光谱图像、高光谱图像与多光谱图像之间的映射关系。该方法往往会借助于高分辨率高光谱图像先验知识，如稀疏先验、低秩先验、非局部自相似性等作为正则，以提高融合后的图像精度。总体而言，该方法可以获得较高的融合精度，但所需的计算成本也比较高。
基于数据驱动的深度卷积神经网络已广泛应用于高光谱融合计算成像中，借助其强大的学习能力，通过大量的高光谱图像、多光谱图像与高分辨率高光谱图像数据对，通过设计的网络对其进行预训练，获得最佳参数。此类方法借助残差学习等策略来进一步提升融合精度。该类方法主要存在如下问题：首先实际中不存在高分辨率高光谱图像，这导致训练数据缺失；其次现有的网络为了达到较高的学习性能，采用了深度结构，导致了计算效率低。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种高光谱融合计算成像方法及系统，本发明能够有效实现高精度定量建立并求解高光谱和多光谱图像的成像模型，并通过建立的成像模型从待融合图像中生成训练数据，解决训练数据不足的问题，并把卷积神经网络和子空间表示模型相结合，降低网络的参数，提升学习效率，具有模型轻量化、计算效率高、融合精度高等优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种高光谱融合计算成像方法，包括：将低分辨率高光谱图像Xlr进行子空间表示得到低秩光谱基S和低分辨率子空间系数Alr；将低分辨率子空间系数Alr上采样至与多光谱图像Y相同尺寸后与多光谱图像Y堆叠，将堆叠结果输入预先训练好的卷积神经网络，得到对应的高分辨率子空间系数A；将高分辨率子空间系数A、低秩光谱基S进行融合，得到高分辨率高光谱图像X；且所述卷积神经网络的训练步骤包括：
1）估计空间模糊核B；
2）根据估计到的空间模糊核B对低分辨率高光谱图像Xlr的样本进行模糊下采样得到下采样高光谱图像Xd，将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad；根据估计到的空间模糊核B对多光谱图像Y的样本进行模糊下采样得到下采样多光谱图像Yd；
3）根据采样子空间系数Ad、下采样多光谱图像Yd构建训练数据并训练卷积神经网络，最终得到训练好的卷积神经网络。
可选地，所述将低分辨率高光谱图像Xlr进行子空间表示得到低分辨率子空间系数Alr、将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad的函数表达式为：
lr=STXlr，Ad=STXd，（1）
上式中，S表示低秩光谱基。
可选地，所述卷积神经网络为四层结构，其中第1层是大小为3×3的卷积操作和修正线性单元，第2层和第3层均是卷积层为64、大小为3×3的卷积操作和修正线性单元，第4层是大小为3×3的卷积操作。
可选地，步骤2）中进行模糊下采样得到下采样高光谱图像Xd、进行子空间表示得到下采样子空间系数Ad以及进行模糊下采样得到下采样多光谱图像Yd的函数表达式如下式所示：
上式中，B为空间模糊核，
为采样因子为s的均匀下采样。
可选地，步骤1）中估计空间模糊核B和光谱采样算子R的步骤包括：
1.1）建立低分辨率高光谱图像Xlr、多光谱图像Y和高分辨率高光谱图像X的映射关系；
上式中，B为空间模糊核，D为均匀下采样算子，R为光谱采样算子，Nx，Ny分别为额外噪声；
1.2）初始化迭代次数k等于1，设置初始的空间模糊核B的空间模糊核B(0)为随机矩阵，初始化卷积神经网络中的参数值和惩罚因子μ的取值；
1.3）进行第k次迭代，根据下式更新待估计的空间响应模糊核B和光谱采样算子R；
上式中，R (k)表示第k次迭代得到的光谱采样算子R，B(k)表示第k次迭代得到的空间响应模糊核B，B(k-1)表示第k-1次迭代得到的空间响应模糊核B，H (k)和E (k)表示第k次迭代得到的中间变量矩阵H和E，B为空间模糊核，D为均匀下采样算子，Ri,j表示光谱采样算子R中第i行第j列的元素，Bi,j表示空间响应模糊核B中第i行第j列的元素，且有：
1.4）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的空间响应模糊核B和光谱采样算子R作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤1.3）继续进行迭代。
可选地，步骤1.3）中更新待估计的光谱采样算子R是指将式（7）视为具有解析解的强凸问题，可通过如下交替方向乘子法迭代求解；
上式中，I为单位矩阵，(⋅)+表示将非负元素设置为0的操作，K为引入的变量，L表示拉格朗日乘子，μ表示惩罚因子。
可选地，步骤1.3）中更新待估计的空间响应模糊核B是指将多光谱图像Y分解为多个多光谱数据块Yij，建立空间响应模糊核B基于多光谱数据块的函数表达式：
上式中，b表示响应模糊核B的向量化表示，yij表示多光谱图像块Yij的向量化表示，E(k) ij表示第k次迭代得到的中间变量矩阵E (k)中第i行第j列的元素，bi表示响应模糊核B的向量化表示b中的第i个元素；然后，采用交替方向乘子法来求解更新式（14），具体引入变量v=b和拉格朗日乘子g，E为映射函数；
上式中，E(b,v,g)表示映射函数，μ表示惩罚因子，v表示引入的向量形式的变量，g表示拉格朗日乘子，h(v)表示指示函数，vi表示引入的向量形式的变量v中的元素。
可选地，所述采用交替方向乘子法来求解更新式（14）时，具体是指将式（14）分解为多个子问题，且得到的多个子问题的函数表达式如式（16）～式（18）所示：
上式中，I表示单位矩阵。
此外，本发明还提供一种分辨率的高光谱计算成像系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述高光谱融合计算成像方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述高光谱融合计算成像方法的计算机程序。
和现有技术相比，本发明主要具有下述优点：
1、本发明建立了高光谱成像模型，利用提出方法准确估计高光谱空间模糊核，并根据估计的模糊核生成训练数据，解决了训练数据难以获得的难题。
2、本发明将卷积神经网络和高光谱图像的子空间表示模型相结合，将图像域的映射转化为了低维子空间系数域的映射，显著降低了网络的参数，提升了计算效率。
3、本发明适用于各种不同类型的高光谱和多光谱图像数据融合，适用范围广。
附图说明
图1为本发明实施例中卷积神经网络的测试/应用流程示意图。
图2为本发明实施例中卷积神经网络的训练流程示意图。
具体实施方式
如图1所示，本实施例高光谱融合计算成像方法包括：将低分辨率高光谱图像Xlr进行子空间表示得到低秩光谱基S和低分辨率子空间系数Alr；将低分辨率子空间系数Alr上采样至与多光谱图像Y相同尺寸后与多光谱图像Y堆叠，将堆叠结果输入预先训练好的卷积神经网络，得到对应的高分辨率子空间系数A；将高分辨率子空间系数A、低秩光谱基S进行融合，得到高分辨率高光谱图像X；且如图2所示，本实施例中该卷积神经网络的训练步骤包括：
1）估计空间模糊核B；
2）根据估计到的空间模糊核B对低分辨率高光谱图像Xlr的样本进行模糊下采样得到下采样高光谱图像Xd，将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad；根据估计到的空间模糊核B对多光谱图像Y的样本进行模糊下采样得到下采样多光谱图像Yd；
3）根据采样子空间系数Ad、下采样多光谱图像Yd构建训练数据并训练卷积神经网络，最终得到训练好的卷积神经网络。
本实施例方法包括输入低分辨率高光谱图像Xlr和多光谱图像Y；建立高光谱和多光谱图像的成像模型，采用迭代交替优化的方法定量估计空间模糊核B和光谱采样算子R；基于建立的成像模型来生成训练数据；提出轻量级卷积神经网络来实现高光谱和多光谱图像融合，获得高分辨率高光谱图像。本发明能够有效实现高光谱图像、多光谱图像融合得到高分辨率的高光谱图像，具有融合精度高、计算效率高和普适性强的优点。本实施例方法能够有效实现高精度定量建立并求解高光谱和多光谱图像的成像模型，并通过建立的成像模型从待融合图像中生成训练数据，解决训练数据不足的问题，并把卷积神经网络和子空间表示模型相结合，降低网络的参数，提升学习效率。具有模型轻量化、计算效率高、融合精度高等优点。
本实施例中，将低分辨率高光谱图像Xlr进行子空间表示得到低分辨率子空间系数Alr、将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad的函数表达式为：
lr=STXlr，Ad=STXd，（1）
上式中，S表示低秩光谱基。因此，低分辨率子空间系数Alr、下采样子空间系数Ad两者存在着如下关系：
上式中，B为空间模糊核，
为采样因子为s的均匀下采样。
参见图2，本实施例中卷积神经网络为轻量级卷积神经网络，该卷积神经网络为四层结构，其中第1层是大小为3×3的卷积操作和修正线性单元，第2层和第3层均是卷积层为64、大小为3×3的卷积操作和修正线性单元，第4层是大小为3×3的卷积操作。
本实施例步骤2）中进行模糊下采样得到下采样高光谱图像Xd、进行子空间表示得到下采样子空间系数Ad以及进行模糊下采样得到下采样多光谱图像Yd的函数表达式如下式所示：
上式中，B为空间模糊核，
为采样因子为s的均匀下采样。在训练过程中将进行子空间表示得到下采样子空间系数Ad以及进行模糊下采样得到下采样多光谱图像Yd作为卷积神经网络输入去估计低分辨率子空间系数Alr，其映射关系可以表示为：
上式中，Γ为将学习的映射函数，Θ为要学习的卷积神经网络的参数。在测试阶段，使用低分辨率子空间系数Alr和多光谱图像Y来预测高分辨率子空间系数A，其映射关系可以表示为：
上式中，Γ为将学习的映射函数，Θ为要学习的卷积神经网络的参数。
本实施例中，步骤1）中估计空间模糊核B和光谱采样算子R的步骤包括：
1.1）建立低分辨率高光谱图像Xlr、多光谱图像Y和高分辨率高光谱图像X的映射关系；
上式中，B为空间模糊核（由传感器的点扩散函数决定），D为均匀下采样算子，R为光谱采样算子（由传感器的光谱响应函数决定），Nx，Ny分别为额外噪声；低分辨率高光谱图像Xlr、高分辨率高光谱图像X光谱波段数均为低秩光谱基S，多光谱图像Y的光谱波段数为s；
1.2）初始化迭代次数k等于1，设置初始的空间模糊核B的空间模糊核B(0)为随机矩阵，初始化卷积神经网络中的参数值和惩罚因子μ的取值；
1.3）进行第k次迭代，根据下式更新待估计的空间响应模糊核B和光谱采样算子R；
上式中，R (k)表示第k次迭代得到的光谱采样算子R，B(k)表示第k次迭代得到的空间响应模糊核B，B(k-1)表示第k-1次迭代得到的空间响应模糊核B，H (k)和E (k)表示第k次迭代得到的中间变量矩阵H和E，B为空间模糊核，D为均匀下采样算子，Ri,j表示光谱采样算子R中第i行第j列的元素，Bi,j表示空间响应模糊核B中第i行第j列的元素，且有：
1.4）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的空间响应模糊核B和光谱采样算子R作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤1.3）继续进行迭代。
其中，步骤1.3）中更新待估计的光谱采样算子R是指将式（7）视为具有解析解的强凸问题，可通过如下交替方向乘子法迭代求解；
上式中，I为单位矩阵，(⋅)+表示将非负元素设置为0的操作，K为引入的变量，L表示拉格朗日乘子，μ表示惩罚因子。
其中，步骤1.3）中更新待估计的空间响应模糊核B是指将多光谱图像Y分解为多个多光谱数据块Yij，建立空间响应模糊核B基于多光谱数据块的函数表达式：
上式中，b表示响应模糊核B的向量化表示，yij表示多光谱图像块Yij的向量化表示，E(k) ij表示第k次迭代得到的中间变量矩阵E (k)中第i行第j列的元素，bi表示响应模糊核B的向量化表示b中的第i个元素；然后，采用交替方向乘子法来求解更新式（14），具体引入变量v=b和拉格朗日乘子g，E为映射函数；
上式中，E(b,v,g)表示映射函数，μ表示惩罚因子，v表示引入的向量形式的变量，g表示拉格朗日乘子，h(v)表示指示函数，vi表示引入的向量形式的变量v中的元素。
其中，采用交替方向乘子法来求解更新式（14）时，具体是指将式（14）分解为多个子问题，且得到的多个子问题的函数表达式如式（16）～式（18）所示：
上式中，I表示单位矩阵。
将低分辨率高光谱图像Xlr进行子空间表示得到低秩光谱基S和低分辨率子空间系数Alr时，可利用高光谱图像的低秩先验知识，将高分辨率高光谱图像X分解为低维子空间（低秩光谱基S）和系数A：X=SA。子空间表示可以在不降低表示精度的前提下降低数据维度。本实施例中，根据奇异值分解从高分辨率高光谱图像X中来获得低维光谱子空间：
上式中，U和V为半酉矩阵，Σ为对角矩阵，奇异值以非递增顺序排列，S表示低秩光谱基，L为截取的维度数量。
为了对本实施例快速高光谱成像方法进行验证，本实施例中利用PaviaUniversity公开数据集中波段数为115、空间尺寸为610×340的图像和Chikusei公开数据集中波段为128、空间尺寸为2517×2355的图像以及Houston公开数据集中波段为144、空间尺寸为349×1905的图像进行模拟和验证实验。
在模拟实验中，在Pavia University公开数据集中，除去低信噪比的波段，我们保留了93个波段用于实验，通过使用7×7高斯滤波器（标准偏差3）对参考图像进行滤波，然后对图像下采样4倍获得低分辨率高光谱图像。在Chikusei公开数据集中，选择大小为800×800×128的子图像作为参考图像。通过应用7×7高斯滤波器（标准偏差3）获得高光谱，然后对图像进行下采样，采样因子为4，通过光谱下采样获得多光谱图像。在Houston公开数据集中，选择大小为336×800的子图像作为参考图像，4波段的多光谱图像通过波段平均获得。
融合图像的评价指标有5种，分别是峰值信噪比（PSNR）、光谱角（SAM）、统一图像质量指标（UIQI）和结构相似性指标（SSIM）和计算时间。其中PSNR、UIQI和SSIM的值越大，代表融合图像质量越好，SAM的值越大代表融合图像的质量越差。表1、表2和表3分别展示了6种现有的典型融合方法（GSA, NSSR, CNMF,CSU, CSTF, CNN-Fus）和本实施例提出方法（ZSL）在Pavia University、Chikusei、Houston数据集融合计算成像的客观评价指标，最好的数值结果被标黑。
表1：本实施例方法与其它融合成像方法在Pavia University数据集上的结果对比。
表2：本实施例方法与其它融合成像方法在Chikusei数据集上的结果对比。
表3：为本实施例方法与其它融合成像方法在Houston数据集上的结果对比。
从表1、表2和表3可以看出，本实施例方法（ZSL）客观评价指标优于其它现有的典型融合方法，这是因为本实施例方法（ZSL）准确建立并求解了成像模型，并根据成像模型从待融合数据中生成训练数据，更好的利用了高光谱图像的固有先验知识；同时，将子空间表示和卷积神经网络相结合，将图像域的映射转化为低维子空间系数域的映射，显著降低了网络的参数，提升了计算效率。
综上所述，本实施例高光谱融合计算成像方法利用了高光谱图像的固有先验信息，通过建立的成像模型生成训练数据，能够同时提升成像精度和效率。首先通过建立多光谱、高光谱与高分辨率高光谱图像的映射模型，采用交替方向乘子法对模糊核进行精准估计。之后利用估计得到的模糊核获取训练数据，并利用谱带之间的高度相关性和光谱维度的低秩先验性，将图像维度转化为低维度的系数域，进而重建高光谱图像。本实施例的优势是不需要额外的高光谱数据来进行训练，可以将训练好的网络直接推广应用至测试集中，并且网络参数少，计算效率高。相比于其他高光谱融合计算成像系统，该实施例高光谱融合计算成像系统网络结构小，所需存储量也较小，同时又有着较高的准确率。
此外，本实施例还提供一种分辨率的高光谱计算成像系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述高光谱融合计算成像方法的步骤。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述高光谱融合计算成像方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种高光谱融合计算成像方法，其特征在于，包括：将低分辨率高光谱图像Xlr进行子空间表示得到低秩光谱基S和低分辨率子空间系数Alr；将低分辨率子空间系数Alr上采样至与多光谱图像Y相同尺寸后与多光谱图像Y堆叠，将堆叠结果输入预先训练好的卷积神经网络，得到对应的高分辨率子空间系数A；将高分辨率子空间系数A、低秩光谱基S进行融合，得到高分辨率高光谱图像X；且所述卷积神经网络的训练步骤包括：
1）估计空间模糊核B；
2）根据估计到的空间模糊核B对低分辨率高光谱图像Xlr的样本进行模糊下采样得到下采样高光谱图像Xd，将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad；根据估计到的空间模糊核B对多光谱图像Y的样本进行模糊下采样得到下采样多光谱图像Yd；
3）根据下采样子空间系数Ad、下采样多光谱图像Yd构建训练数据并训练卷积神经网络，最终得到训练好的卷积神经网络。
2.根据权利要求1所述的高光谱融合计算成像方法，其特征在于，所述将低分辨率高光谱图像Xlr进行子空间表示得到低分辨率子空间系数Alr、将下采样高光谱图像Xd进行子空间表示得到下采样子空间系数Ad的函数表达式为：
Alr=STXlr，Ad=STXd，（1）
上式中，S表示低秩光谱基。
3.根据权利要求1所述的高光谱融合计算成像方法，其特征在于，所述卷积神经网络为四层结构，其中第1层是大小为3×3的卷积操作和修正线性单元，第2层和第3层均是卷积层为64、大小为3×3的卷积操作和修正线性单元，第4层是大小为3×3的卷积操作。
4.根据权利要求1所述的高光谱融合计算成像方法，其特征在于，步骤2）中进行模糊下采样得到下采样高光谱图像Xd、进行子空间表示得到下采样子空间系数Ad以及进行模糊下采样得到下采样多光谱图像Yd的函数表达式如下式所示：
上式中，B为空间模糊核，
为采样因子为s的均匀下采样。
5.根据权利要求4所述的高光谱融合计算成像方法，其特征在于，步骤1）中估计空间模糊核B的步骤包括：
1.1）建立低分辨率高光谱图像Xlr、多光谱图像Y和高分辨率高光谱图像X的映射关系；
上式中，B为空间模糊核，D为均匀下采样算子，R为光谱采样算子，Nx,Ny分别为额外噪声；
1.2）初始化迭代次数k等于1，设置初始的空间模糊核B的空间模糊核B(0)为随机矩阵，初始化卷积神经网络中的参数值和惩罚因子μ的取值；
1.3）进行第k次迭代，根据下式更新待估计的空间模糊核B和光谱采样算子R；
上式中，R (k)表示第k次迭代得到的光谱采样算子R，B(k)表示第k次迭代得到的空间模糊核B，B(k-1)表示第k-1次迭代得到的空间模糊核B，H (k)和E (k)表示第k次迭代得到的中间变量矩阵H和E，B为空间模糊核，D为均匀下采样算子，Ri,j表示光谱采样算子R中第i行第j列的元素，Bi,j表示空间模糊核B中第i行第j列的元素，且有：
1.4）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的空间模糊核B和光谱采样算子R作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤1.3）继续进行迭代。
6.根据权利要求5所述的高光谱融合计算成像方法，其特征在于，步骤1.3）中更新待估计的光谱采样算子R是指将式（7）视为具有解析解的强凸问题，可通过如下交替方向乘子法迭代求解；
上式中，I为单位矩阵，(⋅)+表示将非负元素设置为0的操作，K为引入的变量，L表示拉格朗日乘子，Lk表示迭代后的拉格朗日乘子，Lk-1表示迭代前的拉格朗日乘子，μ表示惩罚因子。
7.根据权利要求6所述的高光谱融合计算成像方法，其特征在于，步骤1.3）中更新待估计的空间模糊核B是指将多光谱图像Y分解为多个多光谱数据块Yij，建立空间模糊核B基于多光谱数据块的函数表达式：
上式中，b表示空间模糊核B的向量化表示，yij表示多光谱图像块Yij的向量化表示，E(k) ij表示第k次迭代得到的中间变量矩阵E (k)中第i行第j列的元素，bi表示空间模糊核B的向量化表示b中的第i个元素；然后，采用交替方向乘子法来求解更新式（14），具体引入变量v=b和拉格朗日乘子g，E为映射函数；
上式中，E(b,v,g)表示映射函数，μ表示惩罚因子，v表示引入的向量形式的变量，g表示拉格朗日乘子，h(v)表示指示函数，vi表示引入的向量形式的变量v中的元素。
8.根据权利要求7所述的高光谱融合计算成像方法，其特征在于，所述采用交替方向乘子法来求解更新式（14）时，具体是指将式（14）分解为多个子问题，且得到的多个子问题的函数表达式如式（16）～式（18）所示：
上式中，gk表示迭代后的拉格朗日乘子，gk-1表示迭代前的拉格朗日乘子，I表示单位矩阵。
9.一种分辨率的高光谱计算成像系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述高光谱融合计算成像方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述高光谱融合计算成像方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971174.2A CN113421216B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱融合计算成像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971174.2A CN113421216B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱融合计算成像方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421216A CN113421216A (zh) | 2021-09-21 |
| CN113421216B true CN113421216B (zh) | 2021-11-12 |
Family
ID=77719444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110971174.2A Active CN113421216B (zh) | 2021-08-24 | 2021-08-24 | 一种高光谱融合计算成像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421216B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529794B (zh) * | 2022-04-20 | 2022-07-08 | 湖南大学 | 一种红外与可见光图像融合方法、系统及介质 |
| CN114998167B (zh) * | 2022-05-16 | 2024-04-05 | 电子科技大学 | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 |
| CN114757831B (zh) * | 2022-06-13 | 2022-09-06 | 湖南大学 | 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| CN107977951A (zh) * | 2017-12-25 | 2018-05-01 | 咸阳师范学院 | 基于耦合张量分解的多光谱与高光谱图像融合方法 |
| CN109584194A (zh) * | 2018-10-26 | 2019-04-05 | 西安电子科技大学 | 基于卷积变分概率模型的高光谱图像融合方法 |
| US10496883B2 (en) * | 2017-01-27 | 2019-12-03 | Signal Processing, Inc. | Method and system for enhancing predictive accuracy of planet surface characteristics from orbit |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
-
2021
- 2021-08-24 CN CN202110971174.2A patent/CN113421216B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104112263A (zh) * | 2014-06-28 | 2014-10-22 | 南京理工大学 | 基于深度神经网络的全色图像与多光谱图像融合的方法 |
| US10496883B2 (en) * | 2017-01-27 | 2019-12-03 | Signal Processing, Inc. | Method and system for enhancing predictive accuracy of planet surface characteristics from orbit |
| CN107977951A (zh) * | 2017-12-25 | 2018-05-01 | 咸阳师范学院 | 基于耦合张量分解的多光谱与高光谱图像融合方法 |
| CN109584194A (zh) * | 2018-10-26 | 2019-04-05 | 西安电子科技大学 | 基于卷积变分概率模型的高光谱图像融合方法 |
| CN111369487A (zh) * | 2020-05-26 | 2020-07-03 | 湖南大学 | 一种高光谱和多光谱图像融合方法、系统及介质 |
| CN112819737A (zh) * | 2021-01-13 | 2021-05-18 | 西北大学 | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421216A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113421216B (zh) | 一种高光谱融合计算成像方法及系统 | |
| CN111369487B (zh) | 一种高光谱和多光谱图像融合方法、系统及介质 | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
| Cheong et al. | Deep CNN-based super-resolution using external and internal examples | |
| CN113470036B (zh) | 基于知识蒸馏的高光谱图像无监督波段选择方法及系统 | |
| CN112488978A (zh) | 基于模糊核估计的多光谱图像融合成像方法及系统 | |
| CN115311187B (zh) | 基于内部和外部先验的高光谱融合成像方法、系统及介质 | |
| CN113673590A (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN108257093B (zh) | 基于可控核与高斯过程回归的单帧图像超分辨方法 | |
| CN104809471B (zh) | 一种基于空间光谱信息的高光谱图像残差融合分类方法 | |
| CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
| CN115950837B (zh) | 基于即插即用先验的快照式光谱成像方法、系统及介质 | |
| Liu et al. | An efficient residual learning neural network for hyperspectral image superresolution | |
| CN115880199B (zh) | 一种长波红外高光谱与多光谱图像融合方法、系统及介质 | |
| Zhu et al. | Deep amended gradient descent for efficient spectral reconstruction from single RGB images | |
| CN114048810A (zh) | 一种基于多层次特征提取网络的高光谱图像分类方法 | |
| CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
| CN118212127A (zh) | 一种基于未配准的物理指导生成式对抗高光谱超分辨率方法 | |
| Wu et al. | Hprn: Holistic prior-embedded relation network for spectral super-resolution | |
| CN115471580A (zh) | 一种物理智能高清磁共振扩散成像方法 | |
| CN115546638A (zh) | 基于暹罗级联差分神经网络的变化检测方法 | |
| CN113256733B (zh) | 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210921 Assignee: Shenzhen Tonglei Optoelectronic Technology Co.,Ltd. Assignor: HUNAN University Contract record no.: X2023980042671 Denomination of invention: A Hyperspectral Fusion Computational Imaging Method and System Granted publication date: 20211112 License type: Common License Record date: 20230926 |
|
| EE01 | Entry into force of recordation of patent licensing contract |