CN111369487B - 一种高光谱和多光谱图像融合方法、系统及介质 - Google Patents
一种高光谱和多光谱图像融合方法、系统及介质 Download PDFInfo
- Publication number
- CN111369487B CN111369487B CN202010455786.1A CN202010455786A CN111369487B CN 111369487 B CN111369487 B CN 111369487B CN 202010455786 A CN202010455786 A CN 202010455786A CN 111369487 B CN111369487 B CN 111369487B
- Authority
- CN
- China
- Prior art keywords
- subspace
- image
- hyperspectral
- coefficient
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 37
- 238000001228 spectrum Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 22
- 230000003595 spectral effect Effects 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000005070 sampling Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 125000004432 carbon atom Chemical group C* 0.000 claims description 3
- 238000002939 conjugate gradient method Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 101100043438 Mus musculus Srsf10 gene Proteins 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高光谱和多光谱图像融合方法、系统及介质，本发明高光谱和多光谱图像融合方法包括输入高光谱图像Y和多光谱图像Z；采用奇异值分解从高光谱图像Y中提取光谱子空间S；将多光谱图像Z和得到的光谱子空间S估计子空间系数A；根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X。本发明能够有效实现低分辨率的高光谱图像、高分辨率的多光谱图像融合得到高分辨率的高光谱图像，具有重构精度高、计算效率高、具有很强的普适性和鲁棒性，拥有抗噪声干扰的优点。
Description
技术领域
本发明涉及高光谱和多光谱图像融合技术，具体涉及一种基于子空间表示和深度卷积神经网络的高光谱和多光谱图像融合方法、系统及介质。
背景技术
高光谱成像技术能够同时获得几十上百个光谱波段的图像信息，丰富的光谱信息有助于对场景内物质的准确识别，因此高光谱成像技术被广泛地应用于对地观测、军事监测、环境监测、地质勘探、医学检测和人脸识别等多个领域。但是由于硬件的限制，现有的成像系统难以直接获得高分辨率的高光谱图像。因此高光谱图像往往空间分辨率很低，这极大地限制了高光谱图像的应用，所以提升高光谱图像的空间分辨率很有必要。另一方面，现有的成像系统往往能够获得高分辨率的多光谱图像。高分辨率的多光谱图像包含丰富的空间信息和有限的光谱信息。融合低分辨率的高光谱图像和高分辨率的多光谱图像是一种获得高分辨率高光谱图像的有效途径。因此研究高光谱图像和多光谱图像融合具有重要意义。
目前流行的多光谱和高光谱图像融合方法可以分为基于矩阵分解的图像融合方法、基于张量分解的图像融合方法和基于深度卷积神经网络的图像融合方法。基于矩阵分解的融合方法假设，一个特定场景的高光谱图像的每一个像素总能由极少数高光谱端元的线性组合来表示。基于这个假设，一张高光谱图像就能被分解成光谱基和相应的子空间系数。要得到相应高分辨率的高光谱图像，就是要从高分辨率的多光谱图像和低分辨率的高光谱图像中得到光谱基和相应的系数。基于张量分解的融合方法把高光谱图像分解成一个核张量和三个维度的因子矩阵，三个维度的因子矩阵分别代表高光谱图像在三个空间维度的信息，核张量代表了三个维度之间信息的关联程度。然后从高分辨率多光谱图像和低分辨率高光谱图像中学习核张量和三个维度的因子矩阵。这些基于矩阵和张量分解的融合方法往往需要给定的图像先验知识，而这些预先给定的图像先验知识往往并不能很好的描述图像的特性，会造成融合图像的细节失真。
基于深度卷积神经网络的多光谱和高光谱图像融合方法是数据驱动的，需要在额外的多光谱和高光谱数据对上进行预训练。这类方法主要存在如下问题:首先在实际中高分辨率高光谱图像的训练数据是不存在的，需要通过对高光谱图像进行下采样来模拟构造数据集，而在模拟构造的数据上进行训练会降低融合的精度；二是由于不同传感器的高光谱图像的光谱波段数目不同，造成训练网络的可拓展性差，也就是在一类高光谱图像训练好的网络不能被直接应用于不同波段数的高光谱图像。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种高光谱和多光谱图像融合方法、系统及介质，本发明能够有效实现低分辨率的高光谱图像、高分辨率的多光谱图像融合得到高分辨率的高光谱图像，具有重构精度高、计算效率高、具有很强的普适性和鲁棒性，拥有抗噪声干扰的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种高光谱和多光谱图像融合方法，实施步骤包括：
1）输入高光谱图像Y和多光谱图像Z；
2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；
3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
步骤3）的详细步骤包括：
3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
3.2）进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
3.3）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤3.2）继续进行迭代。
可选地，步骤2）的详细步骤包括：
2.1）针对高光谱图像Y进行如下奇异值分解：Y=U1Σ1V1，其中，Y表示高光谱图像，U1和 V1为列正交矩阵，Σ1表示对角矩阵，对角矩阵Σ1保存着高光谱图像Y的奇异值,且奇异值从大到小排列；
2.2）针对分解得到的对角矩阵Σ1，通过保留对角矩阵Σ1中前L个最大的奇异值、忽略剩下小的奇异值得到的由列正交矩阵U1的前L列构成的光谱子空间S。
可选地，步骤3.2）中根据式（1）更新待估计的子空间系数A具体是指将式（1）视为具有解析解的强凸问题，采用共轭梯度法来求解更新待估计的子空间系数A。
可选地，步骤3.2）中根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。
可选地，所述深度卷积神经网络一共包含15层，第1层是大小为3×3的卷积操作和修正线性单元，第2～14层均包括大小为3×3的卷积操作、批处理化和修正线性单元，最后一层是大小为3*3的卷积操作。
可选地，步骤3）之前还包括建立式（1）～（4）所示多个子问题求解模型的步骤：
S1）建立融合后的高光谱图像X的子空间表示模型，将融合后的高光谱图像X表示光谱子空间S及其相应的子空间系数A的如下式所示：
X=SA （5）
上式中，X表示融合后的高光谱图像，S为光谱子空间，A为子空间系数；
分别建立高光谱图像Y、多光谱图像Z两者和融合后的高光谱图像X之间的关联表示模型如下式所示：
Y=XB+ε 1 （6）
Z=RX+ε 2 （7）
上式中，Y表示高光谱图像，X表示融合后的高光谱图像，B表示空间采样矩阵，ε 1表示建立高光谱图像Y和融合后的高光谱图像X之间的转换噪声；Z表示多光谱图像，R表示光谱采样矩阵，ε 2表示多光谱图像Z和融合后的高光谱图像X之间的转换噪声；
S2）根据式（5）、（6）、（7），将对子空间系数A的估计转化为下式所示的基础模型；
上式中，A表示待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵；
S3）为基础模型引入待估计的子空间系数A的先验信息λ 
(A)得到下式所示优化模型；
上式中，A为待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，
(A)为待估计的子空间系数A的正则项，λ为该正则项的权重参数；
S4）引入变量V=A，A表示待估计的子空间系数，建立需要优化增广的拉格朗日函数L(A,V,G)，其函数表达式如下式所示：
上式中，L(A,V,G)表示需要优化增广的拉格朗日函数，A表示待估计的子空间系数，V表示引入的变量，G为拉格朗日乘子，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵, μ表示惩罚因子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数；
S5）将式（10）所示需要优化增广的拉格朗日函数L(A,V,G)转换分解得到式（1）～（4）所示多个子问题求解模型。
此外，本发明还提供一种高光谱和多光谱图像融合系统，包括：
输入程序单元，用于输入高光谱图像Y和多光谱图像Z；
光谱子空间提取程序单元，用于采用奇异值分解从高光谱图像Y中提取光谱子空间S；
子空间系数估计程序单元，用于将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
融合处理程序单元，用于根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
所述子空间系数估计程序单元包括下述程序模块：
初始化程序模块，用于初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
迭代更新程序模块，用于进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
迭代判断程序模块，用于判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行迭代更新程序模块继续进行迭代。
此外，本发明还提供一种高光谱和多光谱图像融合系统，包括计算机设备，该计算机设备被编程或配置以执行所述高光谱和多光谱图像融合方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行所述高光谱和多光谱图像融合方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述高光谱和多光谱图像融合方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明建立了高光谱和多光谱图像的成像模型，利用了高光谱图像的低秩特性，把高分辨率图像分解成为光谱子空间和子空间系数，构建了描述低分辨率的高光谱图像、高分辨率的多光谱图像和高分辨率的高光谱图像之间的关系，把多光谱和高光谱图像融合问题转化为了子空间系数和光谱子空间的估计问题，这样能够同时提升重构精度和效率，从而能够有效实现低分辨率的高光谱图像、高分辨率的多光谱图像融合得到高分辨率的高光谱图像。
2、本发明将高光谱图像分解为低维的光谱子空间和相应的子空间系数，该步骤利用高光谱图像的光谱低秩特性，对高光谱图像进行降维，能够得到高光谱图像的准确表示，同时提高计算效率。
3、本发明采用奇异值分解从低分辨率高光谱图像中学习低维的光谱子空间，这利用了低分辨率高光谱图像保留了光谱信息。
4、本发明在对不同类型的高光谱和多光谱图像融合时，不需要改变网络的结构和参数，具有很强的普适性和鲁棒性。
5、本发明适用于各种维度不同的高光谱和多光谱数据融合，可以获得高质量的高分辨率高光谱图像，并且拥有抗噪声干扰的能力。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例中所提出的高分辨率高光谱图像的子空间表示模型。
图3为本发明实施例中估计子空间系数A的原理示意图图。
图4为4种融合方法在Hyperion高光谱图像和Sentinel-2A多光谱图像上的融合结果。
具体实施方式
如图1所示，本实施例高光谱和多光谱图像融合方法的实施步骤包括：
1）输入高光谱图像Y和多光谱图像Z；
2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；
3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
步骤3）的详细步骤包括：
3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
3.2）进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
3.3）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤3.2）继续进行迭代。
图2为本实施例所提出的高分辨率高光谱图像的子空间表示模型。如图2所示，高分辨率的高光谱图像X被分解成低维的光谱子空间S和子空间系数A。子空间表示利用了高光谱图像的低秩特性，基于子空间表示，多光谱图像和高光谱图像的融合问题就被转化为了对光谱子空间和子空间系数的估计，这极大地降低了计算的复杂度，同时提高了重构精度。
光谱子空间代表着高分辨率高光谱图像的光谱信息，这些光谱信息主要存在于获得的低分辨率高光谱图像中，因而假设高分辨率高光谱图像和低分高光谱图像存在于同一个低维的光谱子空间中，便可以从低分高光谱图像中估计光谱子空间S，所以本实施例中采用奇异值分解从低分辨率高光谱图像中学习低维的光谱子空间。本实施例中采用奇异值分解从高光谱图像中学习低维的光谱子空间，选取大奇异值对应的左奇异向量作为光谱子空间，步骤2）的详细步骤包括：
2.1）针对高光谱图像Y进行如下奇异值分解：Y=U1Σ1V1，其中，Y表示高光谱图像，U1和 V1为列正交矩阵，Σ1表示对角矩阵，对角矩阵Σ1保存着高光谱图像Y的奇异值,且奇异值从大到小排列（大的奇异值保留着主要的光谱信息）；
2.2）针对分解得到的对角矩阵Σ1，通过保留对角矩阵Σ1中前L个最大的奇异值、忽略剩下小的奇异值得到的由列正交矩阵U1的前L列构成的光谱子空间S，可表示为：
S= U1 (:,1:L)
其中，L通常取10左右，这样就可以对高光谱图像进行降维。
在得到了光谱子空间S以后，需要估计其相对应的系数A。
本实施例中，针对估计其相对应的系数A的问题是通过式（1）～（4）所示多个子问题求解模型，采用交替方向乘子法（ADMM）迭代求解。
本实施例中，步骤3.2）中根据式（1）更新待估计的子空间系数A具体是指将式（1）视为具有解析解的强凸问题，采用共轭梯度法来求解更新待估计的子空间系数A。
为了充分利用高光谱图像的先验信息，本实施例采用深度卷积神经网络去学习图像先验信息，且只需要在灰度图像上训练，而不需要在更难获得的高光谱和多光谱数据对上进行训练，解决了现有深度卷积神经网络融合方法训练数据不足的问题。现有的基于深度卷积神经网络的方法需要高光谱图像和多光谱图像对上进行训练，而本实施例只需要在更常见的灰度图像上训练神经网络。本实施例中，步骤3.2）中根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。在这里卷积神经网络只需要在灰度图像上进行去噪训练，不需要额外的高光谱和多光谱数据训练，解决了现有的基于深度卷积神经网络融合方法训练数据不足的问题。此外，本实施例提出的方法可以直接被应用于任意维度的高光谱和多光谱图像数据，具有很强的普适性和鲁棒性。这里采用的深度卷积神经网络把网络噪声等级和噪声图像当作网络的输入，可以处理不同等级的噪声，网络的输出为干净的灰度图像。
本实施例中，所述深度卷积神经网络一共包含15层，第1层是大小为3×3的卷积操作和修正线性单元，第2～14层均包括大小为3×3的卷积操作、批处理化和修正线性单元，最后一层是大小为3*3的卷积操作。
参见图3，本实施例中式（1）～（4）所示多个子问题求解模型实际上为一种基于卷积神经网络的最大后验概率估计的方法。本实施例中，步骤3）之前还包括建立式（1）～（4）所示多个子问题求解模型的步骤：
S1）建立融合后的高光谱图像X的子空间表示模型，将融合后的高光谱图像X表示光谱子空间S及其相应的子空间系数A的如下式所示：
X=SA （5）
上式中，X表示融合后的高光谱图像，S为光谱子空间，A为子空间系数；本实施例采用子空间表示模型来重构高分辨率高光谱图像。高光谱图像的光谱波段之间具有很强的关联性,因此光谱向量往往存在于一个低维的子空间里面。子空间表示模型不仅能够充分利用光谱波段之间的强关联性，保持光谱特性，而且还能对高光谱降维，从而提高计算效率。如图2所示,子空间表示模型把高分辨率的高光谱图像X分解成为光谱子空间S和子空间系数A。因此，基于子空间表示模型，融合问题被转化为了子空间和子空间系数的估计问题。
分别建立高光谱图像Y、多光谱图像Z两者和融合后的高光谱图像X之间的关联表示模型如下式所示：
Y=XB+ε 1 （6）
Z=RX+ε 2 （7）
上式中，Y表示高光谱图像，X表示融合后的高光谱图像，B表示空间采样矩阵，ε 1表示建立高光谱图像Y和融合后的高光谱图像X之间的转换噪声；Z表示多光谱图像，R表示光谱采样矩阵，ε 2表示多光谱图像Z和融合后的高光谱图像X之间的转换噪声；低分辨率的高光谱图像Y可以看作由高分辨率的高光谱图像空间下采样得到，相应的表示模型如式（6），高分辨率的多光谱图像Z可以看作由高分辨率高光谱图像光谱下采样得到，相应的表示模型如式（7），这样就建立了低分辨率的高光谱图像Y、高分辨率的多光谱图像Z与融合后的高分辨率的高光谱图像X之间的关联模型；
S2）根据式（5）、（6）、（7），基于最大后验概率估计，将对子空间系数的估计转化为下式所示的基础模型；
上式中，A表示待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵；
S3）为基础模型引入待估计的子空间系数A的先验信息λ 
(A)得到下式所示优化模型；
上式中，A为待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，
(A)为待估计的子空间系数A的正则项，λ为该正则项的权重参数；由于低分辨率高光谱图像和高分辨率多光谱图像都是由高分辨率高光谱图像下采样得到的，从上面的基础模型（8）直接估计A是一个欠定的问题，因此基础模型（8）可能存在无穷多个解。因此，需要一定的先验知识来估计A,由于子空间系数主要反映了高分辨率高光谱的空间结构,因此可以采用一些空间先验约束来做正则项。
S4）引入变量V=A，A表示待估计的子空间系数，建立需要优化增广的拉格朗日函数L(A,V,G)，其函数表达式如下式所示：
上式中，L(A,V,G)表示需要优化增广的拉格朗日函数，A表示待估计的子空间系数，V表示引入的变量，G为拉格朗日乘子，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵, μ表示惩罚因子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数；
S5）将式（10）所示需要优化增广的拉格朗日函数L(A,V,G)转换分解得到式（1）～（4）所示多个子问题求解模型。
为了对本实施例高光谱和多光谱图像融合方法进行验证，本实施例中利用PaviaUniversity数据集中波段数为93、空间尺寸为610×340的图像进行模拟实验。在模拟实验中，把该图像当作融合高分辨率高光谱图像，尺寸为610×340×4的多光谱图像由融合图像光谱下采样得到，尺寸为122×68×93的低分辨率高谱图像由高分辨率高光谱图像进行高斯模糊（7×7的高斯模糊核，方差为2），然后5倍空间下采样得到。并对比了３种典型的高光谱和多光谱图像融合方法。其中融合图像的评价指标有4种，分别是峰值信噪比（PSNR）、光谱角（SAM）、结构相似度（SSIM）和统一图像质量指标（UIQI）。其中PSNR、SSIM和UIQI的值越大，高分辨率图像质量越好，SAM的值越大代表高分辨率图像的质量越差。表1展示了3种典型的融合方法（CSU,NSSR,CSTF）和本实施例提出的方法（CNN_FUS）在Pavia University 数据集上融合实验的客观评价指标，最好的数值结果被标黑。
表1 、本实施例方法与三种典型高光谱和多光谱融合方法的客观性能指标。
从表1可以看出，本实施例提出的方法（CNN_FUS）的所有客观评价指标都优于其它方法，这是因为CNN_FUS采用了子空间表示，利用了高光谱图像的低秩特性。更重要的是利用的深度卷积神经网络能很好的学习图像先验知识，保存图像的空间细节。
为了进一步验证提出方法的有效性，进行了真实的高光谱和多光谱图像的融合实验，其中高光谱图像由Hyperion传感器采集得到，分辨率为30m,尺寸为100×100×89，多光谱图像由Sentinel-2A卫星采集得到，分辨率为10m,空间尺寸是300×300×4。
图4为4种融合方法在Hyperion高光谱图像和Sentinel-2A多光谱图像的融合结果。其中：（a）为高光谱图像的第二个波段，（b）为多光谱图像，（c）为NSSR方法融合得到的高分辨率高光谱图像的第2个波段，（d）为CSU方法融合得到的高分辨率高光谱图像的第2个波段，（e）为 CSTF方法融合得到的高分辨率高光谱图像的第2个波段，（f）为本实施例提出的CNN_FUS方法融合得到的高分辨率高光谱图像的第2个波段。从图4可以看出，其它方法融合得到的高分辨率高光谱图像具有明显的瑕疵，本实施例提出方法融合得到的高分辨率高光谱图像的空间质量最好。
综上所述，本实施例高光谱和多光谱图像融合方法利用高光谱图像的低秩结构，建立了高光谱图像的子空间表示模型，利用了高光谱图像的低秩特性，把高光谱图像分解成为低维的光谱基和相应的子空间系数，把多光谱和高光谱图像融合问题转化为了子空间系数和光谱子空间的估计问题，这样能够对高光谱图像降维，能够同时提升重构精度和效率。由于光谱信息主要存在于高光谱图像中，所以首先从高光谱图像中通过奇异值分解学习光谱子空间。然后基于建立的成像模型和深度卷积神经网络来估计子空间系数，这样能够充分利用从图像中学习到的先验信息。同时卷积神经网络不需要在高光谱图像和多光谱图像数据上进行训练，只需要在灰度图像上进行训练。本实施例从低分辨率的高光谱图像中学习得到低维的光谱基，然后基于最大后验概率估计来计算子空间系数，并采用训练好的卷积神经网络来估计空间系数。整个子空间系数的估计采用交替方向乘子法求解，不断迭代交替方向乘子法算法最终得到子空间系数，从而获得高分辨率高光谱图像。本实施例的优势是不需要额外的高光谱和多光谱数据来进行训练，只需要在更容易获得的灰度图像数据集上进行去噪训练，并且适用于不同类型的高光谱数据，抗噪声干扰能力强。通过与其它高性能的高光谱和多光谱图像融合方法相比，本实施例高光谱和多光谱图像融合方法融合出来的高光谱图像具有更好的质量，具有很强的抗噪声干扰能力，且在对不同类型的高光谱和多光谱图像融合时，不需要改变网络的结构和参数，具有很强的普适性和鲁棒性。
此外，本实施例还提供一种高光谱和多光谱图像融合系统，包括：
输入程序单元，用于输入高光谱图像Y和多光谱图像Z；
光谱子空间提取程序单元，用于采用奇异值分解从高光谱图像Y中提取光谱子空间S；
子空间系数估计程序单元，用于将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
融合处理程序单元，用于根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
所述子空间系数估计程序单元包括下述程序模块：
初始化程序模块，用于初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
迭代更新程序模块，用于进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
迭代判断程序模块，用于判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行迭代更新程序模块继续进行迭代。
此外，本实施例还提供一种高光谱和多光谱图像融合系统，包括计算机设备，该计算机设备被编程或配置以执行前述高光谱和多光谱图像融合方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行前述高光谱和多光谱图像融合方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述高光谱和多光谱图像融合方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种高光谱和多光谱图像融合方法，其特征在于实施步骤包括：
1）输入高光谱图像Y和多光谱图像Z；
2）采用奇异值分解从高光谱图像Y中提取光谱子空间S；
3）将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
4）根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
步骤3）的详细步骤包括：
3.1）初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
3.2）进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
3.3）判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行步骤3.2）继续进行迭代；
步骤3.2）中根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。
2.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤2）的详细步骤包括：
2.1）针对高光谱图像Y进行如下奇异值分解：Y=U1Σ1V1，其中，Y表示高光谱图像，U1和V1为列正交矩阵，Σ1表示对角矩阵，对角矩阵Σ1保存着高光谱图像Y的奇异值,且奇异值从大到小排列；
2.2）针对分解得到的对角矩阵Σ1，通过保留对角矩阵Σ1中前L个最大的奇异值、忽略剩下小的奇异值得到的由列正交矩阵U1的前L列构成的光谱子空间S。
3.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤3.2）中根据式（1）更新待估计的子空间系数A具体是指将式（1）视为具有解析解的强凸问题，采用共轭梯度法来求解更新待估计的子空间系数A。
4.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，所述深度卷积神经网络一共包含15层，第1层是大小为3×3的卷积操作和修正线性单元，第2～14层均包括大小为3×3的卷积操作、批处理化和修正线性单元，最后一层是大小为3*3的卷积操作。
5.根据权利要求1所述的高光谱和多光谱图像融合方法，其特征在于，步骤3）之前还包括建立式（1）～（4）所示多个子问题求解模型的步骤：
S1）建立融合后的高光谱图像X的子空间表示模型，将融合后的高光谱图像X表示光谱子空间S及其相应的子空间系数A的如下式所示：
X=SA （5）
上式中，X表示融合后的高光谱图像，S为光谱子空间，A为子空间系数；
分别建立高光谱图像Y、多光谱图像Z两者和融合后的高光谱图像X之间的关联表示模型如下式所示：
Y=XB+ε 1 （6）
Z=RX+ε 2 （7）
上式中，Y表示高光谱图像，X表示融合后的高光谱图像，B表示空间采样矩阵，ε 1表示建立高光谱图像Y和融合后的高光谱图像X之间的转换噪声；Z表示多光谱图像，R表示光谱采样矩阵，ε 2表示多光谱图像Z和融合后的高光谱图像X之间的转换噪声；
S2）根据式（5）、（6）、（7），将对子空间系数A的估计转化为下式所示的基础模型；
上式中，A表示待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵；
S3）为基础模型引入待估计的子空间系数A的先验信息λ 
(A)得到下式所示优化模型；
上式中，A为待估计的子空间系数，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，
(A)为待估计的子空间系数A的正则项，λ为该正则项的权重参数；
S4）引入变量V=A，A表示待估计的子空间系数，建立需要优化增广的拉格朗日函数L(A,V,G)，其函数表达式如下式所示：
上式中，L(A,V,G)表示需要优化增广的拉格朗日函数，A表示待估计的子空间系数，V表示引入的变量，G为拉格朗日乘子，Y表示高光谱图像，S为光谱子空间，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵, μ表示惩罚因子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数；
S5）将式（10）所示需要优化增广的拉格朗日函数L(A,V,G)转换分解得到式（1）～（4）所示多个子问题求解模型。
6.一种高光谱和多光谱图像融合系统，其特征在于包括：
输入程序单元，用于输入高光谱图像Y和多光谱图像Z；
光谱子空间提取程序单元，用于采用奇异值分解从高光谱图像Y中提取光谱子空间S；
子空间系数估计程序单元，用于将多光谱图像Z和得到的光谱子空间S估计子空间系数A；
融合处理程序单元，用于根据将光谱子空间S、子空间系数A相乘得到融合后的高光谱图像X；
所述子空间系数估计程序单元包括下述程序模块：
初始化程序模块，用于初始化迭代次数k等于1，将待估计的子空间系数A、引入的变量V、拉格朗日乘子G都初始化为元素全为0的矩阵，初始化惩罚因子μ的取值；
迭代更新程序模块，用于进行第k次迭代，根据式（1）更新待估计的子空间系数A，根据式（2）更新变量V，根据式（3）更新拉格朗日乘子G，根据式（4）更新惩罚因子μ；
上式中，Y表示高光谱图像，S为光谱子空间，A表示待估计的子空间系数，B表示空间采样矩阵，Z表示多光谱图像，R表示光谱采样矩阵，μ表示惩罚因子，V为引入的变量，G为拉格朗日乘子，
(V)为引入的变量V的正则项，λ为该正则项的权重参数，G1为更新后的拉格朗日乘子，μ 1表示更新后的惩罚因子；
迭代判断程序模块，用于判断迭代次数k等于预设阈值K是否成立，如果成立则将最终得到的子空间系数A作为最终得到的结果；否则，将迭代次数k加1，跳转执行迭代更新程序模块继续进行迭代；
迭代更新程序模块根据式（2）更新变量V时具体是指将式（2）视为从干净图像(A-G/(2μ))去除方差为λ/(2μ)的高斯白噪声的去噪问题，并采用深度卷积神经网络解决去噪问题以求解更新变量V，深度卷积神经网络的输入为干净图像(A-G/(2μ))和噪声等级λ/(2μ)，输出为干净的灰度图像。
7.一种高光谱和多光谱图像融合系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～5中任意一项所述高光谱和多光谱图像融合方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行权利要求1～5中任意一项所述高光谱和多光谱图像融合方法的计算机程序。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述高光谱和多光谱图像融合方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455786.1A CN111369487B (zh) | 2020-05-26 | 2020-05-26 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010455786.1A CN111369487B (zh) | 2020-05-26 | 2020-05-26 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111369487A CN111369487A (zh) | 2020-07-03 |
| CN111369487B true CN111369487B (zh) | 2020-09-18 |
Family
ID=71211077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010455786.1A Active CN111369487B (zh) | 2020-05-26 | 2020-05-26 | 一种高光谱和多光谱图像融合方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369487B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860449B (zh) * | 2020-08-03 | 2022-06-21 | 西安交通大学 | 一种基于深度学习和模型驱动的多光谱和高光谱图像融合方法 |
| CN111681271B (zh) * | 2020-08-11 | 2020-10-30 | 湖南大学 | 一种多通道多光谱相机配准方法、系统及介质 |
| CN111738370B (zh) * | 2020-08-25 | 2020-11-17 | 湖南大学 | 本质流形结构的图像特征融合与聚类协同表达方法及系统 |
| CN112488978A (zh) * | 2021-02-05 | 2021-03-12 | 湖南大学 | 基于模糊核估计的多光谱图像融合成像方法及系统 |
| CN112991186B (zh) * | 2021-04-27 | 2021-07-27 | 湖南大学 | 一种无人机大视场高光谱图像生成方法及系统 |
| CN113421216B (zh) * | 2021-08-24 | 2021-11-12 | 湖南大学 | 一种高光谱融合计算成像方法及系统 |
| CN115311187B (zh) * | 2022-10-12 | 2023-01-24 | 湖南大学 | 基于内部和外部先验的高光谱融合成像方法、系统及介质 |
| CN115880199B (zh) * | 2023-03-03 | 2023-05-16 | 湖南大学 | 一种长波红外高光谱与多光谱图像融合方法、系统及介质 |
| CN116245779B (zh) * | 2023-05-11 | 2023-08-22 | 四川工程职业技术学院 | 一种图像融合方法、装置、存储介质及电子设备 |
| CN116402726B (zh) * | 2023-06-08 | 2023-08-22 | 四川工程职业技术学院 | 一种高光谱-多光谱图像的去噪融合方法 |
| CN116429710B (zh) * | 2023-06-15 | 2023-09-26 | 武汉大学人民医院（湖北省人民医院） | 一种药物组分检测方法、装置、设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977951A (zh) * | 2017-12-25 | 2018-05-01 | 咸阳师范学院 | 基于耦合张量分解的多光谱与高光谱图像融合方法 |
| CN108460749A (zh) * | 2018-03-20 | 2018-08-28 | 西安电子科技大学 | 一种高光谱与多光谱图像的快速融合方法 |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
-
2020
- 2020-05-26 CN CN202010455786.1A patent/CN111369487B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977951A (zh) * | 2017-12-25 | 2018-05-01 | 咸阳师范学院 | 基于耦合张量分解的多光谱与高光谱图像融合方法 |
| CN108460749A (zh) * | 2018-03-20 | 2018-08-28 | 西安电子科技大学 | 一种高光谱与多光谱图像的快速融合方法 |
| CN110148103A (zh) * | 2019-04-29 | 2019-08-20 | 中国科学院西安光学精密机械研究所 | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 |
| CN110751614A (zh) * | 2019-09-17 | 2020-02-04 | 宁波大学 | 基于低秩矩阵分解及导向滤波器的高光谱/多光谱影像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Multispectral and hyperspectral image fusion with spatial-spectral sparse representation";Renwei Dian.et al;《https://www.sciencedirect.com/science/article/pii/S1566253517308035》;20190930;期刊摘要、第1-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111369487A (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369487B (zh) | 一种高光谱和多光谱图像融合方法、系统及介质 | |
| Wei et al. | 3-D quasi-recurrent neural network for hyperspectral image denoising | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN109741256B (zh) | 基于稀疏表示和深度学习的图像超分辨率重建方法 | |
| CN112801881B (zh) | 一种高分辨率高光谱计算成像方法、系统及介质 | |
| Xu et al. | Vector sparse representation of color image using quaternion matrix analysis | |
| WO2021048607A1 (en) | Motion deblurring using neural network architectures | |
| CN111028177A (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN107784628B (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN110648292B (zh) | 一种基于深度卷积网络的高噪声图像去噪方法 | |
| Zhang et al. | LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising | |
| CN113421216B (zh) | 一种高光谱融合计算成像方法及系统 | |
| CN115311187B (zh) | 基于内部和外部先验的高光谱融合成像方法、系统及介质 | |
| CN109064402B (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN112270650B (zh) | 基于稀疏自编码器的图像处理方法、系统、介质、设备 | |
| CN113888491A (zh) | 基于非局部特征的多级高光谱图像递进超分方法及系统 | |
| Wen et al. | The power of complementary regularizers: Image recovery via transform learning and low-rank modeling | |
| CN116977694A (zh) | 一种基于不变特征提取的高光谱对抗样本防御方法 | |
| CN113869503B (zh) | 一种基于深度矩阵分解补全的数据处理方法及存储介质 | |
| CN115601260A (zh) | 一种神经网络和优化模型联合驱动的高光谱图像复原方法 | |
| CN112132760B (zh) | 基于可学习可微分矩阵逆及矩阵分解的图像恢复方法 | |
| Yang et al. | Regularizing subspace representation for fusing hyperspectral and multispectral images | |
| CN111397733A (zh) | 一种单/多帧快照式光谱成像方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |