CN109697697A - 基于优化启发的神经网络的光谱成像系统的重构方法 - Google Patents
基于优化启发的神经网络的光谱成像系统的重构方法 Download PDFInfo
- Publication number
- CN109697697A CN109697697A CN201910162197.1A CN201910162197A CN109697697A CN 109697697 A CN109697697 A CN 109697697A CN 201910162197 A CN201910162197 A CN 201910162197A CN 109697697 A CN109697697 A CN 109697697A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- network
- high spectrum
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005457 optimization Methods 0.000 title claims abstract description 47
- 238000003384 imaging method Methods 0.000 title claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000003595 spectral effect Effects 0.000 claims abstract description 32
- 230000000644 propagated effect Effects 0.000 claims abstract description 23
- 238000005056 compaction Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 29
- 235000001466 Ribes nigrum Nutrition 0.000 claims description 24
- 241001312569 Ribes nigrum Species 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000005194 fractionation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000021615 conjugation Effects 0.000 claims 1
- 230000000116 mitigating effect Effects 0.000 claims 1
- 235000015170 shellfish Nutrition 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000002059 diagnostic imaging Methods 0.000 abstract description 4
- 238000011179 visual inspection Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 239000010865 sewage Substances 0.000 abstract description 3
- 239000000203 mixture Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001134453 Lista Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
- G01J2003/284—Spectral construction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，属于计算摄像学领域。本发明实现方法如下：建立光谱成像系统的前向传播模型；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。本发明能够综合利用系统观测模型的结构洞察力和神经网络的建模能力，在保证重建结果具备高空间分辨率和高光谱保真度的同时，提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。
Description
技术领域
本发明涉及用于光谱成像系统的高光谱图像重构方法，尤其涉及能够快速获取高质量高光谱图像的方法，属于计算摄像学领域。
背景技术
不同于传统的RGB成像或全色成像，光谱成像将场景捕获为三维张量，其在光谱维对场景每个像素位置处的光谱信息进行更精细的采样。光谱成像获得的高光谱图像中富含丰富的光谱信息，这一特点使其在遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等领域相比于传统成像技术更具有优势，因此正在被越来越广泛地投入应用。
由于高光谱图像是三维张量，而目前使用的成像传感器是二维的，因此必须逐点或逐行扫描光谱信息。但是这种高光谱成像过程是非常耗时的并且仅限于静态场景。为了捕获动态场景，已经提出各种快照高光谱成像系统设计和算法。在这些系统中，由AshwinWagadarikar等人提出的基于压缩感测理论的编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)作为一种有前景的解决方案脱颖而出。CASSI将入射光编码到快照成像传感器上，得到三维高光谱数据的二维压缩图像。再使用优化算法将二维压缩图像重建为三维张量。
但是，由二维压缩图像重建为三维张量是一个严重欠定的问题。为了解决严重欠定的重建问题，已经提出各种正则化器来引入图像先验，如总变差(TV)、稀疏性和非局部相似度(NLS)。并且在求解数据项时，为了限制解空间，对引入的图像先验进行解析表示。然而，这些手工制作的图像先验通常不足以模拟现实世界的各种光谱信息。此外，为了处理目标场景的各种特征，基于这些手工制作的先验的优化需要手动调整其权重参数。
而且，重建高光谱图像的优化问题不能通过封闭式的解决方案来解决。因此，一般使用迭代优化技术，但是迭代收敛往往是一个非常耗时的过程。最近，一些工作已经提出用训练有素的神经网络来替代基于迭代优化的解决方案，如LISTA、ADMM-Net和ISTA-Net。基于自然图像统计的迭代优化解决方案，这些工作将截断的迭代展开到网络中，并通过深度学习进行端到端的学习。然而，这些网络在训练时，仍然继承稀疏性，明确地将特征限制在某几层中稀疏，这与手工制作的图像先验有相同的缺点。此外，这些基于神经网络的方法着重考虑空间维度内的压缩感知重建，但忽略了光谱维度。最近的一项工作(详见I.Choi,D.S.Jeon,G.Nam,D.Gutierrez,and M.H.Kim,“High-quality hyperspectralreconstruction using a spectral prior,”ACM Transactions on Graphics(SIGGRAPHAsia),vol.36,no.6,p.218,2017.2,5,6,7)考虑通过自动编码器网络预先学习图像先验，然后再将学习的先验作为正则化器加入到迭代优化的解决方案中，但是仍然存在手动调参及收敛耗时的问题。
发明内容
针对现有的重构方法在高光谱图像重构过程中无法同时兼顾高光谱图像的空间先验和光谱先验，以及重构时间的问题。本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，综合利用系统观测模型的结构洞察力和神经网络的建模能力，在保证重建结果具备高空间分辨率和高光谱保真度的同时，提高高光谱图像重建的效率，扩展高光谱图像的应用范围。本发明适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。
为达到以上的目的，本发明采用以下技术方案。
本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，建立光谱成像系统的前向传播模型；构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的高光谱图像重构网络；制作训练集；配置高光谱图像重构网络训练所需参数；训练高光谱图像重构网络；使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。
本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，包括如下步骤：
步骤101：建立光谱成像系统的前向传播模型。
步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着一个空间维度发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。F(m,n,λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤Λ)表示光谱维数。编码孔径通过其透射函数C(m,n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿一个空间维度产生光谱偏移。根据CASSI系统的前向传播模型，二维压缩图像G(m,n)表示为在所有波长λ上的积分：
公式(1)中的偏移沿垂直方向，同样也适用于水平偏移。将公式(1)写成矩阵形式：
g＝Φf (2)
其中g∈R(M-Λ+1)N和f∈RMNΛ分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵。
将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练。对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有Λ个偏移光谱带的平行六面体。通过二维压缩图像块到高光谱图像平行六面体，基于块的映射避免不同映射之间的串扰。所述二维压缩图像块gi到高光谱图像平行六面体fi，基于块的映射用矩阵形式表示为：
gi＝Φifi (3)
其中下标i表明所选块的编号，φi是由高光谱图像平行六面体块fi到二维压缩图像块gi的观测矩阵。公式(3)是公式(2)基于块的前向传播模型。为了简化公式，去掉公式(3)中的下标。
即完成建立光谱成像系统的前向传播模型。
步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射。
采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题。从贝叶斯的角度，通过求解最小化问题来获得潜在的高光谱图像：
其中τ是平衡参数。数据项‖g-Φf‖2保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间。
引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项。引入辅助变量h，公式(4)重写为：
然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题:
其中η是惩罚参数。将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：
公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解。由于高光谱图像的三维特性，以及手工制作的先验在描述高光谱图像相关性方面的不足，因此采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：
因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习。而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性。
在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练。高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的。空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担。而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的。光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样能够实现简化重构网络训练的目的。
在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：
f(k+1)＝(ΦTΦ+ηI)-1(ΦTg+ηh(k)) (10)
但是，由于高光谱成像系统的观测矩阵非常大，计算逆矩阵非常困难。此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：
其中∈是梯度下降的步长，
将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f(k+1)：
使用神经网络设计公式(12)描述的统一框架f(k+1)的求解模块，然后将K个这样的求解模块，即f(0),f(1),…,f(k),f(k+1),…,f(K)，串联，得到由K个相似模块组成的重构网络。得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解。
重构网络虽然是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验。给定高光谱图像的二维压缩图像g和观测矩阵Ф，重构网络以前馈的方式连接起来，实现高光谱图像块重构。
步骤103：制作训练集。将每张训练图像划分为多个p×p×Λ的平行六面体块，设置步长保证块与块之间有重叠部分。并模拟基于块的前向传播模型，得到相应的压缩图像块。将所有平行六面体块与压缩图像块一一对应汇总成训练所需的数据集，即实现制作训练集。
步骤104：配置网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤105：训练高光谱图像重构网络。
使用步骤103制作的训练集训练步骤102搭建的网络。给定一组平行六面体立方体块f(i)及其相应的压缩测量g(i)作为训练样本，基于均方误差MSE的损失函数训练网络。损失函数表示为：
其中表示网络的输出。
步骤106：使用步骤105训练得到的高光谱图像重构网络逐块重构目标高光谱图像。
将二维压缩图像g分成若干P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将划分得到的若干块逐块输入重构网络，得到高质量的高光谱图像平行六面体块，并将得到高质量的高光谱图像平行六面体块逐块拼接，最终得到目标高光谱图像。
有益效果：
1、本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，使用卷积神经网络描述高光谱图像的先验知识，综合利用高光谱图像的空间相关性和光谱相关性，且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性，提高高光谱图像的空间分辨率和光谱保真度。
2、本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，用卷积神经网络搭建的高光谱图像先验的求解器替代优化模型中的正则化器。与传统的将观测模型与图像先验拆分并迭代的方式不同，本发明将观测模型与图像先验桥接形成统一的框架，并构建统一框架的求解模块，然后将求解模块串联，得到多个相似模块组成的重构网络，使得高光谱图像在重构过程中既遵循观测模型，又能充分利用图像先验，提升高光谱图像的重建质量。并且与迭代优化技术相比，本发明利用神经网络的建模能力构建由多个相似模块组成的重构网络，极大减少迭代次数，加快收敛速度，进而提升重建高光谱图像的效率。
3、本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，使用GPU计算网络，能够提升重建高光谱图像的效率。
4、本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法，重建质量高且速度较快，进而能够扩展高光谱图像的应用范围，适用于遥感、医学成像、视觉检查、污水检测、植被研究、大气监测等多个领域。
附图说明
图1是本发明中提到的编码孔径快照成像光谱仪(Coded Aperture SnapshotSpectral Imager,CASSI)的系统结构图以及本发明所搭建的实际硬件实验；
图2是本发明公开的基于优化启发的神经网络的光谱成像系统的重构方法的流程图；
图3是本发明中CASSI光谱成像系统基于块的前向模型；
图4是本发明中使用的卷积神经网络搭建的高光谱图像先验的求解器；
图5是本发明所搭建的用于实现高光谱图像重构的网络；
图6是本发明与其他对比方法重构结果的可视化显示。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的基于优化启发的神经网络的光谱成像系统的重构方法，应用于CASSI系统，用CNN替代手工制作的先验，并基于优化模型，将图像先验与观测模型进行桥接，最后将桥接后的框架的几步迭代展开到网络中。本实施例的流程图如图2所示。
本实施例公开的基于优化启发的神经网络的光谱成像系统的重构方法，包含以下步骤：
步骤101：建立光谱成像系统的前向传播模型。
步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪(Coded ApertureSnapshot Spectral Imager,CASSI)。如图1所示，CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成。入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着垂直方向发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像。F(m,n,λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤Λ)表示光谱维数。编码孔径通过其透射函数C(m,n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿垂直方向产生光谱偏移。根据CASSI系统的前向传播模型，二维压缩图像G(m,n)表示为在所有波长λ上的积分：
公式(1)写成矩阵形式：
g＝Φf (2)
其中g∈R(M-Λ+1)N和f∈RMNΛ分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵。
将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练。如图3所示，对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有Λ个偏移光谱带的平行六面体。通过二维压缩图像块到高光谱图像平行六面体这样基于块的映射，避免不同映射之间的串扰。所述二维压缩图像块gi到高光谱图像平行六面体fi这样基于块的映射用矩阵形式表示为：
gi＝Φifi (3)
其中下标i表明所选块的编号，φi是由高光谱图像平行六面体块fi到二维压缩图像块gi的观测矩阵。公式(3)是公式(2)基于块的前向传播模型。为了简化公式，去掉公式(3)中的下标。
即完成建立光谱成像系统的前向传播模型。
步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射。
采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题。从贝叶斯的角度，通过求解最小化问题来获得潜在的高光谱图像：
其中τ是平衡参数。数据项‖g-Φf‖2保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间。
引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项。引入辅助变量h，公式(4)重写为：
然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题:
其中η是惩罚参数。将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：
公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解。由于高光谱图像的三维特性，以及手工制作的先验在描述高光谱图像相关性方面的不足，因此采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：
h(k+1)＝S(f(k+1)) (9)
因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习。而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性。
在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练。高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的。空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担。而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的。光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样实现了简化重构网络训练的目的。S(·)的具体结构设计，如图4所示。
在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：
f(k+1)＝(ΦTΦ+ηI)-1(ΦTg+ηh(k)) (10)
但是，由于高光谱成像系统的观测矩阵非常大，计算逆矩阵非常困难。此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：
其中∈是梯度下降的步长，
将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f(k+1)：
使用神经网络设计公式(12)描述的统一框架f(k+1)的求解模块，然后将7个这样的求解模块，即f(0),f(1),…,f(4),f(5),…,f(7)，串联，得到由7个相似模块组成的重构网络，如图5所示。得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解。
重构网络虽然是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验。给定高光谱图像的二维压缩图像g和观测矩阵Φ，重构网络以前馈的方式连接起来，实现高光谱图像块重构。
步骤103：制作训练集。将每张训练图像划分为多个p×p×Λ的平行六面体块，设置步长保证块与块之间有重叠部分。并模拟基于块的前向传播模型，得到相应的压缩图像块。将所有平行六面体块与压缩图像块一一对应汇总成训练所需的数据集，即实现制作训练集。
步骤104：配置网络训练所需参数。设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数。
步骤105：训练高光谱图像重构网络。
使用步骤103制作的训练集训练步骤102搭建的网络。给定一组平行六面体立方体块f(i)及其相应的压缩测量g(i)作为训练样本，基于均方误差MSE的损失函数训练网络。损失函数表示为：
其中表示网络的输出。
步骤106：使用步骤105训练得到的高光谱图像重构网络逐块重构目标高光谱图像。
将二维压缩图像g分成若干P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半。将划分得到的若干块逐块输入重构网络，得到高质量的高光谱图像平行六面体块，并将得到高质量的高光谱图像平行六面体块逐块拼接，最终得到目标高光谱图像。
本实施例将从两方面说明本发明的效果，一是高光谱图像重构的准确性，二是重构速度。
1.实验条件
本实验的硬件测试条件为：Inter i76800K，内存64G。GPU为Titan X，显存12G，CUDA8.0。测试所用高光谱图片来自于ICVL和Harvard数据集。输入的CASSI压缩光谱采样图像大小为542×512；重构以后得到的高光谱图像大小为512×512×31。
2.实验结果
为了验证高光谱图像重构的准确性，分别在Harvard数据集和ICVL数据集上，将本发明的重建结果与将八种方法的重建结果进行对比。为了定量地衡量重建结果的质量，使用峰值信噪比(Peak signal to noise ratio，PSNR)和结构相似性(Structuralsimilarity,SSIM)衡量重建结果的空间质量和视觉效果；使用光谱角制图(Spectralangle mapping，SAM)(详见Kruse F A,Lefkoff AB,Boardman J W,etal.The spectralimage processing system(SIPS)—interactive visualization andanalysis ofimaging spectrometer data[J].Remote sensing of environment,1993,44(2-3):145-163.)衡量重建结果的光谱保真度。
Harvard数据集上的重建结果如表1所示。
表1 Harvard数据集上重建结果
ICVL数据集上的重建结果如表2所示。
表2 ICVL数据集上重建结果
| 方法 | PSNR | SSIM | SAM |
| TwIST | 26.15 | 0.936 | 0.053 |
| GPSR | 24.56 | 0.909 | 0.09 |
| AMP | 26.77 | 0.947 | 0.052 |
| 3DNSR | 27.95 | 0.958 | 0.051 |
| SSLR | 29.16 | 0.964 | 0.046 |
| HSCNN | 29.48 | 0.973 | 0.043 |
| ISTA-Net | 31.73 | 0.984 | 0.042 |
| Autoencoder | 30.44 | 0.970 | 0.036 |
| 本发明Proposed<sub>D</sub> | <u>33.43</u> | <u>0.990</u> | <u>0.030</u> |
| 本发明Proposed<sub>I</sub> | 34.13 | 0.992 | 0.028 |
其中ProposedD和ProposedI是本发明的结果。ProposedD表示网络训练和图像重构使用的是随机模板；ProposedI表示网络训练和图像重构使用的是固定模板。
从表1看出，本发明的重建结果在空间质量和视觉效果，以及光谱保真度上明显优于其他方法，且使用固定模板的重建结果优于使用随机模板的重建结果。
图6可视化地给出不同方法的重建结果，本发明的重建结果在视觉效果及重建准确性上明显优于其他方法的重建结果。
统计不同方法单张图的重构时间，结果如表3所示。
表3单张图重构时间
从表3看出，本发明相比于其他方法能更加快速实现高光谱图像重构。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：包括如下步骤，
步骤101：建立光谱成像系统的前向传播模型；
步骤102：构建基于优化启发的、并同时考虑高光谱图像空间相关性和光谱相关性的重构网络，通过所述重构网络学习由二维压缩图像块到高光谱图像平行六面体块的映射；
步骤103：制作训练集；
步骤104：配置网络训练所需参数；设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；
步骤105：训练高光谱图像重构网络；
步骤106：使用步骤105训练得到的高光谱图像重构网络逐块重构目标高光谱图像。
2.如权利要求1所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤101实现方法为，
步骤101中所述的光谱成像系统为编码孔径快照光谱成像仪CASSI；CASSI系统主要由物镜、编码模板、中继镜、色散棱镜和探测器等部件构成；入射光进入CASSI系统会先到达编码孔径进行0-1编码；然后，经编码后的光到达色散棱镜，不同频谱的光沿着一个空间维度发生偏移；最后所有频谱的光在探测器处混合叠加，得到压缩的二维混叠光谱图像；F(m，n，λ)表示入射光的强度，其中m(1≤m≤M)和n(1≤n≤N)表示空间维数，λ(1≤λ≤A)表示光谱维数；编码孔径通过其透射函数C(m，n)进行空间调制，色散棱镜根据波长相关的色散函数ψ(λ)沿一个空间维度产生光谱偏移；根据CASSI系统的前向传播模型，二维压缩图像G(m，n)表示为在所有波长λ上的积分：
公式(1)中的偏移沿垂直方向，同样也适用于水平偏移；将公式(1)写成矩阵形式：
g＝Φf (2)
其中g∈R(M-A+1)N和f∈RMNA分别是压缩图像和高光谱图像的向量化表示，Φ表示CASSI系统的观测矩阵；
将前向传播模型从基于整张二维压缩图像g的建模分解为基于块的建模，以减轻计算复杂度，促进网络训练；对于二维压缩图像g中p×p的图像块，在CASSI系统中反向追踪该图像块的能量传递，该图像块对应的源高光谱图像不再是标准立方体，而是具有A个偏移光谱带的平行六面体；通过二维压缩图像块到高光谱图像平行六面体，基于块的映射避免不同映射之间的串扰；所述二维压缩图像块gi到高光谱图像平行六面体fi，基于块的映射用表示为：
gi＝Φifi (3)
其中下标i表明所选块的编号，φi是由高光谱图像平行六面体块fi到二维压缩图像块gi的观测矩阵；公式(3)是公式(2)基于块的前向传播模型；为了简化公式，
去掉公式(3)中的下标；
即完成建立光谱成像系统的前向传播模型。
3.如权利要求2所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤102实现方法为，
采用图像先验作为正则化项约束解空间，解决高光谱图像重建严重欠定的问题；从贝叶斯的角度，通过求解最小化问题来获得潜在的高光谱图像：
其中τ是平衡参数；数据项||g-Φf||2保证求得的解服从步骤101中建立的前向传播模型，正则化项R(f)根据图像先验约束解空间；
引入辅助变量，采用变量拆分技术解耦公式(4)中的数据项和正则化项；引入辅助变量h，公式(4)重写为：
然后，采用半二次分裂HQS法，将公式(5)所述的约束优化问题转换为非约束优化问题：
其中η是惩罚参数；将公式(6)中的观测矩阵Φ与图像先验R(h)解耦，拆分为公式(7)、(8)所述的两个子问题的迭代求解：
公式(7)是能够直接求解的二次正则化的最小二乘问题，公式(8)是高光谱图像先验R(h)的近似求解；采用卷积神经网络描述高光谱图像的先验知识，直接学习高光谱图像先验R(h)的近似求解器S(·)：
h(k+1)＝S(f(k+1)) (9)
因此，高光谱图像先验知识未被明确建模，而是通过卷积神经网络学习；而且卷积神经网络在先验建模的过程中引入非线性，通过引入非线性避免明确的手工图像先验的不准确性；
在设计求解器S(·)的网络结构时，同时利用空间相关性和光谱相关性，并且能够简化重构网络的训练；高光谱图像先验网络S(·)主要由空间网络部分和光谱网络部分两个部分组成，实现同时利用空间相关性和光谱相关性的目的；空间网络部分采用残差网络结构，通过残差学习实现快速和稳定的训练，从而减轻计算负担；而且使用的残差网络结构去除批量归一化层，在保证性能的基础上，实现简化重构网络训练的目的；光谱网络学习高光谱图像光谱相关性，仅包含一个卷积核为1×1的卷积层，同样能够实现简化重构网络训练的目的；
在统一的框架中解决公式(7)和公式(8)，与传统的拆分并迭代的方式相比，统一的框架将观测矩阵Φ与图像先验R(h)重新桥接：
f(k+1)＝(ΦTΦ+ηI)-1(ΦTg+ηh(k)) (10)
但是，由于高光谱成像系统的观测矩阵非常大，计算逆矩阵非常困难；此处采用共轭梯度CG算法求解公式(10)，公式(10)的求解表示为：
其中∈是梯度下降的步长，f(0)＝ΦTg，
将高光谱图像先验R(h)的近似求解器S(·)，即公式(9)，代入公式(11)，重新得到统一的框架f(k+1)：
使用神经网络设计公式(12)描述的统一框架f(k+1)的求解模块，然后将K个这样的求解模块，即f(0)，f(1)，...，f(k)，f(k+1)，...，f(K)，串联，得到由K个相似模块组成的重构网络；得到的重构网络即是将传统的迭代优化的求解过程截断并展开到神经网络中求解；
重构网络虽然是基于优化模型启发构建的，但是与基于迭代的优化不同，重构网络端到端进行训练，服从观测矩阵的同时利用图像先验；给定高光谱图像的二维压缩图像g和观测矩阵Φ，重构网络以前馈的方式连接起来，实现高光谱图像块重构。
4.如权利要求3所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤103实现方法为，
步骤103：制作训练集；将每张训练图像划分为多个p×p×A的平行六面体块，设置步长保证块与块之间有重叠部分；并模拟基于块的前向传播模型，得到相应的压缩图像块；将所有平行六面体块与压缩图像块一一对应汇总成训练所需的数据集，即实现制作训练集。
5.如权利要求4所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤105实现方法为，
使用步骤103制作的训练集训练步骤102搭建的网络；给定一组平行六面体立方体块f(i)及其相应的压缩测量g(i)作为训练样本，基于均方误差MSE的损失函数训练网络；损失函数表示为：
其中表示网络的输出。
6.如权利要求5所述的基于优化启发的神经网络的光谱成像系统的重构方法，其特征在于：步骤106实现方法为，
将二维压缩图像g分成若干P×P大小的块，相邻块之间存在重叠部分，重叠部分大小为块大小的一半；将划分得到的若干块逐块输入重构网络，得到高质量的高光谱图像平行六面体块，并将得到高质量的高光谱图像平行六面体块逐块拼接，最终得到目标高光谱图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910162197.1A CN109697697B (zh) | 2019-03-05 | 2019-03-05 | 基于优化启发的神经网络的光谱成像系统的重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910162197.1A CN109697697B (zh) | 2019-03-05 | 2019-03-05 | 基于优化启发的神经网络的光谱成像系统的重构方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109697697A true CN109697697A (zh) | 2019-04-30 |
| CN109697697B CN109697697B (zh) | 2020-10-16 |
Family
ID=66233790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910162197.1A Active CN109697697B (zh) | 2019-03-05 | 2019-03-05 | 基于优化启发的神经网络的光谱成像系统的重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109697697B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276450A (zh) * | 2019-06-25 | 2019-09-24 | 交叉信息核心技术研究院(西安)有限公司 | 基于多粒度的深度神经网络结构化稀疏系统和方法 |
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
| CN112950736A (zh) * | 2021-03-05 | 2021-06-11 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN113418873A (zh) * | 2021-06-23 | 2021-09-21 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像系统及重构光谱成像方法 |
| CN115713515A (zh) * | 2022-11-21 | 2023-02-24 | 北京理工大学 | 一种基于量子图像传感器的单光子计数成像系统及方法 |
| CN115855839A (zh) * | 2023-02-22 | 2023-03-28 | 湖南大学 | 一种基于admm框架的改进空谱融合高光谱计算重构方法 |
| CN116183522A (zh) * | 2023-02-24 | 2023-05-30 | 西湖大学 | 一种单曝光压缩高光谱成像系统及方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116612013A (zh) * | 2023-07-19 | 2023-08-18 | 山东智洋上水信息技术有限公司 | 一种红外图像超分算法及其移植至前端设备的方法 |
| CN118129909A (zh) * | 2024-05-08 | 2024-06-04 | 中国科学院长春光学精密机械与物理研究所 | 阵列化集成芯片式偏振成像光谱仪及偏振图谱重建方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070223058A1 (en) * | 2004-06-07 | 2007-09-27 | Pascal Cotte | Multispectral Scanner With Enlarged Gamut, in Particular a Single-Pass Flat-Bed Scanner |
| CN106896069A (zh) * | 2017-04-06 | 2017-06-27 | 武汉大学 | 一种基于彩色数码相机单幅rgb图像的光谱重建方法 |
| CN108830796A (zh) * | 2018-06-20 | 2018-11-16 | 重庆大学 | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 |
| CN109146787A (zh) * | 2018-08-15 | 2019-01-04 | 北京理工大学 | 一种基于插值的双相机光谱成像系统的实时重建方法 |
-
2019
- 2019-03-05 CN CN201910162197.1A patent/CN109697697B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070223058A1 (en) * | 2004-06-07 | 2007-09-27 | Pascal Cotte | Multispectral Scanner With Enlarged Gamut, in Particular a Single-Pass Flat-Bed Scanner |
| CN106896069A (zh) * | 2017-04-06 | 2017-06-27 | 武汉大学 | 一种基于彩色数码相机单幅rgb图像的光谱重建方法 |
| CN108830796A (zh) * | 2018-06-20 | 2018-11-16 | 重庆大学 | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 |
| CN109146787A (zh) * | 2018-08-15 | 2019-01-04 | 北京理工大学 | 一种基于插值的双相机光谱成像系统的实时重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| RANG M.H. NGUYEN 等: "Training-Based Spectral Reconstruction from a Single RGB Image", 《COMPUTER VISION - ECCV 2014》 * |
| 付婉莹 等: "基于人工神经网络的光谱反射率重建", 《包装工程》 * |
| 程年恺 等: "高光利用率高精度计算光谱成像系统设计", 《光电技术应用》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276450B (zh) * | 2019-06-25 | 2021-07-06 | 交叉信息核心技术研究院(西安)有限公司 | 基于多粒度的深度神经网络结构化稀疏系统和方法 |
| CN110276450A (zh) * | 2019-06-25 | 2019-09-24 | 交叉信息核心技术研究院(西安)有限公司 | 基于多粒度的深度神经网络结构化稀疏系统和方法 |
| CN110717947A (zh) * | 2019-09-25 | 2020-01-21 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN110717947B (zh) * | 2019-09-25 | 2021-04-27 | 北京理工大学 | 一种基于外部和内部训练的高质量光谱重构方法 |
| CN111007021A (zh) * | 2019-12-31 | 2020-04-14 | 北京理工大学重庆创新中心 | 基于一维卷积神经网络的高光谱水质参数反演系统及方法 |
| CN112950736B (zh) * | 2021-03-05 | 2024-04-09 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN112950736A (zh) * | 2021-03-05 | 2021-06-11 | 南京大学 | 一种基于无监督网络解色散模糊的高光谱成像方法 |
| CN113418873A (zh) * | 2021-06-23 | 2021-09-21 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像系统及重构光谱成像方法 |
| CN113418873B (zh) * | 2021-06-23 | 2022-05-17 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱成像系统及重构光谱成像方法 |
| CN115713515A (zh) * | 2022-11-21 | 2023-02-24 | 北京理工大学 | 一种基于量子图像传感器的单光子计数成像系统及方法 |
| CN115713515B (zh) * | 2022-11-21 | 2024-08-23 | 北京理工大学 | 一种基于量子图像传感器的单光子计数成像系统及方法 |
| CN115855839A (zh) * | 2023-02-22 | 2023-03-28 | 湖南大学 | 一种基于admm框架的改进空谱融合高光谱计算重构方法 |
| CN116183522A (zh) * | 2023-02-24 | 2023-05-30 | 西湖大学 | 一种单曝光压缩高光谱成像系统及方法 |
| CN116579966A (zh) * | 2023-07-11 | 2023-08-11 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116579966B (zh) * | 2023-07-11 | 2023-11-17 | 江西师范大学 | 一种图像重建方法、装置、电子设备及存储介质 |
| CN116612013A (zh) * | 2023-07-19 | 2023-08-18 | 山东智洋上水信息技术有限公司 | 一种红外图像超分算法及其移植至前端设备的方法 |
| CN116612013B (zh) * | 2023-07-19 | 2023-10-31 | 山东智洋上水信息技术有限公司 | 一种红外图像超分方法及其移植至前端设备的方法 |
| CN118129909A (zh) * | 2024-05-08 | 2024-06-04 | 中国科学院长春光学精密机械与物理研究所 | 阵列化集成芯片式偏振成像光谱仪及偏振图谱重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109697697B (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697697A (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
| CN109883548A (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| CN109886898A (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
| CN109741407A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量重构方法 | |
| CN107451956B (zh) | 一种编码孔径光谱成像系统的重构方法 | |
| CN109447891A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN109146787A (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| CN109886870A (zh) | 基于双通道神经网络的遥感图像融合方法 | |
| CN112184560B (zh) | 基于深度闭环神经网络的高光谱图像超分辨优化方法 | |
| CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
| CN115499566B (zh) | 基于深度计算光学元件的端到端高质量消色差成像系统 | |
| CN110378981A (zh) | 基于神经网络的傅里叶叠层显微镜光瞳恢复方法 | |
| CN109447890A (zh) | 一种基于卷积神经网络的光谱成像系统的编码优化方法 | |
| CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
| CN115272093A (zh) | 一种基于空间结构信息约束的高光谱图像解混方法 | |
| CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
| Chen et al. | Prior image guided snapshot compressive spectral imaging | |
| CN113744134A (zh) | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 | |
| CN110926611A (zh) | 一种应用于压缩感知光谱成像系统的噪声抑制方法 | |
| CN115170691A (zh) | 基于深度学习和交替方向乘子法的磁共振成像的重构方法 | |
| CN115342916A (zh) | 一种基于高阶数学建模和拟合标定的光谱成像方法 | |
| CN114998405A (zh) | 基于图像驱动的数字化人体模型构建方法 | |
| CN108460777A (zh) | 一种面向植物高光谱的提取分块压缩重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |