CN112989593B - 基于双相机的高光谱低秩张量融合计算成像方法 - Google Patents
基于双相机的高光谱低秩张量融合计算成像方法 Download PDFInfo
- Publication number
- CN112989593B CN112989593B CN202110255325.4A CN202110255325A CN112989593B CN 112989593 B CN112989593 B CN 112989593B CN 202110255325 A CN202110255325 A CN 202110255325A CN 112989593 B CN112989593 B CN 112989593B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- imaging
- rank
- tensor
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 53
- 238000001228 spectrum Methods 0.000 title claims abstract description 40
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 title claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims abstract description 38
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000006835 compression Effects 0.000 claims abstract description 13
- 238000007906 compression Methods 0.000 claims abstract description 13
- 230000009977 dual effect Effects 0.000 claims abstract description 10
- 238000005457 optimization Methods 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 28
- 239000006185 dispersion Substances 0.000 claims description 9
- 238000005316 response function Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000013178 mathematical model Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000000701 chemical imaging Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J2003/283—Investigating the spectrum computer-interfaced
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
本发明公开了一种基于双相机的高光谱低秩张量融合计算成像方法，包括：通过光谱压缩测量装置获取压缩光谱测量数据；利用全色相机装置获取高分辨全色图像；构造两路数据感知的前向测量算子，建立融合计算成像保真约束；结合全色图像非局部相似性，构造非局部高光谱图像块的4阶张量队列秩约束；建立自适应非局部低秩张量正则化模型；采取交替方向迭代算法计算获得高空间和光谱分辨率成像。本发明突破传统扫描成像方式，采取新型计算成像优化模型，不需要复杂的光谱成像器件，能够有效地学习空间、光谱和非局部模式的相关性，缓解高光谱成像的高空间分辨率和高光谱分辨率的矛盾，实现高信噪比、高光谱保真成像。
Description
技术领域
本发明属于计算摄像学领域，尤其涉及一种基于双相机的高光谱低秩张量融合计算成像方法。
背景技术
近年来，高光谱图像在环境监测、军事侦察、医疗诊断等军用及民用领域都有重大的研究和应用前景。如何获得高质量的高光谱图像是光谱成像技术研究的重要方向。传统扫描方式，大都需要时序的扫描策略去捕获完整的三维光谱数据，这种成像方式比较耗时，硬件昂贵，且很难实现空间维和光谱维的高分辨率成像。最近基于压缩感知理论的计算成像方式得到了快速的发展，这种成像方式能从远少于传统成像方式所需的数据中复原高光谱图像。而其中压缩光谱测量装置与全色相机结合的双相机光谱成像系统受到了广泛的关注和研究，其中如何从两路采样数据中高精度地计算成像成为了问题的关键。此外，目前比较典型的压缩光谱测量装置有编码孔径快照光谱成像仪(Wagadarikar A,John R,WillettR,et al.Single disperser design for coded aperture snapshot spectral imaging[J].Applied Optics,2008,47(10)：B44-51.)和空谱编码成像系统(Lin X,Liu Y,Wu J,etal.Spatial-spectral encoded compressive hyperspectral imaging[J].AcmTransactions on Graphics,2014,33(6)：1-11.)
从这两路采样中计算成像原始的三维高光谱图像是一个严重的欠定问题，因而添加先验信息是必不可少的。通过增加稀疏约束，假定高光谱图像在小波基下是可稀疏表示的，该问题可通过基于稀疏重构的梯度投影算法(gradient projection for sparsereconstruction,GPSR)(Figueiredo M AT,Nowak R D,Wright S J.Gradient Projectionfor Sparse Reconstruction：Application to Compressed Sensing and Other InverseProblems[J].IEEE Journal of Selected Topics in Signal Processing,2008,1(4)：586-597.)求解，但容易引入噪声；以及基于分段平滑的二维全变差约束法(2D totalvariation,2DTV)(Wagadarikar AA,Pitsianis N P,Sun X,et al.Spectral imageestimation for coded aperture snapshot spectral imagers[C]//ImageReconstruction from Incomplete Data V.International Society for Optics andPhotonics,2008,7076∶707602.)。但这类算法很容易导致重构的图像出现过平滑的现象，丢失了很多纹理信息。Peng等人提出一种E-3DTV模型(孟德宇，彭江军，谢琦等.一种基于E-3DTV正则的高光谱图像修复方法.CN109191404A.2019)，是对传统3DTV的增强和改进，对三个方向的梯度图做低秩矩阵分解并对基矩阵加稀疏约束，得到E-3DTV正则，更能降低噪声的干扰。Fu等人提出一种低秩矩阵约束模型(low-rank matrix approximation，LRMA)(FuY,Zheng Y,Sato I,et al.Exploiting Spectral-Spatial Correlation for CodedHyperspectral Image Restoration[C]//Computer Vision&Pattern Recognition.IEEE,2016.)，能够有效地利用高光谱图像的空间-光谱相关性，计算成像质量有一定提升，但没有考虑非局部模式的相关性。王立志等人提出一种维度可区分的张量低秩约束模型(dimension-discriminative low-rank tensor regularization)(王立志，张仕鹏，黄华.一种张量低秩约束的快照式光谱成像系统的重构方法，CN110501072A.2019)，利用了高光谱图像的高维结构特性，并能表达高光谱图像在多个维度的相关性，有利于提升高光谱成像的精度，当该方法需手动设置权重，其次，其中非局部高光谱图像块的相似性估计采用中间成像结果进行估计，在每一次迭代求解中均需要重新进行非局部相似性估计，显然会增加计算的复杂度及负担，另外，中间成像结果必然存在一定的误差，尤其初始化高光谱图像的误差是最大的，容易导致非局部相似块聚类不准确，陷入局部最优解。
发明内容
本发明的目的在于提供一种基于双相机的高光谱低秩张量融合计算成像方法。
本发明的技术解决方案为，基于双相机的高光谱低秩张量融合计算成像方法，包括如下步骤：
建立压缩光谱测量装置，获取压缩测量光谱数据；
采取全色相机装置，获取全色图像；
构造两路数据感知的前向测量算子，包括光谱感知光路前向测量算子和全色感知光路前向测量算子；
构造融合计算成像保真约束；
构造非局部高光谱张量低秩约束，即结合全色图像非局部相似性，构造非局部高光谱图像块的4阶张量队列秩约束；
建立自适应非局部低秩张量正则化模型；
交替方向乘子法迭代优化求解，输出计算成像结果。
本发明与现有技术相比，其显著特点在于：(1)采用全色图像进行非局部相似性估计，根据聚类结果引导高光谱图像的相似块编组，在一定程度上增加了估计的准确性以及降低了计算的复杂度及负担；(2)对非局部高光谱图像块4阶张量施加低秩张量队列约束，能够有效地学习空间、光谱和非局部模式之间的相关性，进而实现高信噪比、高光谱保真成像；(3)通过对张量队列秩所包含的不同模式的展开矩阵秩设计一种自适应权重，能够有效地提升不同维度之间的可区分性，有利于提升高光谱图像的成像质量；(4)本发明公开方法利用交替方法乘子法交替迭代求解，具有良好的收敛性；(5)本发明公开方法能够应用到多种压缩光谱测量装置与全色相机结合的双相机光谱成像系统，包括编码孔径快照光谱成像仪和空谱编码成像仪等压缩光谱测量装置，具有良好地扩展性。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明基于双相机的高光谱低秩张量融合计算成像方法的流程图。
图2是本发明中构造非局部高光谱张量低秩约束示意图。
图3是本发明中压缩光谱测量装置与全色相机结合的双相机光谱成像系统的结构图。
图4是本发明中双相机光谱成像系统的系统参数设置，图4(a)为p＝0.5的伯努利矩阵生成的编码孔径，图4(b)为探测器的光谱响应函数曲线。
图5是本发明在双相机光谱成像系统下，图5(a)和图5(b)是分别对测试图像egyptian仿真合成的压缩光谱测量数据和全色图像。
图6是本发明公开方法和对比方法在双相机光谱成像系统下，对测试图像egyptian仿真计算成像后在波长为600nm时的结果图及局部放大图，其中图6(a)为参考图像，图6(b)、图6(c)、图6(d)和图6(e)分别为GPSR算法、2DTV算法、E-3DTV算法和本发明公开方法的计算成像结果。
图7是本发明在双相机光谱成像系统下，图7(a)和图7(b)是分别对测试图像stuffed toy仿真合成的压缩光谱测量数据和全色图像。
图8是本发明公开方法和对比方法在双相机光谱成像系统下，对测试图像stuffedtoy仿真计算成像后在波长为600nm时的结果图及局部放大图，其中图8(a)为参考图像，图8(b)、图8(c)、图8(d)和图8(e)分别为GPSR算法、2DTV算法、E-3DTV算法和本发明公开方法的计算成像结果。
具体实施方式
结合图1，本发明提出一种基于双相机的高光谱低秩张量融合计算成像方法，其主要特征是通过光谱压缩测量装置和全色相机的两路数据进行融合计算成像，能够大幅度地提升高光谱的成像质量，该方法具体步骤为：
步骤1：建立压缩光谱测量装置，获取压缩测量光谱数据：
如图3所示，压缩光谱测量装置由物镜、带通滤波器、编码孔径、色散棱镜、中继镜和探测器等组成，该光路信号先经过随机伯努利矩阵的编码孔径的编码；通过带通滤波器进行滤波，限制光谱的范围；编码和滤波后的图像经由中继镜传播到色散棱镜后，不同波段的图像会沿着水平方向作不同程度的偏移；最后，所有波段的图像在探测器上进行叠加，得到二维的压缩光谱测量数据。
步骤2：采取全色相机装置，获取全色图像，如图3所示；
步骤3：构造两路数据感知的前向测量算子，包括光谱感知光路前向测量算子和全色感知光路前向测量算子：
1)将目标场景的高光谱图像表示为
M，N和L分别表示高、宽和光谱模式的大小，则高光谱图像X上任意一点的像素值为x(i,j,l)，满足1≤i≤M，1≤j≤N和1≤l≤L，其中i和j表示空间坐标大小，表示l光谱坐标大小。压缩光谱测量装置的数学模型可表示为：
其中，Gc(i,j)是在探测器位置(i,j)上的强度，Rc(l)表示该探测器的光谱响应函数，T(i,j)表示编码孔径的传播函数，S(l)表示由色散棱镜引起的偏移函数。因此，光谱压缩测量模型可建立为
Gc＝Φc(X)+νc (2)其中，
为压缩测量数据，Φc表示光谱感知前向测量算子，包含了编码孔径、色散棱镜和探测器光谱响应函数的共同作用，νc表示高斯白噪声。
2)全色相机光路中，没有编码孔径和色散棱镜的影响，其数学模型表示为
式中，Gp(i,j)表示全色图像中像素点(i,j)的强度，Rp(l)为该探测器的光谱响应函数，则建立全色感知光路的观测模型为：
Gp＝Φp(X)+νp (4)
其中，
表示全色图像，Φp表示全色感知光路前向测量算子，包含了相机光谱响应函数的影响，νp表示高斯白噪声。
步骤4：构造融合计算成像保真约束：其模型为
G＝Φ(X)+ν (5)
其中：G＝[Gc；Gp]，Φ＝[Φc；Φp]和ν＝[νc；νp]；Φ称为双光路数据感知的前向测量算子。
步骤5：构造非局部高光谱张量低秩约束，即结合全色图像非局部相似性，构造非局部高光谱图像块的4阶张量队列(tensor train,TT)秩约束：
如图2所示，具体流程为：
1)将全色图像Gp从空间上划分为大小为sM×sN的二维图像块，一般取sM＝sN，范围为sM∈[5,10]，图像块与图像块之间选择适当的重叠大小Δ，4≤Δ≤8；
2)采用K-means算法将相似的二维图像块分成K个聚类
其中Nk是第k个聚类的数量；
3)基于聚类结果，构建具有相同空间结构的高光谱图像块的编组，即
其中X(k,j)的空间位置与
相同，sM×sN×L为三维立方块的大小。
4)在第k聚类的高光谱图像立方块能构成一个4阶张量
它有高、宽、光谱、非局部四个模式。
5)
的张量队列(tenosr train,TT)秩包含了沿着三个模式的展开矩阵
和
的秩，其中
是
的模式-t矩阵展开；特别地，矩阵
的秩能够捕获两个空间模式和其它两个模式(光谱和非局部模式)之间的相关性；矩阵
的秩能够表示前三个模式(空间和光谱模式)和非局部模式的相关性。
步骤6：建立自适应非局部低秩张量正则化模型：
所述自适应非局部低秩张量正则化模型包含两项：数据保真项和非局部低秩张量约束项，其具体模型为：
其中，运算符
表示Frobenius范数，t为正则化参数；共包含K个四阶张量
表示矩阵
的第i大的奇异值，e是接近于0的正数；由于不同模式的展开矩阵的低秩程度不同，可设计如下自适应权重
步骤7：交替方向乘子法迭代优化求解，输出计算成像结果。
1)建立增广拉格朗日函数，即引入三个辅助变量U＝X，V＝X和W＝X，其自适应非局部低秩张量正则化模型对应的增广拉格朗日函数
其中，m＞0为惩罚参数，O，P和Q为拉格朗日乘子，
和
分别是Uk的模-1，Vk的模-2和Wk的模-3的矩阵展开。
2)对该增广拉格朗日问题能通过交替方向乘子法迭代求解，最终输出计算成像结果，其中设置迭代的初始值为X0＝Φ*(G)，U0＝V0＝W0≡X0，t＝0，迭代停止条件为：t＞tmax或
(1)更新X，固定其它变量，提取包含X的项，得到如下子问题
对式(9)求导，将含X的式子移到等式一边，可得以下线性方程组
其中，Φ*是Φ的伴随算子，I为单位矩阵。由于矩阵Φ*Φ太大，很难直接求逆，故采样共轭梯度法迭代求解其近似值。
(2)更新U，固定其它变量，提取含U的项，得到
该问题可通过每一个聚类单独求解，即
式中
分别是张量Uk，Xk和Ok的模-1规范矩阵化展开，4阶张量Uk，Xk和Ok分别可由U，X，O中的第k立方块聚类组成。最优化问题(12)有如下解：
其中
和
可通过奇异值分解(Singular Value Decomposition,SVD)得到，即
为对角矩阵，其中阈值操作符Sa,e(·)定义为
其中c1＝|x|-e和
在解出
之后，可通过张量化算子得到Uk，即
然后通过将所有的立方块Uk，1≤k≤K组合并放置对应位置即通过堆叠可得到变量U。
(3)更新V，固定其它变量提取含V的项，得到
该问题(15)能通过每一个聚类单独求解，如下
式中
分别是张量Vk，Xk和Pk的模-2规范矩阵化展开，4阶张量Vk，Xk和Pk分别可由V，X，P中的第k立方块聚类组成。最优化问题(16)有如下解：
其中
和
可通过奇异值分解得到，即
为对角矩阵。在解出
之后，可通过张量化算子得到Vk，即
然后通过将所有的立方块Vk，1≤k≤K堆叠可得到变量V。
(4)更新W，固定其它变量，提取所有含W的项，可得
同样，该问题(18)能通过每一个聚类单独求解，即
式中
分别是张量Wk，Xk和Qk的模-3矩阵化展开，4阶张量Wk，Xk和Qk分别可由W，X，Q中的第k立方块聚类组成。最优化问题(19)有如下解：
其中
和
可通奇异值分解得到，即
为对角矩阵。在解出
之后，可通过张量化算子得到Wk，即
然后通过将所有的立方块Wk，1≤k≤K堆叠得到变量W。
(5)更新拉格朗日乘子：
当满足迭代停止条件时，则输出计算成像结果。
本发明的优点在于突破传统扫描成像方式，采取新型计算成像优化模型，不需要复杂的光谱成像器件，能够有效地学习空间、光谱和非局部模式的相关性，缓解高光谱成像的高空间分辨率和高光谱分辨率的矛盾，实现高信噪比、高光谱保真成像。
本发明的效果可通过以下仿真实验进一步说明：
本实验环境为64位Windows10操作系统，Inter i7-6700HQ处理器，2.60GHz主频和8GB内存的个人电脑，编程应用软件为Matlab R2016a。仿真实验采用公开的高光谱CAVE数据集，包含多张自然场景的高光谱图像，高光谱图像的空间分辨率为512×512,波段数为31，其波长范围在400nm到700nm之间，波长间隔为10nm。本实施例选择其中7个高光谱数据集，并裁剪大小为256×256×31的部分区域作为参考的高光谱图像。压缩光谱测量装置中所用的编码孔径是概率p＝0.5的随机伯努利矩阵，色散棱镜的色散为线性等距色散。可通过该数据集仿真合成出计算成像算法输入的压缩光谱测量数据和全色图像，在进行实验数据合成时，先将高光谱图像所有的波段的灰度值归一化到[0,1]，由于该数据集的空间大小为256×256，波段数为31，故采用大小为256×256的编码孔径模版，其模板如图4(a)所示，图4(b)为探测器的光谱响应函数曲线，基于观测模型仿真得到所需的两路图像，其中合成的压缩光谱测量数据均为256×286，因而光路压缩光谱测量装置的采样率为3.6％，而全色图像大小均为256×256，则双相机光谱成像系统的采样率为6.8％，并都添加方差为0.01的高斯白噪声，如图5和图7所示，分别是对测试图像egyptian和stuffed toy仿真合成的两路采样图像。对比方法为GPSR算法、2DTV算法和E-3DTV算法，均手动调到最优效果。本发明公开方法的实验设置最大迭代次数设置为tmax＝100，停止误差为e＝10-3，惩罚参数m＝10-3，非局部块组中块的大小为8×8，重叠大小为Δ＝4，聚类数K＝100和正则项参数l＝1.2×10-2。
实验效果将从主观视觉效果和客观评价指标两方面评价，客观评价指标包括平均峰值性噪比(mean peak signal-to-noise ratio,MPSNR)、光谱角(spectral anglemapper,SAM)、平均结构相似度(mean structure similarity index,MSSIM)和相对无量纲全局误差(erreurrelative globale adimensionnellede synthese,ERGAS),其中MPSNR指标用于计算可视化质量，MPSNR值越大表示成像质量越好，MSSIM指标用于计算成像图像与参考图像的结构相似度，同样其值越大，表明结构越接近，而SAM和ERGAS两个指标用于计算成像图像的光谱扭曲或失真程度，值越小则结果越好，计算成像结果图像和参考图像均映射到[0,255]进行指标的计算。
仿真实验结果
为了验证本发明在高光谱计算成像质量上的提升，在压缩光谱测量装置和全色相机结合的双相机光谱成像系统上仿真测试本发明公开的方法和对比方法的成像质量。
表1本发明公开方法和对比方法的计算成像质量指标对比
从表1的结果可以看出，本发明公开的基于双相机的高光谱低秩张量融合计算成像方法能够获得最优的重构质量，在MPSNR，MSSIM，SAM和ERGAS上都获得了显著的提升。本发明公开方法的结果MPSNR指标值要高于基于稀疏约束的GPSR算法9.31dB，高于2DTV算法8.13dB，高于E-3DTV算法5.61dB。另一方面，本发明公开方法在结构相似度指标MSSIM上同样优于其它三种对比算法。其次，在光谱保真度SAM和ERGAS指标上，也表现出了最好的效果，因而说明了本发明能够获得质量最高的高光谱成像结果。
为了更直观地展示这几种计算成像算法成像效果的优劣，我们选择成像图像中一个波段进行结果的可视化展示。图6和图8分别是测试图像egyptian和stuffed toy在双相机光谱成像系统线下600nm处的计算成像结果及局部放大图。从图中能看出，GPSR算法不能有效地去除噪声，会使图像变得模糊、不清晰，2DTV算法会使图像变得平滑，丢失了原有的边缘和纹理结构；本发明公开方法相比E-3DTV算法，引入了非局部相似性先验，结合低秩张量约束，更能表征高光谱图像的空-谱相关性并生成清晰的光谱图像，更接近参考图像。
总的来说，本发明公开方法在各个质量评价指标上都获得了最优的效果。由此可知，通过引入低秩张量，能够有效地利用及表征高光谱图像的非局部自相似性先验，使得在空间结构还是光谱保真上都能够得到良好地保持，进而实现高信噪比、高保真度成像。
Claims (2)
1.一种基于双相机的高光谱低秩张量融合计算成像方法，其特征在于，包括以下步骤：
建立压缩光谱测量装置，获取压缩测量光谱数据；
采取全色相机装置，获取全色图像；
构造两路数据感知的前向测量算子，包括光谱感知光路前向测量算子和全色感知光路前向测量算子；
构造光谱感知光路前向测量算子方法为：将目标场景的高光谱图像表示为
M，N和L分别表示高、宽和光谱模式的大小，则高光谱图像
上任意一点的像素值为x(i,j,λ)，满足1≤i≤M，1≤j≤N和1≤λ≤L，其中i和j表示空间坐标大小，λ表示光谱坐标大小，压缩光谱测量装置的数学模型可表示为：
其中，Gc(i,j)是在探测器位置(i,j)上的强度，Rc(λ)表示该探测器的光谱响应函数，T(i,j)表示编码孔径的传播函数，S(λ)表示由色散棱镜引起的偏移函数；因此，光谱压缩测量模型可建立为
其中，
为压缩测量数据，Φc表示光谱感知前向测量算子，νc表示高斯白噪声；
构造融合计算成像保真约束；具体为：
其中：G＝[Gc；Gp]，Φ＝[Φc；Φp]和ν＝[νc；νp]；Φ为双光路数据感知的前向测量算子；
构造全色感知光路前向测量算子方法为：全色相机光路中，没有编码孔径和色散棱镜的影响，其数学模型表示为
式中，Gp(i,j)表示全色图像中像素点(i,j)的强度，Rp(λ)为探测器的光谱响应函数，则建立全色感知光路的观测模型为：
其中，
表示全色图像，Φp表示全色感知光路前向测量算子，νp表示高斯白噪声；
构造非局部高光谱张量低秩约束，即结合全色图像非局部相似性，构造非局部高光谱图像块的4阶张量队列秩约束；具体流程为：
1)将全色图像Gp从空间上划分为大小为sM×sN的二维图像块，取sM＝sN，范围为sM∈[5,10]，图像块与图像块之间选择适当的重叠大小Δ，4≤Δ≤8；
2)采用K-means算法将相似的二维图像块分成K个聚类
其中Nk是第k个聚类的数量；
3)基于聚类结果，构建具有相同空间结构的高光谱图像块的编组，即
其中
的空间位置与
相同，sM×sN×L为三维立方块的大小；
4)在第k聚类的高光谱图像立方块能构成一个4阶张量
它有高、宽、光谱、非局部四个模式；
5)
的张量队列秩包含了沿着三个模式的展开矩阵
和
的秩，其中
是
的模式-t矩阵展开；矩阵
的秩能够捕获两个空间模式和其它两个模式之间的相关性；矩阵
的秩能够表示前三个模式和非局部模式的相关性；
建立自适应非局部低秩张量正则化模型；所述自适应非局部低秩张量正则化模型包含两项：数据保真项和非局部低秩张量约束项，其具体模型为：
其中，运算符
表示Frobenius范数，τ为正则化参数；共包含K个四阶张量
表示矩阵
的第i大的奇异值，ε是接近于0的正数；由于不同模式的展开矩阵的低秩程度不同，可设计如下自适应权重
其中Ij表示张量
的第j模式的维度大小；
交替方向乘子法迭代优化求解，输出计算成像结果；所述交替方向乘子法迭代优化求解的方法为：
1)建立增广拉格朗日函数，即引入三个辅助变量
和
其自适应非局部低秩张量正则化模型对应的增广拉格朗日函数：
其中，μ＞0为惩罚参数，
和
为拉格朗日乘子，
和
分别是
的模-1，
的模-2和
的模-3的矩阵展开；
2)对该增广拉格朗日问题能通过交替方向乘子法迭代求解，最终输出计算成像结果。
2.根据权利要求1所述的基于双相机的高光谱低秩张量融合计算成像方法，其特征在于，所述的压缩光谱测量装置主要由物镜、带通滤波器、编码孔径、色散棱镜、中继镜和探测器组成，该光路信号先经过随机伯努利矩阵的编码孔径的编码；通过带通滤波器进行滤波，限制光谱的范围；编码和滤波后的图像经由中继镜传播到色散棱镜后，不同波段的图像会沿着水平方向作不同程度的偏移；最后，所有波段的图像在探测器上进行叠加，得到二维的压缩光谱测量数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110255325.4A CN112989593B (zh) | 2021-03-09 | 2021-03-09 | 基于双相机的高光谱低秩张量融合计算成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110255325.4A CN112989593B (zh) | 2021-03-09 | 2021-03-09 | 基于双相机的高光谱低秩张量融合计算成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112989593A CN112989593A (zh) | 2021-06-18 |
| CN112989593B true CN112989593B (zh) | 2022-08-23 |
Family
ID=76336158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110255325.4A Active CN112989593B (zh) | 2021-03-09 | 2021-03-09 | 基于双相机的高光谱低秩张量融合计算成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112989593B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998167B (zh) * | 2022-05-16 | 2024-04-05 | 电子科技大学 | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9854221B2 (en) * | 2014-09-26 | 2017-12-26 | Xerox Corporation | Hyperspectral imaging devices using hybrid vector and tensor processing |
-
2021
- 2021-03-09 CN CN202110255325.4A patent/CN112989593B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110501072A (zh) * | 2019-08-26 | 2019-11-26 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112989593A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
| CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
| CN111260576B (zh) | 一种基于去噪三维卷积自编码网络的高光谱解混算法 | |
| Fu et al. | Exploiting spectral-spatial correlation for coded hyperspectral image restoration | |
| CN111145131A (zh) | 一种基于多尺度生成式对抗网络的红外和可见光图像融合方法 | |
| CN109883548B (zh) | 基于优化启发的神经网络的光谱成像系统的编码优化方法 | |
| CN114119444B (zh) | 一种基于深度神经网络的多源遥感图像融合方法 | |
| CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
| CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
| CN109886898B (zh) | 基于优化启发的神经网络的光谱成像系统的成像方法 | |
| Peng et al. | Residual pixel attention network for spectral reconstruction from RGB images | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| Indhumadhi et al. | Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm | |
| CN110569768A (zh) | 人脸模型的构建方法、人脸识别方法、装置及设备 | |
| CN108288256A (zh) | 一种多光谱马赛克图像复原方法 | |
| CN114998167B (zh) | 一种基于空间-光谱联合低秩的高光谱与多光谱图像融合方法 | |
| CN114972803B (zh) | 一种基于联合优化的快照式光谱成像方法和系统 | |
| CN108520495A (zh) | 基于聚类流形先验的高光谱图像超分辨重建方法 | |
| Li et al. | Drcr net: Dense residual channel re-calibration network with non-local purification for spectral super resolution | |
| CN112989593B (zh) | 基于双相机的高光谱低秩张量融合计算成像方法 | |
| CN114359041A (zh) | 一种光场图像空间超分辨率重建方法 | |
| CN110335197A (zh) | 基于非局部统计本征的去马赛克方法 | |
| Fuchs et al. | Hyspecnet-11k: A large-scale hyperspectral dataset for benchmarking learning-based hyperspectral image compression methods | |
| CN116708807A (zh) | 监控视频的压缩重建方法、压缩重建装置 | |
| CN110992266B (zh) | 基于多维度非局部统计本征的去马赛克方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xiao Liang Inventor after: Liang Zhenghui Inventor after: Wang Shunqing Inventor before: Liang Zhenghui Inventor before: Wang Shunqing Inventor before: Xiao Liang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |