CN115950837A - 基于即插即用先验的快照式光谱成像方法、系统及介质 - Google Patents

基于即插即用先验的快照式光谱成像方法、系统及介质 Download PDF

Info

Publication number
CN115950837A
CN115950837A CN202310224838.8A CN202310224838A CN115950837A CN 115950837 A CN115950837 A CN 115950837A CN 202310224838 A CN202310224838 A CN 202310224838A CN 115950837 A CN115950837 A CN 115950837A
Authority
CN
China
Prior art keywords
spectral
iteration
plug
play
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310224838.8A
Other languages
English (en)
Other versions
CN115950837B (zh
Inventor
谢婷
卢笑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202310224838.8A priority Critical patent/CN115950837B/zh
Publication of CN115950837A publication Critical patent/CN115950837A/zh
Application granted granted Critical
Publication of CN115950837B publication Critical patent/CN115950837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于即插即用先验的快照式光谱成像方法、系统及介质，本发明基于即插即用先验的快照式光谱成像方法包括针对输入的多帧快照式光谱成像测量值，结合多帧快照式光谱图像的成像数学模型建立包含先验项的求解光谱图像的优化求解方程；针对包含先验项的求解光谱图像的优化求解方程，生成采用即插即用带线性搜索的原对偶算法表示的优化求解方程；针对采用即插即用带线性搜索的原对偶算法表示的优化求解方程进行迭代求解，得到多帧快照式光谱图像所对应的光谱图像。本发明能够针对多帧快照式光谱成像系统实现快照式光谱成像，大幅提升快照式光谱成像重构质量，具有高度灵活性、重构精度高的优点。

Description

基于即插即用先验的快照式光谱成像方法、系统及介质
技术领域
本发明涉及快照式光谱成像技术领域，具体涉及一种基于即插即用先验的快照式光谱成像方法、系统及介质。
背景技术
光谱图像拥有几十到上百个波段，提供了更为丰富的光谱信息，能够帮助我们识别目标场景中的不同物质。快照式光谱成像（coded aperture snapshot spectralimaging, CASSI）作为一种新兴的图谱信息获取方式，其不需扫描便可获取完整的三维图谱信息，使得采集时间和获取的数据量大大减少。由于光谱数据的数十到数百个光谱波段压缩成一个二维测量，单帧快照式光谱成像提供的压缩测量值是不充分的，很难有效重构出光谱数据，特别是对空间丰富或光谱丰富的数据而言。通过对同一场景进行多次曝光，多帧快照式光谱成像增加了压缩测量值，极大地缓解了重构问题。
如何从压缩测量值中重构出光谱数据，在快照式光谱成像中起着至关重要的作用。由于重构问题是一个严重的不适定问题，基于正则化的优化方法通过利用不同的先验对光谱图像进行约束，如全变差（Total variation, TV），变换域的稀疏约束，非局部自相似性等。为了对目标优化问题进行有效求解，研究者通常采用交替方向乘子法(Alternating direction method of multiplier，ADMM)，广义交替投影法(Generalizedalternating projection，GAP)，两步迭代收缩/阈值法（The two-step iterativeshrinkage/thresholding，TwIST）等。然而，这些方法要么其重构结果存在过度的平滑现象，要么只能应用于单帧快照式成像，不适用于多帧快照式成像系统中。而基于深度学习的快照式光谱重构方法通常是为特定的快照式成像系统设计的，使得其很难适用于其他成像系统。为了弥合基于深度学习的重建方法和基于正则化的优化方法之间的差距，研究者提出了基于即插即用(Plug-and-play，PnP)的快照式光谱重构方法。他们将现有的降噪器，如TV、FFDNet等嵌入到交替方向乘子法（ADMM）等算法框架中。然而，这些方法主要是为单帧快照式光谱成像系统设计的。多帧快照式光谱成像增加了压缩测量值，极大地缓解了重构问题，使得快照式光谱成像系统更适用于空间或光谱丰富的场景。然而，现有的快照式光谱成像重构算法仍面临着重构精度低或灵活性低（只能应用于单帧快照式成像或特定的成像系统）的问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于即插即用先验的快照式光谱成像方法、系统及介质，本发明能够针对多帧快照式光谱成像系统实现快照式光谱成像，大幅提升快照式光谱成像重构质量，具有高度灵活性、重构精度高的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于即插即用先验的快照式光谱成像方法，包括：
S101，针对输入的多帧快照式光谱成像测量值，结合多帧快照式光谱图像的成像数学模型建立包含先验项的求解光谱图像的优化求解方程；
S102，针对包含先验项的求解光谱图像的优化求解方程，生成采用即插即用带线性搜索的原对偶算法表示的优化求解方程；
S103，针对采用即插即用带线性搜索的原对偶算法表示的优化求解方程进行迭代求解，得到多帧快照式光谱图像所对应的光谱图像。
可选地，步骤S101中多帧快照式光谱图像的成像数学模型的函数表达式为：
b=Hx，
上式中，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化表示；步骤S101中求解光谱图像的优化求解方程的函数表达式为：
Figure SMS_1
，
上式中，
Figure SMS_2
为光谱图像向量化形式的估计值，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化形式，λ为平衡因子，R(x)为光谱图像的先验项。
可选地，步骤S102中生成的采用即插即用带线性搜素的原对偶算法表示的优化求解方程的函数表达式为：
Figure SMS_3
，
Figure SMS_4
，
Figure SMS_5
，
上式中，xk和xk-1分别为第 k和第 k-1次迭代时光谱图像的向量化形式，τk-1为第k-1次迭代的步长 τ，
Figure SMS_6
表示去噪器，H为测量矩阵，
Figure SMS_7
为第k次迭代时的中间变量，θk为第k次迭代时的步长比例参数，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，
Figure SMS_8
为函数
Figure SMS_9
在步长σ处的近端算子，σk为第k次迭代的步长σ，函数
Figure SMS_10
为函数 f的凸共轭，且函数 f的函数表达式为：
Figure SMS_11
，
先验项对应的函数 R在任意点γ处的近端算子的函数表达式为：
Figure SMS_12
，
上式中，proxγR(υ)为先验项对应的函数R在点γ处的近端算子，
Figure SMS_13
表示实向量空间到实向量空间的映射，υ为最优点且υ=proxγR(u)，u为给定点，R(u)为关于给定点u的先验项对应的函数R的计算结果，γ为权衡因子。
可选地，步骤S103包括：
S201，初始化迭代次数k等于1，设置初始的步长τ0、参数θ0的值为1，初始的光谱图像的向量化形式 x 0和变量 y 1；
S202，更新采用即插即用带线性搜索的原对偶算法表示的优化求解方程中第k次迭代的光谱图像向量化形式xk；
S203，在区间
Figure SMS_14
内随机选择第k次迭代的步长τk；
S204，根据θk=τk/τk-1更新步长比例参数θk，根据σk=βτk更新第k次迭代的步长σk，其中β为步长调整参数；并分别更新采用即插即用带线性搜素的原对偶算法表示的优化求解方程中第k次迭代的中间变量
Figure SMS_15
以及第k+1次迭代的变量 y k+1；
S205，判断预设的收敛条件是否成立，若成立则跳转S206；否则，更新更新
Figure SMS_16
，跳转S204；
S206，判断预设的终止条件是否成立，若成立则结束并退出；否则，将迭代次数k加1，跳转S202。
可选地，步骤S204中第k+1次迭代的变量 y k+1采用的更新函数表达式为：
Figure SMS_17
，
上式中， y k为第k次迭代时中间变量y的值，β为步长调整参数，τk为第k次迭代的步长 τ，H为测量矩阵，
Figure SMS_18
为第k次迭代时的中间变量，b为多帧快照式光谱成像测量值。
可选地，步骤S202中第k次迭代的光谱图像的向量化形式xk采用的更新函数表达式为：
Figure SMS_19
，
上式中， λ 1为与输入噪声图像 Q k噪声强度相关的参数，输入噪声图像 Q k为光谱图像的光谱维度 q k的矩阵化形式， R 1( Z)为正则化约束项，Z为光谱图像的系数图像，E为正交基， I为单位矩阵；且其中正交基的更新函数表达式为：
Figure SMS_20
，
上式中，Ek为第k次迭代时的正交基；
系数图像Z的更新函数表达式为：
Figure SMS_21
，
上式中，Zk为第k次迭代时的系数图像，
Figure SMS_22
为重加权低秩正则化项，且有：
Figure SMS_23
，
上式中，
Figure SMS_24
为矩阵Z0的行数和列数两者中的最小值，
Figure SMS_25
为函数
Figure SMS_26
的梯度，
Figure SMS_27
为矩阵Z0的第 i个奇异值，
Figure SMS_28
为矩阵Z0的第1个奇异值，
Figure SMS_29
为矩阵Z的第 i个奇异值，且有：
Figure SMS_30
，
Figure SMS_31
，
上式中，X0为光谱图像初始估计在光谱维度的矩阵化形式，
Figure SMS_32
为大于且接近0的常数，t为函数
Figure SMS_33
的自变量。
可选地，步骤S205中预设的收敛条件的函数表达式为：
Figure SMS_34
，
上式中，β为步长调整参数，τk为第k次迭代的步长 τ，H为测量矩阵，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，δ为系数参数。
可选地，步骤S206中预设的终止条件的函数表达式为：
Figure SMS_35
或
Figure SMS_36
，
上式中，xk和xk-1分别为第 k和第 k-1次迭代时光谱图像的向量化形式，ε为系数，Kmax为预设的迭代次数阈值。
可选地，步骤S101中的多帧快照式光谱图像由多个单帧快照式光谱图像组成，每一个单帧快照式光谱图像的生成包括：针对光谱图像依次通过全局唯一的编码孔径进行空间调制，然后再针对空间调制得到的空间图像经过一个或多个色散元件进行光谱偏移后叠加，最终通过焦平面捕获得到。
此外，本发明还提供一种基于即插即用先验的快照式光谱成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于即插即用先验的快照式光谱成像方法。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于即插即用先验的快照式光谱成像方法。
和现有技术相比，本发明主要具有下述优点：本发明方法包括针对输入的多帧快照式光谱成像测量值，结合多帧快照式光谱图像的成像数学模型建立包含先验项的求解光谱图像的优化求解方程，针对包含先验项的求解光谱图像的优化求解方程，生成采用即插即用带线性搜索的原对偶算法表示的优化求解方程，针对采用即插即用带线性搜索的原对偶算法表示的优化求解方程进行迭代求解，得到多帧快照式光谱图像所对应的光谱图像，本发明能够大幅提升快照式光谱成像重构质量，具有高度灵活性和重构精度高等优点。
附图说明
图1为本发明实施例方法的流程示意图。
图2为本发明实施例中多帧快照式光谱成像测量值的生成原理示意图。
具体实施方式
如图1所示，本实施例提供一种基于即插即用先验的快照式光谱成像方法，包括：
S101，针对输入的多帧快照式光谱成像测量值，结合多帧快照式光谱图像的成像数学模型建立包含先验项的求解光谱图像的优化求解方程；
S102，针对包含先验项的求解光谱图像的优化求解方程，生成采用即插即用带线性搜素的原对偶算法表示的优化求解方程；
S103，针对采用即插即用带线性搜素的原对偶算法表示的优化求解方程进行迭代求解，得到多帧快照式光谱图像所对应的光谱图像。
如图2所示，本实施例步骤S101中的多帧快照式光谱图像由多个单帧快照式光谱图像组成，每一个单帧快照式光谱图像的生成（单帧快照式光谱成像）包括：针对光谱图像依次通过全局唯一的编码孔径（各个单帧快照式光谱图像的编码孔径不同）进行空间调制，然后再针对空间调制得到的空间图像经过一个或多个色散元件进行光谱偏移后叠加，最终通过焦平面捕获得到。单帧快照式光谱成像系统首先进行单帧快照式光谱成像，通过对同一场景进行多次快照（每次快照的编码不同），可实现多帧快照式光谱成像。对于光谱图像
Figure SMS_37
，单帧快照式光谱成像获得的测量值b1，其数学模型为：
b1=H1x，
上式中，H1为该单帧快照式光谱成像的测量矩阵，
Figure SMS_38
，x为光谱图像的向量化表示，即：
Figure SMS_39
，其中n1、n2和n3分别代表光谱图像的宽度、高度和光谱波段数。
故本实施例步骤S101中多帧快照式光谱图像的成像数学模型的函数表达式为：
b=Hx，
上式中，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化表示；且有：
Figure SMS_40
，
Figure SMS_41
，
其中，b1～bs为第1～s次单帧快照式光谱成像测量值，H1～Hs为第1～s次单帧快照式光谱成像的测量矩阵，s代表快照次数；因此多帧快照式光谱图像的成像数学模型的函数表达式也可采用下式的方式表达：
Figure SMS_42
。
利用压缩感知理论，基于给定的多帧快照式光谱成像测量值以及上述多帧快照式光谱图像的成像数学模型的函数表达式，本实施例步骤S101中求解光谱图像的优化求解方程的函数表达式为：
Figure SMS_43
，
上式中，
Figure SMS_44
为光谱图像向量化形式的估计值，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化形式，λ为平衡因子，R(x)为光谱图像的先验项。
本实施例中，步骤S102中生成的采用即插即用带线性搜索的原对偶算法表示的优化求解方程的函数表达式为：
Figure SMS_45
，
Figure SMS_46
，
Figure SMS_47
，
上式中，xk和xk-1分别为第 k和第 k-1次迭代时光谱图像的向量化形式，τk-1为第k-1次迭代的步长 τ，
Figure SMS_48
表示去噪器，H为测量矩阵，
Figure SMS_49
为第k次迭代时的中间变量，θk为第k次迭代时的步长比例参数，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，
Figure SMS_50
为函数
Figure SMS_51
在步长σ处的近端算子，σk为第k次迭代的步长σ，函数
Figure SMS_52
为函数 f的凸共轭，且函数 f的函数表达式为：
Figure SMS_53
，
先验项对应的函数 R在任意点γ处的近端算子的函数表达式为：
Figure SMS_54
，
上式中，proxγR(υ)为先验项对应的函数R在点γ处的近端算子，
Figure SMS_55
表示实向量空间到实向量空间的映射，υ为最优点且υ=proxγR(u)，u为给定点，R(u)为关于给定点u的先验项对应的函数R的计算结果，γ为权衡因子。
步骤S101中求解光谱图像的优化求解方程的函数表达式可表示为：
Figure SMS_56
，
上式中，函数 f的函数表达式如前文所示，g(x)= λR( x)。采用原对偶算法来求解上述函数表达式，其迭代形式可表示为：
Figure SMS_57
，
Figure SMS_58
，
Figure SMS_59
，
上式原始对偶算法的收敛条件为 τ>0,σ>0且 τσ(σ1(H))2小于等于1，其中σ1(H)代表测量矩阵H的最大奇异值。上式原始对偶算法的原始更新可看成一个去噪问题，即：
Figure SMS_60
Figure SMS_61
，
上式中，
Figure SMS_62
代表去噪器，其输入xk- τHTyk+1为代表标准差为
Figure SMS_63
的输入噪声图像，从而可以得到本实施例步骤S102中生成的采用即插即用带线性搜索的原对偶算法表示的优化求解方程的函数表达式。本实施例步骤S102中生成的采用即插即用带线性搜索的原对偶算法表示的优化求解方程的函数表达式中可将已有的降噪器嵌入到原始对偶算法的原始更新中。
原始对偶算法（PDA）在每次迭代中使用固定步长且我们需要计算测量矩阵H的最大奇异值来保证收敛。然而，对于不同大小的目标场景和不同曝光次数的快照式光谱成像，测量矩阵H的最大奇异值都不同。这种情况下，原始对偶算法的步长σ和 τ应手动仔细调整来获得良好的性能。为了解决此问题，本发明提出基于即插即用的带线性搜索的原对偶算法（PnP-PDAL），此方法采用自适应的步长而不是固定步长且不需要计算测量矩阵H的最大奇异值，使得它对快照式光谱成像重构更具灵活性。本实施例中，步骤S103包括：
S201，初始化迭代次数k等于1，设置初始的步长τ0（值大于0）、参数θ0的值为1，初始的光谱图像的向量化形式 x 0和变量 y 1；此外，本实施例中还包括设置初始的系数参数δ（取值为0～1之间），步长调整参数β（大于0），系数ε（大于0）以及迭代次数阈值Kmax以备后用以及方便修改；
S202，更新采用即插即用带线性搜索的原对偶算法表示的优化求解方程中第k次迭代的光谱图像向量化形式xk；
S203，在区间
Figure SMS_64
内随机选择第k次迭代的步长τk；
S204，根据θk=τk/τk-1更新步长比例参数θk，根据σk=βτk更新第k次迭代的步长σk，其中β为步长调整参数；并分别更新采用即插即用带线性搜索的原对偶算法表示的优化求解方程中第k次迭代的中间变量
Figure SMS_65
以及第k+1次迭代的变量 y k+1；
S205，判断预设的收敛条件是否成立，若成立则跳转S206；否则，更新更新
Figure SMS_66
，跳转S204；
S206，判断预设的终止条件是否成立，若成立则结束并退出；否则，将迭代次数k加1，跳转S202。
本实施例中，步骤S204中第k+1次迭代的变量 y k+1采用的更新函数表达式为：
Figure SMS_67
，
上式中， y k为第k次迭代时中间变量y的值，β为步长调整参数，τk为第k次迭代的步长 τ，H为测量矩阵，
Figure SMS_68
为第k次迭代时的中间变量，b为多帧快照式光谱成像测量值。上述函数表达式的推导过程如下：
根据本实施例步骤S102中生成的采用即插即用带线性搜索的原对偶算法表示的优化求解方程的函数表达式中yk+1的迭代更新的函数表达式，以及函数 f的函数表达式，令中间变量pk为：
Figure SMS_69
，
则有：
Figure SMS_70
Figure SMS_71
，
上式中，αk为第k次迭代的步长。
步骤S202更新采用即插即用带线性搜索的原对偶算法表示的优化求解方程中第k次迭代的光谱图像向量化形式xk时，合适的降噪器可作为信号的先验，降噪器越好，重构质量越高。本实施例中提出一种基于子空间的非局部重加权低秩约束的降噪器来求解该子问题。令：
Figure SMS_72
，
Figure SMS_73
，
上式中，qk为第k次迭代的中间变量， λ 1为与输入噪声图像 Q k噪声强度相关的参数， R 1( x)为正则化约束项，则求解第k次迭代的光谱图像向量化形式xk的子问题转换为：
Figure SMS_74
Figure SMS_75
，
基于光谱图像在光谱维度的低秩特性，光谱图像在光谱维度的子空间低秩分解可以表示为X=EZ，上式中
Figure SMS_76
为光谱图像
Figure SMS_77
在光谱维度的矩阵化形式，
Figure SMS_78
代表正交基，
Figure SMS_79
。基于此，可将对光谱图像先验信息的挖掘转化为对系数图像Z的先验信息挖掘。因此，本实施例步骤S202中第k次迭代的光谱图像的向量化形式xk采用的更新函数表达式为：
Figure SMS_80
，
上式中， λ 1为与输入噪声图像 Q k噪声强度相关的参数，输入噪声图像 Q k为光谱图像的光谱维度 q k的矩阵化形式， R 1( Z)为正则化约束项，Z为光谱图像的系数图像，E为正交基， I为单位矩阵；上式可以通过交替迭代来求解。
其中，正交基的更新函数表达式为：
Figure SMS_81
，
上式中，Ek为第k次迭代时的正交基，通过对输入噪声图像 Q k进行奇异值分解得到。
其中，系数图像Z的更新函数表达式为：
Figure SMS_82
，
上式中，Zk为第k次迭代时的系数图像，
Figure SMS_83
为重加权低秩正则化项，上式用于通过利用重加权低秩约束对图像进行去噪的同时更多的主要信息保留下来，且有：
Figure SMS_84
，
上式中，
Figure SMS_85
为矩阵Z0的行数和列数两者中的最小值，
Figure SMS_86
为函数
Figure SMS_87
的梯度，
Figure SMS_88
为矩阵Z0的第 i个奇异值，
Figure SMS_89
为矩阵Z0的第1个奇异值，
Figure SMS_90
为矩阵Z的第 i个奇异值，且有：
Figure SMS_91
，
Figure SMS_92
，
上式中，X0为光谱图像初始估计在光谱维度的矩阵化形式，
Figure SMS_93
为大于且接近0的常数，t为函数
Figure SMS_94
的自变量。X0代表光谱图像的初始估计
Figure SMS_95
在光谱维度的矩阵化形式，光谱图像的初始估计
Figure SMS_96
通过将光谱图像看成一个整体，利用张量核范数约束并采用基于带线性搜索的原对偶算法对目标优化方程进行求解。第k次迭代时的系数图像Zk为可通过奇异值阈值算法求解，通过采用非局部块匹配思想，将图像相似块变换成二维矩阵后进行前文的重加权低秩约束，再将处理结果聚合到原来图像的位置。
本实施例中，步骤S205中预设的收敛条件的函数表达式为：
Figure SMS_97
，
上式中，β为步长调整参数，τk为第k次迭代的步长 τ，H为测量矩阵，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，δ为系数参数。
本实施例中，步骤S206中预设的终止条件的函数表达式为：
Figure SMS_98
或
Figure SMS_99
，
上式中，xk和xk-1分别为第 k和第 k-1次迭代时光谱图像的向量化形式，ε为系数，Kmax为预设的迭代次数阈值。
下文将对本实施例基于即插即用先验的快照式光谱成像方法进行仿真实验并对比分析。
本实验数据来自CAVE数据集的 balloons图像和Cuprite数据集。 balloons图像的大小为512×512×31，Cuprite数据集的大小为250×191×188。对比方法采用带TV约束的TwIST算法(详见Bioucas-Dias JM,Figueiredo MAT.A New TwIST:Two-Step IterativeShrinkage/Thresholding Algorithms for Image Restoration[J].IEEE Transactionson Image Processing.2007,16(12):2992-3004)。编码模块采用p=0.5的贝努利随机矩阵，曝光次数I=1,2,4。采用峰值信噪比（Peak signal to noise ratio, PSNR）和结构相似性（Structural similarity index, SSIM）来衡量重构结果保真度，PSNR和SSIM值越大，重构精度越高。表1和表2分别列出了本实施例方法与TwIST算法在balloons图像和Cuprite数据集下的重构结果。
表1：本方法与TwIST算法在balloons图像下的重构效果比较。
Figure SMS_100
表2：本方法与TwIST算法在Cuprite数据集下的重构效果比较。
Figure SMS_101
由表1和表2可知，本实施例基于即插即用先验的快照式光谱成像方法（本方法）重构图像峰值信噪比和结构相似性优于TwIST算法，特别是在曝光次数分别为T=2,4的情况下，说明本实施例基于即插即用先验的快照式光谱成像方法（本方法）在恢复精度上具有更明显的优势。
综上所述，本实施例基于即插即用先验的快照式光谱成像方法基于带线性搜索的原对偶算法(Primal-dual algorithm with linesearch，PDAL)，这使得其具有充分的灵活性，能够用于任何光谱成像系统中（单帧快照式成像或多帧快照式成像或其他成像系统中）。此外，为充分利用光谱图像的全局光谱相关性和非局部空间自相似特性，本实施例基于即插即用先验的快照式光谱成像方法提出了一种基于子空间的非局部重加权低秩约束的降噪器。通过将所提降噪器嵌入到基于带线性搜索的原对偶算法的原始更新部分，实现对快照式光谱压缩图像的重构。本实施例基于即插即用先验的快照式光谱成像方法能够大幅提升快照式光谱成像重构质量，具有高度灵活性和重构精度高等优点。
此外，本实施例还提供一种基于即插即用先验的快照式光谱成像系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述基于即插即用先验的快照式光谱成像方法。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述基于即插即用先验的快照式光谱成像方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于即插即用先验的快照式光谱成像方法，其特征在于，包括：
S101，针对输入的多帧快照式光谱成像测量值，结合多帧快照式光谱图像的成像数学模型建立包含先验项的求解光谱图像的优化求解方程；
S102，针对包含先验项的求解光谱图像的优化求解方程，生成采用即插即用带线性搜素的原对偶算法表示的优化求解方程；
S103，针对采用即插即用带线性搜素的原对偶算法表示的优化求解方程进行迭代求解，得到多帧快照式光谱图像所对应的光谱图像。
2.根据权利要求1所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S101中多帧快照式光谱图像的成像数学模型的函数表达式为：
b=Hx，
上式中，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化表示；步骤S101中求解光谱图像的优化求解方程的函数表达式为：
Figure QLYQS_1
，
上式中，
Figure QLYQS_2
为光谱图像向量化形式的估计值，b为多帧快照式光谱成像测量值，H为测量矩阵，x为光谱图像的向量化形式，λ为平衡因子，R(x)为光谱图像的先验项。
3.根据权利要求2所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S102中生成的采用即插即用带线性搜素的原对偶算法表示的优化求解方程的函数表达式为：
Figure QLYQS_3
，
Figure QLYQS_4
，
Figure QLYQS_5
，
上式中，xk和xk-1分别为第k和第k-1次迭代时光谱图像的向量化形式，τk-1为第k-1次迭代的步长τ，
Figure QLYQS_6
表示去噪器，H为测量矩阵，
Figure QLYQS_7
为第k次迭代时的中间变量，θk为第k次迭代时的步长比例参数，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，
Figure QLYQS_8
为函数
Figure QLYQS_9
在步长σ处的近端算子，σk为第k次迭代的步长σ，函数
Figure QLYQS_10
为函数f的凸共轭，且函数f的函数表达式为：
Figure QLYQS_11
，
先验项对应的函数R在任意点γ处的近端算子的函数表达式为：
Figure QLYQS_12
，
上式中，proxγR (υ)为先验项对应的函数R在点γ处的近端算子，
Figure QLYQS_13
表示实向量空间到实向量空间的映射，υ为最优点且υ=proxγR (u)，u为给定点，R(u)为关于给定点u的先验项对应的函数R的计算结果，γ为权衡因子。
4.根据权利要求3所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S103包括：
S201，初始化迭代次数k等于1，设置初始的步长τ0、参数θ0的值为1，初始的光谱图像的向量化形式x 0和变量y 1；
S202，更新采用即插即用带线性搜素的原对偶算法表示的优化求解方程中第k次迭代的光谱图像向量化形式xk；
S203，在区间
Figure QLYQS_14
内随机选择第k次迭代的步长τk；
S204，根据θk=τk/τk-1更新步长比例参数θk，根据σk=βτk更新第k次迭代的步长σk，其中β为步长调整参数；并分别更新采用即插即用带线性搜素的原对偶算法表示的优化求解方程中第k次迭代的中间变量
Figure QLYQS_15
以及第k+1次迭代的变量y k+1；
S205，判断预设的收敛条件是否成立，若成立则跳转S206；否则，更新
Figure QLYQS_16
，跳转S204；
S206，判断预设的终止条件是否成立，若成立则结束并退出；否则，将迭代次数k加1，跳转S202。
5.根据权利要求4所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S204中第k+1次迭代的变量y k+1采用的更新函数表达式为：
Figure QLYQS_17
，
上式中，y k为第k次迭代时中间变量y的值，β为步长调整参数，τk为第k次迭代的步长τ，H为测量矩阵，
Figure QLYQS_18
为第k次迭代时的中间变量，b为多帧快照式光谱成像测量值。
6.根据权利要求4所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S202中第k次迭代的光谱图像的向量化形式xk采用的更新函数表达式为：
Figure QLYQS_19
，
上式中，λ 1为与输入噪声图像Q k噪声强度相关的参数，输入噪声图像Q k为光谱图像的光谱维度q k的矩阵化形式，R 1(Z)为正则化约束项，Z为光谱图像的系数图像，E为正交基，I为单位矩阵；且其中正交基的更新函数表达式为：
Figure QLYQS_20
，
上式中，Ek为第k次迭代时的正交基；
系数图像Z的更新函数表达式为：
Figure QLYQS_21
，
上式中，Zk为第k次迭代时的系数图像，
Figure QLYQS_22
为重加权低秩正则化项，且有：
Figure QLYQS_23
，
上式中，
Figure QLYQS_24
为矩阵Z0的行数和列数两者中的最小值，
Figure QLYQS_25
为函数
Figure QLYQS_26
的梯度，
Figure QLYQS_27
为矩阵Z0的第i个奇异值，
Figure QLYQS_28
为矩阵Z0的第1个奇异值，
Figure QLYQS_29
为矩阵Z的第i个奇异值，且有：
Figure QLYQS_30
，
Figure QLYQS_31
，
上式中，X0为光谱图像初始估计在光谱维度的矩阵化形式，
Figure QLYQS_32
为大于且接近0的常数，t为函数
Figure QLYQS_33
的自变量。
7.根据权利要求4所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S205中预设的收敛条件的函数表达式为：
Figure QLYQS_34
，
上式中，β为步长调整参数，τk为第k次迭代的步长τ，H为测量矩阵，yk+1和yk分别为第k+1和第k次迭代时中间变量y的值，δ为系数参数；步骤S206中预设的终止条件的函数表达式为：
Figure QLYQS_35
或
Figure QLYQS_36
，
上式中，xk和xk-1分别为第k和第k-1次迭代时光谱图像的向量化形式，ε为系数，Kmax为预设的迭代次数阈值。
8.根据权利要求1所述的基于即插即用先验的快照式光谱成像方法，其特征在于，步骤S101中的多帧快照式光谱图像由多个单帧快照式光谱图像组成，每一个单帧快照式光谱图像的生成包括：针对光谱图像依次通过全局唯一的编码孔径进行空间调制，然后再针对空间调制得到的空间图像经过一个或多个色散元件进行光谱偏移后叠加，最终通过焦平面捕获得到。
9.一种基于即插即用先验的快照式光谱成像系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述基于即插即用先验的快照式光谱成像方法。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述基于即插即用先验的快照式光谱成像方法。
CN202310224838.8A 2023-03-10 2023-03-10 基于即插即用先验的快照式光谱成像方法、系统及介质 Active CN115950837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310224838.8A CN115950837B (zh) 2023-03-10 2023-03-10 基于即插即用先验的快照式光谱成像方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310224838.8A CN115950837B (zh) 2023-03-10 2023-03-10 基于即插即用先验的快照式光谱成像方法、系统及介质

Publications (2)

Publication Number Publication Date
CN115950837A true CN115950837A (zh) 2023-04-11
CN115950837B CN115950837B (zh) 2023-05-23

Family

ID=85892942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310224838.8A Active CN115950837B (zh) 2023-03-10 2023-03-10 基于即插即用先验的快照式光谱成像方法、系统及介质

Country Status (1)

Country Link
CN (1) CN115950837B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563174A (zh) * 2023-07-11 2023-08-08 江西师范大学 一种图像的重建方法、装置和计算机存储介质
CN117058045A (zh) * 2023-10-13 2023-11-14 阿尔玻科技有限公司 压缩图像的重构方法、装置、系统及存储介质
CN117408875A (zh) * 2023-12-13 2024-01-16 阿尔玻科技有限公司 重构压缩超快摄影图像的方法、存储介质及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887050A1 (en) * 2013-12-23 2015-06-24 Hochschule Reutlingen Method for marker-free demarcation of tissues
US20160313181A1 (en) * 2013-06-18 2016-10-27 Ramot At Tel-Aviv University Ltd. Apparatus and method for snapshot spectral imaging
CN108414086A (zh) * 2018-05-11 2018-08-17 中国科学院西安光学精密机械研究所 一种快照型显微高光谱成像系统及成像方法
CN109977355A (zh) * 2019-04-08 2019-07-05 湖南师范大学 基于原对偶的矩阵回归方法
CN110501072A (zh) * 2019-08-26 2019-11-26 北京理工大学 一种基于张量低秩约束的快照式光谱成像系统的重构方法
CN111397733A (zh) * 2020-04-23 2020-07-10 湖南大学 一种单/多帧快照式光谱成像方法、系统及介质
CN115561182A (zh) * 2022-11-09 2023-01-03 湖南大学 一种基于先验图像引导的快照式光谱成像系统重构方法
US20230021358A1 (en) * 2020-01-03 2023-01-26 Nanjing University Snapshot hyperspectral imaging method with de-blurring dispersed images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160313181A1 (en) * 2013-06-18 2016-10-27 Ramot At Tel-Aviv University Ltd. Apparatus and method for snapshot spectral imaging
EP2887050A1 (en) * 2013-12-23 2015-06-24 Hochschule Reutlingen Method for marker-free demarcation of tissues
CN108414086A (zh) * 2018-05-11 2018-08-17 中国科学院西安光学精密机械研究所 一种快照型显微高光谱成像系统及成像方法
CN109977355A (zh) * 2019-04-08 2019-07-05 湖南师范大学 基于原对偶的矩阵回归方法
CN110501072A (zh) * 2019-08-26 2019-11-26 北京理工大学 一种基于张量低秩约束的快照式光谱成像系统的重构方法
US20230021358A1 (en) * 2020-01-03 2023-01-26 Nanjing University Snapshot hyperspectral imaging method with de-blurring dispersed images
CN111397733A (zh) * 2020-04-23 2020-07-10 湖南大学 一种单/多帧快照式光谱成像方法、系统及介质
CN115561182A (zh) * 2022-11-09 2023-01-03 湖南大学 一种基于先验图像引导的快照式光谱成像系统重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
袁艳等: "快照式光谱成像技术发展趋势分析与展望", 光子学报 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563174A (zh) * 2023-07-11 2023-08-08 江西师范大学 一种图像的重建方法、装置和计算机存储介质
CN116563174B (zh) * 2023-07-11 2023-09-29 江西师范大学 一种图像的重建方法、装置和计算机存储介质
CN117058045A (zh) * 2023-10-13 2023-11-14 阿尔玻科技有限公司 压缩图像的重构方法、装置、系统及存储介质
CN117408875A (zh) * 2023-12-13 2024-01-16 阿尔玻科技有限公司 重构压缩超快摄影图像的方法、存储介质及设备

Also Published As

Publication number Publication date
CN115950837B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Chang et al. Spatial-adaptive network for single image denoising
Kokkinos et al. Deep image demosaicking using a cascade of convolutional residual denoising networks
CN115950837B (zh) 基于即插即用先验的快照式光谱成像方法、系统及介质
Kelly et al. Deep learning-guided image reconstruction from incomplete data
Kadkhodaie et al. Solving linear inverse problems using the prior implicit in a denoiser
Zhussip et al. Training deep learning based image denoisers from undersampled measurements without ground truth and without image prior
Wang et al. A new alternating minimization algorithm for total variation image reconstruction
Wen et al. Primal-dual algorithms for total variation based image restoration under Poisson noise
Cui et al. Image compressed sensing using non-local neural network
Ogawa et al. Image inpainting based on sparse representations with a perceptual metric
WO2020114329A1 (zh) 磁共振快速参数成像方法及装置
CN109887050B (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
Nejati et al. Denoising by low-rank and sparse representations
Zou et al. Dynamic imaging using a deep generative SToRM (Gen-SToRM) model
CN113421216B (zh) 一种高光谱融合计算成像方法及系统
Liu et al. Adaptive sparse coding on PCA dictionary for image denoising
Liu et al. Multi-filters guided low-rank tensor coding for image inpainting
Akyol et al. Super-resolution reconstruction of faces by enhanced global models of shape and texture
Cao et al. CS-MRI reconstruction based on analysis dictionary learning and manifold structure regularization
CN114299185A (zh) 磁共振图像生成方法、装置、计算机设备和存储介质
CN109741258B (zh) 基于重建的图像超分辨率方法
Mur et al. Deep expectation-maximization for image reconstruction from under-sampled poisson data
CN114638749A (zh) 低光照图像增强模型、方法、电子设备及存储介质
Cao et al. MRI reconstruction based on Bayesian group sparse representation
CN109559357B (zh) 一种基于小波包阈值的图像块压缩感知重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant