CN107655571B - 一种基于色散模糊的光谱成像系统及其光谱重建方法 - Google Patents

Abstract

本发明公开了一种基于色散模糊的光谱成像系统及其光谱重建方法。光谱成像系统的具体光路为：场景的光依次经过滤波片和物镜后，由分光镜分为两路，一路直接由第一传感器采集得到清晰图像；另一路依次通过会聚透镜、掩膜、准直镜、色散棱镜后，由第二传感器采集得到模糊图像；其中，掩膜采用边缘阻塞式掩膜，用于对模糊图像进行简单调制以获取模糊图像的边缘信息。该系统能大大减少标定的复杂度，提高系统的通光量、信噪比以及空间分辨率。本发明利用该成像系统进行光谱重建的方法，可以根据一系列的约束条件求解出全空间分辨率的光谱信息，原理上可以进行动态场景光谱信息的实时获取，无需牺牲时间和空间分辨率。

Description

一种基于色散模糊的光谱成像系统及其光谱重建方法

技术领域

本发明涉及计算摄像学领域，尤其涉及一种基于色散模糊的近全光通光谱成像系统及其光谱重建方法。

背景技术

近年来，场景的光谱数据由于包含丰富的细节信息，给很多领域带来了重大影响，例如医学诊断、目标检测、人脸识别等等，对于多光谱成像的采集及分析是目前一个热门研究领域。

现有的多光谱采集方法从原理来说主要分为两个大类：一是直接测量法，传统的光谱仪通过空间维度或者光谱维度的扫描来获得整个场景内的光谱信息，这种牺牲时间的方法不适用于动态场景。另一类是下采样方法，这类方法先对空间进行调制下采样得到场景中某些点的光谱，然后重建高分辨率的光谱数据，但是由于调制带来的光通量损失会严重影响系统的信噪比。

在光谱采集过程中，场景中一个点反射的信号被分散到多个光谱通道，由于这个原因带来的光通量的损失是光谱成像仪中最关注的问题，这直接影响了光谱仪的精度和准确性。另外，由于空间调制模块的存在，增加了成像光谱仪标定校准带来的复杂度。因此，如何设计光谱采集系统来提高系统通光量使系统信噪比增加是现在亟待解决的重要问题。

发明内容

针对以上现有技术中存在的问题，本发明的目的在于提出一种基于色散模糊的近全光通光谱成像系统及其光谱重建方法，该系统能够实现接近100％的通光量，提高系统信噪比，空间分辨率方面实现像素级别的光谱成像仪器，并且空间调制模块简单，大大减少了标定的复杂度。本发明的另一个目的是提供利用该系统进行光谱重建的方法。

为达上述目的，本发明的系统采用的技术方案如下：

一种基于色散模糊的光谱成像系统，场景的光依次经过滤波片和物镜后，由分光镜分为两路：一路直接由第一传感器采集得到清晰图像；另一路依次通过会聚透镜、掩膜、准直镜、色散棱镜后，由第二传感器采集得到模糊图像；其中，所述掩膜采用边缘阻塞式掩膜，用于对模糊图像进行简单调制以获取模糊图像的边缘信息。

本发明利用上述一种基于色散模糊的光谱成像系统进行光谱重建方法，利用计算机对采集的清晰图像和模糊图像进行处理，具体包括如下步骤：

步骤1，为了计算光谱数据S，首先建立目标函数E：

E_f是保真项，E_f＝||G-P_g(S)||²+‖D-P_d(S)‖²，其中，G＝P_g(S)＝∑_λS(x,y,λ)，D＝P_d(S)＝∑_λS(x+Δx(λ),y,λ)；x、y是指光谱数据的+空间维度坐标，λ是指光谱维度坐标，P_g表示清晰图像的投影过程，P_d表示模糊图像的投影过程，G与D分别指系统采集得到的清晰图像和模糊图像；

λ_DOB、λ_side和λ_cs是正则化参数；

其中，表示对光谱数据S在色散方向进行差分运算，表示对模糊图像D在色散方向进行差分运算；

E_side＝‖S·M)‖²，其中，M指掩膜，在透光的地方为1，在边缘阻塞的地方为0，“·”表示点积运算；

Q_cs为辅助变量，表示光谱信息在色散方向上的约束，对求取结果进行质量控制；

β_cs表示权重系数，为平滑项；

分别表示光谱数据和清晰图像的空间梯度信息；

步骤2，利用迭代优化算法对步骤1的目标函数E进行求解：

步骤21，将目标函数E分解为两个子问题，一个是固定光谱数据S，求解辅助变量Q_cs：

另一个是固定辅助变量Q_cs，求解光谱数据S：

E(S)＝E_f+λ_DOBE_DOB+λ_sideE_side

将求解辅助变量Q_cs的子问题作为外循环，求解光谱数据S的子问题作为内循环；

步骤22，对于求解辅助变量Q_cs的子问题，也即使E(Q_cs)最小化，采用二维查表法，固定光谱数据S和清晰图像G，表格中记录下空间梯度信息和然后遍历空间中空间梯度信息和的任一组合，找出使E(Q_cs)最小化的辅助变量Q_cs；

步骤23，对于求解光谱数据S的子问题，也即使E(S)最小化，采用双边滤波算法对光谱数据S进行更新；

步骤24，判断E(S)是否收敛，若收敛，则停止迭代，输出光谱数据S。

本发明提出了一种光谱成像采集原型系统，采用简单的空间调制模块(边缘阻塞式掩膜)以及色散棱镜得到模糊图像，大大减少了标定的复杂度；同时，本系统大大改善了光谱采集时的固有缺点，也即大大提高了系统的通光量、信噪比以及空间分辨率，可以实现像素级别的光谱成像仪器。利用该成像系统，本发明的光谱重建方法可以根据一系列的约束条件求解出全空间分辨率的光谱信息，原理上可以进行动态场景光谱信息的实时获取，无需牺牲时间和空间分辨率。

附图说明

图1是本发明基于色散模糊的光谱成像系统的结构示意图；

图2是本发明的边缘阻塞式掩膜结构示意图；

图3是本发明光谱重建方法的流程示意图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明基于色散模糊的近全光通光谱成像系统的结构主要包括以下几个模块：成像模块、光学系统矫正模块、空间耦合模块、光谱调制模块、系统分光模块。其中成像模块包括两个传感器，分别负责清晰图像和模糊图像的采集；光学系统矫正模块包括会聚透镜、准直镜等，会聚透镜将场景的像投到掩膜上进行一次成像，准直镜将系统光路中的点光源矫正为平行光束，进行光波传递；空间耦合模块是指利用边缘阻塞式掩膜，对图像进行简单调制，主要获取模糊图像的边缘信息，用以解耦时从外至内传递光谱信息；光谱调制模块主要指色散棱镜，该模块将场景中反射的光根据折射角度的不同将复色光分离成单色光；系统分光模块主要指分光镜，也即将光路在成像物镜之后就分成两路，一路经过传播调制得到模糊图像，一路是直接采集得到清晰图像。

其中，边缘阻塞式掩膜的中间部分透光率很高，边缘四周不透光，边缘宽度体现在传感器所成图像上约有200像素的宽度，此宽度取决于色散棱镜对电磁波的色散能力，本实施例选取光透过率高、色散能力强的棱镜阿米西棱镜对光路进行波长调制，使得系统的辐射能量效率高，仪器便于轻量化。场景信息经过掩膜调制之后由棱镜进行色散，最终在传感器上得到模糊图像。由于掩膜板结构简单，使系统通光量接近100％，系统透光率大大优于现有的光谱仪器，提升了系统整体信噪比。

本发明通过以上系统同时采集得到一路经过调制的模糊图像D和一路清晰图像G，清晰图像G直接获取到场景的纹理和边缘信息，避免了盲去模糊的复杂性。从这两张图像中可以求解出全空间分辨率光谱数据S，具体方法如下：

(1)用数学方式模拟表示模糊图像D和清晰图像G的成像过程：

G＝P_g(S)＝∑_λS(x，y，λ) (1-1)

D＝P_d(S)＝∑_λS(x+Δx(λ)，y，λ) (1-2)

其中，S是要计算的光谱数据，x、y是指光谱数据的空间维度坐标，λ是指光谱维度坐标。P_g表示清晰图像的投影过程，P_d表示模糊图像的投影过程，这里是指在x方向上进行色散。

(2)根据步骤(1)的模拟过程，光谱数据S的求解近似可以转化为以下约束模型：

E_f＝||G-P_g(S)||²+||D-P_d(S)||² (2-1)

其中，E_f是保真项，这里假设系统采集时的噪声呈高斯分布，||||²是指L-2范数平方运算。

(3)为了使解耦结果更加准确，引入了DOB(difference of blur)约束，DOB约束是指在图像的平坦区域，色散图像的差分运算在理想情况下为零；而在图像的边缘地带色散图像的差分近似于阶跃信号和处于边缘的两个相邻区域的卷积，利用下式来表示DOB约束：

这里，E_DOB的能量集中在模糊图像的边缘区域，表示对光谱数据S在色散方向进行差分运算，表示对模糊图像D在色散方向进行差分运算。

(4)为了保证边缘阻塞式掩膜在不通光的区域将光全部拦截，引入边缘阻塞约束，如下式所示：

E_side＝||S·M)||² (4-1)

其中，M指掩膜，在透光的地方为1，在阻塞的地方为0，·表示点积运算。

(5)为了解决非适定性问题和在解的分段光滑性，在以上约束的基础上加入跨通道和稀疏正则项，使解在空间域分段光滑，并在各个通道达到边缘一致性。

其中，||||₁是指L-1范数平方运算。是稀疏正则项，保证了解的分段平滑，后一项是跨通道项，这里以清晰图像的梯度作为参考。

(6)根据以上约束，目标函数可以总结为下式：

E＝E_f+λ_DOBE_DOB+λ_sideE_side+λ_csE_cs (6-1)

其中，λ_DOB，λ_side和λ_cs是正则化参数。

(7)为了进行质量控制，这里引入了一个辅助变量Q_cs，最终的目标函数如下：

β_cs表示所占的权重系数，为平滑项。分别表示光谱数据和清晰图像的空间梯度信息。

这里由于方程组的病态性，无法直接求取光谱信息，本发明提出一种迭代优化算法对以上目标函数进行求解，如下所述：

(7.1)首先将目标函数分解为两个子问题，一个是Q问题，如式(7-2)，也即固定S求Q_cs，一个是S问题，如式(7-3)，也即固定Q_cs，求解S；将求解Q问题作为外循环，求解S问题作为内循环；

E(S)＝E_f+λ_DOBE_DOB+λ_sideE_side (7-3)

(7.2)为解决Q问题，也即最小化式(7-3)，为了节省计算开销，增加计算速度，本发明采用二维查表法，固定S和G，表格中记录下空间梯度信息和和的变化范围为以0.002为间隔从-1到1均匀采样。然后遍历空间中和的任一组合，找出使式(7-2)最小的Q_cs，也即

(7.3)为解决S问题，也即最小化式(7-3)，求解出光谱信息，由于双边滤波算法同时考虑了空间域的信息和灰度值的相似性，具有保证单波段图像的边缘性和去除高频高斯噪声等优良特点，本发明采用双边滤波算法对S进行更新，也即S＝Bilateralfiltering(S,G,20,0.03)，其中，20和0.03分别指空间域和值域滤波参数，这里是实验得出的最优参数；

(7.4)每次内循环结束之后，对参数进行更新，使保真项和质量控制项权重增加，也即逐次增加β_cs、λ_cs和λ_DOB参数；

(7.5)判断E(S)是否收敛，若收敛，则停止迭代，输出S；这里为了限制其迭代次数，减少时间，将最大迭代次数设置为100；

本实施例的具体计算方法步骤如图3所示。

Claims (2)

1.一种基于色散模糊的光谱重建方法，其特征在于，场景的光依次经过滤波片和物镜后，由分光镜分为两路：一路直接由第一传感器采集得到清晰图像；另一路依次通过会聚透镜、掩膜、准直镜、色散棱镜后，由第二传感器采集得到模糊图像；其中，所述掩膜采用边缘阻塞式掩膜；利用计算机对采集的清晰图像和模糊图像进行处理，具体包括如下步骤：

步骤1，为了计算光谱数据S，首先建立目标函数E：

E_f是保真项，E_f＝||G-P_g(S)||²+||D-P_d(S)||²，其中，G＝P_g(S)＝∑_λS(x，y，λ)，D＝P_d(S)＝∑_λS(x+Δx(λ)，y，λ)；|| ||²表示二范数操作，|| ||₁表示一范数操作；x、y是指光谱数据的空间维度坐标，λ是指光谱维度坐标，P_g表示清晰图像的投影过程，P_d表示模糊图像的投影过程，G与D分别指系统采集得到的清晰图像和模糊图像；

λ_DOB、λ_side和λ_cs是正则化参数；

其中，表示对光谱数据S在色散方向进行差分运算，表示对模糊图像D在色散方向进行差分运算；

E_side＝||S·M||²，其中，M指掩膜，在透光的地方为1，在边缘阻塞的地方为0，“·”表示点积运算；

Q_cs为辅助变量，表示光谱信息在色散方向上的约束，对求取结果进行质量控制；

β_cs表示权重系数，为平滑项；

分别表示光谱数据和清晰图像的空间梯度信息；

步骤2，利用迭代优化算法对步骤1的目标函数E进行求解：

步骤21，将目标函数E分解为两个子问题，一个是固定光谱数据S，求解辅助变量Q_cs：

另一个是固定辅助变量Q_cs，求解光谱数据S：

E(S)＝E_f+λ_DOBE_DOB+λ_sideE_side

将求解辅助变量Q_cs的子问题作为外循环，求解光谱数据S的子问题作为内循环；

步骤22，对于求解辅助变量Q_cs的子问题，也即使E(Q_cs)最小化，采用二维查表法，固定光谱数据S和清晰图像G，表格中记录下空间梯度信息和然后遍历空间中空间梯度信息和的任一组合，找出使E(Q_cs)最小化的辅助变量Q_cs；

步骤23，对于求解光谱数据S的子问题，也即使E(S)最小化，采用双边滤波算法对光谱数据S进行更新；

步骤24，判断E(S)是否收敛，若收敛，则停止迭代，输出光谱数据S。

2.根据权利要求1所述的一种基于色散模糊的光谱重建方法，其特征在于，步骤23中，双边滤波算法的空间域和值域滤波参数分别取20和0.03。