CN110501071A - 一种基于模糊编码的压缩高光谱掩膜优化方法 - Google Patents

Abstract

本发明公开了一种基于模糊编码的压缩高光谱掩膜优化方法。本发明通过控制掩膜与聚焦平面之间的距离来控制掩膜编码的模糊程度，并将模糊程度进行量化，从而使用模糊导致灰度值变化之后的掩膜编码代替理论上的原始掩膜编码，使得重建时所用的编码更加接近实际编码。本发明只需通过系统的数值孔径、物镜焦距、光源波长、物镜放大倍数等信息来估算系统点扩散函数分布情况，并且计算出不同离焦位置处的实际模糊编码分布情况，使得投影矩阵最接近于实际数值，以实现投影矩阵的准确掌握，利于重建。仿真实验结果表明，相比于通常使用的二值化掩膜，优化后的掩膜编码更加接近于实际情况，重建图像的信噪比与光谱准确度也明显得到提高。

Description

一种基于模糊编码的压缩高光谱掩膜优化方法

技术领域

本发明涉及高光谱成像技术与利用离焦对掩膜的影响进行光圈编码，具体的说涉及应用压缩高光谱成像时，提供一种基于离焦模糊掩膜的编码方法。

背景技术

基于编码光圈的快照式光谱成像技术，因其成像速度快，不需要牺牲时间分辨率，而适用于视频处理与需要短曝光的场景。在本文中，主要针对于在传感器前离焦平面放置掩膜实现压缩高光谱成像的方法，进行进一步分析和讨论。结合成像系统点扩散函数的相关知识以及离焦处卷积核对成像造成模糊，应用于压缩感知等相关内容对于该实际问题实现掩膜的优化。

高光谱成像技术是一种新兴技术，旨在获得视场内物体的连续光谱信息，并且与传统成像技术相结合，获得视场内观测物体的三维空间在二维平面的投影信息与其对应的一维光谱信息。因此，相比于传统相机成像系统而言，如何在记录二维投影信息的像素阵列中记录三维数据立方体，是一个亟待解决的重要问题。快照成像的方法可以通过单次曝光捕获完整的三维数据，这点在采集动态场景或者航拍时比扫描的方法具有明显的优势。为了实现这一目标，需要在光圈附近放置掩膜，对视场内光信号进行标记编码，因此会部分牺牲像素分辨率。快照成像方法的样例包括四维成像光谱仪(4DIS)以及计算断层扫描成像光谱仪(CTIS)等。最近一种编码光圈快照光谱仪(CASSI)通过应用计算压缩重建来编码光信号。这种计算成像方法能够克服获得的空间成像和光谱成像分辨率的折中。CASSI系统可以通过采集在压电工作台不断翻转的编码掩膜对应的多次成像得到改进。一种更加灵活的选择是利用数字微镜器件(DMD)连拍光谱成像系统(DMD-SSI)。利用光学编码对场景内物体拍摄原始图像信息，视场内观测物体将会被光学编码进行灰度调制，通过压缩计算重建数据的趋势已经非常明显，然而所有的压缩光谱成像的方法编码颜色时都基于空间均匀的假设，这本质上限制了带有压缩压缩稀疏性约束的压缩重建算法的质量。由于成像系统需要捕获视场内观测物体清晰的空间投影信息，因此像素平面所处位置将会是成像系统的聚焦平面，因此，在相机像素平面前放置掩膜实现空间不一致的调制的同时，光学掩膜所处位置无法与像素平面位置重合，因此基于压缩感知的高光谱成像系统中，掩膜所处位置一定是离焦位置，在像素平面的投影将会因为离焦平面所对应点扩散函数的卷积效果而变得模糊。如何使得采集到的信息更加接近于真实情况，解决掩膜模糊而造成原始编码改变的问题，是一个重要的研究方向。而对于压缩高光谱成像而言，这一问题始终未曾被详细研究过。所以我们在压缩高光谱成像的基础上，进一步利用线性系统近轴成像的相关知识，充分利用系统点扩散函数对近轴处成像的卷积效应，提出一种掩膜的优化算法，使得所用编码数据与实际编码数据更加接近，使得重建结果达到最好。为了验证所提出优化算法的可行性，我们进行了一些仿真试验来佐证和展示算法的优化效果。

发明内容

本发明所要解决的技术问题是：为了使得采集到的信息更加接近真实情况，需要一种评判离焦位置掩膜模糊程度的算法，并且以此为基础，通过控制掩膜与聚焦平面之间的距离来控制掩膜编码的模糊程度，并将模糊程度进行量化，从而使用模糊导致灰度值变化之后的掩膜编码代替理论上的原始掩膜编码，使得重建时所用的编码更加接近实际编码。

本发明掩膜为一个100×1的向量，并且按照列排序组成一个10×10掩膜块，掩膜块呈现周期排列，因此单一掩膜块编码的变化同时适用于所有的掩膜块编码。本算法应用于光谱相机成像系统中，与普通相机相比，光谱相机在原始像面位置上放置了一块光栅来替代原有的像素阵列，光栅将场景的光谱信息映射到像面的不同角度的出射光线处，最终再重新汇聚在像素阵列上。本发明所采用的技术方案为：

一种基于模糊编码的压缩高光谱掩膜优化方法，具体包括以下步骤：

目标:量化掩膜编码模糊程度，用模糊编码代替二值化编码用于光谱数据重建。

步骤1、通过仿真算法，依据光谱相机的物镜数值孔径NA，物镜焦距fobj，物镜放大倍数M，光源波长wavelength，物镜F数fnum_obj＝M/(2*NA)，像素间距pixelPitch，PSF空间过采样率OSR，空间折射率n等参数，通过开源的、跨平台的、GPU加速的软件包LFDisplay算法大致的计算出光谱成像系统的聚焦面附近点扩散函数分布；所述的LFDisplay算法为计算光路点扩散函数的核心算法，参看如下：http://graphics.stanford.edu/software/LFDisplay/。

步骤2、通过设计掩膜块在世界坐标中的物理尺寸maskPitch，使其与像素平面实际尺寸pixelPitch相匹配，并且通过加装在掩膜与像素面之间的中继透镜的放大倍数M2，正整数N0，推断出像素平面上掩膜编码的尺寸大小，由此选择合适的掩膜尺寸用于光谱信号的编码；掩膜尺寸的选择公式为maskPitch＝pixelPitch*N0/M2，当N0/M2＝1时效果最佳；

步骤3、通过控制掩膜与聚焦面之间的距离，来实现控制光谱分辨率，即用多少位编码来覆盖完整的光谱波段，从而实现对光谱信号的空间不一致调制。具体实施算法如下：

光栅方程为：

取k＝+1,即设λ1＝420nm，λ2＝720nm，则

单位：度(°)

d＝a+b，其中a为光栅刻画线的透光缝宽，b为不透光刻画部分宽度。当一束光垂直照射到透射式闪耀光栅入射面时，如图3所示：其中S为掩膜板与透射式闪耀光栅后表面之间的距离，delta：λ1和λ2覆盖的像素范围。λ1和λ2两个光谱波段之间的出射角度差为

此时，我们通过控制透射式闪耀光栅与掩膜板之间的距离S，就可以控制整个光谱波段可以覆盖的像素个数N了，这里我们将整个光谱波段可以覆盖的像素个数N设置为正整数。

此处N为正整数，建议设计为2到6之间，这样，我们就可以通过控制参数S的大小来实现控制覆盖整个可见光波段的数目。

步骤4、通过步骤2中LFDisplay算法，我们可以计算得到理论上的光路系统点扩散函数，将步骤3中距离光栅为S处的掩膜位置处点扩散函数的卷积核能量分布单独提取出来，与掩膜编码的数值进行卷积处理，用卷积后的掩膜编码作为实际计算进行解压缩光谱重建的光谱编码。

本发明的有益效果：

本发明所述的方法只需通过系统的数值孔径，物镜焦距，光源波长，物镜放大倍数等信息来估算系统点扩散函数分布情况，并且计算出不同离焦位置处的实际模糊编码分布情况，使得投影矩阵最接近于实际数值，以实现投影矩阵的准确掌握，利于重建。仿真实验结果表明，相比于通常使用的二值化掩膜，优化后的掩膜编码更加接近于实际情况，重建图像的信噪比与光谱准确度也明显得到提高。

附图说明

图1是掩膜所处离焦位置与光栅所处聚焦位置相对空间关系示意图；

图2是使用模糊掩膜编码与使用清晰原始编码重建图像信噪比关系图；

图3掩膜与光栅之间距离与光谱覆盖像素个数关系示意图；

具体实施方式

以下结合附图及实施例，对本发明进行进一步的详细说明。

实施例：

本发明提出的一种于模糊编码的压缩高光谱成像方法，通过将掩膜离焦而带来的模糊考虑进掩膜的实际编码中，使得像素阵列中获得的实际灰度值调制更加接近实际计算值。在光路系统中，视场范围内观测物体的实像映射在透射式闪耀光栅表面，而掩膜为了能够对光谱信息编码而要放在实像聚焦面稍后位置，该位置光谱信息已经发生色散，因此不同光谱通道对应的掩膜编码模式是不同的，存在一个位移的关系。此时掩膜的位置与实像的位置无法重叠，因此掩膜板的安装位置是实像面与相机CCD阵列面之间靠近实像聚焦面的离焦位置。由于掩膜板的位置处在实像面后，因此掩膜板本身处于离焦状态，整体掩膜的编码处于聚焦位置时，相机上得到的是清晰的黑白编码模式，对应的数值为0或1；如图1所示，当掩膜板处于离焦位置时，编码模式由于离焦的影响会变得模糊，因此，编码的实际值会因为受到光路对应的点扩散函数在掩膜板所处位置的散焦程度的影响而变得模糊，对应的数值也不再是0或1。因此，常见的光路中很少将掩膜板放在离焦程度很大的位置。

在这里，我们提出一种想法，试图充分考虑光路系统对掩膜编码的模糊效果，然后以模糊后的掩膜作为连续光谱信息的编码，然后再将其作为后期程序中连续光谱信息还原时的编码信号，将这种编码掩膜离焦的影响充分考虑进去，完成光谱信息的编码工作。

本发明所述方法包括以下步骤：

步骤(1)搭建光谱相机成像光路系统。首先，选用7ILT250A卤钨灯光源作为照明光源，光源的光谱覆盖范围是300纳米到2500纳米，满足可见光连续光谱覆盖。光源灯泡光通量为9000流明，并且亮度可调，从而有效的补偿了光路透镜组元件较多而造成的光通量损失。

步骤(2)搭建光谱成像系统。成像系统主要由光源，物镜，光栅，二值化掩膜，中继透镜，相机六部分组成组成，其中光源将视场内物体照亮，物镜将场景光信号映射到聚焦面，传统相机成像光路是在聚焦面放置像素阵列捕获场景光信号，而光谱相机是在聚焦平面放置闪耀光栅，然后在光栅与相机像素平面之间使用中继透镜中继光信号，从而使得相机捕获的信号清晰。

步骤(3)用掩膜对光谱信号进行空间调制。在光谱成像系统中，光栅会将物镜透射到其上的光信号分解成连续光谱信号。在光栅后放置掩膜，掩膜所处位置与光栅之间存在一定距离，此时掩膜处于光路系统离焦位置，因此相机上得到的掩膜编码调制会存在一定的模糊效果，即灰度值不再是理论上的0或1，而是介于其之间的数值。

步骤(4)量化掩膜的模糊程度。为了得到掩膜编码模糊后的实际编码数值，需要结合编码与光栅之间的距离，以及成像系统的点扩散函数。从光学角度出发，我们将成像光路看成是线性空不变系统，此时系统成像过程可以理解为最后像素坐标系得到的图像信号是视场范围内观测物体实际发出的光信号与成像系统脉冲响应卷积的结果。

其中g₁代表视场内物体发出的实际光信号，而h代表成像系统的脉冲响应函数，g₂代表相机得到的实际光信号。由于成像光路有多组透镜组成，我们可以得到视场范围内观测物体的实像，并将其中继到聚焦成像面，此时我们可以在聚焦面得到视场内观测物体清晰的实像。这是因为系统脉冲函数的型态与光路设计密切相关，但是在焦距前后平面上点扩散函数的分布不再满足或近似满足冲激函数分布，而是呈现sinc函数分布形式，并且将会在离焦平面处引入一个成sinc函数分布形态的卷积核。此时，聚集在一点的能量将会散布到周围，实物与像之间不再是一一对应关系，而是变成了与一个模糊核进行卷积运算的结果。我们通过原始掩膜编码与所处平面的点扩散函数进行卷积，即可得到此平面对应的实际掩膜编码数值。

步骤(5)利用新的掩膜编码重建光谱数据块。在这里，我们采用一次完整采集整个光谱数据的方式，然后逐块重建整幅图像，我们选择每一次重建10×10大小的图像，我们知道运用压缩感知重构算法来完成高光谱稀疏重建的算法有很多种，我们使用的是MATLAB程序中的spgl1-master稀疏重建算法工具包，在这里，高光谱数据写成下式：

h代表原始的连续高光谱数据，包含有连续的光谱信息，D是一个通过专门训练得到的高光谱字典并且用于对光谱信号进行稀疏表示，字典是过完备的，以保证数据重建的还原程度，这里的α满足稀疏性约束。当掩膜对光谱进行编码后，掩膜实现了对光谱图像整体亮度的调制，对其中每一个单独的10×10大小的光谱数据块而言，实际上，上式(2)应该变成如下形式：

h＝ΦDα (3)

式(3)中Φ表示在光路中进行光谱编码的掩膜型态，数值多为0或1经过点扩散函数卷积之后的实际值，代表着对光谱仪中光线的透过与阻挡两种模式，即像素坐标系得到的最终初始数据，将是被随机掩膜编码调制之后的原始数据。在这里我们引入带通滤波器，使得最后的成像中只引入420nm-720nm范围内的光谱数据，并且设置光谱分辨率为10nm，即总共可以得到31个光谱波段的数据，将这31个光谱波段数据每个通道对应的掩膜编码模式保存在矩阵Φ中，通过程序来一次性重建31个光谱通道的完整光谱数据。进而我们在求解如下式(4)所示优化问题，即可完成高光谱数据的重建。

我们使用MATLAB中的spg_bpdn函数来求解该稀疏矩阵的数据解压缩重建问题，当我们将过完备字典D，存储有编码掩膜的矩阵Φ，以及准化方式参数opt输入spg_bpdn函数，即可完成光谱数据的重建。

如图2所示，在进行仿真实验验证过程中，考虑掩膜离焦造成的模糊对编码的影响，计算中使用的掩膜编码更加接近实际数值，因此重建数据更加准确，重建图像信噪比更高，数据质量更加优异。

Claims (2)

1.一种基于模糊编码的压缩高光谱掩膜优化方法，目标是量化掩膜编码模糊程度，用模糊编码代替二值化编码用于光谱数据重建，其特征在于包括如下步骤：

步骤1、通过仿真算法，依据光谱相机的物镜数值孔径NA，物镜焦距fobj，物镜放大倍数M，光源波长wavelength，物镜F数fnum_obj＝M/(2*NA)，像素间距pixelPitch，PSF空间过采样率OSR，空间折射率n等参数，通过开源的、跨平台的、GPU加速的软件包LFDisplay算法大致的计算出光谱成像系统的聚焦面附近点扩散函数分布；

步骤2、通过设计掩膜块在世界坐标中的物理尺寸maskPitch，使其与像素平面实际尺寸pixelPitch相匹配，并且通过加装在掩膜与像素面之间的中继透镜的放大倍数M2，正整数N0，推断出像素平面上掩膜编码的尺寸大小，由此选择合适的掩膜尺寸用于光谱信号的编码；掩膜尺寸的选择公式为maskPitch＝pixelPitch*N0/M2，当N0/M2＝1时效果最佳；

步骤3、通过控制掩膜与聚焦面之间的距离，来实现控制光谱分辨率，即用多少位编码来覆盖完整的光谱波段，从而实现对光谱信号的空间不一致调制；具体如下：

光栅方程为：

取k＝+1,即设λ1＝420nm，λ2＝720nm，则

单位：度；

d＝a+b，其中a为光栅刻画线的透光缝宽，b为不透光刻画部分宽度；当一束光垂直照射到透射式闪耀光栅入射面时，如图3所示：其中S为掩膜板与透射式闪耀光栅后表面之间的距离，delta：λ1和λ2覆盖的像素范围；λ1和λ2两个光谱波段之间的出射角度差为

此时，通过控制透射式闪耀光栅与掩膜板之间的距离S，就能够控制整个光谱波段能够覆盖的像素个数N，将整个光谱波段能够覆盖的像素个数N设置为正整数；

此处N为正整数，设计为2到6之间，从而通过控制参数S的大小来实现控制覆盖整个可见光波段的数目；

步骤4、通过步骤2中LFDisplay算法，计算得到理论上的光路系统点扩散函数，将步骤3中距离光栅为S处的掩膜位置处点扩散函数的卷积核能量分布单独提取出来，与掩膜编码的数值进行卷积处理，用卷积后的掩膜编码作为实际计算进行解压缩光谱重建的光谱编码。

2.根据权利要求1所述的一种基于模糊编码的压缩高光谱掩膜优化方法，其特征在于所述的掩膜为一个100×1的向量，并且按照列排序组成一个10×10掩膜块，掩膜块呈现周期排列，因此单一掩膜块编码的变化同时适用于所有的掩膜块编码。