CN111174912B - 一种快照型解色散模糊的高光谱成像方法 - Google Patents

Abstract

本发明公开了一种快照型解色散模糊的高光谱成像方法。该方法的步骤为：S1，选择参考波长，标定参考波长的色散，并选定中心波长；S2，估算所有重建波长与中心波长的相对色散；S3，生成色散矩阵，利用传感器的光谱响应曲线，生成光谱响应矩阵；S4，采集色散模糊的图像；S5，利用S3生成的色散矩阵、光谱响应矩阵，对S4采集的图像解色散模糊，得到各个通道图像对齐的光谱数据；S6，将S5得到的对齐的光谱数据投影到成像空间，通过阈值法提取前景图像，对S4得到的色散图像采样，作为前景图像像素值的强先验约束，重建精确的空间高光谱数据，实现高光谱成像。本发明利用简单、低成本的系统，实现精准地高光谱成像。

Description

一种快照型解色散模糊的高光谱成像方法

技术领域

本发明属于光谱成像领域，尤其涉及一种快照型解色散模糊的高光谱成像方法。

背景技术

高光谱成像在自动分割匹配材料、材料识别、地质材料监测等方向具有广泛的应用前景，因此在物理化学、农业、甚至军事等领域都十分重要。但是，传统的高光谱成像系统通常结构复杂，需要定制的硬件进行光路设置，笨重且昂贵。而且，使用的时候需要专业的工程技能才能实时处理、调整这些器件，这样的系统对于普通用户来说，既负担不起昂贵的价格，也不方便使用，更不具实用性。

传统的扫描式系统利用滤波器对每个波长分离测量，过程十分缓慢、并且光谱分辨率受所用滤波器的类型和数量所限制。一些其他的光谱成像技术，如编码孔径快照光谱成像(CASSI)，系统使用编码孔径掩膜来编码、使用棱镜产生色散，利用编码、色散后的压缩图像重建光谱信息，加上由于重建技术利用了空间不变的色散模型，需要光路的准直设置，系统也相对复杂。

发明内容

针对以上现有技术中存在的缺陷，本发明的目的在于提供一种快照型解色散模糊的高光谱成像方法，该方法可以使用简单、轻便、低成本的系统，实现高精度的高光谱成像。

实现本发明目的的技术解决方案为：

一种快照型解色散模糊的高光谱成像方法，所用的装置包括可产生平面色散的器件和传感器，传感器用于采集经可产生平面色散的器件色散后的图像，该方法包括如下步骤：S1，选择参考波长，标定参考波长的色散，并选定中心波长；S2，估算所有重建波长与中心波长的相对色散；S3，根据步骤S2的估算结果，生成色散矩阵，利用传感器的光谱响应曲线，生成光谱响应矩阵；S4，采集色散模糊的图像；S5，利用步骤S3生成的色散矩阵和光谱响应矩阵，对步骤S4采集的图像解色散模糊，得到各个通道图像对齐的光谱数据；S6，将步骤S5得到的对齐的光谱数据投影到成像空间，通过阈值法提取前景图像，对步骤S4得到的色散图像采样，作为前景图像像素值的强先验约束，重建精确的空间高光谱数据，实现高光谱成像。

进一步地，所述步骤S1中，标定参考波长的色散的方法为：在标定某波长的色散情况时，在光源前放置该波长的滤波片，只允许该波长的光通过，随后标记参考物的成像位置。

进一步地，所述步骤S2中，估算所有重建波长与中心波长的相对色散的方法为：根据标定的参考波长的色散位置和选定的中心波长，得到所有参考波长与中心波长的相对色散，插值得到其他重建波长与中心波长的相对色散。

进一步地，步骤S3中，生成色散矩阵的方法为：令空间高光谱数据为i，其大小为xyΛ×1，其中x、y表示平面的图像横向尺寸和纵向尺寸，Λ为光谱通道数，令色散矩阵为Ω，其大小为xyΛ×xyΛ，得到色散后的光谱矩阵S＝Ωi，中心波长通道的图像无平移，其他波长通道的图像的相对平移与步骤S2所得结果一致，根据色散后的光谱矩阵S与空间高光谱数据i，可构建出色散矩阵Ω。

进一步地，步骤S3中，生成光谱响应矩阵的方法为：令光谱响应矩阵为Φ，其大小为xyN×xyΛ，x、y表示平面的图像横向尺寸和纵向尺寸，Λ为光谱通道数，N为3或1，将空间高光谱数据i投影到对应的色彩空间得到R＝Φi，大小为xyN×1，查询传感器的响应曲线并采样φ＝N×Λ，得到传感器在重建光谱波长处的响应系数，根据i、R、φ可构建出光谱响应矩阵Φ。

进一步地，步骤S5的具体做法为：求解

其中i_aligned为求得的各通道对齐的光谱数据，Ω为色散矩阵，Φ为光谱响应矩阵，i为空间高光谱数据，j为实际采集到的带色散的图像，

表示求平面内梯度，

表示对光谱方向求梯度，α₁、β₁分别为约束项的系数。

进一步地，步骤S6的具体做法为：

计算Φi_aligned得到解色散模糊的图像，设定合适阈值提取前景图像i_front，大小为x×y，并且为二值矩阵，x、y表示平面的图像横向尺寸和纵向尺寸；以每个像素点为中心，分别对S4拍摄的色散模糊图像按照色散方向采样，作为该像素点的各通道光谱值的先验，最终得到所有像素的光谱先验i_prior，大小为x×y×Λ；求解

其中i_recons为最后得到的高光谱数据，W为权值矩阵，表示对所有通道的前景图像作约束，其大小为x×y×Λ，每一维是i_front，γ、α₂、β₂为各项调节系数。

本发明的显著优点在于：

(1)本发明的高光谱成像方法只需要简单的传感器和一个可产生平面色散的器件，包括但不局限于超透镜、棱镜等，就可进行低成本的高光谱视频成像。

(2)利用本发明的方法，无需扫描式系统各波长分离测量因而更加快速，简化成像模型和系统，可方便地只利用软件即可实现高光谱数据重建，并且利用强先验做约束的方法，保证重建结果的精确。

附图说明

图1是本发明采用的装置结构示意图，其中，1-样本，2-可产生平面色散的器件，3-传感器。

图2是本发明方法的流程图。

图3是采用本发明方法对仿真数据进行高光谱重建的结果，(a)原始图像；(b)仿真的色散图像；(c)重建结果；(d)随机选取第一个像素点的原始光谱曲线和重建光谱曲线的对比，(e)随机选取第二个像素点的原始光谱曲线和重建光谱曲线的对比。

图4是采用本发明装置拍摄的色散图及采用本发明方法的重建结果，(a)拍摄的色散图；(b)重建结果；(c)重建的22个通道的光谱曲线与原始光谱曲线对比图，横轴为波长，单位nm，纵轴为归一化后的像素值。

具体实施方式

本实施例采用的成像装置如图1所示，包括可产生平面色散的器件2和传感器3，样本1放置于可产生平面色散的器件2前方，传感器3放置于可产生平面色散的器件2后方，传感器3采集经过器件色散后的样本图像。其中，可产生平面色散的器件2包括但不局限于超透镜、棱镜等。

参见图2，本发明基于色散的高光谱成像方法，首先利用提出的色散模型，即j＝ΩΦi，其中j为传感器采集到的的色散图像，Ω为光谱响应矩阵，Φ为空间色散矩阵，i为空间高光谱数据，以及梯度稀疏约束和各通道数据对齐的约束，得到对齐的空间光谱数据，解空间色散模糊，然后利用采样的强先验约束像素值恢复精确的光谱数据值，具体步骤如下：

S1，选择参考波长，假设光源为450-650nm的白光，可选择参考波长为450nm、500nm、550nm、600nm、650nm，标定这些参考波长处的色散情况，在标定某波长的色散情况时，在光源前放置该波长的滤波片，只允许该波长的光通过，随后标记参考物的成像位置，得到所有波长的参考物的中心坐标，这些坐标近似落于一条直线。选定中心波长，可选定550nm为中心波长。

S2，根据S1的结果，估算所有重建波长与中心波长的相对色散：选定了中心波长为550nm，可得到其他参考波长相对于550nm成像中心的相对位移，如650nm相对位移+13像素，600nm相对位移+6像素，500nm相对位移-4像素，450nm相对位移-8像素，插值得到其他重建波长与中心波长的相对色散，如550-600nm相对位移6像素，即可标定出中间五个像素位移代表的波长值，即550nm、550+50/6nm、550+50/6*2nm、550+50/6*3nm、550+50/6*4nm、550+50/6*5nm、550+50/6*6＝600nm，当然标定出越多的波长代表重建波长通道越多，也代表了求解难度的增大。

S3，根据S2的结果，生成色散矩阵：令空间高光谱数据为i，其大小为xyΛ×1，其中x、y表示平面的图像尺寸，Λ为光谱通道数，原始的数据为x×y×Λ，将其先按列再按波长通道重塑为列向量。令色散矩阵为Ω，其大小为xyΛ×xyΛ，运算得到色散后的光谱向量S＝Ωi，中心波长通道的图像无平移，其他波长通道的图像的相对平移与S2所得结果一致，以一维数据举例(假设图像尺寸1×5)，假设中心波长通道的值为a₀、b₀、c₀、d₀、e₀，那么相对位移为-1像素的通道的值为b_-1、c_-1、d_-1、e_-1、0，相对位移为+1像素的通道的值为0、a₁、b₁、c₁、d₁，以此类推可得到色散后的光谱矩阵，将其先按列再按波长通道重塑为列向量得到S。根据S与i的关系，可构建出Ω。生成响应矩阵的方法为：令响应矩阵为Φ，其大小为xyN×xyΛ，N为3或1(取决于传感器是彩色的或是灰度的)，将空间光谱数据投影到对应的色彩空间得到R＝Φi，大小为xyN×1，查询传感器的响应曲线φ＝N×Λ，根据i、R、φ的关系可构建出响应矩阵Φ。

S4，利用同S1一致的光源，采集图像，由于可产生平面色散的器件2，图像发生平面内色散，并产生模糊。

S5，利用S3生成的色散矩阵、光谱响应矩阵，对S4采集的图像解色散模糊，得到各个通道图像对齐的光谱数据，具体地：

求解

其中i_aligned为求得的各通道对齐的光谱数据，j为实际采集到的色散图像，

表示求平面内梯度，

表示对光谱方向求梯度，α₁、β₁分别为约束项的系数。求梯度的运算均可用矩阵运算表示，方程的第一项为数据项，减小模型结果与实际数据的均方差，后两项为先验项，第二项是常用的变微分算子，减小平面内梯度伪影，第三项保证跨波段的对齐，后两项的系数需要进行实际调整。此优化问题可利用ADMM算法求解，将上述问题分裂为三个子问题：

则目标优化问题转化内：

ADMM算法迭代地对每个变量分别进行优化，即：

其中，u₁和u₂是朗格朗日乘子，i^k+1求解只有l₂项，可用共轭梯度法求解，引入的变量z₁和z₂通过软阈值算子求解，如下：

而朗格朗日乘子u₁和u₂利用梯度上升法进行更新。

S6，首先将S5得到的对齐的光谱数据投影到成像空间(RGB空间或灰度空间，取决于传感器是彩色的或是灰度的)，即进行矩阵运算Φi_aligned得到解色散模糊的图像，然后设定合适阈值提取前景图像i_front，大小为x×y，并且为二值矩阵，接着以每个像素点为中心，分别对S4拍摄的色散模糊图像按照色散方向采样，因为采样的每个点可认为是较少通道混叠后的结果，所以可以作为该像素点的各通道光谱值的先验，最终得到所有像素的光谱先验i_prior，大小为x×y×Λ，最后求解

其中i_recons为最后得到的高光谱数据，W为权值矩阵，表示对所有通道的前景图像作约束，其大小为x×y×Λ，每一维是i_front，γ、α₂、β₂为各项调节系数。此优化问题前两项可认为是数据项，γ表示强先验的可信度，可以设置较高的值，第三项和第四项同上，一般β的取值1e^-3～1e^-1，而α的取值在1e-5左右，需要根据实际情况调整。

Claims (3)

1.一种快照型解色散模糊的高光谱成像方法，所用的装置包括可产生平面色散的器件和传感器，传感器用于采集经可产生平面色散的器件色散后的图像，其特征在于，该方法包括如下步骤：

S1，选择参考波长，标定参考波长的色散，并选定中心波长；

S2，估算除参考波长和中心波长之外的重建波长与中心波长的相对色散；

S3，根据步骤S2的估算结果，生成色散矩阵，利用传感器的光谱响应曲线，生成光谱响应矩阵；

其中，生成色散矩阵的方法为：令空间高光谱数据为i，其大小为xyΛ×1，其中x、y表示平面的图像横向尺寸和纵向尺寸，Λ为光谱通道数，令色散矩阵为Ω，其大小为xyΛ×xyΛ，得到色散后的光谱矩阵S＝Ωi，中心波长通道的图像无平移，其他波长通道的图像的相对平移与步骤S2所得结果一致，根据色散后的光谱矩阵S与空间高光谱数据i，可构建出色散矩阵Ω；

生成光谱响应矩阵的方法为：令光谱响应矩阵为Φ，其大小为xyN×xyΛ，x、y表示平面的图像横向尺寸和纵向尺寸，Λ为光谱通道数，N为3或1，将空间高光谱数据i投影到对应的色彩空间得到数据R＝Φi，大小为xyN×1，查询传感器的响应曲线并采样φ＝N×Λ，得到传感器在重建光谱波长处的响应系数，根据i、R、φ可构建出光谱响应矩阵Φ；

S4，采集色散模糊的图像；

S5，利用步骤S3生成的色散矩阵和光谱响应矩阵，对步骤S4采集的图像解色散模糊，得到各个通道图像对齐的光谱数据；其具体做法为：

求解

其中i_aligned为求得的各通道对齐的光谱数据，Ω为色散矩阵，Φ为光谱响应矩阵，i为空间高光谱数据，j为实际采集到的带色散的图像，

表示求平面内梯度，

表示对光谱方向求梯度，α₁、β₁分别为约束项的系数；

S6，将步骤S5得到的对齐的光谱数据投影到成像空间，通过阈值法提取前景图像，对步骤S4得到的色散图像采样，作为前景图像像素值的强先验约束，重建精确的空间高光谱数据，实现高光谱成像；其具体做法为：

计算Φi_aligned得到解色散模糊的图像，设定合适阈值提取前景图像i_front，大小为x×y，并且为二值矩阵，x、y表示平面的图像横向尺寸和纵向尺寸；

以每个像素点为中心，分别对步骤S4拍摄的色散模糊图像按照色散方向采样，作为该像素点的各通道光谱值的先验，最终得到所有像素的光谱先验i_prior，大小为x×y×Λ；

求解

其中i_recons为最后得到的高光谱数据，W为权值矩阵，表示对所有通道的前景图像作约束，其大小为x×y×Λ，每一维是i_front，γ、α₂、β₂为各项调节系数。

2.根据权利要求1所述的一种快照型解色散模糊的高光谱成像方法，其特征在于，所述步骤S1中，标定参考波长的色散的方法为：在标定某波长的色散情况时，在光源前放置该波长的滤波片，只允许该波长的光通过，随后标记参考物的成像位置。

3.根据权利要求1所述的一种快照型解色散模糊的高光谱成像方法，其特征在于，所述步骤S2中，估算除参考波长和中心波长之外的重建波长与中心波长的相对色散的方法为：根据标定的参考波长的色散位置和选定的中心波长，得到所有参考波长与中心波长的相对色散，插值得到除参考波长和中心波长之外的重建波长与中心波长的相对色散。

Images