CN110579279B - 单传感器的九谱段多光谱成像系统的设计方法 - Google Patents

Abstract

本发明公开了一种单传感器的九谱段多光谱成像系统的设计方法，步骤包括：1)首先构建一个4×4模式的九谱段MSFA，其中一个谱段占用50％的空间，并将作为引导图像用以恢复其他低采样率谱段；2)在九谱段MSFA中，第五谱段B5是类似于RGB成像的G谱段的过采样谱段；B5谱段占用50％的成像空间并保留更详细的信息，因此对B5谱段进行插值，后将其应用为引导图像，以便根据引导滤波器对其他谱段进行插值；3、用引导滤波器和残差插值重构其他谱段。本发明的方法，保证光谱误差最小化，可以得到高质量的图像。

Description

单传感器的九谱段多光谱成像系统的设计方法

技术领域

本发明属于快速光谱成像技术领域，涉及一种单传感器的九谱段多光谱成像系统的设计方法。

背景技术

高光谱成像(即HSI系统)从电磁频谱中收集和处理信息，高光谱成像的目标是获取场景图像中每个像素的光谱，应用于寻找物体，识别材料或检测过程等方面。然而，在高密度采样过程中，HSI系统通常比较昂贵和耗时，而且HSI图像的数据量比普通彩色图像大得多。光谱成像的替代方案是多光谱成像(MSI)，其中由若干预定的窄带滤波器进行有限数量的光谱测量。尽管损失了一些光谱密度，但MSI显著降低了硬件复杂性并获得了合理的光谱精度。在过去的十年中，根据具有彩色滤光片阵列(CFA)的数码相机的原理，提出了一种称为多光谱滤波器阵列(MSFA)成像的新型多光谱成像技术。

多光谱滤波器阵列(MSFA)成像是快照成像系统之一，主要由多光谱滤波器阵列覆盖的单个成像传感器组成，可以在一次曝光时捕获多光谱图像，具有成像速度快，体积小，成本低的优点。通常，具有少量谱段的MSFA成像系统可以获得清晰的图像，但对于那些具有大量谱段的MSFA成像系统，重建的光谱图像通常是模糊的，因为马赛克图像的稀疏性随着谱段数的增加而改善。为了获得清晰的多光谱图像，必须开发高性能去马赛克算法，尤其是对于高谱段的成像系统。

发明内容

本发明提供了一种单传感器的九谱段多光谱成像系统的设计方法，解决了现有技术条件下，谱段数越多，获得的多光谱图像越模糊的问题。

本发明所采用的技术方案是，一种单传感器的九谱段多光谱成像系统的设计方法，九谱段多光谱成像系统以下简称九谱段MSFA，按照以下步骤具体实施：

步骤1、确定九谱段MSFA的结构，

构建一个4×4模式的九谱段MSFA，其中一个谱段占用50％的空间，并将作为引导图像用以恢复其他低采样率谱段；

步骤2、过采样谱段B5的插值，

在九谱段MSFA中，第五谱段B5是类似于RGB成像的G谱段的过采样谱段；B5谱段占用50％的成像空间并保留更详细的信息，因此对B5谱段进行插值，后将其应用为引导图像，以便根据引导滤波器对其他谱段进行插值；

步骤3、用引导滤波器和残差插值重构其他谱段，

与九谱段MSFA中的过采样谱段B5相比，其他八个谱段的采样率非常低，本步骤采用引导滤波器，并将插值后的B5带作为初始引导图像，对其余8个谱段进行重构，基于邻域相关假设，首先用插值后的B5恢复B4和B6谱段，然后将恢复后的B4用于B3等谱段，直到恢复到所有谱段。

本发明的有益效果是，应用了九谱段的MSFA成像系统，通过使用方向导数将相邻像素值传播到上采样位置来恢复第五谱段，然后使用重建的第五谱段作为引导图像，利用引导滤波器和残差插值对其他谱段进行去马赛克处理。最后，估计出清晰的多光谱图像，成功解决了高稀疏性恢复去马赛克图像的问题，保证光谱误差最小化。

附图说明

图1a是九个谱段的滤波器灵敏度函数；图1b是本发明采用的九谱段MSFA成像系统的示意图；

图2a是九谱段MSFA的二进制分裂迭代过程示意图；图2b是九谱段MSFA的二叉树表示；

图3a是本发明方法用已知邻点插值一个上采样点的示意图；图3b是给定点及其已知邻点的位置图；

图4是本发明方法中的基于引导滤波器的八个谱段的去马赛克的工作流程图；

图5是本发明方法中用残差插值进行图像优化的过程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明为单传感器的九谱段多光谱成像系统的设计方法，九谱段多光谱成像系统以下简称九谱段MSFA，按照以下步骤具体实施：

步骤1、确定九谱段MSFA的结构

首先构建一个4×4模式的九谱段MSFA，如图1b所示，其中一个谱段占用50％的空间，并将作为引导图像用以恢复其他低采样率谱段，

通过在可见光谱中使用高斯函数来模拟九谱段MSFA的光谱灵敏度，并且能够针对特定应用将其调整到其他光谱范围，设定采样光谱λ在400nm～700nm之间，滤波器灵敏度函数为：

其中，μ为光谱分布的期待值，σ为标准差；通过为带通滤波器设置参数μ和σ来分配滤波器灵敏度函数的分布，

前述构建的九谱段MSFA的灵敏度函数如图1a所示，应该注意的是，实际和理论滤波函数的灵敏度存在较大偏差，通常选择一组最佳商用滤波器来构建实际可行的光谱成像系统。

九谱段MSFA的生成是二进制分裂的迭代过程，如图2a所示，前述的九谱段MSFA是使用二进制树分裂生成的，父通道在每次拆分中均匀地划分为两个子通道，将通道数量增加一，同时将创建的子项的采样率减半；

前述的九谱段MSFA用图2b中的二叉树表示，其中级别l的叶节点的采样率为2^-l；黑色节点表示它们可以进一步分裂，颜色叶子表示生成的多光谱带；最后，在九谱段MSFA中获得一个过采样谱段B5和八个稀疏采样谱段B1～B4和B6～B9，B5处于第1层，采样率为1/2，其他8个谱段处于第4层，采样率为1/16；

步骤2、过采样谱段B5的插值，

在九谱段MSFA中，第五谱段B5是类似于RGB成像的G谱段的过采样谱段；B5谱段占用50％的成像空间并保留更详细的信息，因此对B5谱段进行插值，后将其应用为引导图像，以便根据引导滤波器对其他谱段进行插值，

通常，缺失位置被估计为B5相邻的几个已知像素的加权平均值，先选择要重建的像素q周围的小邻域，后将相邻像素的带宽值传播给q；从理论上讲，连续函数中的一个邻近点用给定的相邻点用泰勒多项式近似表示如下：

其中，x₀为起点，fⁿ(x)表示函数的n阶导数，R_n(x)表示剩余误差；同样，当给定方向导数或梯度值时，用一个已知的邻域估计上采样位置，

以2D图像中的两个点p(x_p,y_p)和q(x_q,y_q)为例，将从p到q的方向向量定义为

其中|pq|表示p和q之间的距离，则沿

的方向导数可表示为

梯度通常表示为

最后利用方向导数或梯度值，由p估计q，则有：

如图3a所示，用一组已知相邻点p_i重建一个未知B5点q，并且p_i∈B_∈表示窗口B_∈内具有大小半径∈的邻；从邻域p_i到q的传播可以看出，等照度线(或等灰度线)被平滑地扩展；参考前述九谱段MSFA中的谱段B5的模式，根据给定B5采样点的四对角领域计算梯度值，灰色网格是过采样谱段，而其他谱段以白色表示，据此，见图3b，给定点p(i,j)的梯度表示为：

考虑到涉及到同一谱段的所有邻域，通过对不同权值的所有传播值进行积分，估计出q的谱段值，则有：

其中，M表示位置p处的二进制掩码，如果p_i是B5点则等于1，在其他情况下设为0，

表示p_i处的权重，

表示从p处到q处传播的谱段值，

在本步骤中，将几何距离设置为权重，因为它减少了几何上距离q更远的像素的影响，则有：

步骤3、用引导滤波器和残差插值重构其他谱段

与九谱段MSFA中的过采样谱段B5相比，其他八个谱段的采样率非常低，本步骤采用引导滤波器，并将插值后的B5带作为初始引导图像，对其余8个谱段进行重构，基于邻域相关假设，首先用插值后的B5恢复B4和B6谱段，然后将恢复后的B4用于B3等谱段，直到恢复到所有谱段，

如图4所示，是基于引导滤波器的八个谱段的去马赛克工作流程，在该工作流程中，使用一个重构谱段作为引导图像来恢复具有马赛克输入的相邻谱段，

以插值谱段B5和谱段B6为例，谱段B5简称为谱段G，谱段B6简称为谱段Y，假设Y是以像素(p,q)为中心的窗口ω_p,q中的G的线性变换，则有：

其中，a_p,q和b_p,q是在窗口ω_p,q中假设为常数的线性系数，并且(i,j)表示窗口内的像素指数，这个局部线性模型确保Y仅在G具有边缘时具有边缘，因为

通过最小化测量的Y和重构的

之间的差来估计每个窗口的线性系数a_p,q和b_p,q，在窗口中生成如下代价函数：

其中，M_i,j表示像素(i,j)处的二进制掩模，其在采样的Y位置处设置为1并且对于其他位置设置为0，ε是防止a_p,q太大的正则化参数，通过线性回归计算两个系数：

其中，μ_p,q和

表示在窗口ω_p,q中G的均值和方差，|ω|表示ω_p,q中的像素数，并且

代表ω_p,q中Y的平均值；

由于一个像素(i,j)涉及包含(i,j)的所有窗口ω_p,q，因此当在不同窗口中计算时，估计的

通常不相同，这些系数的加权平均值

用于计算

则有：

其中，

通过从色差插值产生的残余插值，进一步增强引导滤波器上采样图像；在基于色差插值的去马赛克处理中涉及两个谱段，并且使用插值的色差图像来计算马赛克谱段；残差插值(简称RI)对实测和插值后的图像在同一谱段内的残差进行计算，并利用残差插值后的图像改善去马赛克图像；残差插值(RI)的算法优点是残差比色差平滑，而且通常精度更高。

如图5所示，利用残差插值对B谱段进行重构可分为以下步骤，首先，计算引导滤波器对B谱段处测量得到的B值进行上采样，生成初步估计值

初步估计值

和B值之间的差异，定义为残差

然后，用高斯低通滤波器对残差进行插值；最后，将引导滤波器上采样图像添加到残差插值中，得到插值后的B值(表示为

)，即成。

Claims (1)

1.一种单传感器的九谱段多光谱成像系统的设计方法，九谱段多光谱成像系统以下简称九谱段MSFA，其特征在于，按照以下步骤实施：

步骤1、确定九谱段MSFA的结构，

构建一个4×4模式的九谱段MSFA，其中一个谱段占用50％的空间，并将作为引导图像用以恢复其他低采样率谱段，

具体过程是，

通过在可见光谱中使用高斯函数来模拟九谱段MSFA的光谱灵敏度，设定采样光谱λ为400nm～700nm之间，则滤波器灵敏度函数为：

其中，μ为光谱分布的期待值，σ为标准差；通过为任何带通滤波器设置参数μ和σ来分配灵敏度函数的分布，

九谱段MSFA的生成是二进制分裂的迭代过程，前述的九谱段MSFA是使用二进制树分裂生成的，父通道在每次拆分中均匀地划分为两个子通道，将通道数量增加一，同时将创建的子项的采样率减半；

前述的九谱段MSFA用二叉树表示，其中级别l的叶节点的采样率为2-l；黑色节点表示可进一步分裂，颜色叶子表示生成的多光谱带；最后，在九谱段MSFA中获得一个过采样谱段B5和八个稀疏采样谱段B1～B4和B6～B9，B5处于第1层，采样率为1/2，其他8个谱段处于第4层，采样率为1/16；

步骤2、过采样谱段B5的插值，

在九谱段MSFA中，第五谱段B5是类似于RGB成像的G谱段的过采样谱段；B5谱段占用50％的成像空间并保留更详细的信息，因此对B5谱段进行插值，后将其应用为引导图像，以便根据引导滤波器对其他谱段进行插值，

具体过程是，

缺失位置被估计为B5相邻的几个已知像素的加权平均值，先选择要重建的像素q周围的小邻域，后将相邻像素的带宽值传播给q；连续函数中的一个邻近点用给定的相邻点用泰勒多项式近似表示为：

其中x₀为起点，fⁿ(x)表示函数的n阶导数，R_n(x)表示剩余误差；当给定方向导数或梯度值时，用一个已知的邻域估计上采样位置，

以2D图像中的两个点p(x_p，y_p)和q(x_q，y_q)为例，将从p到q的方向向量定义为

其中|pq|表示p和q之间的距离，则沿

的方向导数可表示为

梯度通常表示为

最后利用方向导数或梯度值，由p估计q，则有：

用一组已知相邻点p_i重建一个未知B5点q，并且p_i∈B_∈表示窗口B_∈内具有大小半径∈的邻；从邻域p_i到q的传播被平滑地扩展；参考前述九谱段MSFA中的谱段B5的模式，根据给定B5采样点的四对角领域计算梯度值，灰色网格是过采样谱段，而其他谱段以白色表示，据此，给定点p(i，j)的梯度表示为：

考虑到涉及到同一谱段的所有邻域，通过对不同权值的所有传播值进行积分，估计出q的谱段值，则有：

其中，M表示位置p处的二进制掩码，如果p_i是B5点则等于1，在其他情况下设为0，

表示p_i处的核权重，

表示从p处到q处传播的谱段值，

在本步骤中，将几何距离设置为权重，则有：

步骤3、用引导滤波器和残差插值重构其他谱段，

与九谱段MSFA中的过采样谱段B5相比，其他八个谱段的采样率非常低，本步骤采用引导滤波器，并将插值后的B5带作为初始引导图像，对其余8个谱段进行重构，基于邻域相关假设，首先用插值后的B5恢复B4和B6谱段，然后将恢复后的B4用于B3等谱段，直到恢复到所有谱段，

基于引导滤波器的八个谱段的去马赛克工作流程，在该工作流程中，使用一个重构谱段作为引导图像来恢复具有马赛克输入的相邻谱段，

以插值谱段B5和谱段B6为例，谱段B5简称为谱段G，谱段B6简称为谱段Y，假设Y是以像素(p,q)为中心的窗口ω_p，q中的G的线性变换，则有：

其中，a_p，q和b_p，q是在窗口ω_p，q中假设为常数的线性系数，并且(i，j)表示窗口内的像素指数，这个局部线性模型确保Y仅在G具有边缘时具有边缘，因为

通过最小化测量的Y和重构的

之间的差来估计每个窗口的线性系数a_p，q和b_p，q，在窗口中生成如下代价函数：

其中，M_i，j表示像素(i，j)处的二进制掩模，其在采样的Y位置处设置为1并且对于其他位置设置为0，ε是防止a_p，q太大的正则化参数，通过线性回归计算两个系数：

其中，μ_p，q和

表示在窗口ω_p，q中G的均值和方差，|ω|表示ω_p，q中的像素数，并且

代表ω_p，q中Y的平均值；

由于一个像素(i，j)涉及包含(i，j)的所有窗口ω_p，q，因此当在不同窗口中计算时，估计的

通常不相同，这些系数的加权平均值

用于计算

则有：

其中，

通过从色差插值产生的残余插值，进一步增强引导滤波器上采样图像；在基于色差插值的去马赛克处理中涉及两个谱段，使用插值的色差图像来计算马赛克谱段；残差插值对实测和插值后的图像在同一谱段内的残差进行计算，并利用残差插值后的图像改善去马赛克图像，

利用残差插值对B谱段进行重构分为以下步骤：首先，计算引导滤波器对B谱段处测量得到的B值进行上采样，生成初步估计值

初步估计值

和B值之间的差异，定义为残差

然后，用高斯低通滤波器对残差进行插值；最后，将引导滤波器上采样图像添加到残差插值中，得到插值后的B值，表示为

Images