CN110095189A - 一种双目的八谱段多光谱相机设计方法 - Google Patents

Abstract

本发明公开了一种双目的八谱段多光谱相机设计方法，步骤包括：步骤1、确定八谱段滤光片的透射曲线；步骤2、确定八谱段光谱成像的MSFA阵列分布，构成两组成像模块的四谱段MSFA阵列；步骤3、实现八谱段光谱Raw图像恢复，通过步骤2获得的光谱数据称为光谱raw数据，每个像素位置存储了1个谱段数据，其他3个谱段数据采用demosaic算法进行恢复；步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准。本发明的方法，简便易行，准确性高。

Description

一种双目的八谱段多光谱相机设计方法

技术领域

本发明属于快速光谱成像技术领域，涉及一种双目的八谱段多光谱相机设计方法。

背景技术

现实中的光在一定波长范围内都具有一定能量，由各波段光谱混合而成。在典型的彩色成像中，光谱被分离成R、G、B三个谱段进行测量，从而形成RGB图像。由于RGB图像只有三个谱段，利用RGB图像重构高维光谱值会产生较大误差，因此为了更准确的获取和重建光谱，需要采用更多谱段的成像设备，特别是6谱段以上的多光谱成像设备，以便捕获现实场景的可靠光谱信息，应用于数字存档、高保真彩色再现、目标检测等领域。

采用Bayer CFA(彩色滤光片阵列)和去马赛克技术的单传感器成像技术已被广泛用于当前小型、低成本的彩色数码相机。MSFA多光谱相机具有成像快、成本低、体积小等优势。将CFA扩展到多光谱滤波器阵列(MSFA)，能够在一次拍摄中获得多光谱图像，是目前多光谱相机的一个重要发展方向。但是现有技术的多光谱成像设备存在成本高、成像慢、体积大等问题，影响了其广泛的使用。

发明内容

本发明的目的是提供一种双目的八谱段多光谱相机设计方法，解决了现有多光谱成像设备成本高、成像慢、体积大的问题。

本发明所采用的技术方案是，一种双目的八谱段多光谱相机设计方法，按照以下步骤实施：

步骤1、确定八谱段滤光片的透射曲线，

假定光谱采集范围为λ₁＜λ＜λ₂，则透射函数定义为：其中，μ为光谱分布的期待值，σ为标准差；

步骤2、确定八谱段光谱成像的MSFA阵列分布，

在光谱相机结构中采用两个摄像头，每个摄像头对应一个CMOS负责四个谱段成像，CMOS成像面上每个像素位置只采集一个谱段的光谱数据，因此采样率为25％；

本步骤将八个谱段的滤光片分成两组，第一组谱段滤光片成像A～D谱段，第二组谱段滤光片成像G～H谱段，每组的四个谱段滤光片阵列都分布在2×2子阵列中，在整个成像面积内充分排列，构成两组成像模块的四谱段MSFA阵列；

步骤3、实现八谱段光谱Raw图像恢复

通过步骤2获得的光谱数据称为光谱raw数据，每个像素位置存储了1个谱段数据，其他3个谱段数据采用demosaic算法进行恢复；

步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准，

采用基于频域的图像配准方法，利用傅里叶变换将两幅demosaic后的待配准图像变换到频域，然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离，从而实现图像的配准。

本发明的有益效果是，采用包含两个摄像头的成像原理，采用两个摄像头对八个不同谱段的光线进行采样，即摄像头一采集A～D的四个谱段，摄像头二采集E～H的四个谱段，每个镜头下是CMOS成像传感器，CMOS表面覆盖一层按照MSFA阵列分布的滤光片，用于对入射光进行分色。因此，CMOS获得的图像是一种mosaic图像，每个像素位置只采集了一个谱段的图像信息，需要利用demosaic算法恢复其余谱段信息。对此，本方法采用了MSFA阵列方式，以及对应的demosaic算法，从而能够实现一次曝光获得完整的八谱段光谱图像。

附图说明

图1是本发明方法进行双目相机设计的总体流程图；

图2是本发明方法所设计的双目相机八谱段滤光片透射曲线图；

图3是本发明方法所设计的两组成像模块的四谱段滤光片阵列分布示意图；

图4是本发明方法所设计的双目相机采用的滤光片阵列分布示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，本发明方法，具体按照以下步骤实施：

步骤1、确定八谱段滤光片的透射曲线，

目前应用到相机中的滤光片透射曲线大多按照高斯分布的原理进行设计，以便体现出较好的性能，因此本步骤同样采用该原理设计，假定光谱采集范围为λ₁＜λ＜λ₂，则透射函数定义为：其中，μ为光谱分布的期待值，σ为标准差；

光谱相机八个谱段的光谱取值范围较为灵活，本步骤实施例面向可见光波段400nm-700nm成像，每个谱段带宽σ＝15，谱段A至谱段H的中心光谱波长μ分别为428nm、464nm、500nm、536nm、572nm、608nm、644nm、680nm；对应的，摄像头一对应谱段A至谱段D的中心光谱波长μ分别为428nm、500nm、572nm、644nm，摄像头二对应谱段G至谱段H的中心光谱波长μ分别为464nm、536nm、608nm、680nm，该实施例光谱相机的各谱段滤光片曲线如图2所示。

步骤2、确定八谱段光谱成像的MSFA阵列分布，

为实现一次曝光获得八个谱段的光谱图像数据，本步骤在光谱相机结构中采用两个摄像头，每个摄像头对应一个CMOS负责四个谱段成像，CMOS成像面上每个像素位置只采集一个谱段的光谱数据，因此采样率为25％；

本步骤将八个谱段的滤光片分成两组，第一组谱段滤光片成像A～D谱段，第二组谱段滤光片成像G～H谱段，每组的四个谱段滤光片阵列都分布在2×2子阵列中，在整个成像面积内充分排列，两组成像模块的四谱段MSFA阵列分布如图3所示。

步骤3、实现八谱段光谱Raw图像恢复

与传统数码相机类似，通过步骤2获得的光谱数据称为光谱raw数据，每个像素位置存储了1个谱段数据，其他3个谱段数据需采用demosaic算法进行恢复，

针对步骤2所述双目四谱段MSFA阵列的demosaic算法，图像恢复过程具体如下：

3.1)参照图4，估计A₀处的D谱段颜色信息，假如能够知道位置A₀处的D和A之间的色差，由d_DA＝D₀-A₀表示，则能够将丢失的D颜色样本恢复为D₀＝A₀+d_DA，因此，如何估计色差d_DA是D谱段插值的关键，

以A₀为中心设定四个方向，分别是东北(ne)、西南(sw)、西北(nw)和东南(se)，计算沿该四个方向的色差估计值计算式分别如下：

参照图4，其中，D₅，D₆，D₇，D₈分别代表在5，6，7，8位置上对谱段D的采样值，A₂₁，A₂₂，A₂₃，A₂₄分别代表在21，22，23，24位置上对谱段A的采样值，

计算沿着A₀处四个方向的梯度，计算式如下：

其中ε是一个小的正数，以避免梯度为零，

使用梯度作为指数将四个方向的色差估计加权到最终的色差估计中，让分配给这四个方向估计的权重与沿各自方向的梯度成反比：

然后将四个权重标准化，使它们的总和为1：

其中，C＝w_nw+w_ne+w_sw+w_se，然后将四个方向色差估计融合到一个估计中：

最后，得到A₀中缺失的D谱段颜色估算为：

将以上步骤应用于所有的A位置来估计D谱段颜色信息；同样原理，在B位置处估计C谱段颜色信息，在D位置处估计A谱段颜色信息，在C位置处估计B谱段颜色信息；

3.2)利用已知的颜色信息，继续估计A位置处的C谱段颜色信息，假设要在A₀处估计缺失的C₀，沿A₀的东(e)，南(s)，西(w)，北(n)四个方向估计色差，计算式如下：

参照图4，其中，C₁，C₂，C₃，C₄分别代表在1，2，3，4位置上对谱段C的采样值，A₉，A₁₀，A₁₁，A₁₂分别代表在9，10，11，12位置上对谱段A的采样值，

沿四个方向的梯度分别是：

参照图4，其中，C₁₃，C₁₆，C₁₇，C₂₀分别代表在13，16，17，20位置上对谱段C的采样值，C₁₄，C₁₅，C₁₈，C₁₉分别代表在14，15，18，19位置上谱段C的估计值，ε是一个小的正数，以避免梯度为零，

将四个权重设置为：

其中，然后A₀处的A和C的色差为得到在A₀处的缺失的C的颜色谱段值为

将以上步骤应用于所有的A位置来估计C谱段颜色信息；同样原理，在C位置处估计A谱段颜色信息，在D位置处估计B谱段颜色信息，在B位置处估计D谱段颜色信息；

3.3)最后估计A处的B谱段信息，假设在A₀处估计缺失的B₀，此时A₀周围的像素上的B值都是已知的，B₀利用下式求得：

参照图4，其中，B₁，B₃分别代表在1，3位置上对谱段B的采样值，B₂，B₄，B₅，B₆，B₇，B₈分别代表在2，4，5，6，7，8位置上谱段B的估计值，

将以上步骤应用于所有的A位置来估计B谱段颜色信息；同样原理，在C位置处估计D谱段颜色信息，在D位置处估计C谱段颜色信息，在B位置处估计A谱段颜色信息，

至此，将所有位置处缺失的颜色信息恢复完毕；

步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准，

采用常用的基于频域的图像配准方法，利用傅里叶变换将两幅demosaic后的待配准图像变换到频域，然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离，从而实现图像的配准，即成。

Claims (3)

1.一种双目的八谱段多光谱相机设计方法，其特征在于，按照以下步骤实施：

步骤1、确定八谱段滤光片的透射曲线，

假定光谱采集范围为λ₁＜λ＜λ₂，则透射函数定义为：其中，μ为光谱分布的期待值，σ为标准差；

步骤2、确定八谱段光谱成像的MSFA阵列分布，

在光谱相机结构中采用两个摄像头，每个摄像头对应一个CMOS负责四个谱段成像，CMOS成像面上每个像素位置只采集一个谱段的光谱数据，因此采样率为25％；

本步骤将八个谱段的滤光片分成两组，第一组谱段滤光片成像A～D谱段，第二组谱段滤光片成像G～H谱段，每组的四个谱段滤光片阵列都分布在2×2子阵列中，在整个成像面积内充分排列，构成两组成像模块的四谱段MSFA阵列；

步骤3、实现八谱段光谱Raw图像恢复

通过步骤2获得的光谱数据称为光谱raw数据，每个像素位置存储了1个谱段数据，其他3个谱段数据采用demosaic算法进行恢复；

步骤4、对光谱相机的两个摄像头上恢复的多光谱图像进行配准，

采用基于频域的图像配准方法，利用傅里叶变换将两幅demosaic后的待配准图像变换到频域，然后通过两幅配准图像的频域图像的互功率谱计算出两幅图像间的平移距离，从而实现图像的配准。

2.根据权利要求1所述的双目的八谱段多光谱相机设计方法，其特征在于：所述的步骤1中，相机中的滤光片透射曲线按照高斯分布的原理进行设计。

3.根据权利要求1所述的双目的八谱段多光谱相机设计方法，其特征在于：所述的步骤3中，针对步骤2所述双目四谱段MSFA阵列的demosaic算法，图像恢复过程具体如下：

3.1)估计A₀处的D谱段颜色信息，假如能够知道位置A₀处的D和A之间的色差，由d_DA＝D₀-A₀表示，则能够将丢失的D颜色样本恢复为D₀＝A₀+d_DA，

以A₀为中心设定四个方向，分别是东北ne、西南sw、西北nw和东南se，计算沿该四个方向的色差估计值计算式分别如下：

其中，D₅，D₆，D₇，D₈分别代表在5，6，7，8位置上对谱段D的采样值，A₂₁，A₂₂，A₂₃，A₂₄分别代表在21，22，23，24位置上对谱段A的采样值，

计算沿着A₀处四个方向的梯度，计算式如下：

其中ε是一个小的正数，以避免梯度为零，

使用梯度作为指数将四个方向的色差估计加权到最终的色差估计中，让分配给这四个方向估计的权重与沿各自方向的梯度成反比：

然后将四个权重标准化，使它们的总和为1：

其中，C＝w_nw+w_ne+w_sw+w_se，然后将四个方向色差估计融合到一个估计中：

最后，得到A₀中缺失的D谱段颜色估算为：

将以上步骤应用于所有的A位置来估计D谱段颜色信息；同样原理，在B位置处估计C谱段颜色信息，在D位置处估计A谱段颜色信息，在C位置处估计B谱段颜色信息；

3.2)利用已知的颜色信息，继续估计A位置处的C谱段颜色信息，假设要在A₀处估计缺失的C₀，沿A₀的东e，南s，西w，北n四个方向估计色差，计算式如下：

其中，C₁，C₂，C₃，C₄分别代表在1，2，3，4位置上对谱段C的采样值，A₉，A₁₀，A₁₁，A₁₂分别代表在9，10，11，12位置上对谱段A的采样值，

沿四个方向的梯度分别是：

其中，C₁₃，C₁₆，C₁₇，C₂₀分别代表在13，16，17，20位置上对谱段C的采样值，C₁₄，C₁₅，C₁₈，C₁₉分别代表在14，15，18，19位置上谱段C的估计值，ε是一个小的正数，以避免梯度为零，

将四个权重设置为：

其中，然后A₀处的A和C的色差为得到在A₀处的缺失的C的颜色谱段值为

将以上步骤应用于所有的A位置来估计C谱段颜色信息；同样原理，在C位置处估计A谱段颜色信息，在D位置处估计B谱段颜色信息，在B位置处估计D谱段颜色信息；

3.3)最后估计A处的B谱段信息，假设在A₀处估计缺失的B₀，此时A₀周围的像素上的B值都是已知的，B₀利用下式求得：

其中，B₁，B₃分别代表在1，3位置上对谱段B的采样值，B₂，B₄，B₅，B₆，B₇，B₈分别代表在2，4，5，6，7，8位置上谱段B的估计值，

将以上步骤应用于所有的A位置来估计B谱段颜色信息；同样原理，在C位置处估计D谱段颜色信息，在D位置处估计C谱段颜色信息，在B位置处估计A谱段颜色信息，

至此，将所有位置处缺失的颜色信息恢复完毕。