CN115731191A - 一种基于神经网络的窄波段光谱成像方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的窄波段光谱成像方法，包括：目标物体经宽带编码滤光片阵列编码、成像和探测器检测，得到对应的全波段光强信息，然后将获得的全波段光强信息输入到构建的截断网络中，获得各个窄波段图像；所述截断网络由全网络训练得到，所述全网络由前置预测网络、截断网络以及连接在两者之间的全连接层组成。与传统的基于色散元件的窄波段光谱成像技术相比，本发明可以大幅提高获取窄波段光强图像的速度。并可以定量评估重构的窄波段光强的最优性和提高采集的窄波段光强的信噪比。同时设计结果的针对性更强，可以大幅缩减窄波段光谱成像设备的制造成本。

Description

一种基于神经网络的窄波段光谱成像方法

技术领域

本发明涉及光谱传感和光电成像等领域，具体涉及一种基于神经网络的窄波段光谱成像方法，可以广泛应用在物质识别、农产品监测以及医疗诊断等领域。

背景技术

图像信息作为我们认识世界的基本媒介，在我们的日常生活中十分重要。目前大多数成像技术都是基于红绿蓝(RGB)三个通道对场景信息进行记录，适用于根据物体的形状和颜色来表征物体。然而，由于只有三个可见波段分割，识别能力十分有限，而对实际物体的成像包含大量的反射/透射光谱信息，所以并不适用于广泛的光谱分析应用中。通过测定不同标定光源或物体的特定窄波段光强的发射/反射/透射/辐射特性等，我们可以鉴别物质并确定它的物质组成，在天文观测、化学分析、食品安全、医疗诊断等诸多领域都有广泛用途。

传统成像光谱仪主要由色散型分光元件(光栅、棱镜和窄带可调谐滤光片)以及探测器等组成，可以将连续宽波段光谱依次分解为特定波长的能量出射从而实现对整个光谱的扫描和获取，该方案可以获得高光谱分辨率和宽光谱范围，但存在体积较大、扫描速度慢、信号吞吐量低等缺点。

随着人工智能和机器学习算法的不断发展，近年来出现一些利用深度学习联合优化设计软硬件的方法。物体或场景信息经过超表面、纳米线和薄膜滤光片等编码器调制后，传感器采集得到原始信号，运用复杂的软件算法反解出最初的图像信号，实现快照式成像。对得到的光谱数据立方数据处理后，可以得到某个我们感兴趣的窄波段的光强图像。但这样做获取窄波段光强图像的过程依旧比较复杂，并且，依据重构的光谱数据立方体获得的窄波段光强图像会加大与实际图像的重构误差，因此获取一幅准确的窄波段图像往往难以实现。

发明内容

本发明针对现有技术的不足，提供了一种基于神经网络的窄波段光谱成像方法，实现全波段光强到窄波段光强的计算过程。

一种基于神经网络的窄波段光谱成像方法，包括：目标物体经宽带编码滤光片阵列编码、成像和探测器检测，得到对应的全波段光强信息，然后将获得的全波段光强信息输入到构建的截断网络中，获得各个窄波段图像；所述截断网络由全网络训练得到，所述全网络由前置预测网络、截断网络以及连接在两者之间的全连接层组成。

作为优选，所述前置预测网络采用神经网络结构，输入为窄波段光强，输出为宽波段光谱，输入神经元数量为窄波段通道数，输出神经元数量为宽波段光谱通道数，中间设置若干隐层。隐层的结构和具体数量，可以根据实际情况进行选择，同时根据优化结果进行优化选择，最终获得满足目标要求的结构。

作为优选，所述截断网络采用神经网络结构，输入为全波段光强，输出为窄波段光强，输入神经元数量为编码滤光片数，输出神经元数量为窄波段光强通道数，中间设置若干隐层。

作为优选，所述全连接层中，第i个输入神经元与第j个输出神经元之间的连接权重为W_ij，代表第j个编码滤光片在第i个光谱通道的光谱响应，i＝1,2,…,M，j＝1，2，…，N，M为宽波段光谱通道数，N为编码滤光片的个数。这里需要说明的是，理论上是W_ij，代表第j个编码滤光片在第i个光谱通道的光谱响应，在实际建模中我们还考虑了探测器的影响；也就是说，作为优选，建模时W_ij可以结合滤光片和探测器的已知参数获得，W_ij对应于制造好的编码滤光片结合探测器响应后的实际透过率。

作为优选，所述前置预测网络单独由窄波段光强和对应的宽波段光谱单独训练得到。在得到训练好的前置预测网络后，再进行全网络的构建和后续的训练。

作为优选，全网络训练过程中，前置预测网络设置为不更新参数；全连接层的权重项设置为编码滤光片实际的透过率；偏置项全部设为0，设置为不更新参数。

作为优选，所述全网络训练过程中，输入和输出均为窄波段光强值。

作为优选，所述全网络训练过程中，损失函数确定为重构出来的窄波段光强值与输入窄波段光强值的均方误差。

作为优选，前置预测网络训练过程、全网络训练过程采用的训练集均来自CAVE，ICVL Multispectral Image Database。

作为优选，前置预测网络训练过程、全网络训练过程采用的训练集均由来自CAVE，ICVL Multispectral Image Database的光强数据与若干随机合成的高斯叠加曲线随机组合而成。

一种基于神经网络的窄波段光谱成像算法建模方法，包括以下步骤：

(1)确定目标的每个窄波段通道的光谱间隔Δλ₁，成像光谱通道数(窄波段光强通道数)M和编码滤光片的个数N。

(2)构建光强到光谱的预测网络；所述预测网络的输入单元数为窄波段通道数L，输出单元数为宽波段光谱通道数M，中间设置若干隐层，以使整个预测网络实现窄波段光强到光谱的重构功能。

(3)训练光强到光谱的预测网络，选择用于训练的窄波段光强数据集，以达到根据输入窄波段光强预测输出的光谱的功能；

(4)接着在预测网络的基础上，构建后面的光强感知网络；预测网络后面添加的第一层是一个全连接层(即编码层)，编码层的第i(i＝1,2,…,M)个输入神经元与第j(j＝1，2，…，N)个输出神经元之间的连接权重为W_ij，代表第j个编码滤光片在第i个光谱通道的光谱响应；在编码层之后再设置若干隐层，来对编码层的输出值做进一步处理；输出的神经元个数为窄波段通道数L，以使整个网络实现对窄波段光强的重构等功能。

(5)训练整个神经网络；将前面的预测网络部分的结构参数在训练过程中设置为不更新参数。将编码层的权重项W_ij(i＝1，2，…，M；j＝1，2，…，N)设置为制造好的编码滤光片结合探测器响应后的实际透过率，偏置项b_j(j＝1，2，…，N)全部设为0，设置为不更新参数，选择用于训练的窄波段光强数据集。对整个网络进行训练，不断更新网络参数。

(6)当训练完成后，将整个网络从编码层后截断，得到截断网络，通过输入实验得到的编码后的N个光强值可以重构出L个窄波段光强值。

上述截断网络即为我们的实际应用的网络。

进一步地，所述步骤(1)中，所述每个窄波段通道的光谱间隔Δλ₁，宽波段光谱通道数M的计算公式如下：

Δλ₁＝(λ_max-λ_min)/L，M＝(λ_max-λ_min)/Δλ₂+1

其中，λ_min、λ_max分别为目标光谱波段的最小波长和最大波长，L为窄波段光强通道数，Δλ₂为宽波段光谱分辨率；

进一步地，所述步骤(2)(4)中，所述隐层的结构和单元等参数根据实际场景确定，以实现对不同窄波段的物体光强图像的重构；根据对应的功能确定用于训练预测网络和重构网络的损失函数。

本发明建模过程中，整个算法的神经网络由前置预测网络和实际应用的光强感知网络组成。前置预测网络用以实现窄波段光强到宽波段光谱的预测，输入神经元个数的物理意义是窄波段光强通道数，输出神经元的物理意义是宽波段光谱通道数，中间是若干网络隐层。而实际应用的光强感知网络置于前置预测网络之后，用以实现全波段光强到窄波段光强的重构，它由一层全连接层(即编码层)和若干隐层组成，其中全连接层用来模拟编码滤光片对光谱的调制过程，输出神经元的物理意义是窄波段光强通道数。通过分别训练前置预测网络和整个算法完整的神经网络(预测网络-光强感知网络)，可以分别实现窄波段光强到宽波段光谱的重构和窄波段光强到窄波段光强的联合优化。当我们训练好整个神经网络后，使用成像模组对经薄膜滤光片编码后的目标进行成像，利用GPU平台的并行处理数据能力，可以实现各个窄波段图像的实时重建。由于神经网络的训练过程对训练目标做出了明确的定义，因而可以更方便评估优化结果的最优性，而且整个流程直接对窄波段光强进行训练，提高了设计精度。本发明有望在物质识别、农产品监测以及医疗诊断等领域发挥重要应用。

与传统的基于色散元件(光栅、棱镜和窄带可调谐滤光片)的窄波段光谱成像技术相比，本发明具有以下有益的技术效果：

(1)可以大幅提高获取窄波段光强图像的速度。基于色散元件的窄波段光谱成像往往要依赖多个窄带滤光片进行分光，扫描速度较慢，而利用深度学习的并行处理数据的能力，可以将各个窄波段图像采集重构过程缩短在毫秒量级，实现窄波段的快照式成像。

(2)可以定量评估重构的窄波段光强的最优性。由于训练过程有确定的损失函数作为优化目标，即可定量评估重构窄波段光强曲线的最优性，解决了传统设计方法所得窄波段光强响应无法定量评估的问题。

(3)可以提高采集的窄波段光强的信噪比。本发明引入了深度学习的方法，使用较少数量的宽带滤光区块，通过神经网络来实现高精度重构较多的窄波段光强，相比于传统的用较多数量的窄带滤光片分别探测光强信号的方式，提高了光吞吐量，进而提高了信噪比。

(4)设计结果的针对性更强。由于探测器实际响应率在对应波长处都不一样，本发明在神经网络训练时综合考虑了滤光片光谱透过率S(λ)和探测器实际响应率D(λ)的大小，能够更好地实现硬件与软件的协同设计。

(5)可以大幅缩减窄波段光谱成像设备的制造成本。本发明采用较少数量的薄膜编码后的N个光强值对目标进行编码调制，减小了设备的体积，进而保证了成像设备的加工的可重复性和批量生产。

附图说明

图1为本发明基于神经网络的窄波段光谱成像方法的神经网络结构示意图；

图2为本发明基于神经网络的窄波段光谱成像方法流程图；

图3为常规的计算型窄波段光谱成像的流程示意图；

图4为本发明的窄波段光谱成像的流程示意图；

图5(a)、(b)、(c)、(d)为一些测试集全波段光强信息分别经图3和图4两种窄波段光谱成像方法(归一化后的)重构的窄波段光强误差比较；

图6为本发明窄波段光谱成像系统的示意图；

图7为实际的标准色卡通过本发明神经网络重构出来的窄波段光强图像。

具体实施方式

下面结合实施例和附图来详细说明本发明，但本发明并不限于此。

如图1所示，在模型训练阶段，整个算法的神经网络由前置预测网络和实际应用的光强感知网络组成。前置预测网络用以实现窄波段光强到宽波段光谱的预测，输入神经元个数的物理意义是窄波段光强通道数L，输出神经元的物理意义是宽波段光谱通道数M，中间是若干层网络隐层；训练过程中，首先对前置预测网络进行单独训练，训练完成后，实际应用的光强感知网络置于前置预测网络之后，用以实现全波段光强到窄波段光强的重构，它由一层全连接层(即编码层)和若干层隐层组成，其中编码层用来模拟编码滤光片对光谱的调制过程，输出神经元个数的物理意义是窄波段光强通道数L。通过分别训练前置预测网络和整个算法的完整神经网络(预测网络-光强感知网络)，可以分别实现窄波段光强到宽波段光谱的重构和窄波段光强到窄波段光强的联合优化。

所实现的一种基于神经网络的窄波段光谱成像方法的建模步骤如图2所示，包括：

(1)确定目标的光谱范围λ_min、λ_max以及光强通道数L、光谱分辨率Δλ₂，则λ_min、λ_max之间的窄波段通道的光谱间隔Δλ₁＝(λ_max-λ_min)/L，光谱通道数M＝(λ_max-λ_min)/Δλ₂+1。确定光谱编码滤光片的个数为N。

(2)构建一个神经网络，称该网络为(前端)预测网络。将该网络的输入单元(输入神经元)数为窄波段光强通道数L，输出单元(输出神经元)数为宽波段光谱通道数M，中间设置若干神经网络隐层。选择合适的训练集来训练预测网络，以达到根据输入窄波段光强预测输出的光谱响应的功能。

(3)接着在预测网络的基础上，构建后面的光强感知网络。预测网络后面添加的第一层是一个全连接层(即编码层)，则编码层的第i(i＝1,2,…,M)个输入神经元与第j(j＝1，2，…，N)个输出神经元之间的权重W_ij代表了第j个编码滤光片在第i个光谱通道的光谱响应；在编码层之后设置若干隐层。输出单元数为窄波段光强数L。各隐层的结构及单元个数可以根据具体应用场景进行调整，最终得到满足要求的光强感知网络，以实现对窄波段光强的重构、分析等处理功能。根据相应的功能确定其损失函数。

(4)训练整个神经网络；将前面的预测网络的结构参数在训练过程中设置为不更新参数，将编码层的权重项W_ij(i＝1，2，…，M；j＝1，2，…，N)设置为制作好的编码滤光片结合探测器响应后的实际透过率，偏置项b_j(j＝1，2，…，N)全部设为0，设置为不更新参数，选择用于训练的光强数据集。对整个网络进行训练，不断更新网络参数。

(5)当训练完成后，将整个网络从编码层后截断，得到截断网络。

实际应用时，利用截断网络，通过输入实验得到的编码后的N个光强值可以重构出L个窄波段光强值。

常规的计算型窄波段光谱成像流程如图3所示，假设目标物体的光谱为S(λ)，N个编码滤光片的透过率为W₁(λ)，W₂(λ)，…，W_N(λ)，λ_min至λ_max为光谱探测设备可探测的光谱范围。依据图3中关系1，经过第j(j＝1，2，…，N)个编码滤光片调制后，探测器获得的该点光谱的强度值I_j可表示为：

式中，S(λ)是目标物体的反射光谱，W_j(λ)为编码滤光片的透过率。

我们可以利用深度学习、压缩感知等方法根据探测器得到的光强来重构物体的光谱S’(λ)，根据图3中关系2，考虑到探测器对各个波长处的响应率并不总是1，各个窄波段滤光片结合探测器响应后的透过率为W’₁(λ)，W’₂(λ)，…，W’_t(λ)，各个窄波段的强度值I’_t可表示为：

这种方式过程比较繁琐，而且根据重构后的光谱加和或积分得到窄波段的光强无疑会加大重构的误差。因此，我们可以利用深度神经网络，通过选择合适的损失函数(如MAE，MSE和RMSE等)，直接训练出全波段光强到窄波段光强的关系，具体过程如图4所示。

通过这种方法，不仅能实现对不同窄波段光强的重构，还降低了对光强的重构误差，同时还考虑了探测器等硬件因素的影响。将物体反射的光线经过每个编码滤光片调制后的光强值输入到训练得到的神经网络(截断网络)，即可得到各个窄波段图像，实现在物质识别、农产品监测以及医疗诊断等领域的广泛应用。

实施例

所实现的一种基于宽带编码滤光片的窄波段光强网络的重构方法，具体方案如下：

(1)确定目标的光谱范围λ_min＝400nm、λ_max＝700nm以及光强通道数L＝30、光谱分辨率Δλ₂＝1nm，则λ_min、λ_max之间的窄波段通道的光谱间隔Δλ₁＝(λ_max-λ_min)/L＝10nm，光谱通道数M＝(λ_max-λ_min)/Δλ₂+1＝301。确定光谱编码滤光片为光学薄膜滤光片，个数为N＝16。

(2)构建一个神经网络，称该网络为预测网络。将该网络的输入单元数为窄波段光强通道数30，输出单元数为宽波段光谱通道数301，中间设置2层隐层，同时每层的神经元都加入批归一化处理。选择用于训练的光强数据集为300000条CAVE，ICVL MultispectralImage Database，以及100000条随机合成的Guass曲线。训练预测网络，以达到根据窄波段光强预测光谱响应的功能。

(3)接着构建预测网络-光强感知网络。在预测网络的基础上，后面添加的第一层是一个全连接层(即编码层)，则编码层的第i(i＝1,2,…,300)个输入单元数与第j(j＝1，2，…，16)个输出单元数之间的权重W_ij代表了第j个编码滤光片在第i个光谱通道数的光谱响应值。在编码层之后设置2层隐层，每层的神经元同样做批归一化处理，来对编码层的输出值做进一步的非线性处理。整个网络输出为窄波段光强曲线。其损失函数确定为重构出来的窄波段光强值(重构值)与输入窄波段光强值(真实值)的均方误差。

(4)训练整个神经网络；将前面的预测网络部分的结构参数在训练过程中设置为不更新，将硬件层(编码层)的权重项W_ij(i＝1，2，…，300；j＝1，2，…，16)设置为制作好的编码滤光片结合探测器响应后实的际透过率，偏置项b_j(j＝1，2，…，16)全部设为0，设置为不更新参数，选择用于训练的光强数据集为300000条CAVE，ICVL Multispectral ImageDatabase，以及100000条随机合成的Guass曲线。对整个网络进行训练，不断更新网络参数。

(5)训练完成后，将整个网络从编码层后截断(保留编码层的网络节点)，得到截断网络，即窄波段光强网络，通过输入实验得到的编码后的16个光强值可以重构出30个窄波段光强值。

为验证得到的截断网络的精确性，选用一些不同光谱形状的测试集测试本发明得到的窄波段光强网络(GR网络)的重构误差，与现有的利用光谱感知网络(SED网络)(Deeplylearned broadband encoding stochastic hyperspectral imaging，Wenyi Zhang,Hongya Song,Xin HeLongqian Huang,Xiyue Zhang,Junyan Zheng,Weidong Shen,XiangHao and Xu Liu，Official journal of the CIOMP 2047-7538，)重构好光谱后再处理得到光强数据之间的误差进行对比(曲线均已做归一化处理)，发现重构误差基本都减小了一个数量级，同时对各种光谱形状数据的误差均较低，普适性较强，具体结果如图5(a)、(b)、(c)、(d)所示。

根据上一步得到的截断网络，利用深度学习的并行处理数据的能力可以实现一幅窄波段光强图像的重建。我们具体搭建的光学系统如图6所示，目标物体的光谱经过薄膜滤光片调制后，在镜头的汇聚作用下，成像到探测器上，我们可以利用前面得到的截断网络，重构出该物体的窄波段光谱数据立方。图7是用该系统和神经网络对实际的色卡的窄波段光强图像的部分重建结果。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于神经网络的窄波段光谱成像方法，其特征在于，包括：目标物体经宽带编码滤光片阵列编码、成像和探测器检测，得到对应的全波段光强信息，然后将获得的全波段光强信息输入到构建的截断网络中，获得各个窄波段图像；所述截断网络由全网络训练得到，所述全网络由前置预测网络、截断网络以及连接在两者之间的全连接层组成。

2.根据权利要求1所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述前置预测网络采用神经网络结构，输入为窄波段光强，输出为宽波段光谱，输入神经元数量为窄波段通道数，输出神经元数量为宽波段光谱通道数，中间设置若干隐层。

3.根据权利要求1所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述截断网络采用神经网络结构，输入为全波段光强，输出为窄波段光强，输入神经元数量为编码滤光片数，输出神经元数量为窄波段光强通道数，中间设置若干隐层。

4.根据权利要求1所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述全连接层中，第i个输入神经元与第j个输出神经元之间的连接权重为W_ij，代表第j个编码滤光片在第i个光谱通道的光谱响应，i＝1,2,…,M，j＝1，2，…，N，M为宽波段光谱通道数，N为编码滤光片的个数。

5.根据权利要求2所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述前置预测网络单独由窄波段光强和对应的宽波段光谱单独训练得到。

6.根据权利要求5所述的基于神经网络的窄波段光谱成像方法，其特征在于，全网络训练过程中，前置预测网络设置为不更新参数；全连接层的权重项设置为编码滤光片实际的透过率；偏置项全部设为0，设置为不更新参数。

7.根据权利要求1所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述全网络训练过程中，输入和输出均为窄波段光强值。

8.根据权利要求1所述的基于神经网络的窄波段光谱成像方法，其特征在于，所述全网络训练过程中，损失函数确定为重构出来的窄波段光强值与输入窄波段光强值的均方误差。

9.根据权利要求5所述的基于神经网络的窄波段光谱成像方法，其特征在于，前置预测网络训练过程、全网络训练过程采用的训练集均来自CAVE，ICVL Multispectral ImageDatabase。

10.根据权利要求5所述的基于神经网络的窄波段光谱成像方法，其特征在于，前置预测网络训练过程、全网络训练过程采用的训练集均由来自CAVE，ICVL MultispectralImage Database的光强数据与若干随机合成的高斯叠加曲线随机组合而成。

Images