CN117974478A - 一种可见光至近红外高光谱图像重构方法及系统 - Google Patents

Abstract

本发明提供一种可见光至近红外高光谱图像重构方法及系统，涉及计算成像技术领域；方法包括：构建的数字棱镜模型和补偿网络，通过反向设计网络对液晶微透镜阵列参数进行更新和优化，制备优化液晶微透镜阵列，并通过优化液晶微透镜阵列和基础成像部件搭建优化光场成像装置，通过优化光场成像装置采集目标场景的图像，通过反向设计网络、补偿网络和数字棱镜模型得到软硬件协同优化的高光谱重构网络，通过高光谱重构网络对目标场景的图像进行重构，生成可见光至近红外高光谱图像。通过对目标场景的图像进行光谱重构，将光谱从可见光范围扩展到近红外范围，能够在降低成本的同时，高效率且高精度的重构出可见光至近红外高光谱图像。

Description

一种可见光至近红外高光谱图像重构方法及系统

技术领域

本发明主要涉及计算成像技术领域，具体涉及一种可见光至近红外高光谱图像重构方法及系统。

背景技术

现有摄像技术中，大多为红、绿、蓝三基色数据的光谱信息组成的彩色图像或彩色视频。虽然基于三基色数据的光谱信息传感符合人类视觉系统的感知需求，但是物理世界包含了远多于三色数据的光谱信息。获取光谱信息能够为更多场景提供有效特征，解决传统灰度成像或彩色成像中“同色异谱”等问题，帮助人们准确地区分不同的物质成分。高光谱成像技术得益于空域和光谱高维数据信息获取，已广泛应用于军事、工业、农业和医学等领域。

传统的光谱成像设备需要使用色散元件或许多个窄带滤光片将光谱成分分离，但使用光学元件的体积难以缩小到普通成像探测器的大小。为了提升光谱成像速度以及减小光学元件的体积，本学术界基于压缩感知理论研究出了“快照式”的光谱成像方法。但该方法仍未摆脱使用体积较大的色散元件的问题，以及有图像重构时间远大于数据获取的时间的问题。近年来，随着深度学习技术的快速发展，将深度学习技术引入到计算光谱重构方法中，可以解决上述光谱成像的问题。目前，基于深度学习的经典高光谱重构网络主要有HSCNN+、HDNET和MST++等，这些网络只需输入一张RGB图像，即可重构出可见光高光谱图像。但是，对于同时重构出可见光至近红外高光谱图像的研究较少，且有着不少挑战。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种可见光至近红外高光谱图像重构方法及系统。

本发明解决上述技术问题的技术方案如下：

一种可见光至近红外高光谱图像重构方法，包括如下步骤：

通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。

本发明解决上述技术问题的另一技术方案如下：

一种可见光至近红外高光谱图像重构系统，包括：采集单元、构建单元、预重构单元、优化单元和重构单元；

所述采集单元，用于通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

所述构建单元，用于基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

所述预重构单元，用于通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

所述优化单元，用于构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

所述重构单元，用于通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。

本发明的有益效果是：基于深度学习技术分别构建反向设计网络、数字棱镜模型和补偿网络，通过反向设计网络获取最优的液晶微透镜阵列参数以搭建最适合采集图像数据的光场成像装置，根据分光棱镜的特性，模拟光穿过棱镜的传播过程，构建出数字棱镜模型，实现对目标图像进行重构时使光谱起到分散的效果，通过补偿网络对光谱特征图进行细节恢复，以致于在对目标场景中的图像进行光谱重构时，能够将光谱从可见光范围扩展到近红外范围，能够在降低成本的同时，高效率且高精度的重构出可见光至近红外高光谱图像。

本发明在工业检测、生物医学、医疗图像、农产品检测和遥感等领域具有较大的应用前景。

附图说明

图1为本发明实施例提供的可见光至近红外高光谱图像重构方法的流程图；

图2为本发明实施例提供的光场成像装置的示意图；

图3为本发明实施例提供的可见光至近红外高光谱图像重构系统的模块框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

同色异谱现象的出现是由于物体表面的颜色是由多种波长的光线相互混合而产生的。尽管在人眼中看起来相同，但其光谱成分存在微妙的差异。所以需要解决传统灰度成像或彩色成像中“同色异谱”等问题，来准确地区分不同的物质成分。

如图1所示，本发明实施例提供的一种可见光至近红外高光谱图像重构方法，包括如下步骤：

通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。

应理解地，本发明由数字棱镜模型和补偿网络得到初始高光谱重构网络，初始高光谱重构网络与反向设计网络级联，得到高光谱重构网络，以对目标场景的图像重构出可见光至近红外高光谱图像。

本发明实施例中，数字棱镜模型可以在光谱重构时将光谱从可见光范围扩展到近红外范围，通过网络模型构建的高光谱重构网络既不需要使用昂贵的硬件设备进行光谱成像，又提高了成像速度，扩大了光谱重构范围，能够在降低成本的同时，高效率且高精度的重构出可见光至近红外高光谱图像，解决了成像时同色异谱的问题，还可以解决更多领域中的成像问题，例如，生物医学、医疗图像、农产品检测和遥感等领域。

优选地，所述基础成像部件包括偏振片，所述通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像，具体为：

S1、对所述光场成像装置的所述液晶微透镜阵列加载电压，对目标场景进行图像采集，得到光场数据；

S2、将所述偏振片放置在所述液晶微透镜阵列前，对目标场景进行图像采集，得到偏振数据，判断是否完成预设的电压加载次数，若未完成，调整电压，并返回S1，若完成，执行S3；

S3、将所有的光场数据进行融合操作，得到全聚焦光场图像（即初始光场图像），并将所有的偏振数据进行融合操作，得到全聚焦偏振图像（即初始偏振图像）。

所述基础成像部件还包括主透镜和CCD传感器，如图2所示，根据待采集目标场景中的光的传播方向，按照主透镜、线偏振片（即偏振片）、液晶微透镜阵列和CCD传感器的布置顺序搭建光场成像装置。

应理解地，CCD传感器为电荷耦合器件，是一种常见的图像传感器。液晶微透镜阵列是由通光孔径及浮雕深度为微米级的透镜组成的阵列，它不仅具有传统透镜的聚焦、成像等基本功能，而且具有单元尺寸小、集成度高的特点，使得它能够完成传统光学元件无法完成的功能。

具体地，首先，光场成像装置中的液晶微透镜阵列需要加载电压才可以采集光场图像，每加载一次电压，得到一次光场数据，然后将多个电压下的光场数据进行融合，得到全聚焦光场图像，下一步则是输入到数字棱镜模型中进行光谱重构；其次，由光场成像装置中的偏振片和液晶微透镜阵列得到偏振图像（即不加偏振片得到光场图像，加偏振片得到偏振图像），这一步得到的偏振图像也输入到数字棱镜模型中，但需要提取偏振图像中的偏振信息（即缩放系数与偏置项），并加入到全聚焦光场图像中一起进行光谱重构。

本发明实施例中，通过对光场成像装置中的液晶微透镜阵列加载不同的电压，得到不同聚焦点的图像，再将多个聚焦点的图像进行融合，分别得到高质量的全聚焦光场图像和全聚焦偏振图像。

优选地，所述基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，具体为：

通过卷积神经网络构建初始数字棱镜模型，所述初始数字棱镜模型包括用于并行处理数据的卷积层和归一化层；

基于波动光学理论模拟光通过棱镜的传播过程，得到棱镜相位变化函数、入射波前函数和出射波前函数，通过所述棱镜相位变化函数、所述入射波前函数和所述出射波前函数对所述卷积层进行改进，得到由光谱卷积核组成的光谱卷积层，并将所述光谱卷积层替换所述卷积层，最终得到数字棱镜模型。

具体地，采用深度学习知识，通过改造传统卷积层和归一化层，构建数字棱镜模型。数字棱镜模型的结构包括由51个光谱卷积核组成的光谱卷积层（可理解地，卷积层由单个通道或多个通道的卷积核组成的神经网络层）和归一化层。

本发明实施例中，通过构建数字棱镜模型代替真实棱镜（光学元件），既实现了棱镜的分光效果，又解决了棱镜本身存在的非线性色散问题，使得色散波长可以每间隔10nm对光谱数据进行分离。

优选地，所述基于波动光学理论模拟光通过棱镜的传播过程，得到棱镜相位变化函数、入射波前函数和出射波前函数，具体为：

基于波动光学理论模拟光通过棱镜的传播过程，推导得到棱镜相位变化函数和入射波前函数，所述棱镜相位变化函数为：

，

所述入射波前函数为：

，

其中，表示棱镜相位变化函数，表示出射光的波长，n表示棱镜的折 射系数，表示在x轴方向的出射角度，表示在y轴方向的出射角度，表示入 射波前函数，表示振幅，s表示物体到棱镜的距离；

通过所述棱镜相位变化函数和所述入射波前函数构建出射波前函数，所述出射波前函数为：

，

其中，表示出射波前函数。

应理解地，通过波动光学理论中的傅里叶光学公式，来模拟光通过棱镜的菲涅尔衍射过程，推导出棱镜相位变化函数和入射波前函数；其中，光为太阳发出的白光，光通过棱镜会分散出不同颜色的光，且市面上的棱镜色散范围包含可见光和近红外，具体是根据材质更改色散范围，因此所构建的数字棱镜模型的色散范围也是可见光和近红外（即可见光至近红外），波段为400nm-900nm。由于傅里叶变换是通过波前函数来分解的，通过入射波前函数和出射波前函数可以使得棱镜模型具有二维傅里叶变换的功能，因此使用卷积层来构建数字棱镜模型。

本发明实施例中，通过推导光在棱镜中的传播过程，得到光学公式，以构建出具有棱镜特性的数字棱镜模型。

优选地，所述通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像，具体为：

通过所述光谱卷积层对所述初始光场图像进行光谱特征提取，生成初始光谱特征图，通过所述归一化层对所述初始偏振图像进行纹理特征提取，得到归一化层的缩放系数与偏置项，将所述缩放系数与所述偏置项加入到所述初始光谱特征图中，生成初始高光谱图像；

通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像。

具体地，光谱卷积层和归一化层为并行。将采集的全聚焦光场图像作为光谱卷积层的输入，将采集的全聚焦偏振图像作为归一化层的输入，全聚焦光场图像经过光谱卷积层生成光谱间隔10nm的51张初始光谱特征图，偏振图像（即全聚焦偏振图像）经过归一化层，提取图像中的纹理特征（即归一化层的缩放系数与偏置项），并分别加入到光谱间隔10nm的51张初始光谱特征图中，输出相应的光谱特征图。

应理解地，通过数字棱镜模型和补偿网络对所述目标场景的图像进行重构，生成高光谱图像，也就是初始的光谱间隔为10nm的波长范围为400nm-900nm的51张高光谱图像（即初始可见光至近红外高光谱图像）。其中，波长范围是通过数字棱镜模型重构处理后对应得出的，目前能够重构出的波长范围是400nm-900nm，400nm-700nm为可见光波段，700nm-900nm为近红外波段。

本发明实施例中，将提取到的偏振信息加入到光谱特征图中，使得更准确的重构出可见光至近红外高光谱图像。

优选地，所述基于transformer架构构建补偿网络，具体为：

将自注意力模块、残差模块和横向规范化层依次连接，得到transformer层；

所述transformer架构包括五个transformer层、两个下采样层和两个上采样层，构建补偿网络的过程为：

将第一transformer层与第一下采样层连接，将所述第一下采样层与第二transformer层连接，将所述第二transformer层与第二下采样层连接，将所述第二下采样层与第三transformer层连接，将所述第三transformer层与第一上采样层连接，将所述第一上采样层与第四transformer层连接，将所述第四transformer层与第二上采样层连接，将所述第二上采样层与第五transformer层连接，最终得到补偿网络。

应理解地，补偿网络模型（即补偿网络）通过预先构建的补偿网络训练数据集进行抽象数据学习，以对补偿网络进行训练；其中，抽象数据学习为从数据中学习到一些抽象或高层次的特征表示，以便更好地理解和推断数据的结构、模式或特征。

本发明实施例中，通过构建补偿网络，对重构后的光谱特征图进行细节恢复。

优选地，所述通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像，具体为：

通过所述第一transformer层对所述初始高光谱图像进行向量特征提取，得到第一光谱特征图，通过所述第一下采样层对所述第一光谱特征图进行下采样操作，通过所述第二transformer层对第一下采样层得到的特征图进行向量特征提取，得到第二光谱特征图，通过所述第二下采样层对所述第二光谱特征图进行下采样操作，通过所述第三transformer层对第二下采样层得到的特征图进行向量特征提取，得到第三光谱特征图，通过所述第一上采样层对所述第三光谱特征图进行上采样操作，通过所述第四transformer层对第一上采样层得到的特征图进行向量特征提取，得到第四光谱特征图，通过所述第二上采样层对所述第四光谱特征图进行上采样操作，所述第五transformer层对第二上采样层得到的特征图进行向量特征提取，得到高光谱图像，

其中，每层transformer层对输入的图像的处理过程为：通过自注意力模块对输入的图像进行加权求和，得到光谱权重特征图像，通过残差模块对所述光谱权重特征图像进行残差特征提取，得到光谱残差特征图像，通过横向规范化层对所述光谱残差特征图像进行标准化处理，得到每层transformer层对应的光谱特征图。

具体地，补偿网络由五个transformer层、两个下采样层和两个上采样层组成，其中，每个transformer层包括自注意力机制（即自注意力模块）、残差模块和横向规范化块（即横向规范化）组成。在每一层transformer层中：首先，经过自注意力模块，通过自注意力模块以产生对应位置的注意力权重，注意力权重对输入的初始高光谱图像进行加权求和，使得模型（即补偿网络）更关注具有更高权重的位置的特征，从而产生一个经过自注意力模块调控的光谱特征图。其次，经过残差模块，通过利用跳跃连接、卷积层和激活函数，确保输入残差模块和输出残差模块的光谱特征图的尺寸匹配，并减轻梯度消失的问题。接着，经过横向规范化层对光谱特征图进行标准化，有助于抵消内部协变量偏移，使得网络在训练过程中更容易收敛。

应理解地，残差模块包含多个卷积层和激活函数，图像（即光谱权重特征图像）经过残差模块的处理后，得到最终的特征表示（即光谱残差特征图像），其中，跳跃连接，会跳跃网络中的某些层（即残差模块中的某些卷积层）。Layer normalization （即横向规范化层）将网络的每一层的输入看做一个实例的集合，为集合中的每个实例进行规范化，使每个实例的均值和方差相等（也就是对输入加入条件向量来控制输出结果）。

本发明实施例中，自注意力机制减少了对外部信息的依赖，进而捕捉图像特征的内部相关性，以得到图像的权重特征。残差网络通过使用跳跃连接来解决残差模块对图像处理时的梯度消失的问题，减轻了梯度消失发生的概率。标准化操作使图像降低冗余信息，利于保证图像信息的一致性和完整性。

优选地，还包括对所述反向设计网络进行预训练的步骤：

通过液晶微透镜阵列的透过率公式对所述液晶微透镜阵列的参数进行计算，得到仿真数据集，所述液晶微透镜阵列的透过率公式为：

，

其中，表示透过率，表示液晶光轴与偏光器透射轴之间的夹角， d表示液 晶层的厚度，表示普通光的折射，表示特殊光的折射率；

通过所述仿真数据集对反向设计网络进行正向训练。

应理解地，MATLAB仿真工具是一种功能强大的数值计算和数据可视化工具。将液晶微透镜阵列的透过率公式作为程序安装在MATLAB仿真工具中，通过MATLAB仿真工具对采集到的液晶微透镜阵列参数进行变换计算。通过仿真数据集对反向设计网络进行正向预训练，实现对光谱响应曲线的预测，以便于反向设计网络对所述光谱响应曲线进行梯度反向传播。

具体地，仿真数据集的获取是根据液晶微透镜阵列的特点，利用液晶微透镜阵列对应的透过率公式和MATLAB仿真工具，通过改变器件参数（即对液晶微透镜阵列的参数进行计算）得到对应的光谱响应曲线，器件参数包括透镜数量、液晶盒厚度、圆孔单元间隔和孔径等，其中，改变器件参数后分别对应有多组液晶微透镜阵列参数，每组参数生成对应光谱响应曲线（也就是改变透镜数量、液晶盒厚度、圆孔单元间隔和孔径的数值，对应生成不同的光谱响应曲线），即仿真数据集中每一组数据包括器件参数和光谱响应曲线。

设计反向设计网络模型（即反向设计网络）的步骤为：构建反向设计网络，将器件参数作为输入，设计的结构包括全连接层、归一化层、激活层、dropout层，输出的是光谱响应曲线。反向设计网络模型的训练为：利用仿真数据集，先对反向设计网络进行正向训练，得到反向设计网络模型；调用反向设计网络模型，通过梯度反向传播更新器件参数。

反向设计网络模型的具体结构是：第一FC全连接层的输出与第一PReLU激活层的输入连接，第一PReLU激活层的输出与第二FC全连接层的输入连接，第二FC全连接层的输出与第一BN归一化层的输入连接，第一BN归一化层的输出与第二PReLU激活层的输入连接，第二PReLU激活层的输出与第三FC全连接层的输入连接，第三FC全连接层的输出与第二BN归一化层的输入连接，第二BN归一化层的输出与第三PReLU激活层的输入连接，第三PReLU激活层的输出与第四FC全连接层的输入连接，第四FC全连接层的输出与sigmoid激活层的输入连接，sigmoid激活层的输出与dropout层的输入连接。可以理解为4（即液晶微透镜阵列的透镜数量、液晶盒厚度、圆孔单元间隔和孔径的数值）→FC（即第一FC全连接层）→PReLU（即第一PReLU激活层）→FC（即第二FC全连接层）→BN（即第一BN归一化层）→ PReLU（即第二PReLU激活层）→FC（即第三FC全连接层）→BN（即第二BN归一化层）→PReLU（即第三PReLU激活层）→FC（即第四FC全连接层）→51（即光谱响应曲线条数）→sigmoid（即sigmoid激活层）→dropout层。

其中，PReLU激活层是参数化的激活函数，包含一个可学习的参数（通常用权重表示），这个参数在训练过程中被学习得到，且PReLU激活层可以一定程度上缓解梯度消失问题，使得反向传播更容易传递梯度。dropout层的作用是防止模型过拟合，提升模型泛化能力。

本发明实施例中，对反向设计网络进行正向训练可以保证获得的参数具有唯一性。

优选地，所述通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，具体为：

从所述高光谱图像中提取光谱响应曲线，并通过所述反向设计网络对所述光谱响应曲线进行梯度反向传播，得到液晶微透镜阵列参数。

梯度反向传播是指在神经网络（即反向设计网络）中，通过反向传播误差信号来计算网络中每个参数的梯度，然后根据梯度来更新参数，使得网络的目标函数能够得到最优解。

应理解地，提取初始高光谱图像的光谱响应曲线，通过将光谱响应曲线输入反设计网络中，得到更精确的制备液晶微透镜阵列的参数，以用于制备优化制备液晶微透镜阵列，进而搭建优化光场成像装置来采集更准确的目标图像（即光场图像和偏振图像），以重构出更精确的可见光至近红外高光谱图像。

本发明实施例中，通过设计的反向设计网络可以挖掘出器件的电控特性的潜力，制备优化液晶微透镜阵列，使得对光场图像采集效率时达到理想状态，通过仿真数据集对反向设计网络进行训练，使其学习光谱响应与器件参数之间的对应关系，得到最优器件参数；且根据最优器件参数制备一次最优液晶微透镜阵列，进而搭建的优化光场成像装置就可以适应各种场景进行图像采集。

优选地，还包括通过由数字棱镜模型和补偿网络得到初始高光谱重构网络，初始高光谱重构网络与反向设计网络级联，得到高光谱重构网络，对所述高光谱重构网络进行训练的步骤：

通过所述光场成像装置对不同目标场景进行图像采集，得到多个目标场景对应的测试目标图像；

导入预先采集的与不同目标场景对应的多波段测试光谱图像；

分别将属于同一目标场景的所述测试目标图像和所述多波段测试光谱图像进行图像配准，得到各个目标场景对应的数据组；

通过多个所述数据组对所述高光谱重构网络进行训练。

具体地，构建数据集（即得到各个目标场景对应的数据组）为：

利用光场成像装置和光谱成像装置，分别同时采集某一场景下的目标图像（由光场成像装置采集得到，包括测试光场图像和测试偏振图像）和多波段光谱图像（即多波段测试光谱图像，由光谱成像装置采集得到），并对采集到的测试目标图像和多波段光谱图像进行图像配准，形成一组数据对（即一组数据组）；反复采集不同场景，制备多组数据对。

通过多个所述数据组对所述高光谱重构网络进行训练，包括：

将多组数据对划分为80%的训练数据、10%的验证数据和10%的测试数据；

通过训练数据对所述高光谱重构网络进行训练为：用训练数据训练高光谱重构网络，并保存训练后的高光谱重构网络模型（即高光谱重构网络）；

通过验证数据对所述高光谱重构网络进行训练为：利用保存的高光谱重构网络模型对验证数据进行预测（即重构），生成验证可见光至近红外高光谱图像，并采用PSNR和SSIM等评估指标来评估高光谱重构网络模型的可靠性以及可行性，根据评估指标更新高光谱重构网络模型；

通过预测数据对所述高光谱重构网络进行训练为：通过更新的高光谱重构网络模型对测试数据进行预测，生成预测可见光至近红外高光谱图像，也就是通过预测数据证明最终更新的高光谱重构网络模型可以重构出所需的光谱图像。

可理解地，多组数据对（即训练数据或验证数据或测试数据）对所述高光谱重构网络进行训练的过程为：

通过数字棱镜模型对数据对中的光场图像和偏振图像进行预测，得到初始高光谱图像，通过补偿网络对初始高光谱图像进行优化，得到高光谱图像，从高光谱图像中提取光谱响应曲线，通过反向设计网络对光谱响应曲线进行梯度反向传播，得到液晶微透镜阵列参数。通过数据对中的多波段测试光谱图像对高光谱图像进行比对，得到训练时的误差值，根据误差值优化高光谱重构网络的参数。

具体地，数字棱镜模型的输出与补偿网络的输入连接，补偿网络的输出与反向设计网络的反向输入端级联，得到高光谱重构网络；其中，由于反向设计网络的正向处理过程的输入是器件参数，输出是光谱响应曲线，反向处理过程的输入是光谱响应曲线，输出是器件参数；故将补偿网络的输出与反向设计网络的反向输入端相连（可理解为，按照正向处理过程来解释为：补偿网络的输出与反向设计网络的输出相连）。

反向设计网络能够优化液晶微透镜阵列的参数，以制备优化液晶微透镜阵列，进而得到更准确的光场图像和偏振图像。由数字棱镜模型与补偿网络得到初始高光谱重构网络，与反向设计网络级联能够使初始高光谱重构网络重构出高精度的可见光至近红外高光谱图像。

多波段测试光谱图像由光谱成像装置对同一所述目标场景（即与所述光场成像装置采集图像时相同的场景）进行采集得到。

应理解地，光谱成像装置（即光谱成像仪）是一种能够同时获取光谱特征和空间图像信息的基本设备。多波段的测试光谱图像为一张光谱图像包括多个波段（即包括可见光波段和近红外光波段等）。图像配准是将在同一场景下，但不同时间点或不同视角或不同采集设备拍摄的多幅图像进行匹配或叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。

本发明实施例中，通过数据集对高光谱重构网络进行训练，使高光谱重构网络在对目标场景的图像进行重构时，能够高效且精准的重构出可见光至近红外高光谱图像。

如图3所示，本发明实施例提供的一种可见光至近红外高光谱图像重构系统，包括：采集单元、构建单元、预重构单元、优化单元和重构单元；

所述采集单元，用于通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

所述构建单元，用于基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

所述预重构单元，用于通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

所述优化单元，用于构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

所述重构单元，用于通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。

上述一种可见光至近红外高光谱图像重构系统，可以参见如上对一种可见光至近红外高光谱图像重构方法进行具体描述的实施内容及其有益效果，在此不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种可见光至近红外高光谱图像重构方法，其特征在于，包括如下步骤：

通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。

2.根据权利要求1所述的可见光至近红外高光谱图像重构方法，其特征在于，所述基础成像部件包括偏振片，所述通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像，具体为：

S1、对所述光场成像装置的所述液晶微透镜阵列加载电压，对目标场景进行图像采集，得到光场数据；

S2、将所述偏振片放置在所述液晶微透镜阵列前，对目标场景进行图像采集，得到偏振数据，判断是否完成预设的电压加载次数，若未完成，调整电压，并返回S1，若完成，执行S3；

S3、将所有的光场数据进行融合操作，得到初始光场图像，并将所有的偏振数据进行融合操作，得到初始偏振图像。

3.根据权利要求1所述的可见光至近红外高光谱图像重构方法，其特征在于，所述基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，具体为：

通过卷积神经网络构建初始数字棱镜模型，所述初始数字棱镜模型包括用于并行处理数据的卷积层和归一化层；

基于波动光学理论模拟光通过棱镜的传播过程，得到棱镜相位变化函数、入射波前函数和出射波前函数，通过所述棱镜相位变化函数、所述入射波前函数和所述出射波前函数对所述卷积层进行改进，得到由光谱卷积核组成的光谱卷积层，并将所述光谱卷积层替换所述卷积层，最终得到数字棱镜模型。

4.根据权利要求3所述的可见光至近红外高光谱图像重构方法，其特征在于，所述基于波动光学理论模拟光通过棱镜的传播过程，得到棱镜相位变化函数、入射波前函数和出射波前函数，具体为：

基于波动光学理论模拟光通过棱镜的传播过程，推导得到棱镜相位变化函数和入射波前函数，所述棱镜相位变化函数为：

，

所述入射波前函数为：

，

其中，表示棱镜相位变化函数，/>表示出射光的波长，n表示棱镜的折射系数，/>表示在x轴方向的出射角度，/>表示在y轴方向的出射角度，/>表示入射波前函数，/>表示振幅，s表示物体到棱镜的距离；

通过所述棱镜相位变化函数和所述入射波前函数构建出射波前函数，所述出射波前函数为：

，

其中，表示出射波前函数。

5.根据权利要求3所述的可见光至近红外高光谱图像重构方法，其特征在于，所述通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像，具体为：

通过所述光谱卷积层对所述初始光场图像进行光谱特征提取，生成初始光谱特征图，通过所述归一化层对所述初始偏振图像进行纹理特征提取，得到归一化层的缩放系数与偏置项，将所述缩放系数与所述偏置项加入到所述初始光谱特征图中，生成初始高光谱图像；

通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像。

6.根据权利要求5所述的可见光至近红外高光谱图像重构方法，其特征在于，所述基于transformer架构构建补偿网络，具体为：

将自注意力模块、残差模块和横向规范化层依次连接，得到transformer层；

所述transformer架构包括五个transformer层、两个下采样层和两个上采样层，构建补偿网络的过程为：

将第一transformer层与第一下采样层连接，将所述第一下采样层与第二transformer层连接，将所述第二transformer层与第二下采样层连接，将所述第二下采样层与第三transformer层连接，将所述第三transformer层与第一上采样层连接，将所述第一上采样层与第四transformer层连接，将所述第四transformer层与第二上采样层连接，将所述第二上采样层与第五transformer层连接，最终得到补偿网络。

7.根据权利要求6所述的可见光至近红外高光谱图像重构方法，其特征在于，所述通过所述补偿网络对所述初始高光谱图像进行优化，生成高光谱图像，具体为：

通过所述第一transformer层对所述初始高光谱图像进行向量特征提取，得到第一光谱特征图，通过所述第一下采样层对所述第一光谱特征图进行下采样操作，通过所述第二transformer层对第一下采样层得到的特征图进行向量特征提取，得到第二光谱特征图，通过所述第二下采样层对所述第二光谱特征图进行下采样操作，通过所述第三transformer层对第二下采样层得到的特征图进行向量特征提取，得到第三光谱特征图，通过所述第一上采样层对所述第三光谱特征图进行上采样操作，通过所述第四transformer层对第一上采样层得到的特征图进行向量特征提取，得到第四光谱特征图，通过所述第二上采样层对所述第四光谱特征图进行上采样操作，所述第五transformer层对第二上采样层得到的特征图进行向量特征提取，得到高光谱图像，

其中，每层transformer层对输入的图像的处理过程为：通过自注意力模块对输入的图像进行加权求和，得到光谱权重特征图像，通过残差模块对所述光谱权重特征图像进行残差特征提取，得到光谱残差特征图像，通过横向规范化层对所述光谱残差特征图像进行标准化处理，得到每层transformer层对应的光谱特征图。

8.根据权利要求1所述的可见光至近红外高光谱图像重构方法，其特征在于，还包括对所述反向设计网络进行预训练的步骤：

通过液晶微透镜阵列的透过率公式对所述液晶微透镜阵列的参数进行计算，得到仿真数据集，所述液晶微透镜阵列的透过率公式为：

，

其中，t(x，y)表示透过率，表示液晶光轴与偏光器透射轴之间的夹角， d表示液晶层的厚度，/>表示普通光的折射，/>表示特殊光的折射率；

通过所述仿真数据集对反向设计网络进行正向训练。

9.根据权利要求1所述的可见光至近红外高光谱图像重构方法，其特征在于，所述通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，具体为：

从所述高光谱图像中提取光谱响应曲线，并通过所述反向设计网络对所述光谱响应曲线进行梯度反向传播，得到液晶微透镜阵列参数。

10.一种可见光至近红外高光谱图像重构系统，其特征在于，包括：采集单元、构建单元、预重构单元、优化单元和重构单元；

所述采集单元，用于通过液晶微透镜阵列和基础成像部件搭建光场成像装置，通过所述光场成像装置对目标场景进行图像采集，得到初始光场图像和初始偏振图像；

所述构建单元，用于基于波动光学理论模拟光通过棱镜的传播过程构建数字棱镜模型，基于transformer架构构建补偿网络；

所述预重构单元，用于通过所述数字棱镜模型和所述补偿网络对所述初始光场图像和所述初始偏振图像进行重构，生成高光谱图像；

所述优化单元，用于构建反向设计网络，通过所述反向设计网络对所述高光谱图像进行反向预测，得到液晶微透镜阵列参数，所述液晶微透镜阵列参数用于作为制备优化液晶微透镜阵列的参数，并通过所述优化液晶微透镜阵列和所述基础成像部件搭建优化光场成像装置；

所述重构单元，用于通过所述优化光场成像装置对目标场景进行图像采集，得到光场图像和偏振图像，通过所述数字棱镜模型和所述补偿网络对所述光场图像和所述偏振图像进行重构，生成可见光至近红外高光谱图像。