CN115601611B - 一种适应曝光变化的深度学习光谱重建方法及系统 - Google Patents

Abstract

本发明公开了一种适应曝光变化的深度学习光谱重建方法及系统，首先收集现有公开的多光谱图像数据集，并以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像，得到包含成对数据的完整样本集。然后构建深度学习模型框架，在模型训练时，通过对输入的raw格式数字图像的任一列像素点随机乘以一个曝光调整系数，使模型能够适应不同曝光水平的图像，并对重建的多光谱乘以曝光调整系数的倒数，从而完成重建多光谱的幅值校正。利用训练样本集对模型进行训练，并利用验证样本集对模型进行调参，计算验证样本集的光谱重建误差，直至验证样本集光谱重建误差达到收敛状态，完成模型训练，得到适应曝光变化的深度学习光谱重建模型。

Description

一种适应曝光变化的深度学习光谱重建方法及系统

技术领域

本发明属于计算机数字图像处理技术领域，具体涉及一种适应曝光变化的深度学习光谱重建方法及系统。

背景技术

视觉细胞能够感知可见光范围内的光辐射，并将形成的刺激信号传输至大脑皮层，使得人类可以感知到彩色世界。同样的彩色数码相机通过模拟视觉感知机理，利用彩色滤光片阵列传感器和图像后处理技术，可以将自然场景的辐射光谱信息记录为一幅符合人类视觉效果的RGB图像。但是彩色数码相机的成像技术对颜色的表达能力和对物质物化属性的表征能力十分有限，因为可见光谱中所包含的物质信息远远超出RGB数据所能表征的范围。众所周知，光谱是颜色信息的指纹，其可以有效克服光源和观察者对颜色复制和物质属性表征的影响，常被用于食品检测、彩绘文物虚拟修复、皮肤健康监测等领域。此外，在计算机视觉领域，多光谱图像数据有助于提升检测准确度。然而，由于分光光度计、光谱相机和光谱辐射度计等多光谱成像设备的局限性，使得当前无法快速获取高空间分辨率的多光谱图像，这制约着多光谱图像的普适性应用。因此通过数码相机获取的RGB图像进行场景的多光谱重建受到诸多领域研究者的关注。

基于RGB的光谱重建属于病态逆问题的求解范畴，虽然理论上同一RGB数据可能对应完全不同的光谱反射率数据，但在自然场景中RGB数据与相应多光谱图像之间存在紧密关联性，通过学习的方法能够建立RGB数据与其相应多光谱图像之间的映射关系，获取相当准确的光谱重建结果。光谱重建技术能够克服现有光谱相机在开放环境应用时的局限性，快速获取高空间分辨率的多光谱图像。

现有光谱重建方法主要分为机器学习方法与深度学习方法两大类，这些方法通过训练样本建立RGB到多光谱图像之间的映射关系，实现基于RGB的光谱重建。但现有方法在适应曝光变化方面存有缺陷，模型无法适应测试图像的曝光多变性与非均匀曝光，即在同一光源照明的某一成像曝光水平下建立的光谱重建模型，无法直接应用于另一曝光水平进行光谱重建，这将导致重建光谱曲线发生形变，丢失其应有的光谱特征信息。针对上述的问题，目前国内外的尚未提出较好的应对解决方法。

发明内容

本发明的目的是为了解决背景技术中所述问题，提出一种适应曝光变化的深度学习光谱重建方法及系统。

针对上述现有研究中存在的问题，本发明提出了解决问题的方法。首先收集现有公开的多光谱图像数据集，并以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像，得到包含成对数据的完整样本集。然后构建深度学习模型框架，用以训练适应曝光的深度学习光谱重建模型。在模型训练时，通过对输入的raw格式数字图像的任一列像素点随机乘以一个曝光调整系数，使模型能够适应不同曝光水平的图像，并对重建的多光谱乘以曝光调整系数的倒数，从而完成重建多光谱的幅值校正。利用训练样本集对模型进行训练，并利用验证样本集对模型进行调参，计算验证样本集的光谱重建误差，直至验证样本集光谱重建误差达到收敛状态，完成模型训练，得到适应曝光变化的深度学习光谱重建模型。

本发明的技术方案为一种适应曝光变化的深度学习光谱重建方法，具体包括以下步骤：

步骤1，收集现有公开的多光谱图像数据集；

步骤2，以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像；

步骤3，以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集；

步骤4，将完整样本集按照M:N的比例，分为训练样本集和验证样本集；

步骤5，构建深度学习光谱重建模型框架；

步骤6，利用训练样本集对模型进行训练；

步骤7，模型训练过程中，利用损失函数结果对模型参数进行调整；

步骤8，监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态；

步骤9，得到适应曝光变化的深度学习光谱重建模型用于实现光谱重建。

进一步的，步骤1中，现有公开多光谱图像数据集的收集，主要参考学术论文和国际图像增强挑战赛中已公开发表的数据集，如‘Sparse Recovery of HyperspectralSignal from Natural RGB Images’、‘NTIRE 2018Challenge on SpectralReconstruction from RGB Images’、‘NTIRE 2020 Challenge on SpectralReconstruction from an RGB Image’、‘NTIRE 2022 Spectral Recovery Challenge andData Set’等。

进一步的，步骤2中，以成像理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像的方法具体如下：

在多光谱图像的每个像素处，都会记录高分辨率反射光谱。多光谱图像和raw格式数字图像之间的关系可以表示为：

其中(u,v)表示空间坐标，λ指示多光谱图像波长，i指示数码相机第i个成像通道，R(u,v,λ)指示多光谱图像，L(u,v,λ)为光源的相对光谱功率分布，s_i(λ)表示数码相机第i个通道的光谱灵敏度函数，I_i(u,v)表示多与光谱图像R(u,v,λ)对应的raw格式数字图像。

进一步的，步骤3中，以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集的具体执行方法为：

1).读取多光谱图像与其对应的raw格式数字图像；

2).分别对数据进行最大值归一化处理；

3).以归一化后的多光谱图像及对应raw格式数字图像为基础，随机抽取40×40像素大小的样本对；

4).将随机抽取的40×40像素大小样本进行存储，供模型训练和验证调用；

5).得到完整样本集。

进一步的，步骤4中，将完整样本集按照M:N的比例，将完成样本集随机分为训练样本集和验证样本集。通常训练样本集与验证样本集的比例为9:1，即对于完整样本集而言，通常随机抽取其中90％的部分作为训练样本集，以训练模型，将其余的10％作为验证样本集，用以在模型训练过程中调整模型参数。

进一步的，步骤5中，构建深度学习光谱重建模型框架的方法具体如下：

利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性，利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模。假设给定raw格式数字图像及其对应的多光谱图像，那么二者之间的映射方法可以描述如式(2)所示形式：

r＝f(d)                               (2)

其中，d表示raw格式数字图像响应值，r表示对应的光谱发射率数据，f(·)表示raw格式数字图像和多光谱图像之间的映射关系。假设已知raw格式数字图像空间到光谱空间的映射模型f(·)，对于任意给定的d，即可利用式(2)计算得到其对应反射反射率r。

基于上述光谱重建原理，本发明构建了如附图2所示的深度学习框架。首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征，然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征。其中，相对于传统残差结构，采用密集连接网络能够提升图像通道特征的利用率，大幅减少网络参数，并且在一定程度上减缓了梯度消失问题，其公式示意如下：

x_l＝F_l([x₀,x₁,…，x_l-1])                         (3)

其中，x_l表示密集块的第l层的输出，F_l(·)表示l层的非线性映射，[x₀,x₁,…,x_1-1]表示将(0～l-1)层输出的特征图合并。

最后，利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像。模型中每层卷积均采用Relu激活函数其公式描述如下：

f(x)＝max(0,x)                              (4)

其中，x表示输入，max()表示获取输入值x与0之间的最大值。

进一步的，步骤6中，利用训练样本集对模型进行训练的方法具体如下：

1).对输入的图像每一列数据随机乘以一个曝光调整系数k；

2).将经过曝光系数调整的图像数据样本输入模型；

3).将模型重建得到的多光谱图像乘以曝光调整系数的倒数1/k。

进一步的，步骤7中，利用损失函数数值对模型进行调整的方法如下：

对模型中所用训练样本集与验证样本集分别计算损失结果，其中所用损失函数包括式(5)至式(7)所示三种，总的损失函数为三种损失函数的求和，如式(8)所示：

loss₁＝||M_rec-M_gro||₁                              (5)

loss₂＝||pro(M_rec)-pro(M_gro)||₁                         (6)

loss_ssim＝1-ssim(M_rec,M_gro)                           (7)

loss＝loss₁+loss₂+loss_ssim                           (8)

其中||·||₁代表第一范数，式中ssim计算公式如式(9)所示：

其中，M_rec表示重建光谱图像，M_gro表示真实光谱图像，Pro(·)表示投影算子。以x代表任意重建光谱图像M_rec，y代表相应真实光谱图像M_gro，则公式(9)中w_x表示图像x在窗口w内的区域，

是w_x的均值。变量

变量w_x的方差，变量

是w_x和w_y的协方差，

w_y和

代表意义相同。最后，依据上述公式分别计算模型中训练样本集与验证样本集的重建多光谱图像与真实多光谱图像之间的误差，并利用训练样本集与验证样本集的重建误差对模型中的权重与超参进行更新与调整。

进一步的，步骤8中，判断训练样本集与验证样本集光谱重建误差达到收敛状态的方法为：设定误差阈值Th和误差波动阈值Td，当连续n次迭代之间的误差变化都低于Th，且误差波动阈值均小于Td时，判定模型达到收敛状态。

进一步的，步骤9中，在模型收敛时，保存得到适应曝光变化的深度学习光谱重建模型。

本发明还提供一种适应曝光变化的深度学习光谱重建系统，包括如下模块：

数据集采集模块，用于收集现有公开的多光谱图像数据集；

raw格式计算模块，用于以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像；

样本集构建模块，用于以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集；

样本集划分模块，用于将完整样本集按照M:N的比例，分为训练样本集和验证样本集；

模型构建模块，用于构建深度学习光谱重建模型框架；

模型训练模块，用于利用训练样本集对模型进行训练；

参数调整模块，用于模型训练过程中，利用损失函数结果对模型参数进行调整；

误差监测模块，用于监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态；

模型输出模块，用于得到适应曝光变化的深度学习光谱重建模型并输出。

进一步的，模型构建模块中，构建深度学习光谱重建模型框架的方法具体如下：

利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性，利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模，假设给定raw格式数字图像及其对应的多光谱图像，那么二者之间的映射方法可以描述如式(2)所示形式：

r＝f(d)                               (2)

其中，d表示raw格式数字图像响应值，r表示对应的光谱发射率数据，f(·)表示raw格式数字图像和多光谱图像之间的映射关系，假设已知raw格式数字图像空间到光谱空间的映射模型f(·)，对于任意给定的d，即可利用式(2)计算得到其对应反射反射率r；

基于上述光谱重建原理构建深度学习框架：首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征，然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征；密集连接的公式示意如下：

x_l＝F_l([x₀,x₁,…，x_l-1])                         (3)

其中，x_l表示密集块的第l层的输出，F_l(·)表示l层的非线性映射，[x₀,x₁,…,x_1-1]表示将0～l-1层输出的特征图合并；

最后，利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像，模型中每层卷积均采用Relu激活函数其公式描述如下：

f(x)＝max(0,x)                              (4)

其中，x表示输入，max()表示获取输入值x与0之间的最大值。

本发明针对现有光谱重建方法无法适应同一照明光源下的曝光水平变化或者光照不均匀的问题，以神经网络模型为基础，首先对训练数据中的RGB图像进行数据增强并在损失函数中对重建的多光谱图像进行倒数校正，以期模型学习到曝光不变的特征信息，克服了现有方法的曝光变化敏感性，然后进一步利用现有网络中的密集连接层与卷积层，提升了多光谱图像的重建精度，保证了不同曝光水下光谱曲线特征准确重建，有效支撑了大幅面艺术文物和非实验室环境下的高精度多光谱成像。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的适应曝光变化的深度学习光谱重建模型框架。

图3为本发明实施例中一个像素点的多光谱图像重建结果。

具体实施方式

本发明技术方案具体实施时可由本领域技术人员采用计算机软件技术运行，结合提供本发明实施例具体描述如下。

如图1所示，实施例中提供了一种适应曝光变化的深度学习光谱重建方法及系统，可以有效解决现有光谱重建算法曝光敏感性问题，即光谱重建方法在一种曝光水平下建立的光谱重建模型，无法直接在另一曝光水平下进行光谱重建应用，否则将导致重建光谱曲线的形状特征偏离真实光谱。实例中以NTIRE2018多光谱数据集为基础，利用python程序设计语言与Matlab 2016b软件平台对本发明方法进行具体说明。需要说明的是，本发明并不仅仅局限于上述数据样本和应用支持，对于任意能实现上述设备功能的同等性质的设备同样适用。

实施例主要包括以下步骤：

1、收集现有公开的多光谱图像数据集。

实施例中，参考现有学术论文和国际图像增强挑战赛中已公开发表的数据集后，选用NTIRE2018多光谱数据集作为样本数据，该数据集是从ICVL数据集扩展而来的。ICVL数据集包括使用Specim PS Kappa DX4高光谱相机拍摄的203张图像。每幅图像的空间分辨率为1392×1300，31个连续的波段范围从每个图像中提取，范围为400–700nm间隔为10nm。在NTIRE2018挑战赛中，补充53张具有相同空间和光谱分辨率的额外图像，进一步扩展了该数据集。实验中使用256张高分辨率高光谱图像作为训练数据。此外，进一步引入NTIRE2018中所提供的另外5张多光谱验证图像作为测试数据。

2、以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像。

实施例中，以成像理论成像模型与CIE1964标准观察者颜色匹配为基础，计算每幅多光谱图像对应的raw格式数字图像的方法具体如下：

在多光谱图像的每个像素处，都会记录高分辨率反射光谱。多光谱图像和raw格式数字图像之间的关系可以表示为：

其中(u,v)表示空间坐标，λ指示多光谱图像波长，i指示数码相机第i个成像通道，R(u,v,λ)指示多光谱图像，L(u,v,λ)为光源的相对光谱功率分布，s_i(λ)表示数码相机第i个通道的光谱灵敏度函数，I_i(u,v)表示多与光谱图像R(u,v,λ)对应的raw格式数字图像。

3、以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集。

实施例中，以多光谱图像与其对应的raw格式图像为基础，并利用Matlab软件平台构成成对数据的完整样本集的具体执行方法为：

1).读取多光谱图像与其对应的raw格式数字图像；

2).分别对数据进行最大值归一化处理；

3).以归一化后的多光谱图像及对应raw格式数字图像为基础，随机抽取40×40像素大小的样本对；

4).将随机抽取的40×40像素大小样本进行存储，供模型训练和验证调用；

5).得到完整样本集。

步骤4，将完整样本集按照M:N的比例，分为训练样本集和验证样本集。

实施例中，将完整样本集按照9:1的比例，即对于完整样本集而言，随机抽取230副图像作为训练样本集，以训练模型，将25副多光谱图像作为验证样本集，用以在模型训练过程中调整模型参数。

5、构建深度学习光谱重建模型框架，用以训练适应曝光的深度学习光谱重建模型。

实施例中，构建深度学习光谱重建模型框架的方法具体如下：

利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性，利用Python程序设计语言与Tensorflow深度学习框架法，直接对raw格式数字图像和多光谱图像之间的映射关系进行建模。假设给定raw格式数字图像及其对应的多光谱图像，那么二者之间的映射方法可以描述如式(2)所示形式：

r＝f(d)                               (2)

其中，d表示raw格式数字图像响应值，r表示对应的光谱发射率数据，f(·)表示raw格式数字图像和多光谱图像之间的映射关系。假设已知raw格式数字图像空间到光谱空间的映射模型f(·)，对于任意给定的d，即可利用式(2)计算得到其对应反射反射率r。

基于上述光谱重建原理，本发明构建了如附图2所示的深度学习框架。首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征，然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征。其中，相对于传统残差结构，采用密集连接网络能够提升图像通道特征的利用率，大幅减少网络参数，并且在一定程度上减缓了梯度消失问题，其公式示意如下：

x_l＝F_l([x₀,x₁,…，x_l-1])                         (3)

其中，x_l表示密集块的第l层的输出，F_l(·)表示l层的非线性映射，[x₀,x₁,…,x_1-1]表示将(0～l-1)层输出的特征图合并。

最后，利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像。模型中每层卷积均采用Relu激活函数其公式描述如下：

f(x)＝max(0,x)                              (4)

其中，x表示输入，max()表示获取输入值x与0之间的最大值。

6、利用训练样本集对模型进行训练。

实施例中，利用训练样本集对模型进行训练的方法具体如下：

1、对输入的数据成本对乘以一随机曝光调整矩阵k(大小为40×40)，矩阵每一列均乘以不同的曝光调整系数；

2、将经过曝光矩阵调整的数据样本输入模型；

3、将模型所重建的多光谱图像乘以曝光调整矩阵的倒数1/k，以期模型学习到曝光不变特征。

步骤7，模型训练过程中，利用损失函数结果对模型参数进行调整。

实施例中，利用损失函数数值对模型进行调整的方法如下：

对模型中所用训练样本集与验证样本集分别计算损失结果，其中所用损失函数包括式(5)至式(7)所示三种，总的损失函数为三种损失函数的求和，如式(8)所示：

loss₁＝||M_rec-M_gro||₁                              (5)

loss₂＝||pro(M_rec)-pro(M_gro)||₁                         (6)

loss_ssim＝1-ssim(M_rec,M_gro)                           (7)

loss＝loss₁+loss₂+loss_ssim                           (8)

其中||·||₁代表第一范数，式中ssim计算公式如下所示：

其中，M_rec表示重建光谱图像，M_gro表示真实光谱图像，Pro(·)表示投影算子，以x代表任意重建光谱图像M_rec，y代表相应真实光谱图像M_gro，则公式(9)中w_x表示图像x在窗口w内的区域，

是w_x的均值，变量

变量w_x的方差，变量

是w_x和w_y的协方差，实例中w的取值为11。最后，依据上述公式分别计算模型中训练样本集与验证样本集的重建多光谱图像与真实多光谱图像之间的误差，并利用训练样本集与验证样本集的重建误差对模型中的权重与超参进行更新与调整。

步骤8，监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态。

实施例中，判断训练样本集与验证样本集光谱重建误差达到收敛状态的方法为，当连续20次迭代的误差变化都低于0.04，且误差波动阈值均小于0.001时，判定模型达到收敛状态。

步骤9，得到适应曝光变化的深度学习光谱重建模型用于实现光谱重建。

实施例中，在模型收敛时，保存得到适应曝光变化的深度学习光谱重建模型。

本发明实施例还提供一种适应曝光变化的深度学习光谱重建系统，包括如下模块：

数据集采集模块，用于收集现有公开的多光谱图像数据集；

raw格式计算模块，用于以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像；

样本集构建模块，用于以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集；

样本集划分模块，用于将完整样本集按照M:N的比例，分为训练样本集和验证样本集；

模型构建模块，用于构建深度学习光谱重建模型框架；

模型训练模块，用于利用训练样本集对模型进行训练；

参数调整模块，用于模型训练过程中，利用损失函数结果对模型参数进行调整；

误差监测模块，用于监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态；

模型输出模块，用于得到适应曝光变化的深度学习光谱重建模型并输出。

各模块的具体实现方式与各步骤相应，本发明不予撰述。

本发明针对现有光谱重建方法无法适应同一照明光源下的曝光水平变化或者光照不均匀的问题，以神经网络模型为基础，首先对训练数据中的RGB图像进行数据增强并在损失函数中对重建的多光谱图像进行倒数校正，以期模型学习到曝光不变的特征信息，初步克服了现有方法的曝光变化敏感性，然后进一步利用现有网络中的密集连接层与卷积层，提升了多光谱图像的重建精度，保证了不同曝光水下光谱曲线特征准确重建，有效支撑了大幅面艺术文物和非实验室环境下的高精度多光谱成像。

实施例中，以NITRE2018数据集为训练样本建立光谱重建模型，在测试样本上多光谱图像的重建结果如图3中所示，图3中给出了本发明方法与现有四种常用光谱重建方法的对比情况，其中‘Proposed’为本发明方法，‘M1’、‘M2’、‘M3’、‘M4’依次代表文献[1]至文献[4]提出的光谱重建算法，从中可以直观的看出，本发明无论在同等曝光条件下还是在曝光改变时，光谱重建的整体精度变化幅度较小，从而证明了本发明中所提出的方法的优越性。

[1]Zhang J,Sun Y,Chen J,et al.Deep-learning-based hyperspectralrecovery from a single RGB image[J].Optics letters,2020,45(20):5676-5679.

[2]Shi Z,Chen C,Xiong Z,et al.Hscnn+:Advanced cnn-based hyperspectralrecovery from rgb images[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition Workshops.2018:939-947.

[3]Galliani S,Lanaras C,Marmanis D,et al.Learned spectral super-resolution[J].arXiv preprint arXiv:1703.09470,2017.

[4]Yan Y,Zhang L,Li J,et al.Accurate spectral super-resolution fromsingle RGB image using multi-scale CNN[C]//Chinese Conference on PatternRecognition and Computer Vision(PRCV).Springer,Cham,2018:206-217.

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种适应曝光变化的深度学习光谱重建方法，其特征在于，包括如下步骤：

步骤1，收集现有公开的多光谱图像数据集；

步骤2，以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像；

步骤3，以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集；

步骤4，将完整样本集按照M:N的比例，分为训练样本集和验证样本集；

步骤5，构建深度学习光谱重建模型框架；

构建深度学习光谱重建模型框架的方法具体如下：

利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性，利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模，假设给定raw格式数字图像及其对应的多光谱图像，那么二者之间的映射方法描述如式(2)所示形式：

r＝f(d)                               (2)

其中，d表示raw格式数字图像响应值，r表示对应的光谱发射率数据，f(·)表示raw格式数字图像和多光谱图像之间的映射关系，假设已知raw格式数字图像空间到光谱空间的映射模型f(·)，对于任意给定的d，即可利用式(2)计算得到其对应反射反射率r；

基于上述光谱重建原理构建深度学习框架：首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征，然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征；密集连接的公式示意如下：

x_l＝F_l([x₀,x₁,…，x_l-1])                         (3)

其中，x_l表示密集块的第l层的输出，F_l(·)表示l层的非线性映射，[x₀,x₁,…,x_l-1]表示将0～l-1层输出的特征图合并；

最后，利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像，模型中每层卷积均采用Relu激活函数其公式描述如下：

f(x)＝max(0,x)                              (4)

其中，x表示输入，max()表示获取输入值x与0之间的最大值；

步骤6，利用训练样本集对模型进行训练；

利用训练样本集对模型进行训练的方法具体如下：

61、对输入的数据成本对乘以一随机曝光调整矩阵k，矩阵每一列均乘以不同的曝光调整系数；

62、将经过曝光矩阵调整的数据样本输入模型；

63、将模型所重建的多光谱图像乘以曝光调整矩阵的倒数1/k，以期模型学习到曝光不变特征；

步骤7，模型训练过程中，利用损失函数结果对模型参数进行调整；

步骤8，监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态；

步骤9，得到适应曝光变化的深度学习光谱重建模型用于实现光谱重建。

2.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法，其特征在于：步骤2中，以成像理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像的方法具体如下：

在多光谱图像的每个像素处，记录高分辨率反射光谱，多光谱图像和raw格式数字图像之间的关系表示为：

其中(u,v)表示空间坐标，λ指示多光谱图像波长，i指示数码相机第i个成像通道，R(u,v,λ)指示多光谱图像，L(u,v,λ)为光源的相对光谱功率分布，s_i(λ)表示数码相机第i个通道的光谱灵敏度函数，I_i(u,v)表示多与光谱图像R(u,v,λ)对应的raw格式数字图像。

3.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法，其特征在于：步骤3中，以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集的具体执行方法为：

1).读取多光谱图像与其对应的raw格式数字图像；

2).分别对数据进行最大值归一化处理；

3).以归一化后的多光谱图像及对应raw格式数字图像为基础，随机抽取40×40像素大小的样本对；

4).将随机抽取的40×40像素大小样本进行存储，供模型训练和验证调用；

5).得到完整样本集。

4.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法，其特征在于：步骤4中，将完整样本集按照M:N的比例，将完成样本集随机分为训练样本集和验证样本集，训练样本集与验证样本集的比例为9:1，即对于完整样本集而言，随机抽取其中90％的部分作为训练样本集，以训练模型，将其余的10％作为验证样本集，用以在模型训练过程中调整模型参数。

5.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法，其特征在于：步骤7中，利用损失函数数值对模型进行调整的方法如下：

对模型中所用训练样本集与验证样本集分别计算损失结果，其中所用损失函数包括式(5)至式(7)所示三种，总的损失函数为三种损失函数的求和，如式(8)所示：

loss₁＝||M_rec-M_gro||₁         (5)

loss₂＝||pro(M_rec)-pro(M_gro)||₁               (6)

loss_ssim＝1-ssim(M_rec,M_gro)                (7)

loss＝loss₁+loss₂+loss_ssim                (8)

其中||·||₁代表第一范数，式中ssim计算公式如式(9)所示：

其中，M_rec表示重建光谱图像，M_gro表示真实光谱图像，Pro(·)表示投影算子，以x代表任意重建光谱图像M_rec，y代表相应真实光谱图像M_gro，则公式(9)中w_x表示图像x在窗口w内的区域，

是w_x的均值，变量

变量w_x的方差，变量

是w_x和w_y的协方差，最后，依据上述公式分别计算模型中训练样本集与验证样本集的重建多光谱图像与真实多光谱图像之间的误差，并利用训练样本集与验证样本集的重建误差对模型中的权重与超参进行更新与调整。

6.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法，其特征在于：步骤8中，判断训练样本集与验证样本集光谱重建误差达到收敛状态的方法为：设定误差阈值Th和误差波动阈值Td，当连续n次迭代之间的误差变化都低于Th，且误差波动阈值均小于Td时，判定模型达到收敛状态。

7.一种适应曝光变化的深度学习光谱重建系统，其特征在于，包括如下模块：

数据集采集模块，用于收集现有公开的多光谱图像数据集；

raw格式计算模块，用于以数码相机理论成像模型为基础，计算每幅多光谱图像对应的raw格式数字图像；

样本集构建模块，用于以多光谱图像与其对应的raw格式图像为基础，构成包含成对数据的完整样本集；

样本集划分模块，用于将完整样本集按照M:N的比例，分为训练样本集和验证样本集；

模型构建模块，用于构建深度学习光谱重建模型框架；

模型构建模块中，构建深度学习光谱重建模型框架的方法具体如下：

利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性，利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模，假设给定raw格式数字图像及其对应的多光谱图像，那么二者之间的映射方法描述如式(2)所示形式：

r＝f(d)                               (2)

其中，d表示raw格式数字图像响应值，r表示对应的光谱发射率数据，f(·)表示raw格式数字图像和多光谱图像之间的映射关系，假设已知raw格式数字图像空间到光谱空间的映射模型f(·)，对于任意给定的d，即可利用式(2)计算得到其对应反射反射率r；

基于上述光谱重建原理构建深度学习框架：首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征，然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征；密集连接的公式示意如下：

x_l＝F_l([x₀,x₁,…，x_l-1])                         (3)

其中，x_l表示密集块的第l层的输出，F_l(·)表示l层的非线性映射，[x₀,x₁,…,x_l-1]表示将0～l-1层输出的特征图合并；

最后，利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像，模型中每层卷积均采用Relu激活函数其公式描述如下：

f(x)＝max(0,x)                              (4)

其中，x表示输入，max()表示获取输入值x与0之间的最大值；

模型训练模块，用于利用训练样本集对模型进行训练；

利用训练样本集对模型进行训练的方法具体如下：

61、对输入的数据成本对乘以一随机曝光调整矩阵k，矩阵每一列均乘以不同的曝光调整系数；

62、将经过曝光矩阵调整的数据样本输入模型；

63、将模型所重建的多光谱图像乘以曝光调整矩阵的倒数1/k，以期模型学习到曝光不变特征；

参数调整模块，用于模型训练过程中，利用损失函数结果对模型参数进行调整；

误差监测模块，用于监测训练样本集与验证样本集的光谱重建误差，直至训练样本集与验证样本集光谱重建误差达到收敛状态；

模型输出模块，用于得到适应曝光变化的深度学习光谱重建模型并输出。

Images