CN115690388A - 一种基于法珀腔光谱成像的图像数据预处理方法及设备 - Google Patents

Abstract

本发明主要提供了一种基于法珀腔光谱成像的图像数据预处理方法及设备，属于光谱成像图像数据预处理技术领域，所述方法首先是获取使用法珀腔的光谱相机拍摄的目标物光谱立方体和大标准漫反射参考白板的光谱立方体，然后使用获取的大标准漫反射参考白板的光谱立方体对目标物的光谱立方体进行归一化处理，最后给归一后的目标物光谱立方体做特征增强，即增加空间光谱分布特征信息；将增加空间光谱分布特征信息的图像数据形成图像数据集并用于学习模型的训练与推理预测，使模型以正确的中心波长来看待每个像素点的反射率。无需改变已有的光谱成像系统，通过软件算法对原始光谱图像数据进行预处理，实现成本更低，效率更高，普适和通用性更强。

Description

一种基于法珀腔光谱成像的图像数据预处理方法及设备

技术领域

本发明属于光谱成像图像数据预处理技术领域，尤其涉及一种基于法珀腔光谱成像的图像数据预处理方法及设备。

背景技术

中心波长偏移是法布里珀罗干涉腔（法珀腔）固有的物理特性，只要入射光不能够准直地进入法布里珀罗干涉腔，那么任何基于法布里珀罗干涉腔实现的多光谱或者高光谱成像系统都会存在中心波长偏移的问题，并且跟法布里珀罗干涉腔的技术实现方式（静电式/压电式/其他方式）无关。目前现有的基于法布里珀罗干涉腔实现的多光谱或者高光谱成像系统都无法做到让入射光完全准直地进入法布里珀罗干涉腔，因此必定会存在中心波长偏移的问题。

现有的技术方案中更多的是设计和修改光谱成像的光学系统来达到让光线尽可能的准直地进入法布里珀罗干涉腔，但是目前已知的基于法布里珀罗实现的光谱成像的光学系统中还无法做到100%让所有光线都能够准直的进入法布里珀罗干涉腔，并且由此会导致光谱相机的FOV变小，通光率降低等等问题，同时修改光学系统的技术难度和实现成本也会更高。

发明内容

针对上述问题，本发明专利提出了一种通过使用大参考白板（大标准漫反射参考白板）对整幅光谱图像进行归一，并且给光谱立方体增加空间光谱分布特征信息的图像数据预处理方法，可以用于对学习模型进行训练，来消除基于法布里珀罗的光谱成像系统中心波长偏移的影响。

本发明第一方面提供了一种基于法珀腔光谱成像的图像数据预处理方法，包括以下步骤：

步骤1，获取使用法布里珀罗干涉腔的光谱相机拍摄的目标物光谱立方体和大标准漫反射参考白板的光谱立方体；所述光谱立方体是一种三维形式的数据，包含二维的空间信息m行 * n列和一维的光谱信息k 个谱段；

步骤2，使用获取的大标准漫反射参考白板的光谱立方体对目标物的光谱立方体进行归一化处理，归一化公式如下：

Cube_norm表示大小为m*n*k的三维矩阵，代表归一后的目标物光谱立方体，可以获取光谱立方体二维空间中的每一个像素点分别在k个谱段中的反射率值a；Cube_target表示大小为m*n*k的三维矩阵，代表归一前的目标物光谱立方体；Cube_white表示大小为m*n*k的三维矩阵，代表大标准漫反射参考白板的光谱立方体；

步骤3，给归一后的目标物光谱立方体做特征增强，即增加空间光谱分布特征信息，所述空间光谱分布特征信息为每个像素点在二维空间中的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息，所述实际中心波长信息可以通过每一个像素点偏移的入射角θ计算得出或者在光谱相机出厂前通过标定得出；增强后的图像数据特征信息包括二维空间中每一个像素点的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长以及每一个像素点分别在第k个谱段中的反射率值a；

将增加空间光谱分布特征信息的图像数据形成图像数据集并用于学习模型的训练与推理预测，使模型以正确的中心波长来看待每个像素点的反射率。

优选的，还考虑黑参考和积分时间的影响，所述步骤1中还要获取拍摄的大黑参考光谱立方体，即将相机的镜头盖合上，确保周围没有环境光，然后进行拍摄；所述步骤2中进行归一化的公式进一步变形为：

Cube_dark表示大小为m*n*k的三维矩阵，代表大黑参考光谱立方体，t1表示拍摄目标物光谱立方体的积分时间，t2表示拍摄大标准漫反射参考白板光谱立方体的积分时间。

优选的，所述步骤3中实际中心波长信息通过每一个像素点偏移的入射角θ计算得出的具体过程为：

根据偏移的入射角θ计算出对应谱段里每一个像素点的中心波长偏移量diagonal_cwl_shift，从而获取实际中心波长；其中，

此公式为泛函数公式，可以通过每个相机的具体参数属性确定具体的计算公式；其中，n表示一个角度，在小于n的情况下，可以近似的认为没有发生中心波长偏移，θ的最大值不能超过相机对角线视场角DFOV的一半， 即m <= ½ DFOV。

优选的，所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，所述位置信息是给归一化后的光谱图像中的每个像素点增加空间坐标信息 (x，y)，所述空间坐标以图像中心点为原点，

相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，x，y]，a_k代表每一个像素点在第k个谱段的反射率值。

优选的，所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，其中所述位置信息是给归一化后的光谱图像中的每一个像素点到达中心波长偏移中心的距离p；相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，p]，a_k代表每一个像素点在第k个谱段的反射率值。

优选的，所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，所述位置信息是给归一化后的光谱图像中的每一个像素点增加偏移的入射角θ值，相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，θ]，a_k代表每一个像素点在第k个谱段的反射率值。

优选的，所述步骤3中空间光谱分布特征信息为每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息，即给归一后的光谱图像中的每一个像素增加实际中心波长分布信息c，增强后的图像数据为[a₁，a₂，a₃，……，a_k，c₁，c₂，c₃，……，c_k]，a_k代表每一个像素点在第k个谱段的反射率值，c_k代表每一个像素点在第k个谱段的实际中心波长。

本发明第二方面还提供了一种基于法珀腔光谱成像的图像数据预处理设备，所述设备包括至少一个处理器和至少一个存储器；所述存储器中存储有计算机执行程序；所述处理器执行所述存储器中存储的执行程序时，可以使处理器执行如第一方面所述的图像数据预处理方法。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行程序，所述计算机执行程序被处理器执行时，用于实现如第一方面所述的图像数据预处理方法。

本发明的有益效果：现有的技术方案中更多的是设计和修改光谱成像的光学系统来达到让光线尽可能的准直地进入法布里珀罗干涉腔，但由此会导致光谱相机的FOV变小，通光率降低等等问题，同时修改光学系统的技术难度和实现成本也会更高，此外，目前已知的基于法布里珀罗实现的光谱成像的光学系统中还无法做到100%让所有光线都能够准直的进入法布里珀罗干涉腔。本发明所述方法无需改变已有的光谱成像系统，通过软件算法对原始光谱图像数据进行预处理，从而来消除中心波长偏移所产生的负面影响，预处理后的数据可以用于学习模型的训练与推理预测，使模型以正确的中心波长来看待每个像素点的反射率，实现成本更低，效率更高，普适和通用性更强。

附图说明

图1为法布里珀罗干涉腔原理图。

图2为实验实际观测到的中心波长偏移原理图。

图3为中心波长偏移导致光谱曲线偏移现象示意图。

图4为本发明图像数据预处理算法流程图。

图5为光谱立方体示意图。

图6为大标准漫反射参考白板示意图。

图7为小标准漫反射参考白板示意图。

图8为光谱立方体特征增强原理图。

图9为小参考板归一未进行特征增强的分类识别结果。

图10为大参考板归一进行特征增强的分类识别结果。

图11为本发明实施例2中预处理设备的结构简易示意图。

具体实施方式

下面结合具体实施例对发明进行进一步说明。

实施例1：

法布里珀罗干涉腔透射率公式为：

其中R代表反射率。

如图1所示，n 代表材料的折射率；θ代表折射角；T代表透射率，T₁代表第一次透射率，T₂代表第二次透射率；R代表反射率，R₀代表第一次反射的反射率，R₁代表第二次反射的反射率，R₂代表第三次反射的反射率；l代表法布里珀罗腔体的厚度。根据图1法布里珀罗干涉腔原理图和推导出的法布里珀罗干涉腔透射率公式可知，在一阶范围内，通过法布里珀罗干涉腔的具有最大透射率的中心波长λ跟光线入射角θ成反比关系。当θ在[0，90°] 范围内变化时，随着θ的增加，cosθ减小，具有最大透射率的中心波长λ也会随之减小。

图2是通过实验实际观测到的中心波长偏移现象，横轴代表图像宽度，纵轴代表图像高度，单位为纳米，可以看见从图像中间到图像四周，中心波长从720nm偏移到690nm，图像中心的中心波长比图像四周的中心波长大，该现象跟从上述公式中推导出的结论一致。也就是说，θ越大，其所对应的图像区域就越偏向图像四周，而该区域的获取最大反射率的中心波长也随之减小。

图3是在实验中观测到的由于中心波长偏移导致光谱曲线偏移的现象。光谱曲线中的横轴代表波长，纵轴代表反射率，将同一目标物，放置于不同空间位置，拍摄光谱图像，通过将多光谱曲线和高光谱曲线进行对比，可以看见由于受到中心波长偏移的影响，A点的光谱特征曲线的波段范围是从725nm到920nm；B点的光谱特征曲线的波段范围是从705nm到885nm。

针对上述问题，本发明专利提出了一种通过使用大参考白板（大标准漫反射参考白板）对整幅光谱图像进行归一，并且给光谱立方体增加空间光谱分布特征信息的图像数据预处理方法，可以用于对学习模型进行训练，来消除基于法布里珀罗的光谱成像系统中心波长偏移的影响。

下面结合附图4对本发明的图像数据预处理方法进行详细的阐述。

本发明中的图像数据预处理方法，主要包括以下步骤：

步骤1，获取使用法布里珀罗干涉腔的光谱相机拍摄的目标物光谱立方体和大标准漫反射参考白板的光谱立方体；所述光谱立方体是一种三维形式的数据，包含二维的空间信息m行 * n列和一维的光谱信息k 个谱段；

步骤2，使用获取的大标准漫反射参考白板的光谱立方体对目标物的光谱立方体进行归一化处理，归一化公式如下：

Cube_norm表示大小为m*n*k的三维矩阵，代表归一后的目标物光谱立方体，可以获取光谱立方体二维空间中的每一个像素点分别在k个谱段中的反射率值a；Cube_target表示大小为m*n*k的三维矩阵，代表归一前的目标物光谱立方体；Cube_white表示大小为m*n*k的三维矩阵，代表大标准漫反射参考白板的光谱立方体；

步骤3，给归一后的目标物光谱立方体做特征增强，即增加空间光谱分布特征信息，所述空间光谱分布特征信息为每个像素点在二维空间中的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息，所述实际中心波长信息可以通过每一个像素点偏移的入射角θ计算得出或者在光谱相机出厂前通过标定得出；增强后的图像数据特征信息包括二维空间中每一个像素点的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长以及每一个像素点分别在第k个谱段中的反射率值a；

将增加空间光谱分布特征信息的图像数据形成图像数据集并用于学习模型的训练与推理预测，使模型以正确的中心波长来看待每个像素点的反射率。

关于步骤1：

获取使用光谱相机拍摄的目标物光谱立方体和大参考白板（大标准漫反射参考白板）光谱立方体。如图5所示，光谱立方体本身是一种三维形式的数据，包含二维的空间信息m行 * n列（例如：1024行x1280列）和一维的光谱信息k 波段（例如：k=10个谱段）。

关于步骤2：

使用大参考白板对光谱立方体进行归一。在对光谱立方体进行归一的时候，通常有使用大参考白板（大标准漫反射参考白板）进行归一和使用小参考白板（小标准漫反射参考白板）进行归一两种方式。

图6是大参考白板的光谱图像，如图所示，大参考白板可以覆盖整个光谱图像。图7是小参考白板的光谱图像，如图所示，小参考白板只能覆盖光谱图像的一小部分。

使用大参考白板对目标物光谱立方体进行归一的步骤如下：

（1）拍摄大参考白板光谱立方体；

（2）拍摄大黑参考光谱立方体（拍摄方法通常为将相机的镜头盖合上，确保周围没有环境光，然后进行拍照）；

（3）拍摄目标物光谱立方体；

（4）使用以下公式对目标物光谱立方体进行归一：

以下是对上述公式参数的解释说明：

Cube_norm：大小为m*n*k的三维矩阵，代表归一后的目标物光谱立方体；

Cube_target：大小为m*n*k的三维矩阵，代表归一前的目标物光谱立方体；

Cube_white：大小为m*n*k的三维矩阵，代表大参考白板光谱立方体；

Cube_dark： 大小为m*n*k的三维矩阵，代表大黑参考光谱立方体；

t1：拍摄目标物光谱立方体的积分时间；

t2：拍摄大参考白板光谱立方体的积分时间。

注：在实际使用过程中，如果不考虑黑参考(Dark Reference)和积分时间的影响，上述公式也可以简化为：

此外，使用小参考板进行归一的方法一般为寻找到小参考板的ROI（感兴趣区域），然后对ROI内的前两个空间维度取平均值，得到一个一维数组，最后使用目标物的光谱立方体除以这个一维数组进行归一。

以上消除中心波长偏移影响流程的第一步重点在于使用大参考白板对目标物光谱立方体进行归一处理，原理基本相同的使用大参考白板归一处理方法均应在本专利的保护范围内。

关于步骤3：

首先需要了解，实际中心波长信息可以通过每一个像素点偏移的入射角θ计算得出。根据偏移的入射角θ计算出对应谱段里每一个像素点的中心波长偏移量diagonal_cwl_ shift，从而获取实际中心波长；其中，

此公式为泛函数公式，可以通过每个相机的具体参数属性确定具体的计算公式；其中，n表示一个角度，在小于n的情况下，可以近似的认为没有发生中心波长偏移，θ的最大值不能超过相机对角线视场角DFOV的一半， 即m <= ½ DFOV。

给归一后的光谱立方体做特征增强，增加空间光谱分布特征信息。增加空间光谱分布特征信息可以是给每一个像素点在二维空间中的位置信息，也可以是给每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息。增加空间光谱分布特征信息的方法包括但不限于以下4种：

（1）给归一化后的光谱图像中的每个像素点增加空间坐标信息 (x，y)，空间坐标以图像中心点为原点。

根据像素点对应的空间坐标信息(x，y)，可以计算出光谱图像上的每一个像素点到中心波长偏移中心的距离p，从而获得偏移的入射角θ值，具体过程为：

S1，以图像中心为坐标原点，由勾股定理可得：

p = SQRT(x^2) + SQRT(y^2)

S2，相机的对角线视场角DFOV对应着图像的斜对角线长度D，图像斜对角长度的一半d=D/2，根据正弦定理可得，目标物距离光谱相机的距离H：

H = d / tan(DFOV / 2)

S3，根据正弦定理，可计算得到偏移的入射角θ值：

p = H * tan(θ) = ((D/ 2) / tan(DFOV /2)) * tan(θ)

其中D和DFOV都是常量，以上参数D、d、H和p均以像素为单位；因此给出空间坐标信息(x，y)，可计算出偏移的入射角θ值；

通过空间坐标信息(x，y)可反推出偏移的入射角θ值，入射角θ值又可以获取实际中心波长，从而相当于得到每一个像素点分别在k个谱段获得反射率值a的实际中心波长；因此，增加了每个像素点的空间坐标信息 (x，y)，就是相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，x，y]，a_k代表每一个像素点在第k个谱段的反射率值。

举例：如图8所示，横轴代表图像宽度，纵轴代表图像高度，单位为纳米，图上任意一点空间坐标为(x，y)的点P。a₀ - a₉ 代表第一个谱段到最后一个谱段的光谱反射率的值，可以得到：

增强前光谱图像中P点处像素的特征信息为[a₀，a₁，a₂，a₃，a₄， a₅，a₆，a₇，a₈，a₉]

增强后光谱图像中P点处像素的特征信息为[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈，a₉，x，y]

（2）给归一化后的光谱图像中的每一个像素点增加到达中心波长偏移中心的距离p。

如上所述，给出每一个像素点到图像中心的距离p可推出偏移的入射角θ值，入射角θ值又可以获取实际中心波长，从而相当于给到每一个像素点分别在k个谱段获得反射率值a的实际中心波长；因此，增加到达中心波长偏移中心的距离p，就是相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，p]，a_k代表每一个像素点在第k个谱段的反射率值。

举例：如图8所示，图上任意一点P到达中心波长偏移中心的距离是r，a₀ - a₉ 代表第一个谱段到最后一个谱段的光谱反射率的值，可以得到：

增强前光谱图像中P点处像素的特征信息为[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈，a₉]

增强后光谱图像中P点处像素的特征信息为[a₀，a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈，a₉，r]

（3）给归一化后的光谱图像中的每一个像素点增加偏移的入射角θ值，入射角θ值又可以获取实际中心波长，从而相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，θ]，a_k代表每一个像素点在第k个谱段的反射率值。

（4）为每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息。即给归一后的光谱图像中的每一个像素增加实际中心波长分布信息c，增强后的图像数据为[a₁，a₂，a₃，……，a_k，c₁，c₂，c₃，……，c_k]，a_k代表每一个像素点在第k个谱段的反射率值，c_k代表每一个像素点在第k个谱段的实际中心波长。

使用增加空间光谱分布特征信息的光谱立方体进行模型训练和模型推理。经过特征增强后，每个训练/预测数据已经携带了空间光谱分布特征信息，可以使用传统的机器学习算法（例如：随机森林，支持向量机等），也可以使用神经网络或者深度学习算法进行模型训练和模型推理预测。

为了证明使用特征增强后的数据进行模型训练和模型推理可以获得更高的准确率，开展以下对比实验加以验证。

图9为小参考板归一未进行特征增强的分类识别结果，图10 为大参考板归一进行特征增强的分类识别结果，横轴代表图像宽度，纵轴代表图像高度，白色代表花生仁，灰色代表花生壳，黑色代表背景。以上实验使用随机森林分类算法，分别基于使用小参考板归一且未进行特征增强的光谱图像和基于使用大参考板归一且进行数据增强的光谱图像，对花生壳和花生仁进行分类识别。图中的数字代表对每个花生壳和花生仁进行分类识别的准确率，从以上实验结果可以明显的看出，图9由于未能消除中心波长偏移的影响，导致图左偏下部分的花生仁分类识别准确率偏移，而图10由于消除了中心波长偏移的影响，在图左偏下部分对应区域花生仁的分类识别准确率明显提高。并且图10对花生仁和花生壳的整体分类识别准确率高于图9。

实施例2：

如图11所示，本发明同时提供了一种基于法珀腔光谱成像的图像数据预处理设备，所述设备包括至少一个处理器和至少一个存储器以及内部总线；存储器中存储有计算机执行程序；处理器执行所述存储器存储的执行程序时，可以使处理器执行如实施例1所述的图像数据预处理方法。其中内部总线可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(XtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。其中存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。设备可以被提供为终端、服务器或其它形态的设备。

图11为示例性示出的一种设备的框图。设备可以包括以下一个或多个组件：处理组件，存储器，电源组件，多媒体组件，音频组件，输入/输出(I/O)的接口，传感器组件，以及通信组件。处理组件通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件可以包括一个或多个处理器来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件可以包括一个或多个模块，便于处理组件和其他组件之间的交互。例如，处理组件可以包括多媒体模块，以方便多媒体组件和处理组件之间的交互。

存储器被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件为电子设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。多媒体组件包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。 I/O接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

实施例3：

本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行程序，计算机执行程序被处理器执行时，用于实现如实施例1所述的图像数据预处理方法。

具体地，可以提供配有可读存储介质的系统、装置或设备，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统、装置或设备的计算机或处理器读出并执行存储在该可读存储介质中的指令。在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘（如 CD-ROM、CD-R、CD-RW、DVD- 20 ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带等。存储介质可以是通用或专用计算机能够存取的任何可用介质。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

应理解存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于，包括以下步骤：

步骤1，获取使用法布里珀罗干涉腔的光谱相机拍摄的目标物光谱立方体和大标准漫反射参考白板的光谱立方体；所述光谱立方体是一种三维形式的数据，包含二维的空间信息m行 * n列和一维的光谱信息k 个谱段；

步骤2，使用获取的大标准漫反射参考白板的光谱立方体对目标物的光谱立方体进行归一化处理，归一化公式如下：

Cube_norm表示大小为m*n*k的三维矩阵，代表归一后的目标物光谱立方体，可以获取光谱立方体二维空间中的每一个像素点分别在k个谱段中的反射率值a；Cube_target表示大小为m*n*k的三维矩阵，代表归一前的目标物光谱立方体；Cube_white表示大小为m*n*k的三维矩阵，代表大标准漫反射参考白板的光谱立方体；

步骤3，给归一后的目标物光谱立方体做特征增强，即增加空间光谱分布特征信息，所述空间光谱分布特征信息为每个像素点在二维空间中的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息，所述实际中心波长信息可以通过每一个像素点偏移的入射角θ计算得出或者在光谱相机出厂前通过标定得出；增强后的图像数据特征信息包括二维空间中每一个像素点的位置信息或每一个像素点分别在k个谱段获得反射率值a的实际中心波长以及每一个像素点分别在第k个谱段中的反射率值a；

将增加空间光谱分布特征信息的图像数据形成图像数据集并用于学习模型的训练与推理预测，使模型以正确的中心波长来看待每个像素点的反射率。

2.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于：还考虑黑参考和积分时间的影响，所述步骤1中还要获取拍摄的大黑参考光谱立方体，即将相机的镜头盖合上，确保周围没有环境光，然后进行拍摄；所述步骤2中进行归一化的公式进一步变形为：

Cube_dark表示大小为m*n*k的三维矩阵，代表大黑参考光谱立方体，t1表示拍摄目标物光谱立方体的积分时间，t2表示拍摄大标准漫反射参考白板光谱立方体的积分时间。

3.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于，所述步骤3中实际中心波长信息通过每一个像素点偏移的入射角θ计算得出的具体过程为：

根据偏移的入射角θ计算出对应谱段里每一个像素点的中心波长偏移量diagonal_ cwl_shift，从而获取实际中心波长；其中，

此公式为泛函数公式，可以通过每个相机的具体参数属性确定具体的计算公式；其中，n表示一个角度，在小于n的情况下，可以近似的认为没有发生中心波长偏移，θ的最大值不能超过相机对角线视场角DFOV的一半， 即m <= ½ DFOV。

4.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于：所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，所述位置信息是给归一化后的光谱图像中的每个像素点增加空间坐标信息 (x，y)，所述空间坐标以图像中心点为原点，相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，x，y]，a_k代表每一个像素点在第k个谱段的反射率值。

5.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于：所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，其中所述位置信息是给归一化后的光谱图像中的每一个像素点到达中心波长偏移中心的距离p；相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，p]，a_k代表每一个像素点在第k个谱段的反射率值。

6.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于：所述步骤3中增加空间光谱分布特征信息为每个像素点在二维空间中的位置信息，所述位置信息是给归一化后的光谱图像中的每一个像素点增加偏移的入射角θ值，相当于给定了每一个像素点分别在k个谱段获得反射率值a的实际中心波长；增强后的图像数据为[a₁，a₂，a₃，……，a_k，θ]，a_k代表每一个像素点在第k个谱段的反射率值。

7.如权利要求1所述的一种基于法珀腔光谱成像的图像数据预处理方法，其特征在于：所述步骤3中空间光谱分布特征信息为每一个像素点分别在k个谱段获得反射率值a的实际中心波长信息，即给归一后的光谱图像中的每一个像素增加实际中心波长分布信息c，增强后的图像数据为[a₁，a₂，a₃，……，a_k，c₁，c₂，c₃，……，c_k]，a_k代表每一个像素点在第k个谱段的反射率值，c_k代表每一个像素点在第k个谱段的实际中心波长。

8.一种基于法珀腔光谱成像的图像数据预处理设备，其特征在于，所述设备包括至少一个处理器和至少一个存储器；所述存储器中存储有计算机执行程序；所述处理器执行所述存储器中存储的执行程序时，可以使处理器执行如权利要求1至7任意一项所述的图像数据预处理方法。

9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机执行程序，所述计算机执行程序被处理器执行时，用于实现如权利要求1至7任意一项所述的图像数据预处理方法。

Images