CN102279050A - 一种多光谱计算重构方法及系统 - Google Patents

Abstract

本发明公开了一种基于主成分分析的多光谱信息计算重构方法。多光谱计算重构方法包括：步骤1，获取双路多光谱图像；步骤2，对多光谱图像的采样点光谱信息进行主成分分析，得到主成分光谱向量基；步骤3，根据主成分光谱向量基、相机采集的RGB向量、相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线重构未知光谱点上的光谱信息。本发明使得多光谱信息的重构更简单、快速，所需要的场景光谱采样点较少，同时多光谱信息的主成分能够给相关研究带来指导意义。

Description

一种多光谱计算重构方法及系统

技术领域

本发明涉及光谱计算领域，尤其涉及一种多光谱计算重构方法及系统。

背景技术

近年来，计算摄像学已经成为交叉视觉、图形学、摄像学、信号处理等领域的国际前沿热点研究，如何对于真实场景的高维信息进行计算采集和重构引起了广泛的关注。开展场景多光谱信息的相关研究工作对于遥感监测、安全侦查、数字娱乐等领域具有重要意义。

传统的数字摄像学是对高维场景信号(常用七维全光函数表示)的二维投影子空间进行采样，将高维场景信息投影到相机二维采样子空间上进行采集。可以看出，传统的数字摄像学会产生全光函数其它维度上信息的丢失与耦合问题，包括角度信息丢失、场景深度信息丢失、多光谱信息丢失、曝光时间内场景信息积分耦合等等。

计算摄像学中一个很重要的方向是在光谱域上对于传统的成像技术进行扩展，即多光谱技术。从多光谱与视觉的技术原理说来，人眼球中有三种不同视锥细胞对光谱中不同波段的信号进行感应，使真实场景中的光线以红、绿、蓝三种颜色的形式被人所感知，而与此相对应，传统意义上的相机也是从人眼的认知原理出发，通过电荷耦合元件(CCD)不同的颜色积分曲线去捕捉场景的红绿蓝(RGB)三通道信息。但是实际上，能够看到的场景光线具有一个完整的光谱，仅仅捕捉RGB三个通道则失去了光谱维度上的大量细节。而光谱中丰富的细节信息往往能够揭示物体和场景光线的很多特质，有了这些光谱信息，也能在很多计算机视觉领域的工作中获得长足的进展。计算摄像学领域中的多光谱工作基本上是针对场景的多光谱信息进行采集与重构的研究。

根据技术要求和采集条件的不同，现有的多光谱采集系统可以分为三类：光谱分析仪、扫描式光谱成像仪和单次拍摄成像光谱仪。各种技术解决方案都是通过牺牲空间或时间分辨率的方式对于光谱分辨率进行补偿，以采集多光谱信息。2011年初，一种基于混合相机系统的进行多光谱采集系统被提出，其在牺牲空间分辨率获得附加光谱分辨率的同时，使用双路采集的技术，对场景进行双路采集，从得到的多路数据中重构出高时空分辨率的多光谱视频，实现了一种多光谱采集技术。这些工作都说明了多光谱采集的重要意义，但是虽然多光谱采集工作已经成为近期计算摄像学的热点，如何获得高时间分辨率、高空间分辨率、高光谱分辨率的场景信息仍然是一个难题，因此，这个方向上的研究非常重要而且有广泛的应用。

发明内容

针对现有技术中存在的上述问题，本发明提供了一种多光谱计算重构方法及系统。

本发明提供了一种多光谱计算重构方法，包括：

步骤1，获取双路多光谱图像；

步骤2，对多光谱图像的采样点光谱信息进行主成分分析，得到主成分光谱向量基；

步骤3，根据主成分光谱向量基、相机采集的RGB向量、相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线重构未知光谱点上的光谱信息。

在一个示例中，步骤1包括：

步骤10，用分光镜将场景光线分为两路；

步骤11，对两路光线中的一路使用蒙板进行采样，然后使用三棱镜对光线进行分光处理，最后使用灰度相机对分光的结果进行采集；对两路光线中的另一路直接被RGB相机采集。

在一个示例中，步骤2包括：

步骤20，对采样点多光谱信息进行幅度标定和归一化；

步骤21，对幅度标定和归一化后的采样点多光谱信息进行主成分分析；

步骤22，分析主成分对光谱信息造成的损失；

步骤23，根据预设的精确度选取主成分分量并得到相应的主成分光谱向量基。

在一个示例中，步骤3包括：

步骤31，利用相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线以及主成分光谱向量基计算变换矩阵；

步骤32，利用主成分光谱向量基、变换矩阵的逆矩阵以及相机采集的RGB向量的乘积重构未知光谱点上的光谱信息。

在一个示例中，主成分分量的数量为三个。

在一个示例中，未知光谱点上的光谱信息

其中

是主成分光谱向量基，

为相机的R通道颜色积分曲线，为相机的G通道积分曲线，

为相机的B通道积分曲线，Color是相机采集的RGB向量。

本发明提供了一种多光谱计算重构系统，包括：

图像获取装置，用于获取双路多光谱图像；

主成分分析模块，用于对多光谱图像的采样点光谱信息进行主成分分析，得到主成分光谱向量基；

光谱信息重构模块，用于主成分光谱向量基、相机采集的RGB向量、相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线重构未知光谱点上的光谱信息。

在一个示例中，主成分分析模块包括：

幅度标定和归一化模块，用于对采样点多光谱信息进行幅度标定和归一化；

多光谱信息分析模块，用于对幅度标定和归一化后的采样点多光谱信息进行主成分分析；

信息损失分析模块，分析主成分对光谱信息造成的损失；

主成分分量选取模块，用于根据预设的精确度选取主成分分量以及相应的主成分光谱向量基。

在一个示例中，光谱信息重构模块包括变换矩阵计算模块，用于利用相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线以及主成分光谱向量基计算变换矩阵；主成分分量的数量为三个；

未知光谱点上的光谱信息

其中

是主成分光谱向量基，

为相机的R通道颜色积分曲线，

为相机的G通道积分曲线，

为相机的B通道积分曲线，Color是相机采集的RGB向量。

本发明提供了一种场景重光照的方法，包括：

步骤10，分析场景的主成分；

步骤20，根据场景的主成分的第一分量检测出场景光源；

步骤30，利用目标光源的光谱向量基和场景光源的光谱向量基对应的系数重构场景光谱。

本发明使得多光谱信息的重构更简单、快速，所需要的场景光谱采样点较少，同时多光谱信息的主成分能够给相关研究带来指导意义。本发明结合高空间分辨率彩色相机，通过将低空间分辨率、高光谱分辨率的信息和高空间分辨率、低光谱分辨率的信息进行有效的计算重构，进而实现高空间、高光谱分辨率的光谱采集，而且采集得到的多光谱信息能够在很多应用中发挥巨大的作用。

附图说明

下面结合附图来对本发明作进一步详细说明，其中：

图1是使用混合相机系统进行多光谱采集的方法示意图；

图2是实现本发明的多光谱采集点光谱主成分分析流程图；

图3是实现本发明的光谱信息重构流程图；

图4是实现本发明光源检测与替换的方法流程图；

图5是本发明的场景重光照流程图。

具体实施方式

本发明通过对低空间分辨率多光谱信息中的光谱信息进行统计分析，发现光谱的内在特性，进而用这种规律指导高空间分辨率光谱信息的计算重构及多光谱信息的应用。本发明的基于主成分分析(PCA)实现的多光谱信息计算重构的方法如下：

1)对于使用现有多光谱采集系统采集得到的场景中有限点的多光谱信息进行传统的主成分分析(Principal Component Analysis)，得到线性变换后的一组光谱向量基，即场景光谱的主成分。根据对于重构误差等级的要求，选取前若干个主成分作为后续分析的基础；

2)根据RGB三通道彩色相机的成像原理，即RGB三通道值等于场景光谱曲线同相机三通道积分曲线积分的结果，使用未知光谱信息的场景点的RGB信息，结合上面得到同一场景的前若干个主成分分量对此点的光谱进行重构和预测。如果使用仅前三个主成分分量，则重构多光谱信息的基本公式如下所示，以此为代表对原理进行示意性解释。

其中Color为采集的RGB向量，为相机的色彩积分曲线，为取出的场景光谱的前三个主成分。Tran为主成分分量同积分曲线作用后得到变换矩阵。

为场景点上的多光谱信息。

下面结合附图，详细说明本发明的具体实现方式。

如图1所示，显示了现有多光谱双路采集系统采集实现方案：

首先，现有系统结构使用分光镜将场景光线分为两路，分别对高空间分辨率彩色图像(低光谱分辨率)和高光谱分辨率低空间分辨率场景进行采集。在图中分为上下两个部分做示意性介绍。

其次，在高光谱分辨率低空间分辨率场景采集的光路中，使用蒙板对场景进行采样，之后使用三棱镜对光线进行分光处理，最后使用高分辨率灰度相机对于分光的结果进行采集。对光路进行描述如下：场景光线进入系统后首先被分光镜一分为二，一部分光线经过蒙板被采样，被采样的光线束随后进入棱镜，根据散射原理，光线在空间中横向散开，散开后的光线在高分辨率灰度相机中被记录下来，由此得到采样点上的光谱信息。

最后，为弥补采样造成的空间分辨率丢失，经过分光镜的另一部分光线直接被RGB相机采集，从信息传输的角度来说，这保留了高分辨率场景的全部低光谱分辨率信息。

获得双路多光谱图像后，本发明的多光谱采集点光谱主成分分析流程图如图2所示，包括：

步骤201：使用PCA方法对获得的采样点的多光谱信息进行主成分分析，以获取场景光谱的分析统计特性，发现其内在一致性和规律。

步骤202：根据系统采集的双路数据进行多光谱信息重构，针对多光谱采集空间分辨率不足的缺点进行信息传播，最终得到高空间分辨率、高光谱分辨率的采集数据。

步骤203：将分析得到的光谱主成分拓展至场景重光照，用场景光谱一致性、内在统计规律等信息辅助其他工作。

前述步骤201中，对光谱进行分析的方法细节如图3所示。该方法的输入是采样得到的低空间分辨率多光谱数据，即灰度相机采集的经过棱镜散射的场景光线，也即经过对准、标定后得到的多光谱信息。具体的方法步骤包括：

步骤201a：由于灰度相机采集的场景数据是经过蒙板采样得到的，由此出发，根据蒙板孔径位置和光学畸变对采集数据进行标定，由此进一步确定采样点的光谱信息，经过幅度标定和归一化后作为待分析的场景光谱数据。假设有p×q分辨率的RGB彩色图像，同时有m×n(m＜p；n＜q)的采样点多光谱图像，记MS为采集得到的多光谱数据。

步骤201b：使用传统基于主成分分析(PCA)对于场景光谱数据进行处理，得到场景的一组主成分及其主成分光谱向量基。

针对MS应用PCA分析，能够得到相应的一组基Φ和MS在此组基下的系数C，记为如下所示：

MS＝Φ·C

步骤201c：分析仅使用采样点光谱信息的主成分而非全部成分在重构光谱信息过程中可能造成的信息损失。在具体实现中，选取采样点光谱信息的前k个主成分及其系数对光谱信息进行恢复，得到使用主成分重构得到的采样点光谱信息。

步骤201d：根据目标应用或者重构需要的精确度选取主成分分量。在上述步骤中，说明了如何使用前k个主成分分量对光谱信息进行重构，由于不是使用全部成分对于信息进行恢复，因此必定存在信息损失，显然，使用越多的主成分，信息损失就越小，但相对应所需计算复杂度和存储空间也越大。根据应用或重构所需的精确度，对比不同k值造成的信息损失，选取合适的k值。在示意性的介绍中，选取前三个主成分进行分析。

前述步骤202中，光谱信息重构的方法细节如图4所示。该方法的输入是经过主成分分析得到的场景光谱主成分分量和双路采集中的RGB高空间分辨率图像，包括：

步骤202a：首先确定RGB相机的三色彩通道的CCD积分曲线，这是能够对于光谱进行预测的基础；

上述公式代表相机工作的原理，记

为场景某一点的光谱向量，即

其中n为场景的光谱分辨率。记

为相机的R通道颜色积分曲线，即

同理为相机的G通道积分曲线，即

为相机的B通道积分曲线，即

其中RGB是已知信息，积分曲线是相机参数，而光谱信息是未知待重构量。

步骤202b：通过CCD三色彩积分曲线计算RGB通道同场景光谱主成分分量的变换矩阵；

记其真实光谱在主成分基下展开的向量如下所示：

其中

是场景中第(i，j)个点在选取主成分基下展开得到的系数，

是未知量。根据上述彩色相机成像原理，则此点的RGB通道信息满足如下的关系：

其中Tran即为变换矩阵。

步骤202c：根据变换矩阵重构未知光谱点上的光谱信息，根据上述公式进一步应用于下述公式：

其中Tran即为变换矩阵，为主成分基，Color是场景彩色信息，均为已知量。由此可计算重构出第(i，j)点的光谱信息。

前述步骤203中，场景重光照应用中的方法细节如图5所示。该方法的输入是双路采集得到的真实场景数据，包括：

步骤203a：首先分析得到此真实场景的主成分；

步骤203b：通过对于场景光谱第一主成分(主成分的第一分量)进行检测和辨识，确定场景光源。具体说来，由于场景的光谱是光源光谱经过场景反射后的结果，所以场景不同点的光谱必然带有反应光源光谱的一致性信息，而这一信息集中体现在场景光谱的第一主成分上。对于检测和辨识，只需要对于场景光谱第一主成分光谱形状进行分析，与典型光谱进行比对，确定出光源类型，例如：白炽灯光谱从400nm到700nm光谱强度逐渐上升；荧光灯光谱在550nm和620nm波长附近有两个尖峰等等。

步骤203c：通过对于场景光谱第一主成分操作和替换，实现场景光源变换。从上文可知，由于场景光谱的第一主成分很大程度上反映了场景中光源的光谱特征，因此对于第一主成分的操作能够等价于对于场景光源进行操作的效果。为实现场景光源变换，可以将场景光谱第一主成分，也就是主成分分析后得到的第一基向量，进行单位化，替换成为目标光源的光谱向量，然后基于替换后的光谱基和初始场景光谱在原来基上展开得到的系数对于场景光谱进行重构，进而能够得到在目标光源下的场景近似光谱和色彩效果，进而实现了场景重光照的应用。

以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种多光谱计算重构方法，其特征在于，包括：

步骤1，获取双路多光谱图像；

步骤2，对多光谱图像的采样点光谱信息进行主成分分析，得到主成分光谱向量基；

步骤3，根据主成分光谱向量基、相机采集的RGB向量、相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线重构未知光谱点上的光谱信息。

2.如权利要求1所述的多光谱计算重构方法，其特征在于，步骤1包括：

步骤10，用分光镜将场景光线分为两路；

步骤11，对两路光线中的一路使用蒙板进行采样，然后使用三棱镜对光线进行分光处理，最后使用灰度相机对分光的结果进行采集；对两路光线中的另一路直接被RGB相机采集。

3.如权利要求1所述的多光谱计算重构方法，其特征在于，步骤2包括：

步骤20，对采样点多光谱信息进行幅度标定和归一化；

步骤21，对幅度标定和归一化后的采样点多光谱信息进行主成分分析；

步骤22，分析主成分对光谱信息造成的损失；

步骤23，根据预设的精确度选取主成分分量并得到相应的主成分光谱向量基。

4.如权利要求3所述的多光谱计算重构方法，其特征在于，步骤3包括：

步骤31，利用相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线以及主成分光谱向量基计算变换矩阵；

步骤32，利用主成分光谱向量基、变换矩阵的逆矩阵以及相机采集的RGB向量的乘积重构未知光谱点上的光谱信息。

5.如权利要求4所述的多光谱计算重构方法，其特征在于，主成分分量的数量为三个。

6.如权利要求5所述的多光谱计算重构方法，其特征在于，未知光谱点上的光谱信息

其中

是主成分光谱向量基，

为相机的R通道颜色积分曲线，

为相机的G通道积分曲线，

为相机的B通道积分曲线，Color是相机采集的RGB向量。

7.一种多光谱计算重构系统，其特征在于，包括：

图像获取装置，用于获取双路多光谱图像；

主成分分析模块，用于对多光谱图像的采样点光谱信息进行主成分分析，得到主成分光谱向量基；

光谱信息重构模块，用于主成分光谱向量基、相机采集的RGB向量、相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线重构未知光谱点上的光谱信息。

8.如权利要求7所述的多光谱计算重构系统，其特征在于，主成分分析模块包括：

幅度标定和归一化模块，用于对采样点多光谱信息进行幅度标定和归一化；

多光谱信息分析模块，用于对幅度标定和归一化后的采样点多光谱信息进行主成分分析；

信息损失分析模块，分析主成分对光谱信息造成的损失；

主成分分量选取模块，用于根据预设的精确度选取主成分分量以及相应的主成分光谱向量基。

9.如权利要求8所述的多光谱计算重构系统，其特征在于，光谱信息重构模块包括变换矩阵计算模块，用于利用相机的R通道积分曲线、相机的G通道积分曲线以及相机的B通道积分曲线以及主成分光谱向量基计算变换矩阵；主成分分量的数量为三个；

未知光谱点上的光谱信息

其中

是主成分光谱向量基，

为相机的R通道颜色积分曲线，

为相机的G通道积分曲线，

为相机的B通道积分曲线，Color是相机采集的RGB向量。

10.一种场景重光照的方法，其特征在于，包括：

步骤10，分析场景的主成分；

步骤20，根据场景的主成分的第一分量检测出场景光源；

步骤30，利用目标光源的光谱向量基和场景光源的光谱向量基对应的系数重构场景光谱。

Images