CN116718271B - 高速高光谱成像系统和方法 - Google Patents

Abstract

本发明涉及计算摄像学技术领域，本发明公开了高速高光谱成像系统和方法，该系统包括二维阵列相机、高光谱相机、光路装置和重建模块，其中，光路装置，用于使得目标场景置于光路中；二维阵列相机和所述高光谱相机，用于在计算机控制下同步触发二维阵列相机和高光谱相机对目标场景进行采样得到二维空间测量值和三维空间光谱测量值；重建模块，用于通过第一预设算法对二维场景测量值进行计算得到目标场景的运动变化信息，并利用第二预设算法和运动变化信息对三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像。本发明可以实现高质量的高速高光谱成像。

Description

高速高光谱成像系统和方法

技术领域

本发明涉及计算摄像学技术领域，特别是涉及高速高光谱成像系统和方法。

背景技术

高光谱成像是一种成像技术与光谱技术相结合的技术，其探测目标的二维空间和一维光谱信息得到三维的空间光谱立方体信息，其获得的高光谱数据分辨率连续，波段窄。可应用在食品安全、医学诊断、航空航天等领域。

基于光栅分光的高光谱相机，通过光栅的衍射分光，二维图像上的每个点，可以形成一条谱带，照射到探测器上。这样的一个点就对应一个谱段，一条线就对应一个谱面，要想完成对二维空间的成像，只需要基于线成像的基础上增加一个机械推扫，即可采集整个图像和光谱数据。这类高光谱成像技术光谱分辨率高，可实现约3nm的光谱分辨率，但由于其完整成像周期内，单次只对图像的一条线成像，因此其要求探测目标保持静止，否则会产生不同成像位置出重复出现已采集数据或丢失未采集数据的现象。

除了直接对三维光谱数据直接成像外，还有基于压缩感知理论的压缩光谱成像技术，其将三维光谱数据立方体依次经过空间调制和光谱调制后投影到二维探测器上进行压缩成像，再通过算法从混叠的二维探测数据中重构出三维数据立方体。2008年，美国杜克大学的Ashwin基于压缩光谱成像技术提出了编码孔径压缩光谱成像（Coded ApertureSnapshot Spectral Imaging, CASSI），使用二维空间编码对三维光谱数据立方体进行空间调制，再使用光栅对其进行光谱调制，然后在二维探测器上对多个空间调制结果进行重叠成像，最后使用重构算法重建出原始的三维光谱数据立方体。该方法只需要探测器进行一次成像，具有成像速度快的优点，但该方法的重建质量依赖于空间编码调制，并且其无法实现高光谱成像，只能重建出有限光谱谱段的数据。

还有基于凝视成像的多光谱成像技术，但其成像的光谱谱段数量依赖于所使用的滤光片数量，同样难以实现高光谱甚至超光谱成像。而基于此类技术衍生出来的基于滤光片掩膜的方法，其直接在探测器的像元尺度制作不同波段的滤光片实现多光谱成像，其成像速度更快，单次曝光成像即可实现多光谱成像，但其所成光谱谱段数量同样依赖于所设计的掩膜数量，并且存在于所成光谱谱段数量与所成图像空间分辨率成反比的制约关系，同样难以实现高光谱成像。目前该类高光谱相机成像速度慢，并要求探测目标保持静止的缺点。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出一种高速高光谱成像系统，通过额外增加一个二维阵列相机与高光谱相机进行同步成像，构建双相机系统。并且在重构算法中首先使用普通相机测量值分解出场景的运动，再使用矫正算法矫正线推扫高光谱相机的探测结果，实现了高速的高光谱成像。

本发明的另一个目的在于提出一种高速高光谱成像方法。

为达上述目的，本发明一方面提出一种高速高光谱成像系统，该包括二维阵列相机、高光谱相机、光路装置和重建模块，其中，

所述光路装置，用于使得目标场景置于光路中；

所述二维阵列相机和所述高光谱相机，用于在计算机控制下同步触发所述二维阵列相机和所述高光谱相机对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

所述重建模块，用于通过第一预设算法对所述二维场景测量值进行计算得到目标场景的运动变化信息，并利用第二预设算法和所述运动变化信息对所述三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像。

另外，根据本发明上述实施例的高速高光谱成像系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述重建模块，还用于：

通过场景运动分解算法对二维阵列相机在高光谱相机的完整采样周期内所采集的二维场景测量值进行计算，以得到各个采样时间间隔的目标场景的运动变化信息；

利用基于时空耦合的矫正算法和根据所述二维场景测量值计算得到的运动变化信息对高光谱相机在完整采样周期内所采集的低时间分辨率的三维空间光谱测量值进行矫正以得到具有高时间分辨率的三维空间光谱值。

进一步地，在本发明的一个实施例中，所述二维阵列相机和所述高光谱相机分别采集得到每一个时刻的二维场景测量值和每个时刻各不相同的空间位置的三维空间光谱测量值。

进一步地，在本发明的一个实施例中，所述二维阵列相机的成像空间分辨率大于所述高光谱相机的成像空间分辨率。

进一步地，在本发明的一个实施例中，所述二维阵列相机和所述高光谱相机相互配准；所述光路装置至少包括光源。

进一步地，在本发明的一个实施例中，所述重建模块，还用于利用针对图像逐点匹配的图像配准方法分解在完整采样周期内所采集的二维场景测量值以得到任意时刻间隔下目标场景的运动变化信息。

进一步地，在本发明的一个实施例中，所述重建模块，还用于高光谱相机在完整成像周期需要成像帧图像，即/>个时刻；对/>帧图像的每一帧，依次计算与剩余/>帧之间的运动变化信息：

其中，其中和/>分别表示二维阵列相机在时刻/>和时刻/>所采集得到的二维测量值，表示时刻/>与时刻/>之间的运动变化信息，/>表示针对图像逐点匹配的图像配准方法。

进一步地，在本发明的一个实施例中，所述高光谱相机在单次触发的时刻，得到空间尺寸为/>的二维谱面测量值，其中/>表示光谱维度的谱段数，/>表示高光谱相机成像空间中的一条高为/>像素的线；假设高光谱相机的成像空间宽度为/>像素，则/>；高光谱相机每一时刻采集到一条线的谱面信息，在下一时刻则采集相邻线的谱面信息，完整成像周期/>，对于时刻/>位置，仅有成像空间中横坐标为/>，高为/>像素的一条线中所有像素点的真实光谱信息；用/>表示时刻为/>，高为/>，宽为/>的像素位置的光谱数据，重建任务为重建所有的/>,/>,/>的数据/>。

进一步地，在本发明的一个实施例中，所述重建模块，还用于对待求解的数据值，遍历所有帧的运动变化，计算得到数据值运动到每一时刻帧中的坐标，其中/>；

遍历所有的新坐标，若/>，则表明当前新坐标位于时刻/>的高光谱相机的真实测量值中，则待求解的数据值搜索匹配成功，有/>。

为达上述目的，本发明另一方面提出一种高速高光谱成像方法，包括：

构建基于目标场景的光路；

基于所述光路对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

利用第一预设算法对所述二维场景测量值进行计算得到目标场景的运动变化信息；

利用第二预设算法和所述运动变化信息对所述三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像。

本发明实施例的高速高光谱成像系统和方法，使用普通相机测量值分解出场景的运动，再使用矫正算法矫正线推扫高光谱相机的探测结果，实现了高速的高光谱成像。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的高速高光谱成像系统的结构图；

图2是根据本发明实施例的高速高光谱成像系统的双相机光路示意图；

图3是根据本发明实施例的场景运动分解示意图；

图4是根据本发明实施例的高光谱测量值矫正流程图；

图5是根据本发明实施例的仿真结果图；

图6是根据本发明实施例的高速高光谱成像方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的高速高光谱成像系统和方法。

图1是本发明实施例的高速高光谱成像系统的结构图。

如图1所示，该系统10包括二维阵列相机100、高光谱相机200、光路装置300和重建模块400，其中，

光路装置300，用于使得目标场景置于光路中；

二维阵列相机100和高光谱相机200，用于在计算机控制下同步触发二维阵列相机100和高光谱相机200对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

重建模块400，用于通过第一预设算法对二维场景测量值进行计算得到目标场景的运动变化信息，并利用第二预设算法和运动变化信息对三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像。

示例性地，将二维阵列相机测量值下采样至空间分辨率与光谱相机测量值的空间分辨率相同；对于二维阵列相机在高光谱相机完整采样周期内所采集的一组场景测量值，应用场景运动分解算法得到每一个采样时间间隔的场景运动变化信息；

示例性地，由于在高光谱相机的一个完整测量周期内，每一个采集时间点所采集的光谱信息在空间上都是各不相同的，对这些测量值应用基于时空耦合的矫正算法，基于从二维阵列相机测量值分解得到的场景运动信息对高光谱相机测量值进行矫正，得到每一个采集时间点下目标场景的完整高光谱重构图像。

示例性地，需要利用相互配准的二维阵列相机和高光谱相机同步采集目标场景的二维场景测量值和三维高光谱测量值。

示例性地，二维阵列相机测量值的空间分辨率大于或等于高光谱相机测量值的空间分辨率，可使得重建算法允许一定范围内的双相机配准误差。

示例性地，二维阵列相机与高光谱相机同步触发采集数据，使得二维阵列相机能准确记录下高光谱相机每一成像时刻下目标场景的空间信息。

示例性地，在高光谱相机的一个完整测量周期内，二维阵列相机与高光谱相机同时采样，二维阵列相机将得到高光谱相机完整采样周期内的一组目标场景二维场景测量值，使用针对图像逐点匹配的图像配准方法分解得到任意时刻间隔下场景间的运动变化信息。

示例性地，高光谱相机在一个完整采集周期内，每一个时刻所采集的空间位置各不相同，因此在空间域中，耦合其它时刻的测量值，并基于二维阵列相机测量值分解所得到的场景空间域变化，通过搜索和匹配其它时刻的真实测量值进行矫正，最终重建得到每一个时刻目标场景中所有空间位置的高光谱值。

如图2所示，搭建的双相机成像光路。本发明实施例搭建并配准双相机成像光路，使用二维阵列相机和高光谱相机采集对应目标场景的二维场景测量值和三维空间光谱立方体测量值；根据二维阵列相机的二维场景测量值，使用算法计算目标场景的运动信息，再通过重建算法，使用计算得到的场景运动信息来矫正高光谱相机采集的具有低时间分辨率的三维空间光谱测量值，以重建高时间分辨率和高光谱分辨率的目标场景。

在本发明的一个实施例中，使用一个半反射半投射棱镜，将来自目标场景的光线分别被线推扫式高光谱相机和普通相机所捕获，并通过调整普通相机到棱镜的距离、镜头的焦距、相机位置等，使得普通相机的成像空间与高光谱相机的成像空间大致对齐，也可以在重建过程中使用标定算法进行配准，也可以不使用棱镜进行分光，而是只确保两个相机都能采集到完整的场景，在重建过程中使用标定算法进行配准。利用计算机控制同步触发普通相机和高光谱相机的采样，分别采集得到每一个时刻的二维场景测量值和每一个时刻各不相同的空间位置的高光谱测量值。

进一步地，根据二维场景测量值应用场景运动分解算法得到场景的运动信息；利用基于时空耦合的矫正算法，基于分解的场景运动信息矫正高光谱相机采集的低时间分辨率的三维空间光谱测量值，进行高速高光谱成像。具体包括：

可以理解的是，由于双相机的成像空间之间存在配准误差，因此需要确保二维阵列相机的在成像视场与高光谱相机的成视场相近的情况下，二维阵列相机的成像空间分辨率要大于高光谱相机的成像空间分辨率以抵消配准误差。

如图3所示，若线推扫式高光谱相机在完整成像周期内需要成像帧，即/>个时刻，其中每一帧可以得到该时刻下空间中一条线的谱面数据，而由于二维阵列相机与高光谱相机是同步触发采样，所以二维阵列相机同样能采集得到/>帧图像。对该/>帧图像的每一帧，依次计算其与剩余/>帧之间的运动变化信息差：

其中，其中和/>分别表示二维阵列相机在时刻/>和时刻/>所采集得到的二维测量值，表示时刻/>与时刻/>之间的场景运动变化量，/>则表示针对图像逐点匹配的图像配准方法，在本实例中为稠密光流算法。

如图4所示，本实例使用线推扫高光谱相机，所以在单次触发的时刻，可以得到空间尺寸为/>的二维谱面测量值，其中/>表示光谱维度的谱段数，/>表示高光谱相机成像空间中的一条高为/>像素的线，假设高光谱相机的成像空间宽度为/>像素，由线推扫式高光谱相机的成像特点可知/>。线推扫式高光谱相机每一时刻可以采集到一条线的谱面信息，在下一时刻则采集与该线相邻线的谱面信息，且完整成像周期/>，即对于时刻/>位置，有且仅有成像空间中横坐标为/>，高位/>像素的一条线中所有像素点的真实光谱信息。用/>表示时刻为/>，高为/>，宽为/>的像素位置的光谱数据，重建任务为重建所有的,/>,/>的数据/>，而高光谱相机成像所得的真实测量数据/>受到的约束。按照下述算法遍历求解每一个像素位置/>的数据值/>：

对待求解的数据值，遍历所有帧的运动变化，计算得到该数据值运动到每一时刻帧中的坐标/>，其中/>；

遍历所有的新坐标，若/>，则说明当前新坐标位于时刻/>的高光谱相机真实测量值中，则该待求解数据值搜索匹配成功，有/>，若无有效的/>，则说明匹配失败，真实测量值中不存在该待求解数据值。

本发明实施例同时使用两个相机，利用二维阵列相机捕获场景的运动变化，利用高光谱相机捕获光谱数据，并使用矫正算法按照场景的运动变化匹配矫正所有时刻所有空间位置的高光谱数据值，实现双相机高速高光谱成像。为验证上述方法的有效性，本实施例采用“chart_and_stuffed_toy”图片作为目标场景进行仿真，二维阵列相机和高光谱相机空间分辨率均为，高光谱相机捕获的测量值与图像重建结果如图5所示，可以观察到该算法能够准确有效的还原每一时刻的高光谱信息。

根据本发明实施例的高速高光谱成像系统，通过同时利用二维阵列相机和高光谱相机对目标场景进行同步成像，并对成像数据进行算法处理，最终使得该系统的成像兼具二维阵列相机的高时间分辨率与高光谱相机的高光谱分辨率，实现高时间分辨率、高光谱分辨率的成像。

为了实现上述实施例，如图6所示，本实施例中还提供了高速高光谱成像方法，该方法包括：

S1，构建基于目标场景的光路；

S2，基于光路对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

S3，利用第一预设算法对二维场景测量值进行计算得到目标场景的运动变化信息；

S4，利用第二预设算法和运动变化信息对三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像。

根据本发明实施例的高速高光谱成像方法，通过同时利用二维阵列相机和高光谱相机对目标场景进行同步成像，并对成像数据进行算法处理，最终使得该系统的成像兼具二维阵列相机的高时间分辨率与高光谱相机的高光谱分辨率，实现高时间分辨率、高光谱分辨率的成像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (8)

1.一种高速高光谱成像系统，其特征在于，所述系统包括二维阵列相机、高光谱相机、光路装置和重建模块，其中，

所述光路装置，用于使得目标场景置于光路中；

所述二维阵列相机和所述高光谱相机，用于在计算机控制下同步触发所述二维阵列相机和所述高光谱相机对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

所述重建模块，用于通过第一预设算法对所述二维场景测量值进行计算得到目标场景的运动变化信息，并利用第二预设算法和所述运动变化信息对所述三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像；

所述重建模块，还用于：

通过场景运动分解算法对二维阵列相机在高光谱相机的完整采样周期内所采集的二维场景测量值进行计算，以得到各个采样时间间隔的目标场景的运动变化信息；

利用基于时空耦合的矫正算法和根据所述二维场景测量值计算得到的运动变化信息对高光谱相机在完整采样周期内所采集的低时间分辨率的三维空间光谱测量值进行矫正以得到具有高时间分辨率的三维空间光谱值；

所述高光谱相机在单次触发的时刻，得到空间尺寸为/>的二维谱面测量值，其中/>表示光谱维度的谱段数，/>表示高光谱相机成像空间中的一条高为/>像素的线；假设高光谱相机的成像空间宽度为/>像素，则/>；高光谱相机每一时刻采集到一条线的谱面信息，在下一时刻则采集相邻线的谱面信息，完整成像周期/>，对于时刻/>位置，仅有成像空间中横坐标为/>，高为/>像素的一条线中所有像素点的真实光谱信息；用/>表示时刻为/>，高为/>，宽为/>的像素位置的光谱数据，重建任务为重建所有的/>,/>,/>的数据/>。

2.根据权利要求1所述的系统，其特征在于，所述二维阵列相机和所述高光谱相机分别采集得到每一个时刻的二维场景测量值和每个时刻各不相同的空间位置的三维空间光谱测量值。

3.根据权利要求1所述的系统，其特征在于，所述二维阵列相机的成像空间分辨率大于所述高光谱相机的成像空间分辨率。

4.根据权利要求1所述的系统，其特征在于，所述二维阵列相机和所述高光谱相机相互配准；所述光路装置至少包括光源。

5.根据权利要求2所述的系统，其特征在于，所述重建模块，还用于利用针对图像逐点匹配的图像配准方法分解在完整采样周期内所采集的二维场景测量值以得到任意时刻间隔下目标场景的运动变化信息。

6.根据权利要求5所述的系统，其特征在于，所述重建模块，还用于高光谱相机在完整成像周期需要成像帧图像，即/>个时刻；对/>帧图像的每一帧，依次计算与剩余/>帧之间的运动变化信息：

其中，其中和/>分别表示二维阵列相机在时刻/>和时刻/>所采集得到的二维测量值，/>表示时刻/>与时刻/>之间的运动变化信息，/>表示针对图像逐点匹配的图像配准方法。

7.根据权利要求6所述的系统，其特征在于，所述重建模块，还用于对待求解的数据值，遍历所有帧的运动变化，计算得到数据值运动到每一时刻帧中的坐标，其中/>；

遍历所有的新坐标，若/>，则表明当前新坐标位于时刻/>的高光谱相机的真实测量值中，则待求解的数据值搜索匹配成功，有/>。

8.一种应用于权利要求1-7中任一一项所述的高速高光谱成像系统的成像方法，其特征在于，所述方法包括以下步骤：

构建基于目标场景的光路；

基于所述光路对目标场景进行采样得到二维场景测量值和三维空间光谱测量值；

利用第一预设算法对所述二维场景测量值进行计算得到目标场景的运动变化信息；

利用第二预设算法和所述运动变化信息对所述三维空间光谱测量值进行矫正，以根据矫正结果得到目标场景的完整高光谱重构图像；

通过场景运动分解算法对二维阵列相机在高光谱相机的完整采样周期内所采集的二维场景测量值进行计算，以得到各个采样时间间隔的目标场景的运动变化信息；

利用基于时空耦合的矫正算法和根据所述二维场景测量值计算得到的运动变化信息对高光谱相机在完整采样周期内所采集的低时间分辨率的三维空间光谱测量值进行矫正以得到具有高时间分辨率的三维空间光谱值；

所述高光谱相机在单次触发的时刻，得到空间尺寸为/>的二维谱面测量值，其中/>表示光谱维度的谱段数，/>表示高光谱相机成像空间中的一条高为/>像素的线；假设高光谱相机的成像空间宽度为/>像素，则/>；高光谱相机每一时刻采集到一条线的谱面信息，在下一时刻则采集相邻线的谱面信息，完整成像周期/>，对于时刻/>位置，仅有成像空间中横坐标为/>，高为/>像素的一条线中所有像素点的真实光谱信息；用/>表示时刻为/>，高为/>，宽为/>的像素位置的光谱数据，重建任务为重建所有的/>,/>,/>的数据/>。