CN109855735A - 一种同步控制与采集的高光谱计算成像方法 - Google Patents

Abstract

本发明提供了一种同步控制与采集的高光谱计算成像方法，在特定波长处采集不同编码孔径下的光谱图像，能够控制DMD自动更换编码孔径并进行投影测量，快速、高效的得到不同编码孔径时目标图像的光谱序列，实现高光谱计算成像。本发明在LCTF中心波长设定成功后才进行DMD更换编码孔径的操作，在DMD更换编码孔径并投影显示成功后才触发面阵探测器采集光谱图像。在LCTF调整中心波长，DMD更换编码孔径，面阵探测器光谱图像采集上避免时间冲突，保证采集图像数据的正确性。

Description

一种同步控制与采集的高光谱计算成像方法

技术领域

本发明属于高光谱计算成像同步控制与采集技术领域，尤其涉及一种同步控制与采集的高光谱计算成像方法，同步控制液晶可调谐滤波器(Liquid Crystal TunableFilter，LCTF)、CMOS(Complementary Metal Oxide Semiconductor)面阵探测器和数字微镜阵列(Digital Micromirror Device，DMD)，采集经过空间信息调制后的目标图像光谱序列，实现高光谱计算成像。

背景技术

近年来，基于液晶可调谐滤波器(LCTF)的凝视型高光谱成像技术快速发展。液晶可调谐滤波器利用液晶的电控双折射效应，通过改变驱动电压实现中心波长的快速转换，具有体积小、功耗低以及易于移动等优点，利用液晶光谱成像技术可以按时间序列获取目标的二维空间分布信息和光谱信息，广泛应用于伪装识别、农业应用、环境保护以及气象观测等领域。压缩感知理论的提出可以实现在采样中完成数据压缩过程，通过在数字微镜阵列(DMD)上加载编码孔径可以进行投影测量，在面阵探测器上获得低空间分辨率的压缩数据，再根据压缩感知理论进行高空间分辨率的数据重构。DMD可以高速，高效，可靠地进行空间光调制，由一系列可驱动的微小镜面组成，通过控制微镜片的角度可以实现对空间信息的调制，在“开”、“关”两种状态下分别向水平线两侧倾斜12°，对应DMD的两个反射方向。

采集压缩数据的原理如下：表示长度为N的一维信号，压缩感知采样将信号X通过观测矩阵投影为长度为M(M＜＜N)的观测数据其中观测值数量远小于原始信号的长度。Y＝ΦX，因此通过在DMD上加载编码孔径可以实现对场景的编码，每一次测量对应观测矩阵Φ的一行，每一个矩阵元的取值为0或1。由于需要获得M次测量数据，在进行高光谱计算成像时，需要采集DMD加载不同编码孔径时的高光谱压缩数据。在现有高光谱计算成像系统中，LCTF和面阵探测器的控制模块与DMD的控制模块是完全独立的，在每次光谱序列采集前需要在DMD控制模块手动控制DMD更换编码孔径并进行投影测量，在LCTF和面阵探测器控制模块控制一定波长范围内光谱序列扫描，无法实现三者的自动循环控制，这样必然会造成采集时间和工作量的增加。

发明内容

有鉴于此，本发明提供了一种同步控制与采集的高光谱计算成像方法，在特定波长处采集不同编码孔径下的光谱图像，能够控制DMD自动更换编码孔径并进行投影测量，快速、高效的得到不同编码孔径时目标图像的光谱序列，实现高光谱计算成像。

为实现上述目的，本发明的技术方案如下：

本发明提供了一种同步控制与采集的高光谱计算成像方法，利用LCTF、DMD和CMOS进行计算成像，设置同步控制与采集模块，利用同步控制与采集模块进行计算成像，包括如下步骤：

步骤1，对LCTF、DMD和CMOS进行初始化；

步骤2，利用同步控制与采集模块将1个图像序列的编码孔径均存储到DMD的随机存储器上；

步骤3，利用同步控制与采集模块控制LCTF输出电压将其中心波长调谐到起始波长值；

步骤4，利用同步控制与采集模块控制随机存储器将其存储的编码孔径依次投影显示到DMD上；同时控制CMOS采集各编码孔径下的目标图像，当最后一个编码孔径下的目标图像采集完成后，控制LCTF输出电压将其中心波长按设定扫描步长调谐到下一波长处，重复步骤4，直至LCTF的中心波长调谐到终止波长，获得各波长下的目标图像，执行步骤5；

步骤5，获取目标图像光谱序列，利用压缩感知相关理论重构出原始图像，完成高光谱计算成像。

其中，所述步骤1中，对于LCTF，获取硬件内LCTF模块的序列号，指定某个序列号或者按串口号连接第一个LCTF控制器并初始化；

对于DMD，在初始化时分配一个ALP硬件系统，并获取ALP的序列号，ALP硬件系统的控制套装是DLL文件，根据DMD型号获取编码孔径大小，记为P*Q；

对于CMOS，检测相机数量，创建相机对象并打开相机对象，之后加载数据流抓取对象，在对CMOS进行初始化时对CMOS图像获取模式、相机触发模式、采集图像属性以及图像增益等参数进行设置。

其中，所述步骤3和步骤4中，通过温度被动补偿精确控制避免温度变化带来的LCTF中心波长漂移，利用在不同温度下标定的驱动参数数据建立一个数据库，并将其保存在LCTF驱动器上的只读存储器中，在实时温度下，确定预定中心波长序列对应的驱动参数，引用该驱动参数驱动LCTF工作。

其中，在每一组采集前需要获取LCTF传感器温度，在设定LCTF温度和输出LCTF波长延迟时间下，通过控制LCTF输出电压将其中心波长调谐到特定波长处。

其中，所述步骤4包括如下子步骤：

利用同步控制与采集模块控制随机存储器将其存储的1个编码孔径投影显示到DMD上；同时控制CMOS在设定曝光时间下采集特定波长处的光谱图像，控制CMOS采集模式为单帧采集图像的方式；

当单帧图像抓取成功后，将抓取到的图像转入到CMOS缓存区，然后将CMOS缓存区的结果存入到目标光谱图像数组列表中使缓存区变为空的缓存区，在采集下一个编码孔径下的光谱图像时重新使用CMOS缓存区；当缓存区结果成功存入数组列表时，随机存储器上的下一个编码孔径投影显示到DMD上，重复上述CMOS自动采集光谱图像过程得到特定波长处的光谱图像；

将数组列表中目标光谱图像按照设定的图像格式存储；根据采集组数和组间间隔时间采集目标在特定波长下经过不同编码孔径调制后的多组光谱图像。

有益效果：

1、本发明在LCTF中心波长设定成功后才进行DMD更换编码孔径的操作，在DMD更换编码孔径并投影显示成功后才触发面阵探测器采集光谱图像。在LCTF调整中心波长，DMD更换编码孔径，面阵探测器光谱图像采集上避免时间冲突，保证采集图像数据的正确性。在特定波长处采集不同编码孔径下的光谱图像，同步控制液晶可调谐滤波器(LCTF)、面阵探测器和数字微镜阵列(DMD)工作，在采集时实现DMD自动进行不同编码孔径的投影显示。实现面阵探测器自动采集不同中心波长处光谱图像。与两个控制模块独立控制相比，可以快速、便捷、准确获取经过空间调制后目标图像光谱数据，易于操作，避免采集时间过长带来系统的不稳定性。

2、本发明分光元件采用液晶可调谐滤波器，具有精确的温度被动补偿和热控技术，具有优良的环境适应性，通过在每次采集一组光谱图像前获取LCTF传感器温度和状态保证中心波长设定的准确性。

附图说明

图1为本发明同步控制与采集的高光谱计算成像系统的结构框图。

图2为本发明同步控制LCTF、CMOS、DMD采集的具体实施例的流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

图1为本发明的一种同步控制与采集的高光谱计算成像系统的结构框图，系统包括LCTF、第一成像透镜、DMD、第二成像透镜、CMOS面探测器以及同步控制与采集模块。LCTF用于选择透射光的波长；第一成像透镜用于将光线成像到DMD上；DMD作为空间光调制器对二维空间信息进行调制编码；第二成像透镜用于将经过DMD调制编码后包含空间信息的光线进行缩束和准直，得到平行光束，会聚在CMOS面探测器上；CMOS面探测器用于采集空间调制后的光谱图像；同步控制与采集模块用于实现LCTF、CMOS、DMD的控制，通过变换LCTF中心波长实现不同波长处的采集，通过DMD上加载不同的编码孔径实现不同编码孔径下光谱图像的采集。在计算机平台上同步控制可以自动实现LCTF换波长，CMOS采集，DMD变换编码孔径，完成多波段，多编码孔径下目标图像空间信息和光谱信息的采集。

本发明的一种同步控制与采集的高光谱计算成像方法，利用一种同步控制与采集的高光谱计算成像系统进行计算成像，图2为同步控制LCTF、CMOS、DMD采集的具体流程图。

本发明自动采集不同编码孔径和不同中心波长处的光谱图像，需要采集的编码孔径数目为M，中心波长数目为N。有两种方式可以实现高光谱图像采集的自动控制。第一种方式在特定编码孔径下采集不同波长处光谱图像，通过变换编码孔径实现不同编码孔径下光谱采集，这种方式与两个控制模块完全独立时的采集方式一致。这种方式采集一组光谱序列需要变换M*N次中心波长和M次编码孔径。第二种方式在特定波长处采集不同编码孔径下的光谱图像，通过调整LCTF中心波长实现不同波长处光谱采集，这种方式采集一组光谱序列需要变换M*N次编码孔径和N次中心波长。DMD变换编码孔径的时间约为10ms，为确保LCTF中心波长设定的准确性，LCTF中心波长变换的延迟时间一般为500ms。由于DMD变换编码孔径的时间较短，采用第二种方式可以减少采集时间，提高采集效率，本发明采用第二种采集方式。

本发明的一种同步控制与采集的高光谱计算成像方法，设置同步控制与采集模块，利用同步控制与采集模块进行计算成像，本发明在特定波长处采集不同编码孔径下的光谱图像，通过调整LCTF中心波长实现不同波长处光谱采集的方式。同步控制与采集模块是基于计算机平台实现的，使用USB接口实现计算机与LCTF、DMD、CMOS的数据交换。LCTF、DMD和CMOS的动态链接库(DLL)文件包含应用程序接口函数(API)，通过调用DLL里的API函数可以控制LCTF、DMD和CMOS工作，实现正常功能和可靠运行。

在计算机平台上利用Visual Studio 2015开发平台编写C#窗体应用程序，设计控制模块的软件界面，软件界面包括工作参数控制和图像采集设置两个模块。工作参数控制包括CMOS控制、LCTF驱动控制、DMD编码孔径控制。CMOS控制模块主要完成对相机的曝光时间、曝光模式等的控制；LCTF驱动控制模块主要完成对LCTF驱动控制器工作参数的设置，例如LCTF起止波长，终止波长和LCTF延迟时间等；DMD编码孔径控制主要完成从计算机平台上加载编码孔径。图像采集设置包括采集参数和采集模式设置。采集参数设置包括采集组数、组间时间间隔、采集图像的命名和存储路径；采集模式设置包括设置单帧保存、扫描预览、多帧保存和多组采集四种采集模式。单帧保存存储单波段光谱数据；扫描预览对目标图像进行光谱序列扫描；多帧保存对目标图像进行光谱序列扫描并存储；多组采集存储多组目标图像光谱序列。四种采集模式采用多线程的方式，提高程序响应速度。

本发明方法中在光谱采集前为DMD初始化1个图像序列，将M个编码孔径加载到DMD随机存储器上。在每一个特定波长处分别投影并显示不同的编码孔径可以实现编码孔径的变换，通过变换LCTF中心波长实现不同波长处的采集；采集得到的低空间分辨率图像可以用于原始图像的重构；同步控制包括设备初始化、采集参数设定、驱动液晶可调谐滤波片调整中心波长、编码孔径加载和投影显示以及触发面阵探测器采集目标图像等步骤。通过循环控制完成多波段，多采集组数，多编码孔径下目标图像空间信息和光谱信息的采集。本发明可以快速、便捷、准确获取经过空间信息调制后目标图像光谱数据，减少采集时间与工作量，易于操作。

其中，为了得到连续光谱图像，一般高光谱系统是可以调整波长，本发明基于的系统是高光谱计算成像系统，因此需要得到不同编码孔径下不同波长处光谱图像。本发明可以实现LCTF换波长，CMOS采集，DMD变换编码孔径的同步。调整LCTF中心波长与更换DMD编码孔径的关联主要是在LCTF调整到特定波长处，自动变换DMD上的多个编码孔径，得到特定波长下多个编码孔径时的光谱图像，当最后一个编码孔径采集完成后自动将LCTF变换到下一个波长处，实现循环。

本发明的一种同步控制与采集的高光谱计算成像方法，具体步骤如下：

步骤1，在打开软件界面时完成对LCTF、DMD和CMOS的初始化：

对于LCTF，获取硬件内LCTF模块的序列号，指定某个序列号或者按串口号连接第一个LCTF控制器并初始化；对于CMOS，检测相机数量，创建相机对象并打开相机对象，之后加载数据流抓取对象，在对CMOS进行初始化时对CMOS图像获取模式、相机触发模式、采集图像属性以及图像增益等参数进行设置；对于DMD，在初始化时分配一个ALP(AccessoryLight modulator Package)硬件系统，并获取ALP的序列号；ALP硬件系统的控制套装是DLL文件，即用DLL(ALP控制套装)通过ALP的序列号去控制ALP硬件系统；根据DMD型号获取编码孔径大小，记为P*Q。

步骤2，初始化完成后，在软件界面工作参数控制模块完成对CMOS控制、LCTF驱动控制的设置，在图像采集设置模块完成采集参数设置：

其中对CMOS控制的设置包括设置CMOS曝光时间和曝光模式，对LCTF驱动控制的设置包括设置起始波长λ₁、终止波长λ₂、扫描步长和LCTF延迟时间，对图像采集的设置包括设置采集组数、组间时间间隔、图像格式、命名和存储路径。

在软件界面工作参数控制模块完成DMD控制，利用图像序列完成编码孔径的加载和存储：

DMD利用图像序列完成编码孔径的加载、存储和投影显示操作。本发明采用1个图像序列包含M个编码孔径的方式，在开始光谱序列采集前，在软件界面工作参数控制模块选择计算机内存中M个大小为P*Q的编码孔径。初始化1个位深为n、图像数为M的DMD图像序列，将M个编码孔径存储到DMD的随机存储器上。

步骤3，利用同步控制与采集模块控制LCTF输出电压将其中心波长调谐到起始波长值；

步骤4，利用同步控制与采集模块控制随机存储器将其存储的编码孔径依次投影显示到DMD上；同时控制CMOS采集各编码孔径下的目标图像，当最后一个编码孔径下的目标图像采集完成后，控制LCTF输出电压将其中心波长按设定扫描步长调谐到下一波长处，重复步骤4，直至LCTF的中心波长调谐到终止波长，获得各波长下的目标图像，执行步骤5；

步骤5，获取目标图像光谱序列，利用压缩感知相关理论重构出原始图像，完成高光谱计算成像。

由于LCTF对温度比较敏感，通过温度被动补偿精确控制避免温度变化带来的LCTF中心波长漂移，补偿原理是在LCTF特定波长下使用温度控制器将LCTF控制在预期的工作温度附近，然后以一定的步长逐渐改变LCTF的温度，并在该温度下标定LCTF的驱动参数，使其中心波长保持恒定。利用在不同温度下标定的驱动参数数据建立一个数据库，并将其保存在LCTF驱动器上的只读存储器中，在实时温度下，确定预定中心波长序列对应的驱动参数，引用该驱动参数驱动LCTF工作。为了避免温度变化带来LCTF中心波长的漂移，所述步骤3和步骤4中，在每一组采集前利用API函数获取LCTF传感器温度以及状态。在一定LCTF温度和输出LCTF波长延迟时间下，通过控制LCTF输出电压将其中心波长调谐到特定波长处。

所述步骤4中包括单帧保存、多帧保存、扫描预览和多组采集四种采集模式，在采集组数、光谱扫描和光谱序列存储方面存在不同，选择不同的采集模式可以实现不同的功能。与多组采集模式相比，单帧保存模式的采集组数为1，不进行光谱序列的扫描，仅存储单个波段不同编码孔径下光谱图像；多帧保存采集组数为1，进行光谱序列的扫描和存储；扫描预览模式的采集组数为1，不将目标图像光谱序列存储到计算机内存中，仅在软件界面上进行光谱图像预览。

对于多组采集模式，包括如下子步骤：利用同步控制与采集模块控制随机存储器将其存储的1个编码孔径投影显示到DMD上；来自成像目标的光线通过LCTF后变成准单色光，经过DMD空间编码后成像到CMOS上，控制CMOS在设定曝光时间下采集特定波长处的光谱图像，控制CMOS采集模式为单帧采集图像的方式。

当单帧图像抓取成功后，将抓取到的图像转入到CMOS缓存区，然后将CMOS缓存区的结果存入到目标光谱图像数组列表中使缓存区变为空的缓存区，在采集下一个编码孔径下的光谱图像时重新使用CMOS缓存区；当缓存区结果成功存入数组列表时，随机存储器上的下一个编码孔径投影显示到DMD上，重复上述CMOS自动采集光谱图像过程得到特定波长处的光谱图像；

将数组列表中目标光谱图像按照设定的图像格式存储；根据采集组数和组间间隔时间采集目标在特定波长下经过不同编码孔径调制后的多组光谱图像。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种同步控制与采集的高光谱计算成像方法，利用LCTF、DMD和CMOS进行计算成像，其特征在于，设置同步控制与采集模块，利用同步控制与采集模块进行计算成像，包括如下步骤：

步骤1，对LCTF、DMD和CMOS进行初始化；

步骤2，利用同步控制与采集模块将1个图像序列的编码孔径均存储到DMD的随机存储器上；

步骤3，利用同步控制与采集模块控制LCTF输出电压将其中心波长调谐到起始波长值；

步骤4，利用同步控制与采集模块控制随机存储器将其存储的编码孔径依次投影显示到DMD上；同时控制CMOS采集各编码孔径下的目标图像，当最后一个编码孔径下的目标图像采集完成后，控制LCTF输出电压将其中心波长按设定扫描步长调谐到下一波长处，重复步骤4，直至LCTF的中心波长调谐到终止波长，获得各波长下的目标图像，执行步骤5；

步骤5，获取目标图像光谱序列，利用压缩感知相关理论重构出原始图像，完成高光谱计算成像。

2.如权利要求1所述的一种同步控制与采集的高光谱计算成像方法，其特征在于，所述步骤1中，对于LCTF，获取硬件内LCTF模块的序列号，指定某个序列号或者按串口号连接第一个LCTF控制器并初始化；

对于DMD，在初始化时分配一个ALP硬件系统，并获取ALP的序列号，ALP硬件系统的控制套装是DLL文件，根据DMD型号获取编码孔径大小，记为P*Q；

对于CMOS，检测相机数量，创建相机对象并打开相机对象，之后加载数据流抓取对象，在对CMOS进行初始化时对CMOS图像获取模式、相机触发模式、采集图像属性以及图像增益等参数进行设置。

3.如权利要求1所述的一种同步控制与采集的高光谱计算成像方法，其特征在于，所述步骤3和步骤4中，通过温度被动补偿精确控制避免温度变化带来的LCTF中心波长漂移，利用在不同温度下标定的驱动参数数据建立一个数据库，并将其保存在LCTF驱动器上的只读存储器中，在实时温度下，确定预定中心波长序列对应的驱动参数，引用该驱动参数驱动LCTF工作。

4.如权利要求3所述的一种同步控制与采集的高光谱计算成像方法，其特征在于，在每一组采集前需要获取LCTF传感器温度，在设定LCTF温度和输出LCTF波长延迟时间下，通过控制LCTF输出电压将其中心波长调谐到特定波长处。

5.如权利要求1所述的一种同步控制与采集的高光谱计算成像方法，其特征在于，所述步骤4包括如下子步骤：

利用同步控制与采集模块控制随机存储器将其存储的1个编码孔径投影显示到DMD上；同时控制CMOS在设定曝光时间下采集特定波长处的光谱图像，控制CMOS采集模式为单帧采集图像的方式；

当单帧图像抓取成功后，将抓取到的图像转入到CMOS缓存区，然后将CMOS缓存区的结果存入到目标光谱图像数组列表中使缓存区变为空的缓存区，在采集下一个编码孔径下的光谱图像时重新使用CMOS缓存区；当缓存区结果成功存入数组列表时，随机存储器上的下一个编码孔径投影显示到DMD上，重复上述CMOS自动采集光谱图像过程得到特定波长处的光谱图像；

将数组列表中目标光谱图像按照设定的图像格式存储；根据采集组数和组间间隔时间采集目标在特定波长下经过不同编码孔径调制后的多组光谱图像。