CN106441577A - 基于随机投影的协同编码高光谱成像系统及图像重构方法 - Google Patents

Abstract

本发明公开了一种基于随机投影的协同编码高光谱成像系统及图像重构方法。使用本发明能够提高高光谱数据的重构速度和重构精度。本发明包括逐点扫描模块、分束器模块、第一观测通道模块、第二观测通道模块和图像重构模块；其中，第一观测通道针对收到的点光谱信息组成的光谱信息矩阵，随机生成观测矩阵A，利用观测矩阵A对光谱信息矩阵进行压缩编码；第二观测通道针对收到的每一个点光谱信息，均随机生成一个观测子矩阵，利用观测子矩阵分别对对应的点光谱信息进行光谱压缩编码；图像重构处理模块根据第一观测通道发送的观测值和第二观测通道发送的观测值，实现高光谱图像的重构。

Description

基于随机投影的协同编码高光谱成像系统及图像重构方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种基于随机投影的协同编码高光谱成像系统及图像重构方法。

背景技术

高光谱成像技术以物质的光谱分析理论为基础，涉及光学系统设计、成像技术、光电探测、信号处理与信息挖掘、光谱信息传输理论、地物波谱特性研究等领域，是当前重要的空间对地观测技术手段之一。由于高光谱成像技术能同时获取目标场景的二维空间信息和光谱信息，因此在食品安全检测、地物目标的检测识别、土壤中的金属污染的检测、矿物种类分析、洪涝灾害预测、刑事侦查、艺术品诊断、军事应用等领域都有广泛的应用。

尽管高光谱成像极具民用和军用潜力，但由于高光谱图像是一种三维图像数据，其数据容量非常庞大。特别是当高光谱图像的谱间分辨率提高时，会导致图像数据量的急剧增加。如一经典型的高光谱AVIRIS图像，由波长范围380nm-2500nm的224个谱段组成，每个谱段的空间分辨率为614×512像素，每像素表示为16比特，其数据量达到140MB/景。由于高光谱图像的数据量非常大，为了保证海量的高光谱图像的高效传输和存储，其高质量的图像压缩采样编码已成为重要的关键技术之一。

和传统压缩方法相比，随机投影技术是空载高光谱成像系统可使用的一个很有吸引力的选择方法，在获得数据的同时压缩数据，并且重构原始数据的过程通常在地面进行，大大减少了数据传输的压力。这样看来，随机投影技术与压缩感知有一定的联系，但是一个真正的压缩感知过程需要包括量化等更加复杂的处理过程，也就需要更大的计算量，所以随机投影技术运算复杂度低，重构速度快的优点就凸显了出来。

另外，现有的基于压缩感知的双通道遥感光谱成像系统和成像方法在两个观测通道模块中采用两个互补的编码板，实现对图像每一位置信息的互补编码，但在这样的系统中重构步骤复杂，并且在重构时不能直接重构出端元信息和及其对应的丰度信息。

发明内容

有鉴于此，本发明提供了一种基于随机投影的协同编码高光谱成像系统及图像重构方法，能够提高高光谱数据的重构速度和重构精度。

本发明的基于随机投影的协同编码高光谱成像系统，包括逐点扫描模块、分束器模块、第一观测通道模块、第二观测通道模块和图像重构模块；

其中，逐点扫描模块用于实现对待成像区域的逐点扫描，并将获得的点光谱信息发送至分束器模块；

分束器模块将点光谱信息均分为两路，分别发送至第一观测通道和第二观测通道；其中，两路点光谱信息相同，均为原始光谱信息强度的1/2；

第一观测通道针对收到的点光谱信息组成的光谱信息矩阵，随机生成观测矩阵A，利用观测矩阵A对光谱信息矩阵进行压缩编码，得到压缩后的观测值Y_a，并将观测值Y_a发送至图像重构处理模块；其中，所述观测矩阵A由{0,1}两个元素组成，且观测矩阵A中的每一元素服从独立分布；

第二观测通道针对收到的每一个点光谱信息，均随机生成一个观测子矩阵，用k表示点数，利用观测子矩阵B_k对k点的点光谱信息进行光谱压缩编码，进而得到对点光谱信息矩阵压缩后的观测值Y_b，并将观测值Y_b发送至图像重构处理模块；所述观测子矩阵B_k由{0,1}两个元素组成；观测子矩阵B_k中的每一元素服从独立分布；

图像重构处理模块根据第一观测通道发送的观测值Y_a和第二观测通道发送的观测值Y_b，实现高光谱图像的重构；

其中，所述图像重构处理模块首先采用奇异值分解法分解Y_a＝FS，得到维度为m_a×p的矩阵F，其中，p为端元数；S为丰度矩阵；m_a为第一观测通道的压缩后的光谱维度；然后利用矩阵F得到丰度矩阵的估计值然后根据公式计算出矩阵D，其中，为矩阵的第k列，k＝1，2，…，n；表示克罗内克积；上标T表示转置；然后根据公式得到阵其中，是的所有列依次首尾相连形成的一个列向量，vec(Y_b)是Y_b的所有列依次首尾相连形成的一个列向量；最后根据公式得到重构的光谱图像X′，实现光谱图像的重构。

进一步地，所述扫描模块包括旋转扫描镜和孔径光阑，旋转扫描镜实现对待成像区域的逐点扫描，获得的点光谱信息经过孔径光阑后进入分束器模块。

进一步地，所述第一观测通道和第二观测通道结构一致，均由色散元件、透镜组、空间调制器、会聚透镜组和列阵探测器组成；其中，第一观测通道接收的点光谱信息被色散元件色散成多个波段后，经透镜组扩束成平行光束后投射至空间调制器进行光谱维的编码；编码后的点光谱信息经会聚透镜组会聚在列阵探测器，列阵探测器对编码后的点光谱信息进行观测，获得观测值。

进一步地，所述空间调制器采用数字微镜器件DMD阵列，所述观测矩阵由PC端或控制DMD的FPGA控制板生成，生成后储存在DMD上。

本发明还提供了一种基于随机投影的协同编码高光谱图像重构方法，包括如下步骤：

步骤1，对待成像区域进行逐点扫描，获得n_r×n_c×n_b的光谱信息矩阵X；其中，n_r×n_c为光谱信息空间分辨率，n_b为光谱信息的光谱分辨率；

步骤2，将步骤1获得的光谱信息矩阵X中各点的光谱信息按1:1的比例分成两路，获得两路光谱信息矩阵，其中，两路光谱信息矩阵中所含的光谱信息相同，均为原始光谱信息强度的1/2；

步骤3，分别对步骤2获得的两路光谱信息矩阵分别进行压缩编码：针对第一路的光谱信息矩阵，生成一个随机的m_a×n_b的观测矩阵A，其中，m_a为压缩后的光谱维度；观测矩阵A由{0,1}两个元素组成，且观测矩阵A中的每一元素服从独立分布；获得第一路的观测值Y_a为Y_a＝AX；

针对第二路的光谱信息矩阵，生成一个m_b×n_b的观测矩阵B，其中，m_b为压缩后的光谱维度；其中观测矩阵B中任意一个元素k均对应着一个随机生成的观测子矩阵B_k，所述观测子矩阵B_k由{0,1}两个元素组成，且观测矩阵B中的每一元素服从独立分布，且观测子矩阵B_k中的每一元素服从独立分布；获得第二路的观测值Y_b为Y_b＝[y_b，1，y_b，2，...，y_b，k，...，y_b，n]，其中，y_b，k＝B_kx_k，其中x_k为点k的原始光谱向量，k＝1，...，n；

步骤4，高光谱图像重构，具体包括如下子步骤：

步骤4.1，采用奇异值分解方法分解式(1)，

Y_a＝FS (1)

得到矩阵F，其中，矩阵F为m_a×p矩阵，p为端元数；S为丰度矩阵；

由矩阵F以及式(1)得到丰度的估计矩阵

步骤4.2，根据式(2)计算矩阵D：

其中为矩阵的第k列，k＝1,2,…,n；为克罗内克积；

步骤4.3，根据式(3)计算出

其中，是的每一列堆叠成一列的向量，vec(Y_b)是Y_b的每一列堆叠成一列的向量；

将向量还原成矩阵

步骤4.4，计算其中，X′为重构出的原始光谱图像，从而实现原始光谱图像的重构。

有益效果：

(1)本发明采用了两次的随机投影编码，并且是对光谱维进行压缩编码，克服了现有成像系统中光谱信息利用率低的缺点，使得本发明具有光谱信息利用率高的优点。

(2)本发明采用的DMD阵列的反射方向是随机设定的，实现了对光谱图像的随机编码，并且边采集边压缩的方法，使得传输数据压力小，系统复杂度低。

(3)本发明的盲重构方法不仅重构出原始光谱信息，并且解混出端元和相应的丰度信息，重构速度快而且重构精度很高。

附图说明

图1是本发明基于随机投影的协同编码的高光谱成像系统的结构框图；

图2是本发明第一观测通道模块和第二观测通道模块的结构框图；

图3是本发明基于随机投影的协同编码的高光谱重构方法的流程图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于随机投影的协同编码高光谱成像系统及图像重构方法，采用如图1所示的基于随机投影的协同编码的高光谱成像系统进行成像。

参照图1，基于随机投影的协同编码高光谱成像系统包括逐点扫描模块、分束器模块、第一观测通道模块、第二观测通道模块和图像重构模块。其中逐点扫描模块在分束器模块前端，分束器模块位于第一观测通道和第二观测通道的前端，第一观测通道和第二观测通道的结构相同，如图2所示，图2(a)给出了第一观测通道的结构，图2(b)给出了第二观测通道的结构，图像重构处理模块的两个输入端分别与第一观测通道和第二观测通道的输出端相连。

其中，逐点扫描模块包括旋转扫描镜和孔径光阑，旋转扫描镜实现对待成像区域的逐点进行扫描，经过孔径光阑后将获得的点光谱信息发送至分束器模块；分束器模块将获得的光谱信息按1：1的比例分成两路，获得两路信息相同、强度为原光谱信息强度1/2的光谱信息矩阵，该两路光谱信息分别经过第一观测通道模块和第二观测通道，实现光谱图像的两次随机投影编码观测，观测结果传送给图像重构处理模块，图像重构处理模块对观测图像进行重构，获得原始光谱图像和解混后的端元及丰度。

参照图2(a)，第一观测通道模块包括：第一色散元件、第一透镜组、第一空间光调制器、第一会聚透镜组、第一列阵探测器。其中，第一色散元件实现光谱图像的色散，再经过第一透镜组将分光后的光扩束成平行光束投射到第一空间调制器上，用于实现对高光谱图像光谱维的编码，经过空间光调制器的光反射到第一会聚透镜组上，将压缩后的信息会聚在第一列阵探测器，用于观测图像，获取编码之后的图像信息。

其中，第一观测通道对收到的点光谱信息组成的光谱信息矩阵进行光谱压缩编码。随机生成观测矩阵A，所述观测矩阵A由{0,1}两个元素组成，且观测矩阵A中的每一元素服从独立分布；利用观测矩阵A对光谱信息矩阵进行压缩编码，得到压缩后的观测值Y_a，观测值Y_a发送至图像重构处理模块；

参照图2(b)，第二观测通道模块包括：第二色散元件、第二透镜组、第二空间光调制器、第二会聚透镜组、第二列阵探测器。其中，第二色散元件实现光谱图像的色散，再经过第二透镜组将分光后的光扩束成平行光束投射到第二空间调制器上，用于实现对高光谱图像光谱维的编码，经过空间光调制器的光反射到第二会聚透镜组上，将压缩后的信息会聚在第二列阵探测器，用于观测图像，获取编码之后的图像信息。

其中，第二观测通道对收到的点光谱信息组成的光谱信息矩阵进行光谱压缩编码。生成一个随机观测矩阵B，其中，观测矩阵B中任意一个元素k均对应着一个随机生成的观测子矩阵B_k(k为逐点扫描模块扫描的第k个点，即每扫描一个点就随机生成一个观测矩阵B_k)，所述观测矩阵B的每个子矩阵B_k由{0,1}两个元素组成；观测子矩阵B_k中的每一元素服从独立分布；利用观测矩阵B对光谱信息矩阵进行压缩编码，得到压缩后的观测值Y_b；将观测值Y_b发送至图像重构处理模块。

其中，第一空间光调制器和第二空间光调制器，是由数字微镜器件DMD阵列实现，所述数字微镜器件在“开”、“关”两种状态下分别向水平线两侧倾斜12°，对应空间光调制器的两个反射方向。所述观测矩阵由PC端或控制DMD的FPGA控制板生成，生成后储存在DMD上。

本发明的基于随机投影的协同编码高光谱成像方法，包括如下步骤：

步骤1，对高光谱图像进行随机投影观测向量采集，具体包括如下子步骤：

(1a)扫描模块对成像区域逐点扫描，经过分束器模块之后由色散模块进行色散，色散后的光束有n_b个波段，由空间光调制器对光谱维进行压缩编码；

初始化原始光谱信息。设原始光谱信息矩阵X的大小为n_r×n_c×n_b，其中n_r×n_c为光谱信息空间分辨率，n_b为光谱信息的光谱分辨率，即光谱信息的谱段个数为n_b。设扫描到任意一点，该点的光谱信息经过孔径光阑，然后通过分束器模块将光谱信息按1:1的比例分成两路，其中第一路所含的光谱信息与第二路所含的光谱信息相同，且等同于原始光谱信息强度的1/2。

(1b)第一空间光调制器随机生成一个m_a×n_b的观测矩阵A，其中m_a为压缩后的光谱维度，该观测矩阵是由{0,1}两个元素组成，且矩阵中的每一元素服从独立分布；

(1c)每扫描一个点，第二空间光调制器就随机生成一个新的m_b×n_b的观测矩阵B_k(k＝1,2,…n)，其中m_b为压缩后的光谱维度，该观测矩阵是由{0,1}两个元素组成，且矩阵中的每一元素服从独立分布，共生成n个观测矩阵，n为高光谱图像的像素数；

(1d)由列阵探测器得到每个点的两组压缩光谱向量Y_a和Y_b，第一观测通道模块得到的观测值Y_a＝AX，其中X为原始高光谱图像，第二观测通道模块得到的观测数据Y_b＝[y_b，1，...，y_b，n]，y_b，k＝B_kx_k，其中x_k为某点的原始光谱向量，k＝1，...，n

步骤2，高光谱图像重构步骤

将观测图像矩阵Y_a、Y_b送至图像重构处理器。

所述的快速盲重构原始图像，按如下步骤进行：

首先，输入端元数p，每个端元只包含一种地物信息，用奇异值分解方法分解Y_a＝FS，得到的F是一个m_a×p的矩阵，由F得到估计出的丰度矩阵

计算矩阵D，其中为矩阵的第k列(k＝1,2,…,n)，为克罗内克积，再根据矩阵D计算出 是的所有列依次堆叠形成的一个列向量(即第2列置于第1列后，第3列置于第2列后，依次类推)，vec(Y_b)是Y_b的所有列依次堆叠形成的一个列向量。

将向量还原成矩阵计算X为重构出的原始光谱图像，为端元矩阵，为丰度矩阵。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于随机投影的协同编码高光谱成像系统，其特征在于，包括逐点扫描模块、分束器模块、第一观测通道模块、第二观测通道模块和图像重构模块；

其中，逐点扫描模块用于实现对待成像区域的逐点扫描，并将获得的点光谱信息发送至分束器模块；

分束器模块将点光谱信息均分为两路，分别发送至第一观测通道和第二观测通道；其中，两路点光谱信息相同，均为原始光谱信息强度的1/2；

第一观测通道针对收到的点光谱信息组成的光谱信息矩阵，随机生成观测矩阵A，利用观测矩阵A对光谱信息矩阵进行压缩编码，得到压缩后的观测值Y_a，并将观测值Y_a发送至图像重构处理模块；其中，所述观测矩阵A由{0,1}两个元素组成，且观测矩阵A中的每一元素服从独立分布；

第二观测通道针对收到的每一个点光谱信息，均随机生成一个观测子矩阵，用k表示点数，利用观测子矩阵B_k对k点的点光谱信息进行光谱压缩编码，进而得到对点光谱信息矩阵压缩后的观测值Y_b，并将观测值Y_b发送至图像重构处理模块；所述观测子矩阵B_k由{0,1}两个元素组成；观测子矩阵B_k中的每一元素服从独立分布；

图像重构处理模块根据第一观测通道发送的观测值Y_a和第二观测通道发送的观测值Y_b，实现高光谱图像的重构；

其中，所述图像重构处理模块首先采用奇异值分解法分解Y_a＝FS，得到维度为m_a×p的矩阵F，其中，p为端元数；S为丰度矩阵；m_a为第一观测通道的压缩后的光谱维度；然后利用矩阵F得到丰度矩阵的估计值然后根据公式计算出矩阵D，其中，为矩阵的第k列，k＝1，2，…，n；表示克罗内克积；上标T表示转置；然后根据公式得到阵其中，是的所有列依次首尾相连形成的一个列向量，vec(Y_b)是Y_b的所有列依次首尾相连形成的一个列向量；最后根据公式得到重构的光谱图像X′，实现光谱图像的重构。

2.一种如权利要求1所述的基于随机投影的协同编码高光谱成像系统，其特征在于，所述扫描模块包括旋转扫描镜和孔径光阑，旋转扫描镜实现对待成像区域的逐点扫描，获得的点光谱信息经过孔径光阑后进入分束器模块。

3.一种如权利要求1所述的基于随机投影的协同编码高光谱成像系统，其特征在于，所述第一观测通道和第二观测通道结构一致，均由色散元件、透镜组、空间调制器、会聚透镜组和列阵探测器组成；其中，第一观测通道接收的点光谱信息被色散元件色散成多个波段后，经透镜组扩束成平行光束后投射至空间调制器进行光谱维的编码；编码后的点光谱信息经会聚透镜组会聚在列阵探测器，列阵探测器对编码后的点光谱信息进行观测，获得观测值。

4.一种如权利要求3所述的基于随机投影的协同编码高光谱成像系统，其特征在于，所述空间调制器采用数字微镜器件DMD阵列，所述观测矩阵由PC端或控制DMD的FPGA控制板生成，生成后储存在DMD上。

5.一种基于随机投影的协同编码高光谱图像重构方法，其特征在于，包括如下步骤：

步骤1，对待成像区域进行逐点扫描，获得n_r×n_c×n_b的光谱信息矩阵X；其中，n_r×n_c为光谱信息空间分辨率，n_b为光谱信息的光谱分辨率；

步骤2，将步骤1获得的光谱信息矩阵X中各点的光谱信息按1:1的比例分成两路，获得两路光谱信息矩阵，其中，两路光谱信息矩阵中所含的光谱信息相同，均为原始光谱信息强度的1/2；

步骤3，分别对步骤2获得的两路光谱信息矩阵分别进行压缩编码：针对第一路的光谱信息矩阵，生成一个随机的m_a×n_b的观测矩阵A，其中，m_a为压缩后的光谱维度；观测矩阵A由{0,1}两个元素组成，且观测矩阵A中的每一元素服从独立分布；获得第一路的观测值Y_a为Y_a＝AX；

针对第二路的光谱信息矩阵，生成一个m_b×n_b的观测矩阵B，其中，m_b为压缩后的光谱维度；其中观测矩阵B中任意一个元素k均对应着一个随机生成的观测子矩阵B_k，所述观测子矩阵B_k由{0,1}两个元素组成，且观测矩阵B中的每一元素服从独立分布，且观测子矩阵B_k中的每一元素服从独立分布；获得第二路的观测值Y_b为Y_b＝[y_b，1，y_b，2，...，y_b，k，...，y_b，n]，其中，y_b，k＝B_kx_k，其中x_k为点k的原始光谱向量，k＝1，...，n；

步骤4，高光谱图像重构，具体包括如下子步骤：

步骤4.1，采用奇异值分解方法分解式(1)，

Y_a＝FS (1)

得到矩阵F，其中，矩阵F为m_a×p矩阵，p为端元数；S为丰度矩阵；

由矩阵F以及式(1)得到丰度的估计矩阵

步骤4.2，根据式(2)计算矩阵D：

$D={\[({\hat{s}}_1\⊗B_1^T),\mathrm{...},({\hat{s}}_n\⊗B_n^T)\]}^T---\left(2\right)$

其中为矩阵的第k列，k＝1,2,…,n；为克罗内克积；

步骤4.3，根据式(3)计算出

$vec\left(\hat{M}\right)={\left(D^{T}D\right)}^{-1}{D}^{T}vec\left(Y_b\right)---\left(3\right)$

其中，是的每一列堆叠成一列的向量，vec(Y_b)是Y_b的每一列堆叠成一列的向量；

将向量还原成矩阵

步骤4.4，计算其中，X′为重构出的原始光谱图像，从而实现原始光谱图像的重构。