CN101893552B - 基于压缩感知的高光谱成像仪及成像方法 - Google Patents

Abstract

本发明公开了一种基于压缩感知的高光谱成像仪和成像方法，主要解决现有的高光谱成像仪采样速率高，传感器实现难度大的问题。其成像仪包括透镜组、色散元件、空间光调制器、线列探测器和外围电路；被采集的线光源经过色散元件在空间上分开形成由空间维和光谱维组成的面光源，该面光源通过空间光调制器调制后在空间维的方向上重新汇聚，形成由光谱维组成的线光源，由线列探测器完成采样和量化；其成像方法是利用得到的高光谱压缩观测向量，通过分组与以及重构，得到高光谱图像。本发明利用高光谱谱段间联合稀疏特性提高了各个谱段的平均重构精度，且具有结构简单、成本低的优点，适用于对高光谱的压缩感知与成像。

Description

基于压缩感知的高光谱成像仪及成像方法

技术领域

本发明属于图像处理技术领域，具体是一种高光谱压缩感知数据的采集系统和成像方法，可用于对高光谱图像的采集与成像。

背景技术

近年来，在环境监测、地质、农业、医学和军事等领域，传统的全色和彩色图像已经远远不能满足人们的需求，各类高光谱成像技术已被广泛应用。在高光谱成像仪中，传感器探测到目标对上百个不同波长的反射或者辐射强度，从而形成上百个连续的谱段组成光谱图像。高光谱图像被定义为二维空间域和一维频谱域组成的三维立体数据，与视频序列图像不同的是高光谱图像中各谱段图像的空间域中的位置是相同的，也就是说，高光谱图像是由相同视场下的不同谱段图像组成的。

尽管高光谱成像极具民用和军用潜力，但由于高光谱图像是一种三维图像数据，其数据容量非常庞大。特别是当高光谱图像的谱间分辨率提高时，会导致图像数据量的急剧增加。如一景典型的高光谱AVIRIS图像，由波长范围380nm-2500nm的224个谱段组成，每个谱段的空间分辨率为614×512像素，每像素表示为16比特，其数据量达到140MB/景。由于高光谱图像的数据量非常大，为了保证海量的高光谱图像的高效传输和存储，其高质量的图像压缩采样编码已成为重要的关键技术之一。

为了便于传输和处理，传统的方法对高光谱图像采样后进行压缩，大量的非重要的数据被抛弃，这种采样后再压缩的过程导致了系统复杂性的增加，在采样速率很高的情况下，A/D转换器的实现成为瓶颈。于是很自然地引出一个问题：能否利用其它变换空间描述信号，建立新的信号描述和处理的理论框架，使得在保证信息不损失的情况下，用远低于奈奎斯特采样定理要求的速率采样信号，同时又可以完全恢复信号？即能否将对信号的采样转变成对信息的采样？

近几年来出现的一种新颖的理论——压缩感知(Compressive Sensing)，在该理论框架下，采样速率不决定于信号的带宽，而决定于信号中信息的结构和内容。在压缩感知理论中，图像信号的采样和压缩同时以低速率进行，如M维的信号可以通过少量的N次观测N＜M，便可以获得原始M维信号的全部信息，并能够以高概率将原始信号重构出来，使传感器的采样和计算成本大大降低，而信号的恢复过程是一个求解优化问题的过程。记x为M维的被采样信号，压缩感知理论的数学模型是通过N×M维的随机观测矩阵Ф与x相乘，得到较低维数的观测向量y：

y＝Фx

x的优化求解过程为：

min‖ψx‖₁s.t.y＝Фx，

其中，ψ为稀疏基。

因为高光谱图像信号具有可压缩性，只要能找到其相应的稀疏表示空间，就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，有效地进行压缩采样，从而在一定光谱分辨率条件下降低相机的实现难度，或在现有技术条件下大幅提高光谱分辨率；然后通过求解优化问题就可以从这些少量的投影中以高概率重构出原信号，可以证明这样的投影包含了重构信号的足够信息。对于绝大多数情况，随机观测矩阵有着比较好的观测效果，因为随机矩阵几乎和所有的变换基不相关。

目前，压缩感知理论在单幅图像的低速率采样及重构中有所应用；对于高光谱图像来说，频谱宽、数据量大且谱段间具有很强的相关性，压缩感知理论很适合用于高光谱图像的低速率采集与重构，但目前还没有提出基于压缩感知理论的高光谱图像低速率采集的硬件实现结构与高光谱图像的重构方法。

发明内容

本发明的目的在于克服传统采样的缺点，提出一种基于压缩感知的高光谱成像仪及成像方法，以降低传感器的实现难度并且提高高光谱图像的重构精度。

为实现上述目的，本发明提供的高光谱成像仪，包括透镜组、色散元件、空间光调制器、线列探测器和外围电路，该色散元件位于透镜组后端且在透镜组成像的焦点上，空间光调制器位于色散元件后端，线列探测器位于空间光调制器的后端且在空间光调制器成像的焦点上，外围电路分别与空间光调制器和线列探测器连接，被采集的线光源所包含各个谱段的光经过色散元件后在空间上分开形成由空间维和光谱维组成的面光源，该面光源通过空间光调制器调制后在空间维的方向上重新汇聚，形成由光谱维组成的线光源。

所述的空间光调制器，包括：液晶控制单元和柱面透镜，该液晶控制单元位于柱面透镜的前方，用于实现随机观测，根据电路控制单元发出的控制信号独立地开和闭，从而控制光线的透过与遮挡；该柱面透镜，用于将经过调制后的光在空间维上汇集到线列探测器上。

所述的液晶控制单元，是在刻有条状透明金属氧化膜ITO的双层透明玻璃板中填充液晶，各个条状金属氧化膜ITO均匀平行排列，每个条状透明金属氧化膜ITO的宽度等于对应像素点所成像的宽度，保证每一点像素经过分光后各个谱段的光打在同一条条状金属氧化物上；各个条状透明金属氧化膜ITO中留有间隙，防止短路；所述条状透明金属氧化膜ITO的方向和柱面透镜高的方向均与通过色散元件得到的色散光的光谱维方向平行。

所述线列探测器，由若干个光电传感器构成，每个光电传感器对应特定的光谱谱段，所有的光电传感器与柱面透镜高的方向在同一平面，并分别位于柱面透镜对于特定谱段光线成像的焦点上。

为实现上述目的，本发明提供的高光谱成像方法，包括

A.高光谱压缩观测向量采集步骤

(A1)根据所需要的测量精度设定被感知图像的观测次数M；

(A2)根据空间光调制器所确定的横向扫描空间分辨率N像素，生成一个M×N维的观测矩阵，该观测矩阵采用Hadamard矩阵，且矩阵中的每一元素服从独立同分布，并将该Hadamard矩阵存入数据缓存单元；

(A3)将数据缓存单元中Hadamard矩阵的第1行送入寄存器；

(A4)由寄存器控制空间光调制器的调制系数，并由线列探测器将得到的各个谱段的压缩观测向量Y₁＝[y_1，1，y_1，2，…，y_1，i，…y_1，Spectrum]送入存储器，其中Spectrum代表谱段个数，y_1，i表示谱段i的第一次观测值；

(A5)分别将数据缓存单元中Hadamard矩阵的第2～M行送入寄存器，得到各个谱段的压缩观测向量Y₂，Y₃，…Y_M，并送入存储器；

B.高光谱压缩观测向量的分组步骤

(B1)利用公式

计算相邻谱段压缩观测向量的相关系数，式中y_k表示谱段k的压缩观测向量，Ey_k表示压缩观测向量y_k中各元素的均值，k＝1，2，…Spectrum；

(B2)将各相邻谱段压缩观测向量的相关系数与预先设定的门限值μ的大小比较，若相关系数小于μ，则将该谱段单独分为一组，μ取0.96～0.999；

(B3)将相关系数大于μ的所有谱段重新用K-均值算法聚类，分成s组，s的取值范围是0.1·Spectrum～0.5·Spectrum；

C.高光谱压缩观测向量的重构步骤

(C1)根据步骤B所得到的分组，对于仅包含一个谱段的分组，采用单独重构的方法重构该谱段；

(C2)根据步骤B所得到的分组，对于包含超过一个谱段的分组，按如下步骤进行联合重构各个分组包含的谱段：

(C2.1)设包含超过一个谱段的分组共有L个，分别为：Y₁，Y₂，…Y_L；其中第j个分组表示为

1≤j≤L；在L个分组Y₁，Y₂，…Y_L中，对于每个分组构造出相应的参考观测向量为：

$y_{\mathrm{Re}{f}_j}=\frac{1}{\mathrm{Siz}{e}_j}\underset{k=1}{\overset{\mathrm{Siz}{e}_j}{\mathrm{\Σ}}}{y}_{C_{j,k}}$

其中C_j，k表示第j个分组集合中的第k个谱段，Size_j表示第j个分组集合的大小，

表示第j个分组集合中的第k个谱段的压缩观测向量；

(C2.2)根据步骤(C2.1)所构造的参考观测向量，结合Hadamard矩阵，通过优化得到参考谱段

$\min {\left|\right|\mathrm{\Ψ}{x}_{\mathrm{Re}{f}_j}\left|\right|}_{1}s.t.y_{\mathrm{Re}{f}_j}=\mathrm{\Φ}{x}_{\mathrm{Re}{f}_j}.$

其中Ф表示Hadamard矩阵，ψ表示稀疏基，

表示第j个分组的参考谱段，

表示第j个分组的参考观测向量；

(C2.3)通过优化下式，重构出信号

$\min {\left|\right|\mathrm{\Ψ}(x_{C_{j,k}}-x_{\mathrm{Re}{f}_j})\left|\right|}_{1}s.t.{y_{C_{j,k}}-y}_{\mathrm{Re}{f}_j}=\mathrm{\Φ}(x_{C_{j,k}}-x_{\mathrm{Re}{f}_j})$

其中

表示第j个分组集合中的第k个谱段；

(C2.4)由

和得到谱段C_j，k的图像

本发明提供的降低高光谱图像采样速率的成像仪，和利用高光谱谱段间联合稀疏特性降低重构误差的成像方法，实现了压缩感知理论在高光谱遥感领域的应用；同时由于本发明采用高光谱图像信号的采样和压缩同时以低速率进行，从而降低传感器的采样和计算成本；此外由于本发明采用了高光谱各谱段压缩观测向量联合重构的方法，提高了各个谱段的平均重构精度。

附图说明

图1是本发明基于压缩感知的高光谱图像采集系统的结构框图；

图2是本发明的光路图；

图3是本发明液晶控制单元结构图；

图4是本发明高光谱图像重构流程图；

图5是本发明高光谱图像重构流程中的数据采集的子流程图；

图6是本发明高光谱图像重构流程中的压缩观测向量分组的子流程图。

具体实施方式

参照图1和图2，本发明基于压缩感知的高光谱成像仪，包括透镜组、色散元件、空间光调制器、线列探测器和外围电路，外围电路中的缓存模块与空间光调制器直接相连，线列探测器与外围电路中的存储器直接相连。其中：透镜组包括物镜镜头、入瞳和准直镜，用于将被探测物体的像作为线光源呈到色散元件上；色散元件位于透镜组后段，用于将线光源在光谱维上色散，形成由输入线光源的空间维和色散的光谱维构成的二维面光源，该面光源直接输出至空间光调制器；空间光调制器位于色散元件后端，它包括液晶控制单元和柱面透镜，液晶控制单元由在刻有条状透明金属氧化膜的双层透明玻璃板中填充的液晶组成，该液晶在没有电场存在的情况下，分子排列呈各项同性，具有较好的透光性；在加有电场的作用下，分子按照电场方向排列整齐，光不能透过液晶，因此通过控制透明金属氧化膜的电压，可以控制金属氧化膜对应位置的光通透特性；柱面透镜用于将输入面光源沿垂直于柱面透镜高线方向汇聚，该液晶控制单元中条状金属氧化物的方向与柱面透镜的高度方向，及通过色散元件得到的色散光的光谱维方向三者平行；空间光调制器的作用是根据电路控制单元发出的控制信号独立地开和闭，从而控制输入空间光调制器的二维平面光在空间维上的透过与遮挡，实现物像在模拟域中的投影变换；空间光调制器对于同一像素点在光谱维上的各个谱段采用相同的随机观测矩阵进行投影变换，可以使各个谱段的压缩观测向量保持线性关系；线列探测器位于空间光调制器的后端，其包含的传感器分别与对应的各个谱段的波长匹配，且线列探测器中各个传感器的排列方向与柱面透镜的高度方向在同一平面，并位于柱面透镜对于各个谱段成像的焦点上，该线列探测器的作用是对随机投影变换后的观测值进行采样量化，其包含传感器的个数为谱段个数，线列探测器中的每个探测器与其所在位置的谱段对应，并对其所在位置的谱段有较灵敏的响应；外围电路包括缓存单元和存储器，分别与空间光调制器和线列探测器连接，如图3所示，该缓存单元用于存储Hadamard矩阵，该存储器用于存储压缩观测向量。

参照图3，液晶控制单元是在刻有条状透明金属氧化膜ITO的双层透明玻璃板中填充液晶，该液晶具有较好的透明特性和导电特性；各个条状金属氧化膜ITO均匀平行排列，每个条状透明金属氧化膜ITO的宽度等于对应像素点所成像的宽度，保证每一点像素经过分光后各个谱段的光打在同一条条状金属氧化物上；各个条状透明金属氧化膜ITO中留有间隙，防止短路；每一点像素经过分光后各个谱段的光打在同一条条状金属氧化物上；每个条状金属氧化物通过放大器与控制电路中的寄存器相连，具体实现方式是：

对于每一次压缩观测，将控制电路中存储器存储的Hadamard矩阵对应行送入寄存器；由于存储器中存储的Hadamard矩阵完全由+1，-1组成，将Hadamard矩阵中某一行送入寄存器时要完成相应的变换，即-1变为0，+1不变；寄存器通过放大器控制对应条状金属氧化物上的电平，+1为高电平，0为低电平。

线光源经过透镜组成像到色散元件上，色散元件将入射线光源在光谱维上色散，形成由空间维和光谱维组成的面光源，该面光源送至空间光调制器；空间光调制器对输入的面光源调制，调制后的光通过柱面透镜，在空间维上汇聚，形成仅由光谱维构成的线光源，该线光源中各个谱段分别由线列探测器中相应谱段的传感器上采样与量化。

参照图4，本发明的成像方法包括如下步骤：

步骤1，完成对高光谱压缩观测向量的采集。

参照图5，本步骤的实现过程如下：

步骤(1.1)确定被感知图像的观测次数M；M为事先设定或由外界输入；

步骤(1.2)记高光谱仪横向扫描的空间分辨率为N像素，生成一个M×N维的Hadamard矩阵且矩阵中的每一元素服从独立同分布，并将该Hadamard矩阵存入数据缓存单元；

步骤(1.3)将数据缓存单元中Hadamard矩阵的第1行送入寄存器；

步骤(1.4)由寄存器控制空间光调制器的调制系数，并由线列探测器将得到的各个谱段的观测值Y₁＝[y_1，1，y_1，2，…y_1，Spectrum]送入外围电路中的存储器，其中Spectrum代表谱段个数，y_1，i表示谱段i的第一次观测值；；

步骤(1.5)分别将数据缓存单元中Hadamard矩阵的第2～M行送入寄存器，得到各个谱段的观测值Y₂，Y₃，…Y_M。

步骤2，对高光谱压缩观测向量进行分组。

参照图6，本步骤的具体实施描述如下：

步骤(2.1)利用公式

计算相邻谱段压缩观测向量的相关系数，式中y_k表示谱段k的压缩观测向量，Ey_k表示压缩观测向量y_k中各元素的均值，k＝1，2，…Spectrum；

步骤(2.2)比较各相邻谱段相关系数与预先设定的门限值μ的大小比较，若相关系数小于μ，则将该谱段单独分为一组，μ取0.96～0.999；

步骤(2.3)将相关系数大于μ的所有谱段重新用K-均值算法聚类，分成s组，s的取值范围是0.1·Spectrum～0.5·Spectrum。

步骤3，完成对高光谱各个谱段的重构。

步骤(3.1)根据步骤2所得到的分组，对于仅包含一个谱段的分组，采用单独重构的方法重构该谱段；

步骤(3.2)根据步骤2所得到的分组，对于包含超过一个谱段的分组，按如下步骤进行联合重构各个分组包含的谱段：

步骤(3.3)设包含超过一个谱段的分组共有L个，分别为：Y₁，Y₂，…Y_L；其中第j个分组表示为1≤j≤L；在L个分组Y₁，Y₂，…Y_L中，对于每个分组构造出相应的参考观测向量为：

$y_{\mathrm{Re}{f}_j}=\frac{1}{\mathrm{Siz}{e}_j}\underset{k=1}{\overset{\mathrm{Siz}{e}_j}{\mathrm{\Σ}}}{y}_{C_{j,k}}$

其中C_j，k表示第j个分组集合中的第k个谱段，Size_j表示第j个分组集合的大小，

表示第j个分组集合中的第k个谱段的压缩观测向量；

步骤(3.4)根据步骤(3.3)所构造的参考观测向量，结合Hadamard矩阵，通过优化得到参考谱段

$\min {\left|\right|\mathrm{\Ψ}{x}_{\mathrm{Re}{f}_j}\left|\right|}_{1}s.t.y_{\mathrm{Re}{f}_j}=\mathrm{\Φ}{x}_{\mathrm{Re}{f}_j}.$

其中Ф表示Hadamard矩阵，ψ表示稀疏基，

表示第j个分组的参考谱段，表示第j个分组的参考观测向量；

步骤(3.5)通过优化下式，重构出信号

$\min {\left|\right|\mathrm{\Ψ}(x_{C_{j,k}}-x_{\mathrm{Re}{f}_j})\left|\right|}_{1}s.t.{y_{C_{j,k}}-y}_{\mathrm{Re}{f}_j}=\mathrm{\Φ}(x_{C_{j,k}}-x_{\mathrm{Re}{f}_j})$

其中

表示第j个分组集合中的第k个谱段；

步骤(3.6)由

和

得到谱段C_j，k的图像

对于本领域的专业人员来说，在了解了本发明内容和方法后，能够在不背离本发明的原理和范围的情况下，根据本发明的方法进行形式和细节上的各种修正和改变，但是这些基于本发明的修正和改变仍在本发明的权利要求保护范围之内。

Claims (5)

1.一种基于压缩感知的高光谱成像仪，其特征在于：包括透镜组、色散元件、空间光调制器、线列探测器和外围电路，该色散元件位于透镜组后端且在透镜组成像的焦点上，空间光调制器位于色散元件后端，线列探测器位于空间光调制器的后端且在空间光调制器成像的焦点上，外围电路分别与空间光调制器和线列探测器连接，被采集的线光源所包含各个谱段的光经过色散元件后在空间上分开形成由空间维和光谱维组成的面光源，该面光源通过空间光调制器调制后在空间维的方向上重新汇聚，形成由光谱维组成的线光源；

所述的空间光调制器，包括液晶控制单元和柱面透镜，该液晶控制单元位于柱面透镜的前方，用于实现随机观测，根据电路控制单元发出的控制信号独立地开和闭，从而控制光线的透过与遮挡；该柱面透镜，用于将经过调制后的光在空间维上汇集到线列探测器上；

所述的外围电路，包括缓存单元和存储器，分别与空间光调制器和线列探测器连接，该缓存单元用于存储Hadamard矩阵，该存储器用于存储压缩观测向量。

2.根据权利要求1所述的高光谱成像仪，其特征在于液晶控制单元，是在刻有条状透明金属氧化膜ITO的双层透明玻璃板中填充液晶，各个条状金属氧化膜ITO均匀平行排列，每个条状透明金属氧化膜ITO的宽度等于对应像素点所成像的宽度，保证每一点像素经过分光后各个谱段的光打在同一条条状金属氧化物上；各个条状透明金属氧化膜ITO中留有间隙，防止短路。

3.根据权利要求1或2所述的高光谱成像仪，其特征在于液晶控制单元中条状透明金属氧化膜ITO的方向和柱面透镜高的方向均与通过色散元件得到的色散光的光谱维方向平行。

4.根据权利要求1所述的高光谱成像仪，其特征在于线列探测器，由若干个光电传感器构成，每个光电传感器对应特定的光谱谱段，所有的光电传感器与空间光调制器中柱面透镜高的方向在同一平面，并分别位于柱面透镜对于特定谱段光线成像的焦点上。

5.一种基于压缩感知的高光谱成像方法，包括

A.高光谱压缩观测向量采集步骤

(A1)根据所需要的测量精度设定被感知图像的观测次数M；

(A2)根据空间光调制器所确定的横向扫描空间分辨率N像素，生成一个M×N维的观测矩阵，该观测矩阵采用Hadamard矩阵，且矩阵中的每一元素服从独立同分布，并将该Hadamard矩阵存入数据缓存单元；

(A3)将数据缓存单元中Hadamard矩阵的第1行送入寄存器；

(A4)由寄存器控制空间光调制器的调制系数，并由线列探测器将得到的各个谱段的压缩观测向量Y₁＝[y_1，1，y_1，2，…，y_1，i，…y_1，Spectrum]送入存储器，其中Spectrum代表谱段个数，y_1，i表示谱段i的第一次观测值；

(A5)分别将数据缓存单元中Hadamard矩阵的第2～M行送入寄存器，得到各个谱段的压缩观测向量Y₂，Y₃，…Y_M，并送入存储器；

B.高光谱压缩观测向量的分组步骤

(B1)利用公式 $r_k\left(1\right)=\frac{y_k^T{y}_{k+1}-{\mathrm{Ey}}_k{\mathrm{Ey}}_{k+1}}{\sqrt{(y_k^T{y}_k-{\left({\mathrm{Ey}}_k\right)}^2)(y_{k+1}^T{y}_{k+1}-{\left({\mathrm{Ey}}_{k+1}\right)}^2)}}$ 计算相邻谱段压缩观测向量的相关系数，式中y_k表示谱段k的压缩观测向量，Ey_k表示压缩观测向量y_k中各元素的均值，k＝1，2，…Spectrum；

(B2)将各相邻谱段压缩观测向量的相关系数与预先设定的门限值μ的大小比较，若相关系数小于μ，则将该谱段单独分为一组，μ取0.96～0.999；

(B3)将相关系数大于μ的所有谱段重新用K-均值算法聚类，分成s组，s的取值范围是0.1·Spectrum～0.5·SPectrum；

C.高光谱压缩观测向量的重构步骤

(C1)根据步骤B所得到的分组，对于仅包含一个谱段的分组，采用单独重构的方法重构该谱段；

(C2)根据步骤B所得到的分组，对于包含超过一个谱段的分组，按如下步骤进行联合重构各个分组包含的谱段：

(C2.1)设包含超过一个谱段的分组共有L个，分别为：Y₁，Y₂，…Y_L；其中第j个分组表示为1≤j≤L；在L个分组Y₁，Y₂，…Y_L中，对于每个分组构造出相应的参考观测向量为：

$y_{{\mathrm{Ref}}_j}=\frac{1}{{\mathrm{Size}}_j}\underset{k=1}{\overset{{\mathrm{Size}}_j}{\mathrm{\Σ}}}{y}_{C_{j,k}}$

其中C_j，k表示第j个分组集合中的第k个谱段，Size_j表示第j个分组集合的大小，

表示第j个分组集合中的第k个谱段的压缩观测向量；

(C2.2)根据步骤(C2.1)所构造的参考观测向量，结合Hadamard矩阵，通过优化得到参考谱段

$\min {\left|\right|{\mathrm{\Ψx}}_{{\mathrm{Ref}}_j}\left|\right|}_{1}s.t.y_{{\mathrm{Ref}}_j}={\mathrm{\Φx}}_{{\mathrm{Ref}}_j}.$

其中Φ表示Hadamard矩阵，Ψ表示稀疏基，

表示第j个分组的参考谱段，

表示第j个分组的参考观测向量；

(C2.3)通过优化下式，重构出信号

$\min {\left|\right|\mathrm{\Ψ}(x_{C_{j,k}}-x_{{\mathrm{Ref}}_j})\left|\right|}_{1}s.t.y_{C_{j,k}}-y_{{\mathrm{Ref}}_j}=\mathrm{\Φ}(x_{C_{j,k}}-x_{{\mathrm{Ref}}_j})$

其中

表示第j个分组集合中的第k个谱段；

(C2.4)由和

得到谱段C_j，k的图像 $x_{C_{j,k}}=(x_{C_{j,k}}-x_{{\mathrm{Ref}}_j})+x_{{\mathrm{Ref}}_j}.$

Images