CN103808410B - 对偶编码压缩高光谱成像的装置 - Google Patents

Abstract

本发明提供一种对偶编码压缩高光谱成像的装置，包括：目镜，对场景高光谱信号进行汇聚成像；空间光调制器，用于对高光谱信号进行空间调制；衍射光栅，用于对调制后的高光谱信号进行色散得到空间编码的色散光谱；光谱调制器，用于实现高光谱信号的光谱调制；带通滤波片，用于过滤掉不需要谱段的光谱；CCD传感器，用于记录并存储图像。根据本发明实施例的装置，利用在单曝光时间内协同变化空间光调制器和光谱调制器的图案以实现对偶编码三维高光谱数据编码到二维的传感器所采集到的图像，通过设计不同的光调制函数并应用相对应的重构算法来实现多种不同的采集模式，包括可编程空变滤波器，多路复用高光谱成像以及高分辨率的压缩高光谱成像。

Description

对偶编码压缩高光谱成像的装置

技术领域

本发明涉及光谱成像技术领域，特别涉及一种对偶编码压缩高光谱成像的装置。

背景技术

高光谱成像涉及采集一个由二维空间和一维光谱变化的三维数据立方体，应用于遥感、监控以及光谱学等领域发挥着重要作用。高光谱成像最常用的方法是利用机械扫描或者时序扫描的方法一次记录一个或几个数据点。快照(snapshot)高光谱成像的方法通过采集一张图像来获取完整的三维数据，使得它在采集动态场景或者航拍时比扫描的方法具有明显的优势。由于快照高光谱成像通过复用高维信号到二维CCD传感器上，因此牺牲了光谱图像的分辨率。传统的快照高光谱成像的方法包括四维成像光谱仪（4DIS）、快照成像映射光谱仪（IMS）以及计算断层扫描成像光谱仪（CTIS）。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为此，本发明需要提供一种对偶编码压缩高光谱成像的装置。

有鉴于此，本发明的实施例提出一种对偶编码压缩高光谱成像的装置，包括空间调制模块和光谱调制模块，所述空间调制模块包含目镜、空间光调制器，所述光谱调制模块包含衍射光栅、光谱调制器、带通滤波片和CCD传感器，所述目镜用于对场景高光谱信号进行汇聚成像；所述空间光调制器与所述目镜相连，用于对高光谱信号进行空间调制；所述衍射光栅与所述空间光调制器相连，用于对调制后的高光谱信号进行色散得到空间编码的色散光谱；所述光谱调制器与所述衍射光栅相连，用于对所述高光谱信号进行光谱调制；所述带通滤波片与所述光谱调制器相连，用于对所述色散光谱进行过滤；所述CCD传感器与所述带通滤波片相连，用于记录并存储图像。

根据本发明实施例的装置，利用在单曝光时间内协同变化空间光调制器和光谱调制器的图案以实现对偶编码三维高光谱数据编码到二维的传感器所采集到的图像，通过设计不同的光调制函数并应用相对应的重构算法来实现多种不同的采集模式，包括可编程空变滤波器，多路复用高光谱成像以及高分辨率的压缩高光谱成像，由此增加了应用范围，方便了用户。

在本发明的一个实施例中，在单曝光时间内协同变化所述空间光调制器和所述光谱调制器的图案以将所述对偶编码的三维高光谱数据编码到所述CCD传感器所采集到的图像中，并通过调整所述空间光调制器和所述光谱调制器的图案变化方式获得不同的空域‐光调制函数，以根据所述空域‐光调制函数调整采集模式，所述采集模式包括：可编程空变滤波模式、多路复用高光谱成像模式和压缩高光谱成像模式。

在本发明的一个实施例中，所述空域‐光谱调制函数m(x,λ)由所述空间光调制器和所述光谱调制器决定，所述CCD传感器的图像函数i(x)由所述空域‐光谱调制函数m(x,λ)和高光谱数据函数h(x,λ)在光谱维度域Ω_λ上的积分所获得，所述图像函数i(x)通过如下公式表示，所述公式为，其中，i(x)为所述图像函数，m(x,λ)为空域‐光谱调制函数，h(x,λ)为高光谱数据函数，Ω_λ为光谱维度域，λ为波长。

在本发明的一个实施例中，对所述图像函数进行离散化可得到如下公式，所述公式为，i=Φh，其中，i为传感器图像像素测量值的向量化，Φ为调制矩阵，h为高光谱数据矩阵的向量化。

在本发明的一个实施例中，通过采集数据矩阵中红色、蓝色、绿色波长的Bayer滤波器，并利用所述Bayer滤波器的响应函数得到像素调制函数，以由所述像素调制函数将所述采集模式调整为可编程空变滤波模式，所述像素调制函数通过如下公式表示，m(x_k,λ)=f_k(λ)，其中，f_k(λ)为所述Bayer滤波器的相应函数，m(x_k,λ)为所述像素调制函数。

在本发明的一个实施例中，所述空间光调制器按顺序曝光每一个通道以采集相应的光谱滤波器的数据f_k，根据所述光谱滤波器的数据f_k将所述采集模式调整为多路复用高光谱成像模式所述光谱滤波器的数据f_k采用Hadamard复用的方式提高光通量，对于低空间分辨率的高光谱数据矩阵通过对每个大像素单元求逆Hadamard矩阵的方法恢复。

在本发明的一个实施例中，所述空间光调制器利用空间‐光谱联合调制和稀疏约束的重建算法获得高分辨率的高光谱数据，根据高分辨率的高光谱数据将所述采集模式调整为所述压缩高光谱成像模式。

在本发明的一个实施例中，所述高光谱数据通过字典矩阵D转化为如下公式，所述公式为，h=Dα=d₁α₁+…+d_kαk_，其中，h为所述高光谱数据，D为所述字典矩阵，d₁,…,d_k为所述字典矩阵D的列向量，α为稀疏系数矩阵，α=[α₁,...,α_k]^T。从而可以通过求解优化问题

$\begin{array}{ccc}\underset{\mathrm{\α}}{\min }{\left|\right|\mathrm{\α}\left|\right|}_1& s.t.& {\left|\right|i-\mathrm{\Φ}{D}_{\mathrm{\α}}\left|\right|}_2^2\≤\mathrm{\ϵ},\end{array}$

求解为稀疏系数矩阵α，以获取最终高分辨率的高光谱数据。

在本发明的一个实施例中，所述字典矩阵D是通过大量的小的三维空域‐光谱块作为样本训练得到，这些样本可以从开源高光谱数据集随机选取获得，字典学习可以转化为一个优化问题：

$\begin{array}{ccc}\underset{\{D,A\}}{\min }{\left|\right|T-\mathrm{DA}\left|\right|}_2^2& s.t.& \∀i,{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤k\end{array}$

在本发明的一个实施例中，所述带通滤波片为通过波长为400nm‐820nm的带通滤光片，所述空间光调制器为DMD调制器，所述光谱调制器为LCOS光谱调制器。所述衍射光栅为透射式的闪耀衍射光栅，所述的CCD传感器为没有颜色滤光器阵列的灰度传感器。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1为根据本发明一个实施例的对偶编码压缩高光谱成像的装置的结构框图；

图2为根据本发明一个实施例的对偶编码压缩高光谱成像的装置的示意图；

图3根据本发明一个实施例的可编程空变滤波的示意图；

图4根据本发明实施例的多路复用高光谱成像的示意图；

图5根据本发明实施例的目标三维高光谱图像；

图6根据本发明实施例的三维高光谱图像的压缩性能示意图；

图7根据本发明实施例的压缩率与重建性能的对比示意图；

图8根据本发明实施例的字典学习的示意图；以及

图9根据本发明实施例的通过双重编码压缩高光谱成像方法对分辨率测试图的重建效果。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1为根据本发明一个实施例的对偶编码压缩高光谱成像的装置的结构框图。如图1所示，根据本发明实施例的对偶编码压缩高光谱成像的装置，包括空间调制模块100和光谱调制模块200，其中空间调制模块100包括目镜110和空间光调制器120，光谱调制模块200包括衍射光栅210、光谱调制器220、带通滤波片230和CCD传感器240。

具体地，目镜110用于对场景高光谱信号进行汇聚成像。空间光调制器120与目镜110相连，用于对高光谱信号进行空间调制。衍射光栅210与空间光调制器120相连，用于对调制后的高光谱信号进行色散得到空间编码的色散光谱。光谱调制器220与衍射光栅210相连，用于对高光谱信号进行光谱调制。带通滤波片230与光谱调制器220相连，用于对色散光谱进行过滤。CCD传感器240与带通滤波片230相连，用于记录并存储图像。

在本发明的一个实施例中，带通滤波片230为通过波长为400nm‐820nm的带通滤光片，光谱调制器120为LCOS光谱调制器。

图2为根据本发明一个实施例的对偶编码压缩高光谱成像的装置的示意图。如图2所示，根据本发明实施例的对偶编码压缩高光谱成像的装置，包括空间调制模块100和光谱调制模块200，其中空间调制模块100包括目镜110、空间光调制器120和第一中继透镜130，光谱调制模块200包括衍射光栅210、光谱调制器220、带通滤波片230、CCD传感器240和第二中继透镜250。

具体地，空间光调制器120与目镜110相连，用于对目镜110汇聚后的偶编码压缩光进行二进制调制以采集对偶编码压缩光的空间图案。衍射光栅210通过第一中继透镜130与空间光调制器120相连，用于对调制后的高光谱信号进行色散得到空间编码的色散光谱。光谱调制器220与通过第二中继透镜250衍射光栅210相连，用于对高光谱信号进行光谱调制。带通滤波片230与光谱调制器220相连，用于对色散光谱进行过滤。CCD传感器240与带通滤波片230相连，用于记录并存储图像。

在本发明的一些实施例中，物镜110的焦距为150mm，直径为2英寸可将成像场景的光线汇聚到空间光调制器120可以为DMD调制器（简称DMD）以得到空间图案，DMD能够为逐像素编码曝光时间提供高分辨率以及高效的二进制调制。本发明的示例中，DMD型号为TI4100，其微镜分辨率为1920*1080，像素间距为10.8μm。衍射光栅210将空间调制后的光进行分散得到分散光谱，该衍射光栅210为成品（ThrolabsGT50‐06V,600刻线，28.7°闪耀角），光谱调制器220为NewsmyPHO5C投影仪中的具有1024*768分辨率的LCOS。本发明实施例的带通滤波片230可通过波长为400nm到820nm光，而阻止其他波长的光以消除对成像所造成的影响。CCD传感器240可为PointGrayGRAS‐50S5M‐C灰度相机（分辨率2448*2048，像素间距3.45μm）。实验中每个信号像素单元对应DMD的4*4的微镜单元组，每组DMD微镜单元对应CCD传感器成像的5*5的像素单元组，因此最大调制分辨率为480*270。在单次曝光时间内，本发明动态调制光谱通过的波长范围并同时编码每个像素的曝光模式。

在本发明的一个实施例中，所编码CCD传感器的图像函数i(x)可将空域‐光谱调制函数m(x,λ)和高光谱数据函数h(x,λ)在光谱维度域Ω_λ上的进行积分得到可通过如下公式表示，该公式为，‐公式1，其中，i(x)为图像函数，m(x,λ)为空域‐光谱调制函数，h(x,λ)为高光谱数据函数，Ω_λ为光谱维度域，λ为波长。x={x,y}是CCD传感器240的二维空间参数，空域‐光谱调制函数m(x,λ)是由两个调制器联合调制的函数，本公式忽略光谱敏感度以及传感器特有的效应等其他因素的影响，因为这些因素的影响可在后续处理中进行校正或者补偿得以解决。

在实际处理过程中可将公式1离散化为i=Φh的形式，其中，i为传感器图像像素测量值的向量化（M维实数向量），Φ（M×N维实数向量）为调制矩阵，h（N维实数向量）为目标高光谱数据矩阵的向量化。

通过对解耦和同步光谱和空域的编码，可对不同应用设计不同调制函数来达到灵活光谱成像的多种需求。

本发明可提供多种不同的采集模式，例如可实现可编程空变滤波模式、多路复用高光谱成像模式和压缩高光谱成像模式。

图3根据本发明实施例的可编程空变滤波的示意图。如图3示，通过交错的网格采集数据矩阵的红色、蓝色、绿色波长部分的Bayer滤波器。假设Bayer滤波器的三个颜色通道的响应函数分别为f₀(λ)，f₁(λ)，f₂(λ)，则通道x_k（k=0,1,2）的像素调制函数可以写为m(x_k,λ)=f_k(λ)。该调制将CCD传感器240分为多个交错的网格，每个网格形式对应一个通道。空域采样图案x_k由空间光调制器120实现，对应的光谱滤波函数f_k由光谱调制器220实现。通过本发明的装置可以对所采集到的传感器图像应用与去除马赛克的算法或者从多次拍摄所采集的高分辨率信号中来获取彩色图像。

图4根据本发明实施例的多路复用高光谱成像的示意图。如图4示，通过将不同的光谱进行编码组合成大像素单元，单元内每个像素部构成一个通道，例如图4的带有16个光谱的x_k，k=1,2,…,16。按顺序曝光每一个通道x_k来采集相应的光谱滤波器的像素调制函数f_k，其中f_k可采用Hadamard复用的方式以提高光通量。假设大像素单元中的所有像素的谱段分布相同，一个低空间分辨率的高光谱数据矩阵可以通过对每个超像素单元求逆Hadamard矩阵的方法进行恢复。Bayer类型的多路复用能够被扩展到包含更多不同光谱编码以及空域图案设计的形式。这些方法在单次曝光的情况下通过空间分辨率换取光谱分辨率。

在本发明的一个实施例中，通过利用光学上的空间‐光谱联合调制以及具有稀疏约束性的重建算法，可以对高分辨率的高光谱数据矩阵进行单次曝光测量的数据计算得到压缩高光谱成像。为了实现上述目的，使用带有稀疏约束底层信号的高度欠定线性进行求解h。

图5根据本发明实施例的目标三维高光谱图像。如图5示，三维高光谱数据立方体的每个单独二维切片层都是高度冗余的。根据压缩感知可求解目标高光谱数据矩阵h，如果h具有稀疏表达式α，例如利用字典D则h可表示为，h=Dα=d₁α₁+…+d_kα_k，其中，D为字典，d₁,…,d_k（N维向量）为字典矩阵D（N*k维向量）的列向量，α为稀疏系数矩阵，α=[α₁,...,α_k]^T。图6根据本发明实施例的三维高光谱图像的压缩性能示意图。如图6示，当利用仅有少量系数值估计高光谱数据矩阵值时，字典原子法比其他变换方法有着更好的定量压缩效果。同时也对比了利用离散余弦变换（DCT）和原子法处理一小块三维场景的压缩质量，如图7示，原子法实现了更加准确的重建。另外使用DCT和高光谱原子法对仿真的快照编码投影进行稀疏重建并比较效果，三维高光谱原子法明显的提高了重建的质量。

在本发明的一个实施例中，以典D大量的小的三维空域‐光谱块作为样本训练得到，每个小块的分辨率是10*10*31个像素。这些样本可以从开源高光谱数据集随机选取预先确定序号的块中得到。字典学习可以转化为一个优化问题，可通过如下公式表示， ，其中，T（M*O维矩阵）是由O个块构成的训练集，A（K*O维矩阵）是包含k阶稀疏列向量α_i的矩阵，i为传感器图像像素测量值的向量化。

图8据本发明实施例的字典学习的示意图。如图8示，高光谱原子代表了自然的高光谱图像的基本组成模块，大部分高光谱图像能够被表示为少量原子的加权求和。通过基于字典的稀疏表达式，随机调制图像可以用下述公式表示，i=Φh=ΦDα。

本发明在曝光时间内随机的调制光谱和空间维度，其中理论光利用率为25%。这些编码机制被编码到矩阵Φ，本发明采用具有鲁棒性的SPGL1算法恢复稀疏未知向量α并解决基追踪降噪（BPDN）问题可通过如下公式表示，其中，ε为

图9据本发明实施例的通过双重编码压缩高光谱成像方法对分辨率测试图的重建效果。如图9所示，恢复了一幅具有31个波段的分辨率为470*260的高光谱图像。这种随机双重编码的方法使得采集的光通量变为四分之一。在本发明中通过向调制后的图像加入了零均值的独立同分布的高斯噪声并计算重建图像的峰值信噪比（PSNR）。

根据本发明实施例的装置，利用在单曝光时间内协同变化空间光调制器和光谱调制器的图案以实现对偶编码三维高光谱数据编码到二维的传感器所采集到的图像，通过设计不同的光调制函数并应用相对应的重构算法来实现多种不同的采集模式，包括可编程空变滤波器，多路复用高光谱成像以及高分辨率的压缩高光谱成像，增加了应用范围，方便了用户。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种对偶编码压缩高光谱成像的装置，包括空间调制模块和光谱调制模块，所述空间调制模块包含目镜、空间光调制器，所述光谱调制模块包含衍射光栅、光谱调制器、带通滤波片和CCD传感器，其特征在于，

所述目镜用于对场景高光谱信号进行汇聚成像；

所述空间光调制器与所述目镜相连，用于对高光谱信号进行空间调制；

所述衍射光栅与所述空间光调制器相连，用于对调制后的所述高光谱信号进行色散得到空间编码的色散光谱；

所述光谱调制器与所述衍射光栅相连，用于对所述高光谱信号进行光谱调制；

所述带通滤波片与所述光谱调制器相连，用于对所述色散光谱进行过滤；

所述CCD传感器与所述带通滤波片相连，用于记录并存储图像，

其中，在单曝光时间内协同变化所述空间光调制器和所述光谱调制器的图案以将所述对偶编码的三维高光谱数据编码到所述CCD传感器所采集到的图像中，并通过调整所述空间光调制器和所述光谱调制器的图案变化方式获得不同的空域-光调制函数，以根据所述空域-光调制函数调整采集模式，所述采集模式包括：可编程空变滤波模式、多路复用高光谱成像模式和压缩高光谱成像模式。

2.如权利要求1所述的对偶编码压缩高光谱成像的装置，其特征在于，所述空域-光谱调制函数m(x,λ)由所述空间光调制器和所述光谱调制器决定，所述CCD传感器的图像函数i(x)由所述空域-光谱调制函数m(x,λ)和高光谱数据函数h(x,λ)在光谱维度域Ω_λ上的积分所获得，所述图像函数i(x)通过如下公式表示，所述公式为，

$i\left(x\right)={\∫}_{{\mathrm{\Ω}}_{\mathrm{\λ}}}h(x,\mathrm{\λ})m(x,\mathrm{\λ})d\mathrm{\λ},$

其中，i(x)为所述图像函数，m(x,λ)为空域-光谱调制函数，h(x,λ)为高光谱数据函数，Ω_λ为光谱维度域，λ为波长。

3.如权利要求2所述的对偶编码压缩高光谱成像的装置，其特征在于，对所述图像函数进行离散化可得到如下公式，所述公式为，

i＝Φh，

其中，i为传感器图像像素测量值的向量化，Φ为调制矩阵，h为高光谱数据矩阵的向量化。

4.如权利要求1所述的对偶编码压缩高光谱成像的装置和方法，其特征在于，通过采集数据矩阵中红色、蓝色、绿色波长的Bayer滤波器，并利用所述Bayer滤波器的响应函数得到像素调制函数，以由所述像素调制函数将所述采集模式调整为可编程空变滤波模式，所述像素调制函数通过如下公式表示，

m(x_k，λ)＝f_k(λ)，

其中，f_k(λ)为所述Bayer滤波器的相应函数，m(x_k，λ)为所述像素调制函数。

5.如权利要求1所述的对偶编码压缩高光谱成像的装置，其特征在于，所述空间光调制器按顺序曝光每一个通道以采集相应的光谱滤波器的数据f_k，根据所述光谱滤波器的数据f_k将所述采集模式调整为多路复用高光谱成像模式所述光谱滤波器的数据f_k采用Hadamard复用的方式提高光通量，对于低空间分辨率的高光谱数据矩阵通过对每个大像素单元求逆Hadamard矩阵的方法恢复。

6.如权利要求1所述的对偶编码压缩高光谱成像的装置和方法，其特征在于，所述空间光调制器利用空间-光谱联合调制和稀疏约束的重建算法获得高分辨率的高光谱数据，根据高分辨率的高光谱数据将所述采集模式调整为所述压缩高光谱成像模式。

7.如权利要求6所述的对偶编码压缩高光谱成像的装置，其特征在于，所述高光谱数据通过字典矩阵D转化为如下公式，所述公式为，

h＝Dα＝d₁α₁+…+d_kα_k，

其中，h为所述高光谱数据，D为所述字典矩阵，d₁,…,d_k为所述字典矩阵D的列向量，α为稀疏系数矩阵，α＝[α₁，…，α_k]^τ，所述稀疏系数矩阵α通过求解如下优化问题得到，所述优化问题通过如下公式表示， $\begin{array}{ccc}\underset{\mathrm{\α}}{min}\left|\right|\mathrm{\α}|{|}_1& s.t.& \left|\right|i-\mathrm{\Φ}D\mathrm{\α}|{|}_2^2\≤\mathrm{\ϵ}\end{array},$ 其中，ε为误差因子，i为为传感器图像像素测量值的向量化。

8.如权利要求7所述的对偶编码压缩高光谱成像的装置，其特征在于，所述字典矩阵D是通过多个三维空域-光谱块作为样本进行学习得到，这些样本可以从开源高光谱数据集随机选取获得，所述字典的学习过程转化如下公式，所述公式为，

$\begin{array}{ccc}\underset{\{D,A\}}{min}\left|\right|T-DA|{|}_2^2& s.t.& \∀i,\left|\right|{\mathrm{\α}}_i|{|}_0\≤k\end{array},$

其中，T表示由O个块构成的训练集，A表示包含k阶稀疏列向量α_i的矩阵，i为传感器图像像素测量值的向量化。

9.如权利要求1所述的对偶编码压缩高光谱成像的装置，其特征在于，所述带通滤波片为通过波长为400nm-820nm的带通滤光片，所述空间光调制器为DMD调制器，所述光谱调制器为LCOS光谱调制器，所述衍射光栅为透射式的闪耀衍射光栅，所述的CCD传感器为没有颜色滤光器阵列的灰度传感器。