CN105021280A - 基于全色和压缩光谱成像的图像超分辨率系统及方法 - Google Patents

Abstract

本发明公开了一种基于全色和压缩光谱成像的图像超分辨率系统及方法，主要解决现有图像重构质量差和面阵探测器空间分辨率低的问题。其成像系统包括两路观测通道和图像重构处理器，第一路观测通道由物镜、编码模板、带通滤波器、中继透镜组、双阿米奇棱镜和面阵探测器组成，用以获取压缩光谱观测图像；第二路观测通道由物镜、带通滤波器和面阵探测器组成，用以获取全色光谱观测图像；两路光谱观测图像通过图像重构处理器，利用光谱图像的稀疏性，求解非线性优化实现图像的超分辨率重构。本发明能获得具有高空间分辨率图像，可用于地理遥感、气象观测、灾害预防超分辨率图像的获取。

Description

基于全色和压缩光谱成像的图像超分辨率系统及方法

技术领域

本发明属于图像处理技术领域，特别涉及一种利用压缩光谱成像方法实现图像超分辨率重构的技术，可用于地理遥感、气象观测、灾害预防等领域中超分辨图像的获取。

背景技术

传统成像的空间分辨率取决于探测器阵列密度，为提高图像的空间分辨率而增加探测器阵列密度的代价是非常巨大的。由于图像除了空间信息还有光谱信息，图像的光谱信息是由相同场景下不同谱段的图像组成，其中包含空间维信息和光谱维信息。光谱图像空间位置的光谱维信息对于表明场景中被观测物体的组成及结构有重大意义。如何利用图像的光谱信息实现图像的超分辨率重构，是一个亟待解决的问题。

2006年由E.J.Candes、J.Romberg、T.Tao和D.L.Donoho等人提出的压缩感知CS理论为解决上述问题带来了新的希望。该理论指出，在信号获取的同时就对数据进行适当的压缩。相比于传统的信号获取和处理过程，在压缩感知理论框架下，采样速率不再决定于信号的带宽，而是决定于信号中信息的结构与内容，这使得传感器的采样和计算成本大大降低，而信号恢复过程是一个优化重构的过程。

设被采样信号X的长度为N，稀疏变换基为Ψ,即被采样信号X在稀疏变换基Ψ上的表示是稀疏的。压缩感知理论的数学模型要求设计一个与稀疏变换基Ψ不相关的M×N维的观测矩阵Φ，其中M＜N，通过观测矩阵Φ与被采样信号X相乘得到较低维数的观测数据Y：

Y＝ΦX，

通过求解l₁范数下的优化问题来重构原始信号X，其数学表示为：

min||Ψ^TX||₁s.t.Y＝ΦX，

根据上述理论，美国杜克大学的学者M.E.Gehm，R.Johm等设计并提出了CASSICoded Aperture Snapshot Spectral Imager系统，利用随机编码模板和色散元件，实现对光谱图像的观测，最后通过压缩感知理论重构出原始图像。

发明内容

本发明的目的在于针对现有面阵探测器空间分辨率低和现有图像超分辨率系统重构质量差这一问题，提出了一种基于全色和压缩光谱成像的图像超分辨率系统及方法，以增加图像的空间分辨率和提高图像重构质量。

本发明的技术方案是这样完成的：

本发明借鉴M.E.Gehm，R.Johm等人提出的CASSI系统，在原有编码观测基础上增加全色观测，重构超分辨率的图像。

一.基于全色和压缩光谱成像的图像超分辨率系统，包括分束器、两个物镜、编码模板、两个带通滤波器、中继透镜组、双阿西奇棱镜、两个阵列传感器和图像重构处理器；分束器位于两个物镜的前端，作为分光器件；第一物镜，编码模板，第一带通滤波器，中继透镜组，双阿米奇棱镜，第一探测面阵依次相连，构成第一光路通道C₁，其特征在于：

第二物镜，第二带通滤波器，第二探测面阵依次相连，构成第二光路通道C₂，获得用于修正超分辨率重构图像的全色光谱信息；

编码模板，采用随机编码方式，其码元分为1和0，1表示透光，0表示不透光，且码元数量是第一探测面阵像素数量的2-9倍，使得第一面阵探测器中的一个探测单元能获得编码模板中2-9个码元的通光量，为超分辨率重构提供更多的光谱空间信息。

二.基于全色和压缩光谱成像的图像超分辨率方法，包括以下步骤：

(1)通过分束器将原始图像的光谱信息X分成能量相同的两束光束x₁₀和x₂₀，并分别进入第一光路通道C₁和第二光路通道C₂；

(2)获取第一光路通道C₁的压缩光谱观测图像X₁：

(2a)在第一光路通道C₁内通过第一物镜对进入通道内的光束进行聚焦成像，获得光谱图像x₁₁；

(2b)对光谱图像x₁₁进行随机编码，即将光谱图像上的每一位置上的光束随机遮挡，被遮挡的位置编码为0，未遮挡的位置编码为1，得到编码后的光谱图像x₁₂；

(2c)对编码后的光谱图像x₁₂进行光谱维滤波，滤除需要重构的光谱带宽以外的光谱图像的能量，得到滤波后的编码光谱图像x₁₃；

(2d)对滤波后的编码光谱图像x₁₃各光谱维的图像在空间维的方向上进行搬移，即使得光谱图像的光束发生色散，实现每一维光谱图像之间相对位置发生变化，得到色散后的编码光谱图像x_14，其中，空间维的方向指行或列的方向；

(2e)第一探测面阵获取编码色散后的光谱图像x₁₄，得到第一光路通道C₁压缩光谱观测图像X₁；

(3)通过第二探测面阵获取进入第二光路通道C₂的光谱图像，得到第二光路通道C₂全色光谱观测图像X₂；

(4)根据第一光路通道C₁的压缩光谱观测图像X₁和第二光路通道C₂的全色光谱观测图像X₂，利用非线性的优化方法重构原始光谱信息X，将重构的原始光谱信息X的各个谱段进行叠加，获得最后的超分辨率图像X₀。

本发明与传统技术相比具有一下优点：

1.本发明相比于传统的超分辨率成像技术，利用了图像的空间信息和光谱信息，克服了传统超分辨率成像技术对图像信息利用率低的缺点；

2.本发明利用了图像在光谱维上的稀疏性，通过求解非线性优化问题实现图像超分辨率重构，使得本发明能够获得高空间分辨率的图像。

附图说明

图1是本发明的成像系统框图；

图2是本发明成像系统中的图像重构处理器框图；

图3是本发明成像系统方法流程图；

图4是用本发明成像系统和传统图像超分辨率系统对balloons图像进行观测的超分辨率重构结果图；

图5是用本发明成像系统和传统图像超分辨率系统对egyptian_statue图像进行观测的超分辨率重构结果图。

具体实施方式

下面结合附图和实例对本发明进行详细说明：

参照图1，本发明基于全色和压缩光谱成像的图像超分辨率系统，包括分束器1、第一物镜2、第二物镜8、编码模板3、第一带通滤波器4、第二滤波器9、中继透镜组5、双阿西奇棱镜6、第一阵列传感器7、第二阵列传感器10和图像重构处理器11。

分束器1位于第一物镜2和第二物镜8的前端,作为分光器件，把图像的原始光谱信息光束分成能量相同的两束。

编码模板3位于第一物镜2的后端，是由遮光部分和未遮光部分组成的平面板，其中遮光部分编码为0，未遮光部分编码为1，用于编码通道内的光谱信息光束，得到编码后的光谱图像；第一带通滤波器4位于编码模板3的后端，光谱频带范围为430-650nm，用于滤除编码光谱图像频带范围以外的光谱能量，得到滤波后的编码光谱图像；中继透镜组5位于第一带通滤波器4的后端，用于将滤波后的编码光谱图像搬移至双阿米奇棱镜6上；双阿西奇棱镜6位于中继镜透组5的后端，用于将编码光谱图像在空间维的方向上进行搬移，使得光谱图像的光束发生色散，实现每一维光谱图像之间相对位置发生变化，得到色散后的编码光谱图像_，其中，空间维的方向指行或列的方向；第一面阵探测器7位于双阿西奇棱镜6的后端，用于获取色散编码后的压缩光谱观测图像。

第二带通滤波器9位于第二物镜8的后端，光谱频带范围为430-650nm，用于滤除全色光谱图像频带范围以外的光谱能量；第二探测面阵10位于第二带通滤波器9的后端，用于获取全色光谱观测图像。

所述第一物镜2，编码模板3，第一带通滤波器4，中继透镜组5，双阿米奇棱镜6，第一探测面阵7构成第一光路通道C₁，获取混叠编码的压缩光谱观测图像。

所述第二物镜8，第二带通滤波器9，第二探测面阵10，构成第二光路通道C₂，获得全色光谱观测图像。

图像重构处理器11，用于重构原始光谱信息。其包括稀疏基选取模块、光谱观测图像邻域插值模块和优化求解模块三大模块，其中：稀疏基选取模块，选取将光谱图像投影到稀疏域的稀疏基，并将选取的稀疏基送至优化求解模块；光谱观测图像邻域插值模块，对压缩光谱观测图像X₁和全色光谱观测图像X₂进行邻域插值填充，得到与编码模板3相同码元数量的压缩光谱观测图像y₁和全色观测图像y₂，并送至优化求解模块；优化求解模块，对邻域插值填充后的压缩光谱观测图像y₁和全色观测图像y₂利用非线性的优化方法，求解光谱图像在稀疏域的最小值，得到原始光谱信息X，将重构的原始光谱信息X的各个谱段进行叠加，获得最后的超分辨率图像X₀。

参照图3，本发明基于全色和压缩光谱成像的图像超分辨率方法，包括以下步骤：

步骤1，原始图像初始化。

设图像的光谱场景信息矩阵为f₀，大小为M×N×K，则场景中每一点的光谱信息为f₀(m,n,k)，观测光谱矩阵为X_i，大小为P×Q，下标i取1或2，则观测光谱矩阵中每一点的信息为y(p,q)，M，N分别为光谱空间的行数和列数，M-1和N-1分别是光谱场景信息空间的行和列的最大索引，K为光谱谱间分辨率，K-1是光谱维的最大索引，m和n分别表示光谱场景信息矩阵的空间维坐标，k表示光谱维坐标，P，Q分别为观测光谱矩阵的行数和列数，P-1和Q-1分别是观测光谱矩阵的行和列的最大索引，p和q分别表示观测光谱矩阵的空间维坐标，其中0≤m≤M-1，0≤n≤N-1，0≤k≤K-1，P<M，Q<N，0≤p≤P-1，0≤q≤Q-1。

步骤2，组成两条光路通道。

通过第一物镜、编码模板、第一带通滤波器、中继透镜组、双阿米奇棱镜、第一探测面阵组成第一光路通道C₁；

通过第二物镜、第二带通滤波器、第二探测面阵组成第二光路通道C₂。

步骤3，分束器将原始光谱图像分成两束。

原始光谱场景信息经过分束器以1:1的比例分成两路，即：

$f_{11}(m,n,k)=\frac{1}{2}{f}_0(m,n,k),$

$f_{21}(m,n,k)=\frac{1}{2}{f}_0(m,n,k),$

这两路光谱场景信息分别进入第一光路通道C₁和第二光路通道C₂。

步骤4，在第一光路通道C₁中获取混叠编码的压缩光谱观测图像。

(4a)设编码模板函数矩阵为Cu，其中每一个码元表示为Cu(m,n)，用该编码

模板函数矩阵对通道内的光谱信息f₁₁(m,n,k)进行编码，得出经过编码之后的光谱信息：

$f_{12}(m,n,k)=f_{11}(m,n,k)Cu(m,n)=\frac{1}{2}{f}_0(m,n,k)Cu(m,n),$

其中，Cu(m,n)随机地取0或1；

(4b)将编码后的光谱图像进行带通滤波，滤除光谱谱段以外的能量，得到滤波后的编码光谱图像；

(4c)将滤波后的编码光谱图像第k个谱段的信息平移k个像素，即将每一时刻的第k个谱段第n列的信息平移到第n+k列，得出色散之后的编码光谱图像f₁₃(m,n,k)为：

$f_{13}(m,n,k)=f_{12}(m,n+k,k)=\frac{1}{2}{f}_0(m,n+k,k)C(m,n+k);$

(4d)对色散后的编码光谱信息f₁₃(m,n,k)各个谱段的光谱信息进行累加，得出累加之后的光谱信息x₁(m,n)：

$x_1(m,n)=\underset{k}{\&Sigma;}{f}_{13}(m,n,k)=\frac{1}{2}\underset{k=0}{\overset{K-1}{\&Sigma;}}{f}_0(m,n+k,k)C(m,n+k);$

(4e)将累加之后的光谱信息x₁(m,n)经过探测面阵进行观测，得到压缩光谱观测图像X₁(p,q)：

(4e1)将探测器面阵中每一个探测单元位置对应通过编码模板S个码元的光束位置，其中，S是编码模板码元数量和面阵探测器中探测单元数量的比值， $S=\frac{M\&times;N}{P\&times;Q};$ 其值整数；

(4e2)将通过编码模板S个码元光束的通光量，叠加到探测器面阵中对应的探测单元上，得到压缩光谱观测图像X₁(p,q)。

步骤5，从第二光路通道C₂中获取全色光谱观测图像。

在第二光路通道C₂中，光谱场景信息经过带通滤波器滤除光谱频带范围以外的能量，得到滤波后的光谱图像；滤波后的光谱图像通过第二探测面阵得到全色光谱观测图像X₂(p,q)。

步骤6，将数据图像送至重构处理器进行超分辨率图像重构。

参照图2，本步骤的实现如下：

(6a)将压缩光谱观测图像X₁(p,q)和全色光谱观测图像X₂(p,q)传送至图像重构处理器；

(6b)设定优化目标函数为min||Ψ^TX||₁，其中T表示矩阵转置，||·||₁表示对投影系数Ψ^TX取1范数，min(·)表示取1范数的最小值，X为原始光谱图像，Ψ为稀疏基，即光谱图像X在稀疏基Ψ上的表示是稀疏的；

(6c)将压缩光谱观测图像X₁(p,q)和全色光谱观测图像X₂(p,q)进行邻域插值填充，得到与编码模板码元数量相同的压缩光谱观测图像y₁(m,n)和全色观测图像y₂(m,n)，将压缩光谱观测图像y₁(m,n)和全色观测图像y₂(m,n)拼接在一起，得到光谱观测矩阵：Y＝{y₁(m,n),y₂(m,n)}＝ΦX，其中Φ为观测矩阵；

(6d)将光谱观测矩阵Y＝ΦX作为约束条件；

(6e)联立优化目标函数和约束条件，得出满足约束条件Y＝ΦX，并且使Ψ^TX最小的光谱图像X，即为原始光谱信息；

(6f)将重构的原始光谱信息X的各个谱段进行叠加，获得最后的超分辨率图像X₀。

本发明的效果可通过以下仿真进一步说明

1.实验条件

本实验的硬件测试平台是：Intel Core i7 CPU，主频4.0GHz，内存12GB；软件仿真平台为：windows 7 64位操作系统、Matlab 2014a；

2.仿真内容与结果分析

为验证本发明的有效性，实施了两个仿真实验，两个仿真实验采用不同图像的光谱数据立方体作为原始光谱信息，然后用基于PCA分类和字典学习的重构算法进行光谱图像超分辨率重构，再根据重构结果计算出超分辨率重构图像的峰值信噪比PSNR，并与传统图像超分辨率系统的超分辨率重构结果进行比较。

仿真1，以哥伦比亚大学的balloons图像，用传统图像超分辨率系统和本发明系统进行仿真，其中，传统图像超分辨率系统使用基于稀疏域自适应阈值模型的重构算法TIP_ASDS，本发明系统使用基于PCA分类和字典学习的重构算法对图像进行2倍和3倍超分辨率重构，结果如图(4)所示。其中，图(4a)为原始balloons图像；图(4b)为传统图像超分辨率系统的重构结果；图(4c)为利用本发明系统的重构结果。每个重构图像下都标出了该重构结果的PSNR。

仿真2，以哥伦比亚大学的egyptian_statue图像，用传统图像超分辨率系统和本发明系统进行仿真观测，其中，传统图像超分辨率系统使用基于稀疏域自适应阈值模型的重构算法TIP_ASDS，本发明系统使用基于PCA分类和字典学习的重构算法进行2倍和3倍超分辨率重构，结果如图(5)所示。其中，图(5a)为原始egyptian_statue图像；图(5b)为传统图像超分辨率系统的重构结果；图(5c)为利用本发明系统的重构结果。每个重构图像下都标出了该重构结果的PSNR。

从仿真的实验结果可以看出，用本发明获取的超分辨率图像，细节更清晰、轮廓更完整，比传统图像超分辨率系统有了很大提高；从重构图像的PSNR可以看出，本发明超分辨率重构图像的PSNR比传统图像超分辨率系统超分辨率重构图像的PSNR有2-6dB的提高，平均在4.6dB左右。这两方面的效果都充分证实了本发明的优良性能。

Claims (4)

1.一种基于全色和压缩光谱成像的图像超分辨率系统，包括分束器(1)、两个物镜(2，8)、编码模板(3)、两个带通滤波器(4，9)、中继透镜组(5)、双阿西奇棱镜(6)、两个阵列传感器(7，10)和图像重构处理器(11)；分束器(1)位于两个物镜(2，8)的前端，作为分光器件；第一物镜(2)，编码模板(3)，第一带通滤波器(4)，中继透镜组(5)，双阿米奇棱镜(6)，第一探测面阵(7)，构成第一光路通道C₁，其特征在于：

第二物镜(8)，第二带通滤波器(9)，第二探测面阵(10)，构成第二光路通道C₂，获得用于修正重构图像的全色光谱信息；

编码模板(3)，采用随机编码方式，其码元分为1和0，1表示透光，0表示不透光，且码元数量是第一探测面阵(7)像素数量的2-9倍，使得第一面阵探测器中的一个探测单元能获得编码模板中2-9个码元的通光量，为图像超分辨重构提供更多的光谱空间信息。

2.根据权利要求1所述的基于全色和压缩光谱成像的图像超分辨率系统，其特征在于图像重构处理器(11)包括：

稀疏基选取模块，用于选取将光谱图像投影到稀疏域的稀疏基，并将选取的稀疏基送至优化求解模块；

光谱观测图像邻域插值模块，用于对压缩光谱观测图像X₁和全色光谱观测图像X₂进行邻域插值填充，得到与编码模板(3)相同码元数量的压缩光谱观测图像y₁和全色观测图像y₂，并送至优化求解模块；

优化求解模块，用于对邻域插值填充后的压缩光谱观测图像y₁和全色观测图像y₂利用非线性的优化方法，求解光谱图像在稀疏域的最小值，得到原始光谱信息X，将重构的原始光谱信息X的各个谱段进行叠加，获得最后的超分辨率图像X₀。

3.一种基于全色和压缩光谱成像的图像超分辨率方法，包括以下步骤：

(1)通过分束器将原始图像的光谱信息X分成能量相同的两束光束x₁₀和x₂₀，并分别进入第一光路通道C₁和第二光路通道C₂；

(2)获取第一光路通道C₁的压缩光谱观测图像X₁：

(2a)在第一光路通道C₁内通过第一物镜对进入通道内的光束进行聚焦成像，获得光谱图像x₁₁；

(2b)对光谱图像x₁₁进行随机编码，即将光谱图像上的每一位置上的光束随机遮挡，被遮挡的位置编码为0，未遮挡的位置编码为1，得到编码后的光谱图像x₁₂；

(2c)对编码后的光谱图像x₁₂进行光谱维滤波，滤除需要重构的光谱带宽以外的光谱图像的能量，得到滤波后的编码光谱图像x₁₃；

(2d)对滤波后的编码光谱图像x₁₃各光谱维的图像在空间维的方向上进行搬移，即使得光谱图像的光束发生色散，实现每一维光谱图像之间相对位置发生变化，得到色散后的编码光谱图像x_14，其中，空间维的方向指行或列的方向；

(2e)第一探测面阵获取编码色散后的光谱图像x₁₄，得到第一光路通道C₁压缩光谱观测图像X₁；

(3)通过第二探测面阵获取进入第二光路通道C₂的光谱图像，得到第二光路通道C₂全色光谱观测图像X₂；

(4)根据第一光路通道C₁的压缩光谱观测图像X₁和第二光路通道C₂的全色光谱观测图像X₂，利用非线性的优化方法重构原始光谱信息X，将重构的原始光谱信息X的各个谱段进行叠加，获得最后的超分辨率图像X₀。

4.根据权利要求3所述的基于全色和压缩光谱成像的图像超分辨率方法，其中所述步骤(4)利用非线性的优化方法重构原始光谱信息X，按如下步骤进行：

(4a)设定优化目标函数为min|\Ψ^TX||₁，其中T表示矩阵转置，||·||₁表示对投影系数Ψ^TX取1范数，min(·)表示取1范数的最小值，Ψ为稀疏基；

(4b)将压缩光谱观测图像X₁和全色光谱观测图像X₂进行邻域插值填充，得到和编码模板(3)码元数量相同的压缩光谱观测图像y₁和全色观测图像y₂，将压缩光谱观测图像y₁和全色观测图像y₂拼接在一起，得到光谱观测矩阵Y，Y＝{y₁，y₂}＝ΦX，Φ为观测矩阵；

(4c)将光谱观测矩阵Y＝ΦX作为约束条件；

(4d)联立优化目标函数和约束条件，得出满足约束条件Y＝ΦX，并且使Ψ^TX最小的X，即为原始光谱信息X。