CN102438102A - 基于压缩编码孔径的超分辨率成像系统及成像方法 - Google Patents

Abstract

本发明公开了基于压缩编码孔径的超分辨率成像系统及成像方法，主要解决现有技术成像代价昂贵的问题。其实现步骤为：设计卷积模板，并根据光源的相干性来制作编码孔径；将制作好的编码孔径置于光学系统中孔径光阑的位置并按下快门成像，获得低分辨率编码图像；将此编码图像传输至主控计算机中，并将其超分辨率解码重建成高分辨率图像，再使用去噪算法去除高分辨率图像中的人工痕迹。本发明的特点在于突破奈奎斯特准则的限制，对场景低频采样并通过超分辨率重建获得高分辨图像，克服了传统成像系统先采样后压缩而导致的数据浪费，在采样时压缩数据量，降低了成像成本，压缩成本和传输成本，可用于红外成像和遥感成像技术中。

Description

基于压缩编码孔径的超分辨率成像系统及成像方法

技术领域

本发明属于图像处理及成像技术领域，涉及光学系统和图像重建，主要用于光学超分辨率成像。

背景技术

传统的光学成像方法通过前端光学系统和后端电荷耦合器件CCD采集数据，采样频率符合奈奎斯特采样定理，即反映为CCD像元的空间间隔应不大于所关心的细节尺寸的一半。由于采集的数据量庞大，故一般需要对采集到的数据压缩，以便于存储、传输。这种传统成像方法存在两点不足：一是由于采样率高，所以对CCD的分辨率要求比较高。而在其它参数确定的前提下，高分辨率的CCD比低分辨率的CCD昂贵。而且，CCD分辨率的提高会导致像元尺寸的减小，从而导致成像性能，如动态范围、感光度的降低。二是先采集大量数据，然后再压缩数据是一种资源上的浪费。

近年，压缩感知CS理论表明，在信号是稀疏的或可压缩的前提下，可以以远低于奈奎斯特采样频率的采样频率对信号进行采样而不损失信号的细节。这样，就可以减少CCD的分辨率而不影响成像质量。极端情况下，可以用只有一个像元的CCD来成像。Rice大学的单像素相机做了这方面的尝试，参见《Single pixel imaging viacompressive sampling》(Marco F.Duarte等，IEEE Signal Processing Magazine)。该方法在短时间内将数控微镜阵列快速随机变化，从而将拍摄场景伪随机投影为顺序的单测量值，并用单像素CCD将之接收。将采集到的测量值重建之后，即可得到相应的场景。但这种方法的局限性在于它对于一个场景的采集需要比较长的时间。因此，若场景时时变换，则该方法得到的效果将很差。

发明内容

本发明的目的在于克服上述已有技术的不足，提出了一种基于压缩编码孔径的超分辨率成像系统及成像方法，以实现利用较小分辨率的CCD获得较高分辨率的图像。

实现本发明的目的的技术思路是：采用编码孔径代替传统成像系统中的多边形或圆形孔径光阑，由相干或非相干光源照明成像，在焦平面阵列上获得低分辨率编码图像，并将其传输至主控计算机中，通过对低分辨率编码图像超分辨率解码重建并对重建结果去噪，可获得较高质量的高分辨率图像。其技术方案描述如下：

一.本发明基于压缩编码孔径的超分辨率成像系统，包括光源、物镜、孔径光阑、快门和焦平面阵列，孔径光阑设在组成物镜的透镜组中间，光源发出的光依次经过场景、物镜和孔径光阑，并通过快门控制曝光时间，使得场景在焦平面阵列上成像，其特征在于：

孔径光阑，采用一块随机开孔且开孔率为50％的编码孔径模板，使在焦平面阵列上成的像为压缩编码后的图像；

压缩编码后的图像传输至主控计算机，通过主控计算机对其进行超分辨率解码重建后获得高分辨率的图像；

所述主控计算机，设有图像处理模块，该图像处理模块包括：

解码模块，用于将所得的压缩编码图像解码重建而得到高分辨率的图像；

去噪模块，用于去除解码后高分辨率图像中的人工痕迹。

二.本发明基于压缩编码孔径的超分辨率成像方法，给出如下两种技术方案：

技术方案1，包括如下步骤：

1)设计编码孔径所对应的卷积模板H：

1a)由期望的高分辨率图像的分辨率确定孔径模板H的大小，即若高分辨率图像的分辨率为n×n，则卷积模板矩阵H设为n×n维；

1b)根据卷积模板矩阵H的大小，设计n²×n²维的观测矩阵R：

1b1)将R的第一行行向量r₁的元素值设计为满足高斯分布，高斯分布的均值为0，均方差为1；

1b2)将第一行行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

1b3)将循环矩阵(R₁₁，R₁₂，...，R_1n)整体循环偏移n次，得到观测矩阵R，其形式如下所示：

$R=\left[\begin{array}{cccc}{R}_{11}& R_{12}& L& R_{1n}\\ R_{1n}& R_{11}& L& R_{1n-1}\\ M& M& O& M\\ R_{12}& R_{13}& L& R_{11}\end{array}\right]$

1c)通过如下公式求得卷积模板H：

H＝reshape(F^-1adiag(C_H)，n，n)

其中，C_H＝FRF^-1，F表示一维傅里叶变换，F^-1为其逆矩阵，adiag(·)表示提取对角矩阵的对角元素，形成列向量，reshape函数表示将n²×1维的列向量F^-1adiag(C_H)重组为n行n列的矩阵；

2)根据光源是否相干调整编码孔径的小孔分布，并制作该编码孔径：

3)根据光学成像的像差要求，确定孔径光阑的位置，并将制作的编码孔径置于该孔径光阑位置处；

4)根据需求使用相干或非相干光源对场景成像，获得低分辨率编码图像Y，并将其传输至主控计算机中；

5)利用超分辨率解码重建算法将低分辨率编码图像Y重建为高分辨率图像：

5a)将低分辨率编码图像Y向量化为向量y，通过如下变换式，求解出初始小波分解系数θ₀：

θ₀＝(DRW)^Ty

其中，D为降采样矩阵，R为卷积模板H的矩阵形式，W为逆小波变换，(·)^T表示矩阵的转置；

5b)将θ₀作为迭代初始解，构建优化式：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，τ为惩罚因子，θ为目标图像的小波分解系数；

5c)利用快速梯度投影重建算法求解优化式的最佳估计向量

5d)对最佳估计向量

进行逆小波变换，得到重建的高分辨率图像

6)通过自适应TV去噪方法去除重建的高分辨率图像

中由重建引入的人工痕迹，得到最终干净的高分辨率图像。

技术方案2，包括如下步骤：

(1)设计编码孔径所对应的卷积模板H：

(1a)由期望的高分辨率图像的分辨率确定孔径模板H的大小，即若高分辨率图像的分辨率为n×n，则卷积模板矩阵H设为n×n维；

(1b)根据卷积模板矩阵H的大小，设计n²×n²维的观测矩阵R，R的第一行行向量r₁的元素值满足高斯分布，高斯分布的均值为0，均方差为1；

(1c)将第一行行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

(1d)利用构造的n个循环矩阵(R₁₁，R₁₂，...，R_1n)，用如下的公式计算过渡矩阵M_i，

M_i＝FR_1iF^-1，i＝1，...，n：

其中，F为一维傅里叶变换矩阵，F^-1为其逆矩阵；

(1e)利用过渡矩阵M_i，用如下的公式计算对角矩阵C_i，i＝1，...，n：

$C_i=M_1+{(-1)}^{i-1}{M}_{n/2+1}+\underset{j=2}{\overset{n/2}{\mathrm{\Σ}}}2\mathrm{Re}\left(w^{-(j-1)(i-1)}{M}_j\right)$

其中，w＝e^2πi/n，Re(·)表示取复数的实部；

(1f)提取对角矩阵C_i的对角元素，形成列向量d_i，将n个n×1维的列向量d_i合成为矩阵C_h＝[d₁ d₂ ... d_n]；

(1g)将C_h作二维逆傅里叶变换即得卷积模板H；

(2)根据光源是否相干调整编码孔径的小孔分布，并制作该编码孔径；

(3)根据光学成像的像差要求，确定孔径光阑的位置，并将制作的编码孔径置于该孔径光阑位置处；

(4)根据需求使用相干或非相干光源对场景成像，获得低分辨率编码图像Y，并将其传输至主控计算机中；

(5)利用超分辨率解码重建算法将低分辨率编码图像Y重建为高分辨率图像：

(5a)将低分辨率编码图像Y向量化为向量y，通过如下变换式，求解出初始小波分解系数θ₀：

θ₀＝(DRW)^Ty

其中，D为降采样矩阵，R为卷积模板H的矩阵形式，W为逆小波变换，(·)^T表示矩阵的转置；

(5b)将θ₀作为迭代初始解，构建优化式：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，τ为惩罚因子，θ为目标图像的小波分解系数；

(5c)利用快速梯度投影重建算法求解优化式的最佳估计向量

(5d)对最佳估计向量

进行逆小波变换，得到重建的高分辨率图像

(6)通过自适应TV去噪方法去除重建的高分辨率图像中由重建引入的人工痕迹，得到最终干净的高分辨率图像。

本发明与现有技术相比具有如下优点：

1)本发明由于采用编码孔径模板代替传统孔径光阑，使得光场通过编码孔径模板时被编码，这样即可采用分辨率较低的焦平面阵列代替分辨率较高的焦平面阵列压缩成像，并在主控计算机上将压缩编码的图像进行解码超分辨率重建，这种方法使得利用较小分辨率的焦平面阵列成像而获得较高分辨率的图像成为可能，从而降低了焦平面阵列的成本。

2)本发明由于对场景进行编码压缩，使得成像时的数据量较传统成像方法的数据量大大降低，节约了图像的存储成本和传输成本。

3)本发明由于使用快速梯度投影重建算法重建原图像信号，不仅能精确、高效地重建出原图像信号，而且此方法在传统的优化算法后加入了去偏算法，这能进一步提高图像重建的准确性。

4)本发明由于使用自适应TV去噪算法来去除重建过程中引入的人工痕迹，可在保证真实图像信号不被影响的前提下大大地抵制由重建引起的人工痕迹。

附图说明

图1是本发明基于压缩编码孔径的超分辨率成像系统结构框图；

图2是本发明基于压缩编码孔径的超分辨率成像方法流程图。

具体实施方式

以下将结合附图，清楚、完整地描述本发明基于压缩编码孔径的超分辨率成像系统的设置，用图像重建算法进行处理、计算恢复出高分辨率图像，并用自适应TV算法去除图像人工痕迹的详细过程。

参照图1，本发明的成像系统包括光源1、场景2、压缩编码成像系统3和主控计算机8。其中：光源1，采用相干光源或非相干光源；场景2为用于成像的物；压缩编码成像系统3，包括物镜4、孔径光阑5、快门6和焦平面阵列7；物镜4由一组透镜组成；孔径光阑5，采用一块随机开孔且开孔率为50％的编码孔径模板；快门6为控制光线进入焦平面阵列的阀门；焦平面阵列7，采用CCD或CMOS器件；主控计算机8，设有解码模块和去噪模块。各部分的相互位置关系及工作原理如下：

场景2设置在光源1之后，物镜4设置在场景2之后，孔径光阑5，设置在物镜4的透镜组之间，其具体位置根据光学成像的像差要求来确定，快门6置于孔径光阑5之后，焦平面阵列7置于快门6之后，其具体位置为光学系统的像平面位置，主控计算机8与压缩编码成像系统3相连接。成像时，光源1所发出的光线透过场景2后进入压缩编码成像系统3，编码孔径模板作为孔径光阑5对进入的光场进行编码，并在快门6开启时，在焦平面阵列7上压缩编码成像，传输至主控计算机8上，主控计算机8中的解码模块对压缩编码图像进行超分辨率解码重建，获得高分辨率图像，并将其传输至去噪模块，通过去噪模块去除高分辨率图像中由超分辨率解码重建过程中引入的人工痕迹。

参照图2，本发明的测量方法给出如下实施例。

实施例1：本发明的测量方法包括如下步骤：

步骤1，设计编码孔径所对应的卷积模板H。

当光信号通过线性不变的系统时，其输出的光信号X_out可看作输入光信号X_in与卷积模板H的卷积结果，即F_out＝F_in*H，其中，卷积模板H仅与成像系统有关，在此成像系统中，卷积模板H是由系统中的编码孔径模板P所确定的，具体步骤如下：

1.1)为了获得比较好的编码效果，卷积模板矩阵H的大小由期望的高分辨率图像的分辨率来确定，当高分辨率图像的分辨率为n×n时，将卷积模板矩阵H的大小设为n×n维，此时的编码效果最佳；

1.2)将矩阵的卷积转换为矩阵与向量之间的乘积，即

Vec(X*H)＝Rx

其中X为场景的光信号，算子Vec(·)表示将矩阵拉直为向量，x＝Vec(X)，R＝F^-1C_HF，F为一维傅里叶变换矩阵，F^-1为一维逆傅里叶变换矩阵，C_H＝diag(F·Vec(H))，diag(·)表示将列向量对角化为矩阵。由于矩阵H的大小为n×n维，由式中R与H的关系可知，观测矩阵R的大小为n²×n²维，根据压缩感知理论，观测矩阵R必须满足有限等距性质，而随机块循环矩阵满足此性质，故将观测矩阵R设计为随机块循环矩阵，将R的第一行行向量r₁的元素值设计成满足高斯随机分布，其均值为0，均方差为1；

1.3)将行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

1.4)将循环矩阵(R₁₁，R₁₂，...，R_1n)整体循环偏移n次，得到观测矩阵R，其形式如下所示：

$R=\left[\begin{array}{cccc}{R}_{11}& R_{12}& L& R_{1n}\\ R_{1n}& R_{11}& L& R_{1n-1}\\ M& M& O& M\\ R_{12}& R_{13}& L& R_{11}\end{array}\right]$

并通过如下公式可求得卷积模板H：

H＝reshape(F^-1adiag(C_H)，n，n)

其中，C_H＝FRF^-1，adiag(·)表示提取对角矩阵的对角元素，形成列向量，reshape函数表示将n²×1维的列向量F^-1adiag(C_H)重组为n行n列的矩阵。这种方法的特点是简单，但由于观测矩阵R的维数为n²×n²，故需要占用大量的计算机存储资源，且计算复杂度极高。

步骤2，设计编码孔径模板。

2.1)根据光源是否相干调整编码孔径的分布，设编码孔径对应的矩阵为P，编码孔径模板中的透光部分，在矩阵P中用元素1表示；编码孔径中的不透光部分，在矩阵P中用元素0表示；由傅里叶光学可知，若光源为相干光源，则

编码孔径模板矩阵P由

得出；若光源为非相干光源，则

编码孔径模板矩阵P由

得出，其中，

算子表示二维傅里叶算子，

表示二维逆傅里叶变换；

2.2)根据步骤2.1)得出的编码孔径模板矩阵P中的元素由50％的负数和50％的正数组成，即满足零均值高斯分布的情况，故对编码孔径模板矩阵P作二值化处理，即将P中的负数映射为0，并将P中的正数映射为1，以符合编码孔径模板的要求。

步骤3，将编码孔径模板置于光学系统中的孔径光阑位置。

由于孔径光阑的位置会影响光学系统的像散，根据光阑移动方程，计算出使得成像系统像散最小时孔径光阑的位置，并将编码孔径置于该孔径光阑的位置上。

步骤4，根据光源的明亮程度，设置快门的曝光时间，使得所成图像的动态范围最大，按下快门，在焦平面阵列上获得低分辨率编码图像Y，并将该分辨率编码图像Y传输并存储至主控计算机中。

步骤5，将低分辨率编码图像Y超分辨率解码重建为高分辨率图像。

5.1)设期望的高分辨率图像为X，将其向量化为向量x，x＝Vec(X)；

5.2)将向量x小波变换，即θ＝W^-1x，其中，θ为向量x在小波域中的系数向量，W^-1为小波变换矩阵，由于普通图像均可由小波变换稀疏表示，故系数向量θ是稀疏的。

5.3)根据压缩感知理论，只要系数向量θ是稀疏的，即可构建如下优化式，将其低分辨率压缩编码图像超分辨率重建成高分辨率图像在小波域中的系数向量：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，W为逆小波变换矩阵，R为卷积模板H的矩阵形式，D为降采样矩阵，y为低分辨率编码图像Y的向量形式，τ为惩罚因子；

5.4)选取初始解θ₀：

θ₀＝(DRW)^Ty

其中，(·)^T表示矩阵的转置；

5.5)将初始解θ₀作为优化式的初始解，并将观测值y、降采样矩阵D、卷积模板矩阵R、逆小波基矩阵W作为输入参数，利用快速梯度投影重建算法求解优化式 $\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1,$ 得到系数向量

5.6)通过下式求解出超分辨率解码重建后的高分辨率图像

$\hat{X}=\mathrm{reshape}(W\widehat{\mathrm{\θ}},n,n)$

其中，reshape函数表示将n²×1维的列向量

重组为n行n列的矩阵。

步骤6，去除高分辨率图像中的人工痕迹。

由于超分辨率问题是一个病态问题，故高分辨率图像

带有人工痕迹，该人工痕迹类似于高斯噪声，这种噪声可以通过自适应TV去噪模型来去除。具体方法为利用普通图像梯度小于噪声图像的先验知识，对下式进行优化，并根据图像内容中细节的多少来自动调节优化式的终止条件：

$\min {\left|\right|X\left|\right|}_{\mathrm{TV}}=\min \left(\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\right|x_{i,j}-x_{i+1,j}|+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}|x_{i,j}-x_{i,j+1}\left|\right)$

其中，X指图像矩阵，||·||_TV表示矩阵的TV范数，x_i，j表示图像中第i行j列的元素的灰度值，|·|表示求绝对值。

实施例2：本发明的测量方法包括如下步骤：

步骤A，设计编码孔径所对应的卷积模板H。

当光信号通过线性不变的系统时，其输出的光信号X_out可看作输入光信号X_in与卷积模板H的卷积结果，即F_out＝F_in*H，其中，卷积模板H仅与成像系统有关，在此成像系统中，卷积模板H是由系统中的编码孔径模板P所确定的，具体步骤如下：

A1)为了获得比较好的编码效果，卷积模板矩阵H的大小由期望的高分辨率图像的分辨率来确定，当高分辨率图像的分辨率为n×n时，将卷积模板矩阵H的大小设为n×n维，此时的编码效果最佳；

A2)将矩阵的卷积转换为矩阵与向量之间的乘积，即

Vec(X*H)＝Rx

其中X为场景的光信号，算子Vec(·)表示将矩阵拉直为向量，x＝Vec(X)，R＝F^-1C_HF，F为一维傅里叶变换矩阵，F^-1为一维逆傅里叶变换矩阵，C_H＝diag(F·Vec(H))，diag(·)表示将列向量对角化为矩阵。由于矩阵H的大小为n×n维，由式中R与H的关系可知，观测矩阵R的大小为n²×n²维，根据压缩感知理论，观测矩阵R必须满足有限等距性质，而随机块循环矩阵满足此性质，故将观测矩阵R设计为随机块循环矩阵，将R的第一行行向量r₁的元素值设计成满足高斯随机分布，其均值为0，均方差为1；

A3)将行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

A4)采用分块处理的方法，利用构造的n个n×n维的循环矩阵(R₁₁，R₁₂，...，R_1n)，用如下的公式计算过渡矩阵M_i，

M_i＝FR_1iF^-1，i＝1，...，n：

其中，F为一维傅里叶变换矩阵，F^-1为其逆矩阵，由于R_1i是循环矩阵，而循环矩阵可被一维傅里叶变换矩阵F对角化，即过渡矩阵M_i为对角矩阵；

A5)利用过渡矩阵M_i，用如下的公式计算对角矩阵C_i，i＝1，...，n：

$C_i=M_1+{(-1)}^{i-1}{M}_{n/2+1}+\underset{j=2}{\overset{n/2}{\mathrm{\Σ}}}2\mathrm{Re}\left(w^{-(j-1)(i-1)}{M}_j\right)$

其中，w＝e^2πi/n，Re(·)表示取复数的实部；

A6)提取对角矩阵C_i的对角元素，形成列向量d_i，将n个n×1维的列向量d_i合成为矩阵C_h＝[d₁ d₂ ... d_n]，从数学上可以证明，矩阵C_h即为卷积模板的二维傅里叶变换形式。

A7)将C_h作二维逆傅里叶变换即得卷积模板H，即

该步骤虽然较为繁琐，但占用的计算机存储资源小，且计算效率明显高于实施例1的方法。

步骤B，设计编码孔径模板。

B1)根据光源是否相干调整编码孔径的分布，设编码孔径对应的矩阵为P，编码孔径模板中的透光部分，在矩阵P中用元素1表示；编码孔径中的不透光部分，在矩阵P中用元素0表示；由傅里叶光学可知，若光源为相干光源，则

编码孔径模板矩阵P由

得出；若光源为非相干光源，则

编码孔径模板矩阵P由

得出，其中，算子表示二维傅里叶算子，

表示二维逆傅里叶变换；

B2)根据步骤2.1得出的编码孔径模板矩阵P中的元素由50％的负数和50％的正数组成，即满足零均值高斯分布的情况，故对编码孔径模板矩阵P作二值化处理，即将P中的负数映射为0，并将P中的正数映射为1，以符合编码孔径模板的要求。

步骤C，将编码孔径模板置于光学系统中的孔径光阑位置：

C1)由于孔径光阑的位置会影响光学系统的像散，根据光阑移动方程，计算出使得成像系统像散最小时孔径光阑的位置。

C2)将编码孔径置于步骤3.1中得出的孔径光阑的位置上。

步骤D，根据光源的明亮程度，设置快门的曝光时间，使得所成图像的动态范围最大，按下快门，在焦平面阵列上获得低分辨率编码图像Y，并将该分辨率编码图像Y传输并存储至主控计算机中。

步骤E，将低分辨率编码图像Y超分辨率解码重建为高分辨率图像。

E1)设期望的高分辨率图像为X，将其向量化为向量x，x＝Vec(X)；

E2)将向量x小波变换，即θ＝W^-1x，其中，θ为向量x在小波域中的系数向量，W^-1为小波变换矩阵，由于普通图像均可由小波变换稀疏表示，故系数向量θ是稀疏的。

E3)根据压缩感知理论，只要系数向量θ是稀疏的，即可构建如下优化式，将其低分辨率压缩编码图像超分辨率重建成高分辨率图像在小波域中的系数向量：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，W为逆小波变换矩阵，R为卷积模板H的矩阵形式，D为降采样矩阵，y为低分辨率编码图像Y的向量形式，τ为惩罚因子；

E4)选取初始解θ₀：

θ₀＝(DRW)^Ty

其中，(·)^T表示矩阵的转置；

E5)将初始解θ₀作为优化式的初始解，并将观测值y、降采样矩阵D、卷积模板矩阵R、逆小波基矩阵W作为输入参数，利用快速梯度投影重建算法求解优化式 $\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1,$ 得到系数向量

E6)通过下式求解出超分辨率解码重建后的高分辨率图像

$\hat{X}=\mathrm{reshqpe}(W\widehat{\mathrm{\θ}},n,n)$

其中，reshape函数表示将n²×1维的列向量

重组为n行n列的矩阵。

步骤F，去除高分辨率图像中的人工痕迹。

由于超分辨率问题是一个病态问题，故高分辨率图像带有人工痕迹，该人工痕迹类似于高斯噪声，这种噪声可以通过自适应TV去噪模型来去除。具体方法为利用普通图像梯度小于噪声图像的先验知识，对下式进行优化，并根据图像内容中细节的多少来自动调节优化式的终止条件：

$\min {\left|\right|X\left|\right|}_{\mathrm{TV}}=\min \left(\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\right|x_{i,j}-x_{i+1,j}|+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}|x_{i,j}-x_{i,j+1}\left|\right)$

其中，X指图像矩阵，||·||_TV表示矩阵的TV范数，x_i，j表示图像中第i行j列的元素的灰度值，|·|表示求绝对值。

以上描述仅是本发明的两个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (9)

1.一种基于压缩编码孔径的超分辨率成像系统，包括光源(1)、物镜(4)、孔径光阑(5)、快门(6)和焦平面阵列(7)，孔径光阑(5)设在组成物镜(4)的透镜组中间，光源(1)发出的光依次经过场景(2)、物镜(4)和孔径光阑(5)，并通过快门(6)控制曝光时间，使得场景(2)在焦平面阵列(7)上成像，其特征在于：

孔径光阑(5)，采用一块随机开孔且开孔率为50％的编码孔径模板，使在焦平面阵列(7)上成的像为压缩编码后的图像；

压缩编码后的图像传输至主控计算机(8)，通过主控计算机(8)对其进行超分辨率解码重建后获得高分辨率的图像；

所述主控计算机(8)，设有图像处理模块，该图像处理模块包括：

解码模块，用于将所得的压缩编码图像解码重建而得到高分辨率的图像；

去噪模块，用于去除解码后高分辨率图像中的人工痕迹。

2.根据权利要求1所述的成像系统，其特征在于，编码孔径模板开孔的分布采用计算机辅助设计，使得编码孔径模板对应的矩阵为符合等距限制特性RIP的随机模板。

3.根据权利要求1所述的成像系统，其特征在于，光源(1)采用相干光源或者非相干光源。

4.根据权利要求1所述的成像系统，其特征在于，焦平面阵列(7)采用CCD或CMOS，其分辨率大小可为传统成像系统所使用的焦平面阵列分辨率的1/4或更小。

5.一种基于压缩编码孔径的超分辨率成像方法，包括如下步骤：

1)设计编码孔径所对应的卷积模板H：

1a)由期望的高分辨率图像的分辨率确定孔径模板H的大小，即若高分辨率图像的分辨率为n×n，则卷积模板矩阵H设为n×n维；

1b)根据卷积模板矩阵H的大小，设计n²×n²维的观测矩阵R：

1b1)将R的第一行行向量r₁的元素值设计为满足高斯分布，高斯分布的均值为0，均方差为1；

1b2)将第一行行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

1b3)将循环矩阵(R₁₁，R₁₂，...，R_1n)整体循环偏移n次，得到观测矩阵R，其形式如下所示：

$R=\left[\begin{array}{cccc}{R}_{11}& R_{12}& L& R_{1n}\\ R_{1n}& R_{11}& L& R_{1n-1}\\ M& M& O& M\\ R_{12}& R_{13}& L& R_{11}\end{array}\right]$

1c)通过如下公式求得卷积模板H：

H＝reshape(F^-1adiag(C_H)，n，n)

其中，C_H＝FRF^-1，F表示一维傅里叶变换，F^-1为其逆矩阵，adiag(·)表示提取对角矩阵的对角元素，形成列向量，reshape函数表示将n²×1维的列向量F^-1adiag(C_H)重组为n行n列的矩阵；

2)根据光源是否相干调整编码孔径的小孔分布，并制作该编码孔径：

3)根据光学成像的像差要求，确定孔径光阑的位置，并将制作的编码孔径置于该孔径光阑位置处；

4)根据需求使用相干或非相干光源对场景成像，获得低分辨率编码图像Y，并将其传输至主控计算机中；

5)利用超分辨率解码重建算法将低分辨率编码图像Y重建为高分辨率图像：

5a)将低分辨率编码图像Y向量化为向量y，通过如下变换式，求解出初始小波分解系数θ₀：

θ₀＝(DRW)^Ty

其中，D为降采样矩阵，R为卷积模板H的矩阵形式，W为逆小波变换，(·)^T表示矩阵的转置；

5b)将θ₀作为迭代初始解，构建优化式：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，τ为惩罚因子，θ为目标图像的小波分解系数；

5c)利用快速梯度投影重建算法求解优化式的最佳估计向量

5d)对最佳估计向量

进行逆小波变换，得到重建的高分辨率图像

6)通过自适应TV去噪方法去除重建的高分辨率图像

中由重建引入的人工痕迹，得到最终干净的高分辨率图像。

6.一种基于压缩编码孔径的超分辨率成像方法，包括如下步骤：

(1)设计编码孔径所对应的卷积模板H：

(1a)由期望的高分辨率图像的分辨率确定孔径模板H的大小，即若高分辨率图像的分辨率为n×n，则卷积模板矩阵H设为n×n维；

(1b)根据卷积模板矩阵H的大小，设计n²×n²维的观测矩阵R，R的第一行行向量r₁的元素值满足高斯分布，高斯分布的均值为0，均方差为1；

(1c)将第一行行向量r₁中的元素分为m份，其中，m为r₁中元素数的开方，

即每一份为1×n维的行向量，记作(r₁₁，r₁₂，...，r_1n)，其中r_1i为r₁中的第(i-1)×n+1到第i×n个元素，对于每一个r_1i，构造成n×n维的循环矩阵R_1i，i＝1，...，n；

(1d)利用构造的n个循环矩阵(R₁₁，R₁₂，...，R_1n)，用如下的公式计算过渡矩阵M_i，M_i＝FR_1iF^-1，i＝1，...，n：

其中，F为一维傅里叶变换矩阵，F^-1为其逆矩阵；

(1e)利用过渡矩阵M_i，用如下的公式计算对角矩阵C_i，i＝1，...，n：

$C_i=M_1+{(-1)}^{i-1}{M}_{n/2+1}+\underset{j=2}{\overset{n/2}{\mathrm{\Σ}}}2\mathrm{Re}\left(w^{-(j-1)(i-1)}{M}_j\right)$

其中，w＝e^2πi/n，Re(·)表示取复数的实部；

(1f)提取对角矩阵C_i的对角元素，形成列向量d_i，将n个n×1维的列向量d_i合成为矩阵C_h＝[d₁ d₂ ... d_n]；

(1g)将C_h作二维逆傅里叶变换即得卷积模板H；

(2)根据光源是否相干调整编码孔径的小孔分布，并制作该编码孔径；

(3)根据光学成像的像差要求，确定孔径光阑的位置，并将制作的编码孔径置于该孔径光阑位置处；

(4)根据需求使用相干或非相干光源对场景成像，获得低分辨率编码图像Y，并将其传输至主控计算机中；

(5)利用超分辨率解码重建算法将低分辨率编码图像Y重建为高分辨率图像：

(5a)将低分辨率编码图像Y向量化为向量y，通过如下变换式，求解出初始小波分解系数θ₀：

θ₀＝(DRW)^Ty

其中，D为降采样矩阵，R为卷积模板H的矩阵形式，W为逆小波变换，(·)^T表示矩阵的转置；

(5b)将θ₀作为迭代初始解，构建优化式：

$\widehat{\mathrm{\θ}}=\underset{\mathrm{\θ}}{\arg \min }\frac{1}{2}{\left|\right|y-\mathrm{DRW\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，τ为惩罚因子，θ为目标图像的小波分解系数；

(5c)利用快速梯度投影重建算法求解优化式的最佳估计向量

(5d)对最佳估计向量

进行逆小波变换，得到重建的高分辨率图像

(6)通过自适应TV去噪方法去除重建的高分辨率图像

中由重建引入的人工痕迹，得到最终干净的高分辨率图像。

7.根据权利要求6所述的成像方法，其中步骤(2)所述的根据光源是否相干调整编码孔径的小孔分布，按如下步骤进行：

(2a)设编码孔径对应的矩阵为P，在相干光源下，P由下式获得：

在非相干光源下，P由下式获得：

其中，

算子为二维逆傅里叶算子；

(2b)对矩阵P中的值进行改变，即将矩阵P中的负值设为0，正值设为1，改变后的矩阵P的分布即为编码孔径模板的小孔分布，其中1表示透光，0表示不透光。

8.根据权利要求6所述的成像方法，其中步骤(3)所述的光学成像的像差要求，是指选取合适的光阑位置以校正像散，根据光阑移动方程，计算出使得成像系统像散最小时孔径光阑的位置。

9.根据权利要求6所述的成像方法，其中步骤(6)所述的通过自适应TV去噪方法去除重建引入的人工痕迹，是指利用优化算法，通过优化下式以滤除图像中的人工痕迹，并根据图像内容中细节的多少来自动调节优化式的终止条件：

$\min {\left|\right|X\left|\right|}_{\mathrm{TV}}=\min \left(\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\right|x_{i,j}-x_{i+1,j}|+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}|x_{i,j}-x_{i,j+1}\left|\right)$

其中，X指图像矩阵，||·||_TV表示矩阵的TV范数，x_i，j表示图像中第i行j列的元素的灰度值，|·|表示求绝对值。

Images