CN103268599B - 多线阵ccd亚像元错位成像超分辨率重构方法 - Google Patents

Abstract

多线阵CCD亚像元错位成像超分辨率重构方法，涉及一种超分辨率图像重构方法，解决现有方法只能实现对两片线性CCD成像的超分辨率重构的问题，超分辨率重构方法用于多片依次错位的长线阵CCD亚像元成像。结合亚像元成像特点，本发明所提供新的超分辨重构方法，其步骤包括：(1)多线阵CCD的亚像元错位成像；(2)高分辨率图像插值；(3)高分辨率图像的模糊核PSF估计；(4)应用全变分正则化模型去除高分辨率图像模糊，应用本发明重构的超分辨率图像其细节显著增加，信噪比有较大提高，具有很好的应用价值。

Description

多线阵CCD亚像元错位成像超分辨率重构方法

技术领域

本发明涉及一种超分辨率图像重构方法，具体涉及多线阵CCD亚像元错位成像超分辨率重构方法。

将n片线阵CCD集成在同一器件中，在线阵方向上依次错开1/n个像元，同时读出时间减为原读出时间的1/n，然后采用软件算法包括：插值、估计模糊核、及去模糊，重构高分辨率图像使其分辨率提高为原来的n倍。

背景技术

CCD几何超分辨可从软件、硬件的角度来实现。软件插值只是利用低分辨率图像原始信息，而并未获得新的图像信息，因此，分辨率很难提高；在硬件实现方法中，大多采用亚像元成像方法：获得同一目标的具有相互移位信息的多幅低分辨率图像，通过提取移位图像中的冗余信息来提高CCD几何分辨率。目前较为流行实现亚像元成像的技术途径：是法国SPOT-5和德国宇航中心研制的HSRS(HotSpotRecognitionSensors)提出的新型CCD设计方案中，把两片错位的长线阵CCD集成在一个芯片上，即焦面集成，这样两片CCD在同一视场上获得两幅低分辨图像，在后续图像处理中，采用重构算法将这两幅图像融合处理获得高分辨率清晰的图像。从发表文献来看，目前所使用重构算法有：赵秀影，胡玉臣，翟林培等.“一种亚像素级图像超分辨恢复算法”光电技术应用,2009,24(5):54-56也是依据低分辨率图像与高分辨率图像的位置关系，给出比较简单的迭代分解像元算法重构高分辨率图像。刘妍妍，张新，徐正平等“利用异形像元探测器提高空间分辨率”光学精密工程，2009，17(10):2621-2627其重构方法是利用低分辨率各个像素灰度值与高分辨率图像中像素灰度值之间解析关系，反演高分辨率图像。以上算法都是针对两片线性CCD成像的超分辨率重构，但若采用多片依次错位的线阵CCD集成在一个芯片上，使分辨率进一步增加，此时可获得多幅低分辨图像，以上方法便不在适用，如迭代分解像元法或反演法得到的方程组为超定方程组通常意义下无解。

发明内容

本发明为解决现有方法只能实现对两片线性CCD成像的超分辨率重构的问题，提供一种多线阵CCD亚像元错位成像超分辨率重构方法。

多线阵CCD亚像元错位成像超分辨率重构方法，该方法由以下步骤实现：

步骤一、多线阵CCD亚像元错位成像，获得多幅高分辨率图像；具体为：在CCD器件内部集成n片相同的线阵CCD，n片CCD在线阵方向错开a/n个像元，在扫描方向上错开n×a个错位图像；所述CCD像元数目为N、像元尺寸为a×a，所述n和a为正整数；

步骤二、高分辨率图像插值；对步骤一获得的多幅图像进行插值处理，获得多幅模糊图像；

具体的插值过程为：设定每片CCD扫描距离为N×a，则获得n组N×nN个像元灰度值数据，即获得n幅模糊图像；对n组像元灰度值数据进行重组，

所述对n组成像数组进行重组的原则为：将n组成像数组分别记为： 其中，1≤i≤N，1≤j≤nN，设定高分辨率图像灰度值矩阵为H_ij，用公式一表示为：

公式一、 $\begin{array}{c}{H}_{\mathrm{ni}-(n-1),j}=L_{i,j}^1\\ H_{\mathrm{ni}-(n-2),j}=L_{i,j}^2\\ H_{\mathrm{ni}-(n-3),j}=L_{i,j}^3\\ \·\\ \·\\ \·\\ H_{\mathrm{ni},j}=L_{i,j}^n\end{array},(1\≤i\≤N.1\≤j\≤\mathrm{nN})$

上式中，H为所成高分辨率图像，L为每片CCD成像数组，i和j分别表述行和列；

步骤三、高分辨率图像模糊核的估计；对步骤二获得的多幅模糊图像分别估计在线阵方向和扫描方向上的模糊核；

具体过程为：首先估计线阵方向的模糊核，在线阵方向上的上述n组CCD成像数组和线阵方向上图像灰度矩阵H_j的像素集合用公式二表示为：

公式二、 $\begin{array}{c}{H}_j={\[H_1,H_2,H_3,H_4,\mathrm{......},H_{nN}\]}^{\′}\\ L_j^1={\[L_1^1,L_2^1,L_3^1,L_4^1,\mathrm{......},L_N^1\]}^{\′}\\ L_j^2={\[L_1^2,L_2^2,L_3^2,L_4^2,\mathrm{......},L_N^2\]}^{\′}\\ L_j^3={\[L_1^3,L_2^3,L_3^3,L_4^3,\mathrm{......},L_N^3\]}^{\′}\\ .\\ .\\ .\\ L_j^n={\[L_1^n,L_2^n,L_3^n,L_4^n,\mathrm{......},L_N^n\]}^{\′}\end{array}$

所述在线阵方向放大n倍，用公式三表示为：

公式三、 $\begin{array}{c}{L}_j^{1}n={\[L_1^1,0,0,L_2^1,0,0,L_3^1,0,0,\mathrm{......},L_N^1,0,0\]}^{\′}\\ L_j^{2}n={\[L_1^2,0,0,L_2^2,0,0,L_3^2,0,0,\mathrm{......},L_N^2,0,0\]}^{\′}\\ L_j^{3}n={\[L_1^3,0,0,L_2^3,0,0,L_3^3,0,0,\mathrm{......},L_N^3,0,0\]}^{\′}\\ .\\ .\\ .\\ L_j^{n}n={\[L_1^n,0,0,L_2^n,0,0,L_3^n,0,0,\mathrm{......},L_N^n,0,0\]}^{\′}\end{array},$

定义平移矩阵R_1move、R_2move、R_3move……R_nmove分别用公式四表示为：

公式四、 $\begin{array}{c}{R}_{1move}={\[1,0,0,\mathrm{......0}\]}^{\′}\\ R_{2move}={\[0,1,0,\mathrm{......0}\]}^{\′}\\ R_{3move}={\[0,0,1,\mathrm{......0}\]}^{\′}\\ .\\ .\\ .\\ R_{nmove}={\[0,0,0,\mathrm{......1}\]}^{\′}\end{array}$

所述H_j是相对于分别平移1、2……n-1个像素，再累加得到的，用公式五表示为：

公式五、 $\begin{array}{c}{H}_j=L_j^{1}n\⊗R_{1move}+L_j^{2}n\⊗R_{2move}+L_j^{3}n\⊗R_{3move}\mathrm{......}{L}_j^{n}n\⊗R_{nmove}\\ \≈L_j^{1}n\⊗\left(R_{1move}+R_{2move}+R_{3move}+\mathrm{......}+R_{nmove}\right)\end{array}$

所述高分辨率图像在线阵方向上的模糊核K_v，用公式六表示为：

公式六、 $\begin{array}{c}{K}_v=R_{1move}+R_{2move}+R_{3move}+......+R_{nmove}\\ =\left[\begin{array}{c}1\\ 0\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 1\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 1\\ .\\ .\\ .\\ 0\end{array}\right]+\mathrm{......}+\left[\begin{array}{c}0\\ 0\\ 0\\ .\\ .\\ .\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\\ .\\ .\\ .\\ 1\end{array}\right]\end{array}$ 然后，再估计在扫描方向上的模糊核K_h，用公式八表示为：

公式八、K_h＝[1,1,1,……1]；获得模糊模型，用公式九表示为：

公式九、 $f=K\⊗u,$

式中，为卷积运算符，u为原始图像，f为降质图像，即：重构的高分辨率图像H，K为在线阵方向与扫描方向上的模糊核，用公式十表示为：

公式十、

步骤四、根据步骤三估计的模糊核，去除高分辨率图像模糊，获得超分辨率图像。

本发明的有益效果：本发明研究是在芯片上集成n片线阵CCD亚像元成像的超分辨率重构方法，它适用于多片线阵CCD亚像元超分辨成像，同时它适用于传统的2片线阵CCD亚像元超分辨率重构。采用本发明重构的图像细节更加丰富，提高的分辨率接近理论上分辨率，这使得本发明具有很好应用价值。由于军事应用的原因，高分辨率的线阵CCD，尤其是红外CCD，一直是国际上出口限制的器件，因此本发明能够利用现有低分辨率的线阵CCD来获得高分辨的图像，使得本发明具有很强的现实性。

附图说明

图1为本发明所述的多线阵CCD亚像元错位成像超分辨率重构方法的示意图；

图2为本发明所述的多线阵CCD亚像元错位成像超分辨率重构方法中图像放大过程示意图；

图3为本发明所述的多线阵CCD亚像元错位成像超分辨率重构方法中图像融合过程示意图；

图4中(a)、(b)和(c)分别为线阵CCD两倍过采样推扫生成的低分辨图像；

图5为本发明所述的3线阵CCD亚像元错位成像超分辨率重构方法的效果图。

具体实施方式

具体实施方式一、多线阵CCD亚像元错位成像超分辨率重构方法，该方法由以下步骤实现：

步骤一、多线阵CCD亚像元错位成像；在CCD器件内部集成n片相同的线阵CCD，n片CCD在线阵方向错开a/n个像元，在扫描方向上错开n×a个错位图像；所述CCD像元数目为N、像元尺寸为a×a，所述n和a为正整数；

对于双线阵CCD亚像元成像,若使读出时间的减半即在推扫方向上的采样距离减半，可使所得图像分辨率为采用单CCD获得图像分辨率的2倍；同理若使n线阵CCD亚像元所成的像的分辨率放大n倍，可使每个CCD读出时间为原读出时间的1/n,即CCD扫描步进距离为a/n。如果每个CCD扫描距离为Na,则可以得到N×N个像元灰度值，一共可以得到n组N×3N个像元灰度值。所得图像在平行传感器飞行方向分辨率为采用单CCD获得图像分辨率的n倍，然后在垂直方向采用图像插值方法使其放大n倍，此时便实现了几何超分辨率成像。

步骤二、高分辨率图像插值；

对于n片相同的线阵CCD亚像元成像，如果每个CCD扫描距离均为N×a,则可以得到n组N×nN个像元灰度值数据，对n组数据进行重组，重组原则如下：将n组数据分别记为：(1≤i≤N,1≤j≤nN)，设高分辨率图像灰度值矩阵为H_ij(1≤i≤3N,1≤j≤nN)，可用下式表示：每个CCD成像数组L

$\begin{array}{c}{H}_{\mathrm{ni}-(n-1),j}=L_{i,j}^1\\ H_{\mathrm{ni}-(n-2),j}=L_{i,j}^2\\ H_{\mathrm{ni}-(n-3),j}=L_{i,j}^3\\ \·\\ \·\\ \·\\ H_{\mathrm{ni},j}=L_{i,j}^n\end{array},(1\≤i\≤N,1\≤j\≤\mathrm{nN})---\left(1\right)$

基于(1)式，H所成高分辨率图像,是由获取n帧低分辨率图像在垂直方向首先放大n倍，如附图2所示，然后获取第二帧图像相对于获取第一帧图像在垂直方向分别平移1个像素，第三帧图像相对第一帧图像获取图像在垂直平移2个像素，第n帧图像相对第一帧图像获取图像在垂直平移n-1个像素，最后n帧图像叠加取平均得到的。虽然应用(1)式能重构高分辨率图像，但由于n帧图像在垂直方向上存在像移，因此重构超分辨率图像存在着图像模糊的问题，还需对图像进行去模糊处理。

步骤三、超分辨率图像模糊核的估计；首先估计线阵方向的模糊核，依据前一段所述，给出和H_j像素集合：

$\begin{array}{c}{H}_j={\[H_1,H_2,H_3,H_4,\mathrm{......},H_{nN}\]}^{\′}\\ L_j^1={\[L_1^1,L_2^1,L_3^1,L_4^1,\mathrm{......},L_N^1\]}^{\′}\\ L_j^2={\[L_1^2,L_2^2,L_3^2,L_4^2,\mathrm{......},L_N^2\]}^{\′}\\ L_j^3={\[L_1^3,L_2^3,L_3^3,L_4^3,\mathrm{......},L_N^3\]}^{\′}\\ .\\ .\\ .\\ L_j^n={\[L_1^n,L_2^n,L_3^n,L_4^n,\mathrm{......},L_N^n\]}^{\′}\end{array}---\left(2\right)$

在线阵方向放大n倍，可表示为：

$\begin{array}{c}{L}_j^{1}n={\[L_1^1,0,0,L_2^1,0,0,L_3^1,0,0,\mathrm{......},L_N^1,0,0\]}^{\′}\\ L_j^{2}n={\[L_1^2,0,0,L_2^2,0,0,L_3^2,0,0,\mathrm{......},L_N^2,0,0\]}^{\′}\\ L_j^{3}n={\[L_1^3,0,0,L_2^3,0,0,L_3^3,0,0,\mathrm{......},L_N^3,0,0\]}^{\′}\\ .\\ .\\ .\\ L_j^{n}n={\[L_1^n,0,0,L_2^n,0,0,L_3^n,0,0,\mathrm{......},L_N^n,0,0\]}^{\′}\end{array}---\left(3\right)$

定义平移矩阵R_1move、R_2move、R_3move和R_nmove分别为：

$\begin{array}{c}{R}_{1move}={\[1,0,0,\mathrm{......0}\]}^{\′}\\ R_{2move}={\[0,1,0,\mathrm{......0}\]}^{\′}\\ R_{3move}={\[0,0,1,\mathrm{......0}\]}^{\′}\\ .\\ .\\ .\\ R_{nmove}={\[0,0,0,\mathrm{......1}\]}^{\′}\end{array}---\left(4\right)$

依前文所述，H_j是相对于分别平移1、2……n-1个像素，然后再累加得到的，可表示为：

$\begin{array}{c}{H}_j=L_j^{1}n\⊗R_{1move}+L_j^{2}n\⊗R_{2move}+L_j^{3}n\⊗R_{3move}\mathrm{......}{L}_j^{n}n\⊗R_{nmove}\\ \≈L_j^{1}n\⊗\left(R_{1move}+R_{2move}+R_{3move}+\mathrm{......}+R_{nmove}\right)\end{array}---\left(5\right)$

因此超分辨率图像H在线阵方向模糊核为：

$\begin{array}{c}{K}_v=R_{1move}+R_{2move}+R_{3move}+......+R_{nmove}\\ =\left[\begin{array}{c}1\\ 0\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 1\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 1\\ .\\ .\\ .\\ 0\end{array}\right]+\mathrm{......}+\left[\begin{array}{c}0\\ 0\\ 0\\ .\\ .\\ .\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\\ .\\ .\\ .\\ 1\end{array}\right]\end{array}---\left(6\right)$

超分辨率图像在推扫方向模糊核估计，具体过程为：以图1中CCD1推扫成图像L¹为例，设L¹(x_i)为L¹的1行像素即CCD1采用步进距离为a/n即(n-1)倍过采样生成图像的1行，i∈[1,nN]；L¹(y_j)为CCD1采用步进距离为a无过采样生成图像的1行，在推扫方向无模糊现象，L¹(y_jn)为L¹(y_j)的n倍细分亚像素，j∈[1,N]，且有L¹(y_j1)+L¹(y_j2)+L¹(y_j3)+……+L¹(y_jn)＝I(y_j)。由前文所述的n线阵亚像元成像的原理可知，L¹(x_i)与L¹(y_jn)符合以下解析关系：

$\begin{array}{c}\left\{\begin{array}{c}{L}^1\left(x_1\right)=L^1\left(y_{11}\right)+L^1\left(y_{12}\right)+L^1\left(y_{13}\right)+\mathrm{......}+L^1\left(y_{1n}\right)\\ L^1\left(x_2\right)=L^1\left(y_{12}\right)+L^1\left(y_{13}\right)+\mathrm{......}+L^1\left(y_{1n}\right)+L^1\left(y_{21}\right)\\ L^1\left(x_3\right)=L^1\left(y_{13}\right)+\mathrm{......}+L^1\left(y_{1n}\right)+L^1\left(y_{21}\right)+L^1\left(y_{22}\right)\\ .\\ .\\ .\\ L^1\left(x_{n+1}\right)=L^1\left(y_{21}\right)+L^1\left(y_{22}\right)+L^1\left(y_{23}\right)+\mathrm{......}+L^1\left(y_{2n}\right)\\ \mathrm{......}\end{array}\right.\\ \⇒\[L^1\left(x_1\right),L^1\left(x_2\right),L^1\left(x_3\right),L^1\left(x_4\right)\mathrm{...}\]\\ \≈\[1,1,1\]\⊗\[L^1\left(y_{11}\right),L^1\left(y_{12}\right),L^1\left(y_{13}\right),\mathrm{......}{L}^1\left(y_{1n}\right),L^1\left(y_{21}\right)L^1\left(y_{22}\right),L^1\left(y_{23}\right),\mathrm{......}{L}^1\left(y_{2n}\right),\mathrm{......}\]\\ \⇒L^1\left(x_i\right)\≈\[1,1,\mathrm{1......1}\]\⊗L^1\left(y_{jn}\right)\end{array}---\left(7\right)$

从上式可以看出，线阵CCD1采用过采样生成L¹存在退化模糊，其模糊核为[1,1,1,…1]；同理可得L²、L³、…Lⁿ的模糊核，均为[1,1,1,…1]。因此L¹、L²、…Lⁿ重构的超分辨率图像H在推扫方向也存在退化模糊，其模糊核也为：

K_h＝[1,1,1,……1](8)

综上所述，不论是推扫方向的模糊核还是线阵方向的模糊核都是线性和位移不变的，位移不变使得原本的模糊过程简化为模糊算子，因此可将以上超分辨重构过程看作降质模糊过程，考虑带有平移不变的模糊模型

$f=K\⊗u---\left(9\right)$

式中，为卷积运算符，u为原始图像，f为降质图像也就是重构的超分辨率图像H，K是估计模糊核为：

步骤四、应用全变分正则化模型去除高分辨率图像模糊，获得超分辨率图像。

对于该问题求逆过程是一个典型的病态问题，数学上解决病态问题的一个常用方法是正则化方法，本发明采用全变分正则化模型进行去模糊处理

$\underset{u}{min}{\∫}_{\mathrm{\Ω}}\left|\right|\▿u\left|\right|dx+\mathrm{\λ}{\∫}_{\mathrm{\Ω}}\left|\right|Ku-f|{|}_2^{2}dx---\left(11\right)$

式中▽u为图像的梯度向量；||·||和||·||₂分别表示1范数和2范数。采用该模型复原后图像细节显著增加，提高的分辨率接近理论上分辨率，最后完成超分辨率图像的重构工作。

本实施方式中步骤四还可以采用采用最小二乘约束复原、维纳滤波、Lucy_Richardson滤波方法或盲解卷积复原方法中的任意一种方法去除高分辨率图像模糊。

具体实施方式二、结合图1至图5说明本实施方式，本实施方式为具体实施方式一所述的多线阵CCD亚像元错位成像超分辨率重构方法的实施例：

一、在同一CCD器件内部,集成3片相同的线阵CCD,像元数目为N、像元尺寸为a×a，n片CCD在线阵方向错开a/3像元，在扫描方向上错开n×a(n为整数)错位图像，这就使获得的n帧图像之间在垂直和平行传感器飞行方向均相差a/3像元。

对于双线阵CCD亚像元成像,若使读出时间的减半即在推扫方向上的采样距离减半，可使所得图像分辨率为采用单CCD获得图像分辨率的2倍；同理若使3线阵CCD亚像元所成的像的分辨率放大3倍，可使每个CCD读出时间为原读出时间的1/3,即CCD扫描步进距离为a/3。如果每个CCD扫描距离为N×a,则可以得到N×N个像元灰度值,一共可以得到3组M×3N个像元灰度值。所得图像在平行传感器飞行方向分辨率为采用单CCD获得图像分辨率的3倍，然后在垂直方向采用图像插值方法使其放大3倍，此时便实现了几何超分辨率成像。

二、高分辨率图像插值

对于n片相同的线阵CCD亚像元成像，如果每个CCD扫描距离均为N×a,则可以得到3组N×3N个像元灰度值数据,对3组数据进行重组，重组原则如下：将3组数据分别记为：(1≤i≤N,1≤j≤3N)，设高分辨率图像灰度值矩阵为H_ij(1≤i≤3N,1≤j≤3N)，可用下式表示：

$\begin{array}{c}{H}_{3i-\left(n-1\right),j}=L_{i,j}^1\\ H_{3i-\left(n-2\right),j}=L_{i,j}^2\\ H_{3i-\left(n-3\right),j}=L_{i,j}^3\end{array},\left(1\≤i\≤N,1\≤j\≤\right)---\left(1\right)$

基于(1)式，H所成高分辨率图像的每个像素是由获取n帧低分辨率图像在垂直方向首先放大3倍，如附图2所示，然后获取第二帧图像相对于获取第一帧图像在垂直方向分别平移1个像素，第三帧图像相对第一帧图像获取图像在垂直平移2个像素，最后3帧图像叠加取平均得到的。虽然应用(1)式能重构高分辨率图像，但由于n帧图像在垂直方向上存在像移，因此重构超分辨率图像存在着图像模糊的问题，还需对图像进行去模糊处理。

三、超分辨率图像模糊核的估计

超分辨率图像在线阵方向模糊核(PSF)估计

本文首先忽略推扫方向模糊，估计线阵方向的模糊核，依据前一段所述，给出和H_j像素集合：

$\begin{array}{c}{H}_j={\[H_1,H_2,H_3,H_4,\mathrm{......},H_{3N}\]}^{\′}\\ L_j^1={\[L_1^1,L_2^1,L_3^1,L_4^1,\mathrm{......},L_N^1\]}^{\′}\\ L_j^2={\[L_1^2,L_2^2,L_3^2,L_4^2,\mathrm{......},L_N^2\]}^{\′}\\ L_j^3={\[L_1^3,L_2^3,L_3^3,L_4^3,\mathrm{......},L_N^3\]}^{\′}\end{array}---\left(2\right)$

在线阵方向放大3倍，可表示为：

$\begin{array}{c}{L}_j^{1}3={\[L_1^1,0,0,L_2^1,0,0,L_3^1,0,0,\mathrm{......},L_N^1,0,0\]}^{\′}\\ L_j^{2}3={\[L_1^2,0,0,L_2^2,0,0,L_3^2,0,0,\mathrm{......},L_N^2,0,0\]}^{\′}\\ L_j^{3}3={\[L_1^3,0,0,L_2^3,0,0,L_3^3,0,0,\mathrm{......},L_N^3,0,0\]}^{\′}\end{array}---\left(3\right)$

定义平移矩阵R_1move、R_2move和R_3move分别为：

$\begin{array}{c}{R}_{1move}={\[1,0,0\]}^{\′}\\ R_{2move}={\[0,1,0\]}^{\′}\\ R_{3move}={\[0,0,1\]}^{\′}\end{array}---\left(4\right)$

依前文所述，H_j是相对于分别平移1、2个像素，然后再累加得到的，可表示为：

$\begin{array}{c}{H}_j=L_j^{1}3\⊗R_{1move}+L_j^{2}3\⊗R_{2move}+L_j^{3}3\⊗R_{3move}\\ \≈L_j^{1}3\⊗\left(R_{1move}+R_{2move}+R_{3move}\right)\end{array}---\left(5\right)$

因此超分辨率图像H在线阵方向模糊核为：

$\begin{array}{c}{K}_v=R_{1move}+R_{2move}+R{3move}_{}\\ =\left[\begin{array}{c}1\\ 0\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 1\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\end{array}\right]\end{array}---\left(6\right)$

超分辨率图像在推扫方向模糊核估计；以CCD1推扫成图像L¹为例，设L¹(x_i)为L¹的1行像素即CCD1采用步进距离为a/3即2倍过采样生成图像的1行，i∈[1,3M]；L¹(y_j)为CCD1采用步进距离为a无过采样生成图像的1行，在推扫方向无模糊现象，L¹(y_jn)为L¹(y_j)的3倍细分亚像素，j∈[1,M]，且有L¹(y_j1)+L¹(y_j2)+L¹(y_j3)＝I(y_j)。由前文所述的3线阵亚像元成像的原理可知，L¹(x_i)与L¹(y_jn)符合以下解析关系：

$\begin{array}{c}\left\{\begin{array}{c}{L}^1\left(x_1\right)=L^1\left(y_{11}\right)+L^1\left(y_{12}\right)+L^1\left(y_{13}\right)\\ L^1\left(x_2\right)=L^1\left(y_{12}\right)+L^1\left(y_{13}\right)+L^1\left(y_{21}\right)\\ L^1\left(x_3\right)=L^1\left(y_{13}\right)+L^1\left(y_{21}\right)+L^1\left(y_{22}\right)\\ L^1\left(x_4\right)=L^1\left(y_{21}\right)+L^1\left(y_{22}\right)+L^1\left(y_{23}\right)\\ \mathrm{......}\end{array}\right.\\ \⇒\[L^1\left(x_1\right),L^1\left(x_2\right),L^1\left(x_3\right),L^1\left(x_4\right)\mathrm{...}\]\\ \≈\[1,1,1\]\⊗\[L^1\left(y_{11}\right),L^1\left(y_{12}\right),L^1\left(y_{13}\right),L^1\left(y_{21}\right)L^1\left(y_{22}\right),L^1\left(y_{23}\right)\mathrm{...}\]\\ \⇒L^1\left(x_i\right)\≈\[1,1,1\]\⊗L^1\left(y_{jn}\right)\end{array}---\left(7\right)$

从上式可以看出，线阵CCD1采用过采样生成L¹存在退化模糊，其模糊核为[1,1,1]；同理可得L²、L³的模糊核，均为[1,1,1,]。因此L¹、L²重构的超分辨率图像H在推扫方向也存在退化模糊，其模糊核也为：

K_h＝[1,1,1](8)

综上所述，不论是推扫方向的模糊核还是线阵方向的模糊核都是线性和位移不变的，位移不变使得原本的模糊过程简化为模糊算子，因此可将以上超分辨重构过程看作降质模糊过程，考虑带有平移不变的模糊模型

$f=K\⊗u---\left(9\right)$

式中，为卷积运算符，u为原始图像，f为降质图像也就是重构的超分辨率图像H，K是估计模糊核为：

$K=K_v\⊗K_h=\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]---\left(10\right)$

四、应用全变分正则化模型去除高分辨率图像模糊

对于该问题求逆过程是一个典型的病态问题，数学上解决病态问题的一个常用方法是正则化方法，本发明采用全变分正则化模型进行去模糊处理

式中▽u为图像的梯度向量；||·||和||·||₂分别表示1范数和2范数。采用该模型复原后图像细节显著增加，信噪比有较大提高，最后完成超分辨率图像的重构工作。

结合图4和图5说明本实施方式的正确性和有效性。图4中(a)、(b)和(c)是获取三幅低分辨率图像数据，这三幅图像满足线阵方向上的错位1/3像元及读出时间为原来的1/3，对这三幅图像应用本发明方法重构高分辨率图像如图5所示，可以看出采用本发明方法重构的高分辨图像细节丰富，复原效果好，说明本发明方法的正确性和有效性。

Claims (2)

1.多线阵CCD亚像元错位成像超分辨率重构方法，其特征是，该方法由以下步骤实现：

步骤一、多线阵CCD亚像元错位成像，获得多幅高分辨率图像；具体为：在CCD器件内部集成n片相同的线阵CCD，n片CCD在线阵方向错开a/n个像元，在扫描方向上错开n×a个错位图像；所述CCD像元数目为N、像元尺寸为a×a，所述n和a为正整数；

步骤二、高分辨率图像插值；对步骤一获得的多幅图像进行插值处理，获得多幅模糊图像；

具体的插值过程为：设定每片CCD扫描距离为N×a，则获得n组N×nN个像元灰度值数据，即获得n幅模糊图像；对n组像元灰度值数据进行重组，

所述对n组成像数组进行重组的原则为：将n组成像数组分别记为： 其中，1≤i≤N，1≤j≤nN，设定高分辨率图像灰度值矩阵为H_ij，用公式一表示为：

公式一、 $\begin{array}{c}{H}_{ni-\left(n-1\right),j}=L_{i,j}^1\\ H_{ni-\left(n-2\right),j}=L_{i,j}^2\\ H_{ni-\left(n-3\right),j}=L_{i,j}^3\\ \begin{array}{c}.\\ .\\ .\end{array}\\ H_{ni,j}=L_{i,j}^n\end{array},(1\≤i\≤N,1\≤j\≤nN)$

上式中，H为所成高分辨率图像，L为每片CCD成像数组，i和j分别表述行和列；

步骤三、高分辨率图像模糊核的估计；对步骤二获得的多幅模糊图像分别估计在线阵方向和扫描方向上的模糊核；

具体过程为：首先估计线阵方向的模糊核，在线阵方向上的上述n组CCD成像数组L_j ¹、L_j ²、L_j ³……L_j ⁿ和线阵方向上图像灰度矩阵H_j的像素集合用公式二表示为：

公式二、 $\begin{array}{c}{H}_j={\[H_1,H_2,H_3,H_4,......,H_{nN}\]}^{\′}\\ L_j^1={\[L_1^1,L_2^1,L_3^1,L_4^1,......,L_N^1\]}^{\′}\\ L_j^2={\[L_1^2,L_2^2,L_3^2,L_4^2,......,L_N^2\]}^{\′}\\ L_j^3={\[L_1^3,L_2^3,L_3^3,L_4^3,......,L_N^3\]}^{\′}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ L_j^n={\[L_1^n,L_2^n,L_3^n,L_4^n,......,L_N^n\]}^{\′}\end{array}$

所述L_j ¹、L_j ²、L_j ³……L_j ⁿ在线阵方向放大n倍，用公式三表示为：

公式三、 $\begin{array}{c}{L}_j^{1}n={\[L_1^1,0,0,L_2^1,0,0,L_3^1,0,0,......,L_N^1,0,0\]}^{\′}\\ L_j^{2}n={\[L_1^2,0,0,L_2^2,0,0,L_3^2,0,0,......,L_N^2,0,0\]}^{\′}\\ L_j^{3}n={\[L_1^3,0,0,L_2^3,0,0,L_3^3,0,0,......,L_N^3,0,0\]}^{\′}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ L_j^{n}n={\[L_1^n,0,0,L_2^n,0,0,L_3^n,0,0,......,L_N^n,0,0\]}^{\′}\end{array},$

定义平移矩阵R_1move、R_2move、R_3move……R_nmove分别用公式四表示为：

公式四、 $\begin{array}{c}{R}_{1move}={\[1,0,0,......0\]}^{\′}\\ R_{2move}={\[0,1,0......0\]}^{\′}\\ R_{3move}={\[0,0,1......0\]}^{\′}\\ \begin{array}{c}.\\ .\\ .\end{array}\\ R_{nmove}={\[0,0,0......1\]}^{\′}\end{array}$

所述H_j是L_j ²n、L_j ³n……L_j ⁿn相对于L_j ¹n分别平移1、2……n-1个像素，再累加得到的，用公式五表示为：

公式五、 $\begin{array}{c}{H}_j=L_j^{1}n\⊗R_{1move}+L_j^{2}n\⊗R_{2move}+L_j^{3}n\⊗R_{3move}......L_j^{n}n\⊗R_{nmove}\\ \≈L_j^{1}n\⊗\left(R_{1move}+R_{2move}+R_{3move}+......+R_{nmove}\right)\end{array}$

所述高分辨率图像在线阵方向上的模糊核K_v，用公式六表示为：

公式六、 $\begin{array}{c}{K}_v=R_{1move}+R_{2move}+R_{3move}+......+R_{nmove}\\ =\left[\begin{array}{c}1\\ 0\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 1\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 1\\ .\\ .\\ .\\ 0\end{array}\right]+......+\left[\begin{array}{c}0\\ 0\\ 0\\ .\\ .\\ .\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\\ 1\\ .\\ .\\ .\\ 1\end{array}\right]\end{array}$

然后，再估计在扫描方向上的模糊核K_h，用公式七表示为：

公式七、K_h＝[1,1,1,……1]；获得模糊模型，用公式八表示为：

公式八、 $f=K\⊗u,$

式中，为卷积运算符，u为原始图像，f为降质图像，即：重构的高分辨率图像H，K为在线阵方向与扫描方向上的模糊核，用公式九表示为：

公式九、

步骤四、根据步骤三估计的模糊核，去除高分辨率图像模糊，获得超分辨率图像。

2.根据权利要求1所述的多线阵CCD亚像元错位成像超分辨率重构方法，其特征在于，步骤四去除高分辨率图像模糊采用最小二乘约束复原、维纳滤波、Lucy_Richardson滤波方法、盲解卷积复原或全变分正则化复原方法中的一种。