CN101131429B - 带像差和小孔径衍射像质退化成像系统的图像复原方法 - Google Patents

Abstract

本发明公开了一种带像差和小孔径衍射像质退化成像系统的图像复原方法，包括如下步骤：(1)景物经带像差小孔径的成像镜头成像后，由图像传感器CCD将图象退化处理，得到退化后的图象，并输出到图像处理单元；(2)图像处理单元根据镜头成像特性，用图像处理方法将退化后的图象反演恢复出高分辨率的图像。本发明的图像复原方法充分利用了光学系统本身的信息(包括光学口径、像差、各种加工误差)，退化模型更加精确符合实际，克服了常规恢复方法在不知道相机参数的情况下，由图像的使用者完成的超分辨率恢复方法效果较差的缺点，超分辨恢复效果明显优于常规方法。

Description

带像差和小孔径衍射像质退化成像系统的图像复原方法

技术领域

本发明涉及一种针对带像差和小孔径衍射像质退化成像系统的图像复原方法。

背景技术

在现代国际形势下，小型而高效的各种航空器迅猛发展，高分辨、高清晰、小而轻的有效载荷具有重要的战略意义。多数发达国家纷纷开展了各种航空器的研究。我国为了跟踪世界航空航天对地观测和遥感技术的发展前沿，近些年相继开展了航空器、有效载荷相关技术的研究。对于现代航空器，高分辨、轻量化光学观测系统等是一项重要的关键技术，所以研究航空航天相机的轻型化、高分辨、小型化技术，成为发展现代航空航天对地观测的关键。另外，现在大多数高分辨率对地观测相机的重量体积都很庞大，因此，航空航天和遥感信息获取领域也对相机提出了轻型化、小型化的要求。

减小相机的体积和重量的方法主要有以下几个方面：一是采用新型材料及机械结构的轻量化；二是采用轻型光学系统，如采用小相对孔径光学系统、采用折反式或全反式光学系统，其中采用小相对孔径光学系统是相机小型化和轻型化的关键技术途径；三是采用TDICCD，TDICCD可以解决采用小相对孔径光学系统引起的光能量不足的问题；四是采用提高图像分辨率的技术，如亚像元技术和超分辨率技术。采用小相对孔径光学系统虽然能够有效地减小相机的体积和重量，但是减小光学系统的相对孔径也会使光学系统的分辨率下降。因此，研究小相对孔径光学系统必须引入提高图像分辨率的技术。从国内外文献中可以看出，在研制微小型相机中，为了提高系统的分辨率，普遍采用亚像元技术。如法国SPOT-5卫星的遥感图像；国内有单位利用亚像元技术，使相机分辨率提高1.7倍。

另外一种提高系统分辨率的方法是，利用超分辨率技术，提高图像的分辨率。但从报道或论文看，大多是利用别人拍摄到的图像进行后处理，以提高图像的分辨率。超分辨率图像复原方法最早由Harris和Goodman于60年代提出，并相继提出了线性外推法、叠加正弦模板法等复原方法，但在实际应用中没有获得理想的结果，且被称为“超分辨率的神话”。80年代末之后，人们在超分辨率图像复原方法研究上取得了突破性的进展。不仅在理论上说明超分辨率存在的可能性，而且提出和发展了利用序列/多幅图像的超分辨率图像复原算法，如频域法、迭代反向投影IBP法、凸集投影法POCS、基于Bayesian估计的多帧图像超分辨率算法等。VOLOVELSKY，Kami等在他们的专利中使用迭代反投影法IBP进行超分辨图像处理，并讨论了算法的收敛性和运算效率；而NESTARES，Oscar等则使用基于Bayesian分析法的最大似然估计器，加入对噪声的估计提高了系统的鲁棒性；现在小波分析，神经网络算法也被引入到图像处理当中，如AKSAY，Anil等讨论了小波变换在图像增强与复原方面的应用。除了景象平移，旋转造成多帧图像之间的差异被用来图像超分辨合成外，PELEGShmuel等提出了基于多传感器的超分辨图像融合方法，以及超分辨算法与图像拼接相结合的应用。

发明内容

本发明提供一种适用于带像差小孔径实际成像系统退化图像的复原方法，所采用的图像处理方法对成像系统获得的退化图像进行超分辨复原，是以成像镜头的成像特性为基础的，结合镜头像差和小孔径衍射退化的图像复原方法，利用光学系统本身的信息(包括光学口径、像差、各种加工误差)，采用超分辨率算法，达到提高图像分辨率的目的。

一种带像差和小孔径衍射像质退化成像系统的图像复原方法，包括如下步骤：

(1)景物经带像差小孔径的成像镜头成像后，由图像传感器CCD获得退化后的图象，并输出到图像处理单元；

(2)图像处理单元根据成像镜头的成像特性，用图像处理方法将退化后的图象反演恢复出高分辨率的图像。

步骤(2)中所述的图像处理方法是以成像镜头的退化模型为基础将退化后的图象反演恢复出高分辨率的图像。所述的退化模型是以成像镜头的成像特性为基础的。所述的成像特性即调制传递函数MTF，至少包含镜头的设计像差、加工和装校误差、和小孔径衍射效应的影响。

所述的带像差小孔径成像的成像镜头一般是小孔径长焦距物镜，它的设计像差是已知的，加工误差、装校误差可以通过实验室高精度仪器(如MTF测试仪)测试获得。景物经成像镜头成像后，通过CCD传感，图像处理单元将获得景物被退化的图像。

图象退化过程即景物经实际成像系统成像的过程，其退化模型可以作如下描述：设原图像为x(i，i)，经过一个退化过程(可理解成一个系统，或加于x(i，j)上的一个运算)，然后再叠加一个噪声n(i，j)，从而形成一个退化图像y(i，j)。

于是，原图和退化图像之间可以用如下关系式描述：

y(i，j)＝h(i，j)*x(i，j)+n(i，j)

其中h(i，i)表示系统的退化函数。

因此，在不考虑噪声影响时，系统输出被其输入和退化函数唯一确定，系统的退化函数是描述成像系统特性的重要函数。输入图像x、输出图像y以及退化函数h都是以矩阵X、Y、H的形式给出，矩阵X、Y中的元素表示该像素点的灰度，H中的元素则表示退化后能量在一定区域内分布的比例。退化函数h实际上就是镜头的成像特性，可以通过MTF测试仪测试获得。本发明的成像退化已经包括了镜头像差、加工装校误差和小孔径衍射的共同影响。

在获得退化模型后，就可以使用超分辨率处理技术来进行图像反演复原了。将已经被退化的低分辨率模糊图像恢复成高分辨率的清晰图像的图像恢复技术方法较多，如基于重建的频域法、空域迭代反投影方法(IBP)、凸集投影方法(POCS)、受限制自适应复原算法等等。

基于重建的频域法实际上是在频域内解决图像内插问题，其观测模型是基于傅里叶变换的移位特性。

在空域迭代反投影方法(IBP)首先用输出图像的一个初始估计作为当前结果，再将其投影到低分辨率观测图像上以获得低分辨率模拟图像。通过低分辨率模拟图像与实际观测图像的差值不断更新当前估计。

凸集投影方法(POCS)是一类解决超分辨率图像复原问题的流行算法。为了降低噪声和减少奇异性解，POCS应用约束条件将先验知识整合到计算中。增强表达式为Fm+1＝P1...Pm[Fn]。超分辨率图像解空间与一组凸形约束集合相交叉，而这组凸形约束集合代表了期望的超分辨率图像的一些特性，如正定、能量有界、数据可靠、平滑等，通过这些约束集合就可以得到简化的解空间。POCS是指一种迭代过程，在给定超分辨率图像空间中任意一个点的前提下，可以定位一个能满足所有凸形约束集合条件的收敛解。

受限制自适应复原算法(又称加权空间复原算法)，其基本思想是在图像的平坦区域加强平滑而减弱复原，在图像棱边附近则加强复原减弱平滑，这样一方面保证了人视觉对棱边敏感的要求，又降低了平坦区域的噪声，总的复原效果得到改善。

本发明的成像系统包括成像镜头、图像传感器CCD、图像处理单元等。

本发明提出的结合镜头像差和小孔径衍射退化的图像复原方法，利用光学系统本身的信息(包括光学口径、像差、各种加工误差)，采用超分辨率算法，达到提高图像分辨率的目的。这种方法不增加额外的光学分光系统，保证了光学系统简单轻巧，使系统获得大口径成像系统相接近的成像质量。同时，由于本方法结合了镜头实际像差和小孔径衍射的共同影响，退化模型更加精确符合实际，克服了常规恢复方法在不知道相机参数的情况下，由图像的使用者完成的超分辨率恢复方法效果较差的缺点，超分辨恢复效果明显优于常规方法，特色明显。

本发明非常适合于带像差、小孔径长焦距成像系统，只要通过测试获得成像镜头的成像特性，就可以得到较好的高分辨图像恢复效果。可应用于卫星遥感、飞机航拍、红外侦察防空等领域应用。

附图说明

图1为本发明图像复原方法的成像系统组成示意图；

图2为本发明图像复原方法的成像系统图像退化模型图；

图3为本发明标准景物(分辨率板)的退化图和恢复效果图，其中：

3a为标准景物(分辨率板)退化图；

3b为图3a的恢复图；

3c中实线为恢复以后的图像MFT曲线。

具体实施方式

如图1所示，本发明的成像系统包括带像差小孔径成像镜头、图像传感器CCD、图像处理单元等。景物经带像差小孔径成像镜头成像后，由图像传感器CCD转化成一幅退化了的图像，并输出到图像处理单元，图像处理单元根据镜头成像特性，用图像处理方法反演恢复出一幅分辨率提高了的图像。其中成像镜头一般是小孔径长焦距物镜，它的设计像差是已知的，加工误差、装校误差可以通过实验室高精度仪器(如MTF测试仪)测试获得。图3c中的虚线即为成像镜头带像差和小孔径衍射影响下的MTF，即退化模型。景物经成像镜头成像后，通过CCD传感，图像处理单元获得景物被退化的图像。图3a为标准景物(分辨率板)的退化图。本发明对图像传感器CCD没有特别要求，一般选用低噪声CCD即可，如加拿大DALSA的CORECO DS-1A-01M30等。

在获取退化图像后，(即，景物经带像差的小孔径成像镜头成像到图像传感器CCD上，并输出到图像处理单元后)，图像处理单元根据预先测试得到的镜头成像退化模型，用高分辨图像恢复算法，即可获得消除衍射影响和像差影响的高分辨率图像。图像恢复方法比较多，本发明选择使用受限制自适应复原算法(又称加权空间复原算法)，其基本思想是在图像的平坦区域加强平滑而减弱复原，在图像棱边附近则加强复原减弱平滑，这样一方面保证了人视觉对棱边敏感的要求，又降低了平坦区域的噪声，总的复原效果得到改善。

该方法规定两个限制：

‖y-Bx‖≤ε和‖Cx‖≤E

式中，x，y分别是理想图像和退化图像，B是由退化函数生成的退化矩阵，这一矩阵可由我们实验测得的MTF计算得到，C是由二阶差分算子c(m，n)生成的循环矩阵，

$c(m,n)=\frac{1}{8}\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$

ε的选取决定于观测图像的噪声能量；E的选取决定于容许的复原图像高频能量。为了控制复原的局部适应性，引入两个加权矩阵对上式进行修改：

${\left|\right|y-\mathrm{Bx}\left|\right|}_R={\left[{(y-\mathrm{Bx})}^{T}R(y-\mathrm{Bx})\right]}^{\frac{1}{2}}\≤\mathrm{\ϵ}$

${\left|\right|\mathrm{Cx}\left|\right|}_S={\left[{\left(\mathrm{Cx}\right)}^{T}S\left(\mathrm{Cx}\right)\right]}^{\frac{1}{2}}\≤E$

式中，R和S是两个对角矩阵，包含了对每个像元发生作用的权系数r_ij和s_ij。指定r_ij值可以在复原过程中强调保持图像的棱边，可以控制噪声变化的非平稳性，还可以用来增强丢失数据的恢复。指定s_ij值可以局部的控制平滑性，以消除振铃形寄生波纹。可以看出，在图像的平坦区域，必须使用大的s_ij和小的r_ij，而在图像的棱边区域，情况正好相反。组合上面两个式子得到单个不等式：

J_w(x)＝[(y-Bx)^TR(y-Bx)]+α[(Cx)^TS(Cx)]≤2ε²

其中， $\mathrm{\α}{=\left(\frac{\mathrm{\ϵ}}{E}\right)}^2.$ 最小化J_w(x)得到下列方程：

(B^TRB+αC^TSC)x＝B^TRy

使用迭代方式求解：

x_k+1＝x_k+β[B^TRy-(B^TRB+αC^TSC)x_k]

其中，β是每次迭代过程中的修正系数，根据上一次迭代图像计算得到。

最终解的获得可以规定一定的迭代次数，或是规定x_k+1与x_k的差值小于某一个阈值即认为它是一个较满意的收敛解。我们可以看到，加权矩阵R和S的选取对图像的复原效果有很大影响。而退化矩阵B也起到了至为关键的作用，描述越准确的退化模型，复原出的图像质量越好。

该方法的基本计算步骤可描述为：

1、计算观测图像(即退化图像)的信噪比；

如果图像质量较好，可以直接从观测图像计算各个元的局部方差，选取局部方差中的最大值作为图像的方差。同时在图像上找一块平坦区域，在平坦区域上计算局部方差并平均作为噪声方差。如果图像的平坦区域不便于寻找，可以近似将图像局部方差的最大值和最小值之比作为图像信噪比的估计。这样的计算一般需要适当的校正才更符合实际。

2、提取图像棱边；

方法之一是：设计一个模糊矩阵，比如所有元素和为1的5×5均值矩阵，原图像与经模糊化处理之后的图像之差，可近似认为是图像的轮廓。可以对其进行一定修正得到决定加权矩阵R和S的棱边。

3、选取加权矩阵R和S；

如果需要更加显明的控制图像的棱边，R和S也可以是不固定的，随图像的迭代来更新和改进，不过这样需要的计算量要大的多。

4、迭代求解，直至满足收敛条件。

x_k+1＝x_k+β[B^TRy-(B^TRB+αC^TSC)x_k]

退化矩阵B，循环矩阵C，加权矩阵R和S退化以及图像信噪比已经算出，带入方程开始求解。每次迭代过程中α和β的值都随上一幅图像进行调整，直至得到满意的图像结果。另外，图像迭代过程中，可以加入比如图像的正定性和平坦区域无波纹等关于解的先验知识作为限制，以辅助算法找到理想的解。

Claims (2)

1.一种带像差和小孔径衍射像质退化成像系统的图像复原方法，包括如下步骤：

(1)通过测试获得成像镜头的成像特性后，以成像特性为基础获得退化模型；景物经带像差小孔径的成像镜头成像后，由图像传感器CCD获得退化后的图象，并输出到图像处理单元；

(2)图像处理单元根据成像镜头的成像特性，以成像镜头的退化模型为基础将退化后的图象反演恢复出高分辨率的图像。

2.如权利要求1所述的图像复原方法，其特征在于：所述的成像特性即调制传递函数MTF，至少包含镜头的设计像差、加工和装校误差、和小孔径衍射效应的影响。

Images