CN104574338B - 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，该方法首先将线阵CCD传感器的按照特定方式、不同角度排列，对目标区域的二维图像信息进行捕捉，再根据线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，从多个线阵CCD传感器所得到的低分辨率图像来得到高分辨率的图像。本发明利用线阵CCD在一维空间上单行像素远高于面阵CCD的特点，通过多个线阵CCD传感器不同角度的排列获取不同角度下的同一目标区域图像，并且利用各个图像之间的信息相关性与差异性，获得高分辨率图像，可应用于航拍图像、卫星遥感图像等的超分辨率重建；所提出超分辨率重建算法实现简单，重建效果精确，易于实际应用。

Description

基于多角度线阵CCD传感器的遥感图像超分辨率重建方法

技术领域

本发明属于图像处理领域，具体涉及一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法。

背景技术

在航空航天中，遥感相机作为信息获取装置，可以对地球目标区域进行捕捉，形成该区域的二维影像图。随着CCD技术的发展，传统的胶片相机已经被CCD传感器所取代。CCD传感器可以分为线阵CCD传感器和面阵CCD两个类型。其中面阵CCD可以用来直接获取二维图像信息，然而其象元总数多，而单行象元数目少，帧幅率受到限制。线阵CCD传感器总象元数目少，却全部分布在一维空间上，因此单行象元数可以做到远高于面阵CCD。另外线阵CCD传感器的分辨率通常高于面阵CCD。因此在空间遥感技术中线阵CCD传感器使用广泛。

线阵CCD传感器的分辨率与单位长度内象元的个数相关。如果要提高图像的分辨率，可以提高象元的分布密度，从而获得更多的像素点。但是这种方法使得单个象元的信噪比大大降低，严重影响图像的质量。另外一种方法就是利用图像超分辨率(Superresolution，SR)的方法，从多幅低分辨率(Low resolution，LR)的图像中重建高分辨率(High resolution，HR)图像，从而增加图像中的细节信息。尽管目前已经存在很多利用多幅LR图像重建HR图像的方法，然而这些方法通常是在多幅LR图像之间存在未知的位移、旋转、模糊、噪音等情况下产生的，因此模型比较复杂，需要考虑LR图像之间的配准，重建算法也相对比较复杂，难以应用到实时系统中。以下内容对这些方法做简单介绍。

为了进行超分辨率重建，第一个首要的步骤就是对LR图像生成过程进行建模，建立LR图像和HR图像之间的关系。在此基础上重建HR图像就可转化为一个逆问题来求解了。一般来说，从一副HR图像产生LR图像产生的包含三个步骤：空间变换，包括位移、旋转等；模糊，包括聚焦模糊、运动模糊等；下采样。另外，在整个过程中通常会伴有噪声的干扰，可以在下采样后引入噪声环节。图1给出了LR图像产生的整个过程。

假设HR图像的大小为N，用x＝[x₁,x₂,...x_N]表示，LR图像的大小为M，第k个LR图像用y_k＝[y_k,1,y_k,2,...y_k,M]表示。则图1中所示的LR图像生成过程可以用下面的模型建立(假设LR图像的个数为p)：

y_k＝DB_kM_kx+n_k，1≤k≤p

其中M_k是表示第k个LR图像的空间变换的矩阵，其大小为N×N；B_k是表示第k个LR图像在生成过程中所产生的模糊，大小为N×N；D为下采样矩阵，大小为M×N。通常，可以将公式改写如下：

y_k＝W_kx+n_k，1≤k≤p，其中W_k＝DB_kM_k。

多幅超分辨率重建的过程通常包含以下几个步骤：配准、插值和恢复(Park,SungCheol,Min Kyu Park,and Moon Gi Kang."Super-resolution image reconstruction:atechnical overview."Signal Processing Magazine,IEEE 20,no.3(2003):21-36.)。配准过程是为了建立多个LR图像之间的相互变换关系，在位移、旋转等信息未知的情况下，需要根据图像内容先对其配准。由于本发明内容采用特定排列的多线阵CCD传感器，为此各个LR图像之间的相对位置和旋转信息已知，所以配准过程在此并未涉及。插值过程是为了从LR图像可到与HR图像想同大小的图像，在反向恢复过程中可以作为初始值带入。恢复过程中，目前常用的算法包括基于非均匀插值的方法，基于频域混叠关系建模的方法，基于正则化的方法，和基于凸集投影的方法(projection onto convex sets，POCS)。

基于非均匀插值的方法通过多个LR图像中像素位置的差异性在一个高密度网格内产生一个高分辨率图像，并对其使用解卷积的方法进行去模糊操作。Ur和Gross通过多通道采样理论来对多个空间移位的LR图像进行非均匀插值(Ur,Hanoch,and Daniel Gross."Improved resolution from subpixel shifted pictures."CVGIP:Graphical Modelsand Image Processing 54,no.2(1992):181-186.)，其中各个LR图像之间的位移是假定精确已知的；Komatsu等(T.Komatsu,K.Aizawa,T.Igarashi,and T.Saito,“Signal-processing based method for acquiring very high resolution image withmultiple cameras and its theoretical analysis,”Proc.Inst.Elec.Eng.,vol.140,no.1,pt.I,pp.19-25,Feb.1993.)通过图像块匹配的方式来估计各个LR图像之间的位移，采用Landweber算法(L.Landweber,“An iteration formula for Fredholm integralequations of the first kind,”Amer.J.Math.vol.73,pp.615-624,1951)来获得高分辨率图像；Hardie等(M.S.Alam,J.G.Bognar,R.C.Hardie,and B.J.Yasuda,“Infrared imageregistration and high-resolution reconstruction using multipletranslationally shifted aliased video frames,”IEEE Trans.Instrum.Meas.,vol.49,pp.915-923,Oct.2000)采用基于梯度的配准方法，估计各个LR图像之间的位移，采用最邻近插值方法进行插值，最后再利用维纳滤波去除模糊效应和减少噪声。这些方法比较直观，计算相对比较简单，可以用于实时应用，然而其重建图像质量并不能达到很好。

基于频域混叠关系建模的方法最早由Tsai和Huang(R.Y.Tsai and T.S.Huang,“Multiple frame image restoration and registration,”in Advances in ComputerVision and Image Processing.Greenwich,CT:JAI Press Inc.,1984,pp.317-339)提出。这种方法通常基于以下三个原则：傅里叶变换的平移性质，连续傅里叶变换和HR图像、LR图像的离散傅里叶变换之间的关系，原始HR图像是有限带宽信号。该方法后来被Rhee和Kang(S.H.Rhee and M.G.Kang,“Discrete cosine transform based regularized high-resolution image reconstruction algorithm,”Opt.Eng.,vol.38,no.8,pp.1348-1356,Aug.1999.)用离散余弦变换来代替以减少内存使用和计算复杂度。基于频域的方法理论简单，易于建模，然而这种方法局限于各个LR图像之间的全局位移变换，并且不易于引入相关的图像频域的先验知识。

基于正则化的方法中，典型的就是有约束最小均方差(Constrained leastsquares，CLS)的方法(A.K.Katsaggelos,Ed.Digital Image Restoration.Heidelberg,Germany:Springer-Verlag.Springer.vol.23,1991.)，通过有关x的先验知识来增加相对应的约束项，从而使得解空间的范围缩小。CLS方法通过求解下面的最小化问题得到：

其中C通常是一个高通滤波算子，增加这个正则项可以使得图像趋向平滑，从而更好的去处噪声对结果的影响。α用来控制误差项和正则项之间的权重。这个最小化问题可以通过梯度下降法来求解。从统计的角度，基于正则化的方法通常与最大后验概率(Maximuma posterior，MAP)的方法相联系。MAP通过最大化后验概率x＝arg max P(x|y₁,y₂,...y_p)来估计x。利用贝叶斯公式可以重新写为：x＝arg max{lnP(y₁,y₂,...y_p|x)+lnP(x)}。其中P(y₁,y₂,...y_p|x)可根据LR图像的生成模型来得到，P(x)包含图像的先验知识。可以通过在先验模型中引入边缘保持特性从而使得最终重建的结果具有更加丰富的信息而不被过平滑(R.R.Schulz and R.L.Stevenson,“Extraction of high-resolution frames fromvideo sequences,”IEEE Trans.Image Processing,vol.5,pp.996-1011,June 1996.)。

基于凸集投影(POCS)的方法最早被Stark和Oskoui提出(H.Stark and P.Oskoui,“High resolution image recovery from image-plane arrays,using convexprojections,”J.Opt.Soc.Am.A,vol.6,pp.1715-1726,1989.)。该方法认为增加图像的先验知识与将问题的解在一系列闭合的凸集中连续投影具有一致的效果。用该方法所得到的解包含在这些集合的交集中。这种方法比较简单，然而其解不唯一，并且收敛速度慢，计算复杂度高。

发明内容

本发明的目的在于避免上述现有技术中的问题，提出的一种实用的基于多角度线阵CCD传感器的遥感图像超分辨率重建方法。该方法针对空间遥感图像和航空侦查等应用，同时从传感器和算法两方面来达到提高图像分辨率的目的。

为了实现上述目的，本发明所采用的技术方案包括以下步骤：

一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，包括以下步骤：

1)利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，得到相同对象区域的多个不同角度的捕捉图像；其中，这些线阵CCD传感器扇形排布，且相邻两个线阵CCD传感器之间的夹角相同，相对于地面目标具有相同的视角；

2)利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，利用线阵CCD单行像素个数远高于面阵CCD的特点，得到目标区域的初始分辨率较高的图像信息；

3)根据多个线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，通过最小化均方误差的方法，对多个线阵CCD传感器所得到的初始分辨率较高的低分辨率图像的细节信息进行进一步恢复，得到更高分辨率的图像。

所述步骤1)中，相邻两个线阵CCD传感器之间的夹角为Δθ，且0＜Δθ≤5。

所述步骤1)中，位于中间的传感器与飞行器的前进方向相互垂直。

所述步骤3)中，对低分辨率图像的细节信息进行恢复的具体步骤如下：

1)计算高分辨率图像x的初值

在迭代初始时，将位于中间位置的传感器所得到的低分辨率图像y_(p+1)/2，通过双线性插值的方法将其扩大到与高分辨率图像具有相同大小的图像令其中，p为线阵CCD的个数或低分辨率图像的个数；

2)利用如下公式对x进行迭代更新：

x_i+1＝x_i-α(Ax_i-b)

其中，

α为控制更新补偿的参数，γ为控制传统的信号保真项和细节保真项之间的权重，i为算法在当前的迭代次数，k和l为低分辨率图像的标号，1≤k≤p；

3)当相邻两次迭代误差小于给定的阈值时，即可停止更新；最终得到的x就为对高分辨率图像的估计。

与现有技术相比，本发明具有以下有益效果：

本发明将多个线阵CCD传感器的按照特定方式、不同角度排列，对目标区域的二维图像信息进行捕捉，再根据多个线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，从多个线阵CCD传感器所得到的低分辨率图像来得到高分辨率的图像。本发明采用采用线阵CCD获取图像，线阵CCD的成本低廉，并且单行像素数高，使得获取的图像本身具有较高的分辨率，为重建高分辨率图像提供了更多的信息；本发明采用的最小化信号保真项和细节保真项的目标函数，通过重建LR图像和不同角度之间的细节信息，能够使用一般的梯度下降法求解，可以快速的得到很好的高分辨图像重建结果。

附图说明

图1为本发明线阵CCD传感器的排列方式示意图；

图2为本发明从HR图像到LR图像的生成模型；

图3为本发明方法验证中使用的两张高分辨率的原始图像；其中图3-a为农场，图3-b为台阶；

图4为对图3-a进行高分辨率重建得到的结果图，其中，图4-1为原始HR图像，图4-2为下采样图像y₃，图4-3为双线性插值结果，图4-4为本发明结果；

图5为对图3-b进行高分辨率重建得到的结果图，其中，图5-1为原始HR图像，图5-2为下采样图像y₃，图5-3为双线性插值结果，图5-4为本发明结果。

具体实施方式

下面结合附图对本发明做进一步详细的说明：

参见图1至5，本发明基于多角度特定排列的线阵CCD传感器图像传感器的航拍图像、卫星图像的超分辨率方法，包括以下步骤：

首先，将多个线阵CCD传感器按照图1所示的排列方式进行排列。这些CCD传感器均位于相同的平面内，相对于地面目标具有相同的视角。其中位于中间的传感器与飞行器的前进方向相互垂直。相邻两个线阵CCD传感器之间的角度Δθ相等且不大于5度。通过这些存在角度错位的传感器，可以得到相同场景的多个图像，他们之间存在细小的角度旋转，从而使得各个图像之间的存在一定范围的差异，超分辨率算法正是利用这些互补的差异信息，对图像的细节进行恢复。

然后，在已知各个线阵CCD传感器的相互排列位置后，相当于就已知LR图像生成模型中的各个W_k，将各传感器所得到的图像y_k利用基于本发明提出的方法进行超分辨率重建。本发明使用梯度下降法求解一个经过改进的目标误差函数，来得到对高分辨率图像x的估计，如公式所示：

其中第一部分为传统的误差项，或叫信号保真项，第二项为新引入的细节保真项。根据本研究利用不同角度LR图像之间互补的信息进行图像细节恢复，因此LR图像两两之间的差值具有重要的作用。γ用来调节这两部分的权重。上述优化目标可以利用梯度下降法求解，具体步骤如下：

1)计算x初值。在迭代初始时，将位于中间位置的LR图像y_(p+1)/2，通过双线性插值的方法将其扩大到与HR图像具有相同大小的图像令

2)计算目标函数的梯度，建立迭代关系式，对x进行更新。

经过计算可以得到如下的更新公式：

x_i+1＝x_i-α(Ax_i-b)

其中，

α为控制更新补偿的参数。

当相邻两次迭代误差小于给定的阈值时，即可停止更新。由于目标函数为关于x的凸函数，所以经过若干次迭代后，该算法必定可以收敛。

本发明的原理：

基于多角度特定排列的线阵CCD传感器图像传感器的航拍图像、卫星图像的超分辨率算法。首先将多个线阵CCD传感器的按照特定方式、不同角度排列，对目标区域的二维图像信息进行捕捉，利用多个CCD消除飞行器飞行航迹对重建图像质量的影响。然后，根据多个线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，通过最小化信号保真项和细节保真项的方法，从多个线阵CCD传感器所得到的低分辨率(Low Resolution，LR)图像来得到高分辨率(High Resolution，HR)图像。其中目标函数的设计包括两部分：HR图像与各个LR图像之间的估计误差(信号保真项)，以及两两LR图像之间的差图像与HR图像变换后的误差(细节保真项)。通过对实际图像进行测试，本发明提出的算法可以：1)通过多个线阵CCD传感器不同角度的排列获取不同角度下的目标区域图像，这些图像本身具有较高的初始分辨率，并且利用各个图像之间的信息差异，获得高分辨率图像；2)可应用于航拍图像、卫星遥感图像等的超分辨率重建，在现有线阵CCD分辨率的基础上进一步增加图像的细节信息；3)所提出超分辨率重建算法实现简单，重建效果精确，易于实际应用。

本发明利用多个线阵CCD传感器，以特定的排列方式组合，得到对相同对象区域的多个不同角度的捕捉图像；利用多个图像之间不同角度引起的信息差异，对图像的细节信息进行恢复，从而得到高分辨率下的图像；将此方法应用于遥感图像的超分辨率重建，在不增加对CCD传感器要求的前提下，可以获得更清楚的图像细节。

其中，特定的排列方式，是指多个线阵CCD传感器之间存在一定的夹角。这些夹角既可以具有相同的值，如按照图1所示的排列方式进行排列，也可以具有随机产生的角度差异。这些传感器均位于相同的平面内，相对于地面目标具有相同的视角。本发明所采用的线阵CCD传感器，是基于现有的普通线阵CCD传感器，而不是以高成本获得的高分辨率传感器。

为了验证该方法的可行性和有效性，本发明利用两张分辨率为300×300的图像来进行实验，见图3。其中图3-a为航拍图像，图3-b为普通图像。具体实验步骤如下：

1)分别用这两张图像作为HR图像x，通过旋转，模糊，降采样操作，产生5张150×150的图像作为LR图像y₁,y₂,y₃,y₄,y₅。两个方向上的下采样间隔均为2，相邻位置的传感器产生的图像相差角度为Δθ,实验中依次取1度到5度进行。

2)将HR图像和LR图像表示为向量形式，根据LR图像之间的相对位置关系，以中间图像为参考，计算出W_k，1≤k≤p。

3)根据双线性差值方法对y₃进行放大，得到与HR图像x大小相同的图像x₀作为初始值。在结果中双线性插值所得到的结果与本方法进行了比较。

4)设定迭代误差阈值，从i＝1开始，用公式x_i+1＝x_i-α(Ax_i-b)进行迭代，直到两次相邻误差小于给定误差阈值时，停止。此时所得到的x即为对LR图像进行超分辨率重建的结果。迭代过程中γ取值与Δθ相关，当Δθ较小时(不大于1.5度)，γ＝0.5，其他情况下，γ＝0.125。实验过程中α＝5。

图4为在Δθ为1.0时，对图3-a中图像分别采用双线性插值和本发明方法进行重建的结果，图5为在Δθ为1.0时，对图3-b中图像分别采用双线性插值和本发明方法进行重建的结果。

图4到图5分别给出了对图3中两张图像的LR图像，在Δθ取1.0度时使用本研究方法进行恢复的结果。同时在表1中给出了Δθ取不同值时使用双线性插值和本发明算法做的结果的图像质量，用原始的HR图像与恢复得到的重建图像之间计算PSNR值和SSIM值两种指标来表示(SSIM为主观图像质量感知指标，更符合人类视觉)。

表1.Δθ取不同值时用双线性插值和本发明算法得到的重建结果图像质量

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (2)

1.一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，其特征在于，包括以下步骤：

1)利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，得到相同对象区域的多个不同角度的捕捉图像；其中，这些线阵CCD传感器扇形排布，且相邻两个线阵CCD传感器之间的夹角相同，相对于地面目标具有相同的视角；位于中间的传感器与飞行器的前进方向相互垂直；

2)利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，利用线阵CCD单行像素个数远高于面阵CCD的特点，得到目标区域的初始分辨率较高的图像信息；

3)根据多个线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，通过最小化均方误差的方法，对多个线阵CCD传感器所得到的初始分辨率较高的低分辨率图像的细节信息进行进一步恢复，得到更高分辨率的图像；

对低分辨率图像的细节信息进行恢复的具体步骤如下：

1)计算高分辨率图像x的初值

在迭代初始时，将位于中间位置的传感器所得到的低分辨率图像y_(p+1)/2，通过双线性插值的方法将其扩大到与高分辨率图像具有相同大小的图像令其中，p为线阵CCD的个数或低分辨率图像的个数；

2)利用如下公式对x进行迭代更新：

x_i+1＝x_i-α(Ax_i-b)

其中，

$b=(1-\mathrm{\γ})\frac{1}{p}\underset{k=1}{\overset{p}{\Σ}}{W}_k^{\′}{y}_k+\mathrm{\γ}\frac{2}{p(p-1)}\underset{k=1}{\overset{p}{\Σ}}\underset{l=k+1}{\overset{p}{\Σ}}{(W_k-W_l)}^{\′}(y_k-y_l)$

α为控制更新补偿的参数，γ为控制传统的信号保真项和细节保真项之间的权重，i为算法在当前的迭代次数，k和l为低分辨率图像的标号，1≤k≤p；

W_k＝DB_kM_k

其中，M_k是表示第k个LR图像的空间变换的矩阵，其大小为N×N；B_k是表示第k个LR图像在生成过程中所产生的模糊，大小为N×N；D为下采样矩阵，大小为M×N；

3)当相邻两次迭代误差小于给定的阈值时，即可停止更新；最终得到的x就为对高分辨率图像的估计。

2.根据权利要求1所述的基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，其特征在于：所述步骤1)中，相邻两个线阵CCD传感器之间的夹角为Δθ，且0＜Δθ≤5。