CN101742050B - 针对运动模糊核空间移变的tdiccd图像复原方法 - Google Patents

Abstract

本发明公开了一种针对运动模糊核空间移变的TDICCD图像复原方法，将位置探测设备测得的TDICCD相机的运动轨迹进行插值拟合，从插值拟合后的运动轨迹中提取TDICCD图像时序中每一行像素在其曝光积分期间的运动轨迹段；从运动轨迹段中提取出当前行像素的整像素形变量和模糊核；并在TDICCD图像中定位出包含当前行像素信息的待恢复像素块；将步骤与当前行像素相对应的待恢复像素块及模糊核代入标准RL算法，对每一行像素进行恢复运算，得到复原后的每一行像素并进行重组，得到复原的TDICCD图像。本发明能对任意形式运动造成的图像退化和模糊进行恢复，得到清晰无形变的复原图像。

Description

针对运动模糊核空间移变的TDICCD图像复原方法

技术领域

本发明涉及TDICCD成像领域和计算机图像处理技术，尤其涉及数字图像去模糊的方法。

背景技术

TDICCD(time delay and integration charge coupled device)成像器件具有分辨率高，灵敏度高，信噪比高等优点，所以广泛的应用于各种成像场合，尤其是在航空航天等遥感领域。但是它并不能解决当装载成像设备的平台有颤振干扰时图像退化的问题。而且，TDICCD推扫成像的工作方式，图像仍有清晰度下降的问题，图像行与行之间还会出现叠加和错位的可能。对于模糊核已知的图像复原算法，已有很多经典的优秀算法，如RL、维纳滤波、总体变分正则化等算法，近年也涌现出很多抑制复原图中的振铃现象的算法，总的来说，在模糊核准确的情况下，各种方法都能取得不错的效果。但这些算法都不能直接用于复原TDICCD图像，因为这些方法都是基于一幅图像只有一个模糊核的假设，而对于TDICCD图像来说，每行图像在曝光积分过程中经历的运动形式都有可能不同，它们的模糊核也就可能不同。此外，由于颤振运动的累加，TDICCD图像行与行之间还会有形变的问题，这个问题在面阵图像中也是不会出现的。

发明内容

本发明提出的针对有运动模糊核空间移变的TDICCD图像复原方法，方法基于TDICCD成像的特性，对其在有平台颤振运动干扰情况下的图像退化机理进行深入研究，提出逐行复原图像的策略，结合位移曲线插值、改进的PSF求解方法、整像素形变校正、图像去模糊算法，得到了一种能处理任意形式运动的TDICCD图像复原算法。

一种针对运动模糊核空间移变的TDICCD图像复原方法，包括如下步骤：

1、一种针对运动模糊核空间移变的TDICCD图像复原方法，其特征在于：包括如下步骤：

1)将像移探测设备测得的TDICCD相机在成像期间的运动轨迹进行插值拟合，得到插值拟合后的运动轨迹；

2)根据像移探测设备和TDICCD曝光积分在时序上的对应关系，从插值拟合后的运动轨迹中提取TDICCD图像时序中每一行像素在其曝光积分期间的运动轨迹段；

3)从步骤2)得到的运动轨迹段中提取出当前行像素的整像素形变量和模糊核；并在TDICCD图像中定位出包含当前行像素信息的待恢复像素块；

4)将步骤3)得到的与当前行像素相对应的待恢复像素块及模糊核代入标准RL算法，对TDICCD图像中每一行像素进行恢复运算，得到复原后的每一行像素；

所述的标准RL算法迭代过程如下：

$I_{i,t+1}=I_{i,t}[h_i^{*}\⊗\frac{B_i}{\left(I_{i,t}{\⊗h}_i\right)}]$

其中：

为卷积运算；

B_i为待恢复的模糊像素块；

h_i表示TDICCD图像中第i行像素的模糊核

$h_i^{*}(x,y)=h_i(-y,-x);$

x、y表示模糊核中各像素的坐标值；

t表示迭代次数；

I_i，t表示图像复原过程中经过t次迭代后得到的第i行复原像素；

i表示TDICCD图像中像素行的索引；

5)对步骤4)得到的复原后的每一行像素进行重组，得到复原的TDICCD图像。

本发明中，所述的像移探测设备测得的TDICCD相机在成像期间的运动轨迹由若干TDICCD相机位置坐标点组成，所述的插值拟合采用低通滤波插值方式，根据插值的倍数，在相邻的TDICCD相机位置坐标点间插入零值后用低通滤波器在频率域进行滤波；滤波后的序列进行离散傅里叶反变换得到插值拟合后的运动轨迹。

上述的像移探测是现有技术，且有很多不同的方法，如ValeriTchemykh等人实现的平台搭载光学相关器获取像移的方法，它的像移探测频率可以达到400次每秒(参考文献：Tchemykh V，Dyblenko S，JanschekK.Optical Correlator-Based System tor the Real Time Analysis of ImageMotion in the Focal Earth Observation Camera[J].Proceedings of SPIE 2000，4113：23-31)。还有浙江大学徐之海等人提出的通过处理高速相机获取的数字图像，得到像移的方法，像移探测频率可以达到1000次每秒(参考文献：徐之海，陈跃庭，王琦，等.面阵空间相机稳像补偿研究[J].红外与激光工程，2007，35(5)：593-596)。

步骤3)中提取模糊核的方法包括：

将步骤2)得到的运动轨迹段进行插值放大，其中放大倍数为k，得到放大后的运动轨迹段；

在放大后的运动轨迹段中将原离散点用直线连接起来，然后给直线所经过点赋予权重值，权重值等于该直线所经过的所有点的数量的倒数，得到用于表征理想点源的运动和驻留时间的加权移动路径；

用该理想点源卷积所述的加权移动路径得到理想点源的能量扩散分布图；

将能量扩散分布图缩小k倍得到模糊核。

本发明基于TDICCD推扫成像的特点，对TDICCD模糊图像进行逐行复原。在复原一行像素时，包括了校正形变和去模糊两个步骤，形变通过整像素移位校正，模糊通过求取模糊核，代入RL图像复原算法去除。以下对本发明方法详细说明：

步骤1)中，采用现有技术的高速像移探测设备，如光纤陀螺、加速度计、高速相机等，可以得知的在TDICCD相机成像过程中承载TDICCD相机的平台的颤动位移序列，通过这个序列用低通滤波法插值拟合出插值拟合后的运动轨迹；

利用TDICCD相机拍摄得到的TDICCD图像的模糊过程可用如下的数学模型表述：

$B_i=I_i{\⊗h}_i+n_i$

其中，B_i表示待复原的第i行像素所对应的模糊像素块(因为一行像素经过模糊核卷积后，数据会扩散到相邻行的像素上)，I_i表示以第i行原像素，h_i表示第i行的模糊核，

表示卷积运算，n_i表示第i行的噪声。模糊核已知的情况下，图像复原算法中B_i和h_i是已知的，I_i是待求项。

从上面的式子中可以看出TDICCD图像复原和面阵图像最大的不同就在于TDICCD每行的模糊核都有可能不同，所以不能用面阵图像复原中一个模糊核的处理方式。另外，由于位置探测设备的反馈频率受限，为了使得到每行图像在曝光积分过程中对应的描述运动轨迹的坐标点更多，本发明首先对位置探测设备反馈的坐标数据进行插值，以细化平台颤振的轨迹，提高h_i的精度。

步骤2)中再根据像移探测设备和TDICCD曝光积分在时序上的对应关系，由步骤1)的插值拟合后的运动轨迹得到TDICCD图像待复原行在其积分时间内的运动轨迹段。

由于TDICCD图像是由若干行像素构成，而且这些不同行的像素是在不同的时刻曝光积分得到，所以它们的模糊核一般来说是不一样的。所以在对TDICCD图像进行复原时，本发明提出需要对所有行的像素分别进行复原，即逐行处理。

步骤3)是从步骤2)得到的运动轨迹段中提取出当前行像素的整像素形变量和模糊核PSF(point spread function点扩散函数)；并在TDICCD图像中定位出包含当前行像素信息的待恢复像素块，由于成像过程中的运动，一行像素的信息已经扩散到一块像素上了，因此需要找出这个像素块才能对这行像素进行复原，即找出待恢复像素块。而通过这一步，也相当于修正了TDICCD图像的整像素形变。

模糊核由运动轨迹段得到，它们的区别在于前者等同于点扩散函数(PSF)，是描述能量的分布状况，而后者只是单纯的轨迹，要从轨迹得到点扩散函数(PSF)，还必须从轨迹中提取出理想点(在数字成像领域一般认为是传感器的一个像素点)在空间位置的驻留时间信息，即加权路径，才能换算成相对能量。这里提到的理想点是由点扩散函数衍生出的一个概念，点扩散函数经常可以在评价光学镜头性能时看到，它的定义是假设空间上的一个理想点光源在经过这个镜头后，扩散开的光斑函数。在数字图像处理领域，图像的最小分辨力就是传感器的一个像元大小，所以，本发明中的理想点就是原图像尺度下的一个像元。

在本发明中，加权路径和模糊核之间的换算关系为：理想点卷积加权路径，结果为即为模糊核。这样能使求得的模糊核较为平滑，更加符合实际情况。

由运动轨迹段求取模糊核的具体过程为：将步骤2)得到的运动轨迹段进行插值放大，其中放大倍数为k，得到放大后的运动轨迹段；

在放大后的运动轨迹段中将原离散点用直线连接起来，然后给直线所经过点赋予权重值，权重值等于该直线所经过的所有点的数量的倒数，得到用于表征理想点源(在数字成像领域一般认为是传感器的一个像素点)的运动和驻留时间的加权移动路径；

用该理想点源卷积所述的加权移动路径得到理想点源的能量扩散分布图；

将能量扩散分布图缩小k倍得到模糊核。

通过以上步骤，已经精确的求得了第i行TDICCD图像对应的模糊核h_i，当平台的颤振幅值不大，图像的形变没有超出模糊核的大小时，可以直接把模糊核h_i代入恢复算法进行恢复，复原该行图像。但是当形变大于模糊核时，由于此时按顺序取出的像素块已不包含i行数据，所以，在这种情况下，发明提出先校正整像素形变，再用模糊核h_i反卷积复原图像。

校正一行像素的整像素形变的操作很简单，首先找到这行像素对应的运动轨迹段的中心位置，将中心位置取整后就是该行像素的整像素形变量，然后根据整像素形变量和模糊核的大小在模糊图中找到待复原行像素所在的模糊像素块B_i，这样整像素形变得到了校正，模糊像素块B_i也已经找出来。而亚像素形变可以认为是一种模糊，可以通过步骤4)反卷积消除。

步骤4)是一个逐行复原的过程，用步骤3)得到的当前行像素的模糊像素块和模糊核，代入RL(Richardson-Lucy)图像复原算法，去除由于成像过程中平台颤振引起模糊；直到历遍所有行的像素，即完成了所有行像素的复原。

所述的标准RL算法迭代过程如下：

$I_{i,t+1}=I_{i,t}[h_i^{*}\⊗\frac{B_i}{\left(I_{i,t}{\⊗h}_i\right)}]$

其中：

为卷积运算；

B_i为待恢复的模糊像素块；

h_i表示TDICCD图像中第i行像素的模糊核

$h_i^{*}(x,y)=h_i(-y,-x);$

x、y表示模糊核中各像素的坐标值；

t表示迭代次数；

I_i，t表示图像复原过程中经过t次迭代后得到的第i行复原像素；

i表示TDICCD图像中像素行的索引；

最后对复原后的每一行像素进行重组，得到复原的TDICCD图像。

本发明对TDICCD图像复原有很强的针对性，在高速位置探测设备的支持下，能对任意形式运动造成的图像退化和模糊进行恢复，得到清晰无形变的复原图像。适用于卫星遥感、飞机航拍等TDICCD成像领域。

附图说明

图1为本发明方法流程图。

图2(a)为本发明初始的TDICCD相机运动轨迹图，图中横坐标表示TDICCD相机在x方向的位移量，纵坐标表示TDICCD相机在y方向的位移量；

图2(b)为图2(a)的运动轨迹经过插值拟合后的TDICCD相机运动轨迹图；

图2(c)为图2(b)中i区域运动轨迹段求得的模糊核图像；

图3为本发明从运动轨迹段中求解模糊核的流程图；

图4(a)为在TDICCD推扫方向有颤振时的模糊图像；

图4(b)为图4(a)经本发明处理后的图像；

图5(a)为在垂直TDICCD推扫方向有颤振时的模糊图像；

图5(b)为图5(a)经本发明处理后的图像；

图6(a)为在推扫及垂直推扫两个方向都有颤振时的模糊图像；

图6(b)为图6(a)经本发明处理后的图像。

具体实施方式

如附图1所示为本发明方法的流程图，以下做详细说明：

将像移探测设备测得的TDICCD相机在成像期间的运动轨迹进行插值拟合，得到插值拟合后的运动轨迹；

参见附图2(a)，本发明像移探测设备反馈的TDICCD相机在成像期间的运动轨迹，其中每两点之间的时间间隔一致，虚线代表轨迹运动的方向，对轨迹坐标进行插值，具体的步骤为：根据插值的倍数，在轨迹坐标原始序列点间插入相应个数的零值；用设计的低通滤波器在频率域对插入零值后的序列进行滤波；再对滤波后的序列进行离散傅里叶反变换得到如附图2(b)所示的插值后的序列。插值后的序列具有原数据不变，插值点的均方误差最小的特点。在进行插值的步骤中，x，y轴坐标是分开独立进行插值的。

2)根据像移探测设备和TDICCD曝光积分在时序上的对应关系，从插值拟合后的运动轨迹中提取TDICCD图像时序中每一行像素在其曝光积分期间的运动轨迹段；

假设如图2(a)、图2(b)中i区域所圈定的范围就是第i行像素曝光时间内的运动轨迹段。

3)从步骤2)得到的运动轨迹段中提取出当前行像素的整像素形变量和模糊核；并在TDICCD图像中定位出包含当前行像素信息的待恢复像素块；

由这条运动轨迹段，可以提取出第i行图像的形变量和模糊核。如图2(a)、图2(b)中的情况，整像素型变量是(1，-15)像素，通过它从模糊TDICCD图像中找到包含i行图像的模糊像素块B_i(因为一行像素经过模糊后，数据会扩散到相邻行的像素上)，这一步校正了形变。而模糊核也以(1，-15)为中心计算，结果如图2(c)所示。

模糊核的具体计算方法的流程图如图3所示，首先，因为要从运动轨迹得到点扩散函数(PSF)，必须先从轨迹中提取出速度信息，换算成点源在轨迹上驻留时间，所以本发明先对输入的运动轨迹(path)进行插值放大，放大倍数k选择在20～100之间，得到放大后的运动轨迹(large_path1)，然后在放大后的运动轨迹(large_path1)中将原来的离散点用直线连接起来，接着给直线所经过点赋予权重值，权重值等于两点间的直线所经过点的数量的倒数，这样就将点源在这个点上驻留的时间用它的权值表示了出来，得到这条表征理想点的运动和驻留时间的加权移动路径(large_path2)之后，本发明用数字图像中的理想点，即一个像素(放大前的一个像素，在large_path就是k×k的矩阵)，卷积加权移动路径(large_path2)，得到理想点的能量扩散分布图。最后将点源的能量扩散分布图按先前的放大倍数k缩放成原尺寸，得到PSF，也即该运动所对应的模糊核。

4)到此，已求得了反卷积所需要的模糊像素块B_i，模糊核h_i，就可以选择代入标准RL算法去模糊，对TDICCD图像中每一行像素进行恢复运算，得到复原后的每一行像素，标准RL算法迭代过程如下：

$I_{i,t+1}=I_{i,t}[h_i^{*}\⊗\frac{B_i}{\left(I_{i,t}{\⊗h}_i\right)}]$

其中：

为卷积运算；

h_i表示TDICCD图像中第i行像素的模糊核

$h_i^{*}(x,y)=h_i(-y,-x);$

x、y表示模糊核中各像素的坐标值；

t表示迭代次数；

I_i，t表示图像复原过程中经过t次迭代后得到的第i行复原像素；

i表示TDICCD图像中像素行的索引；

5)对步骤4)得到的复原后的每一行像素进行重组，得到复原的TDICCD图像。

已有针对TDICCD图像的复原算法虽然也提出模糊核空间移变的概念，但是仍然假设移变时模糊核形状不变，所以只能处理像TDICCD推扫速度失配等规律运动导致的图像退化。而本发明在高速位置探测设备的支持下通过逐行计算模糊核，逐行恢复的方式，能有效处理任意形式运动引起的模糊，复原出一幅清晰的图像。

为了进一步说明本发明的效果，可参见图4(a)～图6(b)，其中图4(a)为在TDICCD推扫方向有颤振时的模糊图像；图4(b)为图4(a)经本发明处理后的图像。

图5(a)为在垂直TDICCD推扫方向有颤振时的模糊图像；图5(b)为图5(a)经本发明处理后的图像。

图6(a)为在推扫及垂直推扫两个方向都有颤振时的模糊图像；图6(b)为图6(a)经本发明处理后的图像。

从4(a)～图6(b)中可以看出

通过本发明方法进行的图像复原，模糊地图像明显清晰，可以处理各类颤振干扰。

Claims (2)

1.一种针对运动模糊核空间移变的TDICCD图像复原方法，其特征在于：包括如下步骤：

1)将像移探测设备测得的TDICCD相机在成像期间的运动轨迹进行插值拟合，得到插值拟合后的运动轨迹；

2)根据像移探测设备和TDICCD曝光积分在时序上的对应关系，从插值拟合后的运动轨迹中提取TDICCD图像时序中每一行像素在其曝光积分期间的运动轨迹段；

3)从步骤2)得到的运动轨迹段中提取出当前行像素的整像素形变量和模糊核；并在TDICCD图像中定位出包含当前行像素信息的待恢复像素块；

所述的当前行像素的整像素形变量的提取方法为：首先找到这行像素对应的运动轨迹段的中心位置，将中心位置取整后就是该行像素的整像素形变量；

所述的提取模糊核的方法包括：将步骤2)得到的运动轨迹段进行插值放大，其中放大倍数为k，得到放大后的运动轨迹段；在放大后的运动轨迹段中将原离散点用直线连接起来，然后给直线所经过点赋予权重值，权重值等于该直线所经过的所有点的数量的倒数，得到用于表征理想点源的运动和驻留时间的加权移动路径；用该理想点源卷积所述的加权移动路径得到理想点源的能量扩散分布图；将能量扩散分布图缩小k倍得到模糊核；

4)将步骤3)得到的与当前行像素相对应的待恢复像素块及模糊核代入标准RL算法，对TDICCD图像中每一行像素进行恢复运算，得到复原后的每一行像素；

所述的标准RL算法迭代过程如下：

$I_{i,t+1}=I_{i,t}[h_i^{*}\⊗\frac{B_i}{\left(I_{i,t}{\⊗h}_i\right)}]$

其中：

为卷积运算；

B_i为待恢复的模糊像素块；

h_i表示TDICCD图像中第i行像素的模糊核

$h_i^{*}(x,y)=h_i(-y,-x);$

x、y表示模糊核中各像素的坐标值；

t表示迭代次数；

I_i，t表示图像复原过程中经过t次迭代后得到的第i行复原像素；

i表示TDICCD图像中像素行的索引；

5)对步骤4)得到的复原后的每一行像素进行重组，得到复原的TDICCD图像。

2.如权利要求1所述的TDICCD图像复原方法，其特征在于：所述的像移探测设备测得的TDICCD相机在其成像期间的运动轨迹由若干TDICCD相机位置坐标点组成，所述的插值拟合采用低通滤波插值方式，根据插值的倍数，在相邻的TDICCD相机位置坐标点间插入零值后用低通滤波器在频率域进行滤波；滤波后的序列进行离散傅里叶反变换得到插值拟合后的运动轨迹。

Images