CN103400345A - 一种降低tdi-ccd相机图像模糊度的方法 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及基于TDI-CCD相机的航空遥感图像模糊参数的确定和航空遥感图像模糊的消除。具体步骤包括建立图像坐标系，读取面阵图像，构建相似性配比准则，进行偏移解算获取同名点得到消减振颤影响的数字图像。该方法的计算过程相对简单精确，处理效果良好。

Description

一种降低TDI-CCD相机图像模糊度的方法

技术领域

本发明属于图像处理领域，具体涉及基于TDI-CCD相机的航空遥感图像模糊参数的确定和航空遥感图像模糊的消除。

背景技术

高分辨率遥感图像被广泛应用于侦察、地理信息系统、数字城市和道路建设等各个领域。国内外航空、航天飞行器上搭载的以时间延迟积分电荷耦合器件（英文Time delay integration charge coupled device，以下简称TDI-CCD）为成像靶面的成像装置称为TDI-CCD相机。TDI-CCD相机采取对地面同一瞬时视场辐射能量m次积分的技术，等效于地面同一瞬时视场曝光时间从T增加到mT，但是不需要降低飞行器的飞行速度。利用TDI-CCD相机的这一特性，可以获得比一次积分技术所获图像具有更高的几何分辨力的图像。TDI-CCD的结构是一个长宽比很大的长方形CCD面阵，从功能上说它等同于一个线阵CCD。TDI-CCD相机获取高质量影像的重要前提是：具有延时积分逻辑关系的m个CCD象元都要对应同一瞬时视场，但是卫星和飞机等遥感平台的振动使TDI-CCD相机成像环境并不满足这一要求。运行中的卫星具有刚体运动引起的低频振动以及卫星的运载舱有效载荷姿态控制部件的操作引起的中频到高频的振动，例如由于太阳能电池帆板的运动引起的振动，飞轮或控制力矩陀螺的动不平衡引起的振动。当振动的频率和幅值达到某一临界值就会变得发散，从而发生振颤。振颤是一种很复杂的物理现象，对于卫星平台，扰动引起的卫星的振颤可能是某个部件的振颤，也可能是几个部件的耦合振颤，也可能是整个卫星的振颤。搭载在卫星上的TDI-CCD相机受振颤的影响，表现为相机6个外方位元素（空间位置（X、Y、Z），绕x、y、z三个轴的横滚角、俯仰角、航偏角）的振颤。相机在三维空间位置上的不规则往复平移振动和绕相机光学中心三轴的往复角振动，以及相机光学中心与飞行器振动中心不同心造成的复合运动形成了一个非常复杂的过程。但其后果是类似的：上述振颤使具有延时积分逻辑关系的m个CCD象元并不是完全对应同一瞬时视场，不同瞬时视场的能量作为同一瞬时视场的能量叠加在一起，再叠加上飞行器飞行中成像的运动模糊，造成遥感图像的空间分辨率下降，细节信息丢失，象元辐射能量失真。在相同振颤环境下，成像几何分辨力越高，由振颤引起图像模糊的影响越大。这样的结果与使用TDI-CCD相机获得高空间分辨率图像的初衷适得其反。

TDI-CCD相机遥感成像过程中m级积分对应m个地面瞬时视场能量。如果忽略一次积分时间里瞬时视场变化对图像模糊的影响，以无振颤理想状态下的瞬时视场为真位置，那么实际得到的m个地面瞬时视场与真位置具有不同程度的错位误差，这种错位误差我们进一步分解为下面三个分量：在TDI-CCD积分方向（飞行器前进方向）的前（后）向错位；垂直于TDI-CCD积分方向的左右方向错位；绕垂直轴旋转的旋转错位。

目前，针对图像模糊的处理方法大致为直接算法和盲复原算法（迭代算法）。直接算法是从图像本身提取运动函数，然而这种方法因为多种振动源激发时间的随机性，导致振动综合后效的复杂性和无规律性。这样使反演的算法无法精确，去模糊处理的效果也不令人满意。而盲复原算法虽然不需要提前获知点扩散函数，但是这种算法需要对点扩散函数进行初始的估计，而估计的精度具有不确定性，也不能获得较好的去模糊处理效果。

发明内容

为了消除振颤引起的图像质量退化，本发明提出了一种新的TDI-CCD相机信号的传输流程，针对这种流程提供了一种新的数据处理方法：

本发明所采用的TDI-CCD相机的靶面是n列m行，其步骤如下所述：

S1、建立图像坐标系：以TDI-CCD相机面阵的像元数量方向即列方向为Y轴，像元级数方向即行方向为X轴，图像的左上角为坐标系起点,其中，第一行，第一列的坐标为（0,0）；

S2、读取TDI-CCD相机每次积分输出的面阵图像，并对图像进行编号：图像依次编号为G₁,G₂,G₃...G_t...G_m；

S3、对面阵图像进行分解：对S2所读取的每一幅图像按行分解，每一个积分级输出的面阵图像分解为m行，每一行有n个像元，分解后，每一行形成一个一维数字信号，信号长度为n，对每个一维数字信号提取前N个像元，分别构成一维数字信号序列记为f(t)，其中，0≤t≤m，0≤N≤n；

S4、根据S3的一维数字信号序列，构建两个一维信号序列相似性配比准则，包括：

S41、选择信号序列f(i)作为基准序列，信号序列f(j)与基准信号序列进行比较，信号序列的邻域一致匹配条件为：||v_ij-v_kl||≤5，其中，||*||表示取范数，v_ij表示两行信号序列中任意两个像元的差距向量，i表示信号序列f(i)中像元的索引，j表示信号序列f(j)中像元的索引，k为i的邻域，l为j的邻域；

S42、根据S41所述信号序列的邻域一致匹配条件计算初始匹配概率：

其中，

是初始匹配概率，g₁(i+λ)表示一维信号序列f(i)在第i+λ个像元处的灰度值，g₂(j+λ)表示一维信号序列f(j)在第j+λ个像元处的灰度值；

S43、根据松弛算法，建立q_ij的迭代公式：

其中，

r为迭代次数，A和B为常数；

S44、根据S43中的迭代公式，求得归一化后的匹配概率

其中，h表示所有与i相匹配的点；

S45、根据S44求得的匹配概率可知p′_ij收敛的对角序列，即p_ij≈1，其他元素趋近于零，

其中，

S5、根据S4中邻域匹配解算结果进行偏移解算，获取图像中的同名点，包括：

S51、选取基准信号序列对应的上下邻域循环比较，通过基准信号序列与下一幅图像相邻序列的对比建立第一对同名点g₁(x₁,y₁)和g₂(x₂,y₂)的对应关系；

S52、根据S51所得一维数字信号在行空间上的相似性的对应关系，确定图像的s个已知对应点，结合二元二次多项式，采用最小二乘法，通过对应的同名点数据进行曲面拟合，求得x₁和y₁：

$x_1=a_{00}+a_{10}{x}_2+a_{01}{y}_2+a_{11}{x}_2{y}_2+a_{20}{x}_2^2+a_{02}{y}_2^2$

$y_1=b_{00}+b_{10}{x}_2+b_{01}{y}_2+b_{11}{x}_2{y}_2+b_{20}{x}_2^2+b_{02}{y}_2^2;$

S6、根据S5所得x₁和y₁对图像进行空间几何校正，利用双向线性内插法进行像元灰度再赋值；

S7、对后续的图像相对于基准图像G1进行遍历操作，遍历步骤S3到步骤S6；

S8、将经过校正的图像中具有相同瞬时视场的一维信号序列在坐标系中叠加，成为消除了振颤影响的图像的第一行数字图像，重复步骤S3到步骤S8，将获得的叠加后的消减了振颤影响的每一行图像按照空间和时间顺序进行排列，形成消减振颤影响的数字图像。

进一步地，S41所述k为i的符合一致匹配条件的邻域，l为j的符合一致匹配条件的邻域。

进一步地，S41所述0≤i≤N-1，0≤j≤N-1。

进一步地，S43所述迭代次数r满足1≤r≤N。

进一步地，S52所述s个已知对应点，m-4≤s≤m-1。

本发明的效果：在对图像的去模糊过程中，进行偏移解算，对振颤造成的模糊进行修正，计算过程相对简单精确，能获得较好的去模糊处理效果。

附图说明

图1为建立的平面图像坐标系。

图2为TCI-CCD相机理想工作模式下m幅图像与地面目标的对应关系剖面图。

图3为TCI-CCD相机振颤条件下m幅图像与地面目标的对应关系剖面图。

图4为计算第t+1幅图像和第t幅图像中相似行信号的偏移量工作流程图。

图5为通过本方法恢复振颤图像的工作流程示意图。

具体实施方式

下面结合附图介绍本发明的具体实施方式：

为了方便描述，我们选取一个列像元个数为1024，行像元个数为32的TDI-CCD相机。

S1、建立图像坐标系：以TDI-CCD相机面阵的像元数量方向即列方向为Y轴，像元级数方向即行方向为X轴，图像的左上角为坐标系起点,其中，第一行，第一列的坐标为（0,0）。

S2、TDI-CCD相机的积分级数设为1，每一级积分输出的一幅32行1024列的面阵图像，面阵图像依次编号为G₁,G₂,G₃...G_t...G₃₂。设定G₁作为基准的参考图像，其中g_t(x_t,y_t)为G_t在(x_t,y_t)处的像素灰度值。

S3、对面阵图像进行分解：对S2所读取的每一幅面阵图像按行分解，每一个积分级输出的面阵图像分解为32行，每一行有1024个像元，分解后，每一行形成一个一维数字信号，信号长度为1024，对每个一维数字信号提取前100个像元，分别构成一维数字信号序列记为f(t)，一维数字信号序列长度为100；

S4、构建两行一维数字信号序列的相似性配比准则：

一维数字信号序列f(2,0:99,1)作为基准序列，一维数字信号序列f(j)与基准序列f(i)进行比较，其中0≤j≤99。信号序列的邻域一直匹配条件为||v_ij-v_kl||≤5，其中，||*||表示取范数，v_ij表示两行信号序列中任意两个像元的差距向量，i表示信号序列f(i)中像元的索引，j表示信号序列f(j)中像元的索引，k为i的邻域，l为j的邻域。计算初始匹配概率 $p_{\mathrm{ij}}^{\left(0\right)}=\frac{1}{1+w_{\mathrm{ij}}},$ 其中， $w_{\mathrm{ij}}={\mathrm{\Σ}}_{\left|\mathrm{\λ}\right|\≤k}{[g_1(i+\mathrm{\λ})-g_2(j+\mathrm{\λ})]}^2,$

是初始匹配概率，g₁(i+λ)表示一维信号序列f(i)在第i+λ个像元处的灰度值，g₂(j+λ)表示一维信号序列f(j)在第j+λ个像元处的灰度值。本发明采用松弛算法，建立q_ij的迭代公式：

其中，

r为迭代次数，A和B为常数。根据迭代公司，求得归一化后的匹配概率

其中，h表示所有与i相匹配的点。基于该实施方案的TDI-CCD相机的最大迭代次数r＝100，通过迭代运算可知矩阵的结果将收敛于哪一个对角序列。

当收敛于矩阵的主对角线序列时，即p_0,0≈1,p_1,1≈1,p_2,2≈1,...,其他元素的迭代趋势趋近于零，此时Δy＝0。

当收敛于矩阵上三角的某一对角序列时，即p_0,j≈1,p_1,j+1≈1,p_2,j+2≈1,...,其他元素的迭代趋势趋近于零，此时Δy＝0-j。

当收敛于矩阵下三角的某一对角序列时，即p_0,i≈1,p_1,i+1≈1,p_2,i+2≈1,...,其他元素的迭代趋势趋近于零，此时Δy＝0-i。

通过迭代运算可以求得Δy，当经过100次迭代后矩阵不收敛，则停止迭代运算，两行信号序列缺乏相似性。

S5、进行偏移解算，包括：

将G₂第3行的前100个像元组成的数字信号序列f(3,0:99,2)与基准信号序列f(2,0:99,1)进行相似性比较，如果本次比较|Δy|≤5，认为它们对应的是同一瞬时视场的积分能量，则G₂中的点g₂(2,0+Δy)对应的G₁中的同名点是g₁(1,0)；

如果偏移量|Δy|＞5，说明对应的不是同一瞬时视场，则将G₂第2行的前100个像元组成的数字信号序列f(2,0:99,2)与基准信号序列f(2,0:99,1)进行相似性比较，如果本次比较|Δy|≤5，认为它们对应的是同一瞬时视场的积分能量，则G₂中的点g₂(1,0+Δy)对应的G₁中的同名点是g₁(1,0)；

如果偏移量|Δy|＞5，说明对应的不是同一瞬时视场，则将G₂第4行的前100个像元组成的数字信号序列f(4,0:99,2)与基准信号序列f(2,0:99,1)进行相似性比较，如果本次比较|Δy|≤5，认为它们对应的是同一瞬时视场的积分能量，则G₂中的点g₂(3,0+Δy)对应的G₁中的同名点是g₁(1,0)；

如果偏移量|Δy|＞5，说明对应的不是同一瞬时视场，则将G₂第1行的前100个像元组成的数字信号序列f(1,0:99,2)与基准信号序列f(2,0:99,1)进行相似性比较，如果本次比较|Δy|≤5，认为它们对应的是同一瞬时视场的积分能量，则G₂中的点g₂(0,0+Δy)对应的G₁中的同名点是g₁(1,0)；

如果偏移量|Δy|＞5，说明对应的不是同一瞬时视场，则将G₂第5行的前100个像元组成的数字信号序列f(5,0:99,2)与基准信号序列f(2,0:99,1)进行相似性比较，如果本次比较|Δy|≤5，认为它们对应的是同一瞬时视场的积分能量，则G₂中的点g₂(4,0+Δy)对应的G₁中的同名点是g₁(1,0)；

如果偏移量|Δy|＞5，说明对应的不是同一瞬时视场。

如此，在基准信号对应的邻域进行循环比较，通过基准信号序列与下一幅图像相邻序列的对比建立第一对应的同名点g₁(x₁,y₁)和g₂(x₂,y₂)的对应关系。

S6、一维数字信号在行空间上的相似性的对应关系，确定两幅图像在之后的每一维信号序列在相似性上是一一对应的，因此，最终可以找到s(32-4≤s≤32-1)个已知的对应点，也就是这s个对应的同名点g₁(x₁,y₁)和g₂(x₂,y₂)均为已知。结合二元二次多项式，采用最小二乘法，通过对应的同名点数据进行曲面拟合，求得x₁和y₁：

$x_1=a_{00}+a_{10}{x}_2+a_{01}{y}_2+a_{11}{x}_2{y}_2+a_{20}{x}_2^2+a_{02}{y}_2^2$

$y_1=b_{00}+b_{10}{x}_2+b_{01}{y}_2+b_{11}{x}_2{y}_2+b_{20}{x}_2^2+b_{02}{y}_2^2,$ 通过求得的x₁和y₁，对第2幅图利用该二元二次多项式进行空间几何校正利用双向性内插法进行像元灰度再赋值。

S7、按照上述流程，首先以G₂为作为基准的参考图像坐标系对G₃进行几何校正和像素内插，再结合获得的G₂和G₁的空间关系，把G₃再基于G₁进行校正，依次类推，对G₄,G₅,G₆...G₃₂进行校正。

S8、使上述校正获得的面阵图像中具有相同瞬时视场的一维信号序列在坐标系中叠合，只完成30行相同瞬时视场的信号序列的相加，成为消除了振颤影响的一行数字图像，其效果类似于30级积分。

$E=\underset{\mathrm{\ΔS}}{\∫}\mathrm{\ρ}(x,y)E_{\mathrm{in}}(x,y)\mathrm{ds}$

其中，ρ(x,y)表示波段特征地物的光谱反射率，E_in(x,y)表示波段单位时间内通过单位面积的辐射能量，k为增益系数。最后消减了振颤影响的图像的像元灰度值为

把获得的叠加后并消减了振颤影响的每一行数字图像按照空间和时间顺序进行排列，最终形成了消减了振颤影响的数字图像。

Claims (5)

1.一种降低TDI-CCD相机图像模糊度的方法，设搭载TDI-CCD相机的靶面是n列m行，其特征在于：其步骤如下所述：

S1、建立图像坐标系：以TDI-CCD相机面阵的像元数量方向即列方向为Y轴，像元级数方向即行方向为X轴，图像的左上角为坐标系起点,其中，第一行，第一列的坐标为（0,0）；

S2、读取TDI-CCD相机每次积分输出的面阵图像，并对图像进行编号：图像依次编号为G₁,G₂,G₃...G_t...G_m；

S3、对面阵图像进行分解：对S2所读取的每一幅图像按行分解，每一个积分级输出的面阵图像分解为m行，每一行有n个像元，分解后，每一行形成一个一维数字信号，信号长度为n，对每个一维数字信号提取前N个像元，分别构成一维数字信号序列记为f(t)，其中，0≤t≤m，0≤N≤n；

S4、根据S3的一维数字信号序列，构建两个一维信号序列相似性配比准则，包括：

S41、选择信号序列f(i)作为基准序列，信号序列f(j)与基准信号序列进行比较，信号序列的邻域一致匹配条件为：||v_ij-v_kl||≤5，其中，||*||表示取范数，v_ij表示两行信号序列中任意两个像元的差距向量，i表示信号序列f(i)中像元的索引，j表示信号序列f(j)中像元的索引，k为i的邻域，l为j的邻域；

S42、根据S41所述信号序列的邻域一致匹配条件计算初始匹配概率：

其中， $w_{\mathrm{ij}}={\mathrm{\Σ}}_{\left|\mathrm{\λ}\right|\≤k}{[g_1(i+\mathrm{\λ})-g_2(j+\mathrm{\λ})]}^2,$ 是初始匹配概率，g₁(i+λ)表示一维信号序列f(i)在第i+λ个像元处的灰度值，g₂(j+λ)表示一维信号序列f(j)在第j+λ个像元处的灰度值；

S43、根据松弛算法，建立q_ij的迭代公式：

其中，r为迭代次数，A和B为常数；

S44、根据S43中的迭代公式，求得归一化后的匹配概率

其中，h表示所有与i相匹配的点；

S45、根据S44求得的匹配概率可知p′_ij收敛的对角序列，即p_ij≈1，其他元素趋近于零，其中，

S5、根据S4中邻域匹配解算结果进行偏移解算，获取图像中的同名点，包括：

S51、选取基准信号序列对应的上下邻域循环比较，通过基准信号序列与下一幅图像相邻序列的对比建立第一对同名点g₁(x₁,y₁)和g₂(x₂,y₂)的对应关系；

S52、根据S51所得一维数字信号在行空间上的相似性的对应关系，确定图像的s个已知对应点，结合二元二次多项式，采用最小二乘法，通过对应的同名点数据进行曲面拟合，求得x₁和y₁：

$x_1=a_{00}+a_{10}{x}_2+a_{01}{y}_2+a_{11}{x}_2{y}_2+a_{20}{x}_2^2+a_{02}{y}_2^2$

$y_1=b_{00}+b_{10}{x}_2+b_{01}{y}_2+b_{11}{x}_2{y}_2+b_{20}{x}_2^2+b_{02}{y}_2^2;$

S6、根据S5所得x₁和y₁对图像进行空间几何校正，利用双向线性内插法进行像元灰度再赋值；

S7、对后续的图像相对于基准图像G1进行遍历操作，遍历步骤S3到步骤S6；

S8、将经过校正的图像中具有相同瞬时视场的一维信号序列在坐标系中叠加，成为消除了振颤影响的图像的第一行数字图像，重复步骤S3到步骤S8，将获得的叠加后的消减了振颤影响的每一行图像按照空间和时间顺序进行排列，形成消减振颤影响的数字图像。

2.根据权利要求1所述的一种降低TDI-CCD相机图像模糊度的方法，其特征在于：S41所述k为i的符合一致匹配条件的邻域，l为j的符合一致匹配条件的邻域。

3.根据权利要求1所述的一种降低TDI-CCD相机图像模糊度的方法，其特征在于：S41所述0≤i≤N-1，0≤j≤N-1。

4.根据权利要求1所述的一种降低TDI-CCD相机图像模糊度的方法，其特征在于：S43所述迭代次数r满足1≤r≤N。

5.根据权利要求1所述的一种降低TDI-CCD相机图像模糊度的方法，其特征在于：S52所述s个已知对应点，m-4≤s≤m-1。

Images