CN103985129B - Tdi成像的像移自配准方法 - Google Patents

Abstract

TDI成像的像移自配准方法，涉及光电探测成像领域，解决现有像移补偿方法增加成像系统的设计难度、复杂度及成本，并且存在补偿范围小、精度低以及实时性差等问题，本发明基于像移速度得到图像传感器每帧像素的位置偏差，在数字域TDI过程中，根据偏差值进行行列配准和对位累加，从而实现在TDI的同时完成像素级像移补偿的目的。其中像移速度矢的角度偏差通过列向配准来调整；像移速度矢的速度大小偏差通过行向配准来调整。本发明采用设计的像移自配准方法在扫描成像的时间延迟积分过程中实现配准像素的对位累加，依赖于灵活的数字域操作，从而简单有效地实现不同像移方向和像移速度大小情形下的TDI相机扫描清晰成像。

Description

TDI成像的像移自配准方法

技术领域

本发明涉及光电探测成像领域，具体涉及的一种TDI扫描式相机像移补偿的实现方法。

背景技术

时间延迟积分(TDI)技术通过对同一目标多次曝光，在与扫描速度严格匹配时可大幅提高成像系统的灵敏度和信噪比。因此被广泛应用于高分辨力航天遥感、机器视觉、微光成像等众领域。不管是TDI CCD还是数字域TDI，只要TDI成像模式必然存在像移失配，因此在TDI相机扫描成像过程中必须有精密的像移补偿机制，否则像移失配现象将引起光学系统传递函数下降，甚至使图像发生畸变和模糊。

现有的像移补偿措施主要有光学补偿法、机械补偿法和电子学补偿法三种。光学补偿法一般用于航空相机，通过采用特定的光学系统针对性地改变光线方向，从而减小像移。机械式补偿方法通常用于偏流角的调整，即在曝光时间整体或分片移动焦平面，使之与像运动一致。电子式像移补偿法是指通过程序不断改变行转移时间值，使其与像移速度大小匹配。然而，光学补偿法和机械式补偿法都依赖于高精密的光学系统或机械结构，故增加了成像系统的设计难度、复杂度及成本，并降低了系统可靠性。电子式像移补偿则只能对扫描方向的像移速度补偿，而且可补偿范围有限。因此寻求高精度、实时性强而又简单易行的像移配准算法对于改进现有的像移补偿体系意义重大。本发明针对以上问题提出了一种像移自配准方法，不仅可以突破依赖复杂光学或机械结构的像移补偿方法的思路限制，而且扩展了电子式像移补偿法的可补偿范围。

发明内容

本发明为解决现有像移补偿方法增加成像系统的设计难度、复杂度及成本，并且存在补偿范围小、精度低以及实时性差等问题，提供一种针对TDI成像的像移自配准方法。

TDI成像的像移自配准方法，构建像移自配准算法理论模型，该方法由以下步骤实现：

步骤一、实时采集当前帧图像P_i+1(m,n)，并计算得到当前帧图像的像移量S_P(i)对应的像素个数Δn(i)，用公式表示为：

$\mathrm{\Δ}n\left(i\right)=\frac{S_P\left(i\right)}{a}$

其中，a为像元尺寸；

步骤二、判断步骤一中所述的像素个数Δn(i)是否为整数，如果是，则执行步骤三，如果否，则进行图像插值，用公式表示为：

$P_{i+1}^{\′}(m,n)=\left\{\begin{array}{cc}\begin{array}{c}\mathrm{\α}\left(i\right)P_i^{\′}(m+\mathrm{\Δ}\mathrm{\β}(i),n)+\mathrm{...}\\ \mathrm{...}+\[1-\mathrm{\α}\left(i\right)\]P_{i+1}(m,n)\end{array},& m\∈R\[1,n_{lines}-\mathrm{\Δ}\mathrm{\β}\left(i\right)\]\\ \begin{array}{c}\mathrm{\α}\left(i\right)P_{i+1}(m-1,n)+\mathrm{...}\\ \mathrm{...}+\[1-\mathrm{\α}\left(i\right)\]P_{i+1}(m,n)\end{array},& m\∈R\[n_{lines}-\mathrm{\Δ}\mathrm{\β}\left(i\right)+1,n_{lines}\]\end{array}\right.$

式中：

α(i)＝rem(Δn(i))

β(i)＝int(Δn(i))

Δβ(i)＝β(i)-β(i-1)；

步骤三、采用向上追溯l个邻近帧的方法插值计算缺失像素值，其表达式如下：式中，x和k为中间变量；

$P_{i+j+1}^{\&prime;}(m,n)=\left\{\begin{array}{cc}\frac{\underset{k=0}{\overset{3}{\&Sigma;}}{P}_{i+j-k}\&lsqb;1+\underset{x=1}{\overset{k+1}{\&Sigma;}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{l},& M\&GreaterEqual;l\\ \frac{P_{i+j-k}\&lsqb;1+\underset{x=2}{\overset{M}{\&Sigma;}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{M},& M<l\end{array}\right.;$

步骤四、插值完成后与上一帧像素矩阵叠加，得到时间延迟积分后的第i帧像素矩阵P″_i+1：

$P_{i+1}^{\&prime;\&prime;}(m,n)=\left\{\begin{array}{cc}{P}_i^{\&prime;\&prime;}(m+\mathrm{\&Delta;}\mathrm{\&beta;}(i),n)+P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;1,n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)\&rsqb;\\ P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)+1,n_{lines}\&rsqb;\end{array}\right.;$

步骤五、每个帧周期将第一行累加数据输出作为像移自配准的M级积分值，得到第i个帧周期的M级积分图像，用公式表示为：

$O_{M,i}\left(n\right)=\underset{j=0}{\overset{\mathrm{\&beta;}(i-M+1)}{\&Sigma;}}\left\{\begin{array}{c}{P}_{i-M+1}\&lsqb;M\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;+\\ \underset{x=1}{\overset{M-1}{\&Sigma;}}{P}_{i-M+1+x}^{\&prime;}\&lsqb;(M-x)\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;\end{array}\right\};$

实现在TDI的同时完成像移的自配准。

还包括将像移自配准算法理论模型导入成像系统的可编程器件，运行成像系统时，获得图像即为经过像移自配准的TDI图像。

本发明的有益效果：本发明基于像移速度得到图像传感器每帧像素的位置偏差，在数字域TDI过程中，根据偏差值进行行列配准和对位累加，从而实现在TDI的同时完成像素级像移补偿的目的。其中像移速度矢的角度偏差(偏流角)可以通过列向配准来调整；像移速度矢的速度大小偏差(行转移频率)通过行向配准来调整。本发明采用设计的像移自配准方法在扫描成像的时间延迟积分过程中实现配准像素的对位累加，依赖于灵活的数字域操作，从而简单有效地实现不同像移方向和像移速度大小情形下的TDI相机扫描清晰成像。该方法避免了现有像移补偿措施对复杂的高精密光学或机械像移补偿机构的依赖，扩展了电子式调行频方式的像移可补偿范围。本发明提出的像移自配准方法无需要额外的光学或机械结构，其依赖于操作灵活的数字域TDI，完全在可编程器件内部实现。

附图说明

图1为本发明所述的TDI成像的像移自配准方法的流程图；

图2为原始遥感图像的效果图；

图3为像移失配率5‰条件下应用本发明所述的针对TDI成像的像移自配准方法的TDI仿真图像效果图；

图4为像移失配率20‰条件下应用本发明所述的针对TDI成像的像移自配准方法的TDI仿真图像效果图。

具体实施方式

具体实施方式一、结合图1至图4说明本实施方式，TDI成像的像移自配准方法，该方法系统设备包括具备可编程能力(如：FPGA、CPLD等)的成像系统、成像转台、导轨或靶标。

本实施方式以FPGA成像系统为例具体说明，同样适用于其他可编程器件。成像转台或导轨用于搭载成像系统，从而使成像系统可以随之扫描运动。靶标为成像的目标景物。本实施方式的具体步骤为：

步骤一、构建像移自配准算法理论模型；具体过程为：

步骤A、实时采集当前帧图像P_i+1(m,n)，并计算得到当前帧图像的像移量S_P(i)对应的像素个数Δn(i)，用公式表示为：

$\mathrm{\&Delta;}n\left(i\right)=\frac{S_P\left(i\right)}{a}$

其中，a为像元尺寸；

步骤B、判断步骤A中所述的像素个数Δn(i)是否为整数，如果是，则执行步骤C，如果否，则进行图像插值，用公式表示为：

$P_{i+1}^{\&prime;}(m,n)=\left\{\begin{array}{cc}\begin{array}{c}\mathrm{\&alpha;}\left(i\right)P_i^{\&prime;}(m+\mathrm{\&Delta;}\mathrm{\&beta;}(i),n)+\mathrm{...}\\ \mathrm{...}+\&lsqb;1-\mathrm{\&alpha;}\left(i\right)\&rsqb;P_{i+1}(m,n)\end{array},& m\&Element;R\&lsqb;1,n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)\&rsqb;\\ \begin{array}{c}\mathrm{\&alpha;}\left(i\right)P_{i+1}(m-1,n)+\mathrm{...}\\ \mathrm{...}+\&lsqb;1-\mathrm{\&alpha;}\left(i\right)\&rsqb;P_{i+1}(m,n)\end{array},& m\&Element;R\&lsqb;n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)+1,n_{lines}\&rsqb;\end{array}\right.$

式中：

α(i)＝rem(Δn(i))

β(i)＝int(Δn(i))

Δβ(i)＝β(i)-β(i-1)；

步骤C、采用向上追溯l个邻近帧的方法插值计算缺失像素值，其表达式如下：式中，x和k为中间变量；

$P_{i+j+1}^{\&prime;}(m,n)=\left\{\begin{array}{cc}\frac{\underset{k=0}{\overset{3}{\&Sigma;}}{P}_{i+j-k}\&lsqb;1+\underset{x=1}{\overset{k+1}{\&Sigma;}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{l},& M\&GreaterEqual;l\\ \frac{P_{i+j-k}\&lsqb;1+\underset{x=2}{\overset{M}{\&Sigma;}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{M},& M<l\end{array}\right.;$

步骤D、插值完成后与上一帧像素矩阵叠加，得到时间延迟积分后的第i帧像素矩阵P″_i+1：

$P_{i+1}^{\&prime;\&prime;}(m,n)=\left\{\begin{array}{cc}{P}_i^{\&prime;\&prime;}(m+\mathrm{\&Delta;}\mathrm{\&beta;}(i),n)+P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;1,n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)\&rsqb;\\ P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)+1,n_{lines}\&rsqb;\end{array}\right.;$

步骤E、每个帧周期将第一行累加数据输出作为像移自配准的M级积分值，得到第i个帧周期的M级积分图像，用公式表示为：

$O_{M,i}\left(n\right)=\underset{j=0}{\overset{\mathrm{\&beta;}(i-M+1)}{\&Sigma;}}\left\{\begin{array}{c}{P}_{i-M+1}\&lsqb;M\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;+\\ \underset{x=1}{\overset{M-1}{\&Sigma;}}{P}_{i-M+1+x}^{\&prime;}\&lsqb;(M-x)\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;\end{array}\right\};$

实现在TDI的同时完成像移的自配准。

将本实施方式中构建的像移自配准算法设计为适用于硬件平台的成像系统软件，将软件下载至FPGA可编程器件；搭建实验系统，将成像系统固定于转台或导轨；推动转台或导轨运动，同时成像系统开机拍照，采集存储拍摄图像，所得图像即为经过像移自配准的TDI图像。

结合图2至图4说明本实施方式，为了验证本实施方式中所述方法的有效性，进行了仿真成像试验，取某高分辨率原始遥感图像，结合图2，为假想景物样本。利用建立的自适应像移配准算法模型，仿真生成不同像移失配率情况下的数字域TDI图像，结合图3和图4仿真结果表明两种像移失配率条件下，应用像移自配准算法后96级积分仍能获得清晰图像。数字域TDI利用其匹配像素叠加可以有效地控制成像质量不会急剧恶化，但因为上溯插值的非整数像移量的像素由多像素插值得到或者有些行像素由多帧图像获得，因此像移失配率5‰的成像效果优于20‰时的成像效果。

Claims (2)

1.TDI成像的像移自配准方法，构建像移自配准算法理论模型，其特征是，该方法由以下步骤实现：

步骤一、实时采集当前帧图像P_i+1(m,n)，并计算得到当前帧图像的像移量S_P(i)对应的像素个数Δn(i)，用公式表示为：

$\mathrm{\&Delta;}n\left(i\right)=\frac{S_P\left(i\right)}{a}$

其中，a为像元尺寸；

步骤二、判断步骤一中所述的像素个数Δn(i)是否为整数，如果是，则执行步骤三，如果否，则进行图像插值，用公式表示为：

$P_{i+1}^{\&prime;}(m,n)=\left\{\begin{array}{cc}\begin{array}{c}\mathrm{\&alpha;}\left(i\right)P_i^{\&prime;}(m+\mathrm{\&Delta;}\mathrm{\&beta;}(i),n)+...\\ ...+\&lsqb;1-\mathrm{\&alpha;}\left(i\right)\&rsqb;P_{i+1}(m,n)\end{array},& m\&Element;R\&lsqb;1,n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)\&rsqb;\\ \begin{array}{c}\mathrm{\&alpha;}\left(i\right)P_{i+1}(m-1,n)+...\\ ...+\&lsqb;1-\mathrm{\&alpha;}\left(i\right)\&rsqb;P_{i+1}(m,n)\end{array},& m\&Element;R\&lsqb;n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)+1,n_{lines}\&rsqb;\end{array}\right.$

式中：

α(i)＝rem(Δn(i))

β(i)＝int(Δn(i))

Δβ(i)＝β(i)-β(i-1)；

步骤三、采用向上追溯l个邻近帧的方法插值计算缺失像素值，其表达式如下：式中，x和k为中间变量，M表示积分级数；

$P_{i+j+1}^{\&prime;}(m,n)=\left\{\begin{array}{cc}\frac{\underset{k=0}{\overset{3}{\mathrm{\&Sigma;}}}{P}_{i+j-k}\&lsqb;1+\underset{x=1}{\overset{k+1}{\mathrm{\&Sigma;}}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{l},& M\&GreaterEqual;l\\ \frac{P_{i+j-k}\&lsqb;1+\underset{x=2}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{\&beta;}(i+j-x),n\&rsqb;}{M},& M<l\end{array}\right.;$

步骤四、插值完成后与上一帧像素矩阵叠加，得到时间延迟积分后的第i帧像素矩阵P″_i+1：

$P_{i+1}^{\&prime;\&prime;}(m,n)=\left\{\begin{array}{cc}{P}_i^{\&prime;\&prime;}(m+\mathrm{\&Delta;}\mathrm{\&beta;}(i),n)+P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;1,n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)\&rsqb;\\ P_{i+1}^{\&prime;}(m,n),& m\&Element;R\&lsqb;n_{lines}-\mathrm{\&Delta;}\mathrm{\&beta;}\left(i\right)+1,n_{lines}\&rsqb;\end{array}\right.;$

步骤五、每个帧周期将第一行累加数据输出作为像移自配准的M级积分值，得到第i个帧周期的M级积分图像，用公式表示为：

$O_{M,i}\left(n\right)=\underset{j=0}{\overset{\mathrm{\&beta;}(i-M+1)}{\&Sigma;}}\left\{\begin{array}{c}{P}_{i-M+1}\&lsqb;M\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;+\\ \underset{x=1}{\overset{M-1}{\&Sigma;}}{P}_{i-M+1+x}^{\&prime;}\&lsqb;(M-x)\mathrm{\&beta;}(i-M+1)-j,n\&rsqb;\end{array}\right\};$

实现在TDI的同时完成像移的自配准。

2.根据权利要求1所述的TDI成像的像移自配准方法，还包括将像移自配准算法理论模型导入成像系统的可编程器件，运行成像系统时，获得图像即为经过像移自配准的TDI图像。