CN101799293B - 基于分段仿射变换的星载三片非共线tdiccd影像拼接方法 - Google Patents

Abstract

本发明涉及一种基于分段仿射变换的星载三片TDICCD影像拼接方法，将拼接后的虚拟扫描景看作是由焦面上首尾相连的三片虚拟CCD线阵所获取，其中，两侧的虚拟CCD与真实的TDI CCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙，遵循“两边参考、中间变换”的原则，根据片间连接点建立TDI CCD成像数据与虚拟CCD成像数据的像面变换模型，经影像重采样输出虚拟拼接扫描景，从而有效地改善了内视场拼接的效率、提高了精度和可靠性。

Description

基于分段仿射变换的星载三片非共线TDICCD影像拼接方法

技术领域

本发明属于测绘科学与技术领域，涉及一种基于分段仿射变换的星载三片非共线TDICCD影像拼接方法。

背景技术

对于星载高分辨率光学相机而言，为了解决由相对孔径减小和成像曝光时间变短等因素所引起的光学系统像面光谱能量不足的问题，采用延时积分电荷耦合元件(TDI CCD)作为成像传感器是目前一种主要的技术途径。TDI CCD是利用电荷延时积分原理成像的新型光电成像器件，与普通的单积分线阵CCD相比，能以多重延时积分成像的方式对地物多次曝光，成倍提升系统收集能量的能力，从而在低照度条件下获得高灵敏度、高输出速率、高空间分辨率、大的动态范围和相对较高的信噪比。受单片TDI CCD像元个数的限制，星载高分辨率光学相机通常以多片TDI CCD视场拼接的方式获取较大的成像视场。由于每片TDI CCD在物理结构上是一个小面阵，加上受外壳包装等限制，多片TDI CCD无法在焦面上按照一条直线进行物理排列，而通常采用三片品字形或多片上下交错形的非共线设计，其典型特征可以描述为：将多片TDI CCD在焦面上排成两列，与相机的整机推扫方向垂直；第二列填充由第一列形成的间隙，同一列TDI CCD的首尾像元分别对齐，相邻两片TDI CCD有一定的像元重叠。非共线TDI CCD已成为当前国内外高分辨率光学卫星影像获取的主要传感器，IKONOS，QuickBird，Geoeye-1，WorldviewII，ALOS，OrbView-3，Formosat-2等国外高分辨率商业卫星和我国遥感二号、资源一号02B卫星以及未来即将发射的多颗高分辨率卫星都采用了非共线TDI CCD相机作为成像载荷。

与普通的单线阵CCD相比，非共线TDI CCD特殊的物理结构和成像方式给高分辨率卫星影像高精度和高质量的几何处理带来了新的问题。多片TDI CCD宽视场成像所获取的原始数据是按照每片TDI CCD成像单独记录的，受传感器的视场摆放位置、地形起伏、行积分时间变化等因素的影响，无法直接形成一个完整的扫描景影像。需要在影像预处理环节对非共线TDI CCD成像数据进行内视场拼接处理以形成空间上连续无缝的完整扫描景，满足后续影像产品的生产和制作要求。总体看来，国内外文献对星载非共线TDI CCD成像数据内视场拼接理论和算法的介绍很少。目前主要的技术途径是由连接点统计相邻影像的水平和垂直偏移量，然后进行片间平移拼接。IKONOS和Quickbird等国外高分辨率商业卫星的光学相机大多采用多片交错形焦面设计，相邻TDI CCD对同一地物的成像时间延迟很短，使得地形起伏和行积分时间变化等因素对非共线TDI CCD成像的影响几乎可以忽略不计，只需要简单的片间平移即可满足子像素级的拼接精度(K.Jacobsen.Calibration of Optical SatelliteSensors[C].International Calibration and Orientation Workshop EuroCOW 2006.Casteldefels，2006，6S.，CD.；K.Jacobsen，2008.Satellite image orientation[C].International Archives ofPhotogrammetry，Remote Sensing and Spatial Information Sciences，Vol.XXXVII，Part B1(WGI/5)：703-709；)。对于采用三片品字形焦面设计的星载非共线TDI CCD相机，成像受地形起伏和行积分时间变化等因素的影响较为明显，使得拼接处理的情况要相对复杂。岳庆兴等(岳庆兴，周强，张春玲，尤淑撑，贾永红，邱振戈.CBERS-02B星全色影像的平差方法[J].国土资源遥感，2009，79(1)：60-63.)指出CBERS-02B卫星HR相机的两侧TDI CCD与中间TDI CCD成像数据间存在拼接错位问题，但没有对此展开研究；李世威等(李世威，刘团结，王宏琦.基于图像匹配的CBERS-02B卫星HR相机图像拼接方法.遥感技术与应用.2009，24(3)：374-378.)提出了基于图像匹配的资源一号02B卫星高分辨率(HR)相机影像拼接方法，其本质也是基于大量连接点统计相邻影像间的水平和垂直偏移量，然后对多片影像进行两两平移拼接。但是，传统的平移拼接方法无法顾及景内可能存在的行积分时间跳变，且拼接处理只能在相邻两片TDI CCD成像数据间依次进行。

因此，亟需深入开展非共线TDI CCD成像数据的内视场拼接理论和技术的研究，并针对目前较为典型的三片品字形设计情况，不断提出对原始成像数据进行拼接预处理即虚拟拼接景生成的新方法、新思路，以改善拼接处理的可靠性、效率和精度，这对于保证卫星影像产品的辐射质量和几何质量等具有十分重要的意义。

发明内容

本发明所要解决的问题是：实现一种基于分段仿射变换的星载三片非共线TDI CCD影像拼接方法，该方法可完成对三片非共线TDI CCD成像数据的高效内视场拼接，以形成空间上连续无缝的完整虚拟扫描景。

本发明提供的技术方案是：对于星载三片非共线TDI CCD成像数据的内视场拼接问题，将拼接后的虚拟扫描景看成是由焦面上首尾相连的三片虚拟CCD线阵获取得到的，其中两侧虚拟CCD线阵的位置与真实的两侧TDI CCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙；根据行积分时间的变化情况，利用片间连接点构建中间虚拟CCD影像与中间TDI CCD影像的分段仿射变换关系，然后遵循这种“两边参考、中间变换”的影像重采样原则，对三片非共线TDI CCD成像数据进行内视场拼接以形成空间上连续无缝的完整扫描景。该技术方案包括以下步骤：

一、确定虚拟拼接景的行数和列数：令星载三片非共线TDI CCD影像的左片TDI CCD1、中片TDI CCD2和右片TDI CCD3的长度即像元个数分别为S₁，S₂和S₃，由三片非共线TDI CCD获取的原始影像的扫描行数为L，列数为S，其中S＝S₁+S₂+S₃；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有：

Lv＝L

                               (1)

Sv＝S-O₁₂-O₂₃

式中，O₁₂为TDI CCD1和TDI CCD2重叠像元设计个数，其中0＜O₁₂＜min(S₁，S₂)；

O₂₃为TDI CCD2和TDI CCD3重叠像元设计个数，其中0＜O₂₃＜min(S₂，S₃)；

当S₁≤S₂，min(S₁，S₂)＝S₁；否则，min(S₁，S₂)＝S₂；

当S₂≤S₃，min(S₂，S₃)＝S₂；否则，min(S₂，S₃)＝S₃；

二、提取每相邻两片TDI CCD影像的连接点；

三、将虚拟拼接景看作是由焦面上首尾相连的三片虚拟CCD线阵即CCD1、CCD2和CCD3所获取，其中，CCD1、CCD3保持TDI CCD1、TDI CCD3原有摆放位置不变，CCD2则填充CCD1和CCD3的空隙；按照下列步骤建立TDI CCD2影像与虚拟CCD2影像间的分段仿射变换关系：

1)根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置T_i，其中0＜T_i＜L，i＝1，2，…，n，n表示行积分时间跳变次数；

2)将TDI CCD2影像分为N段，N＝n+1；每段影像的起始扫描行号和终止扫描行号分别为Ls_i和Le_i，有：

Ls_i＝0

                       (i＝1)

Le_i＝T_i

Ls_i＝T_i-1

                       (i＝2，…，N-1)

Le_i＝T_i

Ls_i＝T_i-1

                     (i＝N)                 (2)

Le_i＝L

3)利用TDI CCD2影像与TDI CCD1影像和TDI CCD3影像的连接点约束条件，计算虚拟CCD2影像到TDI CCD2影像的分段仿射变换系数：令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(x，y)和(x′，y′)，且(x′，y′)对应于TDI CCD2影像上的点，(x，y)对应于TDI CCD1或TDI CCD3影像上的点，根据公式(3)，计算(x，y)在虚拟拼接景坐标系sol中的坐标为(s，l)：

s＝x

          (x≤S₁)             (3)

l＝y

s＝x-O₁₂-O₂₃

                       (x＞S₁+S₂)

l＝y

4)基于(s，l)与(x′，y′)的同名点对应关系，基于公式(4)列误差方程式最小二乘平差解算CCD2影像到TDI CCD2影像的分段仿射变换系数a_0i，a_1i，a_2i，b_0i，b_1i，b_2i(i＝1，2…N)；

x′＝a_0i+a_1i×s+a_2i×l

                                 (4)

y′＝b_0i+b_1i×s+b_2i×l

四、对原始影像进行重采样，生成虚拟拼接扫描景：

1.确定虚拟拼接景上三片虚拟CCD影像的拼接线位置：令col_s对应CCD2影像在虚拟拼接景上的起始列号，col_e对应CCD2影像在虚拟拼接景上的终止列号，其中，col_s＝S₁，col_e＝Sv-S₃；

2.对于虚拟拼接景上的任意像点(s，l)，按公式(5)计算其在原始影像上的像点坐标(x′，y′)，根据像点坐标(x′，y′)经重采样得到像点的灰度值。

当s≤col_s时， $\begin{array}{c}{x}^{\′}=s\\ y^{\′}=l\end{array}$

当col_s＜s≤col_e时， $\begin{array}{c}{x}^{\&prime;}=a_{0i}+a_{1i}\&times;s+a_{2i}\&times;l\\ y^{\&prime;}=b_{0i}+b_{1i}\&times;s+b_{2i}\&times;l\end{array},(i=\mathrm{1,2},...,N;{\mathrm{Ls}}_i\&le;l<{\mathrm{Le}}_i)---\left(5\right)$

当s＞col_e时， $\begin{array}{c}{x}^{\&prime;}=s+O_{12}+O_{23}\\ y^{\&prime;}=l\end{array}$

本发明将拼接后的虚拟扫描景看作是由焦面上首尾相连的三片虚拟CCD线阵所获取，其中，两侧虚拟CCD线阵的位置与真实的两侧TDI CCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙；根据行积分时间的变化情况，基于片间连接点构建中间虚拟CCD成像数据与中间TDI CCD成像数据之间的分段仿射变换关系，然后遵循这种“两边参考、中间变换”的影像重采样原则，实现三片非共线TDI CCD成像数据的高效内视场拼接，以形成空间上连续无缝的完整虚拟扫描景。

附图说明

图1是三片非共线TDI CCD成像原理的示意图：(a)相机焦面结构；(b)推扫成像模式；(c)原始影像坐标系；

图2给出了虚拟拼接景物理含义的示意图；

图3给出了拼接原理的示意图。

具体实施方式

下面结合附图对本发明做进一步详细描述。

如图1所示，三片TDI CCD按品字形偏场排列于相机焦平面(图1(a))，沿卫星轨道推扫成像时三片TDI CCD共享一套轨道姿态参数(图1(b))，M为三片TDI CCD成像数据按时间(行计数)对齐后的原始影像(图1(c))。例如，p1和p2为TDI CCD1影像和TDI CCD2影像间的一对同名点，点P为其对应的物点。概括起来，基于分段仿射变换的星载三片非共线TDI CCD影像拼接方法，其实施过程可以分为四个阶段：

第一阶段：确定虚拟拼接景的行数和列数

令星载三片非共线TDI CCD影像的左片TDI CCD1、中片TDI CCD2和右片TDI CCD3的长度即像元个数分别为S₁，S₂和S₃，由三片非共线TDI CCD获取的原始影像的扫描行数为L，列数为S，其中S＝S₁+S₂+S₃；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有：

Lv＝L

Sv＝S-O₁₂-O₂₃             (1)

式中，O₁₂为TDI CCD1和TDI CCD2重叠像元设计个数，其中0＜O₁₂＜min(S₁，S₂)；

O₂₃为TDI CCD2和TDI CCD3重叠像元设计个数，其中0＜O₂₃＜min(S₂，S₃)；

当S₁≤S₂，min(S₁，S₂)＝S₁；否则，min(S₁，S₂)＝S₂；

当S₂≤S₃，min(S₂，S₃)＝S₂；否则，min(S₂，S₃)＝S₃；

第二阶段：提取相邻TDI CCD影像的连接点

通过现有技术中的目视判读或影像自动匹配技术提取每相邻两片TDI CCD影像的连接点。

第三阶段：建立虚拟CCD2影像与TDI CCD2影像的分段仿射变换关系

原始影像由相机焦平面上三片品字形排列的TDI CCD(如图2(a))所获取，若对TDI CCD2影像进行像面变换，使之与两侧TDI CCD影像无缝拼接，那么根据中心投影几何关系，所构成的虚拟拼接景可以看作是由焦面上三片首尾相连的虚拟CCD线阵即CCD1、CCD2和CCD3所获取，如图2(b)所示，CCD1、CCD3保持TDI CCD1、TDI CCD3原有位置不变，CCD2填充CCD1和CCD3的空隙。于是，按照下列步骤建立虚拟CCD2影像到TDI CCD2影像的分段仿射变换关系：

1.根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置T_i，其中0＜T_i＜L，i＝1，2，…，n，n表示行积分时间跳变次数；

2.将TDI CCD2影像分为N段，N＝n+1；每段影像的起始扫描行号和终止扫描行号分别为Ls_i和Le_i，有：

Ls_i＝0

            (i＝1)

Le_i＝T_i

Ls_i＝T_i-1

            (i＝2，…，N-1)

Le_i＝T_i

Ls_i＝T_i-1

            (i＝N)(2)

Le_i＝L

3.利用TDI CCD2影像与TDI CCD1影像、TDI CCD3影像的连接点约束条件，计算虚拟CCD2影像到TDI CCD2影像的分段仿射变换系数：如图3(a)所示，令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(x，y)和(x′，y′)，且(x′，y′)对应于TDI CCD2影像上的点，(x，y)对应于TDI CCD1或TDI CCD3影像上的点；如图3(b)，令虚拟拼接景影像坐标系为sol，则按照公式(3)计算(x，y)在虚拟拼接景上对应的像点坐标(s，l)：

s＝x

                (x≤S₁)                     (3)

l＝y

s＝x-O₁₂-O₂₃

                (x＞S₁+S₂)

l＝y

4.基于(s，l)与(x′，y′)的同名点对应关系，基于公式(4)列误差方程式最小二乘平差解算CCD2影像到TDI CCD2影像的分段仿射变换系数a_0i，a_1i，a_2i，b_0i，b_1i，b_2i(i＝1，2…N)；

x′＝a_0i+a_1i×s+a_2i×l

                                (4)

y′＝b_0i+b_1i×s+b_2i×l

第四阶段：对原始影像进行重采样，生成虚拟拼接扫描景。

1.确定虚拟拼接景上三片虚拟CCD影像的拼接线位置，如图3(b)所示：令col_s对应CCD2影像在虚拟拼接景上的起始列号，col_e对应CCD2影像在虚拟拼接景上的终止列号，为了最大程度地保留TDI CCD1影像和TDI CCD3影像，这里，col_s＝S₁，col_e＝Sv-S₃；

2.对于虚拟拼接景上的任意像点(s，l)，按公式(5)计算其在原始影像上的像点坐标(x′，y′)，经重采样得到像点的灰度值。

当s≤col_s时， $\begin{array}{c}{x}^{\&prime;}=s\\ y^{\&prime;}=l\end{array}$

当col_s＜s≤col_e时， $\begin{array}{c}{x}^{\&prime;}=a_{0i}+a_{1i}\&times;s+a_{2i}\&times;l\\ y^{\&prime;}=b_{0i}+b_{1i}\&times;s+b_{2i}\&times;l\end{array},(i=\mathrm{1,2},...,N;{\mathrm{Ls}}_i\&le;l<{\mathrm{Le}}_i)---\left(5\right)$

当s＞col_e时， $\begin{array}{c}{x}^{\&prime;}=s+O_{12}+O_{23}\\ y^{\&prime;}=l\end{array}$

Claims (1)

1.基于分段仿射变换的星载三片非共线TDI CCD影像拼接方法，所述三片非共线TDI CCD为三片TDI CCD品字形，包括以下步骤：

一、确定虚拟拼接景的行数和列数：令星载三片非共线TDI CCD影像的左片TDI CCD1、中片TDI CCD2和右片TDI CCD3的长度即像元个数分别为S₁，S₂和S₃，由三片非共线TDI CCD获取的原始影像的扫描行数为L，列数为S，其中S＝S₁+S₂+S₃；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有：

Lv＝L

Sv ＝ S-O₁₂-O₂₃           (1)

式中，O₁₂为TDI CCD1和TDI CCD2重叠像元设计个数，其中0＜O₁₂＜min(S₁，S₂)；

O₂₃为TDI CCD2和TDI CCD3重叠像元设计个数，其中0＜O₂₃＜min(S₂，S₃)；

当S₁≤S₂，min(S₁，S₂)＝S₁；否则，min(S₁，S₂)＝S₂；

当S₂≤S₃，min(S₂，S₃)＝S₂；否则，min(S₂，S₃)＝S₃；

二、提取每相邻两片TDI CCD影像的连接点；

三、将虚拟拼接景看作是由焦面上首尾相连的三片虚拟CCD线阵即CCD1、CCD2和CCD3所获取，其中，CCD1、CCD3保持TDI CCD1、TDI CCD3原有摆放位置不变，CCD2则填充CCD1和CCD3的空隙；按照下列步骤建立TDI CCD2影像与虚拟CCD2影像间的分段仿射变换关系：

1)根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置T_i，其中0＜T_i＜L，i＝1，2，...，n，n表示行积分时间跳变次数；

2)将TDI CCD2影像分为N段，N＝n+1；每段影像的起始扫描行号和终止扫描行号分别为Ls_i和Le_i，有：

Ls_i＝0

            (i＝1)

Le_i＝T_i

Ls_i＝T_i-1

            (i＝2，...，N-1)

Le_i＝T_i

Ls_i＝T_i-1

            (i＝N)                        

Le_i＝L(2)

3)利用TDI CCD2影像与TDI CCD1影像和TDI CCD3影像的连接点约束条件，计算虚拟CCD2影像到TDI CCD2影像的分段仿射变换系数：令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(x，y)和(x′，y′)，且(x′，y′)对应于TDI CCD2影像上的点，(x，y)对应于TDI CCD1或TDI CCD3影像上的点，根据公式(3)，计算(x，y)在虚拟拼接景坐标系sol中的坐标为(s，l)：

s＝x

            (x≤S₁)                

l＝y

s＝x-O₁₂-O₂₃

            (x＞S₁+S₂)

l＝y(3)

4)基于(s，l)与(x′，y′)的同名点对应关系，基于公式(4)列误差方程式最小二乘平差解算CCD2影像到TDI CCD2影像的分段仿射变换系数a_0i，a_1i，a_2i，b_0i，b_1i，b_2i(i＝1，2...N)；

x′＝a_0i+a_1i×s+a_2i ×l

y′＝b_0i+b_1i×s+b_2i×l (4)

四、对原始影像进行重采样，生成虚拟拼接扫描景：

1)确定虚拟拼接景上三片虚拟CCD影像的拼接线位置：令col_s对应CCD2影像在虚拟拼接景上的起始列号，col_e对应CCD2影像在虚拟拼接景上的终止列号，其中，col_s＝S₁，col_e＝Sv-S₃；

2)对于虚拟拼接景上的任意像点(s，l)，按公式(5)计算其在原始影像上的像点坐标(x′，y′)；

当s≤col_s时，x′＝s

              y′＝l

当col_s＜s≤col_e时，x′＝a_0i+a_1i×s+a_2i×l  (i＝1，2，...，N；Ls_i≤l＜Le_i)    

                     y′＝b_0i+b_1i×s+b_2i×l

当s＞col_e时，x′＝s+O₁₂+O₂₃

              y′＝l  (5) 

根据像点坐标(x′，y′)经重采样得到像点的灰度值。 

Images