CN102576459A - 估计机载或空中的推扫式传感器获得的线图像的偏移的方法 - Google Patents

Abstract

一种估计由机载或空中的推扫式传感器获得的线图像的偏移的方法。本发明涉及一种估计由并置J个线图像构成并被称为“合成图像”的图像的线图像偏移的方法。由在天体上空飞行的飞行器上装载的传感器(10)的一行敏感单元相继地获取的线图像表现天体表面(S)上的场景的不同部分。这些线图像的偏移是由传感器(10)在获取线图像L_j期间的瞄准误差引起的。根据本发明，可以根据不同线图像之间的相似度的横向和/或纵向变化的局部模型来估计线图像L_j相对于线图像L_i的横向偏移和/或纵向偏移，其中j不同于i。本发明还涉及基于存在偏移的线图像来形成合成图像的方法。

Description

估计机载或空中的推扫式传感器获得的线图像的偏移的方法

本发明涉及对在天体上空飞行的飞行器上装载的推扫式传感器所获得的图像进行处理的领域。更具体地，本发明涉及对表现天体表面上的场景的不同部分的线图像的偏移进行估计的方法。

推扫式传感器(英文名称为“push broom”)通常包括布置成线的多个敏感单元。传感器的瞄准线被指向所观测的天体(例如地球)的表面，并与敏感单元线一起形成被称为“瞄准面”的平面。

通过在地球表面的场景上推扫传感器瞄准面，可相继获得与该场景的不同部分对应的线图像，这些线图像包括由传感器的不同敏感单元产生的多个像素。将这些线图像进行并置(juxtaposer)，以形成表现该场景的整体或局部的被称为“合成图像”的图像。

所谓“并置”，指的是如下操作：该操作旨在形成由基于相继获得的线图像的二维像素矩阵构成的合成图像，使得该合成图像的像素矩阵的行对应于相继的线图像，并且该合成图像的列定义为由索引与不同线图像的索引相同的所有的这样的像素构成。

传感器瞄准面的推扫例如通过飞行器相对于地球的位移来执行，在这种情况下传感器在参照飞行器的参照系内大致上是静止的，并被布置为横向于所述飞行器相对于地球的轨道(在涉及使设备的扫描带最大化的情况下优选地垂直于所述轨道)。

图1示意性地示出推扫式传感器10飞过场景的立体图。

将传感器10与包括彼此正交的三个轴线X、Y和Z的参照系关联，在该参照系中，X轴与传感器10的一行敏感单元的轴线平行，Y轴与所述传感器的移动方向平行，而Z轴朝向地球并与所述传感器的瞄准线形成值已知(在没有振动时可能为零)的角度。

通常而言，通过传感器获取线图像对每个敏感单元而言是同时进行的，并且连续的两次获取之间的采样周期大致上恒定。

因此，在观测序列期间，相继的线图像表现所观测的场景的不同的相继部分，这些部分彼此大致上对齐，并且彼此以大致上恒定的空间间距分隔开(当飞行器的水平速度大致上恒定时)。

然而，这样的传感器(空中或机载)经受如下振动：这些振动引入瞄准线的不期望的移动，从而导致了在场景当中所观测的部分的理论位置与实际位置之间的间隔。

在线图像中，这些间隔以线图像将在合成图像(如上所述通过对该线图像的简单并置)中占据的位置与其在所述合成图像中应该占据的位置之间的偏移的形式存在，以将传感器10的瞄准线的不期望的移动所引入的瞄准误差纳入考虑。

图2用实线示意性示出在合成图像当中两个连续的线图像L_i和L_i+1的位置。通过对齐像素将这两个线图像并置。用虚线示出线L_i+1可能在合成图像当中占据的位置，可注意到其示出相对于理论上瞄准的部分明显偏移的一部分场景。

从线图像L_i+1的偏移可理解，在合成图像中将引入几何形状的变形。

通常地，在通过所分配的敏感单元(比如陀螺仪)进行的获取期间估计低频(介于从零赫兹到几十赫兹的范围内)振动所引起的瞄准线的移动，以便能够确定并校正由低频振动所引起的线图像的偏移。

反之，不在通过所分配的敏感单元进行的获取期间确定高频(介于几十赫兹到几千赫兹之间)振动所引起的瞄准线的移动，这尤其因为这些移动并不对应于飞行器整体的移动，而是传感器和/或其支承的局部振动。

已知根据表现所观测场景的同一部分的两个图像来修正设备的瞄准线的专利申请FR2899344和专利申请US2008/031528。在这些图像中的每个图像中使与所观测场景的同一点对应的同源特征区域形成对应关系。然后通过比较表现同一场景的所述图像中的每个图像中的这些特征区域的位置来修正瞄准线。为了确定与所观测场景的同一点对应的同源特征区域，该方案基于以下事实：布置至少两个表现场景的同一部分的图像。该方案不能用于根据合成图像的线图像来修正瞄准线，所述线图像表现所观测场景的不同部分。

尚不存在允许对机载或空中的推扫式传感器所获取的合成图像的线图像校正偏移、并且在此情况下不用布置至少两个表现所观测场景的同一部分的图像的方案。

本发明提出通过如下方法解决上述问题：该方法用于对通过并置J个线图像而构成的合成图像的线图像的偏移进行估计，其中通过在天体上空飞行的飞行器上装载的传感器的一行敏感单元相继获取的线图像表现天体表面上的场景的不同部分，每个线图像均由多个像素构成，并且，由于传感器在线图像L_j(1≤j≤J)的获取期间的瞄准误差，导致线图像L_j在线图像L_j在合成图像中要占据的位置与其应该占据的位置之间存在横向偏移和/或纵向偏移。

根据本发明，根据不同线图像之间的相似度在横向和/或纵向上的变化的局部模型来估计线图像L_j相对于线图像L_i(j与i不同)的横向偏移和/或纵向偏移。

优选地，通过计算合成图像的不同线图像之间的相似度的值来确定该不同线图像之间的相似度在横向和/或纵向上的变化的局部模型。

优选地，该线图像偏移的估计方法包括估计线图像L_j相对于线图像L_i的相对横向偏移δ_j的步骤，其中通过针对一条线相对于另一条的横向位移的多个值计算线图像L_j与线图像L_i的相似度的值，来确定相继线图像之间的相似度在横向上的变化的局部模型，该相对横向偏移δ_j被估计为使得相似度的横向变化的模型的值最大的横向位移。

优选地，以像素的相对整数数量或实数数量的形式来估计线图像L_j相对于线图像L_i的相对横向偏移δ_j。

优选地，线图像偏移的估计方法包括对相继线图像的相对横向偏移δ_j积分，以相对于参考线图像确定累计横向偏移δ′_j的步骤。

优选地，线图像偏移的估计方法包括对相对横向偏移δ_j或累计横向偏移δ′_j进行低值截止滤波的步骤。

优选地，线图像偏移的估计方法包括估计线图像L_j相对于线图像L_i的相对纵向偏移Δ_j的步骤，其中计算线图像L_j与线图像L_i的相似度的值并基于相似度在纵向上的变化的局部模型，根据与线图像L_j和线图像L_i的相似度值对应的纵向间隔来估计相对纵向偏移Δ_j。

优选地，当已预先估计横向偏移时，对线图像L′_j而不是线图像L_j(1≤j≤J)施加估计相对纵向偏移Δ_j的步骤，所述线图像L′_j对应于对估计出的所述横向偏移进行校正之后的线图像L_j。

优选地，对于两个线图像之间的给定理论纵向间隔，把针对以所述给定理论纵向间隔分隔开的多对线图像计算的相似度的值取平均，来计算相继线图像之间的相似度的纵向变化的局部模型。

优选地，根据针对所述理论纵向间隔计算的值来进行插值，以在所述理论纵向间隔之间，计算相继线图像之间的相似度的纵向变化的局部模型。

优选地，线图像偏移的估计方法包括对相继线图像的相对纵向偏移Δ_j积分，以相对于参考线图像确定累计纵向偏移Δ′_j的步骤。

优选地，线图像偏移的估计方法包括对相对纵向偏移或累计纵向偏移进行低值截止滤波的步骤。

优选地，线图像L_j和线图像L_i是连续的线图像，并且/或者该估计方法的步骤被重复至少一次。

本发明还涉及一种基于存在偏移的线图像来形成合成图像的方法，该方法至少包括：

-实施根据本发明的偏移估计方法来估计线图像偏移的步骤，

-对估计出的线图像偏移进行校正的步骤，

-并置校正后的线图像的步骤。

本发明还涉及一种基于存在偏移的线图像来形成合成图像的方法，该方法至少包括：

-实施根据本发明的偏移估计方法来估计由第一传感器获取的第一组线图像的偏移的步骤，

-对于第二组线图像，将估计的偏移转换成第二组偏移的步骤，该第二组线图像是由装载在飞行器上的、与第一传感器经受实质相同的瞄准误差的第二传感器获取的，

-校正第二组线图像的第二组偏移的步骤，以及并置校正后的第二组线图像的步骤。

下文对本发明的实施方式的描述是结合附图进行的，这些附图以非限制性的方式示出：

-图1：如上所述，飞过要观测的场景的推扫式传感器的示意性图示，

-图2：如上所述，示出线图像的偏移的示意性图示，

-图3：示出根据本发明的优选实施方式的线图像偏移估计方法的不同步骤的图，

-图4：线图像的相似度在横向上的变化的局部模型的示例的图示，

-图5：线图像的相似度在纵向上的变化的局部模型的示例的图示，

-图6：示出根据本发明的合成图像形成方法的不同步骤的图。

如上文参照图1和图2所述，线图像是由装载在天体上空飞行的飞行器上的推扫式光学传感器10的一行敏感单元获取的，线图像被用于并置以形成表现天体表面上的场景的合成图像。非限制性地，下文说明中考虑天体是地球的情况。

推扫瞄准面允许相继地获取与所观测的场景的不同部分(也就是说非邻接部分或至多局部重合的部分)对应的线图像。合成图像的不同线图像因此表现所观测场景的不同部分。

传感器10的瞄准面的推扫例如通过飞行器(飞机、无人驾驶飞机、直升机、卫星等)相对于地球的位移来执行。根据另一示例，传感器10的瞄准面的推扫例如通过所述瞄准面相对于飞行器的位移(也就是说，例如借助于携带传感器10或与传感器10相对的反射镜的扫描机制、通过改变瞄准线与Z轴之间的角度值)来执行。这可以是按三个轴线稳定的用于同步轨道的观测卫星的情况。

假设同一线图像的像素是同步获取的，或者至少以使得同一线图像的像素的偏移相对于所述线图像的整体偏移而言可忽略的足够短的时间间隙获取的。这例如是像素获取频率明显比传感器10的最大振动频率(最大频率是移动的幅度相对于传感器10的尺度而言可忽略的频率，实际中为几百赫兹到几千赫兹的量级)大的情况。

可认为瞄准线的移动在线图像上主要表现为由瞄准线围绕Y轴的不期望的转动(被称为“横摇转动”)引起的横向偏移(基于传感器10的敏感单元行的X轴而言)和由瞄准线围绕X轴的不期望的转动(被称为“纵摇转动”)引起的纵向偏移。在下文说明中没有考虑瞄准线上的其它扰动(例如由传感器10围绕Z轴的转动引起的扰动)。

另外，主要对由高频(即在本发明的背景下高于几十赫兹(Hz))振动引起的偏移感兴趣。如前文所述，低频(介于零和几十赫兹之间)运动是通过本领域技术人员已知的其它途径估计的，例如基于相对于飞过的表面S的相对或绝对测量结果、可能与设备瞄准线的扫描角度的测量结果相关的飞行器取向和位移。

本发明涉及基于存在偏移的线图像来形成合成图像的方法和估计线图像的偏移的方法，借助计算设备(微控制器、配备微处理器的计算机等)来实现利用该存在偏移的线图像。该计算设备包括存储装置(磁性硬盘、闪存、光盘等)，其中保存要执行来实施根据本发明的方法的步骤的指令代码以及由传感器10获取的线图像。根据某些实施方式，该计算设备还包括ASIC(专用集成电路)、FPGA(现场可编程门阵列)等类型的专用集成电路，适用于实施根据本发明的方法的全部或部分步骤。

在实时处理的情况下，该计算装置优选地与传感器10一起装载在地球上空飞行的飞行器当中。在延时处理的情况下，计算装置既可以与传感器10一起装载在飞行器当中，也可以外置(也就是说位于地面基站中或者在地球上空飞行的第二飞行器当中)。

定义与注释

以下给出在下文说明中使用的定义与注释。应理解，出于本发明的实施方式的说明的需要而选择特殊的约定不对本发明构成限制，在不改变本发明的情况下采用其它约定也能等同地说明本发明。

可认为合成图像包括在不同时刻获取的数量为整数J的线图像L_i(1≤i≤J)，这些线图像表现地球表面S上的所观测场景的不同部分。实际应用中，J通常大于几百，甚至大于几千。

每个线图像L_i包括数量为整数N的像素，这些像素表现所观测部分的N个邻接区域。用L_i(n)表示线图像L_i的索引为n(1≤n≤N)的像素。实际应用中，N通常等于或大于几十个像素，某些应用可以高达几万像素。

线图像L_i在数学上可被看作变量x(针对区间[1；N]的x的整数值定义)的函数L_i(x)或者看作实数[L_i(1)，...，L_i(n)]的向量。

对于给定的索引n，像素L_i(n)(1≤i≤J)的集合构成合成图像的索引为n的列。索引为n的像素列在数学上可被看作变量y(针对区间[1；J]的y的整数值定义)的函数L_y(x)或者看作实数[L_i(n)，...，L_J(n)]的向量。

由于传感器10的瞄准线的不期望的移动所引起的瞄准误差，导致线图像L_i在线图像L_i在合成图像中将占据的位置与其在所述合成图像中应该占据的位置之间存在横向偏移和/或纵向偏移。线图像L_i的横向偏移和/或纵向偏移被非限制性地表达为像素的数量(整数或实数)。

所谓线图像L_j相对于线图像L_i的“相对偏移(横向和/或纵向的)”，指的是线图像L_j的横向偏移和/或纵向偏移与线图像L_i的横向偏移和/或纵向偏移之差。

根据本发明，根据相继线图像之间的相似度的改变的至少一个局部模型来估计线图像L_j相对于线图像L_i(j与i不同)的相对偏移，该局部模型通过计算合成图像的不同线图像之间的相似度的值来确定。

事实上，尽管线图像表现地球表面S上的观测场景的不同部分，但是由于观测场景的空间相关性，所以实际应用中在传感器10的扫描带的整体或部分的相继部分之间存在放射性测量相似度(ressemblanceradiométrique)。这对于实际应用中在传感器10的扫描带相对于场景的连续的两个部分之间的空间间隙而言较大(优选地100倍或更大，这在实用中通过如下两方面来保证：一方面通过包括一行至少几十个敏感单元的传感器，另一方面通过配置传感器10的推扫以便扫描邻接部分)时更加有效。

用R表示的相似度的函数将相似度R(L_i，L_j)的值与合成图像的线图像L_i和L_j关联起来。

相似度R的函数完全可以是所比较的线图像的函数，线图像在数学上被看作向量，向量在所述线图像一致时达到最大，并随着所述线图像之间的距离(指该术语在数学上的涵义)增大而减小，线图像之间的距离例如是欧几里得距离，或者是本领域技术人员已知的任何其它距离。

相似度R的函数例如是将所比较的线图像与相似度的值关联起来的互相关函数，相似度的值与所比较的线图像和相似度的值这两者的标量乘积成正比。

根据另一示例，相似度R的函数表示为如下形式：

R(L_i，L_j)＝exp(-‖L_i-L_j ‖²)

其中‖x ‖表示向量x的2范数。

根据另一示例，相似度R的函数表示为如下形式：

R(L_i，L_j)＝1-‖L_i-L_j ‖/(‖L_i ‖+‖L_j ‖)

更一般而言，两个线图像之间的相似度R的函数的计算可以不基于这两个线图像的像素的完整集合，而是基于缩小的像素子集，有利地所述两个线图像的秩相同。

所谓不同线图像之间的相似度在横向上的变化的局部模型，指的是表示合成图像的不同线图像之间的相似度如何按照不同线图像之间的横向间隔而变化的模型。

相似度在横向上的变化的模型(就线图像L_i这一局部而言)用R^lat _i表示。为了估计线图像L_i与L_j之间的相对横向偏移，横向变化的局部模型R^lat _i例如是将k个像素的横向间隔与用R_i，_j[k]表示的相似度R(L_i，L_j[k])的值关联起来的函数，其中线图像L_j[k]与被相对于线图像L_i横向平移k个像素的线图像L_j对应，从而L_j[k](n)＝L_j(n-k)。

在一般情况下，为了计算线图像L_i与L_j[k]之间的相似度的值，必须使这两个线图像在以下方面形成对应：两个线图像的秩为n的像素L_i(n)与L_j[k](n)(1≤n≤N)按Y轴对齐。

当k具有整数值时，线图像L_i与L_j[k]形成对应，当k不为零时所述线图像的边缘除外(如果(n-k)不在区间[1；N]以内，则L_i(n-k)不能被定义)。在这种情况下，为了使两个线图像L_i与L_j[k]形成对应，必须例如实施本领域技术人员已知的方法外推计算线图像L_j(和/或线图像L_i)，以确定先前没有定义的像素的值L_j(n-k)，即不包含在区间[1；N]以内的(n-k)的值。根据一种优选变型，在两个线图像之间形成对应局限于共用的像素子集，且相似度的计算将在该子集上进行。

可以将线图像L_j(这里被看作函数)的横向平移及其与其它线图像的对应的形成推广到非整数的像素数k。

在这种情况下，由于仅定义了整数n包含在区间[1；N]以内的像素的值L_j(n)，因此即使对包含在区间[1；N]以内的(n-k)的值而言，也没有定义像素的值L_j(n-k)。在这种情况下应该对线图像L_j重新进行采样，以针对横向平移k的非整数值确定像素的值L_j(n-k)。对线图像L_j(或者等同地对其中的K例如是k的整数子集的线图像L_j[K])的重新采样通过实施本领域技术人员已知的方法来进行，例如通过多项式(例如三次多项式)方法、样条函数(spline)以及截断香农采样(Shannon tronquée)等以变量x的非整数值对函数L_i(x)进行插值。

因此，通过重新进行采样和使线图像L_j[k]与L_i形成对应，线图像L_i与L_j[k]之间的相似度的值以及由此相似度的横向变化的局部模型R^lat _i的计算可以推广到非整数的k的值。

所谓不同线图像之间的相似度在纵向上的变化的局部模型，指的是表示不同线图像之间的相似度如何按照这些不同线图像之间的纵向间隔而变化的模型。

相似度的纵向变化的模型(就线图像L_i这一局部而言)用R^long _i表示。纵向变化的局部模型R^long _i例如是将线图像L_i和线图像L_i+m的相似度R(L_i，L_i+m)的值与m个像素的纵向间隔关联的函数。该模型可以以m的整数值来计算，并且可以例如通过插值推广到非整数值。

线图像偏移估计方法

该估计方法主要包括借助于相似度的横向变化和/或纵向变化的局部模型来估计合成图像的线图像L_j相对于该合成图像的线图像L_i的相对横向偏移和/或相对纵向偏移的步骤。

优选地，该估计方法还包括对相继线图像的相对横向偏移和/或相对纵向偏移进行积分以确定相对于被称为“参考线图像”的同一线图像的被称为“累计偏移”的偏移的步骤。

优选地，该估计方法还包括对横向偏移和/或纵向偏移进行低值截止滤波的步骤，该步骤在前一积分步骤之前、同时或之后进行，以全部或部分地消除相对偏移或累计偏移的估计的低频漂移。

下文在描述该估计方法的优选实施方式的范围内说明该估计方法的不同步骤，该范围以绝非限制本发明的示例性方式给出，其中实施所述方法被实施以同时估计横向偏移和纵向偏移。

下文描述的该方法的优选实施方式主要包括在图3中示意性地示出的下列步骤：

-横向偏移估计步骤20，

-横向偏移积分步骤21，

-横向偏移滤波步骤22，

-纵向偏移估计步骤23，

-纵向偏移积分步骤24，

-纵向偏移滤波步骤25。

a)横向偏移估计步骤20

在合成图像的线图像L_j相对于该合成图像的线图像L_i(1≤j≠i≤J)的相对横向偏移的估计的范围内说明横向偏移估计步骤20。

优选地，所考虑的线图像是连续的线图像，例如j＝i+1。该示例绝非限制本发明，并且在保留所述两个图像之间的相似度的存在(应该依据观测场景的类型逐一地验证)的情况下，本发明可以通过考虑合成图像的并非紧接着的线图像来实施。

借助合成图像的不同线图像之间的相似度的横向变化(就线图像L_i和L_i+1这一局部而言)的模型R^lat _i来估计线图像L_i+1相对于线图像L_i的相对横向偏移δ_i+1。

通过针对多个横向平移值k计算相似度的值R^lat _i(k)＝R_i，i+1[k]来确定该模型R^lat _i。

于是假设在没有任何干扰影响线图像L_i+1相对于线图像L_i的拍摄的情况下线图像L_i和L_i+1之间的相似度的拍摄时最大且该相似度随着k的绝对值增大而减小。该假设在线图像之间的放射性测量相似度(没有干扰)由于观测场景的空间相关性和由于传感器10的扫描带较大而变大的情况下更加合理。

基于该假设，将线图像L_i+1相对于线图像L_i的相对横向偏移δ_i+1估计为使得横向变化的局部模型R^lat _i的值最大的横向平移k：

δ_i+1＝arg(max_k(R^lat _i(k)))

图4示出横向变化的局部模型R^lat _i的示例，其中用“最大”指出针对所述模型的最大值获得的横向偏移δ_i+1。

根据所选择的实施方式，对于使横向变化的局部模型R^lat _i的值最大的横向平移k的搜索要么以横向平移k的相对整数值为限，要么针对实数值。

在以k的整数值为限的情况下，针对横向平移k的多个整数值计算线图像L_i+1L_i的相似度的值R_i，i+1[k]，优选地所有的整数值均包含在区间[-K₁；K₂]以内，其中K₁和K₂是像素的正实数或整数数量，优选地其数量级为10左右。由此计算出的相似度的值R_i，i+1[k]形成相似度的横向变化的局部模型R^lat _i。于是可以在该值的集合上确定使得横向变化的局部模型R^lat _i的值最大的k的整数值。

需要时，针对横向平移k的实数值的横向变化的局部模型R^lat _i的值等于如下确定的相似度的值R_i，i+1[k]：或者通过在计算相似度的值R_i，i+1[k]之前对线图像L_i+1重新进行采样来确定该相似度的值R_i，i+1[k]，或者通过基于针对整数值k计算的值R_i，i+1[k]来对横向变化的局部模型R^lat _i进行插值。

该插值可以根据允许基于已知值的离散集合来估计函数值的所有这样的方法来进行，比如线性插值、多项式或者最小二乘拟合，在这种情况下被插值的函数不一定转换成所计算出的所有的点(k，R_i，i+1[k])。

根据一种变型，可以针对以区间[-K₁；K₂]上的k的实数值的一组有限集合来计算横向变化的局部模型的值R^lat _i(k)。例如，可以考虑该区间内的是0.2个像素的倍数的所有k值。接着可以在该值的集合上确定使得所述模型的值最大的k的值。

根据一种变型，通过二分法来进行最大值的搜索。例如，参照附图4，可以针对从-3到+3的k的整数值来计算横向变化的局部模型R^lat _i的值R^lat _i(k)。如此看出针对k的非整数值进行插值的模型的最大值将位于0和+1之间。因此可计算模型的值R^lat _i(1/2)作为相似度值R_i，i+1[1/2]，该计算根据L_i和L_i+1[1/2](通过对L_i+1重新采样来获得)。接着，可比较k等于0、1/2和1的值R^lat _i(k)，以获知横向变化的局部模型R^lat _i的最大值位于区间[0，1/2]和[1/2，1]中的哪个区间内，然后可以继续迭代把每次把搜索区间收缩一半来进行二分法搜索。

应理解，在本估计方法的步骤20中可以实施所有搜索最大值的方法，并且对特定搜索最大值的方法的选择仅仅是根据本发明的估计方法的实施变型。

在相对横向偏移估计步骤20中，可以估计多个线图像的相对横向偏移。非限制性地，可以考虑估计索引为2至J的每个线图像相对于合成图像中的前一线图像的相对横向偏移。

b)横向偏移积分步骤21

对在前述步骤20中估计出的相对横向偏移δ_i+1(1≤i≤J-1)积分的步骤21旨在确定相对于合成图像的参考线图像的累计横向偏移，该参考线图像在在此所讨论的示例中是线图像L₁。可证实这在形成合成图像方面对使所有线图像形成对应所需的再采样而言有利。

在相对横向偏移δ_i+1(1≤i≤J-1)的积分步骤中，例如把所述相对横向偏移相加，从而获得的累计横向偏移(用δ′_i，1≤i≤J表示)可以用下列递归来表示：

δ′₁＝0，

δ′_i+1＝δ′_i+δ_i+1，其中1≤i≤J-1

c)横向偏移滤波步骤22

通过低值截止滤波来对累计横向偏移δ′_i(1≤i≤J)进行滤波。

滤波步骤22的目的在于全部或部分地消除累计横向偏移的低频变化，一方面，认为当瞄准误差引起低频变化时已由其它装置估计了这些低频变化，另一方面这些低频变化可能不是源自瞄准误差而是源自观测场景的变化。

在一种优选实施方式中，该滤波是带通滤波，即同时是低值截止和高值截止。在这种情况下，由于在实践中高频变化主要对应于测量噪声而不是传感器10的瞄准误差，因此也全部或部分地消除了高频变化。

在这里所讨论的其中传感器10的扫描带相对于观测场景的两个相继部分之间的空间间隙而言较大的情况下，所应用的滤波参数可以用像素表示。

优选地，用f_min表示的低截止频率是使得1/f_min介于几十个像素和几百个像素之间的这样的频率。在带通滤波的情况下，用f_max表示的高截止频率优选地是使得1/f_max的数量级为几个像素的这样的频率。

线图像L_i的滤波之后的累计横向偏移被表示为δ″_i，1≤i≤J。

可以在时域或频域中实现滤波。当上述计算是在不同时刻进行时，可以例如使用累计横向偏移δ′_i的集合的傅立叶变换以转入频域。

如上所述，可以在横向偏移积分步骤21之前、同时或之后进行滤波步骤22。

d)纵向偏移估计步骤23

在合成图像的线图像L_j相对于该合成图像的线图像L_i(1≤j≠i≤J)的相对纵向偏移的估计的范围内说明纵向偏移估计步骤23。

如上文在相对横向偏移估计步骤20中所述，所考虑的线图像优选地是合成图像的连续线图像，但本发明不局限于此，可以非限制性地考虑j＝i+1的情况。

在一种优选实施方式中，如下文所讨论的，在预先已估计了相对横向偏移的情况下，应用相对纵向偏移估计步骤23时将相对横向偏移考虑在内(231)，从而预先对线图像L_i校正所估计的所述相对横向偏移。在该优选方式下，在对应于线图像L_i的校正了估计出的所述相对横向偏移的线图像L′_i上进行步骤23。通过将线图像L_i横向平移所估计的横向偏移来实现该校正，需要时该平移还伴随着插值和/或再采样。因此，为了执行相对纵向偏移估计步骤23，可以考虑线图像L′_i，其对应于线图像L_i[δ′_i]或者优选地对应于有利地通过再采样形成对应的线图像L_i[δ″_i](1≤i≤J)。

应注意到，通过直接考虑线图像L_i(1≤i≤J)，关于相对纵向偏移估计步骤23的后续等式与不预先校正横向偏移地应用该步骤的情况中一样地使用。

通过确定合成图像的不同线图像的相似度的纵向变化(就线图像L′_i和L′_i+1这一局部而言)的模型R^long _i，来估计线图像L′_i+1相对于线图像L′_i的相对纵向偏移Δ_i+1。

在一种优选实施方式中，如下所述地确定相对于线图像L_i的相似度的纵向变化的局部模型。

优选地，针对包含在区间[0；M]以内的相继线图像的纵向间隔的值m来确定纵向变化的局部模型R^long _i，其中M是像素的正实数或整数数量，M大于1且优选地大于或等于2。

用像素表示的纵向间隔m的整数值对应于被m个获取周期的分隔开的相继线图像L′_i和L′_i+m之间的理论纵向间隔。由于在获取时所述线图像实际存在不期望的相对于传感器10的瞄准线的纵摇移动，因此该纵向间隔只是理论上的间隔。

优选地通过对相似度R_q，q+m[0]的值(即在没有横向平移的情况下形成对应的线图像L′_q和L′_q+m的相似度的值)进行平均，来确定针对m的整数值的模型的值R^long _i(m)。相似度R_q，q+m[0]的值是针对包含在局部区间[i-Q₁；i+Q₂]以内的每个整数q计算的，其中Q₁和Q₂是两个为正或为零的整数，并且其中至少一个严格为正整数。例如，模型的值R^long _i(m)表示为如下形式：

R^long _i(m)＝(1/(Q₁+Q₂+1))(∑_{q∈[i-Q1；i+Q2]}R_q，q+m[0])

其中，被平均化的相似度的值的数量(Q₁+Q₂+1)的数量级优选地为10左右，甚至为100左右。

根据一种特定的实施方式，对相似度R_q，q+m[0]的值的平均数用加权系数α_q进行加权。优选地，加权系数α_q随q与i拉开距离而减小。在这种情况下，模型的值Rl^ong _i(m)表示为如下形式：

R^long _i(m)＝(1/(∑_{q∈[i-Q1；i+Q2]}α_q))(∑_{q∈[i-Q1；i+Q2]}α_qR_q，q+m[0])

优选地，可以由此针对在区间[0；M]以内的m的所有整数值计算模型的值R^long _i(m)。

随后通过插值来确定针对m的实数值的模型的值R^long _i(m)。该插值可以通过实施本领域技术人员已知的所有方法来进行，比如线性插值、多项式、最小二乘拟合等。

图5示出合成图像的相继线图像的相似度的纵向变化的局部模型的示例。

由于相似度在线图像一致时最大，因此定义局部模型R^long _i在m等于0时最大，这是因为评估线图像L_i与其自身的相似度时m等于0。另一方面，可预计当m增大时，相似度的变化的局部模型值减小，因为线图像之间的纵向间隔越大，其呈现的所观察的场景中的部分越分离。

为了估计相对纵向偏移Δ_i+1，计算线图像L′_i和L′_i+1的相似度的值R_i，i+1[0]。

然后，根据合成图像的相继线图像的相似度的纵向变化的局部模型，来确定与相似度的值R_i，i+1[0]对应的不一定是整数的纵向间隔。

如图5中所示，将如下两者之差估计为相对纵向偏移Δ_i+1：根据相似度的纵向变化的局部模型针对相似度的值R_i，i+1[0](在图5中表示为“V₀”)确定的纵向间隔(在图5中表示为“M₀”)；以及线图像L′_i和L′_i+1的理论纵向间隔(即在此假设的情况中两个连续的线图像的理论纵向间隔为1)。

为了计算M₀，可以例如确定可被分块插值的函数R^long _i的逆函数，并通过R_i，i+1[0]计算其值M₀。

根据一种变型，可以针对在[0；M]内的m的多个实数值(例如基于插值后的模型的是0.2个像素的倍数的值)来计算值R^long _i(m)，并且确定使得值R^long _i(m)与R_i，i+1[0]最接近的m的值M₀。有利地，还可以通过二分法来精确对M₀的估计。

应理解，可实施所有搜索与相似度的值R_i，i+1[0]对应的纵向间隔的方法，并且特定的选择仅构成根据本发明的估计方法的实施变型。

优选地，针对要对其估计相对纵向偏移Δ_i+1的每个线图像L_i+1来更新相似度的纵向变化的局部模型。根据其它示例，从利于要执行的操作的质量的角度出发，把同一模型用于多个相继线图像，以便相对于针对每个线图像的更新的情况减小所述模型的更新频率。

在纵向偏移估计步骤23中，可以估计多个线图像的相对纵向偏移。非限制性地，可以考虑估计索引为2至J的每个线图像相对于前一线图像的相对纵向偏移。

应当注意到，在飞行器的低频运动和/或瞄准线经受较大的加速度的情况下，可能发生在获取期间进行获取的间隔不再大致上恒定，以使像素在纵向上的物理尺度改变。

在步骤23的一种特定实施方式中，对相似度的纵向变化的局部模型R^long _i的计算把已知的变化考虑在内。例如，可以考虑把线图像L′_q0的像素的尺度作为像素的参考纵向尺度，其中q0在[i-Q₁；i+Q₂]内。把其它线L′_q(q在[i-Q₁；i+Q₂]内)的像素的纵向尺度表示为该参考纵向尺度的未必为整数的倍数，其相乘因数是线图像L′_q的像素的物理纵向尺度与该参考纵向尺度之比。在这种情况下，线图像L′_q与L′_q+m之间的理论纵向间隔m′(q)不一定是整数，并且实质上可以随q的变化改变。接着，可以针对在[i-Q₁；i+Q₂]内的q和属于[0；M]的m来计算线图像L′_q与L′_q+m的相似度的函数R_q，q+m[0]。由于在当前情况下m′(q)是变量，因此平均值的计算不适用于相似度的纵向变化的局部模型的计算。在本方法的一种变型中，对于在[0；M]内的m的每个整数值，进行针对包含在[i-Q₁；i+Q₂]以内的q的所有值而获得的点(m′(q)，R_q，q+m[0])的重心计算，然后对由此获得重心进行插值，以获得相似度的纵向变化的局部模型R^long _i。在其它变型中，可以把相似度的纵向变化的局部模型确定为通过所有计算出的点(m′(q)，R_q，q+m[0])附近的最小二乘法曲线。

e)纵向偏移积分步骤24

如针对横向偏移一样，对相对纵向偏移进行积分以获得相对于合成图像的参考线图像的累计纵向偏移，该参考线图像在在此所讨论的示例中是线图像L₁。

在相对纵向偏移Δ_i+1(1≤i≤J-1)的积分步骤中，例如把所述相对纵向偏移相加。获得的累计纵向偏移(被表示为Δ′_i，1≤i≤J)可以用下列递归来表示：

Δ′₁＝0，

Δ′_i+1＝Δ′_i+Δ_i+1，其中1≤i≤J-1

f)纵向偏移滤波步骤25

如针对累计横向偏移一样，通过低值截止滤波来对累计纵向偏移Δ′_i(1≤i≤J)进行滤波。

优选地，该滤波是带通滤波。

优选地，所用的滤波与用于累计横向偏移的滤波一样，用相同的低截止频率f_min和相同的高截止频率f_max(后者仅在需要时存在)来定义。

线图像L_i的滤波之后的累计纵向偏移被表示为Δ″_i，1≤i≤J。

如上所述，可以在纵向偏移积分步骤24之前、同时或之后进行滤波步骤25。

g)补充备注

在一种特定实施方式中，可以通过对在估计方法的前一次迭代中校正了估计出的偏移的线图像重新应用估计方法，来进行估计方法的不同步骤的至少一次补充迭代。

更一般而言，应注意到根据本发明的估计方法的不同步骤(尤其是相对横向偏移估计步骤20和/或相对纵向偏移估计步骤23)可以在线图像L_i(1≤i≤J)的像素的子集上实施。

根据一种变型，该子集的选择是随意的，并且其目标主要在于减小计算相似度的值所需的计算(尤其是在边缘上的线图像的外推计算)的量。例如，可以只保存针对在[-K₁；K₂]内的横向平移k的所有值限定的中心的N-K₁-K₂个像素。

根据另一变型，该选择根据场景的内容标准来进行。例如，可选择相邻参考像素的一个或多个子集，其索引为{n1，n2，...，nA}，其中A小于N，并且A使得所述内容的方差大于给定阈值，或者使得所述内容的方差最大，所述方差例如根据下列表达式计算：

∑_i(∑_{n’∈{n1，...，nA}}|L_i(n′)²-∑_{n∈{n1，...，nA}}|L_i(n)|²|)

合成图像形成方法

本发明还涉及基于存在横向偏移和/或纵向偏移的线图像L_i(1≤i≤J)来形成合成图像的方法，预先由在地球上空飞行的飞行器上装载的推扫式传感器10获取这些线图像。

在一种优选实施方式中，该形成方法主要包括在图6中示出的以下步骤：

-估计线图像L_i的偏移的步骤30，

-校正估计出的偏移的步骤31，

-并置校正后的线图像的步骤32。

线图像偏移估计步骤30实施根据本发明的估计方法，以确定线图像L_i(1≤i≤J)的横向偏移和/或纵向偏移。下文中，非限制性地讨论同时估计和校正横向偏移和纵向偏移的情况。

优选地，实施该估计方法以估计滤波后的累计偏移，即横向偏移δ″_i和纵向偏移Δ″_i(1≤i≤J)。

在估计了横向偏移和纵向偏移之后，则在校正步骤31中对线图像L_i(1≤i≤J)进行校正。

优选地，该校正分两个时间进行：

-有利地在一开始就进行横向偏移校正，

-然后进行纵向偏移校正。

横向偏移校正通过线图像L_i(1≤i≤J)的再采样来进行。如上文所述，该再采样例如通过插值来进行，并在需要时伴随在边缘上进行外推。

校正横向偏移后的线图像L′_i对应于线图像Li[δ″_i](1≤i≤J)。

纵向偏移校正通过对合成图像的索引为n(1≤n≤N)的每列L_i(n)(1≤i≤J)(在此在数学上把列看作函数)进行再采样的来进行。该再采样通过实施本领域技术人员已知的插值方法来进行，比如三次插值法、截断香农采样或者使用样条函数等。

因此，对于给定的索引n，由于纵向偏移，因此像素L′_i(n)(1≤i≤J)的值实际上对应于针对索引为(i+Δ″_i)(1≤i≤J)的值。为了并置，像素的所述值应该被归结至索引i(1≤i≤J)。例如，考虑包含在区间[1；J]内的实数值y的索引(i+Δ″_i)(1≤i≤J))来对像素值L′_i(n)进行插值并在需要时进行在区间[1；J]外的y值的外推，以计算函数L′_y(n)。索引为n的第i(1≤i≤J)列像素的值(用L″_i(n)表示)被确定为函数L′_y(n)针对y等于i(1≤i≤J)时所取的值。值L″_i(n)(1≤n≤N)构成校正纵向偏移Δ″_i后的索引为i的线图像。

随后的步骤32旨在对由此校正的线图像进行并置，以形成合成图像。

在附图中未示出的一种根据本发明的形成方法的变型中，在步骤30中估计出的横向偏移和纵向偏移被用于估计第二组线图像的横向偏移和纵向偏移，该第二组线图像是由装载在与第一传感器10相同的飞行器上的第二传感器的敏感单元线获取的，并假设第二传感器经受与第一传感器10大致上相同的振动(这通常是这两个传感器放在一起和/或它们的焦平面一致的情况)。

在这种情况下，形成方法包括转换所估计的偏移的步骤，该转换步骤旨在利用针对第一组线图像L_i(1≤i≤J)估计出的偏移，来确定第二组线图像的第二组横向偏移和纵向偏移。

该转换步骤意图例如，修正源自第一组线图像L_i(1≤i≤J)的偏移的横摇转动和纵摇转动，然后根据所述横摇转动和纵摇转动确定引入第二传感器中的偏移。这些运算进行本领域技术人员已知的三角计算，并且尤其考虑了飞行器相对于地球表面S的高度、第一传感器10和第二传感器的尺度等。

一旦确定了第二组线图像的偏移，就通过执行校正步骤31和并置步骤32以分别对第二组线图像进行校正和并置，来形成合成图像。

应注意，按照其它实施方式，根据本发明的形成方法还包括额外步骤，比如旨在校正合成图像以完全或部分地消除由瞄准线和/或飞行器的低频运动所引起的几何形状的失真的步骤。例如基于常规装置来估计这样的低频运动，比如置于飞行器头部的传感器(位置传感器、速度传感器、线加速度和角度加速度的传感器)和/或使用界标(在地球表面上的位置已知的可识别点)。

本发明可尤其有利地应用于装载在地球上空飞行的飞行器上的推扫式传感器所获得的图像的处理领域。特别地，本发明通过适当的实时或延时处理允许对合成图像中的由在获取形成所述合成图像的线图像时传感器的高频振动所引起的几何形状变形进行校正。

特别地，本发明允许估计同一合成图像的不同线图像之间的横向偏移和/或纵向偏移，而不需要像现有技术中的情况一样布置表现观测场景的同一部分的至少两个合成图像。

Claims (15)

1.一种估计图像中的线图像偏移的方法，所述图像通过并置J个所述线图像构成，并且被称为“合成图像”，其中：

-所述线图像表现天体的表面(S)上的场景的不同部分，所述线图像由在所述天体上空飞行的飞行器上装载的传感器(10)的一行敏感单元相继地获取，并且每个线图像由多个像素构成，

-由于所述传感器(10)在获取线图像L_j期间的瞄准误差，导致在线图像L_j要在所述合成图像中占据的位置与其应该占据的位置之间存在横向偏移和/或纵向偏移，其中1≤j≤J，

所述方法的特征在于：根据不同线图像之间的相似度的横向和/或纵向变化的局部模型，估计线图像L_j相对于线图像L_i的横向偏移和/或纵向偏移，其中j与i不同。

2.根据权利要求1所述的估计方法，其中，通过计算所述合成图像的不同线图像之间的相似度的值，确定不同线图像之间的相似度的横向和/或纵向变化的局部模型。

3.根据权利要求2所述的估计方法，包括估计线图像L_j相对于线图像L_i的相对横向偏移δ_j的步骤(20)，在估计相对横向偏移δ_j的步骤(20)期间针对一条线相对于另一条线的多个横向平移值来计算线图像L_j与线图像L_i的相似度的值，以便确定相继线图像之间的相似度的横向变化的局部模型，所述相对横向偏移δ_j被估计为使相似度的横向变化的模型的值最大的横向平移。

4.根据权利要求3所述的估计方法，其中，线图像L_j相对于线图像L_i的所述相对横向偏移δ_j是像素的实数数量或相对整数数量。

5.根据权利要求3或4所述的估计方法，包括对相继线图像的所述相对横向偏移δ_j积分，以确定相对于所述合成图像的参考线图像的累计横向偏移δ′_j的步骤(21)。

6.根据权利要求5所述的估计方法，包括对所述相对横向偏移δ_j或所述累计横向偏移δ′_j进行低值截止滤波步骤(22)。

7.根据权利要求2至6之一所述的估计方法，包括估计线图像L_j相对于线图像L_i的相对纵向偏移Δ_j的步骤(23)，在估计所述相对纵向偏移Δ_j的步骤(23)期间计算线图像L_j与线图像L_i的相似度的值并基于纵向间隔来估计所述相对纵向偏移Δ_j，其中根据相似度的纵向变化的局部模型，所述纵向间隔对应于线图像L_j与线图像L_i的相似度的值。

8.根据权利要求7所述的估计方法，其中，当已经估计了横向偏移时，对线图像L′_j而不是线图像L_j执行估计所述相对纵向偏移Δ_i的步骤(23)，线图像L′_j对应于所估计的横向偏移已被校正后的线图像L_j，其中1≤j≤J。

9.根据权利要求7或8所述的估计方法，其中，对于两个线图像之间的给定的理论纵向间隔，把针对所述合成图像的以给定的所述理论纵向间隔分隔开的多对线图像计算的相似度的值取平均，来计算相继线图像之间的相似度的纵向变化的局部模型。

10.根据权利要求9所述的估计方法，其中，根据针对所述理论纵向间隔计算的值来进行插值，以在所述理论纵向间隔之间，计算相继线图像之间的相似度的纵向变化的局部模型。

11.根据权利要求7至10之一所述的估计方法，包括对相继线图像的所述相对纵向偏移Δ_j进行积分，以确定相对于所述合成图像的参考线图像的累计纵向偏移Δ′_j的步骤(24)。

12.根据权利要求11所述的估计方法，包括对所述相对纵向偏移或所述累计纵向偏移进行低值截止滤波的步骤(25)。

13.根据前述权利要求之一所述的估计方法，其中，所述估计方法的步骤被迭代至少一次。

14.一种基于存在偏移的线图像来形成合成图像的方法，其特征在于至少包括：

-实施根据前述权利要求之一的估计方法来估计线图像偏移的步骤(30)，

-校正所估计的所述线图像上的偏移的步骤(31)，

-并置校正后的所述线图像的步骤(32)。

15.一种基于存在偏移的线图像来形成合成图像的方法，其特征在于，包括：

-实施根据权利要求1至13之一的估计方法来估计由第一传感器(10)获取的第一组线图像的偏移的步骤(30)，

-针对第二组线图像将所估计的偏移转换成第二组偏移的步骤，所述第二组线图像是由装载在所述飞行器上的第二传感器获取的，并受与所述第一传感器(10)实质相同的瞄准误差的影响，

-校正所述第二组线图像上的所述第二组偏移的步骤(31)，

-并置校正后的所述第二组线图像的步骤(32)。

Images