CN104992438B - 一种结合历史图像序列的大时间跨度遥感图像配准方法 - Google Patents

Abstract

本发明公开了一种结合历史图像序列的大时间跨度遥感图像配准方法，该方法针对多时相遥感图像配准中，大时间跨度遥感图像变化大，特征匹配后误匹配多或数量不足的问题，引入两个时相间的历史图像序列，缩短遥感图像之间的间隔时间，减少时相之间遥感图像间的变化，提高特征匹配准确性，并将图像序列间特征匹配的空间关系传递到大时间跨度的遥感图像中，获得大时间跨度的遥感图像间的粗空间对应关系，使得大时间跨度遥感图像的特征匹配在空间关系的约束下进行，提高大时间跨度遥感图像的特征匹配的正确性。与现有技术相比较，本大时间跨度遥感图像配准方法在误匹配多的情况下，提高了特征匹配的准确度，在匹配特征数量不足的情况下，可获得粗空间对应关系。

Description

一种结合历史图像序列的大时间跨度遥感图像配准方法

技术领域

本发明属于数字图像处理技术领域，涉及一种多时相遥感图像配准方法，尤其涉及一种时间跨度大、存在历史图像序列的多时相遥感图像配准方法，其为通过历史图像序列获取大时间跨度遥感图像间像素点空间约束关系进而正确匹配特征和求解变换模型的方法。

背景技术

遥感图像能大面积反映地物情况，基于遥感图像的变化检测在土地监测、环境监测、灾害监测等方面有着广泛的应用，而多时相遥感图像配准是变化检测的基础。多时相遥感图像配准，其关键点在于找到可以匹配的特征并准确匹配，并基于准确匹配的特征获得空间映射关系，主要步骤包括特征提取、特征匹配、图像变换等。

可用于遥感图像配准的特征主要有点特征、线特征和区域特征等，典型的点特征有Harris、SIFT和SURF等，典型的线特征包括边缘、直线等；典型的区域特征有区域形状、区域纹理、区域互信息等。目前SIFT和SURF特征点具有较好局部不变性，在一些图像配准、拼接等应用中取得了较好的应用效果。

特征匹配主要将不同图像中同一地物或特征一一对应起来。特征匹配过程中，由于分辨率、成像机理的差异、平台差异等，同一地物在不同遥感图像中在颜色、纹理、形状等特征上会存在差异。这种差异导致提取的特征不相同，特征匹配时会发生误匹配现象。多时相遥感图像会进一步受拍摄角度差异、地物变化等影响，特征匹配的难度进一步加大。

图像配准中，参考图像和待配准图像间存在平移、缩放、旋转等几何变换，变换模型将建立参考图像和待配准图像间像素点的对应关系。图像配准中，变换模型求解主要利用图像中准确匹配的特征获得全图的变换模型，因此准确匹配的特征是其关键。

地物在自然和人为等因素下会发生改变，且时间越长，地物可能发生较大改变。对于时间间隔比较长的多时相遥感图像，地物的改变加大了参考图像和待配准图像间特征匹配的难度，容易导致：1)参考图像和待配准图像间找到的准确匹配的特征数量少，不能满足变换模型对特征数量的要求，从而不能建立参考图像和待配准图像间的空间变换模型；2)参考图像和待配准图像间建立的匹配特征间，存在大量误匹配，从而建立错误的空间变换模型。

随着遥感卫星的增加，所能获取的遥感图像越来越多，同一区域遥感图像历史数据逐步增多，历史数据间的时间跨度也逐步缩小。相对而言，在两幅时间间隔较短的遥感图像中，其地物改变较小，更容易获得配准中所需的正确匹配的特征。

现有遥感图像配准方法多能将参考图像和待配准图像间地物较为一致的图像进行准确配准，但对于大时间跨度的多时相遥感图像，由于地物变化较大、地物一致性较差，图像间难以获得准确匹配的特征。变化检测过程中，存在大时间跨度图像配准的需求，需要一种能借助历史图像序列间接完成大时间跨度多时相遥感图像配准的方法，提高配准精度。

发明内容

本发明所要解决的技术问题在于提供一种结合历史图像序列的大时间跨度遥感图像配准方法。该方法将历史图像序列插入时间跨度大的多时相遥感图像中，通过减少多时相遥感图像配准中时间间隔，降低图像差异性，以更好地匹配特征而获得图像间像素点空间约束关系，使得大时间跨度的遥感图像配准仍可获得变换模型。

为实现上述目的，本发明所述结合历史图像序列的大时间跨度遥感图像配准方法包括如下步骤：

步骤(1)、获取原始待配准图像对的时相：将需要配准的大时间跨度遥感图像视为原始待配准图像对，查找原始待配准图像对的拍摄时间；

步骤(2)、查找并插入历史图像数据：针对同一区域，以原始待配准图像对的时相为起止，在遥感图像库中查找历史图像，并按时间排序，形成历史图像序列；

步骤(3)、优化历史序列图像：以原始待配准图像对为起始，以准确匹配的特征对的数量为依据，逐步在历史图像序列中选取匹配效果好的图像，形成图像优化序列，使得图像优化序列中相邻图像形成的图像对具有较多的准确匹配的特征对，并在图像选取过程中，利用次优解解决图像优化序列不收敛的问题，通过扩大遥感图像覆盖范围、降低特征提取条件，以获得更多的特征，解决准确匹配的特征对数量不足问题；

步骤(4)、获取原始待配准图像对的粗空间变换模型：针对图像优化序列，依次取出相邻图像形成图像对，计算相邻图像间的变换模型，采用逐步链接的方式获得原始待匹配图像对间存在的粗空间变换模型，该粗空间变换模型可在一定误差内描述原始待匹配图像对间像素点的空间对应关系；

步骤(5)、空间约束下删除原始待匹配图像对的误匹配特征：利用获得的原始待匹配图像对间的粗空间变换模型，针对原始待匹配图像对的特征初步提取与匹配结果，删除特征对中空间关系超出了粗空间变换模型和误差估计的特征对，再利用RANSAC技术选取出更为准确匹配的特征。

步骤(6)、求解原始待配准图像对的准确空间变换模型：利用准确匹配的特征对求解准确的空间变换模型。

其中，步骤(2)中，所述原始待配准图像对以及历史图像为全色、多光谱、红外和SAR中的一种或多种；

其中，步骤(3)中，所述准确匹配的特征对是通过提取特征、特征初匹配和RANSAC技术去除部分误匹配获得；

其中，所述步骤(5)中，所述误差的设定是根据时间跨度、图像优化序列的长度和遥感图像分辨率等进行经验设置。

本发明的原理在于：一种结合历史图像序列的大时间跨度遥感图像配准方法，其步骤具体的解释如下：

步骤(1)、获取原始待配准图像对的时相：查找原始待配准图像对中两幅图像的拍摄时间；

步骤(2)、查找并插入历史图像数据：以原始待配准两幅遥感图像的拍摄起止时间，针对同一区域，在遥感图像数据库中查找处于两幅图像拍摄时间之间的遥感图像，并按时间依次插入到待配准的两幅图像之间，形成历史图像序列；

步骤(3)、优化历史图像序列：优选出部分图像得到一个遥感图像优化序列，该序列的相邻图像具有较好的匹配效果，优选过程中选取某一特征的匹配准确性作为优选图像的依据，按时间递推，在图像序列中逐步选取出部分图像；

步骤(4)、获取原始待配准图像对的粗空间变换模型：在图像优化序列中，依次取出相邻的两图像形成图像对，提取并匹配图像对中的配准特征，采用一定方法去除一定的错误匹配的特征后，获得图像优化序列中相邻图像的变换模型，以此得到原始待配准图像对的粗空间变换模型；

步骤(5)、空间约束下删除原始待匹配图像对的误匹配特征：针对原始待匹配图像对提取并匹配的特征，分析匹配的特征间的空间关系是否在一定范围内满足利用步骤(4)获取的粗空间变换模型，如果空间关系偏离粗空间变换模型较大，则认为是误匹配的特征对，删除之，对剩下的匹配特征对再次采用RANSAC技术选取出准确匹配的特征对；

步骤(6)、求解原始待配准图像对的准确空间变换模型：查看步骤(5)获得的准确匹配的特征对数量是否满足空间变换模型求解，如果满足，则利用正确匹配的特征对求解原始待配准图像对的准确空间变换模型，如果不满足，则利用步骤(4)获得的粗空间变换模型估计原始待配准图像对的空间关系。

本发明提出的结合历史图像序列的大时间跨度遥感图像配准方法具有如下的优点：

1.若两个时间相隔较长的图像，因变化差异较大，未能获取足够的匹配特征点对和变换模型时，通过插入历史图像，以递推方式获得粗空间变换模型，该模型能在一定误差范围内估计图像间的空间关系；

2.若两个时间相隔较长的图像，因变化差异较大，所获取的匹配特征对中存在较多误匹配时，可以在空间约束关系下删除误匹配特征对，从而利用更准确的匹配特征对获得准确的变换模型。

附图说明

图1为一种结合历史图像序列的大时间跨度遥感图像配准方法流程图；

图2为插入历史图像序列的图像序列；

图3为SURF特征点提取与匹配示意图；

图4为SURF特征点匹配后RANSAC去除误匹配示意图；

图5为以正确匹配点对数量选取图像结果示意图；

图6为图像优化序列中相邻图像对SURF特征点提取与匹配示意图。

具体实施方式

下面结合附图以及具体实施方式进一步说明本发明。

如图1所示，本发明的实现共分为6个主要步骤，分别为：获取原始待配准图像对的时相、查找并插入历史图像数据、优化历史序列图像、获取原始待配准图像对的粗空间变换模型、删除原始待配准图像对误匹配点和获取原始待配准图像对的准确空间变换模型。下面以将某区域时相分别为T_a和T_b的多光谱遥感图像I_a和I_b配准为例，对本发明的具体实施步骤进行详细的说明。

(1)获取原始待配准图像对的时相

将需要配准的大时间跨度遥感图像I_a和I_b视为原始待配准图像对，查获其拍摄时间分别为T_a和T_b。

(2)查找并插入历史图像数据

在T_a与T_b的时间跨度中，查找同区域的遥感图像，假设存在时相为T_a+1,T_a+2,…,T_b-2,T_b-1的历史图像序列I_a+1,I_a+2,…,I_b-2,I_b-1，且时间关系满足T_a<T_a+1<T_a+2<…<T_b-2<T_b-1<T_b，将历史图像序列I_a+1,I_a+2,…,I_b-2,I_b-1插入到I_a和I_b之间得到图像序列I_a,I_a+1,I_a+2,…,I_b-2,I_b-1,I_b，如图2所示。

(3)优化历史图像序列

受图像质量的影响，在历史图像序列I_a+1,I_a+2,…,I_b-2,I_b-1中不是所有图像能直接与相邻的图像获取较好的匹配特征和变换模型，为此，从历史序列I_a+1,I_a+2,…,I_b-2,I_b-1中优选出部分图像I_r1,I_r2,…,I_rk,I_mk,…,I_m2,I_m1，以形成图像优化序列I_a,I_r1,I_r2,…,I_rk,I_mk,…,I_m2,I_m1,I_b，使得相邻图像间存在较为准确的变换模型。图像优化序列I_a,I_r1,I_r2,…,I_rk,I_mk,…,I_m2,I_m1,I_b中，<I_rp,I_mp>(p＝1,2,3,…,k)是成对加入的。图像优选过程中，可用于图像配准的特征包括点特征、边特征和区域特征等，本发明选取SURF特征点作为配准特征对特征提取与匹配进行说明。

以图像对<I_r1,I_m1>加入到图像优化序列为例，说明图像优化序列形成过程。此时，图像对<I_a,I_b>作为图像对<I_r1,I_m1>的参考，主要包含以下子步骤：

(a)图像I_a与图像I_b形成待匹配图像对<I_a,I_b>，在该图像对中分别提取数量为n的SURF特征点，先利用SURF描述的相似性对提取的SURF特征点进行匹配，如图3所示，然后采用RANSAC方法去除一些误匹配的特征点对，如图4所示，记正确的匹配点对数量为C_ab。

(b)依次从I_a+1,I_a+2,…,I_b-2,I_b-1中取出图像I_i(i＝a+1,a+2,…,b-2,b-1)，与图像I_a形成待配准图像对<I_a,I_i>，在该图像对中分别提取SURF特征点，类似子步骤(a)，获得正确的匹配点对，记正确的匹配点对数量为C_a,i，并选择C_a,i最高的情况x作为I_a的最优匹配图像I_x，如图5所示。若x为多解，则选取T_x与T_a时间间隔大的解为最优解。并以C_a,i和时间间隔为依据，选取次优解I_x'。

(c)依次从图像I_a+1,I_a+2,…,I_b-2,I_b-1中取出图像I_j(j＝a+1,a+2,…,b-2,b-1)，与图像I_b形成待配准图像对<I_j,I_b>，在该图像对中分别提取SURF特征点，类似子步骤(b)，获得正确的匹配点对，记正确的匹配点对数量为C_j,b，并选择C_j,b最高的情况y作为I_b的最优匹配图像。若y为多解，则选取T_y与T_b时间间隔大的解为最优解。并以C_j,b和时间间隔为依据，选取次优解I_y'。

(d)如果x≤y，比较C_a,x、C_y,b与C_a,b，若C_a,x>C_a,b且C_y,b>C_a,b，则将<I_x,I_y>加入图像优化序列，即I_r1＝I_x，I_m1＝I_y；图像I_r1与图像I_m1形成待配准图像对<I_r1,I_m1>，在该图像对中分别提取SURF特征点，类似子步骤(b)，获得正确的匹配点对，记正确的匹配点对数量为C_r1,m1。

(e)如果x≤y，比较C_a,x、C_y,b与C_a,b，若C_a,x<C_a,b或C_y,b<C_a,b，则结束。

(f)如果x>y，则结束。

继续以新获取的图像对<I_x,I_y>作为图像对<I_r2,I_m2>的参考，按步骤(a)～(f)从I_x+1,I_x+2,…,I_y-2,I_y-1中选择与图像对<I_x,I_y>匹配效果较好的图像对<I_r2,I_m2>出来。依此类推，逐步获得<I_r1,I_m1>、<I_r2,I_m2>…<I_rl,I_ml>。

图像优化序列中I_r1,I_r2,…,I_rk,I_mk,…,I_m2,I_m1是<I_r1,I_m1>、<I_r2,I_m2>…<I_rl,I_ml>形成序列的子序列，选择C_rl,ml的最大值作为k的取值。

如果C_rk,mk小于变换模型求解所需的特征点对的数量，则图像优化序列不收敛，不能形成一个序列链，可由rl或ml倒退选取I_ri或I_mi的次优解，退到该次优解为起始的位置，计算后续的图像优化序列中的图像，尝试获取一个连接的序列。如果尝试失败，则利用历史图像序列不能获得图像优化序列，即不能通过历史图像数据获得原始待配准图像对间的空间变换模型。

为了保证空间变换模型求解的有效性，上述子步骤中，计算正确匹配度C_ax、C_yb时，所能获取的匹配正确点对应大于等于变换模型求解所需的特征点对数量。如果不能通过历史图像序列获得图像优化序列，建议扩大遥感图像区域或者降低提取SURF特征点的条件，以获得更多的特征点对。

上述主要介绍了同时以I_a和I_b为起始，由遥感图像优化序列的两头开始双向逐步加入匹配效果较好的历史图像，以获取遥感图像优化序列。此外，也可以I_a或I_b为起始，单向逐步加入匹配效果较好的历史图像，以获取遥感图像优化序列。

(4)获取原始待配准图像对的粗空间变换模型

针对获得的图像优化序列I_a,I_r1,I_r2,…,I_rk,I_mk,…,I_m2,I_m1,I_b，依次取出相邻的图像，形成2k+1对待配准图像对<I_a,I_r1>、<I_ri,I_ri+1>、<I_rk,I_mk>、<I_mi+1,I_mi>、<I_m1,I_b>，其中i＝1,2,…k-1。依次提取2k+1对待配准图像对的特征点并匹配特征点对，如图6所示，根据特征点对依次获得变换模型A₁,A₂,…,A_2k,A_2k+1，然后采用逐步链接的方式获得<I_a,I_b>的空间变换模型。典型的变换模型包括仿射变换、多次项变换模型等。不同变换模型求解过程中特征点对数量的要求不同，对应的精度也不同，本发明以仿射变换模型为例说明，最少要求3对特征点对求解仿射变换模型。<I_a,I_r1>间存在仿射变换模型A₁，则I_a的像素点(x_a,y_a)与I_r1的像素点(x_r1,y_r1)间存在如下空间关系：

其中

对于仿射变换模型，存在于大跨度时间的原始待配准图像对<I_a,I_b>的仿射变换模型为A＝A₁·A₂·…·A_2k·A_2k+1，即I_a的像素点(x_a,y_b)与I_b的像素点(x_b,y_b)间存在如下空间关系：

仿射变换模型A₁,A₂,…,A_2k,A_2k+1存在一定误差，因此仿射变换模型A并不能精确的描述<I_a,I_b>所对应的仿射变换模型，但能在一定误差e内描述I_a与I_b之间像素点间的对应关系。

对于多项式等变换模型，逐步链接的方式是利用A₁,A₂,…,A_2k,A_2k+1采用迭代的方式建立I_a与I_b之间像素点间的对应关系。

(5)删除原始待配准图像对误匹配特征

提取I_a与I_b中的SURF特征点，并根据SURF特征点描述匹配SURF特征点，对于I_a与I_b中匹配的特征点对(x_a,y_a)与(x_b,y_b)，比较它们的空间关系是否满足仿射变换A及误差e，见公式，如果不满足则为误匹配点对。误差e可根据时间跨度、遥感图像优化序列的长度等进行经验设置。空间约束下删除误匹配点对后，再采用RANSAC技术去除误匹配点对，得到准确性高的匹配特征点对。

(6)获取原始待配准图像对的准确空间变换模型

经步骤(5)后，获取较为准确的匹配特征点对，如果准确特征点对数量满足变换模型需要，则可以直接求解I_a与I_b之间的准确变换模型A'；如果准确特征点对数量不满足变换模型需要，则可直接用变换模型A估计I_a与I_b之间的空间关系。

本发明所提供的多时相遥感图像配准方法主要是为了提高两个时相之间时间跨度较长、且历史图像较为充足的遥感图像的配准正确性而专门提出。但显然，本多时相遥感图像配准方法适用于多类型的遥感图像，如全色、多光谱、高光谱、SAR、红外等。

本发明未详细公开的部分属于本领域的公知技术。

以上对本发明所提供的结合历史图像序列的大时间跨度遥感图像配准方法进行了详细说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员而言，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (4)

1.一种结合历史图像序列的大时间跨度遥感图像配准方法，其特征在于：包括如下步骤：

步骤(1)、获取原始待配准图像对的时相：将需要配准的大时间跨度遥感图像视为原始待配准图像对，查找原始待配准图像对的拍摄时间；

步骤(2)、查找并插入历史图像数据：针对同一区域，以原始待配准图像对的时相为起止，在遥感图像库中查找历史图像，并按时间排序，形成历史图像序列；

步骤(3)、优化历史序列图像：以原始待配准图像对为起始，以准确匹配的特征对的数量为依据，逐步在历史图像序列中选取匹配效果好的图像，形成图像优化序列，并在图像选取过程中，利用次优解解决图像优化序列不收敛的问题，通过扩大遥感图像覆盖范围、降低特征提取条件，以获得更多的特征，解决准确匹配的特征对数量不足问题；

步骤(4)、获取原始待配准图像对的粗空间变换模型：针对图像优化序列，依次取出相邻图像形成图像对，计算相邻图像间的变换模型，采用逐步链接的方式获得原始待匹配图像对间存在的粗空间变换模型，该粗空间变换模型可在一定误差内描述原始待匹配图像对间像素点的空间对应关系；

步骤(5)、空间约束下删除原始待匹配图像对的误匹配特征：利用获得的原始待匹配图像对间的粗空间变换模型，针对原始待匹配图像对的特征初步提取与匹配结果，删除特征对中空间关系超出了粗空间变换模型和误差估计的特征对，再利用RANSAC技术选取出更为准确匹配的特征；

步骤(6)、求解原始待配准图像对的准确空间变换模型：利用准确匹配的特征对求解准确的空间变换模型。

2.根据权利要求1所述的一种结合历史图像序列的大时间跨度遥感图像配准方法，其特征在于：步骤(2)中，所述原始待配准图像对以及历史图像为全色、多光谱、红外和SAR中的一种或多种。

3.根据权利要求1所述的一种结合历史图像序列的大时间跨度遥感图像配准方法，其特征在于：步骤(3)中，所述准确匹配的特征对是通过提取特征、特征初匹配和RANSAC技术去除部分误匹配获得。

4.根据权利要求1所述的一种结合历史图像序列的大时间跨度遥感图像配准方法，其特征在于：步骤(5)中，所述误差的设定是根据时间跨度、图像优化序列的长度和遥感图像分辨率进行经验设置。