CN102073990A - 一种遥感图像自动几何纠正的系统框架和方法 - Google Patents

Abstract

本发明提供一种遥感图像自动几何纠正的系统框架和方法。该框架包含一个区域级参考图像集，利用该参考数据为基准图像对新图像进行几何纠正。主要包括三个步骤：利用待纠正图像的四个角点坐标信息和系统校正误差的估算值，提取对应于待纠正图像区域的参考图像和DEM(或DTM)作为控制影像；将控制图像与待纠正图像进行自动匹配，获得控制点；基于控制点建立待纠正图像和控制图像之间的纠正模型，对图像进行纠正。

Description

一种遥感图像自动几何纠正的系统框架和方法

技术领域

本发明涉及遥感图像处理中的图像几何纠正技术，尤其是遥感图像的几何精纠正或正射纠正技术。

背景技术

遥感图像在成像时，由于成像投影方式、传感器外方位元素变化、传感介质的不均匀、地球曲率、地形起伏、地球旋转等因素的影响，使获得的遥感图像相对于地表目标存在一定的几何变形。所有的遥感图像在应用前必须进行几何处理，使处理后图像上的像元点与地表的地理位置或地图严格对准，该过程称为遥感图像的几何纠正。

遥感图像的几何纠正通常包括两个过程：系统校正或几何粗纠正、几何精纠正或正射纠正。系统校正是纠正遥感图像在几何位置上的系统性形变。系统性几何变形是有规律的和可以预测的，可以通过模拟遥感平台及遥感器内部变形的数学公式或模型来预测，但由于可精确模拟和预测的系统性形变的精确度有限，导致系统误差改正后影像上还存在剩余形变。剩余形变一般认为是非系统性的形变，是由遥感平台的高度、经纬度、速度和姿态等不稳定因素或地球曲率变化等引起的，是难以预测的，一般借助地面控制点(GCP，Ground ControlPoints)作进一步的几何处理，实现图像与标准参考图像或地图的配准，这种对剩余形变的纠正就是几何精纠正。进一步地，利用GCP、数字高程模型(DEM，Digital Elevation Model)或数字地形模型(DTM，Digital Terrain Modal)结合纠正模型纠正因地形起伏、太阳高度角和成像视角引起的几何形变，就是正射纠正。

显然，不管是几何精纠正还是正射纠正都是建立在GCP基础之上的，而控制点的采集是需要经验且繁重的工作。不考虑野外采集GCP的模式，常规的采集GCP的工作是由人工对照地图和图像来完成的，而且控制点的精度依赖于采集者个人的认识水平和技能，这使得采集控制点的工作耗时长，严重影响几何纠正的效率。因此提高控制点的采集速度是许多遥感图像几何纠正着力解决的问题。其中基于控制点库的几何纠正是许多商业系统为提高几何纠正效率实际运行所采用的处理方式，如PCI软件系统。

假定控制点库中已经存储了控制点的经纬度坐标和以控制点为中心的图像片。基于控制点库进行几何精纠正或正射纠正的过程为：根据待纠正影像四个角点的经纬度从数据库中查询出落入该范围的已知控制点片，并根据其地理坐标计算映射到待纠正影像的大致位置，然后在待纠正影像上进行控制点图像片的匹配检测并定位控制点的位置。

使用控制点库纠正图像有优点也有缺点。优点是：控制点图像片都是以特征点为中心选取的，在匹配时会得到较高的匹配度；控制点图像片是局部数据，整体误差对控制点片匹配的影响较小；一定区域内控制点片的数量有限且分布相对均匀，因此匹配的效率较高。缺点是：需要大量的人工工作以采集充实控制点库；某些区域内控制点片的数量可能太少且分布密度太低；不同空间分辨率和光谱波段的遥感图像可能需要分辨率和谱段不同的控制点片。

发明内容

本发明针对现有技术中存在的缺陷和不足，提出一种新的遥感卫星图像自动纠正的框架，该框架没有使用控制点库而是一种利用几何精度满足要求的参考数据为基准图像对新图像进行几何纠正的系统和方法。它通过在参考图像上和待纠正图像进行自动匹配获得控制点，继而通过控制点建立图像形变模型来纠正图像。

本发明的技术方案如下：

一种基于区域级参考图像对遥感卫星图像自动纠正的框架和方法。其特征在于包括以下步骤：

(1)包含一个区域级参考图像集。参考数据集主要包括两类数据：有准确地理编码的遥感图像和同区域的DEM数据，数据的范围可以是局部区域或全球范围的数据，至少包括待纠正图像的区域。地理编码的遥感图像通常选用任何已经经过正射纠正，认为几何精度满足要求可作为基准图像的图像组成；

(2)控制图像，即参考图像集中感兴趣区域(ROI)的提取。待纠正图像是经过系统纠正的图像，系统待纠正图像的四个角点坐标是包含了系统校正误差的地理坐标，以此为参考，加上系统误差的估算值，可将对应于待纠正图像的参考图像和DEM(或DTM)提取出来作为控制影像，称为感兴趣区域(ROI)图像；

(3)图像自动匹配。将控制图像与待纠正图像进行自动匹配，获得控制点；

(4)图像纠正。基于控制点建立待纠正图像和控制图像之间的纠正模型，继而利用纠正模型对待纠正图像进行纠正。

本发明与现有技术相比具有下列优点：直接利用参考图像动态提取临时的图像控制点进行纠正，无需人工工作采集充实控制点库；控制点的分布和数量可以依据需要调节；可将参考数据集存储在本地或异地，从而支持网络环境下并行的几何纠正作业。

附图说明

图1遥感图像自动纠正框架和基本流程图

图2利用待纠正图像的角点坐标确定控制影像区域的示意图

图3模板匹配模板窗口和搜索窗口示意图

图4待纠正图像和控制图像自动匹配流程图

图5NCC快速算法中和表s(u，v)和s²(u，v)递推关系示意图

具体实施方式

下面结合附图通过实施例对本发明作进一步的详细说明。

图1是遥感图像自动纠正框架和基本流程图。它包括三个步骤：

(1)控制图像或ROI提取。待纠正图像是经过系统纠正的图像，系统纠正图像的四个角点坐标是包含了系统校正误差的地理坐标，以此为参考，加上系统误差的估算值，可将对应于待纠正图像的参考图像和DEM(或DTM)提取出来，作为控制图像，该控制图像的区域覆盖待纠正图像含系统性误差的范围，如附图2所示。附图2中图像的四个角点坐标分别是C₁，C₂，C₃，C₄，由于是系统校正，每个坐标含有误差，假设横向和纵向误差范围不超过e，则控制图像的范围是图2中A的范围，它覆盖了待纠正图像的区域范围。

(2)控制图像与待纠正图像的自动匹配。该步骤是整个发明的核心部分，包含五个处理单元，如图3所示。

单元100利用待纠正图像和控制图像的空间分辨率信息调整待纠正图像的空间分辨率，使待纠正图像的空间分辨率与控制图像的空间分辨率相等。调整方法采用图像重采样方法。另外可依据待纠正图像的定向信息对图像重新定向使其与控制图像具有相同或相似的定向。图像重新定向本质是对图像旋转，也采用重采样方法。一般可将分辨率调整和图像定向在一个过程中完成。

单元110是特征点提取单元。实际应用中常常要求自动提取的控制点和人工选择的控制点有尽可能多相似的特征，如控制点的候选点应具备以下特征：容易精确定位；稳定、不易发生变化；有明显的视觉特征；角点、道路的拐点、交叉点等都是具有上述特征的点。为此采用特征提取算子可以生成控制点候选点。遥感图像处理中常见的特征点提取算子有Moravec算子、

算子、Harris算子等。可以选择其中任何一个算子来提取特征点。在本发明的实施例中，我们选择

算子提取特征点，分别在待纠正图像和参考图像上提取特征点。

单元120是特征点匹配单元。经过单元100的处理，待纠正图像和参考图像具有同样的空间分辨率和几乎相同的定向。特征点匹配一般采用模板匹配方法。模板匹配分别以待纠正图像和参考图像上的特征点为中心，在两幅图像中提取模板窗口和搜索窗口。模板窗口通常选用方形窗口，窗口大小可以预先给定，比如取值129*129；搜索窗口通常也为方形窗口，窗口尺寸宽一般至少取模板尺寸与2e的和，e是系统误差中横向和纵向误差的最大值。

模板匹配的过程就是模板窗口在搜索窗口中逐点移动，利用相似性判别准则计算模板和其重叠区域的相似度或匹配度，找到相似度最大的位置，如果相似度大于设定的阈值，就认为找到了一个匹配点。为忽略因亮度因素造成的图像差异，本发明采用归一化相关系数γ(NCC，Normalized Cross Correlation)作为相似性判断准则，并使用NCC快速算法计算归一化相关系数γ。归一化相关系数的计算公式如下：

$\mathrm{\γ}=\frac{{\mathrm{\Σ}}_{x,y}[f(x,y)-{\stackrel{\‾}{f}}_{u.,v}][t(x-u,y-v)-\stackrel{\‾}{t}]}{\sqrt{{\mathrm{\Σ}}_{x,y}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2{\mathrm{\Σ}}_{x,y}{[t(x-u,y-v)-\stackrel{\‾}{t}]}^2}}$

式中，如附图4所示，，(u，v)为当前模板窗口左上角相对于搜索窗口左上角的坐标偏移，即当前模板位置，f(x，y)，t(x，y)分别为搜索窗口和模板窗口灰度分布函数，

和

分别为待纠正图像和参考图像在搜索窗口和模板窗口范围内的像元灰度均值。

NCC快速算法是一种空间域计算的方法，核心是在搜索窗口预先计算图像像素及其像素平方的两个和表以简化γ的计算过程，大幅度减少γ和下面两个和值

${\stackrel{\‾}{f}}_{u,v}=\frac{1}{N_x{N}_y}\underset{x=u}{\overset{u+N_x-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+N_y-1}{\mathrm{\Σ}}}f(x,y)$

$e_f(u,v)=\underset{x=u}{\overset{u+N_x-1}{\mathrm{\Σ}}}\underset{y=v}{\overset{v+N_y-1}{\mathrm{\Σ}}}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2$

的时间开销。在本发明的实施例中，取N_x＝N_y＝N。NCC快速算法的计算步骤是：

1)递推计算和表s(u，v)和s²(u，v)，递推关系如附图5所示，其中

$s(u,v)=\underset{i=0}{\overset{u-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{v-1}{\mathrm{\Σ}}}f(i,j)=f(u,v)+s(u-1,v)+s(u,v-1)-s(u-1,v-1)$

$s^2(u,v)=\underset{j=0}{\overset{u-1}{\mathrm{\Σ}}}\underset{i=0}{\overset{v-1}{\mathrm{\Σ}}}{f}^2(i,j)=f^2(u,v)+s^2(u-1,v)+s^2(u,v-1)-s^2(u-1,v-1)$

2)利用和表快速计算f_u，v和ef(u，v)，，因此简化γ的计算

${\stackrel{\‾}{f}}_{u,v}=\frac{1}{N_x{N}_y}{\mathrm{\Σ}}_{x,y}f(x,y)$

$=\frac{1}{N_x{N}_y}[s(u+N_x-1,v+N_y-1)-s(u-1,v+N_y-1)-$

$-s(u+N_x-1,v-1)+s(u-1,v-1)]---\left(26\right)$

$e_f(u,v)={\mathrm{\Σ}}_{x,y}{[f(x,y)-{\stackrel{\‾}{f}}_{u,v}]}^2$

$={\mathrm{\Σ}}_{x,y}{f}^2(x,y)-2{\stackrel{\‾}{f}}_{u,v}{\mathrm{\Σ}}_{x,y}f(x,y)+{\mathrm{\Σ}}_{x,y}{{\stackrel{\‾}{f}}^2}_{u,v}$

$={\mathrm{\Σ}}_{x,y}{f}^2(x,y)-\frac{2}{N_x{N}_y}{\left[{\mathrm{\Σ}}_{x,y}f(x,y)\right]}^2+N_x{N}_y{{\stackrel{\‾}{f}}^2}_{u,v}$

$={\mathrm{\Σ}}_{x,y}{f}^2(x,y)-\frac{1}{N_x{N}_y}{\left[{\mathrm{\Σ}}_{x,y}f(x,y)\right]}^2$

$=[s^2(u+N_x-1,v+N_y-1)-s^2(u-1,v+N_y-1)-$

$-s^2(u+N_x-1,v-1)+s^2(u-1,v-1)]-$

$-\frac{1}{N_x{N}_y}[s(u+N_x-1,v+N_y-1)-s(u-1,v+N_y-1)-$

$-s(u+N_x-1,v-1)+s(u-1,v-1){]}^2$

单元130是误匹配点剔除单元。图像匹配过程完成后，可以在控制影像和待纠正影像中找到足够数量多的特征点对。这些特征点对中包括很多误匹配的特征点对，即不是真正的匹配点对。因此需要对这些特征点对进行检查，剔除误匹配的特征点对。剔除误匹配点对的方法大多都利用几何约束进行剔除。一种方法是将配准生成的特征点对通过最小二乘方法利用一次或二次多项式建模来剔除粗差，此时认为所有匹配点对应当满足模型关系，因此各匹配点对在水平和垂直方向上的位置偏差应当在一定的阈值范围内，对超出此范围的特征点对认为是误匹配点对予以剔除，这是比较传统的方法；剔除误匹配点对最有效的方法是RANSAC(Random Sample Consensus)方法，该方法采用随机抽样一致性原理对误匹配特征点进行检测。它是一种鲁棒性的参数估计方法，在图像匹配中剔除误匹配点方面应用得很成功。它的基本思想就是从一套观察数据中估计出一个数学模型。由于我们假定图像之间的匹配模型可以用某个低阶多项式或透视变换模型来拟合，于是RANSAC可充分利用所有的初步匹配点，根据一个容许误差将所有的匹配点对分为内点和外点，利用内点数据比较准确的特点来进行模型参数估计，从而剔除不准确的匹配点。RANSAC方法和传统的优化方法的区别在于：传统的基于最小二乘的方法先把全部的数据点作为内点而计算出初始参数值，然后重新计算并统计内点和外点；而RANSAC随机采样方法利用部分数据作为内点得到初始值，并记录满足约束的内点数量，如此过程迭代执行，选取对应内点数最大的，并且把满足约束的内点作为最终的内点，也就是我们所说的正确的匹配点对，不符合条件的点对作为误配点对，予以剔除

单元140是控制点均匀化单元。基于特征点提取算子所提取的特征点分布与地物特征的分布有紧密关联，导致在地物结构特征复杂的地域特征点聚集度很高，而在地物结构平坦的地域特征点分布稀疏，使得整幅图像控制点分布不均匀。控制点均匀化的目的是使匹配后的控制点有相对均匀的分布，使得基于控制点的纠正的图像有更高的精度。控制点均匀化一般可结合网格剖分进行。首先将输入的待纠正的图像进行网格剖分，网格大小为M×M，M值可以依据图像的宽、高确定，也可以由预期控制点总数估算得出，尽可能保证大部分网格都有控制点；然后考察每个网格内的控制点数。如果网格内仅有一个控制点，则保留该控制点；如果网格内控制点数目大于1，则保留匹配度最高的控制点。经过控制点均匀化处理后，图像上的控制点会呈近似均匀分布的状态。

(3)图像纠正。基于控制点建立纠正模型，利用纠正模型对待纠正图像进行纠正。

本发明的实施例在PC平台上实现，经过实验验证，不需任何中间过程的人工干预，可以自动完成遥感卫星图像的几何精纠正和正射校正。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，尽管本说明书参照附图和实施方式对本发明已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换，而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。

Claims (9)

1.一种基于区域级参考图像对遥感卫星图像自动纠正的框架和方法。其特征在于包括以下步骤：

(1)包含一个区域级参考图像集，参考数据集主要包括两类数据：有准确地理编码的遥感图像和同区域的DEM数据，数据的范围可以是局部区域或全球范围的数据，至少包括待纠正图像的区域；地理编码的遥感图像通常选用任何已经经过正射纠正，认为几何精度满足要求可作为基准图像的图像组成；

(2)控制图像，即参考图像集中感兴趣区域(ROI)的提取。待纠正图像是经过系统纠正的图像，系统待纠正图像的四个角点坐标是包含了系统校正误差的地理坐标，以此为参考，加上系统误差的估算值，＝可将对应于待纠正图像的参考图像和DEM(或DTM)提取出来作为控制影像，称为感兴趣区域(ROI)图像；

(3)图像自动匹配。将控制图像与待纠正图像进行自动匹配，获得控制点；

(4)图像纠正。基于控制点建立待纠正图像和控制图像之间的纠正模型，继而利用纠正模型对待纠正图像进行纠正。

2.根据权利要求1所述的图像自动匹配方法，其特征在于：所述的控制图像与待纠正图像的自动匹配包括四个处理步骤：

(1)利用待纠正图像和控制图像的空间分辨率信息调整待纠正图像的空间分辨率，使待纠正图像的空间分辨率与控制图像的空间分辨率相等；依据待纠正图像的定向信息对图像重新定向使其与控制图像具有相同或相似的定向；

(2)利用兴趣算子在待纠正图像和参考图像上提取特征点；

(3)采用模板匹配方法对于步骤(2)获得的特征点进行匹配；

(4)从步骤(3)的匹配结果中剔除误匹配点；

(5)将控制点进行均匀化处理，使控制点的分布比较均匀。

3.根据权利要求2步骤(1)所述的图像分辨率调整方法和图像重新定向方法，其特征在于：采用图像重采样方法实现。

4.根据权利要求2步骤(2)所述的利用兴趣算子提取特征点的方法，其特征在于：可用的兴趣算子包括：Moravec算子、

算子、Harris算子、sift算子。

5.根据权利要求2步骤(3)所述的模板匹配方法，其特征在于：模板匹配分别以待纠正图像和参考图像上的特征点为中心，在两幅图像中提取模板窗口和搜索窗口，然后将模板窗口在搜索窗口中逐点移动，计算模板和其重叠区域相似度或匹配度，找到相似度最大的位置，如果相似度大于设定的阈值，就认为找到了一个匹配点。

6.根据权利要求2步骤(4)所述的误匹配点的剔除方法，其特征在于：采用RANSAC算法剔除。

7.根据权利要求2步骤(5)所述的控制点均匀化方法，其特征在于：结合网格剖分进行控制点均匀化：首先将输入的待纠正的图像进行网格剖分，网格大小为M×M，M值可以依据图像的宽、高确定，也可以由预期控制点总数估算得出；然后考察每个网格内的控制点数。如果网格内仅有一个控制点，则保留该控制点；如果网格内控制点数目大于1，则保留匹配度最高的控制点。

8.根据权利要求5所述的计算模板和其重叠区域相似度或匹配度的方法，其特征在于：将归一化相关系数作为相似性判断准则。

9.根据权利要求8所述的计算归一化相关系数的方法，其特征在于：采用NCC快速算法计算归一化相关系数。

Images