CN101847258A - 一种光学遥感图像配准方法 - Google Patents

Abstract

本发明公开了一种光学遥感图像的配准方法，特征是首先提取小面元进行预处理和一次匹配，以更有效地提取封闭边界，同时降低算法复杂度；其次，根据封闭边界链码的相似函数和区域不变矩匹配策略建立边界对应关系，实现区域之间的二次匹配；最后提取匹配区域的质心即匹配点进行一致性检测，并估算仿射变换参数进行图像配准。本发明改进了传统的基于链码配准方法的缺点，提高了配准精度和时间效率，能满足光学遥感图像的自动配准要求。

Description

一种光学遥感图像配准方法

技术领域

本发明涉及一种图像处理方法，具体是一种光学遥感图像配准方法。属于图像处理技术。

背景技术

不同传感器、不同成像模式和不同时间得到的同一个对象的图像数据之间存在相对的平移、旋转、不同比例缩放甚至畸变关系，对其进行综合分析和利用时，首先解决图像间的配准问题。图像配准的过程，即通过寻找一种空间变换，使两幅图像的代表同一目标物的对应点达到空间位置的一致，配准的结果应该使两幅图像上的所有点或至少是具有实际应用意义上的点都达到匹配，为图像进一步处理提供保证。

卫星遥感系统能提供大量的全球覆盖和重复测度数据，这些数据是多时向的或者多传感器的。随着航天任务小型化的趋势，大多数的传感器将安装在不同的平台上，这就导致了有大量数据需要拼接或融合。因此，在许多遥感应用中，图像配准不仅是一个关键步骤，而且需要配准的数据量呈指数增长的趋势。然而，对于众多不同传感器得到的遥感图像，并没有一个通用的配准方法，只能根据一些传感器的特性，来设计具体的配准算法。经研究发现，对于光学遥感图像(如quickbird，spot，landsar)，它们有一个共同的特性，即在其中一种遥感图像中较亮的目标，在另一种遥感图像中也必定有相对较亮的灰度值。利用这一特性，本发明引入小面元概念，来改进传统的配准方法，得到了更好的配准效果。

经文献检索发现，1999年在.IEEE Transactions on Geoscience and Remote Sensing上发表的文章《A feature-based image registration algorithm using improved chain-code representationcombined with invariant moment》，1995年在.IEEE Transactions on Image Processing上发表的文章《Acontour-based approach to multisensor image registration》，这两篇文章代表了一种传统的基于链码特征的图像配准方法：首先利用LoG算子提取边缘，再利用改进的Freeman链码描述轮廓，通过链码距离和Hu不变矩进行链码匹配，由得到的链码的质心作为控制点，最后实现模型估计和图像配准。虽然传统的这种技术应用在一部分遥感图像中得到比较好的结果，但是有以下缺点：(1)直接提取图像边缘，算法复杂度高，边缘不连续；(2)很难得到闭合的边界；(3)应用在分辨率不同的光学遥感图像中时，配准精度不高。

发明内容

本发明的技术目的是提出一种光学遥感图像配准方法，可以克服传统背景技术中存在的不足。该方法首先利用小面元特征进行预处理，降低有效边缘提取的算法复杂度，同时得到粗匹配的小面元；接着提取小面元的闭合链码，以链码的相似函数和区域不变矩距离作为约束条件，进行二次匹配并提取面元和链码共同的控制点对，提高配准精度。本发明与传统的基于链码的配准方法相比较，克服了现有技术的缺点：边缘难以提取，算法复杂度高，难以适用于不同分辨率的光学遥感图像等。

本发明一种光学遥感图像配准方法，通过以下技术方案实现，本发明方法步骤如下：

步骤一：首先通过直方图比例阈值的方法分割图像，在参考图像和待配准图像上提取出大量的具有适当面积的闭合区域，称为小面元，作为区域匹配的一个特征；

步骤二：根据小面元的几何特征对小面元进行粗匹配；

步骤三：在步骤一和步骤二的基础上，提取二值图像的闭合链码，作为区域匹配的第二个特征；

步骤四：利用链码的相似函数和区域不变矩分别建立关系矩阵{c_ij}和{d_ij}，并结合步骤二得到的面元关系矩阵{AP_ij}对匹配区域的相似性进行判决，提取判决后的控制点；

步骤五：对由步骤四得到的控制点进行一致性检测获得精确匹配点；最后通过仿射变换配准图像。

本发明能对图像进行自动配准，主要具有以下特点和作用：(1)利用了光学遥感图像的特性：光学遥感图像具有一定的灰度同一性，即在一幅图像上较亮的目标，在另一种图像上也会呈现出相对的高亮度特性。使得本发明对光学遥感图像配准具有优势效果。(2)采用基于区域特征(小面元和链码)选取控制点的方法，主要有两个优点：一、能够找到足够多的参考点；二、利用区域质心作为控制点能达到亚像素级精度。(3)利用小面元特征进行预处理，降低有效边缘提取的算法复杂度，同时得到粗匹配的小面元；(4)采用了小面元和链码两种区域特征作为匹配条件，加强了匹配强度，提高了配准精度的同时优化了算法效率。

附图说明

图1为本发明图像配准算法的流程图。

图2为Spot 5m分辨率的图像，作为参考图像；

图3为经过抽取后的QuickBird 0.6m分辨率的图像，作为待配准图像；

图4是图2和图3的配准结果图像。

图5为Landsat-715m分辨率的图像，拍摄于2002年，作为参考图像；

图6为Landsat-715m分辨率的图像，拍摄于2003年，作为待配准图像；

图7是图5和图6的配准和镶嵌的结果。

图8为参考轮廓。

图9为待配准轮廓，是图8旋转、平移后的图像。

图10为图8的链码表示和处理过程。

图11为图9的链码表示和处理过程。

图1中：

101提取参考图像小面元

102提取待配准图像小面元

103基于小面元几何特征的粗匹配算法

104提取待配准图像的链码

105提取参考图像的链码

106利用链码特征对小面元区域进行二次匹配

107对控制点进行一致性检测

108计算模型变换参数

109通过插值来变换图像

具体实施方式

下面本发明将结合附图中的实施例作进一步描述：

步骤一：首先通过直方图比例阈值的方法分割图像，在参考图像和待配准图像上提取出大量的具有适当面积的闭合区域，称为小面元，作为区域匹配的一个特征(101、102)。

(1)直方图比例阈值分割

设原始灰度图像的大小为W×H，比例阈值为p₀，首先，统计图像的灰度直方图V(i)(i＝0，1，...，255)，V(i)表示灰度值为i的像素的个数；然后由公式a)将比例阈值p₀转化为图像的灰度阈值k₀：

$a),\frac{\underset{k_0\&le;i<256}{\mathrm{\&Sigma;}}V\left(i\right)}{W\&times;H}\&GreaterEqual;p_0>\frac{\underset{k_0<i<256}{\mathrm{\&Sigma;}}V\left(i\right)}{W\&times;H}$

进而二值化原始图像：

$b),I(x,y)=\left\{\begin{array}{cc}1& \mathrm{if\; I}(x,y)\&GreaterEqual;k_0\\ 0& \mathrm{else}\end{array}\right.$

(2)提取有效小面元

在二值图像上，首先利用击中击不中变换去除噪声与空洞；然后利用区域生长的方法提取闭合连通区域，并判断是否有面积大于某一较大阈值的面元存在(可能对应着大块的云层区域)，若有，则将原始图像中对应区域设为无效；去除面积较小的区域(认为是噪声区域)；统计余下的大小适中的闭合区域作为配准可用的小面元。对输入的参考图像和待配准图像分别进行上述的小面元分割，设R_i(i＝1，...，m)和S_j(j＝1，...，n)分别为参考图像(reference image)和待配准图像(sensed image)上分割出来的小面元，下一步通过几何特征，进一步确定这两组小面元之间的对应关系。

步骤二：根据小面元的几何特征对小面元进行粗匹配103。

(1)利用小面元几何特征粗匹配

设参考图像有m个小面元，其面积和周长分别表示为{RA_i}和{RP_i}(i＝1，...，m)；待配准图像有n个小面元，其面积和周长分别表示为{SA_j}和{SP_j}(j＝1，...，n)。两个小面元匹配必须满足以下两个条件：

$a),{\mathrm{\&epsiv;}}_1\&le;\frac{{\mathrm{RA}}_i}{{\mathrm{SA}}_j}\&le;{\mathrm{\&epsiv;}}_2$

$b),{\mathrm{\&epsiv;}}_3\&le;\frac{{\mathrm{RP}}_i}{{\mathrm{SP}}_j}\&le;{\mathrm{\&epsiv;}}_4$

其中ε₁、ε₂、ε₃、ε₄满足0≤ε₁、ε₃≤1，1≤ε₂、ε₄≤2。即面积和周长满足一定的相似性后，认为是有可能匹配的。

(2)建立对应几何特征关系矩阵{AP_ij}(m×n)，当满足上述条件时令AP_ij等于1。

步骤三：在步骤一和步骤二的基础上，提取二值图像的闭合链码，作为区域匹配的第二个特征(104、105)。

(1)提取闭合轮廓

利用Canny算子提取每个小面元是闭合的连通区域的边缘，利用Freeman链码表示每个闭合轮廓。

(2)改进链码的表示

改进链码表示，改进后的链码具有旋转不变性，平移不变性，尺度不变性。改进链码实现如下：

设{a₁，...，a_n}是长度为n的标准链码，它的改进链码{b₁，...，b_n}通过递归方式定义：

使(q_i-a_i)mod8＝0且|q_i-b_i-1|最小

其中q_i为整数(i＝2，...，n)，改进链码减轻了标准链码的卷绕问题，经五点高斯滤波器[0.1，0.2，0.4，0.2，0.1]平滑后，得到比标准链码更加光滑的曲线。改进后的链码经过平滑、移位、标准化运算，最后得到的链码具有旋转、平移不变性。如图8、图9、图10、图11所示。

步骤四：利用链码的相似函数和区域不变矩分别建立关系矩阵{c_ij}和{d_ij}，并结合步骤二得到的面元关系矩阵{AP_ij}对匹配区域的相似性进行判决，提取判决后的控制点。

(1)计算链码的相似函数

建立参考图像和待配准图像封闭边界之间关系时，用改进链码计算链码相关矩阵C＝{c_ij}。由于面元关系矩阵{AP_ij}中的m×n个小面元对应着m×n个闭合边界，所以C也为m×n的矩阵。令参考图像的第i个边界由改进链码{a_k}来表示，待配准图像的第j个边界由改进链码{b_l}来表示，则第i个边界和第j个边界之间的链码相关值为：

$c_{\mathrm{ij}}=\max {\left\{\frac{1}{N}\underset{l=1}{\overset{N}{\mathrm{\&Sigma;}}}\cos \frac{\mathrm{\&pi;}}{4}(a_l^{\&prime;}-b_l^{\&prime;}\left(k\right))\right\}}_{1\&le;k\&le;N}$

其中 $a_l^{\&prime;}=a_l-\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{a}_j,1\&le;l\&le;N$

$b_l^{\&prime;}\left(k\right)=b_l\left(k\right)-\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{b}_j,1\&le;l\&le;N$

式中a′_l是链码{a_l}的归一化表示，以消除链码旋转的差异。{b_l(k)}表示起点位于第k个边界点时，第j个边界的改进链码表示。{b′_l(k))}则是对应的归一化表示。余弦函数保证相关值在[0，1]区间。在实际应用中，已经根据分辨率信息将2幅图像的尺度调整一致，所以对应的链码不需要考虑尺度变化。但是由于量化误差，即使是对应链码其长度也会有微小差异，这时可以固定短链码，循环长链码来寻找最佳匹配位置。

(2)计算不变矩距离

仿射矩不变量是基于矩的平面形状描述子。由原点矩和规格化中心矩导出了七种尺度、位移和旋转不变的矩度量作为封闭边界特征的描述。实际应用中我们只需要用前3个不变矩就可以很好描述轮廓特征。

将二维图像数据看作是二维概率密度分布函数f(i，j)，并计算每个2D目标区域三个矩不变量

对于每一个封闭区域，将它的这三个矩不变量看成三维特征空间的一个点，两个区域的相似性由两点间的距离来度量。对于参考图像的m个区域和待配准图像中的n个区域，它们的关系用m×n的不变矩距离矩阵D＝{d_ij}来表示。设表示参考图像第i个边界的不变矩向量，

表示待配准图像第j个边界的不变矩向量，则参考图像第i个边界和待配准图像第j个边界的不变矩距离为：

(3)利用链码特征二次匹配106

经过小面元匹配后得到关系矩阵{AP_ij}，对参考图像的m个区域，每一个在待配准图像中都有若干区域对应；而链码相关值矩阵{c_ij}和不变矩距离矩阵{d_ij}将参考图像和待配准图像的区域也建立了对应关系。设链码相关的阈值为t_c，不变矩距离的阈值为t_d，对于参考图像的第i个区域，如果它与待配准图像的第j个区域匹配，则必须满足以下三个条件：

$\left(a\right),c_{\mathrm{ij}}=\underset{1\&le;l\&le;n}{\max }{c}_{\mathrm{il}}$ 且AP_il＝1

(b)c_ij＞t_c

(c)d_ij＜t_d

上述条件利用链码特征进行二次匹配，通过关系矩阵{c_ij}、{d_ij}和{AP_ij}对区域相似性进行判决，得到匹配区域。由于是在小面元粗匹配的基础上进行链码的精确匹配，与传统的基于链码的配准方法中，在全体链码范围内寻找最优匹配的算法相比，本发明方法的约束条件更强，更好地排除虚假匹配。

(4)提取控制点，进行一致性检测

然后提取匹配面元的质心代替链码的质心作为最终控制点。因为面元的质心是由整个区域的信息决策得到，而链码的质心只来源于边界点的信息，所以让面元的质心作为最终匹配点能达到更好的配准精度。

经过两次匹配后，还是可能存在少量的伪匹配点，所以要对匹配点进行一致性检测107。这里采用距离比来测量点的一致性，设为图像A中点A_i和A_j间的距离。对参考图像A和待配准图像B中m对匹配点计算比率

可以得到m(m-1)/2个比率。对这些比率做直方图，剔除掉远离峰值的比率。

最后对剩余的点使用最小二乘法得到仿射变换参数108，通过插值进行图像变换109来配准图像。

实施例1：不同分辨率和相同分辨率的光学遥感图像配准

将本发明一种光学遥感图像配准方法应用在不同分辨率和相同分辨率的遥感图像上。

实验平台为VC++6.0，在2GHz Intel Pentium(R)4CPU的PC机上实现。实验中，图像分割中取直方图比例阈值p₀＝0.02，闭合区域的面积在(50，500)的范围内被认为是有效的小面元；小面元粗匹配中，令几何相似系数ε₁＝ε₃＝0.85，ε₂＝ε₄＝1.15；闭合链码的周长大于20个像素才认为是有效的链码，链码相关的阈值为0.85；不变矩距离的阈值为0.1；若链码周长相差大于20个像素则直接认为不匹配。

(1)不同分辨率的光学遥感图像图像配准

参考图像是Spot 5m分辨率的图像(图2)，大小为680×680(pixel)；待配准图像是经过抽取后的QuickBird 0.6m分辨率的图像(图3)，其大小为680×680(pixel)。粗匹配得到10对控制点，经过链码的校正和一致性检测后得到5对精确匹配点，配准结果如图4所示。

(2)相同分辨率不同时的光学遥感图像配准

参考图像是Landsat-7 15m分辨率的图像(图5)，大小为514×520(pixel)；待配准图像是Landsat-7 15m分辨率的图像(图6)，大小为380×380(pixel)。两幅图像的拍摄时间不同。粗匹配得到14对控制点，校正后提取4对匹配点进行配准，配准结果如图7所示。

配准结果性能指标如表格1所示，由该表可知，本发明一种光学遥感图像配准方法应用在不同分辨率和相同分辨率的遥感图像上，得到良好的配准精度和时间效率。

表格1配准结果的性能指标

实施例2：不同配准方法的比较

实验图像为图2、图3、图5、图6，将本发明的配准方法和传统的基于链码的配准算法、手动配准算法比较，可以看出本发明的优点，如表格2所示。

表格2三种配准方法的RMSE比较

Claims (5)

1.一种光学遥感图像配准方法，其特征在于，方法步骤如下：

步骤一：首先通过直方图比例阈值的方法分割图像，在参考图像和待配准图像上提取出大量的具有适当面积的闭合区域，称为小面元，作为区域匹配的一个特征；

步骤二：根据小面元的几何特征对小面元进行粗匹配；

步骤三：在步骤一和步骤二的基础上，提取二值图像的闭合链码，作为区域匹配的第二个特征；

步骤四：利用链码的相似函数和区域不变矩分别建立关系矩阵{c_ij}和{d_ij}，并结合步骤二得到的面元关系矩阵{AP_ij}对匹配区域的相似性进行判决，提取判决后的控制点；

步骤五：对由步骤四得到的控制点进行一致性检测获得精确匹配点；最后通过仿射变换配准图像。

2.根据权利要求1所述的图像配准方法，其特征是，所述的步骤一，通过直方图比例阈值的方法分割图像，在参考图像和待配准图像上提取出大量的具有适当面积的闭合区域，称为小面元，作为区域匹配的一个特征。具体为：

(1)直方图比例阈值分割，得到二值图像；

(2)利用击中击不中变换去除噪声与空洞；

(3)然后利用区域生长的方法提取闭合连通区域；

(4)去除无效的面积过大和过小的面元；

(5)R_i(i＝1，...，m)和S_j(j＝1，...，n)分别记录从参考图像(reference image)和待配准图像(sensed image)上提取有效的小面元。

3.根据权利要求1所述的图像配准方法，其特征是，所述步骤二，根据小面元的几何特征对小面元进行粗匹配。几何特征匹配的具体实现如下：

设参考图像有m个小面元，其面积和周长分别表示为{RA_i}和{RP_i}(i＝1，...，m)；待配准图像有n个小面元，其面积和周长分别表示为{SA_j}和{SP_j}(j＝1，...，n)。两个小面元匹配必须满足以下两个条件：

$\left(1\right),{\mathrm{\&epsiv;}}_1\&le;\frac{{\mathrm{RA}}_i}{{\mathrm{SA}}_j}\&le;{\mathrm{\&epsiv;}}_2$

$\left(2\right),{\mathrm{\&epsiv;}}_3\&le;\frac{{\mathrm{RP}}_i}{{\mathrm{SP}}_j}\&le;{\mathrm{\&epsiv;}}_4$

其中ε₁、ε₂、ε₃、ε₄满足ε₁＝ε₃＝0.85，ε₂＝ε₄＝1.15。即面积和周长满足一定的相似性后，认为是有可能匹配的。建立对应关系矩阵{AP_ij}(m×n)，当满足上述条件时令AP_ij等于1。

4.根据权利要求1所述配准方法的步骤三、步骤四和权利要求2，其特征是，利用小面元和链码特征进行二次匹配。具体实现如下：

(1)对有效小面元提取闭合边缘；

(2)用改进的链码描述闭合边缘；

(3)利用链码的相似函数和区域不变矩分别建立关系矩阵{c_ij}和{d_ij}；

(4)通过链码特征和小面元几何特征关系矩阵{AP_ij}对匹配区域的相似性进行判决。

(5)提取匹配面元的质心代替链码的质心作为最终控制点。

5.根据权利要求4的图像配准方法，其特征是，所述的通过链码特征结合面元几何特征关系矩阵{AP_ij}对匹配区域的相似性进行判决。具体实现如下：

经过小面元匹配后得到关系矩阵{AP_ij}，对参考图像的m个区域，每一个在待配准图像中都有若干区域对应；而链码相关值矩阵{c_ij}和不变矩距离矩阵{d_ij}将参考图像和待配准图像的区域也建立了对应关系。设链码相关的阈值为t_c，不变矩距离的阈值为t_d，对于参考图像的第i个区域，如果它与待配准图像的第j个区域匹配，则必须满足以下三个条件：

$\left(1\right),c_{\mathrm{ij}}=\underset{1\&le;l\&le;n}{\max }{c}_{\mathrm{il}}$ 且AP_il＝1

(2)c_ij＞t_c

(3)d_ij＜t_d

上述条件利用链码特征进行二次匹配，通过关系矩阵{c_ij}、{d_ij}和{AP_ij}对区域相似性进行判决，得到匹配区域。其中链码相关的阈值t_c为0.85，不变矩距离阈值t_d为0.1。

Images