CN101915571A - 基于相位相关的影像匹配初始视差的全自动获取方法 - Google Patents

Abstract

本发明公开了一种基于相位相关的影像匹配初始视差的全自动获取方法。将融合了金字塔影像技术的Fourier-Mellin法与相位相关法相结合，对具有仿射变换或射影变换的影像以及局部变形的影像实现待匹配影像中心点的高精度初始视差的获取，获取的初始视差在x、y方向的误差一般不超过3个像素。采用融合了金字塔影像技术的Fourier-Mellin法获取待匹配影像中心点在基准影像上的同名点坐标；并利用相位相关法对同名点坐标进行校正；最后利用校正后的同名点坐标计算初始视差。本发明实现了影像匹配初始视差获取过程的完全自动化。

Description

基于相位相关的影像匹配初始视差的全自动获取方法

技术领域

本发明涉及一种基于相位相关的影像匹配初始视差的全自动获取方法，属于遥感测绘领域。

背景技术

影像匹配是数字摄影测量、计算机视觉的一个基本问题，然而这一问题目前并没有被很好地解决。特别是影像匹配中初始视差的确定问题，是非常难解决的问题。快速准确地确定立体影像对的初始视差是影像匹配自动化的一个关键技术。准确的初始视差可以提高影像匹配的计算速度，减少歧义匹配，提高匹配结果的可靠性。目前影像匹配中常用的确定初始视差方法的自动化程度、精度和可靠性还不是很高，如影像灰度相关法、影像特征匹配法、POS数据辅助法、人工交互法及影像重叠度确定法等。这些方法通常需要人工干预，或者其他辅助数据，而有些辅助数据有时难以获取，如由摄像机标定参数、POS系统观测值等，使得影像匹配难以实现完全的自动化，给实用化带来很大的困难。

发明内容

本发明针对现有技术的不足，提供一种基于相位相关的影像匹配初始视差的全自动获取方法，对具有仿射变换或射影变换的影像以及局部变形的影像实现待匹配影像中心点的高精度初始视差的获取，并且该方法在获取初始视差过程中无需先验知识、辅助数据以及人工干预，实现初始视差获取的完全自动化。

为实现这样的目的，本发明将Fourier-Mellin法与金字塔影像技术结合起来，先对基准影像与待匹配影像构建金字塔影像，再使用Fourier-Mellin法求解基准影像与待匹配影像间的旋转参数、缩放参数与平移参数。利用旋转参数、缩放参数校正待匹配影像的旋转与缩放变形后，再利用平移参数计算待匹配影像中心点在基准影像上的同名点坐标。并在金字塔逐层影像上使用相位相关法对同名点坐标进行误差校正。最后在金字塔底层影像上利用校正后的同名点坐标计算初始视差。

本发明的具体步骤为：

(1)将匹配影像对的行列数恢复为偶数：

在匹配影像对的行数为奇数的情况下，将行数增加一行，新增加的这一行影像数值与原始影像最后一行相同。若影像的列数为奇数，则将列数增加一列，新增加的这一列影像的数值与原始影像最后一列相同。

(2)构建影像金字塔：

对基准影像与待匹配影像分别构建影像金字塔，影像金字塔均采用降2采样的方法进行构建。在构建影像金字塔的过程中，如果出现行列数为奇数的情况下，同样需要将行列数恢复为偶数，恢复的方法与步骤(1)相同。最终构建完成的基准影像金字塔与待匹配影像金字塔的层数必须相同。假设构建的影像金字塔共有n层，最顶层影像为第1层，最底层影像(原始影像)为第n层，中间层以此类推。

(3)采用Fourier-Mellin法求解待匹配影像中心点在基准影像上同名点的坐标：

选取基准影像与待匹配影像的金字塔顶层影像，使用Fourier-Mellin法对两幅影像进行匹配并求解旋转参数、缩放参数、平移参数，选取基准影像与待匹配影像的中心点为两幅影像的原点，利用旋转参数、缩放参数校正待匹配影像的旋转与缩放变形后重新构建待匹配影像的金字塔影像，再利用平移参数计算在金字塔顶层影像中，待匹配影像中心点在基准影像上同名点的坐标。假设求解出的x方向上的平移参数为dx，y方向上的平移参数为dy，则基准影像上对应同名点的坐标(x₁，y₁)的计算方法如下：

$\left\{\begin{array}{c}{x}_1=\mathrm{dx}\\ y_1=\mathrm{dy}\end{array}\right.$

(4)在金字塔逐层影像上对同名点坐标进行误差校正：

按照金字塔影像由顶层至底层的顺序，从第二层起对同名点坐标进行误差校正，直至底层金字塔影像为止。

在第二层金字塔影像中，第一层基准影像上同名点在该层金字塔影像上对应的坐标为(x₂，y₂)，它们与第一层基准影像上同名点坐标(x₁，y₁)的关系如下式所示：

$\left\{\begin{array}{c}{x}_2=2\×x_1\\ y_2=2\×y_1\end{array}\right.$

在该层金字塔影像上，对待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像使用相位相关法进行匹配，求出平移参数Δx₂和Δy₂，将该参数作为校正值，即x方向上的平移参数校正值为Δx₂，y方向上的平移参数校正值为Δy₂，对该层基准影像上同名点坐标进行校正。校正后基准影像上同名点坐标为(x′₂，y′₂)，校正公式如下式所示：

$\left\{\begin{array}{c}{x}_2^{\′}=x_2+{\mathrm{\Δx}}_2\\ y_2^{\′}=y_2+{\mathrm{\Δy}}_2\end{array}\right.$

在之后的各层金字塔影像上，利用上一层校正后的基准影像上同名点坐标(x′_i-1，y′_i-1)可以计算出在该层金字塔影像上对应的坐标(x_i，y_i)，其关系如下式所示：

$\left\{\begin{array}{c}{x}_i=2\×x_{i-1}^{\′}\\ y_i=2\×y_{i-1}^{\′}\end{array}\right.$

其中i为该层金字塔影像所在层数。

之后再使用相位相关法对待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像进行匹配，求出平移参数Δx_i和Δy_i作为校正值，对同名点坐标(x_i，y_i)进行校正，校正后的坐标为(x′_i，y′_i)，依据的校正公式如下所示：

$\left\{\begin{array}{c}{x}_i^{\′}=x_i+{\mathrm{\Δx}}_i\\ y_i^{\′}=y_i+{\mathrm{\Δy}}_i\end{array}\right.$

其中i为该层金字塔影像所在层数。

(5)计算初始视差：

在底层金字塔影像上，基准影像上校正后的同名点坐标为(x′_n，y′_n)，则待匹配影像中心点初始视差(x_d，y_d)的推导公式如下式所示：

$\left\{\begin{array}{c}{x}_d=-x_n^{\′}\\ y_d=-y_n^{\′}\end{array}\right.$

由于传感器飞行线路、辐射度、大气折射等各个因素的影响，原始的遥感影像与航空影像会产生仿射变换或射影变换以及局部变形，不能满足量测和定位要求，而采用其它的精匹配方法如最小二乘法进行匹配时需要有较准确的初始视差，否则将会造成最小二乘法无法收敛从而导致匹配失败。

本发明将融合了金字塔影像技术的Fourier-Mellin法与相位相关法相结合，对具有仿射变换或射影变换的影像以及局部变形的影像实现待匹配影像中心点的高精度初始视差的获取，获取的初始视差在x、y方向的误差一般不超过3个像素，并且在获取视差的过程中实现了完全的自动化。

本发明的优点是在匹配过程中无需提供其它辅助信息与先验知识，能够完全自动地获取立体影像匹配的高精度初始视差。

附图说明

图1为本发明基于相位相关的影像匹配初始视差的全自动获取方法的技术框图。

图2为本发明基于相位相关的影像匹配初始视差的全自动获取方法的方案详细流程图。

图3为本发明构建影像金字塔的示意图。

图4为本发明对同名点坐标进行误差校正的示意图。

具体实施方式

实施例：

本发明所要求的输入数据可以是任意格式的遥感影像或航空影像，若待匹配影像的行列数与基准影像不同，则对待匹配影像进行插值、重采样，使其行列数与基准影像完全相同。匹配后的输出结果保存为TXT的文本格式。本实施例使用的基准影像与待匹配影像均是大小为2047×2047的航空影像。

采用如图2所示的基于相位相关的影像匹配初始视差的全自动获取方法的方案详细流程图，构建影像金字塔及使用Fourier-Mellin法与相位相关法获取待匹配影像中心点初始视差的具体实施步骤如下：

(1)将影像的行列数恢复为偶数：

将基准影像与待匹配影像行数均增加一行至2048行，新增加的这一行影像的数值与原始影像最后一行相同。将基准影像与待匹配影像列数增加一列至2048列，新增加的这一列影像的数值与原始影像最后一列相同。

(2)构建影像金字塔：

对基准影像与待匹配影像分别构建影像金字塔，影像金字塔采用降2采样的方法进行构建。本实施例中影像金字塔共有3层，最顶层影像为第1层，大小为512×512，中间一层影像为第2层，大小为1024×1024，最底层影像为第3层，大小为2048×2048；如图3所示。

(3)采用Fourier-Mellin法求解待匹配影像中心点在基准影像上同名点的坐标：

选取基准影像与待匹配影像的金字塔顶层影像，使用Fourier-Mellin法对两幅影像进行匹配并求解旋转参数、缩放参数、平移参数，选取基准影像与待匹配影像的中心点为两幅图像的原点，利用旋转参数、缩放参数校正待匹配影像的旋转与缩放变形后重新构建待匹配影像的金字塔影像，再利用平移参数计算在金字塔顶层影像中，待匹配影像中心点在基准影像上同名点的坐标。求解出的x方向上的平移参数为dx，y方向上的平移参数为dy，基准影像上对应同名点的坐标(x₁，y₁)如下式所示：

$\left\{\begin{array}{c}{x}_1=\mathrm{dx}\\ y_1=\mathrm{dy}\end{array}\right.$

(4)在金字塔逐层影像上对同名点坐标进行误差校正：

在第2层金字塔影像中，第1层基准影像上同名点在该层金字塔影像上对应的坐标为(x₂，y₂)，它们与第1层基准影像上同名点坐标(x₁，y₁)的关系如下式所示：

$\left\{\begin{array}{c}{x}_2=2\×x_1\\ y_2=2\×y_1\end{array}\right.$

在该层金字塔影像上，选取待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像，影像的大小均为31×31。对待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像使用相位相关法进行匹配，求出平移参数Δx₂和Δy₂，将该参数作为校正值，即x方向上的平移参数校正值为Δx₂，y方向上的平移参数校正值为Δy₂，对该层基准影像上同名点坐标进行校正。校正后基准影像上同名点坐标为(x′₂，y′₂)，校正公式如下式所示：

$\left\{\begin{array}{c}{x}_2^{\′}=x_2+{\mathrm{\Δx}}_2\\ y_2^{\′}=y_2+{\mathrm{\Δy}}_2\end{array}\right.$

如图4所示。

在第3层也是底层金字塔影像上，利用第2层校正后的基准影像上同名点坐标(x′₂，y′₂)可以计算出在该层金字塔影像上对应的坐标(x₃，y₃)，其关系如下式所示：

$\left\{\begin{array}{c}{x}_3=2\×x_2^{\′}\\ y_3=2\×y_2^{\′}\end{array}\right.$

之后选取待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像，影像的大小也均为31×31。再次使用相位相关法对待匹配影像中心点邻域内影像和基准影像上同名点邻域内影像进行匹配，求出平移参数Δx₃和Δy₃作为校正值，对同名点坐标(x₃，y₃)进行校正，校正后的坐标为(x′₃，y′₃)，依据的校正公式如下所示：

$\left\{\begin{array}{c}{x}_3^{\′}=x_3+{\mathrm{\Δx}}_3\\ y_3^{\′}=y_3+{\mathrm{\Δy}}_3\end{array}\right.$

(5)计算初始视差：

在底层金字塔影像上，基准影像上校正后的同名点坐标为(x′₃，y′₃)，则待匹配影像中心点初始视差(x_d，y_d)的推导公式如下式所示：

$\left\{\begin{array}{c}{x}_d=-x_3^{\′}\\ y_d=-y_3^{\′}\end{array}\right.$

最后将结果输出为TXT的文本格式。

Claims (1)

1.一种基于相位相关的影像匹配初始视差的全自动获取方法，其特征在于具体步骤为：

(1)采用降2采样的方法构建基准影像与待匹配影像的影像金字塔；

(2)采用Fourier-Mellin法对基准影像与待匹配影像的金字塔顶层影像进行匹配，求解两幅影像间的旋转参数、缩放参数、平移参数；

(3)利用旋转参数、缩放参数校正待匹配影像的旋转与缩放变形；

(4)利用平移参数计算待匹配影像中心点在基准影像上的同名点坐标；

(5)在下一层金字塔影像中，对中心点邻域内影像和同名点邻域内影像使用相位相关法进行匹配，求出平移参数校正值，并对同名点坐标进行校正；

(6)在之后的金字塔影像上，逐层用相位相关法求出平移参数校正值，并对同名点坐标进行校正，直至计算到底层金字塔影像上为止；

(7)在底层金字塔影像上，利用校正过的基准影像上同名点的坐标计算初始视差。

Images