CN103824287A - 一种基于稳健平面拟合的相位相关亚像素匹配方法 - Google Patents

Abstract

本发明涉及一种基于稳健平面拟合的相位相关亚像素匹配方法，采用基于最小费用网络流的相位解缠算法对相位角矩阵进行解缠，利用高效的随机抽样一致算法拟合二维相位角平面，无需预先的整像素匹配，直接利用相位差信息的理论特性估计出影像块间的亚像素偏移值。与现有技术相比，本发明具有精度与稳定性高等优点，通过模拟影像密集匹配实验，本发明方法在精度与稳定度方面都体现出优势，达到了优于1/50像素的匹配精度，且对Pixel locking现象系统误差也有较好的抑制作用。

Description

一种基于稳健平面拟合的相位相关亚像素匹配方法

技术领域

本发明涉及影像间的亚像素匹配方法，尤其是涉及一种基于稳健平面拟合的相位相关亚像素匹配方法。

背景技术

影像的精确匹配与同名像点的确定是提取物体三维信息的基础。通过影像间的亚像素匹配，能够精确地获取立体视差，从而恢复目标的三维信息，同时获取的密集视差图本身可以推导出地物位移与地表形变场等数据。亚像素精确匹配在数字产品生成、图像配准与融合、三维建模和变形监测等领域有着极其重要的应用。

图像匹配主要分为特征匹配与区域匹配两大类。特征匹配鲁棒性强，灵活度高，但难以维持亚像素精度与实现密集匹配，而区域匹配具有精度高，抗粗差性强，分布密集等优势而成为主流。其中最主要的区域匹配技术主要为影像相关技术，相位相关即是一种频域下的影像相关算法，相位相关的理论基础是傅里叶变换的平移特性，即影像间平移在频域下对应为线性相位差，理论上，影像的平移只会引起傅里叶系数相位角的变化而不会改变其幅值。与传统的空域灰度相关系数影像相关相比，相位相关通过傅里叶变换转换到频域下直接对相位差信息的研究，克服了NCC算法容易在灰度数值差较大的区域产生误匹配的缺陷，具有匹配精度高，速度快，抗噪性强和受辐射差异影响小等特点，近年来已经成功应用于图像配准、变形监测和极窄基线DEM生成等领域中。

亚像素相位相关算法研究集中于通过精确确定峰值位置来获取偏移量和通过互功率谱的线性相位差理论特性来获取偏移量两类。在前类算法的研究方面，文献“Extension of phase correlation to subpixel registration[J].Image Processing，IEEETransactions on，2002，11(3)：188-200”中将亚像素问题等价成整像素偏移后的降采样问题，从理论上推导2D sinc方程求取亚像素值的公式。后类算法的研究中，针对互功率谱对应的相位角理论上是缠绕的平面这一特性，文献“A fast directFourier-based algorithm for subpixei registration of images[J].Geoscience and RemoteSensing，IEEE Transactions on，2001，39(10)：2235-2243”中提出利用最小二乘估计来拟合二维平面，平面的斜率对应亚像素的偏移值。文献“A subspace identificationextension to the phase correlation method[MRI application][J].Medical Imaging，IEEETransactions on，2003，22(2)：277-280”中提出利用奇异值分解对互功率谱进行子空间分解，通过获取奇异值向量对应的相位角的斜率来获取亚像素偏移值。

现有的亚像素相位相关匹配依然存在精度与计算复杂度无法兼容和抗粗差性差等缺点；同时，亚像素匹配过程会产生像素锁(pixel locking effect)系统误差，直接影响匹配亚像素的精度。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种精度与稳定性高的基于稳健平面拟合的相位相关亚像素匹配方法。

本发明的目的可以通过以下技术方案来实现：

一种基于稳健平面拟合的相位相关亚像素匹配方法，包括以下步骤：

1)获取参考影像f(x，y)与待匹配影像g(x，y)，两幅影像间的关系为：

g(x，y)＝f(x-x₀，y-y₀)

x₀、y₀分别为两幅影像间存在的行列方向的亚像素级偏移值，对两幅影像分别进行升余弦窗加权后进行离散傅里叶变换，得到G(u，v)和H(u，v)，则傅里叶变换的平移特性表示为

F(u，v)＝F(u，v)exp{-i(ux₀+vy₀)}

计算两幅影像的归一化互功率谱矩阵Q(u，v)：

$Q(u,v)=\frac{G(u,v)F{(u,v)}^{*}}{\left|G(u,v)F{(u,v)}^{*}\right|}=\exp \{-i({\mathrm{ux}}_0+{\mathrm{vy}}_0)\};$

2)对矩阵Q(u，v)进行滤波去噪后计算相位角矩阵：

并对相位角矩阵进行二维解缠；

3)采用随机抽样一致算法拟合二维平面，并根据平面模型参数求解出行列方向的亚像素级偏移值x₀和y₀。

所述的步骤2)中，对矩阵Q(u，v)进行滤波去噪后获得相位角矩阵具体为：分离互功率谱矩阵Q(u，v)的实部和虚部，分别使用均值滤波去噪，对滤波后的得到的矩阵按反正切得到去噪后缠绕的相位角矩阵。

所述的步骤2)中，对相位角矩阵进行二维解缠采用的方法为基于最小费用网络流的相位解缠算法。

所述的步骤3)中，采用随机抽样一致算法拟合二维平面，获得平面模型参数具体为：

301)获取输入量，所述的输入量包括数据量为N的数据集、最大迭代值k_max、置信度η₀、模型阈值t和比例阈值δ；

302)从数据集中随机选择最小要求的m个样本来估计模型参数θ_k；

303)根据阈值t和估计模型计算阈值内的数据个数I_k；

304)若|I_k|＞I_max，则赋值θ＝θ_k，I＝I_k，取ε＝|I|/N根据

重新计算k_max；

305)赋值k＝k+1，重复(302)-(304)直至迭代次数k＞k_max或者I_k＞δ*N；

306)输出最优模型参数θ和有效样本数据I。

与现有技术相比，本发明利用随机抽样一致(RANSAC)稳健估计方法拟合二维相位角平面的亚像素相位相关算法，无需预先的整像素匹配，直接估计出影像块间的亚像素偏移值。互功率谱对应的相位角矩阵理论上符合缠绕的平面模型，本发明采用基于最小费用网络流(minimum cost network flow，MCNF)的相位解缠算法对相位角进行解缠，可以实现较好较快的解缠效果。本发明利用高效的RANSAC算法拟合二维相位角平面，削弱了相关过程中导致部分相位角出现偏差的光学系统偏差、混叠和噪声等因素对精确亚像素偏移值估计的影响，从而提高了算法整体的精度与稳定性，并通过一系列模拟实验及对比分析验证其实用效果。

附图说明

图1为本发明的流程示意图；

图2为本发明实施例中的实验影像数据；

图3为NCC插值的视差直方图；

图4为基于sinc函数的视差直方图；

图5为基于平面拟合的视差直方图；

图6为基于稳健平面拟合的视差直方图；

图7为三种相位相关方法的匹配误差曲线图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种基于稳健平面拟合的相位相关亚像素匹配方法，包括以下步骤：

1)获取参考影像(影像块I1)f(x，y)与待匹配影像(影像块I2)g(x，y)，两幅影像间的关系为：

g(x，y)＝f(x-x₀，y-y₀)   (1)

x₀、y₀分别为两幅影像间存在的行列方向的亚像素级偏移值，对两幅影像分别进行升余弦窗加权后进行离散傅里叶变换，得到G(u，v)和H(u，v)，则傅里叶变换的平移特性表示为

G(u，v)＝F(u，v)exp{-i(ux₀+vy₀)}   (2)

对应的归一化互功率谱矩阵计算公式为：

$Q(u,v)=\frac{G(u,v)F{(u,v)}^{*}}{\left|G(u,v)F{(u,v)}^{*}\right|}=\exp \{-i({\mathrm{ux}}_0+{\mathrm{vy}}_0)\}$

整像素偏移下互功率谱的逆傅里叶变换理论上为单一的冲击函数，获取峰值的行列位置可以快速获取整像素级的匹配结果。

2)根据归一化互功率谱的计算公式(3)，结合复变函数的欧拉公式

e^ix＝cosx+isinx   (4)

可以推导出相位角矩阵：

互功率谱对应的相位角矩阵理论上对应的是一个行列方向上2π相位缠绕的平面模型，若直接利用最小二乘估计来拟合二维平面，由于不涉及相位角的解缠，只能求解-0.5到0.5像素之间的偏移值，需要确保整像素不出现差错。所以在进行平面拟合之前，需要对相位角矩阵进行解缠。为了消除互功率谱数据噪声对相位解缠的影响，本方法采用文献“A vector filtering technique for SAR interferometric phaseimages[C]∥Proc.IASTED International Symposia，AI.2001，566-570”中的vectorfiltering algorithm的方法进行去噪，将互功率谱Q(u，v)的实部和虚部进行分离，分别使用小窗口的均值滤波去噪，对滤波后的得到的矩阵按反正切得到去噪后缠绕的相位角矩阵，并利用文献“A novel phase unwrapping method based on networkprogramming[J].Geoscience and Remote Sensing，IEEE Transactions on，1998，36(3)：813-821”中的基于最小费用网络流(minimum cost network flow，MCNF)的相位解缠算法对相位角矩阵进行解缠，可以实现较好较快的解缠效果。

从式(5)可以看出互功率谱对应的相位角理论上符合一个二维平面模型，根据平面参数即可求解出行列方向的亚像素级偏移值x₀和y₀。

3)采用随机抽样一致(RANSAC)算法拟合二维平面，并根据平面模型参数求解出行列方向的亚像素级偏移值x₀和y₀。

随机抽样一致算法是一种高效的稳健估计算法，弥补了最小二乘估计在抗粗差方面的不足，用于从含有粗差的数据集中估计模型拟合参数。RANSAC通过反复选择验证数据中的一组随机子集来达成目标，计算出数据的数学模型参数，得到有效样本数据。RANSAC算法即使在数据存在大量粗差的情况下也可以精确估计出模型参数，已经广泛应用于计算机视觉及图像处理领域。

采用随机抽样一致算法拟合二维平面，获得平面模型参数具体为：

301)获取输入量，所述的输入量包括数据量为N的数据集、最大迭代值k_max、置信度η₀、模型阈值t和比例阈值δ；

302)从数据集中随机选择最小要求的m个样本来估计模型参数θ_k；

303)根据阈值t和估计模型计算阈值内的数据个数I_k；

304)若|I_k|＞I_max，则赋值θ＝θ_k，I＝I_k，取ε＝|I|/N根据

重新计算k_max；

305)赋值k＝k+1，重复(302)-(304)直至迭代次数k＞k_max或者I_k＞δ*N；

306)输出最优模型参数θ和有效样本数据I。

针对基于平面拟合的相位相关算法的不足，结合基于平面拟合的相位相关和RANSAC稳健估计算法，本方法利用随机抽样一致(RANSAC)算法代替最小二乘算法来稳健估计平面模型的参数，只选择符合解缠后的平面模型的数据进行偏移值估计，而受偏差影响的数据在稳健估计中作为粗差剔除，从而削弱了相关过程中偏差对最小二乘估计造成的影响，提高了偏移值的精度与稳定性。

1、本方法的抗差性

影响相位相关亚像素估计精度和稳定度的主要因素为光学系统偏差(Opticalaberration)，混叠和加性噪声等，主要影响高频成分，但在低频部分仍然造成偏差。一般的处理方法是在频域加窗函数，但对于使用相位角信息的方法无效且会损失高频成分反而可能降低稳定性。

文献“A fast direct Fourier-based algorithm for subpixel registration of images[J].Geoscience and Remote Sensing，IEEE Transactions on，2001，39(10)：2235-2243”提出互功率谱幅值更小的成分更容易引起偏差，因此忽略幅值更小的成分不参与平面模型估计，但同样存在信息损失的可能，同时幅度的阈值比较难精确确定，而且无法确定偏差剔除的准确度。若利用最小二乘估计来计算平面模型参数，残余的混叠、噪声和其他误差仍然会影响两幅影像间的相位角信息，由于最小二乘的抗差性弱，估计的偏移值结果会受到偏差的严重影响，从而导致亚像素级估计结果精度和稳定性下降。

本发明方法采用稳健估计，偏移值估计中只利用符合平面模型的相位角数据，而受偏差影响的数据在稳健估计中作为粗差剔除，从而体现了基于稳健平面拟合的相位相关方法的抗差性。

2、实验分析

2.1模拟影像密集匹配实验

2.1.1实验数据

为了验证算法的匹配精度与稳定度，本实验采用文献“Extension of phasecorrelation to subpixel registration[J].Image Processing，IEEE Transactions on，2002，11(3)：188-200”中的方法生成存在已知偏移量的模拟影像对。先对实验影像平移整像素偏移后进行低通滤波模拟影像退化减缓混叠影响，再对影像降采样实现亚像素偏移的模拟影像。实验影像数据来源于国产某测绘卫星的全色影像，实验影像大小为400*400，如图2所示。利用上述方法和影像生成行方向偏移0.2像素，列方向偏移0.7像素的另一幅影像，构成模拟影像对。

2.1.2实验结果

实验采用区域密集匹配策略来比较抛物线插值的NCC算法、文献“Extensionof phase correlation to subpixel registration[J].Image Processing，IEEE Transactions on，2002，11(3)：188-200”中基于sinc函数的相位相关算法、文献“A fast directFourier-based algorithm for subpixel registration of images[J].Geoscience and RemoteSensing，IEEE Transactions on，2001，39(10)：2235-2243”中基于平面拟合的相位相关算法和本发明方法计算模拟影像偏移值的精度与稳定性，NCC相关的窗口为21*21，相位相关的窗口取32*32，逐像素匹配计算中心区域100*100个点的行列偏移值。表1列出了四种亚像素相关方法行列方向的匹配误差及误差绝对值的均值与标准差比较，所述的匹配误差指的是真实偏移值与估计偏移值之间的差值。

表1

表1中可以得出基于RANSAC改进的相位相关算法相对于基于平面拟合的算法明显提高了精度和稳定度，同样比sine函数的匹配精度更高，达到与插值算法相似的标准差，而且在行列方向可以得到同等规律的高精度结果，对于模拟影像对可以获取优于1/50像素的匹配精度。相位相关三种算法的精度和稳定度普遍高于传统的灰度相关NCC。为了更明显的展现四种亚像素相关方法密集匹配结果的分布，图3-图6分别为四种亚像素相关方法的视差直方图。

根据视差直方图可以得出相似的结论，基于稳健平面拟合的改进算法具有高精度和高稳定性，在行列方向都明显优于其他三种相关算法。另外，跟据四种亚像素相关方法的匹配误差均值及视差直方图的对称轴，出现一个相似的规律：亚像素估计偏移值趋向于整像素，即在行方向上向0趋近，而列方向上向1趋近。这种在亚像素匹配过程中，亚像素位移值趋向于整像素而引起的系统性误差现象被称为Pixel locking现象。相对而言，基于稳健平面拟合的改进算法的pixel locking现象明显弱于其他方法。

2.2模拟影像序列实验

2.2.1实验数据

为了更明显地分析Pixel locking现象和展示本发明方法的抑制效果，进行模拟影像序列实验。根据上述实验行列方向匹配结果规律相似的结论，本实验只以行方向为例。随机选取一个256*256大小的全色影像块，利用2.1.1中的方法生成50幅模拟影像序列，行方向偏移值以0.1像素递增。

2.2.2实验结果

分别利用基于sinc函数、基于平面拟合和本发明方法计算原始影像块与模拟影像序列的偏移值结果。图7表示三种亚像素相位相关算法的匹配误差曲线图。

从图7上可以明显看出匹配误差曲线图呈现周期性趋势，本发明方法即使仍存在小量系统性的Pixel locking现象，但相对于其他两种算法已大幅降低系统误差的幅度，对Pixel locking现象的影响有较好的抑制作用。

Claims (4)

1.一种基于稳健平面拟合的相位相关亚像素匹配方法，其特征在于，包括以下步骤：

1)获取参考影像f(x，y)与待匹配影像g(x，y)，两幅影像间的关系为：

g(x，y)＝f(x-x₀，y-y₀)

x₀、y₀分别为两幅影像间存在的行列方向的亚像素级偏移值，对两幅影像分别进行升余弦窗加权后进行离散傅里叶变换，得到G(u，v)和H(u，v)，则傅里叶变换的平移特性表示为

F(u，v)＝F(u，v)exp{-i(ux₀+vy₀)}

计算两幅影像的归一化互功率谱矩阵Q(u，v)：

$Q(u,v)=\frac{{G(u,v)F(u,v)}^{*}}{\left|{G(u,v)F(u,v)}^{*}\right|}=\exp \{-i({\mathrm{ux}}_0+{\mathrm{vy}}_0)\};$

2)对矩阵Q(u，v)进行滤波去噪后计算相位角矩阵：

并对相位角矩阵进行二维解缠；

3)采用随机抽样一致算法拟合二维平面，并根据平面模型参数求解出行列方向的亚像素级偏移值x₀和y₀。

2.根据权利要求1所述的一种基于稳健平面拟合的相位相关亚像素匹配方法，其特征在于，所述的步骤2)中，对矩阵Q(u，v)进行滤波去噪后获得相位角矩阵具体为：分离互功率谱矩阵Q(u，v)的实部和虚部，分别使用均值滤波去噪，对滤波后的得到的矩阵按反正切得到去噪后缠绕的相位角矩阵。

3.根据权利要求1所述的一种基于稳健平面拟合的相位相关亚像素匹配方法，其特征在于，所述的步骤2)中，对相位角矩阵进行二维解缠采用的方法为基于最小费用网络流的相位解缠算法。

4.根据权利要求1所述的一种基于稳健平面拟合的相位相关亚像素匹配方法，其特征在于，所述的步骤3)中，采用随机抽样一致算法拟合二维平面，获得平面模型参数具体为：

301)获取输入量，所述的输入量包括数据量为N的数据集、最大迭代值k_max、置信度η₀、模型阈值t和比例阈值δ；

302)从数据集中随机选择最小要求的m个样本来估计模型参数θ_k；

303)根据阈值t和估计模型计算阈值内的数据个数I_k；

304)若|I_k|＞I_max，则赋值θ＝θ_k，I＝I_k，取ε＝|I|/N根据

重新计算k_max；

305)赋值k＝k+1，重复(302)-(304)直至迭代次数k＞k_max或者I_k＞δ*N；

306)输出最优模型参数θ和有效样本数据I。

Images