CN110047032B - 一种基于径向基函数拟合的局部自适应误匹配点剔除方法 - Google Patents

Abstract

本发明提出一种基于径向基函数拟合的局部自适应误匹配点剔除方法，包括以下步骤：根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；基于所述匹配点投影偏差，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数；根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。本发明基于全局投影变换下匹配点间的投影误差，通过基于径向基函数的核函数平滑，能够拟合得到图像任意位置的投影偏差函数，并利用投影偏差函数中权系数的概率分布特征，实现了局部自适应的误匹配点剔除。

Description

一种基于径向基函数拟合的局部自适应误匹配点剔除方法

技术领域

本发明属于计算机视觉领域，涉及误匹配点剔除方法，尤其涉及一种基于径向基函数拟合的局部自适应误匹配点剔除方法和系统。

背景技术

到目前为止，图像匹配依然是计算机视觉领域尚未得到完善解决方案的难题之一。事实上，无论采用何种匹配方法，由于某些图像的局部区域缺乏必要的纹理信息，无法得到精确可靠的匹配结果。即使是采用可靠性相对较高的稀疏特征点匹配，误匹配的出现依然无法完全避免。因此，在得到初步匹配结果后，利用一定的图像先验信息进行误匹配点剔除是十分必要的。

随机抽样一致性检测(Random Sample Consensus，RANSAC)是目前图像匹配中最常用的误匹配点剔除方法，该方法从一组包含“外点”(outliers)的观测数据集中，通过迭代方式估计数学模型的参数，并得到相应的“内点”(inliers)集合。RANSAC有一定的概率得出一个正确的结果，这一概率随迭代次数的增加而提高，但多次迭代会增加计算资源的消耗。实际应用中，为提高运算效率，通常会对数学模型本身的复杂度做出一定限制。对于图像匹配问题，通常在全局投影变换模型基础上运行RANSAC算法以剔除误匹配点。这一方案在固定视点或平面场景情况下能够取得较好效果。但在更一般情况下，图像间存在视差，此时全局投影变换模型与真实的图像变换模型间存在一定的偏差，部分正确的匹配点可能被作为“外点”剔除，而部分误匹配点则可能被作为“内点”保留，从而影响图像匹配的精确度。

局部DLT(Direct Linear Transform)方法是近年被提出的一种新型误匹配剔除算法。对于包含视差的待匹配图像，在每一个特征点的邻域内运行DLT算法求解局部的投影变换。若一对匹配点的投影偏差小于特定的阈值，则认为匹配是正确的。局部DLT方法能够正确运行在纹理丰富的区域。但在特征点数量不足的区域，若当前特征点邻域内的匹配特征点数量小于4，则无法估计得到可靠的单应关系，会进一步导致局部DLT方法失效。

发明内容

本发明的目的是通过以下技术方案实现的。

本发明提出一种基于径向基函数拟合的局部自适应误匹配点剔除方法。在采用全局投影变换的情况下，由于视差或误匹配的影响，图像的匹配点之间会存在投影偏差，在此基础上通过基于径向基函数(Radial Basis Function，RBF)的核函数平滑，能够拟合得到图像任意位置的投影偏差函数。利用投影偏差函数中权系数的概率分布特征，能够以循环逼近的方式逐步剔除错误的匹配数据，实现局部自适应的误匹配点剔除。

具体地，本发明采用的技术方案是：

一种基于径向基函数拟合的局部自适应误匹配点剔除方法，包括以下步骤：

S1.根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；

S2.在S1中得到的匹配点投影偏差的基础上，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数；

S3.在S2中所述权系数计算方法基础上，根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。

进一步地，所述步骤S1的具体方法包括：

对于两幅图像I_p与I_q内给定的匹配点p_i＝(x_i,y_i)^T，q_i＝(u_i,v_i)^T，i＝1,…,n，在DLT算法模型基础上调用RANSAC方法，求解得到I_p与I_q间的全局投影变换：

其中：～表示正比关系，H为全局单应矩阵，

与

为I_p与I_q中以齐次坐标表示的一对匹配点，记p′_i＝(x′_i,y′_i)^T为根据全局投影得到的点p_i在I_q图像平面内的投影点。p′_i处的投影偏差表示为g_i＝p′_i-q_i＝(g_i,h_i)^T。若图像之间存在视差，则g_i≠0。

进一步地，所述步骤S2的具体方法包括：

以偏差函数g(x,y)＝(g(x,y),h(x,y))^T表示图像I_q中任意位置在全局投影变换下的投影偏差，其中，g(x,y)与h(x,y)分别为x方向和y方向的偏差分量，且二者在图像平面都是连续的。

在已知匹配点p′_i，i＝1,…,n及其投影偏差g_i，以径向基函数φ(r)作为核平滑法的核函数。其中，

表示点x＝(x,y)^T到p′_i的距离。径向基函数φ(r)的可选形式包括但不限于如下种类：

·高斯(Gaussian)函数：

·多元二次(Multiquadric)函数：

·逆二次函数：

·逆多元二次(Inverse multiquadric)函数：

·多重调和样条(Polyharmonic spline)函数：

·薄板样条(Thin plate spline)函数(k＝2时的多重调和样条)：

φ(r)＝r²ln(r)

则x方向的偏差函数g(x,y)由所有匹配点上的径向基函数采用核平滑法拟合得到

同样地，可得到y方向的偏差函数h(x,y)形式

其中，权系数w＝(ω₁,…,ω_n)^T，v＝(υ₁,…,υ_n)^T满足如下线性方程组

ΦW＝G

其中，

W＝(w,v)，G＝(g₁,…,g_n)^T。上式可通过线性最小二乘或奇异值分解方法快速求解。

表示实数域。

进一步地，所述步骤S3的具体方法包括：

根据RBF的特性，点p′_i所对应的权系数(ω_i,υ_i)主要由该位置处的投影偏差g_i与附近区域其他已知投影偏差之间的差异决定。近似地认为点p′_i所对应的投影偏差与其他任一已知点的投影偏差之间的差异服从正态分布。进一步地，权系数ω_i与υ_i的取值也近似地服从正态分布，即ω_i～N(μ_ω,σ_ω)，υ_i～N(μ_υ,σ_υ)。其中，μ_ω与μ_υ为对应权系数的均值，σ_ω与σ_υ为标准差。

以p₁表示匹配点对{p_i,q_i}正确的概率，即匹配点对中内点的比率。根据贝叶斯定理推导可得，当p₁∈[0,0.9973]时，若

则匹配点对{p_i,q_i}是误匹配的概率不小于50％。这一结论同样适用于υ_i。

实际操作中，内点所对应权系数的分布参数μ_ω，μ_υ，σ_ω，σ_υ未知，因此以当前所有匹配点权系数的均值

与标准差

作为近似，并以循环逼近的方式逐步剔除误匹配点，设置最大循环次数L，具体流程如下：

1.基于匹配点{p′_i,q_i}，i＝1,…,n构建线性方程组ΦW＝G；

2.求解得到权系数{(ω_i,υ_i)}，计算权系数的均值

与标准差

标记所有满足

或

的匹配点；

3.若被标记的匹配点数量不足当前匹配点数量的0.27％，则完成误匹配点剔除；

4.从当前匹配数据中剔除被标记的匹配点，并在当前线性方程组中剔除所有被标记的行和列，构建新的线性方程组。若循环次数少于L，返回步骤2。

经上述处理后，所有被标记的匹配点的并集为误匹配点，其余点为正确匹配点。

本发明提出一种基于径向基函数拟合的局部自适应误匹配点剔除方法。在采用全局投影变换的情况下，由于视差或误匹配的影响，图像的匹配点之间会存在投影偏差，在此基础上通过基于径向基函数的核函数平滑，能够拟合得到图像任意位置的投影偏差函数。利用投影偏差函数中权系数的概率分布特征，能够以循环逼近的方式逐步剔除错误的匹配数据，实现局部自适应的误匹配点剔除。本发明所提方法能够获得比RANSAC方法更好的误匹配点剔除效果，且每次循环都基于当前所有匹配数据，解决了局部DLT方法在特征点不足区域失效的问题。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明的总体流程图。

图2为常用径向基函数曲线图。

图3为局部自适应误匹配点剔除流程图。

图4为本发明的系统结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提出一种基于径向基函数拟合的局部自适应误匹配点剔除方法。首先，根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；然后，在匹配点投影偏差的基础上，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数；最后，根据偏差函数参数中权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。总体流程图如图1所示。

本发明提供的面向多人增强现实交互的空间一致性保持方法通过以下步骤实现：

S1.根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；

对于两幅图像I_p与I_q内给定的匹配点p_i＝(x_i,y_i)^T，q_i＝(u_i,v_i)^T，i＝1,…,n，在DLT算法模型基础上调用RANSAC方法，求解得到I_p与I_q间的全局投影变换：

其中：～表示正比关系，H为全局单应矩阵，

与

为I_p与I_q中以齐次坐标表示的一对匹配点，记p′_i＝(x′_i,y′_i)^T为根据全局投影得到的点p_i在I_q图像平面内的投影点。p′_i处的投影偏差表示为g_i＝p′_i-q_i＝(g_i,h_i)^T。若图像之间存在视差，则g_i≠0。

S2.在S1中得到的匹配点投影偏差的基础上，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数；

以偏差函数g(x,y)＝(g(x,y),h(x,y))^T表示图像I_q中任意位置在全局投影变换下的投影偏差，其中，g(x,y)与h(x,y)分别为x方向和y方向的偏差分量，且二者在图像平面都是连续的。

在已知匹配点p′_i，i＝1,…,n及其投影偏差g_i，以径向基函数φ(r)作为核平滑法的核函数。其中，

表示点x＝(x,y)^T到p′_i的距离。径向基函数φ(r)的可选形式包括但不限于如下种类：

·高斯(Gaussian)函数：

·多元二次(Multiquadric)函数：

·逆二次函数：

·逆多元二次(Inverse multiquadric)函数：

·多重调和样条(Polyharmonic spline)函数：

·薄板样条(Thin plate spline)函数(k＝2时的多重调和样条)：

φ(r)＝r²ln(r)

上述常用径向基函数的函数曲线如图2所示。

则x方向的偏差函数g(x,y)由所有匹配点上的径向基函数采用核平滑法拟合得到

同样地，可得到y方向的偏差函数h(x,y)形式

其中，权系数w＝(ω₁,…,ω_n)^T，v＝(υ₁,…,υ_n)^T满足如下线性方程组

ΦW＝G

其中，

W＝(w,v)，G＝(g₁,…,g_n)^T。上式可通过线性最小二乘或奇异值分解方法快速求解。

S3.在S2中所述权系数计算方法基础上，根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。

根据RBF的特性，点p′_i所对应的权系数(ω_i,υ_i)主要由该位置处的投影偏差g_i与附近区域其他已知投影偏差之间的差异决定。近似地认为点p′_i所对应的投影偏差与其他任一已知点的投影偏差之间的差异服从正态分布。进一步地，权系数ω_i与υ_i的取值也近似地服从正态分布，即ω_i～N(μ_ω,σ_ω)，υ_i～N(μ_υ,σ_υ)。其中，μ_ω与μ_υ为对应权系数的均值，σ_ω与σ_υ为标准差。

以p₁表示匹配点对{p_i,q_i}正确的概率，即匹配点对中内点的比率。根据贝叶斯定理推导可得，当p₁∈[0,0.9973]时，若

则匹配点对{p_i,q_i}是误匹配的概率不小于50％。这一结论同样适用于υ_i。

实际操作中，内点所对应权系数的分布参数μ_ω，μ_υ，σ_ω，σ_υ未知，因此以当前所有匹配点权系数的均值

与标准差

作为近似，并以循环逼近的方式逐步剔除误匹配点，设置最大循环次数L，具体流程如下：

1.基于匹配点{p′_i,q_i}，i＝1,…,n构建线性方程组ΦW＝G；

2.求解得到权系数{(ω_i,υ_i)}，计算权系数的均值

与标准差

标记所有满足

或

的匹配点；

3.若被标记的匹配点数量不足当前匹配点数量的0.27％，则完成误匹配点剔除；

4.从当前匹配数据中剔除被标记的匹配点，并在当前线性方程组中剔除所有被标记的行和列，构建新的线性方程组。若循环次数少于L，返回步骤2。

上述流程如图3所示。处理完成后，所有被标记的匹配点的并集为误匹配点，其余点为正确匹配点。

如图4所示，本发明还相应的提出了一种基于径向基函数拟合的局部自适应误匹配点剔除系统，包括以下模块：

偏差计算模块11，用于根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；

拟合模块12，用于在匹配点投影偏差的基础上，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数；

剔除模块13，用于在权系数计算方法基础上，根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种基于径向基函数拟合的局部自适应误匹配点剔除方法，其特征在于包括以下步骤：

根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；

基于所述匹配点的投影偏差，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数，包括：

以偏差函数g(x,y)＝(g(x,y),h(x,y))^T表示图像I_q中任意位置在全局投影变换下的投影偏差，其中，g(x,y)与h(x,y)分别为x方向和y方向的偏差分量，且二者在图像平面都是连续的；

在已知匹配点p′_i，i＝1,…,n及其投影偏差g_i，以径向基函数φ(r)作为核平滑法的核函数；其中，

表示点x＝(x,y)^T到p′_i的距离；

则x方向的偏差函数g(x,y)由所有匹配点上的径向基函数采用核平滑法拟合得到

同样地，可得到y方向的偏差函数h(x,y)形式

其中，权系数w＝(ω₁,…,ω_n)^T，v＝(υ₁,…,υ_n)^T满足如下线性方程组

ΦW＝G

其中，

W＝(w,v)，G＝(g₁,…,g_n)^T，

表示实数域；

根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。

2.根据权利要求1所述的基于径向基函数拟合的局部自适应误匹配点剔除方法，其特征在于：

所述根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差，包括：

对于两幅图像I_p与I_q内给定的匹配点p_i＝(x_i,y_i)^T，q_i＝(u_i,v_i)^T，i＝1,…,n，在DLT算法模型基础上调用RANSAC方法，求解得到I_p与I_q间的全局投影变换：

其中：～表示正比关系，H为全局单应矩阵，

与

为I_p与I_q中以齐次坐标表示的一对匹配点，记p_i′＝(x_i′,y_i′)^T为根据全局投影得到的点p_i在I_q图像平面内的投影点；p_i′处的投影偏差表示为g_i＝p_i′-q_i＝(g_i,h_i)^T。

3.根据权利要求1所述的基于径向基函数拟合的局部自适应误匹配点剔除方法，其特征在于：

所述径向基函数φ(r)选自以下函数的一种：高斯函数、多元二次函数、逆二次函数、逆多元二次函数、多重调和样条函数、薄板样条函数。

4.根据权利要求1所述的基于径向基函数拟合的局部自适应误匹配点剔除方法，其特征在于：

所述根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点，包括：

(1).基于匹配点{p_i′,q_i}，i＝1,…,n构建线性方程组ΦW＝G；

(2).求解得到权系数{(ω_i,υ_i)}，计算权系数的均值

与标准差

标记所有满足

或

的匹配点；

(3).若被标记的匹配点数量不足当前匹配点数量的0.27％，则完成误匹配点剔除；

(4).从当前匹配数据中剔除被标记的匹配点，并在当前线性方程组中剔除所有被标记的行和列，构建新的线性方程组；若循环次数少于L，L为最大循环次数，则返回步骤(2)；

其中，所有被标记的匹配点的并集为误匹配点，其余点为正确匹配点。

5.一种基于径向基函数拟合的局部自适应误匹配点剔除系统，包括以下模块：

偏差计算模块，用于根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差；

拟合模块，基于所述匹配点的投影偏差，利用径向基函数拟合得到图像任意位置的偏差函数及其权系数，包括：

以偏差函数g(x,y)＝(g(x,y),h(x,y))^T表示图像I_q中任意位置在全局投影变换下的投影偏差，其中，g(x,y)与h(x,y)分别为x方向和y方向的偏差分量，且二者在图像平面都是连续的；

在已知匹配点p′_i，i＝1,…,n及其投影偏差g_i，以径向基函数φ(r)作为核平滑法的核函数；其中，

表示点x＝(x,y)^T到p′_i的距离；

则x方向的偏差函数g(x,y)由所有匹配点上的径向基函数采用核平滑法拟合得到

同样地，可得到y方向的偏差函数h(x,y)形式

其中，权系数w＝(ω₁,…,ω_n)^T，v＝(υ₁,…,υ_n)^T满足如下线性方程组

ΦW＝G

其中，

W＝(w,v)，G＝(g₁,…,g_n)^T，

表示实数域；

剔除模块，根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点。

6.根据权利要求5所述的基于径向基函数拟合的局部自适应误匹配点剔除系统，其特征在于：

所述根据两图像中给定的匹配点，建立图像间的全局投影变换关系，并计算每一对投影点在全局投影下的投影偏差，包括：

对于两幅图像I_p与I_q内给定的匹配点p_i＝(x_i,y_i)^T，q_i＝(u_i,v_i)^T，i＝1,…,n，在DLT算法模型基础上调用RANSAC方法，求解得到I_p与I_q间的全局投影变换：

其中：～表示正比关系，H为全局单应矩阵，

与

为I_p与I_q中以齐次坐标表示的一对匹配点，记p_i′＝(x_i′,y_i′)^T为根据全局投影得到的点p_i在I_q图像平面内的投影点；p_i′处的投影偏差表示为g_i＝p_i′-q_i＝(g_i,h_i)^T。

7.根据权利要求5所述的基于径向基函数拟合的局部自适应误匹配点剔除系统，其特征在于：

所述径向基函数φ(r)选自以下函数的一种：高斯函数、多元二次函数、逆二次函数、逆多元二次函数、多重调和样条函数、薄板样条函数。

8.根据权利要求5所述的基于径向基函数拟合的局部自适应误匹配点剔除系统，其特征在于：

所述根据权系数的概率分布特征，以循环逼近的方式逐步剔除误匹配点，包括：

(1).基于匹配点{p_i′,q_i}，i＝1,…,n构建线性方程组ΦW＝G；

(2).求解得到权系数{(ω_i,υ_i)}，计算权系数的均值

与标准差

标记所有满足

或

的匹配点；

(3).若被标记的匹配点数量不足当前匹配点数量的0.27％，则完成误匹配点剔除；

(4).从当前匹配数据中剔除被标记的匹配点，并在当前线性方程组中剔除所有被标记的行和列，构建新的线性方程组；若循环次数少于L，L为最大循环次数，则返回步骤(2)；

其中，所有被标记的匹配点的并集为误匹配点，其余点为正确匹配点。

Images