CN104715482B - 一种ransac计算基本矩阵中内点门限自动设置方法 - Google Patents

Abstract

为了解决计算机多视几何中稀疏特征点错误匹配导致基本矩阵F精度不高的问题，提出一种RANSAC(RANdom SAmple Consensus)计算基本矩阵中内点门限自动设置方法。此方法根据RANSAC求解F矩阵的要素，将固定设置极线距离门限Th的方式改为自动设置，提高了算法的鲁棒性。这些要素是图像对中的稀疏特征点匹配的个数N、图像像素个数、初始计算得到的特征点到极线的平均距离D_init。特征点像素坐标到极线的垂直距离门限Th计算采用公式Th=Min(w×N/51200,D_init/3)，w为图像的宽，单位为像素。Min为取二者最小值的函数。门限Th与图像大小和特征点匹配个数成正比，图像越大，匹配越多，Th越大。相对于传统方法，本方法将固定门限变成了自动设置，可以自适应三维重建不同类型的图片，更加实用和鲁棒。

Description

一种RANSAC计算基本矩阵中内点门限自动设置方法

技术领域

本发明涉及计算机应用技术和计算机视觉中的图像三维信息重建领域，具体涉及一种计算机视觉多视几何中RANSAC (RANdom SAmple Consensus)计算基本矩阵F(Fundamental Matrix) 中内点门限自动设置方法。

背景技术

从同一场景的多幅不同视角的图像恢复出该场景的三维信息，在各行各业已经取得了广泛的应用，如：文物三维模型自动生成，航拍图像生成三维模型，人脸识别中的三维人脸识别，增强现实中虚拟三维物体位置生成等现在很热门的应用。

在这些技术中，都需要用到计算机视觉技术中多视几何(Multi-view)的相关知识。一个经典实用两视图三维恢复的技术框架是：1）预先标定两个摄像机内参数K、K’；2）通过两视图之间的稀疏特征点匹配求解两幅视图（图像）之间对应的基本矩阵F；3）通过公式求出E= K’^TKF，E被称为本质矩阵，分解E可以得出两视图之间的旋转R和平移t关系，分解方法是E=[t]_×R。这样就得到了两幅图像之间的三维位置关系。

更一般的是用多张同一场景的图像来恢复三维场景，这样可以解决两视图中遮挡后无法恢复的三维信息。这时更多的多视图可以用摄像机自标定技术来进行三维场景恢复，如：利用绝对对偶二次曲面标定，Kruppa方程标定法，利用平面移动或纯旋转约束进行自标定的方法等。

以上这些技术框架中都无一例外的要求解两视图的基本矩阵F，可见F在计算机视觉技术中多视几何中重要性。求解F的方法一般有归一化8点算法，代数最小化算法，黄金标准几何距离算法等。这些算法都会碰到一个严重影响F矩阵精度的问题：两视图之间的稀疏特征点的错误匹配；一个错误的匹配都可能会造成畸型的三维场景。

目前，解决错误匹配一般用的技术框架就是RANSAC (RANdom SAmpleConsensus)，它利用多次的随机选择若干个稀疏特征点匹配，计算此次匹配时内点的个数，是否为内点一般用到左视图特征点对应的右视图特征点到相应极线的距离为标准，距离大于一个设定的门限值Th，则这个特征点匹配是错误匹配。这个设定的门限值一般采用固定值，如1或者2、3等，它的单位是像素。固定设置的像素距离会导致一些问题，门限设置得过大，恢复出来的三维信息有可能精度低，畸型明显；门限小，内点的个数少，在多视图时匹配点可能就不够用，导致恢复失败，更甚的是极少的内点个数也可能恢复出畸形的三维模型。

发明内容

本发明要解决的技术问题是：为了解决计算机多视几何中稀疏特征点错误匹配导致基本矩阵F精度不高的问题，提出一种RANSAC求解F时自动设置内点门限的方法，相对于传统方法，本方法将固定门限变成了自动设置，可以自适应不同类型的图片，达到了实用和鲁棒的要求。

本发明解决其技术问题所采用的技术方案是：根据F矩阵计算的要素，将固定设置极线距离的方式改为自动设置，提高了计算的鲁棒性。这些要素是图像对中的稀疏特征点匹配的个数N、图像像素多少、初始计算得到的平均极线距离D_init。

本发明的创新点在于：将RANSAC求解基本矩阵F时固定设置对应特征点到相应极线的距离门限Th的方式改为自动设置，设置的依据是图像对中的稀疏特征点匹配的个数N、图像像素个数、初始计算得到的平均极线距离D_init。

Th计算如公式(1)所示：

Th = Min(w×N/51200, D_init/3) (1)

w为图像的宽，单位为像素；Min为取二者最小值的函数。门限Th与图像大小和特征点匹配个数成正比，图像越大，匹配越多，Th越大。

具体实施方式

下面将列出具体的方法步骤，为了详细表明自动设置距离门限Th的方法，我们列出了整个求解F矩阵的方法，并粗体标出自动设置Th的部分，它是方法的第4）步。

方法输入：两幅图像的特征点位置匹配对[u, u’]，u及u’都是N×2的矩阵，第一列是图像横坐标，第二列是图像纵坐标。

方法输出：两幅图像的基本矩阵F，对应的特征点匹配内点。

本方法具体步骤是：

1）对输入[u, u’]进行归一化，计算一个包含平移和缩放的变换H和H’,使其成为以原点为中心，到原点的平均平方距离为2，得到 [v, v’],v=Hu, v’ =H’ u’。

2) 用上步得到的[v, v’]采用8点法计算F（详细的基本矩阵8点法见后，也可以用其它通过特征点对应求解F矩阵的方法），得到初始的平均极线距离D_init。

3）计算RANSAC算法中采样的次数，N_sample=50×log(1-0.999)/log(1-(1-0.3)^8)。

4）按公式（1）计算Th。

5）进入RANSAC框架进行采样循环

将下述步骤循环N_sample次

用8点法计算F；

按F计算各个匹配点到极线的距离D;

统计D<Th的内点[w w’]及个数N_inner；

计算所有内点到极线的平均距离D_inner;

记录内点个数最多对应的结果到F’_best，D_best，N_{inner_best}，内点集合为[w_best，w’_best];

如果 N_inner与N_{inner_best} 次数相同，并且D_inner< D_best，也记录相应的结果到F’_best，D_best，N_{inner_best}，[w_best，w’_best];

循环次数达到N_sample次时结束。

6）采样循环结束后，F’_best就是归一化的两幅图像的基本矩阵F的计算结果，对应的内点就是[w_best，w’_best]。

7) 反归一化：F_best=H’^TF’_best H ，F_best就是最终的基本矩阵F的计算结果；

u_best=H^-1w_best，u’_best=H’^-1w’_best, [u_best，u’_best]就是最后计算出的内点，可以继续用作后续的三维恢复。

为了完整表示出本方法的应用，以下列出8点法求解基本矩阵F的步骤:

算法输入：8点法求F矩阵算法输入与上述算法相同，都是两幅图像的特征点位置匹配对

[u, u’]，u及u’都是N×2的矩阵。

将[u，u’]表示为齐次坐标，设u=[x y 1]，u’=[x’ y’ 1]。

算法输出：两幅图像的基本矩阵F。

算法步骤：根据F矩阵的性质u^T Fu’=0，将齐次坐标代入，可以得到

(x’x, x’y, x’, y’x , y’y, y’, x, y, 1)×f=0

f是将F按行排列得到的列向量；F是一个齐次量（向量最后一个值为1，表示尺度），用8个特征点匹配组成上述8个方程可以得到||f||=1约束下的解。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种计算机视觉多视几何技术中RANSAC(RANdom SAmple Consensus) 计算基本矩阵中内点门限自动设置方法，其特征是具体门限设置方法是：根据F矩阵计算的要素，将固定设置特征点到极线距离门限的方式改为自动设置，提高了算法的鲁棒性；自动设置时考虑的因素是图像对中的稀疏特征点匹配的个数N、图像像素个数、初始计算得到的特征点到极线的平均距离D_init；特征点像素坐标到极线的垂直距离门限Th计算采用公式Th = Min(w×N/51200, D_init/3)，w为图像的宽，单位为像素，Min为取二者最小值的函数。

2.如权利要求1所述的RANSAC 计算基本矩阵中内点门限自动设置方法，其特征在于：本方法可适用于采用RANSAC框架求解F，并且内点的判断准则是基于对应特征点到极线的距离。

3.如权利要求1所述的RANSAC 计算基本矩阵中内点门限自动设置方法，其特征在于：RANSAC求解F时，需先设定关键参数和特征匹配内点判定的准则，然后进入采样循环计算F和内点：按特征点匹配计算方法算出F，再用F选择符合准则的内点，直到循环次数至采样次数N_sample；特征点匹配计算F的方法是在归一化8点算法，代数最小化算法，黄金标准几何距离算法中选择一种算法通过特征点匹配来计算F；此方法的关键参数是：采样次数N_sample和特征点像素坐标到极线的垂直距离门限Th；采样次数是N_sample=50×log(1-0.999)/log(1-(1-0.3)^8)，点像素坐标到极线距离门限是Th = Min(w×N/51200, D_init/3)。