CN112084855A - 一种基于改进ransac方法对视频流的外点剔除方法 - Google Patents

Abstract

本发明公开了一种基于改进RANSAC方法对视频流的外点剔除方法，提取特征点并跟踪，更新跟踪次数；对特征点连续跟踪次数进行统计判断，从归类的模型建构点集中随机选取可计算模型参数的最小数据进行模型拟合，计算基础矩阵模型；用基础矩阵模型对其他全部特征点进行判断，统计所有特征点中的内外点信息；同时统计模型建构点集中被归为内点的数目，同时与前一次模型比较，更新模型；得到最大迭代次数；完成一次迭代后，迭代次数+1；达到上限后跳出，输出内点信息；对输入的特征点进行标记，被判断为内点的，即被成功跟踪，保留处理，被判断为外点的，即跟踪失败，清除处理。本发明同时提升了原算法的精度和运算速度。

Description

一种基于改进RANSAC方法对视频流的外点剔除方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于改进RANSAC方法对视 频流的外点剔除方法。

背景技术

外点剔除一直是计算机视觉领域里的热点问题，在各种图像处理问题中都占 据重要的位置。以VSLAM系统为例，前端特征点法VIO会对物体提取特征点来 估计相机的位姿，这同时带来一个严峻的挑战，就是特征点的匹配问题。在进行 定位的过程中，首先要对相邻两帧图像中提取的特征点进行匹配，但是由于匹配 问题的复杂性与规模的庞大性，经常会带来误匹配的问题；同时由于空间中可能 存在的物体运动或是测量误差，即便是正确匹配的特征点，也无法进行良好的三 角测量。这个问题严重影响了后续的位姿还原过程，降低了基础矩阵(Fundamental matrix)或者单应矩阵(Homography matrix)的计算精度。

请参阅图6，传统上对于误匹配的特征点，一般采取随机抽样一致(RANdom SAmpleConsensus，RANSAC)方法进行剔除操作，这个方法被广泛应用于各种 场景的剔除外点，是个非常有效的方法。它可以从一组包含“局外点”的观测数据 集中，通过迭代方式估计数学模型的参数。整个这个过程为迭代一次，此过程被 重复执行固定的次数，每次产生的模型有两个结局：1、要么因为局内点太少， 还不如上一次的模型，而被舍弃；2、要么因为比现有的模型更好而被选用。

传统的RANSAC方法一直存在迭代次数高，计算量大和耗时过久的弊端。 现有方法中涉及到的生长函数与相似度判别准则对于不同的问题是很难进行选 择的，严重限制了这种方法的应用面与性能。由于在VSLAM追踪过程中，机器 人会经过非常多的环境，因此不同时刻采集到的数据差别很大，会导致不同时刻 特征点的阈值差别很大，即N_m难以确定，因此RANSAC方法在应用时还存在 跳出判别条件困难的情况，现有的参数在VSLAM的连续系统中是不断变化的， 因此一直以来应用效果并不理想。同时传统的应用RANSAC进行外点剔除时， 会应用八点法进行本质矩阵的估计，八点法的特征是应用最小二乘法，可以尽可 能寻找一个符合大多数特征点的本质矩阵，这样有利于方法的稳定收敛，但是会 存在为了外点污染模型的情况，降低模型的精度。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于 改进RANSAC方法对视频流的外点剔除方法，应用于VINS-mono开源VSLAM方 法中，取得很好的效果。

本发明采用以下技术方案：

一种基于改进RANSAC方法对视频流的外点剔除方法，包括以下步骤：

S1、提取视频流的特征点并跟踪，更新跟踪次数；

S2、对特征点连续跟踪次数进行统计判断，将跟踪次数大于等于α的所有特 征点归类为模型建构点集S_cons，将跟踪次数小于α的点归类为模型验证点集S_veri；

S3、从步骤S2中归类的模型建构点集S_cons中随机选取可计算模型参数的最小 数据进行模型拟合，计算基础矩阵模型；

S4、用步骤S3中的基础矩阵模型对其他全部特征点进行判断，统计所有特 征点S中的内外点信息；同时统计模型建构点集S_cons中被归为内点的数目n_{in_cur}， 同时与前一次模型比较，如果n_{in_cur}≤n_{in_pre}，则认为本次模型不如上一次模型，保 留原模型，返回步骤S3；否则更新模型进入步骤S5；

S5、计算此次迭代的内点概率w_cons，得到最大迭代次数k_max；

S6、完成一次迭代后，迭代次数+1；若未达到次数上限k_max，返回步骤S3； 若达到上限，则跳出，输出内点信息；

S7、对输入的特征点进行标记，被判断为内点的，即被成功跟踪，保留处理， 被判断为外点的，即跟踪失败，清除处理。

具体的，步骤S1中，当有新的图像输入时，提取得到这一帧的ORB特征点， 之后对得到的特征点进行L-K金字塔光流法跟踪，与上一帧得到的特征点进行对 比，若存在对应特征点，则将次特征点与上一帧的特征点做合并处理，并且跟踪 次数t_p+1，若没有与之对应的特征点，则被判断为新的特征点，创建跟踪t_pnew＝0。

具体的，步骤S2中，将所有点对按照跟踪次数t_p进行筛选，跟踪次数α作为 阈值；判断S_cons＜kS，k∈[0,1]，k为警戒值，若满足条件，不对特征点进行筛选， 以全部特征点为运算对象S_cons＝S。

进一步的，跟踪次数α取3～7。

具体的，步骤S3中，首先考虑一对匹配点，得到归一化坐标为：x₁＝[u₁,v₁,1]， x₂＝[u₂,v₂,1]，根据对极约束，利用7对点对得到方程组Af，A的秩为7，得到的 解空间为一个二维平面，确定最终的本质矩阵F的约束，去掉复数解后，得到1 个解或三个解，若得到三个解，则在之后的判断中选择匹配点数多的解作为真解。

具体的，步骤S4中，利用点对x₁＝[u₁,v₁,1]，x₂＝[u₂,v₂,1]计算得到结果e_i＝x₁Fx′₂， 当拟合得到的误差小于预设值e_max时，则判定此点为内点，否则此点被分类为外点。

进一步的，若步骤S3中得到三个模型，则对三个模型均进行拟合测试，选 出内点数目多的模型为真值。

具体的，步骤S5中，最大迭代次数k_max如下：

其中，p为置信度，

为所有n个点均为局内点的概率。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于改进RANSAC方法对视频流的外点剔除方法，采用依据累 计跟踪频次对特征点进行质量排序的独特方法，降低了模型拟合点筛选范围，有 效提高了内点被选中的概率，从而使得优秀的模型快速出现，降低了迭代次数， 同时由于选择优秀内点的概率上升，因此能够得到更好的模型，提升方法的精度。

进一步的，通过步骤S1提取特征点是算法的开始，更新跟踪次数为之后的 筛选和计算提供必要数据。

进一步的，通过步骤S2可以有效对特征点进行筛选，有效减少计算量。

进一步的，α取3～7是根据经验选择稳定的特征点的阈值，太低筛选效果差， 太高会导致不稳定。

进一步的，采用七点法，求解过程由最小二乘变为了求解线性方程组，有效 提升了方法的精度。

进一步的，步骤S4是在进行模型的判断，保留优秀的模型，同时更新点集 的信息，为下一次迭代提供必要信息处。

进一步的，三个模型中只有一个是真值，需要对三个模型进行拟合，才能选 择正确的模型F。

进一步的，结合之前的两项改动，对经典最大迭代次数计算公式进行了修正， 有效提升了方法的鲁棒性。

综上所述，本发明同时提升了原算法的精度和运算速度。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为光流法跟踪相邻两帧图像的结果图；

图2为修改前OpenCV求解结果实例图；

图3为修改后本方法结果实例图；

图4为修改前后终端框内的速度精度对比图；

图5为修改前后整体性能对比图；

图6为修改前传统方法流程框图；

图7为修改后本发明流程框图。

具体实施方式

请参阅图7，本发明一种基于改进RANSAC方法对视频流的外点剔除方法，包 括以下步骤：

S1、视频流特征点提取与跟踪，更新跟踪次数；

当有新的图像输入时，提取得到这一帧的ORB特征点，之后需要对得到的 特征点进行L-K金字塔光流法跟踪，将其与上一帧得到的特征点进行对比，如存 在对应特征点，则将次特征点与上一帧的特征点做合并处理，并且跟踪次数t_p+1， 对于没有与之对应的特征点，则被判断为新的特征点，创建跟踪t_pnew＝0。

S2、对特征点连续跟踪次数进行统计判断：如果α次以下跟踪次数的特征点 数目大于一定比例，则不进行特征点筛选；

将所有点对按照跟踪次数t_p进行筛选，按照跟踪次数α作为阈值，将跟踪次 数大于等于α的所有特征点归类为模型建构点集S_cons，其余跟踪次数小于α的点 归类为模型验证点集S_veri；而后判断S_cons＜kS，k∈[0,1]，k为警戒值，取0.5以下；

当上式成立时，认为存在大量不稳定的点，一般存在于视频流刚开始或者镜 头快速切换等情况，此时为了保证方法的稳定性与S_cons的可靠性，不对特征点进 行筛选，以全部特征点为运算对象S_cons＝S。

α取3～7。

S3、选取跟踪次数α次及以上的点，在其中随机选取可计算模型参数的最小 数据进行模型拟合，利用七点法(7-points Algorithm)计算基础矩阵(Fundamental matrix)模型；

基础矩阵为：

从步骤S2中归类的模型建构点集S_cons中随机选取可计算模型参数的最小数 据进行模型拟合，对于本发明利用七点法(7-points Algorithm)计算基础矩阵 (Fundamentalmatrix)的模型。

首先考虑一对匹配点，它们的归一化坐标为：x₁＝[u₁,v₁,1]，x₂＝[u₂,v₂,1]，根据对极约束，有：

利用7对点对得到下面方程组

f＝[e₁,e₂,e₃,e₄,e₅,e₆,e₇,e₈,e₉]'

此时A的秩为7，得到的解空间为一个二维平面，而最终的本质矩阵F得到 下面方程的约束：

det(sF₁+(1-s)F₂)＝0

其中，F₁和F₂是由f的两个正交解变换得到的矩阵，因此可以由上式得到一 个关于s的三次方程，该方程在去掉复数解之后，可能存在两种情况，1个解或 者三个解，若得到三个解，则在之后的判断中选择匹配点数多的解作为真解。

S4、用步骤S3中的模型对其他全部特征点进行判断，统计所有特征点S中 的内外点信息；同时统计模型建构点集S_cons中被归为内点的数目n_{in_cur}，同时与前 一次模型比较，如果n_{in_cur}≤n_{in_pre}，则认为本次模型不如上一次模型，保留原模型， 返回步骤S3；否则更新模型进入步骤S5；

拟合过程如下：

利用点对x₁＝[u₁,v₁,1]，x₂＝[u₂,v₂,1]计算得到的结果e_i＝x₁Fx′₂，当拟合得到的误 差小于预设值e_max时，则判定此点为内点，否则此点被分类为外点。

若在步骤S3中得到了三个模型，则对三个模型均进行拟合测试，选出内点 数目多的模型为真值。

S5、计算此次迭代的内点概率w_cons，由此计算出最大迭代次数k_max；

根据步骤S4中统计得到的S_cons中被归为内点的数目n_{in_cur}，可以计算内点的 概率为

其中，size(S_cons)为模型建构点集S_cons的大小，方法得到的 正确结果的概率是根据置信度p得到的。

RANSAC方法按照置信度p计算所需的最大迭代次数k的大小，用w表示每 次从数据集中选取一个局内点的概率，如下式所示：

w＝局内点的数目/数据集的数目

假设估计模型需要选定n个点，wⁿ是所有n个点均为局内点的概率；1-wⁿ是n 个点中至少有一个点为局外点的概率，此时表明从数据集中估计出了一个被外点 污染的模型；(1-wⁿ)^k表示方法在k次迭代内都不会选择到n个点均为局内点的概 率，其与1-p相同，得到等式1-p＝(1-wⁿ)^k，等式两边取对数可以得到迭代次数 的公式如下：

其中，p为置信度，一般取0.99或0.995；此代码采用7点法，即取n＝7。

本方法在计算w时并不是用全部局内点数量除以数据集数目，而是只对模型 建构点集S_cons内的特征点进行计算，因为此方法在建构模型的时候将特征点限制 在了那些跟踪次数高的S_cons点集中，变成了w_cons，得到本方法的最大迭代次数如 下：

S6、完成一次迭代，迭代次数+1；若未达到次数上限k_max，返回步骤S3；若 达到上限，则跳出，输出内点信息；

S7、对输入的特征点进行标记，被判断为内点的，即被成功跟踪，被保留， 被判断为外点的，即跟踪失败，从程序中清除。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实 施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中 的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因 此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的 本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本 领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属 于本发明保护的范围。

以EuRoC数据集中MH_05为例，取其中两帧图像进行内部效果展示。图1 为此帧图像相对于上一帧图像通过L-K金字塔光流法进行特征点跟踪之后的结 果，绿色点代表特征点，短线代特征点运动的反方向。由图1可以看出，此帧图 像明显以一个平移运动为主，相机向点运动的反方向右下移动。

请参阅图2和图3，分别为OpenCV结果与本方法结果。图中画出的线条代 表了相机的运动，线条交会处为相机运动方向，从图2中可以看出通过OpenCV 求解得到的结果是相机向右前方移动，与光流法直观感受不太相符；而从图3中 我们可以看到，本方法结果为向右下的平移运动与直观感受非常符合。

请参阅图4，为两种方法在时间上与误差上的对比，可以看到不管是运行时 间还是误差大小，本方法都远优于OpenCV方法，其中这一帧的速度提升达到了 20倍以上，精度也提升了50％，精度的提升同时验证了上述的直观感受的正确。 注意此处精度为单张图像的本质矩阵精度，不同于系统精度。

请参阅图5，为两种方法在V2_02数据集上运行的结果，其中(a)(c)分别为修 改之后误差在时间与空间上的分布，(a)(c)分别为修改之前误差在时间与空间上的 分布，由图可以直观看出，修改后RMSE有了明显下降。

综上所述，本发明一种基于改进RANSAC方法对视频流的外点剔除方法，具 有以下特点：

针对传统RANSAC方法进行了多种改进，并成功将其应用于VINS-mono开 源方法，通过运行EuRoC数据集，进行广泛的实验，取得了非常好的效果。以 V2_02数据集为例，其中一共进行了1200帧左右的计算，RANSAC速度达到了 50％-95％的提升，平均耗时从原来的0.927ms减小到0.416ms，平均提升为55％， 速度达到原来的两倍以上。

同时方法的精度也得到了提升，经过十一个数据集的验证，VSALM的定位 精度平均提升达到了12％；多个数据集提升在20％以上，达到了显著效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算 机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软 件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计 算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、 光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或 方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框 的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机 或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可 编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指 令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡 是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发 明权利要求书的保护范围之内。

Claims (8)

1.一种基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，包括以下步骤：

S1、提取视频流的特征点并跟踪，更新跟踪次数；

S2、对特征点连续跟踪次数进行统计判断，将跟踪次数大于等于α的所有特征点归类为模型建构点集S_cons，将跟踪次数小于α的点归类为模型验证点集S_veri；

S3、从步骤S2中归类的模型建构点集S_cons中随机选取可计算模型参数的最小数据进行模型拟合，计算基础矩阵模型；

S4、用步骤S3中的基础矩阵模型对其他全部特征点进行判断，统计所有特征点S中的内外点信息；同时统计模型建构点集S_cons中被归为内点的数目n_{in_cur}，同时与前一次模型比较，如果n_{in_cur}≤n_{in_pre}，则认为本次模型不如上一次模型，保留原模型，返回步骤S3；否则更新模型进入步骤S5；

S5、计算迭代的内点概率w_cons，得到最大迭代次数k_max；

S6、完成一次迭代后，迭代次数+1；若未达到次数上限k_max，返回步骤S3；若达到上限，则跳出，输出内点信息；

S7、对输入的特征点进行标记，被判断为内点的，即被成功跟踪，进行保留处理，被判断为外点的，即跟踪失败，进行清除处理。

2.根据权利要求1所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，步骤S1中，当有新的图像输入时，提取得到这一帧的ORB特征点，之后对得到的特征点进行L-K金字塔光流法跟踪，与上一帧得到的特征点进行对比，若存在对应特征点，则将次特征点与上一帧的特征点做合并处理，并且跟踪次数t_p+1，若没有与之对应的特征点，则被判断为新的特征点，创建跟踪t_pnew＝0。

3.根据权利要求1所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，步骤S2中，将所有点对按照跟踪次数t_p进行筛选，跟踪次数α作为阈值；判断S_cons＜kS，k∈[0,1]，k为警戒值，若满足条件，不对特征点进行筛选，以全部特征点为运算对象S_cons＝S。

4.根据权利要求3所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，跟踪次数α取3～7。

5.根据权利要求1所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，步骤S3中，首先考虑一对匹配点，得到归一化坐标为：x₁＝[u₁,v₁,1]，x₂＝[u₂,v₂,1]，根据对极约束，利用7对点对得到方程组Af，A的秩为7，得到的解空间为一个二维平面，确定最终的本质矩阵F的约束，去掉复数解后，得到1个解或三个解，若得到三个解，则在之后的判断中选择匹配点数多的解作为真解。

6.根据权利要求1所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，步骤S4中，利用点对x₁＝[u₁,v₁,1]，x₂＝[u₂,v₂,1]计算得到结果e_i＝x₁Fx′₂，当拟合得到的误差小于预设值e_max时，则判定此点为内点，否则此点被分类为外点。

7.根据权利要求6所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，若步骤S3中得到三个模型，则对三个模型均进行拟合测试，选出内点数目多的模型为真值。

8.根据权利要求1所述的基于改进RANSAC方法对视频流的外点剔除方法，其特征在于，步骤S5中，最大迭代次数k_max如下：

其中，p为置信度，

为所有n个点均为局内点的概率。

Images