CN107590234B

CN107590234B - 一种基于ransac的室内视觉定位数据库冗余信息减少的方法

Info

Publication number: CN107590234B
Application number: CN201710801671.1A
Authority: CN
Inventors: 马琳; 杨浩; 谭学治; 谭竞扬; 李伦
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2017-09-07
Filing date: 2017-09-07
Publication date: 2020-06-09
Anticipated expiration: 2037-09-07
Also published as: CN107590234A

Abstract

一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，涉及图像处理技术领域，具体涉及一种室内视觉定位数据库减少冗余信息的方法。本发明为了解决采用基于时间域或空间域进行采样数据库建立工作量大，而且数据库存在冗余，致使进行室内视觉定位时检索速度慢和定位效果不稳定的问题。本发明应用Matlab对摄像头进行驱动，以使用摄像头进行视频录制；应用SURF算法，对采集的照片进行特征点提取；应用RANSAC算法，将已经标出特征点的数据库中关键帧与当前帧的图像进行误匹配特征点对剔除；应用关键帧选取算法，选择合适的视频帧作为数据库中的关键帧，从而完成对数据库减少冗余信息的处理。本发明应用于室内视觉定位系统。

Description

一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种室内视觉定位数据库减少冗余信息的方法。

背景技术

在图像处理技术中的视觉定位领域，视觉定位需要利用丰富的图像信息来完成定位工作，任一类视觉室内定位方法在离线阶段都涉及到视觉定位数据库建立的过程。现有的室内视觉定位数据库建立方法一般采用基于参考点采样的建立方法和基于视频流的建立方法。采用在参考点上进行图像采集的方法建立数据库时，需要耗费大量的人力物力；基于视频的数据库建立方法又分为基于时间域或空间域进行采样的方法，基于时间域采样建立数据库时，由于存在运动速度变化和停留的情况，会导致采集过多的图像数据；基于空间域采样建立数据库时，难以判断数据库中图像内容的变化情况，因而采用较高的采样频率，也会导致采样到的视频图像存在冗余信息；因而两种方法都会使数据库产生冗余，数据库存储空间过大，从而影响定位的检索速度和检索精度，致使进行室内视觉定位时检索速度慢和定位效果不稳定。

发明内容

本发明为解决传统方法采用等时间间隔或等空间间隔采样所存在的数据库存储空间过大，而且数据库存在冗余，致使进行室内视觉定位时检索速度慢的问题，提供了一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法。

本发明所述一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，通过以下技术方案实现：

步骤一：使用摄像头进行视频录制；

步骤二：选取第一帧为当前关键帧，并将当前关键帧图像加入视觉定位数据库中；

步骤三：选取下一帧为待匹配帧；

步骤四：应用SURF算法，对当前关键帧和待匹配帧的两帧图像进行特征点提取；

步骤五：应用RANSAC算法，对当前关键帧和待匹配帧的两帧图像进行误匹配特征点对剔除；

步骤六：对当前关键帧和待匹配帧的两帧图像进行是否加入数据库判断；若判断结果为加入，则将待匹配帧图像加入数据库，并将待匹配帧设为当前关键帧；若判断结果为舍弃，则将待匹配帧图像舍弃；

步骤七：判断是否还有视频帧输入，若有，跳至步骤三，如无，则完成减少室内视觉定位数据库的冗余信息的处理。

本发明与现有技术相比较，最为突出的特点和显著的有益效果是：利用本发明方法进行室内视觉定位数据库建立时，所建数据库冗余度低、代表性高，在相同物理空间下数据库所需存储空间更小，因而进行室内视觉定位时在保证定位精度不受影响的情况下定位速度更快。在摄像头平台下采用SURF算法、RANSAC算法，并且使用关键帧选取算法对室内视觉数据库进行减少冗余信息的处理。

本发明解决了在摄像头平台下将摄像头驱动，应用摄像头所采集的数据建立数据库过程中存在的冗余度过高、数据库存储空间过大、定位速度较慢的问题。本发明引入了关键帧的概念，用来描述视频流中能够代表场景变化的帧序列，采用了SURF算法、RANSAC算法、关键帧选取算法对视觉定位数据库减少冗余信息，利用本发明的减少室内视觉定位数据库中冗余信息的方法所建立的数据库在存储空间减少30％左右的情况。

附图说明

图1是本发明的流程图；

图2是本发明中多媒体移动采集平台的结构示意图；

图3是利用SURF算法进行特征点匹配结果图；

图4是利用RANSAC算法进行剔除误匹配特征点对的结果图；

图5传统方法与基于本发明方法进行室内视觉定位的CDF(累积分布函数)曲线；

附图标号说明：

1.滑轮，2.底板，3.立杆，4.摄像头安装件，5.抽屉。

具体实施方式

具体实施方式一：如图1所示，本实施方式给出的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，具体是按照以下步骤制备的：

步骤一：应用Matlab对摄像头进行驱动，使用摄像头进行视频录制；

步骤三：选取下一帧为待匹配帧；

步骤五：应用RANSAC算法，对当前关键帧和待匹配帧的两帧图像进行误匹配特征点对剔除；RANSAC为Random Sample Consensus的缩写，RANSAC算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法；

步骤六：应用关键帧选取算法，对当前关键帧和待匹配帧的两帧图像进行是否加入数据库判断；若判断结果为加入，则将待匹配帧图像加入数据库，并将待匹配帧设为当前关键帧；若判断结果为舍弃，则将待匹配帧图像舍弃；

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一中，在应用摄像头进行视频录制时，设计一个可以同时承载充电电池、电脑以及摄像头的多媒体移动采集平台，利用人眼惰性的原理，将拍摄到的图像一帧帧播放形成视频，以实现摄像头边录制边移动；设计如图2所示，所述多媒体移动采集平台包括下层的底板2和上层的抽屉5，可以承载笔记本电脑以及激光雷达，所述多媒体移动采集平台还包括前部的立杆3，所述立杆3上设有摄像头安装件4，可用于安装摄像头，所述多媒体移动采集平台还设有若干滑轮1，其中前面两个滑轮1是定向轮，方向向前，从而实现边录制边移动的功能。

具体实施方式三：本实施方式与具体实施方式一不同的是：步骤四中，应用SURF算法进行特征点提取的过程为：

步骤四一、特征点检测：

应用SURF算法进行特征点提取的第一步是特征点检测，利用盒子滤波器对当前关键帧和待匹配帧的两帧图像进行卷积，通过改变盒子滤波器的大小，用不同大小的盒子滤波器在所述两帧图像的x，y，z三个方向上作卷积并构建尺度空间金字塔，形成多尺度空间函数D_xx，D_yy，D_xy；其中D_xx表示图像上的点与高斯二阶偏导数

卷积的结果，其中D_yy表示图像上的点与高斯二阶偏导数

卷积的结果，其中D_xy表示图像上的点与高斯二阶偏导数

卷积的结果；x表示所述图像上的点的横坐标，y表示图像上的点的纵坐标，g(σ)表示高斯核函数；

在尺度空间金字塔构建完毕后，通过下式求取某一特定尺度下的局部极值detH：

detH＝D_xx×D_yy-(0.9×D_xy)² (1)

得到局部极值后，需要对当前关键帧和待匹配帧的两帧图像上的点在3×3×3的立体邻域内进行非极大值抑制，把符合条件的点筛选为特征点，同时保存特征点的位置和尺寸，完成特征点检测；

步骤四二、特征点描述：

在确定特征点位置之后，利用haar小波对特征点进行主方向的确定，以保证特征点的旋转和尺度不变性；

步骤四三、特征点匹配：

完成特征点描述后进行特征点匹配，特征点匹配是指在高维向量空间中寻找出最相似的特征向量；根据特征向量之间的欧式距离来衡量特征点的相似度，将当前关键帧中的一个特征点和待匹配帧图像中所有特征点分别计算欧式距离，从中选出最近邻特征点欧式距离Ed_min1和次近邻特征点欧式距离Ed_min2，计算二者的比值ratio，对于比值ratio小于等于第一阈值T_Ed的特征点，则认为是正确匹配的特征点，否则是错误匹配的特征点，将正确匹配的特征点进行连接，形成特征点对；特征点匹配公式如式(2)所示

其它步骤及参数与具体实施方式一相同。

具体实施方式四：本实施方式与具体实施方式三不同的是：步骤四三中的第一阈值T_Ed取0.7，经大量实验证明T_Ed为0.7时为最佳的选择。

具体实施方式五：

由于特征点提取时存在一定的精度误差，提取出的特征点会比求解方程式所需的多很多；另外，自动提取和匹配得到的特征点对中也难免存在一些误匹配特征点对，因此需要一种容错能力很强的算法来优化匹配特征点集；

本实施方式与具体实施方式一、三或四不同的是：步骤五中，使用RANSAC算法来剔除误匹配特征点对，其具体过程为：

步骤五一、从特征点对中随机选择4对来求解单应性矩阵模型H_cur3×3；

步骤五二、将除上述4对特征点对以外的其他特征点对利用H_cur3×3计算其对称变换误差d，当特征点对的对称变换误差d小于T_dist时，认为这对特征点对是符合模型的内点，统计d<T_dist的内点的个数M；T_dist为匹配的特征点最小误差阈值，用于表示欧式距离；

步骤五三、若M≥M_inlier，则将当前最优单应矩阵模型H_3×3更新为H_cur3×3，即令H_3×3＝H_cur3×3，并且保存当前最优单应矩阵模型H_3×3对应的内点数，即令M_inlier＝M；M_inlier表示符合当前最优单应性矩阵模型的最多内点的个数；

步骤五四、判断步骤五一～步骤五三执行次数是否大于等于N，若不是，重复步骤五一～步骤五三的操作，若是，RANSAC算法结束，得到最优的单应矩阵模型H_3×3。最优的单应矩阵模型即在指定的最小误差阈值T_dist下，此时内点数最大，匹配质量较差的特征点对(误匹配特征点对)最少。

具体实施方式六：本实施方式与具体实施方式五不同的是，在步骤五四中，N由式(3)求得：

RANSAC算法要求在一定的置信概率p(一般设为0.99)下，N组抽样中至少有一组数据全是内点，其中ε为内点占所有特征点的比例，p表示置信概率，m为计算单应矩阵模型所需最小数据量。

具体实施方式七：由于在数据库建立时，等时间间隔或等空间间隔采样会使数据库存在冗余或丢失的现象，本发明使用关键帧选取算法对视频帧进行选取，该算法结合图像相似度判断和图像时间间隔判断来最终确定是否将当前帧加入数据库中；

步骤六中，关键帧选取算法进行减少数据库冗余信息的具体过程为：

步骤六一、计算待匹配帧与当前关键帧之间的经过RANSAC算法剔除误匹配特征点对后的匹配特征点对数N(f_t,f_r)；其中，f_t表示待匹配帧图像，t表示待匹配帧在视频流中的帧序号，即f_t是视频流中的第t帧图像，f_r表示当前关键帧的图像，r表示当前关键帧在视频流中的帧序号，即f_r是视频流中的第r帧图像；

步骤六二、计算待匹配帧的帧序号t与当前关键帧的帧序号r之间的差t-r；

步骤六三、应用关键帧选取算法判断是否将待匹配帧加入数据库的方法如下：

当t-r小于第三阈值Q时，判断匹配特征点对数是否满足N(f_t,f_r)≤T，若满足N(f_t,f_r)≤T，则判断结果为加入，若N(f_t,f_r)>T，则判断结果为舍弃；当t-r等于第三阈值Q时，判断结果为加入；

若判断结果为舍弃，则将待匹配帧图像舍弃；

若判断结果为加入，则将待匹配帧图像加入数据库，并将此待匹配帧设为当前关键帧，即f_r＝f_t，r＝t。

由上可知，一旦t-r＝Q时，就会将此时的待匹配帧设为当前关键帧，使r＝t，完成本步骤，因此t-r不可能大于Q。

其它步骤及参数与具体实施方式一相同。

具体实施方式八：本实施方式与具体实施方式六不同的是：步骤六三中第二阈值T取150，第三阈值Q取100。

实施例

采用以下实施例验证本发明的有益效果：

1在哈尔滨工业大学科学院2A栋12层，推着承载着充电电池、笔记本电脑、一个工业摄像头的多媒体移动采集平台，运行笔记本中的MATLAB程序实现工业摄像头的调用，对走廊中的环境进行录制，得到所需视频流。

2我们应用CCD工业摄像头拍摄到的图像，原始图像的像素为1292×964，按照帧率把视频分成一帧帧的照片，使用MATLAB将照片存入一个文件夹，以备提取SURF特征点时和RANSAC算法剔除误匹配特征点对时使用。

3如图3所示，使用SURF算法对当前关键帧和待匹配帧两帧图像提取特征点并进行粗匹配，其中用不同的线条将正确匹配的特征点连接起来，可以看出基本实现了特征点的匹配。我们分别在这两帧图像中提取特征点，调用的是SURF-64，也就意味着每个特征点都有一个64维向量来描述它的某个邻域里的灰度分布信息。两帧图像间进行特征点匹配，只需要用到描述子向量，而并不需要每个特征点的尺度特征、方向特征。尺度和方向信息的价值主要体现在特征点检测和特征点描述的计算过程中。把两张图像的所有特征点之间的距离计算一遍，使用的最近邻比次近邻的方法，就可以把特征点进行匹配。

4在图3所展示的特征点匹配结果中，我们看到有两条特征点对的连接线明显的偏离了其他特征点对的连接方向，这是明显的误匹配特征点对。当然也可能存在其他的误匹配特征点对，但是我们很难用肉眼去分辨。图4就展示了利用RANSAC算法剔除误配点特征点对后的示意图。经过了RANSAC算法剔除误匹配特征点对，匹配特征点对的数量下降。从理论上说，被剔除的特征点对，也未必就是错误匹配导致的，也有可能是因为个别兴趣点定位的误差高出了RANSAC中的预先设定好的第二阈值T。这里匹配特征点对的数量直接反映了两幅图像的相似程度，得到了经过RANSAC算法剔除误匹配特征点对后的匹配特征点对数量，有利于提高计算两张图像相似程度的准确性，从而使数据库更少的出现冗余和缺失的情况。

5根据RANSAC算法剔除误匹配特征点对后计算得到两张图像的匹配特征点对数量N(f_t,f_r)和待匹配帧在视频流中的帧序号t，利用关键帧选取算法判断是否将当前帧作为当前关键帧加入到数据库中，判断结束后将下一帧作为待匹配帧，与当前关键帧继续进行选取判决，直至视频流尾。利用本发明的减少室内视觉定位数据库中冗余信息的方法所建立的数据库在存储空间减少30％左右的情况，最终定位精度CDF(累积分布函数)曲线如图5所示。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：所述方法具体是按以下步骤进行的：

步骤一：使用摄像头进行视频录制；

步骤三：选取下一帧为待匹配帧；

步骤六：对当前关键帧和待匹配帧的两帧图像进行是否加入数据库判断；若判断结果为加入，则将待匹配帧图像加入数据库，并将待匹配帧设为当前关键帧；若判断结果为舍弃，则将待匹配帧图像舍弃；具体过程为：

步骤六三、判断是否将待匹配帧加入数据库的方法如下：

当t-r小于第三阈值Q时，判断匹配特征点对数是否满足N(f_t,f_r)≤T，若满足N(f_t,f_r)≤T，则判断结果为加入，若N(f_t,f_r)＞T，则判断结果为舍弃；当t-r等于第三阈值Q时，判断结果为加入；T为第二阈值；

若判断结果为舍弃，则将待匹配帧图像舍弃；

若判断结果为加入，则将待匹配帧图像加入数据库，并将此待匹配帧设为当前关键帧，即f_r＝f_t，r＝t；

2.根据权利要求1所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：步骤一中，在应用摄像头进行视频录制时，利用多媒体移动采集平台；所述多媒体移动采集平台是指同时承载充电电池、电脑以及摄像头，能够实现边录制边移动的设备。

3.根据权利要求1所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：步骤四中，应用SURF算法进行特征点提取的过程为：

步骤四一、特征点检测：

利用盒子滤波器对当前关键帧和待匹配帧的两帧图像进行卷积，通过改变盒子滤波器的大小，用不同大小的盒子滤波器在所述两帧图像上作卷积并构建尺度空间金字塔，形成多尺度空间函数D_xx，D_yy，D_xy；其中D_xx表示图像上的点与高斯二阶偏导数

卷积的结果，其中D_yy表示图像上的点与高斯二阶偏导数

卷积的结果，其中D_xy表示图像上的点与高斯二阶偏导数

detH＝D_xx×D_yy-(0.9×D_xy)² (1)

对所述图像上的点在3×3×3的立体邻域内进行非极大值抑制，把符合条件的点筛选为特征点，同时保存特征点的位置和尺寸；

步骤四二、特征点描述：

步骤四三、特征点匹配：

完成特征点描述后进行特征点匹配，将当前关键帧中的一个特征点和待匹配帧图像中所有特征点分别计算欧式距离，从中选出最近邻特征点欧式距离Ed_min1和次近邻特征点欧式距离Ed_min2，计算二者的比值ratio，对于比值ratio小于等于第一阈值T_Ed的特征点，则认为是正确匹配的特征点，否则是错误匹配的特征点，将正确匹配的特征点进行连接，形成特征点对；特征点匹配公式如式(2)所示

4.根据权利要求3所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：步骤四三中的第一阈值T_Ed取0.7。

5.根据权利要求1、3或4所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：步骤五中，使用RANSAC算法剔除误匹配特征点对的具体过程为：

步骤五二、将除上述4对特征点对以外的其他特征点对利用H_cur3×3计算对称变换误差d，统计d＜T_dist的内点的个数M；T_dist为匹配的特征点最小误差阈值，用于表示欧式距离；

步骤五四、判断步骤五一～步骤五三执行次数是否大于等于N，若不是，重复步骤五一～步骤五三的操作，若是，RANSAC算法结束，得到最优的单应矩阵模型H_3×3。

6.根据权利要求5所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：步骤五四中，N由式(3)求得：

其中ε为内点占所有特征点的比例，p表示置信概率，m为计算单应矩阵模型所需最小数据量。

7.根据权利要求1所述的一种基于RANSAC的室内视觉定位数据库冗余信息减少的方法，其特征在于：所述第二阈值T取150，第三阈值Q取100。