CN106251357A - 基于虚拟现实与视觉定位系统 - Google Patents

Abstract

本发明公开了一种基于虚拟现实与视觉定位系统。包括立体视觉系统和虚拟现实系统，所述立体视觉系统包括图像获取模块、摄像机标定模块、特征提取模块、立体匹配模块和三维信息恢复模块。本发明通过基于双目立体视觉的三维定位系统的框架，实时获取和显示两个摄像机的视频流数据，具有抓取目标特征点准确，快捷，基于特征的立体匹配方法，对多个图像特征进行匹配定位，大大缩减了匹配的时间；采用高质量的摄像机和标定设备，具有实时性画面质量高。

Description

基于虚拟现实与视觉定位系统

技术领域

本发明属于视觉定位技术领域，特别是涉及基于虚拟现实与视觉定位系统。

背景技术

虚拟现实技术(简称VR)的产生与发展，就虚拟现实本身而言，它主要涉及到三个研究领域：通过计算机图形方式建立实施的三维视觉效果；虚拟现实技术加强诸如科学计算技术方面的应用；建立对虚拟世界的观察界面。

目前的现状，国外在这一领域有着长足的发展，介入这一领域的科研单位和公司越来越多，美国北卡罗来纳大学(UNC)的计算机系是VR研究最平最著名的大学。他们主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等，由Brooks研制成功了第一个用于建筑设计的Walk-through虚拟建筑漫游系统，用户可以在虚拟的UNC计算机系大楼里面漫游。

基于虚拟现实技术的实景空间以下简称虚拟实景空间，是基于实景图像的虚拟信息系统，它利用照相机采集的离散图像或摄像机采集的连续视频作为基础数据，运用IBR技术，将这些孤立的图像按照时间和空间的关联生成全景图，建立起具有空间操纵能力的虚拟环境。

虚拟实景空间不同于传统的以GBR技术为基础构造的虚拟空间，主要体现在虚拟空间的建立(以场景的真实图像为基础)和操纵(交互导航设计结合观察视点的变换)，而这由虚拟实景空间的特点所决定。

发明内容

本发明的目的在于提供基于虚拟现实与视觉定位系统，通过基于双目立体视觉的三维定位系统的框架，实时获取和显示两个摄像机的视频流数据，基于特征的立体匹配方法，对多个图像特征进行匹配定位。

本发明是通过以下技术方案实现的：

本发明为基于虚拟现实与视觉定位系统，包括立体视觉系统和虚拟现实系统，所述立体视觉系统包括图像获取模块、摄像机标定模块、特征提取模块、立体匹配模块和三维信息恢复模块；

其中，所述图像获取模块利用摄像机获取3D物体的二维图像；

其中，所述摄像机标定模块利用摄像机在运动过程中获取的周围环境的图像与图像之间的对应关系对摄像机进行标定；

其中，所述特征提取模块利用立体视觉，根据视差恢复目标物体深度信息，确定场景中同一物点在两个图像中的对应关系；

其中，所述立体匹配模块根据对所选特征的计算，并建立特征之间的对应关系，将同一个空间点在不同图像中的投影点对应起来；

其中，所述三维信息恢复模块通过立体匹配后，根据成像模型中视差与深度的几何关系，对目标的深度进行计算；

所述立体视觉系统对虚拟现实系统中的场景进行拟合，并进行视觉方向的定位。

优选地，所述图像获取模块通过摄像机获取；所述摄像机成像模型包括图像坐标系、摄像机坐标系与世界坐标系，通过求解目标在图像坐标系、摄像机坐标系与世界坐标系的共同解，对目标进行定位。

优选地，所述摄像机标定模块对图像特征的标定步骤为：

步骤一，将一张图像作为标定板，并将其贴在一个刚性平面上；

步骤二，从360度角度拍摄多幅标定板的图像；

步骤三，检测出每幅图像中的特征点，并确定特征点的图像坐标和实际坐标；

步骤四，利用线性模型计算出摄像机的内部参数和每幅图像的外部参数；

步骤五，利用一定的畸变模型对摄像机内外参数进行优化，求出所有参数。

优选地，所述立体匹配模块采用的立体匹配方法，具体步骤如下：

B1使用标定好的两个摄像机拍摄同一场景，获取左右两张图像P1；

B2对左图像P1进行角点筛选，得到目标点在左图中的坐标Qi，其中，i为目标点的个数；

B3对图像P1进行灰度化、畸变校正，得到图像P2；

B4对图像P2进行角点检测；

B5根据极线约束，求取坐标Qi的极线；

B6在极线上搜索步骤B4中提取的角点，看哪些角点在这条极线附近，并对这些候选的角点应用角点筛选的方法得到亚像素级的目标点的坐标。

本发明具有以下有益效果：

本发明基于双目立体视觉的三维定位系统的框架，实时获取和显示两个摄像机的视频流数据，具有抓取目标特征点准确，快捷，基于特征的立体匹配方法，对多个图像特征进行匹配定位，大大缩减了匹配的时间；采用高质量的摄像机和标定设备，具有实时性画面质量高。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的基于虚拟现实与视觉定位系统图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为基于虚拟现实与视觉定位系统，包括立体视觉系统和虚拟现实系统，所述立体视觉系统包括图像获取模块、摄像机标定模块、特征提取模块、立体匹配模块和三维信息恢复模块；图像获取模块利用摄像机获取3D物体的二维图像；摄像机标定模块利用摄像机在运动过程中获取的周围环境的图像与图像之间的对应关系对摄像机进行标定；特征提取模块利用立体视觉，根据视差恢复目标物体深度信息，确定场景中同一物点在两个图像中的对应关系；立体匹配模块根据对所选特征的计算，并建立特征之间的对应关系，将同一个空间点在不同图像中的投影点对应起来；三维信息恢复模块通过立体匹配后，根据成像模型中视差与深度的几何关系，对目标的深度进行计算；立体视觉系统对虚拟现实系统中的场景进行拟合，并进行视觉方向的定位。

其中，图像获取模块通过摄像机获取；所述摄像机成像模型包括图像坐标系、摄像机坐标系与世界坐标系，通过求解目标在图像坐标系、摄像机坐标系与世界坐标系的共同解，对目标进行定位。

其中，摄像机标定模块对图像特征的标定步骤为：

步骤一，将一张图像作为标定板，并将其贴在一个刚性平面上；

步骤二，从360度角度拍摄多幅标定板的图像；

步骤三，检测出每幅图像中的特征点，并确定特征点的图像坐标和实际坐标；

步骤四，利用线性模型计算出摄像机的内部参数和每幅图像的外部参数；

步骤五，利用一定的畸变模型对摄像机内外参数进行优化，求出所有参数。

其中，立体匹配模块采用的立体匹配方法，具体步骤如下：

B1使用标定好的两个摄像机拍摄同一场景，获取左右两张图像P1；

B2对左图像P1进行角点筛选，得到目标点在左图中的坐标Qi，其中，i为目标点的个数；

B3对图像P1进行灰度化、畸变校正，得到图像P2；

B4对图像P2进行角点检测；

B5根据极线约束，求取坐标Qi的极线；

B6在极线上搜索步骤B4中提取的角点，看哪些角点在这条极线附近，并对这些候选的角点应用角点筛选的方法得到亚像素级的目标点的坐标。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (4)

1.基于虚拟现实与视觉定位系统，包括立体视觉系统和虚拟现实系统，其特征在于：所述立体视觉系统包括图像获取模块、摄像机标定模块、特征提取模块、立体匹配模块和三维信息恢复模块；

其中，所述图像获取模块利用摄像机获取3D物体的二维图像；

其中，所述摄像机标定模块利用摄像机在运动过程中获取的周围环境的图像与图像之间的对应关系对摄像机进行标定；

其中，所述特征提取模块利用立体视觉，根据视差恢复目标物体深度信息，确定场景中同一物点在两个图像中的对应关系；

其中，所述立体匹配模块根据对所选特征的计算，并建立特征之间的对应关系，将同一个空间点在不同图像中的投影点对应起来；

其中，所述三维信息恢复模块通过立体匹配后，根据成像模型中视差与深度的几何关系，对目标的深度进行计算；

所述立体视觉系统对虚拟现实系统中的场景进行拟合，并进行视觉方向的定位。

2.根据权利要求1所述的基于虚拟现实与视觉定位系统，其特征在于，所述图像获取模块通过摄像机获取；所述摄像机成像模型包括图像坐标系、摄像机坐标系与世界坐标系，通过求解目标在图像坐标系、摄像机坐标系与世界坐标系的共同解，对目标进行定位。

3.根据权利要求1所述的基于虚拟现实与视觉定位系统，其特征在于，所述摄像机标定模块对图像特征的标定步骤为：

步骤一，将一张图像作为标定板，并将其贴在一个刚性平面上；

步骤二，从360度角度拍摄多幅标定板的图像；

步骤三，检测出每幅图像中的特征点，并确定特征点的图像坐标和实际坐标；

步骤四，利用线性模型计算出摄像机的内部参数和每幅图像的外部参数；

步骤五，利用一定的畸变模型对摄像机内外参数进行优化，求出所有参数。

4.根据权利要求1所述的基于虚拟现实与视觉定位系统，其特征在于，所述立体匹配模块采用的立体匹配方法，具体步骤如下：

B1使用标定好的两个摄像机拍摄同一场景，获取左右两张图像P1；

B2对左图像P1进行角点筛选，得到目标点在左图中的坐标Qi，其中，i为目标点的个数；

B3对图像P1进行灰度化、畸变校正，得到图像P2；

B4对图像P2进行角点检测；

B5根据极线约束，求取坐标Qi的极线；

B6在极线上搜索步骤B4中提取的角点，看哪些角点在这条极线附近，并对这些候选的角点应用角点筛选的方法得到亚像素级的目标点的坐标。