CN107564066A - 一种虚拟现实眼镜与深度相机的联合标定方法 - Google Patents

Abstract

本发明涉及一种虚拟现实眼镜与深度相机的联合标定方法，其特征在于：Oculus虚拟现实眼镜和Leap Motion深度相机分别通过线缆与计算机连接，将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心；利用高亮回归式反光球，简化了标定过程，提高了标定精度，同时彻底摆脱了对Leap Motion深度相机位置的限制，拓宽了虚拟现实系统的应用领域，提高人机交互的沉浸感，实现人手触碰虚拟现实中物体。

Description

一种虚拟现实眼镜与深度相机的联合标定方法

技术领域

本发明涉及一种虚拟现实眼镜与深度相机的联合标定方法，属于虚拟现实技术领域。

背景技术

随着虚拟技术的发展，人们已经不仅仅满足于虚拟眼镜带来的视觉上的沉浸感，而更加的倾向于在满足视觉效果的同时还能够与虚拟场景中的物体进行交互。Oculus虚拟现实眼镜用来构建沉浸式的虚拟现实环境，而Leap Motion深度相机用来实现真实手与虚拟物体的交互，这两者的信息融合能够实现人与虚拟环境之间更自然的交互。实现多传感器的数据融合,标定是必须解决的问题之一。多传感器的联合标定能够使得多传感器数据准确匹配，确保数据融合的准确性。

对于光学透视头盔显示器（OST-HMDs），最常用的标定方法是单点主动对准方法（SPAAM），最初这种方法仅处理单眼的OST-HMDs，后来又被扩展为立体SPAAM用于双眼的OST-HMDs。Hanseul Jun和 Gunhee Kim提出了一种快速精确的标定方法，该方法需要一个用户带着HMD重复的用指尖指向渲染的虚拟圆圈。北京理工大学王涌天老师的研究团队分析了光学透视头盔显示器标定的退化影响，对SPAAM方法进行了改进，同时还提出了一种快速图像标定算法，大大减少了标定算法运算难度。Falko Kellner等人提出了一种针对每一个用户的新型校准方法，该方法利用了二维点到三维线的对应关系，无经验的用户在不到一分钟的时间内即可完成标定。Oculus眼镜属于沉浸式虚拟现实眼镜，自身不带有手势识别功能，Leap Motion深度相机不仅具有较高精度的手势识别功能，同时还为Oculus眼镜提供了基座，方便Oculus眼镜和Leap Motion深度相机的数据融合，但是只能将Leap Motion深度相机放置在一些固定的位置上。为了消除Leap Motion深度相机位置的限制，提高数据融合的精确性，本发明提出了一种虚拟现实眼镜与深度相机的联合标定方法。

发明内容

本发明的目的在于提供了一种虚拟现实眼镜与深度相机的联合标定方法，其提高了Oculus虚拟现实眼镜与Leap Motion深度相机的应用灵活度，提高人机交互的沉浸感，实现人手触碰虚拟现实中物体。

本发明的技术方案是这样实现的：一种虚拟现实眼镜与深度相机的联合标定方法，包括Oculus虚拟现实眼镜、Leap Motion深度相机、计算机、高亮回归式反光球; 其特征在于：Oculus虚拟现实眼镜和Leap Motion深度相机分别通过线缆与计算机连接，将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心；具体实现步骤如下：实现步骤：

步骤1、在计算机中，产生一幅标定图像；标定图像包括48个正方形，边长为30mm，按8行6列排列，每相邻两个正方形均为一个黑色正方形和一个白色正方形。用A4纸，将标定图像打印出来，并粘贴在一个平面板上，构成标定板。

步骤2、保持Leap Motion深度相机的位置和姿态不变，将标定板放置在LeapMotion深度相机中两台红外摄像机的视场范围内。

步骤3、利用Leap Motion深度相机的API中的onFrame函数，同时摄取标定板，分别得到左标定板图片和右标定板图片。

步骤4、在保证标定板位于Leap Motion深度相机中两台红外摄像机的视场范围内的前提下，改变标定板的位置或角度，重复步骤2和步骤3得到多幅标定板图片。

步骤5、利用Matlab2014的Camera Calibrator，使用多幅左标定板图片和右标定板图片，计算Leap Motion深度相机的左红外摄像机和右红外摄像机的内外参矩阵，使用Stereo Camera Calibration Toolbox获得左单应性矩阵和右单应性矩阵，分别用和表示。

步骤6、保持Leap Motion深度相机的位置和姿态不变，将Oculus虚拟现实眼镜放置在Leap Motion深度相机的左红外摄像机和右红外摄像机视场内，确保从Leap Motion深度相机内两台红外摄像机都能够获取高亮回归式反光球，利用Leap Motion深度相机的API中的onFrame函数，同时摄取Oculus虚拟现实眼镜上的高亮回归式反光球，获得左反光球照片和右反光球照片。

步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标，分别用(，)，(,)表示。

步骤8、使用最小二乘法以及(，)、(,)、、计算Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系的空间坐标，分别用x1、y1、z1表示。

步骤9、保持Oculus虚拟现实眼镜和Leap Motion深度相机的位置和姿态不变，利用Oculus虚拟现实眼镜的API函数获取Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x1^’、y1^’、z1^’表示。

步骤10、改变Oculus虚拟现实眼镜的位置或姿态，依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标，分别用x2、y2、z2表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x2^’、y2^’、z2^’表示。

步骤11、改变Oculus虚拟现实眼镜的位置或姿态，确保上述三个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x3、y3、z3表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x3^’、y3^’、z3^’表示。

步骤12、改变Oculus虚拟现实眼镜的位置或姿态，确保上述四个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x4、y4、z4表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x4^’、y4^’、z4^’表示。

步骤13、构造矩阵和，如下：

，

根据公式，计算矩阵。

通过上述步骤即可完成Oculus虚拟现实眼镜与Leap Motion深度相机的联合标定。

本发明的积极效果是利用高亮回归式反光球，简化了标定过程，提高了标定精度，同时彻底摆脱了对Leap Motion深度相机位置的限制，拓宽了虚拟现实系统的应用领域，该方法还可以推广应用到多Leap Motion深度相机的联合标定中。

附图说明

图1为本发明的结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述：如图1所示，一种虚拟现实眼镜与深度相机的联合标定方法，包括Oculus虚拟现实眼镜1、Leap Motion深度相机2、计算机3、高亮回归式反光球4；其中Oculus虚拟现实眼镜1和Leap Motion深度相机2分别通过线缆与计算机3连接，将高亮回归式反光球4粘贴在Oculus虚拟现实眼镜1的中心；其特征在于具体实现步骤如下：

步骤1、在计算机3中，产生一幅标定图像；标定图像包括48个正方形，边长为30mm，按8行6列排列，每相邻两个正方形均为一个黑色正方形和一个白色正方形。用A4纸，将标定图像打印出来，并粘贴在一个平面板上，构成标定板。

步骤2、保持Leap Motion深度相机2的位置和姿态不变，将标定板放置在LeapMotion深度相机2中两台红外摄像机的视场范围内。

步骤3、利用Leap Motion深度相机2的API中的onFrame函数，同时摄取标定板，分别得到左标定板图片和右标定板图片。

步骤4、在保证标定板位于Leap Motion深度相机2中两台红外摄像机的视场范围内的前提下，改变标定板的位置或角度，重复步骤2和步骤3得到多幅标定板图片。

步骤5、利用Matlab2014的Camera Calibrator，使用多幅左标定板图片和右标定板图片，计算Leap Motion深度相机2的左红外摄像机和右红外摄像机的内外参矩阵，使用Stereo Camera Calibration Toolbox获得左单应性矩阵和右单应性矩阵，分别用和表示。通过实验数据计算出相机的单应性矩阵分别为

步骤6、保持Leap Motion深度相机2的位置和姿态不变，将Oculus虚拟现实眼镜1放置在Leap Motion深度相机2的左红外摄像机和右红外摄像机视场内，确保从Leap Motion深度相机2内两台红外摄像机都能够获取高亮回归式反光球4，利用Leap Motion深度相机2的API中的onFrame函数，同时摄取Oculus虚拟现实眼镜1上的高亮回归式反光球4，获得左反光球照片和右反光球照片。

步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标，分别用(，)，(,)表示。

步骤8、使用最小二乘法以及(，)、(,)、、计算Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系的空间坐标，分别用x1、y1、z1表示。

步骤9、保持Oculus虚拟现实眼镜1和Leap Motion深度相机2的位置和姿态不变，利用Oculus虚拟现实眼镜1的API函数获取Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标，分别用x1^’、y1^’、z1^’表示。

步骤10、改变Oculus虚拟现实眼镜1的位置或姿态，依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标，分别用x2、y2、z2表示；Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标，分别用x2^’、y2^’、z2^’表示。

步骤11、改变Oculus虚拟现实眼镜1的位置或姿态，确保上述三个Oculus虚拟现实眼镜1上回归式反光球4的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x3、y3、z3表示；Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标，分别用x3^’、y3^’、z3^’表示。

步骤12、改变Oculus虚拟现实眼镜1的位置或姿态，确保上述四个Oculus虚拟现实眼镜1上回归式反光球4的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x4、y4、z4表示；Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标，分别用x4^’、y4^’、z4^’表示。

通过实验测得

步骤13、构造矩阵和，如下：

，

根据公式，计算矩阵。

测得和分别为

经过实验计算得到

通过上述步骤即可完成Oculus虚拟现实眼镜1与Leap Motion深度相机2的联合标定。

Claims (1)

1.一种虚拟现实眼镜与深度相机的联合标定方法， 包括Oculus虚拟现实眼镜、LeapMotion深度相机、计算机、高亮回归式反光球; 其特征在于：Oculus虚拟现实眼镜和LeapMotion深度相机分别通过线缆与计算机连接，将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心；具体实现步骤如下：实现步骤：

步骤1、在计算机中，产生一幅标定图像；标定图像包括48个正方形，边长为30mm，按8行6列排列，每相邻两个正方形均为一个黑色正方形和一个白色正方形;用A4纸，将标定图像打印出来，并粘贴在一个平面板上，构成标定板;

步骤2、保持Leap Motion深度相机的位置和姿态不变，将标定板放置在Leap Motion深度相机中两台红外摄像机的视场范围内;

步骤3、利用Leap Motion深度相机的API中的onFrame函数，同时摄取标定板，分别得到左标定板图片和右标定板图片;

步骤4、在保证标定板位于Leap Motion深度相机中两台红外摄像机的视场范围内的前提下，改变标定板的位置或角度，重复步骤2和步骤3得到多幅标定板图片;

步骤5、利用Matlab2014的Camera Calibrator，使用多幅左标定板图片和右标定板图片，计算Leap Motion深度相机的左红外摄像机和右红外摄像机的内外参矩阵，使用StereoCamera Calibration Toolbox获得左单应性矩阵和右单应性矩阵，分别用和表示;

步骤6、保持Leap Motion深度相机的位置和姿态不变，将Oculus虚拟现实眼镜放置在Leap Motion深度相机的左红外摄像机和右红外摄像机视场内，确保从Leap Motion深度相机内两台红外摄像机都能够获取高亮回归式反光球，利用Leap Motion深度相机的API中的onFrame函数，同时摄取Oculus虚拟现实眼镜上的高亮回归式反光球，获得左反光球照片和右反光球照片;

步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标，分别用(，)，(,)表示;

步骤8、使用最小二乘法以及(，)、(,)、、计算Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系的空间坐标，分别用x1、y1、z1表示;

步骤9、保持Oculus虚拟现实眼镜和Leap Motion深度相机的位置和姿态不变，利用Oculus虚拟现实眼镜的API函数获取Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x1^’、y1^’、z1^’表示;

步骤10、改变Oculus虚拟现实眼镜的位置或姿态，依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标，分别用x2、y2、z2表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x2^’、y2^’、z2^’表示;

步骤11、改变Oculus虚拟现实眼镜的位置或姿态，确保上述三个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x3、y3、z3表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x3^’、y3^’、z3^’表示;

步骤12、改变Oculus虚拟现实眼镜的位置或姿态，确保上述四个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行；依次执行步骤6至步骤9，获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x4、y4、z4表示；Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标，分别用x4^’、y4^’、z4^’表示;

步骤13、构造矩阵和，如下：

，

根据公式，计算矩阵;

通过上述步骤即可完成Oculus虚拟现实眼镜与Leap Motion深度相机的联合标定。