CN107564066B - 一种虚拟现实眼镜与深度相机的联合标定方法 - Google Patents
一种虚拟现实眼镜与深度相机的联合标定方法 Download PDFInfo
- Publication number
- CN107564066B CN107564066B CN201710594704.XA CN201710594704A CN107564066B CN 107564066 B CN107564066 B CN 107564066B CN 201710594704 A CN201710594704 A CN 201710594704A CN 107564066 B CN107564066 B CN 107564066B
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- reality glasses
- depth camera
- oculus
- leap motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种虚拟现实眼镜与深度相机的联合标定方法,其特征在于:Oculus虚拟现实眼镜和Leap Motion深度相机分别通过线缆与计算机连接,将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心;利用高亮回归式反光球,简化了标定过程,提高了标定精度,同时彻底摆脱了对Leap Motion深度相机位置的限制,拓宽了虚拟现实系统的应用领域,提高人机交互的沉浸感,实现人手触碰虚拟现实中物体。
Description
技术领域
本发明涉及一种虚拟现实眼镜与深度相机的联合标定方法,属于虚拟现实技术领域。
背景技术
随着虚拟技术的发展,人们已经不仅仅满足于虚拟眼镜带来的视觉上的沉浸感,而更加的倾向于在满足视觉效果的同时还能够与虚拟场景中的物体进行交互。Oculus虚拟现实眼镜用来构建沉浸式的虚拟现实环境,而Leap Motion深度相机用来实现真实手与虚拟物体的交互,这两者的信息融合能够实现人与虚拟环境之间更自然的交互。实现多传感器的数据融合,标定是必须解决的问题之一。多传感器的联合标定能够使得多传感器数据准确匹配,确保数据融合的准确性。
对于光学透视头盔显示器(OST-HMDs),最常用的标定方法是单点主动对准方法(SPAAM),最初这种方法仅处理单眼的OST-HMDs,后来又被扩展为立体SPAAM用于双眼的OST-HMDs。Hanseul Jun和Gunhee Kim提出了一种快速精确的标定方法,该方法需要一个用户带着HMD重复的用指尖指向渲染的虚拟圆圈。北京理工大学王涌天老师的研究团队分析了光学透视头盔显示器标定的退化影响,对SPAAM方法进行了改进,同时还提出了一种快速图像标定算法,大大减少了标定算法运算难度。Falko Kellner等人提出了一种针对每一个用户的新型校准方法,该方法利用了二维点到三维线的对应关系,无经验的用户在不到一分钟的时间内即可完成标定。Oculus眼镜属于沉浸式虚拟现实眼镜,自身不带有手势识别功能,Leap Motion深度相机不仅具有较高精度的手势识别功能,同时还为Oculus眼镜提供了基座,方便Oculus眼镜和Leap Motion深度相机的数据融合,但是只能将Leap Motion深度相机放置在一些固定的位置上。为了消除Leap Motion深度相机位置的限制,提高数据融合的精确性,本发明提出了一种虚拟现实眼镜与深度相机的联合标定方法。
发明内容
本发明的目的在于提供了一种虚拟现实眼镜与深度相机的联合标定方法,其提高了Oculus虚拟现实眼镜与Leap Motion深度相机的应用灵活度,提高人机交互的沉浸感,实现人手触碰虚拟现实中物体。
本发明的技术方案是这样实现的:一种虚拟现实眼镜与深度相机的联合标定方法,包括Oculus虚拟现实眼镜、Leap Motion深度相机、计算机、高亮回归式反光球;其中Oculus虚拟现实眼镜和Leap Motion深度相机分别通过线缆与计算机连接,将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心;其特征在于具体实现步骤如下:实现步骤:
步骤1、在计算机中,产生一幅标定图像;标定图像包括48个正方形,边长为30mm,按8行6列排列,每相邻两个正方形均为一个黑色正方形和一个白色正方形。用A4纸,将标定图像打印出来,并粘贴在一个平面板上,构成标定板。
步骤2、保持Leap Motion深度相机的位置和姿态不变,将标定板放置在LeapMotion深度相机中两台红外摄像机的视场范围内。
步骤3、利用Leap Motion深度相机的API中的onFrame函数,同时摄取标定板,分别得到左标定板图片和右标定板图片。
步骤4、在保证标定板位于Leap Motion深度相机中两台红外摄像机的视场范围内的前提下,改变标定板的位置或角度,重复步骤2和步骤3得到多幅标定板图片。
步骤5、利用Matlab2014的Camera Calibrator,使用多幅左标定板图片和右标定板图片,计算Leap Motion深度相机的左红外摄像机和右红外摄像机的内外参矩阵,使用Stereo Camera Calibration Toolbox获得左单应性矩阵和右单应性矩阵,分别用M1和M2表示。
步骤6、保持Leap Motion深度相机的位置和姿态不变,将Oculus虚拟现实眼镜放置在Leap Motion深度相机的左红外摄像机和右红外摄像机视场内,确保从Leap Motion深度相机内两台红外摄像机都能够获取高亮回归式反光球,利用Leap Motion深度相机的API中的onFrame函数,同时摄取Oculus虚拟现实眼镜上的高亮回归式反光球,获得左反光球照片和右反光球照片。
步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标,分别用(uL,vL),(uR,vR)表示。
步骤8、使用最小二乘法以及(uL,vL)、(uR,vR)、M1、M2计算Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系的空间坐标,分别用x1、y1、z1表示。
步骤9、保持Oculus虚拟现实眼镜和Leap Motion深度相机的位置和姿态不变,利用Oculus虚拟现实眼镜的API函数获取Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x1’、y1’、z1’表示。
步骤10、改变Oculus虚拟现实眼镜的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x2、y2、z2表示;Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x2’、y2’、z2’表示。
步骤11、执行以下步骤
改变Oculus虚拟现实眼镜1的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x3、y3、z3表示;Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x3’、y3’、z3’表示,
直到空间坐标(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)表示的三个点中任意两个点的连线不互相平行,并且空间坐标(x1’、y1’、z1’)、(x2’、y2’、z2’)、(x3’、y3’、z3’)表示的三个点中任意两个点的连线不互相平行。
步骤12、执行以下步骤
改变Oculus虚拟现实眼镜1的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x4、y4、z4表示;Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x4’、y4’、z4’表示,
直到空间坐标(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)、(x4、y4、z4)表示的四个点中任意两个点的连线不互相平行,并且空间坐标(x1’、y1’、z1’)、(x2’、y2’、z2’)、(x3’、y3’、z3’)、(x4’、y4’、z4’)表示的四个点中任意两个点的连线不互相平行。
步骤13、构造矩阵A和B,如下:
根据公式M=A*B-1,计算矩阵M。
通过上述步骤即可完成Oculus虚拟现实眼镜与Leap Motion深度相机的联合标定。
本发明的积极效果是利用高亮回归式反光球,简化了标定过程,提高了标定精度,同时彻底摆脱了对Leap Motion深度相机位置的限制,拓宽了虚拟现实系统的应用领域,该方法还可以推广应用到多Leap Motion深度相机的联合标定中。
附图说明
图1为本发明的一种虚拟现实眼镜与深度相机的联合标定方法示意图。
具体实施方式
下面结合附图和实施例对本发明做进一步的描述:如图1所示,一种虚拟现实眼镜与深度相机的联合标定方法,包括Oculus虚拟现实眼镜1、Leap Motion深度相机2、计算机3、高亮回归式反光球4;其中Oculus虚拟现实眼镜1和Leap Motion深度相机2分别通过线缆与计算机3连接,将高亮回归式反光球4粘贴在Oculus虚拟现实眼镜1的中心;其特征在于具体实现步骤如下:
步骤1、在计算机3中,产生一幅标定图像;标定图像包括48个正方形,边长为30mm,按8行6列排列,每相邻两个正方形均为一个黑色正方形和一个白色正方形。用A4纸,将标定图像打印出来,并粘贴在一个平面板上,构成标定板。
步骤2、保持Leap Motion深度相机2的位置和姿态不变,将标定板放置在LeapMotion深度相机2中两台红外摄像机的视场范围内。
步骤3、利用Leap Motion深度相机2的API中的onFrame函数,同时摄取标定板,分别得到左标定板图片和右标定板图片。
步骤4、在保证标定板位于Leap Motion深度相机2中两台红外摄像机的视场范围内的前提下,改变标定板的位置或角度,重复步骤2和步骤3得到多幅标定板图片。
步骤5、利用Matlab2014的Camera Calibrator,使用多幅左标定板图片和右标定板图片,计算Leap Motion深度相机2的左红外摄像机和右红外摄像机的内外参矩阵,使用Stereo Camera Calibration Toolbox获得左单应性矩阵和右单应性矩阵,分别用M1和M2表示。通过实验数据计算出相机的单应性矩阵分别为
步骤6、保持Leap Motion深度相机2的位置和姿态不变,将Oculus虚拟现实眼镜1放置在Leap Motion深度相机2的左红外摄像机和右红外摄像机视场内,确保从LeapMotion深度相机2内两台红外摄像机都能够获取高亮回归式反光球4,利用Leap Motion深度相机2的API中的onFrame函数,同时摄取Oculus虚拟现实眼镜1上的高亮回归式反光球4,获得左反光球照片和右反光球照片。
步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标,分别用(uL,vL),(uR,vR)表示。
步骤8、使用最小二乘法以及(uL,vL)、(uR,vR)、M1、M2计算Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系的空间坐标,分别用x1、y1、z1表示。
步骤9、保持Oculus虚拟现实眼镜1和Leap Motion深度相机2的位置和姿态不变,利用Oculus虚拟现实眼镜1的API函数获取Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x1’、y1’、z1’表示。
步骤10、改变Oculus虚拟现实眼镜1的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x2、y2、z2表示;Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x2’、y2’、z2’表示。
步骤11、执行以下步骤
改变Oculus虚拟现实眼镜1的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x3、y3、z3表示;Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x3’、y3’、z3’表示,
直到空间坐标(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)表示的三个点中任意两个点的连线不互相平行,并且空间坐标(x1’、y1’、z1’)、(x2’、y2’、z2’)、(x3’、y3’、z3’)表示的三个点中任意两个点的连线不互相平行。
步骤12、执行以下步骤
改变Oculus虚拟现实眼镜1的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜1上回归式反光球4的中心在Leap Motion深度相机2坐标系中的空间坐标,分别用x4、y4、z4表示;Oculus虚拟现实眼镜1在Oculus虚拟现实眼镜1坐标系中的空间坐标,分别用x4’、y4’、z4’表示,
直到空间坐标(x1、y1、z1)、(x2、y2、z2)、(x3、y3、z3)、(x4、y4、z4)表示的四个点中任意两个点的连线不互相平行,并且空间坐标(x1’、y1’、z1’)、(x2’、y2’、z2’)、(x3’、y3’、z3’)、(x4’、y4’、z4’)表示的四个点中任意两个点的连线不互相平行。
通过实验测得
步骤13、构造矩阵A和B,如下:
根据公式M=A*B-1,计算矩阵M。
测得A和B分别为
经过实验计算得到
通过上述步骤即可完成Oculus虚拟现实眼镜1与Leap Motion深度相机2的联合标定。
Claims (1)
1.一种虚拟现实眼镜与深度相机的联合标定方法,包括Oculus虚拟现实眼镜、LeapMotion深度相机、计算机、高亮回归式反光球;其中Oculus虚拟现实眼镜和Leap Motion深度相机分别通过线缆与计算机连接,将高亮回归式反光球粘贴在Oculus虚拟现实眼镜的中心;其特征在于具体实现步骤如下:
步骤1、在计算机中,产生一幅标定图像;标定图像包括48个正方形,边长为30mm,按8行6列排列,每相邻两个正方形均为一个黑色正方形和一个白色正方形;用A4纸,将标定图像打印出来,并粘贴在一个平面板上,构成标定板;
步骤2、保持Leap Motion深度相机的位置和姿态不变,将标定板放置在Leap Motion深度相机中两台红外摄像机的视场范围内;
步骤3、利用Leap Motion深度相机的API中的onFrame函数,同时摄取标定板,分别得到左标定板图片和右标定板图片;
步骤4、在保证标定板位于Leap Motion深度相机中两台红外摄像机的视场范围内的前提下,改变标定板的位置或角度,重复步骤2和步骤3得到多幅标定板图片;
步骤5、利用Matlab2014的Camera Calibrator,使用多幅左标定板图片和右标定板图片,计算Leap Motion深度相机的左红外摄像机和右红外摄像机的内外参矩阵,使用StereoCamera Calibration Toolbox获得左单应性矩阵和右单应性矩阵,分别用M1和M2表示;
步骤6、保持Leap Motion深度相机的位置和姿态不变,将Oculus虚拟现实眼镜放置在Leap Motion深度相机的左红外摄像机和右红外摄像机视场内,确保从Leap Motion深度相机内两台红外摄像机都能够获取高亮回归式反光球,利用Leap Motion深度相机的API中的onFrame函数,同时摄取Oculus虚拟现实眼镜上的高亮回归式反光球,获得左反光球照片和右反光球照片;
步骤7、计算左反光球照片和右反光球照片中反光球中心在左红外摄像机和右红外摄像机图像坐标系中的坐标,分别用(uL,vL),(uR,vR)表示;
步骤8、使用最小二乘法以及(uL,vL)、(uR,vR)、M1、M2计算Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系的空间坐标,分别用x1、y1、z1表示;
步骤9、保持Oculus虚拟现实眼镜和Leap Motion深度相机的位置和姿态不变,利用Oculus虚拟现实眼镜的API函数获取Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x1’、y1’、z1’表示;
步骤10、改变Oculus虚拟现实眼镜的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x2、y2、z2表示;Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x2’、y2’、z2’表示;
步骤11、改变Oculus虚拟现实眼镜的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x3、y3、z3表示;Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x3’、y3’、z3’表示,确保上述三个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行;
步骤12、改变Oculus虚拟现实眼镜的位置或姿态,依次执行步骤6至步骤9,获得Oculus虚拟现实眼镜上回归式反光球的中心在Leap Motion深度相机坐标系中的空间坐标,分别用x4、y4、z4表示;Oculus虚拟现实眼镜在Oculus虚拟现实眼镜坐标系中的空间坐标,分别用x4’、y4’、z4’表示,确保上述四个Oculus虚拟现实眼镜上回归式反光球的中心的任意两点的连线不互相平行;
步骤13、构造矩阵A和B,如下:
根据公式M=A*B-1,计算矩阵M;
通过上述步骤即可完成Oculus虚拟现实眼镜与Leap Motion深度相机的联合标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710594704.XA CN107564066B (zh) | 2017-07-20 | 2017-07-20 | 一种虚拟现实眼镜与深度相机的联合标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710594704.XA CN107564066B (zh) | 2017-07-20 | 2017-07-20 | 一种虚拟现实眼镜与深度相机的联合标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107564066A CN107564066A (zh) | 2018-01-09 |
CN107564066B true CN107564066B (zh) | 2020-10-23 |
Family
ID=60974631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710594704.XA Active CN107564066B (zh) | 2017-07-20 | 2017-07-20 | 一种虚拟现实眼镜与深度相机的联合标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107564066B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109887041B (zh) * | 2019-03-05 | 2020-11-20 | 中测国检(北京)测绘仪器检测中心 | 一种机械臂控制数字相机摄影中心位置和姿态的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2568355A2 (en) * | 2011-09-12 | 2013-03-13 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
CN103020954A (zh) * | 2012-10-31 | 2013-04-03 | 长春理工大学 | 面向非规则表面的自适应投影系统 |
CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
CN105354854A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于三维数字模型的相机参数动态联合标定方法及系统 |
-
2017
- 2017-07-20 CN CN201710594704.XA patent/CN107564066B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2568355A2 (en) * | 2011-09-12 | 2013-03-13 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
CN103020954A (zh) * | 2012-10-31 | 2013-04-03 | 长春理工大学 | 面向非规则表面的自适应投影系统 |
CN105205858A (zh) * | 2015-09-18 | 2015-12-30 | 天津理工大学 | 一种基于单个深度视觉传感器的室内场景三维重建方法 |
CN105354854A (zh) * | 2015-12-01 | 2016-02-24 | 国家电网公司 | 基于三维数字模型的相机参数动态联合标定方法及系统 |
Non-Patent Citations (1)
Title |
---|
飞行时间深度相机和彩色相机的联合标定;周杰等;《信号处理》;20170130;第33卷(第1期);第69-77页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107564066A (zh) | 2018-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10521951B2 (en) | 3D digital painting | |
Hilliges et al. | HoloDesk: direct 3d interactions with a situated see-through display | |
US20200166967A1 (en) | Flexible Display for a Mobile Computing Device | |
JP2019149202A5 (zh) | ||
KR100953931B1 (ko) | 혼합현실 구현 시스템 및 그 방법 | |
WO2018188499A1 (zh) | 图像、视频处理方法和装置、虚拟现实装置和存储介质 | |
CN105793764B (zh) | 用于为头戴式显示设备提供扩展显示设备的设备、方法和系统 | |
TWI521469B (zh) | Two - dimensional Roles Representation of Three - dimensional Action System and Method | |
US10922870B2 (en) | 3D digital painting | |
CN110782499B (zh) | 一种增强现实设备的标定方法、标定装置及终端设备 | |
US9734622B2 (en) | 3D digital painting | |
US9440484B2 (en) | 3D digital painting | |
TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
EP2356540A2 (en) | Immersive display system for interacting with three-dimensional content | |
CN104464414A (zh) | 一种增强现实的教学系统 | |
CN104637080B (zh) | 一种基于人机交互的三维绘图系统及方法 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN204990186U (zh) | 一种桌面式立体显示交互系统 | |
CN104679222A (zh) | 基于人机交互的医疗办公系统、医疗信息共享系统及方法 | |
CN107564066B (zh) | 一种虚拟现实眼镜与深度相机的联合标定方法 | |
CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
Saggio et al. | Augmented reality for restoration/reconstruction of artefacts with artistic or historical value | |
Valentini | Natural interface in augmented reality interactive simulations: This paper demonstrates that the use of a depth sensing camera that helps generate a three-dimensional scene and track user's motion could enhance the realism of the interactions between virtual and physical objects | |
Hsu et al. | HoloTabletop: an anamorphic illusion interactive holographic-like tabletop system | |
Kim et al. | Haptic interaction with objects in a picture based on pose estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |