CN108735052B - 一种基于slam的增强现实自由落体实验方法 - Google Patents

一种基于slam的增强现实自由落体实验方法 Download PDF

Info

Publication number
CN108735052B
CN108735052B CN201810438483.1A CN201810438483A CN108735052B CN 108735052 B CN108735052 B CN 108735052B CN 201810438483 A CN201810438483 A CN 201810438483A CN 108735052 B CN108735052 B CN 108735052B
Authority
CN
China
Prior art keywords
scene
camera
point cloud
slam
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810438483.1A
Other languages
English (en)
Other versions
CN108735052A (zh
Inventor
王莉莉
王泽圣
李炳强
于洋
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201810438483.1A priority Critical patent/CN108735052B/zh
Publication of CN108735052A publication Critical patent/CN108735052A/zh
Application granted granted Critical
Publication of CN108735052B publication Critical patent/CN108735052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/06—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics
    • G09B23/08—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for statics or dynamics
    • G09B23/10—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for statics or dynamics of solid bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于SLAM的增强现实自由落体实验方法，包括以下步骤：对移动设备的镜头进行相机标定，使用该相机对目标场景进行扫描，利用SLAM技术重建出视频中场景的三维点云模型，当用户通过与移动设备的交互确定了虚拟球体与真实场景的位置关系后，利用场景的三维点云模型来在真实场景中显示虚拟的自由落体动画。本发明提出了一种基于SLAM的增强现实自由落体实验教学工具，能够在真实场景中虚拟演示物理实验，在保证演示内容符合真实世界物理规律、演示效果满足教学任务的基础上降低了物理实验操作的成本。

Description

一种基于SLAM的增强现实自由落体实验方法
技术领域
本发明属于虚拟现实和图像处理技术领域，具体涉及基于增强现实自由落体实验方法。
背景技术
中学涉及一些物理实验教学，由于真实生活环境中存在着一些条件限制，一些重要物理实验无法及时有效的进行，导致学生对相应实验的学习始终停留在课本上，无法深切体会到这些实验背后的科学原理。比如伽利略在比萨斜塔投放两个球体的实验，虽然其真实性存疑，但这个实验对自由落体的阐述十分深刻且深入人心。现实生活中考虑到安全问题肯定不能允许学生真的在楼上投掷物体，但操作真实的物体最能让学生全方位的感受到实验背后的物理知识。
基于此，提出一种基于增强现实自由落体实验，则称为本发明所面临的重要课题。
发明内容
本发明目的是设计出一类增强现实技术的应用场景并提出了一种增强现实应用的实现方案，即提出一种基于SLAM的增强现实自由落体实验教学工具。本发明通过增强现实技术将不易操作的物理实验在真实环境中模拟，给学生提供真实实验同样的直观感受，让学生更便捷高效的学习物理知识。
本发明是采用以下的技术方案实现的：
一种基于SLAM的增强现实自由落体实验方法，其特征在于包括如下步骤：
A、利用相机标定技术对移动设备的相机进行标定，估算出移动设备上相机的内参数；
B、使用经过相机标定的移动设备对目标场景进行扫描，结合步骤(1)中获得的相机内参，利用SLAM技术对视频中的场景进行三维重建，从而获得目标场景的三维点云模型以及相机在目标场景中的相对位置和姿态；
C、利用像素映射定位方法，将用户与移动设备交互过程中所确定的像素坐标转换为场景点云模型中相应匹配点的三维坐标，从而确定虚拟物体的摆放位置；
D、根据步骤B获得的场景三维点云模型和虚拟球体起始位置来计算其在场景中的运动过程，根据步骤B获得的场景三维点云模型和相机位姿来绘制相应视角下的物体遮挡关系，最后根据虚拟球体的运动过程和遮挡关系来在真实场景中模拟自由落体运动。
进一步地，所述步骤C包括：用户通过移动设备在目标场景的某一帧图像上点击一个位置以确定虚拟球体在场景中的初始位置，移动设备获取到用户点击位置在这一帧图像上的像素坐标Auser，在以Auser为中心、11*11的像素矩形范围内找到深度值最小的DSO选出的候选点Apixel，将Apixel映射到点云模型中的对应点便得到虚拟球体初始位置的三维坐标Apc。
进一步地，所述步骤D中物体遮挡关系的绘制过程如下：使用OpenGL在三维点云模型中绘制出球体的自由落体动画，根据实时的相机位姿来将自由落体动画以用户的摄像机视角呈现出来，叠加到移动设备摄取场景的窗口中，如果虚拟球体的顶点在用户的摄像机视角下深度值小于自由落体动画轨迹上三维场景的某些点，则在叠加时这些顶点不予显示，仍保留原始场景的像素信息，反之，则在叠加时覆盖原始场景的像素信息，绘制虚拟球体的像素信息。
进一步地，所述步骤A包括：使用移动设备相机从不同角度拍摄标定板来获得多张标定图片，将这些图片作为输入通过张正友的相机标定方法来标定相机，以获得移动设备相机的内参数。
进一步地，所述步骤B包括：使用经过标定的移动设备相机对目标场景进行扫描，将扫描后得到的场景图像信息作为输入，将步骤A估计出的相机内参作为初始化参数,通过SLAM算法DSO来对场景进行三维重建，从而获得目标场景的三维点云模型以及每一帧图像中相机在场景中的位姿。
与现有技术相比，本发明的优点和积极效果在于：
本发明通过增强现实技术将真实环境中不容易操作的物理实验以虚实结合的方式呈现出来，一方面将实验中不易操作的部分用虚拟动画绘制出来，提高了实验可行性；另一方面虚拟的实验部分被叠加在真实的场景中，可以让学生尽可能体验到与实操同样的感受。本发明技术创新在于：第一，设计出增强现实的一类应用场景，拓展了增强现实技术的实用性；第二，提出了一种简单可行的增强现实应用的实现方案。
附图说明
图1为本发明实施例整体流程图；
图2为SLAM点云重建效果图；其中(a)为原始图像，(b)为场景三维点云模型；
图3为虚拟球体的坐标计算原理图；其中(a)为坐标Apixel的搜索原理图，(b)为坐标Apixel的扩大搜索原理图；
图4为自由落体实验流程图。
具体实施方式
下面结合附图以及具体实施方式进一步说明本发明。
本实施例提出一种基于SLAM的增强现实自由落体实验方法，对移动设备进行相机标定以确定其内参数，使用SLAM对移动设备通过相机扫描到的场景进行三维重建得到其点云模型，当用户通过移动设备确定虚拟球体在场景中的放置位置后，计算出球体的运动过程，根据球体与场景的遮挡关系将自由落体动画嵌入到真实场景中。参考图1，具体包括如下步骤：
Step1、对移动设备进行相机标定
要对移动设备的相机进行标定，首先在A4纸上打印一幅7*9的黑白标定棋盘，测量棋盘格的大小得29.1mm。然后将该标定棋盘张贴在一面整洁平整的墙面上，并使用要标定的移动设备相机对着标定棋盘拍摄一段视频，拍摄过程中要不断移动相机从不同角度、不同距离拍摄标定棋盘。使用OpenCV封装好的算法函数编写标定程序。最后将视频转换为图像，选取其中的50张作为标定图像连同标定棋盘的基本参数输入到标定程序中，即可计算出本次要标定相机的内参数。
世界坐标中某点以物理长度尺寸为单位衡量，而图像平面中某点使用像素为单位衡量，内参数的作用就是在这两个坐标系之间进行线性的变化。空间中某点Q(X,Y,Z)经内参数矩阵变换即可得到该点被光线投影到图像平面上像素坐标系下的对应点q(u,v)：
Figure BDA0001655285000000041
其中K即为相机内参数矩阵，K如下所示：
Figure BDA0001655285000000042
其中f为相机的焦距，单位通常为毫米；dx，dy为像元尺寸即每个像素点的长度和宽度，单位通常为毫米；u0，v0为图像中心的坐标，单位通常为像素。
Step2、对移动设备扫描的目标场景进行三维重建
根据Step1获取到的相机内参数连同相机拍摄场景时获取图像的高度和宽度按照DSO程序要求的格式写成一个相机参数文件，以该相机参数文件作为输入启动DSO程序，用户即可使用移动设备相机扫描楼体场景，在扫描的过程中DSO即可实时地构建目标场景的三维点云模型。如图2所示，为DSO构建目标场景三维点云模型的效果图，其中(a)为移动设备相机扫描场景的原始图像，(b)为扫描图2(a)中场景获取到的点云模型即点云建模图像。
Step3、确定虚拟球体的初始位置
本步骤主要是帮助用户确定虚拟球体在三维场景中的初始位置。因为用户通过手机来交互，所以只能在三维场景的某一个视角下的二维图像上选定初始位置。系统获得的是这一帧图像上的像素坐标，而系统最终绘制自由落体动画时需要的是球体在三维场景中的三维坐标，所以本发明提出了像素映射定位方法，将用户与移动设备交互过程中所确定的像素坐标转换为场景点云模型中相应匹配点的三维坐标，从而真正确定虚拟物体的摆放位置。
像素映射定位方法具体实施步骤如下：
1、找出用户点击像素周围深度值最小的像素点以作为虚拟球体的初始位置。用户在移动设备摄取楼体场景的窗口内点击一个楼体表面的位置，作为虚拟球体下落的初始位置。此时移动设备即可获取用户所选位置在对应帧的像素坐标Auser，参考图3中(a)图，其中的黑色方块代表像素点Auser。然后划定以Auser为中心，11*11的像素矩形为搜索范围，如图3中(a)图除黑色方块外的所有方块，搜索该范围内的所有像素点，找出其中DSO选出的候选点，并记录每一个候选点的像素坐标和深度值，如图3中(a)图，其中的灰色方块代表DSO选出的候选点，灰色方块内的数字代表该像素点的深度值。然后选出所有这些候选点中深度值最小的一个点Apixel即为虚拟球体初始位置在对应帧的图像上的像素坐标，如图3中(a)图中浅灰色的方块。
2、在1中被搜索的像素矩形中没有DSO候选点的情况下执行。在已搜索范围的基础上向四周再扩展5个像素的长度，划出一个更大的搜索范围，寻找深度值最小的候选点Apixel。如图3中(b)图，中间11*11的白色方块为初始的搜索范围，其中没有DSO选出的候选点，则扩展出灰色方块这样一个新的搜索范围。如果仍未找到则重复步骤②直至找到Apixel。
3、查找虚拟球体初始位置在三维点云模型中的坐标。因为每一个DSO选出的候选点都对应三维点云模型中的一个点，所以直接通过Apixel所在帧的帧ID和Apixel的像素坐标即可映射出Apixel在DSO生成的三维点云模型中对应点的三维坐标Apc，Apc即可作为用户所选位置在三维场景中对应的坐标，即虚拟球体在三维场景中做自由落体运动的初始位置。
Step4、计算自由落体的运动过程、绘制物体间的遮挡关系
本步骤主要是确定虚拟球体与真实场景中各种物体的遮挡关系。因为虚拟球体是系统计算绘制出来的，在真实场景中并不存在，为了从手机屏幕上观察起来更加真实，就必须确定观察视角下哪个物体(包括真实物体和虚拟物体)与用户更近，哪个物体(包括真实物体和虚拟物体)与用户更远，从而将这种遮挡关系(前后关系)在绘制时表现出来。
本实施例绘制遮挡关系的方法如下：使用OpenGL在三维点云模型中绘制出球体的自由落体动画。根据实时的相机位姿来将自由落体动画以用户的摄像机视角呈现出来，叠加到移动设备摄取场景的窗口中。如果虚拟球体的顶点在用户的摄像机视角下深度值小于自由落体动画轨迹上三维场景的某些点，则在叠加时这些顶点不予显示，仍保留原始场景的像素信息，反之，则在叠加时覆盖原始场景的像素信息，绘制虚拟球体的像素信息。
运动过程的计算主要根据获取到的虚拟球体的初始位置和自由落体物理公式
gt2＝2h
计算出虚拟球体的运动轨迹。其中，t：时间(s)；g:重力加速度(m/s2)；h:高度(m)。
Step5、将虚拟球体的自由落体动画融合在真实场景中进行演示
使用OpenGL载入三维点云模型并在模型中绘制球体，然后按照计算出的运动轨迹分别绘制每一帧的球体，比较虚拟球体和三维场景的深度值，覆盖深度值较小的三维场景，使虚拟球体叠加到三维场景中，最后连续播放绘制的每一帧场景形成完整的自由落体实验过程。通过DSO输出的相机位姿矩阵变换坐标系使用户的视角呈现出自由落体动画。
自由落体实验整体流程参考图4；首先进入实验界面，由用户开始实验，用户选取高楼并放置球体，然后开始实验播放虚拟动画，用户观看完整实验过程，在虚拟动画演示完毕后，用户观察球体下落情况，移动设备的应用窗口中展现自由落体公式，并以语音图片视频等形式展示实验背后的物理原理。
增强现实自由落体实验教学工具的意义是让不易实现的实验在真实场景中模拟出来，从而能够在获得真实实验感受的同时降低实验的成本。所以在用户确定虚拟球体的初始位置时不可能要求用户在场景中明确标注一个位置或者要求用户给出一个位置的明确坐标，应该让用户通过一些简单的交互方式来确定球体的初始位置。简单的交互只能产生少量的信息，如何从少量的信息中计算出一个球体合理的初始位置是本发明的难点。申请人提出像素映射定位方法将某一视角下的像素坐标转换为场景中的三维坐标，从而让用户在手机屏幕上简单点击一个大致位置即可完成球体初始位置的设定，简单高效。
虚拟物体与真实场景保持一致是增强现实应用的关键问题，本发明中的自由落体实验需要球体在真实场景中运动，运动过程中很有可能在球体与用户之间有树木、广告牌等遮挡物。如何表现这种遮挡关系，使球体与场景完美融合是本发明另一个难点。申请人提出了一种绘制遮挡关系的方法，通过场景三维点云模型来判断虚拟物体像素还是保留原始像素的取舍来显示虚实物体之间的遮挡关系，从而使虚拟球体在运动过程中能与场景完美融合。
本发明实现使用的软件平台为icrosoft visual studio 2013与OpenGL。硬件平台为3.4GHz Inter(R)Core(TM)i7CPU、32GB内存以及NVIDIA GeForce GTX1080GPU。本发明通过增强现实技术，将一些在普通生活中难以操作的物理实验在现实场景中模拟演示，使学生用户能够直观的体验到相应实验的物理过程。通过采用稀疏直接法的DSO在保证精度的前提下提高了建模速度，使本专利可以做到实时性。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (3)

1.一种基于SLAM的增强现实自由落体实验方法，其特征在于包括如下步骤：
A、利用相机标定技术对移动设备的相机进行标定，估算出移动设备上相机的内参数；
B、使用经过相机标定的移动设备对目标场景进行扫描，结合步骤A中获得的相机内参，利用SLAM技术对视频中的场景进行三维重建，从而获得目标场景的三维点云模型以及相机在目标场景中的相对位置和姿态；
C、利用像素映射定位方法，将用户与移动设备交互过程中所确定的像素坐标转换为场景点云模型中相应匹配点的三维坐标，包括：用户通过移动设备在目标场景的某一帧图像上点击一个位置以确定虚拟球体在场景中的初始位置，移动设备获取到用户点击位置在这一帧图像上的像素坐标Auser，在以Auser为中心、11*11的像素矩形范围内找到深度值最小的DSO选出的候选点Apixel，将Apixel映射到点云模型中的对应点便得到虚拟球体初始位置的三维坐标Apc；从而确定虚拟物体的摆放位置；
D、根据步骤B获得的场景三维点云模型和虚拟球体起始位置来计算其在场景中的运动过程，根据步骤B获得的场景三维点云模型和相机位姿来绘制相应视角下的物体遮挡关系，物体遮挡关系的绘制过程如下：使用OpenGL在三维点云模型中绘制出球体的自由落体动画，根据实时的相机位姿来将自由落体动画以用户的摄像机视角呈现出来，叠加到移动设备摄取场景的窗口中，如果虚拟球体的顶点在用户的摄像机视角下深度值小于自由落体动画轨迹上三维场景的某些点，则在叠加时这些顶点不予显示，仍保留原始场景的像素信息，反之，则在叠加时覆盖原始场景的像素信息，绘制虚拟球体的像素信息；最后根据虚拟球体的运动过程和遮挡关系来在真实场景中模拟自由落体运动。
2.根据权利要求1所述的基于SLAM的增强现实自由落体实验方法，其特征在于：所述步骤A包括：使用移动设备相机从不同角度拍摄标定板来获得多张标定图片，将这些图片作为输入通过张正友的相机标定方法来标定相机，以获得移动设备相机的内参数。
3.根据权利要求1所述的基于SLAM的增强现实自由落体实验方法，其特征在于：所述步骤B包括：使用经过标定的移动设备相机对目标场景进行扫描，将扫描后得到的场景图像信息作为输入，将步骤A估计出的相机内参作为初始化参数，通过SLAM算法DSO来对场景进行三维重建，从而获得目标场景的三维点云模型以及每一帧图像中相机在场景中的位姿。
CN201810438483.1A 2018-05-09 2018-05-09 一种基于slam的增强现实自由落体实验方法 Active CN108735052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810438483.1A CN108735052B (zh) 2018-05-09 2018-05-09 一种基于slam的增强现实自由落体实验方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810438483.1A CN108735052B (zh) 2018-05-09 2018-05-09 一种基于slam的增强现实自由落体实验方法

Publications (2)

Publication Number Publication Date
CN108735052A CN108735052A (zh) 2018-11-02
CN108735052B true CN108735052B (zh) 2021-01-08

Family

ID=63938132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810438483.1A Active CN108735052B (zh) 2018-05-09 2018-05-09 一种基于slam的增强现实自由落体实验方法

Country Status (1)

Country Link
CN (1) CN108735052B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887041B (zh) * 2019-03-05 2020-11-20 中测国检（北京）测绘仪器检测中心 一种机械臂控制数字相机摄影中心位置和姿态的方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110288691B (zh) * 2019-06-06 2023-04-07 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110634161B (zh) * 2019-08-30 2023-05-05 哈尔滨工业大学（深圳） 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN110597442B (zh) * 2019-09-20 2021-03-16 北京华捷艾米科技有限公司 一种手机ar绘画方法及装置
CN111260084B (zh) * 2020-01-09 2024-03-15 长安大学 基于增强现实协同装配维修的远程系统及方法
CN112309207A (zh) * 2020-11-03 2021-02-02 杭州师范大学 一种平抛运动虚实融合实验平台及方法
CN112348933B (zh) * 2020-11-18 2023-10-31 北京达佳互联信息技术有限公司 动画生成方法、装置、电子设备及存储介质
CN113391091B (zh) * 2021-05-28 2022-04-01 浙江大学 一种转动坐标系下自由落体实际加速度的测量装置及方法
CN113570721B (zh) * 2021-09-27 2021-12-21 贝壳技术有限公司 三维空间模型的重建方法、装置和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
CN105046710A (zh) * 2015-07-23 2015-11-11 北京林业大学 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN106548519A (zh) * 2016-11-04 2017-03-29 上海玄彩美科网络科技有限公司 基于orb‑slam和深度相机的真实感的增强现实方法
CN107102736A (zh) * 2017-04-25 2017-08-29 上海唱风信息科技有限公司 实现增强现实的方法
CN107369183A (zh) * 2017-07-17 2017-11-21 广东工业大学 面向mar的基于图优化slam的跟踪注册方法及系统
CN107564012B (zh) * 2017-08-01 2020-02-28 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect的增强现实交互技术研究;董世明;《中国优秀硕士学位论文全文数据库（电子期刊）》;20150228;I138-1463 *

Also Published As

Publication number Publication date
CN108735052A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108735052B (zh) 一种基于slam的增强现实自由落体实验方法
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US10573060B1 (en) Controller binding in virtual domes
US20120155744A1 (en) Image generation method
US20150042640A1 (en) Floating 3d image in midair
CN104657103B (zh) 基于深度摄像机的手持cave投影系统
CN105190703A (zh) 使用光度立体来进行3d环境建模
KR20130032855A (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
JP2002247602A (ja) 画像生成装置及びその制御方法並びにそのコンピュータプログラム
CN110648274B (zh) 鱼眼图像的生成方法及装置
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
US20220277484A1 (en) Software Engine Enabling Users to Interact Directly with a Screen Using a Camera
CN112529022B (zh) 一种训练样本的生成方法及装置
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
JP2022122876A (ja) 画像表示システム
EP4134917A1 (en) Imaging systems and methods for facilitating local lighting
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
US10740957B1 (en) Dynamic split screen
US10909752B2 (en) All-around spherical light field rendering method
CN104144329B (zh) 光学跟踪方法
CN108346183B (zh) 一种用于ar基准定位的方法及系统
CN115359422A (zh) 一种高空抛物图像生成方法、装置及系统
CN113961068A (zh) 一种基于增强现实头盔的近距离实物眼动交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant