CN111275731A - 面向中学实验的投影式实物交互桌面系统和方法 - Google Patents

面向中学实验的投影式实物交互桌面系统和方法 Download PDF

Info

Publication number
CN111275731A
CN111275731A CN202010029322.4A CN202010029322A CN111275731A CN 111275731 A CN111275731 A CN 111275731A CN 202010029322 A CN202010029322 A CN 202010029322A CN 111275731 A CN111275731 A CN 111275731A
Authority
CN
China
Prior art keywords
virtual
real
experiment
desktop
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010029322.4A
Other languages
English (en)
Other versions
CN111275731B (zh
Inventor
潘志庚
袁庆曙
王若楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202010029322.4A priority Critical patent/CN111275731B/zh
Publication of CN111275731A publication Critical patent/CN111275731A/zh
Application granted granted Critical
Publication of CN111275731B publication Critical patent/CN111275731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种面向中学实验的投影式实物交互桌面系统和方法，其中系统包括：桌面；实物对象，根据实验内容3D打印获得，置于桌面上；3D体感摄影机，实时拍摄实物对象的深度图像，并将深度图像传输给计算机；计算机，根据实验内容构建虚拟实验场景，调整虚拟相机的内外参数，实时通过所述的深度图像识别实物对象的位姿，实时调整虚拟实验场景的位姿与实物对象进行配准；投影仪，实时将调整后的虚拟实验场景投射至桌面，实现虚实融合呈现。本发明的系统支持实物对象的实时交互以及虚实融合投影显示。

Description

面向中学实验的投影式实物交互桌面系统和方法
技术领域
本发明涉及空间增强现实技术领域，尤其涉及一种面向中学实验的投影式实物交互桌面系统和方法。
背景技术
部分微观或者宏观实验现象超出人类视觉范围，难以在实验中呈现。因此，虚拟现实(Virtual Reality)和增强现实(Augmented Reality)技术被广泛应用于实验教学，它的优势在于将难以观察的事物或者现象在虚拟环境或者真实环境中展示出来，使一些抽象的内容形象化，无法呈现的内容变得可视化。
虚拟现实和增强现实技术将教学内容融入互动媒体，每个学习者在使用的过程中都会因为交互方式的不同而有不一样的学习过程。虚拟现实和增强现实式实验教学以交互方式的不同主要分为三大类，分别是桌面键鼠交互、VR手柄交互、交互件重定位交互。
桌面键鼠交互式的实验教学是学生通过浏览器验证登录到网上进入三维虚拟实验室中，使用鼠标、键盘等输入设备实现虚拟实验的交互(参考文献：吕琼，李锐.基于Web的虚拟力学实验室系统的研究与实现[J].电脑知识与技术，2009，5(11))。这种方式缺乏真实实验的操作感；VR手柄交互式实验教学即是学生通过头戴虚拟头盔完全沉浸在虚拟的环境中进行实验的操作，通过手柄进行交互，这种交互方式并非真实场景中的交互，与真实实验的操作是不吻合的；交互件重定位交互方式是通过把人工标志物的位姿赋予虚拟对象(参考文献：AzmandianM，Hancock M，Benko H，et al.Haptic Re-targeting：DynamicRepurposing of Passive Haptics for Enhanced Virtual Reality Experiences[C]//the 2016 CHI Conference.ACM，2016.)、这种方式的实验教学是基于学生接触的真实环境叠加一些虚拟场景，构建了一个虚实结合，三维沉浸的新环境，学生通过手机、平板或者头盔等屏幕设备即可做到真实场景和虚拟对象的融合互动，尽管通过屏幕查看数字元素很方便，但它在视场上造成了重要的限制，使得学生的交互操作与视觉呈现处于分离状态，显然这种方式应用起来并不灵活，同时这些设备的持有一定程度上影响了用户的体验感和沉浸感。
发明内容
本发明提供了一种面向中学实验的投影式实物交互桌面系统，该桌面系统支持实物对象的实时交互以及虚实融合投影显示。
具体技术方案如下：
一种面向中学实验的投影式实物交互桌面系统，包括：
桌面；
实物对象，根据实验内容3D打印获得，置于桌面上；
3D体感摄影机，实时拍摄实物对象的深度图像，并将深度图像传输给计算机；
计算机，根据实验内容构建虚拟实验场景，调整虚拟相机的内外参数，实时通过所述的深度图像识别实物对象的位姿，实时调整虚拟实验场景的位姿与实物对象进行配准；
投影仪，实时将调整后的虚拟实验场景投射至桌面，实现虚实融合呈现。
本发明的面向中学实验的投影式实物交互桌面系统可以增强显示实体实验中难以呈现的客观现象，既保留了原有实验的操作感，又达到了基于现实超越现实的体验效果。
所述的桌面要平整并无高光反射。
所述的3D体感摄影机为Kinect V2.0。
所述的虚拟实验场景内包含虚拟模型和虚拟相机，所述虚拟模型与实物对象一一对应；所述虚拟相机与真实空间中的投影仪内外参数一致。
基于所述的面向中学实验的投影式实物交互桌面系统进行实物交互的方法包括：
(1)根据实验内容，设计实验流程，采用计算机构建虚拟模型及虚拟实验场景；根据虚拟模型3D打印获得实物对象；
(2)对所述的面向中学实验的投影式实物交互桌面系统中的坐标系进行配准；
(3)通过3D体感摄影机实时获取实物对象的深度图像，计算机根据深度图像识别实物对象的位姿；
(4)通过计算机在虚拟场景中建立与真实场景中的投影仪内外参一致的虚拟相机，进行虚拟实验场景的渲染；
(5)计算机根据实物对象的位姿实时调整对应虚拟模型的位姿，将二者配准；将调整后的虚拟实验场景通过投影仪投射至桌面，实现虚实融合呈现。
优选的，步骤(2)包括：
(2-1)基于结构光的标定方法对投影仪和3D体感摄影机的RGB坐标系进行配准，得到两个坐标系之间的旋转矩阵和平移矩阵；
(2-2)采用双目相机的标定方法对3D体感摄影机的RGB坐标系RGB和3D体感摄影机的IR坐标系进行标定；
(2-3)利用3D体感摄影机的IR相机获取到的深度图像和桌面所在平面的坐标系进行配准，从而实现整个系统中多个坐标系的配准。
优选的，步骤(3)中，计算机根据深度图像识别实物对象的位姿包括：
(3-1)平面拟合出桌面所在的平面方程，截取离所述平面方程有效操作距离范围内的深度图像，实现前景与背景的分割；
(3-2)对有效操作距离范围内的深度图像进行膨胀腐蚀以及高斯滤波处理，再进行图像的二值化处理，得到有效的连通区域的个数；
(3-3)通过提取有效连通区域的轮廓，对所述轮廓的形状进行检测判断，得到实物对象的位姿。
进一步优选的，所述步骤(3-1)中，利用PCL点云库、OpenCV视觉库和随机抽样一致算法平面拟合出桌面所在的平面方程。
优选的，步骤(3)中，在计算机根据深度图像识别实物对象的位姿时，加入卡尔曼滤波算法。该技术方案可以提高位姿识别的稳定性和鲁棒性。
与现有技术相比，本发明的有益效果为：
首先，提出一种面向中学实验的实物自然交互技术，通过可触的方式实现物理世界和数字世界无缝集成，完美契合了增强显示系统的交互需求。没有任何交互负载，学生不需要佩戴任何设备，同时允许学生间的交互活动，使得学生在较低的认知负荷及交互负载下，完成实验并对实验有深入的理解。
其次，提出一种利用投影实现AR虚实融合的技术方案，利用计算机视觉领域的多相机标定、深度相机实时检测、投影方程优化求解等方法，实现虚拟图像与实体对象的交互级实时配准融合，达到虚实融合的效果。多次算法的迭代优化，最大程度确保了方法实时的响应效率和稳定的交互情境。
最后，提出一种虚拟呈现的实验方案，不仅可以借助可视化方法呈现物理空间中无法呈现的对象，而且依然有着与真实实验一样的操作体验，达到了虚实融合的体验效果，使整个实验过程变得生动有趣，提升学生的学习兴趣、激发学生的创新能力。
附图说明
图1为面向中学实验的投影式实物交互桌面系统的结构示意图；
图2为面向中学实验的投影式实物交互方法的工作流程图；
图3为实施例的实验效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
如图1所示，面向中学实验的投影式实物交互桌面系统包括实物对象1、投影仪2、3D体感摄影机3(微软Kinect V2.0)、计算机4以及桌面5。投影仪2以及3D体感摄影机3的视角均要朝向桌面，其中3D体感摄影机3安装在投影仪2的下方，3D体感摄影机3的视场能够覆盖的范围要大于投影仪投影区域。
实物对象1是根据具体的实验对象3D打印而成的，在面向中学实验的投影式实物交互桌面系统中代替实验对象；3D体感摄影机3感应实物对象1的位姿并传输给计算机4；计算机4根据具体的实验内容构建虚拟实验场景，虚拟实验场景中包含与实物对象1一一对应的虚拟模型，计算机4根据实物对象1的位姿实时调整虚拟模型的位姿，并将虚拟实验场景的图像传输给投影仪2，由投影仪2实时投射至桌面上，实现虚实融合的呈现效果。
如图2所示，面向中学实验的投影式实物交互方法的工作流程如下：
步骤101、3D打印实物对象
根据具体的实验内容，设计整个实验的实验流程，对实验中所需要的实物对象进行3D打印。
步骤102、对整个系统中的多个坐标系进行配准
利用基于结构光的标定方法对投影仪和Kinect-RGB坐标系进行配准得到两个坐标系之间的旋转矩阵和平移矩阵，通过采集Kinect-RGB和Kinect-IR同时拍摄的多组不同状态下的棋盘格图片，用MATLAB中双目相机的标定方法对Kinect-RGB和Kinect-IR坐标系进行标定，然后利用Kinect-IR相机获取到的深度图和桌面所在平面的坐标系进行配准，从而实现整个系统中多个坐标系的配准。
步骤103、根据具体的实验内容，计算机构建虚拟实验场景，实时将虚拟实验场景中的虚拟模型与真实场景中的实物对象精确配准
计算机在unity中构建虚拟实验场景，虚拟实验场景中包含与实物对象一一对应的虚拟模型，以及和真实空间投影仪内外参一一对应的虚拟相机。
针对环境背景干扰，通过运用PCL点云库、OpenCV视觉库和RANSAC(随机抽样一致算法)进行点云平面拟合，进而得到桌面所在的平面方程；然后截取离桌面有效操作距离范围内的深度图像，实现前景与背景的分割；并对有效范围的深度图像进行膨胀腐蚀以及高斯滤波算法的处理，再进行图像的二值化处理，得到有效的连通区域的个数；然后通过提取有效连通区域的轮廓，对这些轮廓的形状进行检测判断实现目标对象的识别，在目标识别跟踪的过程中，加入卡尔曼滤波算法提高稳定性和鲁棒性，最后得到目标对象的位姿。
步骤104、虚实融合呈现
计算机根据实物对象的位姿，实时的调整虚拟实验场景中虚拟模型的位姿，进而实现虚拟模型和真实场景中实物对象的精确配准，最后通过投影仪将虚拟实验场景精确投影到实物对象以及桌面上，实现虚实融合的呈现效果。
实施例以中学实验“认识磁感线”为例对面向中学实验的投影式实物交互桌面系统进行了测试，结果如图3所示。图中的长方体和圆柱体分别代表着此实验中的磁铁和指南针，学生可以直接在桌面上操纵实物对象，移动磁铁，周围磁感线的分布会实时的随着磁铁的改变而改变，移动指南针，可以观察到指南针的方向也会随之变化，并且不同位置的指南针方向也是不同的，因为指南针的方向一直为磁感线的切线方向，此过程展示了实验操作过程中的实时的实物交互。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种面向中学实验的投影式实物交互桌面系统，其特征在于，包括：
桌面；
实物对象，根据实验内容3D打印获得，置于桌面上；
3D体感摄影机，实时拍摄实物对象的深度图像，并将深度图像传输给计算机；
计算机，根据实验内容构建虚拟实验场景，调整虚拟相机的内外参数，实时通过所述的深度图像识别实物对象的位姿，实时调整虚拟实验场景的位姿与实物对象进行配准；
投影仪，实时将调整后的虚拟实验场景投射至桌面，实现虚实融合呈现。
2.根据权利要求1所述的面向中学实验的投影式实物交互桌面系统，其特征在于，所述的3D体感摄影机为Kinect V2.0。
3.根据权利要求1所述的面向中学实验的投影式实物交互桌面系统，其特征在于，所述的虚拟实验场景内包含虚拟模型，所述虚拟模型与实物对象一一对应。
4.一种基于权利要求1～3任一项所述的面向中学实验的投影式实物交互桌面系统的面向中学实验的投影式实物交互方法，其特征在于，包括以下步骤：
(1)根据实验内容，设计实验流程，采用计算机构建虚拟模型及虚拟实验场景；根据虚拟模型3D打印获得实物对象；
(2)对所述的面向中学实验的投影式实物交互桌面系统中的坐标系进行配准；
(3)通过3D体感摄影机实时获取实物对象的深度图像，计算机根据深度图像识别实物对象的位姿；
(4)通过计算机在虚拟场景中建立与真实场景中的投影仪内外参一致的虚拟相机，进行虚拟实验场景的渲染；
(5)计算机根据实物对象的位姿实时调整对应虚拟模型的位姿，将二者配准；将调整后的虚拟实验场景通过投影仪投射至桌面，实现虚实融合呈现。
5.根据权利要求4所述的面向中学实验的投影式实物交互方法，其特征在于，步骤(2)包括：
(2-1)基于结构光的标定方法对投影仪和3D体感摄影机的RGB坐标系进行配准，得到两个坐标系之间的旋转矩阵和平移矩阵；
(2-2)采用双目相机的标定方法对3D体感摄影机的RGB坐标系RGB和3D体感摄影机的IR坐标系进行标定；
(2-3)利用3D体感摄影机的IR相机获取到的深度图像和桌面所在平面的坐标系进行配准，从而实现整个系统中多个坐标系的配准。
6.根据权利要求4所述的面向中学实验的投影式实物交互方法，其特征在于，步骤(3)中，计算机根据深度图像识别实物对象的位姿包括：
(3-1)利用PCL点云库、OpenCV视觉库和随机抽样一致算法平面拟合出桌面所在的平面方程，截取离所述平面方程有效操作距离范围内的深度图像，实现前景与背景的分割；
(3-2)对有效操作距离范围内的深度图像进行膨胀腐蚀以及高斯滤波处理，再进行图像的二值化处理，得到有效的连通区域的个数；
(3-3)通过提取有效连通区域的轮廓，对所述轮廓的形状进行检测判断，得到实物对象的位姿。
7.根据权利要求6所述的面向中学实验的投影式实物交互方法，其特征在于，所述步骤(3-1)中，利用PCL点云库、OpenCV视觉库和随机抽样一致算法平面拟合出桌面所在的平面方程。
8.根据权利要求4或6所述的面向中学实验的投影式实物交互方法，其特征在于，步骤(3)中，在计算机根据深度图像识别实物对象的位姿时，加入卡尔曼滤波算法。该技术方案可以提高位姿识别的稳定性和鲁棒性。
CN202010029322.4A 2020-01-10 2020-01-10 面向中学实验的投影式实物交互桌面系统和方法 Active CN111275731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010029322.4A CN111275731B (zh) 2020-01-10 2020-01-10 面向中学实验的投影式实物交互桌面系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029322.4A CN111275731B (zh) 2020-01-10 2020-01-10 面向中学实验的投影式实物交互桌面系统和方法

Publications (2)

Publication Number Publication Date
CN111275731A true CN111275731A (zh) 2020-06-12
CN111275731B CN111275731B (zh) 2023-08-18

Family

ID=71000093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029322.4A Active CN111275731B (zh) 2020-01-10 2020-01-10 面向中学实验的投影式实物交互桌面系统和方法

Country Status (1)

Country Link
CN (1) CN111275731B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899348A (zh) * 2020-07-14 2020-11-06 四川深瑞视科技有限公司 基于投影的增强现实实验演示系统及方法
CN111897422A (zh) * 2020-07-14 2020-11-06 山东大学 一种虚实物体实时融合的实物交互方法与系统
CN112750167A (zh) * 2020-12-30 2021-05-04 燕山大学 基于虚拟现实的机器人视觉定位仿真方法及其仿真装置
CN113160421A (zh) * 2021-01-22 2021-07-23 杭州师范大学 一种基于投影的空间式实物交互虚拟实验方法
CN113570441A (zh) * 2021-09-26 2021-10-29 广州新奥达云科技有限公司 一种基于虚拟反向投影的物品展示方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212509A1 (en) * 2011-02-17 2012-08-23 Microsoft Corporation Providing an Interactive Experience Using a 3D Depth Camera and a 3D Projector
CN103760981A (zh) * 2014-01-21 2014-04-30 北京师范大学 一种磁场可视化及交互方法
US20170053449A1 (en) * 2015-08-19 2017-02-23 Electronics And Telecommunications Research Institute Apparatus for providing virtual contents to augment usability of real object and method using the same
CN107016733A (zh) * 2017-03-08 2017-08-04 北京光年无限科技有限公司 基于增强现实ar的交互系统及交互方法
CN108211356A (zh) * 2017-12-30 2018-06-29 神画科技（深圳）有限公司 一种基于投影仪的道具识别方法及系统
CN108805766A (zh) * 2018-06-05 2018-11-13 陈勇 一种ar体感沉浸式教学系统和方法
CN108847057A (zh) * 2018-06-29 2018-11-20 北京师范大学 一种光电效应实验的虚实结合展示系统及方法
WO2019041351A1 (zh) * 2017-09-04 2019-03-07 艾迪普（北京）文化科技股份有限公司 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
CN110288714A (zh) * 2019-06-21 2019-09-27 济南大学 一种虚拟仿真实验系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120212509A1 (en) * 2011-02-17 2012-08-23 Microsoft Corporation Providing an Interactive Experience Using a 3D Depth Camera and a 3D Projector
CN102693005A (zh) * 2011-02-17 2012-09-26 微软公司 使用3d深度相机和3d投影仪来提供交互式体验
CN103760981A (zh) * 2014-01-21 2014-04-30 北京师范大学 一种磁场可视化及交互方法
US20170053449A1 (en) * 2015-08-19 2017-02-23 Electronics And Telecommunications Research Institute Apparatus for providing virtual contents to augment usability of real object and method using the same
CN107016733A (zh) * 2017-03-08 2017-08-04 北京光年无限科技有限公司 基于增强现实ar的交互系统及交互方法
WO2019041351A1 (zh) * 2017-09-04 2019-03-07 艾迪普（北京）文化科技股份有限公司 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
CN108211356A (zh) * 2017-12-30 2018-06-29 神画科技（深圳）有限公司 一种基于投影仪的道具识别方法及系统
CN108805766A (zh) * 2018-06-05 2018-11-13 陈勇 一种ar体感沉浸式教学系统和方法
CN108847057A (zh) * 2018-06-29 2018-11-20 北京师范大学 一种光电效应实验的虚实结合展示系统及方法
CN110288714A (zh) * 2019-06-21 2019-09-27 济南大学 一种虚拟仿真实验系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHINYA MATSUTOMO; TAKENORI MIYAUCHI; SO NOGUCHI; HIDEO YAMASHITA: "Real-Time Visualization System of Magnetic Field Utilizing Augmented Reality Technology for Education", vol. 48, no. 48, pages 531 - 534, XP011398328, DOI: 10.1109/TMAG.2011.2174208 *
杭师大信息学院小助理: "喜报|我院学生在第二届虚拟现实技术及应用创新大赛中获得二等奖", pages 1 - 3 *
蔡苏; 王沛文; 杨阳; 刘恩睿: "增强现实(AR)技术的教育应用综述" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899348A (zh) * 2020-07-14 2020-11-06 四川深瑞视科技有限公司 基于投影的增强现实实验演示系统及方法
CN111897422A (zh) * 2020-07-14 2020-11-06 山东大学 一种虚实物体实时融合的实物交互方法与系统
CN111897422B (zh) * 2020-07-14 2022-02-15 山东大学 一种虚实物体实时融合的实物交互方法与系统
CN112750167A (zh) * 2020-12-30 2021-05-04 燕山大学 基于虚拟现实的机器人视觉定位仿真方法及其仿真装置
CN113160421A (zh) * 2021-01-22 2021-07-23 杭州师范大学 一种基于投影的空间式实物交互虚拟实验方法
CN113570441A (zh) * 2021-09-26 2021-10-29 广州新奥达云科技有限公司 一种基于虚拟反向投影的物品展示方法和装置
CN113570441B (zh) * 2021-09-26 2022-02-01 广州新奥达云科技有限公司 一种基于虚拟反向投影的物品展示方法和装置

Also Published As

Publication number Publication date
CN111275731B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111275731B (zh) 面向中学实验的投影式实物交互桌面系统和方法
Asayama et al. Fabricating diminishable visual markers for geometric registration in projection mapping
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
Tomioka et al. Approximated user-perspective rendering in tablet-based augmented reality
US20120162384A1 (en) Three-Dimensional Collaboration
CN104050859A (zh) 可交互数字化立体沙盘系统
US11727238B2 (en) Augmented camera for improved spatial localization and spatial orientation determination
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
CN104464414A (zh) 一种增强现实的教学系统
Gard et al. Projection distortion-based object tracking in shader lamp scenarios
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
Selvam et al. Augmented reality for information retrieval aimed at museum exhibitions using smartphones
Ballestin et al. A registration framework for the comparison of video and optical see-through devices in interactive augmented reality
CN106780757B (zh) 一种增强现实的方法
Sánchez Salazar Chavarría et al. Interactive 3D touch and gesture capable holographic light field display with automatic registration between user and content
Yonov School atlas with augmented reality
CN113066192B (zh) 一种基于ar成像在全虚拟环境中实时蒙版的方法
BARON et al. APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION.
Lai et al. Exploring manipulation behavior on video see-through head-mounted display with view interpolation
Streicher et al. VIEW: A Concept for an Immersive Virtual Reality Image Interpretation Workbench
Kim et al. Dynamic projection mapping using kinect-based skeleton tracking
JP4436101B2 (ja) ロボット
Duan et al. Augmented reality technology and its game application research
Hou et al. Landscape Design System Based on Virtual Reality.
Zhang et al. AR sand table with VSTAR system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant