CN111679743A - 一种姿态交互裸眼三维混合虚拟现实系统的实现方法 - Google Patents

一种姿态交互裸眼三维混合虚拟现实系统的实现方法 Download PDF

Info

Publication number
CN111679743A
CN111679743A CN202010799256.9A CN202010799256A CN111679743A CN 111679743 A CN111679743 A CN 111679743A CN 202010799256 A CN202010799256 A CN 202010799256A CN 111679743 A CN111679743 A CN 111679743A
Authority
CN
China
Prior art keywords
dimensional
virtual reality
scene
naked eye
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010799256.9A
Other languages
English (en)
Inventor
王月举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ruiju Digital Technology Co ltd
Original Assignee
Nanjing Ruiju Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ruiju Digital Technology Co ltd filed Critical Nanjing Ruiju Digital Technology Co ltd
Priority to CN202010799256.9A priority Critical patent/CN111679743A/zh
Publication of CN111679743A publication Critical patent/CN111679743A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种姿态交互裸眼三维混合虚拟现实系统的实现方法，S1、信息采集：运用双目摄像头对图像进行捕获，再计算当前场景锁定对象的深度信息，通过两个摄像头获取场景对象的两张视差图以及相机的内参和外参数计算深度信息，与摄像头获取的平面坐标信息进行三维空间坐标匹配，计算出当前锁定对象在计算机三维空间的坐标，本发明涉及虚拟现实技术领域。该姿态交互裸眼三维混合虚拟现实系统的实现方法，具备可以实现演讲人与展示内容进行三维实时人机交互，形成现场实时裸眼3D混合虚拟现实展示的优点，且实施方案成本相对低，适合展示观众多的场合，同时其视觉效果好，提高观众的听讲体验。

Description

一种姿态交互裸眼三维混合虚拟现实系统的实现方法
技术领域
本发明涉及虚拟现实技术领域，具体为一种姿态交互裸眼三维混合虚拟现实系统的实现方法。
背景技术
虚拟现实技术，又称灵境技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。
在现场的PPT演讲、产品发布会、学术成果展示时，传统的展示方式效果僵硬、苍白、被动，传统的VR头显单只价格昂贵，况且每台VR头显需要配备高配置计算机、无法完成实时互动，成本极高，不适合观众多的公共场合展示应用，为此我们提出一种可以实现演讲人与展示内容进行三维实时人机交互，形成现场实时裸眼3D混合虚拟现实展示的系统方法来解决此问题。
发明内容
针对现有技术的不足，本发明提供了一种姿态交互裸眼三维混合虚拟现实系统的实现方法，解决了传统的展示方式效果僵硬、苍白、被动，且单只VR头显配置价格昂贵，无法完成实时互动，成本极高，不适合观众多的公共场合展示应用的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种姿态交互裸眼三维混合虚拟现实系统的实现方法，具体包括以下步骤：
S1、信息采集：运用双目摄像头对图像进行捕获，再计算当前场景锁定对象的深度信息，通过两个摄像头获取场景对象的两张视差图以及相机的内参和外参数计算深度信息，与摄像头获取的平面坐标信息进行三维空间坐标匹配，计算出当前锁定对象在计算机三维空间的坐标；
S2、建立映射：通过一定的算法与实际场景的三维空间建立映射关系，达到获取当前场景对象信息的目的，为下一步与计算机影像的融合同步准备相应的数据；
S3、映射处理：映射模块将双目摄像头传递过来的数据进行清洗、结构化、去除干扰的噪声数据，转换数据格式，提取出深度、平面坐标信息、向量矩阵信息，速度信息等封装成一个数据接口供计算机影像生成模块来调用；
S4、对象处理：通过PPT控制中间模块对映射模块的数据进行调用并与计算机影像的三维空间结构进行叠加，完成当前场景锁定对象动作对计算机影像控制命令的同步，解析捕获锁定对象的动作，将这些动作数据传递给影像生成控制模块，完成动作对计算机影像的控制，通过既定的动作可以对计算机影像生成的展示内容进行旋转、缩放、移动、肢解、入场或出场控制；
S5、视觉展示：影像输出装置将计算机输出影像与实际场景的物体在视觉上融合在一起进行成像，配合周围的光线调节，创造增强现实的视觉效果。
优选的，所述步骤S1中图像进行捕获为当前场景的不同视角，且捕获若干张图像，其中深度信息的计算方法为匹配图像和三维重建算法。
优选的，所述步骤S1中双目摄像头的两个摄像头位于同一轴线上。
优选的，所述步骤S2中场景对象信息包括场景内物件的坐标与其移动轨迹，场景对象信息与计算机影像融合同步准备的数据包括相应的空间坐标、移动轨迹、速度与向量。
优选的，所述步骤S3中映射模块通过采集识别系统采集到演讲人的肢体动作，映射成软件操作系统的命令实现对计算机设计展示内容的控制。
优选的，所述步骤S4中控制命令的同步实现主要通过完成场景捕获对象与计算机生成影像融合在一个三维坐标空间里。
优选的，所述步骤S5中影像输出装置采用全息雾幕成像装置，并采用高压风帘与特殊汽雾形成透射与反射载体，完成png透明图层的效果。
优选的，所述步骤S5中成像还包括透明图层与现实场景物体的叠加融合，产生整体增强现实融合的视觉效果。
有益效果
本发明提供了一种姿态交互裸眼三维混合虚拟现实系统的实现方法。与现有技术相比具备以下有益效果：该姿态交互裸眼三维混合虚拟现实系统的实现方法，具备可以实现演讲人与展示内容进行三维实时人机交互，形成现场实时裸眼3D混合虚拟现实展示的优点，且实施方案成本相对低，适合展示观众多的场合，同时其视觉效果好，提高观众的听讲体验，解决了传统的展示方式效果僵硬、苍白、被动，且单只VR头显配置价格昂贵，无法完成实时互动，成本极高，不适合观众多的公共场合展示应用的问题。
具体实施方式
下面将结合本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供两种技术方案：姿态交互裸眼三维混合虚拟现实系统的实现方法，具体包括以下实施例：
实施例一：
（1）信息采集：运用双目摄像头对图像进行捕获，再计算当前场景锁定对象的深度信息，通过两个摄像头获取场景对象的两张视差图以及相机的内参和外参数计算深度信息，与摄像头获取的平面坐标信息进行三维空间坐标匹配，计算出当前锁定对象在计算机三维空间的坐标，所捕获的图像为当前场景的不同视角，且捕获若干张图像，其中深度信息的计算方法为匹配图像和三维重建算法，双目摄像头的两个摄像头位于同一轴线上，且双目摄像头与灯光控制装置和图形工作站之间配合使用；
（2）建立映射：通过一定的算法与实际场景的三维空间建立映射关系，达到获取当前场景对象信息的目的，为下一步与计算机影像的融合同步准备相应的数据，场景对象的信息包括场景内物件的坐标与其移动轨迹，场景对象信息与计算机影像融合同步准备的数据包括相应的空间坐标、移动轨迹、速度与向量；
（3）映射处理：映射模块将双目摄像头传递过来的数据进行清洗、结构化、去除干扰的噪声数据，转换数据格式，提取出深度、平面坐标信息、向量矩阵信息，速度信息等封装成一个数据接口供计算机影像生成模块来调用；
（4）对象处理：通过PPT控制中间模块对映射模块的数据进行调用并与计算机影像的三维空间结构进行叠加，完成当前场景锁定对象动作对计算机影像控制命令的同步，解析捕获锁定对象的动作，将这些动作数据传递给影像生成控制模块，完成动作对计算机影像的控制；
（5）视觉展示：影像输出装置将计算机输出影像与实际场景的物体在视觉上融合在一起，配合周围的光线调节，创造增强现实的视觉效果。
实施例二：
（1）信息采集：运用双目摄像头对图像进行捕获，再计算当前场景锁定对象的深度信息，通过两个摄像头获取场景对象的两张视差图以及相机的内参和外参数计算深度信息，与摄像头获取的平面坐标信息进行三维空间坐标匹配，计算出当前锁定对象在计算机三维空间的坐标，所捕获的图像为当前场景的不同视角，且捕获若干张图像，其中深度信息的计算方法为匹配图像和三维重建算法，双目摄像头的两个摄像头位于同一轴线上，且双目摄像头与灯光控制装置和图形工作站之间配合使用；
（2）建立映射：通过一定的算法与实际场景的三维空间建立映射关系，达到获取当前场景对象信息的目的，为下一步与计算机影像的融合同步准备相应的数据，场景对象的信息包括场景内物件的坐标与其移动轨迹，场景对象信息与计算机影像融合同步准备的数据包括相应的空间坐标、移动轨迹、速度与向量；
（3）映射处理：映射模块将双目摄像头传递过来的数据进行清洗、结构化、去除干扰的噪声数据，转换数据格式，提取出深度、平面坐标信息、向量矩阵信息，速度信息等封装成一个数据接口供计算机影像生成模块来调用，映射模块通过采集识别系统采集到演讲人的肢体动作，映射成软件操作系统的命令实现对计算机设计展示内容的控制；
（4）对象处理：通过PPT控制中间模块对映射模块的数据进行调用并与计算机影像的三维空间结构进行叠加，完成当前场景锁定对象动作对计算机影像控制命令的同步，解析捕获锁定对象的动作，将这些动作数据传递给影像生成控制模块，完成动作对计算机影像的控制，控制命令同步的实现主要通过完成场景捕获对象与计算机生成影像融合在一个三维坐标空间里，通过既定的动作可以对计算机影像生成的展示内容进行旋转、缩放、移动、肢解、入场或出场等控制；
（5）视觉展示：影像输出装置将计算机输出影像与实际场景的物体在视觉上融合在一起，配合周围的光线调节，创造增强现实的视觉效果。
本发明专利具备可以实现演讲人与展示内容进行三维实时人机交互，形成现场实时裸眼3D混合虚拟现实展示的优点，且实施方案成本相对低，适合展示观众多的场合，同时其视觉效果好，提高观众的听讲体验，解决了传统的展示方式效果僵硬、苍白、被动，且单只VR头显配置价格昂贵，无法完成实时互动，成本极高，不适合观众多的公共场合展示应用的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：具体包括以下步骤：
S1、信息采集：运用双目摄像头对图像进行捕获，再计算当前场景锁定对象的深度信息，通过两个摄像头获取场景对象的两张视差图以及相机的内参和外参数计算深度信息，与摄像头获取的平面坐标信息进行三维空间坐标匹配，计算出当前锁定对象在计算机三维空间的坐标；
S2、建立映射：通过一定的算法与实际场景的三维空间建立映射关系，达到获取当前场景对象信息的目的，为下一步与计算机影像的融合同步准备相应的数据；
S3、映射处理：映射模块将双目摄像头传递过来的数据进行清洗、结构化、去除干扰的噪声数据，转换数据格式，提取出深度平面坐标信息、向量矩阵信息和速度信息封装成一个数据接口供计算机影像生成模块来调用；
S4、对象处理：通过PPT控制中间模块对映射模块的数据进行调用并与计算机影像的三维空间结构进行叠加，完成当前场景锁定对象动作对计算机影像控制命令的同步，解析捕获锁定对象的动作，将这些动作数据传递给影像生成控制模块，完成动作对计算机影像的控制；
S5、视觉展示：影像输出装置将计算机输出影像与实际场景的物体在视觉上融合在一起进行成像，配合周围的光线调节，创造增强现实的视觉效果。
2.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S1中图像进行捕获为当前场景的不同视角，且捕获若干张图像，其中深度信息的计算方法为匹配图像和三维重建算法。
3.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S1中双目摄像头的两个摄像头位于同一轴线上。
4.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S2中场景对象信息包括场景内物件的坐标与其移动轨迹，场景对象信息与计算机影像融合同步准备的数据包括相应的空间坐标、移动轨迹、速度与向量。
5.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S3中映射模块通过采集识别系统采集到演讲人的肢体动作，映射成软件操作系统的命令实现对计算机设计展示内容的控制。
6.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S4中控制命令的同步实现是通过完成场景捕获对象与计算机生成影像融合在一个三维坐标空间里。
7.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S5中影像输出装置采用全息雾幕成像装置，并采用高压风帘与特殊汽雾形成透射与反射载体，完成png透明图层的效果。
8.根据权利要求1所述的一种姿态交互裸眼三维混合虚拟现实系统的实现方法，其特征在于：所述步骤S5中成像还包括透明图层与现实场景物体的叠加融合，产生整体增强现实融合的视觉效果。
CN202010799256.9A 2020-08-11 2020-08-11 一种姿态交互裸眼三维混合虚拟现实系统的实现方法 Pending CN111679743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010799256.9A CN111679743A (zh) 2020-08-11 2020-08-11 一种姿态交互裸眼三维混合虚拟现实系统的实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010799256.9A CN111679743A (zh) 2020-08-11 2020-08-11 一种姿态交互裸眼三维混合虚拟现实系统的实现方法

Publications (1)

Publication Number Publication Date
CN111679743A true CN111679743A (zh) 2020-09-18

Family

ID=72458218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010799256.9A Pending CN111679743A (zh) 2020-08-11 2020-08-11 一种姿态交互裸眼三维混合虚拟现实系统的实现方法

Country Status (1)

Country Link
CN (1) CN111679743A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN106131536A (zh) * 2016-08-15 2016-11-16 万象三维视觉科技（北京）有限公司 一种裸眼3d增强现实互动展示系统及其展示方法
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
CN107463248A (zh) * 2017-06-20 2017-12-12 昆明理工大学 一种基于动态捕捉与全息投影的远程交互方法
CN107767462A (zh) * 2017-10-16 2018-03-06 北京视据科技有限公司 一种非穿戴增强现实全息展示方法及展示系统
CN111179436A (zh) * 2019-12-26 2020-05-19 浙江省文化实业发展有限公司 一种基于高精度定位技术的混合现实交互系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN106131536A (zh) * 2016-08-15 2016-11-16 万象三维视觉科技（北京）有限公司 一种裸眼3d增强现实互动展示系统及其展示方法
CN107463248A (zh) * 2017-06-20 2017-12-12 昆明理工大学 一种基于动态捕捉与全息投影的远程交互方法
CN107277494A (zh) * 2017-08-11 2017-10-20 北京铂石空间科技有限公司 立体显示系统及方法
CN107767462A (zh) * 2017-10-16 2018-03-06 北京视据科技有限公司 一种非穿戴增强现实全息展示方法及展示系统
CN111179436A (zh) * 2019-12-26 2020-05-19 浙江省文化实业发展有限公司 一种基于高精度定位技术的混合现实交互系统

Similar Documents

Publication Publication Date Title
CN113421328B (zh) 一种三维人体虚拟化重建方法及装置
CN111161422A (zh) 一种用于增强虚拟场景实现的模型展示方法
JP2004537082A (ja) 仮想現実環境における実時間バーチャル・ビューポイント
CN205581784U (zh) 一种基于现实场景的可交互混合现实平台
CN101923809A (zh) 交互式增强现实点播机
CN111833458A (zh) 图像显示方法及装置、设备、计算机可读存储介质
CN110211222B (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
CN113936121B (zh) 一种ar标注设置方法以及远程协作系统
US20240267596A1 (en) Method for generating live-streaming data, storage medium, and electronic device thereof
CN106780754A (zh) 一种混合现实方法及系统
WO2022023142A1 (en) Virtual window
CN111782035A (zh) 一种基于增强现实技术的远程作业指导方法及系统
Wang et al. Research on the Realization Method of Augmented Reality based on Unity3D.
WO2024152649A1 (zh) 一种基于光学感知的波浪场重构方法
CN116612256B (zh) 一种基于NeRF的实时远程三维实景模型浏览方法
CN112862973A (zh) 一种基于故障现场的实时远程培训方法及系统
CN111679743A (zh) 一种姿态交互裸眼三维混合虚拟现实系统的实现方法
CN109389538A (zh) 一种基于ar技术的智慧校园教育装备管理系统
CN115686202A (zh) 跨Unity/Optix平台的三维模型交互渲染方法
CN115908755A (zh) 一种ar投影方法、系统及ar投影仪
CN114758381A (zh) 一种基于图像识别的虚拟数字人视线控制方法
Daniilidis et al. Real-time 3d-teleimmersion
Su et al. Rgb-d camera network calibration and streaming for 3d telepresence in large environment
CN103729060B (zh) 多环境虚拟投影互动系统
CN113763536A (zh) 一种基于rgb图像的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination