CN108986232A - 一种在vr显示设备中呈现ar环境画面的方法 - Google Patents

一种在vr显示设备中呈现ar环境画面的方法 Download PDF

Info

Publication number
CN108986232A
CN108986232A CN201810844317.1A CN201810844317A CN108986232A CN 108986232 A CN108986232 A CN 108986232A CN 201810844317 A CN201810844317 A CN 201810844317A CN 108986232 A CN108986232 A CN 108986232A
Authority
CN
China
Prior art keywords
equipment
project file
show
presented
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810844317.1A
Other languages
English (en)
Other versions
CN108986232B (zh
Inventor
吴锦坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Hongxu Desheng Technology Development Group Co ltd
Original Assignee
Guangzhou Han Zhi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Han Zhi Network Technology Co Ltd filed Critical Guangzhou Han Zhi Network Technology Co Ltd
Priority to CN201810844317.1A priority Critical patent/CN108986232B/zh
Publication of CN108986232A publication Critical patent/CN108986232A/zh
Application granted granted Critical
Publication of CN108986232B publication Critical patent/CN108986232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Abstract

本发明属于虚拟显示与增强显示开发技术领域,公开了一种在VR显示设备中呈现AR环境画面的方法。本发明首先根据载入指令载入预存储的虚拟物体模型;接着根据场景构建指令对虚拟物体模型进行构建操作,并根据构建完成后的虚拟场景生成初始工程文件;接着将初始工程文件适配为AR工程文件,并根据外部摄影机回传的实体物体影像文件设置左右分屏成像;然后将分屏成像的实体物体影像与AR工程文件结合,并进行校正处理及渲染处理,然后生成最终图像;最终将最终图像及AR工程文件封装打包并输出即可。本发明令AR环境所生成的画面适配VR显示设备,并达到正确、舒适的画面效果,由此能够将AR内容移植到VR显示设备中,实用性更高,提高了用户体验度。

Description

一种在VR显示设备中呈现AR环境画面的方法
技术领域
本发明属于虚拟显示与增强显示开发技术领域,具体涉及一种在VR显示设备中呈现AR环境画面的方法。
背景技术
VR是一种用于实现虚拟世界的计算机仿真系统,侧重的是使用户完全沉浸到虚拟中环境中;AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,侧重的是现实世界与虚拟事物之间的交互。
目前,VR和AR两者在各自的生态系统里独立发展,是两种不同的虚拟技术,尚未有将两者结合,让现实世界在VR设备中呈现,并实现AR技术中虚拟事物与现实环境的交互;同时,当前VR技术并不具备捕捉现实世界以及使虚拟事物与现实世界交互的技术能力。
综上所述,现有技术缺少成熟的将VR沉浸式虚拟世界体验、AR虚拟事物及现实世界的交互进行紧密结合的技术方案。
发明内容
为了解决现有技术存在的上述问题,本发明目的在于提供一种能够将AR内容移植到VR显示设备中的在VR显示设备中呈现AR环境画面的方法。
本发明所采用的技术方案为:
一种在VR显示设备中呈现AR环境画面的方法,包括以下步骤:
S1.接收来自人机界面的载入指令,根据载入指令载入预存储的虚拟物体模型;
S2.接收来自人机界面的场景构建指令,根据场景构建指令对虚拟物体模型进行构建操作,并根据构建完成后的虚拟场景生成初始工程文件;
S3.将初始工程文件适配为AR工程文件,并根据外部摄影机回传的实体物体影像文件设置左右分屏成像;
S4.将分屏成像的实体物体影像与AR工程文件结合,并进行校正处理及渲染处理,然后生成最终图像;
S5.将最终图像及AR工程文件封装打包并输出。
作为优选,所述的步骤S1-S5均在Unity3D游戏引擎中完成。
作为优选,所述的步骤S2中,构建操作用于创建虚拟物体;所述的虚拟物体包括灯光、贴图及材质。
作为优选,所述的步骤S3中,将初始工程文件适配为AR工程文件之前,首先载入AR技术框架;所述的AR技术框架为ARKit框架和/或ARcore框架。
作为优选,所述的步骤S3中,设置左右分屏成像的具体步骤如下:
S31.接收来自人机界面的成像指令,根据成像指令在同一取景位置建立2个VR摄影机;
S32.将2个VR摄影机设置为同窗口不重叠运行;
S33.接收来自人机界面的镜头校正指令,根据镜头校正指令将外部摄影机回传的实体物体影像校正为适配VR显示设备的画面。
作为优选,所述的步骤S32中,2个VR摄影机分别为左摄像机及右摄像机;将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下:
S321.接收来自人机界面的属性设置指令,根据属性设置指令将左摄像机及右摄像机的目标显示属性均设置为1;
S322.接收来自人机界面的占比设置指令,根据占比设置指令将左摄像机的位置设置为(0,0)、范围设置为(0.5,1),并将左摄像机的位置设置为(0.5,0)、范围设置为(0.5,1)。
作为优选,所述的步骤S4中,进行校正处理及渲染处理时,具体步骤如下:
S41.对适配VR显示设备的画面进行比例缩放操作及校正操作,并输出将正确画面及对应参数;
S42.对正确画面进行渲染操作,并输出最终图像。
作为优选,所述的步骤S42中,通过着色器进行渲染操作。
作为优选,所述的步骤S5中,将最终图像及AR工程文件封装打包后,输出至人机界面及VR显示设备。
本发明的有益效果为:
通过各种操作及技术手段令AR环境所生成的画面适配VR显示设备,并达到正确、舒适的画面效果,由此能够将AR内容移植到VR显示设备中,避免了不具备捕捉现实世界以及使虚拟事物与现实世界交互造成的不便,实用性更高,进一步提高了用户体验度,适于推广使用。
附图说明
图1是实施例的流程框图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
在进行具体实施例陈述之前,需要解释一些专用名词:
Unity3D:Unity是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎。
VR:全称Virtual Reality,中文为虚拟现实,是一种可以创建和体验虚拟世界的计算机仿真系统,其利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景及一种实体行为的系统仿真,使用户沉浸到上述模拟环境中。
AR:全称Augmented Reality,中文为增强现实,是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频及3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
实施例:
如图1所示,本实施例提供一种在VR显示设备中呈现AR环境画面的方法,包括以下步骤:
S1.接收来自人机界面的载入指令,根据载入指令载入预存储的虚拟物体模型;
S2.接收来自人机界面的场景构建指令,根据场景构建指令对虚拟物体模型进行构建操作,并根据构建完成后的虚拟场景生成初始工程文件;
本实施例中,步骤S2中,构建操作用于创建虚拟物体;虚拟物体可以但不仅限于包括灯光、贴图及材质,由此使得场景构建更加真实且更加贴合用户需求。
S3.将初始工程文件适配为AR工程文件,并根据外部摄影机回传的实体物体影像文件设置左右分屏成像;设置左右分屏成像是为了更好地模拟人类左右眼的真实视觉。
本实施例中,步骤S3中,将初始工程文件适配为AR工程文件之前,首先载入AR技术框架;AR技术框架为ARKit框架和/或ARcore框架。
本实施例中,步骤S3中,设置左右分屏成像的具体步骤如下:
S31.接收来自人机界面的成像指令,根据成像指令在同一取景位置建立2个VR摄影机;
S32.将2个VR摄影机设置为同窗口不重叠运行;
S33.接收来自人机界面的镜头校正指令,根据镜头校正指令将外部摄影机回传的实体物体影像校正为适配VR显示设备的画面。
本实施例中,步骤S32中,2个VR摄影机分别为左摄像机及右摄像机;将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下:
S321.接收来自人机界面的属性设置指令,根据属性设置指令将左摄像机及右摄像机的目标显示属性均设置为1;如在Unity3D中,设置左摄像机及右摄像机的Camera组件的目标显示属性(Target Displayer)相同原因是为了让左摄像机的画面及右摄像机的画面在同一个游戏运行窗口呈现。
S322.接收来自人机界面的占比设置指令,根据占比设置指令将左摄像机的位置设置为(0,0)、范围设置为(0.5,1),并将左摄像机的位置设置为(0.5,0)、范围设置为(0.5,1),其中,位置即为(x,y),范围即为(宽度,高度),由此避免两个窗口相互重叠或遮挡,故调整当前窗口的显示位置和当前窗口的宽度W和高度H。
S4.将分屏成像的实体物体影像与AR工程文件结合,并进行校正处理及渲染处理,然后生成最终图像;经过步骤S3处理的画面输出后会出现严重变形,故需要步骤S4进一步进行调整。
本实施例中,步骤S4中,进行校正处理及渲染处理时,具体步骤如下:
S41.对适配VR显示设备的画面进行比例缩放操作及校正操作,并输出将正确画面及对应参数;
S42.对正确画面进行渲染操作,并输出最终图像;其中,当前计算机的CPU进行比例缩放操作及校正操作,当前计算机的GPU通过着色器进行渲染操作。
S5.将最终图像及AR工程文件封装打包并输出。
本实施例中,步骤S5中,将最终图像及AR工程文件封装打包后,输出至人机界面及VR显示设备。
本实施例中,步骤S1-S5均在Unity3D游戏引擎中完成。
本实施例中,步骤S41中进行比例缩放操作及校正操作时,其采用的程序代码可以但不仅限于如下:
本实施例中,步骤S42中进行渲染操作时,其采用的程序代码可以但不仅限于如下:
本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。

Claims (9)

1.一种在VR显示设备中呈现AR环境画面的方法,其特征在于:包括以下步骤:
S1.接收来自人机界面的载入指令,根据载入指令载入预存储的虚拟物体模型;
S2.接收来自人机界面的场景构建指令,根据场景构建指令对虚拟物体模型进行构建操作,并根据构建完成后的虚拟场景生成初始工程文件;
S3.将初始工程文件适配为AR工程文件,并根据外部摄影机回传的实体物体影像文件设置左右分屏成像;
S4.将分屏成像的实体物体影像与AR工程文件结合,并进行校正处理及渲染处理,然后生成最终图像;
S5.将最终图像及AR工程文件封装打包并输出。
2.根据权利要求1所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S1-S5均在Unity3D游戏引擎中完成。
3.根据权利要求1或2所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S2中,构建操作用于创建虚拟物体;所述的虚拟物体包括灯光、贴图及材质。
4.根据权利要求1或2所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S3中,将初始工程文件适配为AR工程文件之前,首先载入AR技术框架;所述的AR技术框架为ARKit框架和/或ARcore框架。
5.根据权利要求2所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S3中,设置左右分屏成像的具体步骤如下:
S31.接收来自人机界面的成像指令,根据成像指令在同一取景位置建立2个VR摄影机;
S32.将2个VR摄影机设置为同窗口不重叠运行;
S33.接收来自人机界面的镜头校正指令,根据镜头校正指令将外部摄影机回传的实体物体影像校正为适配VR显示设备的画面。
6.根据权利要求5所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S32中,2个VR摄影机分别为左摄像机及右摄像机;将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下:
S321.接收来自人机界面的属性设置指令,根据属性设置指令将左摄像机及右摄像机的目标显示属性均设置为1;
S322.接收来自人机界面的占比设置指令,根据占比设置指令将左摄像机的位置设置为(0,0)、范围设置为(0.5,1),并将左摄像机的位置设置为(0.5,0)、范围设置为(0.5,1)。
7.根据权利要求1或2所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S4中,进行校正处理及渲染处理时,具体步骤如下:
S41.对适配VR显示设备的画面进行比例缩放操作及校正操作,并输出将正确画面及对应参数;
S42.对正确画面进行渲染操作,并输出最终图像。
8.根据权利要求7所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S42中,通过着色器进行渲染操作。
9.根据权利要求1或2所述的在VR显示设备中呈现AR环境画面的方法,其特征在于:所述的步骤S5中,将最终图像及AR工程文件封装打包后,输出至人机界面及VR显示设备。
CN201810844317.1A 2018-07-27 2018-07-27 一种在vr显示设备中呈现ar环境画面的方法 Active CN108986232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810844317.1A CN108986232B (zh) 2018-07-27 2018-07-27 一种在vr显示设备中呈现ar环境画面的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810844317.1A CN108986232B (zh) 2018-07-27 2018-07-27 一种在vr显示设备中呈现ar环境画面的方法

Publications (2)

Publication Number Publication Date
CN108986232A true CN108986232A (zh) 2018-12-11
CN108986232B CN108986232B (zh) 2023-11-10

Family

ID=64551982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810844317.1A Active CN108986232B (zh) 2018-07-27 2018-07-27 一种在vr显示设备中呈现ar环境画面的方法

Country Status (1)

Country Link
CN (1) CN108986232B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536286A (zh) * 2018-03-22 2018-09-14 上海皮格猫信息科技有限公司 一种融合真实物体的vr工作辅助系统、方法及vr设备
CN109727318A (zh) * 2019-01-10 2019-05-07 广州视革科技有限公司 在ar设备中实现传送门效果并呈现vr全景视频画面的方法
CN109963137A (zh) * 2019-04-01 2019-07-02 赵福涛 一种全新的交互系统及方法
CN116483358A (zh) * 2023-04-13 2023-07-25 江西骏学数字科技有限公司 一种桌面式vr的伪3d用户界面实现方法及系统
CN117075739A (zh) * 2023-10-13 2023-11-17 深圳优立全息科技有限公司 基于全息沙盘的全息展示方法及相关装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
US20160048203A1 (en) * 2014-08-18 2016-02-18 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106528087A (zh) * 2016-10-12 2017-03-22 大连文森特软件科技有限公司 基于模块化编辑的vr游戏制作与体验系统
CN106934693A (zh) * 2017-03-06 2017-07-07 浙江传媒学院 基于ar产品模型在vr场景中显示的瓷砖选型方法和系统
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
US20180130260A1 (en) * 2016-11-08 2018-05-10 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的系统
US20160048203A1 (en) * 2014-08-18 2016-02-18 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
KR20180032138A (ko) * 2016-09-21 2018-03-29 주식회사 지오제니컨설턴트 Vr과 증강현실을 이용한 광산 측량 및 현장 감시 방법
CN106528087A (zh) * 2016-10-12 2017-03-22 大连文森特软件科技有限公司 基于模块化编辑的vr游戏制作与体验系统
US20180130260A1 (en) * 2016-11-08 2018-05-10 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
US20180190022A1 (en) * 2016-12-30 2018-07-05 Nadav Zamir Dynamic depth-based content creation in virtual reality environments
CN106934693A (zh) * 2017-03-06 2017-07-07 浙江传媒学院 基于ar产品模型在vr场景中显示的瓷砖选型方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZENTRUM: "ARTab-usingVirtualandAugmentedRealityMethodsforanimprovedSituationAwarenessforTelemaintenance", 《ELSEVIER》, pages 204 - 209 *
戴琼海: "大力发展三维显示等关键技术 助力虚拟/增强现实迈进新时代", 《科技导报》 *
戴琼海: "大力发展三维显示等关键技术 助力虚拟/增强现实迈进新时代", 《科技导报》, no. 09, 13 May 2018 (2018-05-13), pages 3 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536286A (zh) * 2018-03-22 2018-09-14 上海皮格猫信息科技有限公司 一种融合真实物体的vr工作辅助系统、方法及vr设备
CN109727318A (zh) * 2019-01-10 2019-05-07 广州视革科技有限公司 在ar设备中实现传送门效果并呈现vr全景视频画面的方法
CN109963137A (zh) * 2019-04-01 2019-07-02 赵福涛 一种全新的交互系统及方法
CN116483358A (zh) * 2023-04-13 2023-07-25 江西骏学数字科技有限公司 一种桌面式vr的伪3d用户界面实现方法及系统
CN116483358B (zh) * 2023-04-13 2024-04-12 江西骏学数字科技有限公司 一种桌面式vr的伪3d用户界面实现方法及系统
CN117075739A (zh) * 2023-10-13 2023-11-17 深圳优立全息科技有限公司 基于全息沙盘的全息展示方法及相关装置
CN117075739B (zh) * 2023-10-13 2024-01-23 深圳优立全息科技有限公司 基于全息沙盘的全息展示方法及相关装置

Also Published As

Publication number Publication date
CN108986232B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN108986232A (zh) 一种在vr显示设备中呈现ar环境画面的方法
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US10403036B2 (en) Rendering glasses shadows
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
US7573475B2 (en) 2D to 3D image conversion
CN111161422A (zh) 一种用于增强虚拟场景实现的模型展示方法
CN104735435B (zh) 影像处理方法及电子装置
US20230186550A1 (en) Optimizing generation of a virtual scene for use in a virtual display environment
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
CN108090880A (zh) 一种图像的反畸变处理方法以及装置
CN102819855B (zh) 二维图像的生成方法及装置
CN110568923A (zh) 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN108762508A (zh) 一种基于vr体验舱的人体与虚拟人合成系统及方法
CN112489225A (zh) 视频与三维场景融合的方法、装置、电子设备和存储介质
CN114612641A (zh) 素材的迁移方法和装置、数据处理方法
CN105808220B (zh) 应用程序显示三维立体效果的方法及装置
JP2023099443A (ja) Ar処理方法及び装置
US11308586B2 (en) Method for applying a vignette effect to rendered images
CN110097644B (zh) 一种基于混合现实的表情迁移方法、装置、系统和处理器
CN111243099B (zh) 一种处理图像的方法和装置以及在ar设备中显示图像的方法和装置
CN103646427A (zh) 一种采集图像数据的方法及装置
KR102561903B1 (ko) 클라우드 서버를 이용한 ai 기반의 xr 콘텐츠 서비스 방법
CN117523148B (zh) 虚拟ar的互动方法、系统、电子设备及存储介质
WO2022022548A1 (zh) 自由视点视频重建及播放处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231018

Address after: 212300 Guangming West Road, Situ Town, Danyang City, Zhenjiang City, Jiangsu Province

Applicant after: Jiangsu Hongxu Desheng Technology Development Group Co.,Ltd.

Address before: Room 809, No. 8 Pazhou Avenue East, Haizhu District, Guangzhou City, Guangdong Province, 510000 (for office use only)

Applicant before: GUANGZHOU HANZHI NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant