CN108986232B

CN108986232B - 一种在vr显示设备中呈现ar环境画面的方法

Info

Publication number: CN108986232B
Application number: CN201810844317.1A
Authority: CN
Inventors: 吴锦坚
Original assignee: Jiangsu Hongxu Desheng Technology Development Group Co ltd
Current assignee: Jiangsu Hongxu Desheng Technology Development Group Co ltd
Priority date: 2018-07-27
Filing date: 2018-07-27
Publication date: 2023-11-10
Anticipated expiration: 2038-07-27
Also published as: CN108986232A

Abstract

本发明属于虚拟显示与增强显示开发技术领域，公开了一种在VR显示设备中呈现AR环境画面的方法。本发明首先根据载入指令载入预存储的虚拟物体模型；接着根据场景构建指令对虚拟物体模型进行构建操作，并根据构建完成后的虚拟场景生成初始工程文件；接着将初始工程文件适配为AR工程文件，并根据外部摄影机回传的实体物体影像文件设置左右分屏成像；然后将分屏成像的实体物体影像与AR工程文件结合，并进行校正处理及渲染处理，然后生成最终图像；最终将最终图像及AR工程文件封装打包并输出即可。本发明令AR环境所生成的画面适配VR显示设备，并达到正确、舒适的画面效果，由此能够将AR内容移植到VR显示设备中，实用性更高，提高了用户体验度。

Description

一种在VR显示设备中呈现AR环境画面的方法

技术领域

本发明属于虚拟显示与增强显示开发技术领域，具体涉及一种在VR显示设备中呈现AR环境画面的方法。

背景技术

VR是一种用于实现虚拟世界的计算机仿真系统，侧重的是使用户完全沉浸到虚拟中环境中；AR是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，侧重的是现实世界与虚拟事物之间的交互。

目前，VR和AR两者在各自的生态系统里独立发展，是两种不同的虚拟技术，尚未有将两者结合，让现实世界在VR设备中呈现，并实现AR技术中虚拟事物与现实环境的交互；同时，当前VR技术并不具备捕捉现实世界以及使虚拟事物与现实世界交互的技术能力。

综上所述，现有技术缺少成熟的将VR沉浸式虚拟世界体验、AR虚拟事物及现实世界的交互进行紧密结合的技术方案。

发明内容

为了解决现有技术存在的上述问题，本发明目的在于提供一种能够将AR内容移植到VR显示设备中的在VR显示设备中呈现AR环境画面的方法。

本发明所采用的技术方案为：

一种在VR显示设备中呈现AR环境画面的方法，包括以下步骤：

S1.接收来自人机界面的载入指令，根据载入指令载入预存储的虚拟物体模型；

S2.接收来自人机界面的场景构建指令，根据场景构建指令对虚拟物体模型进行构建操作，并根据构建完成后的虚拟场景生成初始工程文件；

S3.将初始工程文件适配为AR工程文件，并根据外部摄影机回传的实体物体影像文件设置左右分屏成像；

S4.将分屏成像的实体物体影像与AR工程文件结合，并进行校正处理及渲染处理，然后生成最终图像；

S5.将最终图像及AR工程文件封装打包并输出。

作为优选，所述的步骤S1-S5均在Unity3D游戏引擎中完成。

作为优选，所述的步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括灯光、贴图及材质。

作为优选，所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

作为优选，所述的步骤S3中，设置左右分屏成像的具体步骤如下：

S31.接收来自人机界面的成像指令，根据成像指令在同一取景位置建立2个VR摄影机；

S32.将2个VR摄影机设置为同窗口不重叠运行；

S33.接收来自人机界面的镜头校正指令，根据镜头校正指令将外部摄影机回传的实体物体影像校正为适配VR显示设备的画面。

作为优选，所述的步骤S32中，2个VR摄影机分别为左摄像机及右摄像机；将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下：

S321.接收来自人机界面的属性设置指令，根据属性设置指令将左摄像机及右摄像机的目标显示属性均设置为1；

S322.接收来自人机界面的占比设置指令，根据占比设置指令将左摄像机的位置设置为（0,0）、范围设置为（0.5,1），并将右摄像机的位置设置为（0.5,0）、范围设置为（0.5,1）。

作为优选，所述的步骤S4中，进行校正处理及渲染处理时，具体步骤如下：

S41.对适配VR显示设备的画面进行比例缩放操作及校正操作，并输出将正确画面及对应参数；

S42.对正确画面进行渲染操作，并输出最终图像。

作为优选，所述的步骤S42中，通过着色器进行渲染操作。

作为优选，所述的步骤S5中，将最终图像及AR工程文件封装打包后，输出至人机界面及VR显示设备。

本发明的有益效果为：

通过各种操作及技术手段令AR环境所生成的画面适配VR显示设备，并达到正确、舒适的画面效果，由此能够将AR内容移植到VR显示设备中，避免了不具备捕捉现实世界以及使虚拟事物与现实世界交互造成的不便，实用性更高，进一步提高了用户体验度，适于推广使用。

附图说明

图1是实施例的流程框图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

在进行具体实施例陈述之前，需要解释一些专用名词：

Unity3D：Unity是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。

VR：全称Virtual Reality，中文为虚拟现实，是一种可以创建和体验虚拟世界的计算机仿真系统，其利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景及一种实体行为的系统仿真，使用户沉浸到上述模拟环境中。

AR：全称Augmented Reality，中文为增强现实，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频及3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

实施例：

如图1所示，本实施例提供一种在VR显示设备中呈现AR环境画面的方法，包括以下步骤：

本实施例中，步骤S2中，构建操作用于创建虚拟物体；虚拟物体可以但不仅限于包括灯光、贴图及材质，由此使得场景构建更加真实且更加贴合用户需求。

S3.将初始工程文件适配为AR工程文件，并根据外部摄影机回传的实体物体影像文件设置左右分屏成像；设置左右分屏成像是为了更好地模拟人类左右眼的真实视觉。

本实施例中，步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；AR技术框架为ARKit框架和/或ARcore框架。

本实施例中，步骤S3中，设置左右分屏成像的具体步骤如下：

S32.将2个VR摄影机设置为同窗口不重叠运行；

本实施例中，步骤S32中，2个VR摄影机分别为左摄像机及右摄像机；将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下：

S321.接收来自人机界面的属性设置指令，根据属性设置指令将左摄像机及右摄像机的目标显示属性均设置为1；如在Unity3D中，设置左摄像机及右摄像机的Camera组件的目标显示属性（Target Displayer）相同原因是为了让左摄像机的画面及右摄像机的画面在同一个游戏运行窗口呈现。

S322.接收来自人机界面的占比设置指令，根据占比设置指令将左摄像机的位置设置为（0,0）、范围设置为（0.5,1），并将右摄像机的位置设置为（0.5,0）、范围设置为（0.5,1），其中，位置即为（x,y）,范围即为（宽度,高度），由此避免两个窗口相互重叠或遮挡，故调整当前窗口的显示位置和当前窗口的宽度W和高度H。

S4.将分屏成像的实体物体影像与AR工程文件结合，并进行校正处理及渲染处理，然后生成最终图像；经过步骤S3处理的画面输出后会出现严重变形，故需要步骤S4进一步进行调整。

本实施例中，步骤S4中，进行校正处理及渲染处理时，具体步骤如下：

S42.对正确画面进行渲染操作，并输出最终图像；其中，当前计算机的CPU进行比例缩放操作及校正操作，当前计算机的GPU通过着色器进行渲染操作。

S5.将最终图像及AR工程文件封装打包并输出。

本实施例中，步骤S5中，将最终图像及AR工程文件封装打包后，输出至人机界面及VR显示设备。

本实施例中，步骤S1-S5均在Unity3D游戏引擎中完成。

本实施例中，步骤S41中进行比例缩放操作及校正操作时，其采用的程序代码可以但不仅限于如下：

using System;

using UnityEngine;

namespace UnityStandardAssets.ImageEffects

{

[ExecuteInEditMode]

[RequireComponent (typeof(Camera))]

[AddComponentMenu ("Image Effects/Displacement/Fisheye")]

public class Fisheye : PostEffectsBase

{

[Range(0.0f, 1.5f)]

public float strengthX = 0.05f;

[Range(0.0f, 1.5f)]

public float strengthY = 0.05f;

public Shader fishEyeShader = null;

private Material fisheyeMaterial = null;

public override bool CheckResources ()

{

CheckSupport (false);

fisheyeMaterial =

CheckShaderAndCreateMaterial(fishEyeShader,fisheyeMaterial);

if (!isSupported)

ReportAutoDisable ();

return isSupported;

}

void OnRenderImage (RenderTexture source, RenderTexture

destination)

{

if (CheckResources()==false)

{

Graphics.Blit (source, destination);

return;

}

float oneOverBaseSize = 80.0f / 512.0f;

float ar = (source.width * 1.0f) / (source.height * 1.0f);

fisheyeMaterial.SetVector ("intensity", new Vector4 (strengthX

* ar * oneOverBaseSize, strengthY * oneOverBaseSize, strengthX * ar *

oneOverBaseSize, strengthY * oneOverBaseSize));

Graphics.Blit (source, destination, fisheyeMaterial);

}

本实施例中，步骤S42中进行渲染操作时，其采用的程序代码可以但不仅限于如下：

Shader "Hidden/FisheyeShader" {

Properties {

_MainTex ("Base (RGB)", 2D) = "" {}

}

CGINCLUDE

#include "UnityCG.cginc"

struct v2f {

float4 pos : SV_POSITION;

float2 uv : TEXCOORD0;

} ;

sampler2D _MainTex;

half4 _MainTex_ST;

float2 intensity;

v2f vert( appdata_img v )

{

v2f o;

o.pos = UnityObjectToClipPos(v.vertex);

o.uv = v.texcoord.xy;

return o;

}

half4 frag(v2f i) : SV_Target

{

half2 coords = i.uv;

coords = (coords - 0.5);

half2 realCoordOffs;

realCoordOffs.x = (1-coords.y * coords.y) * intensity.y *

(coords.x);

realCoordOffs.y = (1-coords.x * coords.x) * intensity.x *

(coords.y);

half4 color = tex2D (_MainTex,

UnityStereoScreenSpaceUVAdjust(i.uv - realCoordOffs,

_MainTex_ST));

return color;

}

ENDCG

Subshader {

Pass {

ZTest Always Cull Off ZWrite Off

CGPROGRAM

#pragma vertex vert

#pragma fragment frag

ENDCG

}

Fallback off

}

本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims

1.一种在VR显示设备中呈现AR环境画面的方法，其特征在于：包括以下步骤：

S5.将最终图像及AR工程文件封装打包并输出；

所述的步骤S1-S5均在Unity3D游戏引擎中完成；

所述的步骤S3中，设置左右分屏成像的具体步骤如下：

S32.将2个VR摄影机设置为同窗口不重叠运行；

S33.接收来自人机界面的镜头校正指令，根据镜头校正指令将外部摄影机回传的实体物体影像校正为适配VR显示设备的画面；

所述的步骤S32中，2个VR摄影机分别为左摄像机及右摄像机；将左摄像机及右摄像机设置为同窗口不重叠运行的具体步骤如下：

2.根据权利要求1所述的在VR显示设备中呈现AR环境画面的方法，其特征在于：所述的步骤S2中，构建操作用于创建虚拟物体；所述的虚拟物体包括灯光、贴图及材质。

3.根据权利要求1所述的在VR显示设备中呈现AR环境画面的方法，其特征在于：所述的步骤S3中，将初始工程文件适配为AR工程文件之前，首先载入AR技术框架；所述的AR技术框架为ARKit框架和/或ARcore框架。

4.根据权利要求1所述的在VR显示设备中呈现AR环境画面的方法，其特征在于：所述的步骤S4中，进行校正处理及渲染处理时，具体步骤如下：

S42.对正确画面进行渲染操作，并输出最终图像。

5.根据权利要求4所述的在VR显示设备中呈现AR环境画面的方法，其特征在于：所述的步骤S42中，通过着色器进行渲染操作。

6.根据权利要求1所述的在VR显示设备中呈现AR环境画面的方法，其特征在于：所述的步骤S5中，将最终图像及AR工程文件封装打包后，输出至人机界面及VR显示设备。