CN107067456B - 一种基于深度图优化的虚拟现实呈现方法 - Google Patents

一种基于深度图优化的虚拟现实呈现方法 Download PDF

Info

Publication number
CN107067456B
CN107067456B CN201710343979.6A CN201710343979A CN107067456B CN 107067456 B CN107067456 B CN 107067456B CN 201710343979 A CN201710343979 A CN 201710343979A CN 107067456 B CN107067456 B CN 107067456B
Authority
CN
China
Prior art keywords
depth
virtual reality
depth map
dimensional display
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710343979.6A
Other languages
English (en)
Other versions
CN107067456A (zh
Inventor
刘浩
田朝勇
曾超
贾煜
沈季
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201710343979.6A priority Critical patent/CN107067456B/zh
Publication of CN107067456A publication Critical patent/CN107067456A/zh
Application granted granted Critical
Publication of CN107067456B publication Critical patent/CN107067456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

本发明涉及虚拟现实技术领域，其公开了一种基于深度图优化的虚拟现实呈现方法，解决观众在观赏虚拟现实场景以及交互虚拟现实游戏时近距离物体聚焦不一致而造成重影，模糊的问题，远距离的物体出现立体效果不佳，视觉效果弱的问题。本发明首先在三维引擎中创建三维展示场景，并设置五个层次的观测点，然后在场景中心创建虚拟现实模块，同时创建新的摄像机获取观测点的深度图信息，再根据深度图信息计算出深度值信息，然后在新摄像机上添加射线瞄准模块记录深度值信息，计算出深度位置公式，最后通过深度位置公式来改变虚拟现实模块中摄像机聚焦点的位置以完成基于深度图优化的虚拟现实呈现方法。

Description

一种基于深度图优化的虚拟现实呈现方法
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于深度图优化的虚拟现实呈现方法。
背景技术
虚拟现实(Virtual Reality)技术是一种综合应用各种技术制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知系统行为的高级的人机交互技术。近年，随着虚拟现实技术的飞速发展，虚拟现实技术与行业应用的结合，为人们带来了感官的无限延伸，营造了一种全新的沉浸式体验，目前所涉及的研究应用领域已经包括军事、医学、心理学、教育、科研、商业、影视、娱乐、制造业、工程训练等。虚拟现实技术已经被公认为是21世纪重要的发展学科以及影响人们生活的重要技术之一。
虚拟现实头戴显示器设备是一种利用仿真技术与计算机图形学人机接口技术，多媒体技术，传感技术，网络技术等多种技术集合的产品，这种设备是现今虚拟现实技术呈现的最主要方式。观众可以使用虚拟现实头戴显示器设备观赏虚拟现实场景以及交互虚拟现实游戏等。在观赏以及交互的过程中，观众可以完全的沉浸入虚拟现实所展示的三维场景中。
然而观众在使用虚拟现实头戴显示器观赏虚拟现实场景以及交互虚拟现实游戏时，虽然可以完全沉浸入虚拟现实的世界中，但是由于视差固定，虚拟现实场景中近距离的物体聚焦不一致，进而造成重影，模糊的问题。而远距离物体出现立体效果不佳，视觉效果弱的问题。
发明内容
本发明所要解决的技术问题是：提供一种基于深度图优化的虚拟现实呈现方法，解决观众在观赏虚拟现实场景以及交互虚拟现实游戏时近距离物体聚焦不一致而造成重影，模糊的问题，远距离的物体出现立体效果不佳，视觉效果弱的问题。
本发明解决其技术问题所采用的技术方案是：
一种基于深度图优化的虚拟现实呈现方法，包括以下步骤：
a.在三维引擎中创建三维展示场景，并设置多个层次的观测点；
b.在三维展示场景中心创建虚拟现实模块以实现三维展示场景的虚拟现实呈现；
c.在三维展示场景中心创建新的摄像机获取三维展示场景中各个层次观测点的深度图信息；
d.根据不同层次观测点的深度图信息计算出三维展示场景中对应层次观测点的深度值信息；
e.三维展示场景中新创建的摄像机上添加射线瞄准组件，记录各个层次观测点的深度值信息；
f.在最佳虚拟现实呈现效果的条件下，根据不同层次观测点的不同深度值信息与虚拟现实模块中摄像机聚焦点的位置信息关系计算出深度位置公式；
g.通过深度位置公式，利用三维场景中不同空间位置的不同深度值信息来实时改变虚拟现实模块中摄像机聚焦点的位置以达到虚拟现实的最佳呈现效果。
作为进一步优化，所述三维引擎选用Unity3D，步骤a中，设置五个层次的观测点，分别为近处，较近处，适中处，较远处，远处。
设置五个层次观测点的作用在于通过较多数量的观测点来提高深度位置公式的准确性和适用性。
作为进一步优化，步骤b中所述虚拟现实模块包含两个虚拟相机以及一个零平面，在三维引擎中创建两个有视差的虚拟相机用于模拟人的双眼，而零平面的中心点为虚拟相机的聚焦点即模拟人的双眼聚焦点。
人眼在观看自然物体时，两眼是从不同角度观看物体，从而在左右眼视网膜上形成稍有差异的像，然后再经过大脑分析融合形成立体视觉。虚拟现实的显示过程就是模拟人眼的立体视觉过程。因而，本发明所创建的虚拟现实模块包含两个虚拟相机以及一个零平面，在三维引擎中创建两个有视差的虚拟相机用于模拟人的双眼，而零平面的中心点为虚拟相机的聚焦点即模拟人的双眼聚焦点。通过虚拟模块的添加有效的实现三维展示场景的虚拟现实呈现。
作为进一步优化，步骤c中，在三维展示场景中心创建新的摄像机获取三维展示场景中各个层次观测点的深度图信息，具体包含：在三维展示场景中心创建新的摄像机，并将深度图代码以及深度图渲染Shader赋予新的摄像机以便于获取三维展示场景中各个层次观测点的深度图信息。
创建新摄像机的作用在于不影响虚拟现实模块的同时获取深度图信息以便于后续步骤中深度值信息的获取。
作为进一步优化，所述深度图代码用于设定深度值并调用材质球Material获取深度图信息，深度图渲染Shader用于渲染深度图，作用于材质球Material。
作为进一步优化，步骤d中，所述根据不同层次观测点的深度图信息计算出三维展示场景中对应层次观测点的深度值信息，具体包含：根据深度值计算公式，将获取的深度图信息转化为深度值信息。这里的深度值我们设定为极远处的深度值为0，极近处的深度值为255。根据不同层次的深度图信息获取0～255线性变化的深度值。
作为进一步优化，步骤e中，在新创建的摄像机上添加的射线瞄准组件，不仅可以利用射线瞄准组件来交互物体模型，而且还可以通过射线检测记录各个层次观测点的深度值信息。
作为进一步优化，步骤f中，在保证最佳的虚拟现实效果呈现的前提条件之下，不同层次深度值信息与聚焦点的位置信息关系为线性变化，因此，可通过各个层次观测点的深度值信息和虚拟现实模块中摄像机聚焦点的位置信息计算出深度位置公式。
作为进一步优化，步骤g中，所述通过深度位置公式，利用三维场景中不同空间位置的不同深度值信息来实时改变虚拟现实模块中摄像机聚焦点的位置，具体包括：通过深度位置公式，将三维场景中的空间位置转化为深度值，再通过深度值对虚拟模块中摄像机聚焦点的位置进行调节。
作为进一步优化，所述通过深度值对虚拟模块中摄像机聚焦点的位置进行调节具体包括：当深度值信息从0逐渐变化为255时，聚焦点位置从三维展示场景的远处线性移动到近处，当深度值信息从255逐渐变化为0时，聚焦点位置从三维展示场景的近处线性移动到远处。
本发明的有益效果是：
有效解决观众在观赏虚拟现实场景以及交互虚拟现实游戏时近距离物体聚焦不一致而造成重影，模糊的问题，远距离的物体出现立体效果不佳，视觉效果弱的问题。
附图说明
图1是本发明实施例中的基于深度图优化的虚拟现实呈现方法流程图。
具体实施方式
本发明旨在提供一种基于深度图优化的虚拟现实呈现方法，解决观众在观赏虚拟现实场景以及交互虚拟现实游戏时近距离物体聚焦不一致而造成重影，模糊的问题，远距离的物体出现立体效果不佳，视觉效果弱的问题。
下面结合附图及实施例对本发明的方案作进一步的描述：
如图1所示，本实施例中的基于深度图优化的虚拟现实呈现方法包括以下步骤：
步骤101：在三维引擎中创建三维展示场景，并设置五个层次的观测点。
三维引擎选择为Unity3D。Unity3D是由UnityTechnologies开发的一个让用户轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型开发工具，是一个全面整合的专业引擎。Unity3D可发布成果至Windows、iPhone、indowsphone8和Android平台。也可以利用Unitywebplayer插件发布网页成果，支持Windows的网页浏览，其网页播放器也被Macwidgets所支持。也正是由于该平台多功能、人性化的界面，自由丰富的人机交互功能，使其广为使用。三维展示场景中设置五个层次的观测点，分别为近处，较近处，适中处，较远处，远处。设置五个层次观测点的作用在于通过较多数量，较全面覆盖范围的观测点数据来提高深度位置公式的准确性和适用性。
步骤102：在三维展示场景中心创建虚拟现实模块以实现三维展示场景的虚拟现实呈现。人眼在观看自然物体时，两眼是从不同角度观看物体，从而在左右眼视网膜上形成稍有差异的像，然后再经过大脑分析融合形成立体视觉。虚拟现实的显示过程就是模拟人眼的立体视觉过程。所以虚拟现实模块包含两个虚拟相机以及一个零平面，在三维引擎中创建两个有视差的虚拟相机用于模拟人的双眼，而零平面的中心点为虚拟相机的聚焦点即模拟人的双眼聚焦点。具体实现为：分别设置左右两个照相机的Viewport Rect参数，左边照相机的Viewport Rect参数改成(0，0，0.5，1)，右边照相机的Viewport Rect参数改成(0.5，0，0.5，1)，此时将会在屏幕产生两个有视差的相同场景，左右两个场景各占屏幕的一半，在虚拟现实头戴显示器中便能得到正确的3D立体效果显示。通过虚拟模块的添加有效的实现三维展示场景的虚拟现实呈现。
步骤103：在三维展示场景中心创建新的摄像机获取三维展示场景中五个层次观测点的深度图信息。在三维展示场景中心创建新的摄像机，并将深度图代码以及深度图渲染Shader赋予新的摄像机以便于获取三维展示场景中各个层次观测点的深度图信息。深度图代码的作用在于设定深度值并调用材质球Material获取深度图信息，而深度图渲染Shader用于渲染深度图，作用于材质球Material。同时创建新摄像机的作用在于不影响虚拟现实模块的同时获取深度图信息以便于后续步骤中深度值信息的获取。
步骤104：是根据不同层次观测点的深度图信息计算出三维展示场景中对应层次观测点的深度值信息。在103中获取了三维展示场景中五个层次观测点的深度图信息，根据深度值计算公式，将获取的深度图信息转化为深度值信息。这里的深度图信息为黑白图像，三维展示场景的越远处，深度图信息越黑，三维展示场景的越近处，深度图信息越白。所以深度值我们设定为极远处的深度值为0，极近处的深度值为255。根据不同层次的深度图信息获取0～255线性变化的深度值信息。
步骤105：在三维展示场景中新创建的摄像机上添加射线瞄准组件用于交互功能并同时记录五个层次观测点的深度值信息。
在新创建的摄像机上添加射线瞄准组件，不仅可以利用射线瞄准组件来交互物体模型，具体方式为射线检测到某个物体模型即让物体模型响应一个交互动作。而且还可以通过射线检测记录各个层次观测点的深度值信息，具体的方式为从摄像机发出的射线到达各个层次观测点时，传回具体层次观测点的深度值信息。
步骤106：在最佳虚拟现实呈现效果的条件下，根据不同层次观测点的不同深度值信息与虚拟现实模块中摄像机聚焦点的位置信息关系计算出深度位置公式。在保证最佳的虚拟现实效果呈现的前提条件之下，不同层次深度值信息与聚焦点的位置信息关系为线性变化，通过五个层次观测点的深度值信息和虚拟现实模块中摄像机聚焦点的位置信息计算出深度位置公式。
步骤107：通过深度位置公式，利用三维场景中不同空间位置的不同深度值信息来实时改变虚拟现实模块中摄像机聚焦点的位置以达到虚拟现实的最佳呈现效果，从而实现一种基于深度图优化的虚拟现实呈现方法。通过深度位置公式，可以将三维场景中的空间位置转化为深度值，再通过深度值对虚拟模块中摄像机聚焦点的位置进行调节。虚拟现实模块中摄像机聚焦点的位置变化情况为，当深度值信息从0逐渐变化为255时，聚焦点位置从三维展示场景的远处线性移动到近处，当深度值信息从255逐渐变化为0时，聚焦点位置从三维展示场景的近处线性移动到远处。通过聚焦点的位置调节可以使得虚拟现实打到最佳的呈现效果，即完成一种基于深度图优化的虚拟现实呈现方法。

Claims (8)

1.一种基于深度图优化的虚拟现实呈现方法，其特征在于，包括以下步骤：
a.在三维引擎中创建三维展示场景，并设置多个层次的观测点；
b.在三维展示场景中心创建虚拟现实模块以实现三维展示场景的虚拟现实呈现；
c.在三维展示场景中心创建新的摄像机获取三维展示场景中各个层次观测点的深度图信息；
d.根据不同层次观测点的深度图信息计算出三维展示场景中对应层次观测点的深度值信息；
e.三维展示场景中新创建的摄像机上添加射线瞄准组件，记录各个层次观测点的深度值信息；
f.在最佳虚拟现实呈现效果的条件下，根据不同层次观测点的不同深度值信息与虚拟现实模块中摄像机聚焦点的位置信息关系计算出深度位置公式；
g.通过深度位置公式，利用三维场景中不同空间位置的不同深度值信息来实时改变虚拟现实模块中摄像机聚焦点的位置以达到虚拟现实的最佳呈现效果。
2.如权利要求1所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，所述三维引擎选用Unity3D，步骤a中，设置五个层次的观测点，分别为近处，较近处，适中处，较远处，远处。
3.如权利要求1所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，步骤b中所述虚拟现实模块包含两个虚拟相机以及一个零平面，在三维引擎中创建两个有视差的虚拟相机用于模拟人的双眼，而零平面的中心点为虚拟相机的聚焦点即模拟人的双眼聚焦点。
4.如权利要求1所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，步骤c中，在三维展示场景中心创建新的摄像机获取三维展示场景中各个层次观测点的深度图信息，具体包含：在三维展示场景中心创建新的摄像机，并将深度图代码以及深度图渲染Shader赋予新的摄像机以便于获取三维展示场景中各个层次观测点的深度图信息。
5.如权利要求4所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，所述深度图代码用于设定深度值并调用材质球Material获取深度图信息，深度图渲染Shader用于渲染深度图，作用于材质球Material。
6.如权利要求1所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，步骤d中，所述根据不同层次观测点的深度图信息计算出三维展示场景中对应层次观测点的深度值信息，具体包含：根据深度值计算公式，将获取的深度图信息转化为深度值信息，所述深度值设定为极远处的深度值为0，极近处的深度值为255，根据不同层次的深度图信息获取0～255线性变化的深度值。
7.如权利要求6所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，步骤g中，所述通过深度位置公式，利用三维场景中不同空间位置的不同深度值信息来实时改变虚拟现实模块中摄像机聚焦点的位置，具体包括：通过深度位置公式，将三维场景中的空间位置转化为深度值，再通过深度值对虚拟模块中摄像机聚焦点的位置进行调节。
8.如权利要求7所述的一种基于深度图优化的虚拟现实呈现方法，其特征在于，所述通过深度值对虚拟模块中摄像机聚焦点的位置进行调节具体包括：当深度值信息从0逐渐变化为255时，聚焦点位置从三维展示场景的远处线性移动到近处，当深度值信息从255逐渐变化为0时，聚焦点位置从三维展示场景的近处线性移动到远处。
CN201710343979.6A 2017-05-16 2017-05-16 一种基于深度图优化的虚拟现实呈现方法 Active CN107067456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710343979.6A CN107067456B (zh) 2017-05-16 2017-05-16 一种基于深度图优化的虚拟现实呈现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710343979.6A CN107067456B (zh) 2017-05-16 2017-05-16 一种基于深度图优化的虚拟现实呈现方法

Publications (2)

Publication Number Publication Date
CN107067456A CN107067456A (zh) 2017-08-18
CN107067456B true CN107067456B (zh) 2019-11-26

Family

ID=59610248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710343979.6A Active CN107067456B (zh) 2017-05-16 2017-05-16 一种基于深度图优化的虚拟现实呈现方法

Country Status (1)

Country Link
CN (1) CN107067456B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596964B (zh) * 2018-05-02 2020-07-03 厦门美图之家科技有限公司 深度数据获取方法、装置及可读存储介质
CN108429905B (zh) * 2018-06-01 2020-08-04 宁波视睿迪光电有限公司 一种裸眼3d显示方法、装置、电子设备及存储介质
CN108986228B (zh) * 2018-07-06 2023-07-28 网易（杭州）网络有限公司 用于虚拟现实中界面显示的方法及装置
CN109472860B (zh) * 2018-11-13 2023-02-10 上海盎维信息技术有限公司 基于人工智能的深度图平衡选优方法及装置
CN109151444B (zh) * 2018-11-13 2020-09-08 盎锐（上海）信息科技有限公司 3d智能像素增强引擎
CN109529349B (zh) * 2018-11-28 2022-07-08 珠海金山网络游戏科技有限公司 图像绘制方法、装置、计算设备及存储介质
CN110620917A (zh) * 2019-10-22 2019-12-27 上海第二工业大学 一种虚拟现实跨屏立体显示的方法
CN113101658B (zh) * 2021-03-29 2023-08-29 北京达佳互联信息技术有限公司 虚拟空间中的视角切换方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662292A (zh) * 2012-04-20 2012-09-12 Tcl集团股份有限公司 一种3d场景成像方法、装置及显示终端
CN104463948A (zh) * 2014-09-22 2015-03-25 北京大学 三维虚拟现实系统与地理信息系统的无缝可视化方法
CN105007477A (zh) * 2015-07-06 2015-10-28 四川长虹电器股份有限公司 基于Unity3D引擎实现裸眼3D显示的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662292A (zh) * 2012-04-20 2012-09-12 Tcl集团股份有限公司 一种3d场景成像方法、装置及显示终端
CN104463948A (zh) * 2014-09-22 2015-03-25 北京大学 三维虚拟现实系统与地理信息系统的无缝可视化方法
CN105007477A (zh) * 2015-07-06 2015-10-28 四川长虹电器股份有限公司 基于Unity3D引擎实现裸眼3D显示的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mapping Perceived Depth to Regions of Interest in Stereoscopic Images;Nick Holliman;《Stereoscopic displays and virtual reality systems》;20041231;第5291卷;全文 *

Also Published As

Publication number Publication date
CN107067456A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
CN107067456B (zh) 一种基于深度图优化的虚拟现实呈现方法
CN107170041B (zh) 一种共享式实验室虚拟仿真方法和系统
Kim Designing virtual reality systems
CN106484115B (zh) 用于增强和虚拟现实的系统和方法
CN103186922B (zh) 使用扩增现实显示器表示以前时间段时的场所的方法以及个人视听(a/v)装置
CN108735052B (zh) 一种基于slam的增强现实自由落体实验方法
US20210283496A1 (en) Realistic Virtual/Augmented/Mixed Reality Viewing and Interactions
CN105282536A (zh) 一种基于Unity3D引擎的裸眼3D图文交互方法
CN109817031B (zh) 一种基于vr技术的肢体运动教学方法
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
CN106412556B (zh) 一种图像生成方法及装置
CN104702936A (zh) 一种基于裸眼3d显示的虚拟现实交互方法
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
CN115335894A (zh) 用于虚拟和增强现实的系统和方法
Song et al. An immersive VR system for sports education
WO2020212293A1 (en) Methods and systems for handling virtual 3d object surface interaction
KR101076263B1 (ko) 체감형 시뮬레이터 기반의 대규모 인터랙티브 게임 시스템 및 그 방법
US11393153B2 (en) Systems and methods performing object occlusion in augmented reality-based assembly instructions
CN108346183B (zh) 一种用于ar基准定位的方法及系统
CN113253843B (zh) 一种基于全景图的室内虚拟漫游实现方法及实现系统
CN210583568U (zh) 一种智慧滑雪健身仿真模拟器
Buchmann Road Stakeout in Wearable Outdoor Augmented Reality
CN105894581A (zh) 一种呈现多媒体信息的方法及装置
Tao A VR/AR-based display system for arts and crafts museum
Silverman The Rule of 27s: A Comparative Analysis of 2D Screenspace and Virtual Reality Environment Design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant