CN110620917A - 一种虚拟现实跨屏立体显示的方法 - Google Patents

一种虚拟现实跨屏立体显示的方法 Download PDF

Info

Publication number
CN110620917A
CN110620917A CN201911006409.3A CN201911006409A CN110620917A CN 110620917 A CN110620917 A CN 110620917A CN 201911006409 A CN201911006409 A CN 201911006409A CN 110620917 A CN110620917 A CN 110620917A
Authority
CN
China
Prior art keywords
screen
virtual reality
camera
stereoscopic display
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911006409.3A
Other languages
English (en)
Inventor
朱文华
蔡宝
顾鸿良
孙张驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Polytechnic University
Original Assignee
Shanghai Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Polytechnic University filed Critical Shanghai Polytechnic University
Priority to CN201911006409.3A priority Critical patent/CN110620917A/zh
Publication of CN110620917A publication Critical patent/CN110620917A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种虚拟现实跨屏立体显示的方法，将zSpace虚拟现实系统与裸眼立体显示设备结合，通过创建用于扩展屏幕显示的相机，接收Unity3D的渲染纹理，将设置好的扩展屏幕相机绑定在zCore开发包的立体相机中，最后调整具体开发场景的相机参数，实现将zSpace中的立体场景画面扩展屏幕至裸眼立体显示器中，形成双立体扩展屏幕显示。本发明不受具体开发场景和内容的限制，适用范围广，画面延迟时间短，画面的流畅度和传输质量好。

Description

一种虚拟现实跨屏立体显示的方法
技术领域
本发明涉及虚拟现实程序开发领域，具体涉及一种虚拟现实跨屏立体显示的方法。
背景技术
虚拟现实(Virtual Reality，简称VR)是近年来发展最为迅速的技术之一，已广泛应用于教育、医疗、地产等多个产业。它具有存在沉浸性、交互性、想象力、多感知性四大特点，根据用户参与形式的不同一般分为：桌面式、沉浸式、分布式、增强式。其中桌面式虚拟现实主要利用个人计算机或者工作站，通过外部输入设备与虚拟世界进行交互，是目前市场上用途较广较为常见的虚拟现实表现形式。
zSpace虚拟现实是典型的桌面式虚拟现实系统，它是整合现实世界工作环境的桌面虚拟现实系统，实现现实与虚拟世界的自由穿越，zSpace的核心技术包括：立体视觉、直接交互；涉及的设备例如包含一台用于立体显示并可发射红外的主机、一副接收红外的立体眼镜、一根与虚拟世界交互的感应笔。中升公司的裸眼立体显示器，可播放立体画面，播放格式为左右格式或者上下格式，分辨率一般为4K。
桌面式虚拟现实相比于沉浸式虚拟现实，具有眩晕感较低、位置追踪准确可靠、应用范围广等诸多优点，zSpace桌面式虚拟现实系统的画面开发可借助Unity3D软件进行，Unity3D软件是目前使用最为广泛的游戏开发引擎之一，它具有操作简单，功能强大等优势，同时zSpace提供了Unity3D的开发包zCore，开发者只需将zCore开发包导入Unity3D项目文件目录下，便可轻松进行3D场景的开发。
然而，桌面式虚拟现实系统更适用于个人学习，其画面内容受到屏幕尺寸影响沉浸感不强，且不能用于多人同时学习或体验；裸眼立体演示设备屏幕尺寸较大，观看无需佩戴眼镜等设备，能让更多的人体验虚拟现实世界。目前，缺乏将zSpace等桌面式虚拟现实系统与裸眼立体显示设备相结合，实现双立体扩展屏幕显示的技术。
发明内容
本发明为了克服上述技术背景的不足，提供一种虚拟现实跨屏立体显示的方法，能够基于Unity3D实现zSpace立体画面扩展屏幕显示，将zSpace中的立体显示画面复制到裸眼立体显示器中，同时保障画面的传输质量。
为了达到上述目的，本发明的技术方案是提供一种虚拟现实跨屏立体显示的方法，其中zSpace虚拟现实系统与裸眼立体显示器信号连接；所述zSpace虚拟现实系统基于Unity3D软件的开发包zCore进行3D场景的画面开发；所述方法，包含以下步骤：
A1：采用Unity3D创建扩展屏幕相机；
A2：设置渲染纹理，用于接收Unity3D画面；
A3：绑定zCore中的相机；
A4：设置相机参数，形成立体画面。
优选地，在步骤A1中，采用Unity3D生成扩展屏幕相机，并设置相机位置、相机角度和相机投影矩阵，并对相机参数的初始值进行设置。
优选地，在步骤A2中，创建RenderTexture型的渲染纹理，用以进行DLL渲染；
设置三种不同的纹理格式：s3d格式、sbs格式、null格式；
根据zSpace虚拟现实系统的屏幕分辨率来设置纹理大小。
优选地，在步骤A3中，将步骤A1创建的扩展屏幕相机，复制给开发包zCore中的中间相机、左相机、右相机中的任意一个，进行深度方向的渲染。
优选地，在步骤A4中，根据所要展示的场景，进一步调整相机参数，使深度方向立体感明显。
优选地，所述相机参数包括：
聚焦位置，表示在世界坐标系空间中相机位置到焦点的距离；
聚焦尺寸，表示聚焦区域的尺寸；
相机小孔，用以限定从对焦到散焦之间的区域；
物体聚焦参数，表示实际场景中的目标物体决定的聚焦距离。
优选地，通过一个脚本，创建扩展屏幕相机及设置相机参数；
通过另一个脚本进行深度渲染，其中设置深度信息及创建用于传输Unity3D画面的渲染纹理。
优选地，将深度渲染的脚本，绑定在Unity3D场景中的空物体上。
优选地，将zSpace虚拟现实系统的显示设置为屏幕扩展模式；
屏幕扩展模式下的屏幕一对应zSpace虚拟现实系统，屏幕二对应裸眼立体显示器。
优选地，所述裸眼立体显示器的屏幕分辨率为4K；使用一个4K的HDMI数据线将zSpace虚拟现实系统与裸眼立体显示器相连。
优选地，设置裸眼立体显示器的屏幕窗口每25ms刷新一次。
本发明所述虚拟现实跨屏立体显示的方法，其优点在于：
将zSpace虚拟现实系统与裸眼立体显示设备结合，通过创建用于扩展屏幕显示的相机，接收Unity3D的渲染纹理，将设置好的扩展屏幕相机绑定在zCore开发包的立体相机中，最后调整具体开发场景的相机参数，实现将zSpace中的立体场景画面扩展屏幕至裸眼立体显示器中，形成双立体扩展屏幕显示。
附图说明
图1是本发明所述一种虚拟现实跨屏立体显示的方法的示例流程图。
图2是本发明的zSpace与裸眼立体显示器连接方式的示意图。
图3是本发明的扩展屏幕显示最终效果的示意图。
具体实施方式
为了使本发明的实现效果和技术手段更有利于理解，下面结合具体的图示和开发实例进行下一步具体阐述本发明。
如图1所示，本发明提供一种虚拟现实跨屏立体显示的方法，包括以下步骤：
A1：创建扩展屏幕相机；
A2：设置渲染纹理，用于接收Unity3D画面；
A3：绑定zCore中的相机；
A4：设置相机参数，形成立体画面。
zSpace桌面式虚拟现实系统，基于Unity3D软件的开发包zCore，进行3D场景的画面开发。
在上述技术步骤的基础上，步骤A1具体包括以下过程：
采用Unity3D生成所需使用的扩展屏幕相机(一虚拟相机)，并设置相机位置、相机角度和相机投影矩阵，设置相机参数的初始值。
相机参数，包括：聚焦位置(在世界坐标系空间中摄像机位置到焦点的距离)、聚焦尺寸(聚焦区域的尺寸)、相机小孔(摄像机小孔用来限定从对焦到散焦之间的区域)、物体聚焦参数(实际场景中的目标物体决定的聚焦距离)。
步骤A2具体包括以下过程：
创建RenderTexture型的渲染纹理，该纹理可用于进行DLL渲染，设置三种不同的纹理格式：s3d(彩色+深度)格式、sbs(左右格式或者上下格式)、null其它格式，同时设置纹理大小为1920×1080。
步骤A3具体包括以下过程：
将步骤A1所得的相机，复制给zSpace开发包zCore中的中间相机、左相机、右相机中的任意一个即可，进行深度方向的渲染。
步骤A4具体包括以下过程：
根据所要展示的具体场景，调整步骤A1所得相机的参数：聚焦位置、聚焦尺寸、相机小孔、物体聚焦参数，使得深度方向立体感明显。将深度渲染脚本绑定在Unity3D场景中的空物体上，将裸眼立体屏幕窗口每25ms刷新一次，保证画面传输流畅。
一个具体的实施例中，将本发明的上述步骤A1～A4写入到两个脚本当中，一个脚本创建虚拟相机并设置其参数，一个脚本设置深度信息，同时创建用于传输Unity3D画面的渲染纹理，所有脚本完成之后，使用一个4K的HDMI数据线3将zSpace虚拟现实系统1与裸眼立体显示器2相连，如图2所示。
以某化工厂生产场景为例，进行扩展屏幕显示效果展示，首先将工厂模型导入Unity3D软件之中，再导入zCore开发包，便可形成zSpace桌面式虚拟现实立体画面。
将创建虚拟相机的脚本绑定在场景中的空物体之中，并将zCore的三个相机中的任意一个复制给虚拟相机，实现扩展屏幕显示。
将zSpace的显示设置为屏幕扩展，屏幕一(对应zSpace虚拟现实系统)的分辨率为1920×1080，屏幕二(对应裸眼立体显示器)的分辨率调整为3840×2160，使得裸眼立体显示分辨率为4K。
如图3所示是最终扩展屏幕的显示效果，左侧屏幕是zSpace虚拟现实立体画面，右侧屏幕是裸眼立体显示画面，画面传输过程流畅。
综上所述，本发明的立体画面传输效果好，画面延迟时间短，每25ms刷新一次画面，扩展屏幕分辨率3840×2160，保证了画面的流畅度和传输质量，不受具体开发场景和内容的限制，具有实现灵活、可扩展性好等优点。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种虚拟现实跨屏立体显示的方法，其特征在于，zSpace虚拟现实系统与裸眼立体显示器信号连接；所述zSpace虚拟现实系统基于Unity3D软件的开发包zCore进行3D场景的画面开发；
所述方法，包含以下步骤：
A1：采用Unity3D创建扩展屏幕相机；
A2：设置渲染纹理，用于接收Unity3D画面；
A3：绑定zCore中的相机；
A4：设置相机参数，形成立体画面。
2.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
步骤A1中，采用Unity3D生成扩展屏幕相机，并设置相机位置、相机角度和相机投影矩阵，并对相机参数的初始值进行设置。
3.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
步骤A2中，创建RenderTexture型的渲染纹理，用以进行DLL渲染；
设置三种不同的纹理格式：s3d格式、sbs格式、null格式；
根据zSpace虚拟现实系统的屏幕分辨率来设置纹理大小。
4.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
步骤A3中，将步骤A1创建的扩展屏幕相机，复制给开发包zCore中的中间相机、左相机、右相机中的任意一个，进行深度方向的渲染。
5.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
步骤A4中，根据所要展示的场景，进一步调整相机参数，使深度方向立体感明显。
6.如权利要求1或2或5所述虚拟现实跨屏立体显示的方法，其特征在于，
所述相机参数包括：
聚焦位置，表示在世界坐标系空间中相机位置到焦点的距离；
聚焦尺寸，表示聚焦区域的尺寸；
相机小孔，用以限定从对焦到散焦之间的区域；
物体聚焦参数，表示实际场景中的目标物体决定的聚焦距离。
7.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
通过一个脚本，创建扩展屏幕相机及设置相机参数；
通过另一个脚本进行深度渲染，其中设置深度信息及创建用于传输Unity3D画面的渲染纹理。
8.如权利要求1或5或7所述虚拟现实跨屏立体显示的方法，其特征在于，
设置进行深度渲染的脚本，并将其绑定在Unity3D场景中的空物体上。
9.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
将zSpace虚拟现实系统的显示设置为屏幕扩展模式；
屏幕扩展模式下的屏幕一对应zSpace虚拟现实系统，屏幕二对应裸眼立体显示器。
10.如权利要求1所述虚拟现实跨屏立体显示的方法，其特征在于，
所述裸眼立体显示器的屏幕分辨率为4K；使用一个4K的HDMI数据线将zSpace虚拟现实系统与裸眼立体显示器相连；设置裸眼立体显示器的屏幕窗口每25ms刷新一次。
CN201911006409.3A 2019-10-22 2019-10-22 一种虚拟现实跨屏立体显示的方法 Pending CN110620917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911006409.3A CN110620917A (zh) 2019-10-22 2019-10-22 一种虚拟现实跨屏立体显示的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911006409.3A CN110620917A (zh) 2019-10-22 2019-10-22 一种虚拟现实跨屏立体显示的方法

Publications (1)

Publication Number Publication Date
CN110620917A true CN110620917A (zh) 2019-12-27

Family

ID=68926312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911006409.3A Pending CN110620917A (zh) 2019-10-22 2019-10-22 一种虚拟现实跨屏立体显示的方法

Country Status (1)

Country Link
CN (1) CN110620917A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235562A (zh) * 2020-10-12 2021-01-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702936A (zh) * 2015-03-31 2015-06-10 王子强 一种基于裸眼3d显示的虚拟现实交互方法
CN105282536A (zh) * 2015-10-27 2016-01-27 成都斯斐德科技有限公司 一种基于Unity3D引擎的裸眼3D图文交互方法
CN105578172A (zh) * 2015-12-10 2016-05-11 四川长虹电器股份有限公司 基于Unity3D引擎的裸眼3D视频显示方法
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技（北京）有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
CN106157276A (zh) * 2016-06-15 2016-11-23 南京快脚兽软件科技有限公司 一种适用于多种场景的多目标交互引擎渲染方法
CN205987196U (zh) * 2016-08-26 2017-02-22 万象三维视觉科技（北京）有限公司 一种裸眼3d虚拟现实展示系统
CN106445517A (zh) * 2016-09-22 2017-02-22 四川长虹电器股份有限公司 一种基于Android设备的裸眼3D交互方法
CN106504339A (zh) * 2016-11-09 2017-03-15 四川长虹电器股份有限公司 基于虚拟现实的文物3d展示方法
CN106547557A (zh) * 2016-10-10 2017-03-29 成都斯斐德科技有限公司 一种基于虚拟现实和裸眼3d的多屏互动交互方法
CN107067456A (zh) * 2017-05-16 2017-08-18 四川长虹电器股份有限公司 一种基于深度图优化的虚拟现实呈现方法
CN206975316U (zh) * 2017-05-09 2018-02-06 宁波视睿迪光电有限公司 一种显示装置和显示系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104702936A (zh) * 2015-03-31 2015-06-10 王子强 一种基于裸眼3d显示的虚拟现实交互方法
CN105282536A (zh) * 2015-10-27 2016-01-27 成都斯斐德科技有限公司 一种基于Unity3D引擎的裸眼3D图文交互方法
CN105578172A (zh) * 2015-12-10 2016-05-11 四川长虹电器股份有限公司 基于Unity3D引擎的裸眼3D视频显示方法
CN106157276A (zh) * 2016-06-15 2016-11-23 南京快脚兽软件科技有限公司 一种适用于多种场景的多目标交互引擎渲染方法
CN106131530A (zh) * 2016-08-26 2016-11-16 万象三维视觉科技（北京）有限公司 一种裸眼3d虚拟现实展示系统及其展示方法
CN205987196U (zh) * 2016-08-26 2017-02-22 万象三维视觉科技（北京）有限公司 一种裸眼3d虚拟现实展示系统
CN106445517A (zh) * 2016-09-22 2017-02-22 四川长虹电器股份有限公司 一种基于Android设备的裸眼3D交互方法
CN106547557A (zh) * 2016-10-10 2017-03-29 成都斯斐德科技有限公司 一种基于虚拟现实和裸眼3d的多屏互动交互方法
CN106504339A (zh) * 2016-11-09 2017-03-15 四川长虹电器股份有限公司 基于虚拟现实的文物3d展示方法
CN206975316U (zh) * 2017-05-09 2018-02-06 宁波视睿迪光电有限公司 一种显示装置和显示系统
CN107067456A (zh) * 2017-05-16 2017-08-18 四川长虹电器股份有限公司 一种基于深度图优化的虚拟现实呈现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIMON SUA,ET AL: "Virtual reality enabled scientific visualization workflow", 《2015 IEEE 1ST WORKSHOP ON EVERYDAY VIRTUAL REALITY (WEVR)》 *
蔡宝，等: "基于虚拟现实技术的工厂布局和漫游系统", 《制造技术与机床》 *
蔡宝，等: "虚拟现实技术在高校实践教学中的应用探究", 《中国教育技术装备》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235562A (zh) * 2020-10-12 2021-01-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法
CN112235562B (zh) * 2020-10-12 2023-09-15 聚好看科技股份有限公司 一种3d显示终端、控制器及图像处理方法

Similar Documents

Publication Publication Date Title
US11350071B2 (en) Augmented reality based user interfacing
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
Schmalstieg et al. Augmented reality: principles and practice
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
Kim Designing virtual reality systems
Xiao Animation trends in education
WO2018086295A1 (zh) 一种应用界面显示方法及装置
US20050264559A1 (en) Multi-plane horizontal perspective hands-on simulator
CN105447898A (zh) 一种虚拟现实设备中显示2d应用界面的方法和装置
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
WO2005098516A2 (en) Horizontal perspective hand-on simulator
CN110335307B (zh) 标定方法、装置、计算机存储介质和终端设备
CN105282536A (zh) 一种基于Unity3D引擎的裸眼3D图文交互方法
US20060250390A1 (en) Horizontal perspective display
Li et al. Enhancing 3d applications using stereoscopic 3d and motion parallax
CN111670465A (zh) 显示经修改的立体视觉内容
WO2017062730A1 (en) Presentation of a virtual reality scene from a series of images
JP2018504009A (ja) デジタルビデオのレンダリング
CN114746903B (zh) 虚拟、增强和混合现实系统和方法
CN110620917A (zh) 一种虚拟现实跨屏立体显示的方法
CN101566784B (zh) 立体影像的景深数据建立方法及其系统
CN111699460A (zh) 多视图虚拟现实用户界面
LU503478B1 (en) Method of virtual reality cross-screen stereoscopic display
Regalbuto Remote Visual Observation of Real Places through Virtual Reality Headsets
JP2021508133A (ja) 個別映像信号出力を利用したマッピング擬似ホログラム提供装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227