CN110568923A - 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 - Google Patents
基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110568923A CN110568923A CN201910613086.8A CN201910613086A CN110568923A CN 110568923 A CN110568923 A CN 110568923A CN 201910613086 A CN201910613086 A CN 201910613086A CN 110568923 A CN110568923 A CN 110568923A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- rigid body
- hand coordinate
- data
- unity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000009471 action Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 116
- 239000000463 material Substances 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于Unity3D的虚拟现实交互方法，包括：与光学动作捕捉系统建立通信连接；通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据；分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。本发明还公开了一种基于Unity3D的虚拟现实交互装置、设备及计算机可读存储介质。本发明基于Unity3D实现了真实场景的模拟交互，扩展了Unity3D的交互方式，并提升了用户使用体验。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种基于Unity3D的虚拟现实交互方法、装置、设备及存储介质。
背景技术
Unity3D是由UnityTechnologies公司开发的可轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎，因其强大的跨平台开发特性、绚丽的3D渲染效果以及自由丰富的人机交互功能而闻名出众。
现有Unity3D自带的交互方式主要有键盘、鼠标、游戏手柄、蓝牙手柄等，虽然能够满足大部分的游戏场景需求，然而对于某些虚拟现实类的游戏场景却缺乏相应的交互方法，Unity3D自带的交互方式并不足以模拟真实场景中玩家通过手指指向屏幕响应事件的功能以及客户端画面跟随玩家的移动进行模拟现实的变化，也即基于Unity3D开发的虚拟现实类游戏若采用传统的交互方式，则难以让用户获得身临其境的游戏感受。
发明内容
本发明的主要目的在于提供一种基于Unity3D的虚拟现实交互方法、装置、设备及存储介质，旨在解决如何基于Unity3D实现真实场景与虚拟场景之间交互的技术问题。
为实现上述目的，本发明提供一种基于Unity3D的虚拟现实交互方法，所述基于Unity3D的虚拟现实交互方法包括以下步骤：
与光学动作捕捉系统建立通信连接；
通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
可选地，所述分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换包括：
创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
可选地，所述基于Unity3D的虚拟现实交互方法还包括：
当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；
创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；
创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；
使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
可选地，k等于2，n等于1/2。
进一步地，为实现上述目的，本发明还提供一种基于Unity3D的虚拟现实交互装置，所述基于Unity3D的虚拟现实交互装置包括：
连接模块，用于与光学动作捕捉系统建立通信连接；
获取模块，用于通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
变换模块，用于分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
映射模块，用于当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
可选地，所述变换模块包括：
创建单元，用于创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
位置变换单元，用于将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
旋转变换单元，用于将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
可选地，所述基于Unity3D的虚拟现实交互装置还包括：
Unity3D引擎模块，用于当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
所述Unity3D引擎模块还用于：创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；以及创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；以及创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
所述Unity3D引擎模块还用于：将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；以及使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
可选地，k等于2，n等于1/2。
进一步地，为实现上述目的，本发明还提供一种基于Unity3D的虚拟现实交互设备，所述基于Unity3D的虚拟现实交互设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于Unity3D的虚拟现实交互程序，所述基于Unity3D的虚拟现实交互程序被所述处理器执行时实现如上述任一项所述的基于Unity3D的虚拟现实交互方法的步骤。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于Unity3D的虚拟现实交互程序，所述基于Unity3D的虚拟现实交互程序被处理器执行时实现如上述任一项所述的基于Unity3D的虚拟现实交互方法的步骤。
本发明借助于光学动作捕捉系统实现虚拟现实交互，具体为：先通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据；然后再分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；最后当渲染生成虚拟场景中虚拟对象的视角画面时，再将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，进而将真实场景中真实对象各个部位的位置以及旋转映射至Unity3D引擎所生成的虚拟对象上，从而达到模拟真实场景中玩家与游戏客户端之间的交互。本发明基于Unity3D实现了真实场景的模拟交互，扩展了Unity3D的交互方式，并提升了用户使用体验。
附图说明
图1为本发明实施例方案涉及的基于Unity3D的虚拟现实交互设备运行环境的结构示意图；
图2为本发明基于Unity3D的虚拟现实交互方法第一实施例的流程示意图；
图3为图2中步骤S130一实施例的细化流程示意图；
图4为本发明基于Unity3D的虚拟现实交互方法第二实施例的流程示意图；
图5为本发明基于Unity3D的虚拟现实交互方法一实施例中压缩后的显示画面示意图；
图6为本发明基于Unity3D的虚拟现实交互装置第一实施例的功能模块示意图；
图7为图6中变换模块30一实施例的细化功能模块示意图；
图8为本发明基于Unity3D的虚拟现实交互装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于Unity3D的虚拟现实交互设备。
参照图1，图1为本发明实施例方案涉及的基于Unity3D的虚拟现实交互设备运行环境的结构示意图。
如图1所示，该基于Unity3D的虚拟现实交互设备包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基于Unity3D的虚拟现实交互设备的硬件结构并不构成对基于Unity3D的虚拟现实交互设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于Unity3D的虚拟现实交互程序。其中，操作系统是管理和控制基于Unity3D的虚拟现实交互设备和软件资源的程序，支持基于Unity3D的虚拟现实交互程序以及其它软件和/或程序的运行。
在图1所示的基于Unity3D的虚拟现实交互设备的硬件结构中，网络接口1004主要用于接入网络；用户接口1003主要用于侦测确认指令和编辑指令等，而处理器1001可以用于调用存储器1005中存储的基于Unity3D的虚拟现实交互程序，并执行以下基于Unity3D的虚拟现实交互方法的各实施例的操作。
参照图2，图2为本发明基于Unity3D的虚拟现实交互方法第一实施例的流程示意图。本实施例中，所述基于Unity3D的虚拟现实交互方法包括以下步骤：
步骤S110，与光学动作捕捉系统建立通信连接；
本实施例中，光学动作捕捉系统用于通过高速摄像机精确捕捉带有主动或被动标记点的可测量物体的运动数据或动作数据，比如速度、加速度、旋转、角度等，捕获的数据可应用到其他领域，比如动作分析、动作模拟等。
本实施例中，玩家可通过光学动作捕捉系统采集自身的动作数据，同时通过虚拟现实交互装置与光学动作捕捉系统建立通信连接以获得动作数据并进行处理，进而可实现虚拟现实交互。
步骤S120，通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
VRPN(Virtual Reality Peripheral Network，虚拟现实外设网络)协议，其由一系列的类库组成，并提供一系列的服务在虚拟现实系统中实现应用程序与外围物理设备(比如追踪器等)之间的网络透明接口。
本实施例中，虚拟现实交互装置通过VRPN协议而与光学动作捕捉系统进行通信，以接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体数据，刚体是物理学概念，指在运动中和受力后，形状和大小不变并且内部各点相对位置不变的物体。刚体是一种为了方便物理计算而提出的理想化模型，在不需要考虑物体本身的形变时，可以把物体当做刚体进行处理。
在Unity3D中，提供Rigidbody组件用来模拟刚体(即游戏对象)，通过给游戏中的虚拟对象添加刚体组件，进而能够以物理的方式控制游戏对象进行运动，因而Rigidbody组件中存在控制刚体位置、制刚体旋转的方法，通过向上述方法传递相应的刚体数据即可实现对游戏对象的相应控制。
本实施例中的刚体为真实场景中的真实对象，比如游戏玩家，光学动作捕捉系统捕获的刚体数据具体包括：
(1)刚体位置数据，用于表示刚体运动时真实对象各采集点的位移变化，该位移为三维坐标向量；
(2)刚体旋转数据，用于表示刚体运动时真实对象各采集点的旋转偏移变化，该旋转偏移为四元数。
步骤S130，分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
本实施例中，在获得真实对象的刚体数据后，需要进一步对刚体数据进行左右坐标系变换，然后再同步映射至虚拟对象。
本实施例中，由于光学动作捕捉系统采用右手坐标系，也即真实场景采用右手坐标系，而Unity3D采用左手坐标系，也即虚拟场景采用左手坐标系，因此要想使用捕获的刚体数据驱动虚拟场景中的虚拟对象，则需要将右手坐标系中的数据转换为左手坐标系中的数据。本实施例中对刚体数据进行左右坐标系变换的处理方式不限，具体根据实际需要进行设置。
例如，将右手坐标系中数据(X，Y，Z)中的任意一个值取反即可转换为左手坐标系中数据。比如将Y轴取反：右手坐标系坐标(X，Y，Z)，转换为左手坐标系后的坐标为(X，-Y，Z)。又例如，在右手坐标系下使用旋转矩阵和平移矩阵实现左右手坐标系变换。
步骤S140，当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
本实施例中，当虚拟现实交互装置渲染生成虚拟场景中虚拟对象的视角画面时，虚拟现实交互装置将变换坐标系后的真实对象的刚体位置数据与刚体旋转数据分别同步映射至虚拟对象，也即将坐标变换后的刚体数据赋值给虚拟对象的Rigidbody组件，进而实现虚拟对象模拟真实对象的动作，也即实现了现实世界的用户与虚拟世界中的游戏对象之间的虚拟现实交互。
本实施例借助于光学动作捕捉系统实现虚拟现实交互，具体为：先通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据；然后再分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；最后当渲染生成虚拟场景中虚拟对象的视角画面时，再将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，进而将真实场景中真实对象各个部位的位置以及旋转映射至Unity3D引擎所生成的虚拟对象上，从而达到模拟真实场景中玩家与游戏客户端之间的交互。本实施例基于Unity3D实现了真实场景的模拟交互，扩展了Unity3D的交互方式，并提升了用户使用体验。
参照图3，图3为图2中步骤S130一实施例的细化流程示意图。本实施例中，上述步骤S130进一步包括：
步骤S1301，创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
本实施例中，为便于进行左右坐标变换，因此预先创建左手坐标系对应的三维坐标向量参数以及四元数参数，以存储坐标变换后的数据，也即虚拟场景中虚拟对象对应的左手坐标系数据。
本实施例中，三维坐标向量参数用于存储坐标变换后的刚体位置数据，四元数参数用于存储坐标变换后的刚体旋转数据，一个四元数可以表示为q＝w+xi+yj+zk，其中，i、j、k为虚数单位，w为实数。本实施例中，在三维坐标系中优选使用q＝((x,y,z)，w)＝(v,w)来表示一个四元数，其中v是三维坐标向量，w是实数。
步骤S1302，将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
本实施例中，在右手坐标系下，真实场景中的真实对象(比如游戏玩家)的刚体位置数据使用三维坐标向量进行表示，而在左手坐标系下，虚拟场景中的虚拟对象(游戏对象)的刚体位置数据也同样使用三维坐标向量进行表示。
本实施例中，右手坐标系下的刚体位置数据变换为左手坐标系下的刚体位置数据的具体变换方式为：
A、将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数；
B、将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数；
C、将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数。
本实施例中，在进行坐标系变换时，保持x轴向量数据不变、y轴与z轴向量数据交换，从而实现刚体位置数据从右手坐标系变换到左手坐标系。
步骤S1303，将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
本实施例中，在右手坐标系下，真实场景中的真实对象(比如游戏玩家)的刚体旋转数据使用四元数进行表示，而在左手坐标系下，虚拟场景中的虚拟对象(游戏对象)的刚体旋转数据也同样使用四元数进行表示。
本实施例中，右手坐标系下的刚体旋转数据变换为左手坐标系下的刚体旋转数据的具体变换方式为：
A、将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量；
B、将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量；
C、将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量；
D、将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
本实施例中，在进行坐标系变换时，保持四元数中虚部系数的x轴向量数据、y轴与z轴向量数据交换、使实部的数值取负值，从而实现刚体旋转数据从右手坐标系变换到左手坐标系。
本实施例对于刚体位置数据与刚体旋转数据之间的变换先后顺序不限，具体根据实际需要进行设置，比如同时进行变换，也可以是先后顺序变换。通过上述左右坐标系变换，并将变换后的数据应用于虚拟场景中的游戏对象，从而实现了现实世界的用户与虚拟世界中的游戏对象之间的虚拟现实交互。
参照图4，图4为本发明基于Unity3D的虚拟现实交互方法第二实施例的流程示意图。基于上述第一实施例，本实施例中，所述基于Unity3D的虚拟现实交互方法还包括：
步骤S210，当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
本实施例中，当渲染生成虚拟场景中虚拟对象的视角画面时，虚拟现实交互装置进一步创建主相机和用于模拟虚拟对象左右眼的双目相机，其中，主相机用于渲染生成输入至3D显示终端的画面，而双目相机用于实现对输出画面的预处理，进而实现输出画面的3D视觉效果。
本实施例中进一步设置主相机摄像方式为正交模式，并且将双目相机的视角在水平方向上放大k倍，k为正数。
可选的，在一实施例中，优选K等于2，也即将双目相机的视角在水平方向上放大2倍，进而可实现双目相机中两单目相机画面存在位差。
步骤S220，创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；
步骤S230，创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；
步骤S240，创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
本实施例中，渲染纹理RenderTexture、材质球以及显示面板Plane(如上所述的第一显示面板和第二显示面板)是Unity3D中用于创建3D画面所采用的主流方法，其中，RenderTexture用于存储双目相机渲染的虚拟对象的视角画面，材质球由贴图(Texture)和着色器(Shader)组成，通过贴图和着色器的配合，可以创造出逼真的虚拟对象模型。Plane则用于播放双目相机中的画面。
本实施例通过上述步骤S220-240的处理，使得虚拟场景中的虚拟对象能够模拟人的双眼并通过两个显示面板呈现双眼的视角画面。
步骤S250，将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；
步骤S260，使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
本实施例中，为最终实现画面的3D显示效果，因此进一步将第一显示面板和第二显示面板中的画面融合为一个画面，具体实现方式为：
(1)将第一显示面板和第二显示面板分别沿水平方向缩小n倍；
(2)将缩小后的第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；
本实施例中，n为正数。在一实施例中，优选n等于1/2。
本实施例中，水平方向具体指三维坐标系中的X轴方向，对两个显示面板进行水平方向压缩实际是对两个显示面板中画面进行压缩。在实现画面横向压缩后，进一步将缩小后的第一显示面板和第二显示面板沿水平方向拼接为第三显示面板，如图5所示(此时n等于1/2)。
本实施例中，由于第三显示面板显示的是模拟人双眼看到的两幅视觉画面，因此，第三显示面板显示的两幅画面之间具有一定的位差，主相机渲染第三显示面板中画面，进而生成一种新格式的压缩画面，比如左右格式的画面，该新格式画面输入3D显示终端(比如3D显示器)后将会呈现3D显示效果。
通常，Unity3D画面的信号源输送到3D显示器处理后并不会呈现出3D显示效果，而本实施例基于Unity3D模拟真实玩家左右眼分别看到的画面，并将其横向压缩，从而使得新格式的压缩画面输入3D显示终端(比如3D显示器)后将会呈现3D显示效果，从而实现了基于Unity3D的虚拟现实交互画面的3D显示。
本发明还提供一种基于Unity3D的虚拟现实交互装置。
参照图6，图6为本发明基于Unity3D的虚拟现实交互装置第一实施例的功能模块示意图。本实施例中，所述基于Unity3D的虚拟现实交互装置包括：
连接模块10，用于与光学动作捕捉系统建立通信连接；
获取模块20，用于通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
变换模块30，用于分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
映射模块40，用于当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
基于与上述本发明基于Unity3D的虚拟现实交互方法相同的实施例说明内容，因此本实施例对基于Unity3D的虚拟现实交互装置的实施例内容不做过多赘述。
本实施例借助于光学动作捕捉系统实现虚拟现实交互，具体为：先通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据；然后再分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；最后当渲染生成虚拟场景中虚拟对象的视角画面时，再将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，进而将真实场景中真实对象各个部位的位置以及旋转映射至Unity3D引擎所生成的虚拟对象上，从而达到模拟真实场景中玩家与游戏客户端之间的交互。本实施例基于Unity3D实现了真实场景的模拟交互，扩展了Unity3D的交互方式，并提升了用户使用体验。
参照图7，图7为图6中变换模块30一实施例的细化功能模块示意图。本实施例中，所述变换模块30包括：
创建单元301，用于创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
位置变换单元302，用于将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
旋转变换单元303，用于将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
基于与上述本发明基于Unity3D的虚拟现实交互方法相同的实施例说明内容，因此本实施例对基于Unity3D的虚拟现实交互装置的实施例内容不做过多赘述。
本实施例对于刚体位置数据与刚体旋转数据之间的变换先后顺序不限，具体根据实际需要进行设置，比如同时进行变换，也可以是先后顺序变换。通过上述左右坐标系变换，并将变换后的数据应用于虚拟场景中的游戏对象，从而实现了现实世界的用户与虚拟世界中的游戏对象之间的虚拟现实交互。
参照图8，图8为本发明基于Unity3D的虚拟现实交互装置第二实施例的功能模块示意图。本实施例中，所述基于Unity3D的虚拟现实交互装置还包括：
Unity3D引擎模块50，用于当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
本实施例中进一步设置主相机摄像方式为正交模式，并且将双目相机的视角在水平方向上放大k倍，k为正数。
可选的，在一实施例中，优选K等于2，也即将双目相机的视角在水平方向上放大2倍，进而可实现双目相机中两单目相机画面存在位差。
所述Unity3D引擎模块50还用于：创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；以及创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；以及创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
所述Unity3D引擎模块50还用于：将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；以及使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
本实施例中，n为正数。在一实施例中，优选n等于1/2。
基于与上述本发明基于Unity3D的虚拟现实交互方法相同的实施例说明内容，因此本实施例对基于Unity3D的虚拟现实交互装置的实施例内容不做过多赘述。
通常，Unity3D画面的信号源输送到3D显示器处理后并不会呈现出3D显示效果，而本实施例基于Unity3D模拟真实玩家左右眼分别看到的画面，并将其横向压缩，从而使得新格式的压缩画面输入3D显示终端(比如3D显示器)后将会呈现3D显示效果，从而实现了基于Unity3D的虚拟现实交互画面的3D显示。
本发明还提供一种计算机可读存储介质。
本实施例中，计算机可读存储介质上存储有基于Unity3D的虚拟现实交互程序，所述基于Unity3D的虚拟现实交互程序被处理器执行时实现如上述任一项实施例中所述的基于Unity3D的虚拟现实交互方法的步骤。其中，基于Unity3D的虚拟现实交互程序被处理器执行时所实现的方法可参照本发明基于Unity3D的虚拟现实交互方法的各个实施例，因此不再过多赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。
Claims (10)
1.一种基于Unity3D的虚拟现实交互方法，其特征在于，所述基于Unity3D的虚拟现实交互方法包括以下步骤：
与光学动作捕捉系统建立通信连接；
通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
2.如权利要求1所述的基于Unity3D的虚拟现实交互方法，其特征在于，所述分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换包括：
创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
3.如权利要求1或2所述的基于Unity3D的虚拟现实交互方法，其特征在于，所述基于Unity3D的虚拟现实交互方法还包括：
当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；
创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；
创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；
使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
4.如权利要求3所述的基于Unity3D的虚拟现实交互方法，其特征在于，k等于2，n等于1/2。
5.一种基于Unity3D的虚拟现实交互装置，其特征在于，所述基于Unity3D的虚拟现实交互装置包括：
连接模块，用于与光学动作捕捉系统建立通信连接；
获取模块，用于通过VRPN协议接收光学动作捕捉系统实时捕获的真实场景中真实对象的刚体位置数据与刚体旋转数据，其中，所述刚体位置数据为三维坐标向量、所述刚体旋转数据为四元数；
变换模块，用于分别对所述刚体位置数据、所述刚体旋转数据进行左右手坐标系变换，其中，真实场景采用右手坐标系、虚拟场景采用左手坐标系；
映射模块，用于当渲染生成虚拟场景中虚拟对象的视角画面时，将变换坐标系后真实对象的刚体位置数据与刚体旋转数据同步映射至虚拟对象，以供虚拟对象模拟真实对象的动作。
6.如权利要求5所述的基于Unity3D的虚拟现实交互装置，其特征在于，所述变换模块包括：
创建单元，用于创建左手坐标系对应的三维坐标向量参数以及四元数参数，其中，所述四元数参数的虚部系数为三维坐标向量；
位置变换单元，用于将右手坐标系下所述刚体位置数据的x轴向量数据赋值左手坐标系下x轴向量参数，以及将右手坐标系下所述刚体位置数据的z轴向量数据赋值左手坐标系下y轴向量参数，以及将右手坐标系下所述刚体位置数据的y轴向量数据赋值左手坐标系下z轴向量参数；
旋转变换单元，用于将右手坐标系下所述刚体旋转数据对应虚部系数的x轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的x轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的z轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的y轴向量，以及将右手坐标系下所述刚体旋转数据对应虚部系数的y轴向量数据赋值左手坐标系下所述四元数参数对应虚部系数的z轴向量，以及将右手坐标系下所述刚体旋转数据对应实部的负值赋值左手坐标系下所述四元数参数对应实部。
7.如权利要求5或6所述的基于Unity3D的虚拟现实交互装置，其特征在于，所述基于Unity3D的虚拟现实交互装置还包括：
Unity3D引擎模块，用于当渲染生成虚拟场景中虚拟对象的视角画面时，创建主相机和用于模拟虚拟对象左右眼的双目相机，并设置主相机摄像方式为正交模式、将所述双目相机的视角在水平方向上放大k倍；
所述Unity3D引擎模块还用于：创建两个渲染纹理RenderTexture，并将双目相机渲染的虚拟对象的视角画面分别保存到对应RenderTexture内；以及创建两个材质球，并使用两个RenderTexture分别作为两个材质球的主贴图；以及创建两个用于播放双目相机画面的第一显示面板和第二显示面板，并将两个材质球分别赋值所述第一显示面板和第二显示面板；
所述Unity3D引擎模块还用于：将所述第一显示面板和第二显示面板分别沿水平方向缩小n倍，并将缩小后的所述第一显示面板和第二显示面板沿水平方向拼接为第三显示面板；以及使用所述主相机渲染所述第三显示面板中的画面，得到压缩后的画面并输出至3D显示终端进行播放。
8.如权利要求7所述的基于Unity3D的虚拟现实交互装置，其特征在于，k等于2，n等于1/2。
9.一种基于Unity3D的虚拟现实交互设备，其特征在于，所述基于Unity3D的虚拟现实交互设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于Unity3D的虚拟现实交互程序，所述基于Unity3D的虚拟现实交互程序被所述处理器执行时实现如权利要求1-4中任一项所述的基于Unity3D的虚拟现实交互方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于Unity3D的虚拟现实交互程序，所述基于Unity3D的虚拟现实交互程序被处理器执行时实现如权利要求1-4中任一项所述的基于Unity3D的虚拟现实交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910613086.8A CN110568923A (zh) | 2019-07-09 | 2019-07-09 | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910613086.8A CN110568923A (zh) | 2019-07-09 | 2019-07-09 | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110568923A true CN110568923A (zh) | 2019-12-13 |
Family
ID=68772934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910613086.8A Pending CN110568923A (zh) | 2019-07-09 | 2019-07-09 | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110568923A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111082897A (zh) * | 2019-12-26 | 2020-04-28 | 深圳市瑞立视多媒体科技有限公司 | 解决编码式主动光动捕系统同步通讯丢包方法及相关设备 |
| CN111538252A (zh) * | 2020-05-25 | 2020-08-14 | 厦门大学 | 一种应用vr技术的智能家居演示系统 |
| CN111833462A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
| CN111984114A (zh) * | 2020-07-20 | 2020-11-24 | 深圳盈天下视觉科技有限公司 | 基于虚拟空间的多人交互系统及其多人交互方法 |
| CN112037314A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
| CN112206524A (zh) * | 2020-09-16 | 2021-01-12 | 深圳市瑞立视多媒体科技有限公司 | Ue4引擎中拾取虚拟物品的信息处理方法和装置 |
| CN112565555A (zh) * | 2020-11-30 | 2021-03-26 | 魔珐(上海)信息科技有限公司 | 虚拟相机拍摄方法、装置、电子设备及存储介质 |
| CN113676753A (zh) * | 2021-10-21 | 2021-11-19 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
| CN116070464A (zh) * | 2023-03-07 | 2023-05-05 | 四川宏华电气有限责任公司 | 一种虚拟现实的钻井井场仿真系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090187389A1 (en) * | 2008-01-18 | 2009-07-23 | Lockheed Martin Corporation | Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave |
| CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
| CN109671141A (zh) * | 2018-11-21 | 2019-04-23 | 深圳市腾讯信息技术有限公司 | 图像的渲染方法和装置、存储介质、电子装置 |
-
2019
- 2019-07-09 CN CN201910613086.8A patent/CN110568923A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090187389A1 (en) * | 2008-01-18 | 2009-07-23 | Lockheed Martin Corporation | Immersive Collaborative Environment Using Motion Capture, Head Mounted Display, and Cave |
| CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
| CN109671141A (zh) * | 2018-11-21 | 2019-04-23 | 深圳市腾讯信息技术有限公司 | 图像的渲染方法和装置、存储介质、电子装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111082897A (zh) * | 2019-12-26 | 2020-04-28 | 深圳市瑞立视多媒体科技有限公司 | 解决编码式主动光动捕系统同步通讯丢包方法及相关设备 |
| CN111082897B (zh) * | 2019-12-26 | 2021-05-18 | 深圳市瑞立视多媒体科技有限公司 | 解决编码式主动光动捕系统同步通讯丢包方法及相关设备 |
| CN111538252A (zh) * | 2020-05-25 | 2020-08-14 | 厦门大学 | 一种应用vr技术的智能家居演示系统 |
| CN111833462A (zh) * | 2020-07-14 | 2020-10-27 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
| CN111833462B (zh) * | 2020-07-14 | 2024-05-17 | 深圳市瑞立视多媒体科技有限公司 | 基于虚幻引擎的切割方法、装置、设备及存储介质 |
| CN111984114A (zh) * | 2020-07-20 | 2020-11-24 | 深圳盈天下视觉科技有限公司 | 基于虚拟空间的多人交互系统及其多人交互方法 |
| CN112037314A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
| CN112206524B (zh) * | 2020-09-16 | 2022-06-10 | 深圳市瑞立视多媒体科技有限公司 | Ue4引擎中拾取虚拟物品的信息处理方法和装置 |
| CN112206524A (zh) * | 2020-09-16 | 2021-01-12 | 深圳市瑞立视多媒体科技有限公司 | Ue4引擎中拾取虚拟物品的信息处理方法和装置 |
| CN112565555A (zh) * | 2020-11-30 | 2021-03-26 | 魔珐(上海)信息科技有限公司 | 虚拟相机拍摄方法、装置、电子设备及存储介质 |
| CN113676753B (zh) * | 2021-10-21 | 2022-02-15 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
| CN113676753A (zh) * | 2021-10-21 | 2021-11-19 | 北京拾音科技文化有限公司 | Vr场景中展示视频的方法、装置、电子设备和存储介质 |
| CN116070464A (zh) * | 2023-03-07 | 2023-05-05 | 四川宏华电气有限责任公司 | 一种虚拟现实的钻井井场仿真系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568923A (zh) | 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质 | |
| US9654734B1 (en) | Virtual conference room | |
| US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
| Hilliges et al. | HoloDesk: direct 3d interactions with a situated see-through display | |
| EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| US10726625B2 (en) | Method and system for improving the transmission and processing of data regarding a multi-user virtual environment | |
| CA2550512A1 (en) | 3d videogame system | |
| CN105429989A (zh) | 虚拟现实设备的模拟旅游方法及系统 | |
| US20190026935A1 (en) | Method and system for providing virtual reality experience based on ultrasound data | |
| CN109144252B (zh) | 对象确定方法、装置、设备和存储介质 | |
| CN109840946B (zh) | 虚拟对象显示方法及装置 | |
| CN113426117B (zh) | 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质 | |
| CN112884860B (zh) | 水面波纹效果生成方法、装置、电子设备和存储介质 | |
| CN108830944B (zh) | 光学透视式三维近眼显示系统及显示方法 | |
| JP2001126085A (ja) | 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法 | |
| CN110570357A (zh) | 基于ue4引擎的镜像实现方法、装置、设备及存储介质 | |
| WO2023240999A1 (zh) | 虚拟现实场景确定方法、装置及系统 | |
| CN108986228B (zh) | 用于虚拟现实中界面显示的方法及装置 | |
| CN116958344A (zh) | 虚拟形象的动画生成方法、装置、计算机设备及存储介质 | |
| CN113678173A (zh) | 用于虚拟对象的基于图绘的放置的方法和设备 | |
| JP4229316B2 (ja) | 画像生成システム、プログラム及び情報記憶媒体 | |
| Garcia et al. | Modifying a game interface to take advantage of advanced I/O devices | |
| Zhu et al. | Integrated Co-Designing Using Building Information Modeling and Mixed Reality with Erased Backgrounds for Stock Renovation | |
| CN113476835B (zh) | 一种画面显示的方法及装置 | |
| US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191213 |