CN110519247A - 一种一对多虚拟现实展示方法及装置 - Google Patents
一种一对多虚拟现实展示方法及装置 Download PDFInfo
- Publication number
- CN110519247A CN110519247A CN201910760316.3A CN201910760316A CN110519247A CN 110519247 A CN110519247 A CN 110519247A CN 201910760316 A CN201910760316 A CN 201910760316A CN 110519247 A CN110519247 A CN 110519247A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- exhibitor
- reality device
- data
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 51
- 238000009877 rendering Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 201000003152 motion sickness Diseases 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 208000012886 Vertigo Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例公开了一种一对多虚拟现实展示方法及装置，方法包括：实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包，对数据包进行解包解码，获取当前姿态数据，计算展示者虚拟现实设备的姿态数据与当前姿态数据的差值，根据姿态数据的差值、展示者虚拟现实设备的视场角和展示对象虚拟现实设备的视场角将展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上。本发明每台虚拟现实设备会根据当前设备实际的姿态进行渲染，从而使得各自的展示对象以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化，因为展示对象的动作与所见的画面是匹配的，从而避免了晕动症的产生。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种一对多虚拟现实展示方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)技术是当前正在快速发展的新兴智能硬件形态。利用计算机及显示设备模拟产生一个三维虚拟世界，将使用者的真实运动实时计算并视觉为主、其他感官为辅的方式反馈给使用者，给人更强的身临其境的沉浸感。
常见的虚拟现实应用的实时计算与反馈通常只针对单个用户。虚拟现实技术因其身临其境的沉浸感，被广泛应用于各个行业，其中教育、培训、旅游等行业因其特殊性，存在一人(操作)展示、多人观看的“一对多”展示需求。具体的，需要有一个展示者负责与场景的交互以及引导内容的展示，若干展示对象旁观展示者的操作，并且共享展示者的视野(和其他感官)。在确保展示者的正常体验的同时，带给展示对象实时的沉浸体验。
现有一对多的展示技术有两种方案，第一种现有方案是类似网络游戏的方式，本质上，是每个虚拟设备终端分别渲染了各自的虚拟场景内容，通过网络通信技术实时共享实现定义的操作指令和数据变化。使得使用者感觉访问了“同一个”虚拟场景，进行了实时的互动。该方法缺点在于：一方面在软件上需要特殊定制支持网络通信的应用内容，另一方面在硬件上每一台设备都需要较高的性能进行独立渲染。第二种现有方案采用了视频、音频信号的一拖多的分线器，使得展示对象能够完全共享展示者的视觉、听觉。这种方案的成本较低，仅需要一台高性能电脑负责展示者的虚拟现实设备进行实时计算，展示对象只需要若干台虚拟现实头盔即可。该方案的缺点在于显示画面是完全跟随展示者而非展示对象的头部动作，而两者往往是不匹配的，从而会造成展示对象的强烈眩晕感(晕动症)从而影响沉浸效果。
发明内容
本发明实施例提供一种一对多虚拟现实展示方法及装置，用以解决现有技术中不支持任意的虚拟现实应用，需特殊定制应用内容，会造成展示对象的眩晕感的问题。
第一方面，本发明实施例提供一种一对多虚拟现实展示方法，包括：
实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；
获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；
根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。
上述方案，虚拟现实SDK服务端除了获取展示者虚拟现实设备的当前姿态等数据，并将虚拟现实应用左右眼的内容输出给展示对象虚拟现实设备之外，同时虚拟现实SDK服务端会将该左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据等)，通过网络通信模块广播发送给N台展示对象虚拟现实设备，每台虚拟现实设备通过网络通信模块各自独立接收到虚拟现实SDK服务端发送的网络数据包之后，独立进行解码并渲染到各自的屏幕上，由于数据包中已经包含了对应的姿态数据，每台虚拟现实设备会根据当前设备实际的姿态进行渲染，从而使得各自的展示对象以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化(而非跟随展示者的头部姿态变化)，因为展示对象的动作与所见的画面是匹配的，从而避免了晕动症的产生。
可选的，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
需要说明的是，虚拟现实SDK服务端运行在服务器模块上，普通的虚拟现实应用运行在服务器模块上，该应用调用虚拟现实SDK服务端，获取展示者虚拟现实设备的姿态数据。虚拟现实SDK服务端将虚拟现实应用的左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据、视场角等等)打包成符合通信协议的数据包，通过网络通信模块广播发送给N台展示对象虚拟现实设备E。
可选的，在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，还包括：
通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。
上述方案，网络通信模块用于实现一对多展示功能中的服务器模块和多台展示对象虚拟现实设备的组网、配对、通信功能。该模块包含通信所需的硬件部分，通信方式包括但不限于无线或有线通信的方式，并且定义了以服务器模块为服务端，展示对象虚拟现实设备为客户端的通信协议。
可选的，当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
上述方案，在网络丢包或者视频流帧率跟不上展示对象虚拟现实设备屏幕刷新率的时候还需要进行插帧计算(包括但不限于使用异步时间扭曲算法进行插帧)，从而使得各自的用户(展示对象)以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化，从而避免了晕动症的产生。
第二方面，本发明实施例提供一种一对多虚拟现实展示系统，包括：
获取模块，用于实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
处理模块，用于对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。
可选的，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
可选的，所述处理模块还用于：
在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。
可选的，所述处理模块还用于：
当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
第三方面，本发明实施例提供一种计算机设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述第一方面所述的方法。
第四方面，本发明实施例提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述第一方面所述的方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构的示意图；
图2为本发明实施例提供的一种一对多虚拟现实展示方法的流程示意图；
图3为本发明实施例提供的一种展示对象虚拟现实设备的屏幕渲染效果图；
图4为本发明实施例提供的一种展示对象虚拟现实设备的屏幕渲染效果图；
图5为本发明实施例提供的一种一对多虚拟现实展示方法的流程示意图；
图6为本发明实施例提供的一种一对多虚拟现实展示装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。
图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以包括服务器模块100、网络通信模块200、展示者虚拟现实设备300和展示对象虚拟现实设备400。
其中，服务器模块100包括虚拟现实SDK服务端，服务器模块100运行了虚拟现实应用，该虚拟现实应用通过虚拟现实SDK服务端将虚拟现实场景实时计算而后反馈给展示者虚拟现实设备300。其中，服务器模块100和展示者虚拟现实设备300的连接方式可能通过网络通信模块(例如云VR方式)，也可能不通过网络通信模块而直接连接(例如普通的PC VR方式)。
网络通信模块200用于实现一对多展示功能中的服务器模块100和展示对象虚拟现实设备400的组网、配对、通信功能。该模块包含通信所需的硬件部分，通信方式包括但不限于无线或有线通信的方式，并且定义了以服务器模块100为服务端，展示对象虚拟现实设备400为客户端的通信协议。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
基于上述描述，图2示例性的示出了一种一对多虚拟现实展示方法的流程。
如图2所示，该流程具体包括：
步骤201，实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包。
进一步的，数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
具体的，虚拟现实SDK服务端除了获取虚拟现实设备的当前姿态等数据，并将虚拟现实应用左右眼的内容输出给展示者虚拟现实设备之外，同时虚拟现实SDK服务端会将该左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据等)，通过网络通信模块广播发送给N台展示对象虚拟现实设备。
需要说明的是，在步骤201之前，展示对象虚拟现实设备通过网络通信模块与虚拟现实SDK服务端配对并通信。
进一步的，网络通信模块用于实现一对多展示功能中的服务器模块和多台展示对象虚拟现实设备的组网、配对、通信功能。该模块包含通信所需的硬件部分，通信方式包括但不限于无线或有线通信的方式，并且定义了以服务器模块为服务端，展示对象虚拟现实设备为客户端的通信协议。
步骤202，对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容。
具体的，每台展示对象虚拟现实设备遵照网络通信模块定义的通信协议接入网络通信模块，可与虚拟现实SDK服务端配对并通信，并实时接收到虚拟现实SDK服务端通过网络通信模块发送的广播数据包，随后进行相应的解包和解码。
进一步的，当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
具体的，在网络丢包或者视频流帧率跟不上展示对象虚拟现实设备屏幕刷新率的时候还需要进行插帧计算(包括但不限于使用异步时间扭曲算法进行插帧)，从而使得各自的用户(展示对象)以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化，从而避免了晕动症的产生。
步骤203，获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值。
步骤204，根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上。
进一步的，每台展示对象虚拟现实设备进行相应的解包和解码后根据数据包中的画面内容对应姿态数据与当前设备的实际姿态、镜片畸变等信息综合起来进行上屏渲染。其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。
具体的，每台展示对象虚拟现实设备通过网络通信模块各自独立接收到虚拟现实SDK服务端发送的网络数据包之后，独立进行解码并渲染到各自的屏幕上，由于数据包中已经包含了对应的姿态数据，每台展示对象虚拟现实设备会根据当前设备实际的姿态进行渲染，从而使得展示对象以各自的姿态看到的内容会跟随展示对象的头部姿态转动而变化(而非跟随展示者的头部姿态变化)，因为展示对象的动作与所见的画面是匹配的，从而避免了晕动症的产生。
为了更好的解释上述实施例，图3为本发明实施例提供的一种展示对象虚拟现实设备的屏幕渲染效果图。
图3的a图为展示对象虚拟现实设备接收到的展示者虚拟现实设备的画面内容，其中，画面内容与展示者虚拟现实设备的姿态数据一一对应。
具体的，展示者虚拟现实设备与展示对象虚拟现实设备均建立了惯性坐标系，姿态数据的计算通过四元数进行，采用四元数法计算量小，简单高效。展示对象虚拟现实设备根据姿态数据的差值将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上。举例来说，在视场角差值为零且网络通信模块传输无损耗的理想状态下，展示对象虚拟现实设备接收到的画面内容如图3a，此时展示对象的头部姿态相对于展示者的头部姿态水平向右旋转，此时展示对象虚拟现实设备渲染的屏幕如图3的b图，其中，预设场景部分黑屏或为本地存储的预设场景，提高用户的沉浸体验感。
为了更好的解释上述实施例，图4为本发明实施例提供的一种展示对象虚拟现实设备。
图4的a图为展示对象虚拟现实设备接收到的展示者虚拟现实设备的画面内容，展示对象虚拟现实设备计算展示者虚拟现实设备的视场角以及当前视场角将展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上。在姿态数据差值为零，且网络传输无损耗的理想状态下展示对象屏幕渲染的一种实施例如图4的b图，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。在本发明的一种实施例中可根据客户使用需求比如对屏幕渲染呈现效果的要求适当调整视场角差值以使用户的沉浸体验具备真实感。
为了更好的解释上述实施例，图5为本发明实施例提供的一种一对多虚拟现实展示方法的流程图。
步骤501：接收展示者虚拟现实设备的视场角、姿态数据；
步骤502：将视场角、姿态数据发送给虚拟现实应用；
步骤503：将虚拟现实应用输出的内容发送给展示者虚拟现实设备；
步骤504：将虚拟现实应用输出的内容处理后发送给网络通信模块；
具体的，虚拟现实SDK服务端除了获取展示者虚拟现实设备的当前姿态等数据，并将虚拟现实应用左右眼的内容输出给展示对象虚拟现实设备之外，同时虚拟现实SDK服务端会将该左右眼内容实时编码成视频流，并结合其他数据(例如当前内容对应的姿态数据、当前的视频帧编号、校验码、音频数据等)，通过网络通信模块广播发送给N台展示对象虚拟现实设备。
步骤505：检测当前丢包率是否大于丢包率阈值，若是则执行步骤506，若否，则执行步骤509；
步骤506：切换信道；检测当前丢包率是否大于丢包率阈值，若是则继续切换信道，若否，则保持当前状态；
步骤507：判断所有信道是否已尝试，若是，则执行步骤508，若否，则返回步骤506；
步骤508：重启设备，重新连接。
基于相同的技术构思，图6示例性的示出了本发明实施例提供一种一对多虚拟现实展示装置的结构，该装置可以执行一对多虚拟现实展示方法的流程。
如图6所示，该装置可以包括：
获取模块601，用于实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
处理模块602，用于对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。可选的，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
可选的，所述处理模块602还用于：在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。
可选的，所述处理模块602还用于：
当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述一对多虚拟现实展示方法。
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述一对多虚拟现实展示方法。
最后应说明的是：本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种一对多虚拟现实展示方法，其特征在于，包括：
实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；
获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；
根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。
2.根据权利要求1所述的方法，其特征在于，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
3.根据权利要求1所述的方法，其特征在于，在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，还包括：
通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
5.一种一对多虚拟现实展示装置，其特征在于，包括：
获取模块，用于实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包；
处理模块，用于对所述数据包进行解包解码，得到展示者虚拟现实设备的视场角、姿态数据和姿态数据对应的画面内容；获取当前姿态数据，计算所述展示者虚拟现实设备的姿态数据与所述当前姿态数据的差值；根据所述姿态数据的差值、所述展示者虚拟现实设备的视场角和所述展示对象虚拟现实设备的视场角将所述展示者虚拟现实设备的画面进行处理并实时渲染到屏幕上；其中，姿态数据的差值用于确认屏幕渲染的位置，展示者虚拟现实设备的视场角以及展示对象虚拟现实设备的视场角用于确认画面内容的视角。
6.根据权利要求5所述的装置，其特征在于，所述数据包由虚拟现实SDK服务端将接收的所述展示者虚拟现实设备的姿态数据发送至虚拟现实应用后将所述虚拟现实应用输出的所述姿态数据对应的画面内容进行实时编码打包得到。
7.根据权利要求5所述的装置，其特征在于，所述处理模块还用于：
在所述实时接收虚拟现实SDK服务端通过网络通信模块传输的数据包之前，通过所述网络通信模块与所述虚拟现实SDK服务端配对并通信。
8.如权利要求5至7任一项所述的装置，其特征在于，所述处理模块还用于：
当网络丢包或视频流帧率大于所述展示对象虚拟现实设备刷新率时进行插帧计算。
9.一种计算设备，其特征在于，包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至4任一项所述的方法。
10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760316.3A CN110519247B (zh) | 2019-08-16 | 2019-08-16 | 一种一对多虚拟现实展示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760316.3A CN110519247B (zh) | 2019-08-16 | 2019-08-16 | 一种一对多虚拟现实展示方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110519247A true CN110519247A (zh) | 2019-11-29 |
| CN110519247B CN110519247B (zh) | 2022-01-21 |
Family
ID=68625544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910760316.3A Active CN110519247B (zh) | 2019-08-16 | 2019-08-16 | 一种一对多虚拟现实展示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110519247B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111298427A (zh) * | 2020-02-04 | 2020-06-19 | 南京大学 | 一种在虚拟现实云游戏系统中降低画面抖动的方法 |
| CN112015272A (zh) * | 2020-03-10 | 2020-12-01 | 简吉波 | 虚拟现实系统及虚拟现实对象控制装置 |
| CN113141346A (zh) * | 2021-03-16 | 2021-07-20 | 青岛小鸟看看科技有限公司 | 基于串流的vr一拖多系统及方法 |
| CN113176868A (zh) * | 2021-03-16 | 2021-07-27 | 青岛小鸟看看科技有限公司 | 智能设备的一拖多系统及方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001337294A (ja) * | 2000-05-25 | 2001-12-07 | Yoshihito Koizumi | ヘッドマウントディスプレイに姿勢角検出機能を追加する装置 |
| CN105976424A (zh) * | 2015-12-04 | 2016-09-28 | 乐视致新电子科技（天津）有限公司 | 一种图像渲染处理的方法及装置 |
| CN106383596A (zh) * | 2016-11-15 | 2017-02-08 | 北京当红齐天国际文化发展集团有限公司 | 基于空间定位的虚拟现实防晕眩系统及方法 |
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实系统及其场景呈现方法 |
| US20170076503A1 (en) * | 2015-09-16 | 2017-03-16 | Bandai Namco Entertainment Inc. | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device |
| CN206601680U (zh) * | 2016-11-15 | 2017-10-31 | 北京当红齐天国际文化发展集团有限公司 | 基于空间定位的虚拟现实防晕眩系统 |
| CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
| CN107835404A (zh) * | 2017-11-13 | 2018-03-23 | 歌尔科技有限公司 | 基于头戴式虚拟现实设备的图像显示方法、设备及系统 |
| CN108107578A (zh) * | 2017-12-14 | 2018-06-01 | 腾讯科技（深圳）有限公司 | 虚拟现实的视角调节方法、装置、计算设备及存储介质 |
| CN108509170A (zh) * | 2018-03-22 | 2018-09-07 | 上海皮格猫信息科技有限公司 | 一种共享视野的虚拟现实管理系统及方法 |
| CN109003336A (zh) * | 2018-07-09 | 2018-12-14 | 深圳截明电子科技有限公司 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
| CN209183027U (zh) * | 2018-07-31 | 2019-07-30 | 江苏第二师范学院（江苏省教育科学研究院） | 一种基于vr虚拟现实的教育教学系统 |
-
2019
- 2019-08-16 CN CN201910760316.3A patent/CN110519247B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001337294A (ja) * | 2000-05-25 | 2001-12-07 | Yoshihito Koizumi | ヘッドマウントディスプレイに姿勢角検出機能を追加する装置 |
| CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
| US20170076503A1 (en) * | 2015-09-16 | 2017-03-16 | Bandai Namco Entertainment Inc. | Method for generating image to be displayed on head tracking type virtual reality head mounted display and image generation device |
| CN105976424A (zh) * | 2015-12-04 | 2016-09-28 | 乐视致新电子科技（天津）有限公司 | 一种图像渲染处理的方法及装置 |
| CN106383596A (zh) * | 2016-11-15 | 2017-02-08 | 北京当红齐天国际文化发展集团有限公司 | 基于空间定位的虚拟现实防晕眩系统及方法 |
| CN206601680U (zh) * | 2016-11-15 | 2017-10-31 | 北京当红齐天国际文化发展集团有限公司 | 基于空间定位的虚拟现实防晕眩系统 |
| CN106502427A (zh) * | 2016-12-15 | 2017-03-15 | 北京国承万通信息科技有限公司 | 虚拟现实系统及其场景呈现方法 |
| CN107835404A (zh) * | 2017-11-13 | 2018-03-23 | 歌尔科技有限公司 | 基于头戴式虚拟现实设备的图像显示方法、设备及系统 |
| CN108107578A (zh) * | 2017-12-14 | 2018-06-01 | 腾讯科技（深圳）有限公司 | 虚拟现实的视角调节方法、装置、计算设备及存储介质 |
| CN108509170A (zh) * | 2018-03-22 | 2018-09-07 | 上海皮格猫信息科技有限公司 | 一种共享视野的虚拟现实管理系统及方法 |
| CN109003336A (zh) * | 2018-07-09 | 2018-12-14 | 深圳截明电子科技有限公司 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
| CN209183027U (zh) * | 2018-07-31 | 2019-07-30 | 江苏第二师范学院（江苏省教育科学研究院） | 一种基于vr虚拟现实的教育教学系统 |
Non-Patent Citations (1)
| Title |
|---|
| 宁瑞忻，朱尊杰，邵碧尧，龚冰剑，颜成钢: "基于视觉的虚拟现实与增强现实融合技术_宁瑞忻.tif", 《科技导报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111298427A (zh) * | 2020-02-04 | 2020-06-19 | 南京大学 | 一种在虚拟现实云游戏系统中降低画面抖动的方法 |
| CN112015272A (zh) * | 2020-03-10 | 2020-12-01 | 简吉波 | 虚拟现实系统及虚拟现实对象控制装置 |
| CN112015272B (zh) * | 2020-03-10 | 2022-03-25 | 北京欧倍尔软件技术开发有限公司 | 虚拟现实系统及虚拟现实对象控制装置 |
| CN113141346A (zh) * | 2021-03-16 | 2021-07-20 | 青岛小鸟看看科技有限公司 | 基于串流的vr一拖多系统及方法 |
| CN113176868A (zh) * | 2021-03-16 | 2021-07-27 | 青岛小鸟看看科技有限公司 | 智能设备的一拖多系统及方法 |
| US11663795B2 (en) | 2021-03-16 | 2023-05-30 | Qingdao Pico Technology Co., Ltd. | Streaming-based VR multi-split system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110519247B (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110519247A (zh) | 一种一对多虚拟现实展示方法及装置 | |
| Orlosky et al. | Virtual and augmented reality on the 5G highway | |
| CN107247548B (zh) | 图像显示方法、图像处理方法及装置 | |
| US11290573B2 (en) | Method and apparatus for synchronizing viewing angles in virtual reality live streaming | |
| CN105791977B (zh) | 基于云服务的虚拟现实数据处理方法、设备及系统 | |
| US12081908B2 (en) | Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof | |
| KR102491140B1 (ko) | 가상 아바타 생성 방법 및 장치 | |
| CN106919248A (zh) | 应用于虚拟现实的内容传输方法以及设备 | |
| CN109613984A (zh) | Vr直播中视频图像的处理方法、设备及系统 | |
| WO2018207046A1 (en) | Methods, systems and devices supporting real-time interactions in augmented reality environments | |
| US11508128B2 (en) | Shared room scale virtual and mixed reality storytelling for a multi-person audience that may be physically co-located | |
| CN108702454A (zh) | 选择运载工具捕获的视频的部分以用于显示 | |
| US11461942B2 (en) | Generating and signaling transition between panoramic images | |
| CN109845275A (zh) | 用于视场虚拟现实流传输的会话控制支持的方法和装置 | |
| Roberts et al. | withyou—an experimental end-to-end telepresence system using video-based reconstruction | |
| CN111298427A (zh) | 一种在虚拟现实云游戏系统中降低画面抖动的方法 | |
| US20230306654A1 (en) | Augmented reality interactive display method and device | |
| CN109511004A (zh) | 一种视频处理方法及装置 | |
| CN104765636B (zh) | 一种远程桌面图像的合成方法和装置 | |
| Yu et al. | Toward 6g-based metaverse: Supporting highly-dynamic deterministic multi-user extended reality services | |
| CN116152416A (zh) | 基于扩展现实的画面渲染方法、装置及存储介质 | |
| Fechteler et al. | A framework for realistic 3D tele-immersion | |
| CN118071898A (zh) | 一种基于高斯泼溅方法的三维人脸生成与驱动方法 | |
| EP4156109A1 (en) | Apparatus and method for establishing a three-dimensional conversational service | |
| US11838488B2 (en) | Method and apparatus for providing conversational services in mobile communication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 200125 floor 1, building 3, No. 239, Mindong Road, Pudong New Area, Shanghai Patentee after: Lexiang Technology Co.,Ltd. Country or region after: China Address before: 200125 floor 1, building 3, No. 239, Mindong Road, Pudong New Area, Shanghai Patentee before: SHANGHAI LEXIANG TECHNOLOGY Co.,Ltd. Country or region before: China |