CN109003336A - 虚拟现实影像的处理方法、系统及计算机可读存储介质 - Google Patents
虚拟现实影像的处理方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109003336A CN109003336A CN201810748248.4A CN201810748248A CN109003336A CN 109003336 A CN109003336 A CN 109003336A CN 201810748248 A CN201810748248 A CN 201810748248A CN 109003336 A CN109003336 A CN 109003336A
- Authority
- CN
- China
- Prior art keywords
- image data
- value
- client
- final
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 81
- 230000005540 biological transmission Effects 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 12
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 12
- 208000002173 dizziness Diseases 0.000 abstract description 7
- 210000003128 head Anatomy 0.000 description 134
- 238000010586 diagram Methods 0.000 description 14
- 230000008929 regeneration Effects 0.000 description 9
- 238000011069 regeneration method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 230000001172 regenerating effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000010267 cellular communication Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟现实影像的处理方法、系统及计算机可读存储介质，其中，虚拟现实影像的处理方法包括：在接收到服务器发送的VR压缩影像数据时，客户端对VR压缩影像数据进行解码得到VR影像数据；客户端获取用户头部姿势值；客户端将用户头部姿势值与VR影像数据中的预测头部姿势值融合得到最终头部姿势值；基于最终头部姿势值，客户端设定最终视角，放大了视角；客户端从VR影像数据中提取与最终视角相匹配的最终VR影像数据；客户端显示最终VR影像数据。通过本发明，去除现有技术的VR影像数据中基于延迟率的变化的黑边现象，从而可实现虚拟现实空间的整体视点无抖动地可自然地再生影像，并去除用户的头晕症状。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及虚拟现实影像的处理方法、系统及计算机可读存储介质。
背景技术
VR(VirtualReality，虚拟现实)是由计算机生成的虚拟空间，是通过三维视觉效果赋予现实感的空间，用于实现虚拟现实的技术作为通过实时处理用户的输入来使人感觉置身于现实世界中的感觉的技术，是超越多媒体的下一代技术。
虚拟现实环境对用户提供逼真的专注感，从而不仅能够模拟实际存在的物体，还可以使用户体验实际上不存在的物体或状况。这种虚拟现实环境可适用于多种领域。例如，已广泛应用于从汽车设计或模拟实验等的工学领域到医疗领域、文化领域等的多种领域。
按照观点这种虚拟现实被与虚拟环境(VirtualEnvironment)、虚拟临场(VirtualPresence)、人工世界(ArtificalWorld)、虚拟世界(VirtualWorld)、网络空间(Cyber space)等的术语混用，但一般而言可以是指如下的技术，即，对用户提供计算机所制造的与实际设计类似的三维虚拟世界，并提供能够与上述虚拟世界实时自由进行操作的输入机构和与对应于用户的操作而提供实际感觉的传感反馈(Sensoryfeedback)机构，从而可使用户体验人工的体验的经验。
而且，最近随着技术的发展出现了许多可利用虚拟现实内容的装置。以往，为了生成高规格的虚拟现实影像，用电缆将虚拟现实再生装置连接到台式计算机等的个人电脑后，用户通过佩戴来利用。然而，在这种情况下，存在如下的问题，即，因电缆而使用户的佩戴虚拟现实装置后可活动的行动半径受到限制，并且在佩戴虚拟现实装置，不能确认外部的状态下，可发生被电缆绊倒等的事故。并且，还存在只有在有个人电脑的情况下，才能利用虚拟现实装置享受虚拟现实影像的不便。
并且，最近出现了将移动终端结合到虚拟现实装置，移动终端在执行用于生成的信息处理后，向虚拟现实装置进行传输的方式。作为执行信息处理的计算机的移动终端与再生用虚拟现实装置虽然有线连接，但由于移动终端可结合到虚拟现实装置，因而可解决基于电缆而产生的问题。然而，与个人电脑相比移动终端难以驱动高规格的程序，因此存在难以驱动高规格的虚拟现实游戏或难以再生高分辨率的虚拟现实影像的问题。
为了改善上述问题，现有技术已开发出了利用无线传输的虚拟现实影像再生技术，但该技术会产生如下问题：
当通过无线通信传输虚拟现实影像数据时，可产生基于延迟率的变化的黑边现象问题，使得虚拟现实空间整体抖动，并提供不自然的影像，因此可导致用户头晕。
发明内容
本发明的主要目的在于提供一种虚拟现实影像的处理方法、系统及计算机可读存储介质，旨在解决现有技术中当通过无线通信传输虚拟现实影像数据时，去除基于延迟率变化的黑边现象的技术问题。
为实现上述目的，本发明提供一种虚拟现实影像的处理方法，所述虚拟现实影像的处理方法包括：
在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端获取用户头部姿势值；
所述客户端将所述用户头部姿势值与所述VR影像数据中的预测头部姿势值融合得到最终头部姿势值；
基于所述最终头部姿势值，所述客户端设定最终视角；
所述客户端从所述VR影像数据中提取与所述最终视角相匹配的最终VR影像数据；
所述客户端显示最终VR影像数据。
优选地，所述在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据的步骤之前，所述虚拟现实影像的处理方法还包括：
所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据；
所述服务器基于所述最终方向数据生成VR影像数据，其中，所述VR影像数据包含预测头部姿势值；
所述服务器将所述VR影像数据压缩且得到VR压缩影像数据后，通过无线通信将所述VR压缩影像数据发送给所述客户端。
优选地，所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据的步骤包括：
基于所述当前方向数据，所述服务器计算姿势值、变化速度值和加速度值；
所述服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值；其中，所述时间延迟值为自接收到所述当前方向数据至得到最终方向数据之间的所需时间；
所述服务器根据预测头部姿势值生成最终方向数据。
优选地，服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值的步骤包括：
所述服务器根据预存差值、姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值。
优选地，所述客户端将用户头部姿势值与预测头部姿势值进行融合，得到最终头部姿势值的步骤与所述基于所述最终头部姿势值，所述客户端设定最终视角的步骤之间，所述虚拟现实影像的处理方法还包括：
所述客户端计算用户头部姿势值与预测头部姿势值之间的差值；
所述客户端基于所述差值更新预存差值。
优选地，所述基于所述最终头部姿势值，所述客户端设定最终视角的步骤包括：
所述客户端以所述最终头部姿势值中的最终方向数据为视点基准设定最终视角。
优选地，所述服务器基于所述最终方向数据生成VR影像数据的步骤包括：
所述服务器通过所述最终方向数据为视点基准设定所述预测视角；
所述服务器基于预测视角及放大角度生成VR影像数据。
优选地，所述客户端对VR压缩影像数据进行解码得到VR影像数据的步骤包括：
所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端对所述VR影像数据进行有效性检查；
若所述VR影像数据为正常影像数据，则所述客户端基于所述VR影像数据更新预存VR影像数据；
若所述VR影像数据为缺失影像数据，则所述客户端将所述预存VR影像数据作为所述VR影像数据。
此外，为实现上述目的，本发明还提供一种虚拟现实影像的处理系统，所述虚拟现实影像的处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实影像的处理程序，所述虚拟现实影像的处理程序被所述处理器执行时实现如上所述的虚拟现实影像的处理方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实影像的处理程序，所述虚拟现实影像的处理程序被处理器执行时实现如上所述的虚拟现实影像的处理方法的步骤。
本发明中，通过客户端将用户头部姿势值与VR影像数据中的预测头部姿势值进行融合，得到最终头部姿势值，根据最终头部姿势值，设定最终视角，放大角度，且客户端从VR影像数据中提取与最终视角相适配的VR影像数据并进行再生，去除现有技术的VR影像数据中基于延迟率的变化的黑边现象，从而可实现虚拟现实空间的整体视点无抖动地可自然地再生影像，并去除用户的头晕症状。通过本发明，当生成最终VR影像数据时，预测头部姿势值适用于虚拟现实画面生成，从而可解决超过视场的问题；并且，提取最终VR影像数据后生成虚拟现实画面时，通过最终头部姿势值来生成最终VR影像数据，不需要高规格的虚拟现实影像。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的虚拟现实影像的处理系统结构示意图；
图2为本发明虚拟现实影像的处理方法第一实施例的流程示意图；
图3为本发明虚拟现实影像的处理方法第二实施例的流程示意图；
图4为本发明虚拟现实影像的处理方法第三实施例的流程示意图；
图5为本发明虚拟现实影像的处理方法第四实施例的流程示意图；
图6为本发明虚拟现实影像的处理方法第六实施例的流程示意图；
图7为本发明虚拟现实影像的处理方法第七实施例的流程示意图；
图8为本发明虚拟现实影像的处理方法的视场示例图；
图9为本发明虚拟现实影像的处理方法的有黑边现象的示例图；
图10为本发明虚拟现实影像的处理方法中放大生成虚拟现实影像区域的示例图；
图11为本发明虚拟现实影像的处理方法中预测最终头部姿势值的流程示意图；
图12为出现有虚拟现实画面生成过程和适用本发明的姿势预测过程时的视场追踪性能的曲线的示意图；
图13为本发明虚拟现实影像的处理方法中计算差值时预测最终头部姿势值的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的虚拟现实影像的处理系统结构示意图。
本发明实施例虚拟现实影像的处理系统可以是PC，也可以是智能手机、平板电脑、便携计算机等具有一定数据处理能力的终端设备。
如图1所示，该虚拟现实影像的处理系统可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的虚拟现实影像的处理系统结构并不构成对虚拟现实影像的处理系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及虚拟现实影像的处理程序。
在图1所示的虚拟现实影像的处理系统中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的虚拟现实影像的处理程序，并执行以下操作：
在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端获取用户头部姿势值；
所述客户端将所述用户头部姿势值与所述VR影像数据中的预测头部姿势值融合得到最终头部姿势值；
基于所述最终头部姿势值，所述客户端设定最终视角；
所述客户端从所述VR影像数据中提取与所述最终视角相匹配的最终VR影像数据；
所述客户端显示最终VR影像数据。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据；
所述服务器基于所述最终方向数据生成VR影像数据，其中，所述VR影像数据包含预测头部姿势值；
所述服务器将所述VR影像数据压缩且得到VR压缩影像数据后，通过无线通信将所述VR压缩影像数据发送给所述客户端。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
基于所述当前方向数据，所述服务器计算姿势值、变化速度值和加速度值；
所述服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值得到预测头部姿势值；其中，所述时间延迟值为自接收到所述当前方向数据至得到最终方向数据之间的所需时间；
所述服务器根据预测头部姿势值生成最终方向数据。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述服务器根据预存差值、姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
基于所述最终头部姿势值，所述客户端以所述最终方向数据为视点基准设定最终视角。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述客户端计算用户头部姿势值与预测头部姿势值之间的差值；
所述客户端基于所述差值更新预存差值。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述客户端以所述最终头部姿势值中的最终方向数据为视点基准设定最终视角。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述服务器通过所述最终方向数据为视点基准设定所述预测视角；
所述服务器基于预测视角及放大角度生成VR影像数据。
进一步地，处理器1001可以调用存储器1005中存储的虚拟现实影像的处理程序，还执行以下操作：
所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端对所述VR影像数据进行有效性检查；
若所述VR影像数据为正常影像数据，则所述客户端基于所述VR影像数据更新预存VR影像数据；
若所述VR影像数据为缺失影像数据，则所述客户端将所述预存VR影像数据作为所述VR影像数据。
参照图2，图2为本发明虚拟现实影像的处理方法第一实施例的流程示意图。
在第一实施例中，虚拟现实影像的处理方法包括：
步骤S10，在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据。
本实施例中，服务器为生成虚拟现实影像的计算机或移动电话等，安装有中央处理器(CPU)和高速图形加速器的装置，服务器在内部执行信息处理，以执行生成向客户端提供的虚拟现实影像的功能。例如，在虚拟现实影像为根据特定游戏驱动的影像的情况下，服务器可通过驱动游戏程序来生成适当的影像帧，并且通过无线通信传输到客户端。客户端为接收并再生装置，相当于虚拟现实影像的独立影像再生装置，通常意味着搭载移动电话使用的无线头盔显示器，例如：虚拟现实头盔、白日梦等。而且，客户端可相当于虚拟现实装置本身，也可相当于移动终端结合到虚拟现实装置的形态。例如，在通过将虚拟现实装置与移动终端相结合来形成客户端的情况下，移动终端接从接收服务器生成的影像帧，通过连接的有线电缆或近距离无线通信向虚拟现实装置传输影像帧，并显示在画面。虚拟现实装置可通过多种形态构成。例如，虚拟现实装置可在一个显示部显示包括合适双眼的各个影像的影像帧，并通过各眼球方向的语言镜头生成为三维影像。并且，虚拟现实装置可具有提供符合各个眼球的影像的两个显示部。
本实施例中，在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据。服务器给客户端发送VR压缩影像数据前，客户端会向服务器传输用户的当前方向数据，以供服务器生成最终方向数据，且服务器基于所述最终方向数据生成VR影像数据进行压缩后得到VR压缩影像数据后，通过无线通信发送给所述客户端，且客户端对VR压缩影像数据进行解码，得到VR影像数据。
步骤S20，所述客户端获取用户头部姿势值。
本实施例中，客户端具有一个以上的传感器，例如：陀螺仪传感器、加速度传感器、地磁传感器等。客户端通过陀螺仪传感器获取用户头部姿势值，用户头部姿势值意味着世界坐标和用户头部局部坐标的关系。
步骤S30，所述客户端将所述用户头部姿势值与所述VR影像数据中的预测头部姿势值融合得到最终头部姿势值。
本实施例中，客户端将所述用户头部姿势值与VR影像数据中的预测头部姿势值融合得到最终头部姿势值。例如，使从作为当前姿势的陀螺仪传感器获取的用户头部姿势值θ1、Ψ1数据与预测头部姿势值θ2、Ψ2进行融合，来判断作为最终头部姿势值θ3、Ψ3的数据。
步骤S40，基于最终头部姿势值，客户端设定最终视角。
本实施例中，客户端根据最终头部姿势值，设定最终视角。最终视角的设定方法为：服务器获取预测方向数据；客户端向服务器发送当前方向数据；服务器将预测方向数据与当前方向数据计算得到最终方向数据；服务器将最终方向数据发送给客户端，且客户端以最终方向数据为视点基准设定最终视角。客户端以最终头部姿势值θ3、Ψ3来设定最终视角。例如，提取以作为最终头部姿势值的θ3、Ψ3为视点即视线基准，与97°～110°的视角相比宽10°～20°左右视野的107°～130°范围的最终VR影像数据。
其中，由于头部姿势值意味着世界坐标与当前的头部局部坐标的关系，而方向数据相当于用户的视线，可以说是头部局部坐标的一个轴。因此，最终头部姿势值意味着世界坐标与最终的头部局部坐标的关系，而最终方向数据相当于最终头部局部坐标的一个轴，相当于最终方向数据属于最终头部姿势值的一个点，即最终头部姿势值包含最终方向数据。方向数据的具体定义为：测定佩戴者将客户端佩戴在眼球上后观看的方向，并将其定为方向数据。方向数据可以是与在特定时间点在客户端的画面上再生的影像帧的方向有关的数据。方向数据可包括仰角数据、方位角数据或倾斜数据。客户端具有一个以上的传感器，例如陀螺仪传感器、加速度传感器、地磁传感器等，通过测定佩戴客户端的用户头部或脖颈的动作来获取包括仰角数据、方位角数据、倾斜数据等。仰角数据可意味着水平面，例如水平线与客户端的视线方向形成的角度，仰角数据可以是根据用户脖颈的上下动作而与水平面形成的角度；方位角数据作为显示方为的角度，可意味着以特定基准方向为基准在水平面上旋转的角度，方位角数据可通过以用户的身体或颈部为轴旋转的脖颈动作而变更；倾斜数据可意味着以用户的正面方向为轴，脖颈旋转的角度，倾斜数据可通过用户的脖颈部的左右动作或用户身体的整体旋转等而变更。因此，基于最终头部姿势值，客户端设定最终视角实际上是：客户端以最终头部姿势值中的最终方向数据为视点基准设定最终视角。通常客户端的视角为97～110°，而在本发明中，当提取最终VR影像数据时，生成并传输以用户视线为中心比97°～110°的视角约大于10°～20°左右的视野的影像，从而防止超过根据影像显示前最终头部姿势值的影像显示区域，由此去除黑边现象。
步骤S50，所述客户端从所述VR影像数据中提取与所述最终视角相匹配的最终VR影像数据；
步骤S60，所述客户端显示最终VR影像数据。
本实施例中，客户端从VR影像数据中提取与最终视角相匹配的最终VR影像数据并进行再生。再生是指将接收到的最终VR影像显示在客户端的HMD画面上，HMD为Head MountDisplay的缩写，译为头戴式显示器，即显示在头戴式显示器的画面上。头戴式可视设备(Head Mount Display)是头戴虚拟显示器的一种，又称眼镜式显示器、随身影院，是一种通俗的叫法，因为眼镜式显示器外形像眼镜，同时专为大屏幕显示音视频播放器的视频图像，所以形象的称呼其为视频眼镜(video glasses)。具体而言，通常客户端(HMD)的视角为97～110°，而在本发明中，当提取最终VR影像数据时，生成并传输以用户视线为中心比97°～110°的视角约大于10°～20°左右的视野的影像，从而防止超过根据影像显示前最终头部姿势值的影像显示区域，由此去除黑边现象。而且，仅通过上述虚拟现实影像放大生成不能完全解决视场问题，因此，当生成VR影像数据时，预测在虚拟现实影像再生视点的用户的头部姿势得到预测头部姿势值，并适用于虚拟现实画面生成，从而可解决超过视场的问题。
本发明中，通过客户端将用户头部姿势值与VR影像数据中的预测头部姿势值进行融合，得到最终头部姿势值，根据最终头部姿势值，设定最终视角，放大了视角，且客户端从VR影像数据中提取与最终视角相适配的VR影像数据并进行再生，去除现有技术的VR影像数据中基于延迟率的变化的黑边现象，从而可实现虚拟现实空间的整体视点无抖动地可自然地再生影像，并去除用户的头晕症状。通过本发明，当生成最终VR影像数据时，预测头部姿势值适用于虚拟现实画面生成，从而可解决超过视场的问题；并且，提取最终VR影像数据后生成虚拟现实画面时，通过最终头部姿势值来生成最终VR影像数据，不需要高规格的虚拟现实影像。
基于第一实施例，提出本发明虚拟现实影像的处理方法的第二实施例，请参阅图3，在步骤S10之前，所述虚拟现实影像的处理方法还包括：
S11，所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据；
S12，所述服务器基于所述最终方向数据生成VR影像数据，其中，所述VR影像数据包含预测头部姿势值；
S13，所述服务器将所述VR影像数据压缩且得到VR压缩影像数据后，通过无线通信将所述VR压缩影像数据发送给所述客户端。
本实施例中，首先，客户端向服务器传输用户的当前方向数据，以供服务器生成最终方向数据；其次，服务器基于最终方向数据生成VR影像数据，其中，VR影像数据包含预测头部姿势值；最后，服务器将VR影像数据压缩且得到VR压缩影像数据后，通过无线通信将VR压缩影像数据发送给客户端。服务器通过利用所接收到的用户的当前方向数据进行计算要显示在客户端的视点即视线的头部姿势值来生成最终方向数据，对生成的包含预测头部姿势值的VR影像数据进行压缩得到VR压缩影像数据，并利用无线通信向客户端传输VR压缩影像数据。作为无线通信方式，可以使用无线网络(Wi-Fi)方式、蜂窝通信方式等；例如，在服务器为配置于用户所在位置的特定空间内(例如，房屋内部、虚拟现实体验空间内等)的计算机的情况下，可通过无线接入点(AP)，例如，Wi-Fi AP，来执行客户端与服务器之间的通信。并且，例如，在服务器为配置于外部远距离的计算机的情况下，远距离的服务器可通过局域网通信等来向客户端传输所生成的VR影像数据。客户端可通过蜂窝通信从基站接收VR压缩影像数据或通过无线局域网(WLAN，wireless local area network)从无线接入点接收虚拟现实影像数据。由此，若用户具有可进行无线通信的客户端，则即使位于不靠近服务器的位置，也可以接收并利用服务器所提供的VR压缩影像数据。
服务器将VR影像数据压缩且得到VR压缩影像数据，是为了减少通过无线传输的数据的量而实施压缩。此时，一般而言，为了最小化画质的损失并确保有效的压缩率，适用高效视频编码(H.265)等的最新压缩技术，为了实时压缩，优选地，代替通用中央处理及接入点使用安装有硬件高效视频编码编解码器的中央处理器或接入点。
因此，当通过无线通信传输VR压缩影像数据时，去除基于延迟率的变化的黑边现象，从而可实现虚拟现实空间的整体视点无抖动地可自然地再生影像，并去除用户的头晕症状；再者，由于可补充影像帧未接收到的情况，可通过无线传输VR压缩影像数据，因而可解决因电缆而活动被限制，并被电缆被绊倒的安全事故；并且，无线影像传输所消耗的时间无延迟地预测客户端(HMD)的姿势数据和头部旋转时的头部姿势，当生成虚拟现实画面时，通过适用预测姿势来生成虚拟现实影像，从而不需要高规格。
基于第二实施例，提出本发明虚拟现实影像的处理方法的第三实施例，请参阅图4，步骤S11包括：
S111，基于所述当前方向数据，所述服务器计算姿势值、变化速度值和加速度值；
S112，所述服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值；其中，所述时间延迟值为自接收到所述当前方向数据至得到最终方向数据之间的所需时间；
S113，所述服务器根据预测头部姿势值生成最终方向数据。
本实施例中，针对用户的当前方向数据，服务器计算姿势值、变化速度值、加速度值以及测定到的时间延迟值来预测最终头部姿势值，且服务器根据预测头部姿势值生成最终方向数据，以供生成以最终方向数据作为视点基准的VR影像数据。姿势值可以是倾斜、俯仰、偏航值，变化速度值可以是用户头部的变化的速度值，加速度值作为用户的头部的速度随时间变化的运动，不仅增加或减少头部的速度的运动，仅变化方向的运动也被定义为加速度运动。因此，获取姿势值、变化速度值、加速度值并利用时间延迟值，即可预测最终头部姿势值。由于从HMD接收最早的方向数据并预测方向数据到得出最终方向的所需时间，时间延迟值意味着自方向数据预测至得出最终方向的所需时间，得出最终方向数据时，HMD陀螺仪显示的用户头部姿势值被重新传输到服务器，再用于最终方向数据的计算。最终方向数据的作用在于，以预测的最终方向数据为准，收到的VR影像数据的FOV(Field of View，视角)稍微宽大，按照将其融合而计算出来的最终方向数据，再生符合HMD的FOV(视角)的影像。
服务器计算姿势值、变化速度值、加速度值以及测定到的时间延迟值来预测最终头部姿势值的过程即：获取作为输入值的姿势值、变化速度值、加速度值，并利用之前测定到的时间延迟值△t预测最终头部姿势值。例如，如图11，为了利用上述仰角数据和方位角数据或倾斜数据预测计算要显示在客户端的视点即视线的头部姿势值，基于所接收的方向数据计算姿势、变化速度、加速度。利用上述计算的姿势值、变化速度值、加速度值以及测定到的时间延迟值来预测最终头部姿势值Ofinal。即，如图11所示，获取作为输入值的姿势值、变化速度值、加速度值，并利用之前测定到的时间延迟值△t预测最终头部姿势值Ofinal。
为了预测头部姿势值，上述姿势预测部利用头部动作反应模型，头部动作反应模型由如下的方式生成：通过旋转范围被限定的万向节来对人的颈部关节进行建模，并通过输入头部的平均惯性值来求脉冲或阶跃反应模型。并且，也可以利用及其运行技术，通过对于人体头部的动作的识别方式来生成，而无需正确的建模。例如，利用将姿势值、变化速度值、加速度值和测定到的时间延迟值作为输入值的万向节建模技术，将作为结果值的最终头部姿势值存储在另外的存储器后，提取与所输入的姿势值、变化速度值、加速度值和测定到的时间延迟值一致的最终头部姿势值。
另一方面，头部的姿势被定义为俯仰(Pitch)、偏航(Yaw)、倾斜(Roll)角度。俯仰角度是指，在YZ平面上，从Y轴到Z轴向顺时针方向旋转的角度；偏航角度是指，在XZ平面上，从X轴到Z轴向逆时针方向旋转的角度；倾斜角度是指，在XY平面上，从X轴到Y轴向逆时针方向旋转的角度。
由于上述预测头部姿势值运算量非常少，因而具有如下的特征，即，在形成预测头部姿势值所产生的时间延迟不会对整体时间延迟产生影响，因此，无延迟无线影像传输所消耗的时间，预测客户端的姿势数据和头部旋转时的预测头部姿势值，当生成虚拟现实画面时，适用预测姿势并生成符合其的虚拟现实影像，从而提供无需高规格的效果。当通过无线通信传输VR压缩影像数据时，去除基于延迟率的变化的黑边现象，从而实现虚拟现实空间的整体视点可无抖动地自然地再生影像。
进一步地，步骤S111包括：
所述服务器根据预存差值、姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值。
本实施例中，由于用户头部姿势值与预测头部姿势值之间会存在差值，且客户端基于所述差值更新预存差值，因此服务器需要根据预存差值、姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值。请参阅图12，图12为示出现有虚拟现实画面生成过程和适用本发明的姿势预测过程时的视场追踪性能的曲线的图，对实际头部旋转角度，现有方式的姿势误差、适用本发明的姿势预测过程时的姿势误差进行比较，在人左右晃动头部的情况下，现有虚拟现实画面生成系统始终具有规定的时间间隔并具有姿势误差，相反地，本发明姿势预测部仅在速度的拐点产生轻微的姿势误差，并且可马上预测正确的姿势。
基于第三实施例，提出本发明虚拟现实影像的处理方法的第四实施例，请参阅图5，步骤S30与步骤40之间包括：
S31，所述客户端计算用户头部姿势值与预测头部姿势值之间的差值；
S32，所述客户端基于所述差值更新预存差值。
本实施例中，客户端计算用户头部姿势值与预测头部姿势值之间的差值，客户端基于所述差值更新预存差值。请参阅图13，当实际通过陀螺仪传感器获取的头部姿势值与预测的头部姿势值之间产生误差时，在客户端的最终头部姿势值判断部计算相应误差值Ereal-est并反馈到步骤S113。因此，在步骤S113生成下一个最终VR影像数据的情况下，用作校正值以预测最终头部姿势值。由于第一用户的头部姿势接收视点与最终VR影像再生前用户头部姿势测定时间之间的时间可由网络状态而稍微改变，因此姿势预测部需要考虑时间延迟值及实际测定值的误差。
由此，通过将姿势误差最小化来提供如下的效果，即，虚拟现实空间的整体视点无抖动地可自然地再生影像，并去除用户的头晕症状。
因此，有上述可发挥如下的效果，：当通过无线通信传输虚拟现实影像数据时，由于去除基于延迟率的变化的黑边现象，使得虚拟现实空间的整体视点不抖动，并且影像被自然地再生，从而去除用户的头晕症状。
基于第二实施例，提出本发明虚拟现实影像的处理方法的第五实施例，步骤40包括：
所述客户端以所述最终头部姿势值中的最终方向数据为视点基准设定最终视角。
本实施例中，客户端以所述最终头部姿势值中的最终方向数据为视点基准设定最终视角。视场即视角，可由用户或制造商设定，并且可参照以往设定的视场来提取最终虚拟现实影像数据并进行再生。例如，如图8所示，左侧的图像为设定为65视场的图，右侧的图像为设定为80视场的图。如用户设定为80视场，则提取与视场为80相匹配的最终VR影像数据并进行再生，此时，以在最终头部姿势值为基准再生，即是以观看正面的姿势值为基准提取与视场相匹配的最终VR影像数据并再生的。
基于第二实施例，提出本发明虚拟现实影像的处理方法的第六实施例，请参阅图6，步骤12包括：
S121，所述服务器通过所述最终方向数据为视点基准设定所述预测视角；
S122，所述服务器基于预测视角及放大角度生成VR影像数据。
本实施例中，服务器通过所述最终方向数据为视点基准设定所述预测视角；服务器基于预测视角及放大角度生成VR影像数据。服务器为了生成将所预测计算的最终方向数据，例如，从正面向右头部旋转45°角度的视点作为基准的最终VR影像数据，通过参照将最终方向数据作为用户的视点基准来设定的最终视场，生成放大设定角度的最终虚拟现实影像数据。
一般而言，作为客户端的盔显示器的视角为97°～110°，当生成最终虚拟现实影像数据时，参照以用户视线为中心设定的角度10°～20°，生成比该视角更宽10°～20°左右的视野的107°～130°范围的影像，从而防止脱离根据影像显示前最终头部姿势值的影像显示区域。
参照图9，服务器基于预测视角及放大角度生成VR影像数据解决了黑边现象，对本发明所要解决的黑边现象进行说明。与一般的影像不同，虚拟现实影像应根据用户的视线，将与其向匹配的影像显示在虚拟现实影像再生装置(头盔显示器)上。此时，其视线根据用户的头部的变化而改变，在一般的有线的情况下，根据用户的视线的影像显示的时间延迟非常短。(Motion to Photon Latency：20msec以内)但是，如图9所示，在无线的情况下，一般产生大约100msec的延迟率，并根据无线网络状态其延迟率改变。由此，在再生虚拟现实影像的情况下，若无视最终视线位置的变化生成最终影像，则如图9所示，产生根据头部旋转方向的黑边现象。为了去除上述黑边现象，在本发明中需经过放大生成虚拟现实影像区域的过程、预测用户的头部姿势的过程。
参照图10，对放大生成虚拟现实影像区域进行说明，一般而言，作为客户端的盔显示器的视角为97°～110°，当在服务器的影像区域放大部生成最终虚拟现实影像数据时，生成比以用户的视线为中心的视角更宽10°～20°左右的视野(107°～130°)的影像，并传输到客户端，从而通过在客户端防止脱离根据影像显示前最终头部姿势值的影像显示区域，来去除黑边现象。
例如，当生成区域为全方位360°时，虽然不会发生根据时间延迟的黑边现象，但在这样处理的情况下，不仅通过无线传输的数据的量变得非常大，还需要压缩其的时间，以及由于视场变更而需要最终影像图像的重建过程，因此出现了不符合高清晰度头盔显示器影像传输的问题。
通常，无需图像重建的适当的余裕视场为约10°～20°，在传输作为其中间值的15°的余裕虚拟现实影像图像的情况下，理论上可校正的最大值为0.21rps(revolution persec)，实际上其数值可能会进一步下降。(0.21rps＝75.6deg/sec)一般而言，健康的人的头部最大旋转速度为348±92°/S，为0.71～1.2rps，在游戏等的动态状况下，人的头部旋转可超过0.6rps，因此照常适用于游戏等的领域时可发生脱离视场的情况。
基于第一实施例，提出本发明虚拟现实影像的处理方法的第七实施例，请参阅图7，步骤10包括：
S100，所述客户端对VR压缩影像数据进行解码得到VR影像数据；
S101，所述客户端对所述VR影像数据进行有效性检查；
S102，若所述VR影像数据为正常影像数据，则所述客户端基于所述VR影像数据更新预存VR影像数据；
S103，若所述VR影像数据为缺失影像数据，则所述客户端将所述预存VR影像数据作为所述VR影像数据。
本实施例中，客户端对VR压缩影像数据进行解码得到VR影像数据；客户端会对VR影像数据进行有效性检查，若VR影像数据为正常影像数据，则基于VR影像数据更新预存VR影像数据；若VR影像数据为缺失影像数据，则客户端将预存VR影像数据作为VR影像数据。
服务器利用无线通信向客户端发送所压缩的VR压缩影像数据，客户端中的有效性检查部接收VR压缩影像数据并进行解码，检查被解码的VR影像数据的有效性。此时，在由网络负载或其他原因导致数据丢失的情况下，可丢失作为最终VR影像数据的影像帧。此时，客户端为黑色状态，不能进行再生，因此检查虚拟现实影像数据的有效性，若属于正常影像数据，则更新临时存储的之前影像数据，当缺失影像数据时，则向预存VR影像数据提供临时存储的之前影像数据。当然，可形成临时存储器，以临时存储上述之前影像数据。即，始终将获取到下一个正常影像数据(帧)之前的影像数据存储在临时存储器，当缺失影像数据(帧)时，向客户端以影像的方式显示存储在临时存储器的之前正常数据(帧)，当接收到正常帧影像数据(帧)时，存储于临时存储器的之前影像数据(帧)代替为新接收的正常帧影像。另外，一般而言，经过一个时间间隔(Tick)后，第一个将渲染影像再生在头盔显示器的时间到来。从服务器在许可时间(一个时间间隔)内传输第一个渲染影像，并以与之前相同的方式进行再生。但是，若在再生第一个渲染的时间未从服务器接收到相应渲染数据，则需要在头盔显示器自主生成任意的数据。此时，将利用第零个数据，如上所述，在服务器渲染与头盔显示器的视场相比大一定程度的区域并传输到头盔显示器，因此还存在未显示在画面上的外部区域。而且，在头盔显示器的情况下，由于在再生第一个影像的时间已知用户的头部方向，因而头盔显示器通过聚合这两种信息，画出并再生任意的第一个影像。如果并未缺失，则为了再一次晚到或由于可缺失的第二个影像数据的生成，临时存储晚接收到的第一个影像。即，每一帧必须保留之前一帧所带来的数据，完全丢失的数据应将在头盔显示器任意生成的数据保管为之前一帧的数据。使用这种方式时应该注意的是，服务器在绘制比头盔显示器的区域大的视场的图片时，与实际相比有异质性，而且由于用户头部动作速度比预料中的快，因此当帧之间的间距较大时，如扫描速率为60Hz、90Hz等，头盔显示器中任意数据生成所需的区域变大，在外部图像的生成中可能发生误差。因此，帧之间间距即扫描速率应尽可能地快，扫描速率需要在90hz以上，为了服务器的快速渲染，可利用单通道渲染(Single Pass Rendering)等最近虚拟现实技术。之后，客户端获取用户头部姿势值，并提取有效性检查后的VR影像数据中包含的预测头部姿势值。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有虚拟现实影像的处理程序，所述有虚拟现实影像的处理程序被处理器执行时实现如上所述的虚拟现实影像的处理方法的步骤。
本发明计算机可读存储介质的具体实施例与上述虚拟现实影像的处理方法的各个实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种虚拟现实影像的处理方法，其特征在于，所述虚拟现实影像的处理方法包括：
在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端获取用户头部姿势值；
所述客户端将所述用户头部姿势值与所述VR影像数据中的预测头部姿势值融合得到最终头部姿势值；
基于所述最终头部姿势值，所述客户端设定最终视角；
所述客户端从所述VR影像数据中提取与所述最终视角相匹配的最终VR影像数据；
所述客户端显示最终VR影像数据。
2.如权利要求1所述的虚拟现实影像的处理方法，其特征在于，所述在接收到服务器发送的VR压缩影像数据时，所述客户端对VR压缩影像数据进行解码得到VR影像数据的步骤之前，所述虚拟现实影像的处理方法还包括：
所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据；
所述服务器基于所述最终方向数据生成VR影像数据，其中，所述VR影像数据包含预测头部姿势值；
所述服务器将所述VR影像数据压缩且得到VR压缩影像数据后，通过无线通信将所述VR压缩影像数据发送给所述客户端。
3.如权利要求2所述的虚拟现实影像的处理方法，其特征在于，所述客户端向所述服务器传输用户的当前方向数据，以供所述服务器生成最终方向数据的步骤包括：
基于所述当前方向数据，所述服务器计算姿势值、变化速度值和加速度值；
所述服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值；其中，所述时间延迟值为自接收到所述当前方向数据至得到最终方向数据之间的所需时间；
所述服务器根据预测头部姿势值生成最终方向数据。
4.如权利要求3所述的虚拟现实影像的处理方法，其特征在于，服务器根据所计算的姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值的步骤包括：
所述服务器根据预存差值、姿势值、变化速度值、加速度值及时间延迟值确定预测头部姿势值。
5.如权利要求4所述的虚拟现实影像的处理方法，其特征在于，所述客户端将用户头部姿势值与预测头部姿势值进行融合，得到最终头部姿势值的步骤与所述基于所述最终头部姿势值，所述客户端设定最终视角的步骤之间，所述虚拟现实影像的处理方法还包括：
所述客户端计算用户头部姿势值与预测头部姿势值之间的差值；
所述客户端基于所述差值更新预存差值。
6.如权利要求2所述的虚拟现实影像的处理方法，其特征在于，所述基于所述最终头部姿势值，所述客户端设定最终视角的步骤包括：
所述客户端以所述最终头部姿势值中的最终方向数据为视点基准设定最终视角。
7.如权利要求2所述的虚拟现实影像的处理方法，其特征在于，所述服务器基于所述最终方向数据生成VR影像数据的步骤包括：
所述服务器通过所述最终方向数据为视点基准设定所述预测视角；
所述服务器基于预测视角及放大角度生成VR影像数据。
8.如权利要求1所述的虚拟现实影像的处理方法，其特征在于，所述客户端对VR压缩影像数据进行解码得到VR影像数据的步骤包括：
所述客户端对VR压缩影像数据进行解码得到VR影像数据；
所述客户端对所述VR影像数据进行有效性检查；
若所述VR影像数据为正常影像数据，则所述客户端基于所述VR影像数据更新预存VR影像数据；
若所述VR影像数据为缺失影像数据，则所述客户端将所述预存VR影像数据作为所述VR影像数据。
9.一种虚拟现实影像的处理系统，其特征在于，所述虚拟现实影像的处理系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟现实影像的处理程序，所述虚拟现实影像的处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的虚拟现实影像的处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有虚拟现实影像的处理系统程序，所述虚拟现实影像的处理系统程序被处理器执行时实现如权利要求1至8中任一项所述的虚拟现实影像的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810748248.4A CN109003336A (zh) | 2018-07-09 | 2018-07-09 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810748248.4A CN109003336A (zh) | 2018-07-09 | 2018-07-09 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109003336A true CN109003336A (zh) | 2018-12-14 |
Family
ID=64599583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810748248.4A Pending CN109003336A (zh) | 2018-07-09 | 2018-07-09 | 虚拟现实影像的处理方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109003336A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519247A (zh) * | 2019-08-16 | 2019-11-29 | 上海乐相科技有限公司 | 一种一对多虚拟现实展示方法及装置 |
| CN112882674A (zh) * | 2021-03-04 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 虚拟现实图像数据的显示方法和设备 |
| CN115134416A (zh) * | 2021-03-22 | 2022-09-30 | 中国联合网络通信集团有限公司 | 虚拟现实业务处理系统和方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869215A (zh) * | 2016-03-28 | 2016-08-17 | 上海米影信息科技有限公司 | 一种虚拟现实成像系统 |
| CN107493503A (zh) * | 2017-08-24 | 2017-12-19 | 深圳Tcl新技术有限公司 | 播放终端的虚拟现实视频呈像方法、系统及存储介质 |
| CN207096928U (zh) * | 2016-12-15 | 2018-03-13 | 北京国承万通信息科技有限公司 | 虚拟现实系统 |
-
2018
- 2018-07-09 CN CN201810748248.4A patent/CN109003336A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869215A (zh) * | 2016-03-28 | 2016-08-17 | 上海米影信息科技有限公司 | 一种虚拟现实成像系统 |
| CN207096928U (zh) * | 2016-12-15 | 2018-03-13 | 北京国承万通信息科技有限公司 | 虚拟现实系统 |
| CN107493503A (zh) * | 2017-08-24 | 2017-12-19 | 深圳Tcl新技术有限公司 | 播放终端的虚拟现实视频呈像方法、系统及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110519247A (zh) * | 2019-08-16 | 2019-11-29 | 上海乐相科技有限公司 | 一种一对多虚拟现实展示方法及装置 |
| CN112882674A (zh) * | 2021-03-04 | 2021-06-01 | 腾讯科技（深圳）有限公司 | 虚拟现实图像数据的显示方法和设备 |
| CN112882674B (zh) * | 2021-03-04 | 2022-11-08 | 腾讯科技（深圳）有限公司 | 虚拟现实图像数据的显示方法和设备 |
| CN115134416A (zh) * | 2021-03-22 | 2022-09-30 | 中国联合网络通信集团有限公司 | 虚拟现实业务处理系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI786701B (zh) | 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染的方法及系統以及非暫時性電腦可讀媒體 | |
| US10740951B2 (en) | Foveal adaptation of particles and simulation models in a foveated rendering system | |
| US10109113B2 (en) | Pattern and method of virtual reality system based on mobile devices | |
| CN107852573B (zh) | 混合现实社交交互 | |
| JP6548821B2 (ja) | ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法 | |
| CN104238738B (zh) | 在头戴式系统内产生增强虚拟现实场景的系统和方法 | |
| US11222444B2 (en) | Optimized deferred lighting in a foveated rendering system | |
| CN102939139B (zh) | 共享虚拟空间中便携式设备的校准 | |
| US20160225188A1 (en) | Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment | |
| CN112470483A (zh) | 多服务器云虚拟现实(vr)流式传输 | |
| US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
| US11107183B2 (en) | Adaptive mesh skinning in a foveated rendering system | |
| CN110832442A (zh) | 注视点渲染系统中的优化的阴影和自适应网状蒙皮 | |
| CN105377117A (zh) | 基于用户的光学处方的头戴式显示器 | |
| CN109003336A (zh) | 虚拟现实影像的处理方法、系统及计算机可读存储介质 | |
| US20240085993A1 (en) | Body pose estimation using self-tracked controllers | |
| WO2018227102A1 (en) | Optimized deferred lighting and foveal adaptation of particles and simulation models in a foveated rendering system | |
| US10740957B1 (en) | Dynamic split screen | |
| WO2017061890A1 (en) | Wireless full body motion control sensor | |
| CN106445139A (zh) | 一种数据显示方法、装置及系统 | |
| KR102149608B1 (ko) | 가상 현실 및 증강 현실을 이용한 혼합 렌더링 콘텐츠 제공 방법 및 이를 이용한 시스템 | |
| TWI817335B (zh) | 立體影像播放裝置及其立體影像產生方法 | |
| US20240160273A1 (en) | Inferring vr body movements including vr torso translational movements from foot sensors on a person whose feet can move but whose torso is stationary | |
| JP6983639B2 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
| CN106843465A (zh) | 三维显示的操作方法和装置以及使用其的眼镜或头盔 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240112 |