CN109375764B - 一种头戴显示器、云端服务器、vr系统及数据处理方法 - Google Patents
一种头戴显示器、云端服务器、vr系统及数据处理方法 Download PDFInfo
- Publication number
- CN109375764B CN109375764B CN201810987904.6A CN201810987904A CN109375764B CN 109375764 B CN109375764 B CN 109375764B CN 201810987904 A CN201810987904 A CN 201810987904A CN 109375764 B CN109375764 B CN 109375764B
- Authority
- CN
- China
- Prior art keywords
- information
- axis
- pose
- head
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000006073 displacement reaction Methods 0.000 claims description 30
- 238000009877 rendering Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种头戴显示器、云端服务器、虚拟现实VR系统及数据处理方法，头戴显示器包括数据处理单元和数据显示单元，数据处理单元用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；数据显示单元用于接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息。本申请通过头戴显示器获取交互设备的控制信息和位姿信息并上传至云端服务器，由云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，实现了VR设备与用户的人机交互功能，降低了用户消费VR的成本，提高了用户的VR体验。
Description
技术领域
本发明涉及虚拟现实技术领域，特别涉及一种头戴显示器、云端服务器、虚拟现实(Virtual Reality，VR)系统及数据处理方法。
背景技术
VR是指采用计算机技术为核心，利用现代高科技手段生成的一种虚拟环境，用户借助特殊的输入/输出设备，通过视觉、听觉和触觉等获得与真实世界相同的感受。VR技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。
目前，许多科技公司、互联网公司都在研发VR技术。虽然VR呈现蓬勃发展的势头，但是，较好的用户体验大多依赖高性能个人计算机(Personal Computer，PC)或主机做本地渲染，使得用户消费VR的成本较高，这一定程度影响了产业发展，成为行业迫切需要解决的问题。
此外，VR设备的头戴显示器大多只能观看视频，不具备互动功能，使得头戴显示器的用户不能进行动作追踪，尤其是头部手部空间位置运动轨迹的追踪，从而降低了用户体验。
发明内容
本发明实施例提供了一种头戴显示器、云端服务器、VR系统及数据处理方法，能够实现VR设备与用户的人机交互功能且降低用户消费VR的成本。
为了达到本发明目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种头戴显示器，包括数据处理单元和数据显示单元，其中：
数据处理单元，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
数据显示单元，用于接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息。
在一实施例中，所述交互设备包括以下至少之一：所述头戴显示器、手柄、手套、鼠标、键盘。
在一实施例中，所述位姿信息包括通过所述交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息。
在一实施例中，所述数据处理单元还用于：对获取的所述位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至所述云端服务器。
在一实施例中，所述位姿信息包括通过所述交互设备上的摄像头拍摄的图像信息。
本发明实施例还提供了一种云端服务器，包括通信单元和图像渲染单元，其中：
通信单元，用于接收头戴显示器发送的控制信息和位姿信息；接收图像渲染单元的图像帧码流信息，将所述图像帧码流信息发送至头戴显示器；
图像渲染单元，用于根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并传输至通信单元。
在一实施例中，所述图像渲染单元包括图像帧采集模块、图像帧处理模块和图像帧编码模块，其中：
图像帧采集模块，用于根据所述接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面；
图像帧处理模块，用于对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
图像帧编码模块，用于对处理后的图像帧进行编码，将编码后的图像帧码流信息传输至所述通信单元。
本发明实施例还提供了一种VR系统，包括头戴显示器和云端服务器，其中：
头戴显示器，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器；接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息；
云端服务器，用于接收头戴显示器发送的控制信息和位姿信息，根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并将渲染后的图像帧码流信息发送至头戴显示器。
本发明实施例还提供了一种数据处理方法，包括：
获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息。
本发明实施例还提供了一种头戴显示器，包括处理器及存储器，其中：所述处理器用于执行所述存储器中存储的数据处理程序，以实现如上所述的数据处理方法的步骤。
本发明实施例还提供了一种数据处理方法，包括：
接收头戴显示器发送的控制信息和位姿信息；
根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
将渲染后的图像帧码流信息发送至头戴显示器。
本发明实施例还提供了一种云端服务器，包括处理器及存储器，其中：所述处理器用于执行所述存储器中存储的数据处理程序，以实现如上所述的数据处理方法的步骤。
本发明实施例还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上任一项所述的数据处理方法的步骤。
本发明实施例的技术方案，具有如下有益效果：
本发明实施例提供的头戴显示器、云端服务器、VR系统及数据处理方法，通过头戴显示器获取交互设备的控制信息和位姿信息并上传至云端服务器侧，由云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，不仅实现了VR设备与用户的人机交互功能，并且大大简化了VR眼镜的内部结构和性能需求，降低了用户消费VR的成本，提高了用户的VR使用体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例一的一种头戴显示器的结构示意图；
图2为本发明实施例二的一种云端服务器的结构示意图；
图3为本发明实施例二的一种云端服务器的图像渲染单元的结构示意图；
图4为本发明实施例二的另一种云端服务器的结构示意图；
图5为本发明实施例三的一种VR系统的结构示意图；
图6为本发明实施例四的一种数据处理方法的流程示意图；
图7为本发明实施例五的一种数据处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
实施例一
如图1所示，本发明实施例提供了一种头戴显示器10，包括数据处理单元101和数据显示单元102，其中：
数据处理单元101，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
数据显示单元102，用于接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息。
需要说明的是，头戴显示器10包括以下几种，一种是移动端头戴显示器，即盒子+手机，其中，盒子只是一个VR外壳，结构简单、价格低廉，需要把手机放到里面充当屏幕和运算硬件，才能工作，比如谷歌的cardboard；一种是PC端头戴显示器，需要连接一台高性能电脑才能运作，借助外部硬件协助运算，用户体验较好，具备独立屏幕，但是产品结构复杂，并且受数据线的束缚，自己无法自由活动，比如HTC VIVE；一种是一体式头戴显示器，依赖设备内置硬件完成运算，具备独立运算、输入和输出的功能，无需借助任何输入输出设备，就可以在虚拟的世界里尽情感受三维(3D)立体感带来的视觉冲击，比如Pico；一种是外接移动端头戴显示器，智能手机或平板等外接于头戴式显示器，比如huawei VR2；一种是外接处理端头戴式显示器，处理端外界与头戴式显示器，比如Magic Leap One。
本实施例中，所述交互设备包括以下至少之一：
所述头戴显示器10、手柄、手套、鼠标、键盘。
本申请将交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标、键盘以及其它可手持或佩戴的装置。
本实施例中，控制信息可以为交互设备上的按键信息。对于移动端头戴显示器来说，头戴显示器上的按键信息可以是来自于手机上的按键信息也可以是来自于盒子上的按键信息。
在本实施例的一示例中，所述位姿信息包括通过所述交互设备上的定位器获得的位置信息与通过所述交互设备上的传感器获得的姿态信息。
需要说明的是，所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度信息。
在该示例中，所述位置信息可以这样获得：在空间中设置一定位系统，所述定位系统包括一信号发射器和头戴显示器10上内设或外设的定位器、追踪标记上内设或外设的定位器，头戴显示器10上的定位器用于接收信号发射器发射的定位信号，以此获得头戴显示器10的位置信息；追踪标记上的定位器，用于接收信号发射器发射的定位信号，以此获得追踪标记的位置信息。
在该示例中，所述位置信息还可以这样获得：在空间中设置一个或多个已知坐标的定位基站，需要定位的交互设备携带定位器(在该示例中，所述定位器为定位标签)，定位标签按照一定的频率发射请求性质的脉冲信号，定位基站接收到请求性质的脉冲信号后发射响应性质的脉冲信号，根据定位标签发射和接收所述脉冲信号的时间差计算所述脉冲信号的飞行时间，根据所述脉冲信号的飞行时间确定所述定位标签和定位基站之间的距离信息，进而计算出所述定位标签的位置信息(即所述交互设备的位置信息)。
本实施例中，所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计。
在本实施例的另一示例中，所述位姿信息包括通过所述交互设备上的摄像头拍摄的图像信息。
需要说明的是，所述图像信息可以是头戴显示器10上的摄像头拍摄的每一帧图像，此时，头戴显示器10上的摄像头拍摄的每一帧图像可能不仅包括头戴显示器10的位姿信息，还可能包含手柄的位姿信息，其中，所述手柄上可以预先设置一个或多个具有标识意义的图案、点阵或其它方案的定位标识，以便于云端服务器侧根据所述定位标识定位手柄的位姿信息；或者所述图像信息也可以是头戴显示器10上的摄像头和其它交互设备(如手柄)上的摄像头拍摄的每一帧图像，此时，头戴显示器10上的摄像头拍摄的每一帧图像可能只包含描述头戴显示器10的位姿信息。云端服务器接收到所述位姿信息后，通过即时定位与地图构建(Simultaneous Localization And Mapping，SLAM)算法、透视n点定位(Perspective-n-Point，PNP)算法等视觉算法在云端直接计算所述交互设备的位置和姿态信息，或者利用多传感器融合技术实现视觉与惯导信息的融合，提高位姿信息估计的实时性和精度。
本实施例中，所述数据处理单元101还用于：
对获取的位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至云端服务器。
需要说明的是，头戴显示器10发送至云端服务器的位姿信息可以是已经解算出来的X、Y、Z三轴位置信息和姿态信息，也可以是传感器和定位器采集的原始的信号数据，通过云端服务器进一步解算得到X、Y、Z三轴位置信息和姿态信息。
本实施例中，所述数据处理单元101通过5G网络将获取的控制信息和位姿信息发送至云端服务器。
5G即第五代移动通信技术，为了满足自从4G通信系统部署以来增加的无线数据业务的需求，已经作出努力来开发一种改进的5G通信系统。在5G系统中，基于先进的小小区、云无线接入网(Radio Access Networks，RANS)、超密集网络、设备到设备(Device-to-Device，D2D)通信、无线回程、移动网络、协作通信的系统网络开发，开发出了混合FSK(Frequency-Shift Keying)和QAM(Quadrature Amplitude Modulation)调制(FQAM)、滑动窗口叠加编码(Sliding Window Superposition Coding，SWSC)的高级编码调制(AdaptiveCoding Modulation，ACM)，以及滤波器组多载波(Filter Bank Multi-Carrier，FBMC)、非正交多址(Non-orthogonal Multiple Access，NMA)和稀疏码多址(Sparse Code MultipleAccess，SCMA)的高级接入技术。5G具有更快的传输速度、更大的传输容量以及极低的时延，减少了数据传输的时间，从而减少了延时。而对于VR行业，为了使用户获得好的使用体验，需要延时越小越好，否则会有头晕等症状。
本实施例中，所述数据处理单元101还用于：
使用预设的第一加密算法对所述控制信息和位姿信息进行加密，并将加密后的所述控制信息和位姿信息发送至云端服务器。
云端服务器接收到所述控制信息和位姿信息，使用与所述第一加密算法相配套的第一解密算法对接收到的所述控制信息和位姿信息进行解密。云端服务器在发送图像帧码流信息至所述头戴显示器10时，使用预设的第二加密算法进行加密，所述第二加密算法可以和所述第一加密算法相同，也可以和所述第一加密算法不同。所述头戴显示器10的数据显示单元102在接收到云端服务器发送的图像帧码流信息时，使用与所述第二加密算法相配套的第二解密算法对接收到的所述图像帧码流信息进行解密，得到图像编码信息，然后再对图像编码信息进行解码并显示。所述数据显示单元102可以是显示屏，对于移动端头戴显示器而言，所述数据显示单元102为手机显示屏。
本实施例中，所述数据显示单元102还用于：
对解码后的图像帧进行时间扭曲处理。
对于一些虚拟现实应用，需要的显示帧率较高，例如假设需要的虚拟现实设备的显示帧率为120帧/秒(Frames Per Second，fps)，然而云端服务器的采集帧率为60fps，则需要对解码后的图像帧进行时间扭曲化处理，即将图像帧进行时间轴的插帧渲染，以120fps的图像帧显示帧率输出。
该插帧过程可以在头戴显示器10的数据显示单元102中实现，也可以在云端服务器上进行。当在云端服务器上进行时，通过惯导进行下一步渲染图像的预测，云端服务器中的图像渲染单元根据所述交互设备的控制信息和位姿信息，采集当前虚拟现实应用的图像画面，通过插帧处理，得到120fps的帧率，再将120fps帧率的图像进行透镜扭曲化处理，并编码发送给头戴显示器10进行显示。
实施例二
如图2所示，本发明实施例提供了一种云端服务器20，包括通信单元201和图像渲染单元202，其中：
通信单元201，用于接收头戴显示器10发送的控制信息和位姿信息；接收图像渲染单元202的图像帧码流信息，将所述图像帧码流信息发送至头戴显示器10；
图像渲染单元202，用于根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并传输至通信单元201。
本实施例中，所述云端服务器中安装虚拟现实应用，所述虚拟现实应用接收头戴显示器10发送的控制信息和位姿信息，根据接收的控制信息和位姿信息对应用图像进行渲染，并将渲染后的图像帧码流信息发送至头戴显示器10。
本实施例中，如图3所示，所述图像渲染单元202包括图像帧采集模块2021、图像帧处理模块2022和图像帧编码模块2023，其中：
图像帧采集模块2021，用于根据所述接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面(采集帧率可以为60fps或更高)；
图像帧处理模块2022，用于对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
图像帧编码模块2023，用于对处理后的图像帧进行编码(可以编码为H.264码流，或者活动图像专家组-2(Moving Picture Experts Group-2，MPEG-2)、信源编码标准(Audio Video coding Standard，AVS)等)，将编码后的图像帧码流信息传输至通信单元201。
本实施例中，所述图像帧编码模块2023还用于：将编码后的图像帧码流信息进行打包，将打包后的图像帧码流信息传输至通信单元201。
本实施例中，所述图像帧编码模块2023还用于：将打包后的图像帧码流信息进行加密处理，将加密处理后的图像帧码流信息传输至通信单元201。
本实施例中，所述通信单元201通过5G网络，将渲染后的图像帧码流信息发送至头戴显示器10。
本实施例中，如图4所示，所述云端服务器20还包括图像帧存储单元203，其中：
图像帧存储单元203，用于存储渲染后的图像帧码流信息。
实施例三
如图5所示，本发明实施例提供了一种VR系统，包括头戴显示器10和云端服务器20，其中：
头戴显示器10，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器20；接收云端服务器20发送的图像帧码流信息，解码并显示接收的图像帧码流信息；
云端服务器20，用于接收头戴显示器10发送的控制信息和位姿信息，根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并将渲染后的图像帧码流信息发送至头戴显示器10。
所述头戴显示器10和所述云端服务器20的具体结构可分别参见上文的实施例一和实施例二所述，此处不再赘述。
实施例四
如图6所示，本发明实施例提供了一种数据处理方法，包括：
步骤601：获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
本实施例中，所述交互设备包括以下至少之一：
所述头戴显示器、手柄、手套、鼠标、键盘。
本实施例中，控制信息可以为交互设备上的按键信息。对于移动端头戴显示器来说，头戴显示器上的按键信息可以是来自于手机上的按键信息也可以是来自于盒子上的按键信息。
在本实施例的一示例中，所述位姿信息包括通过所述交互设备上的定位器获得的位置信息与通过所述交互设备上的传感器获得的姿态信息。
需要说明的是，所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度信息。
在该示例中，所述位置信息可以这样获得：在空间中设置一定位系统，所述定位系统包括一信号发射器和头戴显示器上内设或外设的定位器、追踪标记上内设或外设的定位器，头戴显示器上的定位器用于接收信号发射器发射的定位信号，以此获得头戴显示器的位置信息；追踪标记上的定位器，用于接收信号发射器发射的定位信号，以此获得追踪标记的位置信息。
在该示例中，所述位置信息还可以这样获得：在空间中设置一个或多个已知坐标的定位基站，需要定位的交互设备携带定位器(在该示例中，所述定位器为定位标签)，定位标签按照一定的频率发射请求性质的脉冲信号，定位基站接收到请求性质的脉冲信号后发射响应性质的脉冲信号，根据定位标签发射和接收所述脉冲信号的时间差计算所述脉冲信号的飞行时间，根据所述脉冲信号的飞行时间确定所述定位标签和定位基站之间的距离信息，进而计算出所述定位标签的位置信息(即所述交互设备的位置信息)。
本实施例中，所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计。
在本实施例的另一示例中，所述位姿信息包括通过所述交互设备上的摄像头拍摄的图像信息。
需要说明的是，所述图像信息可以是头戴显示器上的摄像头拍摄的每一帧图像，此时，头戴显示器上的摄像头拍摄的每一帧图像可能不仅包括头戴显示器的位姿信息，还可能包含手柄的位姿信息，其中，所述手柄上可以预先设置一个或多个具有标识意义的图案、点阵或其它方案的定位标识，以便于云端服务器侧根据所述定位标识定位手柄的位姿信息；或者所述图像信息也可以是头戴显示器上的摄像头和其它交互设备(如手柄)上的摄像头拍摄的每一帧图像，此时，头戴显示器上的摄像头拍摄的每一帧图像可能只包含描述头戴显示器的位姿信息。云端服务器接收到所述位姿信息后，通过SLAM算法、PNP算法等视觉算法在云端直接计算所述交互设备的位置和姿态信息，或者利用多传感器融合技术实现视觉与惯导信息的融合，提高位姿信息估计的实时性和精度。
本实施例中，在将获取的控制信息和位姿信息发送至云端服务器之前，所述数据处理方法还包括：
对获取的位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至云端服务器。
需要说明的是，头戴显示器发送至云端服务器的位姿信息可以是已经解算出来的X、Y、Z三轴位置信息和姿态信息，也可以是传感器和定位器采集的原始的信号数据，通过云端服务器进一步解算得到X、Y、Z三轴位置信息和姿态信息。
本实施例中，通过5G网络将获取的控制信息和位姿信息发送至云端服务器。
5G即第五代移动通信技术，由于5G具有更快的传输速度、更大的传输容量以及极低的时延，减少了数据传输的时间，从而减少了延时。而对于VR行业，为了使用户获得好的使用体验，需要延时越小越好，否则会有头晕等症状。
本实施例中，所述数据处理方法还包括：
使用预设的第一加密算法对所述控制信息和位姿信息进行加密，并将加密后的所述控制信息和位姿信息发送至云端服务器。
云端服务器接收到所述控制信息和位姿信息，使用与所述第一加密算法相配套的第一解密算法对接收到的所述控制信息和位姿信息进行解密。云端服务器在发送图像帧码流信息至所述头戴显示器时，使用预设的第二加密算法进行加密，所述第二加密算法可以和所述第一加密算法相同，也可以和所述第一加密算法不同。所述头戴显示器在接收到云端服务器发送的图像帧码流信息时，使用与所述第二加密算法相配套的第二解密算法对接收到的所述图像帧码流信息进行解密，得到图像编码信息，然后再对图像编码信息进行解码并显示。
步骤602：接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息。
本实施例中，在显示接收的图像帧码流信息之前，所述数据处理方法还包括：
对解码后的图像帧进行时间扭曲处理。
对于一些虚拟现实应用，需要的显示帧率较高，例如假设需要的虚拟现实设备显示帧率为120fps，然而云端服务器的采集帧率为60fps，则需要对解码后的图像帧进行时间扭曲化处理，即将图像帧进行时间轴的插帧渲染，以120fps的图像帧显示帧率输出。
该插帧过程可以在头戴显示器中实现，也可以在云端服务器上进行。当在云端服务器上进行时，通过惯导进行下一步渲染图像的预测，云端服务器根据所述交互设备的控制信息和位姿信息，采集当前虚拟现实应用的图像画面，通过插帧处理，得到120fps的帧率，再将120fps帧率的图像进行透镜扭曲化处理，并编码发送给头戴显示器进行显示。
本发明实施例还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上所一项所述的数据处理方法的步骤。
本发明实施例还提供了一种头戴显示器，包括处理器及存储器，其中：所述处理器用于执行所述存储器中存储的数据处理程序，以实现如以上任一项所述的数据处理方法的步骤。
实施例四
如图7所示，本发明实施例还提供了一种数据处理方法，包括：
步骤701：接收头戴显示器发送的控制信息和位姿信息；
步骤702：根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
本实施例中，所述步骤702具体包括：
根据所述接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面(采集帧率可以为60fps或更高)；
对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
对处理后的图像帧进行编码(可以编码为H.264码流，或者MPEG-2、AVS等)。
本实施例中，所述步骤702还包括：将编码后的图像帧码流信息进行打包。
本实施例中，所述步骤702还包括：将打包后的图像帧码流信息进行加密处理。
步骤703：将渲染后的图像帧码流信息发送至头戴显示器。
本实施例中，通过5G网络，将渲染后的图像帧码流信息发送至头戴显示器。
本实施例中，所述步骤703还包括：
在将渲染后的图像帧码流信息发送至头戴显示器的同时，在云端服务器侧存储渲染后的图像帧码流信息。
本发明实施例还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如以上所一项所述的数据处理方法的步骤。
本发明实施例还提供了一种云端服务器，包括处理器及存储器，其中：所述处理器用于执行所述存储器中存储的数据处理程序，以实现如以上任一项所述的数据处理方法的步骤。
本申请通过将数据处理都放在云端服务器侧，将VR应用运行与应用展现相分离，云端完成应用处理和结果下发，VR眼镜仅需要实现最基础的视频解码、呈现、控制信令接收和上传，而不需要处理与实际业务相关的计算，大大简化了VR眼镜的内部结构和性能需求，用户不需要独占一台主机或者使用很强性能的手机。其次，云VR平台将VR系统复杂的维护难度从用户侧转移到云端，用户不用担心VR系统对配套软件环境的复杂要求，而且云VR平台将应用统一部署在云端平台，在多重运营级保护之下，VR应用运行安全得到保障，应用数据的存储也远远高于VR主机内的保护等级。应用的运行结果以视频流的方式发送到终端，而不携带任何业务数据。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种头戴显示器，包括数据处理单元和数据显示单元，其特征在于，其中：
数据处理单元，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
数据显示单元，用于接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息；
所述数据处理单元还用于：对获取的所述位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至所述云端服务器；
所述交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标或键盘；
所述位姿信息包括通过所述交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息；所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角；
所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计；
其中，所述头戴显示器上内设或外设有定位器，所述追踪标记上内设或外设有定位器，头戴显示器上的定位器用于接收空间中设置的信号发射器发射的定位信号，以获得头戴显示器的位置信息；追踪标记上的定位器用于接收空间中设置的信号发射器发射的定位信号，以此得追踪标记的位置信息。
2.根据权利要求1所述的头戴显示器，其特征在于，所述位姿信息还包括通过所述交互设备上的摄像头拍摄的图像信息，所述图像信息是头戴显示器上的摄像头拍摄的每一帧图像；其中，所述头戴显示器上的摄像头拍摄的每一帧图像包括头戴显示器的位姿信息，还包括手柄的位姿信息，所述手柄上预先设置一个或多个定位标识，所述定位标识包括具有标识意义的图案或点阵，以便于云端服务器侧根据所述定位标识定位手柄的位姿信息。
3.一种云端服务器，其特征在于，包括通信单元和图像渲染单元，其中：
通信单元，用于接收头戴显示器发送的控制信息和位姿信息；接收图像渲染单元的图像帧码流信息，将所述图像帧码流信息发送至头戴显示器；
所述通信单元接收的位姿信息包括：所述头戴显示器对获取的位姿信息进行解算，得到的X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息；
图像渲染单元，用于根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并传输至通信单元；
所述位姿信息包括通过交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息；所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角；
所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计；
所述交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标或键盘；
其中，所述头戴显示器上内设或外设有定位器，所述追踪标记上内设或外设有定位器，头戴显示器上的定位器用于接收空间中设置的信号发射器发射的定位信号，以获得头戴显示器的位置信息；追踪标记上的定位器用于接收空间中设置的信号发射器发射的定位信号，以此得追踪标记的位置信息。
4.根据权利要求3所述的云端服务器，其特征在于，所述图像渲染单元包括图像帧采集模块、图像帧处理模块和图像帧编码模块，其中：
图像帧采集模块，用于根据所述接收的控制信息和位姿信息，采集当前虚拟现实应用的图像画面；
图像帧处理模块，用于对采集的每一帧图像，进行透镜扭曲化处理，得到处理后的图像帧；
图像帧编码模块，用于对处理后的图像帧进行编码，将编码后的图像帧码流信息传输至所述通信单元。
5.一种虚拟现实VR系统，其特征在于，包括头戴显示器和云端服务器，其中：
头戴显示器，用于获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器；接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息；
所述头戴显示器还用于：对获取的所述位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至所述云端服务器；
云端服务器，用于接收头戴显示器发送的控制信息和位姿信息，根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息，并将渲染后的图像帧码流信息发送至头戴显示器；
所述交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标或键盘；
所述位姿信息包括通过所述交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息；所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角；
所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计；
其中，所述头戴显示器上内设或外设有定位器，所述追踪标记上内设或外设有定位器，头戴显示器上的定位器用于接收空间中设置的信号发射器发射的定位信号，以获得头戴显示器的位置信息；追踪标记上的定位器用于接收空间中设置的信号发射器发射的定位信号，以此得追踪标记的位置信息。
6.一种数据处理方法，其特征在于，包括：
获取交互设备的控制信息和位姿信息，将获取的控制信息和位姿信息发送至云端服务器，以便于云端服务器根据所述控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
接收云端服务器发送的图像帧码流信息，解码并显示接收的图像帧码流信息；
在将获取的控制信息和位姿信息发送至云端服务器之前，所述数据处理方法还包括：
对获取的位姿信息进行解算，得到X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息，并将解算出的位移信息和姿态角信息发送至云端服务器；
所述交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标或键盘；
所述位姿信息包括通过所述交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息；所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角；
所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计；
其中，所述头戴显示器上内设或外设有定位器，所述追踪标记上内设或外设有定位器，头戴显示器上的定位器用于接收空间中设置的信号发射器发射的定位信号，以获得头戴显示器的位置信息；追踪标记上的定位器用于接收空间中设置的信号发射器发射的定位信号，以此得追踪标记的位置信息。
7.一种数据处理方法，其特征在于，包括：
接收头戴显示器发送的控制信息和位姿信息；接收的位姿信息包括：所述头戴显示器对获取的位姿信息进行解算，得到的X轴位移信息和姿态角信息、Y轴位移信息和姿态角信息、Z轴位移信息和姿态角信息；
根据接收的控制信息和位姿信息对应用图像进行渲染，得到渲染后的图像帧码流信息；
将渲染后的图像帧码流信息发送至头戴显示器；
所述位姿信息包括通过交互设备上的定位器获得的位置信息和通过所述交互设备上的传感器获得的姿态信息；所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角；
所述交互设备上的传感器包括六轴传感器或九轴传感器，其中，所述六轴传感器包括三轴陀螺仪和三轴加速度计；所述九轴传感器包括三轴陀螺仪、三轴加速度计和三轴磁力计；
所述交互设备分为头戴显示器和追踪标记两种，其中，追踪标记包括手柄、手套、鼠标或键盘；
其中，所述头戴显示器上内设或外设有定位器，所述追踪标记上内设或外设有定位器，头戴显示器上的定位器用于接收空间中设置的信号发射器发射的定位信号，以获得头戴显示器的位置信息；追踪标记上的定位器用于接收空间中设置的信号发射器发射的定位信号，以此得追踪标记的位置信息。
8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求6至7中任一项所述的数据处理方法的步骤。
9.一种头戴显示器，其特征在于，包括处理器及存储器，其中：
所述处理器用于执行所述存储器中存储的数据处理程序，以实现如权利要求6中所述的数据处理方法的步骤。
10.一种云端服务器，其特征在于，包括处理器及存储器，其中：
所述处理器用于执行所述存储器中存储的数据处理程序，以实现如权利要求7中所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810987904.6A CN109375764B (zh) | 2018-08-28 | 2018-08-28 | 一种头戴显示器、云端服务器、vr系统及数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810987904.6A CN109375764B (zh) | 2018-08-28 | 2018-08-28 | 一种头戴显示器、云端服务器、vr系统及数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109375764A CN109375764A (zh) | 2019-02-22 |
| CN109375764B true CN109375764B (zh) | 2023-07-18 |
Family
ID=65404738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810987904.6A Active CN109375764B (zh) | 2018-08-28 | 2018-08-28 | 一种头戴显示器、云端服务器、vr系统及数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109375764B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109725730B (zh) * | 2019-01-02 | 2023-05-26 | 京东方科技集团股份有限公司 | 头戴显示设备及其驱动方法、显示系统及其驱动方法 |
| CN112068693A (zh) * | 2019-06-10 | 2020-12-11 | Oppo广东移动通信有限公司 | 控制方法、头戴设备、服务器和运算系统 |
| CN110751711B (zh) * | 2019-09-03 | 2023-06-30 | 南京睿悦信息技术有限公司 | 应用于移动端虚拟/增强现实的远程扩展渲染系统 |
| CN112752119B (zh) * | 2019-10-31 | 2023-12-01 | 中兴通讯股份有限公司 | 一种时延误差校正方法、终端设备、服务器及存储介质 |
| CN110850977B (zh) * | 2019-11-06 | 2023-10-31 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
| CN110908519A (zh) * | 2019-12-04 | 2020-03-24 | Oppo广东移动通信有限公司 | 数据处理方法以及电子设备、增强现实设备和存储介质 |
| CN111343478A (zh) * | 2020-02-21 | 2020-06-26 | 深圳市酷开网络科技有限公司 | Vr设备数据处理方法、系统、vr一体机及存储介质 |
| CN111459267A (zh) * | 2020-03-02 | 2020-07-28 | 杭州嘉澜创新科技有限公司 | 一种数据处理方法、第一服务器、第二服务器与存储介质 |
| CN111420391A (zh) * | 2020-03-04 | 2020-07-17 | 青岛小鸟看看科技有限公司 | 一种头戴显示系统及其空间定位方法 |
| CN111813220A (zh) * | 2020-06-19 | 2020-10-23 | 深圳增强现实技术有限公司 | 基于增强现实或虚拟现实智能头戴设备的交互系统 |
| CN114143580B (zh) * | 2020-09-03 | 2024-05-17 | 青岛海信电子产业控股股份有限公司 | 一种显示设备及手柄操控图案显示方法 |
| CN114143749B (zh) * | 2020-09-04 | 2024-03-08 | 广州汽车集团股份有限公司 | 一种远程驾驶汽车的方法及系统 |
| CN113141346B (zh) * | 2021-03-16 | 2023-04-28 | 青岛小鸟看看科技有限公司 | 基于串流的vr一拖多系统及方法 |
| CN113382230B (zh) * | 2021-05-17 | 2023-01-17 | 青岛小鸟看看科技有限公司 | 头戴显示设备和头戴显示系统 |
| EP4142285A4 (en) | 2021-05-17 | 2023-11-15 | Qingdao Pico Technology Co., Ltd. | HEAD-MOUNTED DISPLAY DEVICE AND HEAD-MOUNTED DISPLAY SYSTEM |
| CN113296598A (zh) * | 2021-05-20 | 2021-08-24 | 东莞市小精灵教育软件有限公司 | 一种图像处理方法、系统、可穿戴设备及配件与存储介质 |
| CN113453073B (zh) * | 2021-06-29 | 2023-01-06 | 北京百度网讯科技有限公司 | 一种图像渲染方法、装置、电子设备及存储介质 |
| CN113625869B (zh) * | 2021-07-15 | 2023-12-29 | 北京易智时代数字科技有限公司 | 一种大空间多人互动云渲染系统 |
| CN113570698A (zh) * | 2021-07-23 | 2021-10-29 | Oppo广东移动通信有限公司 | 资源处理方法、装置、服务器以及存储介质 |
| CN115463413A (zh) * | 2022-09-30 | 2022-12-13 | 小派科技（上海）有限责任公司 | 应用于多人互动场景下的互动装置、控制方法和互动系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791977A (zh) * | 2016-02-26 | 2016-07-20 | 北京视博云科技有限公司 | 基于云服务的虚拟现实数据处理方法、设备及系统 |
| CN106681510A (zh) * | 2016-12-30 | 2017-05-17 | 光速视觉（北京）科技有限公司 | 位姿识别装置、虚拟现实显示装置以及虚拟现实系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103522291B (zh) * | 2013-10-29 | 2016-08-17 | 中国人民解放军总装备部军械技术研究所 | 一种排爆机器人的目标抓取系统及方法 |
| TWI602436B (zh) * | 2014-05-06 | 2017-10-11 | 虛擬會議系統 | |
| US9659411B2 (en) * | 2015-01-14 | 2017-05-23 | Oculus Vr, Llc | Passive locators for a virtual reality headset |
| CN106507083B (zh) * | 2016-09-14 | 2018-12-25 | 北京小鸟看看科技有限公司 | 一种无线通信装置、虚拟现实光球及虚拟现实系统 |
| CN206249245U (zh) * | 2016-11-28 | 2017-06-13 | 成都理想境界科技有限公司 | 一种定位系统、定位终端以及定位网络 |
| CN107193380B (zh) * | 2017-05-26 | 2020-04-03 | 成都斯斐德科技有限公司 | 一种高精度虚拟现实定位系统 |
| CN107024995A (zh) * | 2017-06-05 | 2017-08-08 | 河北玛雅影视有限公司 | 多人虚拟现实交互系统及其控制方法 |
| CN107272454A (zh) * | 2017-06-19 | 2017-10-20 | 中国人民解放军国防科学技术大学 | 一种基于虚拟现实的实时人机交互方法 |
| CN107332625B (zh) * | 2017-07-03 | 2019-12-13 | 极鱼（北京）科技有限公司 | 一种定位无线同步系统和定位系统 |
| CN107462994A (zh) * | 2017-09-04 | 2017-12-12 | 浙江大学 | 沉浸式虚拟现实头戴显示装置和沉浸式虚拟现实显示方法 |
| CN107671857B (zh) * | 2017-10-11 | 2021-04-02 | 上海交通大学 | 用于服务机器人操作演示与算法验证的三维仿真平台 |
| CN108169713A (zh) * | 2017-12-26 | 2018-06-15 | 青岛小鸟看看科技有限公司 | 外接设备的定位方法及装置、虚拟现实设备及系统 |
-
2018
- 2018-08-28 CN CN201810987904.6A patent/CN109375764B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105791977A (zh) * | 2016-02-26 | 2016-07-20 | 北京视博云科技有限公司 | 基于云服务的虚拟现实数据处理方法、设备及系统 |
| CN106681510A (zh) * | 2016-12-30 | 2017-05-17 | 光速视觉（北京）科技有限公司 | 位姿识别装置、虚拟现实显示装置以及虚拟现实系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109375764A (zh) | 2019-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109375764B (zh) | 一种头戴显示器、云端服务器、vr系统及数据处理方法 | |
| CN110140099B (zh) | 用于跟踪控制器的系统和方法 | |
| US10460512B2 (en) | 3D skeletonization using truncated epipolar lines | |
| US10665020B2 (en) | Apparatuses, methods and systems for tethering 3-D virtual elements to digital content | |
| US20160225188A1 (en) | Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment | |
| US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
| CN106454311B (zh) | 一种led三维成像系统及方法 | |
| EP3250985A1 (en) | Method and system for providing virtual display of a physical environment | |
| TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
| CN102779000A (zh) | 一种用户交互系统和方法 | |
| CN110969658B (zh) | 利用来自多个设备的图像进行定位和标测 | |
| WO2023240999A1 (zh) | 虚拟现实场景确定方法、装置及系统 | |
| CN116546149B (zh) | 基于虚拟数字人的舞蹈教学交互方法、装置、设备及介质 | |
| CN111459267A (zh) | 一种数据处理方法、第一服务器、第二服务器与存储介质 | |
| WO2017061890A1 (en) | Wireless full body motion control sensor | |
| CN109669539B (zh) | 一种电力可穿戴现场作业人机交互方法、装置及系统 | |
| CN108459716B (zh) | 一种在vr中实现多人协作完成任务的方法 | |
| CN116563740A (zh) | 基于扩展现实的控制方法、装置、电子设备和存储介质 | |
| KR20200144702A (ko) | 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법 | |
| CN115428421A (zh) | 用于提供增强现实内容的设备和方法 | |
| CN107219978A (zh) | 基于智能设备的三维交互系统及三维交互方法 | |
| TWI829552B (zh) | 真實視圖顯示方法、視訊直通系統及電腦可讀取儲存媒體 | |
| US20240127006A1 (en) | Sign language interpretation with collaborative agents | |
| Gao | Research on VR equipment based on VR technology | |
| US20240126088A1 (en) | Positioning method, apparatus and system of optical tracker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A head mounted display, cloud server, VR system, and data processing method Granted publication date: 20230718 Pledgee: Beijing first financing Company limited by guarantee Pledgor: NOLO Co.,Ltd. Registration number: Y2024110000349 |