CN115131528A - 虚拟现实场景确定方法、装置及系统 - Google Patents
虚拟现实场景确定方法、装置及系统 Download PDFInfo
- Publication number
- CN115131528A CN115131528A CN202210674778.5A CN202210674778A CN115131528A CN 115131528 A CN115131528 A CN 115131528A CN 202210674778 A CN202210674778 A CN 202210674778A CN 115131528 A CN115131528 A CN 115131528A
- Authority
- CN
- China
- Prior art keywords
- information
- predicted
- pose information
- scene
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009877 rendering Methods 0.000 claims abstract description 115
- 238000004590 computer program Methods 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种虚拟现实场景确定方法、装置及系统，该方法应用于客户端设备，客户端设备和云端服务器组成虚拟现实系统，包括：获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；将所述第一位姿信息和所述第一时刻信息发送给云端服务器；接收所述云端服务器返回的预测位姿信息以及预测渲染场景；获取所述用户在第二时刻的第二位姿信息；根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。由于客户端设备接收的预测渲染场景是云端服务器根据用户的预测位姿信息进行场景渲染得到的，因此减少了视场角冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
Description
技术领域
本文涉及虚拟现实技术，尤指一种虚拟现实场景确定方法、装置及系统。
背景技术
虚拟现实(Virtual Reality，VR)是指采用计算机技术为核心，利用现代高科技手段生成的一种虚拟环境，用户借助特殊的输入/输出设备，通过视觉、听觉和触觉等获得与真实世界相同的感受。VR技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。目前，VR呈现蓬勃发展的势头，但是，如果想让用户获得较好的使用体验，往往需要依赖高性能的渲染方法。
现有的渲染方法是由客户端获取用户的当前位姿信息，然后将获取到的位姿信息发送给云端服务器，云端服务器经过处理，将位姿信息相应的冗余的渲染场景返回给客户端，客户端再根据用户当前位姿信息截取渲染场景，以显示给用户。
然而，为了让客户端能够根据当前位姿信息截取到对应的渲染场景，现有方法中云端服务器往往会给予较大的视场角冗余(即返回给客户端的渲染场景视场角会很大)，从而使得客户端的数据处理量多、数据损耗大且最终截取的渲染场景分辨率低。
发明内容
本申请提供的一种虚拟现实场景确定方法、装置及系统，能够减少云端服务器返回给客户端渲染场景的视场角冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
本申请提供了一种虚拟现实场景确定方法，应用于客户端设备，所述方法包括：
获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
将所述第一位姿信息和所述第一时刻信息发送给云端服务器；
接收所述云端服务器返回的预测位姿信息以及预测渲染场景；其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到；
获取所述用户在第二时刻的第二位姿信息；
根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
在一种可选的实施方式中，根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景，包括：
根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息；其中，所述调整信息包括：旋转角度和位移向量；
根据获得的所述调整信息调整所述渲染相机；
根据调整后的所述渲染相机截取所述预测渲染场景，得到所述虚拟现实场景。
在一种可选的实施方式中，所述位姿信息包括：旋转信息和位置信息，根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息，包括：
设置所述渲染相机的位置为坐标系原点且正对待渲染画面；
根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度；
根据所述预测位姿信息与所述第二位姿信息中的位置信息计算所述渲染相机的位移向量。
在一种可选的实施方式中，根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度，包括：
将所述预测位姿信息与所述第二位姿信息中的旋转信息转化为四元数；
通过获得的两组四元数计算角度差，以得到所述渲染相机的旋转角度。
本申请还提供了一种虚拟现实场景确定方法，应用于云端服务器，所述方法包括：
接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息；
根据所述预测位姿信息进行场景渲染，确定预测渲染场景；
将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
在一种可选的实施方式中，根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息，包括：
根据所述第一位姿信息，采用机器学习算法预测用户的运动轨迹；
根据所述第一时刻信息以及当前网络状态预测第三时刻的第三时刻信息，所述第三时刻信息为所述云端服务器预测的将所述预测渲染场景返回至所述客户端设备时的时刻信息；
根据预测的所述运动轨迹以及所述第三时刻信息计算所述预测位姿信息。
在一种可选的实施方式中，所述预测渲染场景的视场角大于客户端设备的视场角。
本申请还提供了一种虚拟现实场景确定装置，应用于客户端设备，包括：
第一获取模块，被配置为获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
发送模块，被配置为将所述第一位姿信息和所述第一时刻信息发送给云端服务器；
接收模块，被配置为接收所述云端服务器返回的预测位姿信息以及预测渲染场景；其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到；
第二获取模块，被配置为获取所述用户在第二时刻的第二位姿信息；
确定模块，被配置为根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
本申请还提供了一种虚拟现实场景确定装置，应用于云端服务器，包括：
接收模块，被配置为接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
计算模块，被配置为根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息；
确定模块，被配置为根据所述预测位姿信息进行场景渲染，确定预测渲染场景；
发送模块，被配置为将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
本申请还提供了一种客户端设备，包括第一存储器和第一处理器，所述第一存储器存储上保存有计算机程序，所述第一存储器上的计算机程序被所述第一处理器执行时执行如上任意一种以客户端设备侧为执行主体的虚拟现实场景确定方法。
本申请还提供了一种云端服务器，包括第二存储器和第二处理器，所述第二存储器存储上保存有计算机程序，所述第二存储器上的计算机程序被所述第二处理器执行时执行如上任意一种以云端服务器侧为执行主体的虚拟现实场景确定方法。
本申请还提供了一种虚拟现实系统，包括如上所述的客户端设备，以及如上所述的云端服务器。
与相关技术相比，本申请提供的虚拟现实场景确定方法、装置及系统，由于客户端设备接收的预测渲染场景是所述云端服务器根据所述用户的预测位姿信息进行场景渲染得到的，因此减少了云端服务器返回给客户端渲染场景的视场角冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1为本申请实施例提供的一种虚拟现实场景确定方法的流程示意图；
图2为本申请实施例提供的另一种虚拟现实场景确定方法的流程示意图；
图3为本申请实施例提供的一种虚拟现实场景确定客户端设备的结构示意图；
图4为本申请实施例提供的一种虚拟现实场景确定云端服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本文提供了一种虚拟现实场景确定方法，应用于客户端设备，所述客户端设备和云端服务器组成虚拟现实系统，如图1所示，该方法包括：
步骤101、获取用户当前第一时刻的第一位姿信息和第一时刻的第一时刻信息；
步骤102、将所述第一位姿信息和所述第一时刻信息发送给云端服务器。
在一种示例性实例中，时刻信息具体可以是时间戳，客户端设备捕捉用户当前第一时刻的第一位姿信息，并为获得的第一位姿信息添加时间戳，将添加了时间戳的第一位姿信息发送给云端服务器。
在一种示例性实例中，位姿信息包括通过客户端设备的定位器获得的位置信息与通过客户端设备上的传感器获得的姿态信息。其中，所述位置信息包括沿X、Y、Z三个直角坐标轴方向的位置信息，所述姿态信息包括绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll，其中，Pitch是围绕X轴旋转的俯仰角，Yaw是围绕Y轴旋转的偏航角，Roll是围绕Z轴旋转的翻滚角。通常将沿X、Y、Z三个直角坐标轴方向的位置信息和绕X、Y、Z三个直角坐标轴方向的姿态信息Pitch、Yaw、Roll合称为六自由度信息。
在一种示例性实例中，客户端设备可以包括：头戴显示器和交互设备，所述交互设备可以包括手柄、键盘、智能指套，其中，头戴显示器包括以下几种，一种是移动端头戴显示器，即盒子+手机，其中，盒子只是一个VR外壳，结构简单、价格低廉，需要把手机放到里面充当屏幕和运算硬件，才能工作；一种是PC端头戴显示器，需要连接一台高性能电脑才能运作，借助外部硬件协助运算，用户体验较好，具备独立屏幕，但是产品结构复杂，并且受数据线的束缚，自己无法自由活动；一种是一体式头戴显示器，依赖设备内置硬件完成运算，具备独立运算、输入和输出的功能，无需借助任何输入输出设备，就可以在虚拟的世界里尽情感受三维(3D)立体感带来的视觉冲击；一种是外接移动端头戴显示器，智能手机或平板等外接于头戴式显示器；一种是外接处理端头戴式显示器，处理端外界与头戴式显示器。
步骤103、接收所述云端服务器返回的预测位姿信息以及预测渲染场景。
其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到。
在一种示例性实例中，客户端设备接收的预测渲染场景是图像帧码流信息的形式。客户端设备接收到图像帧码流信息后，将图像帧码流信息进行解码处理。
步骤104、获取所述用户在第二时刻的第二位姿信息；
步骤105、根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
在一种示例性实例中，所述渲染方法还包括如下步骤：将所述虚拟现实场景进行显示。
本申请实施例提供的虚拟现实场景确定方法，由于预测渲染场景的生成过程引入了对用户位姿信息的预测，使得预测渲染场景能够实现更精确地获取，因此减少了视场角(Field of view，FOV)的冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
在一种示例性实例中，根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景，包括：
首先，根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息；其中，所述调整信息包括：旋转角度和位移向量。
其次，根据获得的调整信息调整所述渲染相机；
最后，根据调整后的所述渲染相机截取所述预测渲染场景，得到所述虚拟现实场景。
在一种示例性实例中，客户端设备中渲染相机的视场角是固定的，调整渲染相机的旋转角度和位移向量截取预测渲染场景，可以得到第二时刻的第二位姿信息对应的渲染场景，即虚拟现实场景。
在一种示例性实例中，所述位姿信息包括：旋转信息和位置信息，根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息，包括：
首先，设置所述渲染相机的位置为坐标系原点且正对待渲染画面。
其次，根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度。
最后，根据所述预测位姿信息与所述第二位姿信息中的位置信息计算所述渲染相机的位移向量。
在一种示例性实例中，根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度，包括：
首先，将所述预测位姿信息与所述第二位姿信息中的旋转信息转化为四元数。
其次，通过获得的两组四元数计算角度差，以得到所述渲染相机的旋转角度。
本文还提供了一种虚拟现实场景确定方法，应用于云端服务器，所述云端服务器和客户端设备组成虚拟现实系统，包括：如图2所示，该方法包括：
步骤201、接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息。
步骤202、根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息。
步骤203、根据所述预测位姿信息进行场景渲染，确定预测渲染场景；
步骤204、将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
本申请实施例提供的渲染方法，由于预测渲染场景的生成过程引入了对用户位姿信息的预测，使得预测渲染场景能够实现更精确地获取，因此减少了视场角的冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
在一种示例性实例中，根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息，包括：
首先，根据所述第一位姿信息，采用机器学习算法预测用户的运动轨迹。
其次，根据所述第一时刻信息以及当前网络状态预测第三时刻的第三时刻信息，所述第三时刻信息为所述云端服务器预测的将所述预测渲染场景返回至所述客户端设备时的时刻信息。
最后，根据预测的所述运动轨迹以及所述第三时刻信息计算所述预测位姿信息。
在一种示例性实例中，所述预测渲染场景的视场角大于客户端的视场角。
需要说明的是，本文中的第一时刻可以理解为初始时刻，所述第一位姿信息可以理解为初始位姿信息；本文中的第二时刻可以理解为所述客户端设备接收到所述云端服务器的预测渲染场景的时刻，第二位姿信息可以理解为在该时刻的位姿信息；本文中的第三时刻为所述云端服务器预测的将所述预测渲染场景返回至所述客户端设备的时刻或者说为所述云端服务器预测的所述客户端设备接收到所述预测渲染场景的时刻，这一预测是所述云端服务器基于当前网络状态和所述第一时刻信息确定的。
本文还提供了一种虚拟现实场景确定装置，应用于客户端设备，如图3所示，该应用于客户端设备的虚拟现实场景确定装置3包括：
第一获取模块31，被配置为获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息。
发送模块32，被配置为将所述第一位姿信息和所述第一时刻信息发送给云端服务器。
接收模块33，被配置为接收所述云端服务器返回的预测位姿信息以及预测渲染场景；其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到。
第二获取模块34，被配置为获取所述用户在第二时刻的第二位姿信息。
确定模块35，被配置为根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
在一种示例性实例中，确定模块35具体用于：
根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息；其中，所述调整信息包括：旋转角度和位移向量。
根据获得的所述调整信息调整所述渲染相机。
根据调整后的所述渲染相机截取所述预测渲染场景，得到所述虚拟现实场景。
在一种示例性实例中，所述位姿信息包括：旋转信息和位置信息。
在一种示例性实例中，确定模块35具体还用于：
设置所述渲染相机的位置为坐标系原点且正对待渲染画面。
根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度。
根据所述预测位姿信息与所述第二位姿信息中的位置信息计算所述渲染相机的位移向量。
在一种示例性实例中，确定模块35具体还用于：
将所述预测位姿信息与所述第二位姿信息中的旋转信息转化为四元数。
通过获得的两组四元数计算角度差，以得到所述渲染相机的旋转角度。
本申请实施例提供的应用于客户端设备的虚拟现实场景确定装置，由于预测渲染场景的生成过程引入了对用户位姿信息的预测，使得预测渲染场景能够实现更精确地获取，因此减少了视场角(Field of view，FOV)的冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
本文还提供了一种虚拟现实场景确定装置，应用于云端服务器，如图4所示，该应用于云端服务器的虚拟现实场景确定装置4包括：
接收模块41，被配置为接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息。
计算模块42，被配置为根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息。
确定模块43，被配置为根据所述预测位姿信息进行场景渲染，确定预测渲染场景。
发送模块44，被配置为将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
在一种示例性实例中，计算模块42具体用于：
根据所述第一位姿信息，采用机器学习算法预测用户的运动轨迹。
根据所述第一时刻信息以及当前网络状态预测第三时刻的第三时刻信息，所述第三时刻信息为所述云端服务器预测的将所述预测渲染场景返回至所述客户端设备时的时刻信息。
根据预测的所述运动轨迹以及所述第三时刻信息计算所述预测位姿信息。
在一种示例性实例中，所述预测渲染场景的视场角大于客户端设备的视场角。
本申请实施例提供的应用于云端服务器的虚拟现实场景确定，由于预测渲染场景的生成过程引入了对用户位姿信息的预测，使得预测渲染场景能够实现更精确地获取，因此减少了视场角的冗余，从而使得客户端数据处理量少、数据损耗小且最终截取的渲染场景分辨率高。
本文还提供了一种客户端设备，包括第一存储器和第一处理器，所述第一存储器存储上保存有计算机程序，所述第一存储器上的计算机程序被所述第一处理器执行时执行如上述任意一种以客户端设备为执行主体的渲染方法。
本文还提供了一种云端服务器，包括第二存储器和第二处理器，所述第二存储器存储上保存有计算机程序，所述第二存储器上的计算机程序被所述第二处理器执行时执行如上述任意一种以云端服务器为执行主体的渲染方法。
本文还提供了一种虚拟现实系统，包括上述的一种客户端设备以及上述的一种云端服务器。
本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。
此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (12)
1.一种虚拟现实场景确定方法，应用于客户端设备，其特征在于，所述方法包括：
获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
将所述第一位姿信息和所述第一时刻信息发送给云端服务器；
接收所述云端服务器返回的预测位姿信息以及预测渲染场景；其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到；
获取所述用户在第二时刻的第二位姿信息；
根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
2.根据权利要求1所述的方法，其特征在于，根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景，包括：
根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息；其中，所述调整信息包括：旋转角度和位移向量；
根据获得的所述调整信息调整所述渲染相机；
根据调整后的所述渲染相机截取所述预测渲染场景，得到所述虚拟现实场景。
3.根据权利要求2所述的方法，其特征在于，所述位姿信息包括：旋转信息和位置信息，根据所述第二位姿信息和所述预测位姿信息获取所述客户端设备中渲染相机的调整信息，包括：
设置所述渲染相机的位置为坐标系原点且正对待渲染画面；
根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度；
根据所述预测位姿信息与所述第二位姿信息中的位置信息计算所述渲染相机的位移向量。
4.根据权利要求3所述的方法，其特征在于，根据所述预测位姿信息与所述第二位姿信息中的旋转信息计算角度差，以得到所述渲染相机的旋转角度，包括：
将所述预测位姿信息与所述第二位姿信息中的旋转信息转化为四元数；
通过获得的两组四元数计算角度差，以得到所述渲染相机的旋转角度。
5.一种虚拟现实场景确定方法，应用于云端服务器，其特征在于，所述方法包括：
接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息；
根据所述预测位姿信息进行场景渲染，确定预测渲染场景；
将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
6.根据权利要求5所述的方法，其特征在于，根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息，包括：
根据所述第一位姿信息，采用机器学习算法预测用户的运动轨迹；
根据所述第一时刻信息以及当前网络状态预测第三时刻的第三时刻信息，所述第三时刻信息为所述云端服务器预测的将所述预测渲染场景返回至所述客户端设备时的时刻信息；
根据预测的所述运动轨迹以及所述第三时刻信息计算所述预测位姿信息。
7.根据权利要求5所述的方法，其特征在于，所述预测渲染场景的视场角大于客户端设备的视场角。
8.一种虚拟现实场景确定装置，应用于客户端设备，其特征在于，包括：
第一获取模块，被配置为获取用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
发送模块，被配置为将所述第一位姿信息和所述第一时刻信息发送给云端服务器；
接收模块，被配置为接收所述云端服务器返回的预测位姿信息以及预测渲染场景；其中，所述预测位姿信息由所述云端服务器根据所述第一位姿信息、所述第一时刻信息以及网络状态进行预测得到，所述预测渲染场景由所述云端服务器根据所述预测位姿信息进行场景渲染得到；
第二获取模块，被配置为获取所述用户在第二时刻的第二位姿信息；
确定模块，被配置为根据所述第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
9.一种虚拟现实场景确定装置，应用于云端服务器，其特征在于，包括：
接收模块，被配置为接收客户端设备发送的用户在第一时刻的第一位姿信息和第一时刻的第一时刻信息；
计算模块，被配置为根据所述第一位姿信息、所述第一时刻信息以及网络状态计算预测位姿信息；
确定模块，被配置为根据所述预测位姿信息进行场景渲染，确定预测渲染场景；
发送模块，被配置为将所述预测位姿信息和所述预测渲染场景发送至所述客户端设备，以便于所述客户端设备根据用户在第二时刻的第二位姿信息、所述预测位姿信息和所述预测渲染场景确定显示给所述用户的虚拟现实场景。
10.一种客户端设备，其特征在于，包括第一存储器和第一处理器，所述第一存储器存储上保存有计算机程序，所述第一存储器上的计算机程序被所述第一处理器执行时执行如上述权利要求1-4任一项所述的方法。
11.一种云端服务器，其特征在于，包括第二存储器和第二处理器，所述第二存储器存储上保存有计算机程序，所述第二存储器上的计算机程序被所述第二处理器执行时执行如上述权利要求5-7任一项所述的方法。
12.一种虚拟现实系统，其特征在于，包括如权利要10所述的客户端设备，以及如权利要求11所述的云端服务器。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210674778.5A CN115131528A (zh) | 2022-06-14 | 2022-06-14 | 虚拟现实场景确定方法、装置及系统 |
| PCT/CN2022/142395 WO2023240999A1 (zh) | 2022-06-14 | 2022-12-27 | 虚拟现实场景确定方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210674778.5A CN115131528A (zh) | 2022-06-14 | 2022-06-14 | 虚拟现实场景确定方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115131528A true CN115131528A (zh) | 2022-09-30 |
Family
ID=83377560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210674778.5A Pending CN115131528A (zh) | 2022-06-14 | 2022-06-14 | 虚拟现实场景确定方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115131528A (zh) |
| WO (1) | WO2023240999A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240999A1 (zh) * | 2022-06-14 | 2023-12-21 | 北京凌宇智控科技有限公司 | 虚拟现实场景确定方法、装置及系统 |
| CN118524197A (zh) * | 2024-07-19 | 2024-08-20 | 海马云（天津）信息技术有限公司 | Vr设备的数据处理方法和装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118505876A (zh) * | 2024-07-18 | 2024-08-16 | 深圳市其域创新科技有限公司 | 三维场景绘制方法、装置、可穿戴设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180101930A1 (en) * | 2016-01-07 | 2018-04-12 | Microsoft Technology Licensing, Llc | View rendering from multiple server-side renderings |
| CN108351691A (zh) * | 2015-10-26 | 2018-07-31 | 微软技术许可有限责任公司 | 用于虚拟图像的远程渲染 |
| CN108921951A (zh) * | 2018-07-02 | 2018-11-30 | 京东方科技集团股份有限公司 | 虚拟现实图像显示方法及其装置、虚拟现实设备 |
| CN113936119A (zh) * | 2020-06-28 | 2022-01-14 | 华为技术有限公司 | 一种数据渲染方法、系统及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131528A (zh) * | 2022-06-14 | 2022-09-30 | 北京凌宇智控科技有限公司 | 虚拟现实场景确定方法、装置及系统 |
-
2022
- 2022-06-14 CN CN202210674778.5A patent/CN115131528A/zh active Pending
- 2022-12-27 WO PCT/CN2022/142395 patent/WO2023240999A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108351691A (zh) * | 2015-10-26 | 2018-07-31 | 微软技术许可有限责任公司 | 用于虚拟图像的远程渲染 |
| US20180101930A1 (en) * | 2016-01-07 | 2018-04-12 | Microsoft Technology Licensing, Llc | View rendering from multiple server-side renderings |
| CN108921951A (zh) * | 2018-07-02 | 2018-11-30 | 京东方科技集团股份有限公司 | 虚拟现实图像显示方法及其装置、虚拟现实设备 |
| CN113936119A (zh) * | 2020-06-28 | 2022-01-14 | 华为技术有限公司 | 一种数据渲染方法、系统及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023240999A1 (zh) * | 2022-06-14 | 2023-12-21 | 北京凌宇智控科技有限公司 | 虚拟现实场景确定方法、装置及系统 |
| CN118524197A (zh) * | 2024-07-19 | 2024-08-20 | 海马云（天津）信息技术有限公司 | Vr设备的数据处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023240999A1 (zh) | 2023-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| CN107820593B (zh) | 一种虚拟现实交互方法、装置及系统 | |
| CN111294665B (zh) | 视频的生成方法、装置、电子设备及可读存储介质 | |
| WO2019242262A1 (zh) | 基于增强现实的远程指导方法、装置、终端和存储介质 | |
| CN115131528A (zh) | 虚拟现实场景确定方法、装置及系统 | |
| CN106846497B (zh) | 应用于终端的呈现三维地图的方法和装置 | |
| EP3250985A1 (en) | Method and system for providing virtual display of a physical environment | |
| CN109840946B (zh) | 虚拟对象显示方法及装置 | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN113313832B (zh) | 三维模型的语义生成方法、装置、存储介质与电子设备 | |
| CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| CN113178017A (zh) | Ar数据展示方法、装置、电子设备及存储介质 | |
| CN112995491B (zh) | 视频生成方法、装置、电子设备及计算机存储介质 | |
| CN117319790A (zh) | 基于虚拟现实空间的拍摄方法、装置、设备及介质 | |
| CN110192169A (zh) | 虚拟场景中菜单处理方法、装置及存储介质 | |
| KR102314782B1 (ko) | 3차원 증강현실 표시 방법 | |
| CN112288876A (zh) | 远距离ar识别服务器及系统 | |
| CN116563740A (zh) | 基于扩展现实的控制方法、装置、电子设备和存储介质 | |
| US11910068B2 (en) | Panoramic render of 3D video | |
| CN113822936A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN108845669B (zh) | 一种ar/mr交互方法和装置 | |
| CN108171802A (zh) | 一种云端与终端结合实现的全景增强现实实现方法 | |
| CN118379785A (zh) | 手腕动作捕捉方法、系统及存储介质 | |
| CN117640919A (zh) | 基于虚拟现实空间的图片显示方法、装置、设备及介质 | |
| CN118115653A (zh) | 三维场景重建方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |