CN115209178A - 一种信息处理方法、装置及系统 - Google Patents

一种信息处理方法、装置及系统 Download PDF

Info

Publication number
CN115209178A
CN115209178A CN202110402796.3A CN202110402796A CN115209178A CN 115209178 A CN115209178 A CN 115209178A CN 202110402796 A CN202110402796 A CN 202110402796A CN 115209178 A CN115209178 A CN 115209178A
Authority
CN
China
Prior art keywords
information
image information
server
terminal device
terminal equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110402796.3A
Other languages
English (en)
Inventor
吴亮
吴昊
朱勇平
刘红波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110402796.3A priority Critical patent/CN115209178A/zh
Priority to PCT/CN2022/085663 priority patent/WO2022218209A1/zh
Publication of CN115209178A publication Critical patent/CN115209178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例公开一种信息处理方法、装置及系统，包括：当接收到来自终端设备的姿态信息时，根据姿态信息对第一图像信息进行渲染，得到第二图像信息，姿态信息是用户的姿态信息，第一图像信息为虚拟现实VR图像信息；向终端设备发送第二图像信息。本申请实施例，可以降低信息显示的时延。

Description

一种信息处理方法、装置及系统
技术领域
本发明实施例涉及虚拟现实技术领域，尤其涉及一种信息处理方法、装置及系统。
背景技术
虚拟现实(virtual reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。即VR技术是一种多源信息融合的、交互式的三维动态景和实体行为的系统仿真。
与本地VR技术相比，云(cloud)VR技术由云端设备(服务器侧)对图像进行渲染，由客户端(VR的终端设备，如VR头盔等)对图像进行显示。云端设备和客户端需要进行交互，即云端设备可以接收来自客户端采集的数据，并进行渲染，以及客户端可以接收来自云端设备的数据，并进行VR图像显示。然而，在目前的云VR交互技术中，云端设备接收到来自客户端的姿态信息之后，无法及时地根据姿态信息对图像信息进行渲染，以致终端设备显示图像信息的时延较大。
发明内容
本发明实施例公开了一种信息处理方法、装置及系统，用于降低图像信息显示的时延。
第一方面公开一种信息处理方法，该信息处理方法可以应用于服务器，也可以应用于服务器中的模块(例如，芯片)，以下以服务器为例进行说明。该信息处理方法可以包括：当接收到来自终端设备的姿态信息时，根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息，所述姿态信息是用户的姿态信息，所述第一图像信息为虚拟现实VR图像信息；向所述终端设备发送所述第二图像信息。
本申请实施例中，在现有的技术中，由于服务器是在等待相同的时间间隔后渲染一次图像信息，因此，当服务器接收到姿态信息时，通常需要等待一段时间，才可以开始对图像信息进行渲染，导致显示图像信息会产生一定的时延。本申请实施例中，当服务器接收到姿态信息时，可以立即对图像信息进行渲染，从而可以减少服务器处理过程中的等待时延，进而可以降低终端设备显示图像信息的时延。此外，当降低了终端设备显示图像信息的时延时，可以使得终端设备及时地刷新接收到的图像信息，以使得用户观看的图像画面更加流畅，从而可以提高用户体验。
作为一种可能的实施方式，所述根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息包括：根据所述姿态信息确定帧率(frame rate，FR)；根据所述帧率对所述第一图像信息进行渲染，得到第二图像信息。
本申请实施例中，当前，服务器按照固定的帧率对图像信息进行渲染。然而，不同的终端设备的解码能力和/或刷新能力往往不同。有的终端设备的解码能力和/或刷新能力相对较高，当接收到服务器的图像信息时，能够及时地进行解码和显示；而有的终端设备的解码能力和/或刷新能力相对较低，当接收到服务器的图像信息时，来不及进行解码和刷新的时候，从而可能会出现丢帧和跳帧等问题。在本申请实施例中，服务器可以根据接收到的姿态信息确定渲染的图像信息对应的帧率，从而可以适应不同终端设备的解码能力和/或刷新能力，进而可以提高服务器对终端设备的适应能力，也可以保证终端设备显示图片信息的可靠性。进一步地，当终端设备显示图像信息的可靠性提高时，可以提高用户看到的图像画面的正确性，从而可以提高用户体验。
作为一种可能的实施方式，所述根据所述姿态信息确定帧率包括：根据接收到所述姿态信息的频率确定所述帧率。
本申请实施例中，服务器可以根据接收到姿态信息的频率确定渲染的姿态信息的帧率。终端设备根据自身的解码能力和/或刷新能力调整采集姿态信息的频率，并根据上述频率向服务器发送姿态信息。服务器接收到姿态信息之后，可以根据接收姿态信息的频率确定渲染的频率，从而可以确定渲染出的图像信息的帧率。因此，服务器可以根据接收到姿态信息的频率对应调整渲染图片信息的帧率，从而可以使得服务器渲染出的图像信息可以适应终端设备的解码能力和/或刷新能力，也可以更好地适应终端设备当前的显示需要。
作为一种可能的实施方式，该方法还可以包括：对所述第二图像信息进行编码，得到第三图像信息；所述向所述终端设备发送所述第二图像信息包括：向所述终端设备发送所述第三图像信息。
本申请实施例中，服务器对图像信息进行渲染之后，可以对渲染之后的图像信息进行编码，之后可以向服务器发送渲染后的图像信息。服务器对渲染后的图像信息进行编码，可以是对图像信息的压缩，从而可以减小传输图像信息的量，进而可以节约传输资源。此外，编码图像信息也可以是对图像信息的加密，从而可以提高图像信息的安全性和可靠性。
第二方面公开一种信息处理方法，该信息处理方法可以应用于终端设备，也可以应用于终端设备中的模块(例如，芯片)，以下以终端设备为例进行说明。该信息处理方法可以包括：当检测到终端设备处于未使用状态时，停止采集第一姿态信息，所述未使用状态包括所述终端设备的屏幕处于息屏状态和/或所述终端设备未被用户佩戴，所述第一姿态信息是用户的姿态信息。
本申请实施例中，当用户不使用VR头盔等终端设备时，终端设备依然不停地显示图像会造成处理资源和能源的浪费。因此，当终端设备的显示屏处于息屏状态时和/或用户摘下头盔时，用户不会查看屏幕，终端设备可以停止采集第一姿态信息。当终端设备不采集姿态信息时，终端设备不会向服务器发送姿态信息，因此，服务器不会接收到姿态信息，此时，服务器不会对图像信息进行渲染。因此，当用户不使用终端设备的时候，终端设备可以停止采集信息，以及服务器可以停止渲染图像信息，从而可以节约处理资源，以及可以避免能源的浪费。
作为一种可能的实施方式，该方法还可以包括：当采集到第二姿态信息时，向所述服务器发送所述第二姿态信息；接收来自所述服务器的所述第二图像信息；显示所述第二图像信息。
本申请实施例中，当终端设备采集姿态信息时候，可以立即向服务器发送姿态信息，从而可以保证终端设备的采集姿态信息的频率与服务器接收到姿态信息的频率基本一致。由于服务器接收到姿态信息便立即对第一图像信息进行渲染，从而可以保证服务器渲染得到的第二图像信息的帧率与终端设备的发送频率对应一致，从而可以使得终端设备调整采集姿态信息的频率可以对应调整服务器渲染的图像信息的帧率，进而可以保证终端设备调能够适应服务器发送第二图像信息的频率。此外，当终端设备接收到第二图像信息时，可以显示第二图像信息，从而可以保证方案的完整性。
作为一种可能的实施方式，所述向所述服务器发送所述第二姿态信息包括：根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，所述解码能力为所述终端设备解码的最快速度，所述刷新能力为所述终端设备显示的最大帧率；向所述服务器发送所述第三姿态信息。
本申请实施例中，由于终端设备的解码能力和/或刷新能力不能够与服务器同步，因此，当服务器按照固定帧率渲染图像信息，并向终端设备发送上述图像信息时，解码能力和/或刷新能力较弱的终端设备可能来不及解码和/或显示图像信息，从而可能造成丢帧和跳帧等问题。由于服务器接收到姿态信息时，便立即渲染图像信息，因此，终端设备可以根据自身的解码能力和/或刷新能力调整姿态信息，使得服务器渲染后的图像信息的帧率能够与终端设备的解码能力和/或刷新能力相适应。经过上述终端设备对姿态信息的调整，可以保证终端设备能够及时地解码和/或刷新图像信息，从而可以提高用户体验。
作为一种可能的实施方式，所述接收来自所述服务器的所述第二图像信息包括：接收来自所述服务器的第三图像信息；对所述第三图像信息进行解码，得到所述第二图像信息。
本申请实施例中，当终端设备接收到来自服务器的第三图像信息时，需要先对第三图像信息进行解码。终端设备的解码过程可以对应服务器的编码过程，从而可以保证信息处理过程的完整性。此外，上述图像信息的编码和解码过程，不但可以减少传输信息的数量，节约传输资源，还可以提高信息的可靠性和稳定性。
作为一种可能的实施方式，该方法还可以包括：当检测到终端设备处于使用状态时，采集所述第四姿态信息，所述使用状态包括屏幕处于显示状态和/或所述终端设备已被用户佩戴。
本申请实施例中，当用户恢复使用终端设备时，终端设备可以继续采集姿态信息，从而可以使得服务器恢复对图像信息的渲染，之后服务器可以向终端设备发送渲染之后的图像信息。进一步地，当终端设备接收到渲染之后的图像信息时，可以进行显示。当用户从暂停使用终端设备到恢复使用终端设备时，终端设备可以快速恢复使用。由此，不但可以保证用户的使用体验，还可以节约处理资源，以及避免能源的浪费。
第三方面公开一种信息处理装置，该信息处理装置可以为服务器，也可以为服务器中的模块(例如，芯片)，该信息处理装置可以包括：
渲染单元，用于当接收到来自终端设备的姿态信息时，根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息，所述姿态信息是用户的姿态信息，所述第一图像信息为虚拟现实VR图像信息；
发送单元，用于向所述终端设备发送所述第二图像信息。
本申请实施例中，在现有的技术中，由于服务器是在等待相同的时间间隔后渲染一次图像信息，因此，当服务器接收到姿态信息时，通常需要等待一段时间，才可以开始对图像信息进行渲染，导致显示图像信息会产生一定的时延。本申请实施例中，当服务器接收到姿态信息时，可以立即对图像信息进行渲染，从而可以减少服务器处理过程中的等待时延，进而可以降低终端设备显示图像信息的时延。此外，当降低了终端设备显示图像信息的时延时，可以使得终端设备及时地刷新接收到的图像信息，以使得用户观看的图像画面更加流畅，从而可以提高用户体验。
作为一种可能的实施方式，所述渲染单元具体用于：
根据所述姿态信息确定帧率；
根据所述帧率对所述第一图像信息进行渲染，得到第二图像信息。
本申请实施例中，当前，服务器按照固定的帧率对图像信息进行渲染。然而，不同的终端设备的解码能力和/或刷新能力往往不同。有的终端设备的解码能力和/或刷新能力相对较高，当接收到服务器的图像信息时，能够及时地进行解码和显示；而有的终端设备的解码能力和/或刷新能力相对较低，当接收到服务器的图像信息时，来不及进行解码和刷新的时候，从而可能会出现丢帧和跳帧等问题。在本申请实施例中，服务器可以根据接收到的姿态信息确定渲染的图像信息对应的帧率，从而可以适应不同终端设备的解码能力和/或刷新能力，进而可以提高服务器对终端设备的适应能力，也可以保证终端设备显示图片信息的可靠性。进一步地，当终端设备显示图像信息的可靠性提高时，可以提高用户看到的图像画面的正确性，从而可以提高用户体验。
作为一种可能的实施方式，所述渲染单元根据所述姿态信息确定帧率包括：
根据接收到所述姿态信息的频率确定所述帧率。
本申请实施例中，服务器可以根据接收到姿态信息的频率确定渲染的姿态信息的帧率。终端设备根据自身的解码能力和/或刷新能力调整采集姿态信息的频率，并根据上述频率向服务器发送姿态信息。服务器接收到姿态信息之后，可以根据接收姿态信息的频率确定渲染的频率，从而可以确定渲染出的图像信息的帧率。因此，服务器可以根据接收到姿态信息的频率对应调整渲染图片信息的帧率，从而可以使得服务器渲染出的图像信息可以适应终端设备的解码能力和/或刷新能力，也可以更好地适应终端设备当前的显示需要。
作为一种可能的实施方式，该装置还可以包括：
编码单元，用于对所述第二图像信息进行编码，得到第三图像信息；
所述发送单元，具体用于向所述终端设备发送所述第三图像信息。
本申请实施例中，服务器对图像信息进行渲染之后，可以对渲染之后的图像信息进行编码，之后可以向服务器发送渲染后的图像信息。服务器对渲染后的图像信息进行编码，可以是对图像信息的压缩，从而可以减小传输图像信息的量，进而可以节约传输资源。此外，编码图像信息也可以是对图像信息的加密，从而可以提高图像信息的安全性和可靠性。
第四方面公开一种信息处理装置，该信息处理装置可以为终端设备，也可以为终端设备中的模块(例如，芯片)，该信息处理装置可以包括：
采集单元，用于当检测到终端设备处于未使用状态时，停止采集第一姿态信息，所述未使用状态包括所述终端设备的屏幕处于息屏状态和/或所述终端设备未被用户佩戴，所述第一姿态信息是用户的姿态信息。
本申请实施例中，当用户不使用VR头盔等终端设备时，终端设备依然不停地显示图像会造成处理资源和能源的浪费。因此，当终端设备的显示屏处于息屏状态时和/或用户摘下头盔时，用户不会查看屏幕，终端设备可以停止采集第一姿态信息。当终端设备不采集姿态信息时，终端设备不会向服务器发送姿态信息，因此，服务器不会接收到姿态信息，此时，服务器不会对图像信息进行渲染。因此，当用户不使用终端设备的时候，终端设备可以停止采集信息，以及服务器可以停止渲染图像信息，从而可以节约处理资源，以及可以避免能源的浪费。
作为一种可能的实施方式，该装置还可以包括：
发送单元，用于当采集到第二姿态信息时，向所述服务器发送所述第二姿态信息；
接收单元，用于接收来自所述服务器的所述第二图像信息；
显示单元，用于显示所述第二图像信息。
本申请实施例中，当终端设备采集姿态信息时候，可以立即向服务器发送姿态信息，从而可以保证终端设备的采集姿态信息的频率与服务器接收到姿态信息的频率基本一致。由于服务器接收到姿态信息便立即对第一图像信息进行渲染，从而可以保证服务器渲染得到的第二图像信息的帧率与终端设备的发送频率对应一致，从而可以使得终端设备调整采集姿态信息的频率可以对应调整服务器渲染的图像信息的帧率，进而可以保证终端设备调能够适应服务器发送第二图像信息的频率。此外，当终端设备接收到第二图像信息时，可以显示第二图像信息，从而可以保证方案的完整性。
作为一种可能的实施方式，所述发送单元具体用于：
根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，所述解码能力为所述终端设备解码的最快速度，所述刷新能力为所述终端设备显示的最大帧率；
向所述服务器发送所述第三姿态信息。
本申请实施例中，由于终端设备的解码能力和/或刷新能力不能够与服务器同步，因此，当服务器按照固定帧率渲染图像信息，并向终端设备发送上述图像信息时，解码能力和/或刷新能力较弱的终端设备可能来不及解码和/或显示图像信息，从而可能造成丢帧和跳帧等问题。由于服务器接收到姿态信息时，便立即渲染图像信息，因此，终端设备可以根据自身的解码能力和/或刷新能力调整姿态信息，使得服务器渲染后的图像信息的帧率能够与终端设备的解码能力和/或刷新能力相适应。经过上述终端设备对姿态信息的调整，可以保证终端设备能够及时地解码和/或刷新图像信息，从而可以提高用户体验。
作为一种可能的实施方式，所述接收单元具体用于：
接收来自所述服务器的第三图像信息；
对所述第三图像信息进行解码，得到所述第二图像信息。
本申请实施例中，当终端设备接收到来自服务器的第三图像信息时，需要先对第三图像信息进行解码。终端设备的解码过程可以对应服务器的编码过程，从而可以保证信息处理过程的完整性。此外，上述图像信息的编码和解码过程，不但可以减少传输信息的数量，节约传输资源，还可以提高信息的可靠性和稳定性。
作为一种可能的实施方式，所述采集单元，还用于当检测到终端设备处于使用状态时，采集所述第四姿态信息，所述使用状态包括屏幕处于显示状态和/或所述终端设备已被用户佩戴。
本申请实施例中，当用户恢复使用终端设备时，终端设备可以继续采集姿态信息，从而可以使得服务器恢复对图像信息的渲染，之后服务器可以向终端设备发送渲染之后的图像信息。进一步地，当终端设备接收到渲染之后的图像信息时，可以进行显示。当用户从暂停使用终端设备到恢复使用终端设备时，终端设备可以快速恢复使用。由此，不但可以保证用户的使用体验，还可以节约处理资源，以及避免能源的浪费。
第五方面公开一种信息处理装置，该信息处理装置可以为服务器或者服务器内的模块(例如，芯片)。该信息处理装置可以包括处理器、存储器、输入接口和输出接口，所述输入接口用于接收来自所述信息处理装置之外的其它装置的信息，所述输出接口用于向所述信息处理装置之外的其它装置输出信息，当所述处理器执行所述存储器存储的计算机程序时，使得所述处理器执行第一方面或第一方面的任一实施方式公开的信息处理方法。
第六方面公开一种信息处理装置，该信息处理装置可以为终端设备或者终端设备内的模块(例如，芯片)。该信息处理装置可以包括处理器、存储器、输入接口和输出接口，所述输入接口用于接收来自所述信息处理装置之外的其它装置的信息，所述输出接口用于向所述信息处理装置之外的其它装置输出信息，当所述处理器执行所述存储器存储的计算机程序时，使得所述处理器执行第二方面或第二方面的任一实施方式公开的信息处理方法。
第七方面公开一种信息处理系统，该信息处理系统包括第五方面的信息处理装置和第六方面的信息处理装置。
第八方面公开一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序或计算机指令，当该计算机程序或计算机指令运行时，实现如上述各方面公开的信息处理方法。
第九方面公开一种芯片，包括处理器，用于执行存储器中存储的程序，当程序被执行时，使得芯片执行上面的方法。
作为一种可能的实施方式，存储器位于芯片之外。
附图说明
图1是本发明实施例公开的一种系统架构示意图；
图2是本发明实施例公开的一种产品形态的示意图；
图3是本发明实施例公开的一种姿态信息交互形式的示意图；
图4是本发明实施例公开的一种云VR方案结构的示意图；
图5是本发明实施例公开的一种图像信息处理的流程示意图；
图6是本发明实施例公开的一种信息处理方法的流程示意图；
图7是本发明实施例公开的另一种图像信息处理的流程示意图；
图8是本发明实施例公开的另一种信息处理方法的流程示意图；
图9是本发明实施例公开的一种信息处理装置的结构示意图；
图10是本发明实施例公开的另一种信息处理装置的结构示意图；
图11是本发明实施例公开的又一种信息处理装置的结构示意图；
图12是本发明实施例公开的又一种信息处理装置的结构示意图。
具体实施方式
本申请实施例公开了一种信息处理方法、装置及系统，用于降低图像信息显示的时延。以下分别进行详细说明。
为了更好地理解本申请实施例公开的一种信息处理方法、装置及系统，下面先对本申请实施例中使用的系统架构进行描述。请参阅图1，图1是本申请实施例公开的一种系统架构示意图。如图1所示，上述系统构架可以包括服务器和终端设备，服务器可以与终端设备进行交互，即服务器可以向终端设备发送数据，也可以接收来自终端设备的数据。需要说明的是，本申请实施例以服务器作为图像和/或视频处理设备为例说明，也就是说云虚拟现实(cloud VR)设备来实现图像和/或视频处理设备的功能为示例进行说明。
服务器是部署在云端的远程服务器，具有图像处理能力、数据计算能力以及编码能力，例如，可以执行渲染操作、逻辑运算功能等。服务器可以是超多核服务器、部署有图形处理器(graphics processing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等。服务器还可以是部署边缘计算节点、云计算节点等云端设备，此处不构成限定。
终端设备可以包括佩戴在用户的头部的设备，如VR眼镜、VR头盔、VR一体机、手机+VR眼镜(VR Glass)等，还可以包括佩戴在用户的其它部位的设备，如佩戴在用户的手部、肘部、脚部、膝盖处的设备等，例如，游戏手柄等。终端设备可以通过显示器向用户显示VR视频的视频图像。其中，终端设备可以不在本地保存VR视频和跳转信息的数据，而将相关数据都保存在视频服务器设备中，在播放VR视频时，显示VR视频的视频图像，并向视频服务器设备发送用户的姿态信息。
近年来，VR技术已经逐步进入娱乐、教育、医疗、环保、交通运输、公共卫生等众多领域，具有极大的应用价值和商业潜力。VR头盔和VR眼睛等一系列的产品已经在市场上进行推广，看VR视频，玩VR游戏等娱乐形式已经被消费者接受。
请参阅图2，图2是本申请实施例公开的一种产品形态的示意图。如图2所示，VR的产品形态主要分为两种，一种是一体式头盔VR，另一种是系留VR。一体式头盔VR的VR应用安装在头盔中，头盔VR可以利用嵌入式处理器做VR计算和显示。系留VR则是通过高清晰度多媒体接口(high definition multimedia interface，HDMI)线连接VR头盔和个人电脑(personal computer，PC)，PC安装VR应用，并进行运行，头盔显示通过HDMI接受到的画面。
上述两种形式均需要用户的头部和/或肘部与VR传感器产生姿态信息的交互，来达到视觉沉浸式体验。请参阅图3，图3是本申请实施例公开的一种姿态信息交互形式的示意图。如图3所示，姿态信息的交互形式可以分为两种，即三自由度(3degree of freedom，3Dof)和六自由度(6degree of freedom，6Dof)。其中，3Dof是指以交互中心作为坐标原点，围绕x，y，z三个坐标轴进行旋转的姿态交互；6Dof是指在3Dof的基础上，增加沿x，y，z三个坐标轴正负方向的平移的位置交互。即3Dof仅包括围绕x，y，z三个坐标轴“旋转”的交互，不包括沿着x，y，z三个坐标轴“平移”的交互；而6Dof包括“旋转”和“平移”的两种交互。应理解，在未来技术的演进过程中，可以出现其它的姿态信息，此处不加限定。
在本地VR系统中，VR终端设备采集到的玩家的3/6Dof信息之后，可以驱动VR应用制作每一个VR视频帧画面，并可以显示在VR头盔里的屏幕上。然而，随着VR应用复杂度的提升，普通的一体式头盔VR和家用PC无法满足大型的VR应用。例如，VR游戏中更加逼真和流畅的画面或者沉浸式宏大的VR大型游戏，对VR系统有更大的算力要求。因此，随时VR技术的演进和网络技术的发展，VR形态正在从系留VR和一体式头盔等本地VR形态向云VR方向发展。在云VR技术中，云计算或者边缘计算可以提供无限制的算力让VR应用自由发挥其沉浸式优势。此时，VR端侧设备(即终端设备)可以采集3Dof/6Dof的姿态信息，并向云端设备(服务器)发送3Dof/6Dof的姿态信息。服务器开启VR应用之后，可以实时接收端侧的信息，并可以将姿态信息进行实时渲染。之后服务器可以把渲染后的VR图像信息进行压缩后，之后可以向终端设备发送上述压缩的图像信息。终端设备接收到来自服务器的压缩信息之后，可以解码压缩信息，得到图像信息，之后可以显示图像信息。在这个过程中，完成云VR交互。
5G的发展推动了云VR的普及，市场上很多厂商，如华为、视博云、英伟达、电信天翼云等都有云VR的解决方案和相关产品。请参阅图4，图4是本申请实施例公开的一种云VR方案结构的示意图。如图4所示，当前，云VR的服务器可以提供VR应用的运行、渲染和编码推流。服务器和终端设备(如，VR头盔)可以通过5G网络进行通信。即终端设备可以通过5G向服务器发送姿态信息(3/6Dof信息)，服务器可以通过5G可以向终端设备发送渲染之后的图像信息(即VR视频流)。应理解，服务器与终端设备的通信过程可以通过蜂窝移动通信网络(例如，5G)进行、也可以WiFi进行、还可以云VR技术一般推送的双目分辨率为3K～4K左右，帧率为60～90每秒传输帧数(frames per second，FPS)的视频流，VR终端设备接收到视频流之后，可以进行解码和显示。终端设备一般以固定时间间隔(例如，16ms或11ms)向服务器上传一次3Dof/6Dof的姿态信息。
请参阅图5，图5是本申请实施例公开的一种图像信息处理的流程示意图，如图5所述，在目前的云VR技术方案中，云VR终端设备建立VR业务之后，可以周期性地向服务器发送3Dof/6Dof姿态信息。服务器接收到来自终端设备的姿态信息之后，可以周期性地渲染图像信息，之后可以向终端设备发送渲染后的图像信息。终端设备接收到来自服务器的图像信息之后，可以显示这一图像信息。在上述交互过程中，终端设备和服务器的未进行协同，终端设备周期性地发送姿态信息，服务器周期性地渲染图像信息。服务器间隔相同的时间间隔触发一次垂直同步(例如，时间间隔为16ms或11ms触发一次垂直同步)，之后服务器可以立即对姿态信息进行渲染。在交互过程中，服务器接收到姿态信息的时间点往往处于两次垂直同步之间。其中，垂直同步是指水平扫描线在垂直方向的堆积形成了完整的画面的过程，水平扫描线可以由单个像素组成。当终端设备扫描一帧之后，可以产生一个垂直同步信号，一个垂直同步信号可以触发一次图像渲染过程。当服务器接收到来自终端设备的姿态信息之后，还需要等待约6～9ms，之后才能够对姿态数据进行渲染，从而会产生较大的时延。在云VR技术中，信息显示的时延越低，用户体验越好，因此，如何降低信息显示的时延是一个亟待解决的问题。
基于上述网络架构，请参阅图6，图6是本申请实施例公开的一种信息处理方法的流程示意图。其中，本申请实施例中由终端设备执行的功能也可以由终端设备中的模块(例如，芯片)来执行，由服务器执行的功能也可以由服务器中的模块(例如，芯片)来执行。如图6所示，该信息处理方法可以包括以下步骤。
601、终端设备采集姿态信息。
在用户使用VR终端设备的过程中，终端设备可以采集姿态信息。姿态信息可以是指用户的身体姿态信息。姿态信息可以表示用户身体转动以及移动的情况，例如，3Dof和6Dof的姿态信息。终端设备可以通过本地的传感器获取3Dof或6Dof的姿态信息。例如，终端设备可以通过VR头盔，以及手柄等设备上的传感器进行动作捕捉(motion capture)，从而可以采集姿态信息。其中，动作捕捉可以为记录和处理人体或动物动作的技术。应理解，此处为举例说明采集姿态信息的方式，不构成限定。
终端设备可以在不同的情况下触发采集姿态信息。
一种情况下，当终端设备获取到启动操作时，可以开始采集姿态信息。例如，用户可以通过屏幕触控或者按下按钮等方式开启终端设备，响应于上述启动操作，终端设备可以开始采集姿态信息。
当终端设备确定的用户启动终端设备的VR应用之后，终端设备可以开始采集姿态信息。当终端设备确定的用户关闭终端设备的VR应用之后，终端设备可以停止采集姿态信息。当终端设备检测存在用户启动VR应用(例如，VR游戏、VR视频等)时，终端设备可以响应于启动操作，与服务器建立连接。终端设备与服务器建立连接之后，终端设备可以开始采集姿态信息。当终端设备检测存在用户结束VR应用时，终端设备可以响应于结束操作，与服务器断开连接。终端设备与服务器断开连接之后，终端设备可以停止采集姿态信息。
另一种情况下，当终端设备处于未使用状态时，可以停止采集姿态信息(第一姿态信息)；当终端设备处于使用状态时，采集姿态信息(第四姿态信息)。
在终端设备启动VR应用之后，可以检测终端设备是否处于使用状态。其中，使用状态可以包括屏幕处于显示状态和/或终端设备已被用户佩戴，未使用状态可以包括终端设备的屏幕处于息屏状态和/或终端设备未被用户佩戴。终端设备可以通过显示屏确认屏幕是否处于息屏状态(例如，用户按下暂停或息屏控键)确定终端设备是否处于使用状态，还可以通过传感器检测是否存在用户佩戴当前的终端设备(例如，佩戴VR头盔)确定终端设备是否使用状态。需要说明的是，第一姿态信息可以是终端设备暂停采集姿态信息时的姿态信息；第四姿态信息可以是终端设备恢复采集姿态信息时的姿态信息。
当检测到终端设备处于未使用状态时，终端设备可以停止采集姿态信息。即当检测到用户从使用终端设备到不使用终端设备时，终端设备可以停止采集姿态信息。当停止采集姿态信息时，终端设备停止向服务器发送姿态信息。此时，由于服务器不会接收到姿态信息，进而不会触发对第一图像信息的渲染，因此，当终端设备停止采集姿态信息时，服务器便可以停止渲染。
当检测到终端设备处于使用状态时，终端设备可以继续采集姿态信息。即当检测到用户从不使用终端设备到使用终端设备(当屏幕从熄灭到显示状态，和/或，用户继续佩戴好终端设备)时，终端设备可以恢复采集姿态信息。即终端设备从停止采集姿态信息的状态变为开始采集的状态。当终端设备采集到姿态信息之后，可以向服务器发送姿态信息。此时，服务器可以接收到姿态信息，并可以开始对第一图像信息进行渲染。
应理解，当用户不使用终端设备时，终端设备继续采集姿态信息，以及服务器继续根据姿态信息进行图像渲染会造成处理资源和能源的浪费。因此，当终端设备检测到用户暂时不使用终端设备时，可以停止采集姿态信息，从而可以使得服务器停止进行图像渲染，从而可以节约处理资源和能源。
又一种情况下，当终端设备接收到来自服务器的第二图像信息时，可以继续采集姿态信息。其中，第二图像信息为虚拟现实VR图像信息。例如，当终端设备接收到第二图像信息之后，可以触发终端设备继续进行动作捕捉，采集姿态信息。
在采集姿态信息之前，终端设备可以先启动云VR业务。即用户可以通过显示屏启动云VR的应用，例如，云VR游戏、云VR直播、云VR视频等。终端设备响应用户的启动操作，可以向服务器发送第一请求。对应地，服务器可以接收来自终端设备的第一请求。其中，第一请求可以为终端设备向服务器请求发起VR业务的请求信息，第一请求可以包括终端设备启动的VR应用的对应VR业务的信息，还可以包括终端设备与服务器的连接方式信息。
服务器接收来自终端设备的第一请求之后，可以根据第一请求与服务器协商启动VR业务。即可以理解为，服务器可以通过第一请求确定与当前终端设备的连接方式以及需要使用的VR业务(如，VR场景信息)。即服务器可以根据第一请求确定当前终端设备所使用到的VR业务，以及对应的图像信息，还可以根据第一请求确定终端设备与服务器的连接方式。
当终端设备与服务器建立起连接之后，终端设备可以启动本地的各个功能组件。其中功能组件可以包括接收图像信息的组件(如，初始化收流)、解码组件(如，解码功能)、显示组件(如，VR画面纹理刷新功能)、采集姿态信息(如，动作捕捉功能)的组件和屏幕组件(如，控制屏幕开关功能)等。
602、终端设备向服务器发送姿态信息。
当终端设备采集到姿态信息(第二姿态信息)时，可以向服务器发送第二姿态信息。对应地，服务器可以接收来自终端设备的姿态信息。
终端设备可以根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，之后可以向服务器发送第三姿态信息。对应地，服务器可以接收来自终端设备的第三姿态信息。其中，解码能力可以为终端设备解码的最快速度，刷新能力可以为终端设备显示的最大帧率。即终端设备可以根据自身的解码能力和/或刷新能力确定采集姿态信息的最大频率，从而可以确定第三姿态信息。例如，终端设备解码能力是70(framesper second，FPS)，以及刷新能力为60FPS。终端设备可以先确定自身的解码能力和/或刷新能力，之后可以确定一个在解码能力和/或刷新能力范围内的频率(即采集第三姿态信息最大频率范围)，之后可以立即发送第三姿态信息。即可以理解为，终端设备采集第三姿态信息的频率需要小于或等于终端设备的解码能力和/或刷新能力的范围。例如，当终端设备的解码能力是70FPS时，终端设备可以确定采集第三姿态信息的频率最大为70组3Dof或6Dof/秒；当终端设备的刷新能力为60FPS，终端设备可以确定采集第三姿态信息的频率最大为60组3Dof或6Dof信息/秒；当终端设备的解码能力是70FPS，且刷新能力为60FPS时，终端设备可以确定采集第三姿态信息的频率最大为60组3Dof或6Dof信息/秒。
进一步地，终端设备也可以根据其它因素调整第三姿态信息的采集频率。终端设备在确定自身发送姿态信息的最大频率之后，可以在最大频率范围内根据需求确定发送姿态信息的频率。即当前显示的图像信息比较卡顿时，可以提高采集姿态信息的频率；当场景不需要显示过于流畅的图像信息时，可以降低采集姿态信息的频率。例如，已知当前采集的姿态信息为40组6Dof信息/秒且姿态信息的最大采集频率为60组6Dof信息/秒，当用户通过屏幕触控操作提高显示的画面流畅度和清晰度时，终端设备可以将采集姿态信息的频率提高至60组6Dof信息/秒。应理解，上述仅是举例说明，并不构成限定。当终端设备在采集姿态信息最大频率范围内根据其它因素调整采集频率时，可以更好地适应当前终端设备的显示需求，从而可以提高用户体验。
需要说明的是，当终端设备采集到姿态信息之后，应当立即发送采集的姿态信息，可以保证终端设备的采集姿态信息频率和发送姿态信息频率的一致性。此时，服务器渲染与终端设备采集与显示，以及交互的“节奏”均由终端设备的采集“节奏”来确定，从而终端设备可以调整采集姿态信息的频率来适应自身的解码能力和/或刷新能力。
603、当接收到来自终端设备的姿态信息时，服务器根据姿态信息对第一图像信息进行渲染，得到第二图像信息。
当接收到来自终端设备的姿态信息时，服务器可以根据姿态信息对第一图像信息进行渲染，得到第二图像信息。其中，第一图像信息可以为虚拟现实VR图像信息，即第一图像信息可以为当前用户使用的云VR应用的图像信息。服务器可以根据姿态信息确定需要渲染的图像信息(即第一图像信息)，之后可以对第一图像信息进行渲染，得到第二图像信息。
请参阅图7，图7是本申请实施例公开的另一种图像信息处理的流程示意图。如图7所示，当服务器接收到来自终端设备的姿态信息之后，可以立即触发服务器执行垂直同步。服务器执行垂直同步之后，可以立即开始对第一图像信息进行渲染，得到第二图像信息。服务器可以通过自身的中央处理器(central processing unit，CPU)和图形处理器(graphics processing unit，GPU)对图像信息进行渲染。其中，第二图像信息可以为VR视频帧数据。即可以理解为，终端设备可以通过接收姿态信息被动地触发对第一图像信息的渲染。
应理解，当服务器由接收到姿态信息触发垂直同步时，服务器可以根据接收到的姿态信息可以立即对第一图像信息进行图像渲染，从而可以减少图像渲染之前等到周期性触发垂直同步的等待时间，进而可以减少处理时延。进一步地，当图像渲染过程中的时延降低，用户接收到第二图像信息的时延也会降低，从而可以降低终端设备显示第二图像信息的时延，以提高图像显示的流畅度，进而可以提高用户的使用体验。
需要说明的是，服务器被动地通过接收姿态信息触发渲染的过程，终端设备可以降低6～9ms的图像显示时延。
此外，服务器接收到姿态信息之后，可以继续等待接收来自终端设备的姿态信息。
服务器可以根据姿态信息确定帧率，之后可以根据帧率对所述第一图像信息进行渲染，得到第二图像信息。服务器可以根据接收到姿态信息的频率确定帧率。例如，当服务器接收到一组3Dof或6Dof的姿态信息时，可以立即对一帧第一图像数据进行渲染，得到一帧第二图像数据。即可以理解为，当服务器接收到的姿态信息的频率可以能是不一致的，接收到的姿态信息的频率可以确定第二图像信息的帧率。当接收到姿态信息的频率越快，对第一图像信息进行渲染的频次也越快，进而得到第二图像信息的帧率越大。反之，当服务器接收到的姿态信息的频率越慢，渲染的频次越慢，则得到第二图像信息的帧率越小。
应理解，当服务器周期性的进行图像渲染时，服务器固定帧率进行渲染，然而不同的终端设备的解码能力和/或刷新能力不相同，因此，服务器对第一图像信息进行固定帧率渲染，可能会导致解码能力较弱的终端设备来不及解码，和/或，刷新能力较弱的终端设备来不及显示。例如，VR头盔的显示能力只有的60FPS时，当从服务器接收到90FPS规格的第二图像数据时，可能会导致终端设备在显示过程中出现丢帧和跳帧的现象或者一些解码能力和/或刷新能力低的终端设备无法接入固定规格的云VR服务器。因此，终端设备确定发送姿态信息的频率，以及服务器接收到姿态信息时，便可以立即对第一图像信息进行渲染，得到第二图像信息，可以使得服务器渲染图像信息从固定周期变更到由终端设备采集姿态信息的频率来驱动，从而可以使服务器的渲染速度能够与终端设备的解码能力和/或刷新能力相适应。此外，当终端设备进入节电状态(如，静默、息屏等)时，不再继续向服务器发送姿态信息，此时，服务器可以减少触发渲染，从而服务器和终端设备可以同时进入节电状态，以避免服务器一直渲染、编码和发送图像信息等带来的能耗。
604、服务器向终端设备发送第二图像信息。
当服务器得到第二图像信息之后，可以向终端设备发送第二图像信息。对应地，终端设备可以接收来自服务器的第二图像信息。
当服务器得到第二图像信息之后，可以立即向终端设备发送第二图像信息，可以保证终端设备采集姿态信息和显示图像信息，以及服务器渲染图像信息的“节奏”的一致性。
如图7所示，当服务器得到第二图像信息(例如，VR画面信息)之后，可以通过编码器对第二图像信息进行编码，得到第三图像信息(例如，VR视频帧信息)。之后服务器可以向终端设备发送第三图像信息。对应地，终端设备可以接收来自服务器的第三图像信息，之后可以通过解码器对第三图像信息进行解码，得到第二图像信息。
当服务器向终端设备发送第二图像信息之后，可以继续等待姿态信息，并进行对第一图像信息渲染。
605、终端设备显示第二图像信息。
当终端设备得到第二图像信息之后，可以显示第二图像信息。其中，第二图像信息可以是一幅VR画面，终端设备可以通过显示屏显示第二图像信息。
在显示第二图像信息之前，终端设备还可以对第二图像信息的像素进行处理。其中，像素处理可以包括异步扭曲等。
终端设备显示第二图像信息之后，可以继续等待接收来自服务器的第二图像信息。
当检测到终端设备处于未使用状态时，终端设备也可以停止显示第二图像信息。其中，未使用状态可以包括终端设备的屏幕处于息屏状态和/或终端设备未被用户佩戴。当检测到终端设备处于使用状态时，终端设备可以继续显示第二图像信息。即可以理解为，终端设备可以检测自身是否处于未使用状态。使用状态包括屏幕处于显示状态和/或终端设备已被用户重新佩戴上。
应理解，当用户不使用终端设备的时候，终端设备继续显示第二图像信息会造成处理资源和能量的浪费。因此，当终端设备检测到用户暂时不使用终端设备时，可以停止显示第二图像信息，从而可以节约能源和处理资源。
当检测到用户结束VR应用时，终端设备可以向服务器发送第二请求。其中，用户可以通过屏幕触控或按钮按键等方法结束当前云VR应用。对应地，服务器可以接收来自终端设备的第二请求，之后可以根据第二请求结束当前连接，以及结束当前各个功能组件的对应的云VR业务的任务。
当服务器与终端设备断开连接之后，终端设备可以结束VR应用各个功能组件的任务。
应理解，终端设备采集姿态信息后，向服务器发送姿态信息。服务器接收到姿态信息之后，对第一图像信息进行渲染，得到第二图像信息，并向终端设备发送第二图像信息。终端设备接收到来自服务器的图像信息之后，显示第二图像信息，并且可以继续采集图像信息。由此，上述的过程形成了VR业务的循环，当用户暂停使用终端设备时，可以暂停当前VR业务循环；当用户恢复使用终端设备时，可以恢复当前VR业务循环。当开启VR业务时，可以开启VR业务循环，当结束VR业务时，可以结束VR业务循环。
基于上述网络架构，请参阅图8，图8是本申请实施例公开的另一种信息处理方法的流程示意图。其中，本申请实施例中由终端设备执行的功能也可以由终端设备中的模块(例如，芯片)来执行，由服务器执行的功能也可以由服务器中的模块(例如，芯片)来执行。如图8所示，该信息处理方法可以包括以下步骤。
801、终端设备启动VR应用。
802、终端设备向服务器发送第一请求。
803、服务器启动VR业务。
其中，步骤801-步骤803可以参考步骤601的相关描述。
应理解，当终端设备尚未开启VR应用时，需要先启动VR业务，才能够进入VR业务循环的过程。
804、终端设备采集姿态信息。
其中，步骤804可以参考步骤601的相关描述，此处不加赘述。
805、终端设备向服务器发送姿态信息。
其中，步骤805可以参考步骤602的相关描述，此处不加赘述。
806、服务器根据姿态信息对第一图像信息进行渲染，得到第二图像信息。
其中，步骤806可以参考步骤603的相关描述，此处不加赘述。
807、服务器对第二图像信息进行编码，得到第三图像信息。
808、服务器向终端设备发送第三图像信息。
809、终端设备对第三图像信息进行解码，得到第二图像信息。
其中，步骤807-步骤809可以参考步骤604的相关描述，此处不加赘述。
810、终端设备显示第二图像信息。
其中，步骤810可以参考步骤605的相关描述。
应理解，当VR业务启动之后，可以进入业务循环，即步骤804-步骤810可以重复执行，当终端设备得到第二图像信息并进行显示时，可以继续采集姿态信息。服务器对第二图像信息进行编码，得到第三图像信息之后，可以继续等待接收来自终端设备的姿态信息。
811、当终端设备处于未使用状态时，停止采集姿态信息。
812、当终端设备处于使用状态时，采集姿态信息。
其中，步骤811和步骤812可以参考步骤601的相关描述。
应理解，步骤811为终端设备发生息屏事件或者用户摘下VR终端设备时执行的动作，步骤812为终端设备从息屏变为屏幕显示或者用户佩戴上VR终端设备时执行的动作。步骤811可以暂停上述VR业务循环的过程；步骤812可以恢复上述VR业务循环的过程。
813、终端设备结束VR应用。
814、终端设备向服务器发送第二请求。
815、服务器结束VR业务。
其中，步骤813-步骤815可以参考步骤605的相关描述。
应理解，当终端设备和服务器结束VR业务时，会结束VR业务循环的过程。
应理解，图6和图8的信息处理方法是一种交互过程中通用的过程，并不局限于云VR，它可以适用于实施互动场景，例如，云扩展现实(extended reality，XR),云游戏等。其中云XR可以包括云VR、云增强现实(augmented reality，AR)、云混合现实(mixed reality，MR)、云全息现实(holography reality，HR)等。此处不构成限定。
基于上述网络架构，请参阅图9，图9是本发明实施例公开的一种信息处理装置的结构示意图。如图9所示，该信息处理装置可以包括：
渲染单元901，用于当接收到来自终端设备的姿态信息时，根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息，所述姿态信息是用户的姿态信息，所述第一图像信息为虚拟现实VR图像信息；
发送单元902，用于向所述终端设备发送所述第二图像信息。
作为一种可能的实施方式，所述渲染单元901具体用于：
根据所述姿态信息确定帧率；
根据所述帧率对所述第一图像信息进行渲染，得到第二图像信息。
作为一种可能的实施方式，所述渲染单元901根据所述姿态信息确定帧率包括：
根据接收到所述姿态信息的频率确定所述帧率。
作为一种可能的实施方式，该装置还可以包括：
编码单元903，用于对所述第二图像信息进行编码，得到第三图像信息；
所述发送单元902，具体用于向所述终端设备发送所述第三图像信息。
有关上述渲染单元901、发送单元902和编码单元903更详细的描述可以直接参考上述图6和图8所示的方法实施例中服务器的相关描述直接得到，此处不加赘述。
基于上述网络架构，请参阅图10，图10是本发明实施例公开的另一种信息处理装置的结构示意图。如图10所示，该信息处理装置可以包括：
采集单元1001，用于当检测到终端设备处于未使用状态时，停止采集第一姿态信息，所述未使用状态包括所述终端设备的屏幕处于息屏状态和/或所述终端设备未被用户佩戴，所述第一姿态信息是用户的姿态信息。
作为一种可能的实施方式，该装置还可以包括：
发送单元1002，用于当采集到第二姿态信息时，向所述服务器发送所述第二姿态信息；
接收单元1003，用于接收来自所述服务器的所述第二图像信息；
显示单元1004，用于显示所述第二图像信息。
作为一种可能的实施方式，所述发送单元1002具体用于：
根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，所述解码能力为所述终端设备解码的最快速度，所述刷新能力为所述终端设备显示的最大帧率；
向所述服务器发送所述第三姿态信息。
作为一种可能的实施方式，所述接收单元1003具体用于：
接收来自所述服务器的第三图像信息；
对所述第三图像信息进行解码，得到所述第二图像信息。
作为一种可能的实施方式，所述采集单元1001，还用于当检测到终端设备处于使用状态时，采集所述第四姿态信息，所述使用状态包括屏幕处于显示状态和/或所述终端设备已被用户佩戴。
有关上述采集单元1001、发送单元1002、接收单元1003和显示单元1004更详细的描述可以直接参考上述图6和图8所示的方法实施例中终端设备的相关描述直接得到，此处不加赘述。
基于上述网络架构，请参阅图11，图11是本发明实施例公开的又一种信息处理装置的结构示意图。如图11所示，该信息处理装置可以包括处理器1101、存储器1102、输入接口1103、输出接口1104和总线1105。存储器1102可以是独立存在的，可以通过总线1105与处理器1101相连接。存储器1102也可以和处理器1101集成在一起。其中，总线1105用于实现这些组件之间的连接。
在一个实施例中，该信息处理装置可以为服务器或者服务器内的模块(例如，芯片)，存储器1102中存储的计算机程序指令被执行时，该处理器1101用于控制发送单元902执行上述实施例中执行的操作，该处理器1101还用于执行渲染单元901和编码单元903上述实施例中执行的操作，输出接口1104用于执行上述实施例中发送单元902执行的操作。上述服务器或者服务器内的模块还可以用于执行上述图6和图8方法实施例中服务器执行的各种方法，不再赘述。
在一个实施例中，该信息处理装置可以为终端设备或者终端设备内的模块(例如，芯片)，存储器1102中存储的计算机程序指令被执行时，该处理器1101用于控制接收单元1003和发送单元1002执行上述实施例中执行的操作，该处理器901还用于执行采集单元1001和显示单元1004上述实施例中执行的操作，输入接口1103用于执行上述实施例中接收单元1003执行的操作，输出接口1104用于执行上述实施例中发送单元1002执行的操作。上述终端设备或者终端设备内的模块还可以用于执行上述图6和图8方法实施例中终端设备执行的各种方法，不再赘述。
基于上述网络架构，请参阅图12，图12是本发明实施例公开的又一种信息处理装置的结构示意图。如图12所示，该信息处理装置可以包括输入接口1201、逻辑电路1202和输出接口1203。输入接口1201与输出接口1203通过逻辑电路1202相连接。其中，输入接口1201用于接收来自其它装置的信息，输出接口1203用于向其它装置输出、调度或者发送信息。逻辑电路1202用于执行除输入接口1201与输出接口1203的操作之外的操作，例如实现上述实施例中处理器1101实现的功能。其中，该信息处理装置可以为终端设备或者终端设备内的模块，也可以为服务器或者服务器内的模块。其中，有关输入接口1201、逻辑电路1202和输出接口1203更详细的描述可以直接参考上述方法实施例中终端设备或服务器的相关描述直接得到，这里不加赘述。
本发明实施例还公开一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的方法。
本发明实施例还公开一种包括指令的计算机程序产品，该指令被执行时执行上述方法实施例中的方法。
本发明实施例还公开一种信息处理系统，该信息处理系统包括终端设备和服务器，具体描述可以参考图6和图8所示的信息处理方法。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。

Claims (22)

1.一种信息处理方法，应用于服务器，其特征在于，所述方法包括：
当接收到来自终端设备的姿态信息时，根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息，所述姿态信息是用户的姿态信息，所述第一图像信息为虚拟现实VR图像信息；
向所述终端设备发送所述第二图像信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息包括：
根据所述姿态信息确定帧率；
根据所述帧率对所述第一图像信息进行渲染，得到第二图像信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述姿态信息确定帧率包括：
根据接收到所述姿态信息的频率确定所述帧率。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
对所述第二图像信息进行编码，得到第三图像信息；
所述向所述终端设备发送所述第二图像信息包括：
向所述终端设备发送所述第三图像信息。
5.一种信息处理方法，应用于终端设备，其特征在于，所述方法包括：
当检测到终端设备处于未使用状态时，停止采集第一姿态信息，所述未使用状态包括所述终端设备的屏幕处于息屏状态和/或所述终端设备未被用户佩戴，所述第一姿态信息是用户的姿态信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当采集到第二姿态信息时，向所述服务器发送所述第二姿态信息；
接收来自所述服务器的所述第二图像信息；
显示所述第二图像信息。
7.根据权利要求6所述的方法，其特征在于，所述向所述服务器发送所述第二姿态信息包括：
根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，所述解码能力为所述终端设备解码的最快速度，所述刷新能力为所述终端设备显示的最大帧率；
向所述服务器发送所述第三姿态信息。
8.根据权利要求6或7所述的方法，其特征在于，所述接收来自所述服务器的所述第二图像信息包括：
接收来自所述服务器的第三图像信息；
对所述第三图像信息进行解码，得到所述第二图像信息。
9.根据权利要求5-8任一项所述的方法，其特征在于，所述方法还包括：
当检测到终端设备处于使用状态时，采集所述第四姿态信息，所述使用状态包括屏幕处于显示状态和/或所述终端设备已被用户佩戴。
10.一种信息处理装置，所述装置为服务器，其特征在于，所述装置包括：
渲染单元，用于当接收到来自终端设备的姿态信息时，根据所述姿态信息对第一图像信息进行渲染，得到第二图像信息，所述姿态信息是用户的姿态信息，所述第一图像信息为虚拟现实VR图像信息；
发送单元，用于向所述终端设备发送所述第二图像信息。
11.根据权利要求10所述的装置，其特征在于，所述渲染单元具体用于：
根据所述姿态信息确定帧率；
根据所述帧率对所述第一图像信息进行渲染，得到第二图像信息。
12.根据权利要求11所述的装置，其特征在于，所述渲染单元根据所述姿态信息确定帧率包括：
根据接收到所述姿态信息的频率确定所述帧率。
13.根据权利要求10-12任一项所述的装置，其特征在于，所述装置还包括：
编码单元，用于对所述第二图像信息进行编码，得到第三图像信息；
所述发送单元，具体用于向所述终端设备发送所述第三图像信息。
14.一种信息处理装置，所述装置为终端设备，其特征在于，所述装置包括：
采集单元，用于当检测到终端设备处于未使用状态时，停止采集第一姿态信息，所述未使用状态包括所述终端设备的屏幕处于息屏状态和/或所述终端设备未被用户佩戴，所述第一姿态信息是用户的姿态信息。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
发送单元，用于当采集到第二姿态信息时，向所述服务器发送所述第二姿态信息；
接收单元，用于接收来自所述服务器的所述第二图像信息；
显示单元，用于显示所述第二图像信息。
16.根据权利要求15所述的装置，其特征在于，所述发送单元具体用于：
根据终端设备的解码能力和/或刷新能力调整所述第二姿态信息，得到第三姿态信息，所述解码能力为所述终端设备解码的最快速度，所述刷新能力为所述终端设备显示的最大帧率；
向所述服务器发送所述第三姿态信息。
17.根据权利要求15或16所述的装置，其特征在于，所述接收单元具体用于：
接收来自所述服务器的第三图像信息；
对所述第三图像信息进行解码，得到所述第二图像信息。
18.根据权利要求14-17任一项所述的装置，其特征在于，所述采集单元，还用于当检测到终端设备处于使用状态时，采集所述第四姿态信息，所述使用状态包括屏幕处于显示状态和/或所述终端设备已被用户佩戴。
19.一种信息处理装置，所述装置为服务器，其特征在于，包括处理器、存储器、输入接口和输出接口，所述输入接口用于接收来自所述信息处理装置之外的其它装置的信息，所述输出接口用于向所述信息处理装置之外的其它装置输出信息，所述处理器调用所述存储器中存储的计算机程序实现如权利要求1-4任一项所述的方法。
20.一种信息处理装置，所述装置为终端设备，其特征在于，包括处理器、存储器、输入接口和输出接口，所述输入接口用于接收来自所述信息处理装置之外的其它装置的信息，所述输出接口用于向所述信息处理装置之外的其它装置输出信息，所述处理器调用所述存储器中存储的计算机程序实现如权利要求5-9任一项所述的方法。
21.一种信息处理系统，其特征在于，所述信息处理系统包括如权利要求19所述的装置以及如权利要求20所述的装置。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序或计算机指令，当所述计算机程序或计算机指令被运行时，实现如权利要求1-9任一项所述的方法。
CN202110402796.3A 2021-04-14 2021-04-14 一种信息处理方法、装置及系统 Pending CN115209178A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110402796.3A CN115209178A (zh) 2021-04-14 2021-04-14 一种信息处理方法、装置及系统
PCT/CN2022/085663 WO2022218209A1 (zh) 2021-04-14 2022-04-07 一种信息处理方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110402796.3A CN115209178A (zh) 2021-04-14 2021-04-14 一种信息处理方法、装置及系统

Publications (1)

Publication Number Publication Date
CN115209178A true CN115209178A (zh) 2022-10-18

Family

ID=83573808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110402796.3A Pending CN115209178A (zh) 2021-04-14 2021-04-14 一种信息处理方法、装置及系统

Country Status (2)

Country Link
CN (1) CN115209178A (zh)
WO (1) WO2022218209A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180224930A1 (en) * 2015-08-04 2018-08-09 Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Immersive virtual reality locomotion using head-mounted motion sensors
CN110868581A (zh) * 2018-08-28 2020-03-06 华为技术有限公司 一种图像的显示方法、装置及系统
CN110070812A (zh) * 2019-04-12 2019-07-30 华为技术有限公司 头戴电子设备及其控制方法
CN111298427A (zh) * 2020-02-04 2020-06-19 南京大学 一种在虚拟现实云游戏系统中降低画面抖动的方法
CN111563027B (zh) * 2020-04-30 2023-09-01 北京视博云信息技术有限公司 一种应用的运行监测方法、装置及系统
CN111831353B (zh) * 2020-07-09 2024-02-20 平行云科技(北京)有限公司 基于OpenXR标准的运行库、数据交互方法、设备及介质

Also Published As

Publication number Publication date
WO2022218209A1 (zh) 2022-10-20

Similar Documents

Publication Publication Date Title
CN105791977B (zh) 基于云服务的虚拟现实数据处理方法、设备及系统
US11303881B2 (en) Method and client for playing back panoramic video
EP3695383B1 (en) Method and apparatus for rendering three-dimensional content
CN107018370B (zh) 用于视频墙的显示方法及其系统
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
CN105869215B (zh) 一种虚拟现实成像系统
US20140139619A1 (en) Communication method and device for video simulation image
CN105979224A (zh) 一种头戴显示器、视频输出设备和视频处理方法、系统
CN107943287A (zh) 一种基于Android机顶盒系统解决VR画面抖动的系统及方法
CN205068298U (zh) 一种三维场景漫游交互系统
Han Mobile immersive computing: Research challenges and the road ahead
Gül et al. Cloud rendering-based volumetric video streaming system for mixed reality services
CN111298427A (zh) 一种在虚拟现实云游戏系统中降低画面抖动的方法
CN113625869A (zh) 一种大空间多人互动云渲染系统
CN108366232A (zh) 一种基于移动端虚拟现实技术的智能视频监控系统
CN106792133A (zh) 虚拟现实服务器、视频数据传输方法及系统
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
CN104010204B (zh) 图像信息处理方法及装置
CN112770051B (zh) 一种基于视场角的显示方法及显示设备
CN111939561B (zh) 显示设备及交互方法
CN115209178A (zh) 一种信息处理方法、装置及系统
CN109587118B (zh) Android网游的分布式支持多终端和多网络的系统
CN111213088B (zh) 网络控制的3d视频捕获
CN114554277B (zh) 多媒体的处理方法、装置、服务器及计算机可读存储介质
Gunkel et al. Immersive Experiences and XR: A Game Engine or Multimedia Streaming Problem?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination