CN115190993A - 用于对应用计算的分配的方法和装置 - Google Patents

用于对应用计算的分配的方法和装置 Download PDF

Info

Publication number
CN115190993A
CN115190993A CN202180017639.9A CN202180017639A CN115190993A CN 115190993 A CN115190993 A CN 115190993A CN 202180017639 A CN202180017639 A CN 202180017639A CN 115190993 A CN115190993 A CN 115190993A
Authority
CN
China
Prior art keywords
server
client device
application
capacity
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180017639.9A
Other languages
English (en)
Inventor
B·弗尔采利
P·H·汉德
V·梅尔科特克里希纳普拉萨德
A·V·拉奥
T·施托克哈默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115190993A publication Critical patent/CN115190993A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5094—Allocation of resources, e.g. of the central processing unit [CPU] where the allocation takes into account power or heat criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Liquid Deposition Of Substances Of Which Semiconductor Devices Are Composed (AREA)
  • General Factory Administration (AREA)

Abstract

本公开内容涉及用于计算机处理的方法和装置。本公开内容的各方面可以确定用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项。本公开内容的各方面还可以确定用于客户端设备与服务器之间的应用计算的计算负载。此外，本公开内容的各方面可以基于以下各项中的至少一项来调整用于客户端设备与服务器之间的应用计算的计算分配：用于应用计算的计算负载、或者通信链路的质量、时延或容量中的至少一项。本公开内容的各方面还可以确定客户端设备或服务器中的至少一者的计算容量。

Description

用于对应用计算的分配的方法和装置
依据35U.S.C.§119要求优先权
本申请要求享受于2020年3月5日递交的美国非临时申请No.16/810,071的优先权和权益，将上述申请通过引用的方式明确地并入本文。
技术领域
概括而言，本公开内容涉及处理系统，并且更具体地，本公开内容涉及用于计算机处理的一种或多种技术。
背景技术
计算设备通常利用图形处理单元(GPU)或中央处理单元(CPU)来加速对用于显示的图形数据的渲染。这样的计算设备可以包括例如计算机工作站、诸如所谓的智能电话之类的移动电话、嵌入式系统、个人计算机、平板计算机和视频游戏控制台。GPU执行图形处理流水线，图形处理流水线包括一个或多个处理阶段，其一起操作以执行图形处理命令以及输出帧。CPU可以通过向GPU发布一个或多个图形处理命令来控制GPU的操作。现代的CPU典型地能够并发地执行多个应用，其中的每个应用可能需要在执行期间利用GPU。提供内容以供在显示器上进行视觉呈现的设备通常包括GPU。
通常，设备的CPU或GPU被配置为执行计算机或图形处理中的过程。然而，随着无线通信和更小的手持设备的出现，对改进的计算机或图形处理的需求已经不断增加。
发明内容
下文给出一个或多个方面的简要概述，以便提供对这样的方面的基本理解。该概述不是对全部预期方面的广泛概述，以及既不旨在标识全部方面的关键要素，也不旨在描绘任何或全部方面的范围。其唯一目的是以简化形式呈现一个或多个方面的一些概念，作为稍后呈现的更加详细的描述的序言。
在本公开内容的一个方面中，提供了一种方法、计算机可读介质和装置。所述装置可以是服务器、客户端设备、中央处理单元(CPU)、图形处理单元(GPU)或可以执行计算机或图形处理的任何装置。该装置可以确定用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项。该装置还可以确定用于客户端设备与服务器之间的应用计算的计算负载。另外，该装置还可以基于以下各项中的至少一项来调整用于客户端设备与服务器之间的应用计算的计算分配：用于应用计算的计算负载、或者通信链路的质量、时延或容量中的至少一项。在一些方面中，该装置可以确定客户端设备或服务器中的至少一者的计算容量。该装置还可以确定客户端设备或服务器中的至少一者的热门限水平。该装置还可以确定客户端设备或服务器中的至少一者的计算功率水平。该装置还可以确定客户端设备或服务器中的至少一者是否支持最低计算容量。此外，该装置还可以基于客户端设备或服务器中的至少一者的计算容量来调整用于客户端设备与服务器之间的应用计算的计算分配。该装置还可以确定用于客户端设备与服务器之间的通信的通信链路是否支持最低质量、时延或容量水平。该装置还可以测量用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项。
在附图和下文的描述中阐述了本公开内容的一个或多个示例的细节。根据说明书和附图以及根据权利要求书，本公开内容的其它特征、目的和优势将是显而易见的。
附图说明
图1是示出根据本公开内容的一种或多种技术的示例内容生成系统的框图。
图2示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示例图。
图3示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示例图。
图4示出了根据本公开内容的一种或多种技术的示例方法的示例流程图。
具体实施方式
当在扩展现实(XR)、增强现实(AR)或虚拟现实(VR)应用期间进行渲染时，移动设备可以利用大量功率。为了节省功率，渲染架构可以在服务器与客户端设备之间拆分或分配。因此，将渲染工作负载中的一些渲染工作负载卸载到服务器以便节省客户端设备处的功率可以是有利的。本公开内容的各方面可以根据服务器与客户端之间的通信网络条件或服务质量(QoS)水平来分配或拆分渲染架构。在一些情况下，如果某个网络(例如，5G网络)正在产生低时延水平和高QoS水平，则将更多的渲染工作负载卸载到服务器可以是有利的。此外，如果QoS水平是低的，则在客户端设备处执行更多的渲染工作负载可以是有利的。因此，由客户端或服务器执行的渲染量可以取决于客户端与服务器之间的QoS水平。本公开内容的各方面还可以根据服务器和/或客户端设备的计算容量来分配或拆分渲染架构。因此，本公开内容的各方面可以基于多个不同的因素来拆分渲染架构，以便：(i)减少在移动客户端上本地利用的功率量，(ii)保持高水平的渲染质量，(iii)维持头部运动与和该运动相关联的内容在移动客户端上显示的时间之间的低时延，或者(iv)在给定移动设备能力、当前移动设备处理负载、当前核心服务器负载以及当前通信网络条件或QoS的情况下优化以上性能指标。
下文参考附图更加充分地描述系统、装置、计算机程序产品和方法的各个方面。然而，本公开内容可以以许多不同的形式来体现，以及不应当被解释为限于遍及本公开内容所呈现的任何特定的结构或功能。确切而言，提供这些方面以使得本公开内容将是全面和完整的，以及将向本领域技术人员充分地传达本公开内容的范围。基于本文的教导，本领域技术人员应当认识到的是，本公开内容的范围旨在涵盖本文所公开的系统、装置、计算机程序产品和方法的任何方面，无论该方面是独立于本公开内容的其它方面实现的还是与其它方面结合地实现的。例如，使用本文所阐述的任何数量的方面，可以实现装置或者可以实践方法。此外，本公开内容的范围旨在涵盖使用除了本文所阐述的本公开内容的各个方面以外或不同于本文所阐述的本公开内容的各个方面的其它结构、功能或者结构和功能来实践的这样的装置或方法。本文所公开的任何方面可以通过权利要求的一个或多个元素来体现。
尽管本文描述了各个方面，但是这些方面的许多变型和置换落在本公开内容的范围之内。尽管提到本公开内容的各方面的一些潜在益处和优势，但是本公开内容的范围并非旨在限于特定益处、用途或目标。确切而言，本公开内容的各方面旨在广泛地适用于不同的无线技术、系统配置、网络和传输协议，其中的一些是通过示例的方式在附图和下文的描述中进行说明的。具体实施方式和附图仅是对本公开内容的说明而不是限制，本公开内容的范围是通过所附的权利要求以及其等效物来限定的。
参考各种装置和方法给出了若干方面。通过各种框、组件、电路、过程、算法等(统称为“元素”)在下文的具体实施方式中描述以及在附图中示出这些装置和方法。这些元素可以是使用电子硬件、计算机软件或其任何组合来实现的。这样的元素是实现为硬件还是软件，取决于特定的应用和对整个系统所施加的设计约束。
举例而言，元素、或元素的任何部分、或元素的任何组合可以实现为“处理系统”，“处理系统”包括一个或多个处理器(其还可以称为处理单元)。处理器的示例包括：微处理器、微控制器、图形处理单元(GPU)、通用GPU(GPGPU)、中央处理单元(CPU)、应用处理器、数字信号处理器(DSP)、精简指令集计算(RISC)处理器、片上系统(SoC)、基带处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立硬件电路、以及被配置为执行遍及本公开内容描述的各种功能的其它合适的硬件。处理系统中的一个或多个处理器可以执行软件。无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它，软件可以广泛地解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件组件、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等。术语应用可以是指软件。如本文所描述的，一种或多种技术可以是指被配置为执行一种或多种功能的应用，即软件。在这样的示例中，应用可以被存储在存储器上，例如处理器的片上存储器、系统存储器或任何其它存储器。本文所描述的硬件(诸如处理器)可以被配置为执行应用。例如，应用可以被描述为包括当由硬件执行时使得硬件执行本文所描述的一种或多种技术的代码。作为示例，硬件可以从存储器访问代码以及执行从存储器访问的代码以执行本文所描述的一种或多种技术。在一些示例中，在本公开内容中标识了组件。在这样的示例中，组件可以是硬件、软件或其组合。组件可以是单独的组件或单个组件的子组件。
相应地，在本文描述的一个或多个示例中，所描述的功能可以是以硬件、软件或其任何组合来实现的。如果以软件来实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是能够由计算机访问的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘存储、磁盘存储、其它磁存储设备、上述类型的计算机可读介质的组合、或者可以用于以指令或数据结构的形式存储能够由计算机存取的计算机可执行代码的任何其它介质。
概括而言，本公开内容描述了如下的技术：所述技术用于在单个设备或多个设备中具有图形处理流水线，从而改善对图形内容的渲染和/或减少处理单元(即，被配置为执行本文所描述的一种或多种技术的任何处理单元，诸如GPU)的负载。例如，本公开内容描述了用于在利用图形处理的任何设备中的图形处理的技术。贯穿本公开内容描述了其它示例益处。
如本文所使用的，术语“内容”的实例可以是指“图形内容”、“图像”，反之亦然。不管术语被用作为形容词、名词还是其它词性，都是如此。在一些示例中，如本文所使用的，术语“图形内容”可以是指由图形处理流水线的一个或多个过程产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以是指由被配置为执行图形处理的处理单元产生的内容。在一些示例中，如本文所使用的，术语“图形内容”可以是指由图形处理单元产生的内容。
在一些示例中，如本文所使用的，术语“显示内容”可以是指由被配置为执行显示处理的处理单元生成的内容。在一些示例中，如本文所使用的，术语“显示内容”可以是指由显示处理单元生成的内容。图形内容可以被处理以成为显示内容。例如，图形处理单元可以将诸如帧之类的图形内容输出给缓冲器(其可以被称为帧缓冲器)。显示处理单元可以从缓冲器读取图形内容(诸如一个或多个帧)，以及对其执行一种或多种显示处理技术以生成显示内容。例如，显示处理单元可以被配置为对一个或多个渲染层执行合成以生成帧。作为另一示例，显示处理单元可以被配置为将两个或更多个层合成、混合或者以其它方式组合在一起成为单个帧。显示处理单元可以被配置为对帧执行缩放(例如，放大或缩小)。在一些示例中，帧可以是指层。在其它示例中，帧可以是指已经被混合在一起以形成帧的两个或更多个层，即帧包括两个或更多个层，以及包括两个或更多个层的帧随后可以被混合。
图1是示出被配置为实现本公开内容的一种或多种技术的示例内容生成系统100的框图。内容生成系统100包括设备104。设备104可以包括用于执行本文所描述的各种功能的一个或多个组件或电路。在一些示例中，设备104的一个或多个组件可以是SOC的组件。设备104可以包括被配置为执行本公开内容的一种或多种技术的一个或多个组件。在所示的示例中，设备104可以包括处理单元120、内容编码器/解码器122和系统存储器124。在一些方面中，设备104可以包括多个可选组件，例如，通信接口126、收发机132、接收机128、发射机130、显示处理器127和一个或多个显示器131。对显示器131的引用可以是指一个或多个显示器131。例如，显示器131可以包括单个显示器或多个显示器。显示器131可以包括第一显示器和第二显示器。第一显示器可以是左眼显示器，而第二显示器可以是右眼显示器。在一些示例中，第一显示器和第二显示器可以接收用于在其上呈现的不同的帧。在其它示例中，第一显示器和第二显示器可以接收用于在其上呈现的相同的帧。在进一步的示例中，图形处理的结果可以不显示在设备上，例如第一显示器和第二显示器可以不接收用于在其上呈现的任何帧。相反地，帧或图形处理结果可以被传输给另一设备。在一些方面中，这可以被称为拆分渲染。
处理单元120可以包括内部存储器121。处理单元120可以被配置为执行图形处理，诸如在图形处理流水线107中。内容编码器/解码器127可以包括内部存储器123。在一些示例中，设备104可以包括显示处理器(诸如显示处理器127)以在由一个或多个显示器131进行呈现之前对由处理单元120生成的一个或多个帧执行一种或多种显示处理技术。显示处理器127可以被配置为执行显示处理。例如，显示处理器127可以被配置为对由处理单元120生成的一个或多个帧执行一种或多种显示处理技术。一个或多个显示器131可以被配置为显示或以其它方式呈现由显示处理器127处理的帧。在一些示例中，一个或多个显示器131可以包括以下各项中的一项或多项：液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器、投影显示设备、增强现实显示设备、虚拟现实显示设备、头戴式显示器、或任何其它类型的显示设备。
在处理单元120和内容编码器/解码器122外部的存储器(诸如系统存储器124)可以是对于处理单元120和内容编码器/解码器122可访问的。例如，处理单元120和内容编码器/解码器122可以被配置为从诸如系统存储器124之类的外部存储器进行读取和/或写入该外部存储器。处理单元120和内容编码器/解码器122可以通过总线通信地耦合到系统存储器124。在一些示例中，处理单元120和内容编码器/解码器122可以通过总线或不同的连接彼此通信地耦合。
内容编码器/解码器122可以被配置为从诸如系统存储器124和/或通信接口126之类的任何源接收图形内容。系统存储器124可以被配置为存储所接收的经编码或经解码的图形内容。内容编码器/解码器122可以被配置为例如从系统存储器124和/或通信接口126接收具有经编码的像素数据的形式的经编码或经解码的图形内容。内容编码器/解码器122可以被配置为对任何图形内容进行编码或解码。
内部存储器121或系统存储器124可以包括一个或多个易失性或非易失性存储器或存储设备。在一些示例中，内部存储器121或系统存储器124可以包括RAM、SRAM、DRAM、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存、磁性数据介质或光学存储介质、或任何其它类型的存储器。
根据一些示例，内部存储器121或系统存储器124可以是非暂时性存储介质。术语“非暂时性”可以指示存储介质没有体现在载波或传播的信号中。然而，术语“非暂时性”不应当被解释为意指内部存储器121或系统存储器124是不可移动的或者其内容是静态的。作为一个示例，系统存储器124可以从设备104移除以及移动到另一设备。作为另一示例，系统存储器124可以是不可从设备104移除的。
处理单元120可以是中央处理单元(CPU)、图形处理单元(GPU)、通用GPU(GPGPU)、或可以被配置为执行图形处理的任何其它处理单元。在一些示例中，处理单元120可以被整合到设备104的主板中。在一些示例中，处理单元120可以存在于安装在设备104的主板中的端口中的图形卡上，或者可以以其它方式并入被配置为与设备104进行互操作的外围设备内。处理单元120可以包括一个或多个处理器，诸如一个或多个微处理器、GPU、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、算术逻辑单元(ALU)、数字信号处理器(DSP)、分立逻辑、软件、硬件、固件、其它等效的集成或分立逻辑电路、或其任何组合。如果技术是部分地以软件来实现的，则处理单元120可以将用于软件的指令存储在合适的非暂时性计算机可读存储介质(例如，内部存储器121)中，以及可以使用一个或多个处理器在硬件中执行指令，以执行本公开内容的技术。包括硬件、软件、硬件和软件的组合等的前述内容中的任何内容可以被认为是一个或多个处理器。
内容编码器/解码器122可以是被配置为执行内容编码/解码的任何处理单元。在一些示例中，内容编码器/解码器122可以被集成到设备104的主板中。内容编码器/解码器122可以包括一个或多个处理器，诸如一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、算术逻辑单元(ALU)、数字信号处理器(DSP)、视频处理器、分立逻辑、软件、硬件、固件、其它等效的集成或分立逻辑电路、或其任何组合。如果所述技术部分地在软件中实现，则内容编码器/解码器122可以将用于软件的指令存储在合适的非暂时性计算机可读存储介质(例如，内部存储器123)中，以及可以使用一个或多个处理器在硬件中执行所述指令，以执行本公开内容的技术。包括硬件、软件、硬件和软件的组合等的任何前述内容可以被认为是一个或多个处理器。
在一些方面中，内容生成系统100可以包括可选的通信接口126。通信接口126可以包括接收机128和发射机130。接收机128可以被配置为执行本文中关于设备104描述的任何接收功能。另外，接收机128可以被配置为从另一设备接收信息(例如，眼睛或头部位置信息、渲染命令或位置信息)。发射机130可以被配置为执行本文中关于设备104描述的任何发送功能。例如，发射机130可以被配置为向另一设备发送可以包括针对内容的请求的信息。接收机128和发射机130可以被组合成收发机132。在这样的示例中，收发机132可以被配置为执行本文关于设备104描述的任何接收功能和/或发送功能。
再次参考图1，在某些方面中，图形处理流水线107可以包括确定组件198，其被配置为确定用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项。确定组件198还可以被配置为确定用于客户端设备与服务器之间的应用计算的计算负载。确定组件198还可以被配置为基于以下各项中的至少一项来调整针对客户端设备与服务器之间的应用计算的计算分配：用于应用计算的计算负载、或者用于通信链路的质量、时延或容量中的至少一项。确定组件198还可以被配置为确定客户端设备或服务器中的至少一者的计算容量。确定组件198还可以被配置为确定客户端设备或服务器中的至少一者的热门限水平。确定组件198还可以被配置为确定客户端设备或服务器中的至少一者的计算功率水平。确定组件198还可以被配置为确定客户端设备或服务器中的至少一者是否支持最低计算容量。确定组件198还可以被配置为基于客户端设备或服务器中的至少一者的计算容量来调整针对客户端设备与服务器之间的应用计算的计算分配。确定组件198还可以被配置为确定用于客户端设备与服务器之间的通信的通信链路是否支持最低质量、时延或容量水平。确定组件198还可以被配置为测量用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项。
如本文所描述的，诸如设备104之类的设备可以是指被配置为执行本文所描述的一种或多种技术的任何设备、装置或系统。例如，设备可以是服务器、基站、用户设备、客户端设备、站、接入点、计算机(例如，个人计算机、台式计算机、膝上型计算机、平板计算机、计算机工作站、或大型计算机)、最终产品、装置、电话、智能电话、服务器、视频游戏平台或控制台、手持设备(例如，便携式视频游戏设备或个人数字助理(PDA))、可穿戴计算设备(例如，智能手表、增强现实设备或虚拟现实设备)、非可穿戴设备、显示器或显示设备、电视机、电视机顶盒、中间网络设备、数字媒体播放器、视频流设备、内容流设备、车载计算机、任何移动设备、被配置为生成图形内容的任何设备、或者被配置为执行本文所描述的一种或多种技术的任何设备。本文中的过程可以描述为由特定组件(例如，GPU)来执行，但是在进一步的实施例中，可以是使用与所公开的实施例一致的其它组件(例如，CPU)来执行的。
在一些方面中，可以在多个位置中和/或在多个设备上执行对图像或帧的渲染，例如，以便在不同的设备之间分割渲染工作负载。例如，渲染工作负载可以在服务器与客户端设备之间划分。在一些方面中，该过程可以被称为“拆分渲染”。在一些情况下，拆分渲染可以是用于将内容带到客户端设备或头戴式显示器(HMD)的方法，其中，计算机或图形处理的一部分可以是在客户端设备或HMD之外(例如，在服务器处)执行的。
可以针对多种不同类型的应用(例如，虚拟现实(VR)应用、增强现实(AR)应用和/或扩展现实(XR)应用)执行拆分渲染。在VR应用中，在客户端设备处显示的内容可以对应于经渲染的内容或动画内容，例如，在服务器或客户端设备处渲染的内容。在AR或XR应用中，在客户端设备处显示的内容的一部分可以对应于真实世界内容(例如，真实世界中的对象)，并且该内容的一部分可以是经渲染的内容或动画内容。此外，经渲染的内容或动画内容和真实世界内容可以被显示在光学透视或视频透视设备中，使得用户可以同时查看真实世界对象和经渲染的内容。在一些方面中，XR内容可以指代VR和AR内容两者。XR、VR和AR应用可以全部涉及用户通过头戴式设备(headset)查看经渲染的内容。
通过在客户端或用户设备(例如，HMD或头戴式设备)与服务器之间拆分计算工作负载，拆分渲染可以在XR、AR或VR应用中提供高质量的用户体验。在一些方面中，客户端设备和服务器可以经由低时延通信链路(例如，5G或Wi-Fi)彼此连接。此外，服务器可以被定位为靠近低时延通信链路，以便减少时延。在一些方面中，服务器可以被称为边缘服务器或云服务器。
在XR、VR和AR应用的一些情况下，客户端设备或头戴式设备可以包括GPU或图形处理设备，其可以针对经渲染的内容执行必要的计算或图形处理。利用拆分渲染可以将重要部分的计算或图形处理卸载到服务器。在这些情况下，服务器可以是可以执行从客户端设备卸载的一些计算或图形处理的任何设备。例如，服务器可以是云服务器、边缘服务器、个人计算机、智能电话或任何适当的设备。
拆分渲染可以以多种不同的方式在服务器与客户端设备之间分配渲染计算。例如，所有渲染都可以是在客户端设备上执行的，即，其中所有计算都是在客户端上执行的，并且客户端与服务器共享计算状态。此外，所有渲染都可以是在服务器上执行的，即，其中所有计算都是在服务器上执行的，即使是要在客户端上显示的图像。在一些方面中，为了减少拆分渲染中的时延，一些客户端设备可以将未经压缩的视频流式传输到服务器。然而，对未经压缩的视频进行流式传输可能需要对于特定类型的服务器可用的吞吐量水平。
拆分XR、VR和AR系统在向客户端设备递送经渲染的内容时也可能引入时延。在一些方面中，与客户端渲染相比，当在服务器上发生渲染时，这种时延可能甚至更高，但是其也可以实现更复杂的XR、VR和AR内容。此外，在计算相机姿势的时间与对应于该相机姿势的内容出现在客户端显示器上的时间之间可能存在不可忽略的时延。例如，在拆分XR、VR和AR系统中可能始终存在一定的时延量。
在XR、VR和AR应用的一些实例中，用户在观察可能与用户感知的运动不对应的XR、VR或AR内容时可能由于时延问题而经历眩晕或恶心。为了减少用户所经历的潜在眩晕或恶心，客户端设备可能需要执行一种类型的设备跟踪。这种跟踪可以利用相机或惯性测量单元或两者的组合来执行，并且可以是在CPU、或GPU、或数字信号处理器(DSP)单元或专用处理单元上完全或部分地执行。在一些方面中，这种设备姿势跟踪算法可以跟踪六个自由度(6DOF)，即三维(3D)空间中的任意移动。在6DOF中，用户头部的相对位置可以经由六个数值来指示。例如，三个数值可以定义相对偏移或平移，而三个数值可以定义相对旋转。
在一些情况下，客户端设备可以运行6DOF算法以减少恶心或眩晕。例如，客户端设备可以减少6DOF计算中的时延，以便减少由于在运动发生时与在渲染中计算出所产生的运动时之间的滞后而经历的可能发生的恶心。例如，如果时延或滞后超过某个门限(例如，25ms)，用户可能经历恶心或眩晕。这种时延可以是在用户移动时间与在头戴式设备上显示的内容中正确地计算出用户移动的时间之间经历的时延。此外，在渲染内容时，可能需要计算出这种6DOF用户姿势。在拆分AR或VR应用中，总时延可以包括用户移动与在头戴式设备上显示对应于这种移动的内容的时刻之间的时间。
下面的表1显示了计算工作负载可以在服务器与客户端设备之间拆分的多种不同的方式。例如，表1显示了偏客户端分配、偏服务器分配以及服务器与客户端设备之间的均匀分配。在偏客户端分配中，大多数操作可以是由客户端设备执行的，而诊断和游戏状态维护可以是在服务器处执行的。在均匀分配中，时间敏感和其它非计算密集型操作可以是由客户端设备执行的，而计算繁重型和非时间敏感的操作可以是在服务器处执行的。此外，在偏服务器分配中，时间敏感和重要操作可以是由客户端设备执行的，而所有其它操作可以是在服务器处执行的。
Figure BDA0003820250760000071
表1
图2示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示意图200。更具体地，图2中的示意图200是XR、VR或AR系统中的拆分渲染架构。示意图200包括游戏引擎210、视频和音频编码器212、低时延传输220、低时延传输222、显示和姿势计算单元230、视频和音频解码器232以及VR优化后处理单元234。在一些方面中，显示和姿势计算单元230、视频和音频解码器232以及VR优化后处理模块234都可以被包括在HMD中。图2显示了客户端设备与服务器之间的信息传输协议。
客户端设备可以包括显示和姿势计算单元230、视频和音频解码器232以及VR优化后处理单元234。在一些方面中，显示和姿势计算单元230可以以高帧速率来生成姿势或帧，并且将这些姿势或帧上传到服务器。此外，服务器可以包括游戏引擎210以及视频和音频编码器212。游戏引擎210可以是产生从特定视点(例如，房间)拍摄的帧的应用，特定视点可以取决于来自客户端设备的姿势。在一些情况下，可以渲染帧中的每个物品，例如房间中的每个物品。
在一些方面中，游戏引擎210可以渲染多个眼睛缓冲器，其中，每个眼睛缓冲器代表在客户端上捕获的唯一视角。这些眼睛缓冲器可以被编码为视频。此外，这些眼睛缓冲器以及相应的音频内容可以从游戏引擎210发送给视频和音频编码器212，视频和音频解码器212可以对流或信息进行压缩，并且将其以下行链路发送给客户端设备(例如，经由低时延传输222)。客户端设备可以对流或信息进行解压缩(例如，使用视频和音频解码器232)，并且然后在VR优化后处理单元234处执行后处理。
在后处理期间，客户端设备可以执行镜头失真校正(LDC)和/或色差校正(CAC)，这可以校正由HMD镜头引入的失真。例如，服务器上的游戏引擎可以产生未失真的视频，但是HMD中的镜头可能引入桶形失真以扩展视场(FOV)，例如，将FOV从30度扩展到90度。这种桶形失真可能需要校正，使得所产生的图像对于观看者来说看起来“自然”。校正可以通过在LDC和/或CAC中编码的映射来引入，例如使得当通过HMD镜头观看时，所产生的枕形失真图像对于观看者来说看起来自然。
在一些方面中，可以使用时间扭曲来执行后处理，这可以隐藏来自过程中的其它步骤的时延。这种时延可能是由于从客户端设备到服务器并且返回到客户端设备的往返发送的信息造成的。这种往返信息传输可以被称为运动到渲染到光子(M2R2P)。M2R2P可以包括来自显示和姿势计算单元230的运动到服务器上的渲染到显示和姿势计算单元230上的光子或显示。如上文所提及的，这可能在用户移动的时间与用户在头戴式设备上查看所产生的运动的时间之间产生时延。在一些情况下，在不使用拆分渲染的情况下，这种时延对于用户舒适来说可能太长。例如，后处理和时间扭曲可能产生长时延(例如，大于50毫秒)，这可能导致用户经历恶心或眩晕。时间扭曲可以是图像或帧的重新投影。
如本文所提及的，眼睛缓冲器可以从服务器发送给客户端设备，并且然后眼睛缓冲器可以被重新投影以对应于稍后姿势。在一些方面中，可以在显示和姿势计算单元230中估计稍后姿势，并且在后处理单元234中应用稍后姿势。因此，客户端设备可以采用稍后姿态，并且使用该稍后姿势来重新投影从服务器以下行链路发送的眼睛缓冲器。在一些方面中，针对总往返信息传输的时延(例如，50ms)可以大于针对该眼睛缓冲器重新投影循环的时延(例如，15ms)，并且最终用户感知的时延可以等于重新投影循环的时延(例如，15ms)。
在一些情况下，只要服务器与客户端设备之间的通信链路是足够的，则时延可以保持在某些时延门限以下。例如，基于在图2中所示的组件和步骤的组合(例如，在后处理期间的低时延传输和重新投影)，如果通信链路是足够的，则服务器可以位于远离客户端设备的多个不同的位置上。应注意，例如，通过标准参数(诸如发射功率、信道几何结构或相对干扰)确定的通信链路的质量可能是关于时延为什么高的许多原因之一。例如，由于服务器可能不是与基站共置的，所以无线通信链路时延可能高于传统链路时延。
在一些方面中，当用户在客户端设备上启动XR、AR或VR应用时，会话建立协议可以建立应用会话。这可以在检查服务器和低时延通信链路资源的可用性之后发生。如果未检查服务器和低时延通信链路资源可用性，并且假设其是足够的，则用户体验可能受到影响。在一些方面中，如果甚至没有检查服务器可用性，而假设其是足够的，则用户体验可能更差。
此外，当在XR、AR或VR应用期间进行渲染时，客户端设备或HMD可能利用大量功率。由于客户端设备可能在渲染时利用大量功率，因此在服务器和客户端设备之间拆分渲染架构可以是有利的。通过这样做，客户端设备能够减少在XR、AR或VR应用期间利用的功率量。因此，目前需要在XR、AR或VR应用期间将渲染架构中的一些渲染架构从客户端设备卸载到服务器。
本公开内容的各方面可以通过将渲染工作负载中的一些渲染工作负载卸载到服务器，从而在服务器与客户端设备之间分配或拆分渲染负载。在一些情况下，这可以取决于服务器与客户端之间的通信网络条件。可以有助于确定在移动客户端上承担多少渲染负载以及在远程服务器上启动多少渲染负载的其它因素是：在设备上可用的电池功率、维持最低QoS所需要的移动调制解调器功率的估计、加入服务器渲染负载的组合成本(例如，传递给用户的基础设施成本)。例如，本公开内容的各方面可以在客户端设备与服务器之间拆分渲染工作负载，以便减少在客户端设备处利用的功率量。此外，可以有利的是，每当服务器是可用的并且服务器与客户端之间的组合网络和通信链路允许低时延传输时，就将渲染工作负载中的一些渲染工作负载卸载到服务器。
在一些方面中，通信网络条件可以被称为服务质量(QoS)水平。在一些情况下，如果某个网络(例如，5G网络)正在产生低时延水平和/或高QoS水平，则将更多的渲染工作负载卸载到服务器可以是有利的。在一些方面中，多个因素可能对QoS水平起作用，例如，分组错误率(PER)或块错误率(BLER)。此外，在一些方面中，通信链路的QoS水平可以是PER或BLER和时延水平的组合。此外，如果QoS水平是低的，则在客户端设备处执行更多的渲染工作负载可以是有利的。因此，由客户端或服务器执行的渲染量可以取决于客户端与服务器之间的QoS水平。本公开内容的各方面还可以根据服务器和/或客户端设备的计算容量来分配或拆分渲染架构。
如上所指出的，根据通信网络条件来改变渲染架构可以有助于节省客户端设备或HMD处的功率。因此，如果网络条件或QoS水平是良好的，则在客户端设备处可以不需要那么多功率，因为服务器可以执行更多的渲染工作负载。相反，如果QoS水平是差的，所以服务器将无法处理重要部分的渲染工作负载，则客户端设备可能需要执行更多的渲染工作负载。
如本文所指出的，卸载到服务器的计算或渲染量可以取决于客户端与服务器之间的通信链路中的QoS水平或时延，例如，M2R2P时延。此外，在服务器上执行的渲染功能越多，在客户端设备处的后处理就越简单。
在一些方面中，即使当QoS水平是高的并且计算分配是偏服务器的时，客户端也可以执行最少量的功能。例如，当QoS水平是高的时，客户端设备可以执行6DOF姿势，解码内容和/或执行异步时间扭曲(ATW)或其它类型的优化后处理。此外，如果XR体验包括使用手持控制器或其它交互性外围设备，则HMD可以将来自这些外围设备的信息与6DOF姿势信息进行组合，并且在上行链路信道上将两者发送给服务器。因此，客户端设备应当能够处理针对用户的姿势以及某种水平的后处理。
此外，在服务器处执行的计算量可以取决于QoS水平。例如，游戏引擎可以在服务器上运行，但是服务器还可以执行环境检测和理解(在可能需要这种服务的系统或体验中)。例如，环境理解可能需要检测和理解在用户周围或前方的物理空间中的真实世界对象，例如，其形状、大小以及在物理世界中的位置。因此，如果QoS水平是高的，并且客户端设备确定在本地执行环境理解超出其能力，或者负载计算太高，则其可以向服务器发送图像或真实世界对象。
此外，服务器可以计算若干游戏引擎渲染功能，例如，可见性计算、着色、特效、光线跟踪或物理引擎计算，所有这些都可能需要大量计算工作负载。例如，在可见性阶段期间，可以确定场景中的不同网格的可见性，这是计算密集步骤。此外，确定针对场景的着色是计算密集步骤，尤其是在存在多个且动态光源、间接照明或全局照明、有光泽的材料、光传输介质中的粒子等情况下。物理引擎可以确定场景中的对象的不同物理属性，例如，球将如何从不同对象反弹。此外，服务器可以执行协作型游戏服务，其中，其可以确定用户状态和/或向客户端设备通知要渲染的下一对象。在一些情况下，在偏客户端计算中，大部分渲染可以是在客户端设备上执行的，而服务器可以提供游戏状态信息。
QoS水平还可以对应于通信网络的时延和/或通信网络的可靠性。因此，网络的时延和可靠性可以直接相关。例如，当可靠地传输特定百分比的通信(这可能导致时延水平增加)时，客户端设备可以正常地运行。因此，如果通信是在高可靠性的情况下以特定速率发送的，则这可能导致较高时延。而如果通信是在低可靠性的情况下以较低速率发送的，则这可能导致较低时延。
在一些方面中，如果QoS水平被确定为低(例如，在客户端设备上的应用上检测到的)，则通信可以被切换到偏客户端模式。此外，如果往返时延是高的，则可以在客户端设备上执行时延敏感操作。可以在发起或协商服务时确定这种权衡，使得可以确定渲染流水线中的计算负载。
在一些方面中，当在客户端设备与服务器之间初始建立通信时，可以评估QoS水平。在一些情况下，对于服务器与客户端设备之间的通信，还可以以特定时间间隔(例如，每10或15分钟)周期性地评估QoS水平。此外，在一些方面中，可以连续地评估服务器与客户端设备之间的QoS水平。
如上所提及的，当用户在客户端设备上启动应用时，会话建立协议可以在检查服务器和低时延通信链路资源的可用性之后建立应用会话。本公开内容的各方面可以在应用会话的建立期间作出关于计算工作负载在客户端设备与服务器之间的分配的决策。在一些方面中，本公开内容可以执行会话建立，并且在应用级别评估通信链路的性能，例如，经由来自客户端设备上的应用或服务器上的应用的反馈。在一些情况下，服务器可以是可用的，但是可能存在请求来自同一服务器的协助的许多用户，例如，当计算中心是边缘服务器时。在这些情况下，服务器还可以拒绝服务或向高端用户提供服务(例如以高端费用)。然后，应用可以适应客户端设备与服务器之间的通信链路的当前条件。
本公开内容的各方面还可以包括AR应用会话建立，其检查服务器和低时延通信链路资源的可用性。如果资源不是可用的，则可以采用在客户端设备上运行大多数计算的决策。因此，本公开内容可以基于多个不同的因素来调整计算分配，诸如通信链路的QoS水平、客户端设备上的可用资源、服务器上的可用资源和/或偏服务器分配的所产生的操作成本。
本公开内容的各方面可以包括在客户端设备与服务器之间分配计算工作负载的多种不同的方式。下面的表2显示了用于分配计算工作负载的这些模式中的若干种模式。例如，表2显示了偏客户端工作负载分配、偏服务器工作负载分配和均匀工作负载分配。表2还示出了客户端设备计算、服务器计算、上行链路业务和下行链路业务。
Figure BDA0003820250760000101
表2
如在上面的表2中所示，在本公开内容的包括偏客户端分配的各方面中，客户端设备可以计算6DOF姿势跟踪、环境感测、游戏引擎渲染和/或ATW或其它专门的后处理。此外，在偏客户端分配中，服务器可以计算协作型游戏服务，例如，多用户玩和绘图、位置相关资产采购和/或传输。偏客户端分配中的上行链路业务可以包括游戏状态、6DOF姿势和/或绘图参数。此外，偏客户端分配中的下行链路业务可以包括某些游戏资产、多用户游戏中的所有用户的游戏状态、地图和/或支持材料。
如在上面的表2中进一步所示，在本公开内容的包括均匀分配的各方面中，客户端设备可以计算6DOF跟踪、低水平感知(例如，人体感知、几何形状图元、特征描述符等)。客户端还可以实例化并且执行低等级游戏引擎实例以用于部分内容渲染。此外，客户端还可以负责内容解码、ATW和/或其它后处理、以及内容合成(当适用时)。在均匀分配中，服务器可以计算较高水平感知例如语义分割、对象分类、精确的对象形状或位置以及对象级别的环境绘图、和/或侧重于某些方面例如，基于物理的渲染、材料、粒子效果等的游戏引擎实例。均匀分配中的上行链路业务可以包括游戏状态、6DOF姿势和/或感知图元(例如，骨骼信息、几何形状图元、特征描述符等)。此外，均匀分配中的下行链路业务可以包括可以作为替用者、网格和/或着色纹理发送的适应环境的经渲染的内容(例如，取决于环境的渲染参数)。
此外，如在上面的表2中所示，在本公开内容的包括偏服务器分配的各方面中，客户端设备可以计算6DOF跟踪、内容解码、ATW、其它类型的优化后处理和/或内容合成。在偏服务器分配中，服务器可以计算环境检测和理解、游戏引擎渲染(例如，可见性计算、着色、光线跟踪、特效和物理引擎)和/或内容编码。偏服务器分配中的上行链路业务可以包括HMD6DOF姿势、控制器姿势和状态和/或安装在HMD上的相机馈送。此外，在偏服务器分配中，下行链路业务可以包括可以作为帧和/或替用者发送的适应环境的经渲染的内容(例如，取决于环境的渲染参数)。
在一些方面中，如果AR、VR或XR应用会话建立推断底层通信链路无法支持最低QoS水平，则会话可以在大部分计算在本地执行的情况下进行(即本地或偏客户端应用)。这可以通过评估QoS水平来实现，例如，如果针对某些水平的计算拆分存在最低QoS水平。因此，本公开内容可以基于计算拆分的水平来评估QoS水平。
此外，如果AR、VR或XR应用会话建立推断服务器无法支持最低计算容量，则会话可以在大部分计算在本地执行的情况下进行，即本地或偏客户端应用。此外，客户端设备可以关于客户端设备计算能力向服务器进行报告。根据本公开内容的服务器/客户端计算拆分决策的至少一些实例可以包括：(i)在给定当前负载的情况下的本地计算能力(例如，在客户端处)，(ii)在给定当前负载的情况下的远程计算能力(例如，在服务器处)，(iii)在给定当时的热考虑因素的情况下的本地和远程能力，(iv)通信链路考虑因素，其包括QoS和/或在最低可接受QoS下的端到端组合平均链路时延，(v)在给定本地渲染选项(例如，低通信规范)或远程渲染选项(例如，低本地渲染规范)的情况下的客户端电池寿命考虑因素。
在一些方面中，AR、VR或XR应用可以使用通信链路来与服务器或另一AR、VR、或XR应用客户端设备交换应用信息，例如，游戏信息交换。此外，AR、VR或XR应用可以使用到服务器的通信链路，以传输利用可以被卸载到服务器的计算的某些功能的输入和输出。例如，服务器可以执行某些计算密集型功能，例如，光线跟踪或物理引擎计算。
在一些情况下，AR、VR或XR应用可以使用通信链路来与服务器或另一AR、VR、或XR应用客户端设备交换应用信息，例如，游戏信息交换。此外，在一些方面中，AR、VR或XR应用会话建立可以推断通信链路是否支持降低的通信水平，并且如果支持的话，会话可以利用AR、VR或者XR应用的不超过降低的通信链路水平的版本继续进行。此外，在一些方面中，AR、VR或XR应用会话建立可以推断服务器是否支持降低的QoS水平或容量，并且如果支持的话，会话可以利用应用的不超过降低的QoS水平或服务器容量的版本继续进行。因此，QoS水平可以通过通信设备和/或进行通信所花费的时间量来确定。
在一些方面中，可以基于服务器与客户端设备之间的通信链路来确定计算拆分或分配。这可以基于支持的吞吐量的量以及传输用于在移动客户端上创建下一设备的刷新内容(例如，帧)所需要的信息组的平均时延来确定。此外，可以基于服务器的计算容量和/或客户端设备的计算容量来确定计算拆分或分配。例如，计算拆分可以基于服务器的计算容量和/或服务器上的计算成本来确定。此外，计算拆分可以基于客户端设备的计算容量和/或客户端设备上的计算可能需要的功率量来确定。因此，计算拆分或分配可以基于多个不同的因素来确定。
图3示出了根据本公开内容的一种或多种技术的包括客户端设备与服务器之间的通信的示意图300。如图3中所示，示意图300包括服务器310、通信链路320、通信链路322和客户端设备330。在一些方面中，服务器310可以包括游戏引擎和/或视频和音频编码器。此外，客户端设备330可以包括HMD或头戴式设备、视频和音频解码器和/或VR优化后处理单元。此外，通信链路320和/或322可以包括低时延传输。
图3示出了用于在拆分渲染中在客户端设备与服务器之间分配应用计算的前述过程的示例。如图3中所示，本公开内容的各方面(例如，本文中的服务器和客户端设备)可以执行多个不同的步骤或过程来分配应用计算。例如，本文中的服务器和客户端设备可以确定用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的通信的通信链路的质量、时延或容量中的至少一项。
本文中的服务器和客户端设备还可以确定用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的应用计算的计算负载。此外，本文中的服务器和客户端设备可以确定用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的通信的通信链路(例如，通信链路320或通信链路322)是否支持最低质量、时延或容量水平。
本文中的服务器和客户端设备还可以测量用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的通信的通信链路的质量、时延或容量中的至少一项。在一些方面中，对用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的通信的通信链路的质量、时延或容量的测量可以是基于XR应用、AR应用或VR应用的。此外，对用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的通信的通信链路的质量、时延或容量的测量可以由客户端设备(例如，客户端设备330)和/或服务器(例如，服务器310)来发起。
此外，本文中的服务器和客户端设备可以确定客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者的计算容量。本文中的服务器和客户端设备还可以确定客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者的热门限水平。本文中的服务器和客户端设备还可以确定客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者的计算功率水平。在一些方面中，客户端设备(例如，客户端设备330)的计算功率水平可以包括剩余电池水平。
本文中的服务器和客户端设备还可以确定客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者是否支持最低计算容量。在一些方面中，客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者的计算容量可以是用于XR应用、AR应用或VR应用的计算容量。此外，客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中的至少一者的计算容量可以是渲染计算容量。
此外，本文中的服务器和客户端设备可以基于以下各项中的至少一项来调整用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的应用计算的计算分配：用于应用计算的计算负载、或者通信链路的质量、时延或容量中的至少一项。此外，本文中的服务器和客户端设备可以基于客户端设备(例如，客户端设备330)或服务器(例如，服务器310)中至少一者的计算容量来调整用于客户端设备与服务器之间的应用计算的计算分配。
在一些方面中，当所确定的用于应用计算的计算负载小于计算负载门限时，客户端设备(例如，客户端设备330)可以执行第一客户端水平的应用计算，并且服务器(例如，服务器310)可以执行第二服务器水平的应用计算。此外，当所确定的用于应用计算的计算负载大于或等于计算负载门限时，客户端设备(例如，客户端设备330)可以执行第二客户端水平的应用计算，并且服务器(例如，服务器310)可以执行第一服务器水平的应用计算。当所确定的用于应用计算的计算负载近似等于计算负载门限时，客户端设备还可以执行第三客户端水平的应用计算，并且服务器可以执行第三服务器水平的应用计算。
在一些方面中，用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的应用计算的计算分配可以对应于拆分XR架构、拆分AR架构或拆分VR架构。此外，服务器(例如，服务器310)可以是边缘服务器或云服务器。客户端设备(例如，客户端设备330)也可以是头戴式显示器(HMD)或头戴式设备。此外，用于客户端设备(例如，客户端设备330)与服务器(例如，服务器310)之间的应用计算的计算分配可以是由中央处理单元(CPU)或图形处理单元(GPU)来调整的。
在一些方面中，通信链路(例如，通信链路320或通信链路322)的质量、时延或容量可以是基于服务质量(QoS)通知消息来确定的。该QoS通知消息可以是从无线通信系统(例如，NR系统或LTE系统)接收的。此外，计算分配可以是基于QoS通知消息来调整的。此外，计算分配的调整的时间段可以是基于QoS通知消息的。在一些情况下，调整的时间段可以至少是特定时间段，例如，至少100ms。此外，应用计算可以是用于多媒体应用。例如，多媒体应用可以包括XR应用、AR应用、VR应用、云游戏应用或云辅助感知应用中的至少一者。
图4示出了根据本公开内容的一种或多种技术的示例方法的示例流程图400。该方法可以由诸如服务器、客户端设备、CPU、GPU或用于计算机或图形处理的装置之类的装置来执行。在402处，该装置可以确定用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项，如结合图2和3中的示例所描述的。在404处，该装置可以确定用于客户端设备与服务器之间的通信的通信链路是否支持最低质量、时延或容量水平，如结合图2和3中的示例所描述的。
在406处，该装置可以测量用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项，如结合图2和3中的示例所描述的。在一些方面中，对用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量的测量可以是基于XR应用、AR应用或VR应用的，如结合图2和3中的示例所描述的。此外，对用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量的测量可以是由客户端设备和/或服务器的发起，如结合图2和3中的示例所描述的。
在408处，该装置可以确定用于客户端设备与服务器之间的应用计算的计算负载，如结合图2和3中的示例所描述的。在410处，该装置可以确定客户端设备或服务器中的至少一者的计算容量，如结合图2和3中的示例所描述的。在412处，该装置可以确定客户端设备或服务器中的至少一者的热门限水平。在414处，该装置可以确定客户端设备或服务器中的至少一者的计算功率水平。在一些方面中，客户端设备的计算功率水平可以包括剩余电池水平。
在416处，该装置还可以确定客户端设备或服务器中的至少一者是否支持最低计算容量，如结合图2和3中的示例所描述的。在一些方面中，客户端设备或服务器中的至少一者的计算容量可以是用于XR应用、AR应用或VR应用的计算容量，如结合图2和3中的示例所描述的。此外，客户端设备或服务器中的至少一者的计算容量可以是渲染计算容量，如结合图2和3中的示例所描述的。
在418处，该装置可以基于以下各项中的至少一项来调整用于客户端设备与服务器之间的应用计算的计算分配：用于应用计算的计算负载、或者通信链路的质量、时延或容量中的至少一项，如结合图2和3中的示例所描述的。在420处，该装置还可以基于客户端设备或服务器中的至少一者的计算容量来调整用于客户端设备与服务器之间的应用计算的计算分配，如结合图2和3中的示例所描述的。
在一些方面中，当所确定的用于应用计算的计算负载小于计算负载门限时，客户端设备可以执行第一客户端水平的应用计算，并且服务器可以执行第一服务器水平的应用计算，如结合图2和3中的示例所描述的。此外，当所确定的用于应用计算的计算负载大于或等于计算负载门限时，客户端设备可以执行第二客户端水平的应用计算，并且服务器可以执行第二服务器水平的应用计算，如结合图2和3中的示例所描述的。此外，当所确定的用于应用计算的计算负载近似等于计算负载门限时，客户端设备可以执行第三客户端水平的应用计算，并且服务器可以执行第三服务器水平的应用计算，如结合图2和3中的示例所描述的。
在一些方面中，用于客户端设备与服务器之间的应用计算的计算分配可以对应于拆分XR架构、拆分AR架构或拆分VR架构，如结合图2和3中的示例所描述的。此外，服务器可以是边缘服务器或云服务器，如结合图2和3中的示例所描述的。客户端设备也可以是HMD或头戴式设备，如结合图2和3中的示例所描述的。此外，用于客户端设备与服务器之间的应用计算的计算分配可以是由CPU或GPU来调整的，如结合图2和3中的示例所描述的。在一些方面中，质量或负载水平可以包括服务质量(QoS)水平，如结合图2和3中的示例所描述的。
在一些方面中，通信链路的质量、时延或容量可以是基于服务质量(QoS)通知消息来确定的，如结合图2和3中的示例所描述的。该QoS通知消息可以是从无线通信系统(例如，NR系统或LTE系统)接收的，如结合图2和3中的示例所描述的。此外，计算分配可以是基于QoS通知消息来调整的，如结合图2和3中的示例所描述的。此外，计算分配的调整的时间段可以是基于QoS通知消息的，如结合图2和3中的示例所描述的。在一些情况下，调整的时间段可以至少是特定时间段(例如，至少100ms)，如结合图2和3中的示例所描述的。此外，应用计算可以是用于多媒体应用。例如，多媒体应用可以包括XR应用、AR应用、VR应用、云游戏应用或云辅助感知应用中的至少一者，如结合图2和3中的示例所描述的。
在一种配置中，提供了用于图形处理的方法或装置。该装置可以是服务器、客户端设备、CPU、GPU或可以执行计算机或图形处理的某种其它处理器。在一个方面中，该装置可以是设备104内的处理单元120，或者可以是设备102或另一设备内的某种其它硬件。该装置可以包括用于确定用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项的单元。该装置还可以包括用于确定用于客户端设备与服务器之间的应用计算的计算负载的单元。该装置还可以包括用于基于以下各项中的至少一项来调整用于客户端设备与服务器之间的应用计算的计算分配的单元：用于应用计算的计算负载、或者通信链路的质量、时延或容量中的至少一项。该装置还可以包括用于确定客户端设备或服务器中的至少一者的计算容量的单元。该装置还可以包括用于确定客户端设备或服务器中的至少一者的热门限水平的单元。该装置还可以包括用于确定客户端设备或服务器中的至少一者的计算功率水平的单元。该装置还可以包括用于确定客户端设备或服务器中的至少一者是否支持最低计算容量的单元。该装置还可以包括用于基于客户端设备或服务器中的至少一者的计算容量来调整用于客户端设备与服务器之间的应用计算的计算分配的单元。该装置还可以包括用于确定用于客户端设备与服务器之间的通信的通信链路是否支持最低质量、时延或容量水平的单元。该装置还可以包括用于测量用于客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项的单元。
可以实现本文描述的主题以实现一个或多个益处或优点。例如，所描述的图形处理技术可以由服务器、客户端、GPU、CPU或可以执行计算机或图形处理以实现本文描述的拆分渲染技术的某种其它处理器来使用。与其它计算机或图形处理技术相比，这也可以以低成本来实现。此外，本文中的计算机或图形处理技术可以改进或加速数据处理或执行。进一步地，本文中的计算机或图形处理技术可以提高资源或数据利用和/或资源效率。此外，本公开内容的各方面可以利用拆分渲染过程，其可以减少所利用的功率量并且仍然维持高水平的渲染质量。
根据本公开内容，在上下文没有另外规定的情况下，术语“或”可以被解释为“和/或”。另外，虽然诸如“一个或多个”或“至少一个”等的短语可能已经用于本文所公开的一些特征，而没有用于其它特征，但是没有使用这样的语言的特征可以被解释为在上下文没有另外规定的情况下暗示了这样的含义。
在一个或多个示例中，本文所描述的功能可以用硬件、软件、固件或其任何组合来实现。例如，尽管已经遍及本公开内容使用了术语“处理单元”，但是这样的处理单元可以用硬件、软件、固件或其任何组合来实现。如果任何功能、处理单元、本文所描述的技术或其它模块是用软件实现的，则功能、处理单元、本文所描述的技术或其它模块可以作为一个或多个指令或代码存储在计算机可读介质上或者通过其进行发送。计算机可读介质可以包括计算机数据存储介质或通信介质，所述通信介质包括促进将计算机程序从一个地方传送到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于：(1)有形计算机可读存储介质，其是非暂时性的；或者(2)诸如信号或载波之类的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器存取以取回用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用的介质。通过举例而非限制性的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘利用激光来光学地复制数据。上述各项的组合也应当被包括在计算机可读介质的范围之内。计算机程序产品可以包括计算机可读介质。
代码可以由一个或多个处理器来执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、算术逻辑单元(ALU)、现场可编程逻辑阵列(FPGA)、或其它等效的集成的或分立的逻辑电路。因此，如本文所使用的术语“处理器”可以是指前述结构中的任何一者或者适合于实现本文所描述的技术的任何其它结构。此外，所述技术可以是在一个或多个电路或逻辑元件中充分地实现的。
本公开内容的技术可以是在各种各样的设备或装置中实现的，包括无线手机、集成电路(IC)或一组IC(例如，芯片集)。在本公开内容中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。确切而言，如上文所描述的，各个单元可以被组合在任何硬件单元中，或者由一批可互操作的硬件单元(包括如上文所描述的一个或多个处理器)结合合适的软件和/或固件来提供。
已经描述了各个示例。这些和其它示例在跟随的权利要求的范围内。

Claims (61)

1.一种计算机处理的方法，包括：
确定用于在客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项；
确定用于在所述客户端设备与所述服务器之间的应用计算的计算负载；以及
基于以下各项中的至少一项来调整用于在所述客户端设备与所述服务器之间的所述应用计算的计算分配：用于所述应用计算的所述计算负载、或者所述通信链路的所述质量、时延或容量中的所述至少一项。
2.根据权利要求1所述的方法，还包括：
确定所述客户端设备或所述服务器中的至少一者的计算容量。
3.根据权利要求2所述的方法，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量还包括：
确定所述客户端设备或所述服务器中的至少一者的热门限水平。
4.根据权利要求2所述的方法，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量还包括：
确定所述客户端设备或所述服务器中的至少一者的计算功率水平。
5.根据权利要求4所述的方法，其中，所述客户端设备的所述计算功率水平包括剩余电池水平。
6.根据权利要求2所述的方法，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量还包括：
确定所述客户端设备或所述服务器中的至少一者是否支持最低计算容量。
7.根据权利要求2所述的方法，还包括：
基于所述客户端设备或所述服务器中的至少一者的所述计算容量，来调整用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配。
8.根据权利要求2所述的方法，其中，所述客户端设备或所述服务器中的至少一者的所述计算容量是渲染计算容量。
9.根据权利要求1所述的方法，其中，确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的所述至少一项还包括：
确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路是否支持最低质量、时延或容量水平。
10.根据权利要求1所述的方法，还包括：
测量用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的至少一项。
11.根据权利要求1所述的方法，其中，当所确定的用于所述应用计算的计算负载小于计算负载门限时，所述客户端设备执行第一客户端水平的所述应用计算，并且所述服务器执行第一服务器水平的所述应用计算。
12.根据权利要求1所述的方法，其中，当所确定的用于所述应用计算的计算负载大于或等于计算负载门限时，所述客户端设备执行第二客户端水平的所述应用计算，并且所述服务器执行第二服务器水平的所述应用计算。
13.根据权利要求1所述的方法，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配对应于拆分扩展现实(XR)架构、拆分增强现实(AR)架构或拆分虚拟现实(VR)架构。
14.根据权利要求1所述的方法，其中，所述服务器是边缘服务器或云服务器。
15.根据权利要求1所述的方法，其中，所述客户端设备是头戴式显示器(HMD)或头戴式设备。
16.根据权利要求1所述的方法，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配是由中央处理单元(CPU)或图形处理单元(GPU)来调整的。
17.根据权利要求1所述的方法，其中，所述通信链路的所述质量、时延或容量是基于服务质量(QoS)通知消息来确定的，其中，所述计算分配是基于所述QoS通知消息来调整的。
18.根据权利要求17所述的方法，其中，所述计算分配的调整的时间段是基于所述QoS通知消息的，其中，所述调整的时间段为至少100ms。
19.根据权利要求1所述的方法，其中，所述应用计算是用于多媒体应用的。
20.根据权利要求19所述的方法，其中，所述多媒体应用包括XR应用、AR应用、VR应用、云游戏应用或云辅助感知应用中的至少一者。
21.一种用于计算机处理的装置，包括：
存储器；以及
至少一个处理器，其耦合到所述存储器并且被配置为：
确定用于在客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项；
确定用于在所述客户端设备与所述服务器之间的应用计算的计算负载；以及
基于以下各项中的至少一项来调整用于在所述客户端设备与所述服务器之间的所述应用计算的计算分配：用于所述应用计算的所述计算负载、或者所述通信链路的所述质量、时延或容量中的所述至少一项。
22.根据权利要求21所述的装置，其中，所述至少一个处理器还被配置为：
确定所述客户端设备或所述服务器中的至少一者的计算容量。
23.根据权利要求22所述的装置，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量包括所述至少一个处理器还被配置为：
确定所述客户端设备或所述服务器中的至少一者的热门限水平。
24.根据权利要求22所述的装置，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量包括所述至少一个处理器还被配置为：
确定所述客户端设备或所述服务器中的至少一者的计算功率水平。
25.根据权利要求24所述的装置，其中，所述客户端设备的所述计算功率水平包括剩余电池水平。
26.根据权利要求22所述的装置，其中，确定所述客户端设备或所述服务器中的至少一者的所述计算容量包括所述至少一个处理器还被配置为：
确定所述客户端设备或所述服务器中的至少一者是否支持最低计算容量。
27.根据权利要求22所述的装置，其中，所述至少一个处理器还被配置为：
基于所述客户端设备或所述服务器中的至少一者的所述计算容量，来调整用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配。
28.根据权利要求22所述的装置，其中，所述客户端设备或所述服务器中的至少一者的所述计算容量是渲染计算容量。
29.根据权利要求21所述的装置，其中，确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的至少一项包括所述至少一个处理器还被配置为：
确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路是否支持最低质量、时延或容量水平。
30.根据权利要求21所述的装置，其中，所述至少一个处理器还被配置为：
测量用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的至少一项。
31.根据权利要求21所述的装置，其中，当所确定的用于所述应用计算的计算负载小于计算负载门限时，所述客户端设备执行第一客户端水平的所述应用计算，并且所述服务器执行第一服务器水平的所述应用计算。
32.根据权利要求21所述的装置，其中，当所确定的用于所述应用计算的计算负载大于或等于计算负载门限时，所述客户端设备执行第二客户端水平的所述应用计算，并且所述服务器执行第二服务器水平的所述应用计算。
33.根据权利要求21所述的装置，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配对应于拆分扩展现实(XR)架构、拆分增强现实(AR)架构或拆分虚拟现实(VR)架构。
34.根据权利要求21所述的装置，其中，所述服务器是边缘服务器或云服务器。
35.根据权利要求21所述的装置，其中，所述客户端设备是头戴式显示器(HMD)或头戴式设备。
36.根据权利要求21所述的装置，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配是由中央处理单元(CPU)或图形处理单元(GPU)来调整的。
37.根据权利要求21所述的装置，其中，所述通信链路的所述质量、时延或容量是基于服务质量(QoS)通知消息来确定的，其中，所述计算分配是基于所述QoS通知消息来调整的。
38.根据权利要求37所述的装置，其中，所述计算分配的调整的时间段是基于所述QoS通知消息的，其中，所述调整的时间段为至少100ms。
39.根据权利要求21所述的装置，其中，所述应用计算是用于多媒体应用的。
40.根据权利要求39所述的装置，其中，所述多媒体应用包括XR应用、AR应用、VR应用、云游戏应用或云辅助感知应用中的至少一者。
41.一种用于计算机处理的装置，包括：
用于确定用于在客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项的单元；
用于确定用于在所述客户端设备与所述服务器之间的应用计算的计算负载的单元；以及
用于基于以下各项中的至少一项来调整用于在所述客户端设备与所述服务器之间的所述应用计算的计算分配的单元：用于所述应用计算的所述计算负载、或者所述通信链路的所述质量、时延或容量中的所述至少一项。
42.根据权利要求41所述的装置，还包括：
用于确定所述客户端设备或所述服务器中的至少一者的计算容量的单元。
43.根据权利要求42所述的装置，其中，所述用于确定所述客户端设备或所述服务器中的至少一者的所述计算容量的单元还被配置为：
确定所述客户端设备或所述服务器中的至少一者的热门限水平。
44.根据权利要求42所述的装置，其中，所述用于确定所述客户端设备或所述服务器中的至少一者的所述计算容量的单元还被配置为：
确定所述客户端设备或所述服务器中的至少一者的计算功率水平。
45.根据权利要求44所述的装置，其中，所述客户端设备的所述计算功率水平包括剩余电池水平。
46.根据权利要求42所述的装置，其中，所述用于确定所述客户端设备或所述服务器中的至少一者的所述计算容量的单元还被配置为：
确定所述客户端设备或所述服务器中的至少一者是否支持最低计算容量。
47.根据权利要求42所述的装置，还包括：
用于基于所述客户端设备或所述服务器中的至少一者的所述计算容量，来调整用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配的单元。
48.根据权利要求42所述的装置，其中，所述客户端设备或所述服务器中的至少一者的所述计算容量是渲染计算容量。
49.根据权利要求41所述的装置，其中，所述用于确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的所述至少一项的单元还被配置为：
确定用于在所述客户端设备与所述服务器之间的通信的所述通信链路是否支持最低质量、时延或容量水平。
50.根据权利要求41所述的装置，还包括：
用于测量用于在所述客户端设备与所述服务器之间的通信的所述通信链路的所述质量、时延或容量中的至少一项的单元。
51.根据权利要求41所述的装置，其中，当所确定的用于所述应用计算的计算负载小于计算负载门限时，所述客户端设备执行第一客户端水平的所述应用计算，并且所述服务器执行第一服务器水平的所述应用计算。
52.根据权利要求41所述的装置，其中，当所确定的用于所述应用计算的计算负载大于或等于计算负载门限时，所述客户端设备执行第二客户端水平的所述应用计算，并且所述服务器执行第二服务器水平的所述应用计算。
53.根据权利要求41所述的装置，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配对应于拆分扩展现实(XR)架构、拆分增强现实(AR)架构或拆分虚拟现实(VR)架构。
54.根据权利要求41所述的装置，其中，所述服务器是边缘服务器或云服务器。
55.根据权利要求41所述的装置，其中，所述客户端设备是头戴式显示器(HMD)或头戴式设备。
56.根据权利要求41所述的装置，其中，用于在所述客户端设备与所述服务器之间的所述应用计算的所述计算分配是由中央处理单元(CPU)或图形处理单元(GPU)来调整的。
57.根据权利要求41所述的装置，其中，所述通信链路的所述质量、时延或容量是基于服务质量(QoS)通知消息来确定的，其中，所述计算分配是基于所述QoS通知消息来调整的。
58.根据权利要求57所述的装置，其中，所述计算分配的调整的时间段是基于所述QoS通知消息的，其中，所述调整的时间段为至少100ms。
59.根据权利要求41所述的装置，其中，所述应用计算是用于多媒体应用的。
60.根据权利要求59所述的装置，其中，所述多媒体应用包括XR应用、AR应用、VR应用、云游戏应用或云辅助感知应用中的至少一者。
61.一种存储用于计算机处理的计算机可执行代码的计算机可读介质，包括用于进行以下操作的代码：
确定用于在客户端设备与服务器之间的通信的通信链路的质量、时延或容量中的至少一项；
确定用于在所述客户端设备与所述服务器之间的应用计算的计算负载；以及
基于以下各项中的至少一项来调整用于在所述客户端设备与所述服务器之间的所述应用计算的计算分配：用于所述应用计算的所述计算负载、或者所述通信链路的所述质量、时延或容量中的所述至少一项。
CN202180017639.9A 2020-03-05 2021-02-03 用于对应用计算的分配的方法和装置 Pending CN115190993A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/810,071 US11252226B2 (en) 2020-03-05 2020-03-05 Methods and apparatus for distribution of application computations
US16/810,071 2020-03-05
PCT/US2021/016419 WO2021178095A1 (en) 2020-03-05 2021-02-03 Methods and apparatus for distribution of application computations

Publications (1)

Publication Number Publication Date
CN115190993A true CN115190993A (zh) 2022-10-14

Family

ID=74798068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180017639.9A Pending CN115190993A (zh) 2020-03-05 2021-02-03 用于对应用计算的分配的方法和装置

Country Status (6)

Country Link
US (2) US11252226B2 (zh)
EP (1) EP4115287A1 (zh)
KR (1) KR102562877B1 (zh)
CN (1) CN115190993A (zh)
TW (1) TW202134890A (zh)
WO (1) WO2021178095A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
CN111652959B (zh) * 2020-05-29 2022-01-18 京东方科技集团股份有限公司 图像处理方法、近眼显示设备、计算机设备和存储介质
US11679326B2 (en) * 2021-09-01 2023-06-20 Qualcomm Incorporated Systems and method for modem power aware extended reality (XR) and gaming software applications
US11917283B2 (en) 2021-10-27 2024-02-27 Tencent America LLC Split rendering for lightfield/immersive media using edge-cloud architecture and peer-to-peer streaming
US11968476B2 (en) * 2021-10-31 2024-04-23 Zoom Video Communications, Inc. Virtual environment streaming to a video communications platform
WO2024010125A1 (ko) * 2022-07-08 2024-01-11 엘지전자 주식회사 사이니지 제공을 위한 에지 및 클라우드 간 협업 플랫폼
CN115426504A (zh) * 2022-09-05 2022-12-02 北京蔚领时代科技有限公司 一种基于多路网络交互的抗弱网方法
US20240087486A1 (en) * 2022-09-13 2024-03-14 Qualcomm Incorporated Predicting Thermal States In Connected Devices To Provide Edge Processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438576B1 (en) * 1999-03-29 2002-08-20 International Business Machines Corporation Method and apparatus of a collaborative proxy system for distributed deployment of object rendering
CN102088472A (zh) * 2010-11-12 2011-06-08 中国传媒大学 面向广域网的动漫渲染任务分解支持方法及实现系统
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
CN107274469A (zh) * 2017-06-06 2017-10-20 清华大学 面向虚拟现实的协同渲染方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153326A (ja) * 1997-07-30 1999-02-26 Internatl Business Mach Corp <Ibm> 分散処理システム、クライアントノード、サーバノードおよび分散処理方法
US6473750B1 (en) * 1999-10-15 2002-10-29 Microsoft Corporation Adaptive query execution in a distributed database system
US7966039B2 (en) * 2007-02-02 2011-06-21 Microsoft Corporation Bidirectional dynamic offloading of tasks between a host and a mobile device
US8209674B2 (en) * 2007-02-12 2012-06-26 Microsoft Corporation Tier splitting support for distributed execution environments
US8364751B2 (en) * 2008-06-25 2013-01-29 Microsoft Corporation Automated client/server operation partitioning
US8250182B2 (en) * 2008-11-30 2012-08-21 Red Hat Israel, Ltd. Dynamic loading between a server and a client
US8560465B2 (en) * 2009-07-02 2013-10-15 Samsung Electronics Co., Ltd Execution allocation cost assessment for computing systems and environments including elastic computing systems and environments
US20160154673A1 (en) * 2014-07-23 2016-06-02 Sitting Man, Llc Methods, systems, and computer program products for providing a minimally complete operating environment
US20130007088A1 (en) * 2011-06-28 2013-01-03 Nokia Corporation Method and apparatus for computational flow execution
WO2013078041A1 (en) * 2011-11-22 2013-05-30 Trimble Navigation Limited 3d modeling system distributed between a client device web browser and a server
US9491221B1 (en) * 2012-12-05 2016-11-08 Google Inc. System and method for brokering distributed computation
US9713013B2 (en) * 2013-03-15 2017-07-18 Elwha Llc Protocols for providing wireless communications connectivity maps
EP2782318A1 (en) * 2013-03-18 2014-09-24 Koninklijke KPN N.V. Allocating resources between network nodes for providing a network node function
US10650014B2 (en) * 2015-04-09 2020-05-12 International Business Machines Corporation Data ingestion process
US10122547B2 (en) 2015-08-14 2018-11-06 Nec Corporation Enabling high-bandwidth, responsive mobile applications in LTE networks
US20170064616A1 (en) 2015-08-28 2017-03-02 Qualcomm Incorporated Small cell application platform
US10129130B2 (en) * 2016-03-21 2018-11-13 International Business Machines Corporation Management of connections of a client application including server selection
US20180039519A1 (en) * 2016-08-08 2018-02-08 Qualcomm Incorporated Systems and methods for managing processing load
US10109030B1 (en) * 2016-12-27 2018-10-23 EMC IP Holding Company LLC Queue-based GPU virtualization and management system
US10440096B2 (en) * 2016-12-28 2019-10-08 Intel IP Corporation Application computation offloading for mobile edge computing
US10231014B2 (en) * 2017-03-14 2019-03-12 Futurewei Technologies, Inc. Virtual reality (VR) video distribution using edge resources
US10402933B2 (en) * 2017-04-24 2019-09-03 Intel Corporation Adaptive smart grid-client device computation distribution with grid guide optimization
US10057373B1 (en) * 2017-05-15 2018-08-21 Palantir Technologies Inc. Adaptive computation and faster computer operation
US20180336069A1 (en) * 2017-05-17 2018-11-22 Tsunami VR, Inc. Systems and methods for a hardware agnostic virtual experience
US10326766B2 (en) 2017-07-13 2019-06-18 Dell Products, Lp Method and apparatus for optimizing mobile edge computing for nomadic computing capabilities as a service
US10475149B2 (en) 2017-09-25 2019-11-12 Intel Corporation Policies and architecture to dynamically offload VR processing to HMD based on external cues
US10721179B2 (en) * 2017-11-21 2020-07-21 International Business Machines Corporation Adaptive resource allocation operations based on historical data in a distributed computing environment
US10659526B2 (en) 2018-01-03 2020-05-19 Verizon Patent And Licensing Inc. Edge compute systems and methods
KR20190096023A (ko) * 2018-02-08 2019-08-19 경상대학교산학협력단 알루미늄 용탕청정 및 합금 미세화를 위한 불활성가스 및 플럭스 첨가 장치
US11226663B2 (en) * 2018-06-29 2022-01-18 Intel Corporation Methods, systems, articles of manufacture and apparatus to reduce temperature of a networked device
US11625806B2 (en) * 2019-01-23 2023-04-11 Qualcomm Incorporated Methods and apparatus for standardized APIs for split rendering
US11127107B2 (en) * 2019-09-30 2021-09-21 Intel Corporation Apparatus and method for real time graphics processing using local and cloud-based graphics processing resources
US11727255B2 (en) * 2019-10-15 2023-08-15 Rutgers, The State University Of New Jersey Systems and methods for edge assisted real-time object detection for mobile augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438576B1 (en) * 1999-03-29 2002-08-20 International Business Machines Corporation Method and apparatus of a collaborative proxy system for distributed deployment of object rendering
CN102088472A (zh) * 2010-11-12 2011-06-08 中国传媒大学 面向广域网的动漫渲染任务分解支持方法及实现系统
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
CN107274469A (zh) * 2017-06-06 2017-10-20 清华大学 面向虚拟现实的协同渲染方法

Also Published As

Publication number Publication date
EP4115287A1 (en) 2023-01-11
US20210281638A1 (en) 2021-09-09
WO2021178095A1 (en) 2021-09-10
KR102562877B1 (ko) 2023-08-02
TW202134890A (zh) 2021-09-16
US20230108115A1 (en) 2023-04-06
KR20220124286A (ko) 2022-09-13
US11252226B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
CN115190993A (zh) 用于对应用计算的分配的方法和装置
US11127214B2 (en) Cross layer traffic optimization for split XR
US11321928B2 (en) Methods and apparatus for atlas management of augmented reality content
US10861215B2 (en) Asynchronous time and space warp with determination of region of interest
US20190310818A1 (en) Selective execution of warping for graphics processing
US11735142B2 (en) Synchronization techniques in split rendering
WO2023133082A1 (en) Resilient rendering for augmented-reality devices
US11509420B2 (en) Methods and apparatus for FEC rate adaptation
US20230042078A1 (en) Encoding and decoding views on volumetric image data
US20230147244A1 (en) Methods and apparatus for occlusion handling techniques
US11875452B2 (en) Billboard layers in object-space rendering
US20230196498A1 (en) Scheduling techniques in split rendering
US20230093933A1 (en) Low latency augmented reality architecture for camera enabled devices
US20230101978A1 (en) Meshlet shading atlas
WO2023055655A1 (en) Meshlet shading atlas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination