CN116069484A - 一种云端图形处理方法以及相关装置 - Google Patents

Abstract

本申请实施例公开了一种云端图形处理方法。云端服务器可以调度图形处理节点的算力，以适应不同用户设备的处理请求，避免了图形处理节点的算力浪费，充分利用了图形处理节点集群的渲染能力和编码能力。同时，解决了云端设备本身计算能力不足的问题。通过推流地址发布图形处理结果，提升方案的兼容性和适配性。

Description

一种云端图形处理方法以及相关装置

技术领域

本申请涉及云计算技术领域，尤其涉及一种云端图形处理方法以及相关装置。

背景技术

云端设备(cloud device，CDD)作为一种新型设备，对物理设备起到非常好的延展和补充作用，并开始在云端游戏、移动办公等场景崭露头角。在上述场景中，均会涉及到图形渲染到屏幕进行显示，渲染分为中央处理器(central processing unit，CPU)软件渲染和图形处理器(graphics processing unit，GPU)硬件渲染。由于，GPU硬件渲染比CPU软件渲染更加高效、成本更低，而被运用在云端设备的渲染。此外，不同应用渲染所需要的算力差距很大，例如：大型游戏，涉及到大量3D模型的渲染，且画面变化大，需要的渲染算力较大；而一些普通的应用，可能仅涉及到一些图标和文本的更新，需要的渲染算力较小。

目前，常用的解决方案是云端设备预先绑定特定的GPU服务器，当用户设备需要进行图形处理时，用户设备请求云端设备。云端设备根据该请求，使用预先绑定的GPU服务器进行图形处理。云端设备对GPU服务器的处理结果进行进一步编码，然后将编码结果传回用户设备。

上述处理流程中，云端设备无法分配调度GPU服务器的算力，造成GPU服务器算力的浪费。

发明内容

第一方面，本申请实施例提供了一种云端图形处理方法，包括：

云端服务器接收来自用户设备的第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

所述云端服务器根据所述第一图形处理请求从图形处理节点集群中确定第一图形处理节点，所述图形处理节点集群包括一个或多个图形处理节点，所述第一图形处理节点包括一个或多个图形处理节点；

所述云端服务器向所述第一云端设备发送第二图形处理请求，以使得所述第一云端设备指示所述第一图形处理节点基于所述第一图形处理请求进行图形处理，生成图形处理结果。

本申请实施例中，用户设备购买了某个云端设备的服务，该云端设备例如是第一云端设备。当用户设备通过第一云端设备访问某个图形、视频或者其它数据时，用户设备向云端服务器发送第一图形处理请求，该第一图形处理请求用于指示云端对用户设备通过第一云端设备所访问的某个图形、视频或者其它数据进行处理。上述用户设备通过第一云端设备访问的某个图形、视频或者其它数据，在本申请实施例中为了便于描述称为待处理数据。

示例性的，该第一图形处理请求可以是“https://域名+端口/access_device_1”，其中，第一云端设备的地址为“access_device_1”。

云端服务器包括云端设备管理和图形处理节点管理为例进行说明，可以理解的是，当云端服务器中的云端设备管理和图形处理节点管理为一体时，相关处理流程类似，此处不作赘述。

云端服务器接收来自用户设备的第一图形处理请求后，云端设备管理向图形处理节点管理发送图形处理请求。可选的，该图形处理请求中包括待处理数据的参数、例如：待处理数据的数据量或者待处理数据的处理预估时间、或者处理该待处理数据所需要的算力。图形处理节点管理根据该图形处理请求，从图形处理节点集群中确定第一图形处理节点，该第一图形处理节点包括一个或多个图形处理节点，该第一图形处理节点用于处理上述待处理数据。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的空闲算力选择当前空闲算力最大的图形处理节点作为第一图形处理节点。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的空闲算力选择当前负载最小的图形处理节点作为第一图形处理节点。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的硬件规格，选择与第一云端设备匹配程度最高的图形处理节点作为第一图形处理节点。

可选的，当第一云端设备已经使用了某个图形处理节点时(也可以是第一云端设备已使用多个图形处理节点)，云端服务器(图形处理节点管理)确定该已经被第一云端设备所使用的图形处理节点作为第一图形处理节点。

本申请实施例中，提出一种云端图形处理方法。云端服务器可以调度图形处理节点的算力，以适应不同用户设备的处理请求，避免了图形处理节点的算力浪费，充分利用了图形处理节点集群的渲染能力和编码能力。同时，解决了云端设备本身计算能力不足的问题。通过推流地址发布图形处理结果，提升方案的兼容性和适配性。

结合第一方面，在第一方面的一种可能实现方式中，所述云端服务器根据所述第一图形处理请求从所述图形处理节点集群中确定所述第一图形处理节点之后，所述方法还包括：

所述云端服务器获取推流地址和所述第一图形处理节点的地址信息，所述推流地址用于传输所述图形处理结果；所述第二图形处理请求包括：所述推流地址和所述第一图形处理节点的地址信息。

当云端服务器(图形处理节点管理)确定第一图形处理节点后，云端服务器获取该第一图形处理节点的地址信息。该第一图形处理节点的地址信息包括：该第一图形处理节点的IP地址，和该第一图形处理节点的端口(port)。例如：图形处理节点管理确定第一图形处理节点后，将第一图形处理节点的地址信息发送至云端设备管理，使得云端设备管理可以通知第一云端设备该第一图形处理节点的地址信息。

当云端服务器(图形处理节点管理)确定第一图形处理节点后，云端服务器还可以获取推流地址。推流地址(Push Address)：音视频流产生设备在推流阶段需要将采集阶段封包好的直播内容传输到服务器的指定地址，该指定地址即为推流地址，推流地址可以包括公网IP地址、端口号以及统一资源定位符(Uniform Resource Locator,URL)，举例来说，推流地址可以是rtsp://域名+端口/device_1/stream，其中，域名可以是第一云端设备的公网IP地址，/device_1/stream为图形处理结果(即该待处理数据的处理结果)存放在服务器文件系统中的目录URL。类似的，图形处理节点管理可以将该推流地址发送至云端设备管理，使得云端设备管理可以通知第一云端设备该图形处理节点管理。

具体的，第一图形处理节点的IP地址为第一图形处理节点的监听IP地址，第一图形处理节点的端口为第一图形处理节点的监听端口。第一云端设备获知了上述第一图形处理节点的IP地址和端口后，可以将数据流(即待处理数据)传输至第一图形处理节点。

结合第一方面，在第一方面的一种可能实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。可以理解的是，本申请实施例中的推流地址还可以是其它格式的地址，包括但不限于：实时流传输协议RTSP地址、或者超文本传输协议HTTP地址，又或者其它视频链接类型的访问地址。

第二方面，本申请实施例提供了一种云端图形处理方法，包括：用户设备向云端服务器发送第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；所述用户设备接收来自所述第一云端设备的推流地址；所述用户设备根据所述推流地址，从所述第一云端设备获取基于所述第一图形处理请求进行图形处理所生成的图形处理结果。

用户设备可以通过第一云端设备提供的推流地址，获取该图形处理结果。用户设备也可以接收来自云端服务器的指示，该指示中包括推流地址，然后用户设备可以通过该指示从第一云端设备中获取该图形处理结果，本申请实施例对此不作限制。

示例性的，用户设备接收云端服务器的指示，该指示包括推流地址。当用户设备收到该指示后，用户设备可以通过该推流地址访问第一云端设备的界面。用户设备通过访问该第一云端设备的界面，获取该图形处理结果，例如：该第一云端设备的界面播放该编码后的视频流。

本申请实施例中，提出一种云端图形处理方法。云端服务器可以调度图形处理节点的算力，以适应不同用户设备的处理请求，避免了图形处理节点的算力浪费，充分利用了图形处理节点集群的渲染能力和编码能力。同时，解决了云端设备本身计算能力不足的问题。通过推流地址发布图形处理结果，提升方案的兼容性和适配性。

结合第二方面，在第二方面的一种可能实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。可以理解的是，本申请实施例中的推流地址还可以是其它格式的地址，包括但不限于：实时流传输协议RTSP地址、或者超文本传输协议HTTP地址，又或者其它视频链接类型的访问地址。

第三方面，本申请实施例提供了一种云端图形处理方法，包括：第一云端设备接收来自云端服务器的第二图形处理请求，所述第二图形处理请求为所述云端服务器基于来自用户设备的第一图形处理请求生成的；所述第一云端设备根据所述第二图形处理请求向第一图形处理节点发送第三图形处理请求，所述第三图形处理请求包括所述第一图形处理请求对应的待处理数据；所述第一云端设备接收来自所述第一图形处理节点基于所述第三图形处理请求生成的图形处理结果。

第一云端设备根据第二图形处理请求(第二图形处理请求包括第一图形处理节点的地址信息)，与第一图形处理节点建立连接。第一云端设备与第一图形处理节点建立连接后，第一云端设备向第一图形处理节点发送第三图形处理请求，该第三图形处理请求包括待处理数据(或者待处理数据的地址信息)和推流地址，该第三图形处理请求指示第一图形处理节点对待处理数据进行处理，并通过推流地址发布待处理数据的处理结果。该待处理数据的处理结果在本申请实施例中称为图形处理结果。

本申请实施例中，提出一种云端图形处理方法。云端服务器可以调度图形处理节点的算力，以适应不同用户设备的处理请求，避免了图形处理节点的算力浪费，充分利用了图形处理节点集群的渲染能力和编码能力。同时，解决了云端设备本身计算能力不足的问题。通过推流地址发布图形处理结果，提升方案的兼容性和适配性。

结合第三方面，在第三方面的一种可能实现方式中，所述第二图形处理请求还包括推流地址；所述第一云端设备通过所述推流地址向所述用户设备传输所述图形处理结果。

结合第三方面，在第三方面的一种可能实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

第四方面，本申请实施例提供了一种计算装置，包括：

收发模块，用于接收来自用户设备的第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

处理模块，用于根据所述第一图形处理请求从图形处理节点集群中确定第一图形处理节点，所述图形处理节点集群包括一个或多个图形处理节点，所述第一图形处理节点包括一个或多个图形处理节点；

收发模块，还用于向所述第一云端设备发送第二图形处理请求，以使得所述第一云端设备指示所述第一图形处理节点基于所述第一图形处理请求进行图形处理，生成图形处理结果。

一种可选的实现方式中，收发模块，还用于获取推流地址和所述第一图形处理节点的地址信息，所述推流地址用于传输所述图形处理结果；

所述第二图形处理请求包括：所述推流地址和所述第一图形处理节点的地址信息。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

第五方面，本申请实施例提供了一种计算装置,包括：

收发模块，用于向云端服务器发送第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

收发模块，还用于接收来自所述第一云端设备的推流地址；

收发模块，还用于根据所述推流地址，从所述第一云端设备获取基于所述第一图形处理请求进行图形处理所生成的图形处理结果。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

第六方面，本申请实施例提供了一种计算装置，包括：

收发模块，用于接收来自云端服务器的第二图形处理请求，所述第二图形处理请求为所述云端服务器基于来自用户设备的第一图形处理请求生成的；

收发模块，还用于根据所述第二图形处理请求向第一图形处理节点发送第三图形处理请求，所述第三图形处理请求包括所述第一图形处理请求对应的待处理数据；

收发模块，还用于接收来自所述第一图形处理节点基于所述第三图形处理请求生成的图形处理结果。

一种可选的实现方式中，所述第二图形处理请求还包括推流地址；

收发模块，还用于通过所述推流地址向所述用户设备传输所述图形处理结果。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

本申请第七方面提供一种计算装置，该计算装置包括：处理器，用于使得计算装置实现如前述第一方面、第二方面、或者第三方面中任一可能的实现方式中描述的方法。该设备还可以包括存储器，存储器与处理器耦合，处理器执行存储器中存储的指令时，可以使得计算装置实现前述第一方面、第二方面、或者第三方面中任一种可能的实现方式描述的方法。该设备还可以包括通信接口，通信接口用于该装置与其它设备通信，示例性的，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。

本申请中存储器中的指令可以预先存储也可以在使用该计算装置时从互联网下载后存储，本申请对于存储器中指令的来源不进行具体限定。本申请中的耦合是装置、单元或模块之间的间接耦合或连接，其可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。

本申请第八方面提供一种计算机存储介质，该计算机存储介质可以是非易失性的；该计算机存储介质中存储有计算机可读指令，当该计算机可读指令被处理器执行时实现第一方面、第二方面、或者第三方面中任一可能的实现方式中描述的方法。

本申请第九方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如第一方面、第二方面、或者第三方面中任一可能的实现方式中描述的方法。

本申请第十方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机设备实现上述方面中所涉及的功能。在一种可能的设计中，该芯片系统还包括存储器，该存储器，用于保存计算机设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

本申请第十一方面，本申请提供了一种云计算系统，该通信系统包括如上述第四、五方面或第六方面中的计算装置。

附图说明

图1为本申请实施例提出的一种应用场景示意图；

图2为本申请实施例中云端服务器的拓扑示意图；

图3为本申请实施例中一种云端图形处理方法的实施例示意图；

图4为本申请实施例中计算装置的一种实施例示意图；

图5为本申请实施例提供的执行设备的一种结构示意图。

具体实施方式

下面，对本申请实施例进行描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的描述在适当情况下可以互换，以便使实施例能够以除了在本申请图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行顺序，只要能达到相同或者相类似的技术效果即可。本申请中所出现的单元的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个单元可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的单元或子单元可以是也可以不是物理上的分离，可以是也可以不是物理单元，或者可以分布到多个电路单元中，可以根据实际的需要选择其中的部分或全部单元来实现本申请方案的目的。

首先，介绍本方案的一些应用场景。请参阅图1，图1为本申请实施例提出的一种应用场景示意图。图1示意的应用场景中，包括用户设备、云端服务器和云端设备。下面进行具体描述，用户设备(user equipment，UE)又称为终端设备，用户设备也可称为接入终端、终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、无线网络设备、用户代理或用户装置等。用户设备可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。用户设备可以是蜂窝电话(cellular phone)、无绳电话、会话启动协议(session initiationprotocol，SIP)电话、智能电话(smart phone)、手机(mobile phone)、无线本地环路(wireless local loop，WLL)站、个人数字处理(personal digital assistant，PDA)，可以是具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它设备、车载设备、可穿戴设备、无人机设备或物联网、车联网中的终端、第五代移动通信(fifthgeneration，5G)网络以及未来网络中的任意形态的终端、中继用户设备或者未来演进的公用陆地移动通信网络(public land mobile network，PLMN)中的终端等，其中，中继用户设备例如可以是5G家庭网关(residential gateway，RG)。例如用户设备可以是虚拟现实(virtual reality，VR)终端、增强现实(augmented reality，AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。本申请实施例对此并不限定。

云端设备是部署在云端的远程服务器，例如，云端设备为云手机(Cloud Phone)。云手机是一种在物理服务器中运行的带有手机操作系统，同时具有虚拟手机功能的云服务，该云服务通常利用容器(container)实现，其本质是将手机上的应用转移到数据中心的物理服务器中的容器运行，通过容器使得不同的云手机之间相互隔离，互不干扰，云手机可以安装手机应用，该些手机应用在云手机中运行，运行过程中产生的音视频流可发送至本地手机进行显示及播放，本地手机根据在本地显示和播放的音视频流产生的控制命令也可以发送至云手机，云手机根据控制命令控制应用的运行状态，因此，本地手机的手机应用可转移到数据中心中的云手机运行，本地手机无需安装大量耗费硬件资源的手机应用，例如二维或三维游戏、行业设计软件等，亦无需安装大量的手机应用(可将该些手机应用卸载到云手机中)，可以实现本地轻量化，并且，由于手机应用在云手机运行，本地手机无需较高的硬件配置也可以让用户有机会使用具有较高硬件配置需求的手机应用，因此无需因更高的硬件需求而更换本地手机。

图形处理节点集群包括一个或多个图形处理节点，图形处理节点是部署在云端的服务器或者计算机。所述图形处理节点需要具体较强的图像处理功能以及数据计算功能，例如可以执行渲染操作、逻辑运算功能等；所述云端设备可以是超多核服务器、部署有图形处理器(graphics processing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等。

为了保证渲染的效率，用户设备向云端设备传输的数据尽量保证数据量最小，因此可以采用硬件IP来压缩待传送的数据，从而保证云端设备及时接收完整的渲染命令，进行云端渲染。用户设备与云端设备之间传送数据，可利用自定义通讯协议进行交互，当然也可以利用目前通用的标准协议进行通讯，比如实时传输协议(Real-time TransportProtocol，RTP)、传输控制协议(Transmission Control Protocol，TCP)、用户数据包协议(User Datagram Protocol，UDP)、网络之间互连的协议(Internet Protocol，IP)等网络协议。在网路中传送的数据信息为了安全，可以利用不可逆加密算法进行安全加密传输，可自定义安全加密算法，也可使用现有常用网路加密算法

云端服务器是一组用于管理云端设备的服务器或者服务器提供的服务(serve)又或者是服务器上运行的虚拟机。按照功能划分，云端服务器可以参阅图2，图2为本申请实施例中云端服务器的拓扑示意图。云端服务器按照功能划分可以分为云端设备管理和图形处理节点管理，其中，云端设备管理用于对云端的一个或多个云端设备进行管理，图形处理节点管理用于对图形处理节点集群进行管理。

接下来，结合附图介绍本申请实施例，请参阅图3，图3为本申请实施例中一种云端图形处理方法的实施例示意图。本申请实施例提出的一种云端图形处理方法包括：

301、用户设备向云端服务器发送第一图形处理请求。

本实施例中，用户设备购买了某个云端设备的服务，该云端设备例如是第一云端设备。当用户设备通过第一云端设备访问某个图形、视频或者其它数据时，用户设备向云端服务器发送第一图形处理请求，该第一图形处理请求用于指示云端对用户设备通过第一云端设备所访问的某个图形、视频或者其它数据进行处理。上述用户设备通过第一云端设备访问的某个图形、视频或者其它数据，在本申请实施例中为了便于描述称为待处理数据。

示例性的，该第一图形处理请求可以是“https://域名+端口/access_device_1”，其中，第一云端设备的地址为“access_device_1”。

302、云端服务器根据第一图形处理请求，确定第一图形处理节点。

本实施例中，以云端服务器包括云端设备管理和图形处理节点管理为例进行说明，可以理解的是，当云端服务器中的云端设备管理和图形处理节点管理为一体时，相关处理流程类似，此处不作赘述。

云端服务器接收来自用户设备的第一图形处理请求后，云端设备管理向图形处理节点管理发送图形处理请求。可选的，该图形处理请求中包括待处理数据的参数、例如：待处理数据的数据量或者待处理数据的处理预估时间、或者处理该待处理数据所需要的算力。图形处理节点管理根据该图形处理请求，从图形处理节点集群中确定第一图形处理节点，该第一图形处理节点包括一个或多个图形处理节点，该第一图形处理节点用于处理上述待处理数据。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的空闲算力选择当前空闲算力最大的图形处理节点作为第一图形处理节点。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的空闲算力选择当前负载最小的图形处理节点作为第一图形处理节点。

可选的，云端服务器(图形处理节点管理)根据图形处理节点集群中多个图形处理节点的硬件规格，选择与第一云端设备匹配程度最高的图形处理节点作为第一图形处理节点。

可选的，当第一云端设备已经使用了某个图形处理节点时(也可以是第一云端设备已使用多个图形处理节点)，云端服务器(图形处理节点管理)确定该已经被第一云端设备所使用的图形处理节点作为第一图形处理节点。

当云端服务器(图形处理节点管理)确定第一图形处理节点后，云端服务器获取该第一图形处理节点的地址信息。该第一图形处理节点的地址信息包括：该第一图形处理节点的IP地址，和该第一图形处理节点的端口(port)。例如：图形处理节点管理确定第一图形处理节点后，将第一图形处理节点的地址信息发送至云端设备管理，使得云端设备管理可以通知第一云端设备该第一图形处理节点的地址信息。

当云端服务器(图形处理节点管理)确定第一图形处理节点后，云端服务器还可以获取推流地址。推流地址(Push Address)：音视频流产生设备在推流阶段需要将采集阶段封包好的直播内容传输到服务器的指定地址，该指定地址即为推流地址，推流地址可以包括公网IP地址、端口号以及统一资源定位符(Uniform Resource Locator,URL)，举例来说，推流地址可以是rtsp://域名+端口/device_1/stream，其中，域名可以是第一云端设备的公网IP地址，/device_1/stream为图形处理结果(即该待处理数据的处理结果)存放在服务器文件系统中的目录URL。类似的，图形处理节点管理可以将该推流地址发送至云端设备管理，使得云端设备管理可以通知第一云端设备该图形处理节点管理。

具体的，第一图形处理节点的IP地址为第一图形处理节点的监听IP地址，第一图形处理节点的端口为第一图形处理节点的监听端口。第一云端设备获知了上述第一图形处理节点的IP地址和端口后，可以将数据流(即待处理数据)传输至第一图形处理节点。

可以理解的是，本申请实施例中的推流地址还可以是其它格式的地址，包括但不限于：实时流传输协议RTSP地址、或者超文本传输协议HTTP地址，又或者其它视频链接类型的访问地址。

303、云端服务器向第一云端设备发送第二图形处理请求。

本实施例中，云端服务器获取了第一图形处理节点的地址信息和推流地址后，云端设备基于第一图形处理请求向第一云端设备发送第二图形处理请求。该第二图形处理请求指示第一云端设备与第一图形处理节点连接，使得第一云端设备通过第一图形处理节点处理该待处理数据。

该第二图形处理请求包括第一图形处理节点的地址信息和推流地址。

304、第一云端设备向第一图形处理节点发送第三图形处理请求。

本实施例中，第一云端设备根据第二图形处理请求(第二图形处理请求包括第一图形处理节点的地址信息)，与第一图形处理节点建立连接。第一云端设备与第一图形处理节点建立连接后，第一云端设备向第一图形处理节点发送第三图形处理请求，该第三图形处理请求包括待处理数据(或者待处理数据的地址信息)和推流地址，该第三图形处理请求指示第一图形处理节点对待处理数据进行处理，并通过推流地址发布待处理数据的处理结果。该待处理数据的处理结果在本申请实施例中称为图形处理结果。

305、第一图形处理节点根据第三图形处理请求，生成图形处理结果。

本实施例中，第一图形处理节点接收第三图形处理请求后，对待处理数据进行处理，生成图形处理结果。

示例性的，按照功能划分，第一图形处理节点包括通信单元、渲染单元、编码单元和推流单元。首先，第一图形处理节点的通信单元接收来自第一云端设备的第三图形处理请求。

然后，通信单元将第三图形处理请求中携带的待处理数据和渲染指令(该渲染指令指示渲染单元对待处理数据进行处理)发送至渲染单元。该渲染指令包括但不限于：gl指令或者egl指令等。

当渲染单元收到该渲染指令后，对待处理数据(例如是纹理或者顶点数据)进行处理生成中间图像帧，然后渲染单元基于渲染指令对中间图像帧进行进一步处理生成原始图像帧，该原始图像帧可以是YUV或者RGB类型的图片文件。

然后，渲染单元将原始图像帧发送至编码单元，由编码单元对原始图像帧进行编码生成视频流。

最后，编码单元向推流单元发送该编码后的视频流，由推流单元根据推流地址(来自第一云端设备)发布该编码后的视频流。例如：将该编码后的视频流发送至推流服务器。又例如：将该编码后的视频流发送至第一云端设备。

上述第一图形处理节点中各个单元之间的通信，存在多种实现方式，下面进行举例说明：一种可能的实现方式中，通过共享内存发送；另一种可能的实现方式中，通过远程过程调用(remote procedure call，RPC)发送；另一种可能的实现方式中，通过套接字(Socket)通信、管道、消息队列等发送，本申请实施例对此不作限制。

306、第一云端设备接收来自第一图形处理节点的图形处理结果。

本实施例中，第一云端设备可以通过推流地址接收来自第一图形处理节点的图形处理结果(即编码后的视频流)。

可选的，第一云端设备也可以直接接收来自第一图形处理节点的图形处理结果。

可选的，第一图形处理节点生成图形处理结果(即编码后的视频流)后，第一图形处理节点向流媒体服务器发送该图形处理结果，第一云端设备可以从流媒体服务器获取该图形处理结果。本申请实施例中，第一云端设备可以通过多种手段获取该图形处理结果，本申请实施例对此不作限制。

可选的，第一图形处理节点生成图形处理结果(即编码后的视频流)后，第一图形处理节点向流媒体服务器发送该图形处理结果。用户设备从该流媒体服务器直接获取该图形处理结果。在上述过程中，第一云端设备不参与。示例性的，第一图形处理节点根据推流地址向流媒体服务器发送该图形处理结果。用户设备根据该推流地址获取图形处理结果。

307、用户设备从第一云端设备获取图形处理结果。

本实施例中，用户设备可以通过第一云端设备提供的推流地址，获取该图形处理结果。用户设备也可以接收来自云端服务器的指示，该指示中包括推流地址，然后用户设备可以通过该指示从第一云端设备中获取该图形处理结果。用户设备也可以根据推流地址，从流媒体服务器获取该图形处理结果，本申请实施例对此不作限制。

示例性的，用户设备接收云端服务器的指示，该指示包括推流地址。当用户设备收到该指示后，用户设备可以通过该推流地址访问第一云端设备的界面。用户设备通过访问该第一云端设备的界面，获取该图形处理结果，例如：该第一云端设备的界面播放该编码后的视频流。

本申请实施例中，提出一种云端图形处理方法。云端服务器可以调度图形处理节点的算力，以适应不同用户设备的处理请求，避免了图形处理节点的算力浪费，充分利用了图形处理节点集群的渲染能力和编码能力。同时，解决了云端设备本身计算能力不足的问题。通过推流地址发布图形处理结果，提升方案的兼容性和适配性。

上述主要以方法的角度对本申请实施例提供的方案进行了介绍。可以理解的是，计算装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对计算装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个计算模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

下面对本申请中的计算装置进行详细描述，请参阅图4，图4为本申请实施例中计算装置的一种实施例示意图。计算装置400可以部署于用户设备、第一云端设备或者云端服务器中。

当计算装置400用于云端服务器时，计算装置400包括：

收发模块401，用于接收来自用户设备的第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

处理模块402，用于根据所述第一图形处理请求从图形处理节点集群中确定第一图形处理节点，所述图形处理节点集群包括一个或多个图形处理节点，所述第一图形处理节点包括一个或多个图形处理节点；

收发模块401，还用于向所述第一云端设备发送第二图形处理请求，以使得所述第一云端设备指示所述第一图形处理节点基于所述第一图形处理请求进行图形处理，生成图形处理结果。

一种可选的实现方式中，收发模块401，还用于获取推流地址和所述第一图形处理节点的地址信息，所述推流地址用于传输所述图形处理结果；

所述第二图形处理请求包括：所述推流地址和所述第一图形处理节点的地址信息。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

当计算装置400用于用户设备时，计算装置400包括：

收发模块401，用于向云端服务器发送第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

收发模块401，还用于接收来自所述第一云端设备的推流地址；

收发模块401，还用于根据所述推流地址，从所述第一云端设备获取基于所述第一图形处理请求进行图形处理所生成的图形处理结果。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

当计算装置400用于第一云端设备时，计算装置400包括：

收发模块401，用于接收来自云端服务器的第二图形处理请求，所述第二图形处理请求为所述云端服务器基于来自用户设备的第一图形处理请求生成的；

收发模块401，还用于根据所述第二图形处理请求向第一图形处理节点发送第三图形处理请求，所述第三图形处理请求包括所述第一图形处理请求对应的待处理数据；

收发模块401，还用于接收来自所述第一图形处理节点基于所述第三图形处理请求生成的图形处理结果。

一种可选的实现方式中，所述第二图形处理请求还包括推流地址；

收发模块401，还用于通过所述推流地址向所述用户设备传输所述图形处理结果。

一种可选的实现方式中，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

在一些可能的实施例中，上述第一云端设备或者云端服务器可以实现为虚拟化设备。虚拟化设备可以是运行有用于收发数据的程序的虚拟机(Virtual Machine，VM)。虚拟化设备部署在硬件设备上(例如，物理服务器)。例如，可以基于通用的物理服务器结合网络功能虚拟化(Network Functions Virtualization，NFV)技术来实现第一云端设备或者云端服务器可。

应理解，上述各种产品形态的计算装置，分别具有上述方法实施例中用户设备、第一云端设备或者云端服务器的任意功能，此处不再赘述。

接下来介绍本申请实施例提供的一种执行设备，请参阅图5，图5为本申请实施例提供的执行设备的一种结构示意图，执行设备500具体可以手机、平板、笔记本电脑、智能穿戴设备等，也可以是云端部署的服务器或者计算机，此处不做限定。其中，执行设备500上可以部署有图4对应实施例中所描述的计算装置400，用于实现图3对应实施例中用户设备、第一云端设备或者云端服务器的功能。具体的，执行设备500包括：接收器501、发射器502、处理器503和存储器504(其中执行设备500中的处理器503的数量可以一个或多个，图5中以一个处理器为例)，其中，处理器503可以包括应用处理器5031和通信处理器5032。在本申请的一些实施例中，接收器501、发射器502、处理器503和存储器504可通过总线或其它方式连接。

存储器504可以包括只读存储器和随机存取存储器，并向处理器503提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器504存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。

处理器503控制执行设备的操作。具体的应用中，执行设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。

上述本申请实施例揭示的方法可以应用于处理器503中，或者由处理器503实现。处理器503可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器503可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器504，处理器503读取存储器504中的信息，结合其硬件完成上述方法的步骤。

接收器501可用于接收输入的数字或字符信息，以及产生与执行设备的相关设置以及功能控制有关的信号输入。发射器502可用于通过第一接口输出数字或字符信息；发射器502还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器502还可以包括显示屏等显示设备。

本申请实施例中，处理器503中的应用处理器5031，用于执行图3对应实施例中的执行设备执行的数据处理方法。需要说明的是，应用处理器5031执行上述各个步骤的具体方式，与本申请中图3对应的各个方法实施例基于同一构思，其带来的技术效果与本申请中图3对应的各个方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。

本申请实施例还提供的一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机控制计算装置执行如前述方法实施例所示任一项实现方式。

本申请实施例还提供的一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如前述方法实施例所示任一项实现方式。

进一步地，本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算装置上运行时，使得网络设备执行上述图3对应的方法实施例中用户设备、第一云端设备或者云端服务器执行的方法。

本申请实施例还提供了一种芯片系统，包括处理器和接口电路，接口电路，用于接收指令并传输至处理器。其中，所述处理器用于实现上述任一方法实施例中的方法。

可选的，该芯片系统还包括存储器，该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现上述任一方法实施例中的方法。

可选的，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请并不限定。示例性的，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请对存储器的类型，以及存储器与处理器的设置方式不作具体限定。

以上对本申请实施例进行了详细介绍，本申请实施例方法中的步骤可以根据实际需要进行顺序调度、合并或删减；本申请实施例装置中的模块可以根据实际需要进行划分、合并或删减。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

Claims (12)

1.一种云端图形处理方法，其特征在于，包括：

云端服务器接收来自用户设备的第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

所述云端服务器根据所述第一图形处理请求从图形处理节点集群中确定第一图形处理节点，所述图形处理节点集群包括一个或多个图形处理节点，所述第一图形处理节点包括一个或多个图形处理节点；

所述云端服务器向所述第一云端设备发送第二图形处理请求，以使得所述第一云端设备指示所述第一图形处理节点基于所述第一图形处理请求进行图形处理，生成图形处理结果。

2.根据权利要求1所述的方法，其特征在于，所述云端服务器根据所述第一图形处理请求从所述图形处理节点集群中确定所述第一图形处理节点之后，所述方法还包括：

所述云端服务器获取推流地址和所述第一图形处理节点的地址信息，所述推流地址用于传输所述图形处理结果；

所述第二图形处理请求包括：所述推流地址和所述第一图形处理节点的地址信息。

3.根据权利要求2所述的方法，其特征在于，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

4.一种云端图形处理方法，其特征在于，包括：

用户设备向云端服务器发送第一图形处理请求，所述第一图形处理请求指示所述云端服务器访问第一云端设备；

所述用户设备接收来自所述第一云端设备的推流地址；

所述用户设备根据所述推流地址，从所述第一云端设备获取基于所述第一图形处理请求进行图形处理所生成的图形处理结果。

5.根据权利要求4所述的方法，其特征在于，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

6.一种云端图形处理方法，其特征在于，包括：

第一云端设备接收来自云端服务器的第二图形处理请求，所述第二图形处理请求为所述云端服务器基于来自用户设备的第一图形处理请求生成的；

所述第一云端设备根据所述第二图形处理请求向第一图形处理节点发送第三图形处理请求，所述第三图形处理请求包括所述第一图形处理请求对应的待处理数据；

所述第一云端设备接收来自所述第一图形处理节点基于所述第三图形处理请求生成的图形处理结果。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述第二图形处理请求还包括推流地址；

所述第一云端设备通过所述推流地址向所述用户设备传输所述图形处理结果。

8.根据权利要求7所述的方法，其特征在于，所述推流地址为统一资源定位系统URL链接、实时流传输协议RTSP地址、或者超文本传输协议HTTP地址。

9.一种云计算系统，其特征在于，所述云计算系统包括云端服务器、用户设备和第一云端设备，其中，所述云端服务器执行如权利要求1-3中任一项所述的方法，所述用户设备执行如权利要求4-5中任一项所述的方法，所述第一云端设备执行如权利要求6-8中任一项所述的方法。

10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令被处理器执行时，实现权利要求1-3、或4-5、或6-8中任一项所述的方法。

11.一种计算机程序产品，包括程序，其特征在于，当所述程序被处理器执行时，实现权利要求1-3、或4-5、或6-8中任一项所述的方法。

12.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得如权利要求1-3、或4-5、或6-8中中任一所述的方法被执行。

Images