CN117956221A - 一种云渲染视频流调度方法 - Google Patents

Abstract

本发明公开了一种云渲染视频流调度方法，涉及视联网技术领域，包括以下步骤：上传云渲染应用软件包，新建应用；启动云渲染应用，云渲染应用进入预备状态；发送调度请求至云渲染服务平台；云渲染服务平台根据调度规则返回当前可用口令；通过口令调用MGR服务，输出视频流画面；本方案通过自动调度功能，实现了云渲染应用视频流自动调度功能，减少了用户手动匹配应用IP和端口的工作量。

Description

一种云渲染视频流调度方法

技术领域

本发明涉及视联网技术领域，具体涉及一种云渲染视频流调度方法。

背景技术

目前大型三维云渲染应用程序如果想要使用B/S端进行访问，都采用GPU主机或服务器渲染然后通过WebRTC协议推送视频流到浏览器的方式，但是web页面并不知道有哪些机器的哪些端口运行着这些渲染程序。如果需要将用户的画面进行隔离，需要每个用户连接单独的云渲染应用。随着不同用户的连入，退出，会频繁的启动和销毁云渲染应用，对于服务器的IO也是一个较大的耗费。

如中国专利CN110113566B，公开日2021年02月12日，所述方法应用于视联网，所述视联网包括省级监控调度平台、多个市级监控调度平台及多个县级监控调度平台；省级监控调度平台根据接收到的监控视频选择操作，获取目标设备标识，并向目标设备标识对应的目标视频设备请求目标视频流；在预设的时间内未接收到目标视频流时，在多个所述市级数据库中查询是否存在所述目标设备标识；若存在，则所述省级监控调度平台通过第一市级监控调度平台获取目标视频流；若不存在，则所述省级监控调度平台通过第一县级监控调度平台获取目标视频流。该方法仍然需要实时启动云渲染应用，耗时较长。

发明内容

本发明要解决的技术问题是：现有视屏流调用需实时启动，耗时较长的技术问题。提出了一种云渲染视频流调度方法，预先启动有若干云渲染应用，可以快速提供所需视屏流。

为解决上述技术问题，本发明所采取的技术方案为：一种云渲染视频流调度方法，包括以下步骤:

S1：上传云渲染应用软件包，新建应用；

S2：启动云渲染应用，云渲染应用进入预备状态；

S3：发送调度请求至云渲染服务平台；

S4：云渲染服务平台根据调度规则返回当前可用口令；

S5：通过口令调用MGR服务，输出视频流画面。

一种云渲染视频流调度方法，在云渲染服务平台上新建项目，上传云渲染应用软件包，新建应用，客户端接收到应用部署要求后，在服务器上部署云渲染应用并将其启动，使云渲染应用处于预备状态，可以随时被连接，用户通过浏览器访问某云渲染页面时，页面向云渲染服务平台发送调度请求，云渲染服务平台根据调度规则返回当前可用口令，口令包括权限信息和权限所述应用信息，得到口令后，页面调用MGR服务，输出视频流画面。

作为优选，调度规则的具体内容为：筛除预备状态中不健康的云渲染应用，查询剩余云渲染应用中是否有任意一个权限未被使用，若存在任意权限未被使用的云渲染应用，返回云渲染应用口令至前端，采用均衡算法根据权限高低依次建立通信。调度时首先将当前无可用权限的云渲染应用列为不健康，从调度列表中删除，然后对调度列表中其余的云渲染应用根据权限高低依次进行调度。

作为优选，若建立通信过程未成功，重复建立通信过程三次，若三次都未成功，SDK向MGR服务发送应用不健康信息，MGR服务将该信息传输至云渲染服务平台，此云渲染应用不再参与后续调度。同一个云渲染应该会进行三次通信连接，如果三次都未成功建立连接，则需要更换连接的云渲染应用。

作为优选，进入预备状态的云渲染应用会定时向云渲染服务平台发送心跳包，若云渲染服务平台未接收到云渲染应用的心跳包，将此云渲染应用标记为不健康，下次调度中此云渲染应用不参与调度，当重新接收到此云渲染应用的心跳包时，云渲染服务平台将其恢复为健康，下次调度时加入候选中参与调度。检测云渲染应用是否健康，避免出现云渲染应用损坏卡死，导致用户接入画面出现黑屏的情况。

作为优选，当用户关闭云渲染应用时，SDK向MGR服务发送离线信息，MGR服务向云渲染平台发送此云渲染应用离线信息，此云渲染应用参与下次调度。减少无效内存占用情况。

作为优选，若SDK接收到MGR服务的剔除信号，该信号中附带的权限信息为调用的云渲染应用的权限，断开此云渲染应用的像素流。管理人员可以有剔除用户的功能，可以把低优先级的人员资源让渡给更高优先级的人员使用。避免了无空闲权限可用的情况。

作为优选，权限包括查看权和操作权，查看权仅允许查看，操作权根据操作权限的高低实现对调度的云渲染应用的不同操作。不同权限拥有不同的功能，从而使得不同需求的用户都可以接入同一个云渲染应用实现不同的功能。

作为优选，云渲染服务平台的后端分为服务端和客户端，一个服务端管理多个客户端。服务器与客户端的关系为一对多，一个服务器上连接有多个客户端。

作为优选，新建应用的过程为：输入应用的必要信息，服务端向客户端发送部署应用的信息；客户端收到信息后，下载云渲染软件包并解压；根据输入的必要信息修改配置。用户可以在平台上的项目管理中新增项目，并且为项目上传云渲染应用软件包，然后在应用管理中可以新建应用，输入应用的必要信息，例如端口，ip，显卡号，分辨率，比特率，服务端会向客户端发送部署应用的消息，客户端收到消息后会进行云渲染应用的部署。

作为优选，云渲染应用包括云渲染程序和控制启停和守护的程序，云渲染程序分为UE云渲染程序和U3D云渲染程序，通过信令服务和权限控制进行像素流推送。UE云渲染程序和U3D云渲染程序用于渲染，运行起来后会将计算结果输出视频流画面。

本发明的实质性效果是：本发明设计了一种云渲染视频流调度方法，通过自动调度功能，实现了云渲染应用视频流自动调度功能，减少了用户手动匹配应用IP和端口的工作量；将云渲染应用设置不同的权限，实现了云渲染应用权限控制的功能，避免了多实例多玩家条件下操作互相影响的情况；增加健康检查机制，实现了云渲染应用健康检查并避免用户连接到异常应用；具有用户提出机制，避免了无空闲权限可用的情况。

附图说明

图1为实施例一的流程图；

图2为实施例一的健康检查流程图；

图3为实施例一的运行示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的具体实施方式作进一步具体说明。

实施例一：

一种云渲染视频流调度方法，如图1所示，云渲染调度首先需要在云渲染服务平台（Suprender平台）上新建相关项目，每个项目之下可以有多个云渲染应用。新建完成项目后，将该项目下的云渲染应用软件包上传至云渲染服务平台上，根据上传的云渲染应用软件包进行相关云渲染应用的部署。部署在专用的GPU服务器上的云渲染服务客户端收到应用部署请求，会在GPU服务器上部署云渲染应用并将其启动，使云渲染应用进入预备状态，云渲染应用进入预备状态后可以随时被连接，从而减少连接时间，提高用户的使用感受。

在云渲染服务平台上新建项目需要满足一定的条件，只有当某个云渲染服务平台至少拥有一个客户端和其连接并正确向其上报硬件数据的条件下，用户才可以在平台上的项目管理中新增项目，并且为项目上传相应的云渲染应用软件包。然后在应用管理中可以通过新建应用功能，输入应用的必要信息（例如端口，ip，显卡号，分辨率，比特率等）后，服务端会向客户端发送部署应用的消息，客户端收到消息后会进行云渲染应用的部署。云渲染应用的部署主要步骤分为四步。首先需要下载已上传至云渲染服务平台的云渲染软件包。然后将下载完成的云渲染软件包进行解压，并根据提示进行相应的安装操作。接着，对安装完成的云渲染应用进行相应的配置修改，使云渲染应用的配置符合该项目的需求。最后，需要将安装完成的云渲染应用启动，使云渲染应用随时处于待连接状态，减少用户使用时视频流与网页端的连接时间，从而提高用户的使用体验。

上传的云渲染应用程序包中主要包括三部分的内容，一部分为各种云渲染程序，用于进行渲染的过程；一部分为控制应用的开启以及关闭的程序，这部分程序还包括了保护应用的职责；最后一部分则是应用的控制部分，用于操控应用于外界进行交互，从而实现应用的各种功能。云渲染程序主要包括UE云渲染程序和U3D云渲染程序这两个云渲染应用程序，通过UE云渲染程序和U3D云渲染程序将计算结果输出为视频流画面。云渲染应用中的控制程序主要用于像素流的推送，将像素流与相应的用户建立通信。像素流的推送主要包括信令服务和权限控制两种，信令服务主要是在云渲染服务平台接收到来自浏览器的指定云渲染应用的调度请求时使用，而权限调度则是在云渲染服务接收到的调度求情为整个项目时使用。信令服务是通过得到程序的口令来实现，口令中明确包含了这一云渲染应用的权限信息及应用信息等必备的信息，因此，云渲染服务平台可以直接根据口令中的信息完成相关云渲染应用的调度。权限调度则与信令服务完全不同，权限调度需要云渲染服务平台将相关的云渲染应用的权限从高到低依次进行判断，然后返回具体的口令信息，根据口令信息建立相应的云渲染应用视频流通信。

本发明所使用的三维云渲染应用程序采用B/S架构进行实现，采用GPU主机或服务器渲染，然后通过WebRTC协议推送视频流到浏览器的方式实现用户对视频流的调用。用户在浏览器上打开所要访问的云渲染页面，这时，浏览器会向云渲染服务平台发送调度请求信息，请求调度相关的云渲染视频。云渲染服务平台接收到调度请求后，会根据相应的流程将相关视频流与浏览器页面建立通信，使浏览器页面上显示相应的视频。当有用户访问浏览器页面时，云渲染服务平台会将未使用的云渲染应用的权限分配给用户，确保每个用户访问的云渲染应用是隔离的，从而确保不同用户的画面也是不同的。

如图2所示，云渲染应用建立完成后，设置有一个定时任务。云渲染应用的定时任务会定时向云渲染服务调度平台发送心跳包。如果云渲染应用发生异常或崩溃，则不向调度平台发送心跳包，调度平台收不到其心跳包，会将此应用标记为不健康，在下次调用中此应用不参与调度，防止用户出现黑屏。当再次接收到这一云渲染应用的心跳时，调度平台会将其自动恢复为健康状态，下次调度时会加入候选中参与调度。

一个项目下具有多个应用，一个应用下也有多个权限。用户在浏览器上打开相应的云渲染应用页面后，云渲染服务平台的前端会向调度平台发送调度请求，同时向调度平台传输所要调度的项目或云渲染应用的名称。调度平台接收到调度请求后，开始执行调度。先根据项目的名称id(例如001)查找当前项目下共运行着几个应用。如果应用数为0，直接返回前端告知其无可用权限。假设目前运行着N个应用，调度查询当前这N个活动且健康的应用中是否有任意一个权限都未被使用的应用。如果有且不止一个，则采用均衡的算法返回给前端该应用信息和最高级操作权限信息。如果只有一个则返回该应用信息和最高级操作权限信息。如果没有则进入下一步骤。调度平台查询当前这N个活动且健康的应用中是否有任意一个中级操作权限都未被使用的应用。如果有且不止一个，则采用均衡的算法返回给前端该应用信息和中级操作权限信息。如果只有一个则返回该应用信息和中级操作权限信息。如果没有则进入下一步骤。调度平台查询当前这N个活动且健康的应用中是否有任意一个低级操作权限都未被使用的应用。如果有且不止一个，则采用均衡的算法返回给前端该应用信息和低级操作权限信息。如果只有一个则返回该应用信息和低级操作权限信息。如果没有则进入下一步骤。调度平台查询当前这N个活动且健康的应用中是否有任意一个查看权限都未被使用的应用。如果有且不止一个，则采用均衡的算法返回给前端该应用信息和查看权限信息。如果只有一个则返回该应用信息和查看权限信息。如果没有则告知前端。调度平台查询到当前这N个活动且健康的应用中没有可用的权限，则告知平台当前没有可用权限。

前端SDK可以通过请求调度接口从而得到云渲染应用的应用信息和权限信息等内容，调度接口返回前端SDK的内容包括但不限于应用名称ip、像素流推送端口、服务端口、权限编码、查看及操作权限、权限等级等。如果与浏览器之间建立通信的云渲染应用具有的是最高级操作权限，那么SDK会将用户的所有操作发送到像素流应用中，云渲染应用会接收到用户的操作并做出反应，然后将根据操作发生改变后的云渲染应用像素流持续返回到用户端上。如果与浏览器之间建立通信的云渲染应用具有的是中级操作权限，那么SDK会将用户进行的“中级操作权”允许的操作发送到像素流应用中，云渲染应用会接收到用户的操作并做出反应，然后将根据操作发生改变后的云渲染应用像素流持续返回到用户端上。如果与浏览器之间建立通信的云渲染应用具有的是低级操作权限，那么SDK会将用户进行的“低级操作权”允许的操作发送到像素流应用中，云渲染应用会接收到用户的操作并做出反应，然后将根据操作发生改变后的云渲染应用像素流持续返回到用户端上。如果与浏览器之间建立通信的云渲染应用具有的是查看权限，那么SDK限制用户的所有操作，仅保持云渲染应用与用户端的像素流的持续通信，用户只能进行查看，无法进行其他操作。

用户打开浏览器访问某云渲染大屏页面，页面发送调度请求到云渲染服务平台后端请求可分配渲染实例的信息和权限。云渲染服务平台根据规则返回当前可用的口令。此口令还包括权限信息(高,中,低,查看)，权限所属的应用信息(IP,端口)等。页面拿到口令信息调用MGR服务提供的Javascript SDK。通过SDK调用信令服务为网页（用户端）与云渲染应用建立Websocket通信，云渲染应用向用户端发送WebRTC协议的视频流进行画面输出，同时也将用户端的鼠标，键盘操作根据权限不同选择性的向云渲染应用发送过去。如果此步骤建立通信不成功，会重试3次，如果3次都不成功，会向MGR服务发送应用不健康的消息，MGR再传递到平台，后续此应用将不再参与调度。视频流画面连接建立好之后，SDK会调用MGR服务来告知此口令已被使用，同时MGR再向云渲染服务平台告知。 平台就会得知此口令已被使用，后面再来用户请求将会避开此口令。

云渲染服务平台还设置有剔除功能，剔除功能不仅可以通过websocket实现，还可以通过http轮询来实现。例如，调度侧的剔除信号会通过websocket发送至SDK，如果SDK通过WebSocket接收到调度侧发来的剔除信号且该信号附带的权限信息就是本身，那么SDK会断开当前的webrtc的像素流，以实现剔除功能。剔除功能主要用于合理分配云渲染应用的资源，避免更高优先级的人员无权限可用。若管理人员接收到优先级高于低级操作权，并且对该云渲染应用的请求返回为无空闲操作权限时，当该操作人员再次发送调度请求时，云渲染服务平台在检测到相同的请求地址时，会将这一情况返回给管理人员，管理人员接受到这一信息后，会查看所有连接情况，查看是否有低于调度请求的权限的云渲染应用正在建立通信，若有，则向该通信的云渲染应用发送剔除信号，并将这一云渲染应用与请求的浏览器建立通信。向正在通信的云渲染应用使用剔除功能时，云渲染服务平台会先向客户端发送剔除的提醒信息，然后才会断开云渲染应用的通信连接。

当客户端关闭已经打开的云渲染应用时，SDK会感知到这一情况，并主动向MGR服务告知这一云渲染应用已下线，MGR服务再告知云渲染服务平台，云渲染服务平台会将这一云渲染应用标记为离线，并在下次分配时将这一云渲染应用加入调度队列中再次参与下次分配。

如图3所示，云渲染服务平台主要包括前端用户展示界面、Java服务端和Node服务端，Node服务端即为MGR服务。云渲染服务平台的后端包括服务端和客户端，服务端即为Java服务端和Node服务端。Java服务端和Node服务端之间进行信息的交互，并且Java服务端和Node服务端上连接有多个客户端，即一个服务端管理着多个客户端。客户端的功能主要包括有采集硬件信息并上报到服务端；部署云渲染应用；启动或停止云渲染应用；修改云渲染应用的配置等。当云渲染服务平台上新增项目时，Java服务端向Java客户端发送部署应用的信号，Java客户端接收到这一信号后，会根据上传的的云渲染应用软件包进行云渲染应用的部署。部署完成后的云渲染应用通过云渲染应该的服务端控制云渲染程序更改配置，从而适应于所创建的项目。用户在云渲染服务平台修改某个应用的配置（例如端口，分辨率，比特率）后，会向MGR服务发送修改配置或启停的消息，MGR服务会再调用指定应用的接口(ServerMonitor的接口)进行启动、停止、修改配置的操作。MGR服务充当云渲染应用与服务端之间的桥梁纽带，具有消息中转功能，并且提供了一个Javascript SDk 用于给页面使用。页面调用此SDK与各个云渲染应用建立websocket通信，传输webrtc协议的视频流画面以及传回用户端的鼠标和键盘操作。

云渲染服务平台通过Java服务端与云渲染应用之间进行权限调度、状态变更以及应用剔除等操作。并且，通过与Java服务端连接的Java客户端实现云渲染应用与云渲染服务平台之间的资源数据的交互。通过Node服务端与云渲染应用之间进行应用的启动、停止等操作，以及云渲染应用与云渲染服务平台之间的连接，云渲染应用的配置变更也通过Node服务端实现。云渲染服务平台的前端展示界面用于展示云渲染应用的画面，前端展示界面与Java服务端连接，实现后端应用在前端界面的展示。Java服务端与Java客户端连接，Java服务端用于基础管理，Java客户端用于应用管理，Java服务端与Java客户端之间进行应用的启动、停止、配置变更、状态显示等信息的交互。

云渲染页面中的键盘鼠标操作主要有平移、鼠标右键旋转、鼠标滚轮缩放、鼠标单击、鼠标双击、键盘快捷键等。平移包括了左移、右移、上移和下移等四种情况。鼠标右键旋转为三轴XYZ旋转。鼠标滚轮缩放包括放大和缩小两种情况。通常情况下，键盘快捷键由UE、U3D程序内部自定义。部分键盘快捷键如下所示：

H	隐藏物体
		Ctrl+H	取消隐藏物体
Q	聚焦
		Ctrl +z	撤销
Ctrl + shift +z	取消撤销
		Ctrl+鼠标	…
Alt+鼠标	…
		Ctrl +1	预设画面1
Ctrl +2	预设画面2
		...	...

对上述操作，云渲染应用具有不同的操作权限，云渲染服务平台中具有专门的组态页面显示各种操作的权限等级。操作人员可以自行设置不同操作权限下可以进行的操作，可以将某些操作归到高级操作权中，将某些操作归到中级操作权中，将某些操作归到低级操作权中。设置不同的操作权限可以区分云渲染应该是否可以多设备登录。例如，将高级操作权设置为允许所有操作，将中级操作权设置为不允许使用快捷键，将低级操作权设置为仅允许鼠标单击，将查看权设置为仅允许查看。根据不同情况，也可以将操作的权限增加n个或减少n个。

本发明设计了一种云渲染视频流调度方法，通过自动调度功能，实现了云渲染应用视频流自动调度功能，减少了用户手动匹配应用IP和端口的工作量；将云渲染应用设置不同的权限，实现了云渲染应用权限控制的功能，避免了多实例多玩家条件下操作互相影响的情况；增加健康检查机制，实现了云渲染应用健康检查并避免用户连接到异常应用；具有用户提出机制，避免了无空闲权限可用的情况。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种云渲染视频流调度方法，其特征在于，包括以下步骤:

S1：上传云渲染应用软件包，新建应用；

S2：启动云渲染应用，云渲染应用进入预备状态；

S3：发送调度请求至云渲染服务平台；

S4：云渲染服务平台根据调度规则返回当前可用口令；

S5：通过口令调用MGR服务，输出视频流画面。

2.根据权利要求1所述的一种云渲染视频流调度方法，其特征在于，调度规则的具体内容为：筛除预备状态中不健康的云渲染应用，查询剩余云渲染应用中是否有任意一个权限未被使用，若存在任意权限未被使用的云渲染应用，返回云渲染应用口令至前端，采用均衡算法根据权限高低依次建立通信。

3.根据权利要求2所述的一种云渲染视频流调度方法，其特征在于，若建立通信过程未成功，重复建立通信过程三次，若三次都未成功，SDK向MGR服务发送应用不健康信息，MGR服务将该信息传输至云渲染服务平台，此云渲染应用不再参与后续调度。

4.根据权利要求1所述的一种云渲染视频流调度方法，其特征在于，进入预备状态的云渲染应用会定时向云渲染服务平台发送心跳包，若云渲染服务平台未接收到云渲染应用的心跳包，将此云渲染应用标记为不健康，下次调度中此云渲染应用不参与调度，当重新接收到此云渲染应用的心跳包时，云渲染服务平台将其恢复为健康，下次调度时加入候选中参与调度。

5.根据权利要求3所述的一种云渲染视频流调度方法，其特征在于，当用户关闭云渲染应用时，SDK向MGR服务发送离线信息，MGR服务向云渲染平台发送此云渲染应用离线信息，此云渲染应用参与下次调度。

6.根据权利要求3或5所述的一种云渲染视频流调度方法，其特征在于，若SDK接收到MGR服务的剔除信号，该信号中附带的权限信息为调用的云渲染应用的权限，断开此云渲染应用的像素流。

7.根据权利要求2或3所述的一种云渲染视频流调度方法，其特征在于，权限包括查看权和操作权，查看权仅允许查看，操作权根据操作权限的高低实现对调度的云渲染应用的不同操作。

8.根据权利要求1或2或4所述的一种云渲染视频流调度方法，其特征在于，云渲染服务平台的后端分为服务端和客户端，一个服务端管理多个客户端。

9.根据权利要求1或2或4所述的一种云渲染视频流调度方法，其特征在于，新建应用的过程为：输入应用的必要信息，服务端向客户端发送部署应用的信息；客户端收到信息后，下载云渲染软件包并解压；根据输入的必要信息修改配置。

10.根据权利要求1或2或4所述的一种云渲染视频流调度方法，其特征在于，云渲染应用包括云渲染程序和控制启停和守护的程序，云渲染程序分为UE云渲染程序和U3D云渲染程序，通过信令服务和权限控制进行像素流推送。