CN112398914A - 基于Kubernetes容器集群的云渲染平台 - Google Patents

Abstract

本发明实施例提供了一种基于Kubernetes容器集群的云渲染平台，使用Kubernetes容器集群管理技术对云渲染服务器进行管理、监控，Kubernetes容器集群提供服务器集群的管理，以及各服务器上运行应用的管理、资源分配和监控，通过Kubernetes提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案。并且，本发明调用Kubernetes API进行云渲染应用实例的创建、推流和释放，能够提供已使用的服务器资源可释放，重新回到可用资源服器池中，供其它用户终端使用，避免服务器资源浪费，提高了服务器资源利用效率。

Description

基于Kubernetes容器集群的云渲染平台

技术领域

本发明涉及云渲染技术领域，尤其涉及一种基于Kubernetes容器集群的云渲染平台。

背景技术

在4G/5G环境下，越来越多的应用由线下、转到了线上，采用云端的方式来为用户终端提供服务。三维模型的展示，同样可以将三维渲染部分由云端线上处理，将用户终端观看的当前画面以视频的方式为其呈现，交互操作以指令的方式，发送到云端服务器，云端服务器上的画面根据交互操作做出相应的动作，同时渲染出实时的视频推送给客户。

每个进行云渲染的应用，都需要一个单独的物理服务器资源支持，如果要满足多用户量使用的场景，就会需要非常多的物理服务器，并且应用程序的部署、更新、维护上，也会有相应的人工成本。因此，如何提供一种云渲染平台，以提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案，成为亟待解决的问题。

发明内容

本发明提供一种基于Kubernetes容器集群的云渲染平台，用以提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案。

本发明实施例提供一种基于Kubernetes容器集群的云渲染平台，包括Kubernetes容器集群和物理服务器；

所述Kubernetes容器集群由Master节点和Worker节点组成；Master节点用于管理Kubernetes容器集群，Worker节点用于托管正在运行的三维应用APP；

所述物理服务器的主板支持多独立显卡，并且物理服务器安装对应独立显卡个数的windows虚拟机，windows虚拟机作为Kubernetes容器集群中的worker节点，添加到Kubernetes容器集群中；

所述windows虚拟机中配置有云渲染应用实例，所述云渲染应用实例包括三维应用APP、推流程序、webRTC视频通道服务和运行以上服务的docker容器实例载体；所述推流程序用于为三维应用APP提供云渲染的功能支持，将渲染后的三维程序以视频流的形式推给用户终端浏览。

进一步，基于Kubernetes容器集群的云渲染平台还包括web代理服务和webserver集群服务；

所述web代理服务，用于对web server集群进行反向代理；

所述web server集群服务提供页面访问http/https接口的实现。

进一步，所述web代理服务具体用于，对外提供统一端口http/https接口代理服务，对内实现对web server集群的反向代理服务。

进一步，所述web server集群服务使用mysql数据库进行数据持久化，并使用redis进行中间数据缓存。

进一步，在所述Kubernetes容器集群中，所述master结点为linux环境，安装并部署linux环境下的Kubernetes服务、docker容器服务以及从docker hub镜像仓库中下载的linux docker镜像运行的容器实例。

进一步，在所述Kubernetes容器集群中，所述worker结点为windows环境，安装并部署windows环境下的Kubernetes服务、docker for windows容器服务以及从docker hub镜像仓库中下载的windows docker镜像运行的容器实例。

进一步，所述Kubernetes容器集群的deployment/pod，能够根据用户终端需求智能调度可用服务器资源，分配给用户终端使用。

进一步，所述云渲染应用实例的运行，通过web页面上使用http/https接口，调用Kubernetes API进行管理。

进一步，所述调用Kubernetes API进行管理具体包括：

调用Kubernetes API进行云渲染应用实例的创建、推流和释放。

进一步，所述云渲染应用实例通过Rancher Wins的windows服务的容器组件服务提供所述docker容器实例与windows虚拟机的通信机制。

本发明实施例提供的基于Kubernetes容器集群的云渲染平台，使用Kubernetes容器集群管理技术对云渲染服务器进行管理、监控，通过Kubernetes提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案。并且，本发明调用Kubernetes API进行云渲染应用实例的创建、推流和释放，能够提供已使用的服务器资源可释放，重新回到可用资源服器池中，供其它用户终端使用，避免服务器资源浪费，提高了服务器资源利用效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于Kubernetes容器集群的云渲染平台的整体架构图；

图2为本发明实施例提供的Kubernetes容器集群的构架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明实施例提供的一种基于Kubernetes容器集群的云渲染平台的整体架构图，参照图1，云渲染平台包括Kubernetes容器集群和物理服务器；

所述Kubernetes容器集群由Master节点和Worker节点组成；Master节点用于管理Kubernetes容器集群，Worker节点用于托管正在运行的三维应用APP。本实施例中，所述Kubernetes容器集群是由一个ubuntu1804 x64系统作为master结点，多个windows系统作为worker结点组成的服务器集群服务；Kubernetes容器集群提供服务器集群的管理，及各服务器上运行应用的管理，资源分配和监控。同时，对外提供Kubernetes API功能供第三方应用操作服务器、应用程序、资源等。

物理服务器功能配置较高，强CPU，大内存，同时物理服务器的主板上支持多独立显卡。图1中的“服务器”即是本实施例中的物理服务器，该物理服务器安装VMware-Vmvisor6系统。本实施例对物理服务器的数量不作具体限定。物理服务器的主板支持多独立显卡，并且物理服务器安装对应独立显卡个数的windows虚拟机，每个windows虚拟机均配置一个独立显卡直通，windows虚拟机作为Kubernetes容器集群中的worker节点，添加到Kubernetes容器集群中。

windows虚拟机：即对应一个Kubernetes容器集群中的worker节点。所述windows虚拟机基于三维应用APP的硬件资源使用情况，利用windows多用户的机制，开启多个windows用户桌面，每一个windows用户桌面对应一个云渲染应用实例。具体地，windows虚拟机分配有一般办公电脑能力的CPU、内存及独立显卡能力。根据实际三维APP应用程序的硬件资源使用情况，当该虚拟机能力可以同时支持多个三维应用APP同时运行时，就可以通过windows多用户的机制，开启多个windows用户桌面，每一个windows用户桌面，对应一个云渲染应用程序运行的实例，从而达到应用程序个数最大化。而每个云渲染应用程序的运行，则是在web页面上使用http/https接口，调用Kubernetes API来进行管理。云渲染平台中，通过封装Kubernetes client API接口，可实现动态的APP实例的创建、推流、释放。其中，Kubernetes-client是Kubernetes API的开发库。

所述云渲染应用实例包括三维应用APP、推流程序、webRTC视频通道服务和运行以上服务的docker容器实例载体；参照图1，docker容器(container)中运行的是windows容器镜像，通过Kubernetes API进行创建，并通过Rancher wins服务，在windows服务器宿主机上运行三维应用APP。Rancher Wins的windows服务的容器组件服务提供docker容器实例与宿主机(windows虚拟机)的通信机制。推流程序用于为三维应用APP提供云渲染的功能支持，将渲染后的三维程序以视频流的形式推给用户终端浏览。其中，三维应用APP是在windows系统中运行的三维应用程序。本发明提供的云渲染平台，能够智能分配服务器的硬件渲染资源，对三维模型进行渲染、音视频编码并分配给用户终端，用户终端仅通过网页的方式，便可浏览、操作、分享该三维模型。其中，云渲染应用实例是利用云渲染技术和应用程序流化技术，将三维应用APP流化之后，为用户终端提供的服务实例。

具体的，Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，它的目标是管理跨多个主机的容器，用于自动部署、扩展和管理容器化的应用程序，主要实现语言为Go语言。集群是一组节点，这些节点可以是物理服务器或者虚拟机，在它上面安装了Kubernetes环境。图1中，①～⑦分别是web、nginx、web sever、mysql、redis、Kubernetes API和Kubernetes。

图2为本发明实施例提供的Kubernetes容器集群的构架图，参照图2，kubectl是Kubernetes集群的命令行工具，通过kubectl能够对集群本身进行管理,并能够在集群上进行容器化应用的安装部署。添加至Kubernetes容器集群中的节点分为Master节点(Node)和Worker节点，Master节点管理Kubernetes容器集群，而Worker节点用于托管正在运行的应用程序。

本实施例中，云渲染平台的Master节点部署在ubuntu1804(x64)的环境上。Master节点协调集群中的所有活动，例如调度应用程序、维护应用程序的所需状态、扩展应用程序和滚动更新。本智能调度的云渲染平台的Master节点部署在ubuntu1804(x64)的环境上。APIServer提供了Kubernetes各类资源对象(pod，RC，Service等)的增删改查及watch等HTTP Rest接口，是整个系统的数据总线和数据中心。API server作为Kubernetes集群系统的网关，是访问及管理资源对象的唯一入口，而其他所有的组件及kubectl命令都要经由此网关进行集群的访问和管理。而各组件及客户端每一次的访问请求都要有APIserver进行认证授权。Scheduler作用是将待调度的pod，按照特定的调度算法和调度策略绑定到集群中合适的Node上。Controller Manager作为Kubernetes容器群集内部的管理控制中心，负责Pod等副本管理。Kubernetes容器群集自动配置内部DNS服务。图2中，ETCD是Kubernetes容器集群中的一个十分重要的组件，用于保存集群所有的网络配置和对象的状态信息。Dashboard可以给用户终端提供一个可视化的Web界面来查看当前集群的各种信息。用户终端可以用Kubernetes Dashboard部署容器化的应用、监控应用的状态、执行故障排查任务以及管理Kubernetes各种资源。

kube-proxy是Kubernetes的核心组件，部署在每个Worker节点上，它是实现Kubernetes Service的通信与负载均衡机制的重要组件。每个Worker节点都有一个kubelet，kubelet是管理节点并与Master节点进行通信的代理，云渲染平台的Worker节点部署在winserver 1809(x64)的环境上。

在Kubernetes容器集群中，所述Master结点为linux环境，安装并部署linux环境下的Kubernetes服务、docker容器服务以及从docker hub镜像仓库中下载的linux docker镜像运行的容器实例。Worker结点为windows环境，安装并部署windows环境下的Kubernetes服务、docker for windows容器服务以及从docker hub镜像仓库中下载的windows docker镜像运行的容器实例。

云渲染平台使用Kubernetes容器集群，可以自由的添加、删除、监控、管理各个worker节点(windows服务器)，实现worker节点的弹性扩容。

本发明实施例提供的基于Kubernetes容器集群的云渲染平台，Kubernetes容器集群提供服务器集群的管理，以及各服务器上运行应用的管理、资源分配和监控，通过Kubernetes提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案。并且，本发明调用Kubernetes API进行云渲染应用实例的创建、推流和释放，能够提供已使用的服务器资源可释放，重新回到可用资源服器池中，供其它用户终端使用，避免服务器资源浪费，提高服务器资源利用效率。

在上述实施例的基础上，云渲染平台还包括web代理服务和web server集群服务；

所述web代理服务，用于对web server集群进行反向代理；

所述web server集群服务提供页面访问http/https接口的实现。

具体地，web代理服务即nginx服务，通过配置，实现对外提供统一端口http/https接口代理服务，对内实现对web server集群的反向代理服务，并提供web server集群服务访问的负载均衡、水平扩展、高可用、滚动热更新等系统友好特性。

进一步地，web server集群服务使用mysql数据库进行数据持久化，并使用redis进行中间数据缓存，能够提高http/https接口的访问效率。其中，redis是基于内存亦可持久化的KV NoSql数据库。

在上述各实施例的基础上，本发明实施例使用Kubernetes容器集群的deployment/pod，能够根据用户终端需求智能调度可用服务器资源，分配给用户终端使用。

具体地，pod是一组紧密关联的容器集合，它们共享PID、IPC、Network和UTSnamespace，是Kubernetes调度的基本单位。pod的设计理念是支持多个容器在一个pod中共享网络和文件系统，可以通过进程间通信和文件共享这种简单高效的方式组合完成服务。Deployment能够确保任意时间都有指定数量的pod“副本”在运行。

本发明实施例提供的云渲染平台，将worker节点中运行的三维应用APP和推流程序通过两个不同pod进行运行，并分别放入两个deployment中进行守护运行。

由于一个worker节点，只能运行一个APP和推流的应用，本发明使用Kubernetes亲和度调度podAffinity/podAntiAffinity，来达到这一要求。pod亲和性podAffinity主要解决pod可以和哪些pod部署在同一个拓扑域中的问题。其中，拓扑域用主机标签实现，可以是单个主机，也可以是多个主机组成的cluster、zone等。pod反亲和性podAntiAffinity主要是解决pod不能和哪些pod部署在同一个拓扑域中的问题，它们都是处理的pod与pod之间的关系。

本智能调度的云渲染平台中，对app运行的deployment配置，使用Kubernetesclient API运行动态的创建，同时配置中使用pod反亲和性podAntiAffinity，使得同一个worker节点，只能运行一个三维应用APP、推流的云渲染实例。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

综上所述，本发明实施例提供的基于Kubernetes容器集群的云渲染平台，使用Kubernetes容器集群管理技术对云渲染服务器进行管理、监控，Kubernetes容器集群提供服务器集群的管理，以及各服务器上运行应用的管理、资源分配和监控，通过Kubernetes提供云渲染支持的服务器的集群管理、监控及弹性扩容的解决方案。并且，本发明调用Kubernetes API进行云渲染应用实例的创建、推流和释放，能够提供已使用的服务器资源可释放，重新回到可用资源服器池中，供其它用户终端使用，避免服务器资源浪费，提高了服务器资源利用效率。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于Kubernetes容器集群的云渲染平台，其特征在于，包括Kubernetes容器集群和物理服务器；

所述Kubernetes容器集群由Master节点和Worker节点组成；Master节点用于管理Kubernetes容器集群，Worker节点用于托管正在运行的三维应用APP；

所述物理服务器的主板支持多独立显卡，并且物理服务器安装对应独立显卡个数的windows虚拟机，windows虚拟机作为Kubernetes容器集群中的worker节点，添加到Kubernetes容器集群中；

所述windows虚拟机中配置有云渲染应用实例，所述云渲染应用实例包括三维应用APP、推流程序、webRTC视频通道服务和运行以上服务的docker容器实例载体；所述推流程序用于为三维应用APP提供云渲染的功能支持，将渲染后的三维程序以视频流的形式推给用户终端浏览。

2.根据权利要求1所述的基于Kubernetes容器集群的云渲染平台，其特征在于，还包括web代理服务和web server集群服务；

所述web代理服务，用于对web server集群进行反向代理；

所述web server集群服务提供页面访问http/https接口的实现。

3.根据权利要求2所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述web代理服务具体用于，对外提供统一端口http/https接口代理服务，对内实现对webserver集群的反向代理服务。

4.根据权利要求2所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述web server集群服务使用mysql数据库进行数据持久化，并使用redis进行中间数据缓存。

5.根据权利要求1所述的基于Kubernetes容器集群的云渲染平台，其特征在于，在所述Kubernetes容器集群中，所述master结点为linux环境，安装并部署linux环境下的Kubernetes服务、docker容器服务以及从docker hub镜像仓库中下载的linux docker镜像运行的容器实例。

6.根据权利要求1所述的基于Kubernetes容器集群的云渲染平台，其特征在于，在所述Kubernetes容器集群中，所述worker结点为windows环境，安装并部署windows环境下的Kubernetes服务、docker for windows容器服务以及从docker hub镜像仓库中下载的windows docker镜像运行的容器实例。

7.根据权利要求1所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述Kubernetes容器集群的deployment/pod，能够根据用户终端需求智能调度可用服务器资源，分配给用户终端使用。

8.根据权利要求6所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述云渲染应用实例的运行，通过web页面上使用http/https接口，调用Kubernetes API进行管理。

9.根据权利要求8所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述调用Kubernetes API进行管理具体包括：

调用Kubernetes API进行云渲染应用实例的创建、推流和释放。

10.根据权利要求1所述的基于Kubernetes容器集群的云渲染平台，其特征在于，所述云渲染应用实例通过Rancher Wins的windows服务的容器组件服务提供所述docker容器实例与windows虚拟机的通信机制。

Images