CN112698838B - 多云容器部署系统及其容器部署方法 - Google Patents

Abstract

本申请公开了一种多云容器部署系统及其容器部署方法，所述系统包括：服务端、反应式程控消息交换系统和多个云服务器；各云服务器通过统一的应用程序编程接口接入反应式程控消息交换系统；服务端用于接收用户发起的业务请求，并将业务请求发送至反应式程控消息交换系统；反应式程控消息交换系统用于将各业务请求发送至多个云服务器中的目标云服务器；目标云服务器用于根据业务请求部署业务实例容器，并将业务实例容器的运行状态发送至多个云服务器中的各监听云服务器；各监听云服务器用于对业务实例容器的运行进行监听，在监听到业务实例容器运行异常时，从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器。

Description

多云容器部署系统及其容器部署方法

技术领域

本申请涉及数据处理技术领域，特别涉及一种多云容器部署系统及其容器部署方法。

背景技术

随着互联网技术的发展，云服务已经成为实践云计算的重点之一。为了减少IT部署的开销，业界出现了多种云平台供开发者进行使用，开发者仅需将相关业务部署到云平台的容器中，即可按需为应用程度提供资源。现有的部署方式，是根据需求将业务部署到对应云平台的容器中。而采用现有技术将业务部署到云平台的容器时，发现由于不同云平台之间的差异性，在某一云平台的容器出错时，无法将业务转移到其他云平台进行处理，导致业务稳定性差。

发明内容

本申请的目的在于至少解决现有技术中存在的技术问题之一，提供一种多云容器部署系统及其容器部署方法，使相同业务可以部署到不同供应商或者不同区域的集群，实现多云容灾，提高业务稳定性。

本申请实施例提供一种多云容器部署系统，包括：服务端、反应式程控消息交换系统和多个云服务器；

所述服务端通过所述反应式程控消息交换系统接入所述多个云服务器，所述多个云服务器通过所述反应式程控消息交换系统相互通信连接，各所述云服务器通过统一的应用程序编程接口接入所述反应式程控消息交换系统；

所述服务端用于接收用户发起的业务请求，为所述业务请求分配对应的云服务器标记，并将带有所述云服务器标记的所述业务请求发送至所述反应式程控消息交换系统；

所述反应式程控消息交换系统用于根据各所述业务请求的所述云服务器标记，将各所述业务请求发送至所述多个云服务器中的目标云服务器；

所述目标云服务器用于根据所述业务请求部署业务实例容器，并将所述业务实例容器的运行状态发送至所述多个云服务器中的各监听云服务器；

所述各监听云服务器用于通过所述反应式程控消息交换系统，对所述业务实例容器的运行进行监听，并在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器。

进一步的，所述服务端具体用于，为所述业务请求分配当前负载最低的所述云服务器的云服务器标记；或，

根据所述业务请求的业务类型，为所述业务请求分配对应的云服务器标记。

进一步的，所述目标云服务器具体用于：

根据所述业务请求，从所述镜像仓库中拉取对应的docker镜像文件，并根据所述docker镜像文件部署所述业务实例容器。

进一步的，所述目标云服务器包括多个目标主机；

所述目标云服务器具体用于，根据所述业务请求和各所述目标主机的第一负载信息，在所述第一负载信息低于第一预设值的至少一个所述目标主机上部署所述业务实例容器。

进一步的，所述各监听云服务器具体用于，在监听到所述业务实例容器运行异常时，从所述镜像仓库中拉取所述docker镜像文件发送至至少一个所述监听云服务器中，以在接收到所述docker镜像文件的所述监听云服务器中部署所述业务实例容器。

进一步的，所述监听云服务器包括至少一个监听主机；

各所述监听云服务器还用于，根据所述业务请求和各所述监听主机的第二负载信息，在所述第二负载信息低于第二预设值的至少一个所述监听主机上部署所述业务实例容器。

进一步的，所述反应式程控消息交换系统为基于RSocket协议的反应式程控消息交换系统。

进一步的，本申请实施例中，还提供了一种如上述实施例所述的多云容器部署系统的容器部署方法，包括：

所述服务端接收用户发起的业务请求，为所述业务请求分配对应的云服务器标记，并将带有所述云服务器标记的所述业务请求发送至所述反应式程控消息交换系统；

所述反应式程控消息交换系统根据各所述业务请求的所述云服务器标记，将各所述业务请求发送至所述多个云服务器中的目标云服务器；

所述目标云服务器根据所述业务请求部署业务实例容器，并将所述业务实例容器的运行状态发送至所述多个云服务器中的各监听云服务器；

所述各监听云服务器通过所述反应式程控消息交换系统，对所述业务实例容器的运行进行监听，并在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器。

进一步的，所述为所述业务请求分配对应的云服务器标记，包括：

为所述业务请求分配当前负载最低的所述云服务器的云服务器标记；或，

根据所述业务请求的业务类型，为所述业务请求分配对应的云服务器标记。

进一步的，所述根据所述业务请求部署业务实例容器，包括：

根据所述业务请求，从所述镜像仓库中拉取对应的docker镜像文件，并根据所述docker镜像文件部署所述业务实例容器。

进一步的，所述目标云服务器包括多个目标主机；

所述根据所述业务请求部署业务实例容器，包括：

根据所述业务请求和各所述目标主机的第一负载信息，在所述第一负载信息低于第一预设值的至少一个所述目标主机上部署所述业务实例容器。

进一步的，所述在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器，包括：

在监听到所述业务实例容器运行异常时，从所述镜像仓库中拉取所述docker镜像文件发送至至少一个所述监听云服务器中，以在接收到所述docker镜像文件的所述监听云服务器中部署所述业务实例容器。

进一步的，本申请实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的多云容器部署系统。

进一步的，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述实施例所述的多云容器部署系统。

相比于现有技术，上述实施例中构建包括服务端、反应式程控消息交换系统和多个云服务器的多云容器部署系统，其中各云服务器通过统一的应用程序编程接口接入反应式程控消息交换系统，能够避免由于不同云平台之间的差异性导致业务无法在不同云平台之间转移，并且通过在云服务器中设置监听云服务器，在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并对业务请求进行部署，能够在某一云平台的容器出错时，将业务进行转移。整个容器部署系统能够使得容器出错时，让对应业务转移到不同云平台进行处理，增强了业务稳定性。

上述实施例中服务端根据当前负载最低的云服务器或者业务请求的业务类型来分配对应的云服务器标记，能够选取更适合的云服务器来对业务请求进行处理，提高了业务处理效率。

上述实施例中通过拉取对应的docker镜像文件来部署业务实例容器，不需要复制备份，能够提高部署的效率，并且节约存储空间。

上述实施例中根据业务请求与云服务器中各目标主机的第一负载信息，将业务请求对应的业务实例容器部署到第一负载信息低于预设值的目标主机中，使得部署时无需考虑业务请求的业务类型等内容，能够更好地提高业务请求处理的效率。

上述实施例中在各监听云服务器监听到业务实例容器运行异常时拉取对应的docker镜像文件到对应的监听云服务器中进行业务实例容器部署，使得将业务实例容器进行转移时不需要复制备份，能够提高部署的效率，并且节约存储空间。

上述实施例中各监听云服务器根据业务请求与监听云服务器中各监听主机的第二负载信息，将业务请求对应的业务实例容器部署到第二负载信息低于预设值的目标主机中，使得监听云服务器对业务请求进行不同云平台之间的转移部署时无需考虑业务请求的业务类型等内容，能够更好地提高业务请求处理的效率。

上述实施例中的反应式程控消息交换系统基于RSocket，使得统一的应用程序编程接口可以使用不同的底层传输层，并且具有不同的交互模式，能够更好地避免由于不同云平台之间的差异性而导致的传输失败的情况发生。

附图说明

下面结合附图和实施例对本申请进一步地说明；

图1为一个实施例中多云容器部署系统的结构示意图；

图2为一个实施例中容器部署方法的流程示意图；

图3为一个实施例中计算机设备的结构框图。

具体实施方式

本部分将详细描述本申请的具体实施例，本申请之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本申请的每个技术特征和整体技术方案，但其不能理解为对本申请保护范围的限制。

随着互联网技术的发展，云服务已经成为实践云计算的重点之一。为了减少IT部署的开销，业界出现了多种云平台供开发者进行使用，开发者仅需将相关业务部署到云平台的容器中，即可按需为应用程度提供资源。现有的部署方式，是根据需求将业务部署到对应云平台的容器中。而采用现有技术将业务部署到云平台的容器时，发现由于不同云平台之间的差异性，在某一云平台的容器出错时，无法将业务转移到其他云平台进行处理，导致业务稳定性差。其中，相关业务可以为大数据统计、机器学习等，云平台可以为docker或Kubernetes等云平台。

为了解决上述技术问题，本申请实施例提供了一种多云容器部署系统。如图1所示，是一个实施例中多云容器部署系统的结构示意图。下面，将通过几个具体的实施例对本申请实施例提供的多云容器部署系统进行详细介绍和说明。

如图1所示，在一个实施例中，提供了一种多云容器部署系统。参照图1，该多云容器部署系统具体包括：服务端1、反应式程控消息交换系统2和多个云服务器3。

服务端1通过反应式程控消息交换系统2接入多个云服务器3，多个云服务器3通过反应式程控消息交换系统2相互通信连接，各云服务器3通过统一的应用程序编程接口接入反应式程控消息交换系统2。

服务端1用于接收用户发起的业务请求，为业务请求分配对应的云服务器3标记，并将带有云服务器3标记的业务请求发送至反应式程控消息交换系统2；

反应式程控消息交换系统2用于根据各业务请求的云服务器3标记，将各业务请求发送至多个云服务器3中的目标云服务器；

目标云服务器用于根据业务请求部署业务实例容器，并将业务实例容器的运行状态发送至多个云服务器3中的各监听云服务器；

各监听云服务器用于通过反应式程控消息交换系统2，对业务实例容器的运行进行监听，并在监听到业务实例容器运行异常时，通过反应式程控消息交换系统3从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器。

在本实施例中，服务端1可以为客户端、服务端、themis配置中心或者管理平台等。服务端1通过反应式程控消息交换系统2接入多个云服务器3，服务端1用于接收用户发起的业务请求，为业务请求分配对应的云服务器3标记，并将带有云服务器3标记的业务请求发送至反应式程控消息交换系统2。其中，反应式程控消息交换系统2可以为智能网关。当服务端1为客户端时，客户端通过智能网关接入多个云服务器3后，客户端接收用户发起的业务请求，客户端可以通过操作界面对业务请求分配对应的云服务器的标记。该云服务器的标记可以为各云服务器在服务器集群中存在的唯一标识，能够通过唯一标识对云服务器进行快速查找。所述唯一标识，可以为各云服务器在服务器集群中的地址或编号，也可以为自定义的其他唯一标识方式。客户端给业务请求分配对应的云服务器标记后，将带有云服务器标记的业务请求发送到智能网关中。

例如，在游戏业务领域中，每个终端可以看作是一个客户端，反应式程控消息交换系统可以为智能网关。客户端通过三七互娱游戏平台登录成功后，游戏平台会分配一个智能网关的地址给客户端，客户端依据智能网关的地址与智能网关建立长连接。智能网关可以采用Netty4来作为网络通信框架。客户端可以通过三七互娱游戏平台发起业务请求，该业务请求可以为应用程序《云上城之歌》的游戏数据统计，并选择所要执行应用程序《云上城之歌》的游戏数据统计的云服务器A，选择后即对游戏数据统计的业务请求分配了对应的云服务器标记，可以自定义为ysczg-A，然后客户端根据所选择的云服务器A，将《云上城之歌》游戏数据统计的业务请求发送智能网关中。

在一个实施例中，服务端具体用于，为业务请求分配当前负载最低的云服务器的云服务器标记；或，

根据业务请求的业务类型，为业务请求分配对应的云服务器标记。

在本实施例中，当前负载指的是云服务器当前时刻正在处理的数据量的大小，业务类型指的是业务请求所对应的大类，如数据统计分析、机器学习等。

例如，云服务器包括华为云-北京CCE、华为云-上海CCI或者私有云-内网，其中华为云-北京CCE当前负载为100M，所处理的业务类型为数据统计分析，华为云-上海CCI当前负载为50M，所处理的业务类型为机器学习，私有云-内网当前负载为200M，所处理的业务类型为自然语言处理。而业务请求为《云上城之歌》的游戏数据统计，属于数据统计分析业务类型。因此为业务请求分配当前负载最低的云服务器的云服务器标记时，分配的云服务器为华为云-上海CCI，此时云服务器标记可以为ysczg-CCI；根据业务请求的业务类型，为业务请求分配对应的云服务器标记时，分配的云服务器为华为云-北京CCE，此时云服务器标记可以为ysczg-CCE。

在本实施例中，服务端根据当前负载最低的云服务器或者业务请求的业务类型来分配对应的云服务器标记，能够选取更适合的云服务器来对业务请求进行处理，提高了业务处理效率。

在本实施例中，多个云服务器3通过反应式程控消息交换系统2相互通信连接，各云服务器3通过统一的应用程序编程接口接入反应式程控消息交换系统2。多个云服务器即云服务器集群，云服务器集群中的每个云服务器可以分别与反应式程控消息交换系统建立一条连接，由于反应式程控消息交换系统可以为智能网关，所以具有智能网关功能。而反应式程控消息交换系统后面可能有若干个云服务器，属于一对多的关系。而如果直接建立连接，管理起来比较麻烦，此时反应式程控消息交换系统和多个云服务器之间可以采用发布-订阅模式。其中，云服务器可以为华为云、上海云或者私有云等。

在一个实施例中，反应式程控消息交换系统为基于RSocket协议的反应式程控消息交换系统。

其中，RSocket是一个OSL七层模型中5/6层的协议，是TCP/IP之上的应用层协议。RSocket可以使用不同的底层传输层，包括TCP、WebSocket和Aeron。TCP适用于分布式系统的各个组件之间交互，WebSocket适用于浏览器和服务器之间的交互，Aeron是基于UDP协议的传输方式，这就保证了RSocket可以适应于不同的场景。使用RSocket的应用层实现可以保持不变，只需要根据系统环境、设备能力和性能要求来选择合适的底层传输方式即可。RSocket作为一个应用层协议，可以很容易在其基础上定义应用自己的协议。此外，RSocket使用二进制格式，保证了传输的高效，节省带宽。而且，通过基于反应式流语义的流控制，RSocket保证了消息传输中的双方不会因为请求的压力过大而崩溃，能够将应用程序中的所有交互建模为网络原语，即可以流化数据或执行发布/订阅，而无需设置应用程序队列。

在本实施例中，反应式程控消息交换系统可以在接入的各云服务器3采用的统一的应用程序编程接口中采用RSocket协议。

在本实施例中，反应式程控消息交换系统基于RSocket，使得统一的应用程序编程接口可以使用不同的底层传输层，并且具有不同的交互模式，能够更好地避免由于不同云平台之间的差异性而导致的传输失败的情况发生。

在本实施例中，反应式程控消息交换系统2根据业务请求分配到的云服务器标记，将业务请求发送至多个云服务器3中的目标云服务器。其中，目标云服务器指的就是业务请求分配到的云服务器标记所对应的云服务器。例如，智能网关根据客户端发送的《云上城之歌》的游戏数据统计的业务请求以及该业务请求分配到的云服务器标记ysczg-A，将《云上城之歌》的游戏数据统计的业务请求发送到云服务器集群中的云服务器A中。并且，智能网关除了根据客户端发送的业务请求及对应的云服务器标记将业务请求发送到目标云服务器中的功能，还可以具有消息解析、与客户端保持连接、消息合法性验证、转发消息到业务服务、流量限制、版本验证等功能。

在本实施例中，目标云服务器用于根据业务请求部署业务实例容器，并将业务实例容器的运行状态发送至多个云服务器3中的各监听云服务器。

在本实施例中，业务请求对应的业务实例采用容器方式进行传输发送，容器属于一种虚拟化技术，容器中包含了程序A所依赖的其他程序和程序A自己，并且容器内无法直接访问外部，但外部可以访问容器内。而在目标云服务器需要部署的为业务实例服务器，所以容器中可以仅需要包含业务内容以及运行该业务内容所依赖的相关程序。例如，业务请求为《云上城之歌》的游戏数据统计，将需要统计的游戏数据发送到目标云服务器中进行统计，此时反应式程控消息交换系统将该业务请求对应的业务实例容器发送到目标云服务器，该业务实例容器中可以包含需要统计的游戏数据以及统计该游戏数据时需要的计算器、聚类需要的MATLAB程序等。其中，容器构建过程为在独立的用于构建容器的服务器或者终端上构建一个能够运行统计游戏数据的所依赖的应用程序的环境，将所依赖的应用程序放进去，并设置容器访问端口。其中访问端口为用户或者服务器对容器所在机器能够通过访问端口对容器进行访问。例如-pxxxx:8080的方式，将宿主机器的端口和容器的端口连接起来，使得容器会开启8080端口的外部访问。这样当用户在网络上访问宿主机器的xxxx端口的时候，就会变成通过8080端口访问容器。

在一个实施例中，目标云服务器具体用于：

根据业务请求，从镜像仓库中拉取对应的docker镜像文件，并根据docker镜像文件部署业务实例容器。

在本实施例中，容器在独立的用于构建容器的服务器或者终端上进行构建，因此该服务器或者终端即为镜像仓库，docker镜像文件及docker容器的镜像，即容器的只读部分。本实施例中，镜像仓库可以有一个或者多个，并且目标云服务器可以向一个或者多个镜像仓库拉取镜像。所有容器都允许公网访问，所以容器之间的网络是互通的。

在本实施例中，通过拉取对应的docker镜像文件来部署业务实例容器，不需要复制备份，能够提高部署的效率，并且节约存储空间。并且与常规的复制备份相比，通过将业务打包成docker镜像，并且令所有容器都允许公网访问，使得容器之间的网络是互通的，能够保证一个云服务器无法使用的时候，可以在另一个云服务器恢复所有容器就可以，从而相同业务可以部署到不同供应商或者不同区域的集群，实现多云容灾，业务稳定高可用。

在一个实施例中，目标云服务器包括多个目标主机；

目标云服务器具体用于，根据业务请求和各目标主机的第一负载信息，在第一负载信息低于第一预设值的至少一个目标主机上部署业务实例容器。

在本实施例中，目标云服务器中可以包含多个目标主机，第一负载信息指的是目标主机当前时刻正在处理的数据量的大小，第一预设值指的是用户设定的能够处理业务请求的最低负载标准。例如，华为云-北京CCE包括主机CCE1、主机CCE2和主机CCE3，其中主机CCE1第一负载信息为100M，主机CCE2第一负载信息为50M，主机CCE3第一负载信息为200M。当用户设定的第一预设值为90M时，只能在主机CCE1中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。当用户设定的第一预设值为110M时，可以在主机CCE1和/或主机CCE2中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。

在本实施例中，根据业务请求与云服务器中各目标主机的第一负载信息，将业务请求对应的业务实例容器部署到第一负载信息低于预设值的目标主机中，使得部署时无需考虑业务请求的业务类型等内容，能够更好地提高业务请求处理的效率。

在本实施例中，目标云服务器将业务实例容器的运行状态发送至多个云服务器3中的各监听云服务器。例如，目标云服务器可以使用docker inspect来查看docker的底层信息，容器会返回一个JSON文件记录着docker容器的配置和状态信息，其中配置信息包含容器名、环境变量、运行命令、主机配置、网络配置和数据卷配置。还可以采用dockerinspect nginx1来查看容器所有状态。目标云服务器查看到容器的运行状态后，可以将记录着容器运行状态的文件发送到云服务器中的监听云服务器中。其中，多个云服务器有对应的监听云服务器，可以为一个云服务器对应一个监听云服务器的方式，也可以为多个云服务器对应一个监听云服务器的方式，还可以为一个云服务器对应多个监听云服务器的方式。

在本实施例中，各监听云服务器通过连接反应式程控消息交换系统2，即智能网关对业务实例容器的运行进行监听，并在监听到业务实例容器运行异常时，通过反应式程控消息交换系统3从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器。其中，对于监听云服务器通过智能网关对业务实例容器的监听方式，可以通过监听对应云服务器的一个或多个端口来进行监听，或者可以通过监听容器的访问端口来进行监听，例如，容器的访问端口设置方式为-pxxxx:8080端口，那么当有访问云服务器xxxx端口或者容器8080端口，监听云服务器通过智能网关接收。目标云服务器查看到容器的运行状态后，可以将记录着容器运行状态的文件发送到智能网关中，智能网关再发送到监听云服务器中。当监听云服务器接收到记录着容器运行状态的文件后，查看容器运行状态，当查看到容器运行状态出现异常后，通过智能网关从目标云服务器中获取业务请求，其中，可以在记录着容器运行状态的文件中进行相关标记，使得能够根据记录着容器运行状态的文件准确找到对应的云服务器，并从中获取业务请求。监听云服务器根据业务请求获取对应的业务实例容器后，可以在监听云服务器自身进行部署，也可以发送到其他监听云服务器中进行部署。

例如，监听云服务器A2通过连接智能网关，来监听云服务器A中的容器运行状态。云服务器A将记录着容器运行状态的JSON文件发送到智能网关中，智能网关再将文件转到监听云服务器A2中。此时JSON文件中显示网络配置异常，监听服务器A2可以根据智能网关中保存的业务请求分配到的云服务器标记ysczg-A，来找到对应的云服务器A，并从中获取《云上城之歌》的游戏数据统计的业务请求，此时可以将对应云服务器标记改为ysczg-A2，此时反应式程控消息交换系统将该业务请求对应的业务实例容器发送到监听云服务器A2，监听服务器A2接收到业务实例容器后进行安装部署。其中，多个云服务器对应监听云服务器，可以为一个云服务器对应一个监听云服务器的方式，也可以为多个云服务器对应一个监听云服务器的方式，还可以为一个云服务器对应多个监听云服务器的方式。

在一个实施例中，各监听云服务器具体用于，在监听到业务实例容器运行异常时，从镜像仓库中拉取docker镜像文件发送至至少一个监听云服务器中，以在接收到docker镜像文件的监听云服务器中部署业务实例容器。

在本实施例中，容器在独立的用于构建容器的服务器或者终端上进行构建，因此该服务器或者终端即为镜像仓库，docker镜像文件及docker容器的镜像，即容器的只读部分。本实施例中，镜像仓库可以有一个或者多个，并且目标云服务器可以向一个或者多个镜像仓库拉取镜像。所有容器都允许公网访问，所以容器之间的网络是互通的。监听云服务器，在监听到业务实例容器运行异常时，从镜像仓库中拉取docker镜像文件发送至至少一个监听云服务器中。其中，监听云服务器将docker镜像文件发送到的监听云服务器，可以随机选取，也可以依据各监听云服务器当前负载来选取，还可以依据业务请求的业务类型来选取。

在本实施例中，在各监听云服务器监听到业务实例容器运行异常时拉取对应的docker镜像文件到对应的监听云服务器中进行业务实例容器部署，使得将业务实例容器进行转移时不需要复制备份，能够提高部署的效率，并且节约存储空间。

在一个实施例中，监听云服务器包括至少一个监听主机；

各监听云服务器还用于，根据业务请求和各监听主机的第二负载信息，在第二负载信息低于第二预设值的至少一个监听主机上部署业务实例容器。

在本实施例中，云服务器中包括一个或多个主机，因此监听云服务器监听至少一个监听主机。第二负载信息指的是监听主机当前时刻正在处理的数据量的大小，第二预设值指的是用户设定的能够处理业务请求的最低负载标准。例如，监听服务器中包括监听主机JT1、监听主机JT2和监听主机JT3，其中监听主机JT1第二负载信息为100M，监听主机JT2第二负载信息为50M，监听主机JT3第二负载信息为200M。当用户设定的第二预设值为90M时，只能在监听主机JT1中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。当用户设定的第二预设值为110M时，可以在监听主机JT1和/或监听主机JT2中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。

在本实施例中，各监听云服务器根据业务请求与监听云服务器中各监听主机的第二负载信息，将业务请求对应的业务实例容器部署到第二负载信息低于预设值的目标主机中，使得监听云服务器对业务请求进行不同云平台之间的转移部署时无需考虑业务请求的业务类型等内容，能够更好地提高业务请求处理的效率。

在上述实施例中，构建包括服务端、反应式程控消息交换系统和多个云服务器的多云容器部署系统，其中各云服务器通过统一的应用程序编程接口接入反应式程控消息交换系统，能够避免由于不同云平台之间的差异性导致业务无法在不同云平台之间转移，并且通过在云服务器中设置监听云服务器，在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并对业务请求进行部署，能够在某一云平台的容器出错时，将业务进行转移。整个容器部署系统能够使得容器出错时，让对应业务转移到不同云平台进行处理，增强了业务稳定性。

在一个实施例中，如图2所示，提供了一种容器部署方法，包括：

S11、服务端接收用户发起的业务请求，为业务请求分配对应的云服务器标记，并将带有云服务器标记的业务请求发送至反应式程控消息交换系统。

在本实施例中，服务端可以为客户端、服务端、themis配置中心或者管理平台等。服务端通过反应式程控消息交换系统接入多个云服务器，服务端接收用户发起的业务请求，为业务请求分配对应的云服务器标记，并将带有云服务器标记的业务请求发送至反应式程控消息交换系统。其中，反应式程控消息交换系统可以为智能网关。当服务端为客户端时，客户端通过智能网关接入多个云服务器后，客户端接收用户发起的业务请求，客户端可以通过操作界面对业务请求分配对应的云服务器的标记。该云服务器的标记可以为各云服务器在服务器集群中存在的唯一标识，能够通过唯一标识对云服务器进行快速查找。所述唯一标识，可以为各云服务器在服务器集群中的地址或编号，也可以为自定义的其他唯一标识方式。客户端给业务请求分配对应的云服务器标记后，将带有云服务器标记的业务请求发送到智能网关中。

例如，在游戏业务领域中，每个终端可以看作是一个客户端，反应式程控消息交换系统可以为智能网关。客户端通过三七互娱游戏平台登录成功后，游戏平台会分配一个智能网关的地址给客户端，客户端依据智能网关的地址与智能网关建立长连接。智能网关可以采用Netty4来作为网络通信框架。客户端可以通过三七互娱游戏平台发起业务请求，该业务请求可以为应用程序《云上城之歌》的游戏数据统计，并选择所要执行应用程序《云上城之歌》的游戏数据统计的云服务器A，选择后即对游戏数据统计的业务请求分配了对应的云服务器标记，可以自定义为ysczg-A，然后客户端根据所选择的云服务器A，将《云上城之歌》游戏数据统计的业务请求发送智能网关中。

在一个实施例中，为业务请求分配对应的云服务器标记，包括：

为业务请求分配当前负载最低的云服务器的云服务器标记；或，

根据业务请求的业务类型，为业务请求分配对应的云服务器标记。

在本实施例中，当前负载指的是云服务器当前时刻正在处理的数据量的大小，业务类型指的是业务请求所对应的大类，如数据统计分析、机器学习等。

例如，云服务器包括华为云-北京CCE、华为云-上海CCI或者私有云-内网，其中华为云-北京CCE当前负载为100M，所处理的业务类型为数据统计分析，华为云-上海CCI当前负载为50M，所处理的业务类型为机器学习，私有云-内网当前负载为200M，所处理的业务类型为自然语言处理。而业务请求为《云上城之歌》的游戏数据统计，属于数据统计分析业务类型。因此为业务请求分配当前负载最低的云服务器的云服务器标记时，分配的云服务器为华为云-上海CCI，此时云服务器标记可以为ysczg-CCI；根据业务请求的业务类型，为业务请求分配对应的云服务器标记时，分配的云服务器为华为云-北京CCE，此时云服务器标记可以为ysczg-CCE。

在本实施例中，服务端根据当前负载最低的云服务器或者业务请求的业务类型来分配对应的云服务器标记，能够选取更适合的云服务器来对业务请求进行处理，提高了业务处理效率。

S12、反应式程控消息交换系统根据各业务请求的云服务器标记，将各业务请求发送至多个云服务器中的目标云服务器。

其中，目标云服务器指的就是业务请求分配到的云服务器标记所对应的云服务器。例如，智能网关根据客户端发送的《云上城之歌》的游戏数据统计的业务请求以及该业务请求分配到的云服务器标记ysczg-A，将《云上城之歌》的游戏数据统计的业务请求发送到云服务器集群中的云服务器A中。并且，智能网关除了根据客户端发送的业务请求及对应的云服务器标记将业务请求发送到目标云服务器中的功能，还可以具有消息解析、与客户端保持连接、消息合法性验证、转发消息到业务服务、流量限制、版本验证等功能。

在本实施例中，业务请求对应的业务实例采用容器方式进行传输发送，容器属于一种虚拟化技术，容器中包含了程序A所依赖的其他程序和程序A自己，并且容器内无法直接访问外部，但外部可以访问容器内。而在目标云服务器需要部署的为业务实例服务器，所以容器中可以仅需要包含业务内容以及运行该业务内容所依赖的相关程序。例如，业务请求为《云上城之歌》的游戏数据统计，将需要统计的游戏数据发送到目标云服务器中进行统计，此时反应式程控消息交换系统将该业务请求对应的业务实例容器发送到目标云服务器，该业务实例容器中可以包含需要统计的游戏数据以及统计该游戏数据时需要的计算器、聚类需要的MATLAB程序等。其中，容器构建过程为在独立的用于构建容器的服务器或者终端上构建一个能够运行统计游戏数据的所依赖的应用程序的环境，将所依赖的应用程序放进去，并设置容器访问端口。其中访问端口为用户或者服务器对容器所在机器能够通过访问端口对容器进行访问。例如-pxxxx:8080的方式，将宿主机器的端口和容器的端口连接起来，使得容器会开启8080端口的外部访问。这样当用户在网络上访问宿主机器的xxxx端口的时候，就会变成通过8080端口访问容器。

在一个实施例中，根据业务请求部署业务实例容器，包括：

根据业务请求，从镜像仓库中拉取对应的docker镜像文件，并根据docker镜像文件部署业务实例容器。

在本实施例中，容器在独立的用于构建容器的服务器或者终端上进行构建，因此该服务器或者终端即为镜像仓库，docker镜像文件及docker容器的镜像，即容器的只读部分。本实施例中，镜像仓库可以有一个或者多个，并且目标云服务器可以向一个或者多个镜像仓库拉取镜像。所有容器都允许公网访问，所以容器之间的网络是互通的。

在本实施例中，通过拉取对应的docker镜像文件来部署业务实例容器，不需要复制备份，能够提高部署的效率，并且节约存储空间。并且与常规的复制备份相比，通过将业务打包成docker镜像，并且令所有容器都允许公网访问，使得容器之间的网络是互通的，能够保证一个云服务器无法使用的时候，可以在另一个云服务器恢复所有容器就可以，从而相同业务可以部署到不同供应商或者不同区域的集群，实现多云容灾，业务稳定高可用。

在一个实施例中，目标云服务器包括多个目标主机；

根据业务请求部署业务实例容器，包括：

根据业务请求和各目标主机的第一负载信息，在第一负载信息低于第一预设值的至少一个目标主机上部署业务实例容器。

在本实施例中，目标云服务器中可以包含多个目标主机，第一负载信息指的是目标主机当前时刻正在处理的数据量的大小，第一预设值指的是用户设定的能够处理业务请求的最低负载标准。例如，华为云-北京CCE包括主机CCE1、主机CCE2和主机CCE3，其中主机CCE1第一负载信息为100M，主机CCE2第一负载信息为50M，主机CCE3第一负载信息为200M。当用户设定的第一预设值为90M时，只能在主机CCE1中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。当用户设定的第一预设值为110M时，可以在主机CCE1和/或主机CCE2中部署业务请求为《云上城之歌》的游戏数据统计对应的业务实例容器。

在本实施例中，根据业务请求与云服务器中各目标主机的第一负载信息，将业务请求对应的业务实例容器部署到第一负载信息低于预设值的目标主机中，使得部署时无需考虑业务请求的业务类型等内容，能够更好地提高业务请求处理的效率。

S13、目标云服务器根据业务请求部署业务实例容器，并将业务实例容器的运行状态发送至多个云服务器中的各监听云服务器。

其中，目标云服务器可以使用docker inspect来查看docker的底层信息，容器会返回一个JSON文件记录着docker容器的配置和状态信息，其中配置信息包含容器名、环境变量、运行命令、主机配置、网络配置和数据卷配置。还可以采用docker inspect nginx1来查看容器所有状态。目标云服务器查看到容器的运行状态后，可以将记录着容器运行状态的文件发送到云服务器中的监听云服务器中。其中，多个云服务器有对应的监听云服务器，可以为一个云服务器对应一个监听云服务器的方式，也可以为多个云服务器对应一个监听云服务器的方式，还可以为一个云服务器对应多个监听云服务器的方式。

在本实施例中，各监听云服务器通过连接反应式程控消息交换系统，即智能网关对业务实例容器的运行进行监听，并在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器。其中，对于监听云服务器通过智能网关对业务实例容器的监听方式，可以通过监听对应云服务器的一个或多个端口来进行监听，或者可以通过监听容器的访问端口来进行监听，例如，容器的访问端口设置方式为-pxxxx:8080端口，那么当有访问云服务器xxxx端口或者容器8080端口，监听云服务器通过智能网关接收。目标云服务器查看到容器的运行状态后，可以将记录着容器运行状态的文件发送到智能网关中，智能网关再发送到监听云服务器中。当监听云服务器接收到记录着容器运行状态的文件后，查看容器运行状态，当查看到容器运行状态出现异常后，通过智能网关从目标云服务器中获取业务请求，其中，可以在记录着容器运行状态的文件中进行相关标记，使得能够根据记录着容器运行状态的文件准确找到对应的云服务器，并从中获取业务请求。监听云服务器根据业务请求获取对应的业务实例容器后，可以在监听云服务器自身进行部署，也可以发送到其他监听云服务器中进行部署。

例如，监听云服务器A2通过连接智能网关，来监听云服务器A中的容器运行状态。云服务器A将记录着容器运行状态的JSON文件发送到智能网关中，智能网关再将文件转到监听云服务器A2中。此时JSON文件中显示网络配置异常，监听服务器A2可以根据智能网关中保存的业务请求分配到的云服务器标记ysczg-A，来找到对应的云服务器A，并从中获取《云上城之歌》的游戏数据统计的业务请求，此时可以将对应云服务器标记改为ysczg-A2，此时反应式程控消息交换系统将该业务请求对应的业务实例容器发送到监听云服务器A2，监听服务器A2接收到业务实例容器后进行安装部署。其中，多个云服务器对应监听云服务器，可以为一个云服务器对应一个监听云服务器的方式，也可以为多个云服务器对应一个监听云服务器的方式，还可以为一个云服务器对应多个监听云服务器的方式。

在一个实施例中，在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器，包括：

在监听到业务实例容器运行异常时，从镜像仓库中拉取docker镜像文件发送至至少一个监听云服务器中，以在接收到docker镜像文件的监听云服务器中部署业务实例容器。

在本实施例中，容器在独立的用于构建容器的服务器或者终端上进行构建，因此该服务器或者终端即为镜像仓库，docker镜像文件及docker容器的镜像，即容器的只读部分。本实施例中，镜像仓库可以有一个或者多个，并且目标云服务器可以向一个或者多个镜像仓库拉取镜像。所有容器都允许公网访问，所以容器之间的网络是互通的。监听云服务器，在监听到业务实例容器运行异常时，从镜像仓库中拉取docker镜像文件发送至至少一个监听云服务器中。其中，监听云服务器将docker镜像文件发送到的监听云服务器，可以随机选取，也可以依据各监听云服务器当前负载来选取，还可以依据业务请求的业务类型来选取。

在本实施例中，在各监听云服务器监听到业务实例容器运行异常时拉取对应的docker镜像文件到对应的监听云服务器中进行业务实例容器部署，使得将业务实例容器进行转移时不需要复制备份，能够提高部署的效率，并且节约存储空间。

S14、各监听云服务器通过反应式程控消息交换系统，对业务实例容器的运行进行监听，并在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并在至少一个监听云服务器中根据业务请求部署业务实例容器。

在上述实施例中，各云服务器通过统一的应用程序编程接口接入反应式程控消息交换系统，能够避免由于不同云平台之间的差异性导致业务无法在不同云平台之间转移，并且通过在云服务器中设置监听云服务器，在监听到业务实例容器运行异常时，通过反应式程控消息交换系统从目标云服务器中获取业务请求，并对业务请求进行部署，能够在某一云平台的容器出错时，将业务进行转移。整个容器部署系统能够使得容器出错时，让对应业务转移到不同云平台进行处理，增强了业务稳定性。

在一个实施例中，提供了一种计算机设备，如图3所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现容器部署方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行容器部署方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的服务调度装置可以实现为一种计算机程序的形式，计算机程序可在如图3所示的计算机设备上运行。计算机设备的存储器中可存储组成该服务调度装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的容器部署方法中的步骤。

在一个实施例中，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述容器部署方法的步骤。此处容器部署方法的步骤可以是上述各个实施例的容器部署方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述容器部署方法的步骤。此处容器部署方法的步骤可以是上述各个实施例的容器部署方法中的步骤。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本申请的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

Claims (12)

1.一种多云容器部署系统，其特征在于，包括：服务端、反应式程控消息交换系统和多个云服务器；

所述服务端通过所述反应式程控消息交换系统接入所述多个云服务器，所述多个云服务器通过所述反应式程控消息交换系统相互通信连接，各所述云服务器通过统一的应用程序编程接口接入所述反应式程控消息交换系统；

所述服务端用于接收用户发起的业务请求，为所述业务请求分配对应的云服务器标记，并将带有所述云服务器标记的所述业务请求发送至所述反应式程控消息交换系统；

所述反应式程控消息交换系统用于根据各所述业务请求的所述云服务器标记，将各所述业务请求发送至所述多个云服务器中的目标云服务器；

所述目标云服务器用于根据所述业务请求部署业务实例容器，并将所述业务实例容器的运行状态发送至所述多个云服务器中的各监听云服务器；

所述各监听云服务器用于通过所述反应式程控消息交换系统，对所述业务实例容器的运行进行监听，并在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器。

2.根据权利要求1所述的多云容器部署系统，其特征在于，所述服务端具体用于，为所述业务请求分配当前负载最低的所述云服务器的云服务器标记；或，

根据所述业务请求的业务类型，为所述业务请求分配对应的云服务器标记。

3.根据权利要求1所述的多云容器部署系统，其特征在于，所述目标云服务器具体用于：

根据所述业务请求，从镜像仓库中拉取对应的docker镜像文件，并根据所述docker镜像文件部署所述业务实例容器。

4.根据权利要求1或3所述的多云容器部署系统，其特征在于，所述目标云服务器包括多个目标主机；

所述目标云服务器具体用于，根据所述业务请求和各所述目标主机的第一负载信息，在所述第一负载信息低于第一预设值的至少一个所述目标主机上部署所述业务实例容器。

5.根据权利要求3所述的多云容器部署系统，其特征在于，所述各监听云服务器具体用于，在监听到所述业务实例容器运行异常时，从所述镜像仓库中拉取所述docker镜像文件发送至至少一个所述监听云服务器中，以在接收到所述docker镜像文件的所述监听云服务器中部署所述业务实例容器。

6.根据权利要求1或5所述的多云容器部署系统，其特征在于，所述监听云服务器包括至少一个监听主机；

各所述监听云服务器还用于，根据所述业务请求和各所述监听主机的第二负载信息，在所述第二负载信息低于第二预设值的至少一个所述监听主机上部署所述业务实例容器。

7.根据权利要求1所述的多云容器部署系统，其特征在于，所述反应式程控消息交换系统为基于RSocket协议的反应式程控消息交换系统。

8.一种如权利要求1-7任意一项所述的多云容器部署系统的容器部署方法，其特征在于，包括：

所述服务端接收用户发起的业务请求，为所述业务请求分配对应的云服务器标记，并将带有所述云服务器标记的所述业务请求发送至所述反应式程控消息交换系统；

所述反应式程控消息交换系统根据各所述业务请求的所述云服务器标记，将各所述业务请求发送至所述多个云服务器中的目标云服务器；

所述目标云服务器根据所述业务请求部署业务实例容器，并将所述业务实例容器的运行状态发送至所述多个云服务器中的各监听云服务器；

所述各监听云服务器通过所述反应式程控消息交换系统，对所述业务实例容器的运行进行监听，并在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器。

9.根据权利要求8所述的多云容器部署系统的容器部署方法，其特征在于，所述为所述业务请求分配对应的云服务器标记，包括：

为所述业务请求分配当前负载最低的所述云服务器的云服务器标记；或，

根据所述业务请求的业务类型，为所述业务请求分配对应的云服务器标记。

10.根据权利要求8所述的多云容器部署系统的容器部署方法，其特征在于，所述根据所述业务请求部署业务实例容器，包括：

根据所述业务请求，从镜像仓库中拉取对应的docker镜像文件，并根据所述docker镜像文件部署所述业务实例容器。

11.根据权利要求8或10所述的多云容器部署系统的容器部署方法，其特征在于，所述目标云服务器包括多个目标主机；

所述根据所述业务请求部署业务实例容器，包括：

根据所述业务请求和各所述目标主机的第一负载信息，在所述第一负载信息低于第一预设值的至少一个所述目标主机上部署所述业务实例容器。

12.根据权利要求10所述的多云容器部署系统的容器部署方法，其特征在于，所述在监听到所述业务实例容器运行异常时，通过所述反应式程控消息交换系统从所述目标云服务器中获取所述业务请求，并在至少一个所述监听云服务器中根据所述业务请求部署所述业务实例容器，包括：

在监听到所述业务实例容器运行异常时，从所述镜像仓库中拉取所述docker镜像文件发送至至少一个所述监听云服务器中，以在接收到所述docker镜像文件的所述监听云服务器中部署所述业务实例容器。