CN117290014A - 一种海外服务器部署方法、装置、设备和介质 - Google Patents

Abstract

本发明公开一种海外服务器部署方法、装置、设备和介质。该方法包括：接收国内服务器所发送的海外服务器部署的依赖包，根据业务需求配置依赖包中各个组件分别对应的参数信息，通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据对应的参数信息进行组件安装形成安装部署的集群规模资源。本发明实施例，根据业务需求配置海外服务器部署的依赖包中各个组件分别对应的参数信息，通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据参数信息进行组件安装形成集群规模资源，可解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。

Description

一种海外服务器部署方法、装置、设备和介质

技术领域

本发明涉及海外大数据技术领域，尤其涉及一种海外服务器部署方法、装置、设备和介质。

背景技术

基于我们海外云游业务区域不确定性、时间随机性的场景，大数据服务是一种需要具备快速服务、快速释放的能力。比如客户常有2个月、1个月甚至更短的诉求，则需在有限成本的提前下，构建满足运营、产品等团队的决策依据，现有技术中，一方面基于海外大数据服务的部署极少，另一方面，在进行海外大数据服务的部署时，通常出现资源成本高、部署时效长，因此，亟需一种海外服务器部署方法，以解决大数据服务资源成本较高、部署时效较长的问题。

发明内容

有鉴于此，本发明提供一种海外服务器部署方法、装置、设备和介质，能够解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。

根据本发明的一方面，本发明实施例提供了一种海外服务器部署方法，应用于海外分发服务器，所述方法包括：

接收国内服务器所发送的海外服务器部署的依赖包和应用包；

根据业务需求配置所述依赖包中各个组件分别对应的参数信息；

通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使所述目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源；

其中，所述集群规模资源包括监控服务器、集群服务器和可视化服务器；通过所述监控服务器统一监控所述集群服务器的第一监控指标以及所述集群服务器中各个组件的第二监控指标。

根据本发明的另一方面，本发明实施例还提供了一种海外服务器部署装置，应用于海外分发服务器，所述装置包括：

接收模块，用于接收国内服务器所发送的海外服务器部署的依赖包和应用包；

配置模块，用于根据业务需求配置所述依赖包中各个组件分别对应的参数信息；

部署模块，用于通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使所述目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源；

其中，所述集群规模资源包括监控服务器、集群服务器和可视化服务器；通过所述监控服务器统一监控所述集群服务器的第一监控指标以及所述集群服务器中各个组件的第二监控指标。

根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的海外服务器部署方法。

根据本发明的另一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的海外服务器部署方法。

本发明实施例的技术方案，根据业务需求配置海外服务器部署的依赖包中各个组件分别对应的参数信息，通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据对应的参数信息进行组件安装形成集群规模资源，可解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种海外服务器部署方法的流程图；

图2为本发明一实施例提供的另一种海外服务器部署方法的流程图；

图3为本发明一实施例提供的一种配置依赖包中各个组件分别对应的参数信息的示意图；

图4为本发明一实施例提供的一种国内服务器与国外服务器进行通信的示意图；

图5为本发明一实施例提供的一种安装部署的集群规模资源的示意图；

图6为本发明一实施例提供的一种海外服务器部署装置的结构框图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在一实施例中，图1为本发明一实施例提供的一种海外服务器部署方法的流程图，本实施例可适用于对轻量级大数据服务进行海外部署时的情况，该方法可以由海外服务器部署装置来执行，该海外服务器部署装置可以采用硬件和/或软件的形式实现，该海外服务器部署装置可配置于电子设备中。

如图1所示，本实施例中海外服务器部署方法，所述方法，具体步骤包括：

S110、接收国内服务器所发送的海外服务器部署的依赖包。

其中，依赖包中至少包括四个组件，组件至少包括：Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件。

在本实施例中，可以在国内办公网选择一台服务器，在该服务器上编译、打包好大数据服务海外部署相关的依赖包，并开发构建该依赖包对应的上传脚本，然后通过公网的方式和上传脚本将相关依赖包传输到所在海外区域的一台分发服务器上，海外服务器的集群中确保仅有一台分发服务器可同国内服务器通信，本实施例中，可同国内通信的服务器会暴露相应的通信端口给国内服务器，海外分发服务器通过暴露通信端口接收国内服务器通过公网所发送的海外服务器部署的依赖包。

S120、根据业务需求配置依赖包中各个组件分别对应的参数信息。

其中，参数信息至少包括：各组件分别对应的安装角色、目标服务器列表、配置文件、执行文件。本实施例中，每个组件均对应相应的参数信息。

在本实施例中，业务需求可以包括但不限于用户需求、租户数据量动态，可以依据业务需求确定依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色，构建每个组件所分别对应的核心配置文件，配置各安装角色分别所部署安装的目标服务器地址、目标服务器名称，配置安装角色对应的执行文件，将核心配置文件、目标服务器列表和执行文件存入各安装角色分别所依赖的项目目录中。在一些实施例中，也可以通过基于设定规则分析确定服务个性化配置输入参数，拉取标准化通用配置组件，并对配置组件进行组件配置，得到个性化配置数据，以作为各个组件分别对应的参数信息。

S130、通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源。

其中，自定义脚本指令可以理解为用户组定义的脚本命令，示例性的，自定义脚本指令可以为launch.sh脚本执行命令。本实施例中，目标服务器为多个服务器，每个服务器均对应相应的参数信息。

在本实施例中，集群规模资源中至少包括监控服务器、集群服务器和可视化服务器，其中，监控服务器可以为中可以包括但不限于集群服务器中每个节点的exporter、大数据中心的prometheus，配置告警的server；可以通过监控服务器统一监控集群服务器的第一监控指标以及集群服务器中各个组件的第二监控指标。可以理解为，监控服务器也可以称为monitor，可以统一监控目录主要是保障组件稳定性，同样针对所需组件构建标准化的核心配置，在大数据服务之外独立的服务器上安装部署监控相关的组件。其中，所有大数据服务组件都会自定义对应的exporter便于监控指标统一收集。

在一些实施例中，集群服务器的监控服务至少包括：各集群服务器分别对应的exporter；集群服务器中各个组件的监控服务至少包括：Kafka集群服务器中各个Kafka消息队列组件的exporter、Doris集群服务器中各个Doris组件的exporter、zk集群服务器中各个zk组件的exporter、Flink集群服务器中各个flink组件的exporter、大数据中心的prometheus，配置告警的server；第一监控指标和第二监控指标通过预先构建监控指标对应的标准化看板生成Grafana模版，并通过Grafana模版展示。

在本实施例中，第一监控指标至少包括：cpu、内存、网络、磁盘、i\o；kafka集群对应的第二监控指标至少包括：消息队列读写速率、消息挤压情况；flink集群对应的第二监控指标至少包括：机器系统指标、任务运行健康状态、组件内存及计算性能指标；Doris集群对应的第二监控指标包括：进程监控指标和查询读写指标；zk集群对应的第二监控指标至少包括：节点活跃数、副节点数、收包数、发包数、平均延时、最大延时、最小延时；

在一些实施例中，监控服务器、至少两个集群服务器与海外分发服务器同属于一个子网，子网中各个服务器通过自定义脚本实现免密通信，本实施例中，监控服务器中的各个监控组件和至少两个集群服务器中的服务组件统一构建systemd的service服务，统一设置开机自动启动，服务进程失败重新拉起。可以理解为，在部署海外服务器的时候，所有的服务器在部署的时候需要构建一个资源组，该资源组可以把所有的海外服务器统一绑定到同一个子网网站中，相关所有大数据服务组件都会统一构建systemd的service服务，组件均设置开机自动启动，服务进程失败重新拉起等，确保所有组件服务均是高可用，失败某个实例不会影响到整体任务。

在本实施例中，可以依据各集群服务器中不同集群服务器之间的依赖关系，通过自定义脚本指令和依赖关系将各集群服务器中各个组件对应的参数信息拷贝到各目标服务器中的目标安装目录中，以使各目标服务器依据依赖关系和目标安装目录以进行组件安装形成安装部署的集群规模资源；在一些实施例中，也可以通过launch.sh脚本执行命令将各个服务器分别对应的参数信息分发至对应的服务器中形成一个节点，确定相同节点分别对应的集群服务器部署实例、监控服务器部署实例和可视化服务器部署实例，按照预设模版将集群服务器部署实例、监控服务器部署实例和可视化服务器部署实例进行组件安装，以形成安装部署的集群规模。本实施例在此不做限制。

本发明实施例的技术方案，根据业务需求配置海外服务器部署的依赖包中各个组件分别对应的参数信息，通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据参数信息进行组件安装形成集群规模资源，可解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。。

在一些实施例中，通过自定义脚本指令将参数信息分发至对应的目标服务器中以进行组件安装形成安装部署的集群规模资源之后，还包括：

接收国内服务器所发送的海外服务器部署的应用包，并将应用包集成在集群服务器中flink集群的主节点，通过自定义脚本指令启动flink任务以进行应用服务的部署；

其中，应用服务的部署包括：收集海外用户云游所产生sdk日志信息；按照预设维度对sdk日志信息进行日志聚合得到聚合结果，并将聚合结果保存至Doris中；在聚合结果超过预先配置的告警阈值的情况下，进行告警并将告警信息发送至消息队列中并触达终端。预设维度可以包括但不限于预设时间维度、服务器维度和租户维度。

其中，应用包可以理解为基于flink的组件打成的一些应用的任务，应用包需要基于部署的架构体系进行运行。

在本实施例中，接收国内服务器所发送的海外服务器部署的应用包，并将应用包集成在集群服务器中flink集群的主节点，通过自定义脚本指令启动flink任务以进行应用服务的部署。

需要说明的是，应用服务的部署包括：收集海外用户云游所产生sdk日志信息；按照预设时间维度、服务器维度和租户维度中任意一种或多种维度对sdk日志信息进行日志聚合得到聚合结果，并将聚合结果保存至Doris中；在聚合结果超过预先配置的告警阈值的情况下，进行告警并将告警信息发送至消息队列中并触达终端；本实施例中，聚合结果包括预设时间内sdk日志信息的错误码结果、帧率结果、测速超时结果。本实施例中，可以基于部署的flink组件开发Flink任务字段，该任务字段可以包括但不限于机型、平台，分辨率、游戏id、节点、运营商等等，每个字段对应的解析规则可以根据需求进行预先配置，比如错误码、节点数、租户等进行统计、事件窗口的统计等的呢，在发现异常时，及时进行通知。

在一些实施例中，所述方法，还包括：

根据业务需求动态调整集群规模资源中的监控服务器和集群服务器数量，以及监控服务器和集群服务器分别所需的参数信息。

在本实施例中，可以根据业务需求动态调整集群规模资源中的监控服务器和集群服务器数量，以及监控服务器和所述集群服务器分别所需的参数信息，可实现基于数据量变化的伸缩集群规模；其中，业务需求至少包括：用户需求、租户数据量动态。可以理解为，部署规模将会通过用户需求，租户数据量等不同决定，可以动态的调整集群要数据的实例及各个服务器所需的配置。

在一些实施例中，所述方法，还包括：

在达到海外服务器部署的服务期结束时，通过数据备份导出工具将Doris存储引擎组件中所包含的云游行为有效数据导出成数据文件，并将数据文件统一上传至数据中心的备份机上；

数据文件上传完毕后，释放服务器资源；其中，释放服务器资源的顺序为：先释放Flink集群服务器、Kafka集群服务器，再释放监控服务器，最后释放Doris集群服务器和Superset；其中，监控服务器中包括Prometheus、Exporter、Grafana、告警Server。

在本实施例中，在达到海外服务器部署的服务期结束时，通过数据备份导出工具将Doris存储引擎组件中所包含的云游行为有效数据导出成数据文件，并将数据文件统一上传至数据中心的备份机上；在数据文件上传完毕后，按照所收集的日志聚合结果、消息队列、监控、存储以及可视化分别所在的集群服务器的顺序依次释放服务器资源；其中，释放服务器资源的顺序为：先销毁Flink集群、Kafka集群，再销毁Prometheus、Exporter、告警Server，最后销毁Doris、Superset；可以理解为，在客户服务期结束时，首先确保期间产生数据的完整性、正确性，把Doris里有效的数据通过数据备份导出工具先导出成普通文件，再将普通文件统一的上传至我们数据中心的备份机，便于未来再分析查询的场景可快速恢复复现；然后按计算、消息队列、监控、存储、可视化的所在的服务器顺序释放资源，即先销毁Flink集群、Kafka集群，再销毁Prometheus、Exporter、告警Server，最后销毁Doris、Superset。本实施例中，在服务组件销毁之后，还可以依据本期时段，通过API接口拉取所属资源组的相关账单费用，分析总结。

在一实施例中，图2为本发明一实施例提供的另一种海外服务器部署方法的流程图，本实施例在上述各实施例的基础上，对根据业务需求配置依赖包中各个组件分别对应的参数信息，以及通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源进行了进一步的细化。

如图2所示，本实施例中的海外服务器部署方法，具体可以包含如下步骤：

S210、接收国内服务器所发送的海外服务器部署的依赖包。

S220、依据业务需求确定依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色。

在本实施例中，依据业务需求确定依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色。示例性的：需要安装Flink的组件，Flink组件有两个角色，对于不同的角色需要配置两个yaml的配置。

S230、在预设标准化组件配置目录中构建Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、可视化组件以及监控组件分别对应的核心配置文件。

在本实施例中，在预设标准化组件配置目录中构建Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、可视化组件以及监控组件分别对应的核心配置文件，可以理解为，在项目目录里会提前标准化好不同环境下各个组件需要构建的核心配置，可通过脚本拷贝到目标安装目录，并覆盖原有配置。

在本实施例中，Kafka消息队列组件的核心配置包括：当前实例的序号、监听的地址；Flink组件的核心配置包括：主节点、从节点、内存、数据目录存储、元数据存储、日志输出的log存储；Doris存储引擎组件的核心配置包括：be和fe；Zookeeper组件的核心配置包括：server参数，指定每个实例的id、主机名和通信端口；监控组件的核心配置包括：需要进行监控采集的节点名称、数量、端口号。

S240、配置各安装角色分别所部署安装的目标服务器列表。

在本实施例中，在hosts文件里可以提前配置规划好各个组件所需要要部署安装的服务器列表。其中，目标服务器列表种包括至少两个服务器，目标服务器列表中包括组件进行分发的目标服务器地址、目标服务器名称。

S250、配置安装角色对应的执行文件。

在本实施例中，配置安装角色对应的执行文件，可以理解为，组件要执行的动作可以在roles/flink/tasks/main.yml的配置文件里开发封装，有包括上传、分发、解压、创建目录、授权、进入目录，移动、拷贝、执行、启动等各种动作，主要目的可根据要安装的组件自动化的完成所需要的执行动作。其中，所述执行文件中包括各组件执行的操作；其中，所述操作至少包括：上传、分发、解压、创建目录、授权、进入目录，移动、拷贝、执行、启动。

S260、将核心配置文件、目标服务器列表和执行文件存入安装角色所依赖的项目目录中。

在本实施例中，将核心配置文件、目标服务器列表和执行文件存入所述安装角色所依赖的项目目录中。用户可以通过launch.sh脚本执行命令如`bash launch.sh flink-jobmanager.yml true install`,参数包含具体要执行的组件flink-jobmanager，true/false是否真正执行，install/upgrade可以指定要执行的特定动作，亦可以不传则执行所有的动作。

在一实施例中，为便于更好的理解配置依赖包中各个组件分别对应的参数信息，图3为本发明一实施例提供的一种配置依赖包中各个组件分别对应的参数信息的示意图，如图3所示，包括了指定安装角色的配置、指定目标服务器的配置、组件的标准化配置(生产环境、测试环境等)以及统一监控的配置。

S270、确定各集群服务器中不同集群服务器之间的依赖关系。

其中，依赖关系指的是各个服务器之间的相互依赖关系。示例性的，Flink集群服务器依赖于zk集群服务器，则在进行部署的时候先部署zk集群服务器，在部署Flink集群服务器。又如，Flink集群服务器、Kafka集群服务器、Doris集群服务器和zk集群服务器均依赖于监控服务器，则先进行部署监控服务器，在根据Flink集群服务器、Kafka集群服务器、Doris集群服务器和zk集群服务器之间的依赖关系进行相应的部署。

在本本实施例中，确定各集群服务器中不同集群服务器之间的依赖关系。在一些实施例中，集群服务器至少包括：Flink集群服务器、Kafka集群服务器、Doris集群服务器和zk集群服务器；在一些实施例中，监控服务器、至少两个集群服务器与海外分发服务器同属于一个子网，子网中各个服务器通过自定义脚本实现免密通信；监控服务器中的各个监控组件和至少两个集群服务器中的服务组件统一构建systemd的service服务，统一设置开机自动启动，服务进程失败重新拉起。

S280、通过自定义脚本指令将各集群服务器中各个组件对应的参数信息拷贝到各目标服务器中的目标安装目录中，以使各目标服务器依据依赖关系和目标安装目录以进行组件安装形成安装部署的集群规模资源。

在本实施例中，可以通过自定义脚本指令将各集群服务器中各个组件对应的参数信息拷贝到各目标服务器中的目标安装目录中，以使各目标服务器依据依赖关系和目标安装目录以进行组件安装形成安装部署的集群规模资源。

在一实施例中，为便于更好的理解通过自定义脚本指令将各集群服务器中各个组件对应的参数信息拷贝到各目标服务器中的目标安装目录，以及安装部署的集群规模资源，图4为本发明一实施例提供的一种国内服务器与国外服务器进行通信的示意图，图5为本发明一实施例提供的一种安装部署的集群规模资源的示意图。如图4所示，确保海外大数据相关服务器在同一个子网且构建统一的用户实现操作免密，在接收到大数据相关依赖包的服务器上，通过自动化分发安装脚本分别指定要安装的组件及目标服务器地址，快速构建包括Kafka消息队列、Zookeeper、实时Flink组件、Doris存储引擎等依托的组件，实现自动化的快速安装。如图5所示，主要描述大数据服务各个组件需要安装部署的集群规模，如消息队列kafka集群部署3个实例；

Zookeeper集群部署3个实例；Flink集群按两个Jobmanager部署HA，三个Taskmanager部署，Doris集群则将FE、BE同时混部在相同三个实例里；自身监控的组件则独立部署在服务器上，以免影响到数据集群的稳定性，当然，以上部署规模将会通过用户需求，租户数据量等不同决定，动态的调整集群要数据的实例及各个服务器所需的配置。

本实施例的上述技术方案，依据业务需求确定依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色；在预设标准化组件配置目录中构建Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、可视化组件以及监控组件分别对应的核心配置文件；配置各安装角色分别所部署安装的目标服务器列表；配置安装角色对应的执行文件，将核心配置文件、目标服务器列表和执行文件存入所述安装角色所依赖的项目目录中，确定各集群服务器中不同集群服务器之间的依赖关系，通过自定义脚本指令将各集群服务器中各个组件对应的参数信息拷贝到各目标服务器中的目标安装目录中，以使各目标服务器依据依赖关系和目标安装目录以进行组件安装形成安装部署的集群规模资源可进一步解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。

在一实施例中，图6为本发明一实施例提供的一种海外服务器部署装置的结构框图，该装置适用于对轻量级大数据服务进行海外部署时的情况，该装置可以由硬件/软件实现。可配置于电子设备中来实现本发明实施例中的一种海外服务器部署处理方法。

如图6所示，该装置包括：接收模块610、配置模块620和部署模块630。

其中，接收模块610，用于接收国内服务器所发送的海外服务器部署的依赖包；

配置模块620，用于根据业务需求配置所述依赖包中各个组件分别对应的参数信息；

部署模块630，用于通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使所述目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源；

其中，所述集群规模资源包括监控服务器、集群服务器和可视化服务器；通过所述监控服务器统一监控所述集群服务器的第一监控指标以及所述集群服务器中各个组件的第二监控指标。

本发明实施例，配置模块，根据业务需求配置海外服务器部署的依赖包中各个组件分别对应的参数信息，部署模块，通过自定义脚本指令将各参数信息分发至对应的目标服务器中，以使目标服务器根据对应的参数信息进行组件安装形成集群规模资源，可解决大数据服务资源成本较高、部署时效较长的问题，以轻量级架构高效部署组件，确保有效资源利用率，节约使用成本。

在一实施例中，所述装置，还包括：

应用部署模块，用于所述通过自定义脚本指令将所述参数信息分发至对应的目标服务器中以进行组件安装形成安装部署的集群规模资源之后，接收国内服务器所发送的海外服务器部署的应用包，并将所述应用包集成在所述集群服务器中flink集群的主节点，通过自定义脚本指令启动flink任务以进行应用服务的部署；

其中，所述应用服务的部署包括：收集海外用户云游所产生sdk日志信息；按照预设维度对所述sdk日志信息进行日志聚合得到聚合结果，并将所述聚合结果保存至Doris中；在所述聚合结果超过预先配置的告警阈值的情况下，进行告警并将告警信息发送至消息队列中并触达终端。

在一实施例中，所述装置，还包括：

调整模块，用于根据所述业务需求动态调整所述集群规模资源中的监控服务器和集群服务器数量，以及所述监控服务器和所述集群服务器分别所需的参数信息。

在一实施例中，所述装置，还包括：

导出模块，用于在达到海外服务器部署的服务期结束时，通过数据备份导出工具将Doris存储引擎组件中所包含的云游行为有效数据导出成数据文件，并将所述数据文件统一上传至数据中心的备份机上；

释放模块，用于所述数据文件上传完毕后，释放服务器资源；其中，所述释放服务器资源的顺序为：先释放Flink集群服务器、Kafka集群服务器，再释放监控服务器，最后释放Doris集群服务器和Superset；其中，监控服务器中包括Prometheus、Exporter、告警Server。

在一实施例中，所述集群服务器的监控服务至少包括：各所述集群服务器分别对应的exporter；所述集群服务器中各个组件的监控服务至少包括：所述Kafka集群服务器中各个Kafka消息队列组件的exporter、所述Doris集群服务器中各个Doris组件的exporter、所述zk集群服务器中各个zk组件的exporter、所述Flink集群服务器中各个flink组件的exporter、大数据中心的prometheus，配置告警的server；

所述第一监控指标和所述第二监控指标通过预先构建监控指标对应的标准化看板生成Grafana模版，并通过Grafana模版展示。

在一实施例中，配置模块620，包括：

角色确定单元，用于依据业务需求确定所述依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色；

构建单元，用于在预设标准化组件配置目录中构建所述Kafka消息队列组件、所述Zookeeper组件、所述Flink组件、所述Doris存储引擎组件、可视化组件以及所述监控组件分别对应的核心配置文件；

服务器配置单元，用于配置各所述安装角色分别所部署安装的目标服务器列表；其中，所述目标服务器列表种包括至少两个服务器，所述目标服务器列表中包括组件进行分发的目标服务器地址、目标服务器名称；

文件配置单元，用于配置所述安装角色对应的执行文件，其中，所述执行文件中包括各所述组件执行的操作；其中，所述操作至少包括：上传、分发、解压、创建目录、授权、进入目录，移动、拷贝、执行、启动；

存入单元，用于将所述核心配置文件、目标服务器列表和所述执行文件存入所述安装角色所依赖的项目目录中。

在一实施例中，所述集群服务器至少包括：Flink集群服务器、Kafka集群服务器、Doris集群服务器和zk集群服务器，相应的，部署模块630，包括：

关系确定单元，用于确定各所述集群服务器中不同集群服务器之间的依赖关系；

部署单元，用于通过所述自定义脚本指令将各所述集群服务器中各个组件对应的参数信息拷贝到各所述目标服务器中的目标安装目录中，以使各所述目标服务器依据所述依赖关系和所述目标安装目录以进行组件安装形成安装部署的集群规模资源。

在一实施例中，所述监控服务器、至少两个集群服务器与所述海外分发服务器同属于一个子网，所述子网中各个服务器通过自定义脚本实现免密通信；

所述监控服务器中的各个监控组件和至少两个集群服务器中的服务组件统一构建systemd的service服务，统一设置开机自动启动，服务进程失败重新拉起。

本发明实施例所提供的海外服务器部署装置可执行本发明任意实施例所提供的海外服务器部署处理方法，具备执行方法相应的功能模块和有益效果。

在一实施例中，图7为本发明实施例提供的一种电子设备的结构示意图。电子设备10旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如海外服务器部署方法。

在一些实施例中，海外服务器部署处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的海外服务器部署方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行海外服务器部署方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程海外服务器部署装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种海外服务器部署方法，其特征在于，应用于海外分发服务器，所述方法，包括：

接收国内服务器所发送的海外服务器部署的依赖包；

根据业务需求配置所述依赖包中各个组件分别对应的参数信息；

通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使各所述目标服务器根据所述参数信息进行组件安装形成安装部署的集群规模资源；

其中，所述集群规模资源包括监控服务器、集群服务器和可视化服务器；通过所述监控服务器统一监控所述集群服务器的第一监控指标以及所述集群服务器中各个组件的第二监控指标。

2.根据权利要求1所述的方法，其特征在于，所述通过自定义脚本指令将所述参数信息分发至对应的目标服务器中以进行组件安装形成安装部署的集群规模资源之后，还包括：

接收国内服务器所发送的海外服务器部署的应用包，并将所述应用包集成在所述集群服务器中Flink集群的主节点，通过自定义脚本指令启动Flink任务以进行应用服务的部署；

其中，所述应用服务的部署包括：收集海外用户云游所产生sdk日志信息；按照预设维度对所述sdk日志信息进行日志聚合得到聚合结果，并将所述聚合结果保存至Doris中；在所述聚合结果超过预先配置的告警阈值的情况下，进行告警并将告警信息发送至消息队列中并触达终端。

3.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

根据所述业务需求动态调整所述集群规模资源中的监控服务器和集群服务器数量，以及所述监控服务器和所述集群服务器分别所需的参数信息。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法，还包括：

在达到海外服务器部署的服务期结束时，通过数据备份导出工具将Doris存储引擎组件中所包含的云游行为有效数据导出成数据文件，并将所述数据文件统一上传至数据中心的备份机上；

所述数据文件上传完毕后，释放服务器资源；其中，所述释放服务器资源的顺序为：先释放Flink集群服务器、Kafka集群服务器，再释放监控服务器，最后释放Doris集群服务器和Superset；其中，所述监控服务器中包括Prometheus、Exporter、Grafana、告警Server。

5.根据权利要求1所述的方法，其特征在于，所述集群服务器的监控服务至少包括：各所述集群服务器分别对应的exporter；所述集群服务器中各个组件的监控服务至少包括：Kafka集群服务器中各个Kafka消息队列组件的exporter、Doris集群服务器中各个Doris组件的exporter、zk集群服务器中各个zk组件的exporter、Flink集群服务器中各个flink组件的exporter、大数据中心的prometheus、配置告警的server；

所述第一监控指标和所述第二监控指标通过预先构建监控指标对应的标准化看板生成Grafana模版，并通过Grafana模版展示。

6.根据权利要求1所述的方法，其特征在于，所述参数信息至少包括：各所述组件分别对应的安装角色、目标服务器列表、核心配置文件、执行文件；相应的，所述根据业务需求配置所述依赖包中各个组件分别对应的参数信息，包括：

依据业务需求确定所述依赖包中Kafka消息队列组件、Zookeeper组件、Flink组件、Doris存储引擎组件、监控组件以及可视化组件分别对应的安装角色；

在预设标准化组件配置目录中构建所述Kafka消息队列组件、所述Zookeeper组件、所述Flink组件、所述Doris存储引擎组件、可视化组件以及所述监控组件分别对应的核心配置文件；

配置各所述安装角色分别所部署安装的目标服务器列表；其中，所述目标服务器列表种包括至少两个服务器，所述目标服务器列表中包括组件进行分发的目标服务器地址、目标服务器名称；

配置所述安装角色对应的执行文件，其中，所述执行文件中包括各所述组件执行的操作；其中，所述操作至少包括：上传、分发、解压、创建目录、授权、进入目录，移动、拷贝、执行、启动；

将所述核心配置文件、目标服务器列表和所述执行文件存入所述安装角色所依赖的项目目录中。

7.根据权利要求1所述的方法，其特征在于，所述集群服务器至少包括：Flink集群服务器、Kafka集群服务器、Doris集群服务器和zk集群服务器，相应的，所述通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使所述目标服务器根据对应的参数信息进行组件安装形成安装部署的集群规模资源，包括：

确定各所述集群服务器中不同集群服务器之间的依赖关系；

通过所述自定义脚本指令将各所述集群服务器中各个组件对应的参数信息拷贝到各所述目标服务器中的目标安装目录中，以使各所述目标服务器依据所述依赖关系和所述目标安装目录以进行组件安装形成安装部署的集群规模资源。

8.根据权利要求1所述的方法，其特征在于，所述监控服务器、至少两个集群服务器与所述海外分发服务器同属于一个子网，所述子网中各个服务器通过自定义脚本实现免密通信；

所述监控服务器中的各个监控组件和至少两个集群服务器中的服务组件统一构建systemd的service服务，统一设置开机自动启动，服务进程失败重新拉起。

9.一种海外服务器部署装置，其特征在于，应用于海外分发服务器，所述装置，包括：

接收模块，用于接收国内服务器所发送的海外服务器部署的依赖包；

配置模块，用于根据业务需求配置所述依赖包中各个组件分别对应的参数信息；

部署模块，用于通过自定义脚本指令将各所述参数信息分发至对应的目标服务器中，以使所述目标服务器根据参数信息进行组件安装形成安装部署的集群规模资源；

其中，所述集群规模资源包括监控服务器、集群服务器和可视化服务器；通过所述监控服务器统一监控所述集群服务器的第一监控指标以及所述集群服务器中各个组件的第二监控指标。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的海外服务器部署方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的海外服务器部署方法。