CN115268976A - 一种多数据中心采集Agent版本自动升级方法及其系统 - Google Patents

Abstract

本发明涉及一种多数据中心采集Agent版本自动升级方法及其系统，与现有技术相比解决了难以对采集Agent进行自动升级的缺陷。本发明包括以下步骤：进行初次采集Agent部署；采集Agent更新指令的发送；采集Agent新版的更新与启动；采集Agent升级工作的完成。本发明能够更安全快速地进行采集Agent的更新；采集Agent会在网络流量低的情况下下载安装包，不会对主要业务产生影响；发生下载中断时，能有效记录中断点，实现续传。

Description

一种多数据中心采集Agent版本自动升级方法及其系统

技术领域

本发明涉及数据中心技术领域，具体来说是一种多数据中心采集Agent版本自动升级方法及其系统。

背景技术

目前，随着互联网行业的迅速发展，各企事业单位都建立了自己的数据中心，为了监控数据中心各服务器、网络设备与应用等的运行状态，需要把监控采集Agent安装在数据中心的服务器上。随着数据中心数量的增长，往日由工程师依次给各个数据中心安装部署的方案已经无法继续实行，需要更安全更快速的方式来更新采集Agent的版本。

现有技术中，通过由工程师远程登录到数据中心的监控服务器，手动传输安装包文件、安装并执行程序的重启，从而完成单个采集Agent的更新。数据中心多了之后，该方式无法继续实行。

还有一种基于该方式的改进，即在采集Agent之外，额外安装一个更新程序，自动检查Agent的版本，并自动执行文件下载、更新程序与程序的重启。这种方式能完成程序的自动更新，减少了人力消耗，但是依旧需要重启程序，对使用产生了干扰。重启后的程序并不一定可以正常运行，当产生问题后，仍然需要工程师远程排查。与此同时，还存在数据中心无法连接外网，以及网络异常导致的中断问题，为采集Agent的升级带来诸多不便。

因此，如何快速且安全的对采集Agent进行更新，是当前需要解决的一个主要技术问题。

发明内容

本发明的目的是为了解决现有技术中难以对采集Agent进行自动升级的缺陷，提供一种多数据中心采集Agent版本自动升级方法及其系统来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种多数据中心采集Agent版本自动升级方法，包括以下步骤：

进行初次采集Agent部署：利用远程登录服务器进行Agent启动，并采集Agent内置更新程序，接收Server端发送的安装包与操作指令；

采集Agent更新指令的发送：在Server端配置待推送的数据中心，发送下载指令，采集Agent程序自动下载安装包；

采集Agent新版的更新与启动：新旧版本采集Agent共享配置缓存，旧版本的采集Agent执行安装包的更新，并在另一端口上启动新版本的采集Agent；进行新版本采集Agent的启动，读取缓存，开始监控数据的采集，并向Server端推送；

采集Agent升级工作的完成：Server端比对新旧版本采集Agent推送的数据，确认是否更新成功且运行正常。

所述采集Agent程序自动下载安装包括以下步骤：

设定通过堡垒机与外网连接，在堡垒机上部署Proxy，进行Agent与Server端数据传输的转发；

所述在堡垒机上部署Proxy包括以下步骤：

在采集Agent上配置Proxy的地址，在Proxy上配置Server的地址，Proxy同时与Agent及Server建立双向连接，接收数据并转发；

设定Proxy只进行数据转发，当前网络环境下采集Agent与Server直接连接通信；

采集Agent实时监测服务器的网络状态，当服务器处于网络流量较大的情况时，暂停安装包下载，等待网络带宽占用较小时，继续安装包的下载；

记录下载中断点：在更新程序自动暂停下载以及发生网络故障或其他原因导致下载中断时，记录当前下载的中断点，网络恢复后从中断点开始继续传输文件。

所述采集Agent升级工作的完成包括以下步骤：

Server端比对新旧版本采集Agent推送的数据；

若确认采集Agent更新成功，则下发指令停止旧版本采集Agent，备份旧版本软件包并卸载；

若确认采集Agent更新失败，则下发指令停止新版本程序运行，保存日志，由工程师下载日志排查完毕后，再重新推送修改后的安装包；

在Server端停止旧版本采集Agent数据前，新版本采集Agent上传的数据不进入生产数据库，直到确认新版本运行正常后才停止旧版本，开始存储新版本上传的数据。

所述记录下载中断点包括以下步骤：

Server端向采集Agent发送安装包文件大小fileSize；

采集Agent监测服务器CPU占用情况，分配多线程进行下载，设定单核CPU在不同CPU使用率下分配线程数，计算该服务器可分配用于下载的总线程数threadCount；

采集Agent对安装包进行分片下载，分片数为线程的倍数N，即

threadCount×N＝fragCount，

设定不同网络带宽使用率下可分配带宽的比重，计算当前可分配带宽bandwidth，根据可分配带宽大小与可分配用于下载的总线程数计算分片数fragCount与分片大小fragSize，

在下载的临时文件中，记录各个分片在整个文件中的索引范围及其当前已传输索引范围，当发生中断后继续下载时，读取各个分片的索引范围与已传输范围；

Server端在提供分片下载时，对整个文件与各个分片通过sha-512算法生成校验码来校验文件完整性，每个分片下载结束后Agent生成校验码与Server端发送的校验码进行核对，所有分片下载完成后合并成整个安装包，采集Agent生成校验码并与Server端发送的校验码核对，当所有校验码验证通过后，认为下载成功，否则重新下载。

一种多数据中心采集Agent版本自动升级系统，包括采集Agent、Web管理页面、Server程序、Proxy程序；

所述的采集Agent，是版本自动升级的主体，内置更新程序，接收Server下发的指令与下载安装包，允许新旧两个版本同时运行，自动完成自身的启动、关闭、备份与卸载；Web管理页面，在每次更新采集Agent时，由工程系配置需要更新的数据中心，以及下载采集Agent更新日志进行排查；Server程序，与采集Agent进行数据传输，下发指令控制采集Agent的更新过程；Proxy程序，在堡垒机上部署，仅用于Server端与采集Agent的数据转发。

有益效果

本发明的一种多数据中心采集Agent版本自动升级方法及其系统，与现有技术相比能够更安全快速地进行采集Agent的更新；采集Agent会在网络流量低的情况下下载安装包，不会对主要业务产生影响；发生下载中断时，能有效记录中断点，实现续传；新旧两个采集Agent同时运行，在确认新版本正常运行后关闭旧版本，不会发生数据丢失的情况，且旧版本关闭前，新版本的数据不会进行数据库，即使新版本异常，上传的数据对生产也不会产生影响。

本发明中的多数据中心采集Agent版本自动升级，可以实现工程师一键更新，无须登录到服务器上手动更新，且更新过程中无论成功失败，采集的数据上传不会中断，对数据中心的监测无影响。

附图说明

图1为本发明的方法顺序图；

图2为本发明中记录下载中断点步骤所涉及采集Agent下载安装包文件时对文件分片的过程图；

图3为本发明所涉及的采集Agent版本管理页面图；

图4为本发明所涉及的版本更新记录图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种多数据中心采集Agent版本自动升级方法，包括以下步骤：

第一步，进行初次采集Agent部署：利用远程登录服务器进行Agent启动，并采集Agent内置更新程序，接收Server端发送的安装包与操作指令。

第二步，采集Agent更新指令的发送。

在实际应用中，存在网络隔离的情况，即数据中心网络与外界不通，需要让数据中心内的agent与外网环境中的server连通，同时，安装包下载时，网络流量较大可能会影响正常业务运行；安装包下载也可能遇到网络异常或服务器异常被中断。因此，我们在Server端配置待推送的数据中心，发送下载指令，采集Agent程序自动下载安装包。

采集Agent程序自动下载安装包括以下步骤：

(1)设定通过堡垒机与外网连接，在堡垒机上部署Proxy，进行Agent与Server端数据传输的转发。

在堡垒机上部署Proxy包括以下步骤：

A1)在采集Agent上配置Proxy的地址，在Proxy上配置Server的地址，Proxy同时与Agent及Server建立双向连接，接收数据并转发；

A2)设定Proxy只进行数据转发，当前网络环境下采集Agent与Server直接连接通信。

(2)采集Agent实时监测服务器的网络状态，当服务器处于网络流量较大的情况时，暂停安装包下载，等待网络带宽占用较小时，继续安装包的下载。

(3)记录下载中断点：在更新程序自动暂停下载以及发生网络故障或其他原因导致下载中断时，记录当前下载的中断点，网络恢复后从中断点开始继续传输文件。

如图2所示，所述记录下载中断点包括以下步骤：

B1)Server端向采集Agent发送安装包文件大小fileSize；

B2)采集Agent监测服务器CPU占用情况，分配多线程进行下载，设定单核CPU在不同CPU使用率下分配线程数，计算该服务器可分配用于下载的总线程数threadCount；

B3)采集Agent对安装包进行分片下载，分片数为线程的倍数N，即

threadCount×N＝fragCount，

设定不同网络带宽使用率下可分配带宽的比重，计算当前可分配带宽bandwidth，根据可分配带宽大小与可分配用于下载的总线程数计算分片数fragCount与分片大小fragSize，

B4)在下载的临时文件中，记录各个分片在整个文件中的索引范围及其当前已传输索引范围，当发生中断后继续下载时，读取各个分片的索引范围与已传输范围；

B5)Server端在提供分片下载时，对整个文件与各个分片通过sha-512算法生成校验码来校验文件完整性，每个分片下载结束后Agent生成校验码与Server端发送的校验码进行核对，所有分片下载完成后合并成整个安装包，采集Agent生成校验码并与Server端发送的校验码核对，当所有校验码验证通过后，认为下载成功，否则重新下载。

第三步，采集Agent新版的更新与启动：新旧版本采集Agent共享配置缓存，旧版本的采集Agent执行安装包的更新，并在另一端口上启动新版本的采集Agent；进行新版本采集Agent的启动，读取缓存，开始监控数据的采集，并向Server端推送。

第四步，采集Agent升级工作的完成：Server端比对新旧版本采集Agent推送的数据，确认是否更新成功且运行正常。

(1)Server端比对新旧版本采集Agent推送的数据。

(2)若确认采集Agent更新成功，则下发指令停止旧版本采集Agent，备份旧版本软件包并卸载。

(3)若确认采集Agent更新失败，则下发指令停止新版本程序运行，保存日志，由工程师下载日志排查完毕后，再重新推送修改后的安装包。

(4)在Server端停止旧版本采集Agent数据前，新版本采集Agent上传的数据，不进入生产数据库，直到确认新版本运行正常后，才停止旧版本，开始存储新版本上传的数据。

在此，还提供一种多数据中心采集Agent版本自动升级系统，包括采集Agent、Web管理页面、Server程序、Proxy程序。

所述的采集Agent，是版本自动升级的主体，内置更新程序，接收Server下发的指令与下载安装包，允许新旧两个版本同时运行，自动完成自身的启动、关闭、备份与卸载；Web管理页面，在每次更新采集Agent时，由工程系配置需要更新的数据中心，以及下载采集Agent更新日志进行排查；Server程序，与采集Agent进行数据传输，下发指令控制采集Agent的更新过程；Proxy程序，在堡垒机上部署，仅用于Server端与采集Agent的数据转发。

如图3和图4所示，其均为采集点程序更新的web管理页面。其中图3是采集点程序的上传，可以看见程序的版本号、大小、启用状态等信息；图4中记录了程序在各个部署点的更新记录，并可以下载操作日志。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种多数据中心采集Agent版本自动升级方法，其特征在于，包括以下步骤：

11)进行初次采集Agent部署：利用远程登录服务器进行Agent启动，并采集Agent内置更新程序，接收Server端发送的安装包与操作指令；

12)采集Agent更新指令的发送：在Server端配置待推送的数据中心，发送下载指令，采集Agent程序自动下载安装包；

13)采集Agent新版的更新与启动：新旧版本采集Agent共享配置缓存，旧版本的采集Agent执行安装包的更新，并在另一端口上启动新版本的采集Agent；进行新版本采集Agent的启动，读取缓存，开始监控数据的采集，并向Server端推送；

14)采集Agent升级工作的完成：Server端比对新旧版本采集Agent推送的数据，确认是否更新成功且运行正常。

2.根据权利要求1所述的一种多数据中心采集Agent版本自动升级方法，其特征在于，所述采集Agent程序自动下载安装包括以下步骤：

21)设定通过堡垒机与外网连接，在堡垒机上部署Proxy，进行Agent与Server端数据传输的转发；

所述在堡垒机上部署Proxy包括以下步骤：

211)在采集Agent上配置Proxy的地址，在Proxy上配置Server的地址，Proxy同时与Agent及Server建立双向连接，接收数据并转发；

212)设定Proxy只进行数据转发，当前网络环境下采集Agent与Server直接连接通信；

22)采集Agent实时监测服务器的网络状态，当服务器处于网络流量较大的情况时，暂停安装包下载，等待网络带宽占用较小时，继续安装包的下载；

23)记录下载中断点：在更新程序自动暂停下载以及发生网络故障或其他原因导致下载中断时，记录当前下载的中断点，网络恢复后从中断点开始继续传输文件。

3.根据权利要求1所述的一种多数据中心采集Agent版本自动升级方法，其特征在于，所述采集Agent升级工作的完成包括以下步骤：

31)Server端比对新旧版本采集Agent推送的数据；

32)若确认采集Agent更新成功，则下发指令停止旧版本采集Agent，备份旧版本软件包并卸载；

33)若确认采集Agent更新失败，则下发指令停止新版本程序运行，保存日志，由工程师下载日志排查完毕后，再重新推送修改后的安装包；

34)在Server端停止旧版本采集Agent数据前，新版本采集Agent上传的数据不进入生产数据库，直到确认新版本运行正常后才停止旧版本，开始存储新版本上传的数据。

4.根据权利要求2所述的一种多数据中心采集Agent版本自动升级方法，其特征在于，所述记录下载中断点包括以下步骤：

41)Server端向采集Agent发送安装包文件大小fileSize；

42)采集Agent监测服务器CPU占用情况，分配多线程进行下载，设定单核CPU在不同CPU使用率下分配线程数，计算该服务器可分配用于下载的总线程数threadCount；

43)采集Agent对安装包进行分片下载，分片数为线程的倍数N，即

threadCount×N＝fragCount，

设定不同网络带宽使用率下可分配带宽的比重，计算当前可分配带宽bandwidth，根据可分配带宽大小与可分配用于下载的总线程数计算分片数fragCount与分片大小fragSize，

44)在下载的临时文件中，记录各个分片在整个文件中的索引范围及其当前已传输索引范围，当发生中断后继续下载时，读取各个分片的索引范围与已传输范围；

45)Server端在提供分片下载时，对整个文件与各个分片通过sha-512算法生成校验码来校验文件完整性，每个分片下载结束后Agent生成校验码与Server端发送的校验码进行核对，所有分片下载完成后合并成整个安装包，采集Agent生成校验码并与Server端发送的校验码核对，当所有校验码验证通过后，认为下载成功，否则重新下载。

5.一种多数据中心采集Agent版本自动升级系统，其特征在于：包括采集Agent、Web管理页面、Server程序、Proxy程序；

所述的采集Agent，是版本自动升级的主体，内置更新程序，接收Server下发的指令与下载安装包，允许新旧两个版本同时运行，自动完成自身的启动、关闭、备份与卸载；Web管理页面，在每次更新采集Agent时，由工程系配置需要更新的数据中心，以及下载采集Agent更新日志进行排查；Server程序，与采集Agent进行数据传输，下发指令控制采集Agent的更新过程；Proxy程序，在堡垒机上部署，仅用于Server端与采集Agent的数据转发。

Images