CN113703863B

CN113703863B - 一种集群信息归档方法、系统、存储介质及设备

Info

Publication number: CN113703863B
Application number: CN202110875730.6A
Authority: CN
Inventors: 韩宾
Original assignee: Jinan Inspur Data Technology Co Ltd
Current assignee: Jinan Inspur Data Technology Co Ltd
Priority date: 2021-07-30
Filing date: 2021-07-30
Publication date: 2023-12-22
Anticipated expiration: 2041-07-30
Also published as: CN113703863A

Abstract

本发明提供了一种集群信息归档方法、系统、存储介质及设备，方法包括：对集群的待归档信息进行收集以生成归档信息配置文件并将其分发至集群的各个节点；将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。本发明提高了集群信息归档的便捷性和灵活性。

Description

一种集群信息归档方法、系统、存储介质及设备

技术领域

本发明涉及集群技术领域，尤其涉及一种集群信息归档方法、系统、存储介质及设备。

背景技术

随着近年来信息的爆发式增长，互联网对于海量存储的需求越来越大，单个存储集群的节点数量从数个节点逐渐增长至数百节点，不同的服务会部署在不同的集群节点上。因此这些服务的配置文件以及服务运行过程中所产生的日志文件也就分散在了不同的节点上。随着集群运行时间的增长以及集群节点的扩缩容，有可能因为各节点配置文件的差异或错误导致功能异常。

在集群中单个节点可能具有不同的服务或功能，因此集群中的每个节点中的服务会产生不同的日志以及配置文件。面对大规模集群(数百个节点)产生的海量日志，常见的解决思路是建立日志收集系统，将所有节点上的日志进行统一收集。常用的日志收集系统有Flume、ELK等。但这些日志收集系统也有自身的缺陷，例如无法收集集群上各个服务的配置文件，另外，Fulme、ELK的可视化界面需要单独进行配置而且仅能通过其提供的web页面查看，当脱离日志系统后其可视化页面无法使用。

发明内容

有鉴于此，本发明的目的在于提出一种集群信息归档方法、系统、存储介质及设备，用以解决现有技术中集群信息归档不便的问题。

基于上述目的，本发明提供了一种集群信息归档方法，包括以下步骤：

对集群的待归档信息进行收集以生成归档信息配置文件，并将归档信息配置文件分发至集群的各个节点；

将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；

将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；

响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验包括：

将每个节点的归档文件及对应的第一消息摘要推送至信息汇总节点，且由信息汇总节点对接收的每个归档文件生成对应的第二消息摘要；

判断各第一消息摘要与对应的第二消息摘要是否相同。

在一些实施例中，响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告包括：

响应于各第一消息摘要与对应的第二消息摘要均相同，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，方法还包括：

响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至信息汇总节点并再次进行校验，直至该节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点还包括：

将每个节点的归档文件分别划分为若干份，并将若干份归档文件分别推送至信息汇总节点。

在一些实施例中，方法还包括：

将各节点的归档文件的存储位置信息分别存放至内存数据库中。

在一些实施例中，方法还包括：

通过可视化界面展示集群的待归档信息的各归档项的名称、归档等级以及归档概要说明。

本发明的另一方面，还提供了一种集群信息归档系统，包括：

分发模块，配置用于对集群的待归档信息进行收集以生成归档信息配置文件，并将归档信息配置文件分发至集群的各个节点；

读取模块，配置用于将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

归档文件生成模块，配置用于由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；

校验模块，配置用于将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；以及

报告生成模块，配置用于响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

本发明通过对集群的待归档信息进行收集并生成归档信息配置文件且将其分发到集群的各节点，并在各节点接收到归档任务后加载归档配置文件且从其中读取本节点待执行的归档信息，可以将集群层面的归档信息统一放至节点层面后由各节点获取各自的信息，便于信息的集中管理和分配；通过将本节点待执行的归档信息生成归档文件并推送到信息汇总节点且对其进行校验，可以保证信息的准确性和完整性；通过将校验成功的归档文件生成报告，便于对收集的信息进行查看。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的集群信息归档方法的示意图；

图2为根据本发明实施例提供的集群信息归档系统的示意图；

图3为根据本发明实施例提供的实现集群信息归档方法的计算机可读存储介质的示意图；

图4为根据本发明实施例提供的执行集群信息归档方法的计算机设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种集群信息归档方法的实施例。图1示出的是本发明提供的集群信息归档方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、对集群的待归档信息进行收集以生成归档信息配置文件，并将归档信息配置文件分发至集群的各个节点；

步骤S20、将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

步骤S30、由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；

步骤S40、将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；

步骤S50、响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。

本实施例中，对于归档任务分发，集群信息收集技术基于rabbitmq实现了rpc功能，可通过rabbitmq将归档任务分发至集群下所有节点，并可接收节点返回的执行结果信息。采用rabbitmq的优势有两个，一是实现并发分发归档任务；二是避免整个系统线程的泛滥。

本实施例还采取了单节点执行归档任务，即节点在接收到信息归档任务后加载归档信息配置文件，读取该节点所需要执行的归档的信息并形成归档命令且执行，归档命令执行完成后生成归档文件并发送推送指令至信息汇总节点。

在另一实施例中，归档任务被分发至集群的各节点之前，将归档任务加入到了后台任务管理器。后台任务管理器的主要功能一是将阻塞耗时任务异步化，二是断点执行。归档任务异步化的目的是避免由于归档任务时间过长引起页面其他功能阻塞。任务断点执行功能是指当集群断电或其他情况导致后台任务中断，在集群恢复后可将未执行完成的任务自动拉起继续执行。

本实施例中，生成的报告包括但不限于html报告。html报告包含导航栏、集群归档信息汇总、归档信息明细。html报告有两种查看方式可自由选择：一是以节点为单位汇总信息，可查看该节点下的所有归档信息；二是以归档项为单位进行信息汇总，单个归档项下可查看每个节点上的有关该归档项的信息。多种html报告内容查看方式，可以更准确快速的查看集群归档信息。离线html报告具有便携性，不需要依赖于任何系统即可打开查看。在另一实施例中，将报告生成压缩包。压缩包可在任意电脑上进行解压查看归档信息详情。压缩包内包含：html报告、各节点归档原始文件、html渲染文件。

本发明实施例通过对集群的待归档信息进行收集并生成归档信息配置文件且将其分发到集群的各节点，并在各节点接收到归档任务后加载归档配置文件且从其中读取本节点待执行的归档信息，可以将集群层面的归档信息统一放至节点层面后由各节点获取各自的信息，便于信息的集中管理和分配；通过将本节点待执行的归档信息生成归档文件并推送到信息汇总节点且对其进行校验，可以保证信息的准确性和完整性；通过将校验成功的归档文件生成报告，便于对收集的信息进行查看。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验包括：将每个节点的归档文件及对应的第一消息摘要推送至信息汇总节点，且由信息汇总节点对接收的每个归档文件生成对应的第二消息摘要；判断各第一消息摘要与对应的第二消息摘要是否相同。

在一些实施例中，响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告包括：响应于各第一消息摘要与对应的第二消息摘要均相同，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，方法还包括：响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至信息汇总节点并再次进行校验，直至该节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

上述实施例中，对归档文件进行校验的方式为通过消息摘要进行校验，但校验方法不限于此。消息摘要的校验方式可以是MD5值校验。MD5信息摘要算法是一种被广泛使用的密码散列函数，恶意产生出一个128位的散列值，用于确保信息传输完整一致。

在一些实施例中，将各节点的归档文件分别推送至其中的信息汇总节点还包括：将每个节点的归档文件分别划分为若干份，并将若干份归档文件分别推送至信息汇总节点。

本实施例中，将各个节点生成的归档文件分批推送至信息汇总节点进行汇总，分批推送的目的是避免信息汇总节点资源占用过高。

在一些实施例中，方法还包括：将各节点的归档文件的存储位置信息分别存放至内存数据库中。

本实施例中，通过将各节点的归档文件的存储位置信息存放到数据库中，可以在集群断电或其他情况导致推送任务中断并在集群恢复后可根据数据库信息恢复数据推送。

在一些实施例中，方法还包括：通过可视化界面展示集群的待归档信息的各归档项的名称、归档等级以及归档概要说明。

本实施例中，对归档项信息可以进行分节点展示，分节点展示有当前集群下设置的所有归档项的名称、归档等级以及归档概要说明等信息。归档项设置部分的内容包含两部分：一是新增归档项，二是归档项开启/关闭设置。其中新增归档项设置包含归档项名称设置、归档概要信息设置以及归档等级设置。归档项等级设置分为集群级和节点级，集群级是指该归档项收集的信息为集群层面的信息，节点级是指可设置该归档命令在指定节点上运行。本实施例对归档项以及归档内容可根据实际需求配置，可灵活定制集群所需归档内容。

本发明实施例的第二个方面，还提供了一种集群信息归档系统。图2示出的是本发明提供的集群信息归档系统的实施例的示意图。如图2所示，一种集群信息归档系统包括：分发模块10，配置用于对集群的待归档信息进行收集以生成归档信息配置文件，并将归档信息配置文件分发至集群的各个节点；读取模块20，配置用于将归档任务分发至集群的各个节点，并且响应于各节点接收到归档任务，加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；归档文件生成模块30，配置用于由每个节点基于各自待执行的归档信息生成相应的归档命令并执行，并且响应于归档命令执行完成，基于执行结果生成归档文件；校验模块40，配置用于将各节点的归档文件分别推送至其中的信息汇总节点，并由信息汇总节点对接收的各归档文件分别进行校验；以及报告生成模块50，配置用于响应于各归档文件均校验通过，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，校验模块40进一步配置用于将每个节点的归档文件及对应的第一消息摘要推送至信息汇总节点，且由信息汇总节点对接收的每个归档文件生成对应的第二消息摘要；判断各第一消息摘要与对应的第二消息摘要是否相同。

在一些实施例中，报告生成模块50进一步配置用于响应于各第一消息摘要与对应的第二消息摘要均相同，读取信息汇总节点上的各归档文件并生成报告。

在一些实施例中，系统还包括重新推送模块，配置用于响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至信息汇总节点并再次进行校验，直至该节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

在一些实施例中，校验模块40还包括分批推送模块，配置用于将每个节点的归档文件分别划分为若干份，并将若干份归档文件分别推送至信息汇总节点。

在一些实施例中，系统还包括存储模块，配置用于将各节点的归档文件的存储位置信息分别存放至内存数据库中。

在一些实施例中，系统还包括展示模块，配置用于通过可视化界面展示集群的待归档信息的各归档项的名称、归档等级以及归档概要说明。

本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现集群信息归档方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31，该计算机程序指令31可以被处理器执行。该计算机程序指令31被执行时实现如下步骤：

在一些实施例中，步骤还包括：响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至信息汇总节点并再次进行校验，直至该节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

在一些实施例中，步骤还包括：将各节点的归档文件的存储位置信息分别存放至内存数据库中。

在一些实施例中，步骤还包括：通过可视化界面展示集群的待归档信息的各归档项的名称、归档等级以及归档概要说明。

应当理解，在相互不冲突的情况下，以上针对根据本发明的集群信息归档方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的集群信息归档系统和存储介质。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器402和处理器401，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。

如图4所示，为本发明提供的执行集群信息归档方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与集群信息归档系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的集群信息归档方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储集群信息归档方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的集群信息归档方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种集群信息归档方法，其特征在于，包括以下步骤：

对集群的待归档信息进行收集以生成归档信息配置文件，并将所述归档信息配置文件分发至所述集群的各个节点；

将归档任务分发至所述集群的各个节点，并且响应于各节点接收到归档任务，所述各节点加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

将各节点的归档文件分别推送至其中的信息汇总节点，并由所述信息汇总节点对接收的各归档文件分别进行校验；

响应于各归档文件均校验通过，读取所述信息汇总节点上的各归档文件并生成报告。

2.根据权利要求1所述的方法，其特征在于，将各节点的归档文件分别推送至其中的信息汇总节点，并由所述信息汇总节点对接收的各归档文件分别进行校验包括：

将每个节点的归档文件及对应的第一消息摘要推送至所述信息汇总节点，且由所述信息汇总节点对接收的每个归档文件生成对应的第二消息摘要；

判断各第一消息摘要与对应的第二消息摘要是否相同。

3.根据权利要求2所述的方法，其特征在于，响应于各归档文件均校验通过，读取所述信息汇总节点上的各归档文件并生成报告包括：

响应于各第一消息摘要与对应的第二消息摘要均相同，读取所述信息汇总节点上的各归档文件并生成报告。

4.根据权利要求2所述的方法，其特征在于，还包括：

响应于有第一消息摘要与对应的第二消息摘要不同，将对应节点的归档文件及其第一消息摘要重新推送至所述信息汇总节点并再次进行校验，直至所述节点的归档文件的第一消息摘要与对应的第二消息摘要相同。

5.根据权利要求1所述的方法，其特征在于，将各节点的归档文件分别推送至其中的信息汇总节点还包括：

将每个节点的归档文件分别划分为若干份，并将若干份归档文件分别推送至所述信息汇总节点。

6.根据权利要求1所述的方法，其特征在于，还包括：

7.根据权利要求1所述的方法，其特征在于，还包括：

通过可视化界面展示所述集群的待归档信息的各归档项的名称、归档等级以及归档概要说明。

8.一种集群信息归档系统，其特征在于，包括：

分发模块，配置用于对集群的待归档信息进行收集以生成归档信息配置文件，并将所述归档信息配置文件分发至所述集群的各个节点；

读取模块，配置用于将归档任务分发至所述集群的各个节点，并且响应于各节点接收到归档任务，所述各节点加载各自的归档信息配置文件并读取其中本节点待执行的归档信息；

校验模块，配置用于将各节点的归档文件分别推送至其中的信息汇总节点，并由所述信息汇总节点对接收的各归档文件分别进行校验；以及

报告生成模块，配置用于响应于各归档文件均校验通过，读取所述信息汇总节点上的各归档文件并生成报告。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。