CN113722263B - 一种集群数据采集方法 - Google Patents

Abstract

本发明提出了一种集群数据采集方法，方法包括在所述集群的子节点中进行的以下步骤：在集群的子节点中预设主节点的IP地址、接口信息以及数据采集配置文件；响应于子节点启动，基于数据采集配置文件生成数据采集接口，并通过主节点的IP地址及接口信息向主节点发起接口注册请求；响应于注册成功，向主节点开放所述数据采集接口。本发明的有益效果包括：本发明通过在子节点中预设数据采集配置文件，并在子节点启动后，基于数据采集配置文件生成数据采集接口，并向主节点发起接口注册请求的方式实现了在服务应用部署前，提前在各个子节点中部署数据采集接口，从而为后续数据采集的快速二次开发供了基础。

Description

一种集群数据采集方法

技术领域

本发明涉及集群技术领域，尤其涉及一种集群数据采集方法。

背景技术

在对集群系统的应用过程中，数据采集一直是其中较为重要的一项功能需求，然而数据采集功能的实现存在以下困难：

其一，集群中各子节点的配置、基于该配置运行的项目程序及所产生的资源(如，CPU及内存)消耗各有不同，而该项目程序可能需要通过数个节点配合实现，其在底层开发中无法兼顾实现的；因此，诸如项目应用的运行指标数据、宿主机硬件指标数据、项目运行的健康数据以及第三方工具(如，集群数据库等)运行状态数据等均无法在项目部署完成前实现。

其二，对于需要采集新的数据对象的需求，需要在各个相关节点中重新部署相应的数据采集功能，过程较为繁琐，开发周期较长，不利于数据采集的快速二次开发。

发明内容

本发明通过在各个集群的子节点中预留抽象接口，该抽象接口能够实现仅需用户在抽象接口的配置文件中的指定位置加入对应的数据采集逻辑，并由各个字节点向主节点发起接口注册请求，即可实现由集群的主节点对相应数据的快速采集。其中，数据采集的对象包括但不限于应用运行指标数据、宿主机硬件指标数据、应用健康数据以及第三方工具(如，集群数据库)运行状态数据；具体的，本发明提出了一种集群数据采集方法，所述方法包括在所述集群的子节点中进行的以下步骤：在集群的子节点中预设主节点的IP地址、接口信息以及数据采集配置文件；响应于所述子节点启动，基于所述数据采集配置文件生成数据采集接口，并通过所述主节点的IP地址及接口信息向所述主节点发起接口注册请求；响应于注册成功，向所述主节点开放所述数据采集接口。

在一个或多个实施例中，本发明的数据采集方法还包括：在所述子节点中预设一个或多个数据采集配置文件，所述数据采集配置文件包括数据采集器以及空方法函数，其中，所述空方法函数用于规范二次开发，并执行在所述二次开发规范规定处加入的数据采集逻辑，所述数据采集器包括可修改的名称字段以及用于初始化数据采集周期的周期字段。

在一个或多个实施例中，所述数据采集逻辑用于采集运行在所述子节点中的服务应用的相关数据。

在一个或多个实施例中，所述响应于所述子节点启动，基于所述数据采集配置文件生成数据采集接口，包括：响应于所述子节点启动，基于所述数据采集器以及所述空方法函数生成具有与所述数据采集器的名称字段具有相同名称的实体类以及数据采集接口，并基于所述数据采集器的周期字段初始化所述数据采集接口的开放周期，其中，所述实体类用于承接所述空方法函数执行所述数据采集逻辑而获得的对应应用服务的相关数据，并返回至所述数据采集接口。

在一个或多个实施例中，所述方法还包括：响应于所述数据采集接口被访问，启动所述空方法函数并执行所述数据采集逻辑，获得对应服务应用的相关数据，并由所述实体类承接所述相关数据，并返回至所述数据采集接口。

在一个或多个实施例中，所述接口注册请求包括所述子节点的IP地址以及所述数据采集器的相关信息。

在一个或多个实施例中，本发明的数据采集方法还包括：对所述子节点进行二次开发，向所述子节点中的空方法函数的规定处加入数据采集逻辑。

在一个或多个实施例中，本发明的集群数据采集方法包括在所述集群的主节点中进行的以下步骤：响应于接收到集群中子节点的注册请求，基于所述注册请求中的IP地址生成节点信息注册表以及数据存储表，并基于所述注册请求中的数据采集器的相关信息生成所述数据存储表的存储结构，所述数据存储表的存储结构包括用于保存数据采集器名称的名称字段以及用于保存初始化周期的周期字段；响应于重启，读取所述节点信息注册表，获取所述节点信息注册表中的IP地址，基于所述IP地址调取对应的数据存储表，并基于所述数据存储表中的名称字段、周期字段以及所述IP地址，周期性的访问对应所述IP地址的子节点中的对应所述名称字段的数据采集接口，并由对应所述名称字段的实体类中获取对应应用服务的相关数据，并保存在数据库中。

在一个或多个实施例中，本发明的数据采集方法还包括：响应于所述数据库的数据量达到预设阈值，进行本地数据清理，并将历史数据上传至云端；相应的，所述方法还包括：每次进行数据存储前，查询所述数据库中的数据量。

在一个或多个实施例中，本发明的数据采集方法还包括：响应于接收到访问周期修改请求，访问对应的子节点，并修改数据采集器以及所述数据存储表中的周期字段，并通过重启使得修改后的数据采集周期生效。

本发明的有益效果包括：本发明通过在集群的各个子节点中预设抽象接口，该抽象接口能够该抽象接口能够实现仅需用户在抽象接口的配置文件中的指定位置加入对应的数据采集逻辑，并由各个字节点向主节点发起接口注册请求即可实现由集群的主节点对相应数据的快速采集。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明子节点侧的集群数据采集方法的工作流程图；

图2为本发明的集群系统的结构组成示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

图1为本发明子节点侧的集群数据采集方法的工作流程图。如图1所示，在集群的子节点侧，本发明的集群数据采集方法的工作流程包括：步骤S1、在集群的子节点中预设主节点的IP地址、接口信息以及数据采集配置文件；步骤S2、响应于子节点启动，基于数据采集配置文件生成数据采集接口，并通过主节点的IP地址及接口信息向主节点发起接口注册请求；步骤S3、响应于注册成功，向主节点开放所述数据采集接口。其中，接口注册请求包括子节点的IP地址以及数据采集器的相关信息。

在本实施中，本发明通过在子节点中预设数据采集配置文件，并在子节点启动后，基于数据采集配置文件生成数据采集接口，并向主节点发起接口注册请求的方式实现了在服务应用部署前，提前在各个子节点中部署数据采集接口，从而为后续数据采集的快速二次开发供了基础。

在一些实施例中，本发明的方法还包括在子节点中预设一个或多个数据采集配置文件，数据采集配置文件包括数据采集器以及空方法函数，其中，空方法函数用于规范二次开发，并执行在二次开发规范规定处加入的数据采集逻辑，数据采集器包括可修改的名称字段以及用于初始化数据采集周期的周期字段。其中，周期字段也被配置为可修改。

在上述实施例中，本发明通过在集群的各个子节点中预设抽象接口(空函数中未加入对应的数据采集逻辑时所形成的数据采集接口)，该抽象接口能够该抽象接口能够实现仅需用户在抽象接口的配置文件中的指定位置加入对应的数据采集逻辑，并由各个字节点向主节点发起接口注册请求即可实现由集群的主节点对相应数据的快速采集。

在一个具体实施例中，当基于数据采集配置文件生成的数据采集接口为抽象接口时，将该抽象接口配置为不可访问状态，以避免主节点发起无效的接口访问，进而造成资源的浪费。

在一些实施例中，数据采集逻辑用于采集运行在子节点中的服务应用的相关数据，如服务应用的运行指标数据以及运行健康数据等。其中，数据采集逻辑是由用户自定义实现的，本发明并不对数据采集逻辑的数据采集对象进行限制，例如，数据采集逻辑的数据采集对象还可以为宿主机硬件指标数据、以及第三方工具(如，集群数据库)运行状态数据。更具体的讲，数据采集逻辑中包括但不限于告知计算机要访问什么数据库、执行何种代码语言以及执行何种方法逻辑来获取相应数据的程序代码。

在一些实施例中，响应于子节点启动，基于数据采集配置文件生成数据采集接口，包括：响应于子节点启动，基于数据采集器以及空方法函数生成具有与数据采集器的名称字段具有相同名称的实体类以及数据采集接口，并基于数据采集器的周期字段初始化数据采集接口的开放周期，其中，实体类用于承接空方法函数执行所述数据采集逻辑而获得的对应应用服务的相关数据，并返回至数据采集接口。

在一些实施例中，本发明的集群数据采集方法还包括：响应于数据采集接口被访问，启动空方法函数并执行数据采集逻辑，获得对应服务应用的相关数据，并由实体类承接所述相关数据，并返回至数据采集接口。即在本发明的数据采集操作是通过主节点访问数据采集接口并执行对应该数据采集接口的空方法函数及数据采集逻辑而实现的。

在一些实施例中，本发明的集群数据采集方法还包括：对子节点进行二次开发，向子节点中的空方法函数的规定处加入数据采集逻辑。

上述各实施例中主要介绍了本发明的集群数据采集方法在子节点侧的实现过程，以下将从主节点侧出发进一步的阐述本发明的集群数据采集方法的其它过程：

本发明的集群数据采集方法还包括在集群的主节点中进行的以下步骤：响应于接收到集群中子节点的注册请求，基于注册请求中的IP地址生成节点信息注册表以及数据存储表，并基于注册请求中的数据采集器的相关信息生成数据存储表的存储结构，数据存储表的存储结构包括用于保存数据采集器名称的名称字段以及用于保存初始化周期的周期字段；响应于重启，读取节点信息注册表，获取节点信息注册表中的IP地址，基于IP地址调取对应的数据存储表，并基于数据存储表中的名称字段、周期字段以及IP地址，周期性的访问对应IP地址的子节点中的对应名称字段的数据采集接口，并由对应名称字段的实体类中获取对应应用服务的相关数据，并保存在数据库中。

在一些实施例中，本发明的集群数据采集方法还包括：响应于数据库的数据量达到预设阈值，进行本地数据清理，并将历史数据上传至云端；相应的，本发明的方法还包括：每次进行数据存储前，查询数据库中的数据量。

在一个实施例中，主节点在将获取到的数据存入数据库前，还会将获得的数据打包成数据块，并在该数据块上打上时间戳，以便于后期的查询、管理操作。

在另一个实施例中，与主节点通信连接的前端设备可以通过发出数据查询请求以获得具有相应时间戳的数据块，并在前端设备中进行显示。在一个优选的实施例中，为了保证前端设备获取数据的时效性，可以使得该前端设备通过主节点而直接访问对应子节点的数据采集接口，以获得实时数据。

在另一个实施例中，在集群系统中，上述实施例中的主节点将被注册成系统service的方式实现主节点工作的启停控制。

在另一个实施例中，对于第三方工具的数据采集(数据库等)，可以根据各节点硬件指标数据进行节点筛选，并经由访问实时硬件资源最充裕的节点来获取对应数据库中的数据，以提高数据采集效率，并且能避免对高负荷节点的性能损耗，提高集群整体性能(需说明的是，当一个服务应用是由多个子节点共同实现时，则经由任意一个子节点均可以访问其共用的数据库)。

在另一个实施例中，通过监听节点应用的容器状态进行主节点中对应节点数据(ip及端口等)的删除——反注册。并且为确保主节点服务端数据库注册表数据准确，在客户端主动执行反注册时，服务端需要进行节点运行状态确认，最终以节点运行状态是否健康为标准确定删除相关节点信息的操作是否执行。

在另一个实施例中，为保证当前主节点的服务性能，本地数据库数据上传云端的频率以及数据清理的频率将会通过分析主节点硬件指标数据进行动态调整，确保主节点服务端功能与性能的最优均衡；在进行历史数据读取时，根据时间戳筛选范围是否超出本地数据库范围以及本地数据库是否正常运行等指标判断是否要进行云端数据库的相应数据读取。

在一些实施例中，本发明的集群数采集方法还包括：响应于接收到访问周期修改请求，访问对应的子节点，并修改数据采集器以及数据存储表中的周期字段，并通过重启使得修改后的数据采集周期生效。即本发明可以通过主节点访问对应的子节点以修改对应数据采集配置文件中的数据采集器的周期字段。并通过重新启动相应的子节点以及主节点来使得新的数据采集周期配置生效。

图2为本发明的集群系统的结构组成示意图。如图2所示本发明的集群系统包括：集群节点(由主节点和子节点组成)、主节点控制端，主要用于实现将主节点注册为系统service，控制主节点service启停及重启，以及数据库历史数据查询及数据修改。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种集群数据采集方法，其特征在于，所述方法包括在所述集群的子节点中进行的以下步骤：

在集群的子节点中预设主节点的IP地址、接口信息以及数据采集配置文件；

响应于所述子节点启动，基于所述数据采集配置文件生成数据采集接口，并通过所述主节点的IP地址及接口信息向所述主节点发起接口注册请求；

响应于注册成功，向所述主节点开放所述数据采集接口；

所述数据采集配置文件包括数据采集器以及空方法函数，其中，所述空方法函数用于规范二次开发，并执行在所述二次开发规范规定处加入的数据采集逻辑，所述数据采集器包括可修改的名称字段以及用于初始化数据采集周期的周期字段。

2.如权利要求1所述的集群数据采集方法，其特征在于，所述方法还包括：

在所述子节点中预设一个或多个数据采集配置文件。

3.如权利要求2所述的集群数据采集方法，其特征在于，所述数据采集逻辑用于采集运行在所述子节点中的服务应用的相关数据。

4.如权利要求2所述的集群数据采集方法，其特征在于，所述响应于所述子节点启动，基于所述数据采集配置文件生成数据采集接口，包括：

响应于所述子节点启动，基于所述数据采集器以及所述空方法函数生成具有与所述数据采集器的名称字段具有相同名称的实体类以及数据采集接口，并基于所述数据采集器的周期字段初始化所述数据采集接口的开放周期，其中，所述实体类用于承接所述空方法函数执行所述数据采集逻辑而获得的对应应用服务的相关数据，并返回至所述数据采集接口。

5.如权利要求4所述的集群数据采集方法，其特征在于，所述方法还包括：

响应于所述数据采集接口被访问，启动所述空方法函数并执行所述数据采集逻辑，获得对应服务应用的相关数据，并由所述实体类承接所述相关数据，并返回至所述数据采集接口。

6.如权利要求1所述的集群数据采集方法，其特征在于，所述接口注册请求包括所述子节点的IP地址以及所述数据采集器的相关信息。

7.如权利要求2所述的集群数据采集方法，其特征在于，所述方法还包括：

对所述子节点进行二次开发，向所述子节点中的空方法函数的规定处加入数据采集逻辑。

8.一种集群数据采集方法，其特征在于，所述方法包括在所述集群的主节点中进行的以下步骤：

响应于接收到集群中子节点的注册请求，基于所述注册请求中的IP地址生成节点信息注册表以及数据存储表，并基于所述注册请求中的数据采集器的相关信息生成所述数据存储表的存储结构，所述数据存储表的存储结构包括用于保存数据采集器名称的名称字段以及用于保存初始化周期的周期字段；

响应于重启，读取所述节点信息注册表，获取所述节点信息注册表中的IP地址，基于所述IP地址调取对应的数据存储表，并基于所述数据存储表中的名称字段、周期字段以及所述IP地址，周期性的访问对应所述IP地址的子节点中的对应所述名称字段的数据采集接口，并由对应所述名称字段的实体类中获取对应应用服务的相关数据，并保存在数据库中。

9.如权利要求8所述的集群数据采集方法，其特征在于，所述方法还包括：

响应于所述数据库的数据量达到预设阈值，进行本地数据清理，并将历史数据上传至云端；相应的，所述方法还包括：每次进行数据存储前，查询所述数据库中的数据量。

10.如权利要求8所述的集群数据采集方法，其特征在于，所述方法还包括：

响应于接收到访问周期修改请求，访问对应的子节点，并修改数据采集器以及所述数据存储表中的周期字段，并通过重启使得修改后的数据采集周期生效。

Images