CN115865724A - 一种节点式数据采集系统 - Google Patents

Abstract

本发明公开了一种节点式数据采集系统，包括节点式数据采集方法，所述方法具体步骤为：步骤一：确定网络管理中采集系统的采集目标，根据采集方式建立网络节点数据采集列表；步骤二：根据待采集网络节点列表对网络节点进行大规模数据采集；步骤三：针对采集系统高并发的要求，基于线程池进行主线程和辅助线程的划分；步骤四：在将采集数据进行存储之前，对采集网络节点数据的网络设备进行标识；步骤五：通过调用数据库接口将数据永久性存入数据库中，针对采集的节点数据存储进行分类融合，使其需要具有统一规范的数据存储格式，能更方便的查询相关信息。本发明，具有快速采集网络节点数据和保证网络节点信息及时性的特点。

Description

一种节点式数据采集系统

技术领域

本发明涉及数据采集技术领域，具体为一种节点式数据采集系统。

背景技术

网络管理系统用以确定网络中各类设备的CPU负载、网络系统的流量、传输速率、带宽利用率、延时、丢包率等，并以此发现网络系统的物理连接和系统配置问题，从而通过网络状态监控和路由优化技术，优化网络性能，提高网络运行效率。要实现一个性能良好的网络管理系统，最基础的工作就是对反应网络运行状态的数据进行采集。

目前大多数网络管理系统并没有对采集数据的特征进行分析，盲目的采集会使网络中出现大量的SNMP协议交互包，不仅浪费了网络带宽、增加了网络节点设备的运行负荷，由于网络规模的增大，平均1小时采集6次就要分析处理100多万条数据，采集速度的变慢带来过长的采集周期，同时越来越多的多IP网络设备接入互联网，它们在网络活动中IP地址不唯一，在IP地址不准确的情况下采集这些设备的运行数据，使得其中一些设备难以得到有效的标识，因此，设计快速采集网络节点数据和保证网络节点信息及时性的一种节点式数据采集系统是很有必要的。

发明内容

本发明的目的在于提供一种节点式数据采集系统，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种节点式数据采集系统，包括一种节点式数据采集方法，所述该方法包括以下步骤：

步骤一：确定网络管理中采集系统的采集目标，根据采集方式建立网络节点数据采集列表；

步骤二：根据待采集网络节点列表对网络节点进行大规模数据采集；

步骤三：针对采集系统高并发的要求，基于线程池进行主线程和辅助线程的划分；

步骤四：在将采集数据进行存储之前，对采集网络节点数据的网络设备进行标识；

步骤五：通过调用数据库接口将数据永久性存入数据库中。

根据上述技术方案，所述根据采集方式建立网络节点数据采集列表的步骤，包括：

读取待采集网段节点IP地址列表；

根据网络节点唯一性标识确定待采集网络节点集合；

同时创建以IP地址为键，网络标识为值的全局已采集IP地址映射字典。

根据上述技术方案，所述进行大规模数据采集的步骤，包括：

根据简单网络管理协议报文的标量绑定网络节点数据采集列表字段；

将多个标量对象在字段里按照链式方式紧密排列，即将多个标量对象加入字段；

采集表格对象时每次采集一列，所有列采集完成后，再根据行索引值进行分类。

根据上述技术方案，所述进行主线程和辅助线程划分的步骤，包括：

通过确定进程数目，将线程分为若干个工作线程和一个主线程；

主线程设计工作任务，在条件满足时将该任务添加到共享工作队列中后继续等待；

线程池中的工作线程从共享工作队列中读取工作任务，并实际完成工作任务，未完成的其余工作任务则保存至共享工作队列中。

根据上述技术方案，所述对采集网络节点数据的网络设备进行标识的步骤，包括：

选取对应的物理信息字段构成网络设备的特征信息；

根据采集系统采集到的设备简单网络管理协议信息，提取网络设备的特征信息，建立特征库并进行层级搜索树的构建；

根据这些特征信息在搜索树中逐层进行搜索。

根据上述技术方案，所述通过调用数据库接口将数据永久性存入数据库中的步骤，包括：

在采集系统运行过程中，采集进程不断的从网络节点中获取简单网络管理协议信息；

将这些信息按照类型进行分类融合，最后以节点为单位存储在已建立的存储数据库中。

根据上述技术方案，所述系统包括：

节点式并行采集模块，用于根据不同的网络节点选择不同的采集模式并行采集；

网络节点标识模块，用于根据网络设备的物理信息进行网络节点的唯一性标识；

采集流程模块，用于根据待采集网络节点列表，对网络节点数据按采集流程进行大规模数据采集；

运行数据存储模块，用于调用数据库接口将采集的网络节点数据永久性存入数据库中。

根据上述技术方案，所述节点式并行采集模块包括：

标量对象采集模块，用于将多个标量对象加入列表字段中进行数据采集；

表格对象采集模块，用于采集表格对象时每次采集一列并根据索引进行分类采集；

线程池并发采集模块，用于利用线程池的高并发进行多线程采集。

根据上述技术方案，所述网络节点标识模块包括：

线程池线程划分模块，用于将线程池的线程划分为一个主线程和多个工作线程；

主线程任务分配模块，用于主线程进行工作过任务的设计和分配；

私有队列访问模块，用于工作线程的私有队列在工作线程帮助完成其他线程任务时被访问到；

网络设备特征信息模块，用于基于网络设备的物理特征信息进行唯一性标识。

根据上述技术方案，所述采集流程模块包括：

IP地址列表读取模块，用于采集系统读取待采集网段节点IP地址列表；

网络节点数据处理模块，用于将采集的节点数据先暂时存入内存型数据中，再在采集完成后进行磁盘存储以提高处理速度；

待采集节点集合模块，用于根据网络节点唯一性标识确定待采集网络节点集合。

与现有技术相比，本发明所达到的有益效果是：本发明，通过设置有节点式并行采集模块、网络节点标识模块、采集流程模块和运行数据存储模块，用于根据不同的网络节点选择不同的采集模式并行采集，利用网络设备的物理信息进行网络节点的唯一性标识，通过待采集网络节点列表，对网络节点数据按采集流程进行大规模数据采集，调用数据库接口将采集的网络节点数据永久性存入数据库中，针对采集的节点数据存储进行分类融合，使其需要具有统一、规范的数据存储格式，对于网络管理系统能够更好更方便的查询这些信息。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的方法流程步骤图；

图2是本发明的系统模块组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1为本发明实施例一提供的一种节点式数据采集方法的流程图，本实施例可应用于节点数据采集的场景，该方法可以由本实施例提供的一种节点式数据采集系统来执行，通常配置于网络管理系统中，如图1所示，该方法具体包括以下步骤：

步骤一：确定网络管理中采集系统的采集目标，根据采集方式建立网络节点数据采集列表；

在本发明实施例中，通过读取待采集网段节点IP地址列表，根据网络节点唯一性标识确定待采集网络节点集合，同时创建以IP地址为键，网络标识为值的全局已采集IP地址映射字典。

示例性的，当采集了节点设备后发现节点设备是网络层设备时，将该节点设备的IP地址-网络标识键值对放入全局已采集IP地址映射字典，根据已采集设备中发现的其他设备在IP层留下的通信信息，如果全局已采集网络节点映射字典未包含该IP地址，则将该IP地址加入到新的待采集网段IP列表，视为发现了新的待采集网段节点，如此反复直到不能获得新的待采集网段节点。

示例性的，当在已采集的IP地址集合中发现了新发现的IP地址，需要根据该节点唯一身份标识，去修改发现该节点通信信息的网络节点中的对应IP地址，可以为网络管理后续模块动态拓扑展现提供正确的信息。

步骤二：根据待采集网络节点列表对网络节点进行大规模数据采集；

在本发明实施例中，根据简单网络管理协议报文的标量绑定网络节点数据采集列表字段，将多个标量对象在字段里按照链式方式紧密排列，即将多个标量对象加入字段，这样只用发送一个请求包就可以获取多个标量对象值，可以节省因要获取多个标量对象信息而发多个包的流量带宽，提高了采集效率。

示例性的，采集表格对象时每次采集一列，所有列采集完成后，再根据行索引值进行分类。

步骤三：针对采集系统高并发的要求，基于线程池进行主线程和辅助线程的划分；

在本发明实施例中，通过确定进程数目，将线程分为若干个工作线程和一个主线程，主线程负责分配任务以及使用异步

模型进行条件等待，异步/>

复用通过回调函数来执行节点数据到来时的动作，当采集的节点数据到来时，回调函数将对应的操作包装成若干个“任务”，这些任务包括数据到来时相应的数据处理，以及下一步发送的简单网络管理协议请求数据包。

示例性的，主线程设计工作任务，在条件满足时将该任务添加到共享工作队列中后继续等待，线程池中的工作线程从共享工作队列中读取工作任务，并实际完成工作任务，未完成的其余工作任务则保存至共享工作队列中。

示例性的，在每个线程中都使用一个单独的工作队列，主线程依次向各个工作队列添加任务，每个工作线程的私有队列必须在工作线程，帮助完成其他线程任务时可以被访问到，即每个工作线程将自己的私有队列向线程池注册，或者每个线程都会被线程池分配一个工作队列，实现线程在自己私有队列没有任务时能帮助其他有任务的线程完成工作，能很好的降低对全局队列的竞争。

步骤四：在将采集数据进行存储之前，对采集网络节点数据的网络设备进行标识；

在本发明实施例中，网络设备的IP地址在网络活动中变化相当频繁，而网络管理中更加关注代表网络设备的特定IP，网络设备的物理信息具有不可变性和唯一性，因此选取对应的物理信息字段构成网络设备的特征信息。

示例性的，根据采集系统采集到的设备简单网络管理协议信息，提取网络设备的特征信息，建立特征库并进行层级搜索树的构建，根据这些特征信息在搜索树中逐层进行搜索，如果成功到达叶子节点，则视为匹配成功，输出该设备的特征标识，如果不能到达叶子节点，则提取特征信息中的IP地址和MAC地址，输出该设备的特征标识，同时根据特征信息在搜索树中创建新的节点，并把该设备标记为新设备，由网络管理员确认后写入搜索树。

示例性的，层级搜索树搜索过程为根据特征信息中的字段在搜索树根节点的子节点中查找相应字段，如果未找到，则说明搜索树中未包含此特征信息，如果找到，则用同样的方法依次查找，如果能正确匹配到，则说明层级搜索树中包含该特征信息，其下一个节点即为该网络设备的特征标识，如果中间任意一层不匹配，则说明层级搜索树中未包含该特征信息，此时从该层开始，创建新的节点以构成新的特征信息。

示例性的，搜索树的每一个叶子节点的值为一个网络节点的节点秘钥，它包含网络管理员关注的网络设备的IP地址和MAC地址，首次创建搜索树时，需要网络管理员对网络设备的特征信息进行逐一确认，准确无误则将特征信息入层级搜索树，可通过手动输入完善搜索树，后期管理中如果网络设备的特征信息发生改变，也可以手动改变搜索树，以保持特征搜索树的及时性、准确性。

步骤五：通过调用数据库接口将数据永久性存入数据库中。

在本发明实施例中，在采集系统运行过程中，采集进程不断的从网络节点中获取简单网络管理协议信息，将这些信息按照类型进行分类融合，最后以节点为单位存储在已建立的存储数据库中，针对采集的节点数据存储进行分类融合，使其需要具有统一、规范的数据存储格式，对于网络管理系统的呈现模块具有重大意义，能够更好更方便的查询这些信息。

实施例二：

本发明实施例二提供了一种节点式数据采集系统，图2为一种节点式数据采集系统的模块组成示意图，如图2所示，该系统包括：

节点式并行采集模块，用于根据不同的网络节点选择不同的采集模式并行采集；

网络节点标识模块，用于根据网络设备的物理信息进行网络节点的唯一性标识；

采集流程模块，用于根据待采集网络节点列表，对网络节点数据按采集流程进行大规模数据采集；

运行数据存储模块，用于调用数据库接口将采集的网络节点数据永久性存入数据库中。

在本发明的一些实施例中，节点式并行采集模块包括：

标量对象采集模块，用于将多个标量对象加入列表字段中进行数据采集；

表格对象采集模块，用于采集表格对象时每次采集一列并根据索引进行分类采集；

线程池并发采集模块，用于利用线程池的高并发进行多线程采集；

在本发明的一些实施例中，网络节点标识模块包括：

线程池线程划分模块，用于将线程池的线程划分为一个主线程和多个工作线程；

主线程任务分配模块，用于主线程进行工作过任务的设计和分配；

私有队列访问模块，用于工作线程的私有队列在工作线程帮助完成其他线程任务时被访问到；

网络设备特征信息模块，用于基于网络设备的物理特征信息进行唯一性标识；

在本发明的一些实施例中，采集流程模块包括：

IP地址列表读取模块，用于采集系统读取待采集网段节点IP地址列表；

网络节点数据处理模块，用于将采集的节点数据先暂时存入内存型数据中，再在采集完成后进行磁盘存储以提高处理速度；

待采集节点集合模块，用于根据网络节点唯一性标识确定待采集网络节点集合；

在本发明的一些实施例中，运行数据存储模块包括：

分类融合模块，用于将采集到的节点数据按照类型进行分类融合并以节点为单位存储进数据库中。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种节点式数据采集系统，包括一种节点式数据采集方法，其特征在于：所述该方法包括以下步骤：

步骤一：确定网络管理中采集系统的采集目标，根据采集方式建立网络节点数据采集列表；

步骤二：根据待采集网络节点列表对网络节点进行大规模数据采集；

步骤三：针对采集系统高并发的要求，基于线程池进行主线程和辅助线程的划分；

步骤四：在将采集数据进行存储之前，对采集网络节点数据的网络设备进行标识；

步骤五：通过调用数据库接口将数据永久性存入数据库中。

2.根据权利要求1所述的一种节点式数据采集系统，其特征在于：所述根据采集方式建立网络节点数据采集列表的步骤，包括：

读取待采集网段节点IP地址列表；

根据网络节点唯一性标识确定待采集网络节点集合；

同时创建以IP地址为键，网络标识为值的全局已采集IP地址映射字典。

3.根据权利要求2所述的一种节点式数据采集系统，其特征在于：所述进行大规模数据采集的步骤，包括：

根据简单网络管理协议报文的标量绑定网络节点数据采集列表字段；

将多个标量对象在字段里按照链式方式紧密排列，即将多个标量对象加入字段；

采集表格对象时每次采集一列，所有列采集完成后，再根据行索引值进行分类。

4.根据权利要求3所述的一种节点式数据采集系统，其特征在于：所述进行主线程和辅助线程划分的步骤，包括：

通过确定进程数目，将线程分为若干个工作线程和一个主线程；

主线程设计工作任务，在条件满足时将该任务添加到共享工作队列中后继续等待；

线程池中的工作线程从共享工作队列中读取工作任务，并实际完成工作任务，未完成的其余工作任务则保存至共享工作队列中。

5.根据权利要求4所述的一种节点式数据采集系统，其特征在于：所述对采集网络节点数据的网络设备进行标识的步骤，包括：

选取对应的物理信息字段构成网络设备的特征信息；

根据采集系统采集到的设备简单网络管理协议信息，提取网络设备的特征信息，建立特征库并进行层级搜索树的构建；

根据这些特征信息在搜索树中逐层进行搜索。

6.根据权利要求5所述的一种节点式数据采集系统，其特征在于：所述通过调用数据库接口将数据永久性存入数据库中的步骤，包括：

在采集系统运行过程中，采集进程不断的从网络节点中获取简单网络管理协议信息；

将这些信息按照类型进行分类融合，最后以节点为单位存储在已建立的存储数据库中。

7.根据权利要求6所述的一种节点式数据采集系统，其特征在于：所述系统包括：

节点式并行采集模块，用于根据不同的网络节点选择不同的采集模式并行采集；

网络节点标识模块，用于根据网络设备的物理信息进行网络节点的唯一性标识；

采集流程模块，用于根据待采集网络节点列表，对网络节点数据按采集流程进行大规模数据采集；

运行数据存储模块，用于调用数据库接口将采集的网络节点数据永久性存入数据库中。

8.根据权利要求7所述的一种节点式数据采集系统，其特征在于：所述节点式并行采集模块包括：

标量对象采集模块，用于将多个标量对象加入列表字段中进行数据采集；

表格对象采集模块，用于采集表格对象时每次采集一列并根据索引进行分类采集；

线程池并发采集模块，用于利用线程池的高并发进行多线程采集。

9.根据权利要求8所述的一种节点式数据采集系统，其特征在于：所述网络节点标识模块包括：

线程池线程划分模块，用于将线程池的线程划分为一个主线程和多个工作线程；

主线程任务分配模块，用于主线程进行工作过任务的设计和分配；

私有队列访问模块，用于工作线程的私有队列在工作线程帮助完成其他线程任务时被访问到；

网络设备特征信息模块，用于基于网络设备的物理特征信息进行唯一性标识。

10.根据权利要求9所述的一种节点式数据采集系统，其特征在于：所述采集流程模块包括：

IP地址列表读取模块，用于采集系统读取待采集网段节点IP地址列表；

网络节点数据处理模块，用于将采集的节点数据先暂时存入内存型数据中，再在采集完成后进行磁盘存储以提高处理速度；

待采集节点集合模块，用于根据网络节点唯一性标识确定待采集网络节点集合。

Images