CN108241528A - 一种用户自定义海量网络安全数据动态采集方法 - Google Patents

Abstract

本发明公开了一种用户自定义海量网络安全数据动态采集方法，获取数据源信息；建立由已有采集策略和用户自定义采集策略组成的集合；将数据源与适用的采集策略绑定为采集任务；创建采集管理节点来管理和分配采集任务；创建并分布式部署多个采集代理来执行采集任务；获取采集代理的性能数据以及采集任务执行情况数据；根据采集代理的性能数据进行采集任务的动态调配。本发明在建立采集任务时提供用户自定义采集策略，及时适配新的数据源，易于实施，减少冗余的升级操作，通过采集管理节点动态调配任务，调整采集代理任务执行的效率，保证数据采集在海量数据环境中的高效性、实时性。

Description

一种用户自定义海量网络安全数据动态采集方法

技术领域

本发明涉及计算机网络应用技术领域，尤其涉及一种用户自定义海量网络安全数据动态采集方法。

背景技术

互联网上每个网络安全设备实时产生大量的安全数据。为了更好地发挥网络安全设备的作用，监控预防安全事故的发生，就需要对日志安全数据进行分析处理。通过对海量数据的处理，高效挖掘真实、准确的安全事件，提高应急响应的能力。在当前的大数据环境中，数据采集变得非常重要。而在每一种采集系统应用中，都会面临数据源不全面、适配性差、效率低的问题。

例如：

场景1：大部分采集系统中内置了常见数据源的采集策略，通常采集策略包括采集指标、采集协议、采集指令、采集周期等配置项，以此满足数据采集需求。

这种方式存在以下缺陷：

在实际使用中存在无法及时适配新的数据源问题，当系统中增加新的数据源时，只能进行适配开发以及升级操作。

场景2：大数据环境中执行采集任务时，需要考虑采集的效率问题。大多数采集系统中提升效率的方法分为两种：

1)在每个数据源上安装一个代理，执行采集任务，代理数量根据数据源变化。

2)代理数量固定，为每个代理分配不同采集任务进行数据采集。

在当今大数据的环境中，采集的效率是采集系统的核心。上述两种方法分配采集任务的方式存在以下缺陷：

采集任务的分配方式为固定分配，不能按需对任务进行调配，导致采集节点上的负载不均衡。致使数据采集效率不能达到最优。

发明内容

鉴于上述问题，本发明提供一种用户自定义海量网络安全数据动态采集方法。本发明的目的在于及时适配新的数据源，易于实施，减少冗余的升级操作，以及保证数据采集在海量数据环境中的高效性、实时性。

为了达到上述目的，本发明的解决方案是：

一种用户自定义海量网络安全数据动态采集方法，所述用户自定义海量网络安全数据动态采集方法包括以下步骤：

获取被采集的数据源信息；

建立由已有采集策略和用户自定义采集策略组成的采集策略集；

将数据源与采集策略集中适用的采集策略绑定为采集任务；

创建一个采集管理节点来管理和分配采集任务；

创建并分布式部署多个采集代理来执行采集任务；

获取采集代理的性能数据以及采集任务执行情况数据；

根据采集代理的性能数据进行采集任务的动态调配。

依照本发明的一个方面，所述用户自定义海量网络安全数据动态采集方法包括：采集任务建立方法、采集任务管理分配方法以及采集任务动态调配方法；其中：

采集任务建立方法，包括以下步骤：

步骤001，预先装载采集策略集，从采集策略集中获取一个采集策略；如果可以获取采集策略执行步骤002；如果没有获取到采集策略执行步骤003；

步骤002，获取到一个采集策略后，判断是否与数据源适配；如果采集策略与数据源适配，那么执行步骤004；如果采集策略与数据源不能适配，执行步骤001，再次获取一个采集策略；

步骤003，创建新的采集策略，包括采集指标、采集协议、采集指令、采集周期四部分的输入，并将新创建的采集策略增加到采集策略集中；

步骤004，将适配的采集策略与数据源进行关联，完成采集任务的建立；一个采集任务包括：被采集的数据源信息、一条由采集指标、采集协议、采集指令、采集周期组成的采集策略；其中一个数据源对应一个或多个采集任务；依照上述步骤001～004循环建立采集任务，添加到采集任务集；

步骤005，将采集任务集下发到采集管理节点；

采集任务管理分配方法，包括以下步骤：

步骤006，采集管理节点接收到新的采集任务集；

步骤007，首次分配采集任务时，采集管理节点根据采集代理数量，对采集任务进行平均分配，采集任务最小分配单位为1个，将采集任务下发到分布式部署的采集代理上；

步骤008，采集代理接收采集任务后，执行数据采集；

步骤009，当采集代理执行采集任务后，将采集到的数据上报给采集管理节点；并且采集代理开启自身监控数据，定时向采集管理节点上报自身的性能数据，用于采集管理节点进行采集任务的动态调配；

采集任务动态调配方法，包括以下步骤：

步骤010，采集管理节点开启后台任务，支撑动态任务调配，在采集管理节点收集到采集代理上报的性能数据集合后，从数据集中获取一个采集代理性能数据中CPU使用率的值；获取到CPU使用率后执行步骤011，获取不到数据执行步骤017；

步骤011，将采集代理性能数据中CPU使用率与预先设定的CPU使用率阈值进行对比判断；当CPU使用率超过阈值后，执行步骤012；当CPU使用率小于阈值时，执行步骤013；

步骤012，CPU使用率超过阈值后，进行任务的撤回操作；撤回操作后该采集代理调度完成，继续获取下一个采集代理性能数据进行调度；

步骤013，CPU使用率小于阈值时，获取该采集代理性能数据中的网络吞吐量数值；获取到网络吞吐量后执行步骤014，如果获取不到执行步骤015；

步骤014，获取到网络吞吐量后，与预先设定的网络吞吐量阈值进行比较；当采集代理吞吐量大于阈值时，执行步骤012，即撤回任务操作；如果吞吐量小于阈值，执行步骤015；

步骤015，判断采集管理节点是否有剩余任务；

步骤016，有剩余任务则进行任务的增加操作，没有剩余任务则将该采集代理标记为空闲状态，当有剩余任务时，优先进行任务添加；执行完此操作后，执行步骤010，进行下一个代理任务调度；

步骤017，代理依次调度完成后，判断是否有剩余任务；如果没有剩余任务，则结束本次调度；

步骤018，如果有剩余任务，判断是否有空闲状态的采集代理；如果没有空闲状态的采集代理，则结束本次调度，并且告警提示有剩余任务不能下发；

步骤019，如果有空闲状态的采集代理，则进行任务的增加操作；执行完增加操作后，执行步骤017，进行下一轮的剩余任务判断，直至调度结束。

依照本发明的一个方面，所述采集协议的自定义配置项包括但不限于ssh、snmp、syslog、wmi、jdbc。

依照本发明的一个方面，所述采集指令的自定义配置项包括但不限于shell命令、snmp节点信息、WQL语句、SQL语句。

依照本发明的一个方面，所述采集周期的自定义配置项包括但不限于周、天、小时、分钟、秒。

依照本发明的一个方面，所述CPU使用率的阈值在采集代理部署时默认设定在70％～90％范围内。

依照本发明的一个方面，所述网络吞吐量的阈值设置为当前网络最大吞吐量的70％～90％范围内。

依照本发明的一个方面，所述任务的撤回操作的具体实现为：撤回采集代理现有任务的5％，当任务总数为1时，不做处理，当任务总数的5％不是整数时，采用向上取整操作。

依照本发明的一个方面，所述任务的增加操作的具体实现为：增加采集代理现有任务的5％，使采集代理执行新的任务，当任务总数的5％不是整数时，采用向上取整操作。

依照本发明的一个方面，当出现告警提示时，进行阈值的调整或者增加新的采集代理。

本发明实施的优点：

本发明使用户可以针对新的数据源进行自定义设置采集策略进行适配，简单且易于实施，能根据数据源的不同及时适配；还提供了动态调度任务的方法，提升采集任务执行的高效性。

本发明在建立采集任务时提供采集策略的自定义功能，通过用户自定义采集策略，及时适配新的数据源，自定义采集策略包括采集指标自定义、采集协议自定义、采集指令自定义、采集周期自定义四部分，自定义采集策略方法易于实施，可以减少冗余的升级操作。

在分布式部署多个采集代理后，通过采集管理节点进行任务的管理，采集管理节点根据调度算法对采集代理上报的性能数据以及采集任务执行情况进行处理判断，通过实时监控采集代理的CPU使用率和网络吞吐量，与阈值进行比对，进而动态调配任务，从而提升采集任务执行效率，使采集效率达到最优。代理管理采用动态调配任务方法，避免了任务不可调配的缺点，实时调整采集任务执行的效率，从而保证数据采集在海量数据环境中的高效性、实时性。本发明通过以上方式的动态调配任务，避免了人机操作方式进行分配任务的不方便、不合理情况的发生，从而实现代理采集的高效性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的用户自定义海量网络安全数据动态采集方法示意图。

图2为本发明所述的采集任务建立方法流程图。

图3为本发明所述的采集任务管理分配方法流程图。

图4为本发明所述的采集任务动态调配方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种用户自定义海量网络安全数据动态采集方法，所述用户自定义海量网络安全数据动态采集方法包括以下步骤：

步骤S1：获取被采集的数据源信息；

步骤S2：建立由已有采集策略和用户自定义采集策略组成的采集策略集；

提供采集策略的用户自定义功能，采集策略用于采集代理执行采集任务的配置信息，策略的自定义配置项包括采集指标、采集协议、采集指令、采集周期。

步骤S3：将数据源与采集策略集中适用的采集策略绑定为采集任务；

将适配的采集策略与数据源进行关联，完成采集任务的完全建立。

步骤S4：创建一个采集管理节点来管理和分配采集任务；

采集任务下发到采集管理节点后，通过采集管理节点进行采集任务的管理的分配。

步骤S5：创建并分布式部署多个采集代理来执行采集任务；

通过分布式部署多个采集代理后，动态调度多个采集代理进行数据的采集，提高采集数据的性能以及效率。

步骤S6：获取采集代理的性能数据以及采集任务执行情况数据；

步骤S7：根据采集代理的性能数据进行采集任务的动态调配。

采集管理节点通过开启后台任务，定时执行后台任务，将采集代理上报的性能数据以及采集任务执行情况进行处理判断，根据负载均衡的原理，进行采集任务的合理调配。

参照图2，其描述了采集任务的生成，其中包含本发明提供的通过自定义采集策略方法适配新数据源的流程，具体如下：

步骤001，采集数据前需要进行采集任务的建立，预先装载采集策略集，从采集策略集中获取一个采集策略。如果可以获取采集策略执行步骤002；如果没有获取到采集策略执行步骤003。

步骤002，获取到一个采集策略后，判断是否与数据源适配。如果采集策略与数据源适配，那么执行步骤004；如果采集策略与数据源不能适配，执行步骤001，再次获取一个采集策略。

步骤003，创建新的采集策略，包括采集指标、采集协议、采集指令、采集周期四部分的输入。本方案支持采集指标输入，如cpu使用率、内存使用率、磁盘使用率等名称标识，采集协议有ssh、snmp、syslog、wmi、jdbc选择，采集指令输入支持shell命令、snmp节点信息、WQL语句(WMI中使用的SQL)、SQL语句命令，采集周期格式为1w(1周)、1d(1天)、1h(1小时)、1m(1分钟)、1s(1秒)。并将新创建的采集策略增加入采集策略集中。

步骤004，将适配的采集策略与数据源进行关联，完成采集任务的建立。一个采集任务包括：被采集的数据源信息、一条采集策略(采集协议、采集周期、采集指令，采集指标)。其中一个数据源对应一个或多个采集任务。依照上述四步循环建立任务，添加到采集任务集。

步骤005，将采集任务集下发到采集管理节点。

参照图3，其描述了采集管理节点接收到采集任务集后，将采集任务集下发到采集代理进行任务执行的流程，具体如下：

步骤006，采集管理节点接收到新的采集任务集。

步骤007，首次分配采集任务时，采集管理节点根据采集代理数量，对采集任务进行平均分配，采集任务最小分配单位为1个，将采集任务下发到分布式部署的采集代理上；此后，通过调度算法进行采集任务的分配。

步骤008，采集代理接收采集任务后，执行数据采集。

步骤009，当采集代理执行采集任务后，将采集到的数据上报给采集管理节点。并且采集代理开启自身监控数据，定时向采集管理节点上报自身的性能数据，用于采集管理节点进行采集任务的动态调配。

上述步骤007中提到调度算法原理是采集管理节点通过开启后台任务，将采集代理上报的性能数据与阈值进行比对，再根据调度条件后进行任务的合理调配。具体流程参照图4。

参照图4，其描述了本发明提供的采集代理分布式部署后，通过动态调配任务来达到高效的采集数据的流程，具体如下：

步骤010，采集管理节点开启后台任务，支撑动态任务调配，在采集管理节点收集到采集代理上报的性能数据集合后，从数据集中获取一个采集代理性能数据中CPU使用率的值。获取到CPU使用率后执行步骤011，获取不到数据执行步骤017。

步骤011，将采集代理性能数据中CPU使用率与预先设定的CPU使用率阈值进行对比判断。其中CPU使用率的阈值在采集代理部署时设定在70％～90％范围内。通常情况下，采集代理CPU使用率超过80％时系统运行缓慢，拉低采集任务执行效率，因此这里将阈值默认设置为80％。当CPU使用率超过阈值后，执行步骤012；当CPU使用率小于阈值时，执行步骤013；

步骤012，CPU使用率超过阈值后，要进行任务的撤回操作。撤回操作的具体实现为：撤回采集代理现有任务的5％，当任务总数为1时，不做处理，当总任务的5％不是整数时，采用向上取整操作，即4.1、4.6取整后为5。撤回操作后该采集代理调度完成，继续获取下一个采集代理性能数据进行调度。

步骤013，CPU使用率小于阈值时，获取该采集代理性能数据中的网络吞吐量(网络吞吐量表示在单位时间内通过某个网络的数据量)数值。获取到网络吞吐量后执行步骤014，如果获取不到执行步骤015。

步骤014，获取到网络吞吐量后，与预先设定的网络吞吐量阈值进行比较。由于网络吞吐量受网络的带宽或网络的额定速率的限制。比如100Mb/s的以太网，其典型的网络吞吐量可能只有70Mb/s。因此网络吞吐量阈值设置为当前网络最大吞吐量的70％～90％范围内。这里假设采集代理机器处于100Mb/s的以太网内，那么系统预设的阈值为80Mb/s。当采集代理吞吐量大于阈值时，执行步骤012，即撤回任务操作。如果吞吐量小于阈值，执行步骤015。

步骤015，判断采集管理节点是否有剩余任务。

步骤016，有剩余任务则进行任务的增加操作，即增加采集代理现有任务的5％，使采集代理执行新的任务。其中现有任务的5％依然采用向上取整操作。没有剩余任务则将该采集代理标记为空闲状态，当有剩余任务时，优先进行任务添加。执行完此操作后，执行步骤010，进行下一个代理任务调度。

步骤017，代理依次调度完成后，判断是否有剩余任务。如果没有剩余任务，则结束本次调度。

步骤018，如果有剩余任务，判断是否有空闲状态的采集代理。如果没有空闲状态的采集代理，则结束本次调度，并且告警提示有剩余任务不能下发。当管理员人员看到告警后，需要根据实际情况进行阈值的调整或者增加新的代理来解决告警。

步骤019，如果有空闲状态的采集代理，则进行任务的增加操作，即增加代理现有任务的5％，使代理执行新的任务。其中现有任务的5％依然采用向上取整操作。执行完增加操作后，执行步骤017，进行下一轮的剩余任务判断，直至调度结束。

本发明实施的优点：本发明使用户可以针对新的数据源进行自定义设置采集策略进行适配，简单且易于实施，能根据数据源的不同及时适配；还提供了动态调度任务的方法，提升采集任务执行的高效性。

本发明在建立采集任务时提供采集策略的自定义功能，通过用户自定义采集策略，及时适配新的数据源，自定义采集策略包括采集指标自定义、采集协议自定义、采集指令自定义、采集周期自定义四部分，定义采集策略方法易于实施，可以减少冗余的升级操作。

在分布式部署多个采集代理后，通过采集管理节点进行任务的管理，采集管理节点根据调度算法对采集代理上报的性能数据以及采集任务执行情况进行处理判断，通过实时监控采集代理的CPU使用率和网络吞吐量，与阈值进行比对，进而动态调配任务，从而提升采集任务执行效率，使采集效率达到最优。代理管理采用动态调配任务方法，避免了任务不可调配的缺点，实时调整采集任务执行的效率，从而保证数据采集在海量数据环境中的高效性、实时性。本发明通过以上方式的动态调配任务，避免了人机操作方式进行分配任务的不方便、不合理情况的发生，从而实现代理采集的高效性。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本专利。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种用户自定义海量网络安全数据动态采集方法，其特征在于，所述用户自定义海量网络安全数据动态采集方法包括以下步骤：

获取被采集的数据源信息；

建立由已有采集策略和用户自定义采集策略组成的采集策略集；

将数据源与采集策略集中适用的采集策略绑定为采集任务；

创建一个采集管理节点来管理和分配采集任务；

创建并分布式部署多个采集代理来执行采集任务；

获取采集代理的性能数据以及采集任务执行情况数据；

根据采集代理的性能数据进行采集任务的动态调配。

2.根据权利要求1所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述用户自定义海量网络安全数据动态采集方法包括：采集任务建立方法、采集任务管理分配方法以及采集任务动态调配方法；其中：

采集任务建立方法，包括以下步骤：

步骤001，预先装载采集策略集，从采集策略集中获取一个采集策略；如果可以获取采集策略执行步骤002；如果没有获取到采集策略执行步骤003；

步骤002，获取到一个采集策略后，判断是否与数据源适配；如果采集策略与数据源适配，那么执行步骤004；如果采集策略与数据源不能适配，执行步骤001，再次获取一个采集策略；

步骤003，创建新的采集策略，包括采集指标、采集协议、采集指令、采集周期四部分的输入，并将新创建的采集策略增加到采集策略集中；

步骤004，将适配的采集策略与数据源进行关联，完成采集任务的建立；一个采集任务包括：被采集的数据源信息、一条由采集指标、采集协议、采集指令、采集周期组成的采集策略；其中一个数据源对应一个或多个采集任务；依照上述步骤001～004循环建立采集任务，添加到采集任务集；

步骤005，将采集任务集下发到采集管理节点；

采集任务管理分配方法，包括以下步骤：

步骤006，采集管理节点接收到新的采集任务集；

步骤007，首次分配采集任务时，采集管理节点根据采集代理数量，对采集任务进行平均分配，采集任务最小分配单位为1个，将采集任务下发到分布式部署的采集代理上；

步骤008，采集代理接收采集任务后，执行数据采集；

步骤009，当采集代理执行采集任务后，将采集到的数据上报给采集管理节点；并且采集代理开启自身监控数据，定时向采集管理节点上报自身的性能数据，用于采集管理节点进行采集任务的动态调配；

采集任务动态调配方法，包括以下步骤：

步骤010，采集管理节点开启后台任务，支撑动态任务调配，在采集管理节点收集到采集代理上报的性能数据集合后，从数据集中获取一个采集代理性能数据中CPU使用率的值；获取到CPU使用率后执行步骤011，获取不到数据执行步骤017；

步骤011，将采集代理性能数据中CPU使用率与预先设定的CPU使用率阈值进行对比判断；当CPU使用率超过阈值后，执行步骤012；当CPU使用率小于阈值时，执行步骤013；

步骤012，CPU使用率超过阈值后，进行任务的撤回操作；撤回操作后该采集代理调度完成，继续获取下一个采集代理性能数据进行调度；

步骤013，CPU使用率小于阈值时，获取该采集代理性能数据中的网络吞吐量数值；获取到网络吞吐量后执行步骤014，如果获取不到执行步骤015；

步骤014，获取到网络吞吐量后，与预先设定的网络吞吐量阈值进行比较；当采集代理吞吐量大于阈值时，执行步骤012，即撤回任务操作；如果吞吐量小于阈值，执行步骤015；

步骤015，判断采集管理节点是否有剩余任务；

步骤016，有剩余任务则进行任务的增加操作，没有剩余任务则将该采集代理标记为空闲状态，当有剩余任务时，优先进行任务添加；执行完此操作后，执行步骤010，进行下一个代理任务调度；

步骤017，代理依次调度完成后，判断是否有剩余任务；如果没有剩余任务，则结束本次调度；

步骤018，如果有剩余任务，判断是否有空闲状态的采集代理；如果没有空闲状态的采集代理，则结束本次调度，并且告警提示有剩余任务不能下发；

步骤019，如果有空闲状态的采集代理，则进行任务的增加操作；执行完增加操作后，执行步骤017，进行下一轮的剩余任务判断，直至调度结束。

3.根据权利要求2所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述采集协议的自定义配置项包括但不限于ssh、snmp、syslog、wmi、jdbc。

4.根据权利要求2所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述采集指令的自定义配置项包括但不限于shell命令、snmp节点信息、WQL语句、SQL语句。

5.根据权利要求2所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述采集周期的自定义配置项包括但不限于周、天、小时、分钟、秒。

6.根据权利要求2至5之一所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述CPU使用率的阈值在采集代理部署时默认设定在70％～90％范围内。

7.根据权利要求2至5之一所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述网络吞吐量的阈值设置为当前网络最大吞吐量的70％～90％范围内。

8.根据权利要求2至5之一所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述任务的撤回操作的具体实现为：撤回采集代理现有任务的5％，当任务总数为1时，不做处理，当任务总数的5％不是整数时，采用向上取整操作。

9.根据权利要求2至5之一所述的用户自定义海量网络安全数据动态采集方法，其特征在于，所述任务的增加操作的具体实现为：增加采集代理现有任务的5％，使采集代理执行新的任务，当任务总数的5％不是整数时，采用向上取整操作。

10.根据权利要求2至5之一所述的用户自定义海量网络安全数据动态采集方法，其特征在于，当出现告警提示时，进行阈值的调整或者增加新的采集代理。