CN112507208A - 一种基于大数据的网络数据采集系统 - Google Patents

Abstract

本发明公开了一种基于大数据的网络数据采集系统，用于解决传统网络数据采集为固定频率，因不能动态的调整采集频率，导致对异常数据不能进行更严密监控的问题。所述系统包括采集模块，用于在第N个周期内，采集预设采集数量的网络数据；均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；第一更新模块，用于根据第N‑1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。本发明能够根据网络数据中的异常数据情况动态的调整采集频率。

Description

一种基于大数据的网络数据采集系统

技术领域

本发明涉及网络数据安全技术领域，特别涉及一种基于大数据的网络数据采集系统。

背景技术

随着互联网技术的迅速发展，网络数据已经普及到生活的各个方面，给人民的生活和工作带来的巨大的方便。但是近几年网络安全问题越来越成为大家关注的对象，尤其是网络数据安全问题，为了对网络安全进行保护，需采集海量网络数据，并从这些海量大数据中检测异常数据，继而对这些异常数据进行更加严密的监控，达到提前预防的目的。但是，目前的数据采集系统都是固定采样频率，还没有根据采集的数据能够自适应调整采样参数的网络数据采集系统，如何自适应调整采样参数以对异常数据进行更好的监控是网络数据采集领域目前急需解决的问题。

发明内容

本发明提供一种基于大数据的网络数据采集系统，用于解决传统网络数据采集为固定频率，因不能根据异常数据情况动态的调整采集频率，导致对异常数据不能进行更严密监控的问题。本发明提供的基于大数据的网络数据采集系统，能根据异常数据情况，动态的调整采集周期时间，从而实现了对采集频率的调整，达到对异常数据进行更严密的监控的目的。

本发明提供的一种基于大数据的网络采集系统，包括：

采集模块，用于在第N个周期内，采集预设采集数量的网络数据；

均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；

第一更新模块，用于根据第N-1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长；

其中，N为不小于2的正整数，第1个周期的时长为预设初始值。

在一可选实施例中，所述第一更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，η₁∈(0,1),η₂∈(1,2)，

S_N-1为第N-1个周期内采集的网络数据的均值和方差，

S_N为第N个周期内采集的网络数据的均值和方差,T_N为第N个周期的时长。

在一可选实施例中，所述的基于大数据的网络数据采集系统，还包括：

第一判断模块，用于判断N是否大于等于指定数量，是则触发第二判断模块工作，否则触发第一更新模块更新第N+1个周期的时长；

第二判断模块，用于根据第j个周期到第N个周期的各周期时长，判断第N个周期的时长变化是否超过预定标准，是则触发第一更新模块更新第N+1个周期的时长，否则触发第二更新模块更新第N+1个周期的时长；其中，j为大于等于1且小于N的正整数，且N-j+1＝M，M为所述指定数量；

第二更新模块，用于根据所述第j个周期到第N个周期的时长以及这些周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。

在一可选实施例中，所述第二判断模块，包括：

时长方差计算单元，用于计算所述第j个周期到第N个周期的时长方差；

判断单元，用于判断所述时长方差是否大于预设阈值，是则确定第N个周期的时长变化超过预定标准，否则确定第N个周期的时长变化未超过预定标准。

在一可选实施例中，所述第二更新更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，T_i为第i个周期的时长，W_i为第i个周期的权重，

为第i个周期内采集的网络数据的均值，S_i为第i个周期内采集的网络数据的方差，其中i＝j,…,N。

在一可选实施例中，所述第二更新更新模块更新第N+1个周期的时长时使用的各个周期的权重值为1/M。

在一可选实施例中，所述第二更新更新模块更新第N+1个周期的时长时使用的各个周期的权重值为：

其中，Z为使得

成立的实数。

在一可选实施例中，所述第一更新模块更新第N+1个周期的时长时，η₁＝0.5，η₂＝2。

在一可选实施例中，所述采集模块包括：

数据预处理单元，用于对采集的网络数据进行分类，将网络数据分为非噪声数据与噪声数据；

数据过滤单元，用于获取所述噪声数据中符合预设噪声标准的目标噪声数据与非噪声数据中的有效数据，对所述目标噪声数据进行修正处理，并将所述修正处理后的目标噪声数据与所述有效数据合成目标网络数据，再将所述目标网络数据存入数据库；

数据输出单元，用于将所述数据库中的所述目标网络数据输出至均值及方差计算模块；

其中，所述数据过滤单元，具体用于根据以下步骤对所述目标噪声数据进行修正处理：

步骤B1：所述数据过滤单元通过如下公式计算所述目标噪声数据对应的修正误差因子：

其中，μ₁为所述目标噪声数据对应的修正误差因子，C为预设的常数，C取值范围为(0，10)，m为所述目标噪声数据的数量，

为预设的所述目标噪声数据的偏置，取值为(0,1)；Y_k为第k个目标噪声数据与所述预设噪声标准之间的匹配度，Y₁为所述m个目标噪声数据中与所述预设噪声标准之间的匹配度的最大值；

步骤B2：所述数据过滤单元根据计算的所述修正误差因子，通过如下公式计算所述目标噪声数据的修正误差值Q_Z：

步骤B3：所述数据过滤单元根据如下公式计算每个目标噪声数据对应的修正匹配度：

当第k个目标噪声数据的Y_k等于或大于预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度：

Y_0k＝Y_k(1-Q_Z)

当第k个目标噪声数据的Y_k小于所述预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度：

Y_0k＝Y_k(1+Q_Z)

步骤B4：针对每个目标噪声数据：

当当前目标噪声数据的修正匹配度等于或大于所述预设阈值时，保留所述当前目标噪声数据；

当当前目标噪声数据的修正匹配度小于所述预设阈值时，剔除所述目标噪声数据。

本发明提供的基于大数据的网络采集系统，根据采集到的网络数据中的异常数据的情况，动态的调整采集周期的时长，实现自适应调整网络数据采集的频率的目的，该系统能在海量的网络数据中出现大量的异常数据时，自动地将采集的频率调高，能对异常数据进行更加严密的监控，及时了解异常数据的情况，从而保证网络数据的安全。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明提供的一种基于大数据的网络数据采集系统实施例一的结构示意图；

图2为本发明提供的一种基于大数据的网络数据采集系统实施例二的结构示意图；

图3为本发明提供的一种基于大数据的网络数据采集系统实施例三的结构示意图。

具体实施方式

本发明实施例提供的基于大数据的网络数据采集系统，用于对网络数据进行采集，并对异常数据进行监控。以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明提供的一种基于大数据的网络数据采集系统实施例一的结构示意图。如图1所示，该系统包括：

采集模块11，用于在第N个周期内，采集预设采集数量的网络数据；例如周期时长为3秒，预设采集数量为3个时，此时采集频率为1个/秒，其中采集的数据对象可以为一件商品的销售界面，也可以是用户请求验证界面等。本发明实施例中，每个采集周期内采集的网络数据的数量固定不变。

均值及方差计算模块12，用于计算并记录第N个周期内采集的网络数据的均值和方差。均值及方差计算模块12根据如下均值公式计算当前周期内采集的网络数据的均值：

其中

为均值，x_i为当前周期内采集的第i个采集的数值，n为预设采集数量，假设采集模块11采集到的网络数据为3、4和5，则根据公式(1)计算得到网络数据均值为4；继续根据如下方差公式计算方差：

其中，S为当前周期内采集的网络数据的方差，n为预设采集数量，当前周期内采集的网络数据的

为均值，x_i为当前周期内采集的第i个采集的数值。

第一更新模块13，用于根据第N-1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。

其中，N为不小于2的正整数，第1个周期的时长为预设初始值。

优选地，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，η₁∈(0,1),η₂∈(1,2)，优选地，η₁＝0.5、η₂＝2，

S_N-1为第N-1个周期内采集的网络数据的均值和方差，

S_N为第N个周期内采集的网络数据的均值和方差，T_N为第N个周期的时长。例如：若

S_N-1＝3，

S_N＝1，T_N为3秒时，则根据公式(3)计算可计算得到第N+1个周期的周期时长为T_N+1＝3秒。

本实施例中，通过检测上一个周期内的均值方差的变化来改变采样频率：当方差变小，均值变小时，系统输入的信号减弱，则可以增大采样周期时长，减少采样频率，反之增加采样频率，从而在网络数据出现异常时，可以通过自适应改变采用频率，达到对异常数据进行更严密监控的效果。

在一可选实施例中，在碰到网路数据采集频率变化较为平缓的情况下，即对应的数据采集周期的时长变化不大的情况下，采用公式(3)计算新的采集周期时长的效果不是特别显著。为解决该问题，进一步提高网络数据采集效果，及时地调整采样周期，最大程度地保持数据的完整性，如图2所示，本发明提供的基于大数据的网络数据采集系统在图1所示结构的基础上，还可以包括：

第一判断模块14，用于判断N是否大于等于指定数量，是则触发第二判断模块15工作，否则触发第一更新模块13更新第N+1个周期的时长。例如，若指定数量为3，则当N＝3时，触发第一更新模块13更新第N+1个周期的时长。

第二判断模块15，用于根据第j个周期到第N个周期的各周期时长，判断第N个周期的时长变化是否超过预定标准，是则触发第一更新模块13更新第N+1个周期的时长，否则触发第二更新模块16更新第N+1个周期的时长。其中，j为大于等于1且小于N的正整数，且N-j+1＝M，M为所述指定数量。上述指定数量可以在系统初始化时预先指定，还可以根据用户需要随时指定初始时若指定第一判断模块14判断N是否大于等于5(即初始设定指定数量为5)，在系统运行到第100个周期时，若发现最近一段周期通过第一更新模块调整的周期时长变化较小，则可以将所述指定数量重新指定为30，以通过扩大指定数量，使第二判断模块15判断时的采样周期长一些来提高计算的准确性。

第二更新模块16，用于根据第j个周期到第N个周期的时长以及这些周期(即第j个周期到第N个周期)内采集的网络数据的均值和方差，更新第N+1个周期的时长。

在一优选实施例中，如图3所示，第二判断模块15，可以包括：

时长方差计算单元151，用于计算第j个周期到第N个周期的时长方差；优选地，可以根据如下步骤计算时长方差：

步骤A1、计算第j个周期到第N个周期的时长均值，公式如下：

其中，

为第j个周期到第N个周期的时长均值，T_i为第i个周期的时长，i＝j,…,N；j＝N-M+1，M为所述指定数量,例如若M＝4，N＝5，则j＝2，取第2个周期到第5个周期的时长来计算，若T₂＝5s，T₃＝6s，T₄＝7s，T₄＝6s，则根据公式(4)计算，

步骤A2、计算第j个周期到第N个周期的时长方差，公式如下：

其中，

为第j个周期到第N个周期的时长均值，T_i为第i个周期的时长，M为指定数量，S′_T为第j个周期到第N个周期的时长方差。例如：对于上一例子，若T₂＝5s，T₃＝6s，T₄＝7s，T₄＝6s，计算出

则根据公式(5)计算得到S′_T＝0.5。

判断单元152，用于判断所述时长方差是否大于预设阈值，是则确定第N个周期的时长变化超过预定标准，否则确定第N个周期的时长变化未超过预定标准。例如，若时长方差计算单元151计算得到S_T＝0.5，预设阈值为0.3时，则判断单元152触发第一更新模块13更新第N+1个周期的时长；当预设阈值为0.8时，则触发第二更新模块16更新第N+1个周期的时长。

优选地，第二更新模块16具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，T_i为第i个周期的时长，i＝j,…,N；W_i为第i个周期的预设权重，

为第i个周期内采集的网络数据的均值，S_i为第i个周期内采集的网络数据的方差，

S_N为第N个周期内采集的网络数据的均值和方差。

公式(6)中，各个周期的权重值可以相同，即W_i为1/M。

优选地，权重W_i(第i个周期的权重)可以为非线性权重，其值为

其中Z为使得

成立的实数，T_i为第i个周期的时长，T_N为第N个周期的时长，T_N-1为第N-1个周期的时长。根据此确定的权重值可以体现当前周期的频率与之前M(即N-j+1)个周期采样的频率有关。与当前时刻相隔越近的周期，其对应的权重越大，即它对目前采样频率的影响越大。

在一个实施例中，所述采集模块11包括：所述采集模块包括：

数据预处理单元，用于对采集的网络数据进行分类，将网络数据分为非噪声数据与噪声数据；

数据过滤单元，用于获取所述噪声数据中符合预设噪声标准的目标噪声数据与非噪声数据中的有效数据，对所述目标噪声数据进行修正处理，并将所述修正处理后的目标噪声数据与所述有效数据合成目标网络数据，再将所述目标网络数据存入数据库；

数据输出单元，用于将所述数据库中的所述目标网络数据输出至均值及方差计算模块；

其中，所述数据过滤单元，具体用于根据以下步骤对所述目标噪声数据进行修正处理：

步骤B1：所述数据过滤单元通过如下公式计算所述目标噪声数据对应的修正误差因子：

其中，μ₁为所述目标噪声数据对应的修正误差因子，C为预设的常数，C取值范围为(0，10)，m为所述目标噪声数据的数量，

为预设的所述目标噪声数据的偏置，取值为(0,1)；Y_k为第k个目标噪声数据与所述预设噪声标准之间的匹配度，Y₁为所述m个目标噪声数据中与所述预设噪声标准之间的匹配度的最大值；

步骤B2：所述数据过滤单元根据计算的所述修正误差因子，通过如下公式计算所述目标噪声数据的修正误差值Q_Z：

步骤B3：所述数据过滤单元根据如下公式计算每个目标噪声数据对应的修正匹配度：

当第k个目标噪声数据的Y_k等于或大于预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1-Q_Z)

当第k个目标噪声数据的Y_k小于所述预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1+Q_Z)

步骤B4：针对每个目标噪声数据：

当当前目标噪声数据的修正匹配度等于或大于所述预设阈值时，保留所述当前目标噪声数据；

当当前目标噪声数据的修正匹配度小于所述预设阈值时，剔除所述目标噪声数据。

上述技术方案的工作原理及有益效果为：上述技术方案通过数据过滤单元对目标噪声数据进行修正，使得目标网络数据更加准确，提高了网络数据的可靠性。

本发明提供的基于大数据的网络采集系统，根据采集到的网络数据中的异常数据的情况，动态的调整采集周期的时长，继而调整网络数据采集的频率。若在海量的网络数据中，出现大量的异常数据时，自动地将采集的频率调高，达到能对异常数据进行更加严密的监控，及时了解异常数据的情况，从而保证网络数据的安全。本本发明提供的基于大数据的网络采集系统，应用场景较广，如病毒木马检测，工业制造产品检测，网络流量检测，信用卡诈骗检测等应用场景。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种基于大数据的网络数据采集系统，其特征在于，包括：

采集模块，用于在第N个周期内，采集预设采集数量的网络数据；

均值及方差计算模块，用于计算并记录第N个周期内采集的网络数据的均值和方差；

第一更新模块，用于根据第N-1个周期、第N个周期内采集的网络数据的均值和方差，更新第N+1个周期的时长；

其中，N为不小于2的正整数，第1个周期的时长为预设初始值。

2.如权利要求1所述的基于大数据的网络数据采集系统，其特征在于，所述第一更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，η₁∈(0，1)，η₂∈(1，2)，

S_N-1为第N-1个周期内采集的网络数据的均值和方差，

S_N为第N个周期内采集的网络数据的均值和方差，T_N为第N个周期的时长。

3.如权利要求1所述的基于大数据的网络数据采集系统，其特征在于，还包括：

第一判断模块，用于判断N是否大于等于指定数量，是则触发第二判断模块工作，否则触发第一更新模块更新第N+1个周期的时长；

第二判断模块，用于根据第j个周期到第N个周期的各周期时长，判断第N个周期的时长变化是否超过预定标准，是则触发第一更新模块更新第N+1个周期的时长，否则触发第二更新模块更新第N+1个周期的时长；其中，j为大于等于1且小于N的正整数，且N-j+1＝M，M为所述指定数量；

第二更新模块，用于根据所述第j个周期到第N个周期的时长以及这些周期内采集的网络数据的均值和方差，更新第N+1个周期的时长。

4.如权利要求3所述的基于大数据的网络数据采集系统，其特征在于，所述第二判断模块，包括：

时长方差计算单元，用于计算所述第j个周期到第N个周期的时长方差；

判断单元，用于判断所述时长方差是否大于预设阈值，是则确定第N个周期的时长变化超过预定标准，否则确定第N个周期的时长变化未超过预定标准。

5.如权利要求3或4所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新更新模块，具体用于根据以下公式更新第N+1个周期的时长：

其中，T_N+1为第N+1个周期的时长，T_i为第i个周期的时长，W_i为第i个周期的权重，

为第i个周期内采集的网络数据的均值，S_i为第i个周期内采集的网络数据的方差，其中i＝j，...，N。

6.如权利要求5所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新模块更新第N+1个周期的时长时使用的各个周期的权重值为1/M。

7.如权利要求5所述的基于大数据的网络数据采集系统，其特征在于，所述第二更新更新模块更新第N+1个周期的时长时使用的各个周期的权重值为：

其中，Z为使得

成立的实数。

8.如权利要求2所述的基于大数据的网络数据采集系统，其特征在于，所述第一更新模块更新第N+1个周期的时长时，η₁＝0.5，η₂＝2。

9.如权利要求1所述的基于大数据的网络数据采集系统，其特征在于，所述采集模块包括：

数据预处理单元，用于对采集的网络数据进行分类，将网络数据分为非噪声数据与噪声数据；

数据过滤单元，用于获取所述噪声数据中符合预设噪声标准的目标噪声数据与非噪声数据中的有效数据，对所述目标噪声数据进行修正处理，并将所述修正处理后的目标噪声数据与所述有效数据合成目标网络数据，再将所述目标网络数据存入数据库；

数据输出单元，用于将所述数据库中的所述目标网络数据输出至均值及方差计算模块；

其中，所述数据过滤单元，具体用于根据以下步骤对所述目标噪声数据进行修正处理：

步骤B1：所述数据过滤单元通过如下公式计算所述目标噪声数据对应的修正误差因子：

其中，μ₁为所述目标噪声数据对应的修正误差因子，C为预设的常数，C取值范围为(0，10)，m为所述目标噪声数据的数量，

为预设的所述目标噪声数据的偏置，取值为(0，1)；Y_k为第k个目标噪声数据与所述预设噪声标准之间的匹配度，Y₁为所述m个目标噪声数据中与所述预设噪声标准之间的匹配度的最大值；

步骤B2：所述数据过滤单元根据计算的所述修正误差因子，通过如下公式计算所述目标噪声数据的修正误差值Q_Z：

步骤B3：所述数据过滤单元根据如下公式计算每个目标噪声数据对应的修正匹配度Y_0k：

当第k个目标噪声数据的Y_k等于或大于预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1-Q_Z)

当第k个目标噪声数据的Y_k小于所述预设阈值时，采用如下公式计算第k个目标噪声数据的修正匹配度Y_0k：

Y_0k＝Y_k(1+Q_Z)

步骤B4：针对每个目标噪声数据：

当当前目标噪声数据的修正匹配度等于或大于所述预设阈值时，保留所述当前目标噪声数据；

当当前目标噪声数据的修正匹配度小于所述预设阈值时，剔除所述目标噪声数据。

Images