CN107872457B - 一种基于网络流量预测进行网络操作的方法及系统 - Google Patents

Abstract

本发明公开了一种基于网络流量预测进行网络操作的方法及系统，该系统包括：防止敏感数据泄露的数据防泄漏服务器，多个网络流量采集器，分别安装在各个类型的节点上，用于采集网络流量数据；一个网络流量预测服务器，接收各个节点上的网络流量采集器发送的网络流量数据，并基于机器学习模型，结合网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练；所述数据防泄漏服务器在进行网络操作前，发送请求至网络流量预测服务器，网络流量预测服务器及时响应，向数据防泄漏服务器输出网络流量预测结果。通过本方案，实现了灵活利用整个网络流量低估期进行网络操作。大大提升了网络带宽的使用率，网络操作的安全性，系统服务的高效性。

Description

一种基于网络流量预测进行网络操作的方法及系统

技术领域

本发明涉及网络数据安全领域，具体涉及一种基于网络流量预测进行网络操作的方法及系统。

背景技术

随着信息科学与互联网技术的飞跃发展，安全问题愈演愈烈，网络与信息安全已获得到前所未有的关注。其中，数据防泄漏系统作为数据安全的终端防护手段，适应需求变化，逐渐向智能化、实时化方向发展。数据防泄漏系统部署在企业内部网络中，会占用宝贵的内网带宽，用于终端升级、负载数据同步以及终端日志传输等操作，对企业用户正常网络操作造成一定影响。

当前，数据防泄漏系统中终端升级、负载数据同步、终端日志上传等操作需要消耗的网络带宽较大，对同时段的用户正常使用网络会有较大影响。因此，这些操作只能在固定设置在网络低谷时执行，这是一种传统的方式，也是当前绝大多数企业级软件系统的固定方式，这种方式灵活性低，一般都在凌晨(0点至6点)操作。这种模式存在较明显的缺点。无法及时应对突发的网络流量异常场景。比如网络故障，这些系统必要的操作就会无法及时进行，对整个系统的正常运行造成严重影响，给企业带来很大损失。

综上所述，现有数据防泄漏系统对企业内网带宽的使用存在三个方面不足。即灵活性低、效率低、风险高。

因此，迫切需要一种能对网络流量进行预测，灵活的进行系统操作，提高数据防泄漏系统的带宽使用率。

本发明通过流量采集器，从系统服务器、数据防泄漏终端、负载服务器、弱相关节点(其他内网服务器)采集流量数据，通过预测服务器对流量数据实施分析、基于机器学习模型，对整个系统相关的节点网络流量进行预测，并输出时区内网络流量使用情况，从而可以灵活调整数据防泄漏系统网络的操作时机。

发明内容

为解决上述技术问题，本发明提供了一种基于网络流量预测进行网络操作的系统，包括：防止敏感数据泄露的数据防泄漏服务器，其特征在于，该系统还包括：

多个网络流量采集器，分别安装在各个类型的节点上，用于采集网络流量数据；

一个网络流量预测服务器，接收各个节点上的网络流量采集器发送的网络流量数据，并基于机器学习模型，结合网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练；

所述数据防泄漏服务器在进行网络操作前，发送请求至网络流量预测服务器，网络流量预测服务器及时响应，向数据防泄漏服务器输出网络流量预测结果。

根据本发明的实施例，优选的，所述节点包括：数据防泄漏服务器、数据防泄漏终端和数据防泄漏其他弱相关节点。

根据本发明的实施例，优选的，网络流量采集器将节点中的应用程序、IP端口作为测量对象，采用POISSON算法进行周期性采集，采集的网络流量数据包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率；

将采集的网络流量数据上传至网络流量预测服务器。

为解决上述技术问题，本发明提供了一种基于网络流量预测进行网络操作的方法，该方法包括以下步骤：

1)网络流量采集器采集各个类型节点上的网络流量数据；

2)将各个网络流量采集器所采集的网络流量数据上传至网络流量预测服务器，实现网络流量数据聚合；

3)基于机器学习模型，结合网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练；

4)在数据防泄漏服务器执行网络操作前，发送请求至网络流量预测服务器，网络流量预测服务器及时响应，向数据防泄漏服务器输出网络流量预测结果。

根据本发明的实施例，优选的，所述节点包括：数据防泄漏服务器、数据防泄漏终端和数据防泄漏系统弱相关节点。

根据本发明的实施例，优选的，网络流量采集器将节点中的应用程序、IP端口作为测量对象，采用POISSON算法进行周期性采集，采集网络流量数据包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率；

将采集的网络流量数据上传至网络流量预测服务器。

根据本发明的实施例，优选的，所述步骤1)网络流量采集器采集各个类型节点上的网络流量数据时需要使得网络流量测量方法满足：

稳健性，即被测网络的轻微变化，不会使得测量方法失效；

可重复性，即同样的网络条件，多次测量结果应一致；

准确性，测量结果应能反映网络的真实情况。

根据本发明的实施例，优选的，所述机器学习模型建立后机器学习采用的算法如下：

根据一些特征分类得到决策树；

根据一些网络流量数据进行分类，对每个节点提一个问题，通过判断，将网络流量数据分类，这些问题都是根据已有数据学习出来的；

在采集到新的网络流量数据的时候，根据这棵树上的问题，将所述新的网络流量数据划分到合适的叶子上。

根据本发明的实施例，优选的，所述建立网络流量模型包括：通过机器学习模型，建立基于网络流量特征、网络吞吐率、带宽占用率、时间段的三维模型。

根据本发明的实施例，优选的，所述步骤4)中所述网络流量预测结果包括：指定时间区段内的网络带宽占用率、可执行操作的最佳时间区段。

为解决上述技术问题，本发明提供了一种基于网络流量预测进行网络操作的系统，包括：网络流量采集器、网络流量预测服务器，所述网络流量采集器、网络流量预测服务器分别包括计算机存储介质和计算机处理装置，所述计算机存储介质包括有计算机程序指令，分别通过所述计算机处理装置执行所述计算机程序指令，实现上述方法权利要求之一的方法。

附图说明

图1为本发明的流量采集器采集流量数据流程。

图2为本发明的流量预测服务器工作流程。

图3为本发明的具体实施例系统架构图。

具体实施方式

为解决上述技术问题，本发明提供了一种基于数据防泄漏系统终端用户行为模型的网络流量预测方法，该方法包括以下步骤：

流量采集，包括三种采集器，分别为数据防泄漏系统服务器、数据防泄漏终端及数据防泄漏弱相关节点(其他内网服务器)。采集器负责采集各个类型节点上的网络流量数据；

流量特征聚合，各个采集器所采集的流量特征数据上传至预测服务器；

流量建模与训练，基于成熟的机器学习模型，结合企业的网络特征，建立网络流量模型，并基于聚合的数据进行模拟训练；所述网络特征包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率等。

流量预测，在执行网络操作前，积极预测网络流量。

为解决上述技术问题，本发明提供了一种网络流量预测系统，该系统包括：

网络流量采集器，安装在各个类型的节点上，采集网络流量数据；

网络流量预测服务器，接收各个节点上的网络采集器发送的网络流量数据，并基于成熟的机器学习模型，结合企业的网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练。

采用本发明的技术方案，数据防泄漏系统的网络操作(终端升级、负载数据同步、数据防泄漏终端日志传输等操作)时机，由预测服务器经过机器学习模型，建立起网络流量模型，并进行网络流量数据模型训练后，给出预测操作时机方案。灵活利用整个网络流量低估期，进行网络操作。大大提升了网络带宽的使用率，网络操作的安全性，系统服务的高效性。同时，该方案不会对普通用户网络行为有影响。

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

<用网络流量采集和流量服务器预测方法>

图1是本发明的流量采集器采集流程。流量采集器部署在数据防泄漏系统服务器、数据防泄漏终端、数据防泄漏系统弱相关节点上。

流量采集器的三要素如下：

测量对象：被测量的节点或链路，测量节点、链路或网络的特征，如链路的时延、带宽、丢包率、时延抖动，路由器的路由效率、时延、丢包率，web服务器的应答延迟、吞吐率、系统容量、最大稳定连接数等；

测量环境：包括测量点的选取、测量时间的确定、测量设备、通信链路的类型等；

测量方法：针对某一具体的网络行为指标，选取合适的测量方法，测量方法应满足：稳健性(被测网络的轻微变化，不会是测量方法失效)、可重复性(同样的网络条件，多次测量结果应一致)、准确性(测量结果应能反映网络的真实情况)。

本发明的流量采集器将应用程序、IP端口作为测量对象，采用POISSON算法进行周期性采集，采集流量特征数据包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率。之后将数据上传至流量预测服务器。

图2是网络流量预测服务器流程。

机器学习模型建立，机器学习为当前具有划时代意义的思想，机器学习采用的算法如下：决策树：首先，遍历每个决策条件(如带宽占用率<＝30％)，对结果集进行拆分；其次，计算该决策条件下，所有可能的拆分情况的信息增益，信息增益最大的拆分为本次最优拆分；最后，递归执行上述两步，直至信息增益<＝0。

再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子上。

建立网络流量模型，通过机器学习模型，建立以流量特征、吞吐率、带宽占用率、时间段的网络流量模型模型；

模型训练，通过累计大量的模型数据单元，按照已有的模型数据，机器学习算法，进行周期性训练，经过大量的训练，具备智能性；

输出网络流量预测结果，模型训练后，当数据防泄漏系统进行网络操作前，发送请求至预测服务器，服务器及时响应，输出网络流量预测结果，结果包括：指定时间区段内的网络带宽占用率、可执行操作的最佳时间区段等。

<实施例>

如图3所示，某小型银行公司已部署了数据防泄漏系统，并在数据防泄漏系统服务器、数据防泄漏终端、数据防泄漏其他弱相关节点安装了流量采集器，并部署了流量预测服务器，构建了基于用户行为模型的流量预测机制。该机制通过流量采集器采集预定特征的流量数据，并周期性的将流量数据上传至网络流量预测服务器。该机制除了部署数据防泄漏生态系统，还新增了如下组件：

3台用于流量采集的流量采集器；

1台用于流量预测的流量预测服务器；

该基于网络流量预测的数据防泄漏系统机制，各个模块工作正常，经过测算，在部署200台终端的场景下，每天终端上传日志操作前，会请求预测服务器并在10s内获取最优操作时机方案，在每天网络状况较好的情况下进行操作，灵活规避了网络高峰，高效利用了网络低估期，安全高效的完成了上传操作。

通过本发明的技术方案，实现了灵活利用整个网络流量低估期进行网络操作。大大提升了网络带宽的使用率，网络操作的安全性，系统服务的高效性。同时，该方案不会对普通用户网络行为有影响。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应保护在本发明的保护范围之内。

Claims (10)

1.一种基于网络流量预测进行网络操作的系统，包括：防止敏感数据泄露的数据防泄漏服务器，其特征在于，该系统还包括：

多个网络流量采集器，分别安装在各个类型的节点上，用于采集网络流量数据；

一个网络流量预测服务器，接收各个节点上的网络流量采集器发送的网络流量数据，并基于机器学习模型，结合网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练；

根据特征分类得到决策树；

根据一些网络流量数据进行分类，对每个节点提一个问题，通过判断，将网络流量数据分类，这些问题都是根据已有数据学习出来的；

在采集到新的网络流量数据的时候，根据这棵树上的问题，将所述新的网络流量数据划分到合适的决策树叶子上；

所述数据防泄漏服务器在进行网络操作前，发送请求至网络流量预测服务器，网络流量预测服务器及时响应，向数据防泄漏服务器输出网络流量预测结果；

所述网络操作包括：终端升级、负载数据同步、数据防泄漏终端日志传输操作。

2.根据权利要求1所述的系统，所述节点包括：数据防泄漏服务器、数据防泄漏终端和数据防泄漏其他弱相关节点。

3.根据权利要求1所述的系统，网络流量采集器将节点中的应用程序、IP端口作为测量对象，采用POISSON算法进行周期性采集，采集的网络流量数据包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率；

将采集的网络流量数据上传至网络流量预测服务器。

4.一种基于网络流量预测进行网络操作的方法，该方法包括以下步骤：

1)网络流量采集器采集各个类型节点上的网络流量数据；

2)将各个网络流量采集器所采集的网络流量数据上传至网络流量预测服务器，实现网络流量数据聚合；

根据特征分类得到决策树；

3)根据一些网络流量数据进行分类，对每个节点提一个问题，通过判断，将网络流量数据分类，这些问题都是根据已有数据学习出来的；

在采集到新的网络流量数据的时候，根据这棵树上的问题，将所述新的网络流量数据划分到合适的决策树叶子上；

4)基于机器学习模型，结合网络特征，建立网络流量模型，并基于聚合的网络流量数据进行模型训练；

5)在数据防泄漏服务器执行网络操作前，发送请求至网络流量预测服务器，网络流量预测服务器及时响应，向数据防泄漏服务器输出网络流量预测结果；

所述网络操作包括：终端升级、负载数据同步、数据防泄漏终端日志传输操作。

5.根据权利要求4所述的方法，所述节点包括：数据防泄漏服务器、数据防泄漏终端和数据防泄漏系统弱相关节点。

6.根据权利要求4所述的方法，网络流量采集器将节点中的应用程序、IP端口作为测量对象，采用POISSON算法进行周期性采集，采集网络流量数据包括：不同类型的网络吞吐率、带宽占用率、数据丢包率、数据传输延迟率、传输抖动率；

将采集的网络流量数据上传至网络流量预测服务器。

7.根据权利要求4所述的方法，所述步骤1)网络流量采集器采集各个类型节点上的网络流量数据时需要使得网络流量测量方法满足：

稳健性，即被测网络的轻微变化，不会使得测量方法失效；

可重复性，即同样的网络条件，多次测量结果应一致；

准确性，测量结果应能反映网络的真实情况。

8.根据权利要求4所述的方法，所述建立网络流量模型包括：通过机器学习模型，建立基于网络流量特征、网络吞吐率、带宽占用率、时间段的三维模型。

9.根据权利要求4所述的方法，所述步骤4)中所述网络流量预测结果包括：指定时间区段内的网络带宽占用率、可执行操作的最佳时间区段。

10.一种基于网络流量预测进行网络操作的系统，包括：网络流量采集器、网络流量预测服务器，所述网络流量采集器、网络流量预测服务器分别包括计算机存储介质和计算机处理装置，所述计算机存储介质包括有计算机程序指令，分别通过所述计算机处理装置执行所述计算机程序指令，实现权利要求4-9之一的方法。

Images