CN109040229A - 一种网络监控方法及系统 - Google Patents

Abstract

本发明公开了一种网络监控方法，包括：接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；识别多个数据服务器的子集，用于存储设备的数据记录；将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；接收对设备的至少一部分数据记录的查询；使用所记录的元数据并响应于查询来识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和从至少一个识别的数据服务器接收设备的数据记录。

Description

一种网络监控方法及系统

技术领域

本发明涉及计算机网络技术领域，具体而言，涉及一种网络监控方法及系统。

背景技术

网络监视，分析和保护是一个复杂的问题。一些现有解决方案针对分布式拒绝服务(DDoS)识别和缓解。示例现有解决方案包括Black Lotus(现为Level 3)，Radware，Prolexic(现为Akamai)，Neustar和Arbor Networks(现为NetScout Systems)的产品。

其他现有解决方案旨在监控网络流量和安全性。示例现有解决方案包括Renysys(现为Dyn)，ManageEngine，Plixer，Arbor Networks(现为NetScout Systems)，Deepfield，Lancope(现为Cisco Systems)，FlowTraq，NetScout Systems，Riverbed，CATechnologies，千眼智能路由，思科，Noction主机监控，服务器密度和数据狗。

现有技术中有公开了“描述了一种网络防御系统，它提供网络传感器基础设施和框架。管理和执行专门用于检测高度分布式隐形网络攻击的高级网络安全算法。在一个示例中，一种系统包括数据收集和存储子系统，其提供中央存储库以存储从位于地理上分离的网络内的传感器接收的网络流量数据。网络防御算法分析网络流量数据并检测集中控制的恶意软件，该恶意软件被配置为从地理上分离的网络内的设备执行分布式网络攻击(“僵尸网络攻击”)。可视化和决策子系统生成用户界面，该用户界面呈现源设备的地理位置和僵尸网络攻击的目标设备的电子地图。数据收集和存储子系统存储要由每个网络防御算法分析的网络流量数据的参数清单。“

现有技术中有系统包括多个收集器设备，这些收集器设备被设置为收集关于在网络上的节点之间发送的分组的数据和统计信息。设置聚合器设备以从多个收集器设备接收数据和统计信息。聚合器设备生成连接表，该连接表将网络上的每个节点映射到存储有关流入或流出节点的流量的信息的记录。聚合器运行确定网络事件的过程，将异常聚合到网络事件中。

以上都不提供具有用于实时捕获和分析的集群架构，合并的网络流，BGP和其他分组捕获数据的网络监视，检测和分析系统，当前和历史模式分析，以及深入路径分析的完整数据保留。因此，需要一种克服上述限制并包括上面缺陷的系统。

发明内容

本发明提出了一种网络监控方法，包括：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询来识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

所述的方法，其中接收网络流数据包括：

通过计算机网络从设备接收网络流数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和使用丰富的网络流数据形成多个数据记录。

所述的方法，其中接收网络流数据包括：

从在与该设备相关联的局域网上的机器上执行的软件代理接收多个数据记录；和

验证设备以确认代理有资格接收设备的网络流数据；

其中，响应于设备的验证，将从软件代理接收的多个数据记录转发到所识别的多个数据服务器的子集。

所述的方法，其中每个数据记录包括数据元组，所述数据元组在应用级别识别所述计算机网络上的两个主机之间的流量。

所述的方法，其中，所述元数据还指示与对应于由数据服务器存储的数据记录的每个数据服务器子集相对应的至少一个时间段。

所述的方法，还包括：

将所接收的查询划分为多个子查询，每个子查询对应于不同的设备和与所接收的查询相关联的时间段；和

对于每个子查询，识别多个数据服务器中的哪些数据服务器存储对应于该设备的数据记录和由子查询指定的时间段。

所述的方法，其中，所述设备的每个数据记录存储在所述多个数据服务器中的至少两个不同的数据服务器上，并且其中，所述方法还包括：

基于与每个数据服务器相关联的未完成查询的数量，确定响应于所接收的查询而存储数据记录的数据服务器子集的每个数据服务器的负载水平；和将查询发送到接收数据记录到具有最低负载水平的识别数据服务器。

所述的方法，还包括：

将设备的数据记录转发到警报子系统；

在警报子系统中，聚合对应于特定时间间隔的数据记录的子集；

将聚合的数据记录子集与一个或多个触发规则进行比较，其中响应于聚合的数据记录子集的属性超过由一个或多个触发规则指定的值而触发警报状态；和

响应于触发警报状态采取通知操作。

一种用于网络监控的系统，包括：

多个摄取服务器，用于：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

元数据系统，被配置为记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

查询处理器配置为：

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询，识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

所述的系统，其中，多个摄取服务器还被配置为：

通过计算机网络从设备接收网络流量数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和使用丰富的网络流数据形成多个数据记录。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的网络监控方法的示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

实施例一：

如图1所示，是本发明的网络监控方法的示意图，包括：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询来识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

所述的方法，其中接收网络流数据包括：

通过计算机网络从设备接收网络流数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和

使用丰富的网络流数据形成多个数据记录。

所述的方法，其中接收网络流数据包括：

从在与该设备相关联的局域网上的机器上执行的软件代理接收多个数据记录；和

验证设备以确认代理有资格接收设备的网络流数据；

其中，响应于设备的验证，将从软件代理接收的多个数据记录转发到所识别的多个数据服务器的子集。

所述的方法，其中每个数据记录包括数据元组，所述数据元组在应用级别识别所述计算机网络上的两个主机之间的流量。

所述的方法，其中，所述元数据还指示与对应于由数据服务器存储的数据记录的每个数据服务器子集相对应的至少一个时间段。

所述的方法，还包括：

将所接收的查询划分为多个子查询，每个子查询对应于不同的设备和与所接收的查询相关联的时间段；和

对于每个子查询，识别多个数据服务器中的哪些数据服务器存储对应于该设备的数据记录和由子查询指定的时间段。

所述的方法，其中，所述设备的每个数据记录存储在所述多个数据服务器中的至少两个不同的数据服务器上，并且其中，所述方法还包括：

基于与每个数据服务器相关联的未完成查询的数量，确定响应于所接收的查询而存储数据记录的数据服务器子集的每个数据服务器的负载水平；和

将查询发送到接收数据记录到具有最低负载水平的识别数据服务器。

所述的方法，还包括：

将设备的数据记录转发到警报子系统；

在警报子系统中，聚合对应于特定时间间隔的数据记录的子集；

将聚合的数据记录子集与一个或多个触发规则进行比较，其中响应于聚合的数据记录子集的属性超过由一个或多个触发规则指定的值而触发警报状态；和

响应于触发警报状态采取通知操作。

实施例二：

一种用于网络监控的系统，包括：

多个摄取服务器，用于：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

元数据系统，被配置为记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

查询处理器配置为：

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询，识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

所述的系统，其中，多个摄取服务器还被配置为：

通过计算机网络从设备接收网络流量数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和使用丰富的网络流数据形成多个数据记录。

所述的系统，其中，多个摄取服务器还被配置为：

从与该设备相关联的局域网上的机器上执行的软件代理接收多个数据记录；和

验证设备以确认代理有资格接收设备的网络流数据；

其中，响应于设备的验证，将从软件代理接收的多个数据记录转发到所识别的多个数据服务器的子集。

所述的系统，其中，所述元数据还指示与对应于由数据服务器存储的数据记录的每个数据服务器子集相对应的至少一个时间段。

所述的系统，其中，所述查询处理器还被配置为：

将所接收的查询划分为多个子查询，每个子查询对应于不同的设备和与所接收的查询相关联的时间段；和

对于每个子查询，识别多个数据服务器中的哪些数据服务器存储对应于该设备的数据记录和由子查询指定的时间段。

所述的系统，其中，所述设备的每个数据记录存储在所述多个数据服务器中的至少两个不同的数据服务器上，并且所述查询处理器还被配置为：

基于与每个数据服务器相关联的多个未完成查询，确定响应于所接收的查询而存储数据记录的数据服务器子集的每个数据服务器的负载水平；和

发送查询以将数据记录接收到具有最低负载水平的识别数据服务器。

所述的系统，其中所述多个摄取服务器还被配置为将所述设备的数据记录转发到警报子系统，所述警报子系统被配置为：

聚合对应于特定时间间隔的数据记录的子集；

将聚合的数据记录子集与一个或多个触发规则进行比较，其中响应于聚合的数据记录子集的属性超过由一个或多个触发规则指定的值，触发警报状态；和

响应于触发警报状态采取通知操作。

实施例三：

一种用于执行网络监视的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质包含计算机程序代码，所述计算机程序代

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

记录元数据，描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中；

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询，识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

所述的计算机程序产品，其中，所述计算机程序代码还使所述一个或多个处理器：

通过计算机网络从设备接收网络流量数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和使用丰富的网络流数据形成多个数据记录。

所述的计算机程序产品，其中，所述元数据还指示与对应于由所述数据服务器存储的数据记录的每个数据服务器子集相对应的至少一个时间段。

所述的计算机程序产品，其中，所述计算机程序代码还使所述一个或多个处理器：

将所接收的查询划分为多个子查询，每个子查询对应于不同的设备和与所接收的查询相关联的时间段；和

对于每个子查询，识别多个数据服务器中的哪些数据服务器存储对应于该设备的数据记录和由子查询指定的时间段。

所述的计算机程序产品，其中，所述计算机程序代码还使所述一个或多个处理器：

将设备的数据记录转发到警报子系统

在警报子系统中，聚合对应于特定时间间隔的数据记录的子集；

将聚合的数据记录子集与一个或多个触发规则进行比较，其中响应于聚合的数据记录子集的属性超过由一个或多个触发规则指定的值，触发警报状态；和响应于触发警报状态采取通知操作。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种网络监控方法，其特征在于，包括：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询来识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

2.如权利要求1所述的方法，其特征在于，接收网络流数据包括：

通过计算机网络从设备接收网络流数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和

使用丰富的网络流数据形成多个数据记录。

3.如权利要求1所述的方法，其特征在于，接收网络流数据包括：

从在与该设备相关联的局域网上的机器上执行的软件代理接收多个数据记录；和

验证设备以确认代理有资格接收设备的网络流数据；

其中，响应于设备的验证，将从软件代理接收的多个数据记录转发到所识别的多个数据服务器的子集。

4.如权利要求1所述的方法，其特征在于，每个数据记录包括数据元组，所述数据元组在应用级别识别所述计算机网络上的两个主机之间的流量。

5.如权利要求1所述的方法，其特征在于，所述元数据还指示与对应于由数据服务器存储的数据记录的每个数据服务器子集相对应的至少一个时间段。

6.如权利要求1所述的方法，其特征在于，还包括：

将所接收的查询划分为多个子查询，每个子查询对应于不同的设备和与所接收的查询相关联的时间段；和

对于每个子查询，识别多个数据服务器中的哪些数据服务器存储对应于该设备的数据记录和由子查询指定的时间段。

7.如权利要求1所述的方法，其特征在于，所述设备的每个数据记录存储在所述多个数据服务器中的至少两个不同的数据服务器上，并且其中，所述方法还包括：

基于与每个数据服务器相关联的未完成查询的数量，确定响应于所接收的查询而存储数据记录的数据服务器子集的每个数据服务器的负载水平；和

将查询发送到接收数据记录到具有最低负载水平的识别数据服务器。

8.如权利要求1所述的方法，其特征在于，还包括：

将设备的数据记录转发到警报子系统；

在警报子系统中，聚合对应于特定时间间隔的数据记录的子集；

将聚合的数据记录子集与一个或多个触发规则进行比较，其中响应于聚合的数据记录子集的属性超过由一个或多个触发规则指定的值而触发警报状态；和

响应于触发警报状态采取通知操作。

9.一种用于网络监控的系统，其特征在于，包括：

多个摄取服务器，用于：

接收表示为描述计算机网络中的设备的操作数据的多个数据记录的网络流数据；

识别多个数据服务器的子集，用于存储设备的数据记录；

将所述设备的数据记录转发到所述多个数据服务器的所识别的子集，所述多个数据服务器的子集存储所述设备的数据记录；

元数据系统，被配置为记录描述多个数据服务器中的哪些数据服务器位于存储设备的数据记录的子集中的元数据；

查询处理器配置为：

接收对设备的至少一部分数据记录的查询；

使用所记录的元数据并响应于查询，识别多个数据服务器中的哪些数据服务器在存储设备的数据记录的子集中；

将查询发送到存储设备的数据记录的至少一个识别的数据服务器；和

从至少一个识别的数据服务器接收设备的数据记录。

10.如权利要求9所述的系统，其特征在于，多个摄取服务器还被配置为：

通过计算机网络从设备接收网络流量数据；

验证从中接收网络流数据的发送地址；

响应于发送地址的验证，利用描述该设备的丰富数据来丰富所接收的网络流数据；和使用丰富的网络流数据形成多个数据记录。