CN116009491A

CN116009491A - 一种分布式网络优化异常检测告警上报的方法及装置

Info

Publication number: CN116009491A
Application number: CN202211554515.7A
Authority: CN
Inventors: 王冲
Original assignee: Unihub China Information Technology Co Ltd
Current assignee: Unihub China Information Technology Co Ltd
Priority date: 2022-12-06
Filing date: 2022-12-06
Publication date: 2023-04-25

Abstract

本发明公开一种分布式网络优化异常检测告警上报的方法及装置，方法包括：通过Controller与Detector存在的交互信令，Controller统计出Detector的台数；Controller根据Detector台数和用户配置的阈值，计算出每台Detector的潜在越限阈值，并下发至各Detector上；Detector保存潜在越限阈值；Detector保存一定周期的流量统计数据，当计算超出潜在越限阈值时，则将该段统计添加至上报队列；当Detector上的流量统计上报队列达到一定间隔或长度，上报该队列中的统计至Controller；Controller在收到该Detector的流量统计后，向其它Detector采集周期性的流量统计；Controller根据收到其它Detector的流量统计后，计算各Detector上报的流量总和是否超出全局阈值，如果超出则上报告警。本发明避免了多台Detector总和超出阈值而造成告警遗漏上报的问题，同时可以提升告警上报的精确度。

Description

一种分布式网络优化异常检测告警上报的方法及装置

技术领域

本发明涉及网络检测领域，尤其是一种分布式网络优化异常检测告警上报的方法及装置。

背景技术

如图1所示现有技术中分布式网络架构下异常检测，往往难以计算多台Detector总和是否超出检测阈值，往往需要借助FLB即Flow LoadBalance，进行xFlow的负载均衡到不同的Detector上；因为Detector只有本机的检测数据，在多台累计求和超出阈值的情况下，无法确定是否需要触发告警；基于Detector所连接到的路由器台数或者接口带宽等，对每个Detector进行检测阈值的划分不够科学，而且容易产生漏报或误报；将Detector的全量统计数据，全量上报给Controller，会造成Controller与Detector的通信量和负担加大。

发明内容

为解决现有技术存在的问题，本发明提供一种分布式网络优化异常检测告警上报的方法及装置，采用Detector有条件上报给Controller，即在某台Detector流量超出潜在越限阈值时，主动到其它Detector收集流量的方式，Controller统一通过xFlow中的字节数或包数计算流量信息的方式，避免了因单台Detector没有超出门限但是多台Detector总和超出阈值而造成告警遗漏上报的问题，同时可以提升告警上报的精确度。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种分布式网络优化异常检测告警上报的方法，该方法包括：

S01、通过Controller与Detector存在的交互信令，Controller统计出Detector的台数；

S02、Controller根据Detector台数和用户配置的阈值，计算出每台Detector的潜在越限阈值，并下发至各Detector上；

S03、Detector保存潜在越限阈值；

S04、Detector保存一定周期的流量统计数据，当计算超出潜在越限阈值时，则将该段统计添加至上报队列；

S05、当Detector上的流量统计上报队列达到一定间隔或长度，上报该队列中的统计至Controller；

S06、Controller在收到该Detector的流量统计后，向其它Detector采集周期性的流量统计；

S07、Controller根据收到其它Detector的流量统计后，计算各Detector上报的流量总和是否超出全局阈值，如果超出则上报告警。

进一步地，所述S05中的间隔或长度为Detector预先配置。

进一步地，所述S06中流量统计由xFlow中的字节数和包数计算得到。

在本发明一实施例中，还提出了一种分布式网络优化异常检测告警上报的装置，该装置包括：

Detector台数统计模块、通过Controller与Detector存在的交互信令，Controller统计出Detector的台数；

越限阈值计算模块、Controller根据Detector台数和用户配置的阈值，计算出每台Detector的潜在越限阈值，并下发至各Detector上；

越限阈值保存模块、Detector保存潜在越限阈值；

Detector统计模块、Detector保存一定周期的流量统计数据，当计算超出潜在越限阈值时，则将该段统计添加至上报队列；

上报模块、当Detector上的流量统计上报队列达到一定间隔或长度，上报该队列中的统计至Controller；

周期性采集模块、Controller在收到该Detector的流量统计后，向其它Detector采集周期性的流量统计；

阈值判断模块、Controller根据收到其它Detector的流量统计后，计算各Detector上报的流量总和是否超出全局阈值，如果超出则上报告警。

进一步地，所述上报模块中的间隔或长度为Detector预先配置。

进一步地，所述周期性采集模块中流量统计由xFlow中的字节数和包数计算得到。

在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述分布式网络优化异常检测告警上报的方法。

在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行分布式网络优化异常检测告警上报的方法的计算机程序。

有益效果：

1、本发明可以根据每台Detector的流量统计进行精确计算，不会造成告警的漏报或误报，告警上报科学、准确；

2、当Detector的流量统计不超出潜在越限阈值时不进行统计上报，减少了Detector与Controller之间的通信量；

3、支持有条件的打包定期上报，同样可以减少Detector与Controller之间的通信量以及Controller的处理压力。

附图说明

图1是现有技术攻击检测方案示意图；

图2是本发明分布式网络优化异常检测告警上报的方法流程示意图；

图3是本发明分布式网络优化异常检测告警上报的方法设备示意图；

图4是本发明分布式网络优化异常检测告警上报的装置结构示意图；

图5是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种分布式网络优化异常检测告警上报的方法及装置，采用Detector有条件上报给Controller，即在某台Detector流量超出潜在越限阈值时，主动到其它Detector收集流量的方式，Controller统一通过xFlow中的字节数或包数计算流量信息的方式，避免了因单台Detector没有超出门限但是多台Detector总和超出阈值而造成告警遗漏上报的问题，同时可以提升告警上报的精确度。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

如图2所示，该方法包括：

S03、Detector保存潜在越限阈值；

所述S05中的间隔或长度为Detector预先配置。

所述S06中流量统计由xFlow中的字节数和包数计算得到。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

为了对上述分布式网络优化异常检测告警上报的方法进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。

1、通过路由器将所需xFlow报文导出到报文解析单元；

根据业务所需要检测的业务范围和数据范围，将相应路由器导出的xFlow报文导入到报文解析单元。

2、报文解析单元(隶属检测机)对xFlow对象进行解析等处理

报文解析单元收到来自路由器xFlow报文后，通过FLB将xFlow负载分担到不同的检测机上。各检测机收到xFlow报文后，解析相关xFlow报文字段，在缓存中产生和保存相应的流会话(源/目的IP、源/目的端口、协议等)和流量信息(字节数、包数等)，生成相应的xFlow对象描述信息。

3、数据计算单元(隶属检测机)进行本地流量计算和阈值比对

数据计算单元周期性地对产生的xFlow对象描述信息进行计算，根据流会话和流量信息，计算出相应会话在一定周期内的速率(字节或包数除以计算周期)。在计算完本周期速率后，判断是否超出控制器下发的潜在越限阈值，如果超过则主动上报该流量给控制器；否则将该周期内的流量信息保存在本地(缓存周期可以按需配置)。

4、控制器汇总和产生攻击结果

控制器周期性地对各检测机上报基于会话统计的流量信息进行分组汇总，最终得出基于会话统计的流量信息。对于那些没有主动上报流量的检测机，控制器采取主动请求收集的方式拉取其在本地缓存的流量信息。控制器对请求到的流量继续进行分组汇总，就可以得出最终汇总的流量速率。此时控制器判断流量速率(可以是流速或包速)是否超出了配置的全局阈值，如果超出则上报攻击告警。

基于同一发明构思，本发明还提出一种分布式网络优化异常检测告警上报的装置。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是本发明分布式网络优化异常检测告警上报的装置结构示意图。如图4所示，该装置包括：

Detector台数统计模块110、通过Controller与Detector存在的交互信令，Controller统计出Detector的台数；

越限阈值计算模块120、Controller根据Detector台数和用户配置的阈值，计算出每台Detector的潜在越限阈值，并下发至各Detector上；

越限阈值保存模块130、Detector保存潜在越限阈值；

Detector统计模块140、Detector保存一定周期的流量统计数据，当计算超出潜在越限阈值时，则将该段统计添加至上报队列；

上报模块150、当Detector上的流量统计上报队列达到一定间隔或长度，上报该队列中的统计至Controller；

周期性采集模块160、Controller在收到该Detector的流量统计后，向其它Detector采集周期性的流量统计；

阈值判断模块170、Controller根据收到其它Detector的流量统计后，计算各Detector上报的流量总和是否超出全局阈值，如果超出则上报告警。

所述上报模块150中的间隔或长度为Detector预先配置。

所述周期性采集模块160中流量统计由xFlow中的字节数和包数计算得到。。

应当注意，尽管在上文详细描述中提及了分布式网络优化异常检测告警上报的装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

基于前述发明构思，如图5所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述分布式网络优化异常检测告警上报的方法。

基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述分布式网络优化异常检测告警上报的方法的计算机程序。

本发明可以根据每台Detector的流量统计进行精确计算，不会造成告警的漏报或误报，告警上报科学、准确；当Detector的流量统计不超出潜在越限阈值时不进行统计上报，减少了Detector与Controller之间的通信量；支持有条件的打包定期上报，同样可以减少Detector与Controller之间的通信量以及Controller的处理压力。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种分布式网络优化异常检测告警上报的方法，其特征在于，该方法包括：

S03、Detector保存潜在越限阈值；

2.根据权利要求1所述的分布式网络优化异常检测告警上报的方法，其特征在于，所述S05中的间隔或长度为Detector预先配置。

3.根据权利要求1所述的分布式网络优化异常检测告警上报的方法，其特征在于，所述S06中流量统计由xFlow中的字节数和包数计算得到。

4.一种分布式网络优化异常检测告警上报的装置，其特征在于，该装置包括：

越限阈值保存模块、Detector保存潜在越限阈值；

5.根据权利要求4所述的分布式网络优化异常检测告警上报的装置，其特征在于，所述上报模块中的间隔或长度为Detector预先配置。

6.根据权利要求4所述的分布式网络优化异常检测告警上报的装置，其特征在于，所述周期性采集模块中流量统计由xFlow中的字节数和包数计算得到。

7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-3任一项所述方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-3任一项所述方法的计算机程序。