CN115225544A - 一种网络流量统计和监测方法、装置、电子设备及介质 - Google Patents
一种网络流量统计和监测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115225544A CN115225544A CN202210846408.5A CN202210846408A CN115225544A CN 115225544 A CN115225544 A CN 115225544A CN 202210846408 A CN202210846408 A CN 202210846408A CN 115225544 A CN115225544 A CN 115225544A
- Authority
- CN
- China
- Prior art keywords
- rule
- quintuple
- matched
- session
- message data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络流量统计和监测方法、装置、设备及介质,方法包括:获取待匹配五元组规则和会话的待匹配报文数据,待匹配五元组规则具有规则ID;将待匹配报文数据与待匹配五元组规则进行匹配,并将待匹配五元组规则对应的规则ID添加到会话的结构体中;获取待监测报文数据,根据五元组信息确定是否存在对应会话,当存在对应会话时,将待监测报文数据记录到所属会话的目标五元组规则数据结构中;对目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若记录数据的量大于门限阈值,则对当前会话进行相应的操作,如告警、限速等。本发明实现了对匹配五元组特征的流量进行统计并且对网络中特定流量的速率进行监控的目的。
Description
技术领域
本发明涉及计算机网络流量技术领域,具体涉及一种网络流量统计和监测方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的飞速发展,人类进入了信息化社会,由于网络的迅猛发展以及相关网络应用的广泛普及,互联网已经逐渐成为人们日常生活中不可获取的部分。但是由于目前现有网络的用户访问量和数据流量的急剧增长,其处理能力与计算强度也相应的增大,因此,对网络的实时监控和流量统计显得尤为重要。
当前网络通信设备中,基本都具有对设备接收和发送的流量进行统计的功能。但统计的维度尺度不一,一般都是基于端口、链路、业务等比较大颗粒的维度进行统计,只能大致反映出进出设备的总体流量。对于一些对流量带宽进行管理的产品而言,还需要在更细的颗粒度下对某些特定流量进行监测和管理,比如对匹配了特定五元组的特殊流量进行统计,快速发现网络中的流量的速率问题,以便及时通知管理人员处置。
发明内容
本发明的目的在于克服上述技术不足,提供一种网络流量统计和监测方法、装置、电子设备及存储介质,实现了对匹配特殊特征的流量进行统计并且对网络中特定流量的速率进行监控的目的。
为达到上述技术目的,本发明采取了以下技术方案:
第一方面,本发明提供了一种网络流量统计和监测方法,包括:
获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则包含规则ID;
将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到会话的结构体中;
获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话执行对应的操作。
在一些实施例中,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,还包括:
当不存在对应会话时,创建基于所述待监测报文数据的五元组信息的新会话,并将所述待监测报文数据的五元组信息存入哈希表中;
获取第二待匹配五元组规则;
将所述待监测报文数据与所述第二待匹配五元组规则进行匹配,并将所述第二待匹配五元组规则对应的所述第二规则ID添加到新会话的结构体中。
在一些实施例中,所述五元组包括源IP地址、源端口、目标IP地址、目标端口及通信协议,所述五元组规则为所述五元组的组成结构的排列组合。
在一些实施例中,所述将所述待匹配报文数据与所述待匹配五元组规则进行匹配,包括:
获取所述五元组规则,并将所述五元组规则添加至匹配引擎的数据结构中;
基于预设的回调函数,将所述五元组规则对应的规则ID添加至匹配引擎的数据库;
采用匹配引擎对待匹配报文数据和五元组规则进行匹配,并返回匹配结果;
若待匹配报文数据与五元组规则能匹配上,则返回五元组规则对应的规则ID,若待匹配报文数据与五元组规则未能匹配上,则返回NULL。
在一些实施例中,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定所属会话并与会话的目标五元组规则进行匹配之后,还包括:
获取匹配结果;
若所述匹配结果为所述五元组信息与所述目标五元组规则没有匹配上,则表示该报文数据不满足指定规则;
若所述匹配结果为所述五元组信息与所述目标五元组规则能够匹配上,则将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中。
在一些实施例中,所述基于预设的门限阈值,对所述目标五元组规则数据结构中的记录进行统计,并与所述预设的门限阈值进行对比,若所述记录的数据量大于所述门限阈值,则对当前会话进行报警操作,包括:
启动定时器任务,定期轮询目标五元组规则数据结构中的记录;
提取所述目标五元组规则数据结构中的记录结果,确定所述记录结果的统计值;
将所述统计值与所述预设的门限阈值进行对比,获取对比结果;
若所述对比结果为统计值大于所述预设的门限阈值,则按需执行相应的操作。
在一些实施例中,所述将所述流量速率与所述预设的门限阈值进行对比,获取对比结果之后,还包括:
判断所述记录的数据量对否位于阈值附近;
若所述记录的数据量位于阈值附近,则触发预设的防抖动机制。
第二方面,本发明还提供了一种流量监测与统计装置,包括:
获取模块,用于获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则具有规则ID;
匹配模块,用于将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到会话的结构体中;
统计模块,用于获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
监测模块,用于对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话进行报警操作。
第三方面,本发明还提供了一种电子设备,包括:处理器和存储器;
所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述处理器执行所述计算机可读程序时实现如上所述的流量监测与统计方法中的步骤。
第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上所述的流量监测与统计方法中的步骤。
与现有技术相比,本发明提供的流量监测与统计方法、装置、电子设备及存储介质,为了监测具有特定需求的数据流量,建立基于五元组的特征以及会话,将获取五元组规则以及会话的首个待匹配报文数据通过匹配引擎进行匹配,并将五元组规则的规则ID记录到会话的结构体中,当需要监测和/或统计报文数据时,通过提取待监测报文数据的五元组信息,将五元组信息与会话表中的五元组信息进行匹配,确定待监测报文数据所属的会话,并将待监测报文数据记录到所属会话的目标五元组规则数据结构中,以此实现对报文数据的统计,同时,通过统计目标五元组规则数据结构中的记录数据,并且与预设置的门限阈值进行对比,若统计结果大于门限阈值,则表明当前流量超出预期设定值,则对当前会话进行报警等操作;本发明通过将报文数据与五元组规则进行特征匹配,可统计不同的流量,并且会话基于五元组建立,每个会话的报文数据具有相同的五元组,因此只需对每个会话的首个报文数据进行五元组规则匹配,节省了CPU的资源,同时提高了统计的速度。
附图说明
图1是本发明提供的网络流量统计和监测方法的一实施例的流程图;
图2是本发明提供的网络流量统计和监测方法中,步骤S103另一实施例的流程图;
图3是本发明提供的网络流量统计和监测方法中,步骤S102一实施例的流程图;
图4是本发明提供的网络流量统计和监测方法中,步骤S104一实施例的流程图;
图5是本发明提供的网络流量统计和监测装置的一实施例的示意图;
图6是本发明提供的电子设备一实施例的运行环境示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
网络管理中非常重要且非常基础的一个环节就是网络流量监控,网络流量监控即是对网络数据的连续采集,以此来监测网络的流量。在网络流量监测的基础上,管理员可对感兴趣的网络管理对象设置阈值范围以配置网络阈值对象,阈值对象监控实时轮询网络获取定义对象的当前值,若超出阈值上限或下限则报警。
本发明所涉及的网络流量统计和监测方法、装置、设备或者计算机可读存储介质,可用于不同网络协议的流量监控,并且通过对网络流量的统计及监控,以指导网络流量带宽的合理分配。本发明所涉及的方法、装置、设备或者计算机可读存储介质既可以与上述系统集成在一起,也可以是相对独立的。
本实施例提供了一种网络流量统计和监测方法,请参阅图1,网络流量统计和监测方法包括如下步骤:
S101、获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则具有规则ID;
S102、将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到会话的结构体中;
S103、获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
S104、对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话进行报警操作。
在本实施例中,为了监测具有特定需求的数据流量,建立基于五元组的特征以及会话,将获取五元组规则以及会话的首个待匹配报文数据通过匹配引擎进行匹配,并将五元组规则的规则ID记录到会话的结构体中,当需要监测和/或统计报文数据时,通过提取待监测报文数据的五元组信息,将五元组信息与会话表中的五元组信息进行匹配,确定待监测报文数据所属的会话,并将待监测报文数据记录到所属会话的目标五元组规则数据结构中,以此实现对报文数据的统计,同时,通过统计目标五元组规则数据结构中的记录数据,并且与预设置的门限阈值进行对比,若统计结果大于门限阈值,则表明当前流量超出预期设定值,则对当前会话进行报警等操作;本发明通过将报文数据与五元组规则进行特征匹配,可统计不同的流量,并且会话基于五元组建立,每个会话的报文数据具有相同的五元组,因此只需对每个会话的首个报文数据进行五元组规则匹配,节省了CPU的资源,同时提高了统计的速度。
需要说明的是,待匹配的五元组规则可设置为任意的、管理员想监控的流量类型,具体的,待匹配的五元组规则为源IP地址、源端口、目标IP地址、目标端口及通信协议中的一种或任意几种的组合,每个组合的五元组规则均具有独一的规则ID,因此,通过将报文数据与五元组规则进行匹配,能够实现精准的监测数据流量。
还需要进行说明的是,通过基于五元组建立会话,能够实现一个会话中的所有报文数据都具有相同的五元组信息,因此,只需要对每条会话的首个报文数据进行五元组规则匹配即可,大大节省了CPU的资源,提高了流量统计的效率。
其中,一个具体的实施例为:管理员想监测源ip为192.168.5.1,目的ip为192.168.6.1,源端口号为500,目的端口号600,tcp协议的流量速率大小,当速率大于100mb/s时上报告警,并对此进行了相应规则配置。具体的,第一个步骤为规则配置模块创建规则条目,即五元组规则:源ip为192.168.5.1,目的ip为192.168.6.1,源端口号为500,目的端口号600,协议为tcp。然后为该规则分配一个规则ID,将规则中的五元组规则内容添加到五元组搜索匹配引擎规则中。这里根据采用不同的五元组匹配算法引擎会有不同的具体实现方式,但总体原则都是在匹配引擎中加入规则对应的五元组信息,使引擎能够根据五元组信息找到对应的规则。
在一些实施例中,请参阅图2,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,还包括:
S201、当不存在对应会话时,创建基于所述待监测报文数据的五元组信息的新会话,并将所述待监测报文数据的五元组信息存入哈希表中;
S202、获取第二待匹配五元组规则;
S203、将所述待监测报文数据与所述第二待匹配五元组规则进行匹配,并将所述第二待匹配五元组规则对应的所述第二规则ID添加到新会话的结构体中。
在本实施例中,当出现新会话的报文数据时,首先创建一个基于五元组的新会话,并且将新会话中报文数据的五元组信息存入哈希表中,以便后续同一个会话的报文数据能够通过该会话的五元组信息索引到所属会话,然后将通过该新会话的首个报文数据与管理员想要监控特征五元组规则,即第二待匹配五元组规则进行匹配,并将第二待匹配五元组规则的第二规则ID添加到新会话的结构体中,作为会话的特征元素存储于会话结构中。
需要说明的是,哈希表是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度,这个映射函数叫做散列函数,存放记录的数组叫做散列表;其中,于本实施例中,哈希表的关键码值为会话的五元组信息。
其中,一个具体的实施例为:第二个步骤为一个源ip为192.168.5.1,目的ip为192.168.6.1,源端口号为500,目的端口号600的tcp报文进入收包模块,收包模块会提取报文五元组,在会话表中进行查找,发现找不到对应的会话,于是创建一个新的会话,并加入到会话表中。然后将报文引入五元组匹配引擎识别,在步骤1中五元组匹配引擎中已添加了该五元组信息,则匹配完成后可以返回对应规则ID,将规则ID挂在会话的数据结构中;在该会话后续报文进入收包模块后,先在会话表中根据五元组信息索引查找到所属会话(即步骤2中所创建的会话),无需再进入五元组匹配引擎。从会话结构中获取到规则ID,找到对应的规则,由于需要统计流量速率,将此报文长度累加,结果记录到规则的数据结构中。
在一些实施例中,请参阅图3,所述将所述待匹配报文数据与所述待匹配五元组规则进行匹配,包括:
S301、获取所述五元组规则,并将所述五元组规则添加至匹配引擎的数据结构中;
S302、基于预设的回调函数,将所述五元组规则对应的规则ID添加至匹配引擎的数据库;
S303、采用匹配引擎对待匹配报文数据和五元组规则进行匹配,并返回匹配结果;
S304、若待匹配报文数据与五元组规则能匹配上,则返回五元组规则对应的规则ID,若待匹配报文数据与五元组规则未能匹配上,则返回NULL。
在本实施例中,五元组匹配引擎,是指可以单独添加五元组信息,然后对具有五元组的报文返回匹配结果的一种算法库或模块,一般是基于字符串匹配算法开发。在一些开源的IDS引擎如snort和surlicata都提供类似功能,也可单独开发。对五元组匹配算法的研究也算是业内一个热点,也有很多发明专利公开,在此不过多展开。其具体实现原理与本发明无关。一般来说,引擎应提供初始化、添加/更新/删除匹配规则、返回匹配结果等API接口供使用者调用。
需要说明的是,本实施例对五元组规则进行解析时,逐条按照ip、端口、协议不同规则类型添加到引擎数据结构中,随后所有规则都添加完后,调用引擎数据更新接口,该接口执行过程中,通过回调函数的方式,由使用者将规则ID等信息添加到引擎匹配数据结构中,以便后续能够返回对应的规则ID;更新完成后,每条规则包含的五元组信息就都存储到引擎内部数据库了,对报文匹配时,将报文按特定格式传入引擎匹配接口,引擎内部进行五元组匹配,返回匹配结果,匹配结果中包含匹配上的规则ID,如未匹配上,则返回NULL。
需要说明的是,若管理员需监测的流量类型发生改变,则需要改变其对应的特征五元组规则,若某条规则包含的五元组信息有增、删、改操作,则需要重新将修改后的五元组规则逐条按照ip、端口、协议不同规则类型添加到引擎数据结构中,添加完成后,对接口进行更新。
在一些实施例中,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定所属会话并与会话的目标五元组规则进行匹配之后,还包括:
获取匹配结果;
若所述匹配结果为所述五元组信息与所述目标五元组规则没有匹配上,则表示该报文数据不满足指定规则;
若所述匹配结果为所述五元组信息与所述目标五元组规则能够匹配上,则将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中。
在本实施例中,若所述五元组信息与所述目标五元组规则没有匹配上,或者所属会话结构中不包含规则ID,则表示该报文不满足指定规则,不是管理员所关注的流量,则跳出该流程。由于会话中所有报文的五元组均相同,意味着该报文所属会话的后续报文均无法匹配上这些规则,也不用再进入五元组匹配引擎匹配了。若所述匹配结果为所述五元组信息与所述目标五元组规则能够匹配上,则表示该报文数据为管理关注的流量,将报文数据添加至会话的五元组规则数据结构中,进行一次记录,通过对记录的报文数据进行汇总,即可得到此类关注流量的速率。
在一些实施例中,请参阅图4,所述基于预设的门限阈值,对所述目标五元组规则数据结构中的记录进行统计,并与所述预设的门限阈值进行对比,若所述记录的数据量大于所述门限阈值,则对当前会话执行相应的操作,包括:
S401、启动定时器任务,定期轮询目标五元组规则数据结构中的记录;
S402、提取所述目标五元组规则数据结构中的记录结果,确定所述记录结果的统计值;
S403、将所述统计值与所述预设的门限阈值进行对比,获取对比结果;
S404、若所述对比结果为统计值大于所述预设的门限阈值,则按需执行相应的操作。
在本实施例中,通过定时任务器设定轮询周期,并且获取目标五元组规则数据结构中统计的种类数量,其中记录的结果的种类与由不同的五元组规则决定,其中记录的结果种类可为报文数、流量、比特率或字节数,可单独统计发送端或接收端的信息,也可同时统计收发端的信息;具体的,当需要统计流量时,将得到的总数量除以轮询的周期间隔,得到每一个周期内的流量速率,并且于预设的门限阈值进行对比,若周期内的流量速率大于设置的门限阈值,则可以按需执行告警上报、限速等动作,具体的,门限阈值可设定为100mb/s;其中,当需要统计其他种类的信息,如报文数或字节数时,只需要统计记录的总数即可。
在一些实施例中,所述将所述流量速率与所述预设的门限阈值进行对比,获取对比结果之后,还包括:
判断所述记录的数据量对否位于阈值附近;
若所述记录的数据量位于阈值附近,则触发预设的防抖动机制。
在本实施例中,为了防止流量在阈值范围附近时造成判决结果反复抖动,可加入多次判断的防抖机制,如在3个周期内连续超出阈值再执行限速,再连续3个周期内小于阈值解除限速,具体可根据实际情况进行调整。
基于上述网络流量统计和监测方法,本发明实施例还相应的提供一种网络流量统计和监测装置500,请参阅图5,该网络流量统计和监测装置500包括获取模块510、匹配模块520、统计模块530和监测模块540,其中:
获取模块510,用于获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则具有规则ID;
匹配模块520,用于将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到会话的结构体中;
统计模块530,用于获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
监测模块540,用于对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话进行报警操作。
如图6所示,基于上述网络流量统计和监测方法,本发明还相应提供了一种电子设备,该电子设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子设备包括处理器610、存储器620及显示器630。图6仅示出了电子设备的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
存储器620在一些实施例中可以是该电子设备的内部存储单元,例如电子设备的硬盘或内存。存储器620在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器620还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器620用于存储安装于电子设备的应用软件及各类数据,例如安装电子设备的程序代码等。存储器620还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器620上存储有网络流量统计和监测程序640,该网络流量统计和监测程序640可被处理器610所执行,从而实现本申请各实施例的网络流量统计和监测方法。
处理器610在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器620中存储的程序代码或处理数据,例如执行网络流量统计和监测方法等。
显示器630在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器630用于显示在所述网络流量统计和监测设备的信息以及用于显示可视化的用户界面。电子设备的部件610-630通过系统总线相互通信。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的存储介质中,该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。
Claims (10)
1.一种网络流量统计和监测方法,其特征在于,包括:
获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则包含规则ID;
将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到所述会话的结构体中;
获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话执行对应的操作。
2.根据权利要求1所述的网络流量统计和监测方法,其特征在于,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,还包括:
当不存在对应会话时,创建基于所述待监测报文数据的五元组信息的新会话,并将所述待监测报文数据的五元组信息存入哈希表中;
获取第二待匹配五元组规则;
将所述待监测报文数据与所述第二待匹配五元组规则进行匹配,并将所述第二待匹配五元组规则对应的第二规则ID添加到新会话的结构体中。
3.根据权利要求1所述的网络流量统计和监测方法,其特征在于,所述五元组包括源IP地址、源端口、目标IP地址、目标端口及通信协议,所述五元组规则为所述五元组的组成结构的排列组合。
4.根据权利要求3所述的网络流量统计和监测方法,其特征在于,所述将所述待匹配报文数据与所述待匹配五元组规则进行匹配,包括:
获取所述五元组规则,并将所述五元组规则添加至匹配引擎的数据结构中;
基于预设的回调函数,将所述五元组规则对应的规则ID添加至匹配引擎的数据库;
采用匹配引擎对待匹配报文数据和五元组规则进行匹配,并返回匹配结果;
若待匹配报文数据与五元组规则能匹配上,则返回五元组规则对应的规则ID,若待匹配报文数据与五元组规则未能匹配上,则返回NULL。
5.根据权利要求2所述的网络流量统计和监测方法,其特征在于,所述获取待监测报文数据,根据所述待监测报文数据的五元组信息确定所属会话并与会话的目标五元组规则进行匹配之后,还包括:
获取匹配结果;
若所述匹配结果为所述五元组信息与所述目标五元组规则没有匹配上,则表示该报文数据不满足指定规则;
若所述匹配结果为所述五元组信息与所述目标五元组规则能够匹配上,则将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中。
6.根据权利要求1所述的网络流量统计和监测方法,其特征在于,所述基于预设的门限阈值,对所述目标五元组规则数据结构中的记录进行统计,并与所述预设的门限阈值进行对比,若所述记录的数据量大于所述门限阈值,则对当前会话执行对应的操作,包括:
启动定时器任务,定期轮询目标五元组规则数据结构中的记录;
提取所述目标五元组规则数据结构中的记录结果,确定所述记录结果的统计值;
将所述统计值与所述预设的门限阈值进行对比,获取对比结果;
若所述对比结果为统计值大于所述预设的门限阈值,则按需执行相应的操作。
7.根据权利要求6所述的网络流量统计和监测方法,其特征在于,所述将所述流量速率与所述预设的门限阈值进行对比,获取对比结果之后,还包括:
判断所述记录的数据量对否位于阈值附近;
若所述记录的数据量位于阈值附近,则触发预设的防抖动机制。
8.一种网络流量统计和监测装置,其特征在于,包括:
获取模块,用于获取待匹配五元组规则和会话的待匹配报文数据,其中,所述待匹配五元组规则包含规则ID;
匹配模块,用于将所述待匹配报文数据与所述待匹配五元组规则进行匹配,并将所述待匹配五元组规则对应的所述规则ID添加到会话的结构体中;
统计模块,用于获取待监测报文数据,根据所述待监测报文数据的五元组信息确定是否存在对应会话,当存在对应会话时,将所述待监测报文数据记录到所属会话的目标五元组规则数据结构中;
监测模块,用于对所述目标五元组规则数据结构中的记录数据进行统计,并将统计结果与预设的门限阈值进行对比,若所述记录数据的量大于所述门限阈值,则对当前会话执行对应的操作。
9.一种电子设备,其特征在于,包括:处理器和存储器;
所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的网络流量统计和监测方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-7任意一项所述的网络流量统计和监测方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846408.5A CN115225544A (zh) | 2022-07-19 | 2022-07-19 | 一种网络流量统计和监测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210846408.5A CN115225544A (zh) | 2022-07-19 | 2022-07-19 | 一种网络流量统计和监测方法、装置、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115225544A true CN115225544A (zh) | 2022-10-21 |
Family
ID=83611517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210846408.5A Pending CN115225544A (zh) | 2022-07-19 | 2022-07-19 | 一种网络流量统计和监测方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115225544A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116032852A (zh) * | 2023-03-28 | 2023-04-28 | 新华三工业互联网有限公司 | 基于会话的流量控制方法、装置、系统、设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101316233A (zh) * | 2008-06-19 | 2008-12-03 | 华为技术有限公司 | 一种流量控制的方法和系统及承载层设备 |
CN102142990A (zh) * | 2010-12-31 | 2011-08-03 | 华为技术有限公司 | 业务用量监控方法及设备 |
CN109254897A (zh) * | 2018-09-11 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种告警方法和装置 |
CN109450804A (zh) * | 2018-10-30 | 2019-03-08 | 武汉思普崚技术有限公司 | 一种网络资源控制方法 |
CN112272123A (zh) * | 2020-10-16 | 2021-01-26 | 北京锐安科技有限公司 | 网络流量分析方法、装置、电子设备和存储介质 |
CN112491901A (zh) * | 2020-11-30 | 2021-03-12 | 北京锐驰信安技术有限公司 | 一种网络流量精细化筛选装置及方法 |
CN112994983A (zh) * | 2021-04-01 | 2021-06-18 | 杭州迪普信息技术有限公司 | 流量统计方法、装置和电子设备 |
CN114006868A (zh) * | 2021-10-30 | 2022-02-01 | 杭州迪普信息技术有限公司 | 流量筛选方法及装置 |
CN114338529A (zh) * | 2021-12-29 | 2022-04-12 | 杭州迪普信息技术有限公司 | 五元组规则匹配方法及装置 |
-
2022
- 2022-07-19 CN CN202210846408.5A patent/CN115225544A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101316233A (zh) * | 2008-06-19 | 2008-12-03 | 华为技术有限公司 | 一种流量控制的方法和系统及承载层设备 |
CN102142990A (zh) * | 2010-12-31 | 2011-08-03 | 华为技术有限公司 | 业务用量监控方法及设备 |
CN109254897A (zh) * | 2018-09-11 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种告警方法和装置 |
CN109450804A (zh) * | 2018-10-30 | 2019-03-08 | 武汉思普崚技术有限公司 | 一种网络资源控制方法 |
CN112272123A (zh) * | 2020-10-16 | 2021-01-26 | 北京锐安科技有限公司 | 网络流量分析方法、装置、电子设备和存储介质 |
CN112491901A (zh) * | 2020-11-30 | 2021-03-12 | 北京锐驰信安技术有限公司 | 一种网络流量精细化筛选装置及方法 |
CN112994983A (zh) * | 2021-04-01 | 2021-06-18 | 杭州迪普信息技术有限公司 | 流量统计方法、装置和电子设备 |
CN114006868A (zh) * | 2021-10-30 | 2022-02-01 | 杭州迪普信息技术有限公司 | 流量筛选方法及装置 |
CN114338529A (zh) * | 2021-12-29 | 2022-04-12 | 杭州迪普信息技术有限公司 | 五元组规则匹配方法及装置 |
Non-Patent Citations (1)
Title |
---|
凌高源;朱琳;: "上网流量监测管理软件设计与实现", 软件, no. 01, pages 54 - 58 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116032852A (zh) * | 2023-03-28 | 2023-04-28 | 新华三工业互联网有限公司 | 基于会话的流量控制方法、装置、系统、设备及存储介质 |
CN116032852B (zh) * | 2023-03-28 | 2023-06-02 | 新华三工业互联网有限公司 | 基于会话的流量控制方法、装置、系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111092852B (zh) | 基于大数据的网络安全监控方法、装置、设备及存储介质 | |
US11343268B2 (en) | Detection of network anomalies based on relationship graphs | |
US20190251091A1 (en) | Determining indications of unique values for fields | |
US11775501B2 (en) | Trace and span sampling and analysis for instrumented software | |
US9535961B2 (en) | Query summary generation using row-column data storage | |
EP2939173B1 (en) | Real-time representation of security-relevant system state | |
WO2021068488A1 (zh) | 基于区块链的日志处理方法、装置、计算机设备及存储介质 | |
CN109379390B (zh) | 一种基于全流量的网络安全基线生成方法 | |
US10009239B2 (en) | Method and apparatus of estimating conversation in a distributed netflow environment | |
CN110809010A (zh) | 威胁信息处理方法、装置、电子设备及介质 | |
CN108228322B (zh) | 一种分布式链路跟踪、分析方法及服务器、全局调度器 | |
CN112306700A (zh) | 一种异常rpc请求的诊断方法和装置 | |
CN109684052A (zh) | 事务分析方法、装置、设备及存储介质 | |
CN111914126A (zh) | 用于索引的网络安全大数据的处理方法、设备及存储介质 | |
CN111740868A (zh) | 告警数据的处理方法和装置及存储介质 | |
US20180316702A1 (en) | Detecting and mitigating leaked cloud authorization keys | |
CN111800292A (zh) | 基于历史流量的预警方法、装置、计算机设备及存储介质 | |
CN115225544A (zh) | 一种网络流量统计和监测方法、装置、电子设备及介质 | |
Zhao et al. | Panakos: Chasing the tails for multidimensional data streams | |
CN112287339A (zh) | Apt入侵检测方法、装置以及计算机设备 | |
US11190589B1 (en) | System and method for efficient fingerprinting in cloud multitenant data loss prevention | |
Wu et al. | MicroscopeSketch: Accurate Sliding Estimation Using Adaptive Zooming | |
Michel et al. | PIQ: Persistent interactive queries for network security analytics | |
CN111198900B (zh) | 工业控制网络的数据缓存方法、装置、终端设备及介质 | |
WO2020199029A1 (zh) | 一种数据处理方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |