CN110661684B - 流量统计方法及装置 - Google Patents

流量统计方法及装置 Download PDF

Info

Publication number
CN110661684B
CN110661684B CN201910934368.8A CN201910934368A CN110661684B CN 110661684 B CN110661684 B CN 110661684B CN 201910934368 A CN201910934368 A CN 201910934368A CN 110661684 B CN110661684 B CN 110661684B
Authority
CN
China
Prior art keywords
message
detection node
target detection
flow
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910934368.8A
Other languages
English (en)
Other versions
CN110661684A (zh
Inventor
王培辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201910934368.8A priority Critical patent/CN110661684B/zh
Publication of CN110661684A publication Critical patent/CN110661684A/zh
Application granted granted Critical
Publication of CN110661684B publication Critical patent/CN110661684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Abstract

本发明涉及互联网技术领域,特别是涉及一种流量统计方法及装置。该方法包括:当网络报文输入Linux系统时,获取Linux系统中的多个检测节点;确定各个目标检测节点;确定每个目标检测节点中的各个分流规则,并按照每个目标检测节点中的各个分流规则对网络报文进行分流统计,获得每个目标检测节点的分流流量;计算各个目标检测节点的分流流量,获得网络报文的报文流量。应用本发明提供的方法,通过Linux系统中的各个检测节点进行分流统计后,最终获得该网络报文的报文流量,无需再配置对流量进行相关统计的采样器和分析器,简化对网络报文进行流量统计的过程,提高对网络报文进行流量统计的灵活性。

Description

流量统计方法及装置
技术领域
本发明涉及互联网技术领域,特别是涉及一种流量统计方法及装置。
背景技术
随着互联网技术的发展,网络应用的增长,网络安全威胁、网络中的异常流量都给网络的正常运行带来了很大的影响。为了方便虚拟化网络的运维,需要对网络中各个报文的流量进行统计和分析,以了解当前网络的运行状况,方便对网络进行维护。
在现有技术中,通常情况下对报文流量进行统计和分析时,采用网络检测技术sflow或流量轮廓监控技术netflow等对报文流量进行采样分析。但采用sflow或netflow进行报文流量采样时,需要设置采样器对报文进行采样,再设置分析器对已采样的报文进行分析,以获得最终分析结果。但通过采用sflow或netflow进行报文采样分析的过程过于复杂,还要设置采样器和分析器,降低了对报文流量进行统计的灵活性。
发明内容
有鉴于此,本发明提供一种流量统计方法,通过该方法,可以对网络报文的报文流量进行分流统计,简化流量统计的过程。
本发明还提供了一种流量统计装置,用以保证上述方法在实际中的实现及应用。
一种流量统计方法,包括:
当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;
计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
上述的方法,可选的,所述在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点,包括:
获取所述网络报文的报文信息;
解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定进行分流统计的检测节点的标识符;
在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
上述的方法,可选的,所述确定每个所述目标检测节点中预先设置的各个分流规则,包括:
获取每个所述目标检测节点的节点信息;
解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
上述的方法,可选的,所述按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量,包括:
确定所述网络报文中包含的各个报文结构;
对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;
统计各个所述结构流量,获得所述目标检测节点的分流流量。
上述的方法,可选的,获取所述Linux系统中预先设置的多个检测节点前,还包括:
获取所述网络报文中预先设置的报文参数;
判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
一种流量统计装置,包括:
第一获取单元,用于当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
第一确定单元,用于在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
第二确定单元,用于确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;
计算单元,用于计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
上述的装置,可选的,所述第一确定单元,包括:
第一获取子单元,用于获取所述网络报文的报文信息;
第一解析子单元,用于解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定进行分流统计的检测节点的标识符;
第一确定子单元,用于在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
上述的装置,可选的,所述第二确定单元,包括:
第二获取子单元,用于获取每个所述目标检测节点的节点信息;
第二解析子单元,用于解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
第二确定子单元,用于依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
上述的装置,可选的,所述第二确定单元,包括:
第三确定子单元,用于确定所述网络报文中包含的各个报文结构;
计算子单元,用于对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;
统计子单元,用于统计各个所述结构流量,获得所述目标检测节点的分流流量。
上述的装置,可选的,还包括:
第二获取单元,用于获取所述网络报文中预先设置的报文参数;
判断单元,用于判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
处理单元,用于若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的流量统计方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行上述的流量统计方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种流量统计方法,包括:当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;确定在所述Linux系统的各个检测节点中,对所述网络报文进行分流统计的各个目标检测节点;确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。应用本发明提供的方法,通过Linux系统中的各个检测节点进行分流统计后,最终获得该网络报文的报文流量,无需再配置对流量进行统计相关的采样器和分析器等,简化对网络报文进行流量统计的过程,提高对网络报文进行流量统计的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种流量统计方法的方法流程图;
图2为本发明实施例提供的一种流量统计方法的又一方法流程图;
图3为本发明实施例提供的一种流量统计方法的又一方法流程图;
图4为本发明实施例提供的一种流量统计装置的装置结构图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种流量统计方法,该方法可以应用在多种系统平台,其执行主体可以为计算机终端或各种移动设备中设置的Linux系统的处理器,所述方法的方法流程图如图1所示,具体包括:
S101:当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
本发明实施例提供的方法中,在网络中进行数据交互时,需要通过发送报文或者是数据包的形式进行交互。在传输网络报文的过程中,需要计算每个网络报文对应的报文流量。当检测到网络报文输入Linux系统时,获取该Linux系统中预先设置的多个检测节点。其中,每个检测节点用于对网络报文进行流量统计。
需要说明的是,本发明实施例中,该Linux系统中预先设置的多个节点可以是netfilter框架下预先设置的检测节点。其中,该netfilter框架为虚拟结构框架,在该netfilter框架下可以是设置五个检测节点,即,设置5个hook节点。
S102:在所述Linux系统的各个检测节点中,确定对所述网络报文进行流量统计的各个目标检测节点;
本发明实施例提供的方法中,在该Linux系统中,当有网络报文输入时,并不一定需要所有的检测节点对该网络报文进行统计,可以是任意一个检测节点对该网络报文进行流量统计,也可以是至少两个检测节点对网络报文进行分流统计,也可以是所有的检测节点对网络报文进行分流统计。因此,在获取该Linux系统中的各个检测节点后,在各个检测节点中,确定对该网络报文进行流量统计的各个目标检测节点。
需要说明的是,各个目标检测节点可以指的是一个检测节点,也可以指的是至少两个检测节点。
S103:确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;
本发明实施例提供的方法中,该Linux系统的各个检测节点中都设置了至少一个分流规则,每个检测节点中的分流规则可以一致,也可以不一致。在确定对网络报文进行分流统计的各个目标检测节点后,根据各个目标检测节点中的分流规则,对该网络报文的流量进行分流统计。即,每个目标检测节点分别计算该网络报文的部分流量,获得每个检测节点的分流流量。
S104:计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
本发明实施例提供的方法中,在获得各个检测节点的分流流量后,根据各个分流流量,获得该网络报文最终的报文流量。即,对各个检测节点的各个分流流量进行计算,获得该网络报文的报文流量。
需要说明的是,对各个分流流量进行计算的方式,可以是将各个目标检测节点对应的各个分流流量进行求和,获得总的流量,该总的流量则为该网络报文的报文流量。
本发明实施例提供的方法中,当检测到Linux系统中有报文输入时,确定该Linux系统中对该网络报文进行流量的分流计算。其中,每个检测节点用于对该网络报文进行分流统计。其中,每个目标检测节点中至少存在一个或多个分流规则,每个分流规则都用于对该网络报文的流量进行统计。按照各个目标检测节点中设置的各个分流规则对该网络报文进行统计,获得各个分流流量。将各个分流流量进行相加,即可获得该网络报文的报文流量。
基于本发明实施例提供的方,可应用在多种计算机设备或装置当中,以Linux系统中netfilter框架中的5个hook节点为例,该Linux系统中只设置了四种分流规则,分别为L2、L3、L4和L7。对网络报文进行流量统计的具体实施过程如下:
网络报文A输入Linux系统时,在该Linux系统中获取5个hook节点,并在这5个hook节点中确定需要对该网络报文A进行流量统计的第一hook节点和第二hook节点。其中,第一hook节点中包含两个分流规则,分别为L2和L3的分流规则,第二hook节点中也包含两个分流规则,分别为L4和L7的分流规则。对于第一hook节点,通过L2和L3的分流规则对该网络报文A进行分流统计,获得第一hook节点对应的分流流量A1;对于第二hook节点,通过L4和L7的分流规则对网络报文A进行分流统计,获得第二hook节点对应的分流流量A2。由分流流量A1和分流流量A2获得该网络报文A的报文流量。
应用本发明实施例提供的方法,在需要对网络报文进行流量统计时,只需要通过Linux系统中的各个目标检测节点进行分流统计后,最终获得该网络报文的报文流量,无需再配置对流量进行统计相关的采样器和分析器等,简化对网络报文进行流量统计的过程,提高对网络报文进行流量统计的灵活性。
本发明实施例提供的方法中,基于上述实施例步骤S102的内容,在网络报文输入该Linux系统后,需要从该Linux系统的各个检测节点中,确定对该网络报文的进行分流统计的各个目标检测节点的过程如图2所示,具体可以包括:
S201:获取所述网络报文的报文信息;
本发明实施例提供的方法中,当网络报文输入该Linux系统后,获取该网络报文中所携带的报文信息。
需要说明的是,该报文信息可以包括报文的类型,该网络报文中所携带的报文数据、报文IP、MAC地址及端口等。
S202:解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定的进行分流统计的检测节点的标识符;
本发明实施例提供的方法中,在获取到网络报文的报文信息后,对该报文信息进行解析,以获得该报文信息所携带的报文标识符。其中,该报文标识符可以是指定某些特殊信息的标识符,在本发明实施例中,该报文标识符用于指定该网络报文需要进行流量统计的检测节点。该网络报文在输入该Linux系统之前,可以预先定义该网络报文在哪些检测点进行流量统计。
S203:在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
本发明实施例提供的方法中,在获得报文标识符后,从各个检测节点中,选择与该报文标识符相匹配的各个检测节点,可以确定该网络报文需要通过哪几个检测节点进行流量的分流统计,即,确定该Linux系统的各个检测节点中,对该网络报文进行分流统计的各个目标检测节点。
本发明实施例提供的流量统计方法中,在需要确定各个对该网络报文进行分流统计的各个目标检测节点的过程中,先获取该网络报文的报文信息,通过解析该报文信息,获得该报文信息中包含的报文标识符,以确定该Linux系统中与该报文标识符相匹配的各个目标检测节点。
应用本发明实施例提供的方法,通过获取网络报文的报文信息,以确定需要对该网络报文进行分流统计的各个目标检测节点,以保证通过各个目标检测节点获得该网络报文的报文流量,简化了对流量进行统计的过程。
本发明实施例提供的方法中,基于上述实施例步骤S103的内容,在确定需要对该网络报文进行分流统计的各个目标检测节点后,需要确定各个目标检测节点中对该网络报文进行分流统计的分流规则,其过程具体可以包括:
获取每个所述目标检测节点的节点信息;
解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
本发明实施例提供的流量统计方法中,在确定各个目标检测节点中预先设置的各个分流规则时,先获取每个目标检测节点的节点信息,其中,该节点信息中包含了与该目标检测节点相关的节点参数、节点类型等信息。对每个目标节点对应的节点信息进行解析,获得与每个目标检测节点的节点信息中包含的节点标识位。通过每个节点信息对应的节点标识位,可以确定目标检测节点中分别设置了怎样的分流规则。
以Linux系统中netfilter框架为例,该netfilter框架中包含5个hook节点,即,5个检测节点,且该Linux系统中设置了四条分流规则,分别为L2、L3、L4和L7。若任意的目标检测节点的节点信息中的节点标识位为与L2和L7相关的标识位,则该目标检测节点中的分流规则为L2和L7。
应用本发明实施例提供的方法,根据每个目标检测节点的节点信息,以确定每个目标检测节点中的分流规则,以根据各个分流规则对该网络报文进行分流统计。
本发明实施例提供的方法中,基于上述步骤S103的内容,在确定各个目标检测节点中的各个分流规则后,需要按照每个目标检测节点中的各个分流规则进行分流统计,以获得每个目标检测节点的分流流量的过程如图3所示,具体包括:
S301:确定所述网络报文中包含的各个报文结构;
本发明实施例提供的方法中,一个网络报文中可能包含多个报文结构,例如广播报文结构的单播和组播、IP报文结构、TCP报文结构等。在对该网络报文进行分流统计之前,先确定该网络报文中的各个报文结构。其中,每个报文结构对应一种分流规则,例如,分流规则L2对应计算的报文结构为广播报文结构;分流规则L3对应计算的报文结构为IP报文结构;分流规则L4对应计算的报文结构为TCP报文结构、UDP报文结构等;分流规则L7对应计算的报文结构为HTTPS报文结构、SSH报文结构等。
需要说明的是,每个报文结构对应一个报文头,例如广播报文结构可能对应的是单播报文头、IP报文结构对应IP报文头等。
S302:对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;
本发明实施例提供的方法中,对于该Linux系统中每个需要对该网络报文进行分流统计的目标检测节点来说,一个目标检测节点包含多个分流规则,每个分流规则都设置了一个其对应的计算模块,以通过各个计算模块对每个分流规则对应的报文结构进行流量计算,以获得每个报文结构对应的结构流量。
S303:统计各个所述结构流量,获得所述目标检测节点的分流流量。
本发明实施例提供的方法中,对各个结构流量进行统计,获得该检测节点的分流流量。具体的,每个目标检测节点分流流量获得过程与上述步骤S301~S303过程一致,此处将不复赘述。
需要说明的是,在获得各个目标检测节点的分流流量后,将各个分流流量进行统计,以获得该网络报文的报文流量。
本发明实施例提供的方法中,确定该网络报文中的各个报文结构,每个报文结构对应一种分流规则,且在目标检测节点中,一个分流规则对应一个计算模块,该计算模块按照分流规则进行计算获得报文结构的结构流量。可选的,通过计算模块的计算过程包括:以分流规则L2为例,L2对应的分流规则是对广播报文结构进行流量计算,对于一个网络报文来说,先计算该广播报文的个数为1,再计算该广播报文结构对应的报文结构大小,即,该报文结构对应的字符大小。若该结构大小为40,则该分流规则的结构流量为41。该计算模块的计算过程对于其他分流规则L3、L4和L7来说过程相似,计算的报文结构不同,此处将不复赘述。在一个目标检测节点中,根据各个分流规则计算获得各个结构流量后,将各个结构流量进行求和统计,获得该目标检测节点的分流流量。
应用本发明实施例提供的方法,按照每个分流规则计算该网络报文中各个报文结构的结构流量以获得分流流量,使得获得的网络报文对应的报文流量更加准确。
本发明实施例提供的方法中,在获取该Linux系统中的各个检测节点之间,还可以包括:
获取所述网络报文中预先设置的报文参数;
判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
本发明实施例提供的流量统计方法中,在网络报文传输的过程中,有些网络报文可能存在限流的情况,因此,当网络报文输入到Linux系统后,在获取该Linux系统中各个检测节点之前,先确定该网络报文是否要求进行限流。通过获取该网络报文中预先设置的报文参数,以确定该报文参数是否是携带第一标识位的报文参数,即验证该报文参数中是否存在第一标识位。其中,携带一标识位的报文参数为对该网络报文进行限流的报文参数,且该参数中可能包含了进行限流的具体流量大小等。如果该报文参数是携带第一标识位的限流参数,则对该网络报文进行限流处理。在限流处理后,在执行上述实施例步骤中S101~S104的过程,此处将不复赘述。
应用本发明实施例提供的方法,对需要进行限流的网络报文进行限流操作后,再计算该网络报文后的限流流量,以保证该网络报文的报文流量的准确性。
在本发明实施例提供的方法中,在计算获得网络报文的报文流量后,若需要将该报文流量进行可视化操作时,可由管理平台获得各个目标检测节点对应的分流流量,再由管理平台将将该分流流量进行统计后显示。其中,该管理平台可以设置与计算机或各种终端设备的应用软件。上述各个实施例的具体实施过程及其衍生方式,均在本发明的保护范围之内。
与图1所述的方法相对应,本发明实施例还提供了一种流量统计装置,用于对图1中方法的具体实现,本发明实施例提供的流量统计装置可以应用计算机终端或各种移动设备中,其结构示意图如图4所示,具体包括:
第一获取单元401,用于当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
第一确定单元402,用于在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
第二确定单元403,用于确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;
计算单元404,用于计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
本发明实施例提供的流量统计装置中,由第一获取单元在网络报文输入到Linux系统后,获取该Linux系统中的各个检测节点,在根据第一确定单元确定该Linux系统中要对网络报文进行分流统计的目标检测节点,再通过第二确定单元确定每个目标检测节点的各个分流规则,并应用各个分流规则进行分流统计,最后由计算单元将获得的各个分流流量进行计算,获得该网络报文的报文流量。
应用本发明实施例提供的装置,该网络报文在输入Linux系统后,经由各个单元进行分流计算最终获得报文流量,简化流量的计算过程。
本发明实施例提供的装置中,所述第一确定单元,包括:
第一获取子单元,用于获取所述网络报文的报文信息;
第一解析子单元,用于解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定进行分流统计的检测节点的标识符;
第一确定子单元,用于在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
本发明实施例提供的装置中,所述第二确定单元,包括:
第二获取子单元,用于获取每个所述目标检测节点的节点信息;
第二解析子单元,用于解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
第二确定子单元,用于依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
本发明实施例提供的装置中,所述第二确定单元,包括:
第三确定子单元,用于确定所述网络报文中包含的各个报文结构;
计算子单元,用于对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;
统计子单元,用于统计各个所述结构流量,获得所述目标检测节点的分流流量。
本发明实施例提供的装置中,还包括:
第二获取单元,用于获取所述网络报文中预先设置的报文参数;
判断单元,用于判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
处理单元,用于若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
以上本发明实施例公开的流量统计装置中各个单元及子单元的具体工作过程,可参见本发明上述实施例公开的流量统计方法中的对应内容,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述流量统计方法。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;
计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现。
为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种流量统计方法,其特征在于,包括:
当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;其中,所述按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量,包括:确定所述网络报文中包含的各个报文结构;对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;统计各个所述结构流量,获得所述目标检测节点的分流流量;
计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
2.根据权利要求1所述的方法,其特征在于,所述在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点,包括:
获取所述网络报文的报文信息;
解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定进行分流统计的检测节点的标识符;
在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
3.根据权利要求1所述的方法,其特征在于,所述确定每个所述目标检测节点中预先设置的各个分流规则,包括:
获取每个所述目标检测节点的节点信息;
解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
4.根据权利要求1所述的方法,其特征在于,获取所述Linux系统中预先设置的多个检测节点前,还包括:
获取所述网络报文中预先设置的报文参数;
判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
5.一种流量统计装置,其特征在于,包括:
第一获取单元,用于当检测到网络报文输入Linux系统时,获取所述Linux系统中预先设置的多个检测节点;
第一确定单元,用于在所述Linux系统的各个检测节点中,确定对所述网络报文进行分流统计的各个目标检测节点;
第二确定单元,用于确定每个所述目标检测节点中预先设置的各个分流规则,并按照每个所述目标检测节点中的各个分流规则对所述网络报文进行分流统计,获得每个所述目标检测节点的分流流量;其中,所述第二确定单元,包括:
第三确定子单元,用于确定所述网络报文中包含的各个报文结构;
计算子单元,用于对于每个所述目标检测节点,应用所述目标检测节点中预先设置的每个所述分流规则对应的计算模块,对每个所述分流规则对应的报文结构进行流量计算,获得所述网络报文中每个所述报文结构对应的结构流量;
统计子单元,用于统计各个所述结构流量,获得所述目标检测节点的分流流量;
计算单元,用于计算各个所述目标检测节点的分流流量,获得所述网络报文的报文流量。
6.根据权利要求5所述的装置,其特征在于,所述第一确定单元,包括:
第一获取子单元,用于获取所述网络报文的报文信息;
第一解析子单元,用于解析所述报文信息,获得所述报文信息中包含的报文标识符,所述报文标识符为所述网络报文所指定进行分流统计的检测节点的标识符;
第一确定子单元,用于在所述Linux系统的各个检测节点中,选择与所述报文标识符相匹配的检测节点,并将与所述报文标识符相匹配的检测节点确定为目标检测节点。
7.根据权利要求5所述的装置,其特征在于,所述第二确定单元,包括:
第二获取子单元,用于获取每个所述目标检测节点的节点信息;
第二解析子单元,用于解析各个所述节点信息,获得与每个所述节点信息对应的各个节点标识位;
第二确定子单元,用于依据各个所述节点标识位,确定每个所述目标检测节点中与每个所述节点标识位对应分流规则。
8.根据权利要求5所述的装置,其特征在于,还包括:
第二获取单元,用于获取所述网络报文中预先设置的报文参数;
判断单元,用于判断所述报文参数中是否为携带第一标识位的报文参数,所述携带第一标识位的报文参数为对网络报文进行限流的报文参数;
处理单元,用于若所述报文参数为携带第一标识位的报文参数,则对所述网络报文进行限流处理。
CN201910934368.8A 2019-09-29 2019-09-29 流量统计方法及装置 Active CN110661684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910934368.8A CN110661684B (zh) 2019-09-29 2019-09-29 流量统计方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910934368.8A CN110661684B (zh) 2019-09-29 2019-09-29 流量统计方法及装置

Publications (2)

Publication Number Publication Date
CN110661684A CN110661684A (zh) 2020-01-07
CN110661684B true CN110661684B (zh) 2021-06-29

Family

ID=69039870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910934368.8A Active CN110661684B (zh) 2019-09-29 2019-09-29 流量统计方法及装置

Country Status (1)

Country Link
CN (1) CN110661684B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691410B (zh) * 2020-05-19 2023-05-12 花瓣云科技有限公司 网络性能数据的获取方法、装置和服务器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014040487A1 (zh) * 2012-09-13 2014-03-20 中兴通讯股份有限公司 一种高速下行分组接入多流的优化方法、系统及装置
CN103763154A (zh) * 2014-01-11 2014-04-30 浪潮电子信息产业股份有限公司 一种网络流量检测方法
WO2018068578A1 (zh) * 2016-10-11 2018-04-19 中兴通讯股份有限公司 一种融合网络的分流方法和装置
CN108809795A (zh) * 2018-04-19 2018-11-13 中国科学院计算机网络信息中心 一种局域网环境中透明分流方法和装置
CN110149279A (zh) * 2019-05-28 2019-08-20 浪潮思科网络科技有限公司 一种通信接口流量负载分担的方法及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050020945A1 (en) * 2002-07-02 2005-01-27 Tosaya Carol A. Acoustically-aided cerebrospinal-fluid manipulation for neurodegenerative disease therapy
CN100433659C (zh) * 2006-08-11 2008-11-12 杭州华三通信技术有限公司 一种流量统计方法及流量采集器
US8412595B2 (en) * 2008-03-07 2013-04-02 American Express Travel Related Services Company, Inc. Lifecycle tracking and management using RF
CN101984598B (zh) * 2010-11-04 2012-11-07 成都市华为赛门铁克科技有限公司 一种报文转向的方法和深度包检测设备
CN103973673B (zh) * 2014-04-09 2017-11-03 汉柏科技有限公司 划分虚拟防火墙的方法和设备
CN104270366B (zh) * 2014-09-30 2017-09-29 北京金山安全软件有限公司 检测karma攻击的方法及装置
US10015096B1 (en) * 2016-06-20 2018-07-03 Amazon Technologies, Inc. Congestion avoidance in multipath routed flows
CN106202540A (zh) * 2016-07-26 2016-12-07 浪潮通用软件有限公司 一种大型应用系统的数据库可横向扩展方法
US10069734B1 (en) * 2016-08-09 2018-09-04 Amazon Technologies, Inc. Congestion avoidance in multipath routed flows using virtual output queue statistics
CN106682223B (zh) * 2017-01-04 2020-03-10 上海智臻智能网络科技股份有限公司 数据有效性检测方法及装置、智能交互方法及装置
WO2018136915A1 (en) * 2017-01-23 2018-07-26 Nrg Systems, Inc. System and methods of novelty detection using non-parametric machine learning
CN107122773A (zh) * 2017-07-05 2017-09-01 司马大大(北京)智能系统有限公司 一种视频广告检测方法、装置及设备
CN110071878B (zh) * 2019-04-15 2022-11-01 杭州迪普信息技术有限公司 报文流量统计方法、装置、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014040487A1 (zh) * 2012-09-13 2014-03-20 中兴通讯股份有限公司 一种高速下行分组接入多流的优化方法、系统及装置
CN103763154A (zh) * 2014-01-11 2014-04-30 浪潮电子信息产业股份有限公司 一种网络流量检测方法
WO2018068578A1 (zh) * 2016-10-11 2018-04-19 中兴通讯股份有限公司 一种融合网络的分流方法和装置
CN108809795A (zh) * 2018-04-19 2018-11-13 中国科学院计算机网络信息中心 一种局域网环境中透明分流方法和装置
CN110149279A (zh) * 2019-05-28 2019-08-20 浪潮思科网络科技有限公司 一种通信接口流量负载分担的方法及设备

Also Published As

Publication number Publication date
CN110661684A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
US9654484B2 (en) Detecting DGA-based malicious software using network flow information
Asrodia et al. Network traffic analysis using packet sniffer
US9692671B2 (en) Method and apparatus for automatically determining causes of service quality degradation
CN110912927B (zh) 工业控制系统中控制报文的检测方法及装置
CN109361673B (zh) 基于流量数据样本统计和平衡信息熵估计的网络异常检测方法
CN109995582B (zh) 基于实时状态的资产设备管理系统及方法
CN109617868B (zh) 一种ddos攻击的检测方法、装置及检测服务器
JP2012075149A (ja) 分散型トラフィック分析
EP3591910B1 (en) Monitoring device, monitoring method and monitoring program
US11336545B2 (en) Network device measurements employing white boxes
CN108293039A (zh) 处理网络威胁
CN112995152B (zh) 一种风险端口检测方法、装置、设备和介质
US9917747B2 (en) Problem detection in a distributed digital network through distributed packet analysis
CN112769633A (zh) 一种代理流量检测方法、装置、电子设备及可读存储介质
CN110661684B (zh) 流量统计方法及装置
CN112422554A (zh) 一种检测异常流量外连的方法、装置、设备及存储介质
CN106921671B (zh) 一种网络攻击的检测方法及装置
US9438489B2 (en) Computing a performance characteristic of a network device
CN107395451A (zh) 上网流量异常的处理方法、装置、设备及存储介质
CN102780591A (zh) 用于在会话级别区分和采样双向网络流量的方法和装置
CN107360062B (zh) Dpi设备识别结果的验证方法、系统及dpi设备
US9065744B2 (en) Performance optimized and configurable state based heuristic for the classification of real-time transport protocol traffic
CN113395255B (zh) 一种autossh反向代理检测方法、系统、设备及可读存储介质
US9992073B2 (en) Network status measuring system and a method for measuring status of a network
CN106817268B (zh) 一种ddos攻击的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant