CN113660146B - 一种网络边界流量采集方法、装置及存储介质 - Google Patents

一种网络边界流量采集方法、装置及存储介质 Download PDF

Info

Publication number
CN113660146B
CN113660146B CN202111220481.3A CN202111220481A CN113660146B CN 113660146 B CN113660146 B CN 113660146B CN 202111220481 A CN202111220481 A CN 202111220481A CN 113660146 B CN113660146 B CN 113660146B
Authority
CN
China
Prior art keywords
session
boundary
data message
hash table
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111220481.3A
Other languages
English (en)
Other versions
CN113660146A (zh
Inventor
王伟旭
田红伟
徐文勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shumo Technology Co ltd
Original Assignee
Chengdu Shumo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shumo Technology Co ltd filed Critical Chengdu Shumo Technology Co ltd
Priority to CN202111220481.3A priority Critical patent/CN113660146B/zh
Publication of CN113660146A publication Critical patent/CN113660146A/zh
Application granted granted Critical
Publication of CN113660146B publication Critical patent/CN113660146B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes

Abstract

本发明公开了一种网络边界流量采集方法、装置及存储介质，属于流量分析技术领域。装置包括处理器和计算机可读存储介质，该存储介质中存储有计算机程序，处理器运行该计算机程序可实现：对所有经过边界设备的流量进行全量镜像处理；为镜像处理后的流量建立全局哈希表和边界哈希表；判断进入全局哈希表中的数据报文是否为新会话；是则加入全局哈希表，再判断是否为边界流量；是则加入边界哈希表；若不是则丢弃；若为旧会话，则在边界哈希表中查看是否存在该会话，不存在则丢弃，存在则加入边界哈希表。本发明通过边界流量识别技术，实现了从全部流量中将网络边界设备的流量筛选出来，为针对边界设备进行的安全分析提供了理论支撑。

Description

一种网络边界流量采集方法、装置及存储介质
技术领域
本发明涉及流量分析领域，具体涉及一种网络边界流量采集方法、装置及存储介质。
背景技术
当前网络现状分为LAN（局域网）和WAN（广域网），具体点的分化就是internet（互联网）和intranet（企业内部网络），由于现阶段的IP是由IPv4的划分方式得到的有限的地址，并且为了企业或者家庭内部网络的安全，使得两种网络采用不同段的IP并且由路由器、防火墙等设备连接网络，像路由器、防火墙等用来连接两个网络的设备都叫边界设备。现有的防火墙、交换机，主要是串接到用户的网络中，作为流量审计或者入侵检测，但其自身产生的网络访问流量情况却缺乏监管，要想监管防火墙、交换机的自身流量，则需要从这些设备路由的巨量流量中将其自身流量分离出来。
发明内容
本发明旨在解决现有技术中存在的边界设备的自身流量无法监管的问题，提出一种网络边界流量采集方法、装置及存储介质，通过边界流量识别技术，可以快速筛出边界设备中的自身流量，为针对边界设备进行的安全分析提供理论支撑。
为了实现上述发明目的，本发明的技术方案如下：
一种网络边界流量采集方法，包括如下步骤：
步骤S1、将所有经过边界设备的流量进行全量镜像捕获处理；
步骤S2、为镜像处理后的流量建立记录所有会话的全局hash表和记录边界流量的边界hash表；
步骤S3、判断加入全局hash表中的数据报文所属会话是否为新会话；
若为新会话，则将该数据报文所属会话加入全局hash表，再判断该数据报文是否为边界流量；若为边界流量，则该数据报文所属会话加入边界hash表进行记录，并将该数据报文存入存储介质；若不是边界流量，则丢弃该条会话对应的数据报文；
若为旧会话，则在边界hash表中查看是否存在该会话，不存在则丢弃该条会话所对应的数据报文，存在则将该数据报文所属会话加入边界hash表进行记录，同时将该数据报文存入存储介质。
进一步的，镜像处理后的流量按照四元组进行分组，分组后的流量又按照不同的传输层协议分为TCP会话、UDP会话、ICMP会话来进行边界流量的判断。
进一步的，针对每个分组的TCP会话、UDP会话、ICMP会话分别建立用于记录所有会话的全局hash表和用于记录边界流量的边界hash表。
进一步的，TCP会话和UDP会话利用四元组拼接计算hash值，ICMP会话利用IP对拼接计算hash值。
进一步的，新会话和旧会话的判断方法如下：
定时更新流量采集时间，一个会话在某段流量采集时间t内到来的数据报文都使该会话判断为旧会话；
如果一个会话在该某段流量采集时间t内，不再有新的数据报文到来，则将该会话的key信息从全局hash表和边界hash表中移除，即使后续到来相同hash值的数据报文，都判断为新增会话的数据报文。
进一步的，边界流量的判断过程如下：
如果该会话是一个新会话，则提取该会话的数据报文的TTL进行判断；
若数据报文不带有SYN标志位，则丢弃该数据报文，不作为流量开始采集的数据帧；
若数据报文带有SYN或SYN|ACK标志位，则提取该数据报文的TTL (Time To Live，存活时间)进行判断，若满足TTL=64或者TTL=255，则判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
进一步的，为解决上述全部或部分问题，本发明还提供了一种计算机可读存储介质，其存储有计算机程序，运行该计算机程序可执行上述的网络边界流量采集方法。
一种网络边界流量采集装置，该装置包括处理器和上述的计算机可读存储介质，所述处理器运行所述计算机可读存储介质中存储的计算机程序。
综上所述，本发明具有以下优点：
1、本发明所述的网络边界流量采集方法，通过边界流量识别技术，实现了从全部流量中将网络边界设备的流量筛选出来的效果，通过精确定位边界设备产生的边界流量，为针对边界设备进行的安全分析提供了理论支撑；
2、本发明在对边界流量进行采集的过程中，将镜像后的流量按照四元组进行分组，分组后的流量又按照不同的传输层协议分为TCP会话、UDP会话、ICMP会话来进行边界流量的判断。上述操作是为了方便后续流量到来时，能快速派发到不同的分组进行处理，减少哈希冲突，同时提升系统处理的并发量；
3、本发明采用全局hash表和边界hash表进行边界流量的分离时，如果一个会话在该段采集时间t内，不再有新的数据报文到来，则该会话的key信息从全局hash表和边界hash表中移除。通过定时清除全局hash表和边界hash表中的一些垃圾数据，可以提升系统性能。
附图说明
图1为本发明所述边界流量采集设备的分布示意图；
图2为本发明一种网络边界流量采集方法的实施逻辑框图；
图中：
1、边界流量采集设备；2、镜像交换机；3、边界设备。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。
实施例1
本发明提供了一种网络边界流量采集方法，包括如下步骤：
步骤S1、将所有经过边界设备的流量进行全量镜像捕获处理；
步骤S2、为镜像处理后的流量建立记录所有会话的全局hash表和记录边界流量的边界hash表；
步骤S3、判断加入全局hash表中的数据报文所属会话是否为新会话；
若为新会话，则将该数据报文所属会话加入全局hash表，再判断该数据报文是否为边界流量；若为边界流量，则该数据报文所属会话加入边界hash表进行记录；若不是边界流量，则丢弃该条会话对应的数据报文；
若为旧会话，则在边界hash表中查看是否存在该会话，不存在则丢弃该条会话所对应的数据报文，存在则将该数据报文所属会话加入边界hash表进行记录。
实施例2
在实施例1的基础上，本实施例2还公开了一种计算机可读存储介质，其存储有计算机程序，运行该计算机程序可执行实施例1中所述的网络边界流量采集方法。
进一步的，本实施例还公开了一种网络边界流量采集设备，该设备包括处理器和上述计算机可读存储介质，处理器运行所述计算机可读存储介质中存储的计算机程序。
实施例3
本发明提供了一种网络边界流量采集方法，包括以下步骤：
步骤一、如图1所示，将边界流量采集设备1部署到需要监测的边界设备3之外，采用镜像交换机2，将所有经过边界设备3的流量进行全量镜像捕获处理。边界流量采集设备1可以是具有采集网口的服务器。
步骤二、镜像处理后的所有流量进入边界流量采集设备1中，并按照四元组（源IP地址、目的IP地址、源端口和目的端口）进行分组，得到分组G1、G2……Gn，n的值根据系统资源情况和整体流量而定，分组后的流量会话又按照不同的传输层协议分为TCP会话、UDP会话、ICMP会话来进行边界流量的判断。该操作是为了方便后续流量到来时，能快速派发到不同的分组进行处理，减少哈希冲突，同时提升系统处理的并发量。
步骤三、如图2所示，针对每个分组的TCP会话、UDP会话、ICMP会话分别建立全局hash表和边界hash表，全局hash表用于记录所有会话，边界hash表用于记录成功判断为边界流量的会话。TCP会话和UDP会话利用四元组（源IP，目标IP，源端口，目标端口）拼接计算hash值，ICMP会话利用IP对（源IP，目标IP）拼接计算hash值。
步骤四、开启流量采集，引入数据报文，判断在全局hash表中该数据报文所属会话是否为新会话。
新会话和旧会话的判断方法如下：
定时更新流量采集时间t，每个会话都包含若干条数据报文，当一个会话的第一条数据报文进入全局hash表中产生记录后，那么在该段流量采集时间t内后续到来的数据报文都使该会话判断为旧会话；
如果一个会话在该段流量采集时间t内，不再有新的数据报文到来，则需从全局hash表和边界hash表中将该条会话的key信息移除，即使后续到来相同hash值的数据报文，都判断为新增会话的数据报文。通过定时清除全局hash表和边界hash表中的垃圾数据，可以提升系统性能。
步骤五、若为新会话，则将该数据报文所属会话加入全局hash表，再判断该数据报文是否为边界流量；若为边界流量，则该数据报文所属会话加入边界hash表进行记录，并将该数据报文存入存储介质；若不是边界流量，则丢弃该条会话对应的数据报文；
若为旧会话，则在边界hash表中查看是否存在该会话，不存在则丢弃该条会话所对应的数据报文，存在则将该数据报文所属会话加入边界hash表进行记录，同时存储该数据报文。
由于边界hash表里面记录了属于边界流量的会话，如果判断该数据报文所属会话是旧会话，就不用进行边界流量的判断，直接通过hash查找就能明确该数据报文是否属于边界流量。
TCP会话的边界流量判断过程为：
若数据报文不带有SYN标志位，则丢弃该数据报文，TCP会话带有SYN标志位表示会话未开始，不作为流量开始采集的数据帧；
若数据报文带有SYN或SYN|ACK标志位，则提取该数据报文的TTL(Time To Live，存活时间)进行判断，若满足TTL=64或者TTL=255，则判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
UDP会话的边界流量判断过程为：
如果该UDP会话是一个新会话，则提取该UDP会话的数据报文的TTL(Time ToLive，存活时间)进行判断，
若满足TTL=64或者TTL=255，则将该UDP会话后续的数据报文判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
ICMP会话的边界流量判断过程如下：
如果该ICMP会话是一个新会话，则提取该ICMP会话的数据报文的TTL(Time ToLive，存活时间)进行判断，
若满足TTL=64或者TTL=255，则将该ICMP会话后续的数据报文判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
本实施例3还公开了一种计算机可读存储介质，其存储有计算机程序，运行该计算机程序可执行本实施例中步骤二至步骤五所述的网络边界流量采集方法。
进一步的，本实施例还公开了一种网络边界流量采集装置，该装置包括处理器和上述计算机可读存储介质，处理器运行所述计算机可读存储介质中存储的计算机程序。
需要说明的是，Hash表也叫哈希表，在本发明所有实施例中提到的hash表，key按照不同数据类型而定，值（value）为报文更新时间（文中讲到的更新，都为更新时间），本发明中的hash表只记录会话，边界流量统一存放在存储介质中。
虽然结合附图对本发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (9)

1.一种网络边界流量采集方法，其特征在于，包括如下步骤：
步骤S1、将所有经过边界设备的流量进行全量镜像捕获处理；
步骤S2、为镜像处理后的流量建立记录所有会话的全局hash表和记录边界流量的边界hash表；
步骤S3、判断加入全局hash表中的数据报文所属会话是否为新会话；
若为新会话，则将该数据报文所属会话加入全局hash表，再判断该数据报文是否为边界流量；若为边界流量，则该数据报文所属会话加入边界hash表进行记录，并将该数据报文存入存储介质；若不是边界流量，则丢弃该条会话对应的数据报文；
若为旧会话，则在边界hash表中查看是否存在该会话，不存在则丢弃该会话所对应的数据报文，存在则将该数据报文所属会话加入边界hash表进行记录，同时将该数据报文存入存储介质。
2.根据权利要求1所述的一种网络边界流量采集方法，其特征在于，镜像处理后的流量按照四元组进行分组，分组后的流量又按照不同的传输层协议分为TCP会话、UDP会话、ICMP会话来进行边界流量的判断。
3.根据权利要求2所述的一种网络边界流量采集方法，其特征在于，针对每个分组的TCP会话、UDP会话、ICMP会话分别建立用于记录所有会话的全局hash表和用于记录成功判断为边界流量的会话的边界hash表。
4.根据权利要求2所述的一种网络边界流量采集方法，其特征在于：TCP会话和UDP会话利用四元组拼接计算hash值，ICMP会话利用IP对拼接计算hash值。
5.根据权利要求2所述的一种网络边界流量采集方法，其特征在于，TCP会话的边界流量的判断过程如下：
如果该会话是一个新会话，则提取该会话的数据报文的TTL进行判断；
若数据报文不带有SYN标志位，则丢弃该数据报文；
若数据报文带有SYN或SYN|ACK标志位，则提取该数据报文的TTL进行判断，若满足TTL=64或者TTL=255，则判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
6.根据权利要求2所述的一种网络边界流量采集方法，其特征在于，UDP会话和ICMP会话的边界流量判断过程如下：
如果该UDP会话或ICMP会话是一个新会话，则提取该UDP会话或ICMP会话的数据报文的TTL进行判断，
若满足TTL=64或者TTL=255，则将该UDP会话或ICMP会话后续的数据报文判断为边界流量；
若不满足TTL=64或者TTL=255，则丢弃该数据报文。
7.根据权利要求5所述的一种网络边界流量采集方法，其特征在于，新会话和旧会话的判断方法如下：
定时更新流量采集时间，一个会话在某段流量采集时间t内到来的数据报文都使该会话判断为旧会话；
如果一个会话在该某段流量采集时间t内，不再有新的数据报文到来，则将该会话的key信息从全局hash表和边界hash表中移除，即使后续到来相同hash值的数据报文，都判断为新会话的数据报文。
8.一种计算机可读存储介质，其存储有计算机程序，其特征在于：运行该计算机程序可执行如权利要求1-7任意一项所述的网络边界流量采集方法。
9.一种网络边界流量采集装置，其特征在于，该装置包括处理器和如权利要求8所述的计算机可读存储介质，所述处理器运行所述计算机可读存储介质中存储的计算机程序。
CN202111220481.3A 2021-10-20 2021-10-20 一种网络边界流量采集方法、装置及存储介质 Active CN113660146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111220481.3A CN113660146B (zh) 2021-10-20 2021-10-20 一种网络边界流量采集方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111220481.3A CN113660146B (zh) 2021-10-20 2021-10-20 一种网络边界流量采集方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113660146A CN113660146A (zh) 2021-11-16
CN113660146B true CN113660146B (zh) 2021-12-21

Family

ID=78494699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111220481.3A Active CN113660146B (zh) 2021-10-20 2021-10-20 一种网络边界流量采集方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113660146B (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530707B2 (ja) * 2004-04-16 2010-08-25 株式会社クラウド・スコープ・テクノロジーズ ネットワーク情報提示装置及び方法
CN100583830C (zh) * 2007-03-19 2010-01-20 华为技术有限公司 流量采集和分析的方法和装置
CN101188531B (zh) * 2007-12-27 2010-04-07 东软集团股份有限公司 一种监测网络流量异常的方法及系统
CN101399780B (zh) * 2008-11-12 2011-01-26 清华大学 互联网准最小状态流量控制方法
CN101431440B (zh) * 2008-11-28 2010-10-27 杭州华三通信技术有限公司 一种流量监控方法和设备
CN102118371B (zh) * 2009-12-30 2013-10-09 华为技术有限公司 一种网络流量切换控制方法、装置及系统
CN101909021A (zh) * 2010-07-27 2010-12-08 清华大学 Bgp网关设备及利用该设备实现通断网关功能的方法
CN102694733B (zh) * 2012-06-06 2015-03-25 济南大学 一种获得具有准确应用类型标识的网络流量数据集的方法
WO2014175919A1 (en) * 2013-04-26 2014-10-30 Intel IP Corporation Shared spectrum reassignment in a spectrum sharing context
CN104168156B (zh) * 2014-08-05 2018-02-06 中国人民解放军91655部队 基于Netflow的自治系统级流量采集系统及方法
CN105513359B (zh) * 2016-01-27 2018-06-01 北京工业大学 一种基于智能手机移动检测的城市快速路交通状态估计方法
CN109861995A (zh) * 2019-01-17 2019-06-07 安徽谛听信息科技有限公司 一种网络空间安全大数据智能分析方法、计算机可读介质
CN111556068B (zh) * 2020-05-12 2020-12-22 上海有孚智数云创数字科技有限公司 基于流量特征识别的分布式拒绝服务的监控和防控方法
CN112511501A (zh) * 2020-11-12 2021-03-16 成都思维世纪科技有限责任公司 一种面向5g应用的数据安全监测系统
CN112615811A (zh) * 2020-11-19 2021-04-06 贵州电网有限责任公司 一种电力信息内网络边界策略健壮性自动化分析方法
CN112804190B (zh) * 2020-12-18 2022-11-29 国网湖南省电力有限公司 一种基于边界防火墙流量的安全事件检测方法及系统

Also Published As

Publication number Publication date
CN113660146A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Braga et al. Lightweight DDoS flooding attack detection using NOX/OpenFlow
US7804787B2 (en) Methods and apparatus for analyzing and management of application traffic on networks
CN106815112B (zh) 一种基于深度包检测的海量数据监控系统及方法
CN102082690B (zh) 一种网络拓扑的被动发现设备及其发现方法
US20170111272A1 (en) Determining Direction of Network Sessions
US9917783B2 (en) Method, system and non-transitory computer readable medium for profiling network traffic of a network
CN107683586A (zh) 用于异常检测中的计算基于小区密度的稀有度的方法和装置
CN109995582B (zh) 基于实时状态的资产设备管理系统及方法
US10979451B2 (en) Autonomous domain generation algorithm (DGA) detector
WO2009135396A1 (zh) 网络攻击处理方法、处理装置及网络分析监控中心
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
CN109150869A (zh) 一种交换机信息采集分析系统及方法
CN111294342A (zh) 一种软件定义网络中DDos攻击的检测方法及系统
CN114513340B (zh) 一种软件定义网络中的两级DDoS攻击检测与防御方法
CN111092900A (zh) 服务器异常连接和扫描行为的监控方法和装置
CN100583830C (zh) 流量采集和分析的方法和装置
Wang et al. Benchmark data for mobile app traffic research
Onut et al. A Feature Classification Scheme For Network Intrusion Detection.
CN117040943B (zh) 基于IPv6地址驱动的云网络内生安全防御方法和装置
CN113660146B (zh) 一种网络边界流量采集方法、装置及存储介质
CN111010362B (zh) 一种异常主机的监控方法及装置
CN115664833B (zh) 基于局域网安全设备的网络劫持检测方法
Hammood et al. A survey of BGP anomaly detection using machine learning techniques
Nguyen A scheme for building a dataset for intrusion detection systems
JP2010239392A (ja) サービス不能攻撃制御システム、装置、および、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant