CN110519177B - 一种网络流量识别方法及相关设备 - Google Patents
一种网络流量识别方法及相关设备 Download PDFInfo
- Publication number
- CN110519177B CN110519177B CN201810498713.3A CN201810498713A CN110519177B CN 110519177 B CN110519177 B CN 110519177B CN 201810498713 A CN201810498713 A CN 201810498713A CN 110519177 B CN110519177 B CN 110519177B
- Authority
- CN
- China
- Prior art keywords
- network
- video
- server
- slice
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000005540 biological transmission Effects 0.000 claims abstract description 211
- 230000006399 behavior Effects 0.000 claims description 62
- 238000004891 communication Methods 0.000 claims description 14
- 238000005192 partition Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012806 monitoring device Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000000737 periodic effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Abstract
本发明实施例公开了一种网络流量识别方法及相关设备,该方法可包括:确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式;确定与所述传输模式匹配的特征参数;根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。采用本发明实施例可以提升网络流量的识别效率。
Description
技术领域
本发明涉及网络流量识别技术领域,尤其涉及一种网络流量识别方法及相关设备。
背景技术
随着移动互联网的发展,视频已经成为人们沟通与娱乐的主要承载形式,而高清化、多屏化、交互化、社交化、实时化也正成为消费者视频消费的主要需求。目前,互联网中在线视频流量是占比最大的部分,根据最近的预测报告显示,到2021年,在线视频(IPVOD与InternetVideo)所产生的互联网流量将会占到互联网总流量的82%。
大量的视频业务为运营商带来丰厚的利润的同时,也在挑战运营商经营视频业务的能力。通常来说,评价运营商服务质量(Quality of Service,QoS)的重要指标包括带宽、时延、网络稳定性等相关指标,而视频业务质量的优劣正是和这几项指标强相关。因此,对于广大普通用户而言,通过视频业务质量的好坏来评价运营商网络服务质量水到渠成。目前,视频服务的体验质量(Quality of Experience,QoE)已经成为评价运营商QoS的事实标准。
视频流量的识别与管理能力是衡量运营商网络服务质量的重要指标,为了更好地管理网络,运营商需要准确地识别域内的视频流量。网络流量分类作为增强网络可控性的基础技术之一,可以帮助研究人员和运维人员了解网络上的流量及应用分布,允许网络运营商基于应用类型等信息自定义流量的传输优先级,有效地管理网络并且阻止网络犯罪行为的发生。目前,运营商主要依赖网络流量分类技术及其相关产品进行流量识别与管理。网络流量分类技术的原理是通过对网络流量的深入分析,向上层呈现网络流量不同层级的特定属性,通常包括应用信息、服务信息、内容特性等。
然而,现有技术中,应用市场中相关的视频应用数量及种类极多,且普遍更新频繁,部分视频类应用甚至逐步开始加密。这些特点给视频流量分类问题带来了巨大的困难,因此如何提供一种有效的视频流量分类方案,提高分类的性能和准确率,是亟待解决的问题。
发明内容
本发明实施例提供一种网络流量识别方法及相关设备,以提升网络流量识别效率和准确率。
第一方面,本发明实施例提供了一种网络流量识别方法,可包括:
确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式;确定与所述传输模式匹配的特征参数;根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。本发明实施例通过在网络流量的识别方法中,首先确定网络会话所对应的客户端和服务端之间的交互行为模式,然后再确定该网络会话在确定的交互行为模式下对应的特征参数,最终根据该特征参数与预设的特征参数范围的比对结果,确定该网络会话的所属类型。由于客户端和服务端之间不同的交互行为模式其对应的部分特征参数可能相差较大,因此,本发明实施例通过首先确认网络会话的传输模式,再有针对性的确定该传输模式对应的特征参数,最终精准的识别网络会话的类型,提升了网络流量的识别效率和准确率。
在一种可能的实现方式中,所述确定第一网络会话对应的传输模式之前,还包括;将网络流量中包含预设字段的网络会话确定为所述第一网络会话。本发明实施例通过在确定第一网络会话之前,从网络流量中按照一定条件,筛选出满足条件的网络会话为第一网络会话,可以快速排除大部分不满足条件的网络会话,有效提升了识别指定类型的网络会话的识别效率。
在一种可能的实现方式中,所述第一时间段包括第二时间段;所述传输模式包括第一传输模式,所述第一网络会话包括第一网络流,所述第一网络流为在所述第二时间段内五元组信息相同的数据包集合,所述五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及所述客户端和所述服务端之间的传输层协议;所述第一传输模式包括:在所述第二时间段内,所述客户端通过所述第一网络流多次向所述服务端发起请求,所述服务端通过所述第一网络流响应所述客户端的多次请求。本发明实施例提供了一种应用于视频流量识别场景中针对网络会话的传输模式的分类,该传输模式下视频流单网络流承载,客户端向服务器发起多次请求,可以适用于识别长视频的点播场景。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。本发明实施例提供了一种当确定第一网络会话为上述第一传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流量的方案。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第二时间段内,对所述第一网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述上行数据包满足第一预设周期性特征,则以所述上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话的流量类别为视频流量。本发明实施例提供了另一种当确定第一网络会话为上述第一传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流量。
在一种可能的实现方式中,所述第一时间段包括第三时间段;所述传输模式包括第二传输模式;所述第一网络会话包括多个第二网络流,其中,每一个第二网络流为在所述第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的所述三元组信息相同;所述第二传输模式包括:在所述第三时间段内,所述客户端通过所述多个第二网络流分别多次向所述服务端发起请求,且所述服务端通过所述多个第二网络流分别响应所述客户端对应的请求。本发明实施例提供了另一种应用于视频识别场景中针对网络会话的传输模式的分类,该传输模式下视频流多网络流承载,客户端通过多网络流分别多次向服务器发起请求,可以适用于识别实时性要求高的长视频的点播场景。
所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。本发明实施例提供了一种当确定第一网络会话为上述第二传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流的方案。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第三时间段内,分别对所述多个第二网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述多个第二网络流中的至少一个第二网络流的所述上行数据包满足第二预设周期性特征,则以所述上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。本发明实施例提供了另一种当确定第一网络会话为上述第二传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流的方案。
在一种可能的实现方式中,所述第一时间段包括第四时间段;所述传输模式包括第三传输模式;所述第一网络会话包括多个第三网络流,其中,每一个第三网络流为在所述第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同;所述第三传输模式包括:在所述第四时间段内,所述客户端通过所述多个第三网络流中的每个第三网络流分别向所述服务端发起一次请求,且所述服务端通过所述多个第三网络流分别响应所述客户端对应的请求。本发明实施例提供了又一种应用于视频识别场景中针对网络会话的传输模式的分类,该传输模式下视频流多网络流承载,客户端每流仅向服务器发起一次请求,可以适用于识别实时性要求高的短视频的点播场景。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片;判断每个切片的所述第三特征参数是否符合所述第三视频特征参数范围;若每个所述切片的所述第三特征参数均符合,则确定所述第一网络会话为视频流量。本发明实施例提供了一种当第一网络会话为上述第三传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流。
在一种可能的实现方式中,所述第一时间段包括第五时间段;所述传输模式包括第四传输模式;所述第一网络会话包括第四网络流,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;所述第四传输模式包括:在所述第五时间段内,所述客户端通过所述第四网络流量向所述服务端发起一次请求,且所述服务端通过所述第四网络流量响应所述客户端的请求。本发明实施例提供了又一种应用于视频识别场景中针对网络会话的传输模式的分类,该传输模式下视频流单网络流承载,客户端仅向服务器发起一次请求,可以适用于识别视频直播场景。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。本发明实施例提供了一种当确定第一网络会话为上述第四传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流的方案。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:在所述第五时间段内,确定所述第四网络流中的第一数据包,并对所述第一数据包进行周期性检测,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;若所述第一数据包满足第三预设周期性特征,则以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话的流量类别为视频流量。本发明实施例提供了另一种当确定第一网络会话为上述第四传输模式时,如何获取第一网络会话所匹配的特征参数,并与预设视频特征参数范围进行比对,最终确定该第一网络会话是否为视频流的方案。
第二方面,本发明实施例提供了一种网络流量识别装置,可包括:
第一确定单元,用于确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式;
匹配单元,用于确定与所述传输模式匹配的特征参数;
识别单元,用于根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。
本发明实施例通过在网络流量识别装置中,首先通过第一确定单元确定网络会话所对应的客户端和服务端之间的交互行为模式,然后再通过匹配单元确定该网络会话在确定的交互行为模式下对应的特征参数,最终通过识别单元根据该特征参数与预设的特征参数范围的比对结果,确定该网络会话的所属类型。由于客户端和服务端之间不同的交互行为模式其对应的部分特征参数可能相差较大,因此,本发明实施例中的网络流量识别装置通过首先确认网络会话的传输模式,再有针对性的确定该传输模式对应的特征参数,最终精准的识别网络会话的类型,提升了网络流量的识别效率和准确率。
在一种可能的实现方式中,所述装置还包括;
第二确定单元,用于确定第一网络会话对应的传输模式之前,将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
在一种可能的实现方式中,所述第一时间段包括第二时间段;所述传输模式包括第一传输模式,所述第一网络会话包括第一网络流,所述第一网络流为在所述第二时间段内五元组信息相同的数据包集合,所述五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及所述客户端和所述服务端之间的传输层协议;
所述第一传输模式包括:在所述第二时间段内,所述客户端通过所述第一网络流多次向所述服务端发起请求,所述服务端通过所述第一网络流响应所述客户端的多次请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
所述识别单元,具体用于:
在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
所述识别单元,具体用于:
在所述第二时间段内,对所述第一网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述上行数据包满足第一预设周期性特征,则以所述上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第三时间段;所述传输模式包括第二传输模式;所述第一网络会话包括多个第二网络流,其中,每一个第二网络流为在所述第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第二传输模式包括:在所述第三时间段内,所述客户端通过所述多个第二网络流分别多次向所述服务端发起请求,且所述服务端通过所述多个第二网络流分别响应所述客户端对应的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
所述识别单元,具体用于:
在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
所述识别单元,具体用于:
在所述第三时间段内,分别对所述多个第二网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述多个第二网络流中的至少一个第二网络流的所述上行数据包满足第二预设周期性特征,则以所述上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第四时间段;所述传输模式包括第三传输模式;所述第一网络会话包括多个第三网络流,其中,每一个第三网络流为在所述第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第三传输模式包括:在所述第四时间段内,所述客户端通过所述多个第三网络流中的每个第三网络流分别向所述服务端发起一次请求,且所述服务端通过所述多个第三网络流分别响应所述客户端对应的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围;
所述识别单元,具体用于:
将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片;判断每个切片的所述第三特征参数是否符合所述第三视频特征参数范围;若每个所述切片的所述第三特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第五时间段;所述传输模式包括第四传输模式;所述第一网络会话包括第四网络流,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;
所述第四传输模式包括:在所述第五时间段内,所述客户端通过所述第四网络流量向所述服务端发起一次请求,且所述服务端通过所述第四网络流量响应所述客户端的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
所述识别单元,具体用于:
在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
所述识别单元,具体用于:
在所述第五时间段内,确定所述第四网络流中的第一数据包,并对所述第一数据包进行周期性检测,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;
若所述第一数据包满足第三预设周期性特征,则以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。
第三方面,本发明实施例提供一种网络设备,该网络设备中包括处理器,处理器被配置为支持该网络设备实现第一方面提供的网络流量识别方法中相应的功能。该网络设备还可以包括存储器,存储器用于与处理器耦合,其保存该网络设备必要的程序指令和数据。该网络设备还可以包括通信接口,用于该网络设备与其他设备或通信网络通信。
第四方面,本发明实施例提供一种计算机存储介质,用于储存为上述第二方面提供的一种网络流量识别装置中的处理器中所用的计算机软件指令,其包含用于执行上述方面所设计的程序。
第五方面,本发明实施例提供了一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行上述第二方面中的网络流量识别装置中的处理器所执行的流程。
第六方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持网络设备实现上述第一方面中所涉及的功能,例如,生成或处理上述网络流量识别方法中所涉及的信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存数据发送设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包含芯片和其他分立器件。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是本发明实施例提供的一种网络构架示意图。
图2是本发明实施例提供的一种流量监控设备的结构示意图。
图3是本发明实施例提供的一种网络流量识别方法的流程示意图。
图4是本发明实施例提供的一种传输模式判断流程示意图。
图5是本发明实施例提供的一种第一传输模式时序示意图。
图6是本发明实施例提供的一种第二传输模式时序示意图。
图7是本发明实施例提供的一种第二传输模式时序示意图。
图8是本发明实施例提供的一种第四传输模式时序示意图。
图9是本发明实施例提供的一种网络流量识别装置的结构示意图。
图10是本发明实施例提供的另一种网络流量识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例进行描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如,部件可以是但不限于,在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示,在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中,部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外,这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据,例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
首先,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)网际协议(InternetProtocol,IP),是在TCP/IP协议中网络层的主要协议,任务是仅仅根据源主机和目的主机的地址传送数据。
(2)视频点播(VideoonDemand,VOD),是一套可以让用户通过网络选择自己想要看的视频内容的系统。用户选定内容后,视频点播系统可以用流媒体的方式进行即时播放,也可以将内容完全下载后再进行播放。
(3)传输层安全协议(TransportLayerSecurity,TLS),是确保在通信应用程序与互联网用户间提供数据保密性的协议。
(4)安全壳(SecureShell,SSH)为一项创建在应用层和传输层基础上的安全协议,为计算机上的Shell(壳层)提供安全的传输和使用环境。
(5)互联网安全协议(InternetProtocolSecurity,IPSec),是一个协议组合,透过对IP协议的分组进行加密和认证来保护IP协议的网络传输协议族(一些相互关联的协议的集合)。
(6)服务端名称指示(ServerNameIndication,SNI),是一个扩展的TLS计算机联网协议,在该协议下,在握手过程开始时通过客户端告诉它正在连接的服务端的主机名称。
(7)内容分发网络(ContentDeliveryNetwork,CDN),指一种通过互联网互相连接的电脑网络系统,利用最靠近每位用户的服务端,更快、更可靠地将音乐、图片、视频、应用程序及其他文件发送给用户,来提供高性能、可扩展性及低成本的网络内容传递给用户。
(8)过顶服务(Over-The-Top,OTT),通常是指内容或服务建构在基础电信服务之上从而不需要网络运营商额外的支持。
(9)在线视频,泛指通过网络以非下载方式观看的视频,具体可以包括视频点播与视频直播。
(10)流量分类:通过监听、抓取、拷贝等手段获取网络通信报文,并对其进行解析、重组、切分等,还原其原本通信内容的操作,以了解网络通信双方的即时状态。
(11)明文特征:传输报文中能够被直接解析得到的字符或数字组成的特征,区别于加密特征。
(12)网络流,也可简称为网流,在一段时间内具有相同五元组的数据包的集合称为一条网络流,其中五元组包含通信双方的源IP地址、源端口号、目的IP地址、目的端口号以及传输层协议。
(13)网络会话,是多条网络流的集合,多条网络流具有相同的三元组(源地址,目的地址,传输层协议)。
首先,分析并提出本申请所具体要解决的技术问题。在现有技术中,关于网络流量识别(以视频流量识别为例)的技术,包括如下方案一和方案二:
方案一:基于应用特征的流量识别方法,具体可以包括如下步骤1和步骤2。
步骤1、基于应用特征识别出应用类型并判断该应用内是否可能包括视频流量。
步骤2、针对可能包括视频流量的应用进一步做服务细分,判断待识别流量是否为视频流量。
该方案一通常用于基于应用特征的视频流量识别方案,目前主要适用于非加密应用以及采用标准加密协议的应用的识别场景。但存在以下多个缺点:
缺点1:逐个应用分析生成应用特征,人力成本极高。如上所述,在使用基于应用的视频流量识别方法时,需要分析应用特点进而生成应用特征规则。目前应用特征的分析与规则生成大量依赖人力,通常包括抓取特定应用的纯净流量、分析应用格式并与其它类似应用比对确定应用特征、基于特定语法描述应用特征规则等几个完全依赖人力的步骤。
缺点2:应用更新易导致特征变化,造成漏报或误报。如上所述,视频应用为了向用户提供更好的体验,不断的对其业务进行优化更新,因此使得视频类应用普遍更新频繁。应用的更新为流量识别带来了不确定性,从特征规则变化导致识别失效,至重新生成特征规则恢复识别能力,通常最少需要1天到3天的时间。在此期间,由于特征规则失效,会造成漏报或误报,给运营商带来高额的经济损失。此外,为了能尽快定位到失效的应用特征规则,还需要建立相应的监测机制,不断测试规则的有效性,给系统带来了额外的开销。
缺点3:部分加密应用流量无法细分是否为视频流量。如上所述,基于应用特点生成的特征规则依赖应用的明文特征。当前视频类应用逐步过渡至使用加密协议传输,目前主流的加密方式是采用TLS协议。在TLS协议中,原始的应用层信息被加密,仅暴露部分用于建立TLS连接的明文字段,其中具有显著应用特点的字段主要为服务名称指示(ServerName Indication,SNI)和证书名称(CertificateName)。目前针对基于TLS协议的应用的识别方法均依赖这部分明文字段,然而对于部分包含多种服务的应用,其不同服务可能具有相同的SNI和CertificateName。在这种情况下,无法准确细分不同的服务类型,因此会导致无法准确的识别视频流量。
方案二:基于行为特征的流量识别方法,具体可以包括如下步骤1。
步骤1、基于视频服务自身的行为特点,直接识别网络流量是否为视频流。其中,视频的行为特点通常由传输速率、平均包长度、流持续时间等维度描述。而难以提取应用特征的视频流量,则需要基于启发式规则或机器学习算法生成识别模型。不同的网络服务在一些流量的统计量上具有一定的差异性,例如平均包长度、平均流持续时间、平均速率等。
上述方案二目前主要适用于采用私有加密协议的应用的识别场景,但是也存在以下多个缺点:
缺点1:现有的行为特征描述方法大多依赖全流特征,不适合在线流量识别业务。例如,描述网络流量行为特征的统计量,包括平均流持续时间、平均速率等,这些特征需要缓存或统计一条网络流的全流信息,因此流量识别的结果需要等到网络流传输结束才可得到,或需要网络流传输较长的一段时间。然而,在一些场景中,对于运营商来说,视频流量的识别通常用于运营商的网络优化等业务,需要在网络流传输的早期给出识别结果,因此使用全流特征不适合在线流量识别业务的开展。
缺点2:现有的行为特征描述方法对视频流量的行为特点刻画不准确。由于视频类应用种类繁多,包括纯视频类应用和内嵌视频类应用、点播类视频和直播类视频等多种类型。未加区分地看待多种不同类型的视频应用,容易淹没其具有代表性的行为特点,导致特征刻画不准确,最终使得识别的准确率不高,无法满足实际的使用要求。
为了解决当前视频流量识别技术不满足实际业务需求的问题,达到准确识别在线视频流量从而提高运营商视频服务能力的目标,综合考虑现有技术存在的缺点,本申请实际要解决的技术问题包括如下几方面:
1、稳定的视频流量特征(方案一的缺点1和3)。基于应用特征的视频流量识别方案目前广泛应用,部分解决了视频流量的识别问题。然而,由于每种应用特征规则的提取严重依赖人工介入,因此当应用特征规则发生变化时,往往由于需要人工定位,导致特征规则的更新不及时,使得在线流量识别业务受到影响。一般情况下,应用特征规则的更新慢于应用特征的真实变化约一周左右,期间需要专人分析应用的流量,提取新的特征规则,人力成本较高。因此,需要提出一种稳定的视频流量特征,能够反应视频业务真实的特点,降低应用级别更新对视频流量识别的影响。
2、精确的视频场景定位(方案一的缺点2、方案二的缺点2)。基于应用特征的视频流量识别方案目前主要适用于非加密应用以及采用标准加密协议的应用的识别场景,基于行为特征的视频流量识别方案目前主要适用于采用私有加密协议的应用的识别场景。然而,在实际业务中,无法提前预知待识别流量为何种类型,无法灵活判断。当前业界普遍使用基于应用特征的识别方案,然而,在加密场景下,以及部分复杂的非加密场景下,由于内容分发网络(Content Delivery Network,CDN)的广泛使用、应用内部复杂的服务调用逻辑等原因,导致包含多种不同类型服务的应用的流量难以准确区分。因此,需要一种精确的视频场景定位能力,直击真实的视频流量特点,提高视频流量识别的准确率。
3、高效的流量识别机制(方案二的缺点1)。现有的基于行为特征的视频流量识别方案主要依赖全流特征描述网络流量的行为特点,并不适用于运营商真实的网络业务。虽然视频流量相比于其它类型的业务来说,流持续时间较长,因此可以接受相对较长的流量识别时间,然而,对于运营商来说,为了达到优化视频业务的目的,所需的识别时间越短越好。因此,需要一种高效的视频流量识别机制,降低视频流量识别所需的时间。
综上所述,现有的识别方案无法满足运营商实际的视频流量识别需求,严重影响其开展基于视频的定制化服务。因此,在本申请提供的网络流量识别方法用于解决上述技术问题。
为了便于理解本发明实施例,以下示例性列举本申请中网络流量识别方法所应用的场景,可以包括如下三个场景:
场景一,允许运营商针对特定应用的流量进行识别,生成针对特定应用的优惠套餐:
为了更好的推广视频业务,增大营收,运营商通常有选择地针对视频业务推出特定的业务套餐。常见的套餐类型包括不限应用的视频套餐和特定应用的视频套餐等。不限应用的视频套餐,是指用户在办理该套餐后,在观看互联网视频时,不再额外收取流量费用;特定应用的视频套餐,是指用户在办理该套餐后,使用该指定的视频应用时不再额外收取流量费用,此外,其它视频应用的带宽保障级别可能会相对较低,以此保护运营商的网络。因此,当前运营商为了在视频领域增收,需要依赖网络流量分类技术,识别并管理视频流量。
场景二,允许网络运营商基于应用类型等自定义流量的传输优先级:
运营商可以按照自定义的优先级传输指定应用类型的网络流量,以保证该优先级下应用类型的QoS和QoE。例如,会根据用户所办理的某个套餐的中,享受指定应用类型的较高级别的带宽保障服务,而其它类型的应用的保障级别可能会相对较低。因此,只有准确的识别出来了网络流量的类型,才能更好地基于该网络流量的类型进行针对性的质量控制。
场景三,帮助研究人员和运维人员了解网络上的流量及应用分布:
有效的区分网络上的视频、音频、图片、文字、下载或者其它类型的流量分布,可以帮助研究人员和运维人员了解网络上的流量及应用分布,以进行数据挖掘。例如,了解不同地区、不同用户的兴趣爱好,和娱乐、工作、学习以及生活需求等。
可以理解的是,上述三种应用场景的只是本发明实施例中的几种示例性的实施方式,本发明实施例中的应用场景包括但不仅限于以上应用场景。
基于上述提出的技术问题以及本申请中对应的应用场景,也为了便于理解本发明实施例,下面先对本发明实施例所基于的其中一种网络架构进行描述。请参阅图1,图1是本发明实施例提供的一种网络构架示意图。本申请中的客户端可以包括图1中的移动终端001、互联网终端002和相关网络连接设备(图1中以接入网关003为例),其中,互联网终端002通过接入网关003连接到流量监控设备004,移动终端001则可以通过互联网终端002中的无线接入设备(如无线路由器、基站等)再通过接入网关003连接到流量监控设备004;服务端可以包括图1中的流量监控设备004、数据中心005、互联网006以及相关的网络连接设备(图1中以接入网关003和路由器007为例),流量监控设备004通过路由器007连接到互联网,数据中心005则通过接入网关003连接到互联网006。其中:
移动终端001,可以是支持无线移动通信视频业务的蜂窝电话、无绳电话、智能手机(mobile phone)、会话启动协议(Session Initiation Protocol,SIP)电话、无线本地环路(Wireless Local Loop,WLL)站、智能手环、智能穿戴设备、MP3播放器(Moving PictureExperts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPicture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面3)播放器、个人数字处理(Personal Digital Assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备等。移动终端001还可以是平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(Virtual Reality,VR)终端设备、增强现实(Augmented Reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
互联网终端002,互联网终端通过本地网络连到接入网关,接入网关负责将互联网终端连接至互联网,互联网终端可包括个人电脑(Personal Computer,PC),无线接入设备(如无线路由器、基站等)、服务器(Server),工作站(Workstation)等。
流量监控设备004,为本申请提供的监控设备,用于通过对网络流量进行处理分析,得到流量的识别结果,以执行并实现本申请中的网络流量识别方法的相关实施例。可选地,流量监控设备还可以根据用户设置、输出流量识别的统计结果,或按照识别结果对数据包进行重新路由、丢弃,或者对网络流进行限速等具体操作。
数据中心(Internet Data Center,IDC)005,用于安置计算机系统及相关计算设施,可以存储并提供各种类型业务的数据。
网络连接设备,可包括接入网关003和路由器007,其中,接入网关003用于将用户数据发送到骨干网的路由器上,互联网上的各种服务端(如数据中心005)也通过接入网关003连入骨干网的路由器。并且,本申请中的接入网关作为所辖网络的出入口,除了内外网络之间的协议转换等工作外,还需要与流量监控设备连接,并负责网络的计费、管理、报表等。路由器007则用于将流量监控设备连接至互联网。
本发明中的网络流量识别方法可以适用于基于HTTP的自适应码率的国际标准组MPEG制定的技术标准(Dynamic Adaptive Streaming over HTTP,DASH)和动态码率自适应技术(HTTP Live Streaming,HLS)传输机制。
可以理解的是,图1中的网络架构只是本发明实施例中的一种示例性的实施方式,本发明实施例中的网络包括但不仅限于以上网络架构。
基于上述网络架构,本发明实施例提供一种应用于上述网络架构中的流量监控设备004,请参见图2,图2是本发明实施例提供的一种流量监控设备的结构示意图,该流量监控设备004可包括管理配置控制模块4001、对称多处理(Symmetrical Multi-Processing,SMP)模块4002、内存管理模块4003、解析模块4004、过滤模块4005以及业务匹配逻辑模块4006。其中:
管理配置模块4001,用于负责规则的管理,例如服务端的管理者可以业务需求(包括本申请中的网络流量识别业务或者视频流量识别业务)增加、删除、修改、查看相关的规则文件。
对称多处理SMP模块4002,用于调度多中央处理器(Central Processing Unit,CPU)并行处理网络中的并发网络流量。
内存管理模块4003,用于网络流量识别业务中相关网络流的生命周期管理,包括相关变量的申请和释放等。
解析模块4004,用于从内存中读取数据流(包括本申请中的第一网络会话),并按照报文的协议格式解析,主要处理传输层以上的协议。
过滤模块4005,用于从管理模块读入规则,将解析过后的流量用规则进行过滤,为业务识别模块提供分流的功能。并可以基于该过滤模块实现本申请中的网络流量识别方法中的第一阶段可疑流量过滤功能,例如,可以根据该过滤模块将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
业务匹配逻辑模块4006,用于处理本申请的网络流量识别方法中第一网络会话的传输模式的确定,以及第一网络会话所属的类别的确定的相关过程。具体可以包括行为识别(即传输模式识别)、特征识别和内容识别等。由于不同情况下的第一网络会话的可能对应不同的识别结果,因此,业务匹配逻辑模块中还需要提供一个状态自动机判断命中不同规则的情况下,分别对应的具体匹配结果。
可以理解的是,图2中的流量监控设备的结构只是本发明实施例中的一种示例性的实施方式,本发明实施例中的流量监控设备的结构包括但不仅限于以上结构。
基于图1提供的网络架构,以及图2提供的流量监控设备的结构,结合本申请中提供的网络流量识别方法,对本申请中提出的技术问题进行具体分析和解决。
参见图3,图3是本发明实施例提供的一种网络流量识别方法的流程示意图,该方法可应用于上述图1中所述的网络架构中,其中的流量监控设备004可以用于支持并执行图3中所示的方法流程步骤S301-步骤S303。下面将结合附图3从服务端的流量监控设备侧进行描述。该方法可以包括以下步骤S301-步骤S303,可选的还可以包括步骤S300。
步骤S301:确定第一网络会话对应的传输模式。
具体地,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,其中,三元组信息包括客户端的源地址、服务端的目标地址、以及客户端和服务端之间的传输层协议,数据包集合则可以包括上行数据包和下行数据包。也即是将一段连续的时间段内客户端和服务端之间的源地址和目标地址以及传输协议相同的上行/下行数据包的集合作为第一网络会话。传输模式则包括客户端向服务端请求的行为模式和/或服务端响应客户端的行为模式,其中,请求的行为模式可以包括客户端向服务端请求的次数、时间点以及是否为周期性;响应的行为模式可以包括服务端向客户端响应网络流量的承载方式,即是多网络流承载还是单网络流承载。
而关于流量监控设备具体如何确定第一网络会话对应的请求的行为模式和/或响应的行为模式,可以参见图4,图4为本发明实施例提供的一种传输模式判断流程示意图,流量监控设备004可通过业务匹配逻辑模块4006判断网络流对应的传输模式。由于网络流中的数据包是按时间先后顺序依次到达流量监控设备004的,并且网络监控设备004无法存储网络流量的数据包,因此,传输模式的判断是流式进行的。
对于传输模式待定的网络流,当数据包到达流量监控设备004时,首先判断该数据包是否为上行数据包,如果当前数据包为上行数据包,且已有多个上行数据包到达,则可判断出当前网络流的行为模式中包含了客户端向服务端发起了多次请求的行为(例如后述的第一传输模式或第二传输模式),比如,在视频流量的应用场景中上行数据包一般为客户端发起的请求数据包。
如果当前数据包为上行数据包,且仅有当前数据包为上行数据包,则传输模式待定,继续观察后续数据包;如果后续观察到数据包不是上行数据包,即为下行数据包,若当前已超过允许的最大检测时间(例如为本申请中的第二时间段、第三时间段、第四时间段或第五时间段),则判断出当前网络流的行为模式中包含了客户端仅向服务端发起一次请求的行为(例如后述的第四传输模式);进一步地,如果当前数据包为下行数据包且为非满包,则进一步判断当前下行数据包的累积长度是否已超过预先设定的阈值,如果下行到达的数据包的累计长度超过了预先设定的阈值,则可判断当前网络流的行为模式中包含了客户端仅向服务端发起一次请求的行为(例如后述的第三传输模式或第四传输模式)。
需要说明的是,非满包和满包在物理意义上的主要区别是其在网络流中的位置。由于网络对于其上允许传输的单个数据包大小是有最大上限的,即最大传输单元,超过该限制的数据块会被分割为多个数据包共同传输,例如最大传输单元限制为1000字节,那么传输一段5600字节的数据块,需要使用5个1000字节的数据包,和一个600字节的数据包,这里600字节的数据包就是非满包,它的物理意义是传输内容的结尾,所以在本申请中用非满包来作为切片的分割边界。
以上示例的流程中,需要注意的是,由于该流程讨论的是网络流级别(五元组信息相同)的传输模式检测,因此无法区分第一传输模式的网络流与第二传输模式的网络流,也无法确认疑似的第三传输模式。在网络会话(三元组信息相同)级别,如果同一网络会话下包含多个疑似第一/第二传输模式的网络流,则确认为第二传输模式;如果仅包含一个疑似第一/第二传输模式的网络流,则确认为第一传输模式;如果同一网络会话下包含多个疑似第三传输模式的网络流,则确认为第三传输模式;如果仅包含一个疑似第三传输模式的网络流,则当整个检测流程超过最大检测时间时(例如为本申请中的第二时间段、第三时间段、第四时间段或第五时间段),确认为第四传输模式。
步骤S302:确定与所述传输模式匹配的特征参数。
具体地,本发明实施例中,根据不同的传输模式的特点匹配有不同的更为聚焦的特征参数,以更精准的识别出对应传输模式下的网络流量的所属类别。可以理解的是,该特征参数可以是多个参数构成的集合,也可以是多个参数集合构成的集合。本发明实施例对此不作具体限定,只要可以体现对应传输模式下的相应视频类型的特征的参数即可。
步骤S303:根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。
具体地,流量监控设备计算第一网络会话的传输模式所匹配的特征参数,并将计算确定的特征参数与预设特征参数范围进行比对,以最终确定第一网络会话的类别。其中,预设特征参数范围可以是多个预设特征参数范围组成的集合,也可以是列表形式或映射关系表等,本发明实施例对此不作具体限定。
可选地,当上述方法步骤S301-S303应用于视频流量识别时,由于在视频的播放请求以及响应过程中,是有一些固定的模式。在客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式中,例如点播电影,通常用户可能只会点击一次播放按钮,但由于现有的在线视频播放机制,实际上客户端的后台可能会周期性向服务端请求视频的分片,即会通过客户端多次向服务器发起请求,而服务端则可以通过单网络流或者多网络流的方式向客户端进行视频数据包的多次反馈;而对于直播视频,用户可能仅会通过客户端向服务端发起一次请求,而考虑到直播的流畅性,服务端则通常通过单网络流向客户端进行视频数据的反馈;对于小视频而言,用户可能会在很短的时间段内连续点击观看完多个小视频,所以用户每个网络流仅向服务端发起一次请求,因此一个时间段内多个小视频则会有多次请求,而服务端则会通过相对应的多个网络流反馈不同的请求。因此,当确定了视频所对应的传输模式之后,再根据该传输模式下的视频网络流的特有的特征来识别网络会话是否为视频流量,识别效率和准确率则会大大提升。
可选地,在上述步骤S301执行之前,还可以包括以下步骤S300:
步骤S300:将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
具体地,流量监控设备在识别网络会话之前,可以先将网络流量中包含有预设字段的网络流量确定为需要识别的对象。即在确定第一网络会话的传输模式之前,先从所有的网络会话中筛选出满足一定条件的可疑对象,以缩小网络会话的传输模式的确定范围。可选地,本发明实施例中的预设字段为明文字段。结合本申请中提出的应用场景一中,假设运营商的某个优惠套餐为针对爱奇艺的免流量VIP套餐,那么上述步骤S300中的预设字段中则可以包含iqiyi.com,首先判断出该网络流量属于爱奇艺应用;进一步地,为了将第一网络会话缩小在视频流量中,可以进一步验证是否包含视频文件格式的预设字段例如videos、mp4、avi、ts等关键字。需要说明的是,当网络流量采用标准加密协议(主要是指TLS加密协议)的应用时,则可以通过检测TLS协议中存在的服务名称指示(Server NameIndication,SNI)字段或公用名CommonName字段,判断流量的应用类型,以及是否属于视频服务。例如,通过TLS协议中SNI字段的值中包含googlevideo可判断该流量属于应用Youtube。
本方法步骤可以用于匹配视频类明文特征规则,视频类明文特征规则匹配可以基于现有装置的特征匹配功能,增加与视频相关的明文特征规则。此处需要指出的是,这里的明文特征规则是与应用无关的,即不包含应用级别的特征规则,仅匹配与视频特点相关的规则。其目的是筛选无法细分为视频的流量及未知流量。
本发明实施例,可以适用于运营商在线流量识别业务的视频流量识别机制。通过建立逐层筛选的机制,首先通过可疑流量定位缩小待识别流量范围,降低了后续传输模式的划分以及行为特征匹配阶段的计算量,大幅度提高在线流量识别匹配效率,并且为后续特征匹配过程筛选掉了大部分非视频流量,提升了在线视频流量的识别准确率;然后通过传输模式的匹配精确定位视频行为模式,最后基于该行为模式对应的特征识别视频流量,进一步地提高了在线视频流量的识别效率和准确率。
在上述步骤S303中,具体如何根据第一网络会话的特征参数以及预设特征参数范围确定第一网络会话所属的类别,会依据网络会话的传输模式的判断结果不同而不同。通过对视频应用的深入分析,本发明实施例中将视频应用按行为模式归类,分析各类视频应用的行为特点,并提出相应的识别方案。其中关于识别视频流量的主要核心点就是要排除掉上行数据包从而对下行数据包进行切片划分,因为,一般情况下,客户端向服务端发送的上行数据包为视频请求,但是下行数据包很大可能性是视频数据包。可选地,从客户端和服务端之间的交互行为对视频流量的划分维度包括:下行是否跨网络流传输、上行是一次请求还是多次请求。
其中,上述两个维度任意组合,形成以下四种视频传输行为模式:
1、第一传输模式:视频流单网络流承载,客户端多次向服务端发起请求。
(1)第一传输模式以及与其匹配的特征参数。
第一传输模式具体为:第一网络会话包括单网络流承载的第一网络流,在第二时间段内,客户端通过所述第一网络流多次向服务端发起请求,服务端通过第一网络流响应客户端的多次请求。其中,第一时间段包括第二时间段,即第二时间段可以等于第一时间段,也可以为第一时间段内的任意一个时间段。第一网络流为在第二时间段内五元组信息相同的数据包,五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及客户端和服务端之间的传输层协议。可选地,本发明实施例中的第二时间段为第一时间段中的初始的一段时间。例如第一时间段为00:00:00~00:15:00,第二时间段为00:00:00~00:00:30。
与上述第一传输模式所匹配的特征参数包括:视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围。即本发明实施例应用于视频流量识别场景时,相对应的特征参数也均是与视频相关的特征参数。
(2)当确定为第一传输模式后,确定第一网络会话所属类别。
参见图5,图5为本发明实施例提供的一种第一传输模式时序示意图。如图5所示:
①可选地,在第二时间段内,对所述第一网络流中所述客户端向所述服务端发送的上行数据包(图5中深灰色部分)进行周期性检测,例如每2s检测一次,该上行数据包即为用户通过客户端向服务端发起的请求数据,例如,可能为客户端在后台周期性向服务端发起的视频切片播放请求。当前视频服务提供商广泛采用自适应码率(Adaptive Bit Rate,ABR)技术传输视频内容,用户观看的视频内容并非作为一个完整的文件,而是以视频分片的方式陆续传输至用户侧。视频分片可以由用户侧请求,或者由服务侧推送。在同一次视频会话中,每个视频分片对应的视频内容时长一般是相同的,在网络状况相对稳定的前提下,传输每个视频分片的网络流量基本相似,体现在网络流量上的特点即为周期性,因此本发明实施例中以周期性检测作为前置手段过滤进入检测阶段的网络流,后述与周期性相关的检测原理相同,不再赘述。
②若所述上行数据包满足第一预设周期性特征,即上行数据包为周期性发送的,那么则以所述上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,其中,切片不包括上行数据包,因为上行数据包很大的可能是请求而非视频流量,因此判断下行数据包可以更快速高效的确定网络会话是否为视频流量。例如,切片之后包括图5中的切片1和切片2。下行数据包也即是服务端通过第一网络流反馈给客户端的数据,例如,可能为用户点播的视频数据。需要说明的是,针对上述以满足第一预设周期性特征的上行数据包为分割点进行切片的方案,可选地,本发明实施例还提供对上行数据包不进行任何检测,即直接以上行数据包为分割点进行切片的方案,例如,在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包。本申请对此不作具体限定。
③判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围,即分别判断切片1和切片2的{切片的大小,切片的平均速率,切片中网包大小的数值}中的至少一种(即可能是多种组合,也可能是其中一种,本发明实施例对此不作具体限定)是否满足第一视频特征参数范围。第一特征参数以及第一视频特征参数范围可以是结合视频传输模式建立的行为特征描述方法,并在此基础上通过某种算法自动生成的行为特征规则,例如,根据某种机器学习算法生成的,或者根据某种人工预设算法计算得到的,本发明实施例对此不作具体限定。
可选地,由于第一切片和第二切片在时间上是有先后顺序的,因此每个切片的第一特征参数可以相同也可以不同。那么对应的,第一视频特征参数范围中所包括的特征参数范围可以针对不同的网络切片只有同一个范围,也可以有不同的范围,本发明实施例对此不作具体限定,后述第二传输模式、第三传输模式和第四传输模式中的切片、第一特征参数以及第一视频特征参数范围之间的对应关系也可以参考上述描述,后续不再赘述。
④若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。即需要每个切片需要分别满足第一视频特征参数范围中其对应的部分才能确定该第一网络会话是否为视频流量。
综上,在上述第一传输模式中,流量监控设备在持续进包一段时间后,对上行数据包进行周期性检测,如果上行数据包的周期性显著,则以上行数据包为分割点对下行数据包切片,检测每一个切片的统计特征是否符合视频特性,最终确定网络会话是否为视频流量。
2、第二传输模式:视频流多网络流承载,客户端多次向服务端发起请求。
(1)第二传输模式以及与其匹配的特征参数。
则第二传输模式具体为:第一网络会话包括多个第二网络流,在所述第三时间段内,客户端通过多个第二网络流分别多次向服务端发起请求,且服务端通过所述多个第二网络流分别响应客户端对应的请求。其中,所述第一时间段包括第三时间段,即第三时间段可以等于第一时间段,也可以为第一时间段内的任意一个时间段。每一个第二网络流为在第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的三元组信息相同。可选地,本发明实施例中的第四时间段为第一时间段中的初始的一段时间。例如第一时间段为00:00:00~00:30:00,第二时间段则为00:00:00~00:00:50。
与上述第二传输模式所匹配的特征参数包括:视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围。
(2)当确定为第二传输模式后,确定第一网络会话所属类别。
参见图6,图6为本发明实施例提供的一种第二传输模式时序示意图。如图6所:
①在所述第三时间段内,分别对所述多个第二网络流中所述客户端向所述服务端发送的上行数据包(图6中的深灰色部分)进行周期性检测,该上行数据包即为用户通过客户端向服务端发起的多次请求数据,例如,可能为高清视频点播请求。需要说明的是,所述多个第二个网络流可以是在相同时刻同时发起的,也可以是不同时刻发起的,如图6中所示,只有第二网络流3和4是同时刻发起的,1、2和3与4之间均不是相同时刻发起的。因此在流量监控设备分别对多个第二网络流进行检测期间,实际上是可以在不同的时刻开始检测的,也即是根据每个第二网络流实际发起请求的时刻开始检测的。
②若所述多个第二网络流中的至少一个第二网络流的所述上行数据包满足第二预设周期性特征,则以所述上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,其中,切片不包括上行数据包,因为上行数据包很大的可能是请求而非视频流量,因此判断下行数据包可以更快速高效的确定网络会话是否为视频流量。例如,图6中的四个第二网络流,经过检测只有第二网络流4满足第二预设周期性特征,那么,则只针对该第二网络流4中的下行数据包进行切片,切片之后包括图6中的切片1和切片2。其中,下行数据包也即是服务端通过第二网络流4反馈给客户端的数据,例如,可能为用户点播的高清视频数据。需要说明的是,其它不满足条件的第二网络流1、2和3有可能是满足条件的第二网络流的其它相关服务信息,如弹幕数据、广告、聊天窗口等。需要说明的是,针对上述以满足第二预设周期性特征的上行数据包为分割点进行切片的方案,可选地,本发明实施例还提供对上行数据包不进行任何检测,即直接以上行数据包为分割点进行切片的方案,例如,在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包,本发明实施例对此不作具体限定。
③判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围。如图6所示,判断第二网络流4中的切片1和切片2是否满足都满足第二视频特征参数范围。
④若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。若判断出第二网络流4中的切片1和切片2都满足第二视频特征参数范围,则判断为该第二网络会话为视频流量。可以理解的是,当有多个第二网络流均满足上述条件时,在时间上最先判断出一个满足条件的第二网络流即可确定第二网络会话为视频流量,而无需继续判断。
需要说明的是,为了提升流量监控设备的效率,当第一网络会话中任意一条第二网络流被识别为视频流量后,可终止对第一网络会话的识别流程,以节省网络开销。
3、第三传输模式:视频流多网络流承载,客户端每流仅向服务端发起一次请求。
(1)第三传输模式以及与其匹配的特征参数。
则第三传输模式具体为:第一网络会话包括多个第三网络流,在第四时间段内,客户端通过多个第三网络流中的每个第三网络流分别向服务端发起一次请求,且服务端通过多个第三网络流分别响应客户端对应的请求。其中,第一时间段包括第四时间段,即第四时间段可以等于第一时间段,也可以为第一时间段内的任意一个时间段;每一个第三网络流为在第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同。可选地,本发明实施例中的第四时间段为第一时间段中的初始的一段时间。例如第一时间段为00:00:00~00:05:00,第四时间段可以为00:00:00~00:00:20。
与上述第三传输模式所匹配的特征参数包括:视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围。
(2)当确定为第三传输模式后,确定第一网络会话所属类别。
参见图7,图7为本发明实施例提供的一种第二传输模式时序示意图。如图7所:
①将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片,其中,切片不包括上行数据包,因为上行数据包很大的可能是请求而非视频流量,因此判断下行数据包可以更快速高效的确定网络会话是否为视频流量。例如为图7中的切片1、切片2、切片3和切片4。
②判断每个切片的所述第三特征参数是否符合所述第三视频特征参数范围。即判断切片1、切片2、切片3和切片4各自对应的第三网络特征参数是否满足其在第三视频特征参数范围参数范围。
③若每个所述切片的所述第三特征参数均符合,则确定所述第一网络会话为视频流量。即当切片1、切片2、切片3和切片4均满足条件时,才能确定第一网络会话为视频流量。
4、第四传输模式:视频流单网络流承载,客户端仅向服务端发起一次请求。
(1)当确定为第四传输模式后,确定第一网络会话所属类别
则第四传输模式具体为:第一网络会话包括第四网络流,在所述第五时间段内,客户端通过第四网络流量向服务端发起一次请求,例如为图8中的深灰色部分,可以为服务端通过第四网络流量响应客户端的请求,例如可以为服务端向客户端反馈的直播视频数据。其中,所述第一时间段包括第五时间段,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;
与上述第四传输模式所匹配的特征参数包括:视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围。
(2)当确定传输模式为第四传输模式后,如何确定第一网络会话所属的类别。
参见图8,图8为本发明实施例提供的一种第四传输模式时序示意图。如图8所:
①在所述第五时间段内,确定所述第四网络流中的第一数据包,并对所述第一数据包进行周期性检测,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包。例如,第一数据包为图8中的第四网络流中的白色部分即为非满包,第二数据包则为满包部分为图8中的浅灰色部分。满包的含义是指当前数据包的大小达到了该网络流对应的网络链路所能承载的最大数据量,非满包即未达到该最大数据量的数据包,通常非满包的物理意义是传输内容的结尾,所以可以用非满包来作为切片的分割边界。
②若所述第一数据包满足第三预设周期性特征,则以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,即得到了可能为服务端发送给客户端的下行视频流量。其中,切片不包括上行数据包,因为上行数据包很大的可能是请求而非视频流量,因此判断下行数据包可以更快速高效的确定网络会话是否为视频流量。需要说明的是,针对上述以满足第一预设周期性特征的上行数据包为分割点进行切片的方案,可选地,本发明实施例还提供对上行数据包不进行任何检测,即直接以上行数据包为分割点进行切片的方案,例如,在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包。
③检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;
④若均符合,则确定所述第一网络会话为视频流量。
综上所述,在上述第四传输模式中,流量监控设备在持续进包一段时间后,判断该网络流对应传输链路的满包大小,筛选出下行非满包,并对下行非满包进行周期性检测,如果下行非满包的周期性显著,则按下行非满包的时间对下行数据包切片,检测切片及整个网络流的统计特征是否符合视频特性。
上述四种传输模式下对应的识别方案,清晰解耦不同视频场景的传输模式的划分方式,通过深入分析主流视频类应用的特点,包括视频协议、视频类型等,提出不同视频场景之间存在的传输模式差异,据此对视频类应用进一步细分,使得每一种场景下的视频的行为特点更加聚焦。本发明实施例相比于现有技术,改进之处体现在识别流程和识别规则方面。
针对本申请前述提出的实际要解决的三个技术问题,本实施例中针对不同的传输模式的视频流量,分析其较为稳定的视频流量特征,并且这些特征不会因为应用的更新或者应用的特征发生变化而受到影响。即不同传输模式下的视频应用其客户端和服务端之间的交互行为模式基本不会发生变化。因此可以形成稳定的视频流量特征。
本实施例中针对在加密场景下,以及部分复杂的非加密场景下,无需识别其内部加密部分,只根据宏观上的客户端和服务端之间的交互行为。则可以精确的定位视频场景。
本实施例中结合传输模式识别以及在该传输模式下的特征参数,可以更快速准确的识别视频流量,即提供高效的流量识别机制。
综上,本申请克服了现有识别技术中存在的逐个应用分析、应用特征易变化、部分场景无法细分、不适用于在线流量识别业务以及识别不准确等缺点。
需要说明的是,本申请对于以下情况能够达到较高的视频流量识别精度,解决了无法精确识别视频场景的问题:使用私有协议传输视频流;使用加密协议传输视频流;所属应用使用明文协议,但包含多种场景;难以区分视频流、单网络流特征信息不足的情况。
本申请对于以下情况能够提高响应速度,节约人力分析成本:视频应用更新换代频繁,应用特征变化明显;待识别应用数量繁多,且仅需识别至视频场景。
本申请中的网络流量识别方法可以应用于统一分组网关UGW相关产品,例如,应用于UGW以支撑运营商开展视频相关计费套餐,或者应用于UGW产品以精细化视频流量QoE/QoS。
需要说明的是,在主干核心网的高速环境中,对流量识别需要的报文数量有较大限制,因此本发明实施例在阐述的过程中,并没有应用全流量特征,而是根据不同的传输模式特点有选择地在网络流传输的早期截取了部分特征。但是如果硬件技术进步或者某些适合全流分析的业务场景的能够支持这种全流的特征学习方式,本申请能够自然的扩展到这种流量识别环境中,其识别的核心依然属于本申请的保护范围。
还需要说明的是,本申请中的网络流量识别方法除了可应用于运营商的计费和策略控制场景,还以用于视频关键质量指标(Key Quality Indicators,KQI)场景中,由于本申请中选取的特征与视频KQI场景中的部分特征相似,因此可以在本申请的基础上进一步拓展,结合视频KQI场景的业务需求,完成定制化的业务逻辑。更广泛的,任何需要识别视频流量的场景,都可以适用本申请提供的方案。
上述详细阐述了本发明实施例的方法,下面提供了本发明实施例的相关装置。
请参见图9,图9是本发明实施例提供的一种网络流量识别装置的结构示意图,该网络流量识别装置10可以包括第一确定单元102、匹配单元103和识别单元104,其中,各个单元的详细描述如下。
第一确定单元102,用于确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式;
匹配单元103,用于确定与所述传输模式匹配的特征参数;
识别单元104,用于根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。
在一种可能的实现方式中,所述装置还包括;
第二确定单元101,用于确定第一网络会话对应的传输模式之前,将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
在一种可能的实现方式中,所述第一时间段包括第二时间段;所述传输模式包括第一传输模式,所述第一网络会话包括第一网络流,所述第一网络流为在所述第二时间段内五元组信息相同的数据包集合,所述五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及所述客户端和所述服务端之间的传输层协议;
所述第一传输模式包括:在所述第二时间段内,所述客户端通过所述第一网络流多次向所述服务端发起请求,所述服务端通过所述第一网络流响应所述客户端的多次请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
识别单元104,具体用于:
在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
识别单元104,具体用于:
在所述第二时间段内,对所述第一网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述上行数据包满足第一预设周期性特征,则以所述上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断每个切片的所述第一特征参数是否符合所述第一视频特征参数范围;若每个所述切片的所述第一特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第三时间段;所述传输模式包括第二传输模式;所述第一网络会话包括多个第二网络流,其中,每一个第二网络流为在所述第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第二传输模式包括:在所述第三时间段内,所述客户端通过所述多个第二网络流分别多次向所述服务端发起请求,且所述服务端通过所述多个第二网络流分别响应所述客户端对应的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
识别单元104,具体用于:
在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
识别单元104,具体用于:
在所述第三时间段内,分别对所述多个第二网络流中所述客户端向所述服务端发送的上行数据包进行周期性检测;若所述多个第二网络流中的至少一个第二网络流的所述上行数据包满足第二预设周期性特征,则以所述上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;判断所述至少一个第二网络流的每个切片的所述第二特征参数是否符合所述第二视频特征参数范围;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第四时间段;所述传输模式包括第三传输模式;所述第一网络会话包括多个第三网络流,其中,每一个第三网络流为在所述第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第三传输模式包括:在所述第四时间段内,所述客户端通过所述多个第三网络流中的每个第三网络流分别向所述服务端发起一次请求,且所述服务端通过所述多个第三网络流分别响应所述客户端对应的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围;
识别单元104,具体用于:
将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片;判断每个切片的所述第三特征参数是否符合所述第三视频特征参数范围;若每个所述切片的所述第三特征参数均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述第一时间段包括第五时间段;所述传输模式包括第四传输模式;所述第一网络会话包括第四网络流,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;
所述第四传输模式包括:在所述第五时间段内,所述客户端通过所述第四网络流量向所述服务端发起一次请求,且所述服务端通过所述第四网络流量响应所述客户端的请求。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
识别单元104,具体用于:
在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。
在一种可能的实现方式中,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
所述识别单元,具体用于:
在所述第五时间段内,确定所述第四网络流中的第一数据包,并对所述第一数据包进行周期性检测,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;
若所述第一数据包满足第三预设周期性特征,则以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。
需要说明的是,本发明实施例中所描述的网络流量识别装置10中各功能单元的功能可参见上述图3中所述的方法实施例中步骤S300-步骤S303的相关描述,此处不再赘述。
如图10所示,图10是本发明实施例提供的另一种网络流量识别装置的结构示意图,该装置20包括至少一个处理器201,至少一个存储器202、至少一个通信接口203。此外,该设备还可以包括天线等通用部件,在此不再详述。
处理器201可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
通信接口203,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),核心网,无线局域网(Wireless Local Area Networks,WLAN)等。
存储器202可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,所述存储器202用于存储执行以上方案的应用程序代码,并由处理器201来控制执行。所述处理器201用于执行所述存储器202中存储的应用程序代码。
存储器202存储的代码可执行以上图3提供的网络流量识别方法,比如确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和/或所述服务端响应所述客户端的行为模式;确定与所述传输模式匹配的特征参数;根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别。
需要说明的是,本发明实施例中所描述的网络流量识别装置20中各功能单元的功能可参见上述图3中所述的方法实施例中的步骤S300-步骤S303相关描述,此处不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可能可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等,具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中,而前述的存储介质可包括:U盘、移动硬盘、磁碟、光盘、只读存储器(Read-OnlyMemory,缩写:ROM)或者随机存取存储器(RandomAccessMemory,缩写:RAM)等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (24)
1.一种网络流量识别方法,其特征在于,包括:
确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和所述服务端响应所述客户端的行为模式;其中,所述服务端请求的行为模式包括客户端向服务端请求的次数、时间点以及是否为周期性中的一种或多种;所述服务端响应所述客户端的行为模式包括服务端向客户端响应网络流量的承载方式;
确定与所述传输模式匹配的特征参数,所述特征参数包括与视频相关的特征参数;
根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,所述类别包括视频流量和未知流量。
2.如权利要求1所述的方法,其特征在于,所述确定第一网络会话对应的传输模式之前,还包括;
将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
3.如权利要求1或2所述的方法,其特征在于,所述第一时间段包括第二时间段;所述传输模式包括第一传输模式,所述第一网络会话包括第一网络流,所述第一网络流为在所述第二时间段内五元组信息相同的数据包集合,所述五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及所述客户端和所述服务端之间的传输层协议;
所述第一传输模式包括:在所述第二时间段内,所述客户端通过所述第一网络流多次向所述服务端发起请求,所述服务端通过所述第一网络流响应所述客户端的多次请求。
4.如权利要求3所述的方法,其特征在于,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:
在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;
若每个所述切片的所述第一特征参数均符合所述第一视频特征参数范围,则确定所述第一网络会话为视频流量。
5.如权利要求1所述的方法,其特征在于,所述第一时间段包括第三时间段;所述传输模式包括第二传输模式;所述第一网络会话包括多个第二网络流,其中,每个第二网络流为在所述第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第二传输模式包括:在所述第三时间段内,所述客户端通过所述多个第二网络流分别多次向所述服务端发起请求,且所述服务端通过所述多个第二网络流分别响应所述客户端对应的请求。
6.如权利要求5所述的方法,其特征在于,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:
在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;
若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
7.如权利要求1所述的方法,其特征在于,所述第一时间段包括第四时间段;所述传输模式包括第三传输模式;所述第一网络会话包括多个第三网络流,其中,每一个第三网络流为在所述第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第三传输模式包括:在所述第四时间段内,所述客户端通过所述多个第三网络流中的每个第三网络流分别向所述服务端发起一次请求,且所述服务端通过所述多个第三网络流分别响应所述客户端对应的请求。
8.如权利要求7所述的方法,其特征在于,所述特征参数包括视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围;
所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:
将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片;
若每个所述切片的所述第三特征参数均符合所述第三视频特征参数范围,则确定所述第一网络会话为视频流量。
9.如权利要求1所述的方法,其特征在于,所述第一时间段包括第五时间段;所述传输模式包括第四传输模式;所述第一网络会话包括第四网络流,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;
所述第四传输模式包括:在所述第五时间段内,所述客户端通过所述第四网络流量向所述服务端发起一次请求,且所述服务端通过所述第四网络流量响应所述客户端的请求。
10.如权利要求9所述的方法,其特征在于,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
所述根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,包括:
在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;
以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;
检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;
若均符合,则确定所述第一网络会话为视频流量。
11.一种网络流量识别装置,其特征在于,包括:
第一确定单元,用于确定第一网络会话对应的传输模式,所述第一网络会话为在第一时间段内三元组信息相同的数据包集合,所述三元组信息包括客户端的源地址、服务端的目标地址、以及所述客户端和所述服务端之间的传输层协议,所述传输模式包括所述客户端向所述服务端请求的行为模式和所述服务端响应所述客户端的行为模式;其中,所述服务端请求的行为模式包括客户端向服务端请求的次数、时间点以及是否为周期性中的一种或多种;所述服务端响应所述客户端的行为模式包括服务端向客户端响应网络流量的承载方式;
匹配单元,用于确定与所述传输模式匹配的特征参数,所述特征参数包括与视频相关的特征参数;
识别单元,用于根据所述第一网络会话的所述特征参数以及预设特征参数范围确定所述第一网络会话所属的类别,所述类别包括视频流量和未知流量。
12.如权利要求11所述的装置,其特征在于,所述装置还包括;
第二确定单元,用于确定第一网络会话对应的传输模式之前,将网络流量中包含预设字段的网络会话确定为所述第一网络会话。
13.如权利要求11或12所述的装置,其特征在于,所述第一时间段包括第二时间段;所述传输模式包括第一传输模式,所述第一网络会话包括第一网络流,所述第一网络流为在所述第二时间段内五元组信息相同的数据包集合,所述五元组信息包括客户端的源地址和源端口、服务端的目标地址和目标端口、以及所述客户端和所述服务端之间的传输层协议;
所述第一传输模式包括:在所述第二时间段内,所述客户端通过所述第一网络流多次向所述服务端发起请求,所述服务端通过所述第一网络流响应所述客户端的多次请求。
14.如权利要求13所述的装置,其特征在于,所述特征参数包括视频流量切片中每个切片的第一特征参数,所述第一特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第一视频特征参数范围;
所述识别单元,具体用于:
在所述第二时间段内,以所述第一网络流中所述客户端向所述服务端发送的上行数据包为分割点,对所述第一网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;若每个所述切片的所述第一特征参数均符合所述第一视频特征参数范围,则确定所述第一网络会话为视频流量。
15.如权利要求11所述的装置,其特征在于,所述第一时间段包括第三时间段;所述传输模式包括第二传输模式;所述第一网络会话包括多个第二网络流,其中,每一个第二网络流为在所述第三时间段内五元组信息相同的数据包集合,且不同第二网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第二传输模式包括:在所述第三时间段内,所述客户端通过所述多个第二网络流分别多次向所述服务端发起请求,且所述服务端通过所述多个第二网络流分别响应所述客户端对应的请求。
16.如权利要求15所述的装置,其特征在于,所述特征参数包括视频流量切片中每个切片的第二特征参数,所述第二特征参数包括:切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第二视频特征参数范围;
所述识别单元,具体用于:
在所述第三时间段内,分别以所述多个第二网络流中所述客户端向所述服务端发送的上行数据包为分割点,对相应的第二网络流中所述服务端向所述客户端发送的下行数据包进行切片,所述切片不包括所述上行数据包;若所述多个第二网络流中的任意一个第二网络流的每个切片的所述第二特征参数均符合所述第二视频特征参数范围,确定所述第一网络会话为视频流量。
17.如权利要求11所述的装置,其特征在于,所述第一时间段包括第四时间段;所述传输模式包括第三传输模式;所述第一网络会话包括多个第三网络流,其中,每一个第三网络流为在所述第四时间段内五元组信息相同的数据包集合,且不同第三网络流对应的数据包集合中的数据包的所述三元组信息相同;
所述第三传输模式包括:在所述第四时间段内,所述客户端通过所述多个第三网络流中的每个第三网络流分别向所述服务端发起一次请求,且所述服务端通过所述多个第三网络流分别响应所述客户端对应的请求。
18.如权利要求17所述的装置,其特征在于,所述特征参数包括视频流量切片中每个切片的第三特征参数;所述第三特征参数包括:切片的速率峰值、切片的时长、切片的大小、切片的平均速率和切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第三视频特征参数范围;
所述识别单元,具体用于:
将所述多个第三网络流中的每一个第三网络流中所述服务端发送给所述客户端的下行数据包作为一个切片;若每个所述切片的所述第三特征参数均符合所述第三视频特征参数范围,则确定所述第一网络会话为视频流量。
19.如权利要求11所述的装置,其特征在于,所述第一时间段包括第五时间段;所述传输模式包括第四传输模式;所述第一网络会话包括第四网络流,所述第四网络流为在所述第五时间段内五元组信息相同的数据包集合;
所述第四传输模式包括:在所述第五时间段内,所述客户端通过所述第四网络流量向所述服务端发起一次请求,且所述服务端通过所述第四网络流量响应所述客户端的请求。
20.如权利要求19所述的装置,其特征在于,所述特征参数包括视频流量切片中每个切片的第四特征参数,所述第四特征参数包括:切片的大小、切片的平均速率、切片中网包大小的数值分布中的至少一种;所述预设特征参数范围包括第四视频特征参数范围;
所述识别单元,具体用于:
在所述第五时间段内,确定所述第四网络流中的第一数据包,其中,所述第一数据包为所述第四网络流中所述服务端向所述客户端发送的下行数据包中小于第二数据包的数据包,所述第二数据包为所述第四网络流中最大的数据包;以所述第一数据包为分割点对所述第四网络流中的所述下行数据包进行切片,所述切片不包括所述第一数据包;检测每个切片的所述第四特征参数是否符合所述第四视频特征参数范围;若均符合,则确定所述第一网络会话为视频流量。
21.一种服务设备,其特征在于,包括处理器、存储器以及通信接口,其中,所述存储器用于存储网络流量识别程序代码,所述处理器用于调用所述网络流量识别程序代码来执行权利要求1至10任一项所述的方法。
22.一种芯片系统,其特征在于,所述芯片系统包括至少一个处理器,存储器和接口电路,所述存储器、所述接口电路和所述至少一个处理器通过线路互联,所述至少一个存储器中存储有指令;所述指令被所述处理器执行时,权利要求1-10中任意一项所述的方法得以实现。
23.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述权利要求1-10任意一项所述的方法。
24.一种计算机程序,其特征在于,所述计算机程序包括指令,当所述计算机程序被计算机执行时,使得所述计算机执行如权利要求1-10中任意一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810498713.3A CN110519177B (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
CN202210045958.7A CN114422451A (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
PCT/CN2019/086375 WO2019223553A1 (zh) | 2018-05-22 | 2019-05-10 | 一种网络流量识别方法及相关设备 |
EP23217842.6A EP4362422A2 (en) | 2018-05-22 | 2019-05-10 | Network traffic identification method and related device |
EP19807078.1A EP3780523B1 (en) | 2018-05-22 | 2019-05-10 | Network traffic identification method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810498713.3A CN110519177B (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210045958.7A Division CN114422451A (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110519177A CN110519177A (zh) | 2019-11-29 |
CN110519177B true CN110519177B (zh) | 2022-01-21 |
Family
ID=68616187
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210045958.7A Pending CN114422451A (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
CN201810498713.3A Active CN110519177B (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210045958.7A Pending CN114422451A (zh) | 2018-05-22 | 2018-05-22 | 一种网络流量识别方法及相关设备 |
Country Status (3)
Country | Link |
---|---|
EP (2) | EP4362422A2 (zh) |
CN (2) | CN114422451A (zh) |
WO (1) | WO2019223553A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113055420B (zh) * | 2019-12-27 | 2023-07-25 | 中国移动通信集团陕西有限公司 | Https业务识别方法、装置及计算设备 |
CN111356014B (zh) * | 2020-02-18 | 2022-05-13 | 南京中新赛克科技有限责任公司 | 一种基于自动化学习的Youtube视频识别匹配方法 |
CN113595930A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 流量识别方法和流量识别设备 |
CN114449569B (zh) * | 2020-11-02 | 2024-01-16 | 中国移动通信集团广东有限公司 | 用户流量使用量处理方法、网络设备及业务处理系统 |
CN114765634B (zh) * | 2021-01-13 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 网络协议识别方法、装置、电子设备及可读存储介质 |
CN113328906B (zh) * | 2021-04-22 | 2023-01-06 | 成都欧珀通信科技有限公司 | 一种流量实时监控方法、装置、存储介质及电子设备 |
CN113438503B (zh) * | 2021-05-28 | 2023-04-21 | 曙光网络科技有限公司 | 视频文件还原方法、装置、计算机设备和存储介质 |
CN113630418B (zh) * | 2021-08-16 | 2023-07-28 | 杭州安恒信息安全技术有限公司 | 一种网络服务识别方法、装置、设备及介质 |
CN114979073B (zh) * | 2021-08-30 | 2023-09-05 | 中移互联网有限公司 | 地址信息获取系统、方法、电子设备及存储介质 |
CN113949653B (zh) * | 2021-10-18 | 2023-07-07 | 中铁二院工程集团有限责任公司 | 一种基于深度学习的加密协议识别方法及系统 |
US11711279B2 (en) * | 2021-10-26 | 2023-07-25 | Juniper Networks, Inc. | Application records using session information |
CN114173146B (zh) * | 2021-12-10 | 2024-01-19 | 北京达佳互联信息技术有限公司 | 流量配置方法、装置、服务器及存储介质 |
CN115150285A (zh) * | 2022-06-24 | 2022-10-04 | 阿里云计算有限公司 | 网络拓扑关系确定方法、网络系统、设备及存储介质 |
CN115174625B (zh) * | 2022-07-06 | 2024-02-13 | 中国联合网络通信集团有限公司 | 远程医疗数据传输方法和装置 |
CN117077030B (zh) * | 2023-10-16 | 2024-01-26 | 易停车物联网科技(成都)有限公司 | 一种面向生成模型的少样本视频流分类方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475537A (zh) * | 2013-08-30 | 2013-12-25 | 华为技术有限公司 | 一种报文特征提取方法和装置 |
CN104052639A (zh) * | 2014-07-02 | 2014-09-17 | 山东大学 | 基于支持向量机的实时多应用网络流量识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102164049B (zh) * | 2011-04-28 | 2013-04-17 | 中国人民解放军信息工程大学 | 加密流量的普适识别方法 |
EP2618524A1 (en) * | 2012-01-02 | 2013-07-24 | Alcatel Lucent | Method for providing QoS management in a packet-based transport network |
EP2806602A4 (en) * | 2013-02-04 | 2015-03-04 | Huawei Tech Co Ltd | CHARACTER EXTRACTION DEVICE, NETWORK TRAFFIC IDENTIFICATION PROCESS, DEVICE AND SYSTEM |
US9887881B2 (en) * | 2013-10-30 | 2018-02-06 | Cisco Technology, Inc. | DNS-assisted application identification |
US9961001B2 (en) * | 2015-03-17 | 2018-05-01 | Telefonaktiebolaget L M Ericsson (Publ) | System and method for categorizing packet flows in a network |
GB2552220B (en) * | 2016-07-15 | 2018-09-05 | Openwave Mobility Inc | A method for detecting a live adaptive BIT rate stream |
-
2018
- 2018-05-22 CN CN202210045958.7A patent/CN114422451A/zh active Pending
- 2018-05-22 CN CN201810498713.3A patent/CN110519177B/zh active Active
-
2019
- 2019-05-10 EP EP23217842.6A patent/EP4362422A2/en active Pending
- 2019-05-10 WO PCT/CN2019/086375 patent/WO2019223553A1/zh unknown
- 2019-05-10 EP EP19807078.1A patent/EP3780523B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475537A (zh) * | 2013-08-30 | 2013-12-25 | 华为技术有限公司 | 一种报文特征提取方法和装置 |
CN104052639A (zh) * | 2014-07-02 | 2014-09-17 | 山东大学 | 基于支持向量机的实时多应用网络流量识别方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3780523B1 (en) | 2024-01-24 |
CN110519177A (zh) | 2019-11-29 |
EP4362422A2 (en) | 2024-05-01 |
CN114422451A (zh) | 2022-04-29 |
EP3780523A4 (en) | 2021-04-28 |
EP3780523A1 (en) | 2021-02-17 |
WO2019223553A1 (zh) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110519177B (zh) | 一种网络流量识别方法及相关设备 | |
CN104488231B (zh) | 用于有选择地监视流量的方法、设备和系统 | |
Krishnamoorthi et al. | BUFFEST: Predicting buffer conditions and real-time requirements of HTTP (S) adaptive streaming clients | |
Wamser et al. | Modeling the YouTube stack: From packets to quality of experience | |
CN109152095B (zh) | 用于终端的无线网络连接方法 | |
US9549010B2 (en) | Method and apparatus for media session identification, tracking, and analysis | |
US20150163273A1 (en) | Media bit rate estimation based on segment playback duration and segment data length | |
US20130282874A1 (en) | Real-time video detector | |
Khan et al. | A survey on mobile edge computing for video streaming: Opportunities and challenges | |
US20130311667A1 (en) | Methods and systems for dynamic policy evaluation | |
US11089076B1 (en) | Automated detection of capacity for video streaming origin server | |
WO2015120766A1 (zh) | 一种视频优化系统及方法 | |
WO2013017165A1 (en) | Shaping media traffic based on manifest file in http adaptive streaming | |
WO2023005701A1 (zh) | 数据通信方法及装置、电子设备、存储介质 | |
US20230045876A1 (en) | Video Playing Method, Apparatus, and System, and Computer Storage Medium | |
CN113891175B (zh) | 直播推流方法、装置及系统 | |
Bentaleb et al. | Performance analysis of ACTE: A bandwidth prediction method for low-latency chunked streaming | |
Gutterman et al. | Requet: Real-time QoE metric detection for encrypted YouTube traffic | |
CN110113306A (zh) | 分发数据的方法和网络设备 | |
Dubin et al. | Real time video quality representation classification of encrypted http adaptive video streaming-the case of safari | |
Filho et al. | Dissecting the performance of VR video streaming through the VR-EXP experimentation platform | |
Begen et al. | Road to salvation: streaming clients and content delivery networks working together | |
Zhang et al. | Intelligent video ingestion for real-time traffic monitoring | |
Khan et al. | Transport layer performance in DASH bottlenecks | |
Mushtaq et al. | Quality of experience paradigm in multimedia services: application to OTT video streaming and VoIP services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |