CN114679606B - 一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 - Google Patents
一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114679606B CN114679606B CN202210354186.5A CN202210354186A CN114679606B CN 114679606 B CN114679606 B CN 114679606B CN 202210354186 A CN202210354186 A CN 202210354186A CN 114679606 B CN114679606 B CN 114679606B
- Authority
- CN
- China
- Prior art keywords
- video
- burst
- flow
- time sequence
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000005111 flow chemistry technique Methods 0.000 claims description 4
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- BUGBHKTXTAQXES-UHFFFAOYSA-N Selenium Chemical compound [Se] BUGBHKTXTAQXES-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052711 selenium Inorganic materials 0.000 description 1
- 239000011669 selenium Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提出一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质，属于日志异常检测技术领域。包括以下步骤：步骤一、捕获视频流量，对视频流量进行预处理；步骤二、获取经过预处理视频流量的Burst特征和Burst序列对应的时序特征；步骤三、将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量。本发明主要针对于基于DASH协议构建的视频平台传输的视频流进行视频识别，通过每个视频独有的Burst特征进行二次特征提取，分析Brst序列中的时序特征。并创建LightGBM模型对单个视频的时序特征进行识别。解决了无法细粒度的对视频流量进行识别的技术问题。
Description
技术领域
本申请涉及一种视频流量识别方法，尤其涉及一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质，属于日志异常检测技术领域。
背景技术
网络视频技术的不断发展，使人们的生活越来越丰富多彩，同时也给不法份子带来了可乘之机，不法份子通过制作非法视频上传到网络中，使得一些违规内容在网络中传播造成不好的社会影响。目前针对于网络流量识别的方法主要分为三类：基于端口的方法，基于负载的方法，统计方法；
基于端口的方法：这种方法是最基础的流量分类方法，通过去匹配TCP/UDP包头中端口号与IANA分配一些已知的端口号去分类，显然这是一个简单快速的方法，但在目前动态端口和网络地址端口转换的环境中并不适用(NAPT)。
基于负载的方法：这种方法通过检查数据包头和有效载荷来识别应用程序，同时也被称为深度包探测(DPI)，该方法在降低假阳性的情况下提供更高的准确率，但是该方法不适用于加密流量。
统计方法：统计方法使用与有效载荷无关的参数，比如数据包长度，到达间隔时间和流持续时间来解决加密流量和用户隐私的问题。许多工作是使用机器学习(ML)算法进行的。一般来说，有两种学习策略被使用：一种是监督学习，如决策树、SVM和朴素贝叶斯，另一种是无监督学习，如K-means和PCA。尽管如此，其觉差的准确率和需要手工去选取特征不能满足现在快速增长的细粒度流量分类要求。
基于传统流量分类的方法无法细粒度的对视频流量进行识别。包大小，时间间隔，TCP流五元组等常用流量识别特征无法分辨出视频流量，不能作为视频流量的指纹。传统方法用在视频流量识别中只考虑视频流量传输过程中的一些元数据，无法提取具有代表性的视频流量的特性。所以该类型只能应用于网络协议或者APP流量的识别，无法应用在视频流量领域。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
鉴于此，为解决现有技术中存在的无法细粒度的对视频流量进行识别的技术问题，本发明提供一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质。
由于大部分视频流量是通过SSL协议加密的，并且针对于不同的视频平台采用的协议均有不同视频流量的传输模式，没有规律可言，本发明只针对基于DASH协议的视频平台(Youtube)进行识别。本发明通过分析DASH协议本身，使用DASH和VBR产生视频分片大小的序列，该序列对于每个视频来说是独一无二的，利用DASH和VBR产生的内容泄露提取出视频流量在传输中的Burst模式，利用Burst特征对视频流量进行分类。
视频流量时序特征是基于DASH协议存在的信息泄露所暴露出的特征，许多视频流有自己独有的Burst特征，在给定的网络测量环境下可以使用机器学习或者深度学习方法识别这些特征，因为可变字节码率(VBR)，视频分片大小可变，并且客户端是以分片的粒度去请求内容资源，所以加密视频流量中的Burst是和客户端请求对分片对应的，这些特征会暴露视频的部分内容。
因此，本发明基于Burst特征结合时序特征进行视频流量的识别。
方案一：一种基于Burst特征的视频流量识别方法，包括以下步骤：
S1.捕获视频流量，对视频流量进行预处理；
S2.获取经过预处理视频流量的Burst特征和Burst序列对应的时序特征；
S3.将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量。
优选的，所述对视频流量进行预处理的方法是，包括以下步骤：
S11.自动化捕获视频流量，具体方法是，通过输入URL控制浏览器播放对应视频，启动tshark进行流量捕获；
S12.取视频流量中的TCP流，将TCP流划分为流协议、流原IP、流目的IP、流原端口号和流目的端口号，基于客户端问候消息中的服务名称指示字段决定每个流是否为Youtube流，如果在SNI中找到“googlevideos.com”字符串，说明视频流中包含指示字段则保存下来，否则删除。
S13：选择是否删除视频流量中的音频数据，当流量小于400kb则删除音频数据；
S14：提取TCP流中对应的元组(time,bytes)，将Pcap类型的数据流转化为格式化文件用于特征提取。
优选的，所述获取经过预处理视频流量的Burst特征的方法是，基于DASH和VBR泄漏出的内容，在每次捕获中，只保留比特数最多的TCP流，并提取出以下流属性的时间序列：上传/下载-每秒所有字节数，上传/下载-每秒所有数据包，以及上传/下载-所有平均数据包长度。
优选的，所述获取经过预处理视频流量的Burst序列对应的时序特征的方法是，使用Tsfresh获取Burst序列对应的时序特征，具体包括三个阶段，
阶段1：使用特征映射来表征时间序列，针对元信息的附加信息进行聚合运算，提取特征对应的最大值、最小值、平均值和方差；
阶段2：计算特征与结果之间的相关性，通过相关性的数值进行排序，相关性的数值是一个P-values向量，量化每个特征对label的重要性；
阶段3：根据P-values向量进行评估，对P值进行从小到大对排序，标记上序号1～n；其中，最大的FDR等于最大的P值；第n-1位的FDR，取下面两者的较小值(第n位的P值，P*n/(n-1))；不断迭代出最小P值的FDR，确定保留FDR(错误发现率)被限制在某一固定水平的特征；固定水平就是最小P值对应的FDR。
优选的，所述将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量的方法是，包括以下步骤：
S31：训练模型；具体方法是，将视频流量提取出时序特征和视频类别作为LightGBM的输入，以7:3的比例划分训练集合，测试集合，对训练集进行5折交叉验证，得到LightGBM分类模型，并在测试集合上验证结果；
S32：视频识别；具体方法是，执行S1-S2得到时序特征，将时序特征输入至S31所述训练好的LightGBN分类模型中，输出的视频类别。
方案二：用于实现方案一所述的一种基于Burst特征的视频流量识别方法，包括流量捕获模块、时序特征提取模块和流量视频识别模块；
流量捕获模块用于捕获视频流量，对视频流量进行预处理；
时序特征提取模块用于获取时序特征；
流量视频识别模块用于对数据进行分类并识别视频流量。
方案三：一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现方案一所述的一种基于Burst特征的视频流量识别方法的步骤。
方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一所述的一种基于Burst特征的视频流量识别方法。
本发明的有益效果如下：本发明基于Burst特征的视频流量识别，能够解析Youtube视频存在的特征，生成对应指纹来标识单个视频。针对于每个视频存在的指纹使用机器学习进行训练生成模型，通过旁路监测对单个视频流量的传输进行识别。使用LightGBN模型提供了更快的训练速度，更高的识别效率和识别准确率。本发明弥补了流量识别领域针对于视频流量识别的空白，本发明主要针对于基于DASH协议构建的视频平台传输的视频流进行视频识别，通过每个视频独有的Burst特征进行二次特征提取，分析Burst序列中的时序特征。并创建LightGBM模型对单个视频的时序特征进行识别。本发明解决了现有技术中存在的无法细粒度的对视频流量进行识别的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明方法流程示意图；
图2为本发明方法视频流量识别整体设计流程；
图3为本发明数据预处理流程示意图；
图4为本发明时序特征提取流程示意图。
具体实施方式
为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例1、参照图1-4说明本实施方式，一种基于Burst特征的视频流量识别方法，包括以下步骤：
S1.捕获视频流量，对视频流量进行预处理，具体方法是，包括以下步骤：
S11.自动化捕获视频流量，具体方法是，通过输入URL控制浏览器播放对应视频，启动tshark进行流量捕获；
具体的，自动化捕获视频流量可以通过Selenium工具实现自动化捕获视频流量的脚本；
具体的，自动化捕获视频流量可以通过Tshark工具实现自动化捕获视频流量的脚本；
具体的，流量捕获可以设置停止阈值，例如5分钟停止进程。
S12.S12.取视频流量中的TCP流，将TCP流划分为流协议、流原IP、流目的IP、流原端口号和流目的端口号，基于客户端问候消息中的服务名称指示字段决定每个流是否为Youtube流，如果在SNI中找到“googlevideos.com”字符串，说明视频流中包含指示字段则保存下来，否则删除。具体的，SSL协议中包含SNI字段，在加密协议中为数不多的明文字段，SNI字段为基于客户端问候消息中的服务名称指示，可以表明服务的域名。如果视频流量数据包中的SNI字段包含“googlevideos.com”则认为是Youtube视频流，传递到特征提取过程，如果不是删除。
具体的，将TCP流量划分为流的方法可以根据五元组表示划分；
S13：选择是否删除视频流量中的音频数据，当流量小于400kb则删除音频数据；
具体的，音频数据和视频数据可以在同一个五元组流中找到，但音频流量小于视频流量；
S14：提取TCP流中对应的元组(time,bytes)，将Pcap类型的数据流转化为格式化文件用于特征提取。
具体的，Pcap文件就是标准化的网络数据包文件的后缀，将这种类型的文件转化为Csv表格文件，表格文件内容是元组(time,bytes)。
S2.获取经过预处理视频流量的Burst特征和Burst序列对应的时序特征；
具体的，Burst特征就是一个点(time,bytes)，Burst序列就是指由Burst特征的点根据时间顺序构成的序列。
所述获取经过预处理视频流量的Burst特征的方法是，基于DASH和VBR泄漏出的内容，在每次捕获中，只保留比特数最多的TCP流，并提取出以下流属性的时间序列：上传/下载-每秒所有字节数，上传/下载-每秒所有数据包，以及上传/下载-所有平均数据包长度。
具体的，建统一向量，可以以0.25de时间粒度聚合序列中的数值；
Burst是时间序列中的一系列点，当这些点对应于到达时间和数据包大小时，Burst可与更高级别元素(如HTTP响应)的传输相关联。Burst Series(时序特征)是每个点对应一个Burst的序列。Burst的时间是形成突发的点序列的开始和结束之间的中点。突发的值是序列中点的值的总和。我们通过汇总为0.25秒的块来聚合Burst Series。这些序列就可以作为视频流量的特征。
所述获取经过预处理视频流量的Burst序列对应的时序特征的方法是，使用Tsfershgo获取Burst序列对应的时序特征，具体包括三个阶段，
阶段1：使用特征映射来表征时间序列，针对元信息的附加信息进行聚合运算，提取特征对应的最大值、最小值、平均值和方差；
具体的，元信息包括数据包大小和时间间隔等附加特征。
阶段2：每个聚合特征向量都被独立地评估其对预测结果的重要性，计算特征与结果之间的相关性，通过相关性的数值进行排序，相关性的数值是一个P-values向量，量化每个特征对label的重要性；
阶段3：根据P-values向量进行评估，对P值进行从小到大对排序，标记上序号1～n；其中，最大的FDR等于最大的P值；第n-1位的FDR，取下面两者的较小值(第n位的P值，P*n/(n-1))；不断迭代出最小P值的FDR，确定保留FDR(错误发现率)被限制在某一固定水平的特征；固定水平就是最小P值对应的FDR。
具体的，P-values向量可以根据Benjamini-Yekutieli程序进行评估，以确定要保留哪些特征。
S3.将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量，具体方法是，包括以下步骤：
S31：训练模型；具体方法是，将视频流量提取出时序特征和视频类别作为LightGBM的输入，以7:3的比例划分训练集合，测试集合，对训练集进行5折交叉验证，得到LightGBM分类模型，并在测试集合上验证结果；
S32：视频识别；具体方法是，执行S1-S2得到时序特征，将时序特征输入至S31所述训练好的LightGBM分类模型中，输出的视频类别。
实施例2、一种基于Burst特征的视频流量识别方法，包括流量捕获模块、时序特征提取模块和流量视频识别模块；
流量捕获模块用于捕获视频流量，对视频流量进行预处理；
时序特征提取模块用于获取时序特征；
流量视频识别模块用于对数据进行分类并识别视频流量。
本发明的缩略语和关键术语定义：
DASH：全称为Dynamic Adaptive Streaming over HTTP及给予HTTP的动态自适应的比特率流，工作流程如下：HTTP Server将媒体文件切分成一个个时间长度相等的小分片，每个分片被编码为不同的码率和分辨率。Client通过GET请求下载，客户端通过评估自身的性能和带宽情况，下载相应码率和分辨率的切片，码率切换以Segment为单位。带宽差时下载低分辨率切片，带宽好时下载高分辨率切片，不同质量切片时间上对齐，所以切换流畅。
Burst：单位时间间隔内视频流量传输大小的聚合数,用元组(time,bytes)表示，time表示时间戳，bytes表示字节数。
实施例3、本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
实施例4、计算机可读存储介质实施例
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (5)
1.一种基于Burst特征的视频流量识别方法，其特征在于，针对基于DASH协议的视频平台进行识别，通过分析DASH协议本身，利用DASH和VBR产生的内容泄露提取出视频流量在传输中的Burst模式，利用Burst特征对视频流量进行分类，包括以下步骤：
S1. 捕获视频流量，对视频流量进行预处理，包括以下步骤：
S11. 自动化捕获视频流量，具体方法是，通过输入URL控制浏览器播放对应视频，启动Tshark进行流量捕获；
S12. 获取视频流量中的TCP流，将TCP流划分为流协议、流原IP、流目的IP、流原端口号和流目的端口号，基于客户端问候消息中的服务名称指示字段决定每个流是否为Youtube流，如果在 SNI 中找到“googlevideos.com”字符串，说明视频流中包含指示字段则保存下来，否则删除；
S13：选择是否删除视频流量中的音频数据，当流量小于400kb删除音频数据；
S14：提取TCP流中对应的元组（time,bytes），将Pcap类型的数据流转化为格式化文件用于特征提取；
S2. 获取经过预处理视频流量的Burst特征和Burst序列对应的时序特征；
获取经过预处理视频流量的Burst特征的方法是，基于DASH和VBR泄漏出的内容，在每次捕获中，只保留比特数最多的TCP流，并提取出以下流属性的时间序列：上传/下载-每秒所有字节数，上传/下载-每秒所有数据包，以及上传/下载-所有平均数据包长度；
获取经过预处理视频流量的Burst序列对应的时序特征的方法是，使用Tsfresh获取Burst序列对应的时序特征，具体包括三个阶段，
阶段1：使用特征映射来表征时间序列，针对元信息的附加信息进行聚合运算，元信息包括数据包大小和时间间隔附加特征，提取聚合特征对应的最大值、最小值、平均值和方差；
阶段2：计算聚合特征与结果之间的相关性，通过相关性的数值进行排序，相关性的数值是一个P-values向量，量化每个特征对视频类别的重要性；
阶段3： 根据P-values向量进行评估，确定保留FDR被限制在某一固定水平的特征；
S3. 将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量。
2.根据权利要求1所述的一种基于Burst特征的视频流量识别方法，其特征在于，所述将Burst特征和时序特征提取后的数据作为单个视频的指纹，对数据进行分类从而识别视频流量的方法是，包括以下步骤：
S31：训练模型；具体方法是，将视频流量提取出时序特征和视频类别作为LightGBM的输入，以7:3的比例划分训练集合，测试集合，对训练集进行5折交叉验证，得到LightGBM分类模型，并在测试集合上验证结果；
S32：视频识别；具体方法是，执行S1-S2得到时序特征，将时序特征输入至S31所述训练好的模型中，输出的视频类别。
3.一种基于Burst特征的视频流量识别系统，其特征在于：用于实现权利要求1或2所述的一种基于Burst特征的视频流量识别方法，包括流量捕获模块、时序特征提取模块和流量视频识别模块；
流量捕获模块用于捕获视频流量，对视频流量进行预处理；
时序特征提取模块用于获取时序特征；
流量视频识别模块用于对数据进行分类并识别视频流量。
4.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1或2所述的一种基于Burst特征的视频流量识别方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1或2所述的一种基于Burst特征的视频流量识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354186.5A CN114679606B (zh) | 2022-04-02 | 2022-04-02 | 一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210354186.5A CN114679606B (zh) | 2022-04-02 | 2022-04-02 | 一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114679606A CN114679606A (zh) | 2022-06-28 |
| CN114679606B true CN114679606B (zh) | 2023-05-09 |
Family
ID=82078362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210354186.5A Active CN114679606B (zh) | 2022-04-02 | 2022-04-02 | 一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114679606B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109905696A (zh) * | 2019-01-09 | 2019-06-18 | 浙江大学 | 一种基于加密流量数据的视频服务体验质量的识别方法 |
| CN109951444A (zh) * | 2019-01-29 | 2019-06-28 | 中国科学院信息工程研究所 | 一种加密匿名网络流量识别方法 |
| CN110011931A (zh) * | 2019-01-25 | 2019-07-12 | 中国科学院信息工程研究所 | 一种加密流量类别检测方法及系统 |
| CN113301041A (zh) * | 2021-05-21 | 2021-08-24 | 东南大学 | 一种基于分段熵和时间特征的V2Ray流量识别方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10936700B2 (en) * | 2018-10-03 | 2021-03-02 | Matthew John Tooley | Method and system for detecting pirated video network traffic |
| CN110763888B (zh) * | 2019-11-15 | 2021-12-07 | 北京普源精电科技有限公司 | 自动识别触发类型的方法、装置及示波器 |
| CN111356014B (zh) * | 2020-02-18 | 2022-05-13 | 南京中新赛克科技有限责任公司 | 一种基于自动化学习的Youtube视频识别匹配方法 |
| CN112163594B (zh) * | 2020-08-28 | 2022-07-26 | 南京邮电大学 | 一种网络加密流量识别方法及装置 |
| CN113114671B (zh) * | 2021-04-12 | 2023-03-24 | 常熟市国瑞科技股份有限公司 | 一种云数据安全识别与分类方法 |
| CN113079069B (zh) * | 2021-06-04 | 2021-09-17 | 南京邮电大学 | 一种面向大规模加密网络流量的混合粒度训练及分类方法 |
| CN113378961A (zh) * | 2021-06-23 | 2021-09-10 | 中移（杭州）信息技术有限公司 | 网络流量识别方法、装置、设备以及计算机程序产品 |
| CN113938290B (zh) * | 2021-09-03 | 2022-11-11 | 华中科技大学 | 一种用户侧流量数据分析的网站去匿名方法和系统 |
| CN114186637A (zh) * | 2021-12-13 | 2022-03-15 | 中国农业银行股份有限公司 | 流量识别方法、装置、服务器和存储介质 |
-
2022
- 2022-04-02 CN CN202210354186.5A patent/CN114679606B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109905696A (zh) * | 2019-01-09 | 2019-06-18 | 浙江大学 | 一种基于加密流量数据的视频服务体验质量的识别方法 |
| CN110011931A (zh) * | 2019-01-25 | 2019-07-12 | 中国科学院信息工程研究所 | 一种加密流量类别检测方法及系统 |
| CN109951444A (zh) * | 2019-01-29 | 2019-06-28 | 中国科学院信息工程研究所 | 一种加密匿名网络流量识别方法 |
| CN113301041A (zh) * | 2021-05-21 | 2021-08-24 | 东南大学 | 一种基于分段熵和时间特征的V2Ray流量识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114679606A (zh) | 2022-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112163594B (zh) | 一种网络加密流量识别方法及装置 | |
| CN112003870B (zh) | 一种基于深度学习的网络加密流量识别方法及装置 | |
| CN110012029B (zh) | 一种区分加密和非加密压缩流量的方法和系统 | |
| US10547523B2 (en) | Systems and methods for extracting media from network traffic having unknown protocols | |
| CN112491643B (zh) | 深度报文检测方法、装置、设备及存储介质 | |
| CN112437016B (zh) | 网络流量识别方法、装置、设备及计算机存储介质 | |
| CN111245784A (zh) | 多维度检测恶意域名的方法 | |
| WO2022116811A1 (zh) | 一种对加密流量视频进行清晰度预测的方法和装置 | |
| CN109275045B (zh) | 基于dfi的移动端加密视频广告流量识别方法 | |
| CN111611280A (zh) | 一种基于cnn和sae的加密流量识别方法 | |
| CN113407886A (zh) | 网络犯罪平台识别方法、系统、设备和计算机存储介质 | |
| Wu et al. | TDAE: Autoencoder-based automatic feature learning method for the detection of DNS tunnel | |
| CN112019500A (zh) | 一种基于深度学习的加密流量识别方法及电子装置 | |
| CN112134829A (zh) | 生成加密流量特征集的方法及装置 | |
| CN112468324B (zh) | 基于图卷积神经网络的加密流量分类方法及装置 | |
| CN111444364B (zh) | 一种图像检测方法和装置 | |
| CN114679606B (zh) | 一种基于Burst特征的视频流量识别方法、系统、电子设备及存储介质 | |
| Dubin et al. | Video quality representation classification of Safari encrypted DASH streams | |
| CN116738369A (zh) | 一种流量数据的分类方法、装置、设备及存储介质 | |
| CN116232696A (zh) | 基于深度神经网络的加密流量分类方法 | |
| CN111291078A (zh) | 一种域名匹配检测方法及装置 | |
| CN112688897A (zh) | 一种流量识别的方法、装置、存储介质及电子设备 | |
| CN116112209A (zh) | 漏洞攻击流量检测方法及装置 | |
| Dubin et al. | Video quality representation classification of encrypted http adaptive video streaming | |
| CN115563533A (zh) | 一种基于多任务学习的加密流量分类系统、方法、计算机及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |