CN110620937B - 一种基于http的动态自适应加密视频流量识别方法 - Google Patents

一种基于http的动态自适应加密视频流量识别方法 Download PDF

Info

Publication number
CN110620937B
CN110620937B CN201911000061.7A CN201911000061A CN110620937B CN 110620937 B CN110620937 B CN 110620937B CN 201911000061 A CN201911000061 A CN 201911000061A CN 110620937 B CN110620937 B CN 110620937B
Authority
CN
China
Prior art keywords
video
data
traffic
bpp
dtw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911000061.7A
Other languages
English (en)
Other versions
CN110620937A (zh
Inventor
周琨
汪文勇
唐勇
黄鹂声
张骏
张文
刘宝阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201911000061.7A priority Critical patent/CN110620937B/zh
Publication of CN110620937A publication Critical patent/CN110620937A/zh
Application granted granted Critical
Publication of CN110620937B publication Critical patent/CN110620937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44245—Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于计算机网络安全技术领域，公开了一种基于HTTP的动态自适应加密视频流量分类识别方法，属于网络安全技术领域。包括加密视频流量数据采集及预处理、计算时间序列相似度、通过提出的最近邻和最近类算法进行相似度判断等内容。本发明的优点在于仅使用加密视频流的BPP一个特征，在不解密流量的前提下，识别出其中的视频。该方法不解密流量，不侵犯用户隐私，且取得了较好的准确率。

Description

一种基于HTTP的动态自适应加密视频流量识别方法
技术领域
本发明属于计算机网络安全技术领域，具体涉及一种基于HTTP的动态自适应加密视频流量识别方法。
背景技术
大量互联网用户会在线观看视频，据预测，到2020年在线观看视频流量将占整个互联网流量的80％左右。互联网使用报告显示超半数Internet流量已加密，加密视频流量的分析识别领域受到网络安全研究学术界及产业界广泛关注。主流的视频流网站如Youtube，Netflix等使用了基于HTTP(超文本传输协议)的动态自适应视频流技术DASH(DynamicAdaptiveStreamingoverHTTP:DASH或MPEG-DASH)，该技术使用传统的HTTP网络服务器在互联网传播视频流，既保护客户现有投资且对升级改造要求较小，得到广泛使用，该开放技术已成为国际标准。当然除该开放标准外，还存在许多专有解决方案，如微软的SmoothStreaming与Adobe的HDS技术。
MPEG-DASH的技术将内容分解成一系列比较小的基于HTTP的文件片段，每个片段包含很短长度的可播放内容，内容总长度可能长达数小时(如电影、比赛直播)，DASH使互联网电视、电视机顶盒、台式计算机、智能手机/平板等设备观看通过互联网传送的多媒体内容(视频、电视、广播等)，并可根据变动的互联网网络情况动态调整适应视频质量。内容在服务器端被制成多种比特率的备选片段，以提供多种比特率的版本供选用。当内容被DASH客户端回放时，客户端根据当前网络条件自动选择下载和播放哪一个备选方案客户端选择可及时下载的最高比特率片段进行播放，避免播放卡顿或重新缓冲，这是动态自适应的主要技术原理。客户端可适应不断变化的网络条件并提供高质量的播放体验：更少的卡顿与重新缓冲导致的停止播放。不同于微软的SmoothStreaming、Adobe的HDS技术，DASH不关心编解码器，它可接受任何编码格式(如H.265、H.264、VP9等)，开放性较好。
大多数网络视频流服务传输过程都进行了加密，使得传统的基于深度包检测的方法受到严重影响，因为加密后无法对网络流量内容进行分析进而降低分类识别准确度。基于HTTP协议的传输比较容易实现加密，如TLS(传输层安全)协议对http传输层进行加密。DASH标准设计了一个用于获取流客户端-服务器接口，其独立于内容的比特率和质量。使用TLS加密传输保护内容的机密，还可以基于DRM(数字版权管理)再进一步加密，加密后网络特性没有改变。尽管加密流量隐藏了传输层内容，但还是能获取网络层部分特性，如数据传输率bps、IP地址、包长等。
加密流量的识别检测研究领域正快速发展，学术界每年有大量相关研究论文发表。机器学习、深度学习等人工智能技术为加密流量分类识别提供了新的研究手段。目前常见方法通过包长分布、包到达时间间隔、传输方向等特征进行分类识别，其准确性在某些特定环境中比较理性，但还是存在一些缺点：如假阳性高；方法大多使用封闭模型假设，即事先确定流视频的范围；易受噪声影响；假设攻击者能获取到网络层、物理层的加密流量等。在产业界网络巨头思科公司发布的加密流量分析器(ETA:EncryptedTrafficAnalytics)，可在不解密流量前提下检测网络传输层中存在的恶意软件。其检测方法主要是对未加密的连接建立的初始阶段进行分析，同时使用加密后数据包特征(包大小、包到达间隔时间等)进行检测识别，准确率很高且能在线检测。IEEE也成立了加密流量识别标准小组(ETI:EncryptedTrafficInspection)致力于该领域的研究并制定标准。
因此，现在亟需一种基于HTTP的动态自适应对加密视频流量分类识别的方法。
发明内容
本发明提供了一种基于HTTP的动态自适应加密视频流量分类识别方法，针对HTTP的动态自适应加密视频流，基于加密视频流传输的“断续”特点以及编解码速率与静止和活动视频的相关性，提出最近邻和最近类算法，计算视频流的BPP时间序列的相似度，从而对加密视频流的分类识别，形成一种网络尖峰流量比特数(BPP)时间序列，通过计算与参考基准的加密视频流序列相似度，进行网络加密视频流识别分类。
本发明所公开的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于，包括数据采集步骤、数据预处理步骤、相似度计算步骤和分类识别步骤：
数据采集步骤，从网络中获取加密视频数据流量，对已知视频标题的加密视频数据流量中的无关流量进行去除，并将去除无关流量的加密视频数据流量保存为用于数据包突发流量特征提取和视频分类构建训练的数据集。
所述加密视频数据流量包括已知标题和待识别的原始视频数据流，其中已知标题的视频数据流量用于构建参考基准BPP时间序列，BPP是指在一个完整的尖峰持续时间中服务器到客户端的双向传输比特数。
所述无关流量，由于没有现成的加密视频流量数据集可用，只能自行人工构建，具体方法为，客户端访问已知标题的加密视频，同时从网络中抓取该加密视频流的网络数据包，但采用网络抓包工具软件如wireshark获取的流量难免会抓取到与视频数据流无关的其它网络流量，比如路由协议相关的数据包，IP/ARP地址转换数据包，DNS解析等多种网络层、应用层协议的数据流量，这些与采用RTP协议的视频流无关的流量，需要去除，可在wireshark软件工具中直接过滤掉。客户端在获取加密流量时，尽量不要运行与获取加密视频流量数据无关的应用，可减少无关流量；在wireshark中，将去除无关应用的加密视频数据流保存为pcap格式的原始数据包内容，保存在客户端本地。后续预处理时可采用python的scapy模块处理pcap文件，形成数据流的时间序列。
所述数据包突发流量特征提取，是指对已知标题的加密视频数据流量提取用于构建参考基准时间序列的BPP时间序列的特征。从图1中可以看出客户端下载视频网络流量特点：断续on/off、流量尖峰；尖峰是指网络中基本无流量到出现一个流量尖峰时开始，到持续一段时间(假设为100毫秒)后网络流量归于近乎0为止(由于存在背景噪声网络流量不可能完全为0)，计算该持续时间的数据接收比特数。持续时间的计算是通过对加密视频数据流量中pcap文件读取视频RTP(实时传输协议)流量的时间标签计算得到，从第1个服务器到客户端的RTP数据包获取该包的时间戳(timestamp)，到最后1个(最后1个是指接下来的连续数个包均不是RTP包)RTP数据包获取timestamp，两个timestamp之差为持续时间，在pcap文件中统计该时间段内的数据包收发比特数。持续时间计算出后，可与网络传输速率之乘积也可近似计算收发比特数，即图1纵轴所示，但不建议直接相乘得到，因为这只是近似值：不是在持续时间内均以网络传输速率传输，准确值应是对尖峰积分。本方案通过处理pcap数据包得到持续时间内的收发包比特数。
所述视频分类构建训练，是将已知标题的加密视频数据流的BPP时间序列构建为训练用数据集。例如，将大于1分钟的单个视频时间长度，以1分钟长度的视频为1段，抓包时仅抓取1分钟，1个视频流中包含若干视频流。
视频刚开始传输时，客户端网络出现初始短期缓冲，然后网络流量呈现稳定状态的交替断、续期间(客户端可自行验证，见图1)。客户端缓冲大小与要显示内容时间成比例的，而下载速率一般是内容展示速率的1-2倍。流视频内容在应用层分段，即使在传输层被加密，也能获取到包大小分布、到达时间间隔、突发包大小突发间隔等特征(可作为机器学习、深度学习等神经网络的输入，进行基于加密流量特征的识别分类)。
数据预处理步骤，对数据采集步骤中获取的待识别加密视频流量数据进行预处理，通过对已知标题和待识别加密视频流量数据中每个波峰阶段收发的数据包中的比特数形成BPP时间序列；
如前所述，BPP是指在一个完整的尖峰流量中传输的数据比特数，是统计服务器到客户端的双向传输比特数。通过对加密视频数据流量中pcap文件中读取RTP流量的时间标签获取持续时间：从第1个服务器到客户端的RTP数据包获取该包的时间戳timestamp，到最后1个(最后1个是指接下来的连续数个包均不是RTP包)RTP数据包获取timestamp，两个timestamp之差为持续时间，计算该时间内的数据包收发比特数。已知标题的流量在BPP序列增加标签表示标题，通过待识别加密视频流量中每个波峰阶段收发的数据包中的比特数形成BPP时间序列；
相似度计算步骤，通过DTW算法计算所述数据预处理步骤中BPP时间序列的相似度，形成带标记的BPP时间序列，并基于DTW算法构成DTW网格；
动态时间调整DTW算法广泛用于音视频、图片数据序列研究等领域，可进行序列相似度测量，具有可测量不同序列速度相似度的优点。客户端根据网络情况选择下载不同质量的视频流，反映网络突发流量的序列的速度不一定相同，基于此使用该算法有较好的适应性。
分类识别步骤，调取相似度计算步骤中的结果和数据采集步骤中的数据集，通过最近邻和/或最近类算法对待识别加密视频流量进行分类识别。
所述已知视频标题的加密视频数据流量和待识别加密视频流量中均包括若干个视频，每个视频中均包含若干个视频流。
所述BPP时间序列为对应每个视频中的视频流的时间序列。
所述数据预处理步骤中，所述待识别加密视频流量中每个波峰阶段是通过网络监控软件获取的。
相似度计算步骤中，所述DTW算法是通过Cost＝d(s[i]，t[j])的公式，递归计算待识别加密视频流量数据视频i中的第j个单一视频流的DTW值，即DTW[i，j]＝Cost+Minimum(DTW[i-1，j]，DTW[i，j-1]，DTW[i-1，j-1])，DTW[i，j]的值越大其对应的BPP时间序列与数据集的时间序列之间相似度越低，若DTW[i，j]的值＝0，则BPP时间序列与数据集的时间序列完全相同。相似度是指时间序列之间的相似度，本方案是通过计算“距离”形成时间序列相似度。已知标题的视频流形成的带标记的BPP时间序列即参考基准，其预处理方法和待识别的视频流量基本一致，除了参考基准的BPP序列打标记用于表示标题外。
即基于DTW算法计算所述数据预处理步骤中BPP时间序列的相似度的相似度函数为
Sim(S1，S2)＝e-DTW(S1,S2)，使得DTW(S1，S2)＝0，Sim(S1，S2)＝1，
Figure GDA0003082006270000051
其中S1，S2表示BPP时间序列。
所述分类识别步骤中，若针对的是单一视频流则选用最近邻算法，所述最近邻算法为1≤i≤n，
Figure GDA0003082006270000052
选取最大相似度
Figure GDA0003082006270000053
其中Stest为待识别视频流的BPP时间序列集合。
若针对的是完整视频流则选用最近类算法，所述最近类算法是指在数据集中包含有n个已知视频标题的加密视频，每个视频i包含mi个视频流，即n＝i*mi，Si，j为第i个视频中的第j个单一视频流的BPP时间序列集合；Stest为测试视频流的BPP时间序列集合；Φi为第i个视频的mi个视频流集合的并集，即将同一个视频i的mi个视频流按时间顺序求并集构成完整视频流
Figure GDA0003082006270000054
得到视频i的时间序列；计算测试时间序列与各视频的相似度，选取最大相似度
Figure GDA0003082006270000055
所述分类识别步骤中的分类识别是选取所述最近邻和/或最近类算法对待识别加密视频流量计算结果中最大相似度判断该视频在数据集中的属类。
通过对加密视频流量特点、流量模式与内容相关性进行实验研究后发现，其流量具有明显的特点：
(1)“突发(peak)”、“断续”(on-off)；
(2)活动视频所需要的编解码比特率大于静止视频的编解码速率。
本技术方案正是基于这些规律性发现进行流量分类识别。
附图说明
本发明的前述和下文具体描述在结合以下附图阅读时变得更清楚，附图中：
图1是本发明网络加密视频流量的“突发、断续”特点示意图；
图2是本发明时间序列示例图；
图3是本发明一种优选的时间序列示例的相似度计算网格示意。
具体实施方式
下面通过几个具体的实施例来进一步说明实现本发明目的技术方案，需要说明的是，本发明要求保护的技术方案包括但不限于以下实施例。
实施例1
作为本发明一种最基本的实施方案，本实施例公开了一种基于HTTP的动态自适应加密视频流量识别方法，包括数据采集步骤、数据预处理步骤、相似度计算步骤和分类识别步骤：
所述数据采集步骤，从网络中获取加密视频数据流量，对已知视频标题的加密视频数据流量中的无关流量进行去除、并将保存为用于数据包突发流量特征提取和视频分类构建训练的数据集。
所述加密视频数据流量包括已知标题和待识别的原始视频数据流，其中已知标题的视频数据流量用于构建参考基准BPP时间序列，BPP是指在一个完整的尖峰持续时间中服务器到客户端的双向传输比特数。
所述无关流量，由于没有现成的加密视频流量数据集可用，只能自行人工构建，具体方法为，客户端访问已知标题的加密视频，同时从网络中抓取该加密视频流的网络数据包，但采用网络抓包工具软件如wireshark获取的流量难免会抓取到与视频数据流无关的其它网络流量，比如路由协议相关的数据包，IP/ARP地址转换数据包，DNS解析等多种网络层、应用层协议的数据流量，这些与采用RTP协议的视频流无关的流量，需要去除，可在wireshark软件工具中直接过滤掉。客户端在获取加密流量时，尽量不要运行与获取加密视频流量数据无关的应用，可减少无关流量；在wireshark中，将去除无关应用的加密视频数据流保存为pcap格式的原始数据包内容，保存在客户端本地。后续预处理时可采用python的scapy模块处理pcap文件，形成数据流的时间序列。
所述数据包突发流量特征提取，是指对已知标题的加密视频数据流量提取用于构建参考基准时间序列的BPP时间序列的特征。从图1中可以看出客户端下载视频网络流量特点：断续on/off、流量尖峰；尖峰是指网络中基本无流量到出现一个流量尖峰时开始，到持续一段时间(假设为100毫秒)后网络流量归于近乎0为止(由于存在背景噪声网络流量不可能完全为0)，计算该持续时间的数据接收比特数。持续时间的计算是通过对加密视频数据流量中pcap文件读取视频RTP(实时传输协议)流量的时间标签计算得到，从第1个服务器到客户端的RTP数据包获取该包的时间戳(timestamp)，到最后1个(最后1个是指接下来的连续数个包均不是RTP包)RTP数据包获取timestamp，两个timestamp之差为持续时间，在pcap文件中统计该时间段内的数据包收发比特数。持续时间计算出后，可与网络传输速率之乘积也可近似计算收发比特数，即图1纵轴所示，但不建议直接相乘得到，因为这只是近似值：不是在持续时间内均以网络传输速率传输，准确值应是对尖峰积分。本方案通过处理pcap数据包得到持续时间内的收发包比特数。
所述视频分类构建训练，是将已知标题的加密视频数据流的BPP时间序列构建为训练用数据集。例如，将大于1分钟的单个视频时间长度，以1分钟长度的视频为1段，抓包时仅抓取1分钟，1个视频流中包含若干视频流。
视频刚开始传输时，客户端网络出现初始短期缓冲，然后网络流量呈现稳定状态的交替断、续期间(客户端可自行验证，见图1)。客户端缓冲大小与要显示内容时间成比例的，而下载速率一般是内容展示速率的1-2倍。流视频内容在应用层分段，即使在传输层被加密，也能获取到包大小分布、到达时间间隔、突发包大小突发间隔等特征(可作为机器学习、深度学习等神经网络的输入，进行基于加密流量特征的识别分类)。
所述数据预处理步骤，对数据采集步骤中获取的待识别加密视频流量数据进行预处理，通过对已知标题和待识别加密视频流量数据中每个波峰阶段收发的数据包中的比特数形成BPP时间序列；
如前所述，BPP是指在一个完整的尖峰流量中传输的数据比特数，是统计服务器到客户端的双向传输比特数。通过对加密视频数据流量中pcap文件中读取RTP流量的时间标签获取持续时间：从第1个服务器到客户端的RTP数据包获取该包的时间戳timestamp，到最后1个(最后1个是指接下来的连续数个包均不是RTP包)RTP数据包获取timestamp，两个timestamp之差为持续时间，计算该时间内的数据包收发比特数。已知标题的流量在BPP序列增加标签表示标题，通过待识别加密视频流量中每个波峰阶段收发的数据包中的比特数形成BPP时间序列；
所述相似度计算步骤，通过DTW算法计算所述数据预处理步骤中BPP时间序列的相似度，形成带标记的BPP时间序列，并基于DTW算法构成DTW网格；
如图3所示，图中圈“3”的计算举例：其它格中的DTW值计算类似，
DTW[2，2]＝d(S2[2]，S1[2])+Minimum(DTW[2，1]，DTW[1，2]，DTW[1，1])＝|6-3|+Min(2，5，0)＝3+0＝3
图中线连接最短路径，求和并平均得到：
DTW(S1，S2)＝(15+15+14+13+11+9+8+8+4+4+3+2+0)/13＝8.15
则相似度Sim(S1，S2)＝＝2.8874*10-4；
动态时间调整DTW算法广泛用于音视频、图片数据序列研究等领域，可进行序列相似度测量，具有可测量不同序列速度相似度的优点。客户端根据网络情况选择下载不同质量的视频流，反映网络突发流量的序列的速度不一定相同，基于此使用该算法有较好的适应性。
所述分类识别步骤，调取相似度计算步骤中的结果和数据采集步骤中的数据集，通过最近邻和/或最近类算法对待识别加密视频流量进行分类识别。
实施例2
作为本实施例一种优选地实施方案，在实施例1的基础上，进一步的，所述已知视频标题的加密视频数据流量和待识别加密视频流量中均包括若干个视频，每个视频中均包含若干个视频流。
所述BPP时间序列为对应每个视频中的视频流的时间序列。
所述数据预处理步骤中，所述待识别加密视频流量中每个波峰阶段是通过网络监控软件获取的。
相似度计算步骤中，所述DTW算法是通过Cost＝d(s[i]，t[j])的公式，递归计算待识别加密视频流量数据视频i中的第j个单一视频流的DTW值，即DTW[i，j]＝Cost+Minimum(DTW[i-1，j]，DTW[i，j-1]，DTW[i-1，j-1])，DTW[i，j]的值越大其对应的BPP时间序列与数据集的时间序列之间相似度越低，若DTW[i，j]的值＝0，则BPP时间序列与数据集的时间序列完全相同。相似度是指时间序列之间的相似度，本方案是通过计算“距离”形成时间序列相似度。已知标题的视频流形成的带标记的BPP时间序列即参考基准，其预处理方法和待识别的视频流量基本一致，除了参考基准的BPP序列打标记用于表示标题外。
即基于DTW算法计算所述数据预处理步骤中BPP时间序列的相似度的相似度函数为Sim(S1，S2)＝e-DTW(S1,S2)，使得DTW(S1，S2)＝0，Sim(S1，S2)＝1，
Figure GDA0003082006270000091
其中S1，S2表示BPP时间序列。
所述分类识别步骤中，若针对的是单一视频流则选用最近邻算法，所述最近邻算法为1≤i≤n，
Figure GDA0003082006270000092
选取最大相似度
Figure GDA0003082006270000093
其中Stest为待识别视频流的BPP时间序列集合。
若针对的是完整视频流则选用最近类算法，所述最近类算法是指在数据集中包含有n个已知视频标题的加密视频，每个视频i包含mi个视频流，即n＝i*mi，Si，j为第i个视频中的第j个单一视频流的BPP时间序列集合；Stest为测试视频流的BPP时间序列集合；Φi为第i个视频的mi个视频流集合的并集，即将同一个视频i的mi个视频流按时间顺序求并集构成完整视频流
Figure GDA0003082006270000094
得到视频i的时间序列；计算测试时间序列与各视频的相似度，选取最大相似度
Figure GDA0003082006270000095
所述分类识别步骤中的分类识别是选取所述最近邻和/或最近类算法对待识别加密视频流量计算结果中最大相似度判断该视频在数据集中的属类。
实施例3
作为本实施例另一种优选地实施方案，本实施例公开了一种基于HTTP的动态自适应加密视频流量分类识别方法，包括以下步骤：
步骤S1、网络加密视频流量数据采集和预处理；
步骤S1包括下列步骤：
步骤S11、从网络中获取已知视频标题的加密视频数据流量，去除无关流量，并保存文件用于数据包突发流量特征提取，构建训练数据集。
步骤S12、对数据包进行预处理，目标是形成带有视频标题标记的BPP时间序列，即对已知标题的形成带标记的BPP序列，待识别的视频流量形成BPP序列用于测试，BPP是每个尖峰收发的数据包的比特数，是通过对PCAP文件预处理过程获得。
步骤S2、根据DTW算法计算时间序列相似度；
步骤S2包括下列步骤：
步骤S21、根据DTW算法计算时间序列相似度形成了带标记的视频时间序列，根据DTW算法计算DTW网格。主要计算过程是：Cost＝d(s[i]，t[j])，递归计算DTW[i，j]＝Cost+Minimum(DTW[i-1，j]，DTW[i，j-1]，DTW[i-1，j-1])。计算过程参见图2，3。
步骤S22、本专利提出根据DTW计算序列相似度：DTW越大，序列相似度越低，DTW＝0，序列完全相同。构造一个基于DTW的相似度函数：
Sim(S1，S2)＝e-DTW(S1,S2)，
使得DTW(S1，S2)＝0，Sim(S1，S2)＝1，
Figure GDA0003082006270000101
S1，S2表示BPP时间序列。
步骤S3、根据最近邻、最近类算法进行加密视频流量的分类识别。
步骤S3包括下列步骤：
本专利提出了最近邻、最近类两种算法：单一视频流使用最近邻、完整视频流使用最近类算法。若是单一视频流转步骤S31，完整视频流转步骤S32。
步骤S31、最近邻算法：
1≤i≤n，
Figure GDA0003082006270000102
Figure GDA0003082006270000103
步骤S32、最近类算法：
训练数据集中：有n个视频，每个视频i包含mi个视频流(n＝i*mi)；Si，j(单一视频流)：第i个视频的第j个视频流的BPP时间序列集合；Stest：测试视频流的BPP时间序列集合；Φi：第i个视频的mi个视频流集合的并集，即
Figure GDA0003082006270000104
将同一个视频i的mi个视频流按时间顺序求并集(完整视频流)，得到视频i的时间序列。计算测试时间序列与各视频的相似度，选取最大相似度：
Figure GDA0003082006270000105
步骤S33、分类识别计算
已知训练集中有10类视频，输出是一个10维矢量，每个维度表示与一个类的相似度。假设输出相似度矢量为：(0.0023，0.0133，0.0812，0.02176，0.7219，0.0192，0.0211，0.01872，0.0364，0.0927)，选取最大的相似度的维度，第五维0.7219最大，判断该视频属于第五类视频。对相似度矢量归一化计算结果判断的可信程度。如第一维归一化后结果为：
0.0023/(0.0023+0.0133+0.0812+0.02176+0.7219+0.0192+0.0211+0.01872+0.0364+0.0927)＝0.002236，选取最大的维度。
本例中：(0.002236，0.01293，0.07894，0.02115，0.7018，0.01867，0.02051，0.01820，0.03539，0.09012)，最大的第五维0.7018，判断其来自第五个视频的可信程度在70％左右。
本技术方案通过获取加密视频数据流的BPP(BitsPerPeak)序列，BPP为流量尖峰收发的数据包的比特数，并形成比特数时间序列，采取DTW算法计算时间序列相似度，提出了最近邻和最近类算法，用于对加密视频流量进行分类识别。
在对DASH技术进行研究试验后，发现了其加密视频流传输的“断续”特点以及编解码速率与静止和活动视频的相关性，可基于此进行加密视频的分类识别。获取加密视频网络流量并形成了BPP时间序列，使用DTW算法计算时间序列相似度，最后通过最近邻或最近类算法进行加密视频分类识别。其优点在于仅使用BPP序列一个特征，在不解密流量的前提下，识别出其中的视频，取得了较高的准确率。视频压缩和编解码利用了不同视频场景包含不同的有意义的信息。变码编解码算法是当编码视频流内容变化，编解码的速率也随之变化；活动场景的视频所需要的视频编解码比静止场景视频高。
DASH根据展示时间将内容分段，服务器端内容存为段文件，每个段-文件包含一个特定编解码。段文件根据内容采用不同的比特率，当持续时间一定时，段文件的大小不同(段文件大小正比于比特率与持续时间乘积)。当流会话建立后，服务器将这些段-文件的和可用的编解码作为申明发给客户端。客户端根据内容展示和动态网络环境评估发送申请。客户端缓存低于目标值时，就申请下一个段文件下载，这个段文件下载完后等待缓存低于目标值，然后再继续下载(下载速率大于缓存消耗速率，流量呈现断、续特性)，同时客户端缓存消耗速率反映视频内容的活动、静止信息；缓存消耗速率快，说明客户端播放的活动场景视频可能性大于静止场景视频。
客户端从服务器端获取到XML(可扩展标记语言)的MPD(媒体展示描述)，分成固定时间长度(比如5秒)的段文件：135kbps的音频、分辨率从144p，240p，360p，480p，720p，1080p的视频文件。播放时先缓冲一段时间，然后较稳定的、交替几秒出现的突发速率。客户端PC使用chrome浏览器访问youtube网站，打开一个视频，同时打开windows客户端网络监控，可验证网络流量“突发(peak)”、“断续”(on-off)规律。
其分类识别思路对加密流量分析、识别和审计等有一定的参考价值，特别是在互联网接近80％以上的流量为视频流量且该视频大多加密传输的背景下，具有重要的现实意义。

Claims (10)

1.一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于，包括以下步骤：
数据采集步骤，从网络中获取加密视频数据流量，对已知视频标题的加密视频数据流量中的无关流量进行去除，并将去除无关流量的加密视频数据流量保存为用于数据包突发流量特征提取和视频分类构建训练的数据集；
数据预处理步骤，对数据采集步骤中获取的待识别加密视频流量数据进行预处理，通过对已知标题和待识别加密视频流量数据中每个波峰阶段收发的数据包中的比特数形成BPP时间序列，BPP是指在一个完整的尖峰持续时间中服务器到客户端的双向传输比特数；
相似度计算步骤，通过DTW算法计算所述数据预处理步骤中所有BPP时间序列的相似度，形成带标记的BPP时间序列，并基于DTW算法构成DTW网格；
分类识别步骤，调取相似度计算步骤中的结果和数据采集步骤中的数据集，通过最近邻和/或最近类算法对待识别加密视频流量进行分类识别。
2.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：数据采集步骤中，所述加密视频数据流量包括已知标题和待识别的原始视频数据流。
3.如权利要求1或2所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述无关流量是与视频数据流无关的其它网络流量，包括路由协议相关的数据包、IP/ARP地址转换数据包、DNS解析的网络层及应用层协议的数据流量中的一种或多种。
4.如权利要求1或2所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述数据包突发流量特征提取，是指对已知标题的加密视频数据流量提取用于构建参考基准时间序列的BPP时间序列的特征；所述视频分类构建训练，是将已知标题的加密视频数据流的BPP时间序列构建为训练用数据集。
5.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述已知视频标题的加密视频数据流量和待识别加密视频流量中均包括若干个视频，每个视频中均包含若干个视频流。
6.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述BPP时间序列为对应每个视频中的视频流的时间序列。
7.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述数据预处理步骤中，所述待识别加密视频流量中每个波峰阶段是通过网络监控软件获取的。
8.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：相似度计算步骤中，所述DTW算法是通过Cost＝d(s[i]，t[j])的公式，递归计算待识别加密视频流量数据视频i中的第j个单一视频流的DTW值，即DTW[i，j]＝Cost+Minimum(DTW[i-1，j]，DTW[i，j-1]，DTW[i-1，j-1])，DTW[i，j]的值越大其对应的BPP时间序列与数据集的时间序列之间相似度越低，若DTW[i，j]的值＝0，则BPP时间序列与数据集的时间序列完全相同。
9.如权利要求8所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述DTW算法计算所述数据预处理步骤中BPP时间序列的相似度的相似度函数为
Sim(S1，S2)＝e-DTW(S1,S2)，
使得DTW(S1，S2)＝0，Sim(S1，S2)＝1，
Figure FDA0003082006260000021
其中S1、S2表示BPP时间序列。
10.如权利要求1所述的一种基于HTTP的动态自适应加密视频流量识别方法，其特征在于：所述分类识别步骤中，若针对的是单一视频流的识别则选用最近邻算法，所述最近邻算法为1≤i≤n，
Figure FDA0003082006260000022
选取最大相似度
Figure FDA0003082006260000023
其中Stest为待识别视频流的BPP时间序列集合；
若针对的是完整视频流的识别则选用最近类算法，所述最近类算法是指在数据集中包含有n个已知视频标题的加密视频，每个视频i包含mi个视频流，即n＝i*mi，Si，j为第i个视频中的第j个单一视频流的BPP时间序列集合；Stest为测试视频流的BPP时间序列集合；Φi为第i个视频的mi个视频流集合的并集，即将同一个视频i的mi个视频流按时间顺序求并集构成完整视频流
Figure FDA0003082006260000024
得到视频i的时间序列；计算测试时间序列与各视频的相似度，选取最大相似度
Figure FDA0003082006260000025
CN201911000061.7A 2019-10-21 2019-10-21 一种基于http的动态自适应加密视频流量识别方法 Active CN110620937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911000061.7A CN110620937B (zh) 2019-10-21 2019-10-21 一种基于http的动态自适应加密视频流量识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000061.7A CN110620937B (zh) 2019-10-21 2019-10-21 一种基于http的动态自适应加密视频流量识别方法

Publications (2)

Publication Number Publication Date
CN110620937A CN110620937A (zh) 2019-12-27
CN110620937B true CN110620937B (zh) 2021-07-30

Family

ID=68926174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000061.7A Active CN110620937B (zh) 2019-10-21 2019-10-21 一种基于http的动态自适应加密视频流量识别方法

Country Status (1)

Country Link
CN (1) CN110620937B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279222A1 (en) * 2020-03-09 2021-09-09 Vimeo, Inc. Dynamic Buffer Lookahead in Adaptive Streaming Using Machine Learning
CN112653928B (zh) * 2020-12-04 2022-12-02 苏州浪潮智能科技有限公司 一种基于内容相同的视频过滤方法、系统及设备
CN114025203B (zh) * 2021-11-04 2024-01-23 中国人民解放军国防科技大学 一种基于序列相似度的加密视频流量内容分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391627A (zh) * 2018-11-20 2019-02-26 东南大学 一种识别TLS协议加密传输YouTube DASH视频的方法
CN109905696A (zh) * 2019-01-09 2019-06-18 浙江大学 一种基于加密流量数据的视频服务体验质量的识别方法
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10084712B1 (en) * 2017-03-23 2018-09-25 Verizon Patent And Licensing Inc. Real-time traffic analysis over mobile networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391627A (zh) * 2018-11-20 2019-02-26 东南大学 一种识别TLS协议加密传输YouTube DASH视频的方法
CN109905696A (zh) * 2019-01-09 2019-06-18 浙江大学 一种基于加密流量数据的视频服务体验质量的识别方法
CN110247930A (zh) * 2019-07-01 2019-09-17 北京理工大学 一种基于深度神经网络的加密网络流量识别方法

Also Published As

Publication number Publication date
CN110620937A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110620937B (zh) 一种基于http的动态自适应加密视频流量识别方法
Dubin et al. I know what you saw last minute—encrypted http adaptive video streaming title classification
US20230127341A1 (en) Methods and apparatus to credit media presentations for online media distributions
US9608824B2 (en) Using digital fingerprints to associate data with a work
US20210067842A1 (en) Systems and methods for providing watermarked content
US10951946B2 (en) Determining a quality of experience metric based on uniform resource locator data
US20130067109A1 (en) Monitoring Over-the-Top Adaptive Video Streaming
Dou et al. Edge computing-enabled deep learning for real-time video optimization in IIoT
CN107888579B (zh) 一种非干扰式的移动视频用户体验质量指标建模方法
Gu et al. Traffic-based side-channel attack in video streaming
US20210176530A1 (en) ESTIMATING OTT PLAYER QoE METRICS FROM CDN LOGS USING AI AND MACHINE LEARNING
CN112203136B (zh) 一种对加密流量视频进行清晰度预测的方法和装置
US8248940B2 (en) Method and apparatus for targeted content delivery based on internet video traffic analysis
US11252469B2 (en) Methods and apparatus to monitor streaming media content
CN109275045B (zh) 基于dfi的移动端加密视频广告流量识别方法
CN109587521A (zh) 视频卡顿的判定方法及装置
US20240187677A1 (en) Video streaming system preloading of video content
Yang et al. Markov probability fingerprints: A method for identifying encrypted video traffic
Dubin et al. I know what you saw last minute-the chrome browser case
US11206244B2 (en) Method to preserve video data obfuscation for video frames
CN110602059A (zh) 一种精准复原tls协议加密传输数据明文长度指纹的方法
Wu et al. Monitoring video resolution of adaptive encrypted video traffic based on HTTP/2 features
Dubin et al. Video quality representation classification of encrypted http adaptive video streaming
US20080080379A1 (en) Network device and frame processing method thereof
Zhang et al. Context-aware multimedia content adaptation for mobile web

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant