CN113114672A - 一种视频传输数据精细化测量方法 - Google Patents

Abstract

本发明公开了一种视频传输数据精细化测量方法，包括：获取网络流数据；根据网络流数据构建多流时空特性流量矩阵；对多流时空特性流量矩阵进行特征降维，获取网络流的低维特征；在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联。通过对网络流的时空交互性进行详细分析，挖掘出网络流在时间和空间特性上的关联性，利用流量矩阵对应用关联的多条加密流、非加密流的时空特征进行表示，并利用流形学理论将复杂、高维的流量矩阵进行降维，挖掘主流应用通信过程中的流量行为模式与行为之间的逻辑过程，从而实现对加密流量精细化测量。

Description

一种视频传输数据精细化测量方法

技术领域

本发明涉及通信技术领域，具体涉及视频传输数据精细化测量方法。

背景技术

随着Internet网络和在线应用的迅速发展，为了确保通信安全和隐私，越来越多的视频网络流量被加密，加密是保护隐私的一个重要手段，能够保护我们的数据不被窥探，能够阻止犯罪分子窃取用户的信用卡信息、应用的使用习惯或密码。

获取攻击行为的描述虽然可以为我们提供一定的情报信息，不过想要实现对攻击的防御、过滤或者对攻击者的画像等后续需求，对攻击行为的精确化分类则十分必要。然而不同正常应用、恶意软件通信过程中一般具有多条网络流，这些网络流包含加密流或非加密流，而这些网络流之间的时空交互行为相当复杂，不同应用的交互模式存在差异，加大了加密视频流量精细化测量的难度。

因此，如何对网络流量实现视频数据等网络传输流量的精细化测量成为亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种视频传输数据精细化测量方法，以解决不同正常应用、恶意软件通信过程中一般具有多条网络流，这些网络流包含加密流或非加密流，而这些网络流之间的时空交互行为相当复杂，不同应用的交互模式存在差异，导致加密流量精细化测量存在困难的问题。

本发明实施例提供了一种视频传输数据精细化测量方法，包括：

获取网络流数据；

根据网络流数据构建多流时空特性流量矩阵；

对多流时空特性流量矩阵进行特征降维，获取网络流的低维特征；

在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联，得到对加密流量的测量结果。

可选地，根据网络流数据构建多流时空特性流量矩阵包括：

以长度为T的时间窗口作为总测量时间，将时间窗口均分为大小为s的N个时间周期，测量N个时间周期内网络中关联性强的前p条关联流的流量，每个时间周期内的关联流特征表示为特征向量v＝{label，x₀，x₁，...，x_m-1}；

将所有特征组合构建成一个N×(p(m+1))的矩阵A：

其中，label表示对网络流数据类型在单流分析时的标记信息，{x₀，x₁，...，x_m-1}为时空特性的特征分析；p和N均为大于等于1的自然数。

可选地，对多流时空特性流量矩阵进行特征降维，获取网络流的低维特征包括：

计算多流时空特性流量矩阵中任意两个数据点之间的测地距离；

根据测地距离计算得到多流时空特性流量矩阵中所有数据点在低维空间中的坐标。

可选地，根据测地距离计算得到多流时空特性流量矩阵中所有数据点在低维空间中的坐标包括：

根据多流时空特性流量矩阵中的数据点构造k邻近图；

将多流时空特性流量矩阵中的数据点作为结点，将每个结点与其相邻最近的k个结点直接相连，用欧式距离表示结点之间的连接权重；

通过k邻近图计算结点与结点之间的最短路径矩阵。

可选地，根据测地距离计算得到多流时空特性流量矩阵中所有数据点在低维空间中的坐标包括：

将每个观测样本作为一个结点，通过原始测地距离计算得出共同邻近集；

为每个观测样本设置一个相对应的局部密度缩放因子；

通过局部密度缩放因子调整观测样本之间的权重，使样本密度高的区域样本紧密，使样本密度低的区域样本稀疏；

获取样本距离矩阵。

可选地，在获取样本距离矩阵之后，还包括：

对样本距离矩阵进行多维尺度变换运算，获得与样本距离矩阵对应的低维坐标矩阵，即低维特征。

可选地，在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联包括：

采用自适应提升算法对低维坐标矩阵进行训练分类任务。

可选地，在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联，包括：

以基于IP地址的关联规则，或，以基于域名信息的关联规则，或以基于时空特性的关联规则对网络流数据进行关联。

可选地，在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联，包括：

选定一条加密流数据作为关联中心，以加密流数据对应的源IP为待分析的目标行为主体进行关联。

可选地，还包括：

按照源IP、目的IP、源端口、目的端口和传输层协议对网络流数据进行分类并设置一一对应的权重值；

在固定大小的多流关联时间窗口中，以源IP、目的IP、源端口、目的端口和传输层协议一一对应的权重值计算关联系数。

本发明实施例的有益效果如下：

本发明实施例通过对网络流的时空交互性进行详细分析，挖掘出网络流在时间和空间特性上的关联性，利用流量矩阵对应用关联的多条加密流、非加密流的时空特征进行表示，并利用流形学理论将复杂、高维的流量矩阵进行降维，挖掘主流应用通信过程中的流量行为模式与行为之间的逻辑过程，从而实现对加密流量精细化测量。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明实施例中一种视频传输数据精细化测量方法的流程图；

图2示出了本发明实施例中一种视频传输数据精细化测量方法中的测地距离计算流的程图；

图3示出了本发明实施例中一种视频传输数据精细化测量方法中样本距离矩阵计算的流程图；

图4示出了本发明实施例中一种基于时空多流关联的加密流量精细化测量终端的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于网络应用行为一般是由多条加密或非加密的流共同作用构成，不同网络流在通信对象、传输内容、时序特征等方面存在一定的联系，而目前的研究大多是仅仅对单条网络流的属性识别，并不能全面刻画应用行为的通信交互过程。针对时空交互行为的复杂性问题，本申请构建时间、空间特性上应用关联的多条加密流、非加密流的流量矩阵，并利用流形学理论将复杂、高维的流量矩阵进行降维，挖掘主流应用通信过程中的流量行为模式与行为之间的逻辑过程，从而实现对加密流量精细化测量。

本发明实施例提供了一种视频传输数据精细化测量方法，如图1所示，包括：

步骤S10，获取网络流数据。

当通过网络视频传输数据进行操作时，需要将数据转化为数据流的形式。数据流(Stream)是对串行传输的数据的一种抽象表示，数据源可以是文件、外部设备、主存、网络套接字等。数据流分为文件流、内存流和网络流3种类型。其中，网络流用于在网络上传输数据。在使用网络流时，数据在网络的各个位置之间以连续的字节形式传输。网络流是行为主体或网络设备之间通信的数据载体，其内容是为了实现通信双方之间的命令控制和数据传输以达到某种目的行为。现有的网络应用的交互行为通常会产生由多条网络流，同一个应用的网络流之间存在逻辑上的必然联系，而不同应用的网络流之间也可能存在相互依赖或者触发关系。而当网络应用中采用了加密方式进行数据传输时，特定行为除了会产生多条加密流之外，通常还伴随着多条相关联的非加密流传输一些非敏感的数据。

例如在某视频应用上观看视频是一个多流交互过程，其中DNS流量在与新的内容服务器通信之前均会产生：

①加载视频观看的应用界面的数据信息，由主机向内容服务器A发送请求后，通过加密流F1传输相关数据至主机。

②视频内容分为视频数据和音频数据，加密后经由内容服务器B通过两个不同的端口传输至主机，得到两条TLS加密流F2、F3。在交互时序上，每一次DNS请求/响应与其关联的主机与服务器之间的通信是触发关系，加密流F1的会话开始要早于F2、F3，而F2和F3几乎是同时开始数据传输的。

实际上，大多数应用的网络行为都是具有时间和空间上较为稳定的多流传输模式。

步骤S20，根据网络流数据构建多流时空特性流量矩阵。

流量矩阵用于描述网络中节点之间的连接关系和数据流向，反映了一个网络中所有源节点和目的节点对(pair of Origin and Destination，OD对)之间的流量需求。

在本实施例中，步骤S20包括：

步骤S201，以长度为T的时间窗口作为总测量时间，将时间窗口均分为大小为s的N个时间周期，测量N个时间周期内网络中关联性强的前p条关联流的流量，每个时间周期内的关联流特征表示为特征向量v＝{label，x₀，x₁，...，x_m-1}。

步骤S202，将所有特征组合构建成一个N×(p×(m+1))的矩阵A：

其中，label表示对网络流数据类型在单流分析时的标记信息，{x₀，x₁，...，x_m-1}为时空特性的特征分析；p和N均为大于等于1的自然数。

矩阵A即描述网络流特征的矩阵。

步骤S30，对多流时空特性流量矩阵进行特征降维，获取网络流的低维特征。

传统的等度量映射(Isomap)算法的基本出发点是认为低维流形嵌入到高维空间之后，直接在高维空间中计算直线距离具有误导性，因为高维空间的直线距离在低维嵌入流形上是不可达的，因此需要先对多流时空特性流量矩阵进行降维，再进行后续计算。

在本实施例中，步骤S30还包括：

步骤S301，计算多流时空特性流量矩阵中任意两个数据点之间的测地距离。

其中，通过Isomap算法，由数据点形成的无向加权邻近图中的点与点之间的最短路径的长度来刻画流形数据上点与点之间的距离。在邻接图上计算两点之间的最短路径时，可采用著名的Dijkstra算法或Floyd算法，亦可得到任意两点间的距离，即测地距离。得到测地距离之后，可以通过MDS算法来获得样本点在低维空间中的坐标。

步骤S302，根据测地距离计算得到多流时空特性流量矩阵中所有数据点在低维空间中的坐标。

步骤S40，在低维特征空间中对低维特征进行训练分类，将网络流数据进行关联。

在本实施例中，在对多流时空关联的流量矩阵进行特征降维后，获得了网络流的低维特征，通过分类器或者其他分类算法，在低维特征空间中完成训练分类任务，将多流网络数据实现关联，刻画出应用的多流交互特性，实现对加密网络环境下网络应用交互场景的精细化识别，而且通过多流的关联，可以识别出相同应用的网络数据流在不同时间点的传输性能参数，测量出网络传输的服务质量。

本实施例通过对网络流的时空交互性进行详细分析，挖掘出网络流在时间和空间特性上的关联性，利用流量矩阵对应用关联的多条加密流、非加密流的时空特征进行表示，并利用流形学理论将复杂、高维的流量矩阵进行降维，挖掘主流应用通信过程中的流量行为模式与行为之间的逻辑过程，从而实现对加密流量精细化测量。

作为可选的实施方式，如图2所示，步骤S302还包括：

步骤S3021，根据多流时空特性流量矩阵中的数据点构造k邻近图。

在本实施例中，根据原始的网络流数据构造一个k邻近图。

步骤S3022，将多流时空特性流量矩阵中的数据点作为结点，将每个结点与其相邻最近的k个结点直接相连，用欧式距离表示结点之间的连接权重。

在本实施例中，将在该k邻近图中每个观测样本都被看作一个结点，并且使每个结点与它最近的k各结点直接相连，并计算两两直接连接的结点之间的欧式距离，用该欧式距离表示两个结点之间的连接权重。

步骤S3023，通过k邻近图计算结点与结点之间的最短路径矩阵。

在本实施例中，通过步骤S3021中构造好的k邻近图来计算结点与结点之间的最短路径，最后得到的最短路径距离矩阵即为各个观测样本点间的测地距离。

作为可选的实施方式，如图3所示，步骤S302还包括：

步骤S3024，将每个观测样本作为一个结点，通过原始测地距离计算得出共同邻近集。

在本实施例中，可以通过Isomap算法计算得出共同邻近集。

步骤S3025，为每个观测样本设置一个相对应的局部密度缩放因子。

在本实施例中，通过求得的共同邻近集，为每个观测点都计算出一个局部密度缩放因子，该缩放因子值越大，表明其对应的结点所在区域的密度越大，反之，该值所在区域的密度越小。

步骤S3026，通过局部密度缩放因子调整观测样本之间的权重，使样本密度高的区域样本紧密，使样本密度低的区域样本稀疏。

在本实施例中，通过引入局部密度缩放因子来减小或增加样本分布数据之间的权重，使得在样本密度高的区域样本变得更加紧密，而在样本密度低的区域样本变得更加稀疏，增大了样本分布密度紧密区域和稀疏区域之间的差异。

步骤S3027，获取样本距离矩阵。

在本实施例中，考虑到样本数据的密度，通过引入局部密度缩放因子计算得到的样本距离矩阵，反映了观测样本的密度，同时降低了噪声的影响，使样本数据中的噪声具有鲁棒性。

作为可选的实施方式，在步骤S3027之后，还包括：

步骤S3028，对样本距离矩阵进行多维尺度变换运算，获得与样本距离矩阵对应的低维坐标矩阵，即低维特征。

在本实施例中，对样本距离矩阵通过多维尺度变换运算(MDS)算法计算得到对应的低维坐标，完成降维处理。

作为可选的实施方式，步骤S40还包括：

采用自适应提升算法对低维坐标矩阵进行训练分类任务。

在本实施例中，对低维特征进行聚类、分类可以采用自适应提升算法，也可以根据实际需要进行选择其他算法。

在对加密流量进行分析时，从加密流到网络应用的逆向映射考虑，单从一条流的行为是难以更为精细化地还原或判断主体于网络应用所实施的具体行为。而在对多条流进行分析时，则需要考虑如何将应用相关的多条网络流进行关联，例如步骤S40中对网络多流数据的关联规则，包括：

1)按照五元组，即源IP、目的IP、源端口、目的端口和传输层协议，对数据流进行定义：f＝{sa,da,sp,dp,proto}。

2)设置一个固定大小的多流关联的时间窗口，在该时间窗口内的流为待关联的流。

3)选定一条加密流数据作为关联中心，以加密流数据对应的源IP为待分析的目标行为主体进行关联。

4)以基于IP地址的关联规则，或，以基于域名信息的关联规则，或以基于时空特性的关联规则对网络流数据进行关联。

在本实施例中，以基于IP地址的关联规则：

若流f_x满足sa_x＝sa₀，且da_x＝da₀，则认为f₀与f_x具有强关联性；

若流sa_x＝sa₀，da_x和da₀在地址分布上具有相似性，记为da_x～da₀，则认为f₀与f_x具有关联性。

以基于域名信息的关联规则：

若流f_x满足sa_x＝sa₀，且流f_x对应的DNS报文中的域名与f₀对应的DNS报文中的域名具有字符串相似性，则认为f₀与f_x具有关联性。

以基于时空特性的关联规则：对于不满足以上两类关联关系的网络流，则从时间窗口内，将流f_x与f₀与在时序关系、数据大小上进行弱关联。

作为可选的实施方式，还包括：

按照源IP、目的IP、源端口、目的端口和传输层协议对网络流数据进行分类并设置一一对应的权重值；

在固定大小的多流关联时间窗口中，以源IP、目的IP、源端口、目的端口和传输层协议一一对应的权重值计算关联系数。

在本实施例中，权重值按照1:3:1:4:2对应源IP、目的IP、源端口、目的端口和传输层协议进行设置，以目的IP和目的端口为重心计算关联系数。或者，以源IP和源端口为重心，根据实际需要设置权重值。

本发明实施例还提供了一种基于时空多流关联的加密流量精细化测量终端，如图4所示，该测量终端可以包括处理器41和存储器42，其中处理器41和存储器42可以通过总线或者其他方式连接，图4中以通过总线连接为例。

处理器41可以为中央处理器(Central Processing Unit，CPU)。处理器41还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的视频传输数据精细化测量方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器41所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器42中，当被所述处理器41执行时，执行如图1-3所示实施例中的视频传输数据精细化测量方法。

上述测量终端具体细节可以对应参阅图1至图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种视频传输数据精细化测量方法，其特征在于，包括：

获取网络流数据；

根据所述网络流数据构建多流时空特性流量矩阵；

对所述多流时空特性流量矩阵进行特征降维，获取所述网络流的低维特征；

在低维特征空间中对所述低维特征进行训练分类，将所述网络流数据进行关联，得到对流量的测量结果。

2.根据权利要求1所述的视频传输数据精细化测量方法，其特征在于，根据所述网络流数据构建多流时空特性流量矩阵包括：

以长度为T的时间窗口作为总测量时间，将所述时间窗口均分为大小为s的N个时间周期，测量N个所述时间周期内网络中关联性强的前p条关联流的流量，每个所述时间周期内的关联流特征表示为特征向量v＝{label，x₀，x₁，...，x_m-1}；

将所有特征组合构建成一个N×(p×(m+1))的矩阵A：

其中，label表示对所述网络流数据类型在单流分析时的标记信息，{x₀，x₁，...，x_m-1}为时空特性的特征分析；p和N均为大于等于1的自然数。

3.根据权利要求1所述的视频传输数据精细化测量方法，其特征在于，对所述多流时空特性流量矩阵进行特征降维，获取所述网络流的低维特征包括：

计算所述多流时空特性流量矩阵中任意两个数据点之间的测地距离；

根据所述测地距离计算得到所述多流时空特性流量矩阵中所有数据点在低维空间中的坐标。

4.根据权利要求3所述的视频传输数据精细化测量方法，其特征在于，根据所述测地距离计算得到所述多流时空特性流量矩阵中所有数据点在低维空间中的坐标包括：

根据所述多流时空特性流量矩阵中的数据点构造k邻近图；

将所述多流时空特性流量矩阵中的数据点作为结点，将每个所述结点与其相邻最近的k个结点直接相连，用欧式距离表示所述结点之间的连接权重；

通过所述k邻近图计算结点与结点之间的最短路径矩阵。

5.根据权利要求3所述的视频传输数据精细化测量方法，其特征在于，根据所述测地距离计算得到所述多流时空特性流量矩阵中所有数据点在低维空间中的坐标包括：

将每个观测样本作为一个结点，通过原始测地距离计算得出共同邻近集；

为每个所述观测样本设置一个相对应的局部密度缩放因子；

通过所述局部密度缩放因子调整所述观测样本之间的权重，使样本密度高的区域样本紧密，使样本密度低的区域样本稀疏；

获取样本距离矩阵。

6.根据权利要求5所述的视频传输数据精细化测量方法，其特征在于，在获取样本距离矩阵之后，还包括：

对所述样本距离矩阵进行多维尺度变换运算，获得与所述样本距离矩阵对应的低维坐标矩阵，即所述低维特征。

7.根据权利要求5所述的视频传输数据精细化测量方法，其特征在于，在低维特征空间中对所述低维特征进行训练分类，将所述网络流数据进行关联包括：

采用自适应提升算法对所述低维坐标矩阵进行训练分类任务。

8.根据权利要求1所述的视频传输数据精细化测量方法，其特征在于，在低维特征空间中对所述低维特征进行训练分类，将所述网络流数据进行关联，包括：

以基于IP地址的关联规则，或，以基于域名信息的关联规则，或以基于时空特性的关联规则对所述网络流数据进行关联。

9.根据权利要求1所述的视频传输数据精细化测量方法，其特征在于，在低维特征空间中对所述低维特征进行训练分类，将所述网络流数据进行关联，包括：

选定一条加密流数据作为关联中心，以所述加密流数据对应的源IP为待分析的目标行为主体进行关联。

10.根据权利要求9所述的视频传输数据精细化测量方法，其特征在于，还包括：

按照源IP、目的IP、源端口、目的端口和传输层协议对所述网络流数据进行分类并设置一一对应的权重值；

在固定大小的多流关联时间窗口中，以所述源IP、所述目的IP、所述源端口、所述目的端口和所述传输层协议一一对应的所述权重值计算关联系数。

Images