CN112104666A - 一种基于视频编码的异常网络流量检测系统及方法 - Google Patents

一种基于视频编码的异常网络流量检测系统及方法 Download PDF

Info

Publication number
CN112104666A
CN112104666A CN202011218009.1A CN202011218009A CN112104666A CN 112104666 A CN112104666 A CN 112104666A CN 202011218009 A CN202011218009 A CN 202011218009A CN 112104666 A CN112104666 A CN 112104666A
Authority
CN
China
Prior art keywords
video
bit rate
layer
original
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011218009.1A
Other languages
English (en)
Other versions
CN112104666B (zh
Inventor
何小德
郭云飞
周德雨
刘新闻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jingyuan Safety Technology Co ltd
Original Assignee
Guangzhou Jingyuan Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jingyuan Safety Technology Co ltd filed Critical Guangzhou Jingyuan Safety Technology Co ltd
Priority to CN202011218009.1A priority Critical patent/CN112104666B/zh
Publication of CN112104666A publication Critical patent/CN112104666A/zh
Application granted granted Critical
Publication of CN112104666B publication Critical patent/CN112104666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于视频编码的异常网络流量检测系统及方法，包括流量采集模块、流量统计模块、视频帧生成模块，视频编码模块和视频比特率分析模块。本发明直接将原始流量的统计数据编码形成原始视频帧，经过GPU视频编码后根据可变比特率视频的码率变化即可判断是否出现了异常网络流量，不需要选择复杂的模型和超参数，也不需要事先训练，具有很好的性能，很好的环境适应性，也不依赖于难于获得的异常流量样本。而相比于基于异常流量特征库的DPI方法，也不需要事先准备好的特征库，因此对未知异常流量有较好的检测效果，此外基于GPU加速进行视频编码，性能上也优于同等硬件成本的DPI方法。

Description

一种基于视频编码的异常网络流量检测系统及方法
技术领域
本发明涉及电数字数据处理领域，具体涉及一种基于视频编码的异常网络流量检测系统及方法。
背景技术
网络安全领域内异常网络流量的检测是关键技术之一。当网络中出现易于常态的流量时，往往揭示了网络中出现了安全威胁，包括网络运行异常导致的网络资源不能提供有效服务，从而影响到网络服务的安全，例如网络设备故障或网络协议运行异常造成的流量冲击；也包括恶意攻击者人为产生的异常流量以达到其攻击目的，例如DDOS攻击。而网络流量的异常也体现在不同层面，如网络层、传输层、应用层等。不同协议层面网络异常的表现有：网络层异常往往表现在总流量大小、平均报文长度、双向流量比例等；传输层异常往往表现在流建立速率、平均流大小、传输层协议标志位异常等；应用层异常则和具体应用层类型相关。
目前检测异常网络流量的方法主要有：
1）基于深度报文检测DPI的方法
该方法需要事先准备一个异常流量特征库，库中存放各类异常网络流量中的特异性报文特征。在接收到网络流量后，分别用特征库中的特征与网络流量中的报文内容进行匹配操作，如果发现报文中出现了某个或某些异常流量的特征后，即认为发现了异常网络流量。
2）基于深度流检测DFI的方法
采集网络流量后，对流量进行统计后得到若干原始统计数据，然后通过机器学习的方法（如贝叶斯检测、SVM、聚类等）或者是通过神经网络的方式，发现异常流量。也有一些更原始的简单方法，例如基于既往流量统计得出网络流量基线，当实时观测到流量与历史基线的差异超越一定阈值即认为发现了异常网络流量。
以上现在方法均有明显的缺点：
1）基于深度报文检测DPI的方法
需要事先准备好异常网络流量的特征库，因此只能识别已知的经过分析的异常网络流量。而现在网络安全态势非常复杂，新型异常流量不断出现，因为没有新型异常流量的特征，该方法无法识别新型异常流量。另一方面，深度报文检测需要使用采集到的报文内容，从庞大的异常流量特征库中匹配检索是否出现了某个或某些异常特征，随着异常网络流量的不断涌现，异常流量特征库也迅速膨胀，这样就需要特征匹配模块有强大的云算力，因此其硬件成本将难以控制。
2）基于深度流检测DFI的方法
基于简单的历史基线判断异常的方法由于只能针对一个或少量几个统计值进行判断，难以全面检测可能出现在不同协议层面的异常流量，此外简单的基线判断难以揭示流量时间序列全面的内在特征，只能检测出简单的基于流量数值大小的异常。
基于机器学习和神经网络的方法需要使用其应用场景中的历史数据进行训练，然后才可以检测实时流量中的异常，训练需要成本与时间，无法做到即插即用。而当应用场景变化，如更换流量采集位置，或者是应用场景中网络环境、服务内容发生变化，需要进行重新训练。此外，不同的场景及不同的威胁态势下，要选择不同的机器学习或神经网络的模型以及相应的超参数，无论在理论上还是实践中都具有相当的困难，因此方法不具有普适性。此外，上述方法需要有相当数量的异常流量样本才能有良好的训练效果，而在实践中，往往很难获取经过恰当标注的异常流量样本，因此训练效果很难达到精确检测异常流量的目标。
因此，需要对现有的异常网络检测进行进一步地改进，提供一本成本更低，算法更加简便的异常网络流量高速检测系统及方法。
发明内容
为了解决上述技术问题，本发明的提供一种本成本更低，算法更加简便的基于GPU视频编码接口的异常网络流量高速检测系统及方法。
为实现上述目的，本发明采取的技术方案如下：一种基于视频编码的异常网络流量检测系统，包括流量采集模块、流量统计模块、视频帧生成模块，GPU视频编码模块和视频比特率分析模块，其中：
所述流量采集模块，用于采集检测位置网络流量的原始报文，并发送给流量统计模块；
所述流量统计模块，用于对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，产生统计数据；
视频帧生成模块，用于将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV或RGB的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块；
所述GPU视频编码模块：采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块；
所述视频比特速率分析模块；对各层原始编码视频的每一帧视频计算出当前比特率以及当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在当前时间
Figure 373928DEST_PATH_IMAGE002
前两个滑动窗口开始至
Figure 759910DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差：
Figure 867544DEST_PATH_IMAGE004
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure 731594DEST_PATH_IMAGE006
为
Figure 811546DEST_PATH_IMAGE008
时刻的平均比特率；
计算当前时刻
Figure DEST_PATH_IMAGE009
前一个滑动窗口时间内每一帧视频的比特率与
Figure DEST_PATH_IMAGE011
时刻的平均比特率的差值，然后计算所述差值的算术平均，如果超过
Figure DEST_PATH_IMAGE013
则判断该层统计数据具有异常网络流量，予以告警；
Figure DEST_PATH_IMAGE015
。
优选地，所述流量统计模块分层统计时间窗口内的原始数据各协议层内容如下：
网络层：统计双向报文总流量、双向报文平均长度、上行报文数量与下行报文数量的比值；
传输层：统计会话创建率、会话平均报文数量、TCP标记异常组合的报文速率；
应用层：根据需要检测的不同应用确定需要统计的典型统计值；
统计是在滑动窗口内进行的，滑动窗口的单元单位采用
Figure DEST_PATH_IMAGE017
表示。
所述TCP标记正常组合包括以下内容：
i.请求建立连接：SYN；
ii.同意建立连接：SYN+ACK；
iii.接受应答：ACK；
iv.数据传输：ACK、ACK+PSH、 ACK+URG、 ACK+PSH+URG；
v.请求关闭连接：FIN+ACK、FIN+ACK+PSH；
vi.连接复位：RST、 RST+ACK；
其中，SYN、FIN、ACK、PSH、RST、URG都是TCP协议头部的标志位，每一个标志位在TCP协议头部占一个比特；
所述异常标记组合定义为：所有TCP标记正常组合以外的标记组合均为异常标记组合，没有TCP标记的标记组合也属于异常标记组合。
优选地，所述流量统计模块以调用GPU进行视频编码前设定的帧率为依据计算帧间时间长
Figure DEST_PATH_IMAGE019
，帧间时间长度
Figure 260107DEST_PATH_IMAGE019
为1秒除以每秒帧数所得的结果，每隔
Figure 120616DEST_PATH_IMAGE019
时间计算此前滑动窗口
Figure 522778DEST_PATH_IMAGE020
时长内的统计数据，并发送给视频帧生成模块。
优选地，各层的原始视频帧的生成方法如下：
网络层：分别将统计双向报文总流量、双向报文平均长度、上行报文数量与下行报文数量的比值三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
接入层：分别将统计session创建率、session平均报文数量、TCP标记异常的报文速率三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
应用层：针对不同类型的应用，分别将各类应用的三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定。
优选地，当 GPU支持多路并发视频编码时，则使用此多路并发编码的接口；
当GPU不支持多路并发视频编码或者属于不同层次的原始视频帧的数量大于GPU支持的视频编码并发数时，则并发使用多个GPU进行视频编码。
优选地，所述视频编码模块配置接收YUV模式或RGB模式的原始视频数据，配置原始视频的精度为8bit或10bit。
优选地，所述GPU视频编码接口设置采用可变比特率模式VBR编码；
设置视频编码质量为最高；设置参数targetQuality为最高质量；设置最大码率为API支持的最大值。
一种基于GPU视频编码接口的异常网络流量高速检测方法，该方法应用了上述的一种基于视频编码的异常网络流量检测系统，其特征在于，该方法步骤如下：
步骤1原始报文采集：通过流量采集模块采集检测位置网络流量的原始报文，并发送给流量统计模块；
步骤2数据流量统计：通过流量统计模块对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，产生统计数据；
步骤3视频帧生成：通过视频帧生成模块将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV或RGB的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块；
步骤4视频编码：通过GPU视频编码模块采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块；
步骤5异常网络流量判断；通过视频比特率分析模块对各层原始编码视频的每一帧视频计算出当前比特率以及当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在当前时间
Figure 148581DEST_PATH_IMAGE002
前两个滑动窗口开始至
Figure 938683DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差：
Figure 552067DEST_PATH_IMAGE004
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure 85816DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE021
时刻的平均比特率，
Figure DEST_PATH_IMAGE023
为t时刻的比特率；
计算当前时刻
Figure 172983DEST_PATH_IMAGE002
前一个滑动窗口时间内每一帧视频的比特率与
Figure DEST_PATH_IMAGE025
时刻的平均比特率的差值的算术平均，如果超过
Figure 337248DEST_PATH_IMAGE026
则判断该层统计数据具有异常网络流量，予以告警；
Figure 906770DEST_PATH_IMAGE015
。
本发明有益的技术效果：本发明的直接将原始流量的统计数据编码形成原始视频帧，经过GPU视频编码后根据可变比特率视频的码率变化即可判断是否出现了异常网络流量，不需要选择复杂的模型和超参数，也不需要事先训练，因此相比于传统的基于机器学习和神经网络的DFI方法具有很好的性能，很好的环境适应性，也不依赖于难于获得的异常流量样本。而相比于基于异常流量特征库的DPI方法，此发明显然不需要事先准备好的特征库，因此对未知异常流量有较好的检测效果，此外基于GPU加速进行视频编码，性能上也优于同等硬件成本的DPI方法。
附图说明
图1为本发明的整体结构示意图。
图２为本发明中按滑动窗口统计数据的时序示意图。
图3 为本发明的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明，但本发明要求保护的范围并不局限于下述具体实施例。
本发明的原理的基本思路如下：
引用基于K复杂度理论的事件描述复杂度概念，将不同层面的流量原始信息置入原始视频帧缓存，调用GPU（Graphics Processing Unit 图形处理器，是一种专门在个人电脑、工作站、游戏机和一些移动设备上做图像和图形相关运算工作的微处理器）视频编码接口，经过可变比特率VBR（Variable BitRate，动态比特率）编码后根据视频实时码率衡量事件描述复杂度，从而判断网络当前流量与前导流量之间的描述复杂度是否出现了变化，如果这个变化超过了系统预定义的阈值，则判断出现了异常网络流量。
本实施例针对不同层面流量信息进行单独视频编码，利用GPU并发视频编码的能力进行并行处理，当待检测应用层异常的类型较多时，也可以利用多个GPU进行并行处理，以实现高效全面的异常网络流量检测。
在描述本发明技术之前，先介绍下K复杂度理论。
K复杂度理论是引入了K复杂度
Figure 650735DEST_PATH_IMAGE028
用以衡量表达特定事件
Figure 559785DEST_PATH_IMAGE030
时所需的描述的最小长度，引入了条件K复杂度
Figure 222848DEST_PATH_IMAGE032
用以衡量在事件
Figure 217348DEST_PATH_IMAGE034
的前提下表达事件
Figure 499425DEST_PATH_IMAGE030
时所需的描述的最小长度，并给出了联合事件复杂度公式：
Figure 590878DEST_PATH_IMAGE036
，
如果把事件
Figure 628104DEST_PATH_IMAGE030
和
Figure 782005DEST_PATH_IMAGE034
看作是先后发生的事件，即联合事件的描述复杂度近似于前序事件的复杂度加上发生前序事件后的条件复杂度。实践中，事件的K复杂度可以用K事件原始描述经压缩后的描述大小来表征。
因此，本发明创造性地将网络流量的原始信息描述为原始的未压缩的视频帧，然后经过视频压缩形成可变比特率的视频码流，码流的比特速率即可用于衡量系列事件的复杂度变化情况。如果正常流量数据作为前序事件
Figure 930089DEST_PATH_IMAGE030
，之后出现了异常流量作为后序事件
Figure 109005DEST_PATH_IMAGE034
，根据K复杂度理论，由于异常流量事件的出现将导致联合事件的复杂度将显著增加。在正常流量复杂度不变的情况下，联合复杂度的增加将体现在正常流量事件情况下的条件复杂度的增加，体现在视频压缩编码上就是视频比特率明显增大。
本发明的一个具体实施方案如下：
如图1-2所示，一种基于视频编码的异常网络流量检测系统，包括流量采集模块、流量统计模块、视频帧生成模块，视频编码模块和视频比特率分析模块，其中：
所述流量采集模块，用于采集检测位置网络流量的原始报文，并发送给流量统计模块；
所述流量统计模块，用于对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，滑动窗口采用
Figure 520394DEST_PATH_IMAGE017
来表示一个滑动窗口，产生统计数据；
优选地，所述流量统计模块以调用GPU进行视频编码前设定的帧率为依据计算帧间时间长度
Figure DEST_PATH_IMAGE037
，帧间时间长度
Figure 551804DEST_PATH_IMAGE037
为1秒除以每秒帧数所得的结果。
如图2所示每隔
Figure DEST_PATH_IMAGE039
时间计算此前滑动窗口
Figure 706842DEST_PATH_IMAGE020
时长内的统计数据，并发送给视频帧生成模块。
具体地，各个协议层体提取的协议信息内容有:
网络层：统计双向报文总流量、双向报文平均长度以及上行报文数量与下行报文数量的比值；
传输层：统计会话创建率、会话平均报文数量和TCP（TCP Transmission ControlProtocol，传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议）标记异常组合的报文速率；TCP标记异常组合不统计。
具体地，所述TCP标记正常组合包括以下内容：
vii.请求建立连接：SYN；
viii.同意建立连接：SYN+ACK；
ix.接受应答：ACK；
x.数据传输：ACK、ACK+PSH、 ACK+URG、 ACK+PSH+URG；
xi.请求关闭连接：FIN+ACK、FIN+ACK+PSH；
xii.连接复位：RST、 RST+ACK；
其中，SYN、FIN、ACK、PSH、RST、URG都是TCP协议头部的标志位，每一个标志位在TCP协议头部占一个比特；
所述异常标记组合定义为：所有TCP标记正常组合以外的标记组合均为异常标记组合，没有TCP标记的标记组合也属于异常标记组合。
应用层：根据需要检测的不同应用确定需要统计的典型统计值，具体统计哪些数值不在本发明的发明点，且不影响本发明的实施。
视频帧生成模块，用于将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV（YUV是一种颜色编码方法）或RGB（RGB代表红、绿、蓝三个通道的颜色）的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块。
具体地：优选地，各层的原始视频帧的生成方法如下：
网络层：分别将统计双向报文总流量、双向报文平均长度、上行报文数量与下行报文数量的比值三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
接入层：分别将统计session（session在计算机中，尤其是在网络应用中，称为“会话”，在终端和服务器之间进行通信时，通信过程被包含在若干session内，每一个session完成某项/某些通信任务）创建率、session平均报文数量、TCP标记异常的报文速率三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
应用层：针对不同类型的应用，分别将各类应用的三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定。
所述GPU视频编码模块：采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块，所述视频编码模块配置接收YUV模式或RGB模式的原始视频数据，配置原始视频的精度为8bit或10bit。
具体地，当GPU不支持多路并发视频编码或者属于不同层次的原始视频帧的数量大于GPU支持的视频编码并发数时，则并发使用多个GPU进行视频编码，即如果GPU支持多路并发视频编码，则使能并使用此多路并发编码的接口；如果GPU不支持多路并发视频编码或者属于不同层次的原始视频帧的数量大于GPU支持的视频编码并发数，则可以并发使用多个GPU进行视频编码。要求按如下规则设置GPU视频编码参数：
为了能够表征统计数据时间序列的K复杂度，要求通过GPU视频编码接口设置采用可变比特率模式VBR编码；
设置视频编码质量为最高，例如在nVIDIA（纳斯达克股票代码：NVDA，是一家GPU技术研究与开发的公司，也是一家人工智能计算公司） GPU情况下，设置targetQuality为最高质量；
设置最大码率为API可支持的最大值，或者在nVIDIA GPU情况下不设置maxBitRate（最大比特率），因为在nVIDIA GPU情况下，不设置maxBitRate将会使用尽可能高的比特率以达到指定的视频编码质量。
所述视频比特速率分析模块；对各层原始编码视频的每一帧视频计算出当前比特率以及当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在当前时间
Figure 507308DEST_PATH_IMAGE002
前两个滑动窗口开始至
Figure 89599DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差为：
Figure 608305DEST_PATH_IMAGE004
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure 98192DEST_PATH_IMAGE006
为
Figure 628531DEST_PATH_IMAGE008
时刻的平均比特率，
Figure DEST_PATH_IMAGE040
为t时刻的比特率；
计算当前时刻
Figure DEST_PATH_IMAGE042
前一个滑动窗口时间内每一帧视频的比特率与
Figure DEST_PATH_IMAGE044
时刻的平均比特率的差值，然后计算所述差值的算术平均，如果超过
Figure 476663DEST_PATH_IMAGE026
则判断该层统计数据具有异常网络流量，予以告警；
Figure 217086DEST_PATH_IMAGE015
。
如图3所示，一种基于GPU视频编码接口的异常网络流量高速检测方法，该方法应用了上述的一种基于视频编码的异常网络流量检测系统，该方法步骤如下：
步骤1原始报文采集：通过流量采集模块采集检测位置网络流量的原始报文，并发送给流量统计模块；
步骤2数据流量统计：通过流量统计模块对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，产生统计数据；
步骤3视频帧生成：通过视频帧生成模块将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV或RGB的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块；
步骤4视频编码：通过GPU视频编码模块采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块；
步骤5异常网络流量判断；通过视频比特率分析模块对各层原始编码视频的每一帧视频计算出当前比特率以及当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在当前时间
Figure 713927DEST_PATH_IMAGE002
前两个滑动窗口开始至
Figure 161088DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差：
Figure 678657DEST_PATH_IMAGE004
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure 844060DEST_PATH_IMAGE006
为
Figure 613432DEST_PATH_IMAGE021
时刻的平均比特率，
Figure 508576DEST_PATH_IMAGE023
为t时刻的比特率；
计算当前时刻
Figure 134730DEST_PATH_IMAGE002
前一个滑动窗口时间内每一帧视频的比特率与
Figure 725111DEST_PATH_IMAGE025
时刻的平均比特率的差值，然后计算所述差值的算术平均，如果超过
Figure 360492DEST_PATH_IMAGE026
则判断该层统计数据具有异常网络流量，予以告警；
Figure 95097DEST_PATH_IMAGE015
。
本发明的直接将原始流量的统计数据编码形成原始视频帧，经过GPU视频编码后根据可变比特率视频的码率变化即可判断是否出现了异常网络流量，不需要选择复杂的模型和超参数，也不需要事先训练，因此相比于传统的基于机器学习和神经网络的DFI方法具有很好的性能，很好的环境适应性，也不依赖于难于获得的异常流量样本。而相比于基于异常流量特征库的DPI方法，此发明显然不需要事先准备好的特征库，因此对未知异常流量有较好的检测效果，此外基于GPU加速进行视频编码，性能上也优于同等硬件成本的DPI方法。
根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对发明构成任何限制。

Claims (9)

1.一种基于视频编码的异常网络流量检测系统，其特征在于，包括流量采集模块、流量统计模块、视频帧生成模块，GPU视频编码模块和视频比特率分析模块，其中：
所述流量采集模块，用于采集检测位置网络流量的原始报文，并发送给流量统计模块；
所述流量统计模块，用于对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，产生统计数据；
视频帧生成模块，用于将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV或RGB的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块；
所述GPU视频编码模块：采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块；
所述视频比特速率分析模块；对各层原始编码视频的每一帧视频计算出当前比特率以及当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在比当前时间
Figure DEST_PATH_IMAGE001
前两个滑动窗口开始至
Figure 641160DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差：
Figure 633387DEST_PATH_IMAGE003
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure DEST_PATH_IMAGE004
为
Figure 532072DEST_PATH_IMAGE005
时刻的平均比特率，
Figure DEST_PATH_IMAGE006
为时刻t的比特率；
计算当前时刻
Figure 741075DEST_PATH_IMAGE001
前一个滑动窗口时间内每一帧视频的比特率与
Figure 219460DEST_PATH_IMAGE007
时刻的平均比特率的差值，然后计算所述差值的算术平均，如果超过
Figure DEST_PATH_IMAGE008
则判断该层统计数据具有异常网络流量，予以告警：
Figure 597352DEST_PATH_IMAGE009
。
2.如权利要求1所述的一种基于视频编码的异常网络流量检测系统，其特征在于，所述流量统计模块分层统计时间窗口内的原始数据各层内容如下：
网络层：统计双向报文总流量、双向报文平均长度、上行报文数量与下行报文数量的比值；
传输层：统计会话创建率、会话平均报文数量、TCP标记异常组合的报文速率；
应用层：根据需要检测的不同应用确定需要统计的典型统计值；
统计是在滑动窗口内进行的，滑动窗口的单元单位采用
Figure DEST_PATH_IMAGE010
表示。
3.如权利要求2所述的一种基于视频编码的异常网络流量检测系统，其特征在于，所述TCP标记正常组合包括以下内容：
请求建立连接：SYN；
同意建立连接：SYN+ACK；
接受应答：ACK；
数据传输：ACK、ACK+PSH、 ACK+URG、 ACK+PSH+URG；
请求关闭连接：FIN+ACK、FIN+ACK+PSH；
连接复位：RST、 RST+ACK；
其中，SYN、FIN、ACK、PSH、RST、URG都是TCP协议头部的标志位，每一个标志位在TCP协议头部占一个比特；
所述TCP标记异常组合定义为：所有TCP标记正常组合以外的标记组合均为TCP标记异常组合，没有TCP标记的标记组合也属于异常标记组合。
4.如权利要求2所述的一种基于视频编码的异常网络流量检测系统，其特征在于，所述流量统计模块以调用GPU进行视频编码前设定的帧率为依据计算帧间时间长度
Figure 401360DEST_PATH_IMAGE011
，帧间时间长度
Figure 333544DEST_PATH_IMAGE011
为1秒除以每秒帧数所得的结果，每隔
Figure 881200DEST_PATH_IMAGE011
时间计算此前滑动窗口
Figure DEST_PATH_IMAGE012
时长内的统计数据，并发送给视频帧生成模块。
5.如权利要求1所述的一种基于视频编码的异常网络流量检测系统，其特征在于，各层的原始视频帧的生成方法如下：
网络层：分别将统计双向报文总流量、双向报文平均长度、上行报文数量与下行报文数量的比值三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
接入层：分别将统计session创建率、session平均报文数量、TCP标记异常的报文速率三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定；
应用层：针对不同类型的应用，分别将各类应用的三个统计量标准化后填入YUV或RGB的三个通道中，标准化后各通道的取值范围由预先配置好的原始视频精度决定。
6.如权利要求1所述的一种基于视频编码的异常网络流量检测系统，其特征在于：
当 GPU支持多路并发视频编码时，则使用此多路并发编码的接口；
当GPU不支持多路并发视频编码或者属于不同层次的原始视频帧的数量大于GPU支持的视频编码并发数时，则并发使用多个GPU进行视频编码。
7.如权利要求6所述的一种基于视频编码的异常网络流量检测系统，其特征在于，所述视频编码模块配置接收YUV模式或RGB模式的原始视频数据，配置原始视频的精度为8bit或10bit。
8.如权利要求1所述的一种基于视频编码的异常网络流量检测系统，其特征在于，所述GPU视频编码接口设置采用可变比特率模式VBR编码；
设置视频编码质量为最高；设置参数targetQuality为最高质量；设置最大码率为API支持的最大值。
9.一种基于视频编码的异常网络流量检测方法，该方法应用了如权利要求1-8任一所述的一种基于视频编码的异常网络流量检测系统，其特征在于，该方法步骤如下：
步骤1原始报文采集：通过流量采集模块采集检测位置网络流量的原始报文，并发送给流量统计模块；
步骤2数据流量统计：通过流量统计模块对接收的原始报文分别按照网络层、传输层和应用层各协议层的通信协议完成各层协议信息的提取，分层统计时间窗口内的原始数据，产生统计数据；
步骤3视频帧生成：通过视频帧生成模块将网络层、传输层和应用层各协议层的统计数据标准化后填入YUV或RGB的三个通道中生成原始视频帧，然后将原始视频帧数据发送给GPU视频编码模块；
步骤4视频编码：通过GPU视频编码模块采用GPU对接收到的各协议层的原始视频帧进行视频编码生成原始编码视频流，并将各层编码后的原始编码视频流发送给视频比特速率分析模块；
步骤5异常网络流量判断；通过视频比特率分析模块对各层原始编码视频的每一帧视频计算出当前比特率以及对当前时刻点的前一个滑动窗口时间内的比特率，二者求算术平均得到视频当前平均比特率；
在比当前时间
Figure 848019DEST_PATH_IMAGE001
前两个滑动窗口开始至
Figure 885245DEST_PATH_IMAGE002
前一个滑动窗口时间内计算其比特率的标准差：
Figure 39146DEST_PATH_IMAGE003
，
其中w为滑动窗口，n为一个窗口内视频帧的数量，
Figure 187231DEST_PATH_IMAGE004
为
Figure 512951DEST_PATH_IMAGE013
时刻的平均比特率，
Figure 658761DEST_PATH_IMAGE006
为t时刻的比特率；
计算当前时刻
Figure DEST_PATH_IMAGE014
前一个滑动窗口时间内每一帧视频的比特率与
Figure 565537DEST_PATH_IMAGE007
时刻的平均比特率的差值，然后计算所述差值的算术平均，如果超过
Figure 251734DEST_PATH_IMAGE008
则判断该层统计数据具有异常网络流量，予以告警；
Figure 193145DEST_PATH_IMAGE009
。
CN202011218009.1A 2020-11-04 2020-11-04 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法 Active CN112104666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218009.1A CN112104666B (zh) 2020-11-04 2020-11-04 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218009.1A CN112104666B (zh) 2020-11-04 2020-11-04 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法

Publications (2)

Publication Number Publication Date
CN112104666A true CN112104666A (zh) 2020-12-18
CN112104666B CN112104666B (zh) 2021-04-02

Family

ID=73784509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218009.1A Active CN112104666B (zh) 2020-11-04 2020-11-04 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法

Country Status (1)

Country Link
CN (1) CN112104666B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117729137A (zh) * 2024-02-08 2024-03-19 金数信息科技(苏州)有限公司 一种网络流量数据的特征生成方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201349797A (zh) * 2012-05-30 2013-12-01 中原大學 網路流量異常偵測系統及其方法
CN108737406A (zh) * 2018-05-10 2018-11-02 北京邮电大学 一种异常流量数据的检测方法及系统
CN109639739A (zh) * 2019-01-30 2019-04-16 大连理工大学 一种基于自动编码器网络的异常流量检测方法
CN110460605A (zh) * 2019-08-16 2019-11-15 南京邮电大学 一种基于自动编码的异常网络流量检测方法
CN110830435A (zh) * 2019-08-27 2020-02-21 国家电网有限公司信息通信分公司 一种网络流量时空特征提取和异常检测的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201349797A (zh) * 2012-05-30 2013-12-01 中原大學 網路流量異常偵測系統及其方法
CN108737406A (zh) * 2018-05-10 2018-11-02 北京邮电大学 一种异常流量数据的检测方法及系统
CN109639739A (zh) * 2019-01-30 2019-04-16 大连理工大学 一种基于自动编码器网络的异常流量检测方法
CN110460605A (zh) * 2019-08-16 2019-11-15 南京邮电大学 一种基于自动编码的异常网络流量检测方法
CN110830435A (zh) * 2019-08-27 2020-02-21 国家电网有限公司信息通信分公司 一种网络流量时空特征提取和异常检测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张潇晓: "网络流量分析关键技术研究与系统实现", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117729137A (zh) * 2024-02-08 2024-03-19 金数信息科技(苏州)有限公司 一种网络流量数据的特征生成方法、装置及设备

Also Published As

Publication number Publication date
CN112104666B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112085039B (zh) 一种基于随机森林的icmp隐蔽通道检测方法
CN114422451A (zh) 一种网络流量识别方法及相关设备
CN104967610B (zh) 一种基于时隙的水印跳变通信方法
CN106416171A (zh) 一种特征信息分析方法及装置
CN112702235B (zh) 一种对未知协议自动化逆向分析的方法
CN106888376B (zh) 基于丢包分析的多级联网监控视频质量实时评价方法
KR102129375B1 (ko) 딥러닝 모델 기반 토르 사이트 액티브 핑거프린팅 시스템 및 방법
CN104852914B (zh) 一种基于数据包间隔的水印跳变通信方法
CN111611280A (zh) 一种基于cnn和sae的加密流量识别方法
CN112104666B (zh) 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法
Dubin et al. Real time video quality representation classification of encrypted http adaptive video streaming-the case of safari
Pham et al. Lightweight Convolutional Neural Network Based Intrusion Detection System.
CN104021348B (zh) 一种隐匿p2p程序实时检测方法及系统
CN111586075A (zh) 基于多尺度流分析技术的隐蔽信道检测方法
CN105933094B (zh) 一种针对多链路到达序列编码的隐蔽通信检测方法
CN102904822A (zh) VoIP网络流量的层次化识别方法
Zhang et al. An enlarging-the-capacity packet sorting covert channel
CN113037748A (zh) 一种c&c信道混合检测方法及系统
CN113382039A (zh) 一种基于5g移动网络流量分析的应用识别方法和系统
CN110838913B (zh) 一种基于秘密共享的时间式网络隐蔽信道检测方法
CN105404797B (zh) 一种基于双重冗余的主动网络流数字水印方法
CN115277193A (zh) 一种信标调制方法、装置及电子设备
CN112235309B (zh) 一种云平台网络隐蔽信道多尺度检测系统
CN116074051A (zh) 一种设备指纹生成方法及设备
CN111371727A (zh) 一种针对ntp协议隐蔽通信的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant