CN113222930A - 基于图像分析的恶意流量检测方法、终端设备及存储介质 - Google Patents
基于图像分析的恶意流量检测方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN113222930A CN113222930A CN202110497723.7A CN202110497723A CN113222930A CN 113222930 A CN113222930 A CN 113222930A CN 202110497723 A CN202110497723 A CN 202110497723A CN 113222930 A CN113222930 A CN 113222930A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- malicious traffic
- traffic data
- malicious
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000010191 image analysis Methods 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/148—Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及基于图像分析的恶意流量检测方法、终端设备及存储介质,该方法中包括:S1:采集待检测的网络流量数据和已知类型的恶意流量数据;S2:对各数据均进行预处理,生成对应的灰度特征图像;S3:针对每个数据的灰度特征图像,通过奇异值分解进行降噪处理后,通过离散小波变换提取图像的低频部分,通过图像的低频部分得到图像的二进制哈希码;S4:根据待检测的网络流量数据与已知类型的恶意流量数据的二进制哈希码之间的海明距离,得到两者之间的相似度,当相似度小于相似度阈值时,判定待检测的网络流量数据的类型属于该已知类型的恶意流量数据的类型。本发明无需单独训练样本和提取特征,即可实现分类的目的。
Description
技术领域
本发明涉及恶意流量检测领域,尤其涉及一种基于图像分析的恶意流量检测方法、终端设备及存储介质。
背景技术
因特网技术的快速发展,使其在日常生活中扮演了重要角色,大大方便了社会生活和生产,提高了信息交换的效率,为世界各地实现信息互通、加快产业融合发展提供了重要支撑。当前,以网络支付、网络金融和网络直播为代表的新一代网络技术发展迅猛,电子信息逐渐成为主流的信息载体,各种网络应用每天都产生数量规模巨大的用户隐私信息,网络服务器为信息化社会的建设提供重要支撑,因此建立有效的网络安全防护系统变得越来越重要。目前已经有许多维护网络安全的措施,如防火墙、PKI、恶意流量检测系统等。攻击者往往通过网络恶意流量攻击网络服务器,窃取、篡改重要信息或者破坏服务器,影响正常的网络通信。为了保证计算机系统和网络的安全,恶意流量检测技术的研究逐渐成为人们研究工作的重点之一。过去由于网络环境、计算能力、相关理论等因素的限制,导致传统的入侵检测方法倾向于依靠专家知识的规则匹配方法。这种方法需要网络安全领域的相关专家根据自己的专业知识对网络数据特征进行分析,提取出便于计算、高效可用的数据特征形成符合网络入侵行为的特征集。后来随着数据挖掘、机器学习等相关技术的进步,研究人员开始在特征工程的基础之上结合机器学习中的分类、聚类算法对异常数据进行检测,提高检测效率。但这种方式依然没有摆脱需要人工设计特征的局限性,需要较高人力成本。此外较多的人工参与会使检测模型缺少自适应性,在复杂网络环境下略显不足。
传统的恶意流量监测方法具有以下不足:1,基于规则的恶意流量检测技术,依赖于专家知识建立的规则库。这种技术基于丰富的匹配规则可以直接发现规则库已有的入侵攻击行为,但对于未知的入侵攻击用处不大。该方法的优点是误报率较低,但十分依赖专家知识库的完整性,不适用于复杂的网络环境。2,基于机器学习的恶意流量监测技术,该方法的是通过机器学习算法对恶意流量和正常流量的特征进行训练,得到预测模型,再通过预测模型对未知样本进行分类,该方法的优点在于通过已知的样本来预测未知样本的类型,已知样本越多,预测的准确率越高,但是需要不断收集大量的样本并提取大量的样本特征,才能保证预测的准确率并减小误报率。
发明内容
为了解决上述问题,本发明提出了一种基于图像分析的恶意流量检测方法、终端设备及存储介质。
具体方案如下:
一种基于图像分析的恶意流量检测方法,包括以下步骤:
S1:采集待检测的网络流量数据和已知类型的恶意流量数据;
S2:对各数据均进行预处理,生成对应的灰度特征图像;
S3:针对每个数据的灰度特征图像,通过奇异值分解进行降噪处理后,通过离散小波变换提取图像的低频部分,通过图像的低频部分得到图像的二进制哈希码;
S4:根据待检测的网络流量数据对应的图像的二进制哈希码与已知类型的恶意流量数据对应的图像的二进制哈希码之间的海明距离,得到待检测的网络流量数据与已知类型的恶意流量数据之间的相似度,当相似度小于相似度阈值时,判定待检测的网络流量数据的类型属于该已知类型的恶意流量数据的类型,否则,判定待检测的网络流量数据的类型不属于该已知类型的恶意流量数据的类型。
进一步的,步骤S1中采集的数据为请求方法为GET和POST的数据。
进一步的,步骤S2中预处理的具体过程包括:
S201:对数据进行数据清洗;
S202:将数据清洗后的数据生成流量图像;
S203:计算数据的信息熵;
S204:将数据的信息熵作为图像的透明度,与流量图像共同组成特征图像;
S205:将特征图像进行灰度化处理,生成对应的灰度特征图像;特征图像中每个像素点的灰度值VALUE的计算公式为:
VALUE=(R+G+B)/3*A
其中,R、G、B分别表示该像素点对应的红、绿、蓝三个颜色通道的色度值,A表示特征图像的透明度。
进一步的,步骤S201中数据清洗具体为:将数据中的Ethernet头部信息和IP头部信息使用随机生成的地址信息代替,并剔除空数据包。
进一步的,步骤S202中流量图像的生成方法为:将数据中每三个字节视为图像中的一个像素点,并将该三个字节的值分别映射为该像素点对应的红、绿、蓝三个颜色通道的色度值,截取预设长度的数据生成的RGB图像作为流量图像。
进一步的,步骤S3中通过奇异值分解进行降噪处理的方法为:根据灰度特征图像构建Hankel矩阵,并对构建的Hankel矩阵进行奇异值分解,得到降噪后的图像。
进一步的,步骤S3中离散小波变换选取的小波基函数为Biorthogonal小波函数。
进一步的,步骤S3中通过图像的低频部分得到图像的二进制哈希码的方法为:将低频子图像修改为预设大小,并计算修改后的图像的像素平均值,遍历图像的所有像素点,将像素值大于像素平均值的像素点记为1,其他像素点记为0,得到图像对应的二进制哈希码。
一种基于图像分析的恶意流量检测终端设备,包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案,通过流量特征图来表示流量数据的恶意行为,无需单独提取流量的各种特征,能够更加完整的表征网络流量的恶意行为,提升检测性能。利用了基于频谱的无监督分类检测算法,相比传统的机器学习算法,无需单独训练样本,无需大量的待标签的数据集,即可实现分类的目的。并且避免了规则库人工维护的线性增长问题。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中网络流量数据的数据格式。
图3所示为该实施例中小波分解示意图。
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一:
本发明实施例提供了一种基于图像分析的恶意流量检测方法,如图1所示,所述方法包括以下步骤:
S1:采集待检测的网络流量数据和已知类型的恶意流量数据。
网络流量数据基于统一的HTTP协议产生,具有结构化的特点,且数据中各字段间的属性关系相对来说比较固定。通过对网络流量数据的数据格式进行分析,其数据格式如图2所示。
网络流量数据的结构分为四部分:请求行(Request line)、请求头部(header)、空行和请求数据(Request data)。其中,请求行包括:请求方法、URL(包括参数信息)、协议版本等。请求方法包括以下8项:
(1)GET:请求获取Request-URI所标识的资源,即从服务器端获取页面信息。
(2)POST:在Request-URI所标识的资源后增添新的数据;可以实现HTML表单提交,当表单中添加用户输入的数据时,这些数据会被发送到服务器端,由服务器存储至某位置(即向服务器端发送需要处理的数据)。
(3)HEAD:请求从服务器端获取页面信息文档的首部数据,该方法可以在具体响应时不返回消息体。
(4)PUT:该请求方法与GET用途相反,其作用是将请求的主体数据部分存储在服务器端。
(5)DELETE:向服务器请求删除指定的资源数据。
(6)OPTIONS:请求查询服务器的性能,或者查询与资源相关的选项。
(7)TRACE:对可能经过代理服务器传送到服务器端的数据报文进行追踪,可用于测试或诊断。
(8)CONNECT:在HTTP 1.1协议中是预留给能以管道方式连接的代理服务器,供其使用。
请求头部是key-value结构的值,如:Accept-Encoding:gzip,deflate User-Agent:Mozilla/4.0(compatible;MSIE 7.0;Windows NT 6.1;WOW64;Trident/7.0;SLCC2;NET CLR 2.0.50727;.NET CLR 3.5.30729;.NET CLR3.0.30729;NET4.0C;NET4.0E)。
空行:空行是请求头部header和请求数据的分隔符。
请求数据:是请求的最后一个部分,属于可选部分,其内容与具体的应用层应用行为有一定联系。
GET方法没有携带数据,POST方法会携带一个请求数据主体。当用户在使用浏览器访问网页时,浏览器会根据用户要访问的内容自动地按照请求报文格式向服务器端发送数据请求。此时,Web浏览器会相应的判别用户的具体操作请求,根据请求选取不同的数据请求方法,如GET、POST等。用户访问的目标网址的相关信息如URL和HTTP服务协议也会自动填入报文相应位置中。一些针对Web服务器的入侵攻击,如SQL注入、XSS、CSRF等其攻击原理都与Web请求数据有关,这些攻击方法的实现都是以Web请求数据为载体,通过Web请求数据向后台提交攻击漏洞的代码以实现入侵攻击。由于针对Web应用及其服务器的入侵攻击主要使用的请求方法为GET和POST,因此,该实施例中在采集网络流量数据时主要采集请求方法为GET和POST的数据。
S2:对各数据均进行预处理,生成对应的灰度特征图像。
该实施例中预处理包括以下步骤:
S201:对数据进行数据清洗。
该实施例中具体将数据中的Ethernet头部信息和IP头部信息使用随机生成的地址信息代替,并剔除只包含数据头部信息而不包含实际传输内容的空数据包。
S202:将数据清洗后的数据生成流量图像。
该实施例中流量图像的生成方法具体为:将数据中的字节视为图像的像素,将数据中每三个字节视为图像中的一个像素点,并将该三个字节的值分别映射为该像素点对应的R、G、B三原色的色度值,截取预设长度的数据生成的RGB图像作为流量图像。
由于网络流量攻击是一段连续性行为,因此单个数据包在一定程度上并不能反应出流量的特征,因此,该实施例中以网络流的形式生成流量图像。
S203:计算数据的信息熵。
网络流量数据由无数字节组成,这些字节数据在底层微观上属于离散的信息源,单个字节并不存在意义,只有连续的字节组成字节流才具有数学意义。熵最早起源于热力学,用于量化系统内参数的分布及其变化情况,香农最早将“熵”的概念引入信息论领域,解决了信息的量化问题,可以描述信息的变化情况。将熵引入入侵检测领域的主要思想是:在正常的网络交互数据中,一旦发生入侵行为会产生大量异常网络流量数据,对一段时间内网络流量的变化情况产生影响,即流量的熵值会发生变化,通过对熵值的变化可以检测出流量中的异常数据。
信息熵表示数据所含信息量的多少,通过反映信息源中信号出现的频率来量化系统中的不确定度。熵具有极值性,当系统中各个信息源呈等概率分布时熵值最大。在网络流量数据中,字节数据熵值的大小可以反映出流量中某段时间空间内字节特征分布的集中或分散程度,因为一定程度上可以作为流量特征分布的一个指标。信息熵定义如下式所示
h=-∑xilog(p(xi)) (1)
其中,xi代表流量内部的字节。
S204:将数据的信息熵作为图像的透明度A,与流量图像共同组成特征图像。
S205:将特征图像进行灰度化处理,生成对应的灰度特征图像。
特征图像中每个像素点的灰度值VALUE的计算公式为:
VALUE=(R+G+B)/3*A (2)
其中,R、G、B分别表示该像素点对应的红、绿、蓝三个颜色通道的色度值,取值范围为0-255,A表示特征图像的透明度。
该实施例中预处理过程的具体算法如表1所示:
表1
S3:针对每个数据的灰度特征图像,通过奇异值分解进行降噪处理后,通过离散小波变换提取图像的低频部分,通过图像的低频部分得到图像的二进制哈希码。
图像的相似度计算是图像检索中的一个关键性问题,在网络搜索引擎和计算机视觉等领域有着广泛的应用。传统的哈希算法采用离散余弦变换、主成分分析等方法处理图像,存在着方块效应和鲁棒性差等问题,为了解决传统算法的不足,该实施例中提出一种基于奇异值分解和离散小波变换相结合的哈希算法进行图像相似度计算。通过奇异值分解对图像进行降噪处理,这样保证降噪后的图像在后期处理时对结果干扰减少,然后通过离散小波变换得到图片中的低频部分用于计算哈希值,保留图像的主体信息,最后通过计算哈希值的海明距离来测评图片的相似度。与现有的图像相似度计算方法相比,该实施例提出的算法性能更好,鲁棒性更高。
(1)奇异值分解
矩阵A为m×n阶矩阵,则可以将矩阵A分解使得:
(3)式中A的奇异值为σ1,σ2,...σr,设Δr=diag(σ1,σ2,...,σr),U为m×m阶的正交阵,VT为一个n×n阶的正交阵,其中,
公式(5)表明一幅图像A可以由r幅子图像组成,每一幅子图像对应一个奇异值,而图像的大部分信息都集中在前面较大的奇异值中,较小的奇异值对于整幅图像的贡献较小,因此可以取前面较大的奇异值对应的子图像来代替整幅图像。
假设纯净的图像信号为Y[n],噪声信号为Z[n],则包含噪声的图像信号可以表示为X[n]=Y[n]+Z[n](n=0,1,2,…,K-1),K为输入数据的长度。其中M≥N,且M+N=K+1。
首先建立Hankel矩阵p∈RM×N。
矩阵R可以表示R=S+D,其中S为不受噪声干扰的m×n阶的Hankel矩阵,D为噪声信号构成m×n阶的Hankel矩阵。然后对矩阵R进行奇异值分解,确定奇异值对角阵Σ的有效秩,即前p个最大的奇异值,然后可以得到下式:
(2)离散小波变换
则ψ(t)称为小波基函数,将其按照伸缩因子a和平移因子b两个参数进行平移、伸缩后得到小波序列{ψb,a(t)}:
式(11)中m为频率范围指数,n为时间步长变化指数。
图3为离散小波分解过程,图像每经过稀疏变换一次,经过不同低通滤波器h和高通滤波器g的分解,通过降采样滤波器Q得到四个分量LL、LH、HL、HH,其中LL表示近似系数的低频分量,LH、HL、HH表示三个高频分量,分别为水平、垂直、对角线方向的分量,而本实施例中只需要得到低频分量LL。
(3)利用改进的哈希算法计算图片相似度
该实施例采用的改进的哈希算法是一种基于频谱的无监督学习的哈希方法,无需大量的带标签的数据集,通过生成一段紧凑的二进制码,比较其汉明距离从而得到图像的相似度。
具体步骤如下:
S301:根据灰度特征图像构建Hankel矩阵,利用公式(3)对构建的Hankel矩阵进行奇异值分解,利用(5)式得到r个子图像Ai(其中i=1,2,3,...r),仿真过程中发现奇异值个数取值太小,图像还原的清晰度差,个数取值太大会导致去噪效果不好,取60-80个奇异值去噪还原的效果最佳,因此该实施例中选取r=60,分解后得到降噪后的图像信号
S302:利用公式(11)对降噪后的图像进行第一级离散小波变换分解成四个子图像,该实施例中选择的小波基函数ψ(t)为Biorthogonal小波函数,其为一个双正交小波函数,具备正则性,分解后的图像保留低频分量LL;
S303:将得到的低频子图像LL缩小为16×16大小,计算缩小后图像的像素平均值,遍历图像的所有像素点,将像素值大于像素平均值的像素点记为1,其他像素点记为0,得到图像对应的256位的二进制哈希码。
S4:根据待检测的网络流量数据对应的图像的二进制哈希码与已知类型的恶意流量数据对应的图像的二进制哈希码之间的海明距离,得到待检测的网络流量数据与已知类型的恶意流量数据之间的相似度,当相似度小于相似度阈值时,判定待检测的网络流量数据的类型属于该已知类型的恶意流量数据的类型,否则,判定待检测的网络流量数据的类型不属于该已知类型的恶意流量数据的类型。
海明距离用于描述x=(x1,x2,...xk,...xl),y=(y1,y2,...yk,...yl)之间的距离D(x,y),计算公式如下:
其中,⊕代表模2加运算,xk∈{0,1},yk∈{0,1}。D(x,y)表示两码字在相同位置上不同码符号的数目的总和,它能够反映两码字之间的差异,进而提供码字之间的相似程度的客观依据,一般情况,海明距离越大,两码字的相似性越低。
两幅图像的相似度可以用公式(13)表示:
其中,D(x,y)表示两幅图像的海明距离,sim(M1,M2)∈[0,1]表示m×n阶图片M1与图片M2之间的相似度。
本发明实施例利用流量字节码生成RGBA特征图像,再转化为灰度特征图像,来表征流量数据的特征,通过该数据处理方法,减少了数据的复杂度。随后利用图像频谱分析算法对恶意流量特征图进行降噪和滤波处理,再利用改进的哈希算法进行分类,效果相比传统的机器学习算法,无需单独训练样本和提取特征,即可实现分类的目的。
实施例二:
本发明还提供一种基于图像分析的恶意流量检测终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地,作为一个可执行方案,所述基于图像分析的恶意流量检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于图像分析的恶意流量检测终端设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,上述基于图像分析的恶意流量检测终端设备的组成结构仅仅是基于图像分析的恶意流量检测终端设备的示例,并不构成对基于图像分析的恶意流量检测终端设备的限定,可以包括比上述更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述基于图像分析的恶意流量检测终端设备还可以包括输入输出设备、网络接入设备、总线等,本发明实施例对此不做限定。
进一步地,作为一个可执行方案,所称处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述基于图像分析的恶意流量检测终端设备的控制中心,利用各种接口和线路连接整个基于图像分析的恶意流量检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述基于图像分析的恶意流量检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述基于图像分析的恶意流量检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。
Claims (10)
1.一种基于图像分析的恶意流量检测方法,其特征在于,包括以下步骤:
S1:采集待检测的网络流量数据和已知类型的恶意流量数据;
S2:对各数据均进行预处理,生成对应的灰度特征图像;
S3:针对每个数据的灰度特征图像,通过奇异值分解进行降噪处理后,通过离散小波变换提取图像的低频部分,通过图像的低频部分得到图像的二进制哈希码;
S4:根据待检测的网络流量数据对应的图像的二进制哈希码与已知类型的恶意流量数据对应的图像的二进制哈希码之间的海明距离,得到待检测的网络流量数据与已知类型的恶意流量数据之间的相似度,当相似度小于相似度阈值时,判定待检测的网络流量数据的类型属于该已知类型的恶意流量数据的类型,否则,判定待检测的网络流量数据的类型不属于该已知类型的恶意流量数据的类型。
2.根据权利要求1所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S1中采集的数据为请求方法为GET和POST的数据。
3.根据权利要求1所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S2中预处理的具体过程包括:
S201:对数据进行数据清洗;
S202:将数据清洗后的数据生成流量图像;
S203:计算数据的信息熵;
S204:将数据的信息熵作为图像的透明度,与流量图像共同组成特征图像;
S205:将特征图像进行灰度化处理,生成对应的灰度特征图像;特征图像中每个像素点的灰度值VALUE的计算公式为:
VALUE=(R+G+B)/3*A
其中,R、G、B分别表示该像素点对应的红、绿、蓝三个颜色通道的色度值,A表示特征图像的透明度。
4.根据权利要求3所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S201中数据清洗具体为:将数据中的Ethernet头部信息和IP头部信息使用随机生成的地址信息代替,并剔除空数据包。
5.根据权利要求3所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S202中流量图像的生成方法为:将数据中每三个字节视为图像中的一个像素点,并将该三个字节的值分别映射为该像素点对应的红、绿、蓝三个颜色通道的色度值,截取预设长度的数据生成的RGB图像作为流量图像。
6.根据权利要求1所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S3中通过奇异值分解进行降噪处理的方法为:根据灰度特征图像构建Hankel矩阵,并对构建的Hankel矩阵进行奇异值分解,得到降噪后的图像。
7.根据权利要求1所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S3中离散小波变换选取的小波基函数为Biorthogonal小波函数。
8.根据权利要求1所述的基于图像分析的恶意流量检测方法,其特征在于:步骤S3中通过图像的低频部分得到图像的二进制哈希码的方法为:将低频子图像修改为预设大小,并计算修改后的图像的像素平均值,遍历图像的所有像素点,将像素值大于像素平均值的像素点记为1,其他像素点记为0,得到图像对应的二进制哈希码。
9.一种基于图像分析的恶意流量检测终端设备,其特征在于:包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1~8中任一所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1~8中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497723.7A CN113222930A (zh) | 2021-05-08 | 2021-05-08 | 基于图像分析的恶意流量检测方法、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497723.7A CN113222930A (zh) | 2021-05-08 | 2021-05-08 | 基于图像分析的恶意流量检测方法、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113222930A true CN113222930A (zh) | 2021-08-06 |
Family
ID=77091657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110497723.7A Pending CN113222930A (zh) | 2021-05-08 | 2021-05-08 | 基于图像分析的恶意流量检测方法、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113222930A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115277098A (zh) * | 2022-06-27 | 2022-11-01 | 深圳铸泰科技有限公司 | 一种基于智能学习的网络流量异常检测装置及方法 |
CN115802355A (zh) * | 2023-01-20 | 2023-03-14 | 苏州派尔网络科技有限公司 | 一种移动物联网卡管理方法、装置及云平台 |
CN116471057A (zh) * | 2023-03-29 | 2023-07-21 | 华能信息技术有限公司 | 一种恶意流量解析分析方法 |
CN116719483A (zh) * | 2023-08-09 | 2023-09-08 | 成都泛联智存科技有限公司 | 数据去重方法、装置、存储设备和计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016146609A1 (en) * | 2015-03-17 | 2016-09-22 | British Telecommunications Public Limited Company | Learned profiles for malicious encrypted network traffic identification |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
CN110516100A (zh) * | 2019-08-29 | 2019-11-29 | 武汉纺织大学 | 一种图像相似度的计算方法、系统、存储介质及电子设备 |
CN111340727A (zh) * | 2020-02-26 | 2020-06-26 | 电子科技大学 | 一种基于gbr图像的异常流量检测方法 |
CN112333155A (zh) * | 2020-10-16 | 2021-02-05 | 济南浪潮数据技术有限公司 | 一种异常流量的检测方法、系统、电子设备及存储介质 |
-
2021
- 2021-05-08 CN CN202110497723.7A patent/CN113222930A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016146609A1 (en) * | 2015-03-17 | 2016-09-22 | British Telecommunications Public Limited Company | Learned profiles for malicious encrypted network traffic identification |
CN107070943A (zh) * | 2017-05-05 | 2017-08-18 | 兰州理工大学 | 基于流量特征图和感知哈希的工业互联网入侵检测方法 |
CN110516100A (zh) * | 2019-08-29 | 2019-11-29 | 武汉纺织大学 | 一种图像相似度的计算方法、系统、存储介质及电子设备 |
CN111340727A (zh) * | 2020-02-26 | 2020-06-26 | 电子科技大学 | 一种基于gbr图像的异常流量检测方法 |
CN112333155A (zh) * | 2020-10-16 | 2021-02-05 | 济南浪潮数据技术有限公司 | 一种异常流量的检测方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
双锴: "《计算机视觉》", 31 January 2020, 北京:北京邮电大学出版社, pages: 23 * |
金杨译: "《媒体生产标准》", 31 May 2020, 文化发展出版社, pages: 65 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115277098A (zh) * | 2022-06-27 | 2022-11-01 | 深圳铸泰科技有限公司 | 一种基于智能学习的网络流量异常检测装置及方法 |
CN115802355A (zh) * | 2023-01-20 | 2023-03-14 | 苏州派尔网络科技有限公司 | 一种移动物联网卡管理方法、装置及云平台 |
CN116471057A (zh) * | 2023-03-29 | 2023-07-21 | 华能信息技术有限公司 | 一种恶意流量解析分析方法 |
CN116719483A (zh) * | 2023-08-09 | 2023-09-08 | 成都泛联智存科技有限公司 | 数据去重方法、装置、存储设备和计算机可读存储介质 |
CN116719483B (zh) * | 2023-08-09 | 2023-10-27 | 成都泛联智存科技有限公司 | 数据去重方法、装置、存储设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109450842B (zh) | 一种基于神经网络的网络恶意行为识别方法 | |
CN113222930A (zh) | 基于图像分析的恶意流量检测方法、终端设备及存储介质 | |
Duan et al. | Application of a dynamic line graph neural network for intrusion detection with semisupervised learning | |
CN112468347B (zh) | 一种云平台的安全管理方法、装置、电子设备及存储介质 | |
CN113315742B (zh) | 攻击行为检测方法、装置及攻击检测设备 | |
Xu et al. | Seeing traffic paths: Encrypted traffic classification with path signature features | |
Ding et al. | DeepAK-IoT: An effective deep learning model for cyberattack detection in IoT networks | |
Deshpande et al. | Security and Data Storage Aspect in Cloud Computing | |
CN113328985B (zh) | 一种被动物联网设备识别方法、系统、介质及设备 | |
CN113364787A (zh) | 一种基于并联神经网络的僵尸网络流量检测方法 | |
CN114362988B (zh) | 网络流量的识别方法及装置 | |
CN113705604A (zh) | 僵尸网络流量分类检测方法、装置、电子设备及存储介质 | |
CN112215300A (zh) | 一种基于网络结构增强的图卷积模型防御方法、装置和系统 | |
Toktas et al. | Parameter optimization of chaotic system using Pareto-based triple objective artificial bee colony algorithm | |
Qiao et al. | Mining of attack models in ids alerts from network backbone by a two-stage clustering method | |
Huang et al. | Graph neural networks and cross-protocol analysis for detecting malicious IP addresses | |
Yang | Anomaly traffic detection based on LSTM | |
CN111031068B (zh) | 一种基于复杂网络的dns分析方法 | |
De Souza et al. | Enhancing automatic attack detection through spectral decomposition of network flows | |
Chen et al. | Trust-based federated learning for network anomaly detection | |
Zou et al. | A novel and effective encrypted traffic classification method based on channel attention and deformable convolution | |
Jin et al. | HSGAN-IoT: A hierarchical semi-supervised generative adversarial networks for IoT device classification | |
Mariappan et al. | Cyber Security Threat Detection in Internet of Things Using Optimized Deep Learning Technique | |
Cheng et al. | Cheetah: a space-efficient HNB-based NFAT approach to supporting network forensics | |
CN117033889B (zh) | 一种智慧园区生产数据统计方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210806 |
|
RJ01 | Rejection of invention patent application after publication |