CN112243004A - 一种对抗恶意流量变化的特征转换方法 - Google Patents
一种对抗恶意流量变化的特征转换方法 Download PDFInfo
- Publication number
- CN112243004A CN112243004A CN202011093943.5A CN202011093943A CN112243004A CN 112243004 A CN112243004 A CN 112243004A CN 202011093943 A CN202011093943 A CN 202011093943A CN 112243004 A CN112243004 A CN 112243004A
- Authority
- CN
- China
- Prior art keywords
- feature
- characteristic
- matrix
- similarity
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种对抗恶意流量变化的特征转换方法,将样本特征映射到新的特征空间中,即使攻击行为的流量特征发生变化,通过转换后仍然具有相似性,转换后的特征向量对流量特征具有异变容忍能力,使用新特征向量作为分类模型的输入。本发明利用直方图刻画流量特征的变化并实现容错,达到高效准确识别恶意流量及其变体的效果,克服了后续单纯用从训练集习得的知识去应用分类器会出现性能不足、准确率低的问题。
Description
技术领域
本发明涉及网络安全领域,尤其是一种对抗恶意流量变化的方法,使得恶意流量检测能够容忍流量规模、次序等特征的变换,从而提高网络的安全防护能力。
背景技术
未来的天地一体化网络是由多种异构网络组成的混合网络,网络的安全性将面临着严峻的挑战。由于空间链路和地面网络的开放性,空间链路的数据可以被地面站截获,同时敌方地面站可以采用重播攻击和拒绝服务攻击等手段对空间飞行器进行直接攻击以达到信息获取、飞行器破坏等目的;非法用户同样可以通过攻击地面网络来截获数据以及通过地面网络对空间飞行器进行间接攻击。通信网络越复杂,攻击者越容易有可乘之机。
在未来天地一体化网络的环境下,恶意流量攻击可能是一类严重威胁。例如,攻击者可能通过劫持宿主卫星或高空长航时无人机来隐藏恶意身份,取代宿主与目标进行通信,进而非法获取内容;更严重的是,攻击者还可能通过改变通信流特征来逃避安全检测,即产生恶意流量变体。因此,为防患于未然而建立一个能够检测恶意流量及其变体攻击的流量检测系统,对未来天地一体化网络是非常重要的。
传统的恶意软件检测技术主要有签名匹配和动态行为分析,签名匹配只能通过签名集检测已知的恶意行为,对新型恶意攻击无能为力;动态行为分析需要消耗大量资源和时间,网络数据分布的高计算量和连续变化使分析动态行为变得困难。过去网络攻击是以一种简单而随机的方式来组织,然而现在的攻击是系统而长期进行的,具有更新变化快、攻击性强的特点。基于以上原因,利用机器学习技术,基于数据流特征对恶意攻击进行检测成为近年研究的热点。将大量流量数据输入到训练模型中,对其进行恶性或良性分类,最终得到一个预测模型,机器学习用于恶意流量检测,不仅具有较好的准确性和处理能力,还能够识别已知或未知的恶意攻击。
在各种将机器学习用于恶意流量检测的工作中,BJ Radford等人提出使用递归神经网络(Recurrent Neural Network,RNN)中的长短期记忆模型(Long-Short TermMemory,LSTM)来识别异常模式,这是一种单纯的无监督异常检测模型,存在误警率过高的问题;此外,有研究人员提出采用模糊聚类分析(Fuzzy Cluster Analysis,FCA)来分类恶意网络流量,但准确性受到群集的数量和划分的限制;W Yassin等人将k-means和决策树相结合来探测恶意攻击,该方法没有考虑处理时间的问题,空天环境下新型攻击层出不穷,需要快速响应恶意攻击以便及时止损,该方法不适用于迅速检测。
与以上机器学习算法相比,支持向量机(Support Vector Machine,SVM)由于其在处理高维数据集和避免局部优化问题上的优越性而广泛用于恶意流量检测。SVM基于最大间隔分割数据,训练出一个分割超平面作为分类的决策边界,相比其他机器学习算法,其泛化错误率低,具有良好的学习和泛化能力。SVM利用内积核函数代替向高维空间的非线性映射,计算的复杂性只取决于支持向量的数目,而不是样本空间的维数,在处理高维数据集上具有较大优势;除此之外,SVM本身是个凸优化问题。因此,局部最优解一定是全局最优解,避免了陷入局部最优化的问题。
但是,大多数现有研究关注特定环境下的恶意攻击,而未来的天地一体化网络环境中恶意流量由于异构网络环境的动态性使得网络流量的规模、次序等特征变化频繁,攻击者也会故意改变流量特征以逃避检测,导致用于训练分类器的数据和真正应用环境下的流量数据存在巨大差异。
为此,亟需针对流量识别的数据提取、数据处理、特征表示、分类器训练与测试等四个步骤的特征表示环节,建立一种有效的特征描述方法,以支撑检测模型对各种已知恶意流量及其变体的高效检测。
发明内容
为了克服现有技术的不足,本发明提供一种对抗恶意流量变化的特征转换方法。针对未来的天地一体化网络环境中恶意流量由于异构网络环境的转换容易产生变异的现实,本发明结合空间网络中识别恶意流量变体的需求,借鉴多媒体容错的思路,设计流量特征的统一转换方法,将其映射到新的特征空间,使得基于机器学习的分类模型能够容忍流量规模、次序、特征的变换。
本发明解决其技术问题所采用的技术方案如下:
假设一段时间网络实体间的通信内有m条数据流,每条数据流中提取n个特征,则每个集合表示为一个m*n的矩阵X,其中,xij表示第i条数据流的第j个特征值:
通过以下三步转换,将样本特征映射到新的特征空间中,即使攻击行为的流量特征发生变化,通过转换后仍然具有相似性,转换后的特征向量对流量特征具有异变容忍能力,使用新特征向量作为分类模型的输入;转换过程如下:
(1)矩阵归一化
得到矩阵:
式中,mini(xij)为第i条数据流中特征的最小值,maxi(xij)则是第i条数据流中特征的最大值。
式(3)可以保证即使流量特征值的数值差异很大,经过第一步变换后会都能够缩放到[0,1]区间,对抗由数值差异引起的变异;
(2)计算自相似度
针对所有样本的每一维特征,计算样本两两之间的距离,相似度记为sim(a,b);
(3)特征转换;
通过前两步得到特征值矩阵和一组特征自相似性矩阵使用特征值矩阵和一组特征自相似性矩阵得到一组新的特征向量,采用特征值直方图和特征差异直方图分别表示数据特征的分布范围和分布差异,特征值直方图用来区分恶意流量和合法流量,特征差异直方图用来区分恶意流量的进化变体。
所述的特征值直方图的实现步骤为:
对于分向量Zi,统计并计算Zi中每项数值出现的频度,得到基于分布特征的流量特征值直方图;
由于训练样本集都具有标签,因此,用户利用各种学习模型,从大量数据中自动学习用于区分合法流量和恶意流量的正样本特征值分布和负样本特征值分布,即以特征值出现频度表征的正样本特征值直方图和负样本特征值直方图。
所述的特征差异直方图的实现步骤为:
从自相似度矩阵Sk中获得特征差异直方图,展示特征内部的深层次差异;取Sk矩阵主对角线及其上方的所有元素的上三角元素,得到第k维特征的特征差异直方图,则对S={s1,s2,...,sn},有n个特征差异直方图与每一维特征相对应;
第k个特征值直方图与第k个特征差异直方图相对应,代表了样本集合第k维特征的数据分布及差异信息,将两类特征向量两两进行一一对应并组合,得到每维特征的向量表示;
依次类推,将所有特征的两类特征向量对应组合,则得到:
由此建立的流量特征的统一转换方法,将式(1)表示的原始数据矩阵转换为一个n*m维的矩阵,原始样本集合被映射到在新特征空间下,使得基于机器学习的分类模型能够容忍流量规模、次序、特征的变换。
本发明的有益效果在于利用直方图刻画流量特征的变化并实现容错,达到高效准确识别恶意流量及其变体的效果,克服了后续单纯用从训练集习得的知识去应用分类器会出现性能不足、准确率低的问题。
具体实施方式
下面结合实施例对本发明进一步说明。
本发明的技术方案如下:
假设一段时间网络实体间的通信内有m条数据流,每条数据流中提取n个特征,则每个集合表示为一个m*n的矩阵X,其中,xij表示第i条数据流的第j个特征值:
通过以下三步转换,将样本特征映射到新的特征空间中,即使攻击行为的流量特征发生变化,通过转换后仍然具有相似性,转换后的特征向量对流量特征具有异变容忍能力,使用新特征向量作为分类模型的输入;转换过程如下:
(1)矩阵归一化
得到矩阵:
式中,mini(xij)为第i条数据流中特征的最小值,maxi(xij)则是第i条数据流中特征的最大值。
式(3)可以保证即使流量特征值的数值差异很大,经过第一步变换后会都能够缩放到[0,1]区间,对抗由数值差异引起的变异;
(2)计算自相似度
针对所有样本的每一维特征,计算样本两两之间的距离,相似度记为sim(a,b);
(3)特征转换;
通过前两步得到特征值矩阵和一组特征自相似性矩阵使用特征值矩阵和一组特征自相似性矩阵得到一组新的特征向量,采用特征值直方图和特征差异直方图分别表示数据特征的分布范围和分布差异,特征值直方图用来区分恶意流量和合法流量,特征差异直方图用来区分恶意流量的进化变体。
1)单特征直方图
对于分向量Zi,统计并计算Zi中每项数值出现的频度,得到基于分布特征的流量特征值直方图;
由于训练样本集都具有标签,因此,用户利用各种学习模型,从大量数据中自动学习用于区分合法流量和恶意流量的正样本特征值分布和负样本特征值分布,即以特征值出现频度表征的正样本特征值直方图和负样本特征值直方图。
2)特征差异直方图
从自相似度矩阵Sk中获得特征差异直方图,展示特征内部的深层次差异;取Sk矩阵主对角线及其上方的所有元素的上三角元素,得到第k维特征的特征差异直方图,则对S={s1,s2,...,sn},有n个特征差异直方图与每一维特征相对应;
第k个特征值直方图与第k个特征差异直方图相对应,代表了样本集合第k维特征的数据分布及差异信息,将两类特征向量两两进行一一对应并组合,得到每维特征的向量表示;
依次类推,将所有特征的两类特征向量对应组合,则得到:
由此建立的流量特征的统一转换方法,将式(1)表示的原始数据矩阵转换为一个n*m维的矩阵,原始样本集合被映射到在新特征空间下,使得基于机器学习的分类模型能够容忍流量规模、次序、特征的变换。
Claims (3)
1.一种对抗恶意流量变化的特征转换方法,其特征在于包括下述步骤:
假设一段时间网络实体间的通信内有m条数据流,每条数据流中提取n个特征,则每个集合表示为一个m*n的矩阵X,其中,xij表示第i条数据流的第j个特征值:
通过以下三步转换,将样本特征映射到新的特征空间中,即使攻击行为的流量特征发生变化,通过转换后仍然具有相似性,转换后的特征向量对流量特征具有异变容忍能力,使用新特征向量作为分类模型的输入;转换过程如下:
(1)矩阵归一化
得到矩阵:
式中,mini(xij)为第i条数据流中特征的最小值,maxi(xij)则是第i条数据流中特征的最大值;
式(3)可以保证即使流量特征值的数值差异很大,经过第一步变换后会都能够缩放到[0,1]区间,对抗由数值差异引起的变异;
(2)计算自相似度
针对所有样本的每一维特征,计算样本两两之间的距离,相似度记为sim(a,b);
(3)特征转换;
3.根据权利要求1所述的一种对抗恶意流量变化的特征转换方法,其特征在于:
所述的特征差异直方图的实现步骤为:
从自相似度矩阵Sk中获得特征差异直方图,展示特征内部的深层次差异;取Sk矩阵主对角线及其上方的所有元素的上三角元素,得到第k维特征的特征差异直方图,则对S={s1,s2,...,sn},有n个特征差异直方图与每一维特征相对应;
第k个特征值直方图与第k个特征差异直方图相对应,代表了样本集合第k维特征的数据分布及差异信息,将两类特征向量两两进行一一对应并组合,得到每维特征的向量表示;
依次类推,将所有特征的两类特征向量对应组合,则得到:
由此建立的流量特征的统一转换方法,将式(1)表示的原始数据矩阵转换为一个n*m维的矩阵,原始样本集合被映射到在新特征空间下,使得基于机器学习的分类模型能够容忍流量规模、次序、特征的变换。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011093943.5A CN112243004A (zh) | 2020-10-14 | 2020-10-14 | 一种对抗恶意流量变化的特征转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011093943.5A CN112243004A (zh) | 2020-10-14 | 2020-10-14 | 一种对抗恶意流量变化的特征转换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112243004A true CN112243004A (zh) | 2021-01-19 |
Family
ID=74168992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011093943.5A Pending CN112243004A (zh) | 2020-10-14 | 2020-10-14 | 一种对抗恶意流量变化的特征转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112243004A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160283859A1 (en) * | 2015-03-25 | 2016-09-29 | Cisco Technology, Inc. | Network traffic classification |
US20170063892A1 (en) * | 2015-08-28 | 2017-03-02 | Cisco Technology, Inc. | Robust representation of network traffic for detecting malware variations |
CN106604267A (zh) * | 2017-02-21 | 2017-04-26 | 重庆邮电大学 | 一种动态自适应的无线传感器网络入侵检测智能算法 |
-
2020
- 2020-10-14 CN CN202011093943.5A patent/CN112243004A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160283859A1 (en) * | 2015-03-25 | 2016-09-29 | Cisco Technology, Inc. | Network traffic classification |
US20170063892A1 (en) * | 2015-08-28 | 2017-03-02 | Cisco Technology, Inc. | Robust representation of network traffic for detecting malware variations |
CN106604267A (zh) * | 2017-02-21 | 2017-04-26 | 重庆邮电大学 | 一种动态自适应的无线传感器网络入侵检测智能算法 |
Non-Patent Citations (1)
Title |
---|
张超群等: "基于深度学习技术的恶意攻击的分析与识别", 《计算机应用研究》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Band-subset-based clustering and fusion for hyperspectral imagery classification | |
Yun et al. | PNN based crop disease recognition with leaf image features and meteorological data | |
Ranjan et al. | Hyperspectral image classification: A k-means clustering based approach | |
Yin et al. | Enhancing network intrusion detection classifiers using supervised adversarial training | |
CN112235293B (zh) | 一种面向恶意流量检测正负样本均衡生成的过采样方法 | |
CN107579846B (zh) | 一种云计算故障数据检测方法及系统 | |
CN111786951B (zh) | 流量数据特征提取方法、恶意流量识别方法及网络系统 | |
CN111460881A (zh) | 基于近邻判别的交通标志对抗样本检测方法和分类装置 | |
CN115811440B (zh) | 一种基于网络态势感知的实时流量检测方法 | |
Xiao et al. | Traffic sign detection based on histograms of oriented gradients and boolean convolutional neural networks | |
CN110581840B (zh) | 基于双层异质集成学习器的入侵检测方法 | |
Wang et al. | EFS-DNN: an ensemble feature selection-based deep learning approach to network intrusion detection system | |
CN116633601A (zh) | 一种基于网络流量态势感知的检测方法 | |
CN109214467B (zh) | 考虑分类器输出敏感度的变电作业人员着装鲁棒识别方法 | |
Zhan et al. | A video semantic analysis method based on kernel discriminative sparse representation and weighted KNN | |
CN116563690A (zh) | 一种无人机传感器类不平衡数据异常检测方法及检测系统 | |
Du et al. | Local aggregative attack on SAR image classification models | |
CN116707992A (zh) | 一种基于生成对抗网络的恶意流量规避检测方法 | |
CN112243004A (zh) | 一种对抗恶意流量变化的特征转换方法 | |
Cao et al. | A multi-label classification method for vehicle video | |
Sahay et al. | Uncertainty quantification-based unmanned aircraft system detection using deep ensembles | |
Nie et al. | Intrusion detection based on nonsymmetric sparse autoencoder | |
Zhang et al. | Maximum Focal Inter-Class Angular Loss with Norm Constraint for Automatic Modulation Classification | |
Majeed et al. | Propose hmnids hybrid multilevel network intrusion detection system | |
CN113222056B (zh) | 面向图像分类系统攻击的对抗样本检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210119 |