CN111259393A - 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 - Google Patents
一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 Download PDFInfo
- Publication number
- CN111259393A CN111259393A CN202010035839.4A CN202010035839A CN111259393A CN 111259393 A CN111259393 A CN 111259393A CN 202010035839 A CN202010035839 A CN 202010035839A CN 111259393 A CN111259393 A CN 111259393A
- Authority
- CN
- China
- Prior art keywords
- network
- layer
- malicious
- training
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
- G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Virology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明属于网络安全技术领域,公开一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,包括:从沙箱提取恶意代码的API调用序列,并通过word2vec将API调用序列转换为特征向量;基于所述特征向量训练辅助分类生成对抗网络;利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,通过GRU网络进行训练得出恶意软件检测器;将恶意软件检测器的检测结果作为训练集,重新训练辅助分类生成对抗网络,重新训练恶意软件检测器,以提高恶意软件检测器的抗概念漂移性能。本发明可有效抵抗检测器的老化。
Description
技术领域
本发明属于网络安全技术领域,尤其涉及一种基于生成对抗网络的恶意软件检测器抗概念漂移方法。
背景技术
网络环境日趋复杂,各种攻击手段层出不穷,恶意软件作为网络攻击的重要载体,具有破坏、窃取、勒索等多种功能。据卡巴斯基2019年度报告称(https://securelist.com/ksb-2019/“Kaspersky Security Bulletin 2019”),2019年度检测到新的恶意软件数量达到约两千四百万,为全世界网络安全带来了严重威胁。因此,能够有效检测恶意软件具有重要意义。
现阶段常规的防御恶意软件的手段,通常是使用商业反病毒软件。商业反病毒软件使用基于签名的方法或者基于启发式的方法,其优点是精度高,速度快。但是遇到新的恶意软件则无法有效检测,并且签名库需要线上实时更新,在一些应用场景下无法及时且有效防御恶意软件。检测恶意软件有动态检测与静态检测两大类方法,这些方法都能够在检测性能上获得良好的检测率,同时也有研究者考虑到了一些变种恶意软件和一些难以检测类型的恶意软件。但是,大多数的研究没有关注随时间产生的样本概念漂移的问题,当检测器使用新收集到的恶意软件时,由于样本概念漂移造成模型检测结果产生偏差。
近来,有越来越多的研究者开始关注由于新出现的恶意软件造成样本集产生偏差的问题。样本的偏差造成检测器模型老化,这在机器学习中是一个不可避免的问题,大多数恶意软件研究目的是提升检测恶意软件的精度,和恶意软件本身出现的逃逸问题检测。尽管恶意软件技术不断改进,同一类型或同一家族中新的恶意软件层出不穷(样本概念漂移),这本身是一种逃逸问题,大多数的研究对此应对不足。一种基于API调用、使用马尔科夫链的检测方法(Onwuzurike L,Mariconti E,Andriotis P,et al.MaMaDroid:Detectingandroid malware by building markov chains of behavioral models(extendedversion)[J].ACM Transactions on Privacy and Security(TOPS),2019,22(2):14.)能够长期有效的对抗样本的漂移问题,但是该方法基于静态检测,遇到加密的恶意样本则会导致该类型检测性能的下降。而众多恶意软件对抗样本问题的研究,绝大多数的关注点在防御对抗检测器攻击,而目前Grosse等人(Grosse K,Papernot N,Manoharan P,etal.Adversarial examples for malware detection[C]//European Symposium onResearch in Computer Security.Springer,Cham,2017:62-79.)提出使用蒸馏法缓解对抗样本的问题,在一定程度上能缓解概念漂移造成的检测率下降。以上方法在对抗样本漂移上已经提出了较为有效的解决方法,但是这些研究更偏重于样本空间的偏差带来的影响,而未考虑时间偏差所造成的影响。
发明内容
本发明针对现有的对抗样本漂移方法中存在的未考虑时间偏差所造成的影响,从而不能较好解决恶意样本随时间变化产生的概念漂移的问题,提出一种基于生成对抗网络的恶意软件检测器抗概念漂移方法。
为了实现上述目的,本发明采用以下技术方案:
一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,包括:
步骤1:从沙箱提取恶意代码的API调用序列,并通过word2vec将API调用序列转换为特征向量;
步骤2:基于所述特征向量训练辅助分类生成对抗网络;
步骤3:利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,通过GRU网络进行训练得出恶意软件检测器;
步骤4:将恶意软件检测器的检测结果作为训练集,重新训练辅助分类生成对抗网络,按照步骤3方式重新训练恶意软件检测器,以提高恶意软件检测器的抗概念漂移性能。
进一步地,所述步骤1包括:
步骤1.1:将提取到的API调用序列排列为一组;
步骤1.2:针对API调用序列中每个函数,对每个函数周围2a个函数取平均值,a为上下文常量;
步骤1.3:设置训练迭代次数,对每个函数对应的平均值进行更新,将各函数对应的平均值与当前API调用序列的标签合并,作为API调用序列对应的特征向量。
进一步地,所述步骤2包括:
步骤2.1:在生成器的输入端,为每个特征向量增加一个符合高斯分布的随机数;
步骤2.2:生成器最后一层全连接层将数据送入两个激活函数sigmoid和softmax,将生成的数据映射为向量,并得到真假输出和类别输出;
步骤2.3:在生成器和判别器的网络全连接层之间均连接一层批量规范化层,以保证每一层神经网络的输入保持相同分布;
步骤2.4:通过Adam优化器优化损失函数,完成辅助分类生成对抗网络训练。
进一步地,所述步骤3包括:
步骤3.1:利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,生成恶意代码数据集,将恶意代码数据集中各恶意代码API调用序列转换为特征向量;
步骤3.2:采用1层以上GRU网络,将步骤3.1中的特征向量嵌入embedding层作为输入;
步骤3.3:将embedding层输出的特征作为GRU层的输入;
步骤3.4:将GRU层的输出作为全连接层的输入,使用ReLU作为全连接层的激活函数;
步骤3.5:使用softmax函数回归得到分类结果,完成恶意软件检测器的训练。
与现有技术相比,本发明具有的有益效果:
本发明采用API调用序列作为特征,训练生成对抗网络,使用训练好的生成对抗网络生成模拟概念漂移的样本,用于训练恶意软件检测器。同时依照恶意软件检测器检测结果再次作为训练集,重新训练生成器并产生生成样本,以重复训练检测模型,提高监测模型的抗概念漂移性能。本发明使用真实的恶意软件样本与生成的样本训练检测器模型,并按照线性的时间顺序分割恶意样本集作为测试集,验证本发明方法的有效性。结果表明,本发明在较长的时间维度下,能够较好解决恶意样本随时间变化产生的概念漂移的问题,且能够获得良好的检测精度,有效的抵抗检测器的老化。
附图说明
图1为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的基本流程图;
图2为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的辅助分类生成对抗网络结构示意图;
图3为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的双层GRU神经网络模型结构示意图;
图4为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的辅助分类生成对抗网络的生成器和判别器损失值曲线图;
图5为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的训练分类结果图;其中(a)为未使用ACGAN生成样本,直接使用GRU进行训练的分类结果图;(b)为使用ACGAN生成样本训练的结果图;
图6为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的时间漂移对准确率影响曲线图;
图7为本发明实施例一种基于生成对抗网络的恶意软件检测器抗概念漂移方法的重训练样本结果曲线图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明:
如图1所示,一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,包括:
步骤S101:从沙箱提取恶意代码的API调用序列,并通过word2vec将API调用序列转换为特征向量;
步骤S102:基于所述特征向量训练辅助分类生成对抗网络;
步骤S103:利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,通过GRU网络进行训练得出恶意软件检测器;
步骤S104:将恶意软件检测器的检测结果作为训练集,重新训练辅助分类生成对抗网络,按照步骤S103方式重新训练恶意软件检测器,以提高恶意软件检测器的抗概念漂移性能。
具体地,所述步骤S101包括:
本实施例使用的特征为从大量的已知恶意代码类型的恶意代码中提取的API调用序列。Cuckoo是一种自动化的恶意软件分析系统,俗称沙箱。沙箱通过监视恶意软件在其内部的运行,记录恶意代码执行的函数和数据。将沙箱提取的函数序列作为原始数据,使用word2vec方法将API序列转换为特征向量。该特征向量作为对抗生成网络和GRU网络的训练特征。
由于不同类型的恶意软件的API调用顺序不同,部分函数的组合能够表达更强的恶意性。而word2vec方法是一种浅层神经网络,该方法能够将API函数序列按照它们之间的前后顺序映射成N维的实数向量,通过函数与函数之间的距离使用实数表达它们的相似度。作为一种可实施方式,本实施例中采用分层softmax的CBOW模型,使用CSDMC 2010 API语料库,并结合从沙箱中提取的样本对语料库进行增量补充。我们将提取到的API调用序列排列为一组,其形式为F={f1,f2,f3,...,fn},其中fn代表序列中对应位置的函数。对于调用序列F,设置当前函数fn对周围2a个函数取平均,上下文常量a=2,则fn向量表示为:
本发明设置每次训练迭代次数为15次,经过梯度上升,对每次计算的均值进行小幅度的更新。最后与当前样本的(类别)标签合并输出一组向量V={label,v1,v2,v3,...,vn},其中label是one-hot形式,每个API的向量值映射到一个固定长度的数组中,其它没有出现在本次训练的函数位置填充0,使其成为固定长度的向量。
使用Gensim包实现word2vec的训练与生成,并且是增量更新每一个新学习到的函数,即我们新词增加到现有模型中而不用全部重新学习。
具体地,所述步骤S102包括:
在以往的恶意代码分类检测研究中发现,恶意样本可以通过在高维空间中的聚类,体现一类恶意样本的相似性。但是在样本不足的情况下,无论是时下最先进的检测器,也不能够完全的拟合生成数据的分布。同时通过分析部分恶意样本的源代码可以看出,恶意样本A与恶意样本B在家族分类上分属两个家族,但是在某些细节存在相似性,这也是一般分类器不容易处理的部分。
本发明使用辅助分类生成对抗网络(ACGAN),在原有GAN的基础上,对生成器和判别器使用标签数据训练,同时又在判别器末端重建标签信息,从而提升生成器的生成效果。
在生成器G的输入端,为每个类别样本增加一个符合高斯分布的随机数,以辅助生成类条件样本,辅助生成能够提升生成样本质量。判别器D的输入是真实的类型样本和生成的类型样本,其中输入判别器的样本包含一部分生成器产生的假数据,假数据仅用于训练判别器。本实施的辅助分类生成对抗网络如图2所示。
设置生成器包含3个全连接层,最后一层全连接层将数据送入两个激活函数sigmoid和softmax,将生成的数据映射为向量,并得到真假输出和类别输出。生成器和判别器的网络全连接层之间均连接了一层批量规范化层,以保证每一层神经网络的输入保持相同分布。生成器和判别器使用带泄露修正线性单元(LeakyReLU)。判别器选取Dropout策略,选取值为0.5,表示每层仅有一半的神经元参与运算,可以判别器过拟合。
训练整个ACGAN的目标函数生成两个部分,一个是数据真实与否的对数似然LS,另一个是数据类别准确性的对数似然LC:
Ls=E[logP(S=real|Xreal)]+E[logP(S=fake|Xfake)]
在本实施例中ACGAN的目的是尽量优化生成器的类别生成,所以略微降低了判别器博弈的权重,增加了生成器的代价函数权重,而最终整体网络的目的依然是使得判别器G的LC-Ls最小,判别器D的Lc+Ls最大,ci表示第i个类别,n为类别数。ACGAN使用Adam优化器优化损失函数,设置学习率为0.0002,一阶矩估计的指数衰减率β1=0.5,Adam能够自动调整学习率,有效防止收敛到局部最优的风险。
具体地,所述步骤S103包括:
本实施例中GRU网络采用双层的GRU网络作为神经网络的骨干,当获取到一个API调用序列的向量V={f1...fi...ft},fi是调用序列向量上表示某个时间点的输入,将向量V嵌入embedding层(嵌入层)作为输入,指定embedding层的输入维度,本层向量会将小随机数初始化,在后续训练中反向更新本层。
GRU层将embedding层输出的特征作为输入,词向量ft-i经过embedding层映射后输出xi。每个GRU层单元数与输入的API调用序列词向量一致,即样本提取的词向量长度为l则GRU单元数也为l。在单一的GRU单元中,每个单元接收上一个单元的隐藏层输出信息作为输入,经过计算后得出数值作为本单元的隐藏层输出,记为hi。在一个GRU单元中包含两个门,一个是重置门,用来决定忘记过去的信息量,记做ri,另一个是更新门,决定要丢弃哪些信息以及要增加的信息记为zi。图3为本实施例中双层GRU神经网络模型(恶意软件检测器),API序列依照顺序由前到后依次传播。
在图3中每个GRU单元需要输出当前单元的隐藏状态hi,由嵌入的API当前序列xi,和第i-1个GRU单元状态hi-1联合计算得出。重置门和更新门使用sigmoid函数,使用σ表示。将重置门和更新门的结果使用tanh函数计算候选隐藏状态计算一个GRU单元的过程如下述表示:
zi=σ(Wzxi+Uzhi-1)
ri=σ(Wrxi+Urhi-1)
其中W,U为权重矩阵,在该GRU网络中代表当前时间节点下的API序列的函数。增加的GRU层数越多,学习能力能够有一定的提升,但增加层数到一定数量,检测性能则无法提升。所以我们在实施例中使用的GRU网络设置为2层,预期能够达到最优效果。
在GRU层所有隐藏状态输出后,传入全连接层。全连接层将所有GRU隐藏状态作为输入,加权计算并经过激活函数可得到一个新的向量值。本实施例中GRU网络中全连接层使用ReLU作为激活函数,全连接层每一个神经元的输出表述如下:
其中l表示层数,i代表当前层的第i个神经单元,W和b分别是当前单元的权重和偏置。全连接层输出后,最后使用softmax函数回归得到本次分类的结果。
为验证本发明效果,进行如下实验设置:
1、实验环境与数据集
本实施例实验环境分为两部分,一部分沙箱运行平台,另一部分是算法运行平台。沙箱的运行使用常规PC,CPU为Intel(R)Core(TM)i5-6500@3.20GHz,内存8GB,操作系统为Ubuntu 16.04的64位版本操作系统。其中沙箱的Guest环境设置内存为2GB,Windows 7的32位sp1版本操作系统。算法运行平台使用CPU为Intel(R)Core(TM)i7-6800K,显卡为NVIDIA1080Ti,显存11GB,CUDA10toolkit。
本实施例数据集使用与研究(Dai Y,Li H,Qian Y,et al.SMASH:A MalwareDetection Method Based on Multi-Feature Ensemble Learning[J].IEEE Access,2019,7:112588-112597.)的数据集一致,样本总量约27k,所有的样本按照VirusTotal检测结果可分为214个家族,8个大类型恶意样本,和少量无法归类样本,我们按照样本类型划分样本的信息见表1,由于Hacktool功能多样,在本实验中仅使用前7个类别的数据。
表1恶意样本数据类别
另外根据VirusTotal的结果可以获得样本的创建时间,首次提交时间等关于样本的生成信息。由于创建时间可能受到恶意代码作者本地时间戳的影响,导致时间信息不准确,以VirusTotal的首次提交分析的时间作为样本的发现时间,以此获得样本数量与时间之间的关系,详细信息见表2。
表2恶意样本按时间分布数量
2、GRU分类性能
在本实施例实验中,将恶意样本80%作为训练样本,20%作为测试样本,使用准确率(Accuracy)和F1-Score两个数值作为分类器整体性能的参考。使用混淆矩阵,用来说明使用GRU网络在不同类型样本上的分类性能。其中使用准确率衡量分类器性能,是因为真正例(FP)和假反例(FN)均作为参考加入了计算,与精准率和召回率相比,准确率能提供更为公正的参考数值。F1-Score是精准率和召回率的算数平均数除以几何平均数,即对精准率和准确率都进行了加权计算。准确率和F1-Score的计算方式如下。
选用聚类(k-means),集成学习(随机森林),神经网络分类方法(多层感知机)和GRU分类器进行实验对比。其中k-means方法选定聚类中心为7,设置k-means计算一次的最大迭代次数为300。设置随机森林估计量为100,即初始化为100棵决策树,最大特征数与word2vec向量长度一致。多层感知机设置优化函数与GRU一致,使用Adam方法,激活函数为ReLU,共两个隐藏层,输出为softmax。将以上四种方法使用实验设置中第1节的数据集,且每种方法的训练数据和测试数据一致,分类器总体分类结果如表3所示。
表3 GRU网络与其他分类方法对比结果
从表中可以看出,使用word2vec方法提取API调用序列的特征向量,无论是使用哪一种分类(或聚类)工具对恶意代码检测,均能获得较好的测试性能。使用集成学习和神经网络的方法能获得更高的准确率,且能看出本文所设计的GRU网络能获得本组实验最高的F1-Score,为98.0%,证明其有较好的检测性能。经过分类检测验证嵌套层结合双层GRU组合的模型对检测性能有一定的提升,说明本方法对恶意样本检测分类的有效性。
3、生成样本分类性能检测
本节讨论训练ACGAN,并使用ACGAN生成的带标签的样本,对恶意代码分类的影响。设置辅助分类生成对抗网络的训练循环次数为10000个周期(epoch),生成器G和判别器D的loss结果如图4所示。
从图4中可以看出生成器和判别器的损失值,在大约第3000个周期以后趋于平稳,为保证生成器生成样本的稳定,设定在第5000个周期后进行样本生成,且通过对大量的生成的样本进行聚类,选取的生成样本与实际样本欧式距离相近,且数为训练的实际样本的两倍数量。将生成的样本与实际样本融合并加入GRU网络进行训练,训练结果使用混淆矩阵展示,见图5。
图5中(a)部分是未使用ACGAN生成样本,直接使用GRU进行训练的分类结果,图5中(b)部分是使用ACGAN生成样本训练的结果。混淆矩阵主要用于比较分类结果和实际测得值,实际的准确率显示在对角线上,每一行代表预测为该类别的比例,每一列表示数据实际分类结果的比例,在理想状态下对角线上每个数值应为1。从训练矩阵中可以看出,GRU网络在未使用生成样本训练,分类结果基本可以维持在平均97%的准确率。而使用了ACGAN生成样本,结合真正样本进行训练的GRU在整体分类的准确率上有轻微的提升。融合了ACGAN生成样本的训练,导致某些类在分类准确率上的轻微下降,从图5中可以看到后门类恶意代码检测的准确率下降约1%,原因在于后门类恶意代码的功能繁多,反观第2、3、4类恶意代码分别对应蠕虫、特洛伊木马与广告软件,其功能相对后门类恶意代码更为单一。
4、生成样本分析
每年新恶意代码的生成给恶意软件分析研究带来了不少的困难,同一个种类的恶意代码,会随着时间与编码技术的进步,使用新的编写工具,有可能造成代码优化的不同,导致检测失效。诸多的研究没有考虑恶意代码在时间上的影响,即训练的原始数据集,当数据集不断地增加新的恶意样本会造成整个数据集的偏离原始空间。
首先需要验证样本生成效果,使用变评估分自编码(VAE),条件生成对抗网络(CGAN)和本实验所使用的辅助分类GAN。设置SGAN的神经网络模型与ACGAN的神经网络模型基本一致,CGAN是对传统GAN的扩充,在原有网络结构下,训练时判别器和生成器的输入都加上标签信息,以辅助生成样本质量的提升。ACGAN的判别器与生成器在输入端与CGAN一致,而输出端增加了标签信息的重建,通过代价函数来增强生成效果。
VAE的基本结构是一个多层感知神经网络,从输入到输出之间有多个全连接的隐层,且整个网络可以分为两个部分,编码器和解码器。编码器的网络结构从输入层到编码层,神经元逐层减少,实际是一个降维的过程。解码器从编码层到输出层,神经元逐层增多,以还原数据。
将VAE,CGAN和ACGAN三个生成数据的生成结果做以下比较,见表4。
表4生成数据分类情况
从实验结果中可以看出,VAE在生成结果上不占有优势,原因在于编码与解码过程中的数据损失。而基于GAN的两个方法,生成的数据在判别器上所能达到的最高准确率均可以超过98%,但是判别器所能给出的信息仅仅是为了给生成器改进提供一个衡量指标。在CGAN与ACGAN经过5000个周期以上的训练后,将只有生成数据输入并训练GRU,对测试集进行分类,可得到ACGAN生成的数据获得最高的准确率,最高接近90%。但如果生成数据集加入真实数据集,则分类结果没有太大的差别。
5、漂移检测评估
将实验数据以在VirusTotal首次提交的时间,作为样本首次出现的时间,这样确定不会对实验结果产生影响。样本漂移检测目的是评估分类器随着时间的变化,本实施例选取一般神经网络检测器(本实施例的GRU网络,不训练生成样本),带有对抗性的检测器,以及我们的对抗漂移性能的检测器。选择Grosse et al.的对抗性研究(Grosse K,Papernot N,Manoharan P,et al.Adversarial examples for malware detection[C]//European Symposium on Research in Computer Security.Springer,Cham,2017:62-79.),使用蒸馏法能够有效降低对抗样本的误报率,且在对抗样本漂移有一定的抵抗性能,根据原文中设置蒸馏温度T=10。
本实验将早于2011年的样本作为训练集,以及之后从2012年起始,每一年的样本作为测试集,评估检测器的准确率。图6是各种检测器与不同时间的样本之间准确率的关系。
从图6中可以看出,时间漂移导致检测器对恶意代码检测准确率的影响很大,不使用对抗样本的检测器超过两年以上的样本,将会导致低于75%的检测准确率,而使用蒸馏法与本实施例方法则能在两年的时间范围内,尚可保持在一个相对准确的检测结果,而超过3年则也会由于恶意样本的漂移导致检测率降低。所以设置了重训练的方式以缓解样本漂移带来的困扰,进行如下实验步骤:(1)将上一年度的样本作为原始训练集,并生成2倍的样本进行训练,使用第二年的样本作为测试集进行测试;(2)将测试集中检测出的恶意数据作为本年度的训练集,并生成2倍训练样本,使用下一年度的样本作为测试集;(3)重复(1)-(2)步骤。注意一点,此处所说的重训练并不是重新训练GRU网络,而是在原先训练好的GRU网络上进行训练。根据重训练的方法进行实验,结果见图7。
按照年度,将每个年度组的恶意代码都经过重训练,基本可以维持在最高水平,但是在实际的应用场景中,不可能总是能完全正确的检测出恶意软件,所以该组只作为一个参照的基准。而将所有实际检测出的恶意样本提取出后,经过重新训练,可以从图7中看出重训练后的检测准确率,有了明显的提升。在第二年度准确率保持在90%以上,第三年度的准确率依然可以保持约85%左右。综上所述,本实施例提出的方法在对抗随时间变化的漂移样本上,具有良好的检测性能,确认本实施例提出方法的可行性。
以上所示仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,其特征在于,包括:
步骤1:从沙箱提取恶意代码的API调用序列,并通过word2vec将API调用序列转换为特征向量;
步骤2:基于所述特征向量训练辅助分类生成对抗网络;
步骤3:利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,通过GRU网络进行训练得出恶意软件检测器;
步骤4:将恶意软件检测器的检测结果作为训练集,重新训练辅助分类生成对抗网络,按照步骤3方式重新训练恶意软件检测器,以提高恶意软件检测器的抗概念漂移性能。
2.根据权利要求1所述的一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,其特征在于,所述步骤1包括:
步骤1.1:将提取到的API调用序列排列为一组;
步骤1.2:针对API调用序列中每个函数,对每个函数周围2a个函数取平均值,a为上下文常量;
步骤1.3:设置训练迭代次数,对每个函数对应的平均值进行更新,将各函数对应的平均值与当前API调用序列的标签合并,作为API调用序列对应的特征向量。
3.根据权利要求1所述的一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,其特征在于,所述步骤2包括:
步骤2.1:在生成器的输入端,为每个特征向量增加一个符合高斯分布的随机数;
步骤2.2:生成器最后一层全连接层将数据送入两个激活函数sigmoid和softmax,将生成的数据映射为向量,并得到真假输出和类别输出;
步骤2.3:在生成器和判别器的网络全连接层之间均连接一层批量规范化层,以保证每一层神经网络的输入保持相同分布;
步骤2.4:通过Adam优化器优化损失函数,完成辅助分类生成对抗网络训练。
4.根据权利要求1所述的一种基于生成对抗网络的恶意软件检测器抗概念漂移方法,其特征在于,所述步骤3包括:
步骤3.1:利用训练好的辅助分类生成对抗网络生成恶意代码API调用序列,同时加入实际的恶意代码API调用序列,生成恶意代码数据集,将恶意代码数据集中各恶意代码API调用序列转换为特征向量;
步骤3.2:采用1层以上GRU网络,将步骤3.1中的特征向量嵌入embedding层作为输入;
步骤3.3:将embedding层输出的特征作为GRU层的输入;
步骤3.4:将GRU层的输出作为全连接层的输入,使用ReLU作为全连接层的激活函数;
步骤3.5:使用softmax函数回归得到分类结果,完成恶意软件检测器的训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035839.4A CN111259393B (zh) | 2020-01-14 | 2020-01-14 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010035839.4A CN111259393B (zh) | 2020-01-14 | 2020-01-14 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111259393A true CN111259393A (zh) | 2020-06-09 |
CN111259393B CN111259393B (zh) | 2023-05-23 |
Family
ID=70942907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010035839.4A Active CN111259393B (zh) | 2020-01-14 | 2020-01-14 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111259393B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563275A (zh) * | 2020-07-14 | 2020-08-21 | 中国人民解放军国防科技大学 | 一种基于生成对抗网络的数据脱敏方法 |
CN111832019A (zh) * | 2020-06-10 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于生成对抗网络的恶意代码检测方法 |
CN111914254A (zh) * | 2020-06-24 | 2020-11-10 | 中国科学院信息工程研究所 | 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质 |
CN112052940A (zh) * | 2020-08-26 | 2020-12-08 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112231703A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 |
CN112417448A (zh) * | 2020-11-15 | 2021-02-26 | 复旦大学 | 一种基于api关系图谱的恶意软件检测模型抗老化增强方法 |
CN112565261A (zh) * | 2020-12-04 | 2021-03-26 | 浙江大学 | 基于多生成器AugGAN的对抗动态恶意API序列生成方法 |
CN112800426A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于群智能算法和cGAN的恶意代码数据不均衡处理方法 |
CN112989346A (zh) * | 2021-04-09 | 2021-06-18 | 鹏城实验室 | 对抗样本生成方法、装置、终端设备以及存储介质 |
CN113158390A (zh) * | 2021-04-29 | 2021-07-23 | 北京邮电大学 | 一种基于辅助分类式生成对抗网络的网络攻击流量生成方法 |
CN113222056A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 面向图像分类系统攻击的对抗样本检测方法 |
CN113221109A (zh) * | 2021-03-30 | 2021-08-06 | 浙江工业大学 | 一种基于生成对抗网络的恶意文件智能分析方法 |
CN113591954A (zh) * | 2021-07-20 | 2021-11-02 | 哈尔滨工程大学 | 一种工业系统中缺失的时序数据的填充方法 |
CN113630419A (zh) * | 2021-08-16 | 2021-11-09 | 中移互联网有限公司 | 一种基于api流量的数据分类分级及数据安全监测方法及系统 |
CN113901463A (zh) * | 2021-09-03 | 2022-01-07 | 燕山大学 | 面向概念漂移的可解释Android恶意软件检测方法 |
CN113961922A (zh) * | 2021-10-27 | 2022-01-21 | 浙江网安信创电子技术有限公司 | 一种基于深度学习的恶意软件行为检测与分类系统 |
TWI758762B (zh) * | 2020-06-24 | 2022-03-21 | 萬里雲互聯網路有限公司 | 兼顧不平衡資料集與高召回率要求的對抗樣本生成方法、系統及電腦可讀取記錄媒體 |
CN116401667A (zh) * | 2023-04-13 | 2023-07-07 | 湖南工商大学 | 基于cnn-gru的安卓恶意软件检测方法及装置 |
CN111914254B (zh) * | 2020-06-24 | 2024-05-28 | 中国科学院信息工程研究所 | 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190179906A1 (en) * | 2017-12-12 | 2019-06-13 | Institute For Information Industry | Behavior inference model building apparatus and behavior inference model building method thereof |
CN110210226A (zh) * | 2019-06-06 | 2019-09-06 | 深信服科技股份有限公司 | 一种恶意文件检测方法、系统、设备及计算机存储介质 |
CN110263538A (zh) * | 2019-05-13 | 2019-09-20 | 重庆大学 | 一种基于系统行为序列的恶意代码检测方法 |
CN110619216A (zh) * | 2019-09-17 | 2019-12-27 | 武汉思普崚技术有限公司 | 一种对抗性网络的恶意软件检测方法及系统 |
CN110647918A (zh) * | 2019-08-26 | 2020-01-03 | 浙江工业大学 | 面向深度学习模型对抗攻击的拟态防御方法 |
-
2020
- 2020-01-14 CN CN202010035839.4A patent/CN111259393B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190179906A1 (en) * | 2017-12-12 | 2019-06-13 | Institute For Information Industry | Behavior inference model building apparatus and behavior inference model building method thereof |
CN110263538A (zh) * | 2019-05-13 | 2019-09-20 | 重庆大学 | 一种基于系统行为序列的恶意代码检测方法 |
CN110210226A (zh) * | 2019-06-06 | 2019-09-06 | 深信服科技股份有限公司 | 一种恶意文件检测方法、系统、设备及计算机存储介质 |
CN110647918A (zh) * | 2019-08-26 | 2020-01-03 | 浙江工业大学 | 面向深度学习模型对抗攻击的拟态防御方法 |
CN110619216A (zh) * | 2019-09-17 | 2019-12-27 | 武汉思普崚技术有限公司 | 一种对抗性网络的恶意软件检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
杨昭: "基于对抗式生成网络的恶意代码检测研究", 《万方数据知识服务平台》 * |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111832019A (zh) * | 2020-06-10 | 2020-10-27 | 国家计算机网络与信息安全管理中心 | 基于生成对抗网络的恶意代码检测方法 |
CN111832019B (zh) * | 2020-06-10 | 2024-02-23 | 国家计算机网络与信息安全管理中心 | 基于生成对抗网络的恶意代码检测方法 |
CN111914254B (zh) * | 2020-06-24 | 2024-05-28 | 中国科学院信息工程研究所 | 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质 |
CN111914254A (zh) * | 2020-06-24 | 2020-11-10 | 中国科学院信息工程研究所 | 一种基于弱耦合sgan的恶意软件家族分类器生成方法、装置及可读存储介质 |
TWI758762B (zh) * | 2020-06-24 | 2022-03-21 | 萬里雲互聯網路有限公司 | 兼顧不平衡資料集與高召回率要求的對抗樣本生成方法、系統及電腦可讀取記錄媒體 |
CN111563275B (zh) * | 2020-07-14 | 2020-10-20 | 中国人民解放军国防科技大学 | 一种基于生成对抗网络的数据脱敏方法 |
CN111563275A (zh) * | 2020-07-14 | 2020-08-21 | 中国人民解放军国防科技大学 | 一种基于生成对抗网络的数据脱敏方法 |
CN112052940A (zh) * | 2020-08-26 | 2020-12-08 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112052940B (zh) * | 2020-08-26 | 2023-11-24 | 西安电子科技大学 | 基于向量压缩与重构的社交网络特征动态提取方法 |
CN112231703A (zh) * | 2020-11-09 | 2021-01-15 | 北京理工大学 | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 |
CN112231703B (zh) * | 2020-11-09 | 2022-08-05 | 北京理工大学 | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 |
CN112417448A (zh) * | 2020-11-15 | 2021-02-26 | 复旦大学 | 一种基于api关系图谱的恶意软件检测模型抗老化增强方法 |
CN112417448B (zh) * | 2020-11-15 | 2022-03-18 | 复旦大学 | 一种基于api关系图谱的恶意软件检测模型抗老化增强方法 |
CN112565261A (zh) * | 2020-12-04 | 2021-03-26 | 浙江大学 | 基于多生成器AugGAN的对抗动态恶意API序列生成方法 |
CN112800426B (zh) * | 2021-02-09 | 2024-03-22 | 北京工业大学 | 一种基于群智能算法和cGAN的恶意代码数据不均衡处理方法 |
CN112800426A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 一种基于群智能算法和cGAN的恶意代码数据不均衡处理方法 |
CN113221109A (zh) * | 2021-03-30 | 2021-08-06 | 浙江工业大学 | 一种基于生成对抗网络的恶意文件智能分析方法 |
CN113221109B (zh) * | 2021-03-30 | 2022-06-28 | 浙江工业大学 | 一种基于生成对抗网络的恶意文件智能分析方法 |
CN112989346A (zh) * | 2021-04-09 | 2021-06-18 | 鹏城实验室 | 对抗样本生成方法、装置、终端设备以及存储介质 |
CN113158390A (zh) * | 2021-04-29 | 2021-07-23 | 北京邮电大学 | 一种基于辅助分类式生成对抗网络的网络攻击流量生成方法 |
CN113222056B (zh) * | 2021-05-28 | 2022-11-08 | 北京理工大学 | 面向图像分类系统攻击的对抗样本检测方法 |
CN113222056A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 面向图像分类系统攻击的对抗样本检测方法 |
CN113591954B (zh) * | 2021-07-20 | 2023-10-27 | 哈尔滨工程大学 | 一种工业系统中缺失的时序数据的填充方法 |
CN113591954A (zh) * | 2021-07-20 | 2021-11-02 | 哈尔滨工程大学 | 一种工业系统中缺失的时序数据的填充方法 |
CN113630419A (zh) * | 2021-08-16 | 2021-11-09 | 中移互联网有限公司 | 一种基于api流量的数据分类分级及数据安全监测方法及系统 |
CN113901463B (zh) * | 2021-09-03 | 2023-06-30 | 燕山大学 | 面向概念漂移的可解释Android恶意软件检测方法 |
CN113901463A (zh) * | 2021-09-03 | 2022-01-07 | 燕山大学 | 面向概念漂移的可解释Android恶意软件检测方法 |
CN113961922A (zh) * | 2021-10-27 | 2022-01-21 | 浙江网安信创电子技术有限公司 | 一种基于深度学习的恶意软件行为检测与分类系统 |
CN116401667A (zh) * | 2023-04-13 | 2023-07-07 | 湖南工商大学 | 基于cnn-gru的安卓恶意软件检测方法及装置 |
CN116401667B (zh) * | 2023-04-13 | 2024-04-19 | 湖南工商大学 | 基于cnn-gru的安卓恶意软件检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111259393B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259393A (zh) | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 | |
Wang et al. | Practical detection of trojan neural networks: Data-limited and data-free cases | |
Wang et al. | Cloud intrusion detection method based on stacked contractive auto-encoder and support vector machine | |
Wang et al. | Locational detection of the false data injection attack in a smart grid: A multilabel classification approach | |
Ma et al. | Nic: Detecting adversarial samples with neural network invariant checking | |
Chen et al. | Copy, right? a testing framework for copyright protection of deep learning models | |
CN111027069B (zh) | 恶意软件家族检测方法、存储介质和计算设备 | |
CN110135157B (zh) | 恶意软件同源性分析方法、系统、电子设备及存储介质 | |
CN111723368B (zh) | 基于Bi-LSTM和自注意力的恶意代码检测方法及系统 | |
Wang et al. | Neural architecture search for robust networks in 6G-enabled massive IoT domain | |
Truong et al. | Systematic evaluation of backdoor data poisoning attacks on image classifiers | |
CN113596007B (zh) | 一种基于深度学习的漏洞攻击检测方法和设备 | |
CN111652290A (zh) | 一种对抗样本的检测方法及装置 | |
EP3916597B1 (en) | Detecting malware with deep generative models | |
Peng et al. | Semantics aware adversarial malware examples generation for black-box attacks | |
Jebreel et al. | Fl-defender: Combating targeted attacks in federated learning | |
Chawla et al. | Bidirectional LSTM autoencoder for sequence based anomaly detection in cyber security | |
CN111400713B (zh) | 基于操作码邻接图特征的恶意软件族群分类方法 | |
Mezina et al. | Obfuscated malware detection using dilated convolutional network | |
Dong et al. | CML: A contrastive meta learning method to estimate human label confidence scores and reduce data collection cost | |
Bountakas et al. | Defense strategies for adversarial machine learning: A survey | |
Xiao et al. | Self-checking deep neural networks for anomalies and adversaries in deployment | |
CN113949549A (zh) | 一种面向入侵和攻击防御的实时流量异常检测方法 | |
Bai et al. | Versatile weight attack via flipping limited bits | |
CN111310185B (zh) | 一种基于改进stacking算法的Android恶意软件检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |