CN109784056A - 一种基于深度学习的恶意软件检测方法 - Google Patents

Abstract

本发明属于网络空间安全技术领域，设计了一种基于深度学习的恶意软件检测方法。该方法包含检测器和分类器两部分。检测器用来检测输入样本的合法性，分类器用来对合法样本进行预测来判断其是否为恶意样本。该方法不但能够有效检测出未知恶意软件或已知恶意软件的变种，而且能够有效识别出对抗样本攻击行为。与现有的基于深度学习的恶意软件检测模型相比，大幅度提高了检测模型的安全性和检测效率。

Description

一种基于深度学习的恶意软件检测方法

技术领域

本发明属于网络空间安全技术领域，设计了一种基于深度学习的恶意软件检测方法。该方法包含检测器和分类器两部分。检测器用来检测输入样本的合法性，分类器用来对合法样本进行预测来判断其是否为恶意样本。该方法不但能够有效检测出未知恶意软件或已知恶意软件的变种，而且能够有效识别出对抗样本攻击行为。与现有的基于深度学习的恶意软件检测模型相比，大幅度提高了检测模型的安全性和检测效率。

背景技术

网络技术的飞速发展推动着人类社会的深刻变革，网络空间安全已上升为国家安全的重要组成部分。然而，攻击者仍不断更新换代数量巨大的恶意软件来绕过安全检测，肆意破坏人类正常生产工作。恶意软件指的是任何旨在对单个计算机、服务器或计算机网络造成损害的软件，包括病毒、木马、蠕虫、广告软件等多种类型。赛门铁克2018年互联网安全威胁报告(ISTR)指出，与2017年相比，恶意软件数量利用软件供应链增长200％，勒索软件变种不断增多而且大部分转变为低价商品进行售卖。传统基于特征码的恶意软件检测方法可以有效的检测出已知恶意软件，但是无法检测出未知恶意软件或者已知恶意软件新的变种。这类方法已经不能适应当前爆发式增长的恶意软件及其变种，因而促进了基于机器学习的恶意软件检测技术的飞速发展。

近年来，随着计算机硬件的飞速发展，深度学习技术在图像分类、语音识别、机器翻译等领域取得了巨大的突破性成果。深度学习算法与传统机器学习算法相比具有更强大的特征学习和特征表达能力，省去了安全领域专家复杂的人工特征抽取工作，因此利用深度学习的优势来研究更为有效智能的恶意软件检测方法是非常有必要的。此前，美国物理科学实验室的Edward Raff等人和英伟达公司合作，在人工智能顶级会议AAAI 2018中提出了一种端到端的恶意软件检测模型Malconv，该模型以Windows PE文件的原始字节作为输入，直接输出该文件是否为恶意软件，他们在大规模的数据集下取得了很好的效果，检测精度高达94％。然而之后不久德国慕尼黑大学的Kolosnjaji等人就发布论文描述了如何攻击这类模型，他们通过梯度攻击算法制作对抗样本来让这种模型做出错误的分类，从而使恶意软件躲避检测。因此，面对深度学习模型固有的脆弱性，急需一种可以有效识别对抗样本攻击的方法，从而提高基于深度学习恶意软件检测方法的安全性。

发明内容

本发明要解决的技术问题就在于：针对现有深度学习恶意软件检测技术存在的安全性问题，本发明提供一种能够抵抗对抗样本攻击的恶意软件检测方法。该方法既保留了深度学习恶意软件检测技术的全部优势，而且能够有效检测出对抗样本攻击行为，大大提高了恶意软件检测系统的安全性和检测效率。

为解决上述技术问题，本发明采用以下技术方案：

一种基于深度学习的恶意软件检测方法，步骤如下：

第一步、收集恶意样本和良性样本，构建样本数据集。

构建样本数据集的具体方法如下：收集两组带标签的PE文件组成一个数据集。第一组是恶意样本集，数据标签设置为1。第二组是良性样本集，数据标签设置为0。两组样本集所包含的文件数量相同，所有样本的大小均小于l MB，文件名设置为该文件的Hash值。

第二步、构建卷积神经网络分类器，根据样本数据集对分类器进行训练，确定分类器内部参数。

作为深度学习的代表算法之一，卷积神经网络分类器F所需要的所有层均能使用成熟的深度学习算法库来实现。对一个输入样本x，最大长度l，构建卷积神经网络分类器包含以下步骤：

步骤1：数据预处理。x表示为离散字节序列x＝(x₁,x₂...x_m),m<l，其中x_i∈{0,1,...,255}。首先进行数据预处理，通过补0的形式生成固定长度为l的序列x_pad。

步骤2：词向量化。x_pad经过词向量层E，映射为固定尺寸的向量矩阵e，记为e＝E(x_pad)。

步骤3：特征抽取。e分别送入两个一维卷积层Conv1和Conv2，两个卷积层中卷积核的大小s_filter和数量n_filter均相同。其中Conv1中的激活函数设置为Sigmoid，Conv2中的激活函数设置为Relu，得到C₁＝Conv1(e),C₂＝Conv2(e)。

步骤4：选取最显著特征。将C₁和C₂做对应元素相乘得到C，再通过全局最大池化层得到长度为n_filter的向量p＝Maxpooling(C)。

步骤5：输出分类结果。将p送入全连接层W，最后通过Sigmoid层输出结果output＝Sigmoid(W(p))，根据output值和给定的阈值threshold，来判定x是否为恶意软件。

利用构建的样本数据集来训练卷积神经网络分类器F，最终确定其分类器的内部参数，具体步骤如下：

步骤1：数据集划分。将样本数据集打乱并划分为训练集、验证集和测试集三个部分。

步骤2：损失函数选取。选取交叉熵函数作为损失函数，损失函数值越小说明分类器越逼近真实的数据集。

步骤3：训练分类器。将训练集中的样本及其对应的标签输入分类器，用Adam优化算法迭代地更新分类器的内部参数，使损失函数最小化。一次训练完成后用验证集来验证分类器性能防止过拟合，重复训练，并选择性能最优的参数进行保存。

步骤4：性能测试。选择分类器最优的内部参数并设置为预测模式，将测试集的样本输入到分类器进行预测，将预测结果和真实标签进行比对。

第三步、构建对抗样本检测器，待检测的样本首先将被送入对抗样本检测器来判断合法性。当待检测的样本是合法输入，则转交给分类器进行预测，通过预测结果来判断该样本是否为恶意样本，当待检测的样本是非法输入，则标记为对抗样本直接丢弃。

检测器首先获取输入样本的特定属性，然后通过对数据库中表的查询、插入和更新等操作来识别和记录对抗攻击行为。对一个待检测样本x，包含以下步骤：

步骤1：获取文件特定属性。根据PE文件格式解析出x中可执行代码段的数据记为x_code，对其做哈希操作得到Hash(x_code)，将整个输入文件做哈希得到Hash(x)，获取当前时间得到t_now。

步骤2：识别攻击行为。特征数据库中的Identify表用来记录对抗样本攻击行为。将Hash(x_code)作为索引查询Identify表中是否存在记录，当存在记录r时，则取出这条记录的所有字段(r_num,r_hash,r_time)。其中r_num为该记录被检测出存在攻击行为的次数，r_hash为插入该条记录时获得的输入样本哈希值、r_time为插入该条记录时的时间戳。将r中的字段和x的相关属性进行对比，当r_num大于阈值N且Hash(x)≠r_hash时，则判定x为非法输入并丢弃，并更新该条记录的r_num字段为r_num+1，否则判定x为恶意样本。

步骤3：分类器预测。当记录r不存在时，则表示x为合法输入，接着送入分类器F进行预测来判断x是否为恶意样本。是恶意样本，则将(Hash(x_code),1,Hash(x),t_now)作为一条新的记录插入数据库的Identify表中。

步骤4：定期数据清理。定期扫描数据库中的Identify表，根据设定的阈值T，将(t_now-r_time)＞T的记录删除。

本发明的有益效果：本发明的方法不但能够有效检测出未知恶意软件或已知恶意软件的变种，而且能够有效识别出对抗样本攻击行为。与现有的基于深度学习的恶意软件检测模型相比，大幅度提高了检测模型的安全性和检测效率。

附图说明

图1是本发明所提出的基于深度学习的恶意软件检测方法。

图2是本发明所使用的卷积神经网络分类器的具体架构。

具体实施方法

以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

第一步、收集大量恶意样本和良性样本构建样本数据集。

收集两组带标签的Windows PE文件组成一个数据集，共计10000个。第一组是恶意样本集，取自VirusShare网站的5000个恶意样本，数据标签设置为1。第二组是良性样本集，共包含了5000个良性样本，分别取自纯净版的Windows XP、Windows7、Windows 8镜像和各类Windows软件包，数据标签设置为0。所有这些样本均大于1KB小于2MB，包含多种PE文件类型(如exe、dll等)，将所有的这些文件进行Hash计算作为文件名，确保没有重复文件。

第二步、构建卷积神经网络分类器，根据样本数据集对分类器进行训练，确定分类器内部参数。

利用Keras库(后端为Tensorflow)构建卷积神经网络分类器，如图2。对一个输入样本x(最大长度2MB)，包含以下步骤：

步骤1：数据预处理。x可以表示为离散字节序列x＝(x₁,x₂...x_m),m<2M，其中x_i∈{0,1,...,255}。首先进行数据预处理，通过补0的形式生成固定长度为2MB的序列x_pad。

步骤2：词向量化。x_pad经过词向量层E，映射为2M*8大小的向量矩阵e，记为e＝E(x_pad)。

步骤3：特征抽取。e分别送入两个一维卷积层Conv1和Conv2，两个卷积层中卷积核的大小为500，步数为500，数量为128个。其中Conv1中的激活函数设置为Sigmoid，Conv2中的激活函数设置为Relu，得到C₁＝Conv1(e)，C₂＝Conv2(e)

步骤4：选取最显著特征。将C₁和C₂做对应元素元素相乘得到C，再通过全局最大池化层得到长度为n_filter的向量p＝Maxpooling(C)。

步骤5：输出分类结果。将p送入包含128个节点的全连接层W，最后通过Sigmoid层输出结果output＝Sigmoid(W(p))，如果output值大于0.5，则x被判定为恶意软件，否则x为良性文件。

利用构建的数据集来训练卷积神经网络分类器F，最终确定其分类器的内部参数，具体步骤如下：

步骤1：将数据集中10000个样本打乱并划分为训练集、验证集和测试集，比例分别为80％，10％，10％。

步骤2：损失函数选取。选取交叉熵函数作为损失函数，损失函数值越小说明分类器越逼近真实的数据集。

步骤3：训练分类器。将训练集中的样本及其对应的标签输入分类器，用Adam优化算法迭代地更新分类器的内部参数，使损失函数最小化。为加速训练过程，这里使用GPU服务器(GPU卡型号为Tesla K80)来进行训练。

步骤4：性能测试。选择分类器最优的内部参数并设置为预测模式，将测试集的样本输入到分类器进行预测，将预测结果和真实标签进行比对。为了避免特定的测试集可能产生偏差的结果，重复50次训练过程并取不同测试集上的性能平均值，最终得到的平均精度为0.924，平均AUC值为0.975。

第三步、构建对抗样本检测器，如图1。待检测的样本首先将被送入对抗样本检测器来判断合法性，如果是合法输入则转交给分类器进行预测，通过预测结果来判断该样本是否为恶意样本，如果是非法输入则标记为对抗样本直接丢弃。检测器通过对数据库中表的查询、插入和更新等操作来识别和记录对抗攻击行为。

这里采用MYSQL 14.14作为数据库并通过Python 3.6的pymysql库进行本地调用，T设置为240hours，N设置为3。模拟攻击者，利用Kolosnjaji所描述的梯度攻击算法针对分类器F每隔60s生成一个修改的恶意样本，试图通过不断与分类器交互来生成有效对抗样本。假设正常用户每10s输入一个合法文件进行检测。

步骤1：获取文件特定属性。根据PE文件格式解析出x中可执行代码段的数据记为x_code，对其做哈希操作得到Hash(x_code)，将整个输入文件做哈希得到Hash(x)，获取当前时间得到t_now。

步骤2：识别攻击行为。特征数据库中的Identify表用来记录对抗样本攻击行为。将Hash(x_code)作为索引查询Identify表中是否存在记录，如果存在记录r，则取出这条记录的所有字段(r_num,r_hash,r_time)。其中r_num为该记录被检测出存在攻击行为的次数，r_hash为插入该条记录时获得的输入样本哈希值、r_time为插入该条记录时的时间戳。将r中的字段和x的相关属性进行对比，如果r_num大于阈值N且Hash(x)≠r_hash，则判定x为非法输入并丢弃，并更新该条记录的r_num字段为r_num+1，否则判定x为恶意样本。

步骤3：分类器预测。如果记录不存在，则表示x为合法输入，接着送入分类器F进行预测来判断x是否为恶意样本。如果是恶意样本，则将(Hash(x_code),1,Hash(x),t_now)作为一条新的记录插入数据库的Identify表中。

步骤4：定期数据清理。定期扫描数据库中的Identify表，根据设定的阈值T，将(t_now-r_time)＞T的记录删除，这样可以减小表的大小进而提高查询效率。

通过具体实施，100％基于梯度攻击算法的对抗样本可以被准确识别，这些对抗样本被直接丢弃而不进入分类器。由于分类器对样本的检测速度远小于检测器检测的速度，所以本发明所提的方法不仅能够成功抵御对抗样本攻击，而且可以大大提高系统的检测效率。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进，但这些改进也应视为本发明的保护范围。

Claims (1)

1.一种基于深度学习的恶意软件检测方法，其特征在于，步骤如下：

第一步、收集恶意样本和良性样本，构建样本数据集；

构建样本数据集的具体方法如下：收集两组带标签的PE文件组成一个数据集；第一组是恶意样本集，数据标签设置为1；第二组是良性样本集，数据标签设置为0；两组样本集所包含的文件数量相同，所有样本的大小均小于lMB，文件名设置为该文件的Hash值；

第二步、构建卷积神经网络分类器，根据样本数据集对分类器进行训练，确定分类器内部参数；

作为深度学习的代表算法之一，卷积神经网络分类器F所需要的所有层均能使用成熟的深度学习算法库来实现；对一个输入样本x，最大长度l，构建卷积神经网络分类器包含以下步骤：

步骤2.1：数据预处理；x表示为离散字节序列x＝(x₁,x₂...x_m),m<l，其中x_i∈{0,1,...,255}；首先进行数据预处理，通过补0的形式生成固定长度为l的序列x_pad；

步骤2.2：词向量化；x_pad经过词向量层E，映射为固定尺寸的向量矩阵e，记为e＝E(x_pad)；

步骤2.3：特征抽取；e分别送入两个一维卷积层Conv1和Conv2，两个卷积层中卷积核的大小s_filter和数量n_filter均相同；其中Conv1中的激活函数设置为Sigmoid，Conv2中的激活函数设置为Relu，得到C₁＝Conv1(e),C₂＝Conv2(e)；

步骤2.4：选取最显著特征；将C₁和C₂做对应元素相乘得到C，再通过全局最大池化层得到长度为n_filter的向量p＝Maxpooling(C)；

步骤2.5：输出分类结果；将p送入全连接层W，最后通过Sigmoid层输出结果output＝Sigmoid(W(p))，根据output值和给定的阈值threshold，来判定x是否为恶意软件；

利用构建的样本数据集来训练卷积神经网络分类器F，最终确定其分类器的内部参数，具体步骤如下：

步骤2.6：数据集划分；将样本数据集打乱并划分为训练集、验证集和测试集三个部分；

步骤2.7：损失函数选取；选取交叉熵函数作为损失函数，损失函数值越小说明分类器越逼近真实的数据集；

步骤2.8：训练分类器；将训练集中的样本及其对应的标签输入分类器，用Adam优化算法迭代地更新分类器的内部参数，使损失函数最小化；一次训练完成后用验证集来验证分类器性能防止过拟合，重复训练，并选择性能最优的参数进行保存；

步骤2.9：性能测试；选择分类器最优的内部参数并设置为预测模式，将测试集的样本输入到分类器进行预测，将预测结果和真实标签进行比对；

第三步、构建对抗样本检测器，待检测的样本首先将被送入对抗样本检测器来判断合法性；当待检测的样本是合法输入，则转交给分类器进行预测，通过预测结果来判断该样本是否为恶意样本，当待检测的样本是非法输入，则标记为对抗样本直接丢弃；

检测器首先获取输入样本的特定属性，然后通过对数据库中表的查询、插入和更新等操作来识别和记录对抗攻击行为；对一个待检测样本x，包含以下步骤：

步骤3.1：获取文件特定属性；根据PE文件格式解析出x中可执行代码段的数据记为x_code，对其做哈希操作得到Hash(x_code)，将整个输入文件做哈希得到Hash(x)，获取当前时间得到t_now；

步骤3.2：识别攻击行为；特征数据库中的Identify表用来记录对抗样本攻击行为；将Hash(x_code)作为索引查询Identify表中是否存在记录，当存在记录r时，则取出这条记录的所有字段(r_num,r_hash,r_time)；其中r_num为该记录被检测出存在攻击行为的次数，r_hash为插入该条记录时获得的输入样本哈希值、r_time为插入该条记录时的时间戳；将r中的字段和x的相关属性进行对比，当r_num大于阈值N且Hash(x)≠r_hash时，则判定x为非法输入并丢弃，并更新该条记录的r_num字段为r_num+1，否则判定x为恶意样本；

步骤3.3：分类器预测；当记录r不存在时，则表示x为合法输入，接着送入分类器F进行预测来判断x是否为恶意样本；是恶意样本，则将(Hash(x_code),1,Hash(x),t_now)作为一条新的记录插入数据库的Identify表中；

步骤3.4：定期数据清理；定期扫描数据库中的Identify表，根据设定的阈值T，将(t_now-r_time)＞T的记录删除。