CN113420293A - 一种基于深度学习的安卓恶意应用检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度学习的安卓恶意应用检测方法及系统，涉及网络安全技术领域。本发明设计的基于深度学习的安卓恶意应用检测方法及系统可减少传统的基于特征码的恶意应用检测技术在应对新的恶意应用产生情况下处理速度上的不足。通过对包含应用静态信息的文件进行反编译处理，从中提取出可表征应用是否为恶意应用的信息，经过数据预处理后生成特征信息输入矩阵，采用多层卷积神经网络进行训练，优化得到较优的参数，能有效检测出恶意应用。

Description

一种基于深度学习的安卓恶意应用检测方法及系统

技术领域

本发明涉及网络安全技术领域，具体涉及一种基于深度学习的安卓恶意应用检测方法及系统。

背景技术

安卓诞生的数年来凭借其平台的开放性获得了巨大的市场渗透率，同时针对安卓的各类恶意应用数量急剧增加。从2010年卡巴斯基首次发现短信特洛伊木马程序以来，安卓恶意软件不断发展，通过增加代码混淆、隐蔽的命令和控制通信通道等方式来加强躲避检测的能力。而无论是广泛使用的签名和特征码技术、对于应用内容进行分析的静态检测技术，还是沙箱动态检测技术都有其弊端。

最早出现基于签名和特征码技术，其优点是检测速度快、误报率低，仍被当前安全厂商采用，但是无法检测短时间爆发的未知恶意应用，并且随着恶意软件数量的不断增长，很难维持庞大的特征库。并且传统的基于静态检测方法检测准确率不高，而动态检测方法需要占用大量的检测时间，越来越难以适应恶意应用数量快速增长的情况。因此，从中得出恶意应用的检测需要更精准的信息提取能力和更好的分类算法。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种能有效检测出安卓恶意应用的检测方法及系统。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于深度学习的安卓恶意应用检测方法，包括以下步骤：

步骤1、获取检测所需的应用素材之后，从中进行安卓应用特征选择；

步骤2、对选择出的安卓应用特征进行预处理，得到序列信息；

步骤3、将序列信息输入网络进行训练，并进行恶意应用检测模型优化，输出优化后的模型；

步骤4、采用生成的模型进行恶意应用检测，以验证效果。

优选地，步骤1中采用权限信息、API类和ACTION类作为安卓应用特征的特征信息。

优选地，步骤2中，对APK文件反编译，得到AndroidManifest.xml和smali文件，从AndroidManifest.xml中提取出权限类、ACTION类，从smali文件中提取API类，将提取到的这些原始特征信息经过词向量编码后形成特征序列。

优选地，步骤2中，对于将特征信息转化为序列的方式，采用随机化初始化的词向量嵌入方法，在使用的特征信息不超过2000种的情况下，采用随机初始化为词向量的编码方式生成特征信息对应为词向量的词典。

优选地，步骤2中，将每个应用的权限类、API类、ACTION类信息根据统一随机初始化为词向量的编码方式进行编码，以此种编码方式将应用特征信息表示为二值化序列，从而便于输入神经网络进行训练，经过预处理后的APK文本的样式中，每一个样本的特征信息经过提取后按照权限信息、ACTION信息和API信息的顺序进行排列，形成一个n*m大小的矩阵序列。

优选地，步骤3中，将序列信息输入多层卷积神经网络进行训练，所述多层卷积神经网络的结构为包括：

输入层：由每个应用提取的特征信息的词向量组成的矩阵组成，输入矩阵大小为N*K，其中K为词向量的长度，N为序列的长度；

卷积层：在输入层的基础上，使用卷积核进行卷积操作得到特征图，使用的3种大小的卷积核，分别是3*K、4*K、5*K，其中每种类型大小的卷积核有100个含有不同值的过滤器，每一个过滤器都能从输入的矩阵中抽取出一个特征图，在自然语言处理中称为文本特征；

池化层：对特征进行进一步提取，对特征图的池化操作方式是取最大值池化的方式，即将每个特征图向量中最大的一个值抽取出来，组成一个一维向量；

全连接层：该层的输入为池化操作后形成的一维向量，经过激活函数输出，再加上Dropout层防止过拟合，最后，将所得向量f传递到多层感知器MLP，包括完全连接的隐藏层和全连接的输出层；

输出层：输出当前样本二分类结果，然后和样本标签作对比，通过BP算法进行误差反向传播调整神经网络的参数。

优选地，所述多层卷积神经网络训练之前进行参数初始化。

优选地，步骤4中，把经过参数优化的模型用验证集进行恶意应用检测，记录、分析检测结果，并与机器学习方法对比。

优选地，所述验证集的获取方式为：利用爬虫方法获取良性应用样本，恶意应用样本则来自VirusShare平台的样本集，并随机划分80％的样本为训练数据集，20％为验证集。

本发明还提供了一种用于实现所述的方法的系统，包括数据集获取模块、安卓应用特征提取及预处理模块，深度卷积神经网络训练模块；

所述数据集获取模块获取检测所需的应用素材，安卓应用特征提取及预处理模块对应用进行提取信息和加工，深度卷积神经网络训练模块将加工完成的序列信息输入网络进行训练，进行恶意应用检测模型优化，并输出优化后的模型，最后采用生成的模型进行恶意应用检测，以验证效果。

(三)有益效果

本发明设计的基于深度学习的安卓恶意应用检测方法及系统可减少传统的基于特征码的恶意应用检测技术(是一种静态检测方法)在应对新的恶意应用产生情况下处理速度上的不足。通过对包含应用静态信息的文件进行反编译处理，从中提取出可表征应用是否为恶意应用的信息，经过数据预处理后生成特征信息输入矩阵，采用多层卷积神经网络进行训练，优化得到较优的参数，能有效检测出恶意应用。

附图说明

图1为本发明的基于深度学习的恶意应用检测原理图；

图2为本发明中安卓应用特征提取原理图；

图3为本发明中经过预处理后的APK文本图示；

图4为本发明的卷积神经网络组成示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提供的一种基于深度学习的安卓恶意应用检测方法由深度卷积神经网络训练子系统和恶意应用检测子系统实现，原理如图1所示，其中，数据集获取模块获取检测系统所需的应用素材，安卓应用特征提取及预处理模块对应用进行提取信息和加工，深度卷积神经网络训练模块将加工完成的序列信息输入网络进行训练，进行恶意应用检测模型优化，并输出优化后的模型，最后采用生成的模型进行恶意应用检测，以验证效果。深度卷积神经网络训练模块在深度卷积神经网络训练子系统和恶意应用检测子系统这两个子系统中的参数不同，在深度卷积神经网络训练子系统中是通过网络自学习不断变化的，在恶意应用检测子系统中是固定的，意味着深度卷积神经网络训练子系统参数固定后就是恶意应用检测子系统。

本发明利用爬虫方法从公开的市场获取良性应用样本，恶意应用样本则来自VirusShare平台的样本集，并随机划分80％的样本为训练数据集，20％为验证集。以此为例来说明基于深度学习的安卓恶意应用检测系统工作步骤。

步骤1、数据集获取模块获取检测所需的应用素材之后，安卓应用特征提取及预处理模块从中进行安卓应用特征选择

APK文件中有很多可以用于恶意应用静态检测的特征信息，但是直接将不经处理的应用输入模型会给神经网络输入过多冗余信息，造成模型难以训练或者拟合效果差。因此需要选择适当的特征信息输入网络以实现较好恶意应用检测效果：

(1)权限类：Android系统有一个权限控制系统，用户可在安装或者使用的过程中对某应用的权限进行合理控制，限定控制权限在用户手中，并且可在安装过程中提示用户从而开启应用功能所需的权限，在一定程度上可保护用户的隐私数据并保护系统安全。然而恶意应用会采用各种隐瞒策略诱骗用户打开超出程序功能所需的权限，通过统计分析发现，大量的恶意应用会使用敏感权限如短信相关权限，监控电话是否进行的权限和安装应用的权限。大量恶意应用会通过权限漏洞进行恶意行为：安装其他非授权应用、恶意消耗资费、偷取用户通讯录、相册文件、监控用户电话活动等等

(2)API类：现今很多正常应用也会存在过度授权现象，使得仅通过其权限的使用来判断恶意应用缺乏充分性。需要从另一个角度看应用的行为，Android系统通过系统框架层提供了供应用使用的各种API去调取系统的各种资源，隐私数据也包括在其中。因此可以通过应用API的使用来表征应用的行为，即使恶意应用绕开了权限管理控制。但是传统的API特征只观察系统是否调用某个API，用0/1标志出现与否得到特征向量，这样无法得出应用的整体行为。根据这个思路，本方法考虑提取安卓应用API的使用顺序API以及它们之间的关联得到一种重要特征，用来识别应用的敏感操作。

(3)ACTION类：Android系统运行过程中会产生一些事件，应用如需获取这类消息，则需要在应用的AndroidManifest.xml文件中或应用代码中注册ACTION组件，如此应用便可收到其他应用产生的事件或者系统状态改变的事件从而监控他们的运行状态。而恶意应用常常为了实现某些隐藏功能而注册一些ACTION组件，比如检测到电池状态低的时候挂起程序以免引起怀疑的情形。

本步骤综合采用权限信息、API类和ACTION类作为特征信息，可以一定程度避免输入冗余信息，降低模型运算量，同时不丢失区分恶意应用和正常应用的重要参考信息。

步骤2、安卓应用特征提取及预处理模块对选择出的安卓应用特征进行预处理，得到序列信息

对APK文件反编译，得到AndroidManifest.xml和smali文件，如图2所示从AndroidManifest.xml中提取出权限类、ACTION类，从smali文件中提取API类，将提取到的这些原始特征信息经过词向量编码后形成特征序列。

经过统计，良性、恶意应用数据集中的安卓系统共有135种权限可以供应用申请，应用API经过统计分析共有8432个，然而恶意应用和良性应用数据集中的API按频率统计却有不同的情况。例如良性应用和恶意应用API频率统计中排名靠前的重合项很多，这是因为大多数应用都需要用到一些系统API，如字符串类函数，文件类函数，但是这类API不具有较强的区分能力，因此本方法采用在良性应用和恶意应用中频率差较高的前1500个API作为所需的特征。

对于将特征信息转化为序列的方式，本步骤采用随机化初始化的词向量嵌入方法。在本步骤使用的特征信息不超过2000种的情况下，采用随机初始化为词向量的编码方式生成特征信息对应为词向量的词典，每类信息编码长度仅为11位。

最后，将每个应用的权限类、API类、ACTION类信息根据统一随机初始化为词向量的编码方式进行编码，以此种编码方式将应用特征信息表示为二值化序列，从而便于输入神经网络进行训练。权限类、ACTION类信息放到最前面，API类信息在其后，三种信息用英文句号分隔，由于每个smali文件都是同一个类的，将每个smali文件中的API用句号结尾，即每一类文件可作为一句话。如图3所示为某APK经过预处理后的APK文本的样式，其中，每一个样本的特征信息经过提取后按照权限信息，ACTION信息和API信息的顺序进行排列，形成一个n*m大小的矩阵序列。

步骤3、深度卷积神经网络训练模块将加工完成的序列信息输入网络进行训练，并进行恶意应用检测模型优化，输出优化后的模型

本发明提出的方法将应用静态信息表示为文本形式，输入深度卷积网络模型即可从特征信息序列中学到指示恶意软件的功能，从而使文本分类神经网络适于本方法。深度学习模型一旦经过训练，就可以有效地在GPU上执行，迅速的大量扫描检测应用。

深度学习算法的最大优势在于其逐层从数据中学习特征的特点，网络越深，学到的特征越抽象，即可以自动学到表征恶意应用的特征，这消除了大量的领域专业知识和手工特征提取的需要。神经网络模型通常采用反向传播(Back Propagation，BP)进行训练。BP算法是“误差反向传播”的简称，为一种使用梯度下降法监督学习人工神经网络的方法。对于给定的人工神经网络和一个误差函数，该算法根据输出与标签计算出误差函数的值，之后计算误差相对于神经网络中每个权重的梯度，根据该梯度更新各个权重的值。通过算法可快速更新权重，即更新神经网络，经过大量数据训练后生成可快速检测恶意应用的模型。同时模型还具有可更新性，通过不断“投喂”新的恶意应用可实现对新型恶意应用变种的检测能力。

如图4所示，为本方法所用的多层卷积神经网络结构，包括：

输入层：模型的输入层由每个应用提取的特征信息的词向量组成的矩阵组成，输入矩阵大小为N*K，其中K为词向量的长度，N为序列的长度。

卷积层：在输入层的基础上，使用卷积核进行卷积操作得到特征图。实验中使用的3种大小的卷积核，分别是3*K，4*K，5*K，K表示词向量的长度。其中每种类型大小的卷积核有100个含有不同值的Filter。每一个过滤器都能从输入的矩阵中抽取出一个特征图，在自然语言处理中称为文本特征。

池化层：对特征进行进一步提取，实验中对特征图的池化操作方式是取最大值池化的方式，即将每个特征图向量中最大的一个值抽取出来，组成一个一维向量。

全连接层：该层的输入为池化操作后形成的一维向量，经过激活函数输出，再加上Dropout层防止过拟合。最后，将所得向量f传递到多层感知器MLP，包括完全连接的隐藏层和全连接的输出层。带有隐藏层的MLP可以提取的特征之间的高阶关系能够被检测从而用于分类。

输出层(输出分类结果)：即softmax层，它会使正确的分类获得更大的概率，使错误的分类得到更小的概率，输出当前样本二分类结果。然后和样本标签作对比，通过BP算法进行误差反向传播调整神经网络的参数。

卷积神经网络不仅在图像领域有优异的效果，在文本分类上表现同样优异。对于文本卷积网络，和图像中的处理稍不同的是卷积核通常是对图像的一小块区域进行计算，卷积核的宽度不与输入矩阵相同，而在输入矩阵中每一行代表一个词的词向量，构成一句话的词向量作为输入。因此在处理文本时，每个卷积核就会覆盖连续的几个词，此时卷积核的宽度需与矩阵的词向量长度相同。通过这样的方式，卷积神经网络便可捕捉连续出现的多个词之间的特征，然后利用池化层减小表示空间的大小，以减少网络中的参数和计算量，最终通过全连接层实现对APK的分类。

由于预处理时，从安卓安装包中的文件中AndroidManifest.xml和smali文件中把含有权限信息和API类，ACTION类序列的所有类连接在了一起，形成了一个n*m大小的矩阵序列，因此，用单个序列就能够代表整个应用程序的特征信息，从而通过预处理把需要的应用特征信息组成了一个文件，方便输入到卷积神经网络中。卷积神经网络的输入序列长度一般是固定的，然而不同的应用生成的序列长度是不一致的，此时需将较短的序列后面补充零值词向量。

卷积网络训练之前进行参数初始化，初始设置如表1所示。

表1卷积网络参数初始化设置

其中，学习率是对权值修改的幅度，值越大对各层网络的权值的修改幅度越大，网络收敛速度越快。之后，将应用特征信息形成的序列输入文本卷积神经网络，通过误差反向传播算法自动更新网络权重，对网络进行微调，自动学习特征，生成分类模型，作为优化后的模型。

步骤4、深度卷积神经网络训练模块采用生成的模型进行恶意应用检测，以验证效果

把经过参数优化的模型用验证集进行恶意应用检测，记录、分析检测结果，并与传统机器学习方法对比。

相比于现有的恶意软件检测方法，本发明所提方法可以克服动态检测方法时间长、依赖于特定工具的缺点。本方法只需要少量的数据预处理工作，即可自动学习数据的特征表示，相比于传统机器学习方法可以在更大的数据集上使用，并且通过向系统输入标记过的新样本，还可自动更新检测系统。通过验证集的测试，本发明所提方法检测出恶意应用的比例大于90％。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的安卓恶意应用检测方法，其特征在于，包括以下步骤：

步骤1、获取检测所需的应用素材之后，从中进行安卓应用特征选择；

步骤2、对选择出的安卓应用特征进行预处理，得到序列信息；

步骤3、将序列信息输入网络进行训练，并进行恶意应用检测模型优化，输出优化后的模型；

步骤4、采用生成的模型进行恶意应用检测，以验证效果。

2.如权利要求1所述的方法，其特征在于，步骤1中采用权限信息、API类和ACTION类作为安卓应用特征的特征信息。

3.如权利要求2所述的方法，其特征在于，步骤2中，对APK文件反编译，得到AndroidManifest.xml和smali文件，从AndroidManifest.xml中提取出权限类、ACTION类，从smali文件中提取API类，将提取到的这些原始特征信息经过词向量编码后形成特征序列。

4.如权利要求3所述的方法，其特征在于，步骤2中，对于将特征信息转化为序列的方式，采用随机化初始化的词向量嵌入方法，在使用的特征信息不超过2000种的情况下，采用随机初始化为词向量的编码方式生成特征信息对应为词向量的词典。

5.如权利要求4所述的方法，其特征在于，步骤2中，将每个应用的权限类、API类、ACTION类信息根据统一随机初始化为词向量的编码方式进行编码，以此种编码方式将应用特征信息表示为二值化序列，从而便于输入神经网络进行训练，经过预处理后的APK文本的样式中，每一个样本的特征信息经过提取后按照权限信息、ACTION信息和API信息的顺序进行排列，形成一个n*m大小的矩阵序列。

6.如权利要求5所述的方法，其特征在于，步骤3中，将序列信息输入多层卷积神经网络进行训练，所述多层卷积神经网络的结构为包括：

输入层：由每个应用提取的特征信息的词向量组成的矩阵组成，输入矩阵大小为N*K，其中K为词向量的长度，N为序列的长度；

卷积层：在输入层的基础上，使用卷积核进行卷积操作得到特征图，使用的3种大小的卷积核，分别是3*K、4*K、5*K，其中每种类型大小的卷积核有100个含有不同值的过滤器，每一个过滤器都能从输入的矩阵中抽取出一个特征图，在自然语言处理中称为文本特征；

池化层：对特征进行进一步提取，对特征图的池化操作方式是取最大值池化的方式，即将每个特征图向量中最大的一个值抽取出来，组成一个一维向量；

全连接层：该层的输入为池化操作后形成的一维向量，经过激活函数输出，再加上Dropout层防止过拟合，最后，将所得向量f传递到多层感知器MLP，包括完全连接的隐藏层和全连接的输出层；

输出层：输出当前样本二分类结果，然后和样本标签作对比，通过BP算法进行误差反向传播调整神经网络的参数。

7.如权利要求6所述的方法，其特征在于，所述多层卷积神经网络训练之前进行参数初始化。

8.如权利要求6所述的方法，其特征在于，步骤4中，把经过参数优化的模型用验证集进行恶意应用检测，记录、分析检测结果，并与机器学习方法对比。

9.如权利要求8所述的方法，其特征在于，所述验证集的获取方式为：利用爬虫方法获取良性应用样本，恶意应用样本则来自VirusShare平台的样本集，并随机划分80％的样本为训练数据集，20％为验证集。

10.一种用于实现如权利要求1至9中任一项所述的方法的系统，其特征在于，包括数据集获取模块、安卓应用特征提取及预处理模块，深度卷积神经网络训练模块；

所述数据集获取模块获取检测所需的应用素材，安卓应用特征提取及预处理模块对应用进行提取信息和加工，深度卷积神经网络训练模块将加工完成的序列信息输入网络进行训练，进行恶意应用检测模型优化，并输出优化后的模型，最后采用生成的模型进行恶意应用检测，以验证效果。

Images