CN107577942A - 一种用于Android恶意软件检测的混合特征筛选方法 - Google Patents

Abstract

本发明公开了用于Android恶意软件检测的混合特征筛选方法，包括如下步骤：根据现有数据生成训练集和测试集；筛选出初选特征子集；得到对应每种分类器对应的最优特征子集；利用最优特征子集对其对应的分类器进行训练；该用于Android恶意软件检测的混合特征筛选方法可以筛选出最优的特征子集以及与其相匹配的分类算法，大大的降低了分类器的建模时间，能够提高Android恶意软件检测的检测效率以及检测精度。

Description

一种用于Android恶意软件检测的混合特征筛选方法

技术领域

本发明涉及软件安全技术领域，特别涉及一种用于Android恶意软件检测的混合特征筛选方法。

背景技术

据市场研究公司Strategy Analytics最新统计数据显示，2016年第三季度Android的全球市场份额达到创纪录的87.5％，而iOS的全球市场份额跌至12.1％，这主要得益于Android系统的开放性。然而开放性也导致Android恶意软件的泛滥，这些恶意软件(如间谍软件、恐吓软件和广告软件等)给用户带来了严重的安全威胁。Android手机日益严峻的安全形势，使得如何快速高效地检测Android恶意软件成为目前的研究热点。

由于机器学习具有大规模处理数据的能力，能在相似数据结构中做出对目标的判断，因此许多研究者尝试借助机器学习方法进行Android恶意软件检测研究。用机器学习方法构建分类器可以模拟Android应用的行为，区分良性软件和恶意软件。输入分类器的特征包括Android应用程序的静态特征和动态特征，通过对Android软件安装包(Androidpackage，APK)逆向处理可获得如权限、API和意图等静态特征；通过监测APK文件安装之后运行过程的实时信息可获取如系统调用、网络流量等动态特征。

张怡婷等针对Android软件授权机制粗粒度的问题，通过提取软件运行时的用户操作场景和行为习惯等信息作为特征，使用朴素贝叶斯算法检测Android恶意软件，该方法具有较高的检测率和较低的误报率，但用户反馈的正确率不高，故检测效果难以保证。

LIU等提出一种基于权限信息的Android恶意软件检测模型，使用决策树构建分类器，并在分类器的基础上设计了一个两层的Android恶意软件检测模型。该模型在一定程度上提高了检测精度，但由于并未考虑权限以外的信息，故实用性较差。

杨欢等采用多种机器学习算法构建Android恶意软件检测模型，通过提取Android软件的组件、函数调用和系统调用类作为特征，使用三种特征构建分类器检测恶意软件，但该模型难以实现且检测效率不高。

Wolfe等提取Android软件中Java字节码信息作为特征，采用主成分分析法对其进行降维，获得降维后的数据集，进一步使用随机森林、朴素贝叶斯和决策树等算法构建分类器。该方法在一定程度上实现了Android恶意软件检测，但由于所选特征有限，故分类精度不高。

张锐等提出一种基于权限相关性的Android恶意软件检测模型，采用卡方检验计算各权限特征对分类结果的影响，去除冗余特征，再对特征聚类得到最优特征子集，使用改进的朴素贝叶斯算法检测恶意软件。由于该模型只选用了少量的权限特征，因此只能作为进一步筛选的参考依据。

Arora等提取网络流量属性作为特征信息，采用卡方检验和信息增益融合的特征筛选方法，筛选出最小特征集合，实现Android恶意软件的检测精度。但该筛选算法无法保证特征子集的规模，且筛选效果难以保证，故其分类精度不高。

综上所述，目前采用机器学习算法的检测研究成果已经比较成熟，但是常见的Android恶意软件检测方法在特征筛选方面还存在诸多不足，而这些问题的解决必然需要对特征筛选算法进行研究和改进。

发明内容

本发明的目的是提供一种用于Android恶意软件检测的混合特征筛选方法。

为此，本发明技术方案如下：

一种用于Android恶意软件检测的混合特征筛选方法，包括下列步骤：

1)根据现有数据生成训练集和测试集；

2)使用信息增益算法和ReliefF算法对数据集中特征评分，分别根据评分结果筛选两组特征集合，两组特征集合取交集形成特征集合FS；利用特征集合FS构造筛选后的训练集，基于训练集采用5折交叉验证法构训练随机森林算法分类器，获取分类结果，并利用分类结果筛选出初选特征子集；

3)使用粒子群算法从初选特征子集中搜索最优特征子集，使用朴素贝叶斯、支持向量机、J48决策树和随机森林算法构建分类器进行分类检测，并以该分类器分类结果作为粒子群算法中粒子的适应度值，迭代若干代搜索出每种算法下的最优特征子集；

4)对每种分类器使用其对应的最优特征子集进行训练，并将训练后的分类器对步骤1)中生成的测试集进行分类检测，验证筛选算法的有效性。

优选地，所述的步骤1)中样本集和测试集的生成方法为：使用反编译工具Apktool将收集到的APK文件反编译，获取Android软件安装时的清单文件AndroidManifest.xml；使用Python中的xml.etree.ElementTree模块解析清单文件AndroidManifest.xml，统计清单文件AndroidManifest.xml中的权限、意图和组件信息；将权限和意图的有无量化为0和1，将清单文件AndroidManifest.xml中窗口、服务、广播接收者和内容提供者的个数作为组件的量化结果；根据量化结果组合成特征向量，并在最后一列加入类别标签(良性为‘B’，恶意为‘M’)构成数据集，并将数据集随机分成若干份，包含训练集S和测试集T，测试集和训练集所占的比例为1:4。

优选地，所述的步骤2)中初选特征子集的筛选方法为：

a)初始化设定，设定迭代次数n的初始值为1，迭代次数n的最大值为p，评价函数的最优值设为F_best，初始化初选特征子集B_set为空集，评价函数值F1的初始最优值F_best＝0；

b)使用信息增益算法和ReliefF算法对训练集中特征评分，分别取出信息增益算法和ReliefF算法筛选出的最优的前n个特征Ifeatures和Rfeatures，则选出的特征集合FS为Ifeatures和Rfeatures的交集，使用特征子集FS构建的数据集训练分类器，获取分类结果并计算评价函数值F1，评价函数值F1的计算公式为：

F1＝2TP/(2TP+FP+FN) (1)

其中，TP表示恶意软件被正确识别的数量；FP表示良性软件被错误识别为恶意软件的数量；FN表示恶意软件被错误识别的数量；

c)判定评价函数值F1与最优值F_best的大小，若F1>F_best，则将F1赋值给F_best，将特征集合FS赋值给初选特征子集B_set；否则，进入下一步；

d)判断n是否小于p，若判断结果为“是”，n的值加1，重复步骤b)；否则，迭代停止，得到初选特征子集B_set；

优选地，所述的步骤2)中基于粒子群的最优特征子集搜索方法为：

a)随机生成与初选特征子集B_set中的每一个特征对应的位置矩阵X_i＝(X_i1,X_i2,…,X_id,…,X_iD)^T，X_id取值为0或1，0表示不包含该特征，1表示包含该特征；每一个位置代表一个粒子，随机生成对应每个粒子的速度，设第i个粒子的速度为V_i＝(V_i1,V_i2,…,V_iD)^T，每个个体极值P_i＝(P_i1,P_i2,…,P_iD)^T，种群的全局极值为P_g＝(P_g1,P_g2,…,P_gD)^T；

b)使用粒子群算法对最优的位置和速度进行搜索，计算分类结果F1值作为粒子适应度值，再根据初始粒子适应度值确定个体极值和群体极值；

c)计算更新粒子位置X_id和速度V_id，通过5折交叉验证法训练分类器，获取分类结果，并计算F1作为最新种群中粒子适应度值，并更新个体极值和群体极值，粒子位置X_id和速度V_id的更新公式为：

其中，rand()产生一个0-1之间的随机数，w为惯性权重；d＝1,2,…,D；i＝1,2,3,…,n；k为当前迭代次数；V_id为粒子的速度；c₁和c₂为非负的常数，称为加速度因子；r₁和r₂为分布于[0,1]之间的随机数；

d)当迭代次数为达到设定值，迭代停止，获取的最优粒子代表最优特征子集O_set，输出最优特征子集O_set。

与现有技术相比，本发明提供的用于Android恶意软件检测的混合特征筛选方法可以筛选出最优的特征子集以及与其相匹配的分类算法，大大的降低了分类器的建模时间，能够提高Android恶意软件检测的检测效率以及检测精度。

附图说明

图1为本发明提出的用于Android恶意软件检测的混合特征筛选方法的流程图。

图2为混合特征筛选模型的结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

如图1-2所示，该用于Android恶意软件检测的混合特征筛选方法包括下列步骤：

1)根据现有数据生成训练集和测试集；使用反编译工具Apktool将收集到的APK文件反编译，获取Android软件安装时的清单文件AndroidManifest.xml；使用Python中的xml.etree.ElementTree模块解析清单文件AndroidManifest.xml，统计清单文件AndroidManifest.xml中的权限、意图和组件信息；将权限和意图的有无量化为0和1，将清单文件AndroidManifest.xml中窗口、服务、广播接收者和内容提供者的个数作为组件的量化结果；根据量化结果组合成特征向量，并在最后一列加入类别标签(良性为‘B’，恶意为‘M’)构成数据集，并将数据集随机分成若干份，包含训练集S和测试集T，训练集和测试集所占的比例为1:4；

2)使用信息增益算法和ReliefF算法对训练集数据评分，分别根据评分结果筛选两组数据集合，两组数据集合取交集形成特征集合FS；利用特征集合FS构造筛选后的训练集，基于训练集采用5折交叉验证法训练随机森林算法分类器，获取分类结果，并利用分类结果筛选出初选特征子集，初选特征子集的筛选方法为：

a)初始化设定，设定迭代次数n的初始值为1，迭代次数n的最大值为p，评价函数的最优值设为F_best，初始化输出特征子集B_set为空集，评价函数F1的初始最优值F_best＝0；

b)使用信息增益算法和ReliefF算法对训练集中特征评分，分别取出信息增益算法和ReliefF算法筛选出的最优的前n个特征Ifeatures和Rfeatures，则选出的特征集合FS为Ifeatures和Rfeatures的交集；设样本集合S包含p个特征F＝{f1,f2,…,fp}，使用信息增益算法对p个特征的评分为G＝{g1,g2,…,gp}，使用ReliefF算法对p个特征的评分为R＝{r1,r2,…,rp}，当迭代次数n＝1时，分别从评分集合G和评分集合R中选出的最优的前n个特征Ifeatures和Rfeatures，则选出的特征集合FS为Ifeatures和Rfeatures的交集；

FS＝Ifeatures∩Rfeatures

使用特征集合FS构建的数据集，通过5折交叉验证法训练随机森林算法分类器，获取分类结果，并计算评价函数值F1，评价函数值F1的计算公式为：

F1＝2TP/(2TP+FP+FN) (1)

其中，TP表示恶意软件被正确识别的数量；FP表示良性软件被错误识别为恶意软件的数量；FN表示恶意软件被错误识别的数量；

c)判定评价函数值F1与最优值F_best的大小，若F1>F_best，则将F1赋值给F_best，将特征集合FS赋值给初选特征子集B_set；否则，进入下一步；

d)判断n是否小于p，若判断结果为“是”，n的值加1，重复步骤b)；否则，迭代停止，得到初选特征子集B_set。

3)使用粒子群算法从初选特征子集中搜索最优特征子集，使用朴素贝叶斯、支持向量机、J48决策树和随机森林算法构建分类器进行分类检测，并以该分类器分类结果作为粒子群算法中粒子的适应度值，迭代若干代搜索出每种算法下的最优特征子集；使用朴素贝叶斯、支持向量机、J48决策树和随机森林四种分类算法针对PSO和BestFirst两种搜索策略分别筛选最优特征子集，筛选结果如表1所示；

最优特征子集搜索方法为：

a)随机生成与初选特征子集B_set中的每一个特征对应的位置矩阵X_i＝(X_i1,X_i2,…,X_id,…,X_iD)^T，X_id取值为0或1，0表示不包含该特征，1表示包含该特征；每一个位置矩阵代表一个粒子，随机生成对应每个粒子的速度，设第i个粒子的速度为V_i＝(V_i1,V_i2,…,V_iD)^T，设每个个体极值P_i＝(P_i1,P_i2,…,P_iD)^T，种群的全局极值为P_g＝(P_g1,P_g2,…,P_gD)^T；

b)使用粒子群算法对最优的位置和速度进行搜索，计算分类结果F1值作为粒子适应度值，再根据初始粒子适应度值确定个体极值和群体极值；

c)计算更新粒子位置X_id和速度V_id，通过5折交叉验证法训练分类器，获取分类结果，并计算F1值作为最新种群中粒子适应度值，并更新个体极值和群体极值，粒子位置X_id和粒子速度V_id的更新公式为：

其中，rand()产生一个0-1之间的随机数，w为惯性权重；d＝1,2,…,D；i＝1,2,3,…,n；k为当前迭代次数；V_id为粒子的速度；c₁和c₂为非负的常数，称为加速度因子；r₁和r₂为分布于[0,1]之间的随机数；

d)当迭代次数达到设定值，迭代停止，获取的最优粒子代表最优特征子集O_set，输出最优特征子集O_set。

4)对每种分类器使用其对应的最优特征子集进行训练，并将训练后的分类器对步骤1)中生成的测试集进行分类检测，验证筛选算法的有效性：

a)抽取测试集中的未筛选特征、初步筛选后的较优特征和进一步筛选后的最优特征，组成3个数据集；

b)采用5折交叉验证法训练朴素贝叶斯、支持向量机、J48决策树和随机森林四种分类器，获取分类结果；

c)根据分类器的建模时间、准确率、召回率、分类结果和分类精度五项指标对比筛选特征前后分类器的分类结果，验证混合筛选模型的有效性。

准确率表示被正确识别的恶意软件和被识别为恶意软件的数量比；召回率表示被正确识别的恶意软件和实际恶意软件的数量比；分类精度表示被正确识别的软件和所有样本软件的数量比，用于衡量总体分类精度。

检测结果如表2所示，由表2可知，使用筛选后的特征训练朴素贝叶斯、支持向量机、J48决策树和随机森林分类器时，建模时间明显缩短，其中朴素贝叶斯算法的建模时间最短。在使用混合筛选算法筛选特征后，四种分类器在准确率、召回率、分类精度和分类结果四个指标上表现出优越性，其中随机森林算法的分类效果最佳，即验证了筛选算法的有效性。因此，使用本文提出的混合特征筛选模型结合随机森林算法构建分类器时，可以达到最优的检测结果和分类性能。

根据本发明提出的混合筛选算法构建的混合筛选模型如图2所示，使用该模型可以筛选出最优的特征子集以及与其相匹配的特征筛选算法，其结果用于Android恶意软件检测可以缩短模型的训练时间而且有较好的检测效果。本发明的验证实验中，使用最优特征和与其相匹配的随机森林算法构建分类器时分类精度高达98.5％，高于常见的Android检测方法的分类精度。因此，该混合特征筛选模型能够解决当前Android恶意软件检测精度低实现复杂的问题，有很高的实际价值。

表1

表2

Claims (4)

1.一种用于Android恶意软件检测的混合特征筛选方法，其特征在于，包括下列步骤：

1)根据现有数据生成训练集和测试集；

2)使用信息增益算法和ReliefF算法对训练集中特征评分，分别根据评分结果筛选两组特征集合，两组特征集合取交集形成特征集合FS；利用特征集合FS构造筛选后的训练集，基于训练集采用5折交叉验证法训练随机森林分类器，获取分类结果，并利用分类结果筛选出初选特征子集；

3)使用粒子群算法从初选特征子集中搜索最优特征子集，使用朴素贝叶斯、支持向量机、J48决策树和随机森林算法构建分类器进行分类检测，并以该分类器的评价函数值F1作为粒子群算法中粒子的适应度值，迭代若干代搜索出每种算法下的最优特征子集；

4)对每种分类器使用其对应的最优特征子集进行训练，并将训练后的分类器对步骤1)中生成的测试集进行分类检测，验证筛选算法的有效性。

2.根据权利要求1所述的用于Android恶意软件检测的混合特征筛选方法，其特征在于，所述的步骤1)中样本集和测试集的生成方法为：使用反编译工具Apktool将收集到的APK文件反编译，获取Android软件安装时的清单文件AndroidManifest.xml；使用Python中的xml.etree.ElementTree模块解析清单文件AndroidManifest.xml，统计清单文件AndroidManifest.xml中的权限、意图和组件信息；将权限和意图的有无量化为0和1，将清单文件AndroidManifest.xml中窗口、服务、广播接收者和内容提供者的个数作为组件的量化结果；根据量化结果组成特征向量，并在最后一列加入类别标签(良性为‘B’，恶意为‘M’)构成数据集，并将数据集随机分成若干份，包含训练集S和测试集T。

3.根据权利要求2所述的用于Android恶意软件检测的混合特征筛选方法，其特征在于，所述的步骤2)中初选特征子集的筛选方法为：

a)初始化设定，设定迭代次数n的初始值为1，迭代次数n的最大值为p，评价函数的最优值设为F_best，初始化初选特征子集B_set为空集，评价函数F1的初始最优值F_best＝0；

b)使用信息增益算法和ReliefF算法对训练集中特征评分，分别取出信息增益算法和ReliefF算法筛选出的最优的前n个特征Ifeatures和Rfeatures，则选出的特征集合FS为Ifeatures和Rfeatures的交集，采用特征集合FS构建数据集，通过5折交叉验证法训练分类器，获取分类结果，并计算评价函数值F1，评价函数值F1的计算公式为：

F1＝2TP/(2TP+FP+FN) (1)

其中，TP表示恶意软件被正确识别的数量；FP表示良性软件被错误识别为恶意软件的数量；FN表示恶意软件被错误识别的数量；

c)判定评价函数值F1与最优值F_best的大小，若F1>F_best，则将F1赋值给F_best，将特征集合FS赋值给初选特征子集B_set；否则，进入下一步；

d)判断n是否小于p，若判断结果为“是”，n的值加1，重复步骤b)；否则，迭代停止，得到初选特征子集B_set。

4.根据权利要求1～3中任意一项所述的用于Android恶意软件检测的混合特征筛选方法，其特征在于，所述的步骤2)中基于粒子群的最优特征子集搜索方法为：

a)随机生成与初选特征子集B_set中的每一个特征对应的位置矩阵X_i＝(X_i1,X_i2,…,X_id,…,X_iD)^T，X_id取值为0或1，0表示不包含该特征，1表示包含该特征；每一个位置矩阵代表一个粒子，随机生成对应每个粒子的速度，设第i个粒子的速度为V_i＝(V_i1,V_i2,…,V_iD)^T，每个个体极值P_i＝(P_i1,P_i2,…,P_iD)^T，种群的全局极值为P_g＝(P_g1,P_g2,…,P_gD)^T；

b)使用粒子群算法对最优的位置和速度进行搜索，计算分类结果F1值作为粒子适应度值，再根据初始粒子适应度值确定个体极值和群体极值；

c)计算更新粒子位置X_id和速度V_id，使用5折交叉验证法训练分类器，获取分类结果，并计算F1值作为最新种群中粒子适应度值，并更新个体极值和群体极值，粒子位置X_id和速度V_id的更新公式为：

<mrow> <msubsup> <mi>V</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> <mrow> <mi>k</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>wV</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> <mi>k</mi> </msubsup> <mo>+</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <msub> <mi>r</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <msubsup> <mi>P</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <msub> <mi>r</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <msubsup> <mi>P</mi> <mrow> <mi>g</mi> <mi>d</mi> </mrow> <mi>k</mi> </msubsup> <mo>-</mo> <msubsup> <mi>X</mi> <mrow> <mi>i</mi> <mi>d</mi> </mrow> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

其中，rand()产生一个0-1之间的随机数，w为惯性权重；d＝1,2,…,D；i＝1,2,3,…,n；k为当前迭代次数；V_id为粒子的速度；c₁和c₂为非负的常数，称为加速度因子；r₁和r₂为分布于[0,1]之间的随机数；

d)当迭代次数达到设定值，迭代停止，获取的最优粒子代表最优特征子集O_set，输出最优特征子集O_set。