CN111090859A

CN111090859A - 一种基于图编辑距离的恶意软件检测方法

Info

Publication number: CN111090859A
Application number: CN201911165631.8A
Authority: CN
Inventors: 张继; 王勇; 胡吉双; 刘振岩; 彭图; 林灵
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2020-05-01
Anticipated expiration: 2039-11-25
Also published as: CN111090859B

Abstract

本发明提出一种基于图编辑距离的恶意软件检测方法，在保证一定准确率的情况下，提升了图编辑距离的计算效率。该方法包括：从恶意软件的apk文件中提取静态的函数调用图；根据所述静态的函数调用图中的敏感API函数提取得到敏感子图；采用禁忌搜索算法计算所述敏感子图的图编辑距离；根据所述图编辑距离对软件进行检测。

Description

一种基于图编辑距离的恶意软件检测方法

技术领域

本发明属于恶意软件攻击技术领域，具体涉及一种基于图编辑距离的恶意软件检测方法。

背景技术

将函数调用图作为软件特征进行恶意软件的检测是近年来较为流行的方式，相比于其他方式更能准确代表软件的行为和意图。目前将函数调用图作为软件特征并进行检测主要分为如下几种：

(1)函数调用图的整体信息。这是对函数调用图信息的简单提取，包括图的节点和边的数量等，作为应用软件的特征向量。Lee YR等使用二进制可执行文件中的函数调用图的结构信息，即将函数调用图看作是控制流图(CFG)，采用CFG的四元组信息，即CFG的块总数，CFG中的边缘总数，引用其他函数的边的总数，以及函数的大小(函数中的指令数)，作为函数调用图的结构信息进行调用图的函数匹配，并用软件家族内部和家族间的相似性对比实验验证了该特征的有效性。

(2)函数调用图之间的图编辑距离。该方法将两个应用软件的函数调用图的编辑距离作为相似度。这种特征计算方法的优点是准确率比较高，缺点是直接计算图编辑距离是一个NP难题，因为要计算出所有图编辑操作组合的代价和，才能得到最小图编辑距离，这将使得该方法所需时间、空间资源都非常多，而且不符合现代恶意软件检测的实时性要求。因此，可以通过改善图编辑距离的计算效率，牺牲一定精确度的方式，合理使用图编辑距离作为应用软件的特征。Kostakis等使用模拟退火(Simulated Annealing，SA)的方法改善图编辑距离的计算效率，在对软件家族内部和软件家族之间的图编辑距离的计算中得到了非常好的计算效率和准确率。

(3)函数调用图里某些特征的直方图。利用函数调用图中的某些特征，如函数结构等，可以获得函数的分布情况，作为函数调用图的特征参与到函数调用图之间相似度的计算中去。Gascon H以进程为单位，将基于汇编代码的函数调用转换成直方图，并将n-gram、马尔可夫链结合作为特征，用最短图内核计算图之间的相似度，通过对比实验证明了使用图形的特征表示比使用向量的特征表示得到了更好的分类精度。

(4)函数调用路径。该方法从某一特定节点出发，向下或向上查找另一特定节点的调用路径，将这些路径组合成一个应用软件的特征集。在进行两个应用软件的相似度比较时，可以使用字符编辑距离计算两个路径的距离。罗文塽以敏感API为中心，提取函数调用图中的非用户操作序列，得到了很好的召回率。

(5)最大公共子图。该方法通过搜索两个应用软件函数调用图中的最大公共子图，并使用剪枝、设置步长等方法增加最大公共子图的容错性和适应性，以最大公共子图的规模作为两个应用软件之间的相似度。该计算方法也是NP难题，需要消耗许多资源。但是在进行软件家族的分类任务时效果较好。

(6)最大频繁子图。该方法从函数调用图中提取出现频率较高的子图，作为应用软件的特征。Alireza K使用图形挖掘算法，从汇编代码的操作码图中提取频繁子图作为程序的微签名，在检测已知软件家族的新成员的实验中获得了良好的效果。

在现有的将函数调用图作为软件特征的实验中，大部分研究者都把精力放在了如何计算两个函数调用图之间的相似性方面。函数调用图相似性的计算方法有图编辑距离、频繁子图、最大公共子图、图的同构算法以及基于局部邻域和控制流图的匹配函数等。但图编辑距离和最大公共子图的计算都属于NP难题，在规模较大的图上运行算法会导致时间复杂度非常高。因此一些学者对图编辑距离进行了近似计算，另一些将语言模型n-gram应用于函数调用图的特征向量提取方法，虽然这些方法能提升计算效率，但是准确性会有所下降。在使用函数调用图进行距离计算时，最大的问题就是函数调用图的规模太大。

通过以上分析可知，在多种使用图进行距离计算的方法中，图编辑距离的计算在恶意软件检测中效果较好，但是也有不足，即需要的时间和空间资源较多。虽然已经将应用软件的函数调用图进行了化简，但如果使用原始的图编辑距离的计算方法，计算起来仍然需要消耗很多资源。

发明内容

本发明针对上述问题，提出一种基于图编辑距离的恶意软件检测方法，使用禁忌搜索算法对图编辑距离进行了近似计算，在保证一定准确率的情况下，提升了图编辑距离的计算效率。

本发明通过以下技术方案实现：

一种基于图编辑距离的恶意软件检测方法，包括：

从恶意软件的apk文件中提取静态的函数调用图；

根据所述静态的函数调用图中的敏感API函数提取得到敏感子图；

采用禁忌搜索算法计算所述敏感子图的图编辑距离；

根据所述图编辑距离对软件进行检测。

所述采用禁忌搜索算法计算所述敏感子图的图编辑距离，具体包括：

①根据任意两张所述敏感子图的图编辑代价进行计算，得到代价矩阵；

②根据所述代价矩阵构建初始解，并作为当前解的初始值；

③交换所述当前解的初始值中随机两个位置的值来搜索邻居解；

④根据所述代价矩阵计算所述邻居解的图编辑距离；

⑤如果所述邻居解不在禁忌表中，并且它的图编辑距离比当前解的图编辑距离低，则将其作为新的当前解；

⑥重复上述3-5步骤m次，m代表一个初始解最多产生邻居解的数量；

⑦如果上述产生的当前解的图编辑距离优于全局最优解的图编辑距离，则更新解禁忌，将当前解加入到禁忌表中；

⑧重复上述步骤③-⑦n次，n代表n个初始解，得到全局最优解的图编辑距离。

本发明的有益效果：

1、本发明基于敏感API函数的调用图化简方法，不仅能够突出程序的真实特征，提升恶意代码检测效率，而且在减少函数调用图规模以后使得计算图编辑距离也变得简单。

2、本发明使用禁忌搜索算法来近似计算图的编辑距离，改进图编辑距离的计算效率。同时根据函数调用图的代价矩阵特点，构建禁忌搜索算法的初始解，实验结果证明该方法相比于随机初始解效率更高且更稳定。

3、对于初始的可行解，传统禁忌搜素算法采用了随机生成的方法，以保证初始时对每一个可行解的公平选择。但是禁忌搜索对于禁忌表的维护规则使得该算法十分依赖于初始解的选择。因此本发明利用函数调用图的代价矩阵的特点，提出适合于函数调用图的初始解构造方法。

附图说明

图1为本发明一种基于图编辑距离的恶意软件检测方法流程图。

具体实施方式

下面结合附图对本发明的实施例进行详细的描述。

如图1所示，本发明的一种基于图编辑距离的恶意软件检测方法，以安卓程序为例，具体包括：

步骤一：从安卓恶意应用软件的apk文件中提取静态的函数调用图；

本实施例所述的函数调用图是指一个应用软件启动后，在完成特定功能的同时会产生诸多的函数调用，将程序的函数调用按照特定规则连接起来，就形成了包含节点和边的函数调用图。其中，节点代表具体函数名称，边代表调用关系。安卓应用程序一般由三部分组成，分别是工程描述文件AndroidManifest.xml、Java源代码以及各种资源文件。

基于此，在本实施例中该步骤具体包括：

1、使用android.jar解压apk文件，通过反编译得到Manifest.xml和.dex文件；

2、对所述Manifest.xml和.dex文件的生命周期进行模拟和建模，分析所有可能的函数调用路径，构造虚拟主函数dummy main函数；

3、建立所述dummy main函数调用的控制流图，并将所述控制流图转化成静态函数调用图。

在本实施例中，使用gexf文件是作为载体来描述静态函数调用图，其中包含了所有与图相关的信息。

在本实施例中，使用FlowDroid工具建立所述dummy main函数调用的控制流图。

步骤二：根据所述静态的函数调用图中的敏感API函数提取得到敏感子图；

在本实施例中，该步骤的实现思想为：敏感API体现着应用程序对敏感数据的真实处理操作，但是安卓应用程序的静态函数调用图一般很大，里面不仅包含着敏感API节点，还包含着比敏感API节点数量更多的普通节点。如果直接对其分析，那么敏感API的特点和优势无法被挖掘出来。因此，从规模较大的函数调用图中挖掘出敏感函数及其相关信息，有助于准确表达静态函数调用图的特征。

在具体实施时，安卓应用程序存储的敏感信息一般主要是系统数据和用户数据，涉及到敏感信息的API函数只有一部分，因此将这些API函数从应用程序的函数调用图中抽取出来，分析和提取其前后的调用关系，即可得到敏感API函数调用图。

如前所述，所述的gexf文件是包含若干个函数调用图的文件，里面列出了图的节点信息，基于此具体步骤如下：

①查找所述函数调用图中的dummy main；

②从所述dummy main开始，循环迭代寻找所述dummy main下的子树，并记录节点和调用边信息；

③将包含敏感API函数的子树加入函数调用图中，得到敏感子图。

需要注意的是，如果dummy main函数被虚拟主函数之外的函数调用，那么该子树将被包含在另外的子树中。如果该子树下包含了敏感API，那么包含了它的子树也会包含敏感API，而直接将该子树加入函数调用图中将会产生重复的子树。因此需要在找到dummymain函数时，分析其被调用情况，使得一些被虚拟主函数之外的其他函数调用的子树不会被加入到函数调用图中。

步骤三：采用构建初始解的禁忌搜索算法计算所述敏感子图的图编辑距离

在本实施例中所述的图编辑距离是指两个图通过节点和边的替换操作完成相互转换所需的总代价。

在本实施例中所述的禁忌搜索算法是一种亚启发式(meta-heuristic)随机搜索算法，它从一个初始可行解出发，选择一系列的特定搜索方向(移动)作为试探，选择实现让特定的目标函数值变化最多的移动。为了避免陷入局部最优解，禁忌搜索算法中采用了一种灵活的“记忆”技术，对已经进行的优化过程进行记录和选择，指导下一步的搜索方向。

在本实施例中，采用构建初始解的禁忌搜索算法计算所述敏感子图的图编辑距离的步骤如下：

1、根据任意两张所述敏感子图的图编辑代价进行计算，得到代价矩阵；

2、根据所述代价矩阵构建初始解，并作为当前解的初始值；

3、交换所述当前解的初始值中随机两个位置的值来搜索邻居解；

4、根据所述代价矩阵计算所述邻居解的图编辑距离；

5、如果所述邻居解不在禁忌表中，并且它的图编辑距离比当前解的图编辑距离低，则将其作为新的当前解；

6、重复上述3-5步骤m次，m代表一个初始解最多产生邻居解的数量；

7、如果上述产生的当前解的图编辑距离优于全局最优解的图编辑距离，则更新解禁忌，将当前解加入到禁忌表中；

8、重复上述3-7步骤n次，n代表n个初始解，得到全局最优解的图编辑距离。

在本实施例中，所述构建初始解采用以下方法：

该步骤的实现思想为：由于计算图编辑距离首先需要构建代价矩阵，根据图编辑距离可以构造出代价矩阵，然而并非所有的图编辑组合都可以成为可行解。代价矩阵中的一部分为真正可以两两交换的函数节点的图编辑代价，其他部分都出现了不可进行的无意义操作的代价，并且相应矩阵元素都设置成了∞。如果初始解是包含了∞的解，那么算法可能在该解的周围寻找包含∞的邻居解，从而影响搜索效率。因此，应该将算法的初始解设置为不包含∞的可行解。

例如：设有n个节点的图g与有m个节点的图h的图匹配可行解数组的定义为：

Ghh＝[a₁,a₂,...a_k,...,a_n,a_n+1,...,a_n+m],a_k∈{x|1≤x≤n+m}

其中，a_k表示图g的第k个节点匹配到的图h的第k个节点，且该数组中的元素两两互不相同。特别的，节点编号为n+1～n+m的节点表示图g中添加的空节点，需要匹配至图h中的真实节点，表示在图h中将这些真实节点删除；如果这些节点匹配到图h中的空节点，那匹配则失去意义。反之也一样，图h中的编号为m+1～m+n号的节点对应图g中的节点编号必须是1～n。如果空节点没有与真实节点匹配，则将值设置为-1。假设n＝4，m＝6，依据可行解[2,3,9,6,1,-1,-1,4,5,-1]可构造出对应的代价矩阵。

从构造出来的代价矩阵的结构可以看出，有一组可行解是一定存在的。假设图g的节点数量为n，图h的节点数量为m，且n<m，则可以将图g的所有节点随机匹配至图h中的n个节点，然后将图h中没有匹配的m-n个节点删除，这样的操作组合可以生成一个可行解，反之n>m的情况也类似。判断得到的解是可行解的方法为：假设第一个图的节点数量为n，第二个图的节点数量为m，则在代价矩阵中，前n行每行和前m列每列都存在且仅存在一个标记元素，该元素即是可行解的相应匹配在代价矩阵中的表示。

虽然这个解的质量并不一定很高，但可以在初始时避免产生包含了无意义的操作的可行解。同时，由一个可行解到达另一个可行解比由一个不可行解搜索得到一个可行解的搜索效率高，因此该初始解的构建提升了初始解的搜索效率。

基于此，该步骤具体包括：

1、根据所述代价矩阵选出左上角不包含∞的可行解；

2、根据所述可行解构造基于该可行解的代价矩阵；

3、根据所述可行解的代价矩阵进行图匹配，得到初始解。

在本实施例中，所述搜索邻居解采用以下方法：

通过上面的分析知道，并非所有的匹配关系都是有效的，如果邻居解搜索算法搜索到的可行解包含了代价矩阵中的值为∞的元素，则该可行解包含了无意义的匹配，这样的解不能成为可行解。因此，在进行邻居解的搜索时，需要进行一定的约束。

因此，邻居解的搜索方法具体为：随机指定当前解向量的两个位置，交换这两个位置匹配的节点；或者将两个真实节点之间的匹配拆开成真实节点与空节点的匹配；或者将真实节点与空节点的匹配合并成真实节点之间的匹配。

根据以上的限制条件，邻居解对应的代价矩阵的变化可以分为以下几种情况：

①左上角元素标记与左上角标记元素互换，公式表示为：

a_i＜-＞a_j，1≤i，j≤n&&1≤a_i，a_j≤m

②左上角元素标记与右上角标记元素互换，公式表示为：

a_j＝a_i，a_i＝i+m(1≤i，j≤n&&1≤ai≤m&&m＜a_j≤m+n)

③左上角元素标记与左下角标记元素互换，公式表示为：

a_ai+n＝ai，a_i＝a_j，a_j＝-1(1≤i≤n&&n＜j≤n+m&&1≤a_i，a_j≤m)

④左上角元素转换成左下角、右上角元素，公式表示为：

a_i＝a_j,a_j＝-1(1≤i≤n&&n＜j≤n+m&&m＜a_i≤m+n&&1≤a_j≤m)

⑤左下角、右上角元素转换成左上角元素，公式表示为：

a_i＝i+m，a_i+n＝i(1≤i，j≤n&&1≤a_i，a_i≤m)

在进行邻居解的搜索时，应该随机地决定使用哪种邻居解的交换方式，使得邻居解的获得几率一样，为可行解提供更广阔的搜索空间。

步骤四：根据所述图编辑距离对软件进行检测

在本实施例中，如果将上述步骤得到的图编辑距离直接作为安卓应用软件的特征模型，将会忽略函数调用图中的敏感API本身表现出的特征。因此，在进行图编辑距离计算之后，还需将敏感API函数的信息加入到特征模型中。由于不同规模的函数调用图之间的图编辑距离相差较大，图编辑距离很难归一化，因此不能直接结合敏感API信息。

因此，首先将每个函数调用图中的敏感API转化成一个维度为40的向量，向量内的元素数值为相应的敏感API在函数调用图中出现的数量。例如：向量[0,0,2,0,9,...]表示在该函数调用图中，第3个敏感API出现了2次，第5个敏感API出现了9次。

然后，计算两个应用软件的敏感API向量中同时存在的敏感API的数量，并对图编辑距离进行调整，计算方法如以下公式所示：

其中，sim(x,y)′表示两个应用软件对应的图编辑距离，|a_x∩a_y|表示两个应用软件同时存在的敏感API的数量，即相同维度上同时取非0值的维度数量。

将所述图编辑距离作为应用软件的函数调用图与另一个软件的函数调用图是否相似的判断依据，因此我们选择了基于相似性判定的聚类模型—k最近邻(KNN，K-NearestNeighbor)算法进行恶意软件检测。KNN基于样本可以被与其最近的K个邻居来代表的思想，将与样本距离最近的K个邻居中占优势的类型作为样本的分类值。

在本实施例中，采用KNN聚类算法根据图编辑距离对软件进行检测，具体包括：

①计算待测样本与其他所有样本的图编辑距离，并将其递增排序；

②检查与待测样本图编辑距离最近的K个样本的分类；

③将这K个样本中数量最多的分类作为样本的预测分类。

Claims

1.一种基于图编辑距离的恶意软件检测方法，其特征在于，包括：

从恶意软件的apk文件中提取静态的函数调用图；

采用禁忌搜索算法计算所述敏感子图的图编辑距离；

根据所述图编辑距离对软件进行检测。

2.如权利要求1所述一种基于图编辑距离的恶意软件检测方法，其特征在于，所述从恶意软件的apk文件中提取静态的函数调用图，具体包括：

2.1、使用android.jar解压apk文件，通过反编译得到Manifest.xml和.dex文件；

2.2、对所述Manifest.xml和.dex文件的生命周期进行模拟和建模，分析所有可能的函数调用路径，构造虚拟主函数dummy main函数；

2.3、建立所述dummy main函数调用的控制流图，并将所述控制流图转化成静态函数调用图。

3.如权利要求2所述一种基于图编辑距离的恶意软件检测方法，其特征在于，使用FlowDroid工具建立所述dummy main函数调用的控制流图。

4.如权利要求2或3所述一种基于图编辑距离的恶意软件检测方法，其特征在于，所述根据所述静态的函数调用图中的敏感API函数提取得到敏感子图，具体包括：

4.1查找所述函数调用图中的dummy main；

4.2从所述dummy main开始，循环迭代寻找所述dummy main下的子树，并记录节点和调用边信息；

4.3将包含敏感API函数的子树加入函数调用图中，得到敏感子图。

5.如权利要求1或2或3所述一种基于图编辑距离的恶意软件检测方法，其特征在于，所述采用构建初始解的禁忌搜索算法计算所述敏感子图的图编辑距离，具体包括：

5.1根据任意两张所述敏感子图的图编辑代价进行计算，得到代价矩阵；

5.2根据所述代价矩阵构建初始解，并作为当前解的初始值；

5.3交换所述当前解的初始值中随机两个位置的值来搜索邻居解；

5.4根据所述代价矩阵计算所述邻居解的图编辑距离；

5.5如果所述邻居解不在禁忌表中，并且它的图编辑距离比当前解的图编辑距离低，则将其作为新的当前解；

5.6重复上述5.3-5.5步骤m次，m代表一个初始解最多产生邻居解的数量；

5.7如果产生的当前解的图编辑距离优于全局最优解的图编辑距离，则更新解禁忌，将当前解加入到禁忌表中；

5.8重复上述步骤5.3-5.7n次，n代表n个初始解，得到全局最优解的图编辑距离。

6.如权利要求1或2或3所述一种基于图编辑距离的恶意软件检测方法，其特征在于，采用KNN聚类算法根据所述图编辑距离对软件进行检测，具体包括：

①计算待测样本与训练好的样本库中的样本的所述图编辑距离，并将其递增排序；

②检查与待测样本图编辑距离最近的K个样本的分类；

③将这K个样本中数量最多的分类作为样本的预测分类。

7.如权利要求5所述一种基于图编辑距离的恶意软件检测方法，其特征在于，所述构建初始解采用以下方法：

8.1根据所述代价矩阵选出左上角不包含∞的可行解；

8.2根据所述可行解构造基于该可行解的代价矩阵；

8.3根据所述可行解的代价矩阵进行图匹配，得到初始解。