CN108416219A - 一种Android二进制文件漏洞检测方法及系统 - Google Patents

Abstract

本发明属于Android二进制文件漏洞挖掘技术领域，公开了一种Android二进制文件漏洞检测方法及系统,使用基于LLVM的插桩技术实现代码覆盖率信息的收集，作为在遗传算法中衡量种子适应度的评判标准，选择种子进行下一代的随机变异；使用机器学习中的RNN网络构造测试用例生成模型，使用大量某种格式的文件训练得到的测试用例生成模型，自动生成新的测试用例。本发明可以很好的对Android系统类库等二进制文件进行Fuzzing测试；使用机器学习技术，训练得到测试用例生成模型来生成初始测试用例，可以有效提高初始代码覆盖率，节省寻找一些路径所需的变异、执行时间，提高Fuzzing的效率。

Description

一种Android二进制文件漏洞检测方法及系统

技术领域

本发明属于Android二进制文件漏洞挖掘技术领域，尤其涉及一种Android二进制文件漏洞检测方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

Fuzzing是一种黑盒测试技术，通过不断生成大量畸形测试数据来测试程序的鲁棒性和安全性。该技术的核心是测试用例生成技术，良好的测试用例生成技术能保证更高的代码覆盖率和测试效率。而Fuzzing中的测试用例生成技术又可分为生成型和变异型两种，生成型是根据预设的规则(如文件、协议的格式)直接生成测试用例，而变异型是通过对给定的种子测试用例进行变异，从而不断生成新用例。

代码覆盖率一直是影响模糊测(Fuzzing)测试效率的重要因素，Fuzzing测试用例则很大程度上影响代码覆盖率，而变异型测试用例生成技术中的随机变异方法会生成更多的格式错误的、无效的测试用例，使用最终只能达到一个较低的代码覆盖率，影响Fuzzing的效率。

此外，在Android平台上，Fuzzing技术也得到了广泛地应用，研究人员开发出了大量针对Android系统上层的应用程序、组件间通信机制的Fuzzing工具，如Intent Fuzzer，DroidFuzzer等，以及将ioctl等系统调用作为攻击向量，针对Android系统驱动漏洞的ADDFuzzer。2015年发布的MFFA，是一个专门针对Android系统中libstagefright库进行Fuzzing测试的工具，但是该框架仅仅使用了简单的随机变异策略来生成测试用例，生成大量格式错误的、无效的测试用例，使整个Fuzzing过程花费很多时间在没有意义的执行和变异上。

综上所述，现有技术存在的问题是：

(1)Fuzzing技术中的简单随机变异策略导致的代码覆盖率不高；

(2)目前大多数Android平台的Fuzzing工具是针对上层的应用程序和组件间通信机制，以及简单地针对系统调用进行测试，而缺少对Android系统框架以及系统类库的Fuzzing工具。

(3)Andorid平台的动态插桩技术多使用Hook技术来实现，而其主要应用于功能的改进和程序分析。如果在Fuzzing执行过程中进行动态插桩，会在一定程度上降低Fuzzing的效率。

解决上述技术问题的难度和意义：

首先，工具的整体使用了基于覆盖率反馈的灰盒Fuzzing技术，使用代码覆盖率信息来指导测试用例的变异，有目的性地生成有效的测试用例，避免了随机变异生成无效测试用例导致Fuzzing效率降低的问题。

实现了Android平台的基于覆盖率反馈的Fuzzing漏洞挖掘工具；

其次，将深度学习技术与Fuzzing漏洞挖掘技术相结合，提升了初始代码覆盖率，进一步提高了Fuzzing的效率；

难度在于每次执行要对数组信息进行更新，而且Fuzzer和目标程序执行在不同的进程中，为了兼顾访问速率和通信机制，因此要使用到共享内存和进行间通信技术。而Android中由于定制原因，而不支持SysV IPC功能，无法直接像在linux上使用shmget等函数直接使用共享内存。而是使用了Android特有的ASHMEM匿名共享内存机制，需要使用ioctl以及mmap的对共享内存进行申请、映射和使用。

还在于插桩的实现，使用llvm中间语言进行基本块级别的编译时插桩，在执行速度上要优于汇编级别的动态插桩。

发明内容

针对现有技术存在的问题，本发明提供了一种Android二进制文件漏洞检测方法及系统。

本发明是这样实现的，一种Android二进制文件漏洞检测方法，所述Android二进制文件漏洞检测方法包括：

使用深度学习技术中的RNN网络构造测试用例生成模型，使用大量某种格式的文件(如，xml格式，json格式)训练得到的测试用例生成模型，然后使用训练得到的模型来自动生成新的初始测试用例集合。

插桩模块，使用基于LLVM的插桩技术对目标程序进行编译时插桩，插入一段功能代码，实现对基本块的标记与记录基本块级别的覆盖率信息的获取功能。对基本块的标记，我们可以生成一个随机数给每一个基本块，作为其unique label

然后在Fuzzer模块中，使用fork函数得到的子进程中不断启动执行目标程序；读取插入的功能代码获取的覆盖率信息，将其保存一个2M的大数组中；并保存当前时刻数组的哈希值。

然后调用compare函数比较两次的哈希值是否一致，若不一致，添加到队列中；

遗传算法是根据比较结果对选择的测试用例执行变异策略，生成新一代的测试用例集合：

对于使用的变异策略，则是直接对测试用例的bit位，byte字节进行操作；

最后对于crash信息的收集则是通过logcat命令将Android系统日志中的Fatal级别的错误信息保存到一个文件中，将tombstone信息也保存到文件中：

然后再分析这两个文件，得到的crash的详细信息；还可以结合gdb调试来获取更详细的信息。

进一步，所述Android二进制文件漏洞检测方法具体包括：

直接获取目标程序或者输入测试程序，然后使用基于LLVM的静态插桩技术，进行编译时插桩，获得目标程序，然后使用adb push将目标程序推送到Android设备上，进行Fuzzing；

启动Fuzzer后，随着目标程序的执行，生成并维护一个Hash表，用以记录代码覆盖率信息；Fuzzer从测试用例集中读取测试用例传给目标程序进行执行，然后生成一个Hash表并不断更新；

目标程序每执行一个测试用例，Fuzzer会读取当前Hash表并与上一次的信息进行比较，分析是否执行新的路径或基本块，然后设置True/False标签，依次评判某个测试用例的适应度，进行选择或放弃；然后将选择的测试用例作为新的种子，依次使用变异策略进行变异，生成更多的测试用例，放到测试用例集中；

目标程序发生crash时，crash信息记录在log日志以及tombstone文件中；最后调用脚本程序分析这些文件中的信息，进行输出展示。

本发明的另一目的在于提供一种实现所述Android二进制文件漏洞检测方法的计算机程序。

本发明的另一目的在于提供一种实现所述Android二进制文件漏洞检测方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述Android二进制文件漏洞检测方法。

本发明的另一目的在于提供一种Android二进制文件漏洞检测系统包括：

测试用例生成模块，使用深度学习技术中的RNN网络构造测试用例生成模型，使用大量某种格式的文件(如，xml格式，json格式)训练得到的测试用例生成模型，然后使用训练得到的模型来自动生成新的初始测试用例集合。

插桩模块，使用基于LLVM的插桩技术对目标程序进行编译时插桩，插入一段功能代码，实现对基本块的标记与记录基本块级别的覆盖率信息的获取功能。

Fuzzer模块，在使用fork函数得到的子进程中不断启动执行目标程序；读取插入的功能代码获取的覆盖率信息，将其保存一个2M的大数组中；在每一个测试用例执行之后对当前时刻的数组计算哈希值，与上一时刻数组的哈希值进行比较，若结果不一致，则说明执行了新的基本块，则将这个测试用例加入种子队列中，作为遗传算法中新的父代种群；若结果一致，则说明未执行新的基本块，将会舍弃这个测试用例。

在遗传算法中，对选择出来的种子队列执行一系列的变异策略，生成新的测试用例，供Fuzzer模块传给目标程序进行执行。

变异策略，使用了位反转，字节反转，整数加减运算，字节替换，文件切割，文件拼接的变异策略；

测试分析模块，对于使得目标程序发生crash的测试用例，使用python脚本，收集Android系统中log日志信息，tombstone文件中的crash信息以及gdb的backtrace信息对crash信息进行收集分析整理。

本发明的另一目的在于提供一种搭载有所述Android二进制文件漏洞检测系统的信息数据处理终端。

综上所述，本发明的优点及积极效果为：

使用静态插桩技术获取覆盖率信息，从而指导Fuzzer选择有用的种子，然后再结合多种变异策略对种子进行完整的变异，最终覆盖更多的基本块，实现更高的代码覆盖率，使得测试的结果更加的完善；

使用本发明中的技术，使得我们可以对Android系统类库等二进制文件进行Fuzzing测试，从而发现Android平台更底层的一些漏洞，而不再仅仅局限于上层应用的漏洞挖掘，在实现中我们发现了libstagefright，libskia，

libxml2等库中的多个漏洞；

使用机器学习技术，训练得到测试用例生成模型来生成初始测试用例，可以有效提高初始代码覆盖率，节省寻找一些路径所需的变异、执行时间，提高Fuzzing的效率。

本发明提供的方法具体验证分析，未使用深度学习模型生成初始测试用例集，可以看到只记录了7条路径信息：使用了深度学习模型之后，Fuzzing初始情况下已经执行了304条路径。

附图说明

图1是本发明实施例提供的Android二进制文件漏洞检测方法流程图。

图2是本发明实施例提供的Android二进制文件漏洞检测系统示意图。

图中：1、插桩模块；2、新的测试用例生成模块；3、Fuzzer模块；4、测试分析模块。

图3本发明实施例提供的LSTM结构展开图。

图4本发明实施例提供的机器学习模型训练图。

图5本发明实施例提供的crash分析结果展示图。

图6本发明实施例提供的未使用深度学习模型生成初始测试用例集(a)和使用后(b)的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，Fuzzing技术中的简单随机变异策略导致的代码覆盖率不高；

目前大多数Android平台的Fuzzing工具是针对上层的应用程序和组件间通信机制，以及简单地针对系统调用进行测试，而缺少对Android系统框架以及系统类库的Fuzzing工具。

本发明针对Android二进制文件的漏洞挖掘技术的核心思想是基于Fuzzing漏洞挖掘技术，然后结合机器学习，插桩技术以及遗传算法等思想完成整体框架的设计及实现。Fuzzing的核心是测试用例生成技术，良好的测试用例生成技术能保证更高的代码覆盖率和测试效率。因此针对测试用例生成部分，(1)使用机器学习技术生成格式良好的新的测试用例，(2)使用插桩技术获取程序执行时的覆盖率信息，作为遗传算法中适应度的衡量标准，从种子序列中选择更好的种子使用多种变异策略进行变异，生成新的测试用例。两种测试用例生成技术相结合，可以达到更高的代码覆盖率，实现更全面的漏洞挖掘。

如图1所示，本发明实施例提供的Android二进制文件漏洞检测方法包括：

使用基于LLVM的插桩技术实现代码覆盖率信息的收集，作为在遗传算法中衡量种子适应度的评判标准，选择种子进行下一代的随机变异；

使用机器学习中的RNN网络构造测试用例生成模型，使用大量某种格式的文件训练得到的测试用例生成模型，自动生成新的测试用例。

所述Android二进制文件漏洞检测方法具体包括：

直接获取目标程序或者输入测试程序，然后使用基于LLVM的插桩技术，进行编译时插桩，获得目标程序，然后使用adb push将目标程序推送到Android设备上，进行Fuzzing；

启动Fuzzer后，随着目标程序的执行，生成并维护一个Hash表，用以记录代码覆盖率信息；Fuzzer从测试用例集中读取测试用例传给目标程序进行执行，然后生成一个Hash表并不断更新；

目标程序每执行一个测试用例，Fuzzer会读取当前Hash表并与上一次的信息进行比较，分析是否执行新的路径或基本块，然后设置True/False标签，依次评判某个测试用例的适应度，进行选择或放弃；然后将选择的测试用例作为新的种子，依次使用变异策略进行变异，生成更多的测试用例，放到测试用例集中；

目标程序发生crash时，crash信息记录在log日志以及tombstone文件中；最后调用脚本程序分析这些文件中的信息，进行输出展示。

如图2，本发明实施例提供的Android二进制文件漏洞检测系统包括：

插桩模块1，使用基于LLVM的插桩技术实现代码覆盖率信息的收集，作为在遗传算法中衡量种子适应度的评判标准，选择种子进行下一代的随机变异；

新的测试用例生成模块2，使用机器学习中的RNN网络构造测试用例生成模型，使用大量某种格式的文件训练得到的测试用例生成模型，自动生成新的测试用例。

Fuzzer模块3，用于进行位反转，整数加减运算，字节替换，文件切割，文件拼接的变异策略；

测试分析模块4，使用python脚本，收集Android系统中log日志信息，tombstone文件中的crash信息以及gdb的backtrace信息对crash信息进行收集整理。

下面结合具体分析对本发明作进一步描述。

因为Android系统源码是开源的，因此本发明从中直接获取目标程序或者自己写一个小的测试程序，然后使用基于LLVM的插桩技术，进行编译时插桩，获得插桩好的目标程序，然后使用adb push将其推送到Android设备上，准备进行Fuzzing。

在此之前，本发明使用大量某种格式的文件作为训练数据，使用LSTM网络构造测试用例生成网络，然后经过训练得到一个测试用例生成模型。使用该模型，本发明可以生成大量某种格式的测试用例，以扩充初始的种子输入集合，而通过模型生成的格式良好的测试用例可以提高Fuzzing过程的初始代码覆盖率，当后面再次变异出现执行某路径的测试用例时，由于Hash表中已经记录有该路径或基本块信息，则不会再去对该测试用例进行一系列的变异和fuzz，整体上减少了后续执行中相同路径的发现时间。

启动Fuzzer后，随着目标程序的执行，会生成并维护一个Hash表，用以记录代码覆盖率信息。Fuzzer会从测试用例集中读取测试用例传给目标程序进行执行，然后会生成一个Hash表并不断更新。

目标程序每执行一个测试用例，Fuzzer会读取当前Hash表并与上一次的信息进行比较，分析是否执行新的路径或基本块，然后设置True/False标签，依次评判某个测试用例的适应度，进行选择或放弃。然后将选择的测试用例作为新的种子，依次使用设计的变异策略进行变异，从而生成更多，更全面的测试用例，放到测试用例集中。

当目标程序发生crash时，crash信息会记录在log日志以及tombstone文件中。最后调用脚本程序分析这些文件中的信息，进行输出展示。如图5所示。

综上所述，本发明使用Fuzzing漏洞挖掘技术，(1)使用LSTM网络构造测试用例生成模型，自动生成格式良好的测试用例；(2)结合插桩技术获取覆盖率信息，在遗传算法中使用覆盖率指导种子的选择，变异生成测试用例；最终实现了一种适用于Android二进制文件的漏洞挖掘技术，可用于Android系统框架、系统类库等底层的二进制文件的漏洞挖掘工作。

图3本发明实施例提供的LSTM结构展开图。

图4本发明实施例提供的机器学习模型训练图。

下面结合仿真实验对本发明作进一步描述。

以对Android 7.1.1平台的libxml2系统库的测试为例，进行说明。

1、测试目标是处理xml格式文件的系统库，收集一些xml文件作为训练数据，训练得到测试用例生成模型；

2、使用得到的模型生成1000个xml文件作为本次Fuzzing实验的初始测试用例集合；

3、针对libxml2库中解析xml文件所需的几个函数，构造一个目标程序；

4、编写目标程序的编译配置文件，进行编译时插桩；

5、将编译得到的可执行程序使用adb push推送到真实设备或emulator模拟器中，将初始测试用例集合也推送到相应设备上；

6、准备完成之后，启动Fuzzing，在执行过程中，按照我们的设计进行覆盖率反馈的模糊测试；

7、当发现可以导致目标程序崩溃的测试用例时，将logcat和tombstone文件中的信息打印出来，进行分析。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

如图6所示，本发明提供的方法具体验证分析，未使用深度学习模型生成初始测试用例集，可以看到只记录了7条路径信息：使用了深度学习模型之后，Fuzzing初始情况下已经执行了304条路径。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种Android平台二进制文件的漏洞检测方法，其特征在于，所述Android二进制文件漏洞检测方法包括：

使用基于LLVM的插桩技术实现代码覆盖率信息的收集，作为在遗传算法中衡量种子适应度的评判标准，选择种子进行下一代的随机变异；

使用机器学习中的RNN网络构造测试用例生成模型，使用大量某种格式的文件训练得到的测试用例生成模型，自动生成新的测试用例。

2.如权利要求1所述的Android二进制文件漏洞检测方法，其特征在于，所述Android二进制文件漏洞检测方法进一步包括：

使用基于LLVM的插桩技术对目标程序进行编译时插桩，插入一段功能代码，实现对基本块的标记与记录基本块级别的覆盖率信息的获取功能；

对基本块的标记，我生成一个随机数给每一个基本块，作为其unique label；

然后使用fork函数得到的子进程中不断启动执行目标程序；读取插入的功能代码获取的覆盖率信息，将其保存一个2M的大数组中；并保存当前时刻数组的哈希值；

然后调用compare函数比较两次的哈希值是否一致，若不一致，添加到队列中；

遗传算法是根据比较结果对选择的测试用例执行变异策略，生成新一代的测试用例集合：

对于使用的变异策略，则是直接对测试用例的bit位，byte字节进行操作；

最后对于crash信息的收集则是通过logcat命令将Android系统日志中的Fatal级别的错误信息保存到一个文件中，将tombstone信息也保存到文件中；

然后再分析这两个文件，得到的crash的详细信息；还可以结合gdb调试来获取更详细的信息。

3.如权利要求1所述的Android二进制文件漏洞检测方法，其特征在于，所述Android二进制文件漏洞检测方法具体包括：

直接获取目标程序或者输入测试程序，然后使用基于LLVM的插桩技术，进行编译时插桩，获得目标程序，然后使用adb push将目标程序推送到Android设备上，进行Fuzzing；

启动Fuzzer后，随着目标程序的执行，生成并维护一个Hash表，用以记录代码覆盖率信息；Fuzzer从测试用例集中读取测试用例传给目标程序进行执行，然后生成一个Hash表并不断更新；

目标程序每执行一个测试用例，Fuzzer会读取当前Hash表并与上一次的信息进行比较，分析是否执行新的路径或基本块，然后设置True/False标签，依次评判某个测试用例的适应度，进行选择或放弃；然后将选择的测试用例作为新的种子，依次使用变异策略进行变异，生成更多的测试用例，放到测试用例集中；

目标程序发生crash时，crash信息记录在log日志以及tombstone文件中；最后调用脚本程序分析这些文件中的信息，进行输出展示。

4.一种实现权利要求1～3任意一项所述Android二进制文件漏洞检测方法的计算机程序。

5.一种实现权利要求1～3任意一项所述Android二进制文件漏洞检测方法的信息数据处理终端。

6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-3任意一项所述Android二进制文件漏洞检测方法。

7.一种如权利要求1所述的Android二进制文件漏洞检测方法的Android二进制文件漏洞检测系统，其特征在于，所述Android二进制文件漏洞检测系统包括：

测试用例生成模块，使用深度学习技术中的RNN网络构造测试用例生成模型，使用大量某种格式的文件训练得到的测试用例生成模型，然后使用训练得到的模型来自动生成新的初始测试用例集合；

插桩模块，使用基于LLVM的插桩技术对目标程序进行编译时插桩，插入一段功能代码，实现对基本块的标记与记录基本块级别的覆盖率信息的获取功能；

Fuzzer模块，在使用fork函数得到的子进程中不断启动执行目标程序；读取插入的功能代码获取的覆盖率信息，将其保存一个2M的大数组中；在每一个测试用例执行之后对当前时刻的数组计算哈希值，与上一时刻数组的哈希值进行比较，若结果不一致，则说明执行了新的基本块，则将这个测试用例加入种子队列中，作为遗传算法中新的父代种群；若结果一致，则说明未执行新的基本块，将会舍弃这个测试用例；

在遗传算法中，对选择出来的种子队列执行一系列的变异策略，生成新的测试用例集合，供Fuzzer模块传给目标程序进行执行。

变异策略，使用了位反转，字节反转，整数加减运算，字节替换，文件切割，文件拼接的变异策略；

测试分析模块，对于使得目标程序发生crash的测试用例，使用python脚本，收集Android系统中log日志信息，tombstone文件中的crash信息以及gdb的backtrace信息对crash信息进行收集分析整理。

8.一种搭载有权利要求7所述Android二进制文件漏洞检测系统的信息数据处理终端。