CN104168288A - 一种基于协议逆向解析的自动化漏洞挖掘系统及方法 - Google Patents

Abstract

本发明涉及基于协议逆向解析的自动化漏洞挖掘系统和方法，包括协议逆向解析模块和模糊测试模块，其中协议逆向解析模块包括报文预处理、报文分类、报文格式提取等模块，模糊测试模块包括进程监控、网络监控、输入控制和会话控制等模块；包括服务器端和客户端，服务器端包括进程监控模块和网络监控模块；客户端包括报文预处理模块、报文分类模块、报文格式提取模块，以及输入控制模块和会话控制模块；本发明提高了网络服务软件漏洞挖掘的自动化程度和效率，降低了协议分析过程对手工操作的依赖，同时降低了对目标对象的权限需求，扩大了应用范围。

Description

一种基于协议逆向解析的自动化漏洞挖掘系统及方法

技术领域

本发明涉及基于协议逆向解析的自动化漏洞挖掘系统及方法，属于计算机互联网技术领域。

背景技术

随着信息技术的快速发展和社会的不断进步，信息对于现代社会的重要性不言而喻，随之而来的信息安全问题变得尤为突出。网络安全作为信息安全的重要组成部分，关系国家安全和社会稳定，并且其重要性随着全球信息化步伐的加快而日趋突出。

一直以来，软件安全漏洞，尤其是网络服务类软件的安全漏洞，是导致各种网络安全事件频发的主要根源，绝大多数的网络入侵都是基于网络服务类软件的安全漏洞进行的。保障网络系统安全的一个重要前提就是，挖掘并修复系统中的安全漏洞，消除系统的安全隐患。因此，漏洞挖掘对保障网络安全具有非同寻常的意义。

软件测试是漏洞挖掘的重要方法，但是在通常情况下，软件的安全性漏洞并不会影响软件的功能，因此很难在测试的过程中被检测出来。模糊测试通过构造大量畸形数据，注入目标测试软件，然后通过监测软件的异常来发现软件中潜在的安全漏洞。模糊测试思想直观，易于实现，且能够发现缓冲区溢出、拒绝服务以及格式化字符串等多种重要漏洞，是漏洞挖掘的重要手段。

检索发现，中国专利申请号CN201310075248.X，公开了一种网络协议漏洞挖掘方法，其步骤包括：1构造一个具有特征码的正常数据并输入到目标客户端；2劫持系统调用，挂起目标客户端进程，记录特征数据的偏移位置；3对内存中的特征数据，进行动态变异；4继续执行目标客户端进程，使得变异后的特征数据通过目标客户端的发包流程，发送给目标服务端；5监测目标服务端状态，如果监测到异常状态，则记录异常和变异信息，并报告一个安全漏洞。该方法提高了对网络协议的漏洞挖掘效率。但是该方法需要构造特征码，在内存中进行动态变异，加大了工作量，且需要拥有目标对象的较高权限。

由此可见，现有技术能够实现对网络服务类软件的漏洞挖掘，但很依赖于用户的使用经验，需要构造符合要求的特征码，此外，现有技术要求对目标对象的较高权限。针对这些不足，本发明设计了一个能够对网络服务类软件进行自动化漏洞挖掘的系统，降低了网络服务软件漏洞挖掘对人的依赖程度，同时也没有对目标对象的权限要求。

发明内容

本发明技术解决问题：针对现有的漏洞挖掘技术自动化程度不高，而且对目标对象的权限要求过高的不足，提供一种基于协议逆向解析的自动化漏洞挖掘系统及方法，提高了漏洞挖掘的效率和自动化程度，降低了对目标对象的权限要求。

本发明的技术解决方案：基于协议逆向解析的自动化漏洞挖掘系统，其特征在于系统结合协议逆向解析技术和模糊测试技术，采用C/S结构。协议逆向解析技术：即从网络中采集目标对象发送、接收的网络数据包，经过预处理、报文分类和格式提取等步骤，得到目标对象所使用的协议格式。报文预处理、报文分类及报文格式提取等全部协议逆向解析模块和模糊测试的输入控制模块、会话控制模块均布置在客户端。

输入控制模块根据网络协议逆向解析工具的解析结果，生成模糊测试用例，由会话控制模块通过网络将测试用例发送给目标对象处理，目标对象运行在服务器端。服务器端同时还需要运行各种监控工具，监视目标对象的进程。因此，模糊测试的辅助模块——进程监控和网络监控布置在服务器端。其中：

报文预处理模块：从目标测试对象的通信数据流中抓取网络通信数据包，通过数据包过滤、分片重组、提取有效载荷数据等操作，从数据包中分离出应用层数据作为报文序列集；

报文分类模块：将报文预处理模块得到的报文序列集，按照一定的匹配规则，将格式相似的报文序列划分到同一个报文分组；

报文格式提取模块：对每个报文分组，利用多序列比对技术对报文进行比对，对齐报文，分析报文的变化率，识别出可变域、不可变域；二进制域、文本域以及分隔符域等报文关键信息域，然后形式化描述这些报文信息；

输入控制模块：根据所述报文格式提取模块生成的报文信息，按照模糊测试的要求，形成输入控制脚本；

会话控制模块：根据输入控制脚本，生成测试用例，然后连接目标测试对象，发送模糊请求序列，同时与进程监控模块和网络监控模块交互，确定目标测试对象的状态，记录网络通信数据包；

进程监控模块：监控目标测试对象的进程是否出现异常，如果某个测试用例引发目标测试对象的进程异常，进程监控模块将截获目标测试对象的进程发送给操作系统的信息，并将该信息传回所述会话控制模块，同时保存该信息，报告一个潜在的安全漏洞。进程监控模块还负责重启目标测试对象的进程，继续后续的模糊测试；

网络监控模块：捕获会话控制模块与目标测试对象进程之间的测试用例数据包，保存在指定文件中，并以测试用例编号命名。

本发明与现有技术相比的优点在于：

(1)漏洞挖掘过程自动化。本发明通过自动采集目标测试对象的通信数据包，经过报文预处理、报文分类以及报文格式提取等步骤自动逆向解析提取出目标对象所使用的网络通信协议，甚至包括未知协议的格式，这样就大大扩展了可测试网络协议的范围。根据解析结果，自动构造模糊测试用例对目标测试对象进行模糊测试，模糊测试的过程也是由输入控制脚本来控制生成大量变异的测试用例基依次发送给目标测试对象，提高了漏洞挖掘的效率和自动化程度。

(2)对目标测试对象没有权限要求。本发明只需监控目标对象是否崩溃，发送的测试用例是以软件可接受的“正常”输入来与测试对象进行交互，同时观察软件是否会出现崩溃。并不需要拥有目标对象的任何权限，包括访问、管理、控制等，扩大了应用范围，降低了对目标对象的权限要求。

附图说明

图1为本发明的系统组成框图；

图2为本发明中报文预处理流程图；

图3为本发明中报文分类的框架图；

图4为本发明中报文分类的报文匹配流程图；

图5为本发明中报文格式提取的多序列比对流程图。

具体实施方式

下面结合说明书附图，对本发明的具体实施方式做详细描述。

如图1所示，本发明基于协议逆向解析的自动化漏洞挖掘系统，将协议逆向解析技术和模糊测试技术结合，有效提升网络服务软件漏洞挖掘的自动化程度，系统包括服务器端和客户端，服务器端包括进程监控模块和网络监控模块；客户端包括报文预处理模块、报文分类模块、报文格式提取模块，以及输入控制模块和会话控制模块。系统的主要实现步骤如下：

(1)报文预处理

报文预处理首先捕获目标测试对象的通信数据包，然后对数据包进行处理，提取应用层数据作为后续分析的报文序列集。报文预处理主要分为以下几个步骤：数据包捕获、数据包过滤、分片重组、提取有效载荷数据。

首先开启网卡的混杂模式，不断监听并获得以太网上传输的每一个数据包。在Windows环境下，可以借助WinPcap实现。然后按照目标对象的属性和后续处理的要求，过滤出符合要求的数据包。WinPcap带有网络数据包过滤器，具有数据包的内核过滤功能。通过设定源或目的IP地址、端口以及传输层协议等过滤条件，就可以实现数据包过滤。

在TCP/IP协议族里，TCP数据包和IP数据包通常会出现分片情况。TCP数据包是否分片可通过TCP数据包的ACK序号是否一致进行判断，若分片则进行重组。IP数据包是否分片可通过IP数据包头里的片偏移和标志位来判断，并结合片偏移进行重组。最后提取有效载荷数据，通过分析数据包的包头数据以及捕获数据包的长度，判断数据包的有效性，剔除非法数据包和空载荷数据包，然后提取数据包的应用层数据，形成报文序列，交给网络协议逆向解析的后续步骤处理。

(2)报文分类

报文分类对所述第一步中的报文序列集进行处理，利用匹配规则将相似的报文划分到同一个报文分组。系统每次分析一个新的报文序列，首先分析报文序列的一些关键信息，包括读取报文序列的方向，判断它的类型，识别关键字；网络数据报文分为两种类型：二进制类型和文本类型。对于一条网络数据报文，除去0x0D0A(对应的控制符为\r\n)外，其余的字符都是可打印字符，则认为是文本类型报文，否则就是二进制类型报文。然后将该报文序列与已经检测的报文分组进行匹配，如果在已存在的报文分组中没有找到最佳匹配分组，则创建一个新的报文分组，并将这条报文加入到新的报文分组中。

(3)报文格式提取

报文格式提取对所述第二步中的报文分组进行分析，对每个报文分组进行多序列比对，对齐报文，分析报文每一个域的变化率，然后根据比对结果识别报文的可变域、不可变域；二进制域、文本域以及分隔符域等报文关键信息域。

(4)输入控制

输入控制是使用脚本对所述第三步中的识别的报文域进行处理，对于不同的报文域利用不同的符号表示，保持不可变域的常值性，同时控制可变域的大量变异，自动形成大量模糊测试的测试用例基。

(5)模糊测试

这一步主要对目标测试对象进行模糊测试，是漏洞挖掘的核心。首先启动并连接目标测试对象，将所述第四步中的测试用例基形成模糊测试用例依次发往目标测试对象。由网络监控模块对模糊测试用例进行记录，由进程监控模块监测目标测试对象的运行情况，这两个模块均通过连接Sulley提供的实时监控端口实现。一旦某个变异的测试用例基触发目标测试对象崩溃，进程监控模块就能截获目标测试对象的进程发送给操作系统的信息，并将该信息回传至会话控制模块，详细保存该崩溃信息及触发点，报告一个潜在的安全漏洞。此时目标测试对象崩溃，需要重启。使用脚本自动控制目标测试对象的重启，实现后续的模糊测试。

如图2所示，本发明中报文预处理模块的实现流程如下：

(1)从目标测试对象的通信数据流中抓取网络通信数据包，首先要获取本机的网络设备信息，若不能正确获取则转到(9)；

(2)系统选用WinPcap作为底层接口，WinPcap为Win32应用程序提供访问网络底层的能力，可以支持原始数据包捕获、过滤，在网络上发送原始数据包以及统计网络状态信息。打开网络接口，置网卡于嗅探模式，若设置不成功则转到(9)；

(3)根据需求，编译数据包过滤条件，过滤表达式包含一系列原语，可以指定数据包的协议、方向以及端口等属性。若不能成功编译则转到(9)；

(4)设置数据包过滤器，WinPcap的过滤器是以已声明的谓词语法为基础，通过pcap_compile()函数把过滤表达式编译成内核级的数据包过滤器。若不能准确设置则转到(9)；

(5)开始捕获目标测试对象的网络通信数据包；

(6)对每一个数据包，若不满足过滤规则，则丢弃，并转到(8)；

(7)进行数据包处理，包括分片重组、提取有效载荷数据，即应用层数据作为报文序列集；

(8)判断全部采集和预处理是否结束，若结束则转到(10)，否则转到(5)；

(9)打印错误信息；

(10)关闭数据采集。

如图3、图4所示，本发明中报文分类模块的实现流程如下：

(1)读取一条报文信息；

(2)判断报文的类型，是文本类型还是二进制类型；

(3)提取报文的基本属性，包括报文的长度、分片、分片长度；

(4)识别报文中的关键字；

(5)根据匹配规则，将该报文匹配到最佳报文分组，若不存在最佳的报文分组，则新创建一个报文分组，并将该报文添加进去。

所述的匹配规则，具体如下：

第一，类型规则

不同类型的报文不能分到同一报文分组中，即二进制类型报文和文本类型报文必须分开。

第二，方向规则

不同方向的报文不能分到于同一报文分组中，报文分组必须严格区分是接收报文还是响应报文，不同方向的报文，其接收实体是不同的，对应不同的测试对象。

第三，对于二进制类型报文，根据以下几条规则判断是否匹配：

a.长度规则：相同类型报文之间的长度差不超过阈值；

b.内容规则：相同类型报文之间的编辑距离不超过阈值；

c.格式限制：相同类型报文具有相同顺序的文本类型域和二进制类型域。

第四，对于文本类型报文，根据以下几条规则判断是否匹配：

a.分片规则：对文本类型，以0x0D0A作为分隔符划分报文，两个相同类型的报文对应的片段数量必须相等；

b.关键字规则：如果两条报文在对应位置具有相同关键字，则直接判定两条报文是同类型报文；

c.长度规则：两条报文对应片段之间的长度差不超过阈值；

d.内容规则：两条报文对应片段之间的编辑距离不超过阈值。

第五，距离规则

若满足以上匹配规则，并有多个候选报文分组时，选择编辑距离总量最小报文分组作为最佳报文匹配分组。

如图5所示，本发明中报文格式提取模块的实现流程如下：

(1)多序列比对

将所有的报文序列按照长度进行排序，每次选取两条最短的报文序列，将这两条报文序列作为叶子节点，并进行双序列比对，将比对结果作为其父节点，一直选取没有处理的报文序列直到所有的报文序列都处理完毕，即构建了一棵二叉向导树。然后，从二叉向导树的根节点开始，将结果序列保存的信息递归应用到其子节点中，最后遍历完毕之后得到最终的比对结果。

(2)报文域识别

识别可变域和不变域。统计各个报文序列中相同位置的字节，计算字节的变化率。如果相同位置的所有字节数值都相同，则变化率为0；否则，计算不同数值的数量，将其和序列数目的比值作为变化率。根据变化率识别出不同的域，具有相同变化率的字节构成一个域，其中变化率为0的域判断为不变域，否则认为该域是可变域。

(3)识别二进制域和文本域

在报文结构中，文本域通常有一个最小的长度值，在二进制类型报文中，不会单独出现一个文本字符夹杂在二进制字符中间。对于一个字符串域，如果该域的长度小于这个最小长度值，则认为是二进制域，否则，认为该域是文本域。经过大量测试证明，当设定这个最小长度值为4的时候，可以在大多数情况下区分出报文域的类型。

(4)识别分隔符域

分隔符域的识别需要借助先验知识，扫描文本域中的字符，在分隔符字典中进行匹配搜索，如果匹配成功则认为是分隔符。分隔符字典包括了常见的分隔符，如“：”、“；”以及空格符等。分隔符字典需要事先构造，同时也是可扩展的，允许用户在实际分析的过程中进行增删。

本发明未详细阐述部分属于本领域技术人员的公知技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.基于协议逆向解析的自动化漏洞挖掘系统，其特征在于包括协议逆向解析模块和模糊测试模块，其中协议逆向解析模块包括报文预处理、报文分类、报文格式提取模块；模糊测试模块包括进程监控、网络监控、输入控制和会话控制模块；采用C/S架构，客户端包括协议逆向解析模块、输入控制模块和会话控制模块，服务器端包括进程监控模块和网络监控模块；整个过程除了输入控制模块以外都是自动化完成，不用人工参与，其中：

报文预处理模块：自动从目标测试对象的通信数据流中抓取网络通信数据包，通过数据包过滤、分片重组、提取有效载荷数据的操作，从数据包中分离出应用层数据作为报文序列集；

报文分类模块：将报文预处理模块得到的报文序列集，按照匹配规则，特别引入了先验知识，即关键字词典技术，将格式相似的报文序列划分到同一个报文分组；

报文格式提取模块：对每个报文分组，利用多序列比对技术对报文进行比对，对齐报文，分析报文的变化率，识别出可变域、不可变域；二进制域、文本域以及分隔符域等报文关键信息域，然后形式化描述这些报文信息，甚至包括未知协议的格式，这样就大大扩展了可测试网络协议的范围；

输入控制模块：用脚本文件对所述第三步中的识别的报文域进行处理，对于不可变域和分隔符域用静态字符串表示，对可变域进行变异，形成模糊测试的测试用例基；

会话控制模块：根据输入控制脚本，生成测试用例，然后连接目标测试对象，将这些模糊请求序列以软件可接受的正常的输入来和测试对象交互，同时与进程监控模块和网络监控模块交互，确定目标测试对象的状态，记录网络通信数据包；

进程监控模块：监控目标测试对象的进程是否出现异常，如果某个测试用例引发目标测试对象的进程异常，将截获目标测试对象的进程发送给操作系统的信息，并将该信息传回所述会话控制模块，同时保存该信息，报告一个潜在的安全漏洞；进程监控模块还负责重启目标测试对象的进程，继续后续的模糊测试；

网络监控模块：捕获会话控制模块与目标测试对象进程之间的测试用例数据包，保存在指定文件中，并以测试用例编号命名。

2.根据权利要求1所述基于协议逆向解析的自动化漏洞挖掘系统，其特征在于：所述报文预处理模块具体实现如下：

(1)从目标测试对象的通信数据流中抓取网络通信数据包，首先要获取本机的网络设

备信息，若不能正确获取则转到(9)；

(2)打开网络接口，置网卡于嗅探模式，若设置不成功则转到(9)；

(3)根据需求，编译数据包过滤条件，若不能成功编译则转到(9)；

(4)设置数据包过滤器，若不能准确设置则转到(9)；

(5)开始捕获目标测试对象的网络通信数据包；

(6)对每一个数据包，若不满足过滤规则，则丢弃，并转到(8)；

(7)进行数据包处理，包括分片重组、提取有效载荷数据，即应用层数据作为报文序列集；

(8)判断全部采集和预处理是否结束，若结束则转到(10)，否则转到(5)；

(9)打印错误信息；

(10)关闭数据采集。

3.根据权利要求1所述基于协议逆向解析的自动化漏洞挖掘系统，其特征在于：所述报文分类模块具体实现如下：

(1)从报文序列集中读取一条报文信息；

(2)判断该报文的类型，是文本类型还是二进制类型；

(3)提取报文的基本属性，包括报文的长度、分片、分片长度；

(4)识别报文中的关键字；

(5)根据匹配规则，将该报文匹配到最佳报文分组，若不存在最佳的报文分组，则新创建一个报文分组，并将该报文添加进去。

4.根据权利要求1所述基于协议逆向解析的自动化漏洞挖掘系统，其特征在于：所述报文格式提取模块具体实现步骤为：以各个报文分组为输入，利用渐进式多序列比对算法对各分组报文进行对比；对每一个报文分组，选取一条报文序列作为默认序列，然后根据字节变化率，识别出报文的可变域、不变域，对每一个可变域或不变域继续识别该域的类型，分辨出是二进制域还是文本域，如果是文本域，进一步识别出分隔符域。

5.基于协议逆向解析的自动化漏洞挖掘方法，其特征在于实现步骤如下：

A.自动从目标测试对象的通信数据流中抓取网络通信数据包，通过数据包过滤、分片重组、提取有效载荷数据的操作，从数据包中分离出应用层数据作为报文序列集；

B.按照匹配规则，将格式相似的报文序列划分到同一个报文分组；

C.对每个报文分组，利用多序列比对技术对报文进行比对，对齐报文，分析报文的变化率，识别出可变域、不可变域；二进制域、文本域以及分隔符域报文关键信息域，然后形式化描述这些报文信息；

D.用脚本文件对所述第三步中的识别的报文域进行处理，对于不可变域和分隔符域用静态字符串表示，对可变域进行变异，形成模糊测试的测试用例基；

E.根据输入控制脚本，生成测试用例，然后连接目标测试对象，自动连续发送模糊请求序列，同时与进程监控模块和网络监控模块交互，确定目标测试对象的状态，记录网络通信数据包；

F.监控目标测试对象的进程是否出现异常，如果某个测试用例引发目标测试对象的进程异常，将截获目标测试对象的进程发送给操作系统的信息，并将该信息传回所述会话控制模块，同时保存该信息，报告一个潜在的安全漏洞；进程监控模块还负责重启目标测试对象的进程，继续后续的模糊测试；

G.捕获会话控制模块与目标测试对象进程之间的测试用例数据包，保存在指定文件中，并以测试用例编号命名。