CN113886225A - 一种面向未知工控协议的模糊测试系统和方法 - Google Patents

Abstract

本申请公开了一种面向未知工控协议的模糊测试系统和方法，包括：智能体利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；接收回报、奖励，结合从测试样例导出的新状态选择下一动作，分层强化学习生成变异测试样例，直至奖励最大化；消息发送模块将测试样例发送给工控网络系统；工控网络系统对测试用例进行处理得到回报和消息响应；解释器将回报翻译后发送至智能体；工控网络监控模块得到奖励后发送至智能体，并对消息响应进行异常监控。本发明利用强化学习模型实现测试用例的变异生成，并提出工业控制协议模糊测试框架HRLFuzz，解决了已有的模糊测试方法并没有对被测对象进行全面、完整的漏洞检测的问题。

Description

一种面向未知工控协议的模糊测试系统和方法

技术领域

本发明属于工业控制技术领域，涉及一种面向未知工控协议的模糊测试系统和方法。

背景技术

工业控制系统(Industrial control systems，ICS)是石油和石化工业、电力系统、核电厂等关键基础设施正常运行的必要设施。早期的工业控制系统是独立于外部网络的封闭系统，因此不太可能受到攻击。随着工业和制造业的发展，工业控制系统与网络互联互通，使其暴露在蠕虫、木马等外部攻击之下，对其正常运行构成重大威胁。事实上，针对工业网络的著名攻击，如Stuxnet、BlackEnergy，已经在世界范围内造成了严重的破坏。这表明了当前工业网络安全形势的严重性。

近年来，模糊测试(fuzz test，fuzzing)技术由于准确率高、不要求源代码、适用性高等优点，被广泛应用于协议漏洞挖掘。最初，使用传统的模糊测试方法对ICPs进行测试，通过变异或生成的方法产生大量测试用例，将其作为协议实体程序的输入，期望这些不寻常的输入能引发协议实体异常，以提高目标程序的覆盖率，尽可能全面地找到协议目前存在的漏洞。利用传统模糊测试方法生成测试用例，通常只会对协议的某个状态或者单个功能类型码发送测试用例，能发现对应单个协议状态或者单个功能类型码的漏洞，但是很多安全漏洞都是由多个协议状态或多个功能类型码共同作用所触发的。显然，这些已有的模糊测试方法并没有对被测对象进行全面、完整的漏洞检测。

发明内容

为解决现有技术中的不足，本申请提供一种面向未知工控协议的模糊测试系统和方法。

为了实现上述目标，本发明采用如下技术方案：

一种面向未知工控协议的模糊测试系统，包括智能体、消息发送模块、工控网络系统、工控网络监控模块、解释器；

所述智能体，用于利用基于分层强化学习的HRLFuzz(HRL：层次强化学习)模型，通过执行动作生成变异测试样例；用于接收工控网络系统、工控网络监控模块的回报、奖励，并结合从测试样例导出的新状态，选择下一动作，分层强化学习生成变异测试样例，直至奖励最大化；

所述消息发送模块，用于将测试样例发送给工控网络系统；

所述工控网络系统，用于通过工控网络服务器对测试用例进行处理，得到回报和消息响应；

所述解释器，用于将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

所述工控网络监控模块，用于通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报。

本发明进一步包括以下优选方案：

优选地，所述智能体包括头域变异模块、内容变异模块和序列变异模块，分别利用不同变异策略对消息变异；

所述头域变异模块包括length、marker、version以及command四种类型变异策略；

所述内容变异模块的变异策略包括利用位翻转策略发现新的路径；

所述序列变异模块的变异策略是将当前选择的消息随机插入到正确消息序列的位置，以改变状态转移的方向。

优选地，所述工控网络系统，通过工业控制服务器接收测试样例并给出相应的响应，响应消息与目标进程的迹线一起返回给工控网络监控模块，用于后续奖励函数的分析以及智能体Q值更新。

优选地，所述工控网络监控模块，对消息响应进行超时连接、超时返回和异常消息三种异常监控。

本发明还公开了一种面向未知工控协议的模糊测试方法，包括以下步骤：

步骤1：在模糊测试过程中，智能体利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；

步骤2：消息发送模块将测试样例发送给工控网络系统；

步骤3：工控网络系统的工控网络服务器对测试用例进行处理，得到回报和消息响应；

步骤4：消息响应发送至工控网络监控模块，回报反馈至解释器；

步骤5：解释器将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

步骤6：工控网络监控模块通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报；

步骤7：智能体接收回报和奖励，并结合从测试样例导出的新状态，选择下一动作，返回步骤1，直至奖励最大化。

本申请所达到的有益效果：

本发明利用强化学习模型实现测试用例的变异生成，并提出了一种智能的、自动的工业控制协议模糊测试框架HRLFuzz，实验结果表明HRLFuzz在工业控制协议模糊测试评估指标上都能达到预期效果，解决了已有的模糊测试方法并没有对被测对象进行全面、完整的漏洞检测的问题。

附图说明

图1是本发明一种面向未知工控协议的模糊测试系统的结构及运行原理图；

图2是本发明实施例中头域变异模块变异策略表；

图3是本发明实施例中解释器输入输出；

图4是本发明实施例中强化学习模型原理图；

图5是本发明实施例中强化学习框架示意图；

图6是本发明实施例中Modbus-TCP的消息格式；

图7是本发明实施例中回报与测试场数的关系；

图8是本发明实施例中测试结果TIRR值和AoVD值。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

如图1所示，本发明的一种面向未知工控协议的模糊测试系统，包括智能体、消息发送模块、工控网络系统、工控网络监控模块、解释器；

所述智能体，用于利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；用于接收工控网络系统、工控网络监控模块的回报、奖励，并结合从测试样例导出的新状态，选择下一动作，分层强化学习生成变异测试样例，直至奖励最大化；

智能体是HRLFuzz的核心模块，负责优化提出的测试样例变异生成策略。测试样例变异生成以精简地触发漏洞为目标，该目标涉及到与被测对象的相互作用、序列化决策以及一个随测试样例不断输入累积产生的测试情况。

对于测试样例变异生成这种序列化决策问题，普通的监督学习算法和非监督学习算法并未考虑到序列上不同决策点之间的相互影响，只能最大化单个决策点的即时回报，而强化学习算法以最终回报最大化为目标，考虑到了序列中的延迟影响，擅长处理序列化决策问题。考虑到测试消息的内部结构和消息之间的依赖关系，利用智能体引擎对测试样例进行变异时需要区分头域(header fields)、内容域(content fields)和序列域三个层次。其中，头域主要区分length、marker、version以及command(长度、标识、版本以及命令)四种类型，相应的变异策略可以从表中进行选择。

内容域中的数据通常是随机且杂乱，可以使用的策略包括利用位翻转等策略发现新的路径。

此外，部分头域和内容域之间存在长度或者类型字段上的依赖关系，更新内容域数据的同时需要相应地更新头域。

序列域变异策略的实现需要在保持消息结构完整性的同时打乱消息序列的顺序，进而提高样例覆盖率。主要方法是将当前选择的消息随机插入到正确消息序列的位置，以改变状态转移的方向。

利用不同策略对消息变异生成，可以从不同的维度进行模糊测试，有助于提高测试样例覆盖率和测试深度。

具体的：所述智能体包括头域变异模块、内容变异模块和序列变异模块，分别利用不同变异策略对消息变异；

所述头域变异模块包括length、marker、version以及command4种类型变异策略，分别见图2。

所述内容变异模块的变异策略包括利用位翻转等策略发现新的路径；

所述序列变异模块的变异策略是将当前选择的消息随机插入到正确消息序列的位置，以改变状态转移的方向。

所述消息发送模块，用于将测试样例发送给工控网络系统；

具体实施时，该模块负责捕获由强化学习生成的测试样例，将其发送给工控网络系统。该模块需要提取特定于协议的命令，并以每行一条消息的格式存储为文本文件。除了数据包捕获，还可以从本地pcap文件和文本文件读取数据并将其发送到工控网络服务器。

所述工控网络系统，用于通过工控网络服务器对测试用例进行处理，得到回报和消息响应；

工业控制服务器接收测试样例后给出相应的响应，响应消息与目标进程的迹线一起返回给工控网络监控模块，用于后续奖励函数的分析以及智能体Q值更新。

所述解释器，用于将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

网络协议需要遵守包括协议的消息格式和会话消息序列在内的规范文件。对于工控网络，需要根据实际情况对包括协议规范和协议状态转换在内的描述语言进行定义，从总体上明确协议的消息格式以及会话消息序列。如图3所示，解释器模块将前述两个描述文件作为输入，对其进行处理后翻译成HRLFuzz框架可以访问的消息实体和消息状态序列。

所述工控网络监控模块，用于通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报。

该模块通过监控和分析交互数据对监控工业网络在模糊测试过程中的异常情况，试图找出是否有任何故障和错误的表现。具体来说，主要包括超时连接(timed-outconnections)、超时返回(overtime return)和异常消息(exception messages)三种异常。如果发现异常行为的任何迹象，将会发出警报并通过奖励函数反馈给智能体。

本发明的一种面向未知工控协议的模糊测试方法，使用马尔可夫决策过程(Markov Decision Process，MDP)将工业控制协议模糊测试过程形式化为强化学习问题。具体来说，如图4所示。在模糊测试过程中，智能体M通过执行动作a生成测试样例I，发送给工控网络服务器P，服务器对测试样例进行处理。随后观察直接从I导出的新状态x，以及将测试样例I发送至服务器P之后反馈的信息，对回报r(x，a)进行度量。强化学习的任务就是不断地在模糊测试过程中根据测试情况调整测试样例输入策略，最终得到最优策略，达到测试效果最优化的目标。

强化学习(Reinforcement Learning，RL)旨在以试错的方式通过交互进行学习，是在与系统交互过程中调整智能体(agent)行为的过程，目标是根据执行的动作(actions)和系统状态(state)转换，在系统交互的整个时间内获得最大累积奖赏(rewards)。如图5所示，强化学习把学习看作试探评价过程，智能体根据前一状态S_t选择动作a_t作用于环境，环境在动作a_t的作用下转移到下一状态S_(t+1)，同时产生奖励r_t反馈给智能体，智能体再根据奖励r_t与状态S_(t+1)选择下一个动作，选择原则是使奖励最大化。

本发明的一种面向未知工控协议的模糊测试方法，具体包括以下步骤：

步骤1：在模糊测试过程中，智能体利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；

步骤2：消息发送模块将测试样例发送给工控网络系统；

步骤3：工控网络系统的工控网络服务器对测试用例进行处理，得到回报和消息响应；

步骤4：消息响应发送至工控网络监控模块，回报反馈至解释器；

步骤5：解释器将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

步骤6：工控网络监控模块通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报；

步骤7：智能体接收回报和奖励，并结合从测试样例导出的新状态，选择下一动作，返回步骤1，直至奖励最大化。

1、训练数据：Modbus是Modicon在1979年开发的应用层协议，如今已经成为许多工业网络事实上的标准通信协议。ModbusTCP是为了满足工业以太网(industrial Ethernet)的应用需求而发明，它利用TCP/IP协议栈为Modbus RTU协议配备一个TCP接口，使其能够在以太网上运行。如图6所示，Modbus-TCP消息由Modbus应用协议(Modbus applicationprotocol，MBAP)报头和协议数据单元(protocol data unit，PDU)组成。MBAP报头长7字节，由四个数据字段组成，包括事务标识符字段(transaction identifier field)、协议标识符字段(protocol identifier field)等.PDU由功能代码字段和数据字段组成。Modbus-TCP消息的最大长度为260字节。训练数据利用著名的python库Pymodbus生成。通过调用Pymodbus中相应的函数进行Modbus-TCP请求和响应非常方便。本发明在程序中随机调用函数来生成50000个请求字符串。

2、训练模型：为了训练所提出的分层DQNs Q＝{Q^((1)),Q^((2)),Q^((3))}和状态表示方法中的参数，本发明采用了具有一定大小的内存缓冲区M的经验重放experiencereplay技术。使用经验回放的主要出发点是减少样本之间的相关性所导致的偏差。本发明模拟选择过程以生成训练数据并将其存储在内存缓冲区M中。在训练期间，从存储的内存缓冲区M中均匀随机地抽取一批经验(s,a,s^')，其中a＝{a^((1)),a^((2)),a^((3))}。Q-学习损失函数定义为:

E_((s,a,s^')～M)[(r+γ(max)┬(a^')Q^(s^',a^'∣θ^-)-Q(s,a∣θ))^2]

其中Q^代表目标动作-值函数。

为了提高算法的稳定性，本发明将误差项限制在-1和1之间。

智能体采取∈-greedy策略，也就是以概率∈选择随机动作。

在所提出的模型中，本发明使用两层多层感知器来实现动作值函数Q＝{Q^((1)),Q^((2)),Q^((3))}中的所有可训练参数θ。实际上，可以使用更复杂的深度神经网络作为模型，这也是未来的研究方向。

本发明测试结果如下：

学习情况：对于学习性能的评价主要是根据智能体是否可以通过与环境进行交互，学到期望的策略使得回报收敛到一个稳定的状态。随着测试过程的深入，HRLFuzz在每场测试中获得的回报总和与测试场数的关系如图7所示。由图7可知，在测试过程中HRLFuzz能从过去的模糊测试中学习，优化测试样例输入策略，提高异常测试用例出现率，逐步提高回报，直至回报收敛到一个稳定的状态。

测试结果：利用基于分层强化学习的HRLFuzz模型生成变异测试样例，从5到20个epochs执行交替训练过程的TIRR值和AoVD值如图8所示。

可以看出，迭代交替训练阶段的次数越多，可以得到的TIRR越低，这证实了本发明的说法，即本发明可以通过改变训练的次数来调整生成的消息的相似度。至于AoVD值，可以注意到，随着交替训练次数的增加，AoVD值呈上升趋势。

尽管HRLFuzz仍处于原型版本，但它能够揭示工控网络协议实现中的错误。实验的TIRR值和AoVD值也表明了HRLFuzz方法的潜力和有效性。

综上所述，本发明针对现有模糊测试方法在漏洞检测方面深度不足、效率不高的缺陷，提出了一种智能的、自动的工业控制协议模糊测试系统和方法，利用强化学习模型实现测试样例的变异生成，通过学习过程地不断试错寻求生成更优的模糊测试样例，尝试为解决工业控制模糊测试问题提供一种新的解决方案。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (5)

1.一种面向未知工控协议的模糊测试系统，包括智能体、消息发送模块、工控网络系统、工控网络监控模块、解释器，其特征在于：

所述智能体，用于利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；用于接收工控网络系统、工控网络监控模块的回报、奖励，并结合从测试样例导出的新状态，选择下一动作，分层强化学习生成变异测试样例，直至奖励最大化；

所述消息发送模块，用于将测试样例发送给工控网络系统；

所述工控网络系统，用于通过工控网络服务器对测试用例进行处理，得到回报和消息响应；

所述解释器，用于将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

所述工控网络监控模块，用于通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报。

2.根据权利要求1所述的一种面向未知工控协议的模糊测试系统，其特征在于：

所述智能体包括头域变异模块、内容变异模块和序列变异模块，分别利用不同变异策略对消息变异；

所述头域变异模块包括length、marker、version以及command四种类型变异策略；

所述内容变异模块的变异策略包括利用位翻转策略发现新的路径；

所述序列变异模块的变异策略是将当前选择的消息随机插入到正确消息序列的位置，以改变状态转移的方向。

3.根据权利要求1所述的一种面向未知工控协议的模糊测试系统，其特征在于：

所述工控网络系统，通过工业控制服务器接收测试样例并给出相应的响应，响应消息与目标进程的迹线一起返回给工控网络监控模块，用于后续奖励函数的分析以及智能体Q值更新。

4.根据权利要求1所述的一种面向未知工控协议的模糊测试系统，其特征在于：

所述工控网络监控模块，对消息响应进行超时连接、超时返回和异常消息三种异常监控。

5.根据权利要求1-4任意一项所述的一种面向未知工控协议的模糊测试系统的一种面向未知工控协议的模糊测试方法，其特征在于：

所述方法包括以下步骤：

步骤1：在模糊测试过程中，智能体利用基于分层强化学习的HRLFuzz模型，通过执行动作生成变异测试样例；

步骤2：消息发送模块将测试样例发送给工控网络系统；

步骤3：工控网络系统的工控网络服务器对测试用例进行处理，得到回报和消息响应；

步骤4：消息响应发送至工控网络监控模块，回报反馈至解释器；

步骤5：解释器将回报翻译成HRLFuzz框架可以访问的消息实体和消息状态序列后发送至智能体；

步骤6：工控网络监控模块通过奖励函数得到奖励后发送至智能体，并对消息响应进行异常监控，在发现异常时，发出警报；

步骤7：智能体接收回报和奖励，并结合从测试样例导出的新状态，选择下一动作，返回步骤1，直至奖励最大化。

Images