CN111666572B

CN111666572B - 一种自动化渗透测试框架系统

Info

Publication number: CN111666572B
Application number: CN202010493526.3A
Authority: CN
Inventors: 刘文志; 李海涛; 袁洪朋; 张健楠
Original assignee: North Laboratory Shenyang Co ltd
Current assignee: North Laboratory Shenyang Co ltd
Priority date: 2020-06-03
Filing date: 2020-06-03
Publication date: 2023-07-04
Anticipated expiration: 2040-06-03
Also published as: CN111666572A

Abstract

本发明提供一种自动化渗透测试框架系统，涉及信息技术领域。该框架包括插件、管道、工作流、攻击链和工作流引擎；插件为框架的最小组成单元，通过应用容器进行封装部署，提供基于标准文件输出、标准输出流、标准算法输出三种处理模式；管道为框架的核心执行单元，通过Kafka消息队列结合Stream流式处理技术实现管道的封装部署；工作流为框架的决策单元，通过Kafka消息队列结合Stream流式处理技术实现工作流构建；攻击链通过对工作流、管道进行路径分析后，形成自动化渗透测试攻击路径；工作流引擎根据攻击链信息，为渗透测试提供路由流向、测试执行、信息传递功能。本发明框架系统实现了渗透测试的自动化执行，规避了人员能力因素影响，实现了渗透测试标准化。

Description

一种自动化渗透测试框架系统

技术领域

本发明涉及信息技术领域，尤其涉及一种自动化渗透测试框架系统。

背景技术

名词解释：

Docker是一个应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

LXC是Linux Container容器的简称，是一种内核虚拟化技术，可以提供轻量级的虚拟化，以便隔离进程和资源。

Kafka是由Apache软件基金会开发的一个流处理平台，是一种高吞吐量的分布式发布订阅消息系统，它可以处理所有动作流数据。

Stream流式处理专注于对集合对象进行各种非常便利、高效的聚合操作，或者大批量数据操作，同时不会引起系统的阻塞。

目前，国内缺少综合性自动化渗透测试工具，针对自动化渗透测试框架也没有很成熟的解决方案，当前网络安全测试工具基本都是以漏洞扫描为主，在工具的框架设计上也没有较科学、先进的设计，基本都是以任务型、多线程并发扫描框架为主。工具在工作时依据漏洞库进行逐项扫描，不仅功能单一、耗时耗资源，扫描过程也会产生大量无效流量，影响被扫描对象的稳定性，而最终的扫描结果误报率却很高，实战性很弱。一种具有灵活插拔、智能匹配、轻量高效的渗透测试框架将会为综合性自动化渗透测试工具的研发提供基础支撑。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种自动化渗透测试框架系统，通过插件、管道、工作流(Plugin-Pipeline-Workflow，简称PPW)的三层架构设计，为渗透测试的自动化分布式运行提供基础框架和运行引擎。

为解决上述技术问题，本发明所采取的技术方案是：一种自动化渗透测试框架系统，包括插件、管道、工作流、攻击链和工作流引擎五部分；所述插件为自动化渗透测试框架系统的最小组成单元，通过应用容器进行封装部署，提供基于标准文件输出、标准输出流、标准算法输出三种处理模式；所述管道为自动化渗透测试框架系统的核心执行单元，通过Kafka消息队列结合Stream流式处理技术实现管道的封装部署；所述工作流为自动化渗透测试框架系统的决策单元，通过Kafka消息队列结合Stream流式处理技术实现工作流构建；所述攻击链通过对工作流、管道进行路径分析后，形成的具有多分支结构、多插件串联、输入输出匹配的自动化渗透测试攻击路径；所述工作流引擎根据攻击链信息，为渗透测试提供路由流向、测试执行、信息传递功能。

优选地，所述自动化渗透测试框架系统对插件属性、管道属性和工作流属性进行了规范，具体为：

所述插件是一种遵循一定规范编写出来用于处理特定任务的应用程序接口，插件运行需要依托平台提供的函数库或者数据，因此插件只能运行在程序规定的平台下，而不能脱离指定的平台单独运行；

所述管道是一种通信机制，用于插件间的通信，它表现出来的形式为将前面每一个插件的输出直接作为下一个插件的输入；

所述工作流是指渗透测试业务过程在计算机应用环境下的自动化，是对管道之间业务规则和工作流程的抽象、概括。

优选地，所述攻击链为由一系列插件表示的节点组成的单向链表，是渗透测试工作流的最小组成单元，攻击链在框架系统运行时动态生成，链表中的节点包括插件实体域、存储下一个节点的地址指针域和存储数据元素的数据域三个部分；使用攻击链将渗透测试攻击路径分解为独立的工作流单元，为工作流引擎的任务执行提供决策支持。

优选地，所述自动化渗透测试框架系统还提供多种用户使用接口，包括GUI图形化界面、Console控制台和API远程调用接口。

优选地，所述工作流引擎的具体工作过程为：

(1)启动工作流引擎，订阅并监听消息系统中信息；

(2)第三方程序通过相应接口将工作流引擎的启动插件和启动参数发送至消息系统；

(3)工作流引擎监听到消息系统中有消息，取出消息请求，并解析后调用相应的插件处理对应的消息请求；

(4)插件处理消息请求后，返回处理结果至工作流引擎；

(5)工作流引擎接收到处理结果后，将结果发送至消息系统中，该处理结果包含了下一个需要启动的插件及对应的启动参数；

(6)工作流引擎重复(3)操作，直至工作流上的全部插件均执行完毕后，将最终结果通过相应接口返回给第三方程序。

采用上述技术方案所产生的有益效果在于：本发明提供的一种自动化渗透测试框架系统，

1.可以为自动化渗透测试工具的研发提供一种灵活、智能、高效的框架，极大的加快了工具研发的进程；

2.实现了渗透测试工作向自动化、标准化和实战化方向的演进。通过工作流、管道和插件的组合，实现了渗透测试的自动化执行，让大规模网络开展自动化渗透测试成为可能，通过框架规范了渗透测试内容和方法，规避了人员能力因素影响，实现了渗透测试标准化；

3.达成了渗透测试工作持续改进的目标。通过利用人工智能自学习等技术，实现了渗透测试框架的不断升级完善，进而促进了渗透测试方法和内容的持续改进。

附图说明

图1为本发明实施例提供的一种自动化渗透测试框架系统的结构框图；

图2为本发明实施例提供的工作流引擎工作过程流程图；

图3为本发明实施例提供的插件构成图；

图4为本发明实施例提供的管道构成图；

图5为本发明实施例提供的工作流构成图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例采用脚本语言JavaScript开发本发明的自动化渗透测试框架系统，JavaScript(简称“JS”)是一种具有函数优先的轻量级，解释型或即时编译型的高级编程语言。虽然JavaScript语言是作为开发Web页面的脚本语言而出名的，但是它也被用到了很多非浏览器环境中，JavaScript基于原型编程、多范式的动态脚本语言，并且支持面向对象、命令式和声明式(如函数式编程)风格。JavaScript具有简单、动态、跨平台等特点。

本实施例中，一种自动化渗透测试框架系统，如图1所示，具体包括如下部分：

一、插件(Plugin)：

插件是自动化渗透测试的弹药，是自动化渗透测试框架系统的最小组成单元，通过Docker或LXC等容器进行灵活封装部署。自动化渗透测试框架系统通过插件技术的引入，可构建海量、灵活插拔和跨平台支持的弹药库；插件是渗透测试弹药的统一模型化定义，是一种遵循一定规范编写出来用于处理特定任务的应用程序接口，插件运行需要依托平台提供的函数库或者数据，因此插件只能运行在程序规定的平台下，而不能脱离指定的平台单独运行；插件提供了基于标准文件输出、标准输出流、标准算法输出三种处理模式。基于标准文件输出是插件提供的处理可以将结果以文件的形式返回；基于标准输出流输出是指插件提供的处理可以将结果以标准输出流的形式返回；基于标准算法输出是指插件提供的处理可以通过自定义算法处理输入值，进而直接将结果返回。

二、管道(Pipeline)；

管道是自动化渗透测试的武器，是自动化渗透测试框架系统的核心执行单元，通过Kafka消息队列结合Stream流式处理技术实现管道的封装部署。自动化渗透测试框架系统通过管道技术的引入，结合消息队列构建自动匹配、多分支、流式运行的武器库；管道是渗透测试武器的统一模型化定义，是一种通信机制，用于插件间的通信，它表现出来的形式为将前面每一个插件的输出直接作为下一个插件的输入。

三、工作流(Workflow)：

工作流是自动化渗透测试的作战方案，是自动化渗透测试框架系统的决策单元，通过Kafka消息队列结合Stream流式处理技术实现工作流构建。自动化渗透测试框架系统通过工作流技术的引入，可灵活针对需求构建适宜的作战方案；工作流是渗透测试作战方案的统一模型化定义，是渗透测试业务过程在计算机应用环境下的自动化，是对管道之间业务规则和工作流程的抽象、概括。

四、攻击链(Attack Chain)：

攻击链是指通过对工作流、管道进行路径分析后，形成的具有多分支结构、多插件串联、输入输出匹配的自动化渗透测试攻击路径。攻击链由一系列节点(链表中每一个插件称为节点)组成的单向链表，是渗透测试工作流最小组成单元，攻击链可以在框架系统运行时动态生成，链表中的节点包括三个部分：一是插件实体域，二是存储下一个节点的地址指针域，三是存储数据元素的数据域。使用攻击链可以将渗透测试攻击路径分解为独立的工作流单元，为工作流引擎的任务执行提供决策支持。

五、工作流引擎(Workflow Engine)：

工作流引擎是指根据攻击链信息，为渗透测试提供路由流向、测试执行、信息传递等功能的核心模块。

工作流引擎的工作过程如图2所示，具体为：

(1)启动工作流引擎，订阅并监听消息系统中信息；

(2)第三方程序通过相应接口将工作流引擎的启动插件和启动参数发送至消息系统；启动参数包括URL或IP地址。

(4)插件处理消息请求后，返回处理结果至工作流引擎；

(6)工作流引擎重复(3)操作，直至工作流上面的全部插件均执行完毕后，将最终结果通过相应接口返回给第三方程序。

同时，本发明的自动化渗透测试框架系统还提供了多种用户使用接口，包括GUI图形化界面、Console控制台和API远程调用接口。

本实施例中，插件构成如图3所示，对插件属性进行了规范，插件通过Docker、LXC等应用容器可进行灵活封装部署，具体构成包括：

Id：插件的唯一标识；

Name：插件的名称；

Note：插件的详细描述；

Version：插件的版本；

Handles：插件的核心处理模块，具体包括：

File Handle：基于文件输出处理器，定义了Name(名称)，Note(详细说明)，input(输入参数)、output(输出结果)，start(启动方法)，stop(停止方法)；

Stream Handle：基于流输出处理器，定义了Name(名称)，Note(详细说明)，input(输入参数)、output(输出结果)，command(流命令)，parse(流解析)，run(运行方法)；

Method Handle：基于方法输出处理器，定义了Name(名称)，Note(详细说明)，input(输入参数)、output(输出结果)，command(文件命令)，parse(文件解析)，outxml(文件输出)。

Types：插件参数定义，包括input和output的定义，均以“[‘’,‘’]”数组格式作为标准输入输出。

本实施例中，管道构成如图4所示，对管道属性进行了规范，管道通过消息系统结合流式处理技术实现封装部署，具体构成包括：

Kafka Queue：管道消息系统，具体包括：

topic：消息队列主题；

pluginid：消息队列处理插件id；

groupid：消息队列组id；

bus：消息总线；

fetch：消息获取接口；

send：消息发送接口；

pause：消息暂停接口；

resume：消息重置接口。

Pipeline Layers：管道层，具体包括：

Stream Layers：管道流层，包括Id(唯一标识)，Source(源节点)，Target(目标节点)；

Node Layers：管道节点层，包括Id(唯一标识)，Name(节点名)，Parent Node(紧前节点)，in(输入)，out(输出)。

Start：管道启动方法。

本实施例中，工作流构成如图5所示，对工作流属性进行了规范，具体构成包括：

Kafka Queue：工作流消息系统，包括如下：

topic：消息队列主题；

pipelineid：消息队列处理管道id；

groupid：消息队列组id；

bus：消息总线；

fetch：消息获取接口；

send：消息发送接口；

pause：消息暂停接口；

resume：消息重置接口。

Workflow Layers：工作流层，包括如下：

Stream Layers：工作流的流控层，包括Id(唯一标识)，Source(源节点)，Target(目标节点)；

Node Layers：工作流节点层，包括Id(唯一标识)，Name(节点名)，Parent Node(紧前节点)，in(输入)，out(输出)。

Start：工作流启动方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims

1.一种自动化渗透测试框架系统，其特征在于：包括插件、管道、工作流、攻击链和工作流引擎五部分；所述插件为自动化渗透测试框架系统的最小组成单元，通过应用容器进行封装部署，提供基于标准文件输出、标准输出流、标准算法输出三种处理模式；所述管道为自动化渗透测试框架系统的核心执行单元，通过Kafka消息队列结合Stream流式处理技术实现管道的封装部署；所述工作流为自动化渗透测试框架系统的决策单元，通过Kafka消息队列结合Stream流式处理技术实现工作流构建；所述攻击链通过对工作流、管道进行路径分析后，形成的具有多分支结构、多插件串联、输入输出匹配的自动化渗透测试攻击路径；所述工作流引擎根据攻击链信息，为渗透测试提供路由流向、测试执行、信息传递功能；

所述攻击链为由一系列插件表示的节点组成的单向链表，是渗透测试工作流的最小组成单元，攻击链在框架系统运行时动态生成，链表中的节点包括插件实体域、存储下一个节点的地址指针域和存储数据元素的数据域三个部分；使用攻击链将渗透测试攻击路径分解为独立的工作流单元，为工作流引擎的任务执行提供决策支持；

所述工作流引擎的具体工作过程为：

(1)启动工作流引擎，订阅并监听消息系统中信息；

(4)插件处理消息请求后，返回处理结果至工作流引擎；

2.根据权利要求1所述的一种自动化渗透测试框架系统，其特征在于：所述自动化渗透测试框架系统对插件属性、管道属性和工作流属性进行了规范，具体为：

3.根据权利要求1-2任一项所述的一种自动化渗透测试框架系统，其特征在于：该框架系统还提供多种用户使用接口，包括GUI图形化界面、Console控制台和API远程调用接口。