CN113037752B

CN113037752B - 一种轻量级异构防火墙策略获取方法和系统

Info

Publication number: CN113037752B
Application number: CN202110257803.5A
Authority: CN
Inventors: 海然; 单连强; 夏旸; 任雨霞; 战虹竹
Original assignee: Beijing Institute of Computer Technology and Applications
Current assignee: Beijing Institute of Computer Technology and Applications
Priority date: 2021-03-09
Filing date: 2021-03-09
Publication date: 2022-09-27
Anticipated expiration: 2041-03-09
Also published as: CN113037752A

Abstract

本发明涉及一种轻量级异构防火墙策略获取方法和系统，涉及信息安全技术领域。本发明采用Web网页爬取的方法，通过访问防火墙管理页面，提取管理页面中的地址资源、地址分组资源、服务资源和安全防火墙策略数据，从而可以在不依赖专有协议和管理程序的情况下实现不同架构防火墙策略的统一获取，解决了复杂网络条件下异构防火墙策略统一管理的问题。

Description

一种轻量级异构防火墙策略获取方法和系统

技术领域

本发明涉及信息安全技术领域，具体涉及一种轻量级异构防火墙策略获取方法和系统。

背景技术

防火墙是目前网络系统中常用的安全设备，防火墙能够有效地隔离了内网与外网环境，通过配置科学、合理的安全防火墙策略，对不同信任区域的数据流进行有效的控制，不合理的防火墙策略配置，将使其形同虚设。网络环境的日益复杂化、在网络内部不同位置往往部署大量的防火墙设备，作为网络管理人员需要对这些防火墙产品进行统一管理。但是网络中的防火墙设备往往来自于不同厂商，且为不同型号。这些防火墙采用的技术架构、实现方式，接口类型、数据格式各不相同，给防火墙设备安全防火墙策略的统一收集带来困难。

防火墙的管理方法一般包括本地串口终端管理、远程终端管理和远程图形化管理等方式，但是对于管理方式并没有统一的标准，不同厂家的防火墙甚至统一厂家不同型号的防火墙的管理方式都有可能不兼容。缺乏异构防火墙策略统一获取方法给防火墙的统一管理带来了困难，目前针对这一问题的解决方法主要包括：1)解析防火墙管理协议：针对不同型号的防火墙的管理协议进行解析，为每种协议开发对应的管理程序；这种方的缺点是工作量大，且有的厂家的协议不开放，因此实际实现上比较困难。2)定义接口规范，由防火墙厂家依据规范开发管理接口，这种方法的缺点是防火墙厂家需要重新开发接口程序，且开发的程序是否遵循规范需要大量的测试工作，因此难以推广。3)安装管理代理，这种方式通过在防火墙端安装代理程序实现异构防火墙的管理，但是由于不同防火墙的硬件平台、软件系统各不相同，因此这种方式实现上同样存在难题。

由此可见，目前异构防火墙策略的统一获取方法都存在实行上的难点，要么开发工作量大，要么需要对防火墙设备的程序进行升级。异构防火墙策略的统一管理其关键点在于如何以一种轻量级的方法获取防火墙的防火墙策略数据。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种轻量级的异构防火墙策略获取方法及系统，可以不依赖防火墙的专有协议和程序实现对防火墙策略的统一获取。

(二)技术方案

为了解决上述技术问题，本发明提供了一种轻量级异构防火墙策略获取方法，包括以下步骤：

根据不同的防火墙型号，为每一种防火墙定义一个网页爬取模板作为防火墙模板形成防火墙模板库；

根据防火墙列表中列出的防火墙条目从防火墙模板库选择对应的防火墙模板；

爬取防火墙管理页面；

根据爬取的防火墙管理页面进行分析。

优选地，其中采用json格式定义不同防火墙的防火墙策略格式。

优选地，爬取防火墙管理页面时，针对同一型号防火墙的不同设备，填写防火墙的管理地址、用户名、口令，通过HTTP协议访问防火墙管理页面，获取页面文件。

优选地，根据爬取的防火墙管理页面进行分析时，首先获取地址资源页面，通过对HTML页面结构分析和解析，获得资源ID、地址名称、地址、掩码，将资源ID、地址名称、地址、掩码写入防火墙统一管理数据库的地址资源表，然后获取地址分组资源页面，获取资源ID、分组名称和组内地址资源ID，将资源ID、分组名称和组内地址资源ID写入地址分组资源表，同时建立地址分组资源中地址资源与地址资源表中地址资源的关联关系；同理，获取服务资源与服务分组资源写入防火墙统一管理数据库；最后，访问防火墙的安全防火墙策略页面，获取安全防火墙策略HTML页面，解析每条安全防火墙策略的防火墙策略ID、源地址资源、源地址分组资源、目的地址资源、目的地址分组资源、服务资源和防火墙策略信息，写入防火墙统一管理数据库。

优选地，还包括以下步骤：使用获取的安全防火墙策略，在使用获取的安全防火墙策略时，首先访问防火墙统一管理数据库的安全防火墙策略表，根据每一条安全防火墙策略中引用资源ID访问相应的资源表获取该资源的记录，从而还原安全防火墙策略的实际配置信息。

优选地，其中，每一个型号的防火墙只能定制一个防火墙模板，每个防火墙模板定义了该型号防火墙的地址资源、地址分组资源、服务资源、安全防火墙策略的Web页面URL，并定义了每个页面的提取数据的方法。

优选地，防火墙模板可以继承和组合使用，即一种型号的防火墙可以使用另一种型号防火墙的全部或部分模板为基准，并通过扩展该模板形成新的模板。

优选地，采用POST方法访问防火墙管理页面。

优选地，采用GET方法进行访问，获取相应的地址资源页面。

本发明还提供了一种用于实现所述方法的轻量级异构防火墙策略获取系统，包括页面爬取引擎、页面解析引擎、防火墙列表、防火墙模板库和防火墙统一管理数据库，根据防火墙列表中列出的防火墙条目从防火墙模板库选择对应的防火墙模板后，调用页面爬取引擎爬取防火墙管理页面，页面解析引擎根据爬取的防火墙管理页面进行分析，得到防火墙的地址资源、地址分组资源、服务器资源和防火墙策略信息，并存入防火墙统一管理数据库。

(三)有益效果

本发明采用Web网页爬取的方法，通过访问防火墙管理页面，提取管理页面中的地址资源、地址分组资源、服务资源和安全防火墙策略数据，从而可以在不依赖专有协议和管理程序的情况下实现不同架构防火墙策略的统一获取，解决了复杂网络条件下异构防火墙策略统一管理的问题。

附图说明

图1为本发明轻量级异构防火墙策略获取系统基本框架示意图；

图2为本发明异构防火墙策略获取流程图；

图3为本发明防火墙策略引用关系图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提出了一种轻量级异构防火墙策略获取方法和系统，能够满足不同架构防火墙规则的统一获取的需求。

目前，防火墙远程管理的主要方式是采用基于Web的管理界面，管理员使用浏览器通过HTTP协议访问防火墙的Web服务端程序，防火墙的Web服务端程序访问防火墙配置数据库返回防火墙策略等配置信息，并通过HTML页面的方式将这些数据返回管理员的浏览器显示。

本发明通过网页爬虫的方式，通过访问防火墙管理页面，爬取页面中防火墙的地址资源、服务资源、防火墙策略(防火墙规则)等配置数据信息。具体方法为：

根据不同厂家的不同防火墙型号，为每一种防火墙定义一个网页爬取模板作为防火墙模板形成防火墙模板库，采用json格式定义不同防火墙的防火墙策略格式；

页面爬取引擎爬取防火墙管理页面：针对同一型号防火墙的不同设备，填写防火墙的管理地址、用户名、口令，通过HTTP协议访问防火墙管理页面，获取页面文件；

页面解析引擎根据爬取的防火墙管理页面进行分析：首先获取地址资源页面，通过对HTML页面结构分析和解析，获得资源ID、地址名称、地址、掩码，将资源ID、地址名称、地址、掩码写入防火墙统一管理数据库的地址资源表，然后获取地址分组资源页面，获取资源ID、分组名称和组内地址资源ID，将资源ID、分组名称和组内地址资源ID写入地址分组资源表，同时建立地址分组资源中地址资源与地址资源表中地址资源的关联关系；同理，获取服务资源与服务分组资源写入防火墙统一管理数据库；最后，访问防火墙的安全防火墙策略页面，获取安全防火墙策略HTML页面，解析每条安全防火墙策略的防火墙策略ID、源地址/地址分组资源、目的地址/地址分组资源、服务资源和防火墙策略信息，写入防火墙统一管理数据库。

使用获取的安全防火墙策略，在使用获取的安全防火墙策略时，首先访问防火墙统一管理数据库的安全防火墙策略表，根据每一条安全防火墙策略中引用资源ID访问相应的资源表获取该资源的记录，从而还原安全防火墙策略的实际配置信息。

其中，每一个型号的防火墙只能定制一个防火墙模板，每个防火墙模板定义了该型号防火墙的地址资源、地址分组资源、服务资源、安全防火墙策略的Web页面URL，并定义了每个页面的提取数据的方法。防火墙模板可以继承和组合使用，即一种型号的防火墙可以使用另一种型号防火墙的全部或部分模板为基准，并通过扩展该模板形成新的模板。

本发明的轻量级异构防火墙策略获取系统主要包括页面爬取引擎、页面解析引擎、防火墙列表、防火墙模板库和防火墙统一管理数据库，如图1所示。其中系统根据防火墙列表中列出的防火墙条目从防火墙模板库选择对应的防火墙模板，调用页面爬取引擎爬取防火墙管理页面，页面解析引擎根据爬取的防火墙管理页面进行分析，得到防火墙的地址资源、地址分组资源、服务器资源和防火墙策略信息，并存入防火墙统一管理数据库。本系统依次调用防火墙列表，直至防火墙列表中的所有防火墙规则均以获取、解析和入库。

以某型号防火墙为例，本发明的轻量级异构防火墙策略获取方法的步骤如图2所示：

1)提取防火墙管理信息

系统从防火墙列表中提取防火墙的管理地址、管理用户名、口令和防火墙类型，防火墙地址为https://192.168.1.254/，防火墙用户名为secadmin，口令为secadmin。防火墙地址是访问防火墙管理页面的入口地址，用户名、口令用于防火墙管理认证，根据防火墙类型选择防火墙模板。

2)爬取防火墙页面

将步骤1获取的防火墙地址、用户名、口令和选择的防火墙模板提交给页面爬取引擎，页面爬取引擎根据模板中的登录页面地址login结合防火墙地址https://192.168.1.254/，构成防火墙登录页面的访问地址https://192.168.1.254/login,采用POST方法访问防火墙登录页面，在访问表单中填写用户名secadmin和口令secadmin进行登录，获取会话ID。然后依次根据模板中指定的地址资源页面地址https://192.168.1.254/address、地址分组地址资源https://192.168.1.254/addrgroup、服务资源页面https://192.168.1.254/service、服务分钟资源https://192.168.1.254/servgroup和防火墙策略页面https://192.168.1.254/rules,分别采用GET方法进行访问，获取相应的HTML页面。

3)解析防火墙页面

将步骤2爬取的防火墙页面，根据模板定义的格式进行解析，模板定义了解析防火墙页面的规则。以防火墙策略页面为例，防火墙页面采用HTML的表格存储，根据模板定义的<table id＝’rules’>标志，在页面中定位到防火墙策略列表，并提取表格中由每个<tr>标签标记的安全防火墙策略，以及每条安全防火墙策略中由<td>标签标记的防火墙策略规则中的源地址、目的地址、服务和策略。

由于安全防火墙策略存在引用的关系，安全防火墙策略会引用地址分组资源、地址资源、服务分组资源、服务资源，而地址分组资源又会引用地址资源、服务分组资源会引用服务资源，防火墙页面解析存在一定的顺序。首先需要解析地址资源、其次是解析地址分组资源、再次是解析服务资源、然后是解析服务分组资源，最后是解析防火墙策略。

4)生成防火墙策略

根据步骤3解析的防火墙资源和策略信息，包括地址分组资源与地址资源之间的关系、服务分组资源与服务资源之间的关系、防火墙策略与地址资源、地址分组资源、服务资源、服务分组资源之间的关系(引用关系见图3)，最终生成防火墙策略。

5)重复执行步骤1至步骤4直至所有防火墙策略获取完毕。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims

1.一种轻量级异构防火墙策略获取方法，其特征在于，包括以下步骤：

爬取防火墙管理页面；爬取防火墙管理页面时，针对同一型号防火墙的不同设备，填写防火墙的管理地址、用户名、口令，通过HTTP协议访问防火墙管理页面，获取页面文件；

根据爬取的防火墙管理页面进行分析；根据爬取的防火墙管理页面进行分析时，首先获取地址资源页面，通过对HTML页面结构分析和解析，获得资源ID、地址名称、地址、掩码，将资源ID、地址名称、地址、掩码写入防火墙统一管理数据库的地址资源表，然后获取地址分组资源页面，获取资源ID、分组名称和组内地址资源ID，将资源ID、分组名称和组内地址资源ID写入地址分组资源表，同时建立地址分组资源中地址资源与地址资源表中地址资源的关联关系；同理，获取服务资源与服务分组资源写入防火墙统一管理数据库；最后，访问防火墙的安全防火墙策略页面，获取安全防火墙策略HTML页面，解析每条安全防火墙策略的防火墙策略ID、源地址资源、源地址分组资源、目的地址资源、目的地址分组资源、服务资源和防火墙策略信息，写入防火墙统一管理数据库。

2.如权利要求1所述的方法，其特征在于，第一步中，还采用json格式定义不同防火墙的防火墙策略格式。

3.如权利要求1所述的方法，其特征在于，还包括以下步骤：使用获取的安全防火墙策略，在使用获取的安全防火墙策略时，首先访问防火墙统一管理数据库的安全防火墙策略表，根据每一条安全防火墙策略中引用资源ID访问相应的资源表获取该资源的记录，从而还原安全防火墙策略的实际配置信息。

4.如权利要求3所述的方法，其特征在于，其中，每一个型号的防火墙只能定制一个防火墙模板，每个防火墙模板定义了该型号防火墙的地址资源、地址分组资源、服务资源、安全防火墙策略的Web页面URL，并定义了每个页面的提取数据的方法。

5.如权利要求1所述的方法，其特征在于，防火墙模板可以继承和组合使用，即一种型号的防火墙可以使用另一种型号防火墙的全部或部分模板为基准，并通过扩展该模板形成新的模板。

6.如权利要求1所述的方法，其特征在于，采用POST方法访问防火墙管理页面。

7.如权利要求1所述的方法，其特征在于，采用GET方法进行访问，获取相应的地址资源页面。

8.一种用于实现权利要求1至7中任一项所述方法的轻量级异构防火墙策略获取系统，其特征在于，包括页面爬取引擎、页面解析引擎、防火墙列表、防火墙模板库和防火墙统一管理数据库，根据防火墙列表中列出的防火墙条目从防火墙模板库选择对应的防火墙模板后，调用页面爬取引擎爬取防火墙管理页面，页面解析引擎根据爬取的防火墙管理页面进行分析，得到防火墙的地址资源、地址分组资源、服务器资源和防火墙策略信息，并存入防火墙统一管理数据库。