CN104065521B - 一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法 - Google Patents

Abstract

本发明公开了一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法，是应用在包含电力网络设备的电力网络环境中；其特征是，系统的组成包括：syslog服务模块、日志分析模块、配置文件抓取模块、配置文件管理模块、web发布模块和本地文件夹；在本地文件夹中存储有日志分析条件文件、网络设备列表文件、缓存文件夹和配置文件夹，在配置文件夹中存储有配置文件和设备配置表文件。本发明能及时发现网络中潜在的故障点，提高故障排查的效率。

Description

一种电力网络设备日志和配置文件的采集、分析和发布系统 及其方法

技术领域

本发明涉及电力与计算机技术领域，尤其是电力网络设备日志和配置文件的采集、分析和发布系统及其方法。

背景技术

随着电力通信网络规模的不断扩大，故障点及故障类型不断增加，同时针对网络设备、主机及终端的网络攻击行为也不断增多。如何事先发现潜在的网络隐患以及在网络攻击或设备故障发生后快速发现问题原因，对网络运行维护工作至关重要。

目前对于企业内网的非法接入、网络故障、终端故障等电力网络问题，通常采用事后分析的方式，由网络管理人员对故障进行初步判断后确定可能的故障来源设备，再访问可能的故障来源设备相关事件日志进行分析，以进行故障定位和排查。该方法对于网络中潜在的故障点难以及时发现，同时时候分析涉及较多设备，不利于日常网络维护工作，在实际操作过程中网络运行维护人员通常要耗费大量的时间对常见故障进行定位，且基本做不到对潜在故障点的提前发现。

发明内容

本发明是为了克服现有技术存在的不足之处，提供一种电力网络设备日志和配置文件的采集、分析和发布系统及其方法，以期能及时发现网络中潜在的故障点，提高故障排查的效率。

本发明为达到上述目的所采用的技术方案是：

本发明一种电力网络设备日志和配置文件的采集、分析和发布系统，是应用在包含电力网络设备的电力网络环境中；其特点是，所述系统的组成包括：syslog服务模块、日志分析模块、配置文件抓取模块、配置文件管理模块、web发布模块和本地文件夹；在所述本地文件夹中存储有日志分析条件文件、网络设备列表文件、缓存文件夹和配置文件夹，在所述配置文件夹中存储有配置文件和设备配置表文件；

所述syslog服务模块用于接收所述电力网络设备自动上传的日志，并存入日志数据库；

所述日志分析模块读取所述日志数据库中日志和所述日志分析条件文件中存储的日志分析条件，并根据所述日志分析条件对所述日志进行分析，对满足所述日志分析条件的日志在所述日志数据库中进行标记；

所述配置文件抓取模块读取所述网络设备列表文件中存储的网络设备列表，并根据所述网络设备列表抓取与所述电力网络设备相应的配置文件并存入所述缓存文件夹中；

所述配置文件管理模块读取所述缓存文件夹中的配置文件并进行时间线管理；

所述web发布模块用于与浏览器进行通信，接收所述浏览器传输的操作数据和/或查询条件，并进行相应操作；所述相应操作包括对所述日志分析条件和/或网络设备列表进行增加、删除和/或变更操作，并将操作结果传输到所述浏览器；或根据查询条件读取相应的日志、配置文件和/或设备配置表文件，并传输到所述浏览器。

本发明一种利用电力网络设备日志和配置文件的采集、分析和发布系统的方法，其特点是按如下步骤进行：

步骤一、在所述电力网络环境中，接入一用户管理端，并配置所述用户管理端的IP；

步骤二、配置所述电力网络设备中宿主机参数为所述用户管理端的IP；

步骤三、激活所述电力网络设备的日志自动上传功能，使得所述日志上传至所述用户管理端；

步骤四、所述用户管理端通过所述syslog服务模块实时接收上传的日志并存入所述日志数据库；所述用户管理端通过所述配置文件抓取模块定时抓取配置文件并存入所述缓存文件夹；

步骤五、所述用户管理端通过所述日志分析模块根据所设定的日志分析条件对所述日志数据库中的日志并进行分析，对满足设定的日志分析条件的日志进行标记；所述配置文件管理模块对所抓取的配置文件进行时间线管理；

步骤六、用户管理端通过浏览器登录所述web发布模块输入操作数据和/或查询条件，所述web发布模块接收所述浏览器传输的操作数据和/或查询条件并进行相应操作，并将操作结果和/或读取相应的日志、配置文件和/或设备配置表文件，传输到所述浏览器进行显示。

本发明电力网络设备日志和配置文件的采集、分析和发布系统的方法的特点在于，

所述步骤四中的配置文件抓取模块是按如下步骤进行配置文件的定时抓取：

1)读取所述本地文件夹中的网络设备列表文件，获得所述网络设备列表；

2)根据所述网络设备列表中的网络设备信息，获得相应的命令序列文件；所述网络设备信息包括：电力网络设备的名称、管理地址、用户名、密码、厂家和型号；所述命令序列文件包括电力网络设备的厂家、型号、命令格式和命令参数；所述命令参数包括电力网络设备的管理地址、用户名、密码、用户管理端IP和配置文件保存名称；所述配置文件保存名称是由电力网络设备的管理地址和配置文件采集时间点组成；

3)根据所述命令序列文件中的命令格式和命令参数，生成配置文件抓取命令，

4)执行所述配置文件抓取命令，连接电力网络设备，获得与所述电力网络设备相应的配置文件并存入所述缓存文件夹中。

所述步骤五中所述配置文件管理模块按如下步骤进行时间线管理：

1)读取所述缓存文件夹中的配置文件和设备配置表文件；

2)查找与所述配置文件相对应的电力网络设备在所述设备配置表文件中是否有设备配置记录；

3)若无设备配置记录，则为首次获取的所述电力网络设备的配置文件，则将所述配置文件存入所述配置文件夹中，并在所述设备配置表文件中新增一条设备配置记录；若有设备配置记录，则根据所述设备配置记录，读取上一次存储在所述配置文件夹中的配置文件并进行比较，判断所述缓存文件夹中的配置文件是否发生更改，若发生更改，则将所述缓存文件夹中的配置文件存入所述配置文件夹中，并在所述设备配置表文件中新增一条设备配置记录。

与现有技术相比，本发明的有益技术效果体现在：

1、本发明通过接入电力网络的用户管理端，能收集电力网络设备的日志和配置文件并进行分析和发布，并根据设定的日志分析条件自动对日志进行分析并标记满足条件的日志，对采集的配置文件进行时间线管理，同时提供一个web发布服务，从而能效减少网络运行维护人员的故障定位工作，并能提前发现潜在的故障点；对多个电力网络设备的日志和配置文件进行查看时，无需再逐个登录电力网络设备查看日志和配置文件，减轻了网络运行维护人员的工作负荷。

2、本发明通过日志分析模块，可以根据设定的日志分析条件，对采集的日志进行分析，对满足条件的日志进行标记，网络运行维护人员可以通过查看被标记的日志，实现对故障的快速定位和排查，提高了网络运行维护人员的效率。

3、本发明通过配置文件管理模块，可以对采集的配置文件进行时间线管理，网络运行维护人员可以查看电力网络设备配置文件的变更记录，及查看变更时间点前后配置文件变化的内容，及时发现电力网络中潜在的安全风险。

4、本发明通过web发布模块发布日志和配置文件，方便网络运行维护人员查询，直观便捷。

附图说明

图1为本发明系统结构示意图；

图2为本发明日志分析模块流程图；

图3为本发明配置文件管理模块流程图。

具体实施方式

一种电力网络设备日志和配置文件的采集、分析和发布系统，是应用在包含电力网络设备的电力网络环境中，电力网络设备具体可以是路由器或交换机；如图1所示，系统的组成包括：syslog服务模块、日志分析模块、配置文件抓取模块、配置文件管理模块、web发布模块和本地文件夹；在本地文件夹中存储有日志分析条件文件、网络设备列表文件、缓存文件夹和配置文件夹，在配置文件夹中存储有配置文件和设备配置表文件；

syslog服务模块用于接收电力网络设备自动上传的日志，并存入日志数据库，syslog模块使用数据库软件作为电力网络设备日志上传的接收程序和日志数据库管理程序，本实施例中使用的数据库程序为mysql，也可使用其他能实现相同功能的数据库软件；

如图2所示，日志分析模块读取日志数据库中日志和日志分析条件文件中存储的日志分析条件，并根据日志分析条件即用户设置的过滤关键字，如IP、MAC、关键字，对日志部分的message-text字段进行过滤分析；对满足日志分析条件即过滤后发现的异常日志在日志数据库中进行标记；日志分析模块每隔一段时间运行一次，例如每隔10分钟分析在上次运行之后电力网络设备上传的日志；

配置文件抓取模块读取网络设备列表文件中存储的网络设备列表，并根据网络设备列表抓取与电力网络设备相应的配置文件并存入缓存文件夹中；配置文件抓取模块所设定的时间定时运行，例如每天零时定时抓取，且每次运行前需要清空缓存文件夹，以删除之前抓取的配置文件；

配置文件管理模块读取缓存文件夹中的配置文件并进行时间线管理；

web发布模块用于与浏览器进行通信，接收浏览器传输的操作数据和/或查询条件，并进行相应操作；相应操作包括对日志分析条件和/或网络设备列表进行增加、删除和/或变更操作，并将操作结果传输到浏览器；或根据查询条件读取相应的日志、配置文件和/或设备配置表文件，并传输到浏览器；从而使得web发布模块包含如下功能：

a)电力网络设备基本台账信息维护(包括电力网络设备的管理地址、用户名、密码、型号)；

b)日志分析的关键字设置，可设置关键字为IP地址、MAC地址或一般关键字；

c)路由器、交换机日志按照时间段查询及输出；路由器、交换机异常日志查询；

d)路由器、交换机配置文件变更历史记录及各个变更时间点前后的配置文件内容的查看、导出。

一种利用电力网络设备日志和配置文件的采集、分析和发布系统的方法，按如下步骤进行：

步骤一、在电力网络环境中，接入一用户管理端，并配置用户管理端的IP；

步骤二、配置电力网络设备中宿主机参数为用户管理端的IP；从而保证用户管理端与电力网络设备能正常通信；

步骤三、激活电力网络设备的日志自动上传功能，使得日志上传至用户管理端；

步骤四、用户管理端通过syslog服务模块实时接收上传的日志并存入日志数据库；用户管理端通过配置文件抓取模块定时抓取配置文件并存入缓存文件夹；具体的分为：

4.1、读取本地文件夹中的网络设备列表文件，获得网络设备列表；

4.2、根据网络设备列表中的网络设备信息，获得与电力网络设备相对应的命令序列文件；网络设备信息包括：电力网络设备的名称、管理地址、用户名、密码、厂家和型号；由于不同型号的电力网络设备的配置文件抓取命令不同，为支持不同型号的电力网络设备配置文件的抓取，故定义命令序列文件，命令序列文件包括电力网络设备的厂家、型号、命令格式和命令参数；命令参数包括电力网络设备的管理地址、用户名、密码、用户管理端IP和配置文件保存名称；配置文件保存名称是由电力网络设备的管理地址和配置文件采集时间点组成；

4.3、根据命令序列文件中的命令格式和命令参数，生成配置文件抓取命令；配置文件抓取命令包含连接命令、密码登入命令、上传配置文件命令和退出命令；

4.4、执行配置文件抓取命令，连接电力网络设备，获得与电力网络设备相应的配置文件并存入缓存文件夹中。

步骤五、用户管理端通过日志分析模块根据所设定的日志分析条件对日志数据库中的日志并进行分析，对满足设定的日志分析条件的日志进行标记；配置文件管理模块对所抓取的配置文件进行时间线管理；具体的如图3所示：

5.1、读取缓存文件夹中的配置文件和设备配置表文件；

5.2、查找与配置文件相对应的电力网络设备在设备配置表文件中是否有设备配置记录；设备配置表记录每一次往配置文件夹中存入的配置文件的信息，设备配置记录包含电力网络设备的管理地址、配置保存文件名称和配置文件采集时间点；

5.3、若无设备配置记录，则为首次获取的电力网络设备的配置文件，则将配置文件存入配置文件夹中，并在设备配置表文件中新增一条设备配置记录；若有设备配置记录，则根据设备配置记录，读取上一次存储在配置文件夹中的配置文件并进行比较，判断缓存文件夹中的配置文件是否发生更改，若发生更改，则将缓存文件夹中的配置文件存入配置文件夹中，并在设备配置表文件中新增一条设备配置记录。

步骤六、用户管理端通过浏览器登录web发布模块输入操作数据和/或查询条件，当然也可以使用电力网络中环境中其他终端的浏览器登录到web发布模块，web发布模块接收浏览器传输的操作数据和/或查询条件并进行相应操作，并将操作结果和/或读取相应的日志、配置文件和/或设备配置表文件，传输到浏览器进行显示，从而获得电力网络设备运行状态。

Claims (1)

1.一种电力网络设备日志和配置文件的采集、分析和发布系统的方法，是应用在包含电力网络设备的电力网络环境中；其特征是，所述系统的组成包括：syslog服务模块、日志分析模块、配置文件抓取模块、配置文件管理模块、web发布模块和本地文件夹；在所述本地文件夹中存储有日志分析条件文件、网络设备列表文件、缓存文件夹和配置文件夹，在所述配置文件夹中存储有配置文件和设备配置表文件；

所述syslog服务模块用于接收所述电力网络设备自动上传的日志，并存入日志数据库；

所述日志分析模块读取所述日志数据库中日志和所述日志分析条件文件中存储的日志分析条件，并根据所述日志分析条件对所述日志进行分析，对满足所述日志分析条件的日志在所述日志数据库中进行标记；

所述配置文件抓取模块读取所述网络设备列表文件中存储的网络设备列表，并根据所述网络设备列表抓取与所述电力网络设备相应的配置文件并存入所述缓存文件夹中；

所述配置文件管理模块读取所述缓存文件夹中的配置文件并进行时间线管理；

所述web发布模块用于与浏览器进行通信，接收所述浏览器传输的操作数据和/或查询条件，并进行相应操作；所述相应操作包括对所述日志分析条件和/或网络设备列表进行增加、删除和/或变更操作，并将操作结果传输到所述浏览器；或根据查询条件读取相应的日志、配置文件和/或设备配置表文件，并传输到所述浏览器；

所述方法是按如下步骤进行：

步骤一、在所述电力网络环境中，接入一用户管理端，并配置所述用户管理端的IP；

步骤二、配置所述电力网络设备中宿主机参数为所述用户管理端的IP；

步骤三、激活所述电力网络设备的日志自动上传功能，使得所述日志上传至所述用户管理端；

步骤四、所述用户管理端通过所述syslog服务模块实时接收上传的日志并存入所述日志数据库；所述用户管理端通过所述配置文件抓取模块定时抓取配置文件并存入所述缓存文件夹；

所述步骤四中的配置文件抓取模块是按如下步骤进行配置文件的定时抓取：

1)读取所述本地文件夹中的网络设备列表文件，获得所述网络设备列表；

2)根据所述网络设备列表中的网络设备信息，获得相应的命令序列文件；所述网络设备信息包括：电力网络设备的名称、管理地址、用户名、密码、厂家和型号；所述命令序列文件包括电力网络设备的厂家、型号、命令格式和命令参数；所述命令参数包括电力网络设备的管理地址、用户名、密码、用户管理端IP和配置文件保存名称；所述配置文件保存名称是由电力网络设备的管理地址和配置文件采集时间点组成；

3)根据所述命令序列文件中的命令格式和命令参数，生成配置文件抓取命令，

4)执行所述配置文件抓取命令，连接电力网络设备，获得与所述电力网络设备相应的配置文件并存入所述缓存文件夹中；

步骤五、所述用户管理端通过所述日志分析模块根据所设定的日志分析条件对所述日志数据库中的日志并进行分析，对满足设定的日志分析条件的日志进行标记；所述配置文件管理模块对所抓取的配置文件进行时间线管理；

所述步骤五中所述配置文件管理模块按如下步骤进行时间线管理：

1)读取所述缓存文件夹中的配置文件和设备配置表文件；

2)查找与所述配置文件相对应的电力网络设备在所述设备配置表文件中是否有设备配置记录；

3)若无设备配置记录，则为首次获取的所述电力网络设备的配置文件，则将所述配置文件存入所述配置文件夹中，并在所述设备配置表文件中新增一条设备配置记录；若有设备配置记录，则根据所述设备配置记录，读取上一次存储在所述配置文件夹中的配置文件并进行比较，判断所述缓存文件夹中的配置文件是否发生更改，若发生更改，则将所述缓存文件夹中的配置文件存入所述配置文件夹中，并在所述设备配置表文件中新增一条设备配置记录；

步骤六、用户管理端通过浏览器登录所述web发布模块输入操作数据和/或查询条件，所述web发布模块接收所述浏览器传输的操作数据和/或查询条件并进行相应操作，并将操作结果和/或读取相应的日志、配置文件和/或设备配置表文件，传输到所述浏览器进行显示。