CN109857713A - 一种面向电力业务终端的分布式日志采集处理系统及方法 - Google Patents

Abstract

本发明公开了一种面向电力业务终端的分布式日志采集处理系统及方法，属于信息安全技术领域。本发明系统包括：日志采集代理模块，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集；本地日志库，对日志采集代理模块采集的电力业务终端日志进行缓存；策略服务器，生成日志采集指令并下发给日志采集代理模块；日志服务器，调用本地日志库缓存的电力业务终端日志，并进行集中处理；中央日志库，接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。本发明解决了电力互联网应用业务终端分布式部署时，在终端数量庞大情况下，日志数据采集与上传受网络通信环境影响大、不能及时采集的问题。

Description

一种面向电力业务终端的分布式日志采集处理系统及方法

技术领域

本发明涉及信息安全技术领域，并且更具体地，涉及一种面向电力业务终端的分布式日志采集处理系统及系统。

背景技术

随着互联网技术发展，电力企业采用互联网搭建面向客户服务的业务应用越来越多，其中很多应用涉及专用电力业务终端(如自助缴费终端、充电桩等)。为保证业务应用安全，需及时采集、处理业务终端在运行过程中产生的日志(包括终端运行状态日志、客户操作日志等)，以便及时了解终端运行状态和业务应用状态，防止终端在不安全状态下运行给企业和客户造成安全损失。

由于互联网应用面对的客户主要是社会大众用户，为保证客户应用体验，其业务终端一般数量庞大、分布地域广，产生日志数据众多，给日志数据实时采集、处理造成了极大不便。特别是部分终端部署在网络通信环境不佳的区域(如偏远郊区、山区、高速公路等)，网络通信受气候环境等影响较大，对终端日志的采集和上传效果影响极大。

发明内容

本发明的目的在于解决分布在不同地域、不同通信网络环境下电力业务终端海量日志数据采集与上传困难的问题，实现依据网络环境对电力互联网应用业务终端的日志数据进行自适应快速采集与预处理，解决电力互联网应用面临复杂网络环境，业务终端日志数据难以有效采集与上传处理的问题，而提出了一种面向电力业务终端的分布式日志采集处理系统，本发明系统包括：

日志采集代理模块，连接多个电力业务终端，接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，所述日志采集代理模块根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集；

本地日志库，连接日志采集代理模块，对日志采集代理模块采集的电力业务终端日志进行缓存；

策略服务器，生成日志采集指令并下发给日志采集代理模块；

日志服务器，连接策略服务器，调用本地日志库缓存的电力业务终端日志，并进行集中处理，并将处理后的电力业务终端日志传输至中央日志库；

中央日志库，接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

可选的，日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态。

可选的，电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

可选的，日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况。

可选的，下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令。

本发明还提出了一种面向电力业务终端的分布式日志采集处理方法，本发明方法包括：

策略服务器生成日志采集指令并下发给日志采集代理模块；

日志采集代理模块接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，所述日志采集代理模块根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集；

本地日志库对日志采集代理模块采集的电力业务终端日志进行缓存；

日志服务器调用本地日志库缓存的电力业务终端日志，并进行集中处理，处理后的电力业务终端日志传输至中央日志库；

中央日志库接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

可选的，日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态。

可选的，电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

可选的，日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况。

可选的，下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令。

本发明解决了电力互联网应用业务终端分布式部署时，在终端数量庞大、分布地域广阔的情况下，日志数据采集与上传受网络通信环境影响大、不能及时采集的问题。本发明中部署在电力业务终端上的日志采集代理，通过对网络通信状况的自动探测，自动调整采集与上传的日志数据，满足不同情况下的网络安全审计需求。在网络环境不良的情况下，终端日志暂存在采集代理处，可以有效避免日志丢失的问题。

附图说明

图1为本发明面向电力业务终端的分布式日志采集处理系统结构图；

图2为本发明面向电力业务终端的分布式日志采集处理方法流程图。

具体实施方式

现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。

除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。

本发明提供了一种面向电力业务终端的分布式日志采集处理系统200，如图1所示，系统200包括：

日志采集代理模块201，连接多个电力业务终端，接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况。

日志采集方式包括文件、Syslog、SNMP等机制。

日志采集代理模块对采集的日志数据进行预处理，添加日志安全等级标识。根据日志类型，将日志数据分为三个安全等级：高(如：系统严重出错信息、涉及资金的交易信息、涉及用户账号和权限的配置信息、疑似网络攻击信息等)、中(如：系统出错信息、告警信息、配置信息更改等)、低(如：一般性提醒信息、设备周期性运行状态信息等)。

日志采集代理模块201根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集，电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志；

日志采集代理模块201具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态；

本地日志库202，连接日志采集代理模块，对日志采集代理模块采集的电力业务终端日志进行缓存；

策略服务器203，生成日志采集指令并下发给日志采集代理模块，下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令。

日志服务器204，连接策略服务器，调用本地日志库缓存的电力业务终端日志，并进行集中处理，并将处理的后的电力业务终端日志传输至中央日志库；

其中调用的具体方式为日志采集代理模块201通过网络通信探测模块，检测与日志服务器204之间的网络通信状况。网络通信状况分为良好(网络性能达到日志服务器设置网络带宽的90％以上)、一般(网络性能介于日志服务器设置网络带宽的70％～90％)、较差(网络性能低于日志服务器设置网络带宽的70％)三级。

日志采集代理模块201根据网络通信状况及采集指令，从本地日志库202读取日志数据并上传到日志服务器204。根据网络通信状况，上传不同日志数据：当网络通信状况较差时，优先上传安全等级为“高”的日志数据，其他数据暂存在本地日志库中；当网络通信状况一般时，先上传安全等级为“高”的日志数据，之后再上传上传安全等级为“中”的日志数据，其他数据暂存在本地日志库中；当网络通信状况良好时，按安全等级自高向低上传日志数据。

日志数据成功上传后，从本地日志库202删除相关记录。

中央日志库205，接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

本发明还提供了一种面向电力业务终端的分布式日志采集处理方法，如图2所示，包括：

策略服务器生成日志采集指令并下发给日志采集代理模块，下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令，日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况；

日志采集代理模块接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，所述日志采集代理模块根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集，日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态，电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

本地日志库对日志采集代理模块采集的电力业务终端日志进行缓存；

日志服务器调用本地日志库缓存的电力业务终端日志，并进行集中处理，处理的后的电力业务终端日志传输至中央日志库；

中央日志库接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

可选的，日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态。

可选的，电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

本发明解决了电力互联网应用业务终端分布式部署时，在终端数量庞大、分布地域广阔的情况下，日志数据采集与上传受网络通信环境影响大、不能及时采集的问题。本发明中部署在电力业务终端上的日志采集代理，通过对网络通信状况的自动探测，自动调整采集与上传的日志数据，满足不同情况下的网络安全审计需求。在网络环境不良的情况下，终端日志暂存在采集代理处，可以有效避免日志丢失的问题。

Claims (10)

1.一种面向电力业务终端的分布式日志采集处理系统，所述系统包括：

日志采集代理模块，连接多个电力业务终端，接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，所述日志采集代理模块根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集；

本地日志库，连接日志采集代理模块，对日志采集代理模块采集的电力业务终端日志进行缓存；

策略服务器，生成日志采集指令并下发给日志采集代理模块；

日志服务器，连接策略服务器，调用本地日志库缓存的电力业务终端日志，并进行集中处理，并将处理后的电力业务终端日志传输至中央日志库；

中央日志库，接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

2.根据权利要求1所述的系统，所述的日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态。

3.根据权利要求1所述的系统，所述的电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

4.根据权利要求1所述的系统，所述的日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况。

5.根据权利要求1所述的系统，所述的下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令。

6.一种面向电力业务终端的分布式日志采集处理方法，所述方法包括：

策略服务器生成日志采集指令并下发给日志采集代理模块；

日志采集代理模块接收策略服务器下发的日志采集指令和日志采集代理模块配置参数，所述日志采集代理模块根据配置参数进行配置，启动日志采集代理模块根据日志采集指令对电力业务终端日志进行采集；

本地日志库对日志采集代理模块采集的电力业务终端日志进行缓存；

日志服务器调用本地日志库缓存的电力业务终端日志，并进行集中处理，处理后的电力业务终端日志传输至中央日志库；

中央日志库接收日志服务器调用的电力业务终端日志、处理后的电力业务终端日志及处理过程中产生的中间数据。

7.根据权利要求6所述的方法，所述的日志采集代理模块具有网络通信探测单元，所述网络通信探测单元检测日志采集代理模块和日志服务器间的网络连接状态。

8.根据权利要求6所述的方法，所述的电力业务终端日志包括：电力业务终端运行日志和电力业务终端操作日志。

9.根据权利要求6所述的方法，所述的日志采集指令包括：日志采集周期、日志上传周期、日志类型、日志安全等级和网络通信状况。

10.根据权利要求6所述的方法，所述的下发方式包括：策略服务器主动下发日志采集指令到日志采集代理模块或日志采集代理模块主动下载日志采集指令。