CN104572978B - 基于日志的电力调度自动化系统用户行为统计方法 - Google Patents

Abstract

本发明公开了基于日志的电力调度自动化系统用户行为统计方法，在特定时刻或时间间隔触发同步程序，根据时间字段访问电力调度自动化系统数据库表中数据，存入本地日志分析表，同时通过远程登录接口连接到电力调度自动化系统工作站，按照工作站地址、用户名、密码、同步间隔等，对文件版本、内容对比分析，形成操作日志，进行用户操作日志的整理和提取，利用ftp协议将文件操作日志传回服务器，并存入本地日志分析表，在日志分析服务器上，对数据库和文件日志统一采用Lucene引擎建立全文索引，并采用中文分词算法进行关键词分析，并提供用户操作行为统计和应用使用情况分析，本发明的优点是：实现了电力调度自动化的用户操作日志的收集、提取、记录、分析。

Description

基于日志的电力调度自动化系统用户行为统计方法

技术领域

本发明涉及电力调度自动化技术，特别基于日志的电力调度自动化系统用户行为统计方法。

背景技术

随着电网规模越来越大、“大运行”体系地县调控一体化系统建设的推进，地区电网调度自动化系统承担着地县两级电网调度、变电运行监控的多重任务，系统结构日益复杂，从原先的集中系统发展到分布分散式系统，从单一部分集中维护发展到多单位、多部门联合维护，这就从客观上增加了系统的不安全因素。而自动化系统一旦出现控制参数不一致，将直接导致电网误操作事故；一旦发生系统故障，将造成地县两级电网调度指挥陷入瘫痪、35kV-220kV所有变电站失去运行监控，对电网运行造成严重后果。因此在系统发生误动作或故障前，如何有效实现系统维护操作安全性校核，就成为摆在自动化专业面前一个极需解决的问题。

现有的自动化安全校核系统中存在以下问题：

1)电力调度自动化安全校核系统主要面向发电计划，以潮流计算、灵敏度分析、静态安全分析、短路电流分析、暂态稳定分析等安全分析功能为主，没有或者很少涉及用户操作和用户行为的分析统计。安全校核系统一般都缺少针对特定用户和特定行为的统计、分析、验证功能。

2)目前的电力调度自动化系统工作站一般运行Linux操作系统，用户操作日志除了保存在数据库中，也有部分日志以文件形式存放在工作站的文件系统中。如何能够综合数据库操作日志和文件系统日志，实现针对特定操作的统计、查询、分析，是一个工程实践中需要解决的问题。

发明内容

本发明的目的在于提供基于日志的电力调度自动化系统用户行为统计方法，不仅可以提取电力调度自动化系统数据库中的操作记录，而且可以部署在电力调度自动化系统工作站上，进行用户操作日志的整理和提取，从而实现针对各类用户特定操作的统计、查询、分析。

为了解决上述技术问题，本发明是通过以下技术方案实现的：基于日志的电力调度自动化系统用户行为统计方法，包括数据库日志提取和文件日志提取和用户行为分析；

1.1)所述数据库日志提取的步骤如下：

1.1.1)配置电力调度自动化系统数据库登录用户，以用户登录接口建立数据库连接；

1.1.2)通过用户名与时间段查询用户操作日志列表；

1.1.3)通过用户名、应用名、操作类型等条件查询电力调度自动化系统的用户操作日志列表；

1.1.4)通过日志ID取得电力调度自动化系统操作日志详细内容；

1.1.5)设置定时同步功能，通过设置特定时刻或时间间隔触发同步程序，根据时间字段同步电力调度自动化系统数据库表中数据存入本地日志分析表。

1.1.6)用户退出操作，注销用户SESSION；

1.2)所述的文件日志提取的步骤如下：

1.2.1)配置电力调度自动化工作站，设置远程登录用户权限；

1.2.2)服务器同步软件读取配置文件，提取文件中配置参数，以远程登录接口连接到工作站；

1.2.3)根据文件同步规则，进行图形编辑成果文件的时间、版本、内容的对比分析，形成操作日志；

1.2.4)利用ftp协议将文件操作日志传回服务器，并按工作站、时间、用户存放到数据库中；

1.3)所述的用户行为分析的步骤如下：

1.3.1)在日志分析服务器上，对数据库和文件日志统一采用Lucene引擎建立全文索引，并采用中文分词算法进行关键词分析；

1.3.2)通过日期范围统计各个应用使用次数；

1.3.3)通过应用ID与日期范围取得该应用在日期范围内的用户操作数据；

1.3.4)通过用户名与日期范围统计出该用户在日期范围内的每个应用的操作次数；

1.3.5)通过应用ID与月份段，统计出该应用在每个月的使用次数；

1.3.6)应用使用情况统计，统计各个应用的使用次数，并以饼图显示，点击图形可以钻取出该应用使用的用户详细情况；

1.3.7)用户操作行为统计，统计结果以列表形式列出用户所有的操作记录；

1.3.8)应用使用情况对比，统计结果以曲线图显示各个应用在不同月份的使用率。

优选的，所述步骤1.2.2)中提取文件中配置参数为工作站地址、用户名、密码和同步间隔。

与现有技术相比，本发明的优点是：1)实现了电力调度自动化的用户操作日志的收集、提取、记录、分析；2)实现了数据库型操作日志和文件型操作日志的统一收集；3)在日志分析过程中采用了基于中文分词算法的全文索引技术，确保结果准确可信；4)具有实现简单以及易于部署的特点。

附图说明

图1是本发明中数据库日志收集的流程图；

图2是本发明中日志文件基于Lucene的全文索引算法流程图；

图3是本发明中数据库日志分析的最大匹配分词算法流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1，为实现电力调度自动化系统的用户操作分析，定时将电力调度自动化系统中以数据库或文件形式的日志数据同步至本系统日志分析表中，即：

1.1)通过配置设置每天固定时间或间隔时间触发同步程序，其步骤如下：

1.1.1)配置电力调度自动化系统数据库登录用户，以用户登录接口建立数据库连接；

1.1.2)通过用户名与时间段查询用户操作日志列表；

1.1.3)通过用户名、应用名、操作类型等条件查询电力调度自动化系统的用户操作日志列表；

1.1.4)通过日志ID取得电力调度自动化系统操作日志详细内容；

1.1.5)用户退出操作，注销用户SESSION。

实现对同步数据进行分析，格式化数据入库，具体包括：1、对电力调度自动化系统数据库中数据进行分析，拆分为多个关键字存入本地分析库中。2、对电力调度自动化系统中曲线定义应用生成的配置文件内容进行解析、整理后存入本地分析库中。

所述的文件日志收集分析步骤如下：

1.2)对电力调度自动化系统日志表中日志内容分析，将应用名、操作类型、被操作记录内容、被操作表名等信息提出，并结合电力调度自动化系统用户表、应用定义表、节点定义表中数据对日志记录进行转换后存入本地分析库，其步骤如下：

1.2.1)配置电力调度自动化工作站，设置远程登录用户权限；

1.2.2)服务器同步软件读取配置文件，提取文件中配置参数(工作站地址、用户名、密码、同步间隔等)，以远程登录接口连接到工作站；

1.2.3)根据文件同步规则，进行图形编辑成果文件的时间、版本、内容的对比分析，形成操作日志；

1.2.4)利用ftp协议将文件操作日志传回服务器，并按工作站、时间、用户存放到数据库中。

数据收集到本地数据库中以后，需要建立针对电力调度操作的全文索引，以实现精确全面的检索。

建立索引的时候，写入索引并能够被用户检索的是一个个的词条。所谓词条，即通过分析器进行分词和相关处理后的文本。只有通过相同的分词才能让检索请求被正确理解，进而检索出相应内容。比如，我们在建立索引的时候，我们将一段文本“倒闸操作”切分成“倒闸/操作”进行索引，这样存储在索引中只有“倒闸”、“操作”这两个词条。倘若，在用户发起检索时使用其他的分析器把“倒闸操作”切分成了“倒/闸操作”，即“倒”、“闸操作”两个词条，那么就无法在索引中找到与之匹配的词条了，也就无法检索出用户的请求，显示出了极低的查准率。

通过上面的分析，我们知道汉语在建索引时，对汉字序列进行分词是必不可少的，同时，采取什么样的分词算法也很关键，不同的分词算法可能会带来完全不一样的词条，使原始语义大相径庭。

中文分词相对于英文分词来说复杂的多，目前主要有三类分词技术：基于字符串匹配的分词、基于理解的分词和基于统计的分词。

结合图3，所采用的改进型最大匹配分词算法描述如下：

1)初始化两个字符串S1、S2，S1为待切分字符串，S2为切分后的字符串，初始化匹配最大长度MaxLen；

2)如果S1非空，就从S1的左边开始，取出候选字符串W，W的长度不大于MaxLen。如果S1为空，则转到4)；

3)从已有的分词词典中查找W，如果在词典中，把W加入到S2中，S1的指针往后移到W之后，然后转到2)继续执行。如果W不在词典库中，则将字符串W最右端的一个字符去掉，重新执行3)；

4)执行直到S1为空串为止，输出分词结果字符串S2。

对于经典最大匹配分词算法，我们增加了电力调度词典库，在利用这些分词库进行语料分析和词条划分时就可能出现不准确甚至错误，为了准确地划分这些专业词汇和姓名词汇，我们建立一个专业词库，这些词库结合选定的基本词库，一起来划分我们的知识文档，使得文档的划分更专业更准确。

改进的知识文档分词步骤如下：

10)知识文档的预处理，即把知识文档转化成文本文件后，删除一些不必要的空格，如姓名中的空格等。

11)读入文本文件内容到内存S1，从S1中读取出候选词W，W的长度不大于MaxLen。

12)从已有的分词词典中查找W，如果W在分词词典中，则把W加入到分词字符串中，S1的指针往后移到W之后，然后转到11)继续执行。如果不在分词词典中，继续在专业词典和姓名词典中查找匹配，如果W在专业词典或姓名词典中，则把W加入到分词字符串中，S1的指针往后移到W之后，然后转到11)继续执行。如果W也不在专业词典和姓名词典中，则将字符串W最右端的一个字符去掉，重新执行12)。

13)循环执行直到把S1全部划分完为止。

结合图2，所采用的日志文件全文索引算法描述如下：

1.3)所述的用户行为分析的步骤如下：

1.3.1)在日志分析服务器上，对数据库和文件日志统一采用Lucene引擎建立全文索引，并采用中文分词算法进行关键词分析；

1.3.2)通过日期范围统计各个应用使用次数；

1.3.3)通过应用ID与日期范围取得该应用在日期范围内的用户操作数据；

1.3.4)通过用户名与日期范围统计出该用户在日期范围内的每个应用的操作次数；

1.3.5)通过应用ID与月份段，统计出该应用在每个月的使用次数；

1.3.6)应用使用情况统计，统计各个应用的使用次数，并以饼图显示，点击图形可以钻取出该应用使用的用户详细情况；

1.3.7)用户操作行为统计，统计结果以列表形式列出用户所有的操作记录；

1.3.8)应用使用情况对比，统计结果以曲线图显示各个应用在不同月份的使用率。

索引建立后需要关闭所有的I/O数据流，这样才能把缓存中的索引都写入到磁盘上，完成最终索引的建立。在建立大量文档的索引时，索引目录下的索引文件会增长很快，大量的索引文件增加了检索时的文件操作，影响检索速度，因而，索引建立过程中另一个重要的步骤就是索引优化，其主要作用就是合并索引目录下的索引文件，减少索引文件的数量，使Lucene能够更快的处理索引，提高检索速度。

我们的知识文档主要是以文本形式存在着的。但是Lucene建立索引时只能识别Document类型的文件，我们需要将文本文件与Document相对应，用一个Document来代表一个物理文件，Lucene从Document中取出相关的数据源，并根据属性配置相应的处理。

一个Document包含着这个数据源的描述信息，在Lucene中是利用类Field来表示的。一个Document可以包含多个Field，这些Field标识着当前数据源的各种属性，同时也存储着来自数据源的数据内容。

Field标志的各种属性主要包括是否存储、是否索引、是否分词等几种。根据数据源的具体特征，来选择不同属性。

构建完Document并详细设计了Field，接下来需要将Document加入到索引中去。Lucene中是通过索引器IndexWriter类来进行索引的。IndexWriter的初始化过程中主要是选择索引文件存储路径、选用分词分析器、是否新建索引。是否新建索引的参数是个boolean类型的值，这个值的含义是指是在第一个参数的路径下删除原有索引重新建立新的索引还是在原有索引的基础上添加进新的索引，这是一个很有用的参数，我们经常是在建立好一个索引后，往往需要往这个索引文件中添加如新的索引，更新索引库，这时就得把这个参数设为false。

初始化IndexWriter后，调用IndexWriter的addDument方法把已有的Dument加入到索引中去，加入的过程是索引的关键过程，在这里，数据源的分词、词条出现频率、词条位置、词条倒排等都是在addDument中发生。

用户通过校核系统可查询到所有对电力调度自动化系统数据库的操作记录，查询条件分为操作时间、节点名、用户姓名或组合条件模糊查询记录列表，选中需要查看的记录显示出详细操作内容，可以完成的用户行为分析包括：

A、图形显示日志检索，分别对图形编辑操作检索、色彩配置操作检索、图元编辑操作检索；

B、数据库日志检索，分别对数据库操作检索、CASE管理操作检索；

C、公式定义日志检索，分别对公式定义操作检索、采样定义操作检索；

D、告警查询日志检索，主要对采样定义操作检索；

E、系统管理日志检索，分别对责任区定义操作检索、用户登录操作检索；

F、报表定义日志检索，主要对报表定义操作检索；

G、定义曲线日志检索，主要对定义曲线操作检索。

本方法实现了电力调度自动化的用户操作日志的收集、提取、记录、分析；实现了数据库型操作日志和文件型操作日志的统一收集；在日志分析过程中采用了基于中文分词算法的全文索引技术，确保结果准确可信；具有实现简单以及易于部署的特点。

以上所述仅为本发明的具体实施例，但本发明的技术特征并不局限于此，任何本领域的技术人员在本发明的领域内，所作的变化或修饰皆涵盖在本发明的专利范围之中。

Claims (1)

1.基于日志的电力调度自动化系统用户行为统计方法，其特征在于：包括数据库日志提取和文件日志提取和用户行为分析；

1.1)所述数据库日志提取的步骤如下：

1.1.1)配置电力调度自动化系统数据库登录用户，以用户登录接口建立数据库连接；

1.1.2)通过用户名与时间段查询用户操作日志列表；

1.1.3)通过用户名、应用名、操作类型等条件查询电力调度自动化系统的用户操作日志列表；

1.1.4)通过日志ID取得电力调度自动化系统操作日志详细内容；

1.1.5)设置定时同步功能，通过设置特定时刻或时间间隔触发同步程序，根据时间字段同步电力调度自动化系统数据库表中数据存入本地日志分析表；

1.1.6)用户退出操作，注销用户SESSION；

1.2)所述的文件日志提取的步骤如下：

1.2.1)配置电力调度自动化工作站，设置远程登录用户权限；

1.2.2)服务器同步软件读取配置文件，提取文件中配置参数，配置参数为工作站地址、用户名、密码和同步间隔，以远程登录接口连接到工作站；

1.2.3)根据文件同步规则，进行图形编辑成果文件的时间、版本、内容的对比分析，形成操作日志；

1.2.4)利用ftp协议将文件操作日志传回服务器，并按工作站、时间、用户存放到数据库中；

1.3)所述的用户行为分析的步骤如下：

1.3.1)在日志分析服务器上，对数据库和文件日志统一采用Lucene引擎建立全文索引，并采用中文分词算法进行关键词分析；

1.3.2)通过日期范围统计各个应用使用次数；

1.3.3)通过应用ID与日期范围取得该应用在日期范围内的用户操作数据；

1.3.4)通过用户名与日期范围统计出该用户在日期范围内的每个应用的操作次数；

1.3.5)通过应用ID与月份段，统计出该应用在每个月的使用次数；

1.3.6)应用使用情况统计，统计各个应用的使用次数，并以饼图显示，点击图形可以钻取出该应用使用的用户详细情况；

1.3.7)用户操作行为统计，统计结果以列表形式列出用户所有的操作记录；

1.3.8)应用使用情况对比，统计结果以曲线图显示各个应用在不同月份的使用率。