CN112232078A - 一种基于双向gru与注意力机制的调度操作票审核方法 - Google Patents

Abstract

本发明公开了一种基于双向GRU与注意力机制的调度操作票审核方法，包括以下步骤：S1、收集并扩展数据集；S2、词向量生成及训练生成模型；S3、句向量生成及训练生成模型；S4、将待审核操作票放入模型中进行处理。本发明中，首先，在原有方法的基础上，将词向量和句向量同时作为输入信息，提升了审核准确率，其次，采用基于双向GRU与注意力机制的模型作为训练模型，保证了审核精度，最后，审核发现疑似不规范票，立即给出警告并进行正确的操作项目提示，防止误操作，保障电网安全稳定运行。

Description

一种基于双向GRU与注意力机制的调度操作票审核方法

技术领域

本发明涉及操作票审核技术领域，尤其涉及一种基于双向GRU与注意力机制的调度操作票审核方法。

背景技术

随着社会电力需求的日益增高，电网规模的不断扩大，相应的电网设备运行方式变更、检修停送电、紧急缺陷停送电等操作也明显增加。填写并执行调度操作票是电网调度工作中的一项重要工作内容，除了事故紧急处理、口头许可操作等5种特殊情况外，其余操作都要填写调度操作票，调度操作票的正确与否关系着操作下令的准确性。在实际操作中，调度操作票必须经过“三审”(即填票人(操作人)自审、审核人(监护人)二审、值班负责人三审)并签名方可执行。调度操作票“三审”保障了操作的准确性，但同时由于靠人工审核，需耗费大量时间，在操作日益增多的情况下，值班调控员亟需一种更为高效的调度操作票审核方法。目前调度操作票审核方法主要为规则库对比检测：通过数据处理方法生成训练数据，将训练数据放入模型进行训练，生成规则库，将待审核的操作票放入模型，生成的数据与规则库进行对比，发现错误。

然而现有的专利文献，如：中国专利：CN111339766A，公布了一种操作票合规性检查方法及装置，首先通过收集归档票和作废票形成初始数据集，通过NLP数据增强生成更多的数据变体，对汉字进行词性标注，转化为训练数据集；随后利用BERT模型对训练数据集进行训练生成规则库；最后用训练好的BERT模型对待查操作票进行训练，训练结果与之前的规则库进行匹配，从而完成操作票合规性检查。该方法能够基于BERT模型对生成规则库，进而对操作票合规性进行检查，简单易行，但存在以下不足：(1)方法中模型输入为词性信息，并不是文字信息，所以无法识别具体的操作内容。(2)方法侧重于检验每条操作项目本身的逻辑性关系，无法检验操作任务中各操作项目的逻辑性错误。

电气自动化，2020，42(2)：80-83)(陈俊全，黄晓旭等.基于规则学习的调度操作智能校核方法[J].)公布了一种调度操作票智能校核系统构建方法，首先将原始调度票数据、转换后的调度票数据分别转换并组合形成数据模型；随后使用规则学习算法对数据模型进行计算，生成规则库；最后利用规则库对调度票进行校核。该方法能够根据自动学习生成校核规则库，通过与人工设置规则库的结合，从而通过规则库判断调度票是否正确，取得了良好的效果，但存在以下不足：(1)方法首先需要将每条操作项目分解成操作对象、操作措施，对调度票本身规范化程度依赖性较强，若出现不规范调度票，便会影响后期规则库的生成及审核判断。(2)该方法主要考虑操作项目之间的逻辑性要求，无法检验操作项目本身逻辑性关系及文字性错误。

发明内容

本发明的目的在于：为了解决上述提出的问题，而提出的一种基于双向GRU与注意力机制的调度操作票审核方法。

该方法利用GRU(Gate Recurrent Unit，门控循环单元)在时序数据处理方面的优势，并充分考虑了调度操作票的操作项目本身逻辑性、文字性以及操作任务中的各操作项目之间逻辑性审核。根据该地区电网实际经验统计，平均每张调度操作票完成“三审”的时间需要30分钟。采用该方法，调度操作票审核时间可缩短至10秒以内。

通过对历史调度操作票分析发现，调度操作票的错误项目主要集中于文字性描述错误、操作项目本身的逻辑性错误，以及各操作项目之间的逻辑性错误。本发明在原有基于词向量输入的基础上，增加了句向量输入模块以及基于双向GRU与注意力机制的处理模块。对于待审核调度操作票，本发明从词语、句子、上下句三方面进行检测，从而进一步提升操作票的准确率，提高操作票审核效率，防止调控员因为操作票填写错误导致出现误操作。

本发明的技术方案如下：

一种基于双向GRU与注意力机制的调度操作票审核方法，包括以下步骤：

S1、收集并扩展数据集；

S2、词向量生成及训练生成模型；

S3、句向量生成及训练生成模型；

S4、将待审核操作票放入模型中进行处理。

步骤S1所述的收集并扩展数据集，通过收集已归档操作票数据，形成初始数据集T1，对T1数据干扰处理，与不规范、不合格票数据结合，形成数据集T2，T1与T2结合后随机种子排序，形成数据集T3。

步骤S2所述的词向量生成及训练生成模型，通过对数据集T3进行分词处理，采用jieba分词库，将每条操作项目分解为多个词语，形成数据集T4，使用Word2Vec模型进行训练，将每个词语用词向量表示，生成训练好的词向量字典D1以及向量集V1，同时一条操作项目可表示为m个词向量，向量集V1以m为单位输入基于双向GRU与注意力机制的模型进行文本训练，生成训练好的模型M1。

步骤S3所述句向量生成及训练生成模型基于步骤S2词向量生成及训练生成模型进行，使用步骤S2生成的分词结果数据集T4，通过Doc2Vec模型进行训练，将每条操作项目用句向量表示，生成训练好的句向量字典D2以及向量集V2，形成一个操作任务则可以表示为n个句向量，将向量集V2以操作任务为单位输入基于双向GRU与注意力机制的模型进行文本训练，生成训练好的模型M2。

步骤S4所述将待审核操作票放入模型中进行处理中，对待审核操作票通过jieba分词，通过词向量字典D1、句向量字典D2分别转化为词向量和句向量，分别输入模型M1和M2中进行审核，判断是否存在错误，若错误则给出正确的建议。

步骤S2、S3中所述的双向GRU采用两个相同结构的GRU网络，同时以正序和倒序两种方式分别读取向量集V1、V2的输入信息，从而组合成一个更大的向量来作为模型的内部状态，GRU输出过程可表示为：

z_t＝σ(W_z·[h_t-1，x_t]) (1)

r_t＝σ(W_r·[h_t-1，x_t]) (2)

其中z_t、r_t、

h_t分别为更新门、重置门、当前时刻的候选状态、当前时刻隐状态。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，在原有方法的基础上，将词向量和句向量同时作为输入信息，测试结果表明，通过对词向量、句向量信息的结合引入，能同时覆盖调度操作票词语、句子、句子之间的审核，扩大了审核范围，相对于现有技术中主要依靠分词后形成规则库的模式对操作票进行审核，忽略了句子信息，提升了审核准确率。

2、本发明中，根据调度操作票作为一种文本数据，存在的极强时序特征的特点，本发明利用调度操作票的时序特征，采用基于双向GRU与注意力机制的模型作为训练模型，保证了审核精度。

3、本发明中，提供的基于词向量和句向量的调度操作票审核方法，主要应用于电网企业的调度和变电运行单位，用于审核填写的操作票是否符合规范，一旦发现疑似不规范票，立即给出警告并进行正确的操作项目提示，防止误操作，保障电网安全稳定运行。

附图说明

图1示出了根据本发明实施例提供的操作票审核方法流程框架图示意图。

图2是本发明中模型训练示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例，请参阅图1，本发明提供一种技术方案：一种基于双向GRU与注意力机制的调度操作票审核方法，包括以下步骤：

S1、收集并扩展数据集；

S2、词向量生成及训练生成模型；

S3、句向量生成及训练生成模型；

S4、将待审核操作票放入模型中进行处理。

具体的，如图1所示，步骤S1的收集并扩展数据集，通过收集已归档操作票数据，形成初始数据集T1，对T1数据干扰处理，与不规范、不合格票数据结合，形成数据集T2，T1与T2结合后随机种子排序，形成数据集T3。

更具体的描述:

(1)收集2018年、2019年某地区电网已归档调度操作票，读取每张操作票的操作任务、受令/遥控单位、操作项目，以文本形式存储，分为输入集、验证集，二者内容一样，共同形成数据集T1；

(2)对数据集T1添加干扰项，使输入集内容发生变化，形成不规范/不合格操作票，验证集内容保持不变，一是对关键字进行错字、漏字、加字、词语顺序互换处理，二是对操作任务进行操作项目删除、操作项目顺序互换处理，三是读取历史不规范/不合格操作票，通过上述三种方式，最终形成数据集T2；

(3)将数据集T1与T2合并，以操作任务为单位，保证一个操作任务内的操作项目顺序不发生变化，选定好一个随机种子，进行随机排序，形成数据集T3。

步骤S2的词向量生成及训练生成模型，对数据集T3进行分词处理，采用jieba分词库，将每条操作项目分解为多个词语，形成数据集T4，使用Word2Vec模型进行训练，将每个词语用词向量表示，生成训练好的词向量字典D1以及向量集V1。同时一条操作项目可表示为m个词向量，向量集V1以m为单位输入基于双向GRU与注意力机制的模型进行文本训练生成训练好的模型M1。

更具体的描述:

(1)基于电力行业操作术语的特殊性，在分词前自定义词典，在使用jieba分词库时引入，对数据集T3进行分词处理，从而将每条操作项目分解为多个词语，形成数据集T4，如“220kV普吉变_110kV普铜Ⅰ回153断路器由冷备用转为热备用”分解为“220kV/普吉变/_/110kV/普铜Ⅰ回/153/断路器/由/冷备用/转为/热备用”；

(2)使用Word2Vec模型对数据集T4进行训练，形成训练好的词向量字典D1以及向量集V1，向量集V1将每条操作项目用m个词向量的形式表达出来；

(3)将向量集V1以m为单位输入基于双向GRU与注意力机制的模型中进行训练：

A、所述的双向GRU采用两个相同结构的GRU网络，同时以正序和倒序两种方式读取向量集V1的输入信息，从而组合成一个更大的向量来作为模型的内部状态，如对于“220kV普吉变_110kV普铜Ⅰ回153断路器由冷备用转为热备用”，将会产生两个样本，分别为正序和倒序的序列，正序序列为：“220kV/普吉变/_/110kV/普铜Ⅰ回/153/断路器/由/冷备用/转为/热备用”，倒序序列为：“热备用/转为/冷备用/由/断路器/153/普铜Ⅰ回/110kV/_/普吉变/220kV”；

B、GRU输出过程可表示为：

z_t＝σ(W_z·[h_t-1，x_t]) (1)

r_t＝σ(W_r·[h_t-1，x_t]) (2)

其中z_t、r_t、

h_t分别为更新门、重置门、当前时刻的候选状态、当前时刻隐状态。

首先，更新门z_t控制当前状态h_t需要从上一个时刻状态h_t-1保留多少信息；其次，重置门r_t控制当前时刻的候选状态是否依赖于上一时刻隐状态h_t-1；然后，可得到当前时刻的候选状态为

最后计算出当前时刻隐状态h_t。

C、所述的注意力机制属于一种前馈网络，引入注意力机制后，在进行正确操作项目生成时，会体现出输入词语对于生成当前输出词语不同的影响程度，比如给出下面的概率分布值：

(220kV，0.04)(普吉变，0.06)(_，0.01)(拉开，0.18)(110kV，0.04)(普铜Ⅰ回，0.17)(15367，0.03)(线路，0.12)(接地关，0.35)

每个词语的概率代表了生成当前词语“接地开关”时，注意力模型分配给不同输入集词语的注意力的大小，所以模型可判断出输入“接地关”对输出“接地开关”影响最大，有利于生成正确的输出集，输出集中每个词语学会其对应的输入集词语的注意力分配的概率信息，生成词语y_i时，将之前固定的中间语义C更换为根据当前输出词语来调整成加入注意力模型变化的C_i。

y₁＝g(C₁)

y₂＝g(C₂，y₁)

y₃＝g(C₃，y₁，y₂)

…

y_i＝g(C_i，y₁，y₂，...，y_i-1) (6)

其中公式(5)中，T_x代表输入句子的长度，α_ij表示注意力分布矩阵中对应的注意力分配概率，h_j表示针对某个输入词语，对应的注意力模型权重值。

其中公式(6)中，y_i为输出的目标词语，g函数为加权求和函数；

(4)通过以上步骤进行迭代训练，最终生成训练好的操作项目审核模型M1。

步骤S3句向量生成及训练生成模型基于步骤S2词向量生成及训练生成模型进行，使用步骤S2生成的分词结果数据集T4，通过Doc2Vec模型进行训练，将每条操作项目用句向量表示，生成训练好的句向量字典D2以及向量集V2。形成一个操作任务则可以表示为n个句向量，将向量集V2以操作任务为单位输入基于双向GRU与注意力机制的模型进行文本训练生成训练好的模型M2。

更具体的描述:

(1)使用第二步生成的分词结果数据集T4。

(2)使用Doc2Vec模型对数据集T4进行训练，形成训练好的句向量字典D2以及向量集V2，向量集V2将每个操作任务用n个句向量的形式表达出来。

(3)将向量集V2以n为单位输入基于双向GRU与注意力机制的模型中进行训练，此步骤与第二步(3)原理一致。

(4)通过以上步骤进行迭代训练，最终生成训练好的操作任务审核模型M2。

步骤S4将待审核操作票放入模型中进行处理中，对待审核操作票通过jieba分词，通过词向量字典D1、句向量字典D2分别转化为词向量和句向量，分别输入模型M1和M2中进行审核，判断是否存在错误，若错误则给出正确的建议。

更具体的描述:

(1)提取待审核操作票文本，以每个操作任务为单位，读取操作任务、受令/遥控单位、操作项目，以文本形式存储。

(2)采用jieba分词库，将每条操作项目分解为多个词语，形成待审核输入集。

(3)调用已保存的训练好的词向量字典D1、句向量字典D2，均输入待审核输入集，分别生成相关的词向量、句向量输入集。

(4)调用已保存的训练好的操作项目审核模型M1、操作任务审核模型M2，分别输入词向量、句向量输入集，生成建议的词向量、句向量输出集，通过词向量字典D1、句向量字典D2，形成最终的相应的操作任务、操作项目。

(5)将最终的操作任务、操作项目与输入集进行比对，对于不同之处，给出修改建议，供填票人修改。

通过对历史调度操作票分析发现，调度操作票的错误项目主要集中于文字性描述错误、操作项目本身的逻辑性错误，以及各操作项目之间的逻辑性错误。本发明在原有基于词向量输入的基础上，增加了句向量输入模块以及基于双向GRU与注意力机制的处理模块。对于待审核调度操作票，本发明从词语、句子、上下句三方面进行检测，从而进一步提升操作票的准确率，提高操作票审核效率，防止调控员因为操作票填写错误导致出现误操作。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种基于双向GRU与注意力机制的调度操作票审核方法，其特征在于，包括以下步骤：

S1、收集并扩展数据集；

S2、词向量生成及训练生成模型；

S3、句向量生成及训练生成模型；

S4、将待审核操作票放入模型中进行处理；

步骤S1所述的收集并扩展数据集，通过收集已归档操作票数据，形成初始数据集T1，对T1数据干扰处理，与不规范、不合格票数据结合，形成数据集T2，T1与T2结合后随机种子排序，形成数据集T3；

步骤S2所述的词向量生成及训练生成模型，通过对数据集T3进行分词处理，采用jieba分词库，将每条操作项目分解为多个词语，形成数据集T4，使用Word2Vec模型进行训练，将每个词语用词向量表示，生成训练好的词向量字典D1以及向量集V1，同时一条操作项目可表示为m个词向量，向量集V1以m为单位输入基于双向GRU与注意力机制的模型进行文本训练，生成训练好的模型M1；

步骤S3所述句向量生成及训练生成模型基于步骤S2词向量生成及训练生成模型进行，使用步骤S2生成的分词结果数据集T4，通过Doc2Vec模型进行训练，将每条操作项目用句向量表示，生成训练好的句向量字典D2以及向量集V2，形成一个操作任务则可以表示为n个句向量，将向量集V2以操作任务为单位输入基于双向GRU与注意力机制的模型进行文本训练，生成训练好的模型M2；

步骤S4所述将待审核操作票放入模型中进行处理中，对待审核操作票通过jieba分词，通过词向量字典D1、句向量字典D2分别转化为词向量和句向量，分别输入模型M1和M2中进行审核，判断是否存在错误，若错误则给出正确的建议。

2.根据权利要求1所述的基于双向GRU与注意力机制的调度操作票审核方法，其特征在于：步骤S2、S3中所述的双向GRU采用两个相同结构的GRU网络，同时以正序和倒序两种方式分别读取向量集V1、V2的输入信息，从而组合成一个更大的向量来作为模型的内部状态，GRU输出过程可表示为：

z_t＝σ(W_z·[h_t-1，x_t]) (1)

r_t＝σ(W_r·[h_t-1，x_t]) (2)

其中z_t、r_t、

h_t分别为更新门、重置门、当前时刻的候选状态、当前时刻隐状态。

Images