CN113689851A - 调度专业语言理解系统及方法 - Google Patents

Abstract

本发明公开了一种调度专业语言理解系统及方法。该系统用于理解调度员向调度控制系统发出的具体语音指令，它的调度专业语言意图理解模块用于对接收到的调度语言指令进行理解，获得理解结果；调度对话管理模块用于接收所述调度专业语言意图理解模块发送的理解结果，并对调度专业语言意图理解模块中不明确的问答信息进行多轮问答，直至完成对调度语言指令的理解；调度专业语言生成模块用于接收调度对话管理模块发送的调度语言指令的理解，并回复指令的执行结果。该系统及方法可以准确理解调度员的语言指令，智能引导调度员实现真实意图，其精准率、召回率和F1值分别为98.20％、98.71％、98.45％。

Description

调度专业语言理解系统及方法

技术领域

本发明涉及电力系统技术领域，具体地指一种调度专业语言理解系统及方法。

背景技术

随着我国交直流混联大电网的形成，电网结构日益复杂，运行方式灵活多变，导致调度业务日趋复杂，调度员工作负荷达到前所未有的高度。一方面电网事故、异常等关键场景下要求调度控制系统具有更快的信息调阅、功能操作响应速度；另一方面电网调控系统中信息量显著增加，调度画面日益增多，功能愈加丰富，画面调阅，功能操作难度加大。因此，在调度领域建设基于调度专业语音的人机对话系统对改变现有的调度工作模式，提升调度员处置业务的效果具有重要意义。

近年来，随着计算机和人工智能技术的快速发展，自然语言理解成为各行业研究热点，并取得了可喜成果，典型的有：苹果手机Siri，微软小娜，京东JIMI和阿里小蜜等。此外，自然语言理解技术在餐饮、医疗、金融、教育等领域也得到成功应用。虽然自然语言理解在通用领域和其他垂直领域已经取得一些研究成果，但直接将积累技术迁移到调度业务场景中应用效果较差。

调度专业语言理解作为人机对话系统的核心技术，需要根据调度专业语言特点进行针对性研发设计。目前调度专业语言理解技术多是基于关键词匹配实现，不能应对语音识别不准确情况下的模糊调度语言理解问题，限制了调度专业语言理解技术灵活准确应用。

发明内容

本发明的目的就是要提高对模糊调度专业语言的理解能力，提供一种调度专业语言理解系统及方法。

为实现上述目的，本发明研制出了一种调度专业语言理解系统，用于理解调度员向调度控制系统发出的具体语音指令，其特别之处在于：它包括调度专业语言意图理解模块、调度对话管理模块和调度专业语言生成模块；其中，

所述调度专业语言意图理解模块用于对接收到的调度语言指令进行理解，获得理解结果；

所述调度对话管理模块用于接收所述调度专业语言意图理解模块发送的理解结果，并对调度专业语言意图理解模块中不明确的意图进行多轮问答，直至完成对调度语言指令的意图理解；

所述调度专业语言生成模块用于接收调度对话管理模块发送的调度语言指令的意图理解，并回复指令的执行结果。

本发明的优点在于：

1.本发明通过基于BERT-CRF的多任务协同识别模块，建立调度专业语言意图及槽位协同理解模式，提高了对调度文本中的不明确调度语言的理解能力，应对语音识别不准确情况下的语义理解错误问题；

2.本发明通过调度对话管理模块对调度专业语言意图及槽位是否填满进行判别，实现调度专业对话的多轮问答，直至完成对调度文本的理解；

3.本发明还加入了与基于BERT-CRF的多任务协同识别模块并行的调度语义知识库模块，并通过调度语义知识库模块中的电力实体知识图谱模块、调控文本搜索引擎模块以及Q/A问答模板，共同实现对调度文本中的调度业务知识的理解。

本发明的调度专业语言理解系统及方法，负责理解调度员向调度控制系统发出的具体语音指令，与其他算法建立的管道模型对比，该系统及方法对指令理解的精准率、召回率和F1值分别为98.20％、98.71％、98.45％。

附图说明

附图1为本发明所提出的调度专业语言理解系统及方法的流程图；

附图2为BERT模块的结构示意图；

附图3为图1中的基于BERT-CRF的多任务协同识别模块的结构示意图；

附图4为图1中的调度语义知识库模块的结构示意图；

图中：调度专业语言意图理解模块1、基于BERT-CRF的多任务协同识别模块11、调度语义知识库模块12、电力实体知识图谱模块121、调控文本搜索引擎模块122、Q/A问答模板123、调度对话管理模块2、对话状态跟踪模块21、对话策略判别模块22、调度专业语言生成模块3、语音识别模块4、文本预处理模块5、问答领域分类模块6、语音合成模块7。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述，但该实施例不应该理解为对本发明的限制。

如图1所示一种调度专业语言理解系统，负责理解调度员向调度控制系统发出的具体语言指令。其包括调度专业语言意图理解(DNIU)模块1、调度对话管理(DDM)模块2和调度专业语言生成(DLG)模块3。

所述调度专业语言意图理解(DNIU)模块1用于对接收到的调度语言指令进行理解，获得理解结果；

所述调度对话管理DDM)模块2用于接收所述调度专业语言意图理解模块1发送的理解结果，并对调度专业语言意图理解模块1中不明确的意图进行多轮问答，直至完成对调度语言指令的意图理解；

所述调度专业语言生成(DLG)模块3用于接收调度对话管理模块2发送的调度语言指令的意图理解，并回复指令的执行结果。

调度专业语言意图理解(DNIU)模块1包括基于BERT-CRF的多任务协同识别模块11和调度语义知识库模块12，基于BERT-CRF的多任务协同识别模块11与调度语义知识库模块12并行使用。

在进行调度专业语言理解之前，调度员发出的语言指令经过语音识别模块4转化成调度文本，问答领域分类模块6再通过文本卷积神经网络(TextCNN)将调度文本分为两类，一类为含有调度规程问询语言的第一调度文本，另一类为含有调度任务指令语言的第二调度文本。第一调度文本进入调度语义知识库模块12，第二调度文本进入基于BERT-CRF的多任务协同识别模块11。

调度专业语言意图理解(DNIU)模块1通过建立基于BERT-CRF的多任务协同识别模型11和调度语义知识库模块12提升调度专业语言理解效果。

所述基于BERT-CRF的多任务协同识别模块11，将经过语音识别模块4的第二调度文本作为变换器双向编码器表征技术(bidirectional encoder representations fromtransformers，BERT)的输入，计算调度专业语言词向量特征，并通过全连接网络识别调度语言意图，接入条件随机场(conditional random field，CRF)抽取调度语言槽位信息，从而能够理解调度文本中的模糊调度语言。

所述BERT模块是应用大量语料形成的预训练模型，通过双向Transformer编码器实现，具有较强的通用性。如图2所示，自然语言输入BERT模块中转化为词向量、段向量以及位置向量，词向量将自然语言文本转化为词向量，每个词向量是通过刻画全局语义信息训练而成的，可以表征出自然语言中的单个字或者词语。段向量用于表征字词所在的上下文。位置向量用于描述字词在自然语言片段中的位置。将上述3种向量形成特征向量，经过2层Transformer编码器得到自然语言文本向量。

但是电网调度语言具有特殊符号多、专业术语强、表述模糊等特点，需要对BERT输入文本特征改进，在字词特征向量中加入调度专业语言意图向量和槽位向量，调度专业语言意图向量用于表征字词映射的调度语义意图，槽位向量用于表征调度专业术语及设备名词。自然语言理解中的意图识别本质上是文本分类，槽位识别本质上是序列预测。如图3所示，在调度专业语言意图-槽位多任务协同识别时将BERT模型分出多任务头，一头加入softmax层识别调度专业语言意图，一头加入CRF层抽取调度专业语言槽位信息，多任务头均使用BERT网络生成表示向量，使调度专业语言意图和槽位信息关联更为紧密，克服了调度专业语言专业性能强、表述不规范、特殊符号难以理解等问题。

如图4所示，所述调度语义知识库模块12包含调度实体知识图谱模块121、调控文本检索引擎模块122和Q/A问答模板123，这三个部分共同理解第一调度文本中的调度业务知识，提高了调度专业语言理解框架的智能性。其中调度实体知识图谱模块121通过将厂站、设备、地区、保护等数据映射到Neo4j中，实现对电网设备属性、台账等信息迅速响应和理解。调控文本检索引擎模块122通过基于双向长短期记忆网络-条件随机场(BiLSTM-CRF)训练建立起来，将调度规程、细则、保护规程等文本中关键信息与对应解释内容形成训练样本集，从而实现对调度规程、调度细则、作业指导书等快速响应和理解。Q/A问答模板支持调度问题及问题答案配置及存储，可维护性和扩展性高，适合工程应用。

所述调度对话管理(DDM)模块2包括对话状态跟踪模块21和对话策略判别模块22。所述对话状态跟踪模块21基于有限状态机判定上述调度专业语言的意图及槽位是否填满，将当前对话状态和历史对话状态输入到对话策略判别模块22中。所述对话策略判别模块22通过基于长短期记忆网络(LSTM)训练调度业务对话情景语料建立，判定对话策略动作如询问槽位、执行查询等。所述调度对话管理(DDM)模块2通过上述机制实现调度专业对话的多轮问答，直至完成理解调度专业语言指令。

所述调度专业语言生成(DLG)模块3接收对话策略判别模块22对调度语言指令的理解，并回复指令的执行结果，回复语言包括询问意图、询问槽位填充情况、查询结果等。这些回复语言通过语义合成模块7转为语音播报，传送给调度员。

另外，受到各种因素的影响，通过语音识别模块4转化的调度文本中常常含有错别字，文本预处理模块5可以对其进行修正。修正的方法包括：规则修正和语言拼音修正。两种方法结合可以对电力特殊符号、专业术语、设备名词等信息进行修正，以保证调度专业语言理解系统的识别准确率。

以“打开三峡左岸电厂厂站图”为例，本发明的一种调度专业语言理解方法，包括如下步骤：

步骤1)、语音识别模块4将调度员发出的语音指令“打开厂站图”转化为调度文本，调度文本中含有的错别字，通过文本预处理模块5进行修正，保证所述调度专业语言理解系统的识别准确率。调度文本进行问答领域分类后，进入调度专业语言意图理解模块1中的基于BERT-CRF的多任务协同识别模块11。

步骤2)、基于BERT-CRF的多任务协同识别模块11利用调度专业语言意图和槽位协同理解模式，理解到该指令的意图是“打开厂站图”，但是没有相关的槽位信息，所以基于BERT-CRF的多任务协同识别模块11不能理解这条指令。

步骤3)、进入调度对话管理模块2进行多轮反问，首先对话状态跟踪模块21通过基于有限状态机来明确缺少哪个槽位信息，对话策略判别模块22通过基于长短期记忆网络确定使用哪个话术模板进行回复，调度专业语言生成模块3生成“请问打开哪个厂站图”话术，语音合成模块7将“请问打开哪个厂站图”话术转为语音播报，传送给调度员。

步骤4)、调度员再次说出“三峡左岸电厂”，重复步骤1)，通过基于BERT-CRF的多任务协同识别模块11可以理解这个槽位信息，对话状态跟踪模块21判定意图和槽位信息都已经明确，启动调度控制系统打开三峡左岸电厂的厂站图。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种调度专业语言理解系统，用于理解调度员向调度控制系统发出的具体语音指令，其特征在于：包括调度专业语言意图理解模块(1)、调度对话管理模块(2)和调度专业语言生成模块(3)；其中，

所述调度专业语言意图理解模块(1)用于对接收到的调度语言指令进行理解，获得理解结果；

所述调度对话管理模块(2)用于接收所述调度专业语言意图理解模块(1)发送的理解结果，并对调度专业语言意图理解模块(1)中不明确的问答信息进行多轮问答，直至完成对调度语言指令的理解；

所述调度专业语言生成模块(3)用于接收调度对话管理模块(2)发送的调度语言指令的理解，并回复指令的执行结果。

2.根据权利要求1所述的调度专业语言理解系统，其特征在于：所述调度专业语言意图理解模块(1)包括并行使用的基于BERT-CRF的多任务协同识别模块(11)和调度语义知识库模块(12)；

所述基于BERT-CRF的多任务协同识别模块(11)，通过在输入的BERT模型字词特征向量中加入用于表征所述字词映射的调度语义意图的意图向量和用于表征调度专业术语及设备名词的槽位向量，建立调度专业语言意图及槽位协同理解模式，对调度文本中的调度语言指令进行理解，获得理解结果；

所述调度语义知识库模块(12)，用于完成对基于BERT-CRF的多任务协同识别模块(11)中不涉及的调度业务知识的理解。

3.根据权利要求2所述的调度专业语言理解系统，其特征在于：所述调度语义知识库模块(12)包括电力实体知识图谱模块(121)、调控文本搜索引擎模块(122)和Q/A问答模板(123)；其中，所述电力实体知识图谱模块(121)具有智能问答功能，所述调控文本搜索引擎模块(122)具有对调控领域文本规程进行检索的功能，所述Q/A问答模板(123)具有对调度问题及问题答案进行配置及存储的功能。

4.根据权利要求3所述的调度专业语言理解系统，其特征在于：所述调度对话管理模块(2)包括对话状态跟踪模块(21)和对话策略判别模块(22)；

所述对话状态跟踪模块(21)用于判定基于BERT-CRF的多任务协同识别模块(11)中的调度专业语言意图及槽位是否填满；当调度专业语言意图及槽位明确时，即完成对调度语言指令的理解；当调度专业语言意图及槽位未填满时，所述对话状态跟踪模块(21)将当前对话状态和历史对话状态输入到对话策略判别模块(22)中；

所述对话策略判别模块(22)通过对话状态判定对话策略动作，给出当前对话动作下正确的策略，并进行多轮问答，直至完成对调度语言指令的理解。

5.根据权利要求4所述的调度专业语言理解系统，其特征在于：所述调度专业语言生成模块(3)用于接收对话策略判别模块(22)对调度语言指令的理解，并回复指令的执行结果。

6.根据权利要求3所述的调度专业语言理解系统，其特征在于：所述调控文本搜索引擎模块(122)通过基于双向长短期记忆网络-条件随机场训练而建立起来。

7.根据权利要求4所述的调度专业语言理解系统，其特征在于：对话状态跟踪模块(21)，用于通过基于有限状态机来判定所述基于BERT-CRF的多任务协同识别模块(11)中的调度专业语言意图及槽位是否填满；所述对话策略判别模块(22)通过基于长短期记忆网络来训练调度业务对话情景语料建立。

8.根据权利要求2所述的调度专业语言理解系统，其特征在于：还包括语音识别模块(4)、文本预处理模块(5)和问答领域分类模块(6)；其中，所述语音识别模块(4)用于将调度员发出的语言指令识别为调度文本；所述文本预处理模块(5)用于对所述调度文本中的错别字进行规则修正和语言拼音修正；所述问答领域分类模块(6)用于通过文本卷积神经网络将调度文本进行分类，一类为含有调度规程问询语言的第一调度文本，另一类为含有调度任务指令语言的第二调度文本。

9.根据权利要求7所述的调度专业语言理解系统，其特征在于：所述基于BERT-CRF的多任务协同识别模块(11)用于理解第二调度文本，所述调度语义知识库模块(12)用于理解第一调度文本。

10.一种调度专业语言理解方法，它包括如下步骤：

步骤1)、将接收到的调度员发出的语音指令转化为调度文本，并将所述调度文本进行问答领域分类，一类为含有调度业务知识的第一调度文本，另一类为含有不明确调度语言的第二调度文本；将第一调度文本分别通过智能问答功能、检索调控领域文本规程功能、调度问题及问题答案进行配置功能，完成对调度语言指令的理解；

步骤2)、将第二调度文本通过调度专业语言意图和槽位协同理解模式进行处理，当调度专业语言意图及槽位明确时，完成对调度语言指令的理解；当调度专业语言意图及槽位未填满时，通过对话状态判定对话策略动作，进行调度专业对话的多轮问答，直至完成对调度语言指令的理解；

步骤3)、接收第二调度文本中的调度语言指令的理解，并回复指令的执行结果。

Images