CN113158678A - 一种应用于电力文本命名实体的识别方法及装置 - Google Patents
一种应用于电力文本命名实体的识别方法及装置 Download PDFInfo
- Publication number
- CN113158678A CN113158678A CN202110548261.7A CN202110548261A CN113158678A CN 113158678 A CN113158678 A CN 113158678A CN 202110548261 A CN202110548261 A CN 202110548261A CN 113158678 A CN113158678 A CN 113158678A
- Authority
- CN
- China
- Prior art keywords
- sentence
- sequence
- label
- tag
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 18
- 230000002787 reinforcement Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 11
- 239000003795 chemical substances by application Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010380 label transfer Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及电力技术领域，特别地，涉及一种应用于电力文本命名实体的识别方法及装置，所述方法包括：将数据采集模块获取的开源电力文本输入数据预处理模块，得到预处理数据；通过数据标注软件标注所述预处理数据，得到标注电力文本，将所述标注电力文本的正文按预设比例构建训练集与测试集；将所述训练集输入到联合学习模型进行训练，预测得到训练集的标签序列，根据所述标签得到命名实体；利用测试集对训练完成的学习模型进行测试，根据命名实体识别模型的精确率，召回率进行参数优化，以解决现有技术中应用于电力领域中需要大量昂贵的标注语料，混有噪音数据，降低命名实体识别模型精确度的问题。
Description
技术领域
本申请涉及电力技术领域，特别地，涉及一种应用于电力文本命名实体的识别方法及装置。
背景技术
近年来，我国电力技术进入高速发展时期，电力技术信息化、智能化也是电力行业的发展趋势。随着电力技术信息化的逐步深入，利用计算机对大规模的电力文本进行处理与利用成为电力领域研究的热点。在文本处理任务中，命名实体承担着非常重要的任务，其中命名实体是指在文本中具有特定意义的名词对象，命名实体识别任务旨在给定的文本中识别出命名实体。
由于人工智能的发展和进步，人们对机器处理和理解文本的这一需求日渐强烈。因此，命名实体识别任务也愈发重要。命名实体识别任务除了作为单独工具应用于信息抽取中，还可以应用于许多文本处理领域的下游任务中，如关系抽取，问答系统等。目前，现有技术中命名实体识别任务多采用有监督深度学习或者无监督深度学习的方法。其中有监督深度学习需要大量标注语料来训练模型，标注语料不仅需要消耗大量的人力物力，还需要专家知识。但在电力领域中，高质量的标注语料是十分昂贵且难以获得的；无监督深度学习只需要少量的标注语料，但容易使得训练语料混入大量噪音数据，降低了模型的精确度。
然而，在电力领域中存在缺少标注语料的情况下，仍采用上述现有技术方案，会存在需要大量标注语料或混有噪音数据使命名实体识别精确度不高的问题。因此，如何在电力领域中提出一种应用于电力文本命名实体识别方法及装置，能够减少昂贵的电力领域标注语料，有效解决噪音数据，提高命名实体识别准确率，成为了亟待解决的问题。
发明内容
本申请提供了一种应用于电力文本命名实体的识别方法及装置。通过结合强化学习与深度学习模型，以解决现有技术中应用于电力领域中需要大量昂贵的标注语料，混有噪音数据，降低命名实体识别模型精确度的问题。
本申请的实施例是这样实现的：
本申请实施例的第一方面提供一种应用于电力文本命名实体的识别方法，所述方法包括：将数据采集模块获取的开源电力文本输入数据预处理模块，得到预处理数据；通过数据标注软件标注所述预处理数据，得到标注电力文本，将所述标注电力文本的正文按预设比例构建第一句子标签序列训练集与第一句子标签序列测试集；将所述第一句子标签序列训练集输入到联合学习模型，通过奖励函数确定是否需要修改第一句子标签序列训练集；若第一句子标签序列训练集需要进行修改，得到第二句子标签序列，以实现改正错误标签，训练所述第二句子标签序列，预测得到第三句子标签序列；将所述第一句子标签序列测试集输入到联合学习模型，对训练完成的联合学习模型进行测试，获得所述训练完成联合学习模型的性能；若基于所述联合学习模型的性能，判断所述第三句子标签序列满足精度要求，输出第一句子标签序列训练集相应的带标签的第三句子标签序列，根据所述标签得到命名实体；若基于所述联合学习模型的性能，判断所述第三句子标签序列未满足精度要求，则优化参数重新输入到联合学习模型进行训练，直至所述第三句子标签序列满足精度要求，输出第三句子标签序列获取命名实体。
在一些实施例中，所述修改第一句子标签序列训练集，修改步骤包括：标签修改模块遵循随机策略选取动作，同时通过延迟奖励指导策略函数学习；基于所述选取动作，奖励函数确定改正标签，得到带标签的第二句子标签序列；所述第二句子标签序列根据第一句子标签序列和操作序列确定。
在一些实施例中，修改所述第一句子标签序列训练集是标签修改模块通过强化学习纠正错误标签的第一句子标签序列训练集。
在一些实施例中，训练所述第二句子标签序列，预测得到第三句子标签序列，具体执行以下步骤：所述第二句子标签序列经分布式表示层得到分布式表示的第二句子标签序列；所述分布式表示的第二句子标签序列输入到Bi-LSTM层，以完成自动提取句子特征，得到线性层表示的第二句子标签序列；所述线性层表示的第二句子标签序列输入到注意力机制层，以实现降低数据维度，得到得分矩阵的第二句子标签序列；所述得分矩阵的第二句子标签序列输入到条件随机场层，通过Softmax函数获得概率最大的标签，得到第三句子标签序列。
在一些实施例中，训练所述第二句子标签序列是标签预测模块通过深度学习所获取预测序列标注任务。
在一些实施例中，所述电力文本，包括电力专利，电力期刊，电力新闻；所述预设比例为8∶2。
在一些实施例中，所述训练完成联合学习模型的性能包括精确率，召回率。
在一些实施例中，所述延迟奖励为标签预测模块预测第二句子标签序列时，更新参数，为标签修改模块提供奖励计算。
本申请实施例的第二方面提供一种应用于电力文本命名实体的识别装置，包括：数据采集模块，用于获取开源电力文本；数据预处理模块，用于预处理开源电力文本数据，通过数据标注软件标注预处理数据，得到标注电力文本，将所述标注电力文本的正文构建训练集与测试集；联合学习模型，包括标签修改模块和标签预测模块，所述标签修改模块用于校正错误标签，所述标签预测模块用于完成预测序列标注任务。
在一些实施例中，所述标签预测模块包括分布式表示层，Bi-LSTM层，注意力机制层和条件随机场层。
本申请的实施例提供的技术方案可以包括以下有益效果：本申请提供了一种应用于电力文本命名实体的识别方法及装置。通过在深度学习模型的基础上引入了强化学习，提出了一种适用于电力文本命名实体识别任务的联合模型，解决现有命名实体识别方法在低资源情况下，命名实体识别准确率低以及存在噪音数据等问题，提高了电力文本命名实体识别的准确率，满足电力领域的文本处理需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得。
图1为本申请实施例提供的强化学习的示意图；
图2为本申请实施例提供的一种应用于电力文本命名实体的识别方法的流程示意图；
图3为本申请实施例提供的联合学习模型的工作示意图；
图4为本申请实施例提供联合学习模型中标签预测模块对数据训练的流程示意图；
图5为本申请实施例提供的Bi-LSTM层的内部结构示意图；
图6为本申请实施例提供的一种应用于电力文本命名实体的识别装置的示意图。
具体实施方式
为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解，本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
在介绍本申请提供的应用于电力文本命名实体的识别方法及装置之前，首先介绍本申请实施例提供的强化学习。
图1示出的是本申请实施例提供的强化学习的示意图。
强化学习，又叫再励学习或增强学习，是机器学习的范式和方法论之一，指的是智能体(agent)与环境(enviroment)交互过程中，通过不断学习获得某种策略(policy)，以达成奖励(reward)最大化的过程。在强化学习中，交互的对象是智能体(agent)和环境(enviroment)。
智能体可以感知环境的状态和通过得到的奖励学习策略，环境是智能体外部的所有事物，能受智能体动作的影响而改变其状态，并反馈给智能体相应的奖励。强化学习是一个马尔科夫决策过程，它对一个离散空间(目前的自然语言处理大多都是在一个离散空间)的决策具有天然的优势。
本申请实施例提供的一种应用于电力文本命名实体的识别方法，其核心思想是将命名实体识别任务视为序列标注任务，输入和输出都是一个句子标签序列形式，输出的序列是输入序列对应的标注序列，根据标注序列中的标签获得命名实体。
图2示出的是本申请实施例提供的一种应用于电力文本命名实体的识别方法的流程示意图。
结合图2可知，该输入方法包括：
在步骤101中，将数据采集模块获取的开源电力文本输入数据预处理模块，得到预处理数据。
数据采集模块利用爬虫技术，合法获取网络开源电力文本。将获取的开源电力文本数据输入到数据预处理模块，将开源电力文本数据的各种文档格式统一转换成txt格式，得到预处理数据。其中，电力文本包括电力专利，电力期刊，电力新闻。
在步骤102中，通过数据标注软件标注所述预处理数据，得到标注电力文本，将所述标注电力文本的正文按预设比例构建第一句子标签序列训练集与第一句子标签序列测试集。
操作者需从预处理数据中摘取20篇左右的电力文本，通过数据标注软件进行数据标注，得到标注电力文本。将所述标注电力文本的正文按预设比例构建第一句子标签序列训练集与第一句子标签序列测试集。其中，预设比例为8∶2。
图3示出的是本申请实施例提供的联合学习模型的工作示意图。
在步骤103中，将所述第一句子标签序列训练集输入到联合学习模型，通过奖励函数确定是否需要修改第一句子标签序列训练集。
将所述第一句子标签序列训练集输入到联合学习模型，通过奖励函数确定是否需要修改第一句子标签序列训练集。其中，修改所述第一句子标签序列训练集是标签修改模块通过强化学习纠正错误标签的第一句子标签序列训练集。标签修改模块通过强化学习解决噪音数据(带有错误标签的第一句子标签序列训练集)的标签错误问题，可以实现在词级别上对噪音数据的错误标签进行校正。奖励函数针对每个标签采样相应的动作以确定是否修改当前标签。
需要注意的是，标签修改模块是强化学习中的智能体，与训练数据(例如，第一句子标签序列训练集)和标签预测模块所组成的环境进行交互。
结合图3可知，在一些可选的实施例中，修改第一句子标签序列训练集，修改步骤包括：标签修改模块遵循随机策略选取动作，同时通过延迟奖励指导策略函数学习；基于所述选取动作，奖励函数确定改正标签，得到带标签的第二句子标签序列；所述第二句子标签序列根据第一句子标签序列和操作序列确定。
其中，标签修改模块即智能体，遵循随机策略决定在每个状态(状态编码表示了当前单词输入的矢量以及先前上下文的矢量)下应采取什么样的动作。同时通过延迟奖励指导策略函数学习，基于所述选取动作，奖励函数针对每个标签采样相应的动作以确定修改当前标签，得到带标签的第二句子标签序列。
当所有的标签都由标签修改模块给出动作后，第二句子标签序列由第一句子序列的标签序列和操作序列确定，从而实现将错误标签改正，第二句子标签序列将会输入给标签预测模块进行训练。
在步骤104中，若第一句子标签序列训练集需要进行修改，得到第二句子标签序列，以实现改正错误标签，训练所述第二句子标签序列，预测得到第三句子标签序列。
若第一句子标签序列训练集需要进行修改，得到第二句子标签序列，以实现改正错误标签，将第二句子标签序列输入到标签预测模块进行训练，预测得到第三句子标签序列。其中，训练所述第二句子标签序列是标签预测模块通过深度学习所获取预测序列标注任务。
图4示出的是本申请实施例提供联合学习模型中标签预测模块对数据训练的流程示意图。
结合图3和图4可知，在一些可选的实施例中，训练所述第二句子标签序列，预测得到第三句子标签序列，具体执行以下步骤：
在步骤201中，所述第二句子标签序列经分布式表示层得到分布式表示的第二句子标签序列。
分布式表示层将离散词语的第二句子标签序列映射成分布式表示的第二句子标签序列。例如给定的语句X＝x1x2x3x4...xn，在训练的分布式表示层(即嵌入矩阵)中，针对每个单词xi查找mi(mi∈Rd，d为字嵌入的维度)，获得嵌入矩阵M＝m1m2...mn。
图5示出的是本申请实施例提供的Bi-LSTM层的内部结构示意图。
Bi-LSTM层是一个双向的长短期记忆循环神经网络，这种链式连接的递归神经网络结构，对序列信息具强大有记忆能力。LSTM通过一种称为门限的结构选择性地存储和丢弃内容。其内部结构如图5所示，具体公式如下：
其中，遗忘门决定在状态中丢弃哪些信息：
ft＝σ(Wf·[ht-1，xt]+bi)
输入门决定在状态中添加哪些新的信息：
it＝σ(Wi·[ht-1，xt]+bi)，Ct＝tanh(Wc·[ht-1，xt]+bc)，St＝ft·St-1+it·Ct
输出门基于状态决定输出哪些信息：
Ot＝σ(Wo·[ht-1，xt]+bo)，ht＝σt·tanh(St)
在步骤202中，所述分布式表示的第二句子标签序列输入到Bi-LSTM层，以完成自动提取句子特征，得到线性层表示的第二句子标签序列。
所述分布式表示的第二句子标签序列输入到Bi-LSTM层，即将词分布向量式嵌入矩阵的第二句子标签序列作为Bi-LSTM层的输入，Bi-LSTM层用于从第一层输出的分布式向量中自动提取句子特征，得到线性层表示的第二句子标签序列。
其中，Bi-LSTM层可以简述为P＝Bi-LSTM(M)，M是词分布式表示层的输出向量，P∈Rnxk是经循环神经网络Bi-LSTM层后线性层的输出向量，用于将隐藏状态向量从m维映射到k维，其中n为句子的长度，k是标签的数量，m是Bi-LSTM单元的数量。
在步骤203中，所述线性层表示的第二句子标签序列输入到注意力机制层，以实现降低数据维度，得到得分矩阵的第二句子标签序列。
所述线性层表示的第二句子标签序列输入到注意力机制(Attention)层，Attention层用于降低Bi-LSTM层输出向量的数据维度，减小处理高维输入数据的计算负担，得到得分矩阵的第二句子标签序列。
其中，Attention层可以简述为A＝Attention(P)。
在步骤204中，所述得分矩阵的第二句子标签序列输入到条件随机场层，通过Softmax函数获得概率最大的标签，得到第三句子标签序列。
在Attention层中获得的输出数据，即得分矩阵的第二句子标签序列，传输到条件随机场(CRF)层，通过Softmax函数获得概率最大的标签，得到第三句子标签序列。在CRF层中，将Attention层的输出向量A视为从神经网络生成的得分矩阵，Aij对应于句子中第i个单词对应第j个标签的得分矩阵。CRF层可利用统计原理记录标签转移信息，解决标签有序问题。
例如，对于需要预测的目标标签Y＝(y1，y2...yn)，y1是在将训练数据输入到联合学习模型中进行训练时经标签修改器修改过的标签。
用公式表示：
Bij表示的是从第i个标签到第j个标签的转移得分。
因此，对某个位置打标签可以利用此前己经标注过的标签，最后用归一化Softmax函数得到该位置为某标签的概率，为该位置打上概率最大的标签，得到第三句子标签序列，以实现通过少量标注样本处理高精度的电力文本。
在步骤105中，将所述第一句子标签序列测试集输入到联合学习模型，对训练完成的联合学习模型进行测试，获得所述训练完成联合学习模型的性能。
通过所述第一句子标签序列测试集对训练完成的联合学习模型进行测试，获得所述训练完成联合学习模型的性能。其中，所述训练完成联合学习模型的性能包括精确率，召回率。在测试联合学习模型性能时，使用未经标签修改模块修改的标签，即原始标签进行测试模型。
在步骤106中，若基于所述联合学习模型的性能，判断所述第三句子标签序列满足精度要求，输出第一句子标签序列训练集相应的带标签的第三句子标签序列，根据所述标签得到命名实体。
根据获得的所述训练完成联合学习模型的性能，即命名实体识别模型的精确率，召回率，判断第三句子标签序列满足精度要求，则将第一句子序列训练集相应的带标签的第三句子标签序列输出，根据所述标签得到命名实体。
其中，延迟奖励为标签预测模块预测第二句子标签序列时，更新参数，为标签修改模块提供奖励计算。通过结构化的选取输入第一句子标签序列训练集的子集，可以预测第一句子标签序列并将奖励提供给标签修改模块。
标签预测模块在进行标签序列预测时，使用经过标签修改模块去噪后的标注数据进行训练并更新其参数，并为标签修改模块提供奖励进行计算，最终模型输出输入序列对应的带标签的序列，根据标签可以得到命名实体。
在步骤107中，若基于所述联合学习模型的性能，判断所述第三句子标签序列未满足精度要求，则优化参数重新输入到联合学习模型进行训练，直至所述第三句子标签序列满足精度要求，输出第三句子标签序列获取命名实体。
根据获得的所述训练完成联合学习模型的性能，即命名实体识别模型的精确率，召回率，判断第三句子标签序列未满足精度要求，则优化参数重新输入到联合学习模型进行训练，直到第三句子标签序列满足精度要求，最终将第一句子标签序列训练集相应的带标签的第三句子标签序列输出，根据所述标签得到命名实体。
图6示出的是本申请实施例提供的一种应用于电力文本命名实体的识别装置的示意图。
本申请提出的一种应用于电力文本命名实体的识别装置中命名实体识别模型是基于强化学习结合深度学习模型(Bi-LSTM+Attention+CRF)的联合学习模型，旨在是降低噪音数据对命名实体识别模型带来的影响。
与上述用于电力文本命名实体的识别方法相对应，本发明实施例还公开了一种应用于电力文本命名实体的识别装置。结合图6可知，该装置还包括：
数据采集模块，用于获取开源电力文本；数据预处理模块，用于预处理开源电力文本数据，通过数据标注软件标注预处理数据，得到标注电力文本，将所述标注电力文本的正文构建训练集与测试集；联合学习模型，包括标签修改模块和标签预测模块，所述标签修改模块用于校正错误标签，所述标签预测模块用于完成预测序列标注任务。
在一些实施例中，所述标签预测模块包括分布式表示层，Bi-LSTM层，注意力机制层和条件随机场层。
采用本申请实施例提供的应用于电力文本命名实体的识别装置，可以实施上述应用于电力文本命名实体的识别方法中的各步骤，并获得相同的有益效果。通过在深度学习模型的基础上引入了强化学习，提出了一种适用于电力文本命名实体识别任务的联合模型，以实现在电力领域缺乏标注语料的情况下，只采用小标注样本进行高精度的处理电力文本，解决现有命名实体识别方法中命名实体识别准确率低以及存在噪音数据等问题，提高了电力文本命名实体识别的准确率，满足电力领域的文本处理需求。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。
Claims (10)
1.一种应用于电力文本命名实体的识别方法，其特征在于，所述方法包括：
将数据采集模块获取的开源电力文本输入数据预处理模块，得到预处理数据；
通过数据标注软件标注所述预处理数据，得到标注电力文本，将所述标注电力文本的正文按预设比例构建第一句子标签序列训练集与第一句子标签序列测试集；
将所述第一句子标签序列训练集输入到联合学习模型，通过奖励函数确定是否需要修改第一句子标签序列训练集；
若第一句子标签序列训练集需要进行修改，得到第二句子标签序列，以实现改正错误标签，训练所述第二句子标签序列，预测得到第三句子标签序列；
将所述第一句子标签序列测试集输入到联合学习模型，对训练完成的联合学习模型进行测试，获得所述训练完成联合学习模型的性能；
若基于所述联合学习模型的性能，判断所述第三句子标签序列满足精度要求，输出第一句子标签序列训练集相应的带标签的第三句子标签序列，根据所述标签得到命名实体；
若基于所述联合学习模型的性能，判断所述第三句子标签序列未满足精度要求，则优化参数重新输入到联合学习模型进行训练，直至所述第三句子标签序列满足精度要求，输出第三句子标签序列获取命名实体。
2.如权利要求1所述命名实体的识别方法，其特征在于，所述修改第一句子标签序列训练集，修改步骤包括：
标签修改模块遵循随机策略选取动作，同时通过延迟奖励指导策略函数学习；
基于所述选取动作，奖励函数确定改正标签，得到带标签的第二句子标签序列；
所述第二句子标签序列根据第一句子标签序列和操作序列确定。
3.如权利要求2所述命名实体的识别方法，其特征在于，修改所述第一句子标签序列训练集是标签修改模块通过强化学习纠正错误标签的第一句子标签序列训练集。
4.如权利要求1所述命名实体的识别方法，其特征在于，训练所述第二句子标签序列，预测得到第三句子标签序列，具体执行以下步骤：
所述第二句子标签序列经分布式表示层得到分布式表示的第二句子标签序列；
所述分布式表示的第二句子标签序列输入到Bi-LSTM层，以完成自动提取句子特征，得到线性层表示的第二句子标签序列；
所述线性层表示的第二句子标签序列输入到注意力机制层，以实现降低数据维度，得到得分矩阵的第二句子标签序列；
所述得分矩阵的第二句子标签序列输入到条件随机场层，通过Softmax函数获得概率最大的标签，得到第三句子标签序列。
5.如权利要求4所述命名实体的识别方法，其特征在于，训练所述第二句子标签序列是标签预测模块通过深度学习所获取预测序列标注任务。
6.如权利要求1所述命名实体的识别方法，其特征在于，所述电力文本，包括电力专利，电力期刊，电力新闻；所述预设比例为8∶2。
7.如权利要求1所述命名实体的识别方法，其特征在于，所述训练完成联合学习模型的性能包括精确率，召回率。
8.如权利要求2所述命名实体的识别方法，其特征在于，所述延迟奖励为标签预测模块预测第二句子标签序列时，更新参数，为标签修改模块提供奖励计算。
9.一种应用于电力文本命名实体的识别装置，其特征在于，包括：
数据采集模块，用于获取开源电力文本；
数据预处理模块，用于预处理开源电力文本数据，通过数据标注软件标注预处理数据，得到标注电力文本，将所述标注电力文本的正文构建训练集与测试集；
联合学习模型，包括标签修改模块和标签预测模块，所述标签修改模块用于校正错误标签，所述标签预测模块用于完成预测序列标注任务。
10.如权利要求9所述命名实体的识别装置，其特征在于，所述标签预测模块包括分布式表示层，Bi-LSTM层，注意力机制层和条件随机场层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110548261.7A CN113158678A (zh) | 2021-05-19 | 2021-05-19 | 一种应用于电力文本命名实体的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110548261.7A CN113158678A (zh) | 2021-05-19 | 2021-05-19 | 一种应用于电力文本命名实体的识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113158678A true CN113158678A (zh) | 2021-07-23 |
Family
ID=76876708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110548261.7A Pending CN113158678A (zh) | 2021-05-19 | 2021-05-19 | 一种应用于电力文本命名实体的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113158678A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648029A (zh) * | 2022-03-31 | 2022-06-21 | 河海大学 | 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059169A (zh) * | 2019-01-25 | 2019-07-26 | 邵勃 | 基于语料标注的智能机器人聊天上下文实现方法及系统 |
| CN110209770A (zh) * | 2019-06-03 | 2019-09-06 | 北京邮电大学 | 一种基于策略价值网络和树搜索增强的命名实体识别方法 |
| CN111738007A (zh) * | 2020-07-03 | 2020-10-02 | 北京邮电大学 | 一种基于序列生成对抗网络的中文命名实体识别数据增强算法 |
-
2021
- 2021-05-19 CN CN202110548261.7A patent/CN113158678A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059169A (zh) * | 2019-01-25 | 2019-07-26 | 邵勃 | 基于语料标注的智能机器人聊天上下文实现方法及系统 |
| CN110209770A (zh) * | 2019-06-03 | 2019-09-06 | 北京邮电大学 | 一种基于策略价值网络和树搜索增强的命名实体识别方法 |
| CN111738007A (zh) * | 2020-07-03 | 2020-10-02 | 北京邮电大学 | 一种基于序列生成对抗网络的中文命名实体识别数据增强算法 |
Non-Patent Citations (1)
| Title |
|---|
| 李浩铭: "基于强化学习的命名实体识别方法研究", 《中国优秀硕士学位论文全文（信息科技辑）》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648029A (zh) * | 2022-03-31 | 2022-06-21 | 河海大学 | 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108984526B (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
| Kim et al. | Two-stage multi-intent detection for spoken language understanding | |
| CN110807320B (zh) | 基于cnn双向gru注意力机制的短文本情感分析方法 | |
| CN109992782A (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| CN106844349B (zh) | 基于协同训练的垃圾评论识别方法 | |
| CN110609897A (zh) | 一种融合全局和局部特征的多类别中文文本分类方法 | |
| CN111062217B (zh) | 语言信息的处理方法、装置、存储介质及电子设备 | |
| CN113591483A (zh) | 一种基于序列标注的文档级事件论元抽取方法 | |
| CN110532563A (zh) | 文本中关键段落的检测方法及装置 | |
| CN112052684A (zh) | 电力计量的命名实体识别方法、装置、设备和存储介质 | |
| CN115599901B (zh) | 基于语义提示的机器问答方法、装置、设备及存储介质 | |
| CN111859967B (zh) | 实体识别方法、装置，电子设备 | |
| CN112883714A (zh) | 基于依赖图卷积和迁移学习的absc任务句法约束方法 | |
| CN111930939A (zh) | 一种文本检测的方法及装置 | |
| CN111222318A (zh) | 基于双通道双向lstm-crf网络的触发词识别方法 | |
| CN113657098B (zh) | 文本纠错方法、装置、设备及存储介质 | |
| CN114781375A (zh) | 一种基于bert与注意力机制的军事装备关系抽取方法 | |
| CN113743099A (zh) | 基于自注意力机制方面术语提取系统、方法、介质、终端 | |
| CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及系统 | |
| US20220164536A1 (en) | Method and apparatus for sequence labeling on entity text, and non-transitory computer-readable recording medium | |
| CN114048314A (zh) | 一种自然语言隐写分析方法 | |
| CN113158678A (zh) | 一种应用于电力文本命名实体的识别方法及装置 | |
| US20230289528A1 (en) | Method for constructing sentiment classification model based on metaphor identification | |
| CN116306606A (zh) | 一种基于增量学习的金融合同条款提取方法和系统 | |
| CN115906824A (zh) | 一种文本细粒度情感分析方法、系统、介质和计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210723 |