CN116861894A - 一种基于半监督学习的电网领域实体关系抽取 - Google Patents

一种基于半监督学习的电网领域实体关系抽取 Download PDF

Info

Publication number
CN116861894A
CN116861894A CN202310263248.6A CN202310263248A CN116861894A CN 116861894 A CN116861894 A CN 116861894A CN 202310263248 A CN202310263248 A CN 202310263248A CN 116861894 A CN116861894 A CN 116861894A
Authority
CN
China
Prior art keywords
entity
text
codes
relation
entities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310263248.6A
Other languages
English (en)
Inventor
刘剑青
赵刚
王凯
宋磊
李思
张锐
王明轩
翟丙旭
孙巍
张沛瑄
高欣
康伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
State Grid Jibei Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Beijing University of Posts and Telecommunications
State Grid Jibei Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Beijing University of Posts and Telecommunications, State Grid Jibei Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202310263248.6A priority Critical patent/CN116861894A/zh
Publication of CN116861894A publication Critical patent/CN116861894A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于半监督学习的电网领域实体关系抽取，在用于基于Seq2seq的实体关系抽取的基础上，通过对传统的用注意力机制的方法进行关系抽取做改进，加入了半监督学习，能够充分挖掘大规模无标注电力文本中蕴含的实体知识，实现更高效的领域迁移，减少人工语料的标注，缓解自然语言处理NLP研究时由于标注语料工作带来的人工和时间的压力，降低了数据标注工作耗费的人力时间成本；同时我们引入了多粒度掩码预训练语言模型ERNIE应用在实体关系抽取任务上，用于捕获实体级别的语义信息，更有效的挖掘无标注数据中的实体识别知识，提升电力实体识别性能，从而更好完成电网领域实体关系抽取任务。

Description

一种基于半监督学习的电网领域实体关系抽取
技术领域
本发明涉及互联网技术领域，尤其涉及一种基于半监督学习的电网领域实体关系抽取。
背景技术
当今，在互联网技术飞速发展的时代，网络中的数据也在成指数式的增长，人们也会获取海量的信息，那么如何从海量的电子文档中快速准确的找到自己需要的问题已经成为了十分关键的问题。然而，想要从结构化文本甚至非结构化文本中提取知识，并非易事，它们来源广泛、种类繁多、信息量丰富，但同时又存在着冗余而又未知的问题。为了节约人力成本，并且能更快更准确的抽取文本中有价值的信息，信息抽取任务收到人们广泛关注。信息抽取并不试图全面理解文章的意思，只是从文章的文本中识别并抽取人们感兴趣的信息，并且进行结构化的处理。目前信息抽取的研究方向有很多，包括实体识别，实体关系抽取，事件抽取等。其中，实体关系抽取受到研究者们的广泛关注，并且为其他自然语言处理技术进步有着很关键的作用。
实体关系抽取是指从一个句子中抽取出关系三元组。若有两个存在着关系的实体，则将两个实体分别成为主体和客体，那么关系抽取就是在非结构或半结构化数据中找出主体与客体之间存在的关系，并将其表示为实体关系三元组，即(主体，关系，客体)。传统的监督式实体关系抽取，是规定实体之间关系类型，并对标注的文本进行训练。然而，针对实际情况中各种领域的新文本，无法只通过前期规定的关系类型对其进行定义。目前已有的数据集存在一个普遍问题是对旧文本数据进行标注，无法满足实体关系抽取对实时性的需求，随着时间地推移，实时性变得愈加重要。而电网领域实体关系抽取是指将关系抽取任务应用在电网领域，从而有效的辅助调度人员进行故障处理。
随着特高压电网和电力系统的快速发展，电网故障形态日趋复杂，故障后的调度处置工作难度也不断提高。传统电力系统调度体系中，实时调度决策主要依赖调度员知识储备、经验积累和应变能力，调度员必须记忆并反复查阅规程、文件、预案等文本，效率低且易出现疏漏，制约了电力系统安全管控能力的进一步提升。在电力实体识别、知识图谱建模等电网多个领域中，现有的深度学习的方法均基于全监督学习(Supervised Learning)范式。在全监督学习中，每一个训练集的数据都是由数据和标签共同构成的，但是一般情况下，只能获取大量的数据，而标签很难得到，并且给数据加上标签需要很多的先验知识，这就花掉了大量的成本，并且全监督的方式只学习到了标注数据的表征，而对于开放域文本的实体关系抽取鲁棒性往往不足。电力系统在不断发展中积累了大量的电网调控文本，其中绝大部分都是无标注数据，仅有一小部分被人工标注成为有标注文本。而以往基于全监督学习的方法在模型训练时仅能利用有标注的文本数据，无法对无标注数据中蕴含的知识加以利用。因此。本文提出了基于半监督学习的电网领域实体关系抽取。
现有的实体关系抽取，一部分方法是流水线方法，先从文本中抽取全部实体，然后针对实体对判断其之间的关系类别；另一部分方法则是联合抽取方法，通过修改标注方法和模型结构直接输出文本中包含的三元组。
如图1所示，现有技术之一的“基于Seq2seq实体关系联合抽取的电力知识图谱构建”文章中，提出了seq2seq半指针半标准的方法对电力规程进行实体关系抽取，并构建了电力的知识图谱：
首先，三元组(SPO)的抽取采用Seq2seq模型先抽取头实体(S)，再抽取关系(P)和尾实体(O)，从而提高了实体关系抽取的准确性，并解决了实体关系抽取中的实体边界模糊问题。其次，使用指针网络进行解码。实体(S)的编码器选用预训练好的BERT模型获取编码层的向量，实体(S)的解码器为单层指针解码的网络；实体关系(PO)的编码器也是BERT编码层向量，并且融入了S向量特征，PO的解码器是多层指针网络。文章采用指针网络解码以提高实体抽取的准确性，共享编码层降低了串联抽取方法误差积累问题。最后，文章中使用了查询匹配系数法，优化了实体关系抽取中三元组数据集的筛选和排序，以便用户以直观的易用的方式对数据进行查询和浏览，并且提高了电力知识图谱中的查准率和查全率。
如图2所示，现有技术之二的“Attention-Based Bidirectional LongShort-TermMemory Networks for Relation Classification”文章中，提出了一种自顶向下与自底向上相结合的知识图谱构建方法，并针对预案文本的特点提出了一套基于深度学习的电力领域知识抽取方法：
首先，针对通用领域的分词工具不能很好地对预案文本进行分词的情况，构建了基于字向量的TextCNN模型，避免了分词错误带来的影响，实现了预案文本高准确率的自动分类；其次，针对预案文本实体成分复杂和实体边界难以界定的情况，构建了LSTM模型进行命名实体识别，利用高层CNN的字词信息对低层CNN的候选词的权重进行调整，提高了模型识别的准确率；最后，在命名实体识别结果的基础上，构建Attention模型进行关系的抽取，将预案文本转化为三元组信息。其中Attention如下表示：
M＝tanh(H) 式(2-1)
其中H＝[h1,h2,…hT]为LSTM的输出向量，T是句子长度。tanh为双曲正切非线性函数。
a＝softmax(wTM) 式(2-2)
其中a的维度是T。M为权重矩阵，为待训练的矩阵参数。Softmax是一种激活函数，它可以将一个数值向量归一化为一个概率分布向量，且各个概率之和为1。
r＝HaT 式(2-3)
其中r的维度是d，r为LSTM输出H经过加权求和后的结果。
发明人在研究的过程中发现：对于“基于Seq2seq实体关系联合抽取的电力知识图谱构建”、“Attention-Based Bidirectional Long Short-TermMemory Networks forRelation Classification”现有技术中：
1、序列标注方式采用BIO的标注方式，即将每个元素标注为“B-X”、“I-X”或者“O”，分别代表名词短语的开头位置，名词短语的中间位置，非名词短语，由于BIO按文本顺序进行标注，所以可能会导致重叠实体标注不正确的问题；
2、采用基于全监督学习的实体关系抽取，需要领域专家预先制定详细的词典和匹配规则，并以此去匹配电力文本中的实体，这种方法的人工成本很高，灵活性较差；
由于上述技术问题导致于现有技术中存在以下缺点：
1、BIO的序列标注方式不能识别重叠的实体，会导致识别标注存在冲突，一般会把短实体忽略，因此，难以处理重叠实体问题。
2、由于应用全监督学习的实体关系抽取，导致不能应用无标注文本，从而无法对无标注数据中蕴含的知识加以利用，无法充分挖掘大规模无标注电力文本中蕴含的实体知识。
发明内容
为了解决上述技术问题，本发明提供了一种基于半监督学习的电网领域实体关系抽取，基于对传统实体关系方法的改进，引入多粒度掩码预训练模型(ERNIE)来捕获实体级别的语义信息，减少对有标注数据的需求，降低数据标注工作耗费的人力时间成本；同时，通过加入半监督学习模块，通过半监督训练架构和损失函数调度机制来挖掘无标注数据中的实体识别知识，从而提升电力实体识别性能。
本发明提供一种基于半监督学习的电网领域实体关系抽取，在模型训练时，该方法包括：
步骤一、将待关系抽取的文本输入到多粒度掩码预训练语言模型ERNIE编码电力文本以捕获实体和短语级别的语义信息，即将每个词输入ERNIE得到每个词的文本编码，由此可以将不常用的词用常用的词进行表示；
步骤二、将得到的每个词的文本编码进行跨度枚举。与经典的实体关系分类不同，此方法检测所有文本编码的子序列(即跨度)中的实体。通过不断的枚举跨度，找到可能存在实体编码；
步骤三、将实体编码中的任意大小文本编码取出，对取出的所有文本编码做最小池化操作(min-pooling),用最小池化后的文本编码作为实体特征；
步骤四、将整个句子所有的token都进行平均池化操作，得到整体句意表示的文本编码，记作cls；
步骤五、将文本的编码宽度进行嵌入层(embedding)的构建，用来衡量文本跨度的宽度；
步骤六、将最小池化后的文本编码，整个句子的文本编码cls，以及embedding共同输入到宽度分类器(span-classifying)中，通过对其进行softmax操作，计算出每个文本编码宽度对应的得分；
步骤七、将不同文本编码宽度所对应的得分输入到宽度筛选器(span-filtering)中判断每个编码宽度构成的是否是实体，从找到的实体中筛选出备选的主体实体和客体实体；
步骤八、将主体实体和客体实体中各取出一个主体实体和一个客体实体，组成实体关系对，并将主体实体和客体实体之间的文本编码经过最小池化操作(min-pooling)，表示为关系的文本编码；
步骤九、将主体实体的文本编码，关系的文本编码和客体实体的文本编码共同输入到关系分类器(relation-classification)中，算出得分，如果大于置信阈值a，那么则说明主体实体和客体实体存在关系，如果小于置信阈值a，那么则说明主体实体和客体实体不存在关系；
步骤十、将无标注文本输入到训练好的初始模型中进行实体识别，生成无标注文本的实体伪标签。最后，将带有伪标签的无标注数据加入训练数据中，通过半监督损失函数调度机制，重新训练得到最终的电力实体识别模型。
进一步的，非训练情况下，进行时基于半监督学习的电网领域实体关系抽取时，将步骤十除去。
进一步的，所述步骤六中，宽度分类器(span-classifying)的计算如下：
e＝f(ei,ei+1,...,ei+k)
其中f代表最小池化操作(min-pooling)，ei代表第i个文本的编码。
其中代表拼接，将两个向量进行拼接，wk+1代表embedding。
其中cls代表整体句意表示的文本编码。
ys＝softmax(Ws*xs+bs)
进一步的，所述步骤九中，关系分类器(relation classification)的计算如下：
其中，(s1,s2)为两个备选实体。e(s1)代表其中一个实体编码与对应的embedding拼接后的文本编码，e(s1)代表其中另一个实体编码与对应的embedding拼接后的文本编码。代表拼接，将两个向量进行拼接。
进一步的，所述步骤十中，半监督损失函数调度机制的计算如下：
式中nL和nu分别是标注和无标注样本的个数，α(t)是用于调整训练中对标注和无标注样本关注程度的调度系数。调度系数的取值十分关键，如果其取值过高，则会影响标注样本的监督效果；如果取值过低，则模型很难学习到无标注样本中的实体知识。
本发明提供的一种基于半监督学习的电网领域实体关系抽取，将多粒度掩码预训练语言模型ERNIE应用于实体关系抽取任务上，捕获实体级别的语义信息；为了能够充分挖掘大规模无标注电力文本中蕴含的实体知识，减轻对有标注数据的需求，降低数据标注工作耗费的人力时间成本，模型应用半监督学习的方法；使用半监督训练架构和损失函数调度机制来挖掘无标注数据中的实体识别知识，提升电力实体识别性能，从而更好的进行关系抽取。
附图说明
图1为基于Seq2seq实体关系抽取的示意图；
图2为基于注意力机制的双向长程短期记忆网络关系分类的示例图；
图3为实施例一的流程图；
图4为本发明提供的一种基于半监督学习的电网领域实体关系抽取方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。其中，本实施例中出现的缩略语和关键术语定义如下：
BP:Back Propagation反向传播；
CNN:Convolutional Neural Network卷积神经网络；
LSTM:Long Short-Term Memory长短期记忆神经网络；
ERNIE:Enhanced Representation through Knowledge Integration多粒度掩码预训练语言模型；
NER:Named entity recognition命名实体识别
NLP:Natural Language Processing自然语言处理；
NN:Neural Network神经网络；
ReLU:Rectified Linear Unit线性整流函数，是一种激活函数；
Seq2seq:Sequence to Sequence一种通用的编码器和解码器框架；
实施例一
参照图3、4所示，图3,4示出了本发明提供的一种基于半监督学习的电网领域实体关系抽取，具体的，在模型训练时，该方法包括：
步骤一、将待关系抽取的文本输入到多粒度掩码预训练语言模型ERNIE编码电力文本以捕获实体和短语级别的语义信息，即将每个词输入ERNIE得到每个词的文本编码，由此可以将不常用的词用常用的词进行表示；
其中，ERNIE模型主要由两种Encoder组成，分别是T-Encoder以及K-Encoder。其中T-Encoder主要是进行输入文本的encoder，提取的是词法以及语义的信息，共N层。而K-Encoder主要进行的是知识entity的embedding以及知识融合。应用的数据集是ADE20k,ADE20k拥有超过25,000张图像,这些图像用开放字典标签集密集注释；
步骤二、将得到的每个词的文本编码进行跨度枚举。与经典的实体关系分类不同，此方法检测所有文本编码的子序列(即跨度)中的实体。通过不断的枚举跨度，找到可能存在实体编码，如果一句话包含T个字，则一共可以生成T(T+1)/2个跨度；
进一步的，所述步骤二中的枚举跨度：采取两层循环进行枚举跨度，从而找到可能存在的实体编码。第一个循环,span的长度依次从1增加到句子的最大长度,可以理解为一个size大小的窗口(1<＝size<＝句子的最大长度)；第二个循环从第0个token开始,到第句子的最大长度结束,可以作为size窗口的开始位置,窗口内的词片段即为一个跨度,如果该跨度位于正样例集合中,则剔除,否则加入到负样例集合中。并且同时规定实体的长度不能超过10；
步骤三、将实体编码中的任意大小文本编码取出，对取出的所有文本编码做最小池化操作(min-pooling),用最小池化后的文本编码作为实体特征；
进一步的，采用分类思想实现实体和关系抽取，其中使用了min-pooling特征，可以更好的抽取出跨度长度内所有可能的实体和关系。
步骤四、将整个句子所有的token都进行平均池化操作，得到整体句意表示的文本编码，记作cls；
进一步的，使用平均池化操作不仅可以使特征减少，更可以更多保留句子中的信息，为后面抽取实体关系提供语意支持；
步骤五、将文本的编码宽度进行嵌入层(embedding)的构建，用来衡量文本跨度的宽度；
进一步的，这些嵌入层(embedding)是通过反向传播来学习的，并允许模型在跨度宽度上包含先验；
步骤六、将最小池化后的文本编码，整个句子的文本编码cls，以及embedding共同输入到宽度分类器(span-classifying)中，通过对其进行softmax操作，计算出每个文本编码宽度对应的得分；
进一步的，所述步骤六中，宽度分类器(span-classifying)的计算如下：
e＝f(ei,ei+1,...,ei+k)
其中f代表最小池化操作(min-pooling)，ei代表第i个文本的编码。
其中代表拼接，将两个向量进行拼接，wk+1代表embedding。
其中cls代表整体句意表示的文本编码。
ys＝softmax(Ws*xs+bs)
进一步的，所述步骤九中，关系分类器(relation classification)的计算如下：
其中，(s1,s2)为两个备选实体。e(s1)代表其中一个实体编码与对应的embedding拼接后的文本编码，e(s1)代表其中另一个实体编码与对应的embedding拼接后的文本编码。代表拼接，将两个向量进行拼接。
步骤七、将不同文本编码宽度所对应的得分输入到宽度筛选器(span-filtering)中判断每个编码宽度构成的是否是实体，从找到的实体中筛选出备选的主体实体和客体实体；
步骤八、将主体实体和客体实体中各取出一个主体实体和一个客体实体，组成实体关系对，并将主体实体和客体实体之间的文本编码经过最小池化操作(min-pooling)，表示为关系的文本编码；
步骤九、将主体实体的文本编码，关系的文本编码和客体实体的文本编码共同输入到关系分类器(relation-classification)中，算出得分，如果大于置信阈值a，那么则说明主体实体和客体实体存在关系，如果小于置信阈值a，那么则说明主体实体和客体实体不存在关系；
进一步的，所述步骤九中，关系分类器(relation classification)的计算如下：
其中，(s1,s2)为两个备选实体。e(s1)代表其中一个实体编码与对应的embedding拼接后的文本编码，e(s1)代表其中另一个实体编码与对应的embedding拼接后的文本编码。代表拼接，将两个向量进行拼接。
进一步的，所述步骤十中，半监督损失函数调度机制的计算如下：
式中nL和nu分别是标注和无标注样本的个数，α(t)是用于调整训练中对标注和无标注样本关注程度的调度系数。调度系数的取值十分关键，如果其取值过高，则会影响标注样本的监督效果；如果取值过低，则模型很难学习到无标注样本中的实体知识。
步骤十、将无标注文本输入到训练好的初始模型中进行实体识别，生成无标注文本的实体伪标签。最后，将带有伪标签的无标注数据加入训练数据中，通过半监督损失函数调度机制，重新训练得到最终的电力实体识别模型。
本实例中，实体分类的损失和关系分类的联合损失在整体损失函数中的权重均设置为0.5，Adam优化器的学习率设置为0.00005，训练批量大小设置为2，训练迭代轮数设置为50，宽度嵌入维度为25。设置关系分类器(span-classifying)的丢弃率为0.1并使用正态分布随机数(μ＝0，σ＝0.02)初始化分类器的权重。
一优选实施例，如图3所示，首先将句子输入到多粒度掩码预训练语言模型ERNIE中，得到每个单词所对应的编码；在训练过程中，通过从句子中第一个词开始，不断枚举跨度，要将文本的编码跨度进行嵌入层的构建，用来衡量文本跨度的宽度，将整个句子所有的编码都进行平均池化操作，得到整体句意表示的文本编码，记作cls；将这些枚举出来的所有编码和嵌入层以及cls共同输入到跨度分类器中进行判断，判断是否为实体，如果是实体就进行保留，不是实体则继续枚举，直到句子结尾，这样就找到了句子中的所有实体，其中包含主体实体和客体实体；将实体所对应的所有编码进行最小池化操作，用最小池化后的编码表示这个实体；将主体实体和客体实体中各取出一个主体实体和一个客体实体，组成实体关系对，并将主体实体和客体实体之间的文本编码经过最小池化操作，表示为关系的文本编码；将主体实体的文本编码，关系的文本编码和客体实体的文本编码共同输入到关系分类器中，算出得分，如果大于置信阈值a，那么则说明主体实体和客体实体存在关系，如果小于置信阈值a，那么则说明主体实体和客体实体不存在关系，由此可以找到句子中所有的实体关系。
本发明实施例一通过多粒度掩码预训练语言模型ERNIE应用于实体关系抽取任务上，捕获实体级别的语义信息；为了能够充分挖掘大规模无标注电力文本中蕴含的实体知识，减轻对有标注数据的需求，降低数据标注工作耗费的人力时间成本，模型应用半监督学习的方法；使用半监督训练架构和损失函数调度机制来挖掘无标注数据中的实体识别知识，提升电力实体识别性能，从而更好的进行关系抽取。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于半监督学习的电网领域实体关系抽取，其特征在于，训练中引入多粒度掩码预训练模型(ERNIE)并且加入半监督学习模块，该方法包括：
步骤一、将待关系抽取的文本输入到多粒度掩码预训练语言模型ERNIE编码电力文本以捕获实体和短语级别的语义信息，即将每个词输入ERNIE得到每个词的文本编码，由此可以将不常用的词用常用的词进行表示；
步骤二、将得到的每个词的文本编码进行跨度枚举。与经典的实体关系分类不同，此方法检测所有文本编码的子序列(即跨度)中的实体。通过不断的枚举跨度，找到可能存在实体编码；
步骤三、将实体编码中的任意大小文本编码取出，对取出的所有文本编码做最小池化操作(min-pooling),用最小池化后的文本编码作为实体特征；
步骤四、将整个句子所有的token都进行平均池化操作，得到整体句意表示的文本编码，记作cls；
步骤五、将文本的编码宽度进行嵌入层(embedding)的构建，用来衡量文本跨度的宽度；
步骤六、将最小池化后的文本编码，整个句子的文本编码cls，以及embedding共同输入到宽度分类器(span-classifying)中，通过对其进行softmax操作，计算出每个文本编码宽度对应的得分；
步骤七、将不同文本编码宽度所对应的得分输入到宽度筛选器(span-filtering)中判断每个编码宽度构成的是否是实体，从找到的实体中筛选出备选的主体实体和客体实体；
步骤八、将主体实体和客体实体中各取出一个主体实体和一个客体实体，组成实体关系对，并将主体实体和客体实体之间的文本编码经过最小池化操作(min-pooling)，表示为关系的文本编码；
步骤九、将主体实体的文本编码，关系的文本编码和客体实体的文本编码共同输入到关系分类器(relation-classification)中，算出得分，如果大于置信阈值a，那么则说明主体实体和客体实体存在关系，如果小于置信阈值a，那么则说明主体实体和客体实体不存在关系；
步骤十、将无标注文本输入到训练好的初始模型中进行实体识别，生成无标注文本的实体伪标签。最后，将带有伪标签的无标注数据加入训练数据中，通过半监督损失函数调度机制，重新训练得到最终的电力实体识别模型。
2.如权利要求1所述的方法，其特征在于，训练中数据全部为有标注的电网文本数据时，将步骤十予以替换，替换如下：
步骤十、将所有有标注的电网文本数据进行训练，通过半监督损失函数调度机制，得到最终的模型。
3.如权利要求1所述的方法，其特征在于，非训练情况下，中文分词时，将步骤一到步骤十予以替换，替换如下：
步骤一、将需要进行实体关系抽取的数据作为模型的输入；
步骤二、将需要进行实体关系抽取的数据通过预训练好的多粒度掩码预训练模型(ERNIE)，将电网文本映射为向量表示；
步骤三、将向量表示输入到训练好的实体识别器中，找到文本中的实体，包括主体实体和客体实体；
步骤四、将主体实体，文本内容，客体实体输入到训练好的关系分类器中，算出得分，从而判断主体实体和客体实体是否存在关系。
4.如权利要求1所述的方法，其特征在于，所述步骤一中，ERNIE模型主要由两种Encoder组成，分别是T-Encoder以及K-Encoder。其中T-Encoder主要是进行输入文本的encoder，提取的是词法以及语义的信息，共N层。而K-Encoder主要进行的是知识entity的embedding以及知识融合。应用的数据集是ADE20k,ADE20k拥有超过25,000张图像,这些图像用开放字典标签集密集注释。
5.如权利要求1所述的方法，其特征在于，所述步骤二中，枚举跨度：采取两层循环进行枚举跨度，从而找到可能存在的实体编码。第一个循环,span的长度依次从1增加到句子的最大长度,可以理解为一个size大小的窗口(1<＝size<＝句子的最大长度)；第二个循环从第0个token开始,到第句子的最大长度结束,可以作为size窗口的开始位置,窗口内的词片段即为一个跨度,如果该跨度位于正样例集合中,则剔除,否则加入到负样例集合中。并且同时规定实体的长度不能超过10。
6.如权利要求1所述的方法，其特征在于，所述步骤六中，宽度分类器(span-classifying)的计算如下：
e＝f(ei,ei+1,...,ei+k)
其中f代表最小池化操作(min-pooling)，ei代表第i个文本的编码。
其中代表拼接，将两个向量进行拼接，wk+1代表embedding。
其中cls代表整体句意表示的文本编码。
ys＝softmax(Ws*xs+bs)
进一步的，所述步骤九中，关系分类器(relation classification)的计算如下：
其中，(s1,s2)为两个备选实体。e(s1)代表其中一个实体编码与对应的embedding拼接后的文本编码，e(s1)代表其中另一个实体编码与对应的embedding拼接后的文本编码。代表拼接，将两个向量进行拼接。
7.如权利要求1所述的方法，其特征在于，所述步骤九中，关系分类器(relationclassification)的计算如下：
其中，(s1,s2)为两个备选实体。e(s1)代表其中一个实体编码与对应的embedding拼接后的文本编码，e(s1)代表其中另一个实体编码与对应的embedding拼接后的文本编码。代表拼接，将两个向量进行拼接。
进一步的，所述步骤十中，半监督损失函数调度机制的计算如下：
式中nL和nu分别是标注和无标注样本的个数，α(t)是用于调整训练中对标注和无标注样本关注程度的调度系数。调度系数的取值十分关键，如果其取值过高，则会影响标注样本的监督效果；如果取值过低，则模型很难学习到无标注样本中的实体知识。
CN202310263248.6A 2023-03-17 2023-03-17 一种基于半监督学习的电网领域实体关系抽取 Pending CN116861894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310263248.6A CN116861894A (zh) 2023-03-17 2023-03-17 一种基于半监督学习的电网领域实体关系抽取

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310263248.6A CN116861894A (zh) 2023-03-17 2023-03-17 一种基于半监督学习的电网领域实体关系抽取

Publications (1)

Publication Number Publication Date
CN116861894A true CN116861894A (zh) 2023-10-10

Family

ID=88229181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310263248.6A Pending CN116861894A (zh) 2023-03-17 2023-03-17 一种基于半监督学习的电网领域实体关系抽取

Country Status (1)

Country Link
CN (1) CN116861894A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131198A (zh) * 2023-10-27 2023-11-28 中南大学 用于医学教学库的知识增强实体关系联合抽取方法及设备
CN117171653A (zh) * 2023-11-02 2023-12-05 成方金融科技有限公司 一种识别信息关系的方法、装置、设备及存储介质
CN117172254A (zh) * 2023-11-02 2023-12-05 成方金融科技有限公司 模型训练方法、信息抽取方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131198A (zh) * 2023-10-27 2023-11-28 中南大学 用于医学教学库的知识增强实体关系联合抽取方法及设备
CN117131198B (zh) * 2023-10-27 2024-01-16 中南大学 用于医学教学库的知识增强实体关系联合抽取方法及设备
CN117171653A (zh) * 2023-11-02 2023-12-05 成方金融科技有限公司 一种识别信息关系的方法、装置、设备及存储介质
CN117172254A (zh) * 2023-11-02 2023-12-05 成方金融科技有限公司 模型训练方法、信息抽取方法、装置、设备及存储介质
CN117172254B (zh) * 2023-11-02 2024-01-16 成方金融科技有限公司 模型训练方法、信息抽取方法、装置、设备及存储介质
CN117171653B (zh) * 2023-11-02 2024-01-23 成方金融科技有限公司 一种识别信息关系的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN108959252B (zh) 基于深度学习的半监督中文命名实体识别方法
CN111310471B (zh) 一种基于bblc模型的旅游命名实体识别方法
CN109657230B (zh) 融合词向量和词性向量的命名实体识别方法及装置
CN111738003B (zh) 命名实体识别模型训练方法、命名实体识别方法和介质
CN116861894A (zh) 一种基于半监督学习的电网领域实体关系抽取
CN111738004A (zh) 一种命名实体识别模型的训练方法及命名实体识别的方法
CN112507039A (zh) 基于外部知识嵌入的文本理解方法
CN112163089B (zh) 一种融合命名实体识别的高技术文本分类方法及系统
CN113987183A (zh) 一种基于数据驱动的电网故障处置预案辅助决策方法
CN115292490A (zh) 一种用于政策解读语义的分析算法
CN114943233A (zh) 一种基于并行化改进的Transformer-CRF网络的实体命名识别方法
CN114911947A (zh) 一种基于知识提示的概念抽取模型
CN113901813A (zh) 一种基于主题特征和隐式句子结构的事件抽取方法
CN114239584A (zh) 一种基于自监督学习的命名实体识别方法
CN111723572B (zh) 基于CNN卷积层和BiLSTM的中文短文本相关性度量方法
CN117390131A (zh) 一种用于多领域的文本情感分类方法
CN116306606A (zh) 一种基于增量学习的金融合同条款提取方法和系统
CN114510943B (zh) 一种基于伪样本重放的增量式命名实体识别方法
CN116151260A (zh) 一种基于半监督学习的糖尿病命名实体识别模型构建方法
CN114298052B (zh) 一种基于概率图的实体联合标注关系抽取方法和系统
CN116127097A (zh) 一种结构化文本关系抽取方法、装置、设备
CN115906846A (zh) 一种基于双图的层次特征融合的文档级命名实体识别方法
CN113361259B (zh) 一种服务流程抽取方法
CN114648029A (zh) 一种基于BiLSTM-CRF模型的电力领域命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication