CN112818683A - 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 - Google Patents
一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 Download PDFInfo
- Publication number
- CN112818683A CN112818683A CN202110103336.0A CN202110103336A CN112818683A CN 112818683 A CN112818683 A CN 112818683A CN 202110103336 A CN202110103336 A CN 202110103336A CN 112818683 A CN112818683 A CN 112818683A
- Authority
- CN
- China
- Prior art keywords
- character
- word
- bilstm
- attention
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 8
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种基于触发词规则和Attention‑BiLSTM的中文人物关系提取方法，包括如下步骤：基于触发词的自动标注训练数据过程、训练过程和测试过程；所述基于触发词的自动标注训练数据过程通过网络爬虫技术、分词、命名实体识别等技术以及规则方法，得到有标注的人物关系三元组；所述训练过程将上一过程获得的训练数据经过文本向量化输入，接着，迭代训练Attention‑BiLSTM神经网络模型，从而得到一个训练好的Attention‑BiLSTM人物关系分类模型，利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果，将结果进行向量化，得到人物关系分类的结果，最后将其组织为人物关系三元组并结构化保存，具有扩充训练数据质量更高、模型精度更高、中文人物关系分类效果更好等特点。
Description
技术领域
本发明涉及信息抽取技术领域，具体涉及一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法。
背景技术
随着信息时代的飞速发展，海量的文本信息迅速爆炸式增长，人们已经不再满足于手工分析这样低效的方式来获取文本的知识，期望以更智能的方式快速、高效的梳理文本中的内容，获取自己想要的知识，随着自然语言处理技术的发展，特别是人工智能算法在自然语言处理领域的深度应用，为高效实现文本知识提取奠定了技术基础，但是人工智能在知识抽取领域的有效应用需要依赖高质量的标注文本，特别是人物关系提取要把分散在文本中的人物实体及人物之间的关系准确、快速的自动提取，属于信息抽取领域的重要研究内容。
存在问题或缺陷的原因：当前业界广泛采用的神经网络模型方法都是针对英文语料进行的人物关系提取研究。现阶段由于有标注的中文训练数据量较少，利用神经网络模型解决中文人物关系提取的效果较差。
发明内容
本发明的目的在于提供一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法。
为实现上述目的，本发明提供如下技术方案：一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，包括以下步骤：
S100、基于触发词的自动标注训练数据：通过网络爬虫技术、分词、命名实体识别技术以及规则方法，得到有标注的人物关系三元组；
S200、训练过程：将上一过程获得的训练数据经过文本向量化输入，接着，迭代训练Attention-BiLSTM神经网络模型，从而得到一个训练好的Attention-BiLSTM人物关系分类模型；
S300、测试过程：测试数据从已有的中文人物关系提取数据集中获得，利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果，将结果进行向量化，向量化过程的结果作为已训练好的Attention-BiLSTM模型的输入，得到人物关系分类的结果，最后将其组织为人物关系三元组并结构化保存。
进一步的，步骤S100的基于触发词的自动标注训练数据中，首先通过网络爬虫技术从互联网获取大量的无标注的中文文本语料；然后经过分词、命名实体识别技术预处理中文文本语料；接着通过规则方法实现与预定义的人物关系类型的匹配，从而得到有标注的人物关系三元组，其数据格式为<实体1、实体2、关系>。
进一步的，步骤S100的基于触发词的自动标注训练数据中，还包括触发词词典的构建：根据数据集的标注结果，结合每个句子特征，针对每类关系所对应句子中出现的可以表现该人物关系的词汇进行统计，按照出现次数从多到少的顺序排序构建每类关系对应的词汇库，表示人物关系的词汇称为触发词，词汇库称为触发词词典。
进一步的，步骤S200的训练过程中，所述的文本向量化包括词向量化和每个字到两个实体间的距离向量化；词向量化的方法是通过Bert获取词的向量表示；距离向量化的方法是计算句子中每个字距离两个实体的距离，句子中每个字都得到了一个字向量和两个距离向量，将三者组合起来作为模型的输入，模型的输出是人物关系对应的ID。
进一步的，步骤S300中，基于触发词规则的提取算法是利用触发词词典进行中文人物关系识别的分类算法，算法的输入是原始文本和触发词词典，输出是人物关系三元组；
第一步利用Hanlp和LTP平台对输入的文本进行预处理得到有标注的句子集合；第二步对每一个有标注的句子，统计句中的人物实体的个数，如果人物实体个数小于2，则进入下一个句子，然后重新进入算法第二步，如果人物实体个数大于等于2，则进入算法的第三步；第三步将当前句子与词典中的9类人物关系触发词进行匹配，按照序号从小到大的次序，如果匹配成功则返回对应的人物关系类型，如果匹配失败则返回人物关系类型null；第四步输出人物关系三元组，当人物实体大于2时，本算法选择前两个人物实体来组建人物关系三元组，格式为<人物实体1，人物实体2，人物关系>。
进一步的，步骤S300中，算法1基于触发词规则的提取算法：
输入：文本，Text；触发词词典，triggerdictionary；
输出：人物关系三元组，pTriple；统计每个句子中人物实体个数personNum；
使用Hanlp和LTP处理句子得到labels；while each s∈labels do；if personNum≥2；if与触发词词典匹配；return relationType；else return null；else next；endwhile。
进一步的，步骤S300中，基于Attention机制的双向长短期记忆网络模型的主要思想就是利用BiLSTM模型的输出作为Attention层的输入，共包括5层，从下往上依次是：
输入层：将句子输入到模型中；
Embedding层：将每个词映射到低维向量空间；
BiLSTM层：使用双向的LSTM从Embedding层获得高级语义特征；
Attention层：计算得到一个权重向量，并通过加权求和的方法得到句子级的特征向量；
输出层：句子级的特征向量作为计算人物关系分类的输入，输出人物关系ID，在Embedding层，给定由T个词组组成的句子S＝x1,x2,...,xt，每个词xi由Bert转化为一个实数向量ei，句子S被转化一个实数矩阵embs＝e1,e2,...,et，并传递给模型的下一层。
进一步的，步骤S300中，BiLSTM网络包含左右序列上下文的两个子LSTM网络，分别向前和向后传递，每个LSTM都需要经过计算得到隐层状态ht，BiLSTM中第i个词的输出hi如以下公式所示，然后使用逐元素将前向和后向叠加传递输出，
Attention机制能够通过计算发掘对分类结果起到重要作用的词，将从BiLSTM层生成的输入向量集合表示为H：[h1,h2,...,ht]，其中T表示句子的长度，句子的表示r由这些输出向量的权重形成，Attention层得到的权重矩阵由以下公式得到：M＝tanh(H)；α＝softmax(wTM)；r＝HαT；h*＝tanh(r)，其中，
dw表示词向量的维度，w表示训练学习得到的参数向量，wT为其转置向量，最终输出用于进行人物关系分类的句子h*。
本发明的技术效果如下：使用基于触发词规则的提取算法来提高训练数据质量，使每个关系类别的句子特征更为明显；再通过Attention-BiLSTM发挥作用，可以提高该模型的训练精度，达到提高人物关系分类准确度的效果。通过触发词规则算法得到的扩充训练数据质量更高，每个句子中的噪声很低、特征更为突出，故效果更好，基于触发词词典进行规则匹配的方式，有助于Attention机制发掘句子中的关键词语，从而促进了模型精度的提高，最终中文人物关系分类的效果得以提升。
附图说明
图1为实施例中基于触发词规则和Attention-BiLSTM的中文人物关系提取方法框架；
图2为实施例中基于Attention机制的双向长短期记忆网络模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，如图1所示，包括以下步骤：
S100、基于触发词的自动标注训练数据：通过网络爬虫技术、分词、命名实体识别技术以及规则方法，得到有标注的人物关系三元组；
S200、训练过程：将上一过程获得的训练数据经过文本向量化输入，接着，迭代训练Attention-BiLSTM神经网络模型，从而得到一个训练好的Attention-BiLSTM人物关系分类模型；
S300、测试过程：测试数据从已有的中文人物关系提取数据集中获得，利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果，将结果进行向量化，向量化过程的结果作为已训练好的Attention-BiLSTM模型的输入，得到人物关系分类的结果，最后将其组织为人物关系三元组并结构化保存。
步骤S100的基于触发词的自动标注训练数据过程中，首先通过网络爬虫技术从互联网获取大量的无标注的中文文本语料；然后经过分词、命名实体识别技术预处理中文文本语料；接着通过规则方法实现与预定义的人物关系类型的匹配，从而得到有标注的人物关系三元组，其数据格式为<实体1、实体2、关系>。
步骤S100的基于触发词的自动标注训练数据过程中，如图1所示，还包括触发词词典的构建：根据数据集的标注结果，结合每个句子特征，针对每类关系所对应句子中出现的可以表现该人物关系的词汇进行统计，按照出现次数从多到少的顺序排序构建每类关系对应的词汇库，表示人物关系的词汇称为触发词，词汇库称为触发词词典。
步骤S200的训练过程中，将通过上一过程获得的训练数据作为模型的输入，然后经过文本向量化，所述的文本向量化包括词向量化和每个字到两个实体间的距离向量化；词向量化的具体方法是通过Bert获取词的向量表示；距离向量化(位置向量化)的方法是计算句子中每个字距离两个实体的距离，句子中每个字都得到了一个字向量和两个距离向量，将三者组合起来作为模型的输入，接着，迭代训练Attention-BiLSTM神经网络模型，从而得到一个训练好的Attention-BiLSTM人物关系分类模型，模型的输出是人物关系对应的ID。
所述测试过程中，测试数据从已有的中文人物关系提取数据集中获得，作为测试过程的输入，首先，要利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果；然后，同样需要进行向量化，向量化过程的结果作为已训练好的Attention-BiLSTM模型的输入，从而得到人物关系分类的结果；最后，将其组织为人物关系三元组并结构化保存。
步骤S300中，基于触发词规则的提取算法是利用触发词词典进行中文人物关系识别的分类算法，算法的输入是原始文本和触发词词典，输出是人物关系三元组；
算法的第一步是利用Hanlp和LTP平台对输入的文本进行预处理得到有标注的句子集合；算法的第二步是对每一个有标注的句子，统计句中的人物实体的个数，如果人物实体个数小于2，则进入下一个句子，然后重新进入算法第二步，如果人物实体个数大于等于2，则进入算法的第三步；算法的第三步将当前句子与词典中的9类人物关系触发词进行匹配，按照序号从小到大的次序，如果匹配成功则返回对应的人物关系类型，如果匹配失败则返回人物关系类型null；算法的第四步输出人物关系三元组，当人物实体大于2时，本算法选择前两个人物实体来组建人物关系三元组，格式为<人物实体1，人物实体2，人物关系>。下表为触发词词典构建9类人物关系类型的触发词词典。
步骤S300的测试过程中，基于触发词规则的提取算法：
输入：文本，Text；触发词词典，triggerdictionary；
输出：人物关系三元组，pTriple；统计每个句子中人物实体个数personNum；
使用Hanlp和LTP处理句子得到labels；while each s∈labels do；if personNum≥2；if与触发词词典匹配；return relationType；else return null；else next；endwhile。
步骤S300的测试过程中，基于Attention机制的双向长短期记忆网络模型的主要思想就是利用BiLSTM模型的输出作为Attention层的输入，如图2所示，共包括5层，从下往上依次是：
输入层：将句子输入到模型中；
Embedding层：将每个词映射到低维向量空间；
BiLSTM层：使用双向的LSTM从Embedding层获得高级语义特征；
Attention层：计算得到一个权重向量，并通过加权求和的方法得到句子级的特征向量；
输出层：句子级的特征向量作为计算人物关系分类的输入，输出人物关系ID，在Embedding层，给定由T个词组组成的句子S＝x1,x2,...,xt，每个词xi由Bert转化为一个实数向量ei，句子S被转化一个实数矩阵embs＝e1,e2,...,et，并传递给模型的下一层。
步骤S300的测试过程中，BiLSTM网络包含左右序列上下文的两个子LSTM网络，分别向前和向后传递，每个LSTM都需要经过计算得到隐层状态ht，BiLSTM中第i个词的输出hi如以下公式所示，然后使用逐元素将前向和后向叠加传递输出，
Attention机制能够通过计算发掘对分类结果起到重要作用的词，将从BiLSTM层生成的输入向量集合表示为H：[h1,h2,...,ht]，其中T表示句子的长度，句子的表示r由这些输出向量的权重形成，Attention层得到的权重矩阵由以下公式得到：M＝tanh(H)；α＝softmax(wTM)；r＝HαT；h*＝tanh(r)，其中，
dw表示词向量的维度，w表示训练学习得到的参数向量，wT为其转置向量，最终输出用于进行人物关系分类的句子h*。
综上所述，本发明提供了一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，包括如下步骤：基于触发词的自动标注训练数据过程、训练过程和测试过程；所述基于触发词的自动标注训练数据过程通过网络爬虫技术、分词、命名实体识别等技术以及规则方法，得到有标注的人物关系三元组；所述训练过程将上一过程获得的训练数据经过文本向量化输入，接着，迭代训练Attention-BiLSTM神经网络模型，从而得到一个训练好的Attention-BiLSTM人物关系分类模型，利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果，将结果进行向量化，得到人物关系分类的结果，最后将其组织为人物关系三元组并结构化保存，具有扩充训练数据质量更高、模型精度更高、中文人物关系分类效果更好等特点。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。
Claims (8)
1.一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于，包括以下步骤：
S100、基于触发词的自动标注训练数据过程：通过网络爬虫技术、分词、命名实体识别等技术以及规则方法，得到有标注的人物关系三元组；
S200、训练过程：将上一过程获得的训练数据经过文本向量化输入，接着，迭代训练Attention-BiLSTM神经网络模型，从而得到一个训练好的Attention-BiLSTM人物关系分类模型；
S300、测试过程：测试数据从已有的中文人物关系提取数据集中获得，利用Hanlp和LTP技术对测试数据进行预处理，得到分词和人物实体识别的结果，将结果进行向量化，向量化过程的结果作为已训练好的Attention-BiLSTM模型的输入，得到人物关系分类的结果，最后将其组织为人物关系三元组并结构化保存。
2.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于，步骤S100的基于触发词的自动标注训练数据过程中，首先通过网络爬虫技术从互联网获取大量的无标注的中文文本语料；然后经过分词、命名实体识别技术预处理中文文本语料；接着通过规则方法实现与预定义的人物关系类型的匹配，从而得到有标注的人物关系三元组，其数据格式为<实体1、实体2、关系>。
3.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于，步骤S100的基于触发词的自动标注训练数据过程中，还包括触发词词典的构建：根据数据集的标注结果，结合每个句子特征，针对每类关系所对应句子中出现的可以表现该人物关系的词汇进行统计，按照出现次数从多到少的顺序排序构建每类关系对应的词汇库，表示人物关系的词汇称为触发词，词汇库称为触发词词典。
4.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于：步骤S200的训练过程中，所述的文本向量化包括词向量化和每个字到两个实体间的距离向量化；词向量化的方法是通过Bert获取词的向量表示；距离向量化的方法是计算句子中每个字距离两个实体的距离，句子中每个字都得到了一个字向量和两个距离向量，将三者组合起来作为模型的输入，模型的输出是人物关系对应的ID。
5.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于：步骤S300中，基于触发词规则的提取算法是利用触发词词典进行中文人物关系识别的分类算法，算法的输入是原始文本和触发词词典，输出是人物关系三元组；
第一步利用Hanlp和LTP平台对输入的文本进行预处理得到有标注的句子集合；第二步对每一个有标注的句子，统计句中的人物实体的个数，如果人物实体个数小于2，则进入下一个句子，然后重新进入算法第二步，如果人物实体个数大于等于2，则进入算法的第三步；第三步将当前句子与词典中的9类人物关系触发词进行匹配，按照序号从小到大的次序，如果匹配成功则返回对应的人物关系类型，如果匹配失败则返回人物关系类型null；第四步输出人物关系三元组，当人物实体大于2时，本算法选择前两个人物实体来组建人物关系三元组，格式为<人物实体1，人物实体2，人物关系>。
6.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于：步骤S300中，基于触发词规则的提取算法：
输入：文本；触发词词典；
输出：人物关系三元组；统计每个句子中人物实体个数；
使用Hanlp和LTP处理句子得到labels。
7.根据权利要求1所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于：步骤S300中，基于Attention机制的双向长短期记忆网络模型，共包括5层，从下往上依次是：
输入层：将句子输入到模型中；
Embedding层：将每个词映射到低维向量空间；
BiLSTM层：使用双向的LSTM从Embedding层获得高级语义特征；
Attention层：计算得到一个权重向量，并通过加权求和的方法得到句子级的特征向量；
输出层：句子级的特征向量作为计算人物关系分类的输入，输出人物关系ID，在Embedding层，给定由T个词组组成的句子S＝x1,x2,...,xt，每个词xi由Bert转化为一个实数向量ei，句子S被转化一个实数矩阵embs＝e1,e2,...,et，并传递给模型的下一层。
8.根据权利要求7所述的一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法，其特征在于：步骤S300中，BiLSTM网络包含左右序列上下文的两个子LSTM网络，分别向前和向后传递，每个LSTM都需要经过计算得到隐层状态ht，BiLSTM中第i个词的输出hi如以下公式所示，然后使用逐元素将前向和后向叠加传递输出，
Attention机制能够通过计算发掘对分类结果起到重要作用的词，将从BiLSTM层生成的输入向量集合表示为H：[h1,h2,...,ht]，其中T表示句子的长度，句子的表示r由这些输出向量的权重形成，Attention层得到的权重矩阵由以下公式得到：M＝tanh(H)；α＝softmax(wTM)；r＝HαT；h*＝tanh(r)，其中，
dw表示词向量的维度，w表示训练学习得到的参数向量，wT为其转置向量，最终输出用于进行人物关系分类的句子h*。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110103336.0A CN112818683A (zh) | 2021-01-26 | 2021-01-26 | 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110103336.0A CN112818683A (zh) | 2021-01-26 | 2021-01-26 | 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112818683A true CN112818683A (zh) | 2021-05-18 |
Family
ID=75859364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110103336.0A Pending CN112818683A (zh) | 2021-01-26 | 2021-01-26 | 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818683A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282757A (zh) * | 2021-07-14 | 2021-08-20 | 国网电子商务有限公司 | 基于电商领域表示模型的端到端三元组提取方法及系统 |
| CN113553853A (zh) * | 2021-09-16 | 2021-10-26 | 南方电网数字电网研究院有限公司 | 命名实体识别方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
| CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和系统 |
| CN110083838A (zh) * | 2019-04-29 | 2019-08-02 | 西安交通大学 | 基于多层神经网络与外部知识库的生物医学语义关系提取方法 |
| CN110941716A (zh) * | 2019-11-05 | 2020-03-31 | 北京航空航天大学 | 一种基于深度学习的信息安全知识图谱的自动构建方法 |
| CN110991165A (zh) * | 2019-12-12 | 2020-04-10 | 智器云南京信息科技有限公司 | 文本中人物关系提取方法及装置、计算机设备和存储介质 |
| CN111125367A (zh) * | 2019-12-26 | 2020-05-08 | 华南理工大学 | 一种基于多层次注意力机制的多种人物关系抽取方法 |
| CN111291556A (zh) * | 2019-12-17 | 2020-06-16 | 东华大学 | 基于实体义项的字和词特征融合的中文实体关系抽取方法 |
-
2021
- 2021-01-26 CN CN202110103336.0A patent/CN112818683A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
| CN109902145A (zh) * | 2019-01-18 | 2019-06-18 | 中国科学院信息工程研究所 | 一种基于注意力机制的实体关系联合抽取方法和系统 |
| CN110083838A (zh) * | 2019-04-29 | 2019-08-02 | 西安交通大学 | 基于多层神经网络与外部知识库的生物医学语义关系提取方法 |
| CN110941716A (zh) * | 2019-11-05 | 2020-03-31 | 北京航空航天大学 | 一种基于深度学习的信息安全知识图谱的自动构建方法 |
| CN110991165A (zh) * | 2019-12-12 | 2020-04-10 | 智器云南京信息科技有限公司 | 文本中人物关系提取方法及装置、计算机设备和存储介质 |
| CN111291556A (zh) * | 2019-12-17 | 2020-06-16 | 东华大学 | 基于实体义项的字和词特征融合的中文实体关系抽取方法 |
| CN111125367A (zh) * | 2019-12-26 | 2020-05-08 | 华南理工大学 | 一种基于多层次注意力机制的多种人物关系抽取方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282757A (zh) * | 2021-07-14 | 2021-08-20 | 国网电子商务有限公司 | 基于电商领域表示模型的端到端三元组提取方法及系统 |
| CN113553853A (zh) * | 2021-09-16 | 2021-10-26 | 南方电网数字电网研究院有限公司 | 命名实体识别方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107943784B (zh) | 基于生成对抗网络的关系抽取方法 | |
| CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN111382565B (zh) | 基于多标签的情绪-原因对抽取方法及系统 | |
| CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
| CN109189925A (zh) | 基于点互信息的词向量模型和基于cnn的文本分类方法 | |
| CN110362819B (zh) | 基于卷积神经网络的文本情感分析方法 | |
| CN111353306B (zh) | 基于实体关系和依存Tree-LSTM的联合事件抽取的方法 | |
| CN113641820A (zh) | 基于图卷积神经网络的视角级文本情感分类方法及系统 | |
| CN111984791B (zh) | 一种基于注意力机制的长文分类方法 | |
| CN111914556A (zh) | 基于情感语义转移图谱的情感引导方法及系统 | |
| CN112818683A (zh) | 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法 | |
| CN113657123A (zh) | 基于目标模板指导和关系头编码的蒙语方面级情感分析方法 | |
| CN113609289A (zh) | 一种基于多模态对话文本的情感识别方法 | |
| CN113505200A (zh) | 一种结合文档关键信息的句子级中文事件检测的方法 | |
| CN111507093A (zh) | 一种基于相似字典的文本攻击方法、装置及存储介质 | |
| CN115860006A (zh) | 一种基于语义句法的方面级情感预测方法及装置 | |
| CN112287106A (zh) | 一种基于双通道混合神经网络的在线评论情感分类方法 | |
| CN111310411B (zh) | 一种基于多样性模型的文本相关性判定方法、装置和设备 | |
| CN114254645A (zh) | 一种人工智能辅助写作系统 | |
| CN112988970A (zh) | 一种服务于智能问答系统的文本匹配算法 | |
| CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
| CN113486645A (zh) | 一种基于深度学习的文本相似度检测方法 | |
| CN115759119A (zh) | 一种金融文本情感分析方法、系统、介质和设备 | |
| Ko et al. | Paraphrase bidirectional transformer with multi-task learning | |
| CN115204143B (zh) | 一种基于prompt的文本相似度计算方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210518 |