CN107526798B - 一种基于神经网络的实体识别和规范化联合方法及模型 - Google Patents

一种基于神经网络的实体识别和规范化联合方法及模型 Download PDF

Info

Publication number
CN107526798B
CN107526798B CN201710713734.8A CN201710713734A CN107526798B CN 107526798 B CN107526798 B CN 107526798B CN 201710713734 A CN201710713734 A CN 201710713734A CN 107526798 B CN107526798 B CN 107526798B
Authority
CN
China
Prior art keywords
entity
layer
vector
lstm
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710713734.8A
Other languages
English (en)
Other versions
CN107526798A (zh
Inventor
姬东鸿
娄银霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan Hongcha Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hongcha Data Technology Co ltd filed Critical Wuhan Hongcha Data Technology Co ltd
Priority to CN201710713734.8A priority Critical patent/CN107526798B/zh
Publication of CN107526798A publication Critical patent/CN107526798A/zh
Application granted granted Critical
Publication of CN107526798B publication Critical patent/CN107526798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

本发明涉及一种基于神经网络的实体识别和规范化联合方法及模型，其方法包括从词向量文本中读取目标文本中每个词的词向量，并作为实体识别子模型中的BI‑LSTM层的输入；所述BI‑LSTM层根据所述词向量生成对应的BI‑LSTM输出向量，所述BI‑LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；根据所述BI‑LSTM输出向量生成目标文本中的识别实体以及对应的识别实体ID。本发明的基于神经网络的实体识别和规范化联合方法，基于神经网络的联合模型从大数据中自动学习特征，在使用中减少了手工设计特征的巨大工作量，可以有效利用实体识别和实体规范这两个任务之间的相互信息，避免了串行模型中的实体识别到实体规范的错误传播。

Description

一种基于神经网络的实体识别和规范化联合方法及模型
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种基于神经网络的实体识别和规范化联合方法及模型。
背景技术
命名实体的识别(NER)是自然语言处理中的一个很重要的任务，也是信息抽取中的一个关键技术。命名实体识别任务是识别文本中实体的边界，且给它们分配一个类型。对于许多其它的信息检索任务，命名实体识别是一个基础任务，包括命名实体规范化，知识库的构建、关系抽取和机器翻译。尽管传统的机器学习的方法广泛地用于命名实体的识别，例如支持向量机、最大熵、隐马尔可夫和条件随机场等。但是，其性能的提升可能会受到几种常见因素的影响：
(1)随着语料和语言的变化，重构特征集是困难的。
(2)一些带有语义信息的复杂特征往往依赖于其它NLP模块的性能。
(3)具有专业知识的特征获取成本昂贵。
鉴于上述的浅层的机器学习方法有具有很强的人工特征的依赖性，且很难表示复杂的模型，近年来，深度学习被引进到了命名实体识别领域。Collobert等人提出统一神经网络架构和学习算法，用于各种自然语言处理任务，在NER任务中取得了较好的成果。陈宇等人采用深度置信网络提取中文文档中的实体，且效果高于传统的机器学习方法。长短期记忆(LSTM)也被用于具有复杂模型框架的识别命名实体。
文本中的命名实体从字面上看具有模糊性，例如：实体“Gates”在句子“Thegreater part of Gates’population is in Marion County.”和“Gates was a baseballplayer.”，我们需要分清第一个“Gates”是表示位置，另一个“Gates”表示人。命名实体在文本中也有多个的变量名。例如，“Anneke Gronoh”可能出现“Mw.Gronloh”、“AnnekeKronloh”或者“Mevrouw G”等多种形式因此。因此，需要对命名实体进行规范化。同时，实体规范化对实体检索、事件跟踪和知识库的构建起着重要的作用。命名实体规范化任务是链接文本中的命名实体到给定的知识库中规范的形式。例如：
句子“JetBlue begins direct service between Barnstable Airport and JFKInternational.”这里，“JetBlue”应该被连接到KB：JetBlue，“Barnstable Airport”连接到KB：Barnstable Municipal Airport和“JFK International”到KB：John F.KennedyInternational Airport。
目前，大多数处理实体识别和规范化联合方式使用串行的模型：如图1和图2所示，分别为现有的实体识别和规范化联合方法流程示意图和联合模型结构示意图，它们先执行命名实体识别模型识别实体在文本中的边界，然后再对已识别的实体进行规范。但是，串行的框架面临下面两个挑战：
(1)它们可能导致错误从实体识别传给实体规范
(2)实体规范有助于实体识别，但是串行的方法不能利用这种信息。
针对串行模型的不足，一些学者提出了联合模型。例如，Xiaohua Liu等人提出了联合推理的方法为了推特命名实体的识别和规范化。Avirup Sil提出了重排序的方法对于实体识别和规范化联合。Yinxia Lou等人提出了基于转换的疾病的命名实体和规范化的方法。Robert Leaman等人使用半马尔科夫模型进行疾病名称识别和规范化。但是这些联系模型都使用了丰富的人工特征。这些人工特征依赖于语料和语言的变化，而且成本也非常昂贵。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于神经网络的实体识别和规范化联合方法及模型。
本发明解决上述技术问题的技术方案如下：
依据本发明的一个发明，提供了一种基于神经网络的实体识别和规范化联合方法，包括如下步骤：
步骤1：从词向量文本中读取目标文本中每个词的词向量，并作为实体识别子模型中的BI-LSTM层的输入；
步骤2：所述BI-LSTM层根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；
步骤3：根据所述BI-LSTM输出向量生成目标文本中的识别实体以及对应的识别实体ID。
本发明的基于神经网络的实体识别和规范化联合方法，基于神经网络的联合模型从大数据中自动学习特征，在使用中减少了手工设计特征的巨大工作量，可以有效利用实体识别和实体规范这两个任务之间的相互信息，避免了串行模型中的实体识别到实体规范的错误传播。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：所述步骤1中，对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层。
上述进一步方案的有益效果是：由于词向量是低为稠密向量，通过读取文本语句中的词向量，可以有效地避免维数灾难，而且所述词向量含有更加丰富的语义信息，可以更好用于自然语言处理的任务中。
进一步：所述步骤3中，根据所述BI-LSTM输出向量生成识别实体具体包括：
步骤31a：所述实体识别子模型中的第一隐层将所述BI-LSTM输出向量作为输入，并将所述第一隐层的输出结果输出至所述实体识别子模型中的CRF层；
步骤32a：所述CRF层根据所述第一隐层的输出生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出。
上述进一步方案的有益效果是：通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计，经过第一隐层的非线性变换，得到更有效的信息，最后经过CRF的联合解码，而不是对应位置的单独解码，能得到最佳的标签序列。
进一步：所述步骤3中，根据所述BI-LSTM输出向量生成识别实体ID具体包括：
步骤31b：实体规范子模型中的池化层将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；
步骤32b：所述第二隐层根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；
步骤33b：所述softmax多分类层将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。
上述进一步方案的有益效果是：通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计和规则设计，输出向量经过最大值池化层，可以得到实体的显著特征信息，经过第二隐层的非线性变换，可以得到实体相关的有效特征信息。
进一步：所述步骤34b中，所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为识别实体ID并输出。
上述进一步方案的有益效果是：通过所述softmax多分类层可以针对预设知识库中的每一类标签准确的计算出对应类别的概率，并将概率最大的类别ID作为识别实体ID，从而可以比较准确的对识别实体的类别进行规范化。
依据本发明的另一个发明，提供了一种基于神经网络的实体识别和规范化联合模型，包括实体识别子模型，用于从词向量文本中读取目标文本中每个词的词向量，根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；根据所述BI-LSTM输出向量生成目标文本中的识别实体；实体规范化子模型，用于根据所述BI-LSTM输出向量生成识别实体ID。
本发明的一种基于神经网络的实体识别和规范化联合模型，基于神经网络的联合模型从大数据中自动学习特征，在使用中减少了手工设计特征的巨大工作量，避免了构建人工特征的困难性。同时，也避免了随着语料和语言的变化，特征集构建困难的问题可以有效利用实体识别和实体规范这两个任务之间的相互信息，避免了串行模型中的实体识别到实体规范的错误传播。
进一步：所述实体识别子模型包括词向量层，用于对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层。
上述进一步方案的有益效果是：由于词向量是低为稠密向量，通过读取文本语句中的词向量，可以有效地避免维数灾难，而且所述词向量含有更加丰富的语义信息，可以更好用于自然语言处理的任务中。
进一步：所述实体识别子模型还包括BI-LSTM层，用于根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；第一隐层，用于将所述BI-LSTM输出向量作为输入，并将输出结果输出至CRF层；CRF层，用于根据所述第一隐层的输出结果生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出。
上述进一步方案的有益效果是：通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计，经过第一隐层的非线性变换，得到更有效的信息，最后经过CRF的联合解码，而不是对应位置的单独解码，能得到最佳的标签序列。
进一步：所述实体规范化子模型包括池化层，用于将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；第二隐层，用于根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；softmax多分类层，用于将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。
上述进一步方案的有益效果是：通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计和规则设计，输出向量经过最大值池化层，可以得到实体的显著特征信息，经过第二隐层的非线性变换，可以得到实体相关的有效特征信息。
进一步：所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为识别实体ID并输出。
上述进一步方案的有益效果是：通过所述softmax多分类层可以针对预设知识库中的每一类标签准确的计算出对应类别的概率，并将概率最大的类别ID作为识别实体ID，从而可以比较准确的对识别实体的类别进行规范化。
附图说明
图1为现有的实体识别和规范化流程示意图；
图2为现有的实体识别和规范化模型结构示意图；
图3为本发明的基于神经网络的实体识别和规范化联合方法流程示意图；
图4为本发明的基于神经网络的实体识别和规范化联合模型结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图3所示，一种基于神经网络的实体识别和规范化联合方法，包括如下步骤：
步骤1：从词向量文本中读取目标文本中每个词的词向量；
步骤2：根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；
步骤3：根据所述BI-LSTM输出向量生成目标文本中的识别实体以及对应的识别实体ID。
本发明的基于神经网络的实体识别和规范化联合方法，基于神经网络的联合模型从大数据中自动学习特征，在使用中减少了手工设计特征的巨大工作量，避免了构建人工特征的困难性。同时，也避免了随着语料和语言的变化，特征集构建困难的问题，实体识别和实体规范共用实体的BI-LSTM层，可以有效利用实体识别和实体规范这两个任务之间的相互信息，避免了串行模型中的实体识别到实体规范的错误传播。
本实施例中，所述步骤1中，对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层。由于词向量是低为稠密向量，通过读取文本语句中的词向量，可以有效地避免维数灾难，而且所述词向量含有更加丰富的语义信息，可以更好用于自然语言处理的任务中。
本实施例中，所述步骤3中，根据所述BI-LSTM输出向量生成识别实体具体包括：
步骤31a：所述实体识别子模型中的第一隐层将所述BI-LSTM输出向量作为输入，并将所述第一隐层的输出结果输出至所述实体识别子模型中的CRF层；
步骤32a：所述CRF层根据所述第一隐层的输出生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出。
通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计，经过第一隐层的非线性变换，得到更有效的信息，最后经过CRF的联合解码，而不是对应位置的单独解码，能得到最佳的标签序列。
图3中O,B-Chemical和B-Disease分别表示实体的类型是疾病实体还是药物实体。在实体识别的任务中，对于一个给定的时间，我们利用过去和将来的特征信息作为输入，因此，我们能利用双向的LSTM层。除此之外，本发明的实体识别子模型还使用了CRF层，以更好地利用句子级的标签信息。
本发明中，我们使用了长短记忆Long Short-Term Memory(LSTM)型递归神经网络进行识别实体命名，长短期记忆神经网络，第一隐层更新被专门的内存单元替代，因此，它们可能更好地找到和利用长范围的依赖信息。
本实施例中，所述步骤3中，根据所述BI-LSTM输出向量生成识别实体ID具体包括：
步骤31b：实体规范子模型中的池化层将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；
步骤32b：所述第二隐层根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；
步骤33b：所述softmax多分类层将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。
通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计和规则设计，输出向量经过最大值池化层，可以得到实体的显著特征信息，经过第二隐层的非线性变换，可以得到实体相关的有效特征信息。
优选地，作为本发明的一个实施例，该实施例中，所述步骤34b中，所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为实体的ID并输出。通过所述softmax多分类层可以针对预设知识库中的每一类标签准确的计算出对应类别的概率，并将概率最大的类别ID作为识别实体ID，从而可以比较准确的对识别实体的类别进行规范化。实际中，使用多分类对文档中的识别实体进行规范化，把预设知识库中含有的规范词的总数作为类别数。
图3表示基于神经网络的联合模型，用于实体识别和规范化。该模型左边是一个BI-LSTM-CRF模型，右边是一个softmax的多分类的神经网络模型，两部分共用BI-LSTM层和输入的词向量层，也即实体规范子模型的输入是BI-LSTM的输出。如此一来，实体规范字模型可以利用实体识别字模型的信息，实体识别字模型也可以利用实体规范字模型的信息。
如图4所示，一种基于神经网络的实体识别和规范化联合模型，包括：实体识别子模型，用于从词向量文本中读取目标文本中每个词的词向量，根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；根据所述BI-LSTM输出向量生成目标文本中的识别实体；实体规范化子模型，用于根据所述BI-LSTM输出向量生成识别实体ID。
本发明的一种基于神经网络的实体识别和规范化联合模型，基于神经网络的联合模型从大数据中自动学习特征，在使用中减少了手工设计特征的巨大工作量，避免了构建人工特征的困难性。同时，也避免了随着语料和语言的变化，特征集构建困难的问题，实体识别和实体规范共用实体的BI-LSTM层，可以有效利用实体识别和实体规范这两个任务之间的相互信息，避免了串行模型中的实体识别到实体规范的错误传播。
本实施例中，所述实体识别子模型包括词向量层，用于对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层。由于词向量是低为稠密向量，通过读取文本语句中的词向量，可以有效地避免维数灾难，而且所述词向量含有更加丰富的语义信息，可以更好用于自然语言处理的任务中。
本实施例中，所述实体识别子模型还包括BI-LSTM层，用于根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；第一隐层，用于将所述BI-LSTM输出向量作为输入，并将输出结果输出至CRF层；CRF层，用于根据所述第一隐层的输出结果生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出。通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计，经过第一隐层的非线性变换，得到更有效的信息，最后经过CRF的联合解码，而不是对应位置的单独解码，能得到最佳的标签序列。
本实施例中，所述实体规范化子模型包括池化层，用于将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；第二隐层，用于根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；softmax多分类层，用于将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。通过BI-LSTM输出向量能自动地抽取出更加复杂和丰富的特征信息，避免了复杂特征设计和规则设计，输出向量经过最大值池化层，可以得到实体的显著特征信息，经过第二隐层的非线性变换，可以得到实体相关的有效特征信息。
优选地，作为本发明的一个实施例，该实施例中，所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为识别实体ID并输出。通过所述softmax多分类层可以针对预设知识库中的每一类标签准确的计算出对应类别的概率，并将概率最大的类别ID作为识别实体ID，从而可以比较准确的对识别实体的类别进行规范化。
本实施例中结合了BI-LSTM层和CRF层，形成BI-LSTM-CRF模型。该模型能有效地利用过去和将来的输入特征通过一个BI-LSTM层，而且可以利用句子级的标签信息通过一个CRF层，带有这些信息我们能有效地预测当前的标签。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于神经网络的实体识别和规范化联合方法，其特征在于，包括如下步骤：
步骤1：从词向量文本中读取目标文本中每个词的词向量；
步骤2：根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；
步骤3：根据所述BI-LSTM输出向量生成目标文本中的识别实体以及对应的识别实体ID；
所述步骤1中，对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层；
所述步骤3中，根据所述BI-LSTM输出向量生成识别实体具体包括：
步骤31a：所述实体识别子模型中的第一隐层将所述BI-LSTM输出向量作为输入，并将所述第一隐层的输出结果输出至所述实体识别子模型中的CRF层；
步骤32a：所述CRF层根据所述第一隐层的输出生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出；
所述步骤3中，根据所述BI-LSTM输出向量生成识别实体ID具体包括：
步骤31b：实体规范子模型中的池化层将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；
步骤32b：所述第二隐层根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；
步骤33b：所述softmax多分类层将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。
2.根据权利要求1所述的基于神经网络的实体识别和规范化联合方法，其特征在于，所述步骤33b中，所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为识别实体ID并输出。
3.一种基于神经网络的实体识别和规范化联合模型，其特征在于，包括：
实体识别子模型，用于从词向量文本中读取目标文本中每个词的词向量，根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；根据所述BI-LSTM输出向量生成目标文本中的识别实体；
实体规范化子模型，用于根据所述BI-LSTM输出向量生成识别实体ID；
所述实体识别子模型还包括词向量层，用于对所述词向量文本中的目标文本进行分句处理，读取每个文本语句中每个词对应的词向量，并以句子为单位将所述文本语句输出至所述实体识别子模型中的BI-LSTM层；
所述实体识别子模型包括：
BI-LSTM层，用于根据所述词向量生成对应的BI-LSTM输出向量，所述BI-LSTM输出向量包含了对应词向量在给定的某一时刻的过去和未来的上下文信息；
第一隐层，用于将所述BI-LSTM输出向量作为输入，并将输出结果输出至CRF层；
CRF层，用于根据所述第一隐层的输出结果生成对应词的标签信息，并对所述标签信息进行联合解码，得到所述文本语句的最佳标签序列，并作为识别实体输出；
所述实体规范化子模型包括：
池化层，用于将所述BI-LSTM输出向量作为输入进行最大值池化maxpooling处理，得到长度相同的向量并输出至实体规范子模型中的第二隐层；
第二隐层，用于根据所述长度相同的向量生成输出结果并输出至所述实体规范子模型中的softmax多分类层；
softmax多分类层，用于将所述第二隐层的输出结果作为输入，并结合预设知识库生成识别实体ID并输出。
4.根据权利要求3所述的基于神经网络的实体识别和规范化联合模型，其特征在于，所述softmax多分类层将多分类作为目标函数，计算所述预设知识库中每一种标签的对应类别概率值，选取最大概率值对应类别的ID作为识别实体ID并输出。
CN201710713734.8A 2017-08-18 2017-08-18 一种基于神经网络的实体识别和规范化联合方法及模型 Active CN107526798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710713734.8A CN107526798B (zh) 2017-08-18 2017-08-18 一种基于神经网络的实体识别和规范化联合方法及模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710713734.8A CN107526798B (zh) 2017-08-18 2017-08-18 一种基于神经网络的实体识别和规范化联合方法及模型

Publications (2)

Publication Number Publication Date
CN107526798A CN107526798A (zh) 2017-12-29
CN107526798B true CN107526798B (zh) 2020-09-01

Family

ID=60681470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710713734.8A Active CN107526798B (zh) 2017-08-18 2017-08-18 一种基于神经网络的实体识别和规范化联合方法及模型

Country Status (1)

Country Link
CN (1) CN107526798B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129633A1 (en) * 2020-10-23 2022-04-28 Target Brands, Inc. Multi-task learning of query intent and named entities

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595708A (zh) * 2018-05-10 2018-09-28 北京航空航天大学 一种基于知识图谱的异常信息文本分类方法
CN110555207A (zh) * 2018-06-01 2019-12-10 海信集团有限公司 语句识别方法、装置、机器设备和计算机可读存储介质
CN110020428B (zh) * 2018-07-19 2023-05-23 成都信息工程大学 一种基于半马尔可夫的联合识别和规范化中医症状名的方法
CN109241294A (zh) * 2018-08-29 2019-01-18 国信优易数据有限公司 一种实体链接方法及装置
CN109726745B (zh) * 2018-12-19 2020-10-09 北京理工大学 一种融入描述知识的基于目标的情感分类方法
CN111368542A (zh) * 2018-12-26 2020-07-03 北京大学 一种基于递归神经网络的文本语言关联抽取方法和系统
CN110223742A (zh) * 2019-06-14 2019-09-10 中南大学 中文电子病历数据的临床表现信息抽取方法和设备
CN110781646B (zh) * 2019-10-15 2023-08-22 泰康保险集团股份有限公司 名称标准化方法、装置、介质及电子设备
CN112905795A (zh) * 2021-03-11 2021-06-04 证通股份有限公司 文本意图分类的方法、装置和可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894088A (zh) * 2016-03-25 2016-08-24 苏州赫博特医疗信息科技有限公司 基于深度学习及分布式语义特征医学信息抽取系统及方法
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN106776711A (zh) * 2016-11-14 2017-05-31 浙江大学 一种基于深度学习的中文医学知识图谱构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894088A (zh) * 2016-03-25 2016-08-24 苏州赫博特医疗信息科技有限公司 基于深度学习及分布式语义特征医学信息抽取系统及方法
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN106776711A (zh) * 2016-11-14 2017-05-31 浙江大学 一种基于深度学习的中文医学知识图谱构建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129633A1 (en) * 2020-10-23 2022-04-28 Target Brands, Inc. Multi-task learning of query intent and named entities

Also Published As

Publication number Publication date
CN107526798A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN107526798B (zh) 一种基于神经网络的实体识别和规范化联合方法及模型
CN109960800B (zh) 基于主动学习的弱监督文本分类方法及装置
Young et al. Augmenting end-to-end dialogue systems with commonsense knowledge
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与系统
CN110427463B (zh) 搜索语句响应方法、装置及服务器和存储介质
CN111241294B (zh) 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN110083710B (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
CN106845411B (zh) 一种基于深度学习和概率图模型的视频描述生成方法
CN110222163A (zh) 一种融合cnn与双向lstm的智能问答方法及系统
CN111243699A (zh) 基于字词信息融合的中文电子病历实体抽取方法
CN111274790B (zh) 基于句法依存图的篇章级事件嵌入方法及装置
WO2017193685A1 (zh) 社交网络中数据的处理方法和装置
CN112163425A (zh) 基于多特征信息增强的文本实体关系抽取方法
CN112069312B (zh) 一种基于实体识别的文本分类方法及电子装置
CN113204611A (zh) 建立阅读理解模型的方法、阅读理解方法及对应装置
CN111444715A (zh) 实体关系识别方法、装置、计算机设备和存储介质
CN110879834A (zh) 一种基于循环卷积网络的观点检索系统及其观点检索方法
CN110134950A (zh) 一种字词结合的文本自动校对方法
CN113761890A (zh) 一种基于bert上下文感知的多层级语义信息检索方法
Chen et al. D 3 net: A unified speaker-listener architecture for 3d dense captioning and visual grounding
CN113723077B (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
Yu et al. UGAN: unified generative adversarial networks for multidirectional text style transfer
CN114328800A (zh) 文本处理方法、装置、电子设备和计算机可读存储介质
CN107122378B (zh) 对象处理方法、装置及移动终端
CN115269768A (zh) 要素文本处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230202

Address after: 430072 Hubei Province, Wuhan city Wuchang District of Wuhan University Luojiashan

Patentee after: WUHAN University

Address before: Floor 5, building A4, optics valley software park, Hongshan District, Wuhan City, Hubei Province 430000

Patentee before: WUHAN HONGCHA DATA TECHNOLOGY CO.,LTD.