CN111859963B - 命名实体识别方法、设备、装置和计算机可读存储介质 - Google Patents
命名实体识别方法、设备、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111859963B CN111859963B CN201910277533.7A CN201910277533A CN111859963B CN 111859963 B CN111859963 B CN 111859963B CN 201910277533 A CN201910277533 A CN 201910277533A CN 111859963 B CN111859963 B CN 111859963B
- Authority
- CN
- China
- Prior art keywords
- label
- transfer
- transfer matrix
- determining
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000010380 label transfer Methods 0.000 claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000012546 transfer Methods 0.000 claims description 122
- 239000011159 matrix material Substances 0.000 claims description 114
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 3
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 3
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例公开了一种命名实体识别方法、设备、装置和计算机可读存储介质，该方法包括：将文本中的词语映射为向量；对所述向量进行处理，得到所述文本中词语的上下文表示；确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。如此，在本发明实施例中，可以确定出与上下文信息相关的标签转移关系；这种动态地确定标签转移关系的方式，可以根据不同的上下文对标签的跳转进行更细致的建模，有助于优化标签跳转以及路径选择，进而可以提高推断标签序列的准确性和可靠性。
Description
技术领域
本发明涉及自然语言处理领域，特别涉及一种命名实体识别方法、设备、装置和计算机可读存储介质。
背景技术
目前，可以采用多种方式实现命名实体识别，例如，可以基于神经网络得到文本中词语的上下文表示，然后根据标签转移关系，推断出文本中词语的合理的标签序列；然而，相关技术中，标签转移关系是与上下文信息无关的，不能反映上下文信息，进而，推断出的标签序列的准确性和可靠性较低。
发明内容
为解决上述技术问题，本发明实施例期望提供一种命名实体识别方法、设备、装置和计算机可读存储介质。
本发明的技术方案是这样实现的：
本发明实施例提供了一种命名实体识别方法，所述方法包括：
将文本中的词语映射为向量；
对所述向量进行处理，得到所述文本中词语的上下文表示；
确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。
本发明实施例中，所述确定出与所述上下文表示相关的标签转移关系，包括：
根据所述上下文表示，确定出条件随机场(Conditional Random Field，CRF)模型中使用的转移矩阵；所述转移矩阵用于表征与所述上下文表示相关的标签转移关系；
相应地，根据所确定的标签转移关系，为所述文本中词语确定出标签序列，包括：
利用所述CRF模型，并根据所述转移矩阵，为所述文本中的词语确定出标签序列。
本发明实施例中，所述根据所述上下文表示，确定出CRF模型中使用的转移矩阵，包括：
对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到CRF模型中使用的转移矩阵。
本发明实施例中，所述根据所述共享转移矩阵和所述独立转移矩阵，得到CRF模型中使用的转移矩阵，包括：
将所述共享转移矩阵和所述独立转移矩阵进行点乘，得到所述CRF模型中使用的转移矩阵。
本发明实施例还提供了一种命名实体识别设备，所述设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
所述处理器用于运行所述计算机程序时，执行以下步骤：
将文本中的词语映射为向量；
对所述向量进行处理，得到所述文本中词语的上下文表示；
确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。
本发明实施例中，所述处理器用于运行所述计算机程序时，具体执行以下步骤：
根据所述上下文表示，确定出CRF模型中使用的转移矩阵；所述转移矩阵用于表征与所述上下文表示相关的标签转移关系；
利用所述CRF模型，并根据所述转移矩阵，为所述文本中的每个词确定出标签序列。
本发明实施例中，所述处理器用于运行所述计算机程序时，具体执行以下步骤：
对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到所述CRF模型中使用的转移矩阵。
本发明实施例中，所述处理器用于运行所述计算机程序时，具体执行以下步骤：
将所述共享转移矩阵和所述独立转移矩阵进行点乘，得到CRF模型中使用的转移矩阵。
本发明实施例还提供了一种命名实体识别装置，所述装置包括：映射模块、处理模块和确定模块；其中，
映射模块，用于将文本中的词语映射为向量；
处理模块，用于对所述向量进行处理，得到所述文本中词语的上下文表示；
确定模块，用于确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种命名实体识别方法的步骤。
本发明实施例中，首先，将文本中的词语映射为向量；然后，对所述向量进行处理，得到所述文本中词语的上下文表示；最后，确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。如此，在本发明实施例中，可以确定出与上下文信息相关的标签转移关系；这种动态地确定标签转移关系的方式，可以根据不同的上下文对标签的跳转进行更细致的建模，有助于优化标签跳转以及路径选择，进而可以提高推断标签序列的准确性和可靠性。
附图说明
图1为相关技术中基于多层感知机的命名实体识别网络的示意图；
图2为本发明实施例的命名实体识别方法的流程图；
图3为本发明实施例中BiLSTM-CRF模型的框架图一；
图4为本发明实施例的词嵌入层的构成示意图；
图5为本发明实施例的BiLSTM-CRF模型的框架图二；
图6为本发明实施例中涉及的条件转移机制的示意图；
图7为本发明实施例本发明实施例的命名实体识别设备的结构示意图；
图8为本发明实施例的命名实体识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在相关技术中，Collobert et al.提出了基于多层感知机的深度学习框架，以解决自然语言处理的序列标注问题，命名实体识别，词性分析等等；图1为相关技术中基于多层感知机的命名实体识别网络的示意图；参照图1，基于多层感知机的命名实体识别的过程可以包括：输入(Input Sentence)、查找词向量词典(Lookup Table)、进行卷积操作(Convolution)、进行时移最大池化操作(Max Over Time)、线性变换(Linear)、基于硬双曲正切激活函数(HardTanh)进行运算等步骤，在输入步骤中涉及文本(Text)、特征1…k、以及补零填充(Padding)、在查找词向量词典步骤中，LTw1…LTwk分别表示：词典1…k。
参照图1，在基于多层感知机的深度学习框架中，需要使用词级别的似然损失函数(Word Level Likelyhood)和基于句级别的似然损失函数(Sentence Level likelihood)；其中，基于句级别的似然损失函数，采用CRF模型的损失函数，利用转移矩阵建模标签之间的转移关系(可以称为标签转移关系)，效果优于词级别的似然损失函数；采用基于多层感知机的命名实体识别网络，在Conll2003命名实体英文数据集上的F1-score为89.86％，超过之前流行的传统的命名实体识别方法。
由于感知机网络需要基于窗口进行，无法捕捉较长距离的语言依赖关系，而长短期记忆网络(Long Short-Term Memory，LSTM)可以较好地解决该问题；2015年，Huang etal.利用LSTM网络对输入句子进行建模，解决自然语言处理中的序列标注问题。
由于基于词的命名实体识别，无法考虑一些字符特征，基于字符的命名实体识别成为最近命名实体识别的普遍方法；Lample et al.等在LSTM-CRF模型基础上，利用字符级别的双向LSTM捕捉字符特征；Max et al.在LSTM-CRF模型的基础上，利用字符级别的卷积神经网络(Convolutional Neural Networks，CNN)捕捉字符特征；这两种方法效果相当，后者由于采用CNN网络捕捉字符特征，速度较快，但是前者精度略高。
在相关技术中，命名实体识别方法主要是利用转移矩阵建模标签之间的转移关系，进而实现标签序列的推断；然而，在相关技术中，转移矩阵是独立设置的，与上下文信息无关，不能反映上下文信息，进而限制了对标签之间的转移关系的建模，因而，推断出的标签序列的准确性和可靠性较低。
基于上述记载的内容，提出以下各实施例
第一实施例
本发明实施例提出了一种命名实体识别方法，图2为本发明实施例的命名实体识别方法的流程图，如图2所示，该流程可以包括：
步骤201：将文本中的词语映射为向量。
实际应用中，可以预先获取需要进行命名实体识别的文本，本发明实施例中，并不对预先获取的文本的种类进行限定，例如，预先获取的文本可以是英文文本、中文文本或其他类型的文本。
这里，将文本中的词语映射为向量的含义为：将文本中的词语转换为向量表示的形式。
步骤202：对所述向量进行处理，得到所述文本中词语的上下文表示。
实际应用中，可以将映射得到的向量输入至神经网络中，利用神经网络对输入的向量进行运算，进而得到文本中词语的上下文表示；本发明实施例中并不对神经网络的类型进行限定，示例性地，上述神经网络包括但不限于：LSTM、BiLSTM等。
步骤203：确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。
这里，标签转移关系是推断标签序列的前提条件，实际应用中，可以使用转移矩阵表征标签转移关系，例如，本步骤可以基于CRF模型实现，具体实现是，可以使用CRF模型中使用的转移矩阵表征标签转移关系。
实际实施时，步骤201至步骤203均可以由处理器等实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal ProcessingDevice，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。
在相关技术中，标签转移关系是与上下文无关的信息，不能反映上下文信息，进而推断出的标签序列的准确性和可靠性较低；而在本发明实施例中，可以确定出与上下文信息相关的标签转移关系，也就是说，可以根据上下文信息动态地确定标签转移关系，即，可以针对不同句子或句子的不同位置，给出不同的标签转移关系；这种动态地确定标签转移关系的方式，可以根据不同的上下文对标签的跳转进行更细致的建模，有助于优化标签跳转以及路径选择，进而可以提高推断标签序列的准确性和可靠性。
与相关技术中基于神经网络进行命名实体识别的方案相比，本发明实施例提出了一种新的基于条件转移的命名实体识别方案，可以利用上下文信息学习到上下文敏感的转移矩阵，进而建立标签之间的条件转移关系。
对于确定出与所述上下文表示相关的标签转移关系的实现方式，在一个示例中，可以根据上述上下文表示，确定出CRF模型中使用的转移矩阵；上述转移矩阵用于表征与所述上下文表示相关的标签转移关系。
相应地，在确定出CRF模型中使用的转移矩阵后，可以利用上述CRF模型，并根据上述转移矩阵，为文本中的词语确定出标签序列。
也就是说，本发明实施例中，可以在现有的CRF模型的基础上，通过对转移矩阵的改变，便可以更准确地推断标签序列，便于实现。
对于根据上下文表示，确定出CRF模型中使用的转移矩阵的实现方式，在一个示例中，可以对与上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；然后根据共享转移矩阵和独立转移矩阵，得到CRF模型中使用的转移矩阵。
实际应用中，可以将上述共享转移矩阵和上述独立转移矩阵进行点乘(即两个矩阵的相同位置的元素相乘)，得到CRF模型中使用的转移矩阵。
也就是说，本发明实施例提出的命名实体识别方法，通过对上下文相关的标签转移关系进行细致的建模，同时充分利用与上下文信息不相关的共性标签转移关系，有助于提升命名实体识别的准确性。
与相关技术中基于循环神经网络进行命名实体识别的方案相比，本发明实施例提出了一种全新的条件转移机制，可以根据上下文的不同，学习到不同的标签转移关系，而现有的命名实体识别方案中，针对不同位置甚至不同句子，其标签转移关系是不变的。另外，本发明实施例既可以对与上下文表示相关的标签转移关系进行建模，也可以对与上下文表示无关的共性转移关系进行建模；具体地，通过共享转移矩阵表示对共性转移关系的建模结果，通过独立转移矩阵表示对一些上下文相关的转移关系的建模结果，两者可以互为补充。
相关技术中，可以通过对字符表示进行建模提高命名实体识别的性能，然而，没有考虑标签转移关系的建模；而本发明实施例提出的基于条件转移的命名实体识别方案，可以对上下文相关的标签转移关系进行细致建模，同时可以充分利用共性转移关系，有助于提升命名实体识别的准确性和可靠性。
第二实施例
在本发明第一实施例的基础上，进行进一步的举例说明。
本发明第二实施例提供一种基于神经网络的命名实体识别方法，这里，命名实体识别可以建模称为一个序列标注任务；具体地，给定输入句子x＝w1,w2,...,wN为预先获取的文本，其中，w1,w2,...,wN分别表示句子中的各个词语；命名实体识别的目的就是为上述给定输入句子计算出实体标签序列y＝t1,t2,...,tN，其中，N表示大于1的整数。
本发明第二实施例的命名实体识别方法可以基于BiLSTM-CRF模型实现，图3为BiLSTM-CRF模型的框架图一，如图3所示，BiLSTM-CRF模型主要由词嵌入层、词LSTM层和推断层组成，下面分别针对各层进行说明。
词嵌入层：用于将句子中的词语映射为向量表示，向量表示是一种密集的分布式表示；在一个示例中，可以使用Lample等人的基于BiLSTM的字符级别词嵌入。由词嵌入层最终得到的词向量由以下两部分组成：词向量和字构词-词向量。
对于词向量的得到方式，示例性地，可以将每个词的one-hot编码通过查找表转换成词向量表示，词wi转换成的词向量为ewi。
对于字构词-词向量的得到方式，示例性地，可以将词语的每个字符作为BiLSTM网络的输入，然后可以取两个方向的最后状态拼接起来作为字构词-词向量。
图4为本发明实施例的词嵌入层的构成示意图，如图4所示，可以将“China”在词嵌入层映射为词向量和字构词-词向量。
词LSTM层：用于获得各个词的上下文表示。
长短期记忆网络由于其结构单元中含有记忆细胞(memory cell)，可以控制输入门、输出门、遗忘门，从而控制信息流动和交互，因此，长短期记忆网络可以捕捉长距离的语言依赖关系。在本发明实施例中，可以使用标准的LSTM网络来得到每个词的上下文表示；在一个示例中，在词LSTM层，使用标准的LSTM网络得到每个词的上下文表示的过程可以用以下公式进行表示：
其中，σ表示元素级别的sigmoid函数，代表元素级别的矩阵乘法；W(g),W(f),W(u),W(o),U(g),U(f),U(u),U(o),V(g),V(f),V(o),b(g),b(f),b(u),b(o)为BiLSTM-CRF模型中使用的模型参数，tanh表示双曲正切函数，i取1至N。
本发明实施例中，分别从正向、反向使用LSTM网络，对于wi，可以得到正向、反向两种隐层向量，分别记为和/>最终将这两个隐层向量拼接得到最终的上下文表示
推断层：利用CRF模型，并根据上下文表示为每个词wi，进行推断出合理的标签ti；在CRF模型中引入了转移矩阵A，转移矩阵A中的元素Ai,j＝s(ti→tj)表示从标签i跳转到标签j的转移分数。
根据转移矩阵，可以评估得出各个标签之间的转移分数，进而可以根据各个标签之间的转移分数确定出标签序列。
下面分别说明计算标签序列的分数的两种方式。
方式1：
利用CRF模型，标签序列s(x,y)的分数(即tag路径的分数)可以表示为：
其中，表示标签得分矩阵，可以由/>经过线性变换得到，/>代表wi的标签为tj的分数；/>表示CRF模型自身根据输入计算出的标签得分，si(ti→ti+1)表示从标签i跳转到标签i+1的转移分数,/>表示根据转移矩阵计算出的标签得分。
由于转移矩阵对相邻词之前的标签转移关系进行建模，因此可以学习到标签序列的强依赖关系，在序列级别做全局最优，而不是做词级别独立进行推断。
给定x，y的条件概率时，可以在整个序列上做softmax，得到p(y|x)。
其中，y和y'表示标签序列，Y表示对于输入序列x，所有可能的标签序列。在实际实施时，可以采用Collobert的训练方法，最大化标签序列的对数似然概率；标签序列的对数似然概率可以用以下公式进行表示：
上式中，等号右边的后面一项具有指数复杂度，但可以由半环理论通过线性时间复杂度计算，在半环理论中，可以把/>看成“+”运算，把“+”看成“×”运算。具体地，可以根据以下公式计算/>
其中，表示给定输入句子，/>表示所有可能的标签(tag)路径，θ表示BiLSTM-CRF模型的参数，[A]i,k表示标签由i转变为k时的转移分数(transition score)，[fθ]k,t表示神经网络根据输入和标签输出的得分(network score)；logadd代表对右边可能情况的结果指数化相加求和再进行log运算，/>logadd下面的标记指出了可能的情况，/>表示对于所有t时刻标签为k的所有标签路径进行求和再进行log运算，/>表示第i个标签的所有标签路径情况，/>表示参数θ与转移矩阵A参数的并集，/>δt-1(i)表示t-1时刻标签为i的情况概率
这样，在进行解码时，可以通过最大化标签序列分数进行搜索，具体搜索方法可以参照以下公式实现：
在一个示例中，可以采用维特比算法来计算y*。
方式2：
在BiLSTM-CRF模型中，推断层由下式计算tag路径的分数：
其中，表示根据转移矩阵A计算出的标签得分。在方式1中，转移矩阵是与上下文表示无关的数据，但是，标签转移关系应该会根据上下文的变化而变化，标签跳转关系应该依赖于上下文；因此，在本发明实施例中提出了一种基于条件转移的命名实体识别模型，它利用上下文信息作为条件，计算一个动态的转移矩阵；也就是说，本发明实施例可以根据不同的上下文对标签的跳转进行建模。
图5为本发明实施例的BiLSTM-CRF模型的框架图二，图5和图3的区别在于，在推断层计算tag路径的分数时，根据上下文表示得出转移矩阵。
具体地，在方式2中，s(x,y)的计算公式为：
其中，表示转移矩阵A。
图6为本发明实施例中涉及的条件转移机制的示意图，如图6所示，共享转移矩阵(Shared Transition)与感知机(perception)得出的独立转移矩阵(ConditionalTransition)进行点乘，可以得到转移矩阵。
本发明实施例可以利用感知机学习上下文表示，进而可以得到独立转移矩阵；还可以确定出共享转移矩阵。
下面对的计算方式进行举例说明。推断层的输入hinput为：
其中，分别表示词LSTM层学习到的上下文表示。
利用如下的感知机网络可以计算得出独立转移矩阵Aisolated：
Aisolated＝f(Wp·hinput+bp)
其中，独立转移矩阵Aisolated表示si(ti→ti+1|x1…xn)，f是非线性函数，|tag|2表示最终生成的向量的维度(即bp的维度)，h表示输入向量的维度，h×|tag|2表示网络参数Wp的维度大小。
推断层在输出时，可以根据共享转移矩阵和独立转移矩阵，得到最终的转移矩阵；这里，共享转移矩阵Ashared(i，j)＝s(ti→tj)不依赖于上下文信息，在不同位置或不同上下文，其数值是相同的。
最后可以计算得出转移矩阵A。
A＝Aisolated⊙Ashared
其中，⊙表示矩阵的点乘运算。
第三实施例
基于前述实施例提出的命名实体识别方法的基础上，本发明第三实施例提出了一种命名实体识别设备，图7为本发明实施例的命名实体识别设备的结构示意图，如图7所示，该设备包括处理器701和用于存储能够在处理器上运行的计算机程序的存储器702，
处理器701用于运行所述计算机程序时，执行上述任意一种命名实体识别方法的步骤。
在实际应用中，上述存储器702可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器701提供指令和数据。
上述处理器701可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
第四实施例
基于前述实施例提出的一种命名实体识别方法，本发明第四实施例提出了一种命名实体识别装置。
图8为本发明实施例的命名实体识别装置的结构示意图，如图8所示，该装置包括：映射模块801、处理模块802和确定模块803；其中，
映射模块801，用于将文本中的词语映射为向量；
处理模块802，用于对所述向量进行处理，得到所述文本中词语的上下文表示；
确定模块803，用于确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列。
示例性地，所述确定模块803，具体用于根据所述上下文表示，确定出CRF模型中使用的转移矩阵；所述转移矩阵用于表征与所述上下文表示相关的标签转移关系；利用所述CRF模型，并根据所述转移矩阵，为所述文本中的词语确定出标签序列。
示例性地，所述确定模块803，具体用于对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到所述CRF模型中使用的转移矩阵。
示例性地，所述确定模块803，具体用于将所述共享转移矩阵和所述独立转移矩阵进行点乘，得到所述CRF模型中使用的转移矩阵。
在实际应用中，所述映射模块801、处理模块802和确定模块803均可由位于终端或服务器中的处理器实现；上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
第五实施例
本发明第五实施例提出了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现本发明前述实施例中任意一种命名实体识别方法的步骤。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种命名实体识别方法，其特征在于，所述方法包括：
将文本中的词语映射为向量；
对所述向量进行处理，得到所述文本中词语的上下文表示；
确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列；所述确定出与所述上下文表示相关的标签转移关系，包括：对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到条件随机场CRF模型中使用的转移矩阵，所述转移矩阵用于表征与所述上下文表示相关的标签转移关系。
2.根据权利要求1所述的方法，其特征在于，所述根据所确定的标签转移关系，为所述文本中词语确定出标签序列，包括：
利用所述CRF模型，并根据所述转移矩阵，为所述文本中的词语确定出标签序列。
3.根据权利要求1所述的方法，其特征在于，所述根据所述共享转移矩阵和所述独立转移矩阵，得到所述CRF模型中使用的转移矩阵，包括：
将所述共享转移矩阵和所述独立转移矩阵进行点乘，得到所述CRF模型中使用的转移矩阵。
4.一种命名实体识别设备，其特征在于，所述设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
所述处理器用于运行所述计算机程序时，执行以下步骤：
将文本中的词语映射为向量；
对所述向量进行处理，得到所述文本中词语的上下文表示；
确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列；所述确定出与所述上下文表示相关的标签转移关系，包括：对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到条件随机场CRF模型中使用的转移矩阵，所述转移矩阵用于表征与所述上下文表示相关的标签转移关系。
5.根据权利要求4所述的设备，其特征在于，所述处理器用于运行所述计算机程序时，具体执行以下步骤：
利用所述CRF模型，并根据所述转移矩阵，为所述文本中的每个词确定出标签序列。
6.根据权利要求4所述的设备，其特征在于，所述处理器用于运行所述计算机程序时，具体执行以下步骤：
将所述共享转移矩阵和所述独立转移矩阵进行点乘，得到CRF模型中使用的转移矩阵。
7.一种命名实体识别装置，其特征在于，所述装置包括：映射模块、处理模块和确定模块；其中，
映射模块，用于将文本中的词语映射为向量；
处理模块，用于对所述向量进行处理，得到所述文本中词语的上下文表示；
确定模块，用于确定出与所述上下文表示相关的标签转移关系，根据所确定的标签转移关系，为所述文本中词语确定出标签序列；所述确定出与所述上下文表示相关的标签转移关系，包括：对所述上下文表示相关的标签转移关系进行建模，得到独立转移矩阵；对共性的标签转移关系进行建模，得到共享转移矩阵；根据所述共享转移矩阵和所述独立转移矩阵，得到条件随机场CRF模型中使用的转移矩阵，所述转移矩阵用于表征与所述上下文表示相关的标签转移关系。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910277533.7A CN111859963B (zh) | 2019-04-08 | 2019-04-08 | 命名实体识别方法、设备、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910277533.7A CN111859963B (zh) | 2019-04-08 | 2019-04-08 | 命名实体识别方法、设备、装置和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111859963A CN111859963A (zh) | 2020-10-30 |
| CN111859963B true CN111859963B (zh) | 2024-06-11 |
Family
ID=72951982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910277533.7A Active CN111859963B (zh) | 2019-04-08 | 2019-04-08 | 命名实体识别方法、设备、装置和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859963B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113177412A (zh) * | 2021-04-05 | 2021-07-27 | 北京智慧星光信息技术有限公司 | 基于bert的命名实体识别方法、系统、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015070024A1 (en) * | 2013-11-08 | 2015-05-14 | Qualcomm Incorporated | Normalizing location identifiers for processing in machine learning algorithms |
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108536679A (zh) * | 2018-04-13 | 2018-09-14 | 腾讯科技(成都)有限公司 | 命名实体识别方法、装置、设备及计算机可读存储介质 |
| CN108563626A (zh) * | 2018-01-22 | 2018-09-21 | 北京颐圣智能科技有限公司 | 医疗文本命名实体识别方法和装置 |
| CN108717409A (zh) * | 2018-05-16 | 2018-10-30 | 联动优势科技有限公司 | 一种序列标注方法及装置 |
| CN109165384A (zh) * | 2018-08-23 | 2019-01-08 | 成都四方伟业软件股份有限公司 | 一种命名实体识别方法及装置 |
| CN109389982A (zh) * | 2018-12-26 | 2019-02-26 | 江苏满运软件科技有限公司 | 发货信息语音识别方法、系统、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9971763B2 (en) * | 2014-04-08 | 2018-05-15 | Microsoft Technology Licensing, Llc | Named entity recognition |
-
2019
- 2019-04-08 CN CN201910277533.7A patent/CN111859963B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015070024A1 (en) * | 2013-11-08 | 2015-05-14 | Qualcomm Incorporated | Normalizing location identifiers for processing in machine learning algorithms |
| CN108563626A (zh) * | 2018-01-22 | 2018-09-21 | 北京颐圣智能科技有限公司 | 医疗文本命名实体识别方法和装置 |
| CN108460013A (zh) * | 2018-01-30 | 2018-08-28 | 大连理工大学 | 一种基于细粒度词表示模型的序列标注模型 |
| CN108536679A (zh) * | 2018-04-13 | 2018-09-14 | 腾讯科技(成都)有限公司 | 命名实体识别方法、装置、设备及计算机可读存储介质 |
| CN108717409A (zh) * | 2018-05-16 | 2018-10-30 | 联动优势科技有限公司 | 一种序列标注方法及装置 |
| CN109165384A (zh) * | 2018-08-23 | 2019-01-08 | 成都四方伟业软件股份有限公司 | 一种命名实体识别方法及装置 |
| CN109389982A (zh) * | 2018-12-26 | 2019-02-26 | 江苏满运软件科技有限公司 | 发货信息语音识别方法、系统、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| A new approach for named entity recognition;Burak Ertopcu;2017 International Conference on Computer Science and Engineering (UBMK);20170508;第2017卷;全文 * |
| 基于多注意力的中文命名实体识别;顾凌云;;信息与电脑(理论版)(09);41-44 * |
| 基于细粒度词表示的命名实体识别研究;林广和;张绍武;林鸿飞;;中文信息学报(11);62-71 * |
| 张心怡 ; 冯仕民 ; 丁恩杰 ; .面向煤矿的实体识别与关系抽取模型.计算机应用.(08),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111859963A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kaiser et al. | Learning to remember rare events | |
| KR102116518B1 (ko) | 기계 독해에 기초한 질의 응답 장치 및 이를 이용한 질의 응답 방법 | |
| CN110750965B (zh) | 英文文本序列标注方法、系统及计算机设备 | |
| CN112036162B (zh) | 文本纠错的适配方法、装置、电子设备及存储介质 | |
| CN110263325B (zh) | 中文分词系统 | |
| CN110286778B (zh) | 一种中文深度学习输入法、装置及电子设备 | |
| CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
| CN109214006B (zh) | 图像增强的层次化语义表示的自然语言推理方法 | |
| CN110222329B (zh) | 一种基于深度学习的中文分词方法和装置 | |
| CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
| CN111985229A (zh) | 一种序列标注方法、装置及计算机设备 | |
| KR102143745B1 (ko) | 음절 기반의 벡터를 이용한 한글 오류 보정 방법 및 한글 오류 보정 시스템 | |
| CN113705313A (zh) | 文本识别方法、装置、设备及介质 | |
| CN116127953B (zh) | 一种基于对比学习的中文拼写纠错方法、装置和介质 | |
| CN114358203A (zh) | 图像描述语句生成模块的训练方法及装置、电子设备 | |
| CN112464642A (zh) | 文本添加标点的方法、装置、介质及电子设备 | |
| CN116152833A (zh) | 基于图像的表格还原模型的训练方法及表格还原方法 | |
| CN115269834A (zh) | 一种基于bert的高精度文本分类方法及装置 | |
| CN111859963B (zh) | 命名实体识别方法、设备、装置和计算机可读存储介质 | |
| CN114511023A (zh) | 分类模型训练方法以及分类方法 | |
| US11941360B2 (en) | Acronym definition network | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN116362242A (zh) | 一种小样本槽值提取方法、装置、设备及存储介质 | |
| CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 | |
| CN114580391A (zh) | 中文错误检测模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |