CN110287479A - 命名实体识别方法、电子装置及存储介质 - Google Patents

命名实体识别方法、电子装置及存储介质 Download PDF

Info

Publication number
CN110287479A
CN110287479A CN201910419895.5A CN201910419895A CN110287479A CN 110287479 A CN110287479 A CN 110287479A CN 201910419895 A CN201910419895 A CN 201910419895A CN 110287479 A CN110287479 A CN 110287479A
Authority
CN
China
Prior art keywords
text
model
word
term vector
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910419895.5A
Other languages
English (en)
Other versions
CN110287479B (zh
Inventor
韦峰
徐国强
邱寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910419895.5A priority Critical patent/CN110287479B/zh
Priority to PCT/CN2019/102206 priority patent/WO2020232861A1/zh
Publication of CN110287479A publication Critical patent/CN110287479A/zh
Application granted granted Critical
Publication of CN110287479B publication Critical patent/CN110287479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及计算机信息技术领域，提供了一种命名实体识别方法、电子装置及计算机存储介质，该方法包括：将接收到的待识别文本输入word2vec模型得到第一词向量，对所述待识别文本进行分词处理后输入ELMO模型，得到第二词向量，将所述第一词向量和所述第二词向量进行加权求和，利用双向LSTM模型对所述加权求和得到的结果进行处理，转换成文本特征序列，将所述文本特征输入至CRF模型处理，即得到得到命名实体识别结果。本发明利用ELMO模型深度考虑待识别文本在上下语义语法的不同表达以及在不同语言环境的表达意思，通过多个模型以不同层次处理待识别文本的信息，从而提高命名实体识别的准确率。

Description

命名实体识别方法、电子装置及存储介质
技术领域
本发明涉及计算机信息技术领域，尤其涉及一种命名实体识别方法、电子装置及存储介质。
背景技术
在信息抽取、实体链接等自然语言处理任务的场景中，常常需要进行命名实体识别(NamedEntity Recognition，NER)。其中，NER是指在文档集合中识别出特定类型的事物名称或符号的过程。
相关技术在进行命名实体识别时，一般采用条件随机场算法(ConditionalRandom Field，CRF)或单向循环神经网络(Recurrent Neural Network，RNN)等模型对待识别文本进行识别。
然而，由于无论采用CRF还是采用单向RNN进行识别，得到的语义信息比较有限，因此，识别的准确率不高。
发明内容
本发明的目的在于提供一种命名实体识别方法、电子装置及计算机存储介质，旨在利用ELMO模型充分考虑待识别文本上下语义表达及语境变化表达，从而提高命名实体识别的准确率。
为实现上述目的，本发明提供一种命名实体识别方法，该方法包括：
接收步骤：接收待识别文本；
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
优选的，所述ELMO模型的训练过程包括：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
优选的，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
优选的，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
优选的，所述命名识别步骤包括：
对所述文本特征序列中的每一个词语进行特征标注；
利用CRF模型从预先训练的语料标签库识别与所述词语的特征标注相对应的词标签，将识别到的词标签的信息作为所述命名实体识别结果。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的命名实体识别程序，所述命名实体识别程序被所述处理器执行时实现如下步骤：
接收步骤：接收待识别文本；
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
优选的，所述ELMO模型的训练过程包括如下步骤：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
优选的，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
优选的，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括命名实体识别程序，所述命名实体识别程序被处理器执行时，可实现如上任意一项所述的命名实体识别方法。
本发明的有益效果：
将接收到的待识别文本输入word2vec模型得到第一词向量，对所述待识别文本进行分词处理后输入ELMO模型，得到第二词向量，将所述第一词向量和所述第二词向量进行加权求和，利用双向LSTM模型对所述加权求和得到的结果进行处理，转换成文本特征序列，将所述文本特征输入至CRF模型处理，即得到得到命名实体识别结果；利用ELMO模型，使待识别文本被充分考虑上下语义及语言环境，得到更为贴近待识别文本的语义信息，通过双向LSTM模型及CRF模型处理，使得到的命名实体识别准确率提高。
附图说明
图1为本发明命名实体识别方法较佳实施例的运行环境图；
图2为图1中的命名实体识别程序运行时执行ELMO模型训练的示意图；
图3为本发明命名实体识别方法应用的各模型协同运作的示意图；
图4为本发明命名实体识别程序实施例的程序模块图；
图5为本发明命名实体识别方法较佳施例的流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1所示，为本发明命名实体识别方法较佳实施例的运行环境图。电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的命名实体识别程序10。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应当理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的操作系统和各类应用软件，例如存储本发明一实施例中的命名实体识别程序10等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行命名实体识别程序10等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。
所述命名实体识别程序10存储在存储器11中，包括存储在存储器11中的计算机可读指令，该计算机可读指令可被处理器12执行，以实现本申请各实施例的方法。
在一实施例中，上述命名实体识别程序10被所述处理器12执行时实现如下步骤：
接收步骤：接收待识别文本。
当有命名实体识别需求时，用户可以开启命名实体识别的客户端应用程序，通过该客户端获取待识别文本。
例如，可以针对某小说文本进行命名实体识别，根据用户的选择操作，当用户选择小说文本中的一段内容后，获取命名实体识别指令，根据该命名实体识别指令触发将小说文本中被选择的一段内容作为获取到的待识别文本，当终端获取到待识别文本后，将其发送至服务器，服务器由此获取到待识别文本。
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量。
由于深度学习模型接受数字的输入，而不是字符串，因而在获取到待识别文本后，需要将待识别文本转换成词向量的形式。常见的词向量训练表示方法有word2vec和glove，本实施例采用word2vec模型来实现。
word2vec是一个常见的分布式词向量表示方法，通过学习文本用词向量的方式表征词的语义信息，可将相似的词的距离拉的很近。
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量。
由于第一词向量不能完全体现出某一个词在具体语境中所代表的意思，为了提高命名实体识别的准确性，需进一步提高单个词对应的词向量的准确性。
进一步地，所述ELMO模型的训练过程包括如下步骤：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
应当理解的是，本发明所述双向LSTM模型，即通常说的Bi-LSTM模型。参照图2所示，为图1中的命名实体识别程序运行时执行ELMO模型训练的示意图。在所述ELMO模型训练中，对于所述样本数据中某一个词语P，一个L层的双向LSTM模型能够有2L+1个词向量表示:
其中
Rk表示第L层双向LSTM模型的词向量；
XLM表示待识别文本的初始词向量；
表示第L层前后词向量；
由此，一个词语在双向LSTM模型中有多层词向量的表示，将双向LSTM模型的多层组合表示为ELMO模型。
在本实施例中，ELMO模型作为一种新的词向量的表达方式，能够充分考虑待识别文本在上下语义表达及语境变化的不同表达，从而提高命名实体识别的准确率。
例如：针对某一词多义的词汇w＝“苹果”
文本序列1＝“我买了六斤苹果。”
文本序列2＝“我买了一个苹果7。”
上面两个文本序列中都出现了“苹果”这个词汇，但是在不同的句子中，它们的含义显示是不同的，第一个属于水果领域，第二个属于电子产品领域。
通过使用ELMO模型，能够准确的辨别词语在语境中的表达意思，提高命名实体的准确性。
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果。
通过加权求和的方式，能够更好的利用词向量的动态权重信息，更准确的体现出对待识别文本所要命名实体识别的效果。
在一种实现方式中，本发明实施例引入了Attention机制。具体实施时，采用Attention模型可动态地训练词向量的权重，对词向量进行数据加权变换。
Attention模型是深度学习模拟人脑的注意力模型。
例如，当观赏一幅画时，虽然看到整幅画的全貌，但是深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。
在一种实现方式中，可直接将第二词向量放在第一词向量后面，用以共同表征一个词的词义；或者
将第一词向量按照其对应的权重进行处理，得到处理后的第一词向量，将第二词向量按照其对应的权重进行处理，得到处理后的第二词向量，最后，将处理后的第一词向量与处理后的第二词向量进行求和，得到加权求和结果。
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列。
由于，日常生活中所说的语句存在前后关联关系，排列在后面的词语可能影响前面词语的意思表达，所以，为更好的处理词向量，双向LSTM模型在处理词句时分别从前后两个不同的方向进行传播，避免了在处理序列数据时只收到前时刻数据的影响，确保待识别文本命名实体识别的准确性。
本发明实施例利用双向LSTM模型构建与上下文相关的动态词向量表示。
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
在传统的机器学习任务中，CRF是根据海量的特征工程提取足够的不同维度的特征，然后根据这些特征做序列标注。实际应用中，CRF模型是一种端到端的深度学习模型，它是在给定需要标记的观察序列(词、句子数值等)的条件下，计算整个标记序列的联合概率分布。
在一种实现方式中，根据双向LSTM得到的文本特征序列M(如M1、M2…Mn)，可以采用局部最优解，算出文本特征序列可能的序列K(如K1、K2…Kn)的概率分布，也就是最终的文本标签，即命名实体识别结果。
参照图3所示，为本发明命名实体识别方法应用的各模型协同运作的示意图。基于上述过程，本方案采用了多个模型组合的方式：利用word2vec训练出第一词向量，利用ELMO模型训练出结合上下文语义语境的第二词向量，并对第一词向量和第二词向量通过Attention机制进行加权求和，然后输入到双向LSTM模型中处理，利用双向LSTM模型对词向量进行双向传播，得到的特征文本序列输入CRF模型，通过CRF模型对特征文本序列进行概率分布优化，得到输出每个词的标签，即得到命名实体识别结果。
进一步地，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
进一步地，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
例如，对于初始文本“我很高兴，明天我要去北京出差，顺便参观北京人民大会堂，北京故宫博物馆。”，进行分词处理得到“我”、“明天”、“北京”、“出差”，对每一个分词进行序列标注，如：“B1”、“B2”、“B3”、“B4”，按照词出现的频率对分词进行标记，如“1”、“2”、“3”、“4”，得到词与标签信息的组合，即得到最终的文本资源。如下表格所示：
可选地，对初始文本资源进行预处理，可以进一步减少干扰，提高识别的准确性。
在一种实施方式中，对初始文本资源进行预处理，得到语句序列，包括但不限于：对初始文本资源进行词过滤及特殊字符过滤，得到语句序列。
其中，词过滤可以是过滤一些停用词、词频小于一定值的词等等，特殊字符包括但不限于停用字符、无意义字符等。
参照图4所示，为本发明命名实体识别程序实施例的程序模块图。
在一个实施例中，命名实体识别程序10包括：接收模块101、处理模块102、序列模块103、命名模块104。所述模块101-104所实现的功能或操作步骤均与上文类似，此处不再详述，示例性地，例如其中：
接收模块101，用于接收待识别文本。
处理模块102，用于将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；及
将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果。
序列模块103，用于将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列。
命名模块104，用于将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
参照图5所示，为本发明命名实体识别方法较佳施例的流程图。本实施例为一种命名实体识别方法，该方法包括：
步骤S210，接收待识别文本。
当有命名实体识别需求时，用户可以开启命名实体识别的客户端应用程序，通过该客户端获取待识别文本。
例如，可以针对某小说文本进行命名实体识别，根据用户的选择操作，当用户选择小说文本中的一段内容后，获取命名实体识别指令，根据该命名实体识别指令触发将小说文本中被选择的一段内容作为获取到的待识别文本，当终端获取到待识别文本后，将其发送至服务器，服务器由此获取到待识别文本。
步骤S220，将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量。
由于深度学习模型接受数字的输入，而不是字符串，因而在获取到待识别文本后，需要将待识别文本转换成词向量的形式。常见的词向量训练表示方法有word2vec和glove，本实施例采用word2vec模型来实现。
word2vec是一个常见的分布式词向量表示方法，通过学习文本用词向量的方式表征词的语义信息，可将相似的词的距离拉的很近。
步骤S230，对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量。
由于第一词向量不能完全体现出某一个词在具体语境中所代表的意思，为了提高命名实体识别的准确性，需进一步提高单个词对应的词向量的准确性。
进一步地，所述ELMO模型的训练过程包括：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
应当理解的是，本发明所述双向LSTM模型，即通常说的Bi-LSTM模型。参照图2所示，为图1中的命名实体识别程序运行时执行ELMO模型训练的示意图。在所述ELMO模型训练中，对于所述样本数据中某一个词语P，一个L层的双向LSTM模型能够有2L+1个词向量表示:
其中
Rk表示第L层双向LSTM模型的词向量；
XLM表示待识别文本的初始词向量；
表示第L层前后词向量；
由此，一个词语在双向LSTM模型中有多层词向量的表示，将双向LSTM模型的多层组合表示为ELMO模型。
在本实施例中，ELMO模型作为一种新的词向量的表达方式，能够充分考虑待识别文本在上下语义表达及语境变化的不同表达，从而提高命名实体识别的准确率。
例如：针对某一词多义的词汇w＝“苹果”
文本序列1＝“我买了六斤苹果。”
文本序列2＝“我买了一个苹果7。”
上面两个文本序列中都出现了“苹果”这个词汇，但是在不同的句子中，它们的含义显示是不同的，第一个属于水果领域，第二个属于电子产品领域。
通过使用ELMO模型，能够准确的辨别词语在语境中的表达意思，提高命名实体的准确性。
步骤S240，将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果。
通过加权求和的方式，能够更好的利用词向量的动态权重信息，更准确的体现出对待识别文本所要命名实体识别的效果。
在一种实现方式中，本发明实施例引入了Attention机制。具体实施时，采用Attention模型可动态地训练词向量的权重，对词向量进行数据加权变换。
Attention模型是深度学习模拟人脑的注意力模型。
例如，当观赏一幅画时，虽然看到整幅画的全貌，但是深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。
在一种实现方式中，可直接将第二词向量放在第一词向量后面，用以共同表征一个词的词义；或者
将第一词向量按照其对应的权重进行处理，得到处理后的第一词向量，将第二词向量按照其对应的权重进行处理，得到处理后的第二词向量，最后，将处理后的第一词向量与处理后的第二词向量进行求和，得到加权求和结果。
步骤S250，将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列。
由于，日常生活中所说的语句存在前后关联关系，排列在后面的词语可能影响前面词语的意思表达，所以，为更好的处理词向量，双向LSTM模型在处理词句时分别从前后两个不同的方向进行传播，避免了在处理序列数据时只收到前时刻数据的影响，确保待识别文本命名实体识别的准确性。
本发明实施例利用双向LSTM模型构建与上下文相关的动态词向量表示。
步骤S260，将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
在传统的机器学习任务中，CRF是根据海量的特征工程提取足够的不同维度的特征，然后根据这些特征做序列标注。实际应用中，CRF模型是一种端到端的深度学习模型，它是在给定需要标记的观察序列(词、句子数值等)的条件下，计算整个标记序列的联合概率分布。
在一种实现方式中，根据双向LSTM得到的文本特征序列M(如M1、M2…Mn)，可以采用局部最优解，算出文本特征序列可能的序列K(如K1、K2…Kn)的概率分布，也就是最终的文本标签，即命名实体识别结果。
参照图3所示，为本发明命名实体识别方法应用的各模型协同运作的示意图。基于上述过程，本方案采用了多个模型组合的方式：利用word2vec训练出第一词向量，利用ELMO模型训练出结合上下文语义语境的第二词向量，并对第一词向量和第二词向量通过Attention机制进行加权求和，然后输入到双向LSTM模型中处理，利用双向LSTM模型对词向量进行双向传播，得到的特征文本序列输入CRF模型，通过CRF模型对特征文本序列进行概率分布优化，得到输出每个词的标签，即得到命名实体识别结果。
进一步地，所述步骤S250中的双向LSTM模型及步骤S260中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
进一步地，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
例如，对于初始文本“我很高兴，明天我要去北京出差，顺便参观北京人民大会堂，北京故宫博物馆。”，进行分词处理得到“我”、“明天”、“北京”、“出差”，对每一个分词进行序列标注，如：“B1”、“B2”、“B3”、“B4”，按照词出现的频率对分词进行标记，如“1”、“2”、“3”、“4”，得到词与标签信息的组合，即得到最终的文本资源。如下表格所示：
可选地，对初始文本资源进行预处理，可以进一步减少干扰，提高识别的准确性。
在一种实施方式中，对初始文本资源进行预处理，得到语句序列，包括但不限于：对初始文本资源进行词过滤及特殊字符过滤，得到语句序列。
其中，词过滤可以是过滤一些停用词、词频小于一定值的词等等，特殊字符包括但不限于停用字符、无意义字符等。
进一步地，所述CRF模型包括：
接收所述文本特征序列，将所述文本特征序列中的每一个词语进行特征标注；
在CRF模型中预先训练的语料标签库识别与所述词语的特征标注相对应的词标签，将词标签的信息作为命名实体识别的信息，得到命名实体识别的结果。
可选地，得到命名实体识别结果后，可以单独显示识别结果，也可以在所述待识别文本的基础上显示识别结果。
例如，对于待识别文本“小明，你不是喜欢爬山吗？这周六天气不错，咱们一起去爬泰山吧，约上其他几个好朋友一起出发。”，应用本方案进行命名实体识别后，识别出的命名实体“小明”、“周六”、“泰山”被标注显示出来。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括命名实体识别程序，所述命名实体识别程序被处理器执行时，可实现如下操作：
接收步骤：接收待识别文本；
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
本发明计算机可读存储介质具体实施方式与上述命名实体识别方法和电子装置各实施例基本相同，在此不作累述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种命名实体识别方法，该方法包括：
接收步骤：接收待识别文本；
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
2.如权利要求1所述的命名实体识别方法，其特征在于，所述ELMO模型的训练过程包括：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
3.如权利要求1所述的命名实体识别方法，其特征在于，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
4.如权利要求3所述的命名实体识别方法，其特征在于，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
5.如权利要求1所述的命名实体识别方法，其特征在于，所述命名识别步骤包括：
对所述文本特征序列中的每一个词语进行特征标注；
利用CRF模型从预先训练的语料标签库识别与所述词语的特征标注相对应的词标签，将识别到的词标签的信息作为所述命名实体识别结果。
6.一种电子装置，其特征在于，该电子装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的命名实体识别程序，所述命名实体识别程序被所述处理器执行时实现如下步骤：
接收步骤：接收待识别文本；
第一处理步骤：将所述待识别文本输入word2vec模型得到所述待识别文本的第一词向量；
第二处理步骤：对所述待识别文本进行分词处理，得到待识别文本中每一句/段对应的第一分词集合，将所述第一分词集合输入预先训练的ELMO模型，以ELMO模型输出的词向量作为所述待识别文本的第二词向量；
加权步骤：将所述第一词向量和所述第二词向量进行加权求和，得到加权求和结果；
序列生成步骤：将所述加权求和结果输入双向LSTM模型处理，得到文本特征序列；
命名识别步骤：将所述文本特征序列输入条件随机场CRF模型处理，得到所述待识别文本的命名实体识别结果。
7.如权利要求6所述的电子装置，其特征在于，所述ELMO模型的训练过程包括如下步骤：
A1，从预设语料库中获取预设数量的指定文本，对所述指定文本进行分句及分词处理，得到所述指定文本中每一句对应的第二分词集合；
A2，确定所述第二分词集合中各分词对应的词向量，将所述第二分词集合中各分词及所述分词对应的词向量作为样本数据；
A3，利用所述样本数据对双向LSTM模型进行训练，得到所述ELMO模型。
8.如权利要求6所述的电子装置，其特征在于，所述序列生成步骤中的双向LSTM模型及命名识别步骤中的CRF模型的训练过程包括：
获取数据集，将数据集划分为训练集、验证集和测试集，其中，所述数据集包括文本资源、已标注命名实体及词向量；
根据所述训练集对初始双向LSTM模型及初始CRF模型进行训练，得到训练后的双向LSTM模型及CRF模型；
根据所述验证集对训练后的双向LSTM模型及CRF模型进行验证；
当验证通过后，采用测试集对验证通过的双向LSTM模型及CRF模型进行测试，测试通过得到目标双向LSTM模型及目标CRF模型。
9.如权利要求8所述的电子装置，其特征在于，所述文本资源包括：
获取初始文本资源，对初始文本资源进行预处理，得到语句序列；
对语句序列进行分词处理，得到至少一个词序列；
按照词频对词序列中的词进行排序，确定每个词对应的标签信息，得到多个词与标签信息的组合，将词与标签信息的组合作为最终的文本资源。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括命名实体识别程序，所述命名实体识别程序被处理器执行时，可实现如权利要求1至5中任意一项所述的命名实体识别方法的步骤。
CN201910419895.5A 2019-05-20 2019-05-20 命名实体识别方法、电子装置及存储介质 Active CN110287479B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910419895.5A CN110287479B (zh) 2019-05-20 2019-05-20 命名实体识别方法、电子装置及存储介质
PCT/CN2019/102206 WO2020232861A1 (zh) 2019-05-20 2019-08-23 命名实体识别方法、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910419895.5A CN110287479B (zh) 2019-05-20 2019-05-20 命名实体识别方法、电子装置及存储介质

Publications (2)

Publication Number Publication Date
CN110287479A true CN110287479A (zh) 2019-09-27
CN110287479B CN110287479B (zh) 2022-07-22

Family

ID=68002417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910419895.5A Active CN110287479B (zh) 2019-05-20 2019-05-20 命名实体识别方法、电子装置及存储介质

Country Status (2)

Country Link
CN (1) CN110287479B (zh)
WO (1) WO2020232861A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705302A (zh) * 2019-10-11 2020-01-17 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN111026851A (zh) * 2019-10-18 2020-04-17 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质
CN111144118A (zh) * 2019-12-26 2020-05-12 携程计算机技术（上海）有限公司 口语化文本中命名实体的识别方法、系统、设备和介质
CN111222327A (zh) * 2019-12-23 2020-06-02 东软集团股份有限公司 一种词嵌入表示方法、装置及设备
CN111310456A (zh) * 2020-02-13 2020-06-19 支付宝(杭州)信息技术有限公司 一种实体名称匹配方法、装置及设备
CN111368526A (zh) * 2020-03-03 2020-07-03 支付宝(杭州)信息技术有限公司 一种序列标注方法和系统
CN111444723A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取模型训练方法、装置、计算机设备和存储介质
CN111506722A (zh) * 2020-06-16 2020-08-07 平安科技（深圳）有限公司 基于深度学习技术的知识图谱问答方法、装置及设备
CN111553157A (zh) * 2020-04-08 2020-08-18 南通大学 一种基于实体替换的对话意图识别方法
CN111597814A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种人机交互命名实体识别方法、装置、设备及存储介质
CN111737999A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种序列标注方法、装置、设备及可读存储介质
CN111859933A (zh) * 2020-05-11 2020-10-30 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN111881692A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 基于多训练目标的机构实体抽取方法、系统及装置
CN111950286A (zh) * 2020-08-10 2020-11-17 云南电网有限责任公司信息中心 一种人工智能法务评审引擎系统开发方法
CN112329476A (zh) * 2020-11-11 2021-02-05 北京京东尚科信息技术有限公司 一种文本纠错方法及装置、设备、存储介质
CN112633003A (zh) * 2020-12-30 2021-04-09 平安科技（深圳）有限公司 一种地址识别方法、装置、计算机设备及存储介质
CN112651224A (zh) * 2020-12-24 2021-04-13 天津大学 工程施工安全管理文档文本智能检索方法及装置
WO2021068329A1 (zh) * 2019-10-10 2021-04-15 平安科技（深圳）有限公司 中文命名实体识别方法、装置及计算机可读存储介质
CN112989828A (zh) * 2019-12-17 2021-06-18 医渡云（北京）技术有限公司 命名实体识别模型的训练方法、装置、介质及电子设备
CN113807099A (zh) * 2021-09-22 2021-12-17 北京百度网讯科技有限公司 实体信息识别方法、装置、电子设备以及存储介质
WO2023178802A1 (zh) * 2022-03-22 2023-09-28 平安科技（深圳）有限公司 命名实体识别方法、装置、设备和计算机可读存储介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528659A (zh) * 2020-11-30 2021-03-19 京东方科技集团股份有限公司 实体识别方法、实体识别装置、电子设备和存储介质
CN112507716B (zh) * 2020-11-30 2023-07-21 北京百度网讯科技有限公司 医学命名实体识别方法、装置、电子设备和存储介质
CN112463928A (zh) * 2020-12-10 2021-03-09 毛彬 一种面向领域评估预测的技术清单生成方法和系统
CN112487817A (zh) * 2020-12-14 2021-03-12 北京明略软件系统有限公司 命名实体识别模型训练方法、样本标注方法、装置及设备
CN112699684A (zh) * 2020-12-30 2021-04-23 北京明朝万达科技股份有限公司 命名实体识别方法和装置、计算机可读存储介质及处理器
CN112765959A (zh) * 2020-12-31 2021-05-07 康佳集团股份有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN112765330A (zh) * 2020-12-31 2021-05-07 科沃斯商用机器人有限公司 文本数据处理方法、装置、电子设备和存储介质
CN112699685B (zh) * 2021-01-08 2024-03-29 北京工业大学 基于标签引导的字词融合的命名实体识别方法
CN112818691A (zh) * 2021-02-01 2021-05-18 北京金山数字娱乐科技有限公司 命名实体识别模型训练方法及装置
CN112836482B (zh) * 2021-02-09 2024-02-23 浙江工商大学 一种基于模板的序列生成模型生成问题的方法及装置
CN113239659A (zh) * 2021-04-21 2021-08-10 上海快确信息科技有限公司 一种融合规则的文本数字抽取装置
CN113158677B (zh) * 2021-05-13 2023-04-07 竹间智能科技（上海）有限公司 一种命名实体识别方法和系统
CN113128196A (zh) * 2021-05-19 2021-07-16 腾讯科技（深圳）有限公司 文本信息处理方法及其装置、存储介质
CN113268452B (zh) * 2021-05-25 2024-02-02 联仁健康医疗大数据科技股份有限公司 一种实体抽取的方法、装置、设备和存储介质
CN113361253B (zh) * 2021-05-28 2024-04-09 北京金山数字娱乐科技有限公司 识别模型训练方法及装置
CN113486173B (zh) * 2021-06-11 2023-09-12 南京邮电大学 文本标注神经网络模型及其标注方法
CN113297851B (zh) * 2021-06-21 2024-03-05 北京富通东方科技有限公司 一种针对易混淆运动损伤实体词的识别方法
CN113468892A (zh) * 2021-06-21 2021-10-01 北京搜狗科技发展有限公司 一种模型测试方法、装置和用于模型测试的装置
CN113377965B (zh) * 2021-06-30 2024-02-23 中国农业银行股份有限公司 感知文本关键词的方法及相关装置
CN113408291B (zh) * 2021-07-09 2023-06-30 平安国际智慧城市科技股份有限公司 中文实体识别模型的训练方法、装置、设备及存储介质
CN113553400A (zh) * 2021-07-26 2021-10-26 杭州叙简科技股份有限公司 一种企业知识图谱实体链接模型的构建方法及装置
CN113627187A (zh) * 2021-08-12 2021-11-09 平安国际智慧城市科技股份有限公司 命名实体识别方法、装置、电子设备及可读存储介质
CN113870052A (zh) * 2021-09-28 2021-12-31 国网福建省电力有限公司 基于多输入lstm-cnn的工作票安全措施识别方法及终端
CN114048748B (zh) * 2021-11-17 2024-04-05 上海勃池信息技术有限公司 命名实体识别系统、方法、电子设备及介质
CN114417873A (zh) * 2022-01-17 2022-04-29 软通动力信息技术(集团)股份有限公司 一种少样本实体识别方法、装置、介质及设备
CN115169350B (zh) * 2022-07-14 2024-03-12 中国电信股份有限公司 情报信息的处理方法、装置、设备、介质及程序
CN116070001B (zh) * 2023-02-03 2023-12-19 深圳市艾莉诗科技有限公司 基于互联网的信息定向抓取方法及装置
CN116341552A (zh) * 2023-04-11 2023-06-27 国网河南省电力公司电力科学研究院 基于Bert-CRF的变电站防汛命名实体识别方法
CN116561588B (zh) * 2023-07-07 2023-10-20 北京国电通网络技术有限公司 电力文本识别模型构建方法、电力设备维修方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN109101481A (zh) * 2018-06-25 2018-12-28 北京奇艺世纪科技有限公司 一种命名实体识别方法、装置及电子设备
US10169315B1 (en) * 2018-04-27 2019-01-01 Asapp, Inc. Removing personal information from text using a neural network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110035210A1 (en) * 2009-08-10 2011-02-10 Benjamin Rosenfeld Conditional random fields (crf)-based relation extraction system
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN109766424B (zh) * 2018-12-29 2021-11-19 安徽省泰岳祥升软件有限公司 一种阅读理解模型训练数据的过滤方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107644014A (zh) * 2017-09-25 2018-01-30 南京安链数据科技有限公司 一种基于双向lstm和crf的命名实体识别方法
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
US10169315B1 (en) * 2018-04-27 2019-01-01 Asapp, Inc. Removing personal information from text using a neural network
CN109101481A (zh) * 2018-06-25 2018-12-28 北京奇艺世纪科技有限公司 一种命名实体识别方法、装置及电子设备

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068329A1 (zh) * 2019-10-10 2021-04-15 平安科技（深圳）有限公司 中文命名实体识别方法、装置及计算机可读存储介质
CN110705302B (zh) * 2019-10-11 2023-12-12 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN110705302A (zh) * 2019-10-11 2020-01-17 掌阅科技股份有限公司 命名实体的识别方法、电子设备及计算机存储介质
CN111026851A (zh) * 2019-10-18 2020-04-17 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质
WO2021073408A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质
CN111026851B (zh) * 2019-10-18 2023-09-15 平安科技（深圳）有限公司 模型预测能力优化方法、装置、设备及可读存储介质
CN112989828A (zh) * 2019-12-17 2021-06-18 医渡云（北京）技术有限公司 命名实体识别模型的训练方法、装置、介质及电子设备
CN111222327A (zh) * 2019-12-23 2020-06-02 东软集团股份有限公司 一种词嵌入表示方法、装置及设备
CN111222327B (zh) * 2019-12-23 2023-04-28 东软集团股份有限公司 一种词嵌入表示方法、装置及设备
CN111144118A (zh) * 2019-12-26 2020-05-12 携程计算机技术（上海）有限公司 口语化文本中命名实体的识别方法、系统、设备和介质
CN111144118B (zh) * 2019-12-26 2023-05-12 携程计算机技术（上海）有限公司 口语化文本中命名实体的识别方法、系统、设备和介质
CN111310456B (zh) * 2020-02-13 2023-06-20 支付宝(杭州)信息技术有限公司 一种实体名称匹配方法、装置及设备
CN111310456A (zh) * 2020-02-13 2020-06-19 支付宝(杭州)信息技术有限公司 一种实体名称匹配方法、装置及设备
CN111368526B (zh) * 2020-03-03 2023-04-25 支付宝(杭州)信息技术有限公司 一种序列标注方法和系统
CN111368526A (zh) * 2020-03-03 2020-07-03 支付宝(杭州)信息技术有限公司 一种序列标注方法和系统
CN111444723A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取模型训练方法、装置、计算机设备和存储介质
CN111553157A (zh) * 2020-04-08 2020-08-18 南通大学 一种基于实体替换的对话意图识别方法
CN111859933A (zh) * 2020-05-11 2020-10-30 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN111859933B (zh) * 2020-05-11 2023-08-22 广东外语外贸大学 马来语识别模型的训练方法、识别方法、装置、设备
CN111597814B (zh) * 2020-05-22 2023-05-26 北京慧闻科技(集团)有限公司 一种人机交互命名实体识别方法、装置、设备及存储介质
CN111597814A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种人机交互命名实体识别方法、装置、设备及存储介质
CN111506722A (zh) * 2020-06-16 2020-08-07 平安科技（深圳）有限公司 基于深度学习技术的知识图谱问答方法、装置及设备
CN111506722B (zh) * 2020-06-16 2024-03-08 平安科技（深圳）有限公司 基于深度学习技术的知识图谱问答方法、装置及设备
CN111737999A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种序列标注方法、装置、设备及可读存储介质
CN111881692A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 基于多训练目标的机构实体抽取方法、系统及装置
CN111950286A (zh) * 2020-08-10 2020-11-17 云南电网有限责任公司信息中心 一种人工智能法务评审引擎系统开发方法
CN112329476A (zh) * 2020-11-11 2021-02-05 北京京东尚科信息技术有限公司 一种文本纠错方法及装置、设备、存储介质
CN112651224A (zh) * 2020-12-24 2021-04-13 天津大学 工程施工安全管理文档文本智能检索方法及装置
CN112633003A (zh) * 2020-12-30 2021-04-09 平安科技（深圳）有限公司 一种地址识别方法、装置、计算机设备及存储介质
CN113807099A (zh) * 2021-09-22 2021-12-17 北京百度网讯科技有限公司 实体信息识别方法、装置、电子设备以及存储介质
CN113807099B (zh) * 2021-09-22 2024-02-13 北京百度网讯科技有限公司 实体信息识别方法、装置、电子设备以及存储介质
WO2023178802A1 (zh) * 2022-03-22 2023-09-28 平安科技（深圳）有限公司 命名实体识别方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN110287479B (zh) 2022-07-22
WO2020232861A1 (zh) 2020-11-26

Similar Documents

Publication Publication Date Title
CN110287479A (zh) 命名实体识别方法、电子装置及存储介质
CN111737476B (zh) 文本处理方法、装置、计算机可读存储介质及电子设备
CN107992596A (zh) 一种文本聚类方法、装置、服务器和存储介质
CN108932220A (zh) 文章生成方法和装置
CN107301170A (zh) 基于人工智能的切分语句的方法和装置
CN107861954A (zh) 基于人工智能的信息输出方法和装置
CN106980650A (zh) 一种面向Twitter观点分类的情感增强词嵌入学习方法
CN110442856A (zh) 一种地址信息标准化方法、装置、计算机设备及存储介质
CN114492831B (zh) 联邦学习模型的生成方法及其装置
CN111694937A (zh) 基于人工智能的面试方法、装置、计算机设备及存储介质
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
CN109359198A (zh) 一种文本分类方法及装置
CN113704393A (zh) 关键词提取方法、装置、设备及介质
CN112131884A (zh) 用于实体分类的方法和装置、用于实体呈现的方法和装置
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN111368524A (zh) 一种基于自注意力双向gru和svm的微博观点句识别方法
CN116450829A (zh) 医疗文本分类方法、装置、设备及介质
CN112364649B (zh) 命名实体的识别方法、装置、计算机设备及存储介质
CN109033078A (zh) 语句类别识别方法及装置、存储介质、处理器
CN112749553B (zh) 视频文件的文本信息处理方法、装置和服务器
CN115080748A (zh) 一种基于带噪标签学习的弱监督文本分类方法和装置
CN111339287B (zh) 摘要生成方法及装置
CN112071331A (zh) 语音文件修复方法、装置、计算机设备及存储介质
CN113254635B (zh) 数据处理方法、装置及存储介质
CN114328797B (zh) 内容搜索方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant