CN115186666A - 一种命名实体识别方法、装置、电子设备及存储介质 - Google Patents

一种命名实体识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115186666A
CN115186666A CN202210798161.4A CN202210798161A CN115186666A CN 115186666 A CN115186666 A CN 115186666A CN 202210798161 A CN202210798161 A CN 202210798161A CN 115186666 A CN115186666 A CN 115186666A
Authority
CN
China
Prior art keywords
entity
recognized
type
interval
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210798161.4A
Other languages
English (en)
Inventor
鲁益明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Beijing Co Ltd
Original Assignee
Douyin Vision Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Douyin Vision Beijing Co Ltd filed Critical Douyin Vision Beijing Co Ltd
Priority to CN202210798161.4A priority Critical patent/CN115186666A/zh
Publication of CN115186666A publication Critical patent/CN115186666A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开实施例提供了一种命名实体识别方法、装置、电子设备及存储介质。该方法包括将待识别文本输入预训练的识别模型；通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率；获取所述识别模型输出的各所述待识别实体区间对应的实体类型。通过本公开实施例实现同时确定每个待识别实体区间与多个类型标识信息的匹配关系，提升了实体识别速度，缩短了实体识别时间，避免对同一待识别实体区间进行多次匹配操作，降低了处理器的占用率，达到了提升模型性能和模型识别效果的效果。

Description

一种命名实体识别方法、装置、电子设备及存储介质
技术领域
本公开实施例涉及自然语言处理技术，尤其涉及一种命名实体识别方法、装置、电子设备及存储介质。
背景技术
命名实体识别作为信息抽取的基本技术，主要目的是从文本中提取具有特定意义的实体。
目前，命名实体识别模型包括序列标注模型和阅读理解模型等。对于采用序列标注模型进行命名实体识别的情况，识别模型返回的是标签序列，存在识别速度慢，且无法高效地解决嵌套实体识别的问题。
对于采用阅读理解模型进行命名实体识别的情况，识别模型返回的是实体的区间，可以高效地解决嵌套实体识别的问题。但是，阅读理解模型的一个问题表示一种类型的实体类型，对于多种实体类型需要进行多次识别才能确定与单个待识别实体区间对应的实体类型，导致模型性能降低。
发明内容
本公开提供一种命名实体识别方法、装置、电子设备及存储介质，至少解决了相关命名实体识别方式的模型性能不佳的问题，提升了实体识别速度，缩短了实体识别时间，降低了处理器的占用率。
第一方面，本公开实施例提供一种命名实体识别方法，包括：
将待识别文本输入预训练的识别模型；
通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
第二方面，本公开实施例还提供了一种命名实体识别装置，该装置包括：
文本输入模块，用于将待识别文本输入预训练的识别模型；
类型确定模块，用于通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
类型输出模块，用于获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的命名实体识别方法。
第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本公开实施例提供的命名实体识别方法。
本公开实施例，通过为待识别文本拼接表示实体类型的类型标识信息，并根据各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，进而根据概率确定各待识别实体区间对应的实体类型，实现同时确定每个待识别实体区间与多个类型标识信息的匹配关系，提升了实体识别速度，缩短了实体识别时间，避免对同一待识别实体区间进行多次匹配操作，降低了处理器的占用率，达到了提升模型性能和模型识别效果的效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例所提供的一种命名实体识别方法的流程示意图；
图2为本公开实施例所提供的另一种命名实体识别方法的流程示意图；
图3为本公开实施例所提供的一种用于命名实体识别的识别模型的训练方法示意图；
图4为本公开实施例所提供的另一种用于命名实体识别的识别模型的训练方法示意图；
图5为本公开实施例所提供的一种命名实体识别装置结构示意图；
图6为本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”、“第三”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互匹配关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1为本公开实施例所提供的一种命名实体识别方法的流程示意图，本公开实施例适用于命名实体识别的情形，该方法可以由命名实体识别装置来执行，该装置可以通过软件和/或硬件的形式实现，可选的，通过电子设备来实现，该电子设备可以是服务器等。
如图1所示，所述方法包括：
S110、将待识别文本输入预训练的识别模型。
识别模型用于从文本中提取具有特定语义的实体，并根据语义将实体分类为给定的实体类型。识别模型可以为采用文本样本和不同类型的问题(下文采用query表示)训练的机器学习模型。
模型训练过程包括：对于任意一个文本样本，拼接设定数量的长尾词到当前文本样本，输入拼接后的文本样本到待训练识别模型。通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型；根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据损失值调整待训练识别模型的模型参数，循环上述过程直至模型收敛，得到训练好的识别模型。根据模型训练完成时各待识别实体区间对应的预测实体类型，确定各所述长尾词表示的实体类型；根据所述长尾词确定类型标识信息，添加所述类型标识信息到训练完成的识别模型。由于类型标识信息是通过模型训练确定的，将类型标识信息拼接到待识别文本进行命名实体识别，可以避免因人工构造的类型标识信息过长导致待识别文本尾部的实体不能被识别的问题，提升了实体识别准确率。
其中，长尾词可以为预训练的语言模型BERT(Bidirectional EncoderRepresentation from Transformers，预训练的语言表征模型)词表中无实际含义的词语，通过模型训练使得长尾词学习到不同实体类型的语义。
标注信息为文本样本中各实体区间对应的实体类型的标签。
可选地，采样文本样本中的待预测类型的实体区间(下文采用span表示)进行模型训练时，对负样本span进行随机采样，以减少负样本span对模型训练效果的负面影响。如果采样文本样本中所有span进行模型训练，由于负样本span的数量远多于正样本span，为了防止模型被带偏，对负样本span进行随机采样。
可选地，采用交叉熵损失函数作为待训练识别模型的损失函数，计算各待识别实体区间对应各长尾词的概率中最高概率对应的长尾词与对应待识别实体区间的标注信息的差值，作为损失值，根据损失值确定困难样本span，通过交叉熵损失函数为困难样本span对应的损失添加更高的权重，为简单样本span添加更低的权重，从而，将模型训练的侧重点集中于难识别的span。
S120、通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率。
其中，类型标识信息为预置于识别模型中用于表示实体类型的词语。例如，类型标识信息可以为学习到不同实体类型的语义的长尾词等。具体地，通过拼接多个学习到实体类型的语义的长尾词构成一个问题，且各长尾词表示不同实体类型的语义。
概率用于确定各待识别实体区间对应的实体类型。
匹配关系为各span与query集合中各个类型标识信息表示的实体类型的匹配度。可选地，可以根据各span的头部向量、尾部向量和各个类型标识信息的语义表示向量的向量交叉结果确定匹配关系。其中，头部向量为各span的开始字向量对应的向量表示，可以通过全连接层将开始字向量映射为头部向量。尾部向量为各span的结束字向量对应的向量表示，可以通过全连接层将结束字向量映射为尾部向量。需要说明的是，本公开并不限定获取span的头部向量和尾部向量的具体方式。
示例性地，通过识别模型为待识别文本拼接表示实体类型的类型标识信息；确定待识别文本中各待识别实体区间对应的头部向量和尾部向量；确定各类型标识信息对应的语义表示向量；对于任意一个待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和语义表示向量，确定当前待识别实体区间分别与各类型标识信息的匹配关系；根据各待识别实体区间分别与各类型标识信息的匹配关系，确定各待识别实体区间对应各实体类型的概率。
可选地，在通过识别模型为待识别文本拼接表示实体类型的类型标识信息之后，还包括：对于根据待识别文本与类型标识信息确定的拼接文本，通过识别模型利用预训练的语言模型确定拼接文本对应的具有语义信息的向量。
本公开的一个实施例中，拼接BERT词表中的多个类型标识信息到待识别文本，得到拼接文本。将拼接文本输入识别模型的编码层，通过编码层中预训练的BERT模型确定拼接文本对应的具有语义信息的向量，输出拼接文本对应的具有语义信息的向量。其中，具有语义信息的向量包含每个字的具有语义信息的向量表示。
本公开的一些实施例中，确定待识别文本中的各待识别实体区间，通过两个全连接层分别将待识别实体区间的开始字向量映射为头部向量，将待识别实体区间的结束字向量映射为尾部向量。
可选地，确定待识别文本中的各待识别实体区间包括：根据字与向量的对应关系，确定向量长度不超过预设长度阈值的词语作为待识别实体区间。
示例性地，对于任意一个待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和各语义表示向量，确定当前待识别实体区间分别与各类型标识信息的匹配关系具体包括：对于任意一个待识别实体区间，确定每个类型标识信息对应的语义表示向量、当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果；根据每个类型标识信息对应的向量交叉结果，确定当前待识别实体区间和各类型标识信息的匹配关系。
例如，将各待识别实体区间的头部向量、尾部向量和每个类型标识信息对应的语义表示向量输入识别模型的交叉层。其中，交叉层基于双仿射机制和FM因子分解机(Factorization Machine，简称FM)算法等构造。在交叉层采用双仿射机制和FM算法，对头部向量、尾部向量和各语义表示向量中每两个向量进行交叉，根据向量交叉结果确定匹配关系。匹配关系可以用匹配分数表示。其中，双仿射机制为一种实现每个待预测类型的实体区间的首尾信息交互的注意力机制。
可以通过双仿射分类器实现双仿射机制。双仿射分类器可以采用下式表示：
Figure BDA0003732952740000081
其中，hi表示待识别实体区间的头部向量，hj表示待识别实体区间的尾部向量，W表示参数矩阵，U为用于逻辑回归的系数，b为偏置项。双仿射分类器的模型参数通过识别模型训练得到。
FM算法是一种基于矩阵分解的机器学习模型。
本公开的另一些实施例中，确定所述各类型标识信息对应的语义表示向量包括：增加各类型标识信息对应的语义表示向量的维数，将维数增加后的语义表示向量作为对应类型标识信息的语义表示向量。
其中，拼接文本中的query包括多个类型标识信息，可以表示为query(sep1,sep2,sep3,……,sepn)，其中，n为正整数。通过交叉层进行向量交叉运算时，需要计算sep1的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，还需要计算sep2的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，直至计算完sepn的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，再对向量交叉结果进行合并，增加了模型运算量，降低了模型运算速度，对模型的训练速度和识别速度均产生影响。
本公开实施例通过增加各类型标识信息的语义表示向量的维数，实现采用每个类型标识信息近似的表示多个类型标识信息参与交叉运算，提升了模型运算速度。例如，通过全连接层分别对sep1,sep2,sep3,……,sepn中的每个类型标识信息对应的语义表示向量进行维数调整，输出维数增加后的sep1,sep2,sep3,……,sepn，分别与各待识别实体区间的头部向量和尾部向量共同确定各待识别实体区间与每个类型标识信息的匹配关系。
本公开的一些实施例中，确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果具体包括：通过第一双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的头部向量进行向量交叉；通过第二双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的尾部向量进行向量交叉；通过第三双仿射分类器对所述当前待识别实体区间对应的头部向量和尾部向量进行向量交叉。
采用3个双仿射分类器实现类型标识信息对应的语义表示向量、待识别实体区间的头部向量和尾部向量的两两交叉。每个双仿射分类器的模型参数均需要通过识别模型训练得到，不同双仿射分类器之间不会共享模型参数。
以类型标识信息sep1对应的语义表示向量query_k为例，计算实体区间span(i,j)与sep1的匹配关系score(span(i,j)，query_k)：
score＝biaffine(queryk，spanstart)+biaffine(queryk，spanend)+biaffine(spanstart，spanend)
需要说明的是，不同类型标识信息间共享识别模型参数，可以采用相似的方式确定其它类型标识信息与实体区间span(i,j)的匹配关系，此处不再赘述。
交叉层输出每个待识别实体区间与各类型标识信息的匹配分数到输出层，通过输出层根据匹配分数确定每个待识别实体区间对应各实体类型的概率。具体地，通过输出层中的激活函数经每个待识别实体区间与各类型标识信息的匹配分数映射到0-1之间，得到每个待识别实体区间对应各实体类型的概率。
S130、获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
示例性地，获取输出层输出的根据概率确定的待识别文本中各待识别实体区间对应的实体类型。各待识别实体区间对应的实体类型可以为概率最高的类型标识信息对应的实体类型。
本实施例的技术方案，通过为待识别文本拼接表示实体类型的类型标识信息，并根据各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，进而根据概率确定各待识别实体区间对应的实体类型，实现同时确定每个待识别实体区间与多个类型标识信息的匹配关系，提升了实体识别速度，缩短了实体识别时间，避免对同一待识别实体区间进行多次匹配操作，降低了处理器的占用率，达到了提升模型性能和模型识别效果的效果。
本公开的一个实施例中，以识别模型的编码层包含通过2个类型标识信息组成的问题为例，说明命名实体识别过程。需要说明的是，类型标识信息的数量并不限于2个，该数量与识别模型训练时所采用的长尾词的数量一致，且类型标识信息所表示的实体类型从模型训练过程中学习，并不需要人工构建，解决了人工构建的问题较长而使待识别文本被截断，导致尾部实体未被识别的问题，增加了待识别文本的有效长度，提升了模型的识别效果。
图2为本公开实施例所提供的另一种命名实体识别方法的流程示意图。如图2所示，待识别文本text与问题query(sep1,sep2)拼接后，输入识别模型200的编码层210。编码层210包括BERT模型、映射层和全连接层。通过BERT模型输出拼接文本对应的具有语义信息的向量。该向量是以cls为开始符的字向量。
获取向量中，长度小于设定数量阈值的所有span，通过映射层将每个span的开始字向量映射为头部向量(即开始表示)，通过映射层将每个span的结束字向量映射为尾部向量(即结束表示)。以span(i,j)为例，通过两个独立的映射层，将开始字向量i映射为头部向量h(i)，将结束字向量j映射为尾部向量h(j)。输出头部向量h(i)和尾部向量h(j)到交叉层220。
获取向量中问题对应的语义表示向量k1和k2，分别输入语义表示向量k1和k2到全连接层，通过全连接层增加语义表示向量k1和k2的维数，获取全连接层输出的query_k1和query_k2，并将query_k1作为sep1的语义表示向量，将query_k2作为sep2的语义表示向量，输出query_k1和query_k2到交叉层220。
通过交叉层220中的第一双仿射分类器对query_k1和头部向量h(i)进行交叉，通过第二双仿射分类器对query_k1和尾部向量h(j)进行交叉，通过第三双仿射分类器对头部向量h(i)和尾部向量h(j)进行交叉，通过合并算子对交叉结果进行合并，得到实体区间span(i,j)与sep1的匹配分数score(span(i,j)，query_k1)。采用相同的方式计算实体区间span(i,j)与sep2的匹配分数score(span(i,j)，query_k2)。
通过归一化层230分别将score(span(i,j)，query_k1)和score(span(i,j)，query_k2)映射到0-1之间，得到span(i,j)对应sep1的概率以及span(i,j)对应sep2的概率，将概率较高的sep1表示的实体类型作为span(i,j)对应的实体类型。
图3为本公开实施例所提供的一种用于命名实体识别的识别模型的训练方法示意图。如图3所示，该方法包括：
S310、拼接设定数量的长尾词到文本样本，输入拼接后的文本样本到待训练识别模型。
示例性，随机选取BERT词典中设定数量的无实际意义的长尾词来初始化问题，并将包含多个无实际意义的长尾词的问题拼接到文本样本，输入拼接后的文本样本到待训练识别模型。需要说明的是，在模型训练过程中，拼接到文本样本的问题包含的长尾词均未无实际意义的长尾词，在本实施例中出现的长尾词均是指代无实际意义的长尾词。
通过随机选取BERT词典中设定数量的长尾词来初始化问题，并在模型训练过程学习长尾词所表示的实体类型，解决了人工选取的问题较长而使文本样本被截断，导致尾部实体未被识别的问题。同时，还解决了人工选取的问题存在主观局限性，无法达到最佳的问题。此外，一次拼接多个长尾词到文本样本，输出待预测模型进行训练，降低了模型服务的查询率(Queries-per-second，简称为QPS)，减少了训练耗时。
S320、通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型。
示例性地，确定文本样本中各待识别实体区间对应的头部向量和尾部向量；确定各长尾词对应的语义表示向量；对于任意一个待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和语义表示向量，确定当前待识别实体区间分别与各长尾词的匹配关系；根据各待识别实体区间分别与各长尾词的匹配关系，确定各待识别实体区间对应各实体类型的概率。
本公开的一些实施例中，对于根据文本样本与长尾词确定的拼接文本，通过待训练识别模型利用预训练的语言模型确定拼接文本对应的具有语义信息的向量。
本公开的一个实施例中，将拼接文本输入到待训练识别模型的编码层，通过编码层中预训练的BERT模型确定拼接文本对应的具有语义信息的向量，输出拼接文本对应的具有语义信息的向量。其中，具有语义信息的向量包含每个字的具有语义信息的向量表示。
本公开的一些实施例中，确定文本样本中的各待识别实体区间，通过两个全连接层分别将待识别实体区间的开始字向量映射为头部向量，将待识别实体区间的结束字向量映射为尾部向量。
可选地，根据字与向量的对应关系，确定向量长度不超过预设长度阈值的词语作为待识别实体区间。
示例性地，对于任意一个待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和各长尾词对应的语义表示向量，确定当前待识别实体区间分别与各长尾词的匹配关系具体包括：对于任意一个待识别实体区间，确定每个长尾词对应的语义表示向量、当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果；根据每个长尾词对应的向量交叉结果，确定当前待识别实体区间和各长尾词的匹配关系。
例如，将各待识别实体区间的头部向量、尾部向量和每个长尾词对应的语义表示向量输入待训练识别模型的交叉层，在交叉层采用双仿射机制和FM因子分解机(Factorization Machine，简称FM)算法，对头部向量、尾部向量和各语义表示向量中每两个向量进行交叉，根据向量交叉结果确定匹配关系。匹配关系可以用匹配分数表示。其中，双仿射机制为一种实现每个待预测类型的实体区间的首尾信息交互的注意力机制。
本公开的另一些实施例中，增加各长尾词对应的语义表示向量的维数，将维数增加后的语义表示向量作为对应长尾词的语义表示向量。
其中，拼接文本中的问题包括多个长尾词，可以表示为query(sep1,sep2,sep3,……,sepn)，其中，n为正整数。通过交叉层进行向量交叉运算时，需要计算sep1的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，还需要计算sep2的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，直至计算完sepn的语义表示向量、各待识别实体区间的头部向量和尾部向量中每两个向量的向量交叉结果，再对向量交叉结果进行合并，增加了模型运算量，降低了模型运算速度，对模型的训练速度和识别速度均产生影响。
本公开实施例通过增加各长尾词的语义表示向量的维数，实现采用每个长尾词近似的表示多个长尾词参与交叉运算，省略了合并多个长尾词的交叉结果的步骤，提升了模型运算速度，降低了GPU占用量。例如，通过全连接层分别对sep1,sep2,sep3,……,sepn中的每个长尾词对应的语义表示向量进行维数调整，输出维数增加后的sep′1,sep′2，sep′3，......，sep′n中的每个长尾词对应的语义表示向量，分别与各待识别实体区间的头部向量和尾部向量共同确定各待识别实体区间与每个长尾词的匹配关系。
本公开的一些实施例中，通过第一双仿射分类器对每个长尾词对应的语义表示向量和当前待识别实体区间对应的头部向量进行向量交叉；通过第二双仿射分类器对每个长尾词对应的语义表示向量和当前待识别实体区间对应的尾部向量进行向量交叉；通过第三双仿射分类器对当前待识别实体区间对应的头部向量和尾部向量进行向量交叉。通过合并算子对3个双仿射分类器输出的向量交叉结果进行合并，得到当前待识别实体区间与每个长尾词的匹配分数。
需要说明的是，采用3个双仿射分类器实现长尾词对应的语义表示向量、待识别实体区间的头部向量和尾部向量的两两交叉。每个双仿射分类器的模型参数均需要通过识别模型训练得到，不同双仿射分类器之间不会共享模型参数。
以sep′1对应的语义表示向量query_k为例，计算实体区间span(i,j)与sep′1的匹配关系score(span(i,j)，query_k)：
score＝biaffine(queryk，spanstart)+biaffine(queryk，spanend)+biaffine(spanstart，spanend)
需要说明的是，不同长尾词间共享识别模型参数，可以采用相似的方式确定其它长尾词与实体区间span(i,j)的匹配关系，此处不再赘述。
通过归一化层分别将待识别实体区间与长尾词的匹配分数映射到0-1之间，得到待识别实体区间对应各长尾词的概率。
S330、根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据所述损失值调整所述待训练识别模型的模型参数。
其中，标注信息为文本样本中标注各待识别实体区间的实体类型的信息。
示例性地，根据概率对待识别实体区间对应的各长尾词进行排序，选择概率最高的长尾词表示的实体类型作为该待识别实体区间对应的预测实体类型。根据待识别实体的预测实体类型与对应待识别实体区间的标注信息确定损失值，通过不断优化损失值来训练调整模型参数。
S340、根据模型训练完成时各待识别实体区间对应的预测实体类型，确定各所述长尾词表示的实体类型。
由于预测实体类型与长尾词经编码层处理后的语义表示向量相对应，可以将模型训练完成时各待识别实体区间对应的预测实体类型作为各长尾词表示的实体类型。
S350、根据所述长尾词确定类型标识信息，添加所述类型标识信息到训练完成的识别模型。
本实施例的技术方案，通过拼接设定数量的长尾词到文本样本，输入拼接后的文本样本到待训练识别模型；通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型；根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据所述损失值调整所述待训练识别模型的模型参数，实现一次拼接多个长尾词进行模型训练，提升了模型训练速度，避免对同一待识别实体区间进行多次匹配操作，降低了处理器的占用率，达到提升模型性能和模型识别效果的效果。
本公开的一个实施例中，以待训练识别模型的编码层包含通过2个长尾词组成的问题为例，说明模型训练过程。
图4为本公开实施例所提供的另一种用于命名实体识别的识别模型的训练方法示意图。如图4所示，文本样本与问题query(sep1,sep2)拼接后，输入待训练识别模型400的编码层410。其中，sep1表示一个长尾词，sep2表示另一个长尾词。通过编码层410和交叉层420执行与本公开的命名实体识别过程相似的处理，此处不再赘述。交叉层420输出score(span(i,j)，query_k1′)和score(span(i,j)，query_k2′)到损失层430。通过损失层430根据score(span(i,j)，query_k1′)和文本样本中span(i,j)对应的标注信息，计算交叉熵损失值，基于交叉熵损失值构建的损失函数不断优化交叉熵损失值来训练调整模型参数。
图5为本公开实施例所提供的一种命名实体识别装置结构示意图，如图5所示，所述装置包括：文本输入模块510、类型确定模块520以及类型输出模块530。
文本输入模块510，用于将待识别文本输入预训练的识别模型；
类型确定模块520，用于通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
类型输出模块530，用于获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
本公开实施例所提供的技术方案，通过为待识别文本拼接表示实体类型的类型标识信息，并根据各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，进而根据概率确定各待识别实体区间对应的实体类型，实现同时确定每个待识别实体区间与多个类型标识信息的匹配关系，提升了实体识别速度，缩短了实体识别时间，避免对同一待识别实体区间进行多次匹配操作，降低了处理器的占用率，达到了提升模型性能和模型识别效果的效果。
可选地，类型确定模块520具体用于：
确定所述待识别文本中各待识别实体区间对应的头部向量和尾部向量；
确定所述各类型标识信息对应的语义表示向量；
对于任意一个所述待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和各所述语义表示向量，确定所述当前待识别实体区间分别与各类型标识信息的匹配关系；
根据各所述待识别实体区间分别与各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率。
可选地，还包括：
向量确定模块，用于在通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息之后，对于根据所述待识别文本与类型标识信息确定的拼接文本，通过所述识别模型利用预训练的语言模型确定所述拼接文本对应的具有语义信息的向量。
可选地，可选地，类型确定模块520具体还用于：：
增加各类型标识信息对应的语义表示向量的维数，将维数增加后的语义表示向量作为对应类型标识信息的语义表示向量。
可选地，类型确定模块520具体还用于：
确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果；
根据每个类型标识信息对应的向量交叉结果，确定所述当前待识别实体区间和各类型标识信息的匹配关系。
可选地，类型确定模块520具体还用于：：
通过第一双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的头部向量进行向量交叉；
通过第二双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的尾部向量进行向量交叉；
通过第三双仿射分类器对所述当前待识别实体区间对应的头部向量和尾部向量进行向量交叉。
可选地，还包括模型训练模块，用于采用如下方式训练所述识别模型：
拼接设定数量的长尾词到文本样本，输入拼接后的文本样本到待训练识别模型；
通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型；
根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据所述损失值调整所述待训练识别模型的模型参数。
可选地，模型训练模块还用于：
在根据所述损失值调整所述待训练识别模型的模型参数之后，根据模型训练完成时各待识别实体区间对应的预测实体类型，确定各所述长尾词表示的实体类型；
根据所述长尾词确定类型标识信息，添加所述类型标识信息到训练完成的识别模型。
本公开实施例所提供的命名实体识别装置可执行本公开任意实施例所提供的命名实体识别方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本公开实施例的保护范围。
图6为本公开实施例所提供的一种电子设备的结构示意图。下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如图6中的终端设备或服务器)600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。编辑/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标等的输入装置606；包括例如液晶显示器(LCD)、扬声器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
本公开实施例提供的电子设备与上述实施例提供的命名实体识别方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的命名实体识别方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
将待识别文本输入预训练的识别模型；
通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种命名实体识别方法，包括：
将待识别文本输入预训练的识别模型；
通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
根据本公开的一个或多个实施例，所述根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，包括：
确定所述待识别文本中各待识别实体区间对应的头部向量和尾部向量；
确定所述各类型标识信息对应的语义表示向量；
对于任意一个所述待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和各所述语义表示向量，确定所述当前待识别实体区间分别与各类型标识信息的匹配关系；
根据各所述待识别实体区间分别与各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率。
根据本公开的一个或多个实施例，在通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息之后，还包括：
对于根据所述待识别文本与类型标识信息确定的拼接文本，通过所述识别模型利用预训练的语言模型确定所述拼接文本对应的具有语义信息的向量。
根据本公开的一个或多个实施例，所述确定所述各类型标识信息对应的语义表示向量，包括：
增加各类型标识信息对应的语义表示向量的维数，将维数增加后的语义表示向量作为对应类型标识信息的语义表示向量。
根据本公开的一个或多个实施例，所述根据当前待识别实体区间对应的头部向量、尾部向量和各所述语义表示向量，确定所述当前待识别实体区间分别与各类型标识信息的匹配关系，包括：
确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果；
根据每个类型标识信息对应的向量交叉结果，确定所述当前待识别实体区间和各类型标识信息的匹配关系。
根据本公开的一个或多个实施例，所述确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果，包括：
通过第一双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的头部向量进行向量交叉；
通过第二双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的尾部向量进行向量交叉；
通过第三双仿射分类器对所述当前待识别实体区间对应的头部向量和尾部向量进行向量交叉。
根据本公开的一个或多个实施例，还包括采用如下方式训练所述识别模型：
拼接设定数量的长尾词到文本样本，输入拼接后的文本样本到待训练识别模型；
通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型；
根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据所述损失值调整所述待训练识别模型的模型参数。
根据本公开的一个或多个实施例，在根据所述损失值调整所述待训练识别模型的模型参数之后，还包括：
根据模型训练完成时各待识别实体区间对应的预测实体类型，确定各所述长尾词表示的实体类型；
根据所述长尾词确定类型标识信息，添加所述类型标识信息到训练完成的识别模型。
根据本公开的一个或多个实施例，提供了一种命名实体识别装置，包括：
文本输入模块，用于将待识别文本输入预训练的识别模型；
类型确定模块，用于通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
类型输出模块，用于获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
根据本公开的一个或多个实施例，提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的命名实体识别方法。
根据本公开的一个或多个实施例，提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本公开实施例提供的命名实体识别方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (11)

1.一种命名实体识别方法，其特征在于，包括：
将待识别文本输入预训练的识别模型；
通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，包括：
确定所述待识别文本中各待识别实体区间对应的头部向量和尾部向量；
确定所述各类型标识信息对应的语义表示向量；
对于任意一个所述待识别实体区间，根据当前待识别实体区间对应的头部向量、尾部向量和各所述语义表示向量，确定所述当前待识别实体区间分别与各类型标识信息的匹配关系；
根据各所述待识别实体区间分别与各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率。
3.根据权利要求1所述的方法，其特征在于，在通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息之后，还包括：
对于根据所述待识别文本与类型标识信息确定的拼接文本，通过所述识别模型利用预训练的语言模型确定所述拼接文本对应的具有语义信息的向量。
4.根据权利要求2所述的方法，其特征在于，所述确定所述各类型标识信息对应的语义表示向量，包括：
增加各类型标识信息对应的语义表示向量的维数，将维数增加后的语义表示向量作为对应类型标识信息的语义表示向量。
5.根据权利要求2或4所述的方法，其特征在于，所述根据当前待识别实体区间对应的头部向量、尾部向量和各所述语义表示向量，确定所述当前待识别实体区间分别与各类型标识信息的匹配关系，包括：
确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果；
根据每个类型标识信息对应的向量交叉结果，确定所述当前待识别实体区间和各类型标识信息的匹配关系。
6.根据权利要求5所述的方法，其特征在于，所述确定每个类型标识信息对应的语义表示向量、所述当前待识别实体区间对应的头部向量和尾部向量中的每两个向量的向量交叉结果，包括：
通过第一双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的头部向量进行向量交叉；
通过第二双仿射分类器对每个类型标识信息对应的语义表示向量和当前待识别实体区间对应的尾部向量进行向量交叉；
通过第三双仿射分类器对所述当前待识别实体区间对应的头部向量和尾部向量进行向量交叉。
7.根据权利要求1所述的方法，其特征在于，还包括采用如下方式训练所述识别模型：
拼接设定数量的长尾词到文本样本，输入拼接后的文本样本到待训练识别模型；
通过待训练识别模型根据拼接后的文本样本中各待识别实体区间和各长尾词的匹配关系，确定各待识别实体区间对应的预测实体类型；
根据待识别实体区间对应的预测实体类型和对应待识别实体区间的标注信息确定损失值，根据所述损失值调整所述待训练识别模型的模型参数。
8.根据权利要求7所述的方法，其特征在于，在根据所述损失值调整所述待训练识别模型的模型参数之后，还包括：
根据模型训练完成时各待识别实体区间对应的预测实体类型，确定各所述长尾词表示的实体类型；
根据所述长尾词确定类型标识信息，添加所述类型标识信息到训练完成的识别模型。
9.一种命名实体识别装置，其特征在于，包括：
文本输入模块，用于将待识别文本输入预训练的识别模型；
类型确定模块，用于通过所述识别模型为所述待识别文本拼接表示实体类型的类型标识信息，根据所述待识别文本中各待识别实体区间和各类型标识信息的匹配关系，确定各所述待识别实体区间对应各所述实体类型的概率，其中，所述概率用于确定各待识别实体区间对应的实体类型；
类型输出模块，用于获取所述识别模型输出的各所述待识别实体区间对应的实体类型。
10.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的命名实体识别方法。
11.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的命名实体识别方法。
CN202210798161.4A 2022-07-06 2022-07-06 一种命名实体识别方法、装置、电子设备及存储介质 Pending CN115186666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210798161.4A CN115186666A (zh) 2022-07-06 2022-07-06 一种命名实体识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210798161.4A CN115186666A (zh) 2022-07-06 2022-07-06 一种命名实体识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115186666A true CN115186666A (zh) 2022-10-14

Family

ID=83516983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210798161.4A Pending CN115186666A (zh) 2022-07-06 2022-07-06 一种命名实体识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115186666A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688974A (zh) * 2024-02-01 2024-03-12 中国人民解放军总医院 基于知识图谱的生成式大模型建模方法、系统及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688974A (zh) * 2024-02-01 2024-03-12 中国人民解放军总医院 基于知识图谱的生成式大模型建模方法、系统及设备
CN117688974B (zh) * 2024-02-01 2024-04-26 中国人民解放军总医院 基于知识图谱的生成式大模型建模方法、系统及设备

Similar Documents

Publication Publication Date Title
US11403680B2 (en) Method, apparatus for evaluating review, device and storage medium
CN113326764B (zh) 训练图像识别模型和图像识别的方法和装置
CN114372477B (zh) 文本识别模型的训练方法、文本识别方法及装置
US10592607B2 (en) Iterative alternating neural attention for machine reading
CN111309915A (zh) 联合学习的自然语言训练方法、系统、设备及存储介质
WO2023241410A1 (zh) 数据处理方法、装置、设备及计算机介质
CN112507190B (zh) 一种财经快讯的关键词提取方法和系统
CN112347760A (zh) 意图识别模型的训练方法及装置、意图识别方法及装置
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
US20220382965A1 (en) Text sequence generating method and apparatus, device and medium
CN110738056B (zh) 用于生成信息的方法和装置
CN115798661A (zh) 临床医学领域的知识挖掘方法和装置
CN115186666A (zh) 一种命名实体识别方法、装置、电子设备及存储介质
CN114298007A (zh) 一种文本相似度确定方法、装置、设备及介质
CN111859933B (zh) 马来语识别模型的训练方法、识别方法、装置、设备
CN110852057A (zh) 一种计算文本相似度的方法和装置
CN110675865B (zh) 用于训练混合语言识别模型的方法和装置
CN115952854B (zh) 文本脱敏模型的训练方法、文本脱敏方法及应用
US20230153550A1 (en) Machine Translation Method and Apparatus, Device and Storage Medium
JP7106647B2 (ja) 社会的感情および自然言語生成の量子重ね合せおよび量子もつれ
CN107656627B (zh) 信息输入方法和装置
CN113254578B (zh) 用于数据聚类的方法、装置、设备、介质和产品
CN113268575B (zh) 一种实体关系识别方法、装置及可读介质
CN112633394B (zh) 一种智能用户标签确定方法、终端设备及存储介质
CN111126078B (zh) 翻译的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination