CN113901822A - 实体识别模型建立方法、系统、电子设备及介质 - Google Patents

实体识别模型建立方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN113901822A
CN113901822A CN202111225269.6A CN202111225269A CN113901822A CN 113901822 A CN113901822 A CN 113901822A CN 202111225269 A CN202111225269 A CN 202111225269A CN 113901822 A CN113901822 A CN 113901822A
Authority
CN
China
Prior art keywords
language
vector
masking
entity
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111225269.6A
Other languages
English (en)
Inventor
刘伟硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202111225269.6A priority Critical patent/CN113901822A/zh
Publication of CN113901822A publication Critical patent/CN113901822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了实体识别模型建立方法、系统、电子设备及介质，实体识别模型建立方法包括：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；将第一语言掩蔽文本与第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；对第一训练矩阵与第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与第三隐层向量进行计算，获得分类概率分布向量；使用概率分布向量与分类概率分布向量对初始Transformer模型进行反向传播计算，对编码层进行更新，获得最终Transformer模型。

Description

实体识别模型建立方法、系统、电子设备及介质
技术领域
本申请涉及知识图谱技术领域，尤其涉及一种实体识别模型建立方法、系统、电子设备及介质。
背景技术
命名实体识别(Named Entities Recognition,NER)是自然语言处理(NaturalLanguage Processing,NLP)的一个基础任务，其目的是识别语料中人名、地名、组织机构名等命名实体。现有主要解决实体识别的主要技术包括基于规则和词典的方法、基于统计的方法和基于深度学习的方法。主要的基于统计的方法有：隐马尔可夫模型(HiddenMarkovMode,HMM)、最大熵(MaxmiumEntropy,ME)、支持向量机(SupportVectorMachine,SVM)、条件随机场(ConditionalRandom Fields,CRF)。主要的基于深度学习的方法有，Bi-LSTM、Bi-LSTM+CRF，基于预训练模型的方法。但是目前的实体识别方法都是将实体识别当作一个序列标注任务，没有考虑到自然语言中语言实体的语言特性。在语言序列中词性等相关语义信息的引入和对语境信息的提取对实体的发现和识别非常重要的意义。因而，如何加深语言文本的挖掘与提高实体识别的准确率成为一个亟待解决的问题。
发明内容
本申请实施例提供了一种实体识别模型建立方法、系统、电子设备及介质，以至少通过本发明解决了对自然语言中语言实体的语言特性缺乏考虑，导致实体的发现与识别准确率低等问题。
本发明提供了实体识别模型建立方法，包括：
语言掩蔽文本获取步骤：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从所述输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取步骤：将所述第一语言掩蔽文本与所述第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练步骤：对第一训练矩阵与所述第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与所述第三隐层向量进行计算，获得分类概率分布向量；
模型获取步骤：使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算，对所述编码层进行更新，获得最终Transformer模型。
上述的实体识别模型建立方法中，所述语言掩蔽文本获取步骤包括：
对文本的词性表示向量、字向量以及位置表示向量进行拼接，获取所述输入表示向量；
通过所述输入表示向量的实体信息统计所述输入表示向量包含的实体数量后，从实体中选取预设实体数量个所述第一实体，对所述第一实体进行语言掩蔽，获得所述第一语言掩蔽文本。
上述的实体识别模型建立方法中，所述语言掩蔽文本获取步骤还包括：
对所述输入表示向量进行分词获得所述分词结果后，从所述分词结果中选取预设词汇数量个所述非实体词汇，对所述非实体词汇进行语言掩蔽，获得所述第二语言掩蔽文本。
上述的实体识别模型建立方法中，所述隐层向量获取步骤包括：
通过所述初始Transformer模型的所述输出结果获得所述第一语言掩蔽文本与所述第二语言掩蔽文本中掩蔽类型一致的掩蔽文本的多个第二隐层向量；
对多个所述第二隐层向量进行求和，计算获得所述第三隐层向量。
上述的实体识别模型建立方法中，所述模型训练步骤包括：
在所述初始Transformer模型中建立所述第一训练矩阵后，对所述第一训练矩阵与所述第一隐层向量进行计算，获得所述概率分布向量；
在所述初始Transformer模型中建立所述第二训练矩阵后，对所述第二训练矩阵和所述第三隐层向量进行计算，获得所述第一语言掩蔽文本与所述第二语言掩蔽文本的所述分类概率分布向量。
上述的实体识别模型建立方法中，所述模型获取步骤包括：
使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算获得损失函数值。
上述的实体识别模型建立方法中，所述模型获取步骤还包括：
根据所述损失函数值更新所述编码层中初始Transformer模型参数后，获得所述最终Transformer模型。
本发明还提供实体识别模型建立系统，其中，适用于上述所述的实体识别模型建立方法，所述实体识别模型建立系统包括：
语言掩蔽文本获取单元：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从所述输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取单元：将所述第一语言掩蔽文本与所述第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练单元：对第一训练矩阵与所述第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与所述第三隐层向量进行计算，获得分类概率分布向量；
模型获取单元：使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算，对所述编码层进行更新，获得最终Transformer模型。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的实体识别模型建立方法。
本发明还提供一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现上述任一项所述的实体识别模型建立方法。
相比于相关技术，本发明提出的实体识别模型建立方法、系统、电子设备及介质，输入表示阶段融入了输入表示向量，由于输入表示向量中包含了词性信息，因此词性信息的融入增加了模型的语义丰富度；通过掩蔽实体和掩蔽非实体词汇的方法增强了模型对句法语法的学习和捕捉；预训练任务中不仅得到了语言表示方式，还通过预测实体以及非实体词汇的方式学习到了实体与文本语境的关系，同时预测掩蔽部分的所属种类，增强了模型对实体和普通词汇的区别，并提高了实体识别的准确率以及图谱构建能力。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的实体识别模型建立方法流程图；
图2是根据本申请实施例的输入表示向量显示图；
图3是根据本申请实施例的预训练任务显示图；
图4为本发明的实体识别模型建立系统的结构示意图；
图5是根据本申请实施例的电子设备的框架图。
其中，附图标记为：
语言掩蔽文本获取单元：51；
隐层向量获取单元：52；
模型预训练单元：53；
模型获取单元：54；
总线:80；
处理器：81；
存储器：82；
通信接口：83。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明通过输入表示阶段融入词性信息并通过语言掩蔽方式对实体与非实体词汇进行语言掩蔽后，将掩蔽结果输入到模型中训练模型，加深了对语言文本的挖掘和学习，并提高了实体识别与发现的准确率。
下面结合具体实施例对本发明进行说明。
实施例一
本实施例提供了实体识别模型建立方法。请参照图1至图3，图1是根据本申请实施例的实体识别模型建立方法流程图；图2是根据本申请实施例的输入表示向量显示图；图3是根据本申请实施例的预训练任务显示图，如图1至图3所示，实体识别模型建立方法包括如下步骤：
语言掩蔽文本获取步骤S1：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取步骤S2：将第一语言掩蔽文本与第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练步骤S3：对第一训练矩阵与第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与第三隐层向量进行计算，获得分类概率分布向量；
模型获取步骤S4：使用概率分布向量与分类概率分布向量对初始Transformer模型进行反向传播计算，对编码层进行更新，获得最终Transformer模型。
在实施例中，语言掩蔽文本获取步骤S1包括：
对文本的词性表示向量、字向量以及位置表示向量进行拼接，获取输入表示向量；
通过输入表示向量的实体信息统计输入表示向量包含的实体数量后，从实体中选取预设实体数量个所述第一实体，对第一实体进行语言掩蔽，获得第一语言掩蔽文本。
在具体实施中，以一个字的位置举例，首先有一个向量矩阵，得到这个字的位置比如“2”，那么就在向量矩阵中取出第2个向量作为这个字的位置表示向量，同样的，比如“我”这个字在字典里有他的序号，这个字典是自定义的，那么同样地按照序号去找对应的字向量，“我”这个字的词性也是通过建立词性词典来找对应的词性向量；得到文本中每一个字的词性表示向量、字向量以及位置表示向量后，对上述三个向量进行拼接获得文本的输入表示向量。
通过输入表示向量中的实体信息统计输入表示向量包含的实体数量(Entitymask)后，从实体中随机选取预设实体数量(Entitymask＝[50％·Entitynum]，对实体数量的二分之一上取整)个第一实体，并对第一实体进行语言掩蔽，获得第一语言掩蔽文本，即被选中的实体中包含的全部字用[mask]标志代替。
在实施例中，语言掩蔽文本获取步骤S1还包括：
对输入表示向量进行分词获得分词结果后，从分词结果中选取预设词汇数量个非实体词汇，对非实体词汇进行语言掩蔽，获得第二语言掩蔽文本。
在具体实施中，对输入表示向量进行分词获得分词结果后，从分词结果中选取预设词汇数量(Wordnum)个非实体词汇，并对非实体词汇进行语言掩蔽，获得第二语言掩蔽文本。其中，Wordnum＝Random[0,Entitymask](在0到Entitymask闭区间取随机整数)。
在实施例中，隐层向量获取步骤S2中包括：
通过初始Transformer模型的输出结果获得第一语言掩蔽文本与第二语言掩蔽文本中掩蔽类型一致的掩蔽文本的多个第二隐层向量；
对多个第二隐层向量进行求和，计算获得第三隐层向量。
具体实施中，所谓的隐层向量(X8,…X11)，就是被掩蔽部分的模型输出，另外，最开始将掩蔽内容的输入到模型的时，模型已经知道哪些文本内容是被遮蔽住了的，所以在输出部分模型自然就知道哪些掩蔽内容类型是一致的；将第一语言掩蔽文本与第二语言掩蔽文本输入到初始Transformer模型的编码层中,从输出结果中获得第一隐层向量和多个掩蔽类型相同的掩蔽内容的第二隐层向量后，对多个第二隐层向量进行求和，计算出第三隐层向量
Figure BDA0003314050540000071
第三隐层向量是第一语言掩蔽文本与第二语言掩蔽文本中掩蔽类型相同的掩蔽文本的隐层向量总和，其中，掩蔽类型相同指的是掩蔽内容类型一致的掩蔽内容，比如“明略科技”是在输入到模型的时候是被当作一个单元遮蔽的，那么“明”、“略”、“科”、“技”就属于掩蔽类型相同的掩蔽内容。
在实施例中，模型训练步骤S3包括：
在初始Transformer模型中建立第一训练矩阵后，对第一训练矩阵与第一隐层向量进行计算，获得概率分布向量；
在初始Transformer模型中建立第二训练矩阵后，对第二训练矩阵和第三隐层向量进行计算，获得第一语言掩蔽文本与第二语言掩蔽文本的分类概率分布向量。
在具体实施中，在初始Transformer模型中建立第一训练矩阵
Figure BDA0003314050540000081
后，对第一训练矩阵与第一隐层向量进行乘法计算，获得非实体词汇概率分布向量(n维的向量V)；其中，m表示初始Transformer模型的编码器输出的隐层向量X的维度，n表示语料的词典大小。
在初始Transformer模型中建立第二训练矩阵
Figure BDA0003314050540000082
后，对第二训练矩阵
Figure BDA0003314050540000083
和第三隐层向量
Figure BDA0003314050540000084
进行计算，获得第一语言掩蔽文本与第二语言掩蔽文本的分类概率分布向量(U)。
在实施例中，模型获取步骤S4包括：
使用概率分布向量与分类概率分布向量对初始Transformer模型进行反向传播计算获得损失函数值。
在实施例中，模型获取步骤S4还包括：
根据损失函数值更新编码层中初始Transformer模型参数后，获得最终Transformer模型。
实施例二
请参照图4，图4为本发明的实体识别模型建立系统的结构示意图。如图4所示，发明的实体识别模型建立系统，适用于上述的实体识别模型建立方法，实体识别模型建立系统，包括：
语言掩蔽文本获取单元51：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从所述输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取单元52：将所述第一语言掩蔽文本与所述第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练单元53：对第一训练矩阵与所述第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与所述第三隐层向量进行计算，获得分类概率分布向量；
模型获取单元54：使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算，对所述编码层进行更新，获得最终Transformer模型。
实施例三
结合图5所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在异常数据监测装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory，简称为FPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory，简称为EFPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-AccessMemory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意实体识别模型建立方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/异常数据监测设备、数据库、外部存储以及图像/异常数据监测工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
电子设备可连接实体识别模型建立系统，从而实现结合图1至图3的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
综上所述，词性信息对命名实体的发现和识别具有积极意义，因此本发明在输入表示阶段融入词性信息，并通过预言掩蔽的方式增强了模型对语法的学习和捕捉后，通过模型预测任务增强了模型对实体和普通词汇的区别，因而提高了实体识别准确度。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求的保护范围为准。

Claims (10)

1.一种实体识别模型建立方法，其特征在于，构建一实体识别预测模型以应用于中文实体识别场景，包括：
语言掩蔽文本获取步骤：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从所述输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取步骤：将所述第一语言掩蔽文本与所述第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练步骤：对第一训练矩阵与所述第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与所述第三隐层向量进行计算，获得分类概率分布向量；
模型获取步骤：使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算，对所述编码层进行更新，获得最终Transformer模型。
2.根据权利要求1所述的实体识别模型建立方法，其特征在于，所述语言掩蔽文本获取步骤包括：
对文本的词性表示向量、字向量以及位置表示向量进行拼接，获取所述输入表示向量；
通过所述输入表示向量的实体信息统计所述输入表示向量包含的实体数量后，从实体中选取预设实体数量个所述第一实体，对所述第一实体进行语言掩蔽，获得所述第一语言掩蔽文本。
3.根据权利要求1所述的实体识别模型建立方法，其特征在于，所述语言掩蔽文本获取步骤还包括：
对所述输入表示向量进行分词获得所述分词结果后，从所述分词结果中选取预设词汇数量个所述非实体词汇，对所述非实体词汇进行语言掩蔽，获得所述第二语言掩蔽文本。
4.根据权利要求1所述的实体识别模型建立方法，其特征在于，所述隐层向量获取步骤包括：
通过所述初始Transformer模型的所述输出结果获得所述第一语言掩蔽文本与所述第二语言掩蔽文本中掩蔽类型一致的掩蔽文本的多个第二隐层向量；
对多个所述第二隐层向量进行求和，计算获得所述第三隐层向量。
5.根据权利要求1所述的实体识别模型建立方法，其特征在于，所述模型训练步骤包括：
在所述初始Transformer模型中建立所述第一训练矩阵后，对所述第一训练矩阵与所述第一隐层向量进行计算，获得所述概率分布向量；
在所述初始Transformer模型中建立所述第二训练矩阵后，对所述第二训练矩阵和所述第三隐层向量进行计算，获得所述第一语言掩蔽文本与所述第二语言掩蔽文本的所述分类概率分布向量。
6.根据权利要求1所述的实体识别模型建立方法，其特征在于，所述模型获取步骤包括：
使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算获得损失函数值。
7.根据权利要求6所述的实体识别模型建立方法，其特征在于，所述模型获取步骤还包括：
根据所述损失函数值更新所述编码层中初始Transformer模型参数后，获得所述最终Transformer模型。
8.一种实体识别模型建立系统，其特征在于，适用于上述权利要求1至7中任一项所述的实体识别模型建立方法，所述实体识别模型建立系统包括：
语言掩蔽文本获取单元：对输入表示向量中的第一实体进行语言掩蔽，获得第一语言掩蔽文本后，从所述输入表示向量的分词结果中选取非实体词汇并对其进行语言掩蔽，获得第二语言掩蔽文本；
隐层向量获取单元：将所述第一语言掩蔽文本与所述第二语言掩蔽文本输入到初始Transformer模型的编码层，从输出结果中获得第一隐层向量与第三隐层向量；
模型预训练单元：对第一训练矩阵与所述第一隐层向量进行计算，获得概率分布向量后，对第二训练矩阵与所述第三隐层向量进行计算，获得分类概率分布向量；
模型获取单元：使用所述概率分布向量与所述分类概率分布向量对所述初始Transformer模型进行反向传播计算，对所述编码层进行更新，获得最终Transformer模型。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的实体识别模型建立方法。
10.一种电子设备可读存储介质，所述电子设备可读存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现如权利要求1至7中任一项所述的实体识别模型建立方法。
CN202111225269.6A 2021-10-21 2021-10-21 实体识别模型建立方法、系统、电子设备及介质 Pending CN113901822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111225269.6A CN113901822A (zh) 2021-10-21 2021-10-21 实体识别模型建立方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111225269.6A CN113901822A (zh) 2021-10-21 2021-10-21 实体识别模型建立方法、系统、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113901822A true CN113901822A (zh) 2022-01-07

Family

ID=79193058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111225269.6A Pending CN113901822A (zh) 2021-10-21 2021-10-21 实体识别模型建立方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113901822A (zh)

Similar Documents

Publication Publication Date Title
CN109344406B (zh) 词性标注方法、装置和电子设备
CN112633947B (zh) 文本生成模型生成方法、文本生成方法、装置及设备
CN111274368B (zh) 槽位填充方法及装置
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN112434510B (zh) 一种信息处理方法、装置、电子设备和存储介质
CN112183102A (zh) 基于注意力机制与图注意力网络的命名实体识别方法
CN113626608B (zh) 增强语义的关系抽取方法、装置、计算机设备及存储介质
CN112417878B (zh) 实体关系抽取方法、系统、电子设备及存储介质
US20220083745A1 (en) Method, apparatus and electronic device for determining word representation vector
CN110795541A (zh) 文本查询方法、装置、电子设备及计算机可读存储介质
CN112232070A (zh) 自然语言处理模型构建方法、系统、电子设备及存储介质
CN114970470B (zh) 文案信息处理方法、装置、电子设备和计算机可读介质
CN113836297B (zh) 文本情感分析模型的训练方法及装置
CN115630643A (zh) 语言模型的训练方法、装置、电子设备及存储介质
CN113901822A (zh) 实体识别模型建立方法、系统、电子设备及介质
CN113722471A (zh) 一种文本摘要生成方法、系统、电子设备及介质
CN113255334A (zh) 一种计算字向量方法、系统、电子设备及存储介质
CN114490946A (zh) 基于Xlnet模型的类案检索方法、系统及设备
CN110347813B (zh) 一种语料处理方法、装置、存储介质及电子设备
CN113255326A (zh) 未登录词词向量计算方法、系统、电子设备及存储介质
JP2018165875A (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法
CN113919335A (zh) 预训练词向量生成方法、系统、电子设备及存储介质
CN110619869B (zh) 用于训练混合语言识别模型的方法和装置
CN113204955B (zh) 文本信息抽取系统、方法、计算机设备和存储介质
CN113761167B (zh) 一种会话信息抽取方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination