CN113806562B - 模型训练方法、装置、设备及存储介质 - Google Patents

模型训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113806562B
CN113806562B CN202111364141.8A CN202111364141A CN113806562B CN 113806562 B CN113806562 B CN 113806562B CN 202111364141 A CN202111364141 A CN 202111364141A CN 113806562 B CN113806562 B CN 113806562B
Authority
CN
China
Prior art keywords
entity
sample
character
sentence
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111364141.8A
Other languages
English (en)
Other versions
CN113806562A (zh
Inventor
谭传奇
刘一佳
袁正
黄松芳
黄非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Damo Institute Hangzhou Technology Co Ltd filed Critical Alibaba Damo Institute Hangzhou Technology Co Ltd
Priority to CN202111364141.8A priority Critical patent/CN113806562B/zh
Publication of CN113806562A publication Critical patent/CN113806562A/zh
Application granted granted Critical
Publication of CN113806562B publication Critical patent/CN113806562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本公开涉及一种模型训练方法、装置、设备及存储介质，该方法包括：利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体。通过本公开提供的模型训练方法可提高实体的识别精度。

Description

模型训练方法、装置、设备及存储介质
技术领域
本公开涉及信息技术领域，尤其涉及一种模型训练方法、装置、设备及存储介质。
背景技术
随着科技的不断发展，语言模型在自然语言处理中占有重要的地位，它的任务是预测一个句子在语言中出现的概率。
但是，本申请的发明人发现，现有技术中的语言模型是通过文本训练得到的，导致训练出的语言模型无法对文本中实体的内涵进行准确理解和推断。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种模型训练方法、装置、设备及存储介质，通过本公开提供的模型训练方法可提高实体的识别精度。
第一方面，本公开实施例提供一种模型训练方法，包括：
利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；
从字符预测完成的输入文本中提取实体；
对提取的实体进行预测，得到提取的实体是否属于所述知识图谱中的实体。
第二方面，本公开实施例提供一种模型训练装置，包括：
第一预测模块，用于利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；
实体提取模块，用于从字符预测完成的输入文本中提取实体；
第二预测模块，用于对提取的实体进行预测，得到提取的实体是否属于所述知识图谱中的实体。
第三方面，本公开实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面所述的方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
本公开实施例提供的模型训练方法、装置、设备及存储介质，通过利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于知识图谱中的实体的技术手段，实现了提高实体识别精度的目的。进而可使得下游任务获得较准确的输出。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的模型训练方法流程图；
图2为本公开实施例提供的模型训练方法流程图；
图3为本公开实施例提供的一种模型训练的流程架构图；
图4为本公开实施例提供的模型训练方法流程图；
图5为本公开实施例提供的模型训练方法流程图；
图6为本公开另一实施例提供的模型训练方法流程图；
图7为本公开实施例提供的模型训练装置的结构示意图；
图8为本公开实施例提供的电子设备实施例的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
随着科技的不断发展，语言模型在自然语言处理中占有重要的地位，它的任务是预测一个句子在语言中出现的概率。通常情况下，语言模型是通过文本训练得到的，导致训练出的语言模型无法对文本中实体的内涵进行准确理解和推断。例如在医学领域，语言模型只使用医学文本进行预训练（包括医学论文和医学病历）。然而在医学中沉淀了许多医学知识图谱，其中包含了丰富的医学同义词和医学概念间的关系。这些结构化的知识并没有被语言模型直接学习到，因此，只使用医学文本进行预训练的语言模型缺失了知识图谱中的结构化知识，不能对医学实体背后的内涵进行理解和推断，但这些同义词知识和关系知识能够让语言模型对医学文本有更好的理解。针对该问题，本公开实施例提供了一种模型训练方法，旨在在模型训练过程中引入知识图谱（知识图谱是一种反应实体间的关系的网络，一般由实体和实体间的关系构成），以使训练得到的模型能够对待识别文本中实体的内涵进行准确理解和推断，从而提高实体的识别精度。下面结合具体的实施例对该方法进行介绍。
图1为本公开实施例提供的模型训练方法流程图。本实施例可适用于对各种领域中的语言模型进行训练的情况，该方法可以由模型训练装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如终端，具体包括手机、电脑或平板电脑等。或者，本实施例可适用于服务端中对各种领域中的语言模型进行训练的情况，该方法可以由模型训练装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器。
如图1所示，该方法具体步骤如下：
S101、利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测。
知识图谱是一种反应实体间关系的网络，一般由实体和实体间的关系构成。其中，本公开中的知识图谱可以是医学领域的知识图谱，基于医学领域的知识图谱中的实体训练后的语言模型可以对医学实体进行检测或识别。另外，知识图谱还可以是煤矿领域的知识图谱或电力行业的知识图谱，从而使得基于知识图谱中的实体训练后的语言模型可以对煤矿领域的实体或电力行业的实体进行检测或识别。
输入文本指在语言模型的使用阶段，输入至语言模型的文本。对输入文本进行字符预测包括对输入文本中的单词、子词或汉子等进行预测。单词和子词的区别是：单词的粒度比子词的粒度大，即子词可以组成单词。
S102、从字符预测完成的输入文本中提取实体。
S103、对提取的实体进行预测，得到提取的实体是否属于知识图谱中的实体。
本实施例提供的模型训练方法，通过利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于知识图谱中的实体的技术手段，实现了提高实体识别精度的目的。
进一步的，可通过如下模型训练方法获得基于知识图谱中的实体训练后的语言模型。在一种实施方式中，参考图2所示的一种模型训练方法的流程示意图，该方法包括如下步骤：
S201、获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注。
其中，输入句子指在模型训练阶段，输入至语言模型的句子，该句子可以称为训练样本或者样本文本。可根据语言模型的应用领域针对性的获取某具体领域内的常用文本作为样本文本。例如在医学领域，样本文本可以是医学论文的摘要；在科技领域，样本文本可以是科技论文的摘要等；在煤炭领域，样本文本可以是煤炭领域内的论文摘要、期刊简介等；在电力领域，样本文本可以是电力领域内的论文摘要、期刊简介等。本公开以医学领域的语言模型为例进行说明。
样本文本可以是一篇医学论文的摘要，假设一篇医学论文的摘要包括5句话，该5句话一起作为样本文本；也可以是多篇医学论文分别对应的摘要。在样本文本是多篇医学论文分别对应的摘要的情况下，为了提高模型的训练速度，预先对多篇医学论文分别对应的摘要进行预处理，以规范样本文本的格式。具体的，假设样本文本是10篇医学论文分别对应的摘要构成的集合，如果每篇医学论文的摘要包括5句话，可以将每5句话构成一行，得到一个10*5的矩阵，该矩阵为样本文本，作为语言模型的输入。
具体的，可利用待训练的语言模型确定样本文本中每个字符分别对应的第一编码信息。示例性的，参考如图3所示的一种模型训练的流程架构图，上述的样本文本即为图3所示待训练语言模型的“输入”。本公开实施例以待训练的语言模型是医学语言模型为例进行说明。
样本文本包括多个字符，假设样本文本记为
Figure 666012DEST_PATH_IMAGE001
，表示样本文本x包括n个字符，每个字符可以是一个单词、一个子词或者一个汉字。单词和子词的区别是：单词的粒度比子词的粒度大，即子词可以组成单词，本公开实施例以字符是单词为例进行说明。如图3所示，样本文本x包括6个字符，即
Figure 964270DEST_PATH_IMAGE002
依次是“MASK”、“MASK”、“cause”、“coronary”、“artery”、“disease”。
以图3为例，语言模型通过Transformers模型（Transformers模型是一种基于自注意力（self-attention）的序列建模模型）对输入的样本文本进行文本编码，获得样本文本中每个字符分别对应的第一编码信息。样本文本中每个字符分别对应的第一编码信息即为图3所示的h层。
通过Transformers模型对输入的样本文本进行文本编码，获得样本文本中每个字符分别对应的第一编码信息的过程可通过如下公式（1）进行表达：
Figure 226755DEST_PATH_IMAGE003
其中，样本文本记为
Figure 3081DEST_PATH_IMAGE004
，每个字符
Figure 831360DEST_PATH_IMAGE005
和第一编码信息
Figure 566098DEST_PATH_IMAGE006
一一对应，例如第一编码信息
Figure 572669DEST_PATH_IMAGE007
是字符
Figure 152686DEST_PATH_IMAGE008
对应的第一编码信息，第一编码信息
Figure 304313DEST_PATH_IMAGE007
也称为字符
Figure 944373DEST_PATH_IMAGE008
对应的嵌入；第一编码信息
Figure 712609DEST_PATH_IMAGE009
是字符
Figure 361896DEST_PATH_IMAGE010
对应的第一编码信息，第一编码信息
Figure 896258DEST_PATH_IMAGE009
也称为字符
Figure 972798DEST_PATH_IMAGE010
对应的嵌入。
S202、根据句子中每个字符的标注，确定句子中的一个或多个样本实体。
其中，一个样本实体由一个或多个字符构成，例如在医学领域，样本实体具体可以是“肺结核”、“冠心病”等。样本实体“肺结核”由三个字符“肺”、“结”、“核”构成；样本实体“冠心病”由三个字符“冠”、“心”“病”构成。每个字符的标注用于表示字符与样本实体的位置关系，例如字符“冠”位于样本实体“冠心病”的第一个位置，字符“心”位于样本实体“冠心病”的第二个位置，字符“病”位于样本实体“冠心病”的第三个位置，如此根据每个字符分别对应的标注可确定句子中的样本实体。
具体的，在一些实施方式中，通过命名实体识别工具和实体链接工具确定样本文本中的每个样本实体。在将样本文本输入至语言模型之前，通过命名实体识别工具和实体链接工具可以预先标注出样本文本中的一个或多个样本实体m。任一样本实体m可以表示为
Figure 228330DEST_PATH_IMAGE011
。例如，命名实体识别工具和实体链接工具在样本文本中预先标注出两个样本实体，每个样本实体用一个虚线框表示，如图3所示，两个字符“MASK”外有一个虚线框，样本文本的后三个字符外有一个虚线框，每个虚线框内的字符构成一个样本实体。一个样本实体可以由一个或多个字符构成，一个样本实体对应一个实体编号。例如，样本实体m包括3个字符，
Figure 415729DEST_PATH_IMAGE012
表示该样本实体m所包括的3个字符中的第一个字符，
Figure 807527DEST_PATH_IMAGE013
表示样本实体m中的最后一个字符。通过命名实体识别工具和实体链接工具标注出样本实体后，进一步，通过实体链接工具标注出每个样本实体的实体编号，实体链接工具给每个样本实体标注的实体编号属于知识图谱。
在另一些实施方式中，确定样本文本中的每个样本实体包括：语言模型根据每个字符分别对应的第一编码信息确定每个字符分别对应的标注，根据每个字符分别对应的标注确定样本文本中的每个样本实体。具体的，语言模型利用每个字符分别对应的第一编码信息预测每个字符的标注（标注包括B、I或者O，B代表该字符在某一实体的开头，I代表该字符在某一实体的中间，O代表该字符不在任何实体的开头或中间）。语言模型利用每个字符分别对应的第一编码信息预测每个字符的标注可以通过如下公式（2）进行：
Figure 789390DEST_PATH_IMAGE014
其中，
Figure 797797DEST_PATH_IMAGE015
表示线性参数。
Figure 526237DEST_PATH_IMAGE016
。
Figure 303700DEST_PATH_IMAGE017
表示每个字符分别对应的第一编码信息
Figure 456464DEST_PATH_IMAGE018
中的第i个。
Figure 952168DEST_PATH_IMAGE019
表示在输入样本文本的条件下该样本文本中的第i个字符被标注为B、I和O的概率。也就是说，当
Figure 215790DEST_PATH_IMAGE020
为B时，
Figure 847759DEST_PATH_IMAGE019
表示第i个字符被标注为B的概率。当
Figure 702583DEST_PATH_IMAGE020
为I时，
Figure 420003DEST_PATH_IMAGE019
表示第i个字符被标注为I的概率。当
Figure 484387DEST_PATH_IMAGE020
为O时，
Figure 236442DEST_PATH_IMAGE019
表示第i个字符被标注为O的概率。对应的，图3中的“实体检测”层是指语言模型基于每个字符分别对应的第一编码信息
Figure 465429DEST_PATH_IMAGE018
预测每一个字符的标注（B、I或者O）。针对同一个字符，例如，第i个字符，语言模型预测出3个概率，即第i个字符被标注为B的概率、被标注为I的概率和被标注为O的概率。此时，可以选择一个概率最大的标注结果作为语言模型给第i个字符的标注。
在一些实施方式中，样本文本中的每个样本实体可以在将样本文本输入至语言模型之前通过预设方法确定并进行标注。具体的，确定样本文本中的每个样本实体包括：通过命名实体识别工具和实体链接工具确定样本文本中的每个样本实体。其中，命名实体识别工具和实体链接工具是与语言模型相互独立的工具，在本公开实施例中认为通过命名实体识别工具和实体链接工具确定的样本文本中的每个样本实体是准确的，在模型训练阶段，命名实体识别工具和实体链接工具指能够得到正确的样本实体的工具；在模型使用阶段，命名实体识别工具和实体链接工具不参与运算。
S203、针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体。
可选的，根据句子中的每个字符分别对应的第一编码信息，确定句子中每个样本实体分别对应的第一实体向量，样本实体由一个或多个字符构成。
每个样本实体分别对应的第一实体向量可以是一个由几百维数字组成的向量，第一实体向量由组成样本实体的每个字符分别对应的第一编码信息预先确定，可存储于知识图谱。故基于组成样本实体的每个字符分别对应的第一编码信息可以查找到该样本实体对应的第一实体向量。可选的，样本实体的第一实体向量是根据样本实体包括的第一个字符的第一编码信息和样本实体包括的最后一个字符的第一编码信息得到的。
其中，样本文本中每个样本实体分别对应的第一实体向量为图3所示的“实体表示”层。样本文本中的每个样本实体对应图3中的标号210和220。其中，样本实体210由两个字符（分别是“MASK”、“MASK”）构成，实体编号为C1532253；样本实体220由三个字符（分别是“coronary”、“artery”、“disease”）构成，实体编号为C0010054。知识图谱可以根据具体的应用领域确定，例如若语言模型应用在医学领域，则知识图谱为医学知识图谱；若语言模型应用在科技领域，则知识图谱为科技知识图谱。知识图谱是一种反应实体间的关系的网络，一般由实体和实体间的关系构成。
在模型训练阶段，若只基于样本文本对语言模型进行训练，则训练获得的模型缺失知识图谱中的结构化知识，便不能对实体背后的内涵进行理解和推断。针对该问题，在本公开提供的模型训练方法中，结合预设的知识图谱对输入的文本样本中的每个第一实体向量进行处理，以将知识图谱中包含的丰富的同义词和概念间的结构化关系引入语言模型，使语言模型能够学习到知识图谱中的结构化知识，从而使得训练好的语言模型能够对待识别文本中实体的内涵进行准确理解和推断。
知识图谱中包括很多个参考实体，由于知识图谱中包含有丰富的同义词和概念间的结构化关系，因此从参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体，可为使样本实体包含丰富的同义词和概念间的结构化关系提供参考数据，从而为提高语言模型的处理精度提供数据基础。
S204、根据样本实体对应的待选实体，确定样本实体的第二实体向量。
可选的，可将样本实体对应的待选实体的向量直接确定为样本实体的第二实体向量，或者对待选实体的向量以及样本实体对应的第一实体向量进行融合处理获得样本实体的第二实体向量，以使样本实体包含丰富的同义词和概念间的结构化关系的实体，从而为提高语言模型的处理精度提供数据基础。
示例性的，每个样本实体分别对应的第二实体向量对应图3所示的“额外实体表示”层。
S205、根据句子中每个样本实体的第二实体向量，对语言模型进行训练。
本公开实施例通过将样本文本和知识图谱同时作为语言模型的训练数据对语言模型进行训练，既可以利用到知识图谱中的结构化知识，也可以利用到自由文本，从而使得训练获得的语言模型可输出较为精准的结果，该结果可作为下游任务的输入，通过为下游任务提供较为精准的输入，可提高下游任务的处理精度。
图4为本公开另一实施例提供的模型训练方法流程图。在本实施例中，针对上述实施例的步骤S205“根据句子中每个样本实体的第二实体向量，对语言模型进行训练”给出一种可选实施方式。如图4所示，该方法具体步骤如下：
S401、获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注。
S402、根据句子中每个字符的标注，确定句子中的一个或多个样本实体。
S403、针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体。
S404、根据样本实体对应的待选实体，确定样本实体的第二实体向量。
S405、根据句子中每个样本实体的第二实体向量，确定句子中每个字符分别对应的目标编码信息，至少根据句子中部分字符对应的目标编码信息对语言模型进行训练。
具体的，在获得每个样本实体分别对应的第二实体向量之后，对第二实体向量进行解码或者说是反编码，可获得每个字符分别对应的目标编码信息，每个字符分别对应的目标编码信息与每个字符分别对应的第一编码信息进行比较，若两者越接近，则表示语言模型被训练的越好，语言模型的性能越好；若两者相差越远，则表示语言模型有待继续进行训练，并可基于两者之间的差优化模型参数，从而达到对模型进行训练的目的。
其中，目标编码信息对应如图3所示的
Figure 670146DEST_PATH_IMAGE021
层。其中，在将文本样本输入至语言模型之前，可将文本样本中的部分字符进行掩码，以使语言模型基于剩余的、未被掩码的字符对被掩码的字符进行预测，并基于预测结果对语言模型进行优化训练，因此在对语言模型进行训练时基于部分字符（即被掩码的字符）对应的目标编码信息进行。
在一种实施方式中，根据句子中每个样本实体的第二实体向量，确定句子中每个字符分别对应的目标编码信息，包括：
若字符属于任一样本实体，则根据字符对应的第一编码信息和所述任一样本实体对应的第二实体向量，确定字符对应的第二编码信息；若字符不属于任一样本实体，则字符对应的第二编码信息是字符对应的第一编码信息；根据字符对应的第二编码信息，确定字符对应的目标编码信息。
在一些实施方式中，示例性的，按照如下公式（3）根据样本实体m对应的第二实体向量
Figure 806729DEST_PATH_IMAGE022
和样本文本中每个字符分别对应的第一编码信息
Figure 147711DEST_PATH_IMAGE023
得到每个字符分别对应的第二编码信息：
Figure 78758DEST_PATH_IMAGE024
其中，
Figure 785419DEST_PATH_IMAGE025
表示样本文本中第i个字符对应的第二编码信息，
Figure 194535DEST_PATH_IMAGE026
表示第i个字符对应的第一编码信息，
Figure 390024DEST_PATH_IMAGE027
和
Figure 757552DEST_PATH_IMAGE028
分别表示线性参数，
Figure 936860DEST_PATH_IMAGE022
表示样本实体m对应的第二实体向量，如果第i个字符属于某个样本实体m，则第i个字符对应的第二编码信息为
Figure 884088DEST_PATH_IMAGE029
；如果第i个字符不属于任何样本实体，则第i个字符对应的第二编码信息为第i个字符对应的第一编码信息。
进一步的，通过另一个Transformers模型，每个字符对应的第二编码信息
Figure 465242DEST_PATH_IMAGE025
作为该Transformers模型的输入，Transformers模型的输出为每个字符对应的目标编码信息，如表达式（4）所示：得到输入文本中每个单词最终的文本编码表示：
Figure 938424DEST_PATH_IMAGE030
其中，
Figure 73870DEST_PATH_IMAGE031
表示输入至语言模型的样本文本中第一个字符对应的目标编码信息，
Figure 824788DEST_PATH_IMAGE032
表示输入至语言模型的样本文本中第二个字符对应的目标编码信息……，
Figure 260449DEST_PATH_IMAGE033
表示输入至预设模型的样本文本中第n个字符对应的目标编码信息；
Figure 969779DEST_PATH_IMAGE034
和
Figure 592521DEST_PATH_IMAGE035
一一对应。
需要说明的是，参考图3所示，其中，h层表示样本文本中每个字符分别对应的第一编码信息，即
Figure 415639DEST_PATH_IMAGE036
，其中，
Figure 705806DEST_PATH_IMAGE037
表示样本文本中第一个字符对应的第一编码信息，
Figure 586038DEST_PATH_IMAGE038
表示样本文本中第二个字符对应的第一编码信息，以此类推，
Figure 696076DEST_PATH_IMAGE039
表示样本文本中第n个字符对应的第一编码信息；图3中的
Figure 54376DEST_PATH_IMAGE040
层表示样本文本中每个字符分别对应的第二编码信息，
Figure 199050DEST_PATH_IMAGE041
表示样本文本中第一个字符对应的第二编码信息，
Figure 250183DEST_PATH_IMAGE042
表示样本文本中第二个字符对应的第二编码信息……，
Figure 113096DEST_PATH_IMAGE043
表示样本文本中第n个字符对应的第二编码信息；图3中的
Figure 6578DEST_PATH_IMAGE044
层表示样本文本中每个字符分别对应的目标编码信息，
Figure 5758DEST_PATH_IMAGE031
表示输入至语言模型的样本文本中第一个字符对应的目标编码信息，
Figure 899896DEST_PATH_IMAGE032
表示输入至语言模型的样本文本中第二个字符对应的目标编码信息，以此类推，
Figure 984527DEST_PATH_IMAGE033
表示输入至语言模型的样本文本中第n个字符对应的目标编码信息。针对同一个字符的第一编码信息、第二编码信息或者目标编码信息可以是该字符对应的编号或数字表示，其中，该编号或该数字表示可以是一个向量。
本实施例针对上述步骤S205“根据句子中每个样本实体的第二实体向量，对语言模型进行训练”给出一种可选实施方式，具体的，若字符属于任一样本实体，则根据字符对应的第一编码信息和所述任一样本实体对应的第二实体向量，确定字符对应的第二编码信息；若字符不属于任一样本实体，则字符对应的第二编码信息是字符对应的第一编码信息；根据字符对应的第二编码信息，确定字符对应的目标编码信息；至少根据句子中部分字符对应的目标编码信息对语言模型进行训练。
图5为本公开另一实施例提供的模型训练方法流程图。在本实施例中，针对上述步骤S405中的“至少根据句子中部分字符对应的目标编码信息对语言模型进行训练”给出一种可选实施方式。如图5所示，该方法具体步骤如下：
S501、获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注。
S502、根据句子中每个字符的标注，确定句子中的一个或多个样本实体。
S503、针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体。
S504、根据样本实体对应的待选实体，确定样本实体的第二实体向量。
S505、根据句子中每个样本实体的第二实体向量，确定句子中每个字符分别对应的目标编码信息，根据句子中的一个或多个掩码分别对应的目标编码信息，预测一个或多个掩码分别对应的原始字符。
S506、根据预测到的一个或多个掩码分别对应的原始字符、以及原始句子中的一个或多个原始字符，确定第一损失函数，至少根据第一损失函数对语言模型进行训练。
其中，样本文本是对原始句子中的一个或多个原始字符分别替换为掩码后得到的。如图3所示，原始句子为“Sedentary lifestyle causes coronary artery disease”，将第一个单词Sedentary替换为掩码MASK，将第二个单词lifestyle替换为掩码MASK，将“MASK MASK causes coronary artery disease”作为语言模型的样本文本。Sedentarylifestyle分别是替换为掩码的原始句子中的原始字符。
在一些实施方式中，至少根据第一损失函数对语言模型进行训练，包括：根据第二损失函数和第三损失函数中的至少一个、以及第一损失函数对语言模型进行训练；第二损失函数是根据语言模型确定的句子中每个字符的标注、以及命名实体识别工具确定的每个字符分别对应的标注得到的；第三损失函数是根据预设的知识图谱中多个参考实体分别与样本实体的第一相似度、以及实体链接工具给样本实体标注的实体编号得到的。
具体的，经过上述步骤S501-S505的处理可获得每个字符分别对应的目标编码信息。进一步，语言模型中的掩码语言模型可以利用
Figure 950209DEST_PATH_IMAGE045
（即图3左起第一个掩码MASK对应的目标编码信息）预测第1个掩码MASK对应的原始字符，利用
Figure 69475DEST_PATH_IMAGE046
（即图3左起第二个掩码MASK对应的目标编码信息）预测第2个掩码MASK对应的原始字符。进一步，掩码语言模型根据其预测出的两个原始字符和真实被替换掉的两个原始字符（例如，Sedentary和lifestyle），得到第一损失函数。至少根据第一损失函数对语言模型进行训练。
进一步的，在上述实施例中“根据每个字符分别对应的第一编码信息，确定样本文本中每个样本实体分别对应的第一实体向量”的实施方式中，语言模型利用每个字符分别对应的第一编码信息预测每个字符的标注可以通过公式（2）进行：
Figure 188042DEST_PATH_IMAGE047
其中，
Figure 25548DEST_PATH_IMAGE048
表示线性参数。
Figure 529341DEST_PATH_IMAGE049
。
Figure 503113DEST_PATH_IMAGE050
表示每个字符分别对应的第一编码信息
Figure 801371DEST_PATH_IMAGE051
中的第i个。
Figure 126173DEST_PATH_IMAGE052
表示在输入样本文本的条件下该样本文本中的第i个字符被标注为B、I和O的概率。也就是说，当
Figure 433657DEST_PATH_IMAGE053
为B时，
Figure 261936DEST_PATH_IMAGE052
表示第i个字符被标注为B的概率。当
Figure 728165DEST_PATH_IMAGE053
为I时，
Figure 274684DEST_PATH_IMAGE052
表示第i个字符被标注为I的概率。当
Figure 385859DEST_PATH_IMAGE053
为O时，
Figure 68645DEST_PATH_IMAGE052
表示第i个字符被标注为O的概率。对应的，图3中的“实体检测”层是指语言模型基于每个字符分别对应的第一编码信息
Figure 239863DEST_PATH_IMAGE051
预测每一个字符的标注（B、I或者O）。针对同一个字符，例如，第i个字符，语言模型预测出3个概率，即第i个字符被标注为B的概率、被标注为I的概率和被标注为O的概率。此时，可以选择一个概率最大的标注结果作为语言模型给第i个字符的标注。同时，针对每个字符也可以通过命名实体识别工具给出一种标注结果，根据语言模型给出的标注结果和命名实体识别工具给出的标注结果之间的差可以确定第二损失函数。需要说明的是，在本公开的实施例中认为通过命名实体识别工具（该工具还可替换为其它具备上述标注功能的工具）给出的标注结果是正确的，可以作为金标准使用。
进一步的，如上述实施例所述，样本实体m对应的第一实体向量记为
Figure 8099DEST_PATH_IMAGE054
，对
Figure 657386DEST_PATH_IMAGE054
进行线性变换得到
Figure 463187DEST_PATH_IMAGE055
，在语言模型计算
Figure 539727DEST_PATH_IMAGE055
从知识图谱中选出的参考实体分别对应的第三实体向量之间的内积时，即在计算
Figure 60838DEST_PATH_IMAGE055
和
Figure 248237DEST_PATH_IMAGE056
（从知识图谱中选出的参考实体分别对应的实体编号组成集合
Figure 171194DEST_PATH_IMAGE056
）中每个实体编号对应的第三实体向量之间的內积时，得到t个相似度（即知识图谱中多个参考实体分别与样本实体的第一相似度），即t个相似度中的第i个相似度是
Figure 153056DEST_PATH_IMAGE055
和
Figure 161464DEST_PATH_IMAGE056
中的第i个实体编号对应的第三实体向量之间的內积。进一步，将t个相似度中的每个相似度转换成一个概率，可得到t个概率。该t个概率中的第i个概率表示样本实体m是
Figure 152553DEST_PATH_IMAGE056
中的第i个实体编号对应的参考实体（即第二实体）的概率。同时基于实体链接工具可识别样本实体m对应的实体编码，即通过实体链接工具（该工具还可以替换为其它具备实体标注功能的工具）可给样本实体m标注实体编号，该实体编码用于表示样本实体m的真实实体，在本实施例中认为通过实体链接工具给样本实体m标注的实体编号是准确的。进一步，根据实体链接工具给样本实体m标注的实体编号和上述t个概率，可得到第三损失函数。具体的如图3所示的知识图谱230，假设实体链接工具给样本实体m标注的实体编号为C0010200，说明实体链接工具认为样本实体m是实体“cough”的概率为100%，样本实体m是其他实体的概率为0，从而构建出一组概率。根据该组概率和上述t个概率构建第三损失函数。上述t个概率可以记为另一组概率。
进一步，根据第一损失函数、第二损失函数和第三损失函数，得到总的损失函数，总的损失函数可以是第一损失函数、第二损失函数和第三损失函数的加权和，通过总的损失函数对语言模型进行训练，即对语言模型中的参数进行优化。通过将样本文本和知识图谱同时作为语言模型的训练数据对语言模型进行训练，使得语言模型既可以利用到知识图谱中的结构化知识，也可以利用到自由文本，从而使得训练获得的语言模型可输出较为精准的结果，该结果可作为下游任务的输入，通过为下游任务提供较为精准的输入，可提高下游任务的处理精度。
在上述各实施例的基础上，语言模型可以是医学语言模型，预设的知识图谱可以是医学知识图谱，通过融入医学知识图谱可以使得医学语言模型在下游自然语言任务（例如命名实体识别任务、关系提取任务）上的效果更好，更具有可解释性。除了本公开实施例所述的在模型训练时结合知识图谱的方式之外，还可以使用其他方式向语言模型加入知识图谱，例如ERNIE、KNOWBERT等。
以语言模型是医学语言模型，预设的知识图谱是医学知识图谱为例，图3所示的是一种医学语言模型的训练过程示意图，在在医学语言模型的训练阶段，掩码语言模型包括在医学语言模型内部。当医学语言模型被训练好之后，例如在医学语言模型的使用阶段，掩码语言模型可以被替换为下游自然语言任务，例如，分类模型。本案通过知识谱图和样本文本对医学语言模型进行训练，使得医学语言模型输出的目标编码信息
Figure 927087DEST_PATH_IMAGE057
更精准，从而使得医学语言模型在使用阶段，
Figure 345430DEST_PATH_IMAGE057
作为下游自然语言任务的输入，即给下游自然语言任务提供更精准的输入，从而使得下游自然语言任务输出的结果更精准。图3中的“实体检测”层指医学语言模型基于每个字符的第一编码信息
Figure 575554DEST_PATH_IMAGE051
预测样本文本中每个字符的B、I或者O的标注信息。“实体表示”层指样本文本中每个字符第一实体向量。“额外实体表示”层指样本文本中每个字符第二实体向量。图3中的230表示医学知识图谱中的多个参考实体，每个参考实体包括第二实体、实体编码和第三实体向量，230中每个参考实体的实体编号组成集合
Figure 104755DEST_PATH_IMAGE056
，在语言模型的训练阶段和使用阶段，230中的内容不变。图3中的“实体链接”是指：从“实体表示”变为“额外实体表示”的过程，该过程需要用到230中的内容。图3中的“实体链接”和本公开中的 “实体链接工具”是同一概念。实体链接是一个线型层，在医学语言模型的训练阶段中，实体链接也被训练。
图6为本公开另一实施例提供的模型训练方法流程图。在本实施例中，针对上述实施例的步骤S203“针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体以及步骤S204“根据样本实体对应的待选实体，确定样本实体的第二实体向量”给出一种可选实施方式。如图6所示，该方法具体步骤如下：
S601、获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注，根据句子中每个字符的标注，确定句子中的一个或多个样本实体。
S602、根据样本实体的第一实体向量、以及知识图谱中的多个参考实体分别对应的第三实体向量，确定多个参考实体分别与样本实体的第一相似度。
S603、根据多个参考实体分别与样本实体的第一相似度，从多个参考实体中确定出一个或多个待选实体，待选实体与样本实体的第一相似度大于或等于预设阈值。
S604、将一个或多个待选实体分别与样本实体的第一相似度进行标准化处理，得到每个待选实体分别与样本实体的第二相似度；根据每个待选实体分别与样本实体的第二相似度、以及每个待选实体分别对应的第三实体向量，确定样本实体的第二实体向量。
其中，知识图谱中包括很多个参考实体以及每个参考实体对应的实体编号，例如图3右下角的230中的内容是从预设的知识图谱中选出的6个参考实体以及每个参考实体对应的实体编号。例如，“cough”是参考实体， “C0010200”是参考实体“cough”对应的实体编号；“coronary sclerosis”是参考实体，“C0010054”是参考实体“coronary sclerosis”对应的实体编号。将从知识图谱中选出的这些参考实体分别对应的实体编号组成集合
Figure 736725DEST_PATH_IMAGE056
，记为
Figure 325969DEST_PATH_IMAGE058
，其中，
Figure 308969DEST_PATH_IMAGE059
表示一个参考实体的实体编号，
Figure 641861DEST_PATH_IMAGE060
表示另一个参考实体的实体编号。
Figure 142986DEST_PATH_IMAGE056
中的每个实体编号对应一个第三实体向量，一个第三实体向量可以是一个几百维的数字。
Figure 168711DEST_PATH_IMAGE056
中每个实体编号对应的第三实体向量可由TransE模型在知识图谱上预先训练得到。
对于输入到语言模型的样本文本中的每个样本实体
Figure 373427DEST_PATH_IMAGE061
，将
Figure 244431DEST_PATH_IMAGE062
作为样本实体m对应的第一实体向量（具体是将
Figure 585414DEST_PATH_IMAGE063
和
Figure 516461DEST_PATH_IMAGE064
进行拼接，拼接后的结果为
Figure 208473DEST_PATH_IMAGE054
）。进一步，对
Figure 880238DEST_PATH_IMAGE054
进行线性变换得到
Figure 341307DEST_PATH_IMAGE055
，计算
Figure 708834DEST_PATH_IMAGE055
和
Figure 356984DEST_PATH_IMAGE056
中的实体编号
Figure 569791DEST_PATH_IMAGE059
所对应的第三实体向量之间的內积（内积即为相似度，内积越大，表示相似度越大），得到样本实体m和实体编号
Figure 150945DEST_PATH_IMAGE065
对应的参考实体（例如记为参考实体1）之间的相似度（例如记为相似度1）。同理，计算
Figure 423794DEST_PATH_IMAGE055
和
Figure 90399DEST_PATH_IMAGE056
中的实体编号
Figure 109826DEST_PATH_IMAGE060
所对应的第三实体向量之间的內积，得到样本实体m和实体编号
Figure 545487DEST_PATH_IMAGE060
对应的参考实体（例如记为参考实体2）之间的相似度（例如记为相似度2）。以此类推，计算
Figure 989238DEST_PATH_IMAGE055
和
Figure 877559DEST_PATH_IMAGE056
中实体编号
Figure 697748DEST_PATH_IMAGE066
所对应的第三实体向量之间的內积，得到样本实体m和实体编号
Figure 987915DEST_PATH_IMAGE066
对应的参考实体（例如参考实体t）之间的相似度（例如记为相似度t）。即一共可得到t个相似度。进一步，对t个相似度从大到小进行排序，选出排序后的前k个相似度，从而得到与样本实体m相似的k个参考实体，该k个参考实体的实体编号构成集合
Figure 868146DEST_PATH_IMAGE067
。该k个参考实体是在计算该k个相似度时，
Figure 240834DEST_PATH_IMAGE056
中参与计算的k个参考实体编号所对应的参考实体。该k个参考实体即为从多个参考实体中确定出的一个或多个待选实体，待选实体与样本实体的第一相似度大于或等于预设阈值。
其中，输入到语言模型的样本文本中的每个样本实体
Figure 599134DEST_PATH_IMAGE068
可以是通过命名实体识别工具和实体链接工具标注出来的实体；也可以是语言模型在进行实体检测之后，根据实体检测得到的每个字符对应的B、I、O标注预测出的实体。但是，经过多次试验发现，基于语言模型检测出的实体准确度不如基于命名实体识别工具和实体链接工具标注出来的实体准确度高，故优选的，输入到语言模型的样本文本中的每个样本实体
Figure 9387DEST_PATH_IMAGE069
可以是通过命名实体识别工具和实体链接工具标注出来的实体。
其中，根据一个或多个待选实体分别对应的第三实体向量，确定样本实体对应的第二实体向量，包括：将一个或多个待选实体分别与样本实体的第一相似度进行标准化处理，得到每个待选实体分别与样本实体的第二相似度；根据每个待选实体分别与样本实体的第二相似度、以及每个待选实体分别对应的第三实体向量，确定样本实体对应的第二实体向量。
示例性的，按照如下公式（5）对样本实体m和
Figure 529361DEST_PATH_IMAGE067
中的每个待选实体之间的第一相似度进行标准化处理，得到第二相似度：
Figure 126696DEST_PATH_IMAGE070
其中，
Figure 288687DEST_PATH_IMAGE071
表示样本实体m和
Figure 553446DEST_PATH_IMAGE067
中的第j个待选实体的第二相似度，
Figure 775480DEST_PATH_IMAGE072
表示线性参数，
Figure 116901DEST_PATH_IMAGE054
表示样本实体m对应的第一实体向量，
Figure 817003DEST_PATH_IMAGE073
可以记为上述的
Figure 936269DEST_PATH_IMAGE055
，
Figure 329204DEST_PATH_IMAGE074
表示集合
Figure 901131DEST_PATH_IMAGE067
中第i个待选实体对应的第三实体向量，
Figure 404925DEST_PATH_IMAGE075
表示集合
Figure 378697DEST_PATH_IMAGE067
中第j个待选实体对应的第三实体向量。
Figure 942534DEST_PATH_IMAGE076
表示
Figure 264406DEST_PATH_IMAGE077
和
Figure 306311DEST_PATH_IMAGE075
的內积，
Figure 134590DEST_PATH_IMAGE078
表示
Figure 869328DEST_PATH_IMAGE073
和
Figure 415847DEST_PATH_IMAGE074
的內积。
进一步的，按照如下公式（6），根据
Figure 261443DEST_PATH_IMAGE067
中的k个待选实体分别对应的第三实体向量以及每个待选实体分别与样本实体的第二相似度得到样本实体m对应的第二实体向量
Figure 209808DEST_PATH_IMAGE079
：
Figure 118376DEST_PATH_IMAGE080
其中，
Figure 152191DEST_PATH_IMAGE081
表示样本实体m对应的第二实体向量，
Figure 535899DEST_PATH_IMAGE082
表示样本实体m和
Figure 604350DEST_PATH_IMAGE067
中的第i个待选实体的第二相似度,
Figure 680890DEST_PATH_IMAGE083
表示集合
Figure 936422DEST_PATH_IMAGE067
中第i个待选实体对应的第三实体向量。
样本文本中每个样本实体分别对应的第二实体向量对应图3中的“额外实体表示”层,样本文本中每个样本实体分别对应的第一实体向量对应图3中的“实体表示”层。图3中的“实体链接”是指：从“实体表示”变为“额外实体表示”的过程，该过程需要用到230中的内容，即上述根据每个样本实体分别对应的第一实体向量、以及预设的知识图谱，确定每个样本实体分别对应的第二实体向量的过程。
S605、根据句子中每个样本实体的第二实体向量，对语言模型进行训练。
本实施例针对S203“针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体以及步骤S204“根据样本实体对应的待选实体，确定样本实体的第二实体向量”给出一种可选实施方式，具体的，根据样本实体对应的第一实体向量、以及预设的知识图谱中多个参考实体分别对应的第三实体向量，确定多个参考实体分别与样本实体的第一相似度；根据多个参考实体分别与样本实体的第一相似度，从多个参考实体中确定出一个或多个待选实体，待选实体与样本实体的第一相似度大于或等于预设阈值；根据一个或多个待选实体分别对应的第三实体向量，确定样本实体对应的第二实体向量。实现了将知识图谱作为语言模型训练的参考信息，即本公开实施例将样本文本和知识图谱同时作为语言模型的训练数据对语言模型进行训练，使得语言模型既可以利用到知识图谱中的结构化知识，也可以利用到自由文本，从而使得训练获得的语言模型可输出较为精准的结果，该结果可作为下游任务的输入，通过为下游任务提供较为精准的输入，可提高下游任务的处理精度。
图7为本公开实施例提供的语言训练装置的结构示意图。本公开实施例提供的语言训练装置可以执行语言训练方法实施例提供的处理流程，如图7所示，装置700包括：第一预测模块710、实体提取模块720和第二预测模块730。
其中，第一预测模块710，用于利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；实体提取模块720，用于从字符预测完成的输入文本中提取实体；第二预测模块730，用于对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体。
可选的，还包括：
第三预测模块，用于获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注；第一确定模块，用于根据句子中每个字符的标注，确定句子中的一个或多个样本实体；寻找模块，用于针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体；第二确定模块，用于根据样本实体对应的待选实体，确定样本实体的第二实体向量；训练模块，用于根据句子中每个样本实体的第二实体向量，对语言模型进行训练。
可选的，训练模块，包括：
第一确定单元，用于根据句子中每个样本实体的第二实体向量，确定句子中每个字符分别对应的目标编码信息；训练单元，用于至少根据句子中部分字符对应的目标编码信息对语言模型进行训练。
可选的，样本实体的第一实体向量是根据样本实体包括的第一个字符的第一编码信息和样本实体包括的最后一个字符的第一编码信息得到的。
可选的，寻找模块包括：第二确定单元，用于根据样本实体的第一实体向量、以及知识图谱中的多个参考实体分别对应的第三实体向量，确定多个参考实体分别与样本实体的第一相似度；根据多个参考实体分别与样本实体的第一相似度，从多个参考实体中确定出一个或多个待选实体，待选实体与样本实体的第一相似度大于或等于预设阈值。
可选的，第二确定模块包括：处理单元，用于将一个或多个待选实体分别与样本实体的第一相似度进行标准化处理，得到每个待选实体分别与样本实体的第二相似度；根据每个待选实体分别与样本实体的第二相似度、以及每个待选实体分别对应的第三实体向量，确定样本实体的第二实体向量。
可选的，第一确定单元具体用于：若字符属于任一样本实体，则根据字符对应的第一编码信息和任一样本实体对应的第二实体向量，确定字符对应的第二编码信息；若字符不属于任一样本实体，则字符对应的第二编码信息是字符对应的第一编码信息；根据字符对应的第二编码信息，确定字符对应的目标编码信息。
可选的，句子是对原始句子中的一个或多个原始字符分别替换为掩码后得到的；训练单元具体包括：预测子单元，用于根据所述句子中的一个或多个掩码分别对应的目标编码信息，预测所述一个或多个掩码分别对应的原始字符；确定子单元，用于根据预测到的所述一个或多个掩码分别对应的原始字符、以及所述原始句子中的所述一个或多个原始字符，确定第一损失函数；训练子单元，用于至少根据所述第一损失函数对所述语言模型进行训练。
可选的，训练子单元具体用于：根据第二损失函数和第三损失函数中的至少一个、以及所述第一损失函数对所述语言模型进行训练；其中，所述第二损失函数是根据所述语言模型确定的所述句子中每个字符的标注、以及命名实体识别工具确定的所述句子中每个字符的标注得到的；所述第三损失函数是根据所述知识图谱中多个参考实体分别与所述样本实体的第一相似度、以及实体链接工具给所述样本实体标注的实体编号得到的。
图7所示实施例的语言训练装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
以上描述了语言训练装置的内部功能和结构，该装置可实现为一种电子设备。
图8为本公开实施例提供的电子设备实施例的结构示意图。如图8所示，该电子设备包括存储器151和处理器152。
存储器151，用于存储程序。除上述程序之外，存储器151还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器151可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器152，与存储器151耦合，执行存储器151所存储的程序，以用于：
利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；从字符预测完成的输入文本中提取实体；对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体。
进一步，如图8所示，电子设备还可以包括：通信组件153、电源组件154、音频组件155、显示器156等其它组件。图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。
通信组件153被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件153经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件153还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件154，为电子设备的各种组件提供电力。电源组件154可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件155被配置为输出和/或输入音频信号。例如，音频组件155包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器151或经由通信组件153发送。在一些实施例中，音频组件155还包括一个扬声器，用于输出音频信号。
显示器156包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
另外，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现上述实施例所述的语言训练方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种模型训练方法，其中，所述方法包括：
利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；
从字符预测完成的输入文本中提取实体；
对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体；
其中，通过如下方法训练所述语言模型：
获得输入句子中每个字符分别对应的第一编码信息，并利用所述每个字符分别对应的第一编码信息预测所述句子中每个字符的标注；
根据所述句子中每个字符的标注，确定所述句子中的一个或多个样本实体；
针对所述句子中的每个样本实体，根据所述样本实体的第一实体向量，在所述知识图谱的参考实体中寻找与所述样本实体的相似度大于或等于预设阈值的待选实体；
根据所述样本实体对应的待选实体，确定所述样本实体的第二实体向量；
根据所述句子中每个样本实体的第二实体向量，对所述语言模型进行训练。
2.根据权利要求1所述的方法，其中，根据所述句子中每个样本实体的第二实体向量，对所述语言模型进行训练，包括：
根据所述句子中每个样本实体的第二实体向量，确定所述句子中每个字符分别对应的目标编码信息；
至少根据所述句子中部分字符对应的目标编码信息对所述语言模型进行训练。
3.根据权利要求1所述的方法，其中，所述样本实体的第一实体向量是根据所述样本实体包括的第一个字符的第一编码信息和所述样本实体包括的最后一个字符的第一编码信息得到的。
4.根据权利要求1所述的方法，其中，根据所述样本实体的第一实体向量，在所述知识图谱的参考实体中寻找与所述样本实体的相似度大于或等于预设阈值的待选实体，包括：
根据所述样本实体的第一实体向量、以及所述知识图谱中的多个参考实体分别对应的第三实体向量，确定所述多个参考实体分别与所述样本实体的第一相似度；
根据所述多个参考实体分别与所述样本实体的第一相似度，从所述多个参考实体中确定出一个或多个待选实体，所述待选实体与所述样本实体的第一相似度大于或等于预设阈值。
5.根据权利要求4所述的方法，其中，根据所述样本实体对应的待选实体，确定所述样本实体的第二实体向量，包括：
将所述一个或多个待选实体分别与所述样本实体的第一相似度进行标准化处理，得到每个待选实体分别与所述样本实体的第二相似度；
根据所述每个待选实体分别与所述样本实体的第二相似度、以及所述每个待选实体分别对应的第三实体向量，确定所述样本实体的第二实体向量。
6.根据权利要求2所述的方法，其中，根据所述句子中每个样本实体的第二实体向量，确定所述句子中每个字符分别对应的目标编码信息，包括：
若所述字符属于任一样本实体，则根据所述字符对应的第一编码信息和所述任一样本实体对应的第二实体向量，确定所述字符对应的第二编码信息；
若所述字符不属于任一样本实体，则所述字符对应的第二编码信息是所述字符对应的第一编码信息；
根据所述字符对应的第二编码信息，确定所述字符对应的目标编码信息。
7.根据权利要求2所述的方法，其中，所述句子是对原始句子中的一个或多个原始字符分别替换为掩码后得到的；
至少根据所述句子中部分字符对应的目标编码信息对所述语言模型进行训练，包括：
根据所述句子中的一个或多个掩码分别对应的目标编码信息，预测所述一个或多个掩码分别对应的原始字符；
根据预测到的所述一个或多个掩码分别对应的原始字符、以及所述原始句子中的所述一个或多个原始字符，确定第一损失函数；
至少根据所述第一损失函数对所述语言模型进行训练。
8.根据权利要求7所述的方法，其特征在于，至少根据所述第一损失函数对所述语言模型进行训练，包括：
根据第二损失函数和第三损失函数中的至少一个、以及所述第一损失函数对所述语言模型进行训练；
其中，所述第二损失函数是根据所述语言模型确定的所述句子中每个字符的标注、以及命名实体识别工具确定的所述句子中每个字符的标注得到的；
所述第三损失函数是根据所述知识图谱中多个参考实体分别与所述样本实体的第一相似度、以及实体链接工具给所述样本实体标注的实体编号得到的。
9.一种模型训练装置，其中，包括：
第一预测模块，用于利用基于知识图谱中的实体训练后的语言模型，对输入文本进行字符预测；
实体提取模块，用于从字符预测完成的输入文本中提取实体；
第二预测模块，用于对提取的实体进行预测，得到所述提取的实体是否属于所述知识图谱中的实体；
第三预测模块，用于获得输入句子中每个字符分别对应的第一编码信息，并利用每个字符分别对应的第一编码信息预测句子中每个字符的标注；
第一确定模块，用于根据句子中每个字符的标注，确定句子中的一个或多个样本实体；
寻找模块，用于针对句子中的每个样本实体，根据样本实体的第一实体向量，在知识图谱的参考实体中寻找与样本实体的相似度大于或等于预设阈值的待选实体；
第二确定模块，用于根据样本实体对应的待选实体，确定样本实体的第二实体向量；
训练模块，用于根据句子中每个样本实体的第二实体向量，对语言模型进行训练。
10.一种电子设备，其中，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202111364141.8A 2021-11-17 2021-11-17 模型训练方法、装置、设备及存储介质 Active CN113806562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111364141.8A CN113806562B (zh) 2021-11-17 2021-11-17 模型训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111364141.8A CN113806562B (zh) 2021-11-17 2021-11-17 模型训练方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113806562A CN113806562A (zh) 2021-12-17
CN113806562B true CN113806562B (zh) 2022-04-15

Family

ID=78898709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111364141.8A Active CN113806562B (zh) 2021-11-17 2021-11-17 模型训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113806562B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807324A (zh) * 2019-10-09 2020-02-18 四川长虹电器股份有限公司 一种基于IDCNN-crf与知识图谱的影视实体识别方法
CN111144115B (zh) * 2019-12-23 2023-10-20 北京百度网讯科技有限公司 预训练语言模型获取方法、装置、电子设备和存储介质
CN113360751B (zh) * 2020-03-06 2024-07-09 百度在线网络技术（北京）有限公司 意图识别方法、装置、设备和介质
CN111444298B (zh) * 2020-03-19 2022-10-14 浙江大学 一种基于兴趣点知识图谱预训练的地址匹配算法
CN113378569A (zh) * 2021-06-02 2021-09-10 北京三快在线科技有限公司 模型生成、实体识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113806562A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN110046350B (zh) 文法错误识别方法、装置、计算机设备及存储介质
CN107729313B (zh) 基于深度神经网络的多音字读音的判别方法和装置
CN108733778B (zh) 对象的行业类型识别方法和装置
CN109858010A (zh) 领域新词识别方法、装置、计算机设备和存储介质
CN112883732A (zh) 基于关联记忆网络的中文细粒度命名实体识别方法及装置
CN109902285B (zh) 语料分类方法、装置、计算机设备及存储介质
CN112287680B (zh) 一种问诊信息的实体抽取方法、装置、设备及存储介质
CN111666766B (zh) 数据处理方法、装置和设备
CN113449528B (zh) 一种地址要素提取方法、装置、计算机设备和存储介质
CN112328761A (zh) 一种意图标签设置方法、装置、计算机设备及存储介质
CN114580424B (zh) 一种用于法律文书的命名实体识别的标注方法和装置
US20230214579A1 (en) Intelligent character correction and search in documents
CN114298035A (zh) 一种文本识别脱敏方法及其系统
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
CN111180025A (zh) 表示病历文本向量的方法、装置及问诊系统
CN116070632A (zh) 一种非正式文本实体标签识别方法和装置
CN112417132A (zh) 一种利用谓宾信息筛选负样本的新意图识别方法
CN115270728A (zh) 会议记录处理方法、装置、设备及存储介质
CN110851597A (zh) 一种基于同类实体替换的语句标注的方法及装置
CN109635125B (zh) 一种词汇图谱搭建方法及电子设备
KR101941692B1 (ko) 한국어 개체명 인식방법 및 장치
CN113254814A (zh) 网络课程视频打标签方法、装置、电子设备及介质
CN113806562B (zh) 模型训练方法、装置、设备及存储介质
CN116304014A (zh) 训练实体类型识别模型的方法、实体类型识别方法及装置
CN115759048A (zh) 一种剧本文本处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant