CN114417871B - 模型训练及命名实体识别方法、装置、电子设备及介质 - Google Patents

Abstract

本公开提供了一种模型训练及命名实体识别方法、装置、电子设备及介质，涉及计算机技术领域，具体为自然语言处理、深度学习等人工智能技术领域。具体实现方案为：获取文本样本集，其中，文本样本集包括已标注样本和未标注样本；获取初始模型，并分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和其对应的分数；根据选取策略、多个预测结果和其对应的分数，从文本样本集中选取N个样本，其中，N为正整数；对N个样本进行标注，以得到N个训练样本；根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型。由此，能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

Description

模型训练及命名实体识别方法、装置、电子设备及介质

技术领域

本公开涉及计算机技术领域，具体为自然语言处理、深度学习等人工智能技术领域，尤其涉及模型训练及命名实体识别方法、装置、电子设备及介质。

背景技术

目前，命名实体识别(Named Entity Recognition，NER)是自然语言处理中非常基础和重要的任务之一，应用范围十分广泛。命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。NER系统就是从非结构化的输入文本中抽取出上述实体，并且可以按照业务需求识别出更多类别的实体，比如产品名称、型号、价格等。

目前可通过相关的模型进行命名实体识别，其中，该模型的训练需要大量的标注训练数据。

发明内容

本公开提供了一种模型训练及命名实体识别方法、装置、电子设备及介质。

根据本公开的一方面，提供了一种模型训练方法，包括：

获取文本样本集，其中，所述文本样本集包括已标注样本和未标注样本；

获取初始模型，并分别将所述已标注样本和所述未标注样本输入所述初始模型，以生成多个预测结果和所述多个预测结果的分数；

根据选取策略、所述多个预测结果和所述多个预测结果的分数，从所述文本样本集中选取N个样本，其中，所述N为正整数；

对所述N个样本进行标注，以得到N个训练样本；

根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型。

根据本公开的另一方面，提供了一种命名实体识别方法，包括：

获取输入文本；

调用目标模型对所述输入文本进行命名实体识别，以生成所述输入文本的命名实体，其中，所述目标模型由权利要求1-6任一项所述的模型训练方法训练得到。

根据本公开的另一方面，提供了一种模型训练装置，包括：

第一获取模块，用于获取文本样本集，其中，所述文本样本集包括已标注样本和未标注样本；

第二获取模块，用于获取初始模型，并分别将所述已标注样本和所述未标注样本输入所述初始模型，以生成多个预测结果和所述多个预测结果的分数；

选取模块，用于根据选取策略、所述多个预测结果和所述多个预测结果的分数，从所述文本样本集中选取N个样本，其中，所述N为正整数；

标注模块，用于对所述N个样本进行标注，以得到N个训练样本；

训练模块，用于根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型。

根据本公开的另一方面，提供了一种命名实体识别装置，包括：

获取模块，用于获取输入文本；

识别模块，用于调用目标模型对所述输入文本进行命名实体识别，以生成所述输入文本的命名实体，其中，所述目标模型由权利要求1-6任一项所述的模型训练方法训练得到。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行模型训练方法，或者，执行命名实体识别方法。

根据本公开的另一方面，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行模型训练方法，或者，执行命名实体识别方法。

根据本公开的另一方面，一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行实现模型训练方法的步骤，或者，执行实现命名实体识别方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一个实施例的模型训练方法的流程图；

图2是根据本公开另一个实施例的模型训练方法的流程图；

图3是根据本公开另一个实施例的模型训练方法的流程图；

图4是根据本公开另一个实施例的模型训练方法的流程图；

图5是根据本公开另一个实施例的模型训练方法的流程图；

图6是根据本公开另一个实施例的模型训练方法的流程图；

图7是根据本公开一个实施例的模型训练方法的具体示例流程图；

图8是根据本公开一个实施例的命名实体识别方法的流程图；

图9是根据本公开一个实施例的模型训练装置的结构示意图；

图10是根据本公开一个实施例的命名实体识别装置的结构示意图；以及

图11是用来实现本公开实施例的模型训练方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

下面参考附图描述本公开实施例的模型训练及命名实体识别方法、装置、电子设备及介质。

人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。

深度学习是机器学习领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

本公开实施例提供的模型训练方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑、掌上电脑或服务器等，此处不做任何限定。

在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的模型训练方法。

图1为本公开实施例提供的一种模型训练方法的流程示意图。

本公开实施例的模型训练方法，还可由本公开实施例提供的模型训练装置执行，该装置可配置于电子设备中，以实现获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，并获取初始模型，以及分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数，而后根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，以及对N个样本进行标注，以得到N个训练样本，并根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，从而能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

作为一种可能的情况，本公开实施例的模型训练方法还可以在服务器端执行，该服务器可以为云服务器，可以在云端执行该模型训练方法。

如图1所示，该模型训练方法，可包括：

步骤101，获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，已标注样本和未标注样本均可为多个。应说明的是，该实施例中所描述的文本样本集可预先存储于服务器的存储空间中，以便于调取使用。

需要说明的是，该实施例中所描述的文本样本集中的文本样本可以是采用各种书面语言表现的文本，比如，可以为中文文本、英文文本、俄语文本、马来语文本、中文和英文混用文本等。输入文本中可以包含一个句子、一个段落或者一个篇章，比如，新闻稿件等。

步骤102，获取初始模型，并分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数。其中，初始模型可为命名实体识别模型，即待训练的命名实体识别模型。

在本公开实施例中，命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。命名实体识别模型可从非结构化的输入文本中抽取(识别)出命名实体，即初始模型可从上述已标注样本和未标注样本中抽取(识别)出命名实体。应说明的是，该实施例中所描述的初始模型，可以是提前生成的，并将其预存在服务器的存储空间中，以便于调取使用。

其中，该初始模型的生成可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可执行本公开实施例提供的模型训练方法的服务器之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将生成的初始模型发送给该服务器，以便该服务器在需要时调用，从而大大减少该服务器的计算压力。

作为一种可能的情况，该初始模型的生成也可由执行本公开实施例提供的模型训练方法的服务器执行。

具体地，服务器可从自身的存储空间中调出(获取)上述的初始模型和文本样本集，并将文本样本集中的(多个)已标注样本和(多个)未标注样本输入该初始模型，从而通过该初始分别对该已标注样本和未标注样本进行命名实体识别(预测)，以得到该初始模型输出的多个预测结果和多个预测结果的分数。

步骤103，根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，其中，N为正整数。其中，选取策略和数值N可根据实际情况和需求进行标定。

具体地，服务器在得到上述多个预测结果和多个预测结果的分数后，可根据选取策略、该多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，该N个样本中可包括已标注样本和未标注样本，也可仅包括未标注样本。

步骤104，对N个样本进行标注，以得到N个训练样本。

在本公开实施例中，相关人员可根据标注规则对N个样本进行N个样本，以得到N个训练样本。其中，标注规则可根据实际情况进行标定。

具体地，在服务器从文本样本集中选取了N个样本后，相关人员可根据标注规则对N个样本进行标注，以得到N个训练样本，即分别将N个样本标注上相应的标签，以得到N个训练样本。

作为一种可能的情况，可根据基于存量规则(例如，标注规则)训练得到的经验标注模型对N个样本进行标注，以生成上述的N个训练样本。其中，应说明的是，该实施例中所描述的经验标注模型，可以是提前训练好的，并将其预存在服务器的存储空间中，以方便调取使用。

需要说明的是，该实施例中所描述的N个样本若包括已标注样本，可对该已标注样本重新标注，也可不再标注。

步骤105，根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型。

具体地，服务器在得到上述N个训练样本后，可将上述已标注样本和该N个训练样本输入初始模型，从而通过该已标注样本和N个训练样本对该初始模型进行训练，并在训练结束后得到目标模型。

在本公开实施例中，首先获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，然后获取初始模型，并分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数，并根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，以及对N个样本进行标注，以得到N个训练样本，最后根据目标融合图像进行模型训练，以得到目标模型。由此，能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

为了清楚说明上一实施例，在本公开的一个实施例中，如图2所示，获取初始模型，可包括：

步骤201，获取待训练的模型。其中，待训练的模型可为待训练的命名实体识别模型，该待训练的模型可预先存储于服务器的存储空间中，以便于调取使用。

步骤202，根据已标注样本对模型进行训练，以得到初始模型。

具体地，服务器可从自身的存储空间中调取(获取)待训练的模型和文本样本集中的已标注样本，并将该已标注的样本输入该待训练的模型中，从而通过该已标注的样本对该待训练的模型进行训练，并在训练结束后，生成训练好的模型，即初始模型(经过上述已标注样本训练过的(待训练)命名实体识别模型)。由此，后续可根据该初始模型辅助样本标注，以得到提高样本标注的效率，并提高样本的多样性。

进一步地，在本公开的一个实施例中，如图3所示，根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，可包括：

步骤301，根据选取策略和多个预测结果的分数，对多个预测结果进行排序，以得到预测结果序列。其中，选取策略可根据实际情况进行标定，例如，该选取策略可包括基于置信度最低的不确定性采样的查询策略、基于边缘采样的不确定性采样的查询策略和基于熵方法的不确定性采样的查询策略中的一种。

其中，基于置信度最低的不确定性采样的查询策略是基于置信度最低的不确定性采样的一种样本排序查询策略。其中，置信度最低的不确定性采样：对于二分类或者多分类模型，通常能够对输入样本进行打分，即将样本输入模型后，模型除了输出预测结果外，还可输出该预测结果的分数，以表示该预测结果的可靠性。例如，在二分类的场景下，有两个输入样本分别被某一个分类器预测，得到该两个样本类别的预测概率(即，预测结果的分数)分别为：(0.9,0.1)和(0.51,0.49)。在此情况下，第一个样本被判定为第一类的概率是0.9，第二个样本被判定为第一类的概率为0.51，由于第二个样本被判定为第一类的概率更低，第二个样本更难以被区分，具有被标注的价值更高。由此，本公开实施例若采用基于置信度最低的不确定性采样的查询策略，应将上述多个预测结果按照分数从小到大的顺序进行排列，以便于选取分数较低的样本(即具有更高被标注价值的样本)。

基于边缘采样的不确定性采样的查询策略是基于边缘采样的不确定性采样的一种样本排序查询策略。其中，边缘采样(margin sampling)指的是选择极容易被判定成两类的样本数据，或者说样本数据被判定成两类的概率相差不大。在采用边缘采用时，越容易被判定成两类的样本，预测结果的分数越高，样本越容易被区分，该样本具有被标注的价值越低。由此，本公开实施例若采用基于边缘采样的不确定性采样的查询策略，应将上述多个预测结果按照分数从小到大的顺序进行排列，以便于选取分数较低的样本(即具有更高被标注价值的样本)。

基于熵方法的不确定性采样的查询策略是一种基于熵方法的不确定性采样的一种样本排序查询策略。其中，熵方法的不确定性采样：在数学中，可以使用熵(Entropy)来衡量一个系统的不确定性，熵越大表示系统的不确定性越大，熵越小表示系统的不确定性越小。因此，在二分类或者多分类的场景下，可以选择那些熵比较大的样本数据作为待定标注数据。本公开实施例中预测结果的分数对应于该策略中的熵，因此，若采用基于熵方法的不确定性采样的查询策略，应将上述多个预测结果按照分数从大到小的顺序进行排列，以便于选取分数较高的样本(即具有更高被标注价值的样本)。

在本公开实施例中，对于文本样本集中的样本，在初始模型(即，命名实体识别模型)对样本进行命名实体识别时，越是难以识别出命名实体，该样本具有的被标注的价值就越高，因此，需选取此类(具有被标注的价值较高的)样本进行标注，以引入新的命名实体，提高训练样本的多样性，从而得到更为优质的目标模型，进而能够实现在仅增加少量样本标注的条件下，大幅度提升目标模型的名实体识别效果。

具体地，服务器在得到上述多个预测结果和多个预测结果的分数后，若采用基于置信度最低的不确定性采样的查询策略或基于边缘采样的不确定采样的查询策略，则将上述多个预测结果按照分数从小到大的顺序进行排列，并将排列后的序列作为预测结果序列；若采用基于熵方法的不确定性采样的查询策略，则将上述多个预测结果按照分数从大到小的顺序进行排列，并将排列后的序列作为预测结果序列。

步骤302，从预测结果序列的列首开始获取N个预测结果。

具体地，在得到上述预测结果序列后，可从该预测结果序列的列首开始获取N个预测结果。

步骤303，若N个预测结果的分数满足分数条件，则根据N个预测结果，从文本样本集中选取N个样本。

在本公开实施例中，在获取到上述N个预测结果后，可获取该N个预测结果的分数，并判断每个预测结果的分数是否满足分数条件，若是，则根据该N个预测结果，从文本样本集中选取N个样本，并将该N个样本进行标注，得到N个训练样本；若否，则结束初始模型的训练。

具体地，若上述N个预测结果是采用基于置信度最低的不确定性采样的查询策略获取到的，则可判断该N个预测结果中每个预测结果的分数是否均小于预设的第一分数阈值，若是，则可从文本样本集中选取该N个预测结果所对应的N个样本进行标注，并将标注后的样本作为训练样本，以得到N个训练样本；若否，则结束初始模型的训练。

作为一种可能的情况，若上述N个预测结果是采用基于边缘采样的不确定采样的查询策略获取的，则可判断该N个预测结果中每个预测结果的分数是否均小于预设的第一分数阈值，若是，则可从文本样本集中选取该N个预测结果所对应的N个样本进行标注，并将标注后的样本作为训练样本，以得到N个训练样本；若否，则结束初始模型的训练。

作为另一种可能的情况，若上述N个预测结果是采用基于熵方法的不确定性采样的查询策略获取的，则可判断该N个预测结果中每个预测结果的每个分数是否均大于预设的第一分数阈值，若是，则可从文本样本集中选取该N个预测结果所对应的N个样本进行标注，并将标注后的样本作为训练样本，以得到N个训练样本；若否，则结束初始模型的训练。

需要说明的是，该实施例中所描述的第一分数阈值、第二分数阈值和第三分数阈值可根据实际情况和需求进行标定。

由此，能够从文本样本集的样本中筛选出具有标注价值的样本进行标注，以达到辅助样本标注的目的。

进一步地，在本公开的一个实施例中，如图4所示，根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，可包括：

步骤401，根据已标注样本和N个训练样本对初始模型进行训练，以生成训练后的初始模型。

具体地，服务器在得到上述N个训练样本后，可将已标注样本和该N个训练样本输入初始模型，从而通过该已标注样本和N个训练样本对该初始模型进行训练，并在训练结束后，得到训练后的初始模型。

步骤402，响应于训练后的初始模型满足训练完成条件，将训练后的初始模型作为目标模型。其中，训练完成条件可根据实际情况和需求进行标定。

具体地，在服务器得到上述训练后的初始模型后，可判断该训练后的初始模型是否满足训练完成条件，若是，则可将该训练后的初始模型作为目标模型；若否，则分别将已标注样本和未标注样本输入该训练后的初始模型，以重新生成多个预测结果和重新生成的多个预测结果的分数。

由此，能够得到更为优质的目标模型，从而提高(命名实体)识别效果。

为了清楚说明上一实施例，在本公开的一个实施例中，如图5所示，根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，还可包括：

步骤501，获取测试样本和测试样本对应的标签。其中，测试样本可为文本样本，该测试样本可预先存储于服务器的存储空间中，以便于调取使用。应说明的是，该实施例中所描述的测试样本对应的标签可以是预先标注好的。

步骤502，将测试样本输入训练后的初始模型，以生成测试结果。

具体地，服务器可从自身的存储空间中调出(获取)测试样本，并获取该测试样本对应的标签，而后将该测试样本输入上述训练后的初始模型(即，训练后的命名实体识别模型)，从而通过该训练后的初始模型对该测试样本进行(命名实体识别)处理，以得到该训练后的初始模型输出的测试结果(命名实体)。

步骤503，根据测试结果和标签，计算训练后的初始模型的准确率。

具体地，服务器在得到上述测试结果和标签后，可根据该测试结果和标签，计算训练后的初始模型的准确率。

步骤504，若准确率开始降低，则确定训练后的初始模型满足训练完成条件。

步骤505，若准确率未开始降低，则确定训练后的初始模型不满足训练完成条件。

在本公开实施例中，在得到上述训练后的初始模型的准确率后，可判断该准确率是否开始降低，若是，则该训练后的初始模型满足训练完成条件；若否，则该训练后的初始模型不满足训练完成条件。

具体地，可将本次训练后的初始模型的准确率与前几次(例如，2次、3次和4次等)训练后的初始模型的准确率进行比较，若准确率一直降低，则说明准确率开始降低，即测试集的效果开始降低，则本次训练后的初始模型满足训练完成条件；若准确率不是一直降低，则说明准确率未开始降低，即测试集的效果未降低，则本次训练后的初始模型不满足训练完成条件。

举例而言，假设以本次训练后的初始模型的准确率与前3次训练后的初始模型的准确率的比较结果，作为判断准确率开始降低依据，若第一次的准确率为92％，第二次的准确率90％，第三次的准确率89％，第四次(本次)的86％，则可第四次(本次)训练后的初始模型满足训练完成条件；若第一次的准确率为92％，第二次的准确率90％，第三次的准确率89％，第四次(本次)的90％，则可第四次(本次)训练后的初始模型不满足训练完成条件。

由此，能够实现在测试集的效果开始降低时，结束初始模型的训练。

在本公开的一个实施例中，如图6所示，根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，还可包括：

步骤601，响应于训练后的初始模型未满足训练完成条件，分别将已标注样本和未标注样本输入训练后的初始模型，以重新生成多个预测结果和重新生成的多个预测结果的分数。

具体地，服务器在得到上述训练后的初始模型后，可判断该初始模型是否满足训练完成条件，若否，则分别将上述已标注样本和未标注样本输入该训练后的初始模型，以重新生成多个预测结果和重新生成的多个预测结果的分数。

步骤602，根据选取策略、重新生成的多个预测结果和重新生成的多个预测结果的分数，从文本样本集中重新选取N个样本。

具体地，服务器在得到上述重新生成的多个预测结果和多重新生成的个预测结果的分数后，可根据选取策略、重新生成的多个预测结果和重新生成的多个预测结果的分数，重新从文本样本集中选取N个样本。

步骤603，对重新选取的N个样本进行标注，以重新得到N个训练样本。

具体地，服务器得到上述重新选取的N个样本后，可对该重新选取的N个样本进行标注，并将重新标注后的N个样本作为训练样本，以重新得到N个训练样本。

需要说明的是，该实施例中所描述的重新选取的N个样本中若包括已标注样本，可对该已标注样本重新标注，也可不再标注。

步骤604，根据已标注样本和重新得到的N个训练样本对训练后的初始模型进行训练，以得到目标模型。

具体地，服务器在重新得到上述N个训练样本后，可将上述已标注样本和该重新得到的N个训练样本输入初始模型，从而通过该已标注样本和重新得到的N个训练样本对该初始模型进行训练，并在训练结束后得到目标模型。

由此，能够实现训练后的初始模型在满足训练完成条件前，对初始模型进行多次训练，直到训练后的初始模型能够满足训练完成条件。

为了使本领域技术人员更清晰的理解本公开，图7为公开实施例提供的模型训练方法的流程图，如图7所示，首先从文本样本集中选取少量未标注样本进行人工标注，而后根据已标注样本对待训练模型进行训练，生成初始模型，并在生成初始模型后，通过该初始模型预测全量样本，即将已标注样本和未标注样本输入初始模型，生成多个预测结果和多个预测结果的分数，而后取topN模型难分样本，即在按照分数对预测结果进行排序并生成预测结果序列后，从该预测结果序列中选取前N个具有较高被标注价值的样本，并将选取的N个样本进行人工标注，而后继续根据已标注样本和未标注样本对待训练进行训练，如此循环，直到模型的识别效果较优后，结束训练，并生成目标模型。

本公开实施例提供的命名实体识别方法，可以由电子设备来执行，该电子设备可为PC(Personal Computer，个人计算机)电脑、平板电脑、掌上电脑或服务器等，此处不做任何限定。

在本公开实施例中，电子设备中可以设置有处理组件、存储组件和驱动组件。可选的，该驱动组件和处理组件可以集成设置，该存储组件可以存储操作系统、应用程序或其他程序模块，该处理组件通过执行存储组件中存储的应用程序来实现本公开实施例提供的命名实体识别方法。

图8为本公开实施例提供的一种命名实体识别方法的流程示意图。

本公开实施例的命名实体识别方法，还可由本公开实施例提供的命名实体识别装置执行，该装置可配置于电子设备中，以实现获取输入文本，并调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体，从而可以有效地对输入文本的命名实体进行识别。

作为一种可能的情况，本公开实施例的命名实体识别方法还可以在服务器端执行，服务器可以为云服务器，可以在云端执行该命名实体识别方法。

如图8所示，该命名实体识别方法，可包括：

步骤801，获取输入文本。应说明的是，该实施例中所描述的输入文本可以是采用各种书面语言表现的文本，比如，可以为中文文本、英文文本、俄语文本、马来语文本、中文和英文混用文本等。输入文本中可以包含一个句子、一个段落或者一个篇章，比如，新闻稿件等。

在本公开实施例中，输入文本可包括用户通过语音识别输入的文本信息以及用户通过输入法输入至输入法系统的输入内容，输入法系统可以根据用户当前的输入方式，将输入内容转换为所输入文字的字词候选项，提供用户进行选择，用户可以通过多种输入手段进行文本信息的输入，例如键盘，触摸板，鼠标等，同时用户也可以选择任意的输入方式进行文本信息的输入，如拼音，五笔，笔画，手写，英文、小语种键盘等，此处不做任何限定。

作为一种可能的情况，上述的输入文本还可以包括用户通过复制粘贴获取的文本信息。

具体地，电子设备可获取用户通过输入法输入至输入法系统的输入信息(输入文本)，比如，用户通过输入法输入一段中文的文字描述。

步骤802，调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体，其中，目标模型由前述任一实施例的模型训练方法训练得到。

需要说明的是，该实施例中所描述的目标模型可以是提前训练好的，并将其预存在电子设备的存储空间中，以方便调取应用。

具体地，电子设备在获取到输入文本后，可先从自身的存储空间中调出目标模型，然后将该输入文本输入至该目标模型，从而通过该目标模型对预处理后的输入文本进行命名实体识别，以得到该目标模型输出的该输入文本的命名实体。

作为一种可能的情况，电子设备在获取到输入文本后，可先对该输入文本进行预处理，去除该输入文本中的标点、连续的空白字符、阿拉伯数字以及表情符号、表情图片等，并将文本转化为小写，从而为后续的命名实体识别排除掉干扰项，进而提高后续命名实体识别的精确度。

在本公开实施例中，获取输入文本，并调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体。由此，可以有效地对输入文本的命名实体进行识别，且可提高命名实体识别的准确性。

图9为本公开实施例提供的一种模型训练装置的结构示意图。

本公开实施例的模型训练装置，可配置于电子设备中，以实现获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，并获取初始模型，以及分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数，而后根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，以及对N个样本进行标注，以得到N个训练样本，并根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，从而能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

如图9所示，该模型训练装置900，可包括：第一获取模块910、第二获取模块920、选取模块930、标注模块940和训练模块950。

其中，第一获取模块910，用于获取文本样本集，其中，文本样本集包括已标注样本和未标注样本。应说明的是，该实施例中所描述的文本样本集可预先存储于服务器的存储空间中，以便于调取使用。

需要说明的是，该实施例中所描述的文本样本集中的文本样本可以是采用各种书面语言表现的文本，比如，可以为中文文本、英文文本、俄语文本、马来语文本、中文和英文混用文本等。输入文本中可以包含一个句子、一个段落或者一个篇章，比如，新闻稿件等。

第二获取模块920，用于获取初始模型，并分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数。其中，初始模型可为命名实体识别模型，即待训练的命名实体识别模型。

在本公开实施例中，命名实体一般指的是文本中具有特定意义或者指代性强的实体，通常包括人名、地名、组织机构名、日期时间、专有名词等。命名实体识别模型可从非结构化的输入文本中抽取(识别)出命名实体，即初始模型可从上述已标注样本和未标注样本中抽取(识别)出命名实体。应说明的是，该实施例中所描述的初始模型，可以是提前生成的，并将其预存在服务器的存储空间中，以便于调取使用。

其中，该初始模型的生成可由相关的训练服务器执行，该训练服务器可以是云端服务器，也可以是一台电脑的主机，该训练服务器与可配置本公开实施例提供的模型训练装置的服务器之间，建立有通信连接，该通信连接可以是无线网络连接和有线网络连接的至少一种。该训练服务器可将生成的初始模型发送给该服务器，以便该服务器在需要时调用，从而大大减少该服务器的计算压力。

作为一种可能的情况，该初始模型的生成也可由配置本公开实施例提供的模型训练装置的服务器执行。

具体地，第二获取模块920可从服务器的存储空间中调出(获取)上述的初始模型，并将第一获取模块910获取样的本集中的(多个)已标注样本和(多个)未标注样本输入该初始模型，从而通过该初始分别对该已标注样本和未标注样本进行命名实体识别(预测)，以得到该初始模型输出的多个预测结果和多个预测结果的分数。

选取模块930，用于根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，其中，N为正整数。其中，选取策略和数值N可根据实际情况和需求进行标定。

具体地，在第二获取模块920得到上述多个预测结果和多个预测结果的分数后，选取模块930可根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，该N个样本为一般为未标注样本。

标注模块940，用于对N个样本进行标注，以得到N个训练样本。

在本公开实施例中，标注模块940可根据标注规则对N个样本进行N个样本，以得到N个训练样本。其中，标注规则可根据实际情况进行标定。

具体地，在选取模块930从文本样本集中选取了N个样本后，标注模块940可根据标注规则对N个样本进行标注，以得到N个训练样本，即分别将N个样本标注上相应的标签，以得到N个训练样本。

作为一种可能的情况，选取模块930还可根据基于存量规则(例如，标注规则)训练得到的经验标注模型对N个样本进行标注，以生成上述的N个训练样本。其中，应说明的是，该实施例中所描述的经验标注模型，可以是提前训练好的，并将其预存在服务器的存储空间中，以方便调取使用。

需要说明的是，该实施例中所描述的N个样本若包括已标注样本，可对该已标注样本重新标注，也可不再标注。

训练模块950，用于根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型。

具体地，在标注模块940得到上述N个训练样本后，训练模块950可将上述已标注样本和该N个训练样本输入初始模型，从而通过该已标注样本和N个训练样本对该初始模型进行训练，并在训练结束后得到目标模型。

在本公开实施例中，通过第一获取模块获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，并通过第二获取模块获取初始模型，以及分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数，而后通过选取模块根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，以及通过标注模块对N个样本进行标注，以得到N个训练样本，并通过训练模块根据已标注样本和N个训练样本对初始模型进行训练，以得到目标模型，从而能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

在本公开的一个实施例中，第二获取模块920，具体用于：获取待训练的模型；根据已标注样本对模型进行训练，以得到初始模型。

在本公开的一个实施例中，选取模块930，具体用于：根据选取策略和多个预测结果的分数，对多个预测结果进行排序，以得到预测结果序列；从预测结果序列的列首开始获取N个预测结果；若N个预测结果的分数满足分数条件，则根据N个预测结果，从文本样本集中选取N个样本。

在本公开的一个实施例中，训练模块950，具体用于：根据已标注样本和N个训练样本对初始模型进行训练，以生成训练后的初始模型；响应于训练后的初始模型满足训练完成条件，将训练后的初始模型作为目标模型。

在本公开的一个实施例中，训练模块950，还用于：获取测试样本和测试样本对应的标签；将测试样本输入训练后的初始模型，以生成测试结果；根据测试结果和标签，计算训练后的初始模型的准确率；若准确率开始降低，则确定训练后的初始模型满足训练完成条件；若准确率未开始降低，则确定训练后的初始模型不满足训练完成条件。

在本公开的一个实施例中，训练模块950，还用于：响应于训练后的初始模型未满足训练完成条件，分别将已标注样本和未标注样本输入训练后的初始模型，以重新生成多个预测结果和重新生成的多个预测结果的分数；根据选取策略、重新生成的多个预测结果和重新生成的多个预测结果的分数，从文本样本集中重新选取N个样本；对重新选取的N个样本进行标注，以重新得到N个训练样本；根据已标注样本和重新得到的N个训练样本对训练后的初始模型进行训练，以得到目标模型。

需要说明的是，前述对模型训练方法实施例的解释说明也适用于该实施例的模型训练装置，此处不再赘述。

本公开实施例的模型训练装置，通过第一获取模块获取文本样本集，其中，文本样本集包括已标注样本和未标注样本，然后通过第二获取模块获取初始模型，并分别将已标注样本和未标注样本输入初始模型，以生成多个预测结果和多个预测结果的分数，并通过选取模块根据选取策略、多个预测结果和多个预测结果的分数，从文本样本集中选取N个样本，以及通过标注模块对N个样本进行标注，以得到N个训练样本，最后通过训练模块根据目标融合图像进行模型训练。由此，能够辅助样本标注，提高标注效率，同时能够实现在增加少量样本标注的情况下，有效地提升模型的识别效果。

图10为本公开实施例提供的一种命名实体识别装置的结构示意图。

本公开实施例的命名实体识别装置，可配置于电子设备中，以实现获取输入文本，并调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体，从而可以有效地对输入文本的命名实体进行识别。

如图10所示，该命名实体识别装置1000，可包括：获取模块1010和识别模块1020。

其中，获取模块1010用于获取输入文本。

识别模块1020用于调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体，其中，目标模型由前述任一实施例的模型训练方法训练得到。

需要说明的是，前述对命名实体识别方法实施例的解释说明也适用于该实施例的命名实体识别装置，此处不再赘述。

本公开实施例的命名实体识别装置，通过获取模块获取输入文本，并通过识别模块调用目标模型对输入文本进行命名实体识别，以生成输入文本的命名实体。由此，可以有效地对输入文本的命名实体进行识别，且可提高命名实体识别的准确性。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如模型训练方法或命名实体识别方法。例如，在一些实施例中，模型训练方法或命名实体识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的模型训练方法或命名实体识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法或命名实体识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (14)

1.一种模型训练方法，包括：

获取文本样本集，其中，所述文本样本集包括已标注样本和未标注样本；

获取初始模型，并分别将所述已标注样本和所述未标注样本输入所述初始模型，以生成多个预测结果和所述多个预测结果的分数；

根据选取策略和所述多个预测结果的分数，对所述多个预测结果进行排序，以得到预测结果序列；

从所述预测结果序列的列首开始获取N个预测结果；

若所述N个预测结果的分数满足分数条件，则根据所述N个预测结果，从所述文本样本集中选取所述N个样本，其中，所述N为正整数；

对所述N个样本进行标注，以得到N个训练样本；

根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型。

2.根据权利要求1所述的方法，其中，所述获取初始模型，包括：

获取待训练的模型；

根据所述已标注样本对所述模型进行训练，以得到所述初始模型。

3.根据权利要求1所述的方法，其中，所述根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型，包括：

根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以生成训练后的初始模型；

响应于所述训练后的初始模型满足训练完成条件，将所述训练后的初始模型作为所述目标模型。

4.根据权利要求3所述的方法，其中，所述根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型，还包括：

获取测试样本和所述测试样本对应的标签；

将所述测试样本输入所述训练后的初始模型，以生成测试结果；

根据所述测试结果和所述标签，计算所述训练后的初始模型的准确率；

若所述准确率开始降低，则确定所述训练后的初始模型满足所述训练完成条件；

若所述准确率未开始降低，则确定所述训练后的初始模型不满足所述训练完成条件。

5.根据权利要求3所述的方法，其中，所述根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型，还包括：

响应于所述训练后的初始模型未满足所述训练完成条件，分别将所述已标注样本和所述未标注样本输入所述训练后的初始模型，以重新生成多个预测结果和所述重新生成的多个预测结果的分数；

根据所述选取策略、所述重新生成的多个预测结果和所述重新生成的多个预测结果的分数，从所述文本样本集中重新选取N个样本；

对重新选取的N个样本进行标注，以重新得到N个训练样本；

根据所述已标注样本和重新得到的N个训练样本对所述训练后的初始模型进行训练，以得到所述目标模型。

6.一种命名实体识别方法，包括：

获取输入文本；

调用目标模型对所述输入文本进行命名实体识别，以生成所述输入文本的命名实体，其中，所述目标模型由权利要求1-5任一项所述的模型训练方法训练得到。

7.一种模型训练装置，包括：

第一获取模块，用于获取文本样本集，其中，所述文本样本集包括已标注样本和未标注样本；

第二获取模块，用于获取初始模型，并分别将所述已标注样本和所述未标注样本输入所述初始模型，以生成多个预测结果和所述多个预测结果的分数；

选取模块，用于根据选取策略、所述多个预测结果和所述多个预测结果的分数，从所述文本样本集中选取N个样本，其中，所述N为正整数；

标注模块，用于对所述N个样本进行标注，以得到N个训练样本；

训练模块，用于根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以得到目标模型；

所述选取模块，具体用于：

根据所述选取策略和所述多个预测结果的分数，对所述多个预测结果进行排序，以得到预测结果序列；

从所述预测结果序列的列首开始获取N个预测结果；

若所述N个预测结果的分数满足分数条件，则根据所述N个预测结果，从所述文本样本集中选取所述N个样本。

8.根据权利要求7所述的装置，其中，所述第二获取模块，具体用于：

获取待训练的模型；

根据所述已标注样本对所述模型进行训练，以得到所述初始模型。

9.根据权利要求7所述的装置，其中，所述训练模块，具体用于：

根据所述已标注样本和所述N个训练样本对所述初始模型进行训练，以生成训练后的初始模型；

响应于所述训练后的初始模型满足训练完成条件，将所述训练后的初始模型作为所述目标模型。

10.根据权利要求9所述的装置，其中，所述训练模块，还用于：

获取测试样本和所述测试样本对应的标签；

将所述测试样本输入所述训练后的初始模型，以生成测试结果；

根据所述测试结果和所述标签，计算所述训练后的初始模型的准确率；

若所述准确率开始降低，则确定所述训练后的初始模型满足所述训练完成条件；

若所述准确率未开始降低，则确定所述训练后的初始模型不满足所述训练完成条件。

11.根据权利要求9所述的装置，其中，所述训练模块，还用于：

响应于所述训练后的初始模型未满足所述训练完成条件，分别将所述已标注样本和所述未标注样本输入所述训练后的初始模型，以重新生成多个预测结果和所述重新生成的多个预测结果的分数；

根据所述选取策略、所述重新生成的多个预测结果和所述重新生成的多个预测结果的分数，从所述文本样本集中重新选取N个样本；

对重新选取的N个样本进行标注，以重新得到N个训练样本；

根据所述已标注样本和重新得到的N个训练样本对所述训练后的初始模型进行训练，以得到所述目标模型。

12.一种命名实体识别装置，包括：

获取模块，用于获取输入文本；

识别模块，用于调用目标模型对所述输入文本进行命名实体识别，以生成所述输入文本的命名实体，其中，所述目标模型由权利要求1-5任一项所述的模型训练方法训练得到。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的模型训练方法，或者，执行权利要求6中所述的命名实体识别方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的模型训练方法，或者，执行根据权利要求6中所述的命名实体识别方法。

Images