CN112001179A - 命名实体识别方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本发明涉及数据处理，揭露一种命名实体识别方法，包括：对多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将子数据集输入命名实体识别模型进行训练，得到训练好的命名实体识别模型；获取请求携带的待命名实体识别文本及目标命名实体类别；将待命名实体识别文本输入训练好的命名实体识别模型，将目标命名实体类别对应的输出分支输出的识别结果作为目标识别结果。本发明还提供一种命名实体识别装置、电子设备及可读存储介质。本发明可提升命名实体数据集的获取效率、提高命名实体识别准确度。

Description

命名实体识别方法、装置、电子设备及可读存储介质

技术领域

本发明涉及数据处理领域，尤其涉及一种命名实体识别方法、装置、电子设备及可读存储介质。

背景技术

在自然语言处理应用领域中，命名实体识别是信息检索、机器翻译、自动问答、情感分析等自然语言处理应用的基础任务，对命名实体识别的研究具有重要意义。

当前，与命名实体相关的数据集较少，且不同数据集标注的命名实体类别不同，无法直接将现有数据集混合后对命名实体模型进行训练，而人工标注数据集费时费力，导致命名实体数据集的获取效率低下；同时，当前通常采用单一的基于统计的模型作为命名实体识别模型对不同命名实体进行识别，由于不同命名实体的结构不同、长度不同，导致模型对命名实体的识别准确度不够高。因此，亟需一种命名实体识别方法，以提升命名实体数据集的获取效率、提高命名实体识别准确度。

发明内容

鉴于以上内容，有必要提供一种命名实体识别方法，旨在提升命名实体数据集的获取效率、提高命名实体识别准确度。

本发明提供的命名实体识别方法，包括：

从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

可选的，所述对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集，包括：

将所述多个数据集中的每个数据集携带的标注信息由初始标注格式转换为预设标注格式；

根据所述预设标注格式的标注信息确定所述每个数据集对应的命名实体类别集合，将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集；

汇总各个命名实体类别对应的初始数据集得到各个命名实体类别对应的子数据集。

可选的，所述构建命名实体识别模型包括：

将BERT模型作为所述命名实体识别模型的主支干，按照命名实体类别的数量在所述主支干后增加多个输出分支，所述输出分支包括一个全连接层。

可选的，所述命名实体识别模型的训练过程包括：

选择一个命名实体类别对应的子数据集输入所述命名实体识别模型，将与所述选择的命名实体类别对应的输出分支输出的识别结果作为所述选择的命名识别类别对应的子数据集的预测命名实体；

根据所述预设标注格式的标注信息获取所述选择的命名实体类别对应的子数据集的真实命名实体，通过最小化真实命名实体与预测命名实体之间的准确度损失值确定所述命名实体识别模型的所述选择的命名实体类别对应的输出分支的权重参数。

可选的，所述准确度损失值的计算公式为：

其中，q_i为第i个命名实体类别对应的子数据集的预测命名实体，p_i为第i个命名实体类别对应的子数据集的真实命名实体，loss(q_i,p_i)为第i个命名实体类别对应的子数据集的真实命名实体与预测命名实体之间的准确度损失值，c为命名实体类别的总数量。

可选的，所述将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集，包括：

对于所述每个数据集，将其对应的命名实体类别集合中某一指定命名实体类别对应的正样本保留，将其他命名实体类别对应的样本作为负样本，得到所述指定命名实体类别对应的初始数据集。

可选的，所述初始标注格式包括BIOES、BMES及BIO，所述预设标注格式为BIO，将标注信息由初始标注格式转换为预设标注格式包括：

将所述BIOES格式中的I标注删除、S标注修改为B标注、E标注修改为I标注；

将所述BMES格式中的M标注删除、S标注修改为B标注、E标注修改为I标注。

为了解决上述问题，本发明还提供一种命名实体识别装置，所述装置包括：

提取模块，用于从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

训练模块，用于构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

请求模块，用于响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

输出模块，用于将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的命名实体识别程序，所述命名实体识别程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述命名实体识别方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有命名实体识别程序，所述命名实体识别程序可被一个或者多个处理器执行，以实现上述命名实体识别方法。

相较现有技术，本发明首先在将多个数据集的标注格式统一转换为预设标注格式后，按照命名实体类别对每个数据集进行拆分(目标命名实体类别对应的样本为正样本，其它命名实体类别对应的样本为负样本)，得到每个数据集中各个命名实体类别对应的初始数据集，再汇总初始数据集，得到各个命名实体类别对应的子数据集，本步骤不需要进行任何人工标注，可将多个标注格式不一、标注实体不同的数据集进行融合，得到各个命名实体类别对应的数据量适中的数据集，提升了命名实体数据集的获取效率；接着，构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，而非传统的采用一个输出分支来识别不同类别的命名实体，使得命名实体识别准确度更高；最后，将待命名实体识别文本输入训练好的命名实体识别模型，将与目标命名实体类别对应的输出分支输出的识别结果作为待命名实体识别文本的目标识别结果，得到的目标识别结果准确度较高。故而，本发明提升了命名实体数据集的获取效率，提高了命名实体识别准确度。

附图说明

图1为本发明一实施例提供的命名实体识别方法的流程示意图；

图2为本发明一实施例提供的命名实体识别装置的模块示意图；

图3为本发明一实施例提供的实现命名实体识别方法的电子设备的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种命名实体识别方法。参照图1所示，为本发明一实施例提供的命名实体识别方法的流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。

本实施例中，命名实体识别方法包括：

S1、从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

命名实体是人名、机构名、地名以及其他所有以名称为标识的实体，例如，命名实体还包括数字、日期、货币、地址等。

本实施例中，所述多个数据集为从网络上已收集到的与命名实体识别相关的携带标注信息的数据集，例如，MSRA、人民日报、微博、CLUENER、BOSON等数据集。

本步骤的目的在于将各个数据集融合后形成一个合适数据量的大数据集，以对命名实体识别模型进行训练。

所述对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集，包括步骤A1-A3：

A1、将所述多个数据集中的每个数据集携带的标注信息由初始标注格式转换为预设标注格式；

已收集到的各个数据集的初始标注格式可能不统一，所述初始标注格式包括BIOES、BMES及BIO，例如，CLUENER数据集的标注格式为BIOES，而微博数据集的标注格式为BMES，人民日报数据集的标注格式为BIO。

BIOES中的B(begin)表示位于命名实体的开始，I(inside)表示位于命名实体的内部，O(outside)表示非命名实体，E(end)表示位于命名实体的尾部，S(single)表示单个字符为一个命名实体，例如，我是广东人被标注为我/S是/S广/B东/I人/E。

BMES中的B表示位于命名实体的开始，M(middle)表示位于命名实体的中间，E表示位于命名实体的尾部，S表示单个字符为一个命名实体。

BIO中的B表示命名实体的开始，I表示命名实体的尾部，O表示非命名实体。

本实施例中，所述预设标注格式为BIO，将标注信息由初始标注格式转换为预设标注格式包括步骤B1-B2：

B1、将所述BIOES格式中的I标注删除、S标注修改为B标注、E标注修改为I标注；

B2、将所述BMES格式中的M标注删除、S标注修改为B标注、E标注修改为I标注。

将BIO作为目标标注格式，可快速将其他标注格式转换为BIO格式，转换效率高，若将BIO格式转换为BIOES或BMES格式，则需要增加人工标注，转换效率低下。

A2、根据所述预设标注格式的标注信息确定所述每个数据集对应的命名实体类别集合，将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集；

每个数据集标注的命名实体类别也可能不同，例如，人民日报数据集中有标注时间实体，而MSRA数据集中未标注时间实体。根据标注信息可确定每个数据集对应的命名实体类别集合，假设MSRA数据集的标注信息中标注了PER(人名)、LOC(地名)、ORG(机构名)这三个命名实体类别，将L(MSRA)作为MSRA数据集对应的命名实体类别集合，则L(MSRA)＝{PER、LOC、ORG}，类似的，本实施例假设得到L(人民日报)＝{PER、LOC、ORG、TIM}，L{微博}＝{PER、ORG、LOC}，L(CLUENER)＝{PER，LOC、ORG、COM、ADD，GAME、GOV、SCENCE、BOOK、MOVIE}，L(BOSON)＝{PER、LOC、ORG、COM、TIM、PRODUCT}。

本实施例中，所述将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集，包括：

对于所述每个数据集，将其对应的命名实体类别集合中某一指定命名实体类别对应的正样本保留，将其他命名实体类别对应的样本作为负样本，得到所述指定命名实体类别对应的初始数据集。

例如，对于MSRA数据集，其L(MSRA)＝{PER、LOC、ORG}，以PER类别为例进行说明，将MSRA数据集中的所有PER类别的正样本保留，其他的诸如LOC、ORG这两个类别的正样本全部标注为负样本，MSRA数据集中原本存在的负样本保持不变，则新得到的数据集中只包含了PER类别的正样本，其他类别的正样本全部变成了负样本，将新得到的这个数据集记为MSRA-PER(即MSRA数据集中PER类别对应的初始数据集)，依次类推，可得到MSRA-ORG，MSRA-LOC数据集。针对另外四个数据集，也可以到CLUENER-PER、CLUENER-ADD...等数据集。

A3、汇总各个命名实体类别对应的初始数据集得到各个命名实体类别对应的子数据集。

根据上述步骤A2，对于PER类别，可得到MSRA-PER、人民日报-PER、CLUENER-PER、微博-PER、BOSON-PER这五个初始数据集，这五个初始数据集中都只包含PER类别的命名实体，其他类别的命名实体都是负样本，因此可以将这五个初始数据集混合起来，构成一个新的数据集，记为PER数据集(即PER类别对应的子数据集)，依次类推，可得到LOC、ORG、TIM、ADD、COM、BOOK等命名实体类别对应的子数据集。

故而，本发明不需要进行人工标注即可得到每个命名实体类别对应的数据量适中的子数据集，获取命名实体数据集的效率较高。

S2、构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

所述构建命名实体识别模型包括：

将BERT模型作为所述命名实体识别模型的主支干，按照命名实体类别的数量在所述主支干后增加多个输出分支，所述输出分支包括一个全连接层。

本实施例中，所述命名实体识别模型有一个输入、多个输出，每个输出分支对应输出一个命名实体类别的识别结果。

所述命名实体识别模型的训练过程包括：

C1、选择一个命名实体类别对应的子数据集输入所述命名实体识别模型，将与所述选择的命名实体类别对应的输出分支输出的识别结果作为所述选择的命名识别类别对应的子数据集的预测命名实体；

C2、根据所述预设标注格式的标注信息获取所述选择的命名实体类别对应的子数据集的真实命名实体，通过最小化真实命名实体与预测命名实体之间的准确度损失值确定所述命名实体识别模型的所述选择的命名实体类别对应的输出分支的权重参数。

通过上述步骤C1-C2，可训练得到所述命名实体识别模型的每个命名实体类别对应的输出分支的权重参数

本实施例中，所述准确度损失值的计算公式为：

其中，q_i为第i个命名实体类别对应的子数据集的预测命名实体，p_i为第i个命名实体类别对应的子数据集的真实命名实体，loss(q_i,p_i)为第i个命名实体类别对应的子数据集的真实命名实体与预测命名实体之间的准确度损失值，c为命名实体类别的总数量。

S3、响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

S4、将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

例如，请求中携带的目标命名实体类别为PER(人名)，将待识别文本输入训练好的命名实体识别模型后，将模型中PER类别对应的输出分支识别到的结果作为目标识别结果。

本发明通过在模型中增加多个输出分支，每个输出分支对应输出一个命名实体类别的识别结果，使得命名实体识别准确度高。

由上述实施例可知，本发明提出的命名实体识别方法，首先，在将多个数据集的标注格式统一转换为预设标注格式后，按照命名实体类别对每个数据集进行拆分(目标命名实体类别对应的样本为正样本，其它命名实体类别对应的样本为负样本)，得到每个数据集中各个命名实体类别对应的初始数据集，再汇总初始数据集，得到各个命名实体类别对应的子数据集，本步骤不需要进行任何人工标注，可将多个标注格式不一、标注实体不同的数据集进行融合，得到各个命名实体类别对应的数据量适中的数据集，提升了命名实体数据集的获取效率；接着，构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，而非传统的采用一个输出分支来识别不同类别的命名实体，使得命名实体识别准确度更高；最后，将待命名实体识别文本输入训练好的命名实体识别模型，将与目标命名实体类别对应的输出分支输出的识别结果作为待命名实体识别文本的目标识别结果，得到的目标识别结果准确度较高。故而，本发明提升了命名实体数据集的获取效率，提高了命名实体识别准确度。

如图2所示，为本发明一实施例提供的命名实体识别装置的模块示意图。

本发明所述命名实体识别装置100可以安装于电子设备中。根据实现的功能，所述命名实体识别装置100可以包括提取模块110、训练模块120、请求模块130及输出模块140。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

提取模块110，用于从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

命名实体是人名、机构名、地名以及其他所有以名称为标识的实体，例如，命名实体还包括数字、日期、货币、地址等。

本实施例中，所述多个数据集为从网络上已收集到的与命名实体识别相关的携带标注信息的数据集，例如，MSRA、人民日报、微博、CLUENER、BOSON等数据集。

本步骤的目的在于将各个数据集融合后形成一个合适数据量的大数据集，以对命名实体识别模型进行训练。

所述对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集，包括步骤A1-A3：

A1、将所述多个数据集中的每个数据集携带的标注信息由初始标注格式转换为预设标注格式；

已收集到的各个数据集的初始标注格式可能不统一，所述初始标注格式包括BIOES、BMES及BIO，例如，CLUENER数据集的标注格式为BIOES，而微博数据集的标注格式为BMES，人民日报数据集的标注格式为BIO。

BIOES中的B(begin)表示位于命名实体的开始，I(inside)表示位于命名实体的内部，O(outside)表示非命名实体，E(end)表示位于命名实体的尾部，S(single)表示单个字符为一个命名实体，例如，我是广东人被标注为我/S是/S广/B东/I人/E。

BMES中的B表示位于命名实体的开始，M(middle)表示位于命名实体的中间，E表示位于命名实体的尾部，S表示单个字符为一个命名实体。

BIO中的B表示命名实体的开始，I表示命名实体的尾部，O表示非命名实体。

本实施例中，所述预设标注格式为BIO，将标注信息由初始标注格式转换为预设标注格式包括步骤B1-B2：

B1、将所述BIOES格式中的I标注删除、S标注修改为B标注、E标注修改为I标注；

B2、将所述BMES格式中的M标注删除、S标注修改为B标注、E标注修改为I标注。

将BIO作为目标标注格式，可快速将其他标注格式转换为BIO格式，转换效率高，若将BIO格式转换为BIOES或BMES格式，则需要增加人工标注，转换效率低下。

A2、根据所述预设标注格式的标注信息确定所述每个数据集对应的命名实体类别集合，将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集；

每个数据集标注的命名实体类别也可能不同，例如，人民日报数据集中有标注时间实体，而MSRA数据集中未标注时间实体。根据标注信息可确定每个数据集对应的命名实体类别集合，假设MSRA数据集的标注信息中标注了PER(人名)、LOC(地名)、ORG(机构名)这三个命名实体类别，将L(MSRA)作为MSRA数据集对应的命名实体类别集合，则L(MSRA)＝{PER、LOC、ORG}，类似的，本实施例假设得到L(人民日报)＝{PER、LOC、ORG、TIM}，L{微博}＝{PER、ORG、LOC}，L(CLUENER)＝{PER，LOC、ORG、COM、ADD，GAME、GOV、SCENCE、BOOK、MOVIE}，L(BOSON)＝{PER、LOC、ORG、COM、TIM、PRODUCT}。

本实施例中，所述将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集，包括：

对于所述每个数据集，将其对应的命名实体类别集合中某一指定命名实体类别对应的正样本保留，将其他命名实体类别对应的样本作为负样本，得到所述指定命名实体类别对应的初始数据集。

例如，对于MSRA数据集，其L(MSRA)＝{PER、LOC、ORG}，以PER类别为例进行说明，将MSRA数据集中的所有PER类别的正样本保留，其他的诸如LOC、ORG这两个类别的正样本全部标注为负样本，MSRA数据集中原本存在的负样本保持不变，则新得到的数据集中只包含了PER类别的正样本，其他类别的正样本全部变成了负样本，将新得到的这个数据集记为MSRA-PER(即MSRA数据集中PER类别对应的初始数据集)，依次类推，可得到MSRA-ORG，MSRA-LOC数据集。针对另外四个数据集，也可以到CLUENER-PER、CLUENER-ADD...等数据集。

A3、汇总各个命名实体类别对应的初始数据集得到各个命名实体类别对应的子数据集。

根据上述步骤A2，对于PER类别，可得到MSRA-PER、人民日报-PER、CLUENER-PER、微博-PER、BOSON-PER这五个初始数据集，这五个初始数据集中都只包含PER类别的命名实体，其他类别的命名实体都是负样本，因此可以将这五个初始数据集混合起来，构成一个新的数据集，记为PER数据集(即PER类别对应的子数据集)，依次类推，可得到LOC、ORG、TIM、ADD、COM、BOOK等命名实体类别对应的子数据集。

故而，本发明不需要进行人工标注即可得到每个命名实体类别对应的数据量适中的子数据集，获取命名实体数据集的效率较高。

训练模块120，用于构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

所述构建命名实体识别模型包括：

将BERT模型作为所述命名实体识别模型的主支干，按照命名实体类别的数量在所述主支干后增加多个输出分支，所述输出分支包括一个全连接层。

本实施例中，所述命名实体识别模型有一个输入、多个输出，每个输出分支对应输出一个命名实体类别的识别结果。

所述命名实体识别模型的训练过程包括：

C1、选择一个命名实体类别对应的子数据集输入所述命名实体识别模型，将与所述选择的命名实体类别对应的输出分支输出的识别结果作为所述选择的命名识别类别对应的子数据集的预测命名实体；

C2、根据所述预设标注格式的标注信息获取所述选择的命名实体类别对应的子数据集的真实命名实体，通过最小化真实命名实体与预测命名实体之间的准确度损失值确定所述命名实体识别模型的所述选择的命名实体类别对应的输出分支的权重参数。

通过上述步骤C1-C2，可训练得到所述命名实体识别模型的每个命名实体类别对应的输出分支的权重参数

本实施例中，所述准确度损失值的计算公式为：

其中，q_i为第i个命名实体类别对应的子数据集的预测命名实体，p_i为第i个命名实体类别对应的子数据集的真实命名实体，loss(q_i,p_i)为第i个命名实体类别对应的子数据集的真实命名实体与预测命名实体之间的准确度损失值，c为命名实体类别的总数量。

请求模块130，用于响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

输出模块140，用于将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

例如，请求中携带的目标命名实体类别为PER(人名)，将待识别文本输入训练好的命名实体识别模型后，将模型中PER类别对应的输出分支识别到的结果作为目标识别结果。

本发明通过在模型中增加多个输出分支，每个输出分支对应输出一个命名实体类别的识别结果，使得命名实体识别准确度高。

如图3所示，为本发明一实施例提供的实现命名实体识别方法的电子设备的结构示意图。

所述电子设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子设备1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

在本实施例中，电子设备1包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，该存储器11中存储有命名实体识别程序10，所述命名实体识别程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及命名实体识别程序10的电子设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子设备1的内部存储单元，例如该电子设备1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件，例如存储本发明一实施例中的命名实体识别程序10的代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行命名实体识别程序10等。

网络接口13可包括无线网络接口或有线网络接口，该网络接口13用于在所述电子设备1与客户端(图中未画出)之间建立通信连接。

可选的，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选的，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的命名实体识别程序10是多个指令的组合，在所述处理器12中运行时，可以实现：

从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

具体地，所述处理器12对上述命名实体识别程序10的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。需要强调的是，为进一步保证上述各个数据集的私密和安全性，上述数据集还可以存储于一区块链的节点中。

进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

所述计算机可读存储介质上存储有命名实体识别程序10，所述命名实体识别程序10可被一个或者多个处理器执行，本发明计算机可读存储介质具体实施方式与上述命名实体识别方法各实施例基本相同，在此不作赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种命名实体识别方法，其特征在于，所述方法包括：

从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

2.如权利要求1所述的命名实体识别方法，其特征在于，所述对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集，包括：

将所述多个数据集中的每个数据集携带的标注信息由初始标注格式转换为预设标注格式；

根据所述预设标注格式的标注信息确定所述每个数据集对应的命名实体类别集合，将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集；

汇总各个命名实体类别对应的初始数据集得到各个命名实体类别对应的子数据集。

3.如权利要求1所述的命名实体识别方法，其特征在于，所述构建命名实体识别模型包括：

将BERT模型作为所述命名实体识别模型的主支干，按照命名实体类别的数量在所述主支干后增加多个输出分支，所述输出分支包括一个全连接层。

4.如权利要求3所述的命名实体识别方法，其特征在于，所述命名实体识别模型的训练过程包括：

选择一个命名实体类别对应的子数据集输入所述命名实体识别模型，将与所述选择的命名实体类别对应的输出分支输出的识别结果作为所述选择的命名识别类别对应的子数据集的预测命名实体；

根据所述预设标注格式的标注信息获取所述选择的命名实体类别对应的子数据集的真实命名实体，通过最小化真实命名实体与预测命名实体之间的准确度损失值确定所述命名实体识别模型的所述选择的命名实体类别对应的输出分支的权重参数。

5.如权利要求4所述的命名实体识别方法，其特征在于，所述准确度损失值的计算公式为：

其中，q_i为第i个命名实体类别对应的子数据集的预测命名实体，p_i为第i个命名实体类别对应的子数据集的真实命名实体，loss(q_i,p_i)为第i个命名实体类别对应的子数据集的真实命名实体与预测命名实体之间的准确度损失值，c为命名实体类别的总数量。

6.如权利要求2所述的命名实体识别方法，其特征在于，所述将所述每个数据集拆分为其对应的命名实体类别集合中各个命名实体类别对应的初始数据集，包括：

对于所述每个数据集，将其对应的命名实体类别集合中某一指定命名实体类别对应的正样本保留，将其他命名实体类别对应的样本作为负样本，得到所述指定命名实体类别对应的初始数据集。

7.如权利要求2所述的命名实体识别方法，其特征在于，所述初始标注格式包括BIOES、BMES及BIO，所述预设标注格式为BIO，将标注信息由初始标注格式转换为预设标注格式包括：

将所述BIOES格式中的I标注删除、S标注修改为B标注、E标注修改为I标注；

将所述BMES格式中的M标注删除、S标注修改为B标注、E标注修改为I标注。

8.一种命名实体识别装置，其特征在于，所述装置包括：

提取模块，用于从数据库中获取多个数据集，对所述多个数据集执行命名实体类别提取得到各个命名实体类别对应的子数据集；

训练模块，用于构建命名实体识别模型，所述命名实体识别模型包括多个输出分支，每个输出分支对应一个命名实体类别，将所述各个命名实体类别对应的子数据集输入所述命名实体识别模型进行训练，得到训练好的命名实体识别模型；

请求模块，用于响应用户基于客户端发出的命名实体识别请求，解析所述请求，获取所述请求携带的待命名实体识别文本及目标命名实体类别；

输出模块，用于将所述待命名实体识别文本输入所述训练好的命名实体识别模型，将所述目标命名实体类别对应的输出分支输出的识别结果作为所述待命名实体识别文本的目标识别结果。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的命名实体识别程序，所述命名实体识别程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的命名实体识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有命名实体识别程序，所述命名实体识别程序可被一个或者多个处理器执行，以实现如权利要求1至7任一项所述的命名实体识别方法。

Images