CN115345258B - 一种命名实体识别模型训练方法、电子设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，具体涉及一种命名实体识别模型训练方法、电子设备及存储介质，所述方法包括：通过f个批处理样本训练命名实体识别模型，其中第j个批处理样本batch_j通过对n个数据集data进行采样得到，命名实体模型包含m个分类器，data包含m个实体类型，其中，第L个分类器对应训练第L个实体类型；该方法在对data采样时增加data­­_weight来控制在获取batch_j时每个数据集的采样权重，提升数量少的实体类型所在的数据集在训练过程中的采样权重，进而提高数量少的实体类型的识别准确率。

Description

一种命名实体识别模型训练方法、电子设备及存储介质

技术领域

本发明涉及人工智能技术领域，特别是涉及一种命名实体识别模型训练方法、电子设备及存储介质。

背景技术

在命名实体识别任务中，实体类型的标注准确率直接影响着实体识别模型的准确率，所述标注准确率会被数据集的采样方法、实体的数量等因素影响；现有的对实体的采样一般采取随机采样，即对所有的实体所在的数据集采取同等比例且同等概率的采样，导致在模型训练时各个实体的训练量与数据集的实体数量呈正相关，这种采样方法会使实体数量少的数据集不能得到足够的训练次数，命名实体识别的准确率低。

CN114021565A中公开了一种命名实体识别模型的训练方法及装置，所述方法通过获取多个训练任务一一对应的多组数据集，其中，多组数据集中的每组数据集中包括训练集和验证集；对于每组数据集中的训练集和验证集，通过该训练集训练初始模型，并通过该验证集确定经该训练集训练后的初始模型的训练损失；但是上述现有技术也存在着以下技术问题：所述方法采用不同数量的数据集直接进行模型训练，数据集中数量少的实体类型参与的模型训练次数少，会造成数量少的实体识别准确率低。

发明内容

针对上述技术问题，本发明采用的技术方案为：一种命名实体识别模型训练方法，方法通过f个批处理样本batch={batch₁,batch₂,…,batch_j,…,batch_f}训练命名实体识别模型，其中，batch_j为第j个批处理样本，j的取值范围为1到f，命名实体识别模型包括m个分类器，batch_j通过对n个数据集data={data₁,data₂,…,data_i,…,data_n}进行采样得到，其中，data_i为第i个数据集，i的取值范围为1到n；batch_j的采样步骤包括：

S100，获取采样权重data_weight={data_weight₁,data_weight₂,…,data_weight_i,…,data_weight_n}，其中，data_weight_i为第i个采样权重，i的取值范围为1到n；data_weight满足：data_weight₁+data_weight₂+…+data_weight_n=1；其中，data_weight_i与subi成正相关，subi表示数据集data_i包含的实体数量d_i和实体权重entity_q_i的乘积，实体权重entity_q_i与eⁱ _entityL成负相关，eⁱ _entityL为data_i中实体类型为第L个实体类型的实体数量，m为data中包含的实体类型数量，1≤L≤m。

S200，根据data_weight的比例将(0，1]区间划分为n个区间{in₁,in₂,…,in_i,…,in_n}，其中，in_i为第i个区间，i的取值范围为1到n，in_i对应data_weight_i。

S300，获取一个(0，1)之间的随机数s，并确定s所在的区间in_i。

S400，根据in_i对应的data_weight_i获取对应的data_i，data_i中包含d_i个实体{en₁,en₂,…,en_p,…,en_di}，其中，en_p为data_i中第p个实体，p的取值范围为i到d_i。

S500，获取en_p，p为随机数s落入区间in_i的次数。

S600，重复步骤S300-S500，将获取的en_p存储到batch_j中，当k=batch_size时，结束重复步骤S300-S500；其中，k为batch_j中的实体数量，batch_size为batch_j中能存储实体数量的最大值。

本发明至少具有以下有益效果：对数据集采样时增加data_weight来控制每个batch的数据集采样比例，并按照n个data_weight的比例将(0，1]区间划分为多个子区间，随机数s分布在每个子区间上的概率能够代表该区间对应的数据集data_i被选中的概率，data_weight与数据集实体数量有关，通过提升实体数量少的数据集在训练过程中的采样频次，提升了数量少的实体类型在训练过程中的出现频次，进而提高数量少的实体类型的识别准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的命名实体识别模型训练方法的框图；

图2为本发明实施例提供的获取批处理样本batch_j的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的一种命名实体识别模型训练方法，通过f个批处理样本batch={batch₁,batch₂,…,batch_j,…,batch_f}训练命名实体识别模型，其中，batch_j为第j个批处理样本，j的取值范围为1到f，命名实体识别模型包括m个分类器，batch_j通过对n个数据集data={data₁,data₂,…,data_i,…,data_n}进行采样得到，其中，data_i为第i个数据集，i的取值范围为1到n。

其中，命名实体识别模型为BERT模型，BERT模型支持多个数据集输入数据，不同数据集可具有不同类型的实体，能完成多实体多数据集的实体类型识别问题。

其中，命名实体识别模型包含m个相互独立的分类器，不同分类器在模型中对应训练不同的实体类型。可选的，分类器为决策树、逻辑回归、朴素贝叶斯、神经网络，能够把数据集中的实体映射到实体类型中的某一个，从而可以应用于对数据集中某一个实体类型的模型学习训练。

其中，data包含m个实体类型entity={entity₁,entity₂,…,entity_L,…,entity_m}，其中，entity_L为data中第L个实体类型，L的取值范围为1到m；entity_L对应输入到第L个分类器中进行模型训练。

例如，使用开源数据集对命名实体识别模型进行训练，表1示出了收集的17545条开源文本数据，分为四个数据集{data₁,data₂.data₃,data₄}，data₁中标注了物品、账号等12种实体类型，data₂中标注了物品、区域、组织等11种实体类型，data₃中标注了账号、人物、方式等19种实体类型，data₄中标注了物品、账号、人物、区域、组织等23种实体类型。

表1数据集标注情况

数据集	实体类型标注情况
		<![CDATA[data<sub>1</sub>]]>	该数据集标注了物品、账号等12种实体类型
<![CDATA[data<sub>2</sub>]]>	该数据集标注了物品、区域、组织等11种实体类型
		<![CDATA[data<sub>3</sub>]]>	该数据集标注了账号、人物、方式等19种实体类型
<![CDATA[data<sub>4</sub>]]>	该数据集标注了物品、账号、人物、区域、组织等23种实体类型

对开源数据集采样之后，将batch输入到命名实体识别模型的m个分类器中，分别对m个实体类型进行训练；具体的，某个分类器只对该分类器对应的实体类型进行提取训练，而对于该训练器对应的实体类型之外的实体类型不做任何处理；表2示出了本实施例中的分类器分别对应的实体类型：

表2分类器对应训练的实体类型

分类器	实体类型
		分类器1	物品类
分类器2	账号类
		分类器3	人物类
︙	︙
		分类器m	方式类

如图2所示，batch_j的采样步骤包括：

S100，获取采样权重data_weight={data_weight₁,data_weight₂,…,data_weight_i,…,data_weight_n}，其中，data_weight_i为第i个采样权重，i的取值范围为1到n；data_weight满足：data_weight₁+data_weight₂+…+data_weight_n=1；其中，data_weight_i与subi成正相关，subi表示数据集data_i包含的实体数量d_i和实体权重entity_q_i的乘积，实体权重entity_q_i与eⁱ _entityL成负相关，eⁱ _entityL为data_i中实体类型为第L个实体类型的实体数量，m为data中包含的实体类型数量，1≤L≤m。

具体的，采样权重为第一采样权重或第二采样权重归一化得到，第一采样权重与data_i中某一实体类型的实体数量和包含某一实体类型的数据集的数量分别呈负相关，第二采样权重与某一实体类型的实体数量呈负相关。

优选的，data_weight_i满足：

data_weight_i=data_weight^＇ _i/∑ⁿ _k=1data_weight^＇ _k

其中，data_weight_i为data_weight^＇ _i归一化得到，其中data_weight^＇ _i满足：

data_weight^＇ _i=(d_i/∑ⁿ _k=1d_k)*entity_q_i

其中，d_i为data_i包含的实体数量，data_weight^＇ _i为data_i的第一采样权重。具体的，在data_i对应的data_weight_i计算时增加实体权重entity_q_i，在对不同的数据集做采样时，能够降低实体数量比较多的数据集的采样权重；增大实体数量较少的数据集的采样权重。

entity_q_i=∑^m _L=1w_L

其中，w_L为第L个实体类型的第一权重，具体的，实体权重entity_q_i为m个实体类型的第一权重的加和，entity_q_i分别与n_entityL和eⁱ _entityL呈负相关；当data_i中的entity_L数量大且包含entity_L的数据集的数量多时，降低entity_L在data_i中的第一采样权重；反之，增加该实体在data_i中的第一采样权重。

其中，w_L满足：

w_L=1/(n_entityL*logeⁱ _entityL)

其中，w_L分别与n_entityL和eⁱ _entityL呈负相关，n_entityL为包括entity_L的数据集的数量，eⁱ _entityL为data_i中的entity_L的数量。

data_weight_i与data_i中实体类型对应的实体数量和包含某实体类型的数据集的数量相关，data_i中实体类型对应的实体数量少以及包含某实体类型的数据集的数量少都会使该数据集具有较大的data_weight_i；在采样时考虑的与实体类型相关的因素更全面，获取到的批处理样本bacth中的实体类型分布更加均匀，能够提升命名实体识别模型单个实体的识别准确率。

优选的，data_weight_i满足：

data_weight_i=smooth_data_weight_i/∑ⁿ _k=1smooth_data_weight_k

其中，data_weight_i为smooth_data_weight_i归一化得到。

smooth_data_weight_i=entity_q_i*d_i

entity_q_i=min(log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk)),c)

其中，smooth_data_weight_i为data_i的第二采样权重；其中，min(log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk)),c)为取log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk))和c之间的最小值，c为第一阈值，可选的，c=20，eⁱ _entityL为data_i中的entity_L的实体数量，d_i为data_i中实体的数量。

具体的，data_weight_i与data_i中的实体类型的实体数量相关，实体数量少的数据集在采样时具有较大的data_weight_i，实体数量多的数据集在采样时具有较小的data_weight_i，以此均衡btach中各实体类型的出现频次。

S200，根据data_weight的比例将(0，1]区间划分为n个区间{in₁,in₂,…,in_i,…,in_n}，其中，in_i为第i个区间，i的取值范围为1到n，in_i对应data_weight_i。

其中，根据data_weight的比例划分(0，1]区间为计算出data_weight_i在n个采样权重data_weight之和中所占的比例，根据该比例在(0，1]中划分出in_i。

其中，in_i为(a，a+data_weight_i]；当i=1时，a=0；当1＜i≤n时，a=∑^i-1 _j=1data_weight_j；例如：data_weight={0.2，0.5，0.3}，则in₁为（0，0.2]，in₂为（0.2，0.7]，in₃为（0.7，1]。

S300，获取一个(0，1)之间的随机数s，并确定s所在的区间in_i。

其中，s落在区间in_i中的概率与data_weight_i相等，所以在(0，1)之间取得随机数s，s分布在每个区间中的概率能够代表该区间对应的data_weight_i在n个data_weight中的概率，同时能够代表在data中选取data_i的概率。

S400，根据in_i对应的data_weight_i获取对应的data_i，data_i中包含d_i个实体{en₁,en₂,…,en_p,…,en_di}，其中，en_p为data_i中第p个实体，p的取值范围为i到d_i。

其中，data_i的获取基于data_weight_i在data_weight中的概率，同时，data_weight_i与实体相关；data_weight_i的增大使得data_i对应的区间in_i增大，随机数s落在in_i中的概率增大；反之，data_i对应的区间in_i减小，随机数s落在in_i中的概率减小；此种获取data_i的方式使随机数s落在某个区间的概率与数据集中各实体类型的数量呈负相关，实体数量少的数据集有更大的概率被采样。

S500，获取data_i的第p个实体en_p，p为随机数s落入区间in_i的次数。

其中,s落入区间in_i的次数p满足：初始时，p=0；当p>d_i时，将data_i中的实体乱序且令p=1,d_i为data_i中的实体数量。具体的，当对数据集再次开始采样时，因命名实体识别模型深度学习时的拟合能力过强，实体数据乱序能够避免同一顺序的实体组合在batch中反复出现，减小对模型的泛化能力的影响；泛化能力为模型对输入样本的适应能力，即对新输入样本的适应能力。

S600，重复步骤S300-S500，将获取的en_p存储到batch_j中，当k=batch_size时，结束重复步骤S300-S500；其中，k为batch_j中的实体数量，batch_size为batch_j中能存储实体数量的最大值。

其中，重复步骤S300-S500满足：当k<batch_size时，重复步骤S300-S500。

其中，采样获取的batch_j中均衡融合了各个实体类型，data中数量少的实体类型在batch_j中的出现频率较高；反之，data中数量多的实体在batch_j中出现频率较低。

综上所述，本实施例对数据集采样时增加data_weight来控制每个batch的数据集采样比例，并按照n个data_weight的比例将(0，1]区间划分为多个子区间，随机数s分布在每个子区间上的概率能够代表该区间对应的数据集data_i被选中的概率，data_weight与数据集实体数量相关，使得s落在(0，1]任一子区间的概率能够与数据集中实体数量呈负相关，通过提升实体数量少的数据集在训练过程中的采样频次，提升了数量少的实体类型在训练过程中的出现频次，进而提高数量少的实体类型的识别准确率。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (9)

1.一种命名实体识别模型训练方法，其特征在于，所述方法通过f个批处理样本batch={batch₁,batch₂,…,batch_j,…,batch_f}训练命名实体识别模型，其中，batch_j为第j个批处理样本，j的取值范围为1到f，命名实体识别模型包括m个分类器，batch_j通过对n个数据集data={data₁,data₂,…,data_i,…,data_n}进行采样得到，其中，data_i为第i个数据集，i的取值范围为1到n；所述batch_j的采样步骤包括：

S100，获取采样权重data_weight={data_weight₁,data_weight₂,…,data_weight_i,…,data_weight_n}，其中，data_weight_i为第i个采样权重，i的取值范围为1到n；所述data_weight满足：data_weight₁+data_weight₂+…+data_weight_n=1；其中，data_weight_i与subi成正相关，subi表示数据集data_i包含的实体数量d_i和实体权重entity_q_i的乘积，所述实体权重entity_q_i与eⁱ _entityL成负相关，eⁱ _entityL为data_i中实体类型为第L个实体类型的实体数量，m为data中包含的实体类型数量，1≤L≤m；

S200，根据data_weight的比例将(0，1]区间划分为n个区间{in₁,in₂,…,in_i,…,in_n}，其中，in_i为第i个区间，i的取值范围为1到n，in_i对应data_weight_i；

S300，获取一个(0，1)之间的随机数s，并确定s所在的区间in_i；

S400，根据in_i对应的data_weight_i获取对应的data_i，data_i中包含d_i个实体{en₁,en₂,…,en_p,…,en_di}，其中，en_p为data_i中第p个实体，p的取值范围为i到d_i；

S500，获取en_p，p为随机数s落入区间in_i的次数；

S600，重复步骤S300-S500，将获取的en_p存储到batch_j中，当k=batch_size时，结束重复步骤S300-S500；其中，k为batch_j中的实体数量，batch_size为batch_j中能存储实体数量的最大值。

2.根据权利要求1所述的方法，其特征在于，所述data包含m个实体类型entity={entity₁,entity₂,…,entity_L,…,entity_m}，其中，entity_L为data中第L个实体类型，L的取值范围为1到m；entity_L对应输入到第L个分类器中进行模型训练。

3.根据权利要求1所述的方法，其特征在于，所述data_weight_i满足：

data_weight_i=data_weight^＇ _i/∑ⁿ _k=1data_weight^＇ _k

data_weight^＇ _i=(d_i/∑ⁿ _k=1d_k)*entity_q_i

entity_q_i=∑^m _L=1w_L

w_L=1/(n_entityL*logeⁱ _entityL)

其中，data_weight^＇ _i为data_i第一采样权重，d_i为data_i包含的实体数量，w_L为实体类型entity_L的第一权重，w_L分别与n_entityL和eⁱ _entityL呈负相关；其中，n_entityL为包含实体类型entity_L的数据集的数量，eⁱ _entityL为data_i中实体类型为entity_L的实体数量。

4.根据权利要求1所述的方法，其特征在于，所述data_weight_i满足：

data_weight_i=smooth_data_weight_i/∑ⁿ _k=1smooth_data_weight_k

smooth_data_weight_i=entity_q_i*d_i

entity_q_i=min(log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk)),c)

其中，smooth_data_weight_i为data_i的第二采样权重；其中，min(log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk)),c)为取log(∑ⁿ _k=1(d_k)/∑^m _k=1(eⁱ _entityk))和c之间的最小值，c为第一阈值，eⁱ _entityL为data_i中的entity_L的实体数量，m为data中包含的实体类型总数量。

5.根据权利要求1所述的方法，其特征在于，所述in_i为(a,a+data_weight_i]；其中，当i=1时，a=0；当1＜i≤n时，a=∑^i-1 _k=1data_weight_k。

6.根据权利要求1所述的方法，其特征在于，所述s落入区间in_i的次数p满足：当p>d_i时，将data_i中的实体乱序且令p=1，d_i为data_i中的实体数量。

7.根据权利要求1所述的方法，其特征在于，所述重复步骤S300-S500满足：当k<batch_size时，重复步骤S300-S500。

8.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-7中任意一项的所述方法。

9.一种电子设备，其特征在于，包括处理器和权利要求8所述的非瞬时性计算机可读存储介质。

Images