CN115345259B - 一种命名实体识别模型训练的优化方法、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，特别是涉及一种命名实体识别模型训练的优化方法、设备及存储介质，所述方法包括：获取data中的m个实体类型的实体数量n，根据n和n的个体差异程度δ(n)将实体类型按照实体数量的多少划分为两个训练集，δ(n)与n和n的平均值的差距呈正相关，分别计算两个训练集中的实体类型的实体权重，将实体类型各自的实体权重与交叉熵损失权重的乘积加和作为模型的损失函数Loss，使用该损失函数Loss使命名实体识别模型收敛的更精准。

Description

一种命名实体识别模型训练的优化方法、设备及存储介质

技术领域

本发明涉及人工智能技术领域，特别是涉及一种命名实体识别模型训练的优化方法、设备及存储介质。

背景技术

在命名实体识别任务中，命名实体识别模型的训练过程中需要损失函数来判断模型训练是否收敛，损失函数的作用就是描述模型的预测值与真实值之间的差距大小，以损失函数作为一个标准来帮助训练机制提高模型的识别准确率，即指导模型在训练过程中朝着收敛的方向前进，所以损失函数的计算直接影响着模型的识别精度。

CN110362814A中公开了一种基于改进损失函数的命名实体识别方法及装置，所述方法包括：将训练数据输入到命名实体识别模型中，得到训练数据中的实体的预测值和非实体的预测值；根据训练数据中的实体的真实值和预测值计算改进损失函数，或根据训练数据中的非实体的真实值和预测值计算改进损失函数；其中，改进损失函数用于提高训练数据中的实体样本的权重，并用于提高命名实体识别模型对模棱两可的训练数据的关注度。但是上述现有技术也存在着以下技术问题：不同实体类型的实体数量对模型损失函数的影响不同，出现概率比较低的实体类型，模型较难学会，因此模型训练时对所有实体采用同样的权重计算出的损失函数Loss的精准性较低，会导致模型训练达到收敛的判定不准确，导致模型准确率在提高到一定数值后难以继续提高。

发明内容

针对上述技术问题，本发明采用的技术方案为：一种命名实体识别模型训练方法，包括以下步骤：

S100，获取u个数据集data中的m个实体类型的实体数量n={n₁,n₂,…,n_k,…,n_m}，其中，n_k为第k个实体类型在data中的实体数量，k的取值范围为1到m。

S200，根据实体数量n获取实体数量平均值n^＇和m个实体类型的个体差异程度δ(n)={δ(n₁),δ(n₂),…,δ(n_k),…,δ(n_m)}，其中，δ(n_k)为第k个实体数量n_k的个体差异程度，k的取值范围为1到m；δ(n_k)与n_k和n^＇的差距正相关。

S300，获取个体差异程度δ(n)的平均值δ^＇(n)，若δ(n_k)≥δ^＇(n)且n_k≤n^＇，则将第k个实体类型划分到第一训练集{Fentity₁,Fentity₂,…,Fentity_p,…,Fentity_L}，其中，Fentity_p为第一训练集中的第p个实体类型集，1≤p≤L，否则，将第k个实体类型划分到第二训练集{Sentity₁,Sentity₂,…,Sentity_q,…,Sentity_T}，其中，Sentity_q为第二训练集中的第q个实体类型集，1≤q≤T，且L+T=m。

S400，根据第一训练集中第p个实体类型Fentity_p的实体类型权重f(h_p)和调整因子factor_show_rate_p获取第一训练集中第p个实体类型Fentity_p的第一实体权重Fentity_weight_p；Fentity_weight_p分别与f(h_p)和factor_show_rate_p呈正相关；f(h_p)与Fentity_p的实体数量占比呈负相关，Fentity_p的实体数量占比为实体数量n_p在data所有实体数量中所占的比例；factor_show_rate_p与Fentity_p的实体数量h_p呈正相关且与包含Fentity_p的data的数量呈负相关。

S500，根据第二训练集中的第q个实体类型Sentity_q的实体数量获取Sentity_q的第二实体权重Sentity_weight_q，Sentity_weight_q与Sentity_q的实体数量占比呈负相关，Sentity_q的实体数量占比为实体数量n_p在data所有实体数量中所占的比例。

S600，获取命名实体识别模型的损失函数Loss；损失函数Loss满足：

Loss=∑^L _p=1(Floss_p*Fentity_weight_p)+∑^T _q=1(Sloss_q*Sentity_weight_q)

其中，Floss_p为Fentity_p的交叉熵损失函数，Sloss_q为Sentity_q的交叉熵损失函数,Fentity_weight_p为Fentity_p的第一实体权重，Sentity_weight_q为Sentity_q的第二实体权重。

本发明至少具有以下有益效果：本发明将实体类型按照实体数量多少划分为两个训练集，赋予两个训练集分别不同的实体权重entity_weight，提出了实体数量多的第一训练集在交叉熵损失函数基础上添加融合每个实体类型实体数量权重的第一实体权重，实体数量少的第二训练集在交叉熵损失函数基础上添加融合每个实体类型实体数量权重和调节因子的第二实体权重，增大data中出现频率低的实体类型在计算损失函数时的权重；损失权重的计算更准确，能够使模型收敛的更加精准，提高命名实体识别模型识别准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的命名实体识别模型训练的优化方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的一种命名实体识别模型训练的优化方法，包括以下步骤：

可选的，命名实体识别模型为BERT模型、LSTM模型或GlobalPointer模型。

S100，获取u个数据集data中的m个实体类型的实体数量n={n₁,n₂,…,n_k,…,n_m}，其中，n_k为第k个实体类型在data中的实体数量，k的取值范围为1到m。

其中，data为包含多种实体类型的文本data，用于在命名实体识别模型训练过程中输入到模型中完成模型训练。

其中，实体类型为具有共同要素的实体的集合，data中的实体具有不同的实体类型，可选的，实体类型包括人名、地名、机构名、日期时间、专有名词等。

S200，根据实体数量n获取实体数量平均值n^＇和m个实体类型的个体差异程度δ(n)={δ(n₁),δ(n₂),…,δ(n_k),…,δ(n_m)}，其中，δ(n_k)为第k个实体数量n_k的个体差异程度，k的取值范围为1到m；δ(n_k)与n_k和n^＇的差距正相关。

其中，个体差异程度δ(n)表示每个实体数量与所有实体数量平均值n^＇之间的差异程度，第k个实体数量n_k的个体差异程度δ(n_k)表示n_k与n的平均值的差异程度。

可选的，δ(n_k)满足：

δ(n_k)=|n_k-n^＇|

其中，n_k为第k个实体类型的实体数量，n^＇为m个实体类型的实体数量n的平均值。

可选的，δ(n_k)满足：

δ(n_k)=(n_k-n^＇)²

其中，n_k为第k个实体类型的实体数量，n^＇为m个实体类型的实体数量n的平均值。

S300，获取个体差异程度δ(n)的平均值δ^＇(n)，若δ(n_k)≥δ^＇(n)且n_k≤n^＇，则将第k个实体类型划分到第一训练集{Fentity₁,Fentity₂,…,Fentity_p,…,Fentity_L}，其中，Fentity_p为第一训练集中的第p个实体类型集，1≤p≤L，否则，将第k个实体类型划分到第二训练集{Sentity₁,Sentity₂,…,Sentity_q,…,Sentity_T}，其中，Sentity_q为第二训练集中的第q个实体类型集，1≤q≤T，且L+T=m。

其中，采用实体数量与实体数量平均值的大小差异以及个体差异程度δ(n)与δ(n)的平均值δ^＇(n)的大小差异共同决定第一训练集和第二训练集的划分，相比于直接使用实体数量平均值对实体类型进行分组，使实体数量接近于实体数量平均值的实体类型的划分更为合理，能够精确筛选出实体类型中数量较大和较小的两个训练集。

其中，第一训练集中的实体类型满足δ(n_k)≥δ^＇(n)且n_k≤n^＇，具体的，当δ(n_k)≥δ^＇(n)时，δ(n_k)对应的实体数量n_k与n的平均值n^＇之间的差距较大，即说明n_k在m个实体类型的实体数量n中相较于n^＇较大或较小；在此基础上若满足n_k≤n^＇，则说明n_k在n中较小，n_k对应的第k个实体类型的实体数量较少；例如：若m=5，5个实体类型的实体数量n={2,6,4,8,5}，可选的，δ(n_k)=(n_k-n^＇)²，即δ(n)={9,1,1,9,0}，δ^＇(n)=4，则在δ(n_k)≥δ^＇(n)条件下可以筛选出n₁和n₄；在此基础上添加条件n_k≤n^＇可在n₁和n₄中筛选出n中数值较小的n₁，以此将实体数量较少的实体类型划分到第一训练集中。

S400，根据第一训练集中第p个实体类型Fentity_p的实体类型权重f(h_p)和调整因子factor_show_rate_p获取第一训练集中第p个实体类型Fentity_p的第一实体权重Fentity_weight_p；Fentity_weight_p分别与f(h_p)和factor_show_rate_p呈正相关；f(h_p)与Fentity_p的实体数量占比呈负相关，Fentity_p的实体数量占比为实体数量n_p在data所有实体数量中所占的比例；factor_show_rate_p与Fentity_p的实体数量h_p呈正相关且与包含Fentity_p的data的数量呈负相关。

其中，Fentity_weight_p由第一权重Fentity_weight^＇ _p归一化得到，Fentity_weight^＇ _p满足：

Fentity_weight^＇ _p=f(h_p)*factor_show_rate_p。

其中，f(h_p)满足：

f(h_p)=min(log((∑^L _b=1h_b)/h_p),c₁)

其中，h_b为第一训练集中第b个实体类型的实体数量，1≤b≤m，c₁为第一权重阈值，min(log((∑^L _b=1h_b)/h_p),c₁)为取log((∑^L _b=1h_b)/h_p)和c₁之间的最小值。

可选的，c₁=20；其中，c₁为f(h_p)的截断值，使实体数量过大的实体类型的实体权重保持在一个合理的范围内，避免出现单个实体类型的实体权重过小而造成的模型训练的过拟合。

优选的，factor_show_rate_p满足：

factor_show_rate_p=h_p/d_p

其中，h_p为Fentity_p的实体数量，d_p为包含Fentity_p的data的数量。

其中，当h_p越大且d_p越小时，factor_show_rate_p越大，Fentity_p的第一实体权重越大。

具体的，第一训练集中的实体类型为满足δ(n_k)≥δ^＇(n)且n_k≤n^＇条件的，说明n_k在n中较小，n_k对应的第k个实体类型的实体数量较少；在模型训练过程中，实体数量较少的实体类型模型较难学会，因此第一实体权重在计算时由实体数量占比和包含该实体类型的data数量d_p决定，实体数量占比小且d_p小的实体类型具有较大的第一实体权重；其中，实体数量占比为entity_p的实体数量n_p在data所有实体数量中所占的比例。

S500，根据第二训练集中的第q个实体类型Sentity_q的实体数量获取Sentity_q的第二实体权重Sentity_weight_q，Sentity_weight_q与Sentity_q的实体数量占比呈负相关，Sentity_q的实体数量占比为实体数量n_p在data所有实体数量中所占的比例。

其中，Sentity_weight_q由第二权重Sentity_weight^＇ _q归一化得到，Sentity_weight^＇ _q满足：

Sentity_weight^＇ _q=min(w_q,c₂)

其中，w_q为Sentity_q的实体数量权重，w_q与Sentity_q的实体数量占比呈负相关，c₂为第二权重阈值，min(w_q,c₂)为取w_q和c₂之间的最小值。

可选的，c₂=20；其中，c₂为计算第二权重时的截断值，使实体数量过大的实体类型的实体权重保持在一个合理的范围内，不会出现单个实体类型的实体权重过小的情况，避免模型训练的过拟合。

优选的，Sentity_q的实体数量权重w_q满足：

w_q=log((∑^T _j=1x_j)/x_q)

其中，x_j为第二训练集中第j个实体类型的实体数量，1≤j≤T，x_q为第二训练集中第q个实体类型的实体数量，q的取值范围为1到m。

其中，第二训练集中的实体类型的实体数量相较于n的平均值n＇适中或较大，在计算其第二实体权重时添加实体数量权重，实体数量权重为对该实体类型的实体数量在实体总数量中占比的倒数做取对数的平滑处理，能够使第二实体权重保持在一定的数值范围内便于计算；具体的，实体数量权重与实体数量占比呈负相关，因此实体数量较少的实体类型具有较大的第二实体权重，实体数量较大的实体类型具有较小的第二实体权重，其中，实体数量占比为entity_q的实体数量n_q在data所有实体数量中所占的比例。

S600，获取命名实体识别模型的损失函数Loss，损失函数Loss满足：

Loss=∑^L _p=1(Floss_p*Fentity_weight_p)+∑^T _q=1(Sloss_q*Sentity_weight_q)

其中，Floss_p为Fentity_p的交叉熵损失函数，Sloss_q为Sentity_q的交叉熵损失函数,Fentity_weight_p为Fentity_p的第一实体权重，Sentity_weight_q为Sentity_q的第二实体权重。

本实施例中，data中的实体类型按照实体类型的实体数量大小被划分为两个训练集，两个训练集具有各自实体权重计算方法，对于实体数量较大的实体类型由实体数量在总数量中的占比确定实体权重，对于实体数量较小的实体类型由实体数量在总数量中的占比和实体类型在data中的调整因子确定实体权重，其中，调整因子为实体类型的实体数量与包含该实体类型的data的数量的比值；将两个训练集各自的实体类型计算的损失函数加和得到模型的损失函数，该损失函数在训练时使得模型收敛的更加精准。

综上所述，本实施例在命名实体识别模型训练时，将实体类型划分为实体数量多和实体数量少的两个训练集，赋予两个训练集分别不同的实体权重，实体数量多的第一训练集的实体权重由实体数量在总数量中的占比决定，提高实体数量较小的实体类型在计算Loss使得权重；实体数量少的第二训练集的实体权重由实体数量在总数量中的占比和包含实体类型的data的数量决定，提高实体数量较小且包含该实体类型的data数量较少的实体类型在计算损失函数时的权重；使命名实体识别模型训练时收敛的更加精准，提高命名实体识别模型识别准确率。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种命名实体识别模型训练的优化方法，其特征在于，所述方法包括以下步骤：

S100，获取u个数据集data中的m个实体类型的实体数量n={n₁,n₂,…,n_k,…,n_m}，其中，n_k为第k个实体类型在data中的实体数量，k的取值范围为1到m；

S200，根据实体数量n获取实体数量平均值n^＇和m个实体类型的个体差异程度δ(n)={δ(n₁),δ(n₂),…,δ(n_k),…,δ(n_m)}，其中，δ(n_k)为第k个实体数量n_k的个体差异程度，k的取值范围为1到m；δ(n_k)与n_k和n^＇的差距正相关；

S300，获取个体差异程度δ(n)的平均值δ^＇(n)，若δ(n_k)≥δ^＇(n)且n_k≤n^＇，则将第k个实体类型划分到第一训练集{Fentity₁,Fentity₂,…,Fentity_p,…,Fentity_L}，其中，Fentity_p为第一训练集中的第p个实体类型集，1≤p≤L，否则，将第k个实体类型划分到第二训练集{Sentity₁,Sentity₂,…,Sentity_q,…,Sentity_T}，其中，Sentity_q为第二训练集中的第q个实体类型集，1≤q≤T，且L+T=m；

S400，根据第一训练集中第p个实体类型Fentity_p的实体类型权重f(h_p)和调整因子factor_show_rate_p获取第一训练集中第p个实体类型Fentity_p的第一实体权重Fentity_weight_p；Fentity_weight_p分别与f(h_p)和factor_show_rate_p呈正相关；f(h_p)与Fentity_p的实体数量占比呈负相关，Fentity_p的实体数量占比为实体数量n_p在data所有实体数量中所占的比例；所述factor_show_rate_p与Fentity_p的实体数量h_p呈正相关且与包含Fentity_p的data的数量呈负相关；

S500，根据第二训练集中的第q个实体类型Sentity_q的实体数量获取Sentity_q的第二实体权重Sentity_weight_q，Sentity_weight_q与Sentity_q的实体数量占比呈负相关，Sentity_q的实体数量占比为Sentity_q的实体数量在data所有实体数量中所占的比例；

S600，获取命名实体识别模型的损失函数Loss；所述损失函数Loss满足：

Loss=∑^L _p=1(Floss_p*Fentity_weight_p)+∑^T _q=1(Sloss_q*Sentity_weight_q)

其中，Floss_p为Fentity_p的交叉熵损失函数，Sloss_q为Sentity_q的交叉熵损失函数,Fentity_weight_p为Fentity_p的第一实体权重，Sentity_weight_q为Sentity_q的第二实体权重。

2.根据权利要求1所述的方法，其特征在于，所述S400中Fentity_weight_p由第一权重Fentity_weight^＇ _p归一化得到，所述Fentity_weight^＇ _p满足：

Fentity_weight^＇ _p=f(h_p)*factor_show_rate_p。

3.根据权利要求2所述的方法，其特征在于，所述f(h_p)满足：

f(h_p)=min(log((∑^L _b=1h_b)/h_p),c₁)

其中，h_b为第一训练集中第b个实体类型的实体数量，1≤b≤m，c₁为第一权重阈值，min(log((∑^L _b=1h_b)/h_p),c₁)为log((∑^L _b=1h_b)/h_p)和c₁之间的最小值。

4.根据权利要求2所述的方法，其特征在于，factor_show_rate_p满足：

factor_show_rate_p=h_p/d_p

其中，h_p为第一训练集中Fentity_p的实体数量，d_p为包含Fentity_p的data的数量。

5.根据权利要求1所述的方法，其特征在于，所述S500中Sentity_weight_q由第二权重Sentity_weight^＇ _q归一化得到，所述Sentity_weight^＇ _q满足：

Sentity_weight^＇ _q=min(w_q,c₂)

其中，w_q为Sentity_q的实体数量权重，w_q与Sentity_q的实体数量占比呈负相关，c₂为第二权重阈值，min(w_q,c₂)为取w_q和c₂之间的最小值。

6.根据权利要求5所述的方法，其特征在于，所述Sentity_q的实体数量权重w_q满足：

w_q=log((∑^T _j=1x_j)/x_q)

其中，x_j为第二训练集中第j个实体类型Sentity_j的实体数量，1≤j≤T，x_q为Sentity_q的实体数量。

7.根据权利要求1所述的方法，其特征在于，所述δ(n_k)满足：

δ(n_k)=|n_k-n^＇|

其中，n_k为第k个实体类型的实体数量，n^＇为m个实体类型的实体数量n的平均值。

8.根据权利要求1所述的方法，其特征在于，所述δ(n_k)满足：

δ(n_k)=(n_k-n^＇)²

其中，n_k为第k个实体类型的实体数量，n^＇为m个实体类型的实体数量n的平均值。

9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项的所述方法。

10.一种电子设备，其特征在于，包括处理器和权利要求9所述的非瞬时性计算机可读存储介质。

Images