CN115935994A - 一种智能识别电商标题方法 - Google Patents

Abstract

本发明属于自然语言处理的命名实体识别领域，特别涉及一种智能识别电商标题方法，所述方法包括：收集电商数据样本，对数据进行标注；送入自注意力模型，得到词向量；使用掩码自注意力机制分别提取正向信息和反向信息；头指针与尾指针匹配时融入相对位置向量信息，得到预测的实体片段，本发明引入辅助学习任务，让实体边界更加清晰；采用掩码自注意力机制表达正向和反向的信息，保证前后信息不会被泄露；头指针与尾指针匹配融入相对位置向量，提升相邻位置的语义表达。

Description

一种智能识别电商标题方法

技术领域

本发明属于自然语言处理的命名实体识别领域，特别涉及一种智能识别电商标题方法。

背景技术

电商作为一种主流的购物手段，已经逐渐占领了生活中的方方面面。电商既是消费者的消费途径，也是商家的获利渠道。

如何将商品准确的推荐给消费者，让消费者在挑选商品上花费更少的时间，同时促进他们的购买欲望，这是电商领域一致在优化的问题。消费者搜索商品的场景可以转换为query与商品标签的匹配，如何将复杂冗余的电商标题转化为完整独立的标签，成为了一个重点。

如果对电商标题进行命名实体识别任务，很容易发现电商标题存在实体嵌套的问题，普通的命名实体识别任务通常是做平面实体的识别，但为了适应电商这种充满不规则自然语言的领域，应该提出可适应更强的方案来解决嵌套命名实体的识别。同时电商领域的数据丰富，模型应该具有更优秀的训练时长表现。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种智能识别电商标题方法，该方法包括：获取待识别的电商标题样本，将样本输入到电商实体提取模型，得到预测实体，对电商实体提取模型进行训练的过程包括：

S1：对收集到的电商数据样本进行处理，按照实体片段的头尾边界位置对数据进行标注；

S2：将样本映射为词嵌入形式，并送入引入辅助学习任务训练的自注意力模型，得到词向量；

S3：对词向量使用掩码自注意力机制提取正向信息作为头指针，提取反向信息作为尾指针；

S4：头指针与尾指针匹配时融入相对位置向量信息，得到预测的实体片段；

S5：迭代训练电商实体提取模型，保存模型参数。

进一步的，步骤S2所述的自注意力模型，引入辅助学习任务的训练过程包括：

步骤1：将样本映射为词嵌入形式，并送入自注意力模型；

步骤2：根据当前字符与附近字符的词向量相似度进行计算损失值；

步骤3：根据损失值进行梯度反传，更新模型里的参数，进行模型训练。

进一步的，所述当前字符与附近字符的词向量相似度计算包括：

选任一字符作为模板词w，与模板词位置相近的字符作为参考词序列[w₁,w₂,...,w_i,...]，将模板词与参考词序列做计算，计算规则如下：

loss＝∑loss_i

其中y表示模板词是否为实体边界的预测值，Y_i表示参考词是否为实体边界的实际值，loss_i表示模板词w与参考词w_i之间的损失值，loss表示模板词与参考词序列中所有词的损失loss_i的总和，

表示两个词做余弦相似度计算。

进一步的，所述步骤S3包括：

步骤1：将词向量映射到原始数据样本上，由词向量得到特征矩阵F；

步骤2：分别用上三角矩阵A和下三角矩阵B对提取出的特征矩阵F做掩膜，分别得到正向信息F_a和反向信息F_b。

进一步的，所述的正向信息F_a和反向信息F_b计算规则包括：

a_ij表示开头位置为i，结尾位置为j的实体片段表示的语义特征，n表示设定的最大序列长度，

表示矩阵的点乘运算。

进一步的，所述步骤S4包括：

步骤1：将正向信息和反向信息进行匹配，得到评分矩阵；

步骤2：根据相对位置距离初始化位置信息加权对角矩阵；

步骤3：将位置信息加权对角矩阵加权到评分矩阵上；

步骤4：评分矩阵中分数较高的分值所处矩阵的行列位置，可映射回序列位置表示实体片段，该实体片段表示预测的实体

进一步的，所述评分矩阵的计算规则包括：

W表示评分矩阵，R为任意n*n的矩阵，为正反向匹配信息打分。

进一步的，所述位置信息加权对角矩阵M的构造包括：

α是放大系数，其值是任意大于1的实数，β是衰减系数，其值是0到1之间的任意小数，β指数表示当前元素所在的行列位置的差值的平均值。

本发明采用自注意力模型捕获语义之间的信息，通过掩码自注意力机制表达正向和反向的信息，保证前后信息不会被泄露；同时引入辅助学习任务，让实体边界更加清晰；头尾指针匹配融入相对位置向量，提升相邻位置的语义表达；结合电商业务场景，提出位置权重，让相距更近的字符具有更强的表达；除此之外，整个训练流程都是采用矩阵计算，速度会比序列模型更快。

附图说明

图1是本发明电商实体提取模型训练过程流程图；

图2是本发明电商实体提取模型逻辑框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明提出了一种智能识别电商标题方法，该方法包括：获取待识别的电商标题样本，将样本输入到电商实体提取模型，得到预测实体，如图1所示，对电商实体识别模型进行训练的过程包括：

S1：对收集到的电商数据样本进行处理，按照实体片段的头尾边界位置对数据进行标注；

S2：将样本映射为词嵌入形式，并送入引入辅助学习任务训练的自注意力模型，得到词向量；

进一步的，如图2所示，对自注意力模型进行训练，引入辅助学习任务，此过程包括：

步骤1：将样本映射为词嵌入形式，并送入自注意力模型；

步骤2：根据当前字符与附近字符的词向量相似度进行计算损失值；

步骤3：根据损失值进行梯度反传，更新模型里的参数，进行模型训练。

进一步的，当前字符与附近字符的词向量相似度计算的过程包括：

步骤1：选任一字符作为模板词w，与模板词位置相近的字符作为参考词序列[w₁,w₂,...,w_i,...]；

步骤2：将模板词与参考词序列做计算，计算规则如下：

loss＝∑loss_i

其中y表示模板词是否为实体边界的预测值，Y_i表示参考词是否为实体边界的实际值，loss_i表示模板词w与参考词w_i之间的损失值，loss表示模板词与参考词序列中所有词的损失loss_i的总和，用于梯度反传，

表示两个词做余弦相似度计算。

进一步的，计算余弦相似度的过程包括：

模板词w与参考词w_i的词向量分别表示为[x₁,x₂,…,x_n]和[y₁,y₂,…,y_n]，模板词w与参考词w_i余弦相似度的计算规则如下：

其中similarity_i代表模板词w与参考词w_i余弦相似度，n表示设定的词向量大小。

S3：对词向量使用掩码自注意力机制提取正向信息作为头指针，提取反向信息作为尾指针；

进一步的，使用掩码自注意力机制提取正反序列特征过程包括：

步骤1：通过训练后的自注意力机制得到词向量；

步骤2：将词向量映射到原始数据样本上，由词向量得到特征矩阵F；

步骤3：分别用上三角矩阵A和下三角矩阵B对提取出的特征矩阵F做掩膜，分别得到正向信息F_a和反向信息F_b。计算规则如下：

a_ij表示开头位置为i、结尾位置为j的实体片段表示的语义特征，n表示设定的最大序列长度，

表示矩阵的点乘运算。

S4：头指针与尾指针匹配时融入相对位置向量信息，得到预测的实体片段；

进一步的，头指针与尾指针匹配时融入相对位置向量信息的过程包括：

步骤1：将正向信息和反向信息进行匹配，得到评分矩阵；

步骤2：根据相对位置距离初始化位置信息加权对角矩阵；

步骤3：将位置矩阵加权到评分矩阵上；

步骤4：矩阵中分数较高的分值所处矩阵的行列位置，可映射回序列位置表示实体片段，该实体片段表示预测的实体。

进一步的，过程包括：

步骤1：将正向信息F_a与反向信息F_b做计算，得到正反信息矩阵W，计算规则如下：

W表示评分矩阵，R为任意n*n的矩阵，为正反向匹配信息打分；

步骤2：构建位置信息加权对角矩阵，使对角线上的值最大，其他位置依次递减，位置信息加权对角矩阵M构造如下：

α是放大系数，其值是任意大于1的实数，β是衰减系数，其值是0到1之间的任意小数，β指数表示当前元素所在的行列位置的差值的平均值；

步骤3：将位置信息加权对角矩阵M与正反信息评分矩阵W按位相乘，得到最终评分结果。

S5：迭代训练电商实体提取模型，保存模型参数。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种智能识别电商标题方法，获取待识别的电商标题样本，将样本输入到电商实体提取模型，得到预测实体，其特征在于，电商实体提取模型的训练包括：

S1：对收集到的电商数据样本进行处理，按照实体片段的头尾边界位置对数据进行标注；

S2：将样本映射为词嵌入形式，并送入引入辅助学习任务训练的自注意力模型，得到词向量；

S3：对词向量使用掩码自注意力机制提取正向信息作为头指针，提取反向信息作为尾指针；

S4：头指针与尾指针匹配时融入相对位置向量信息，得到预测的实体片段；

S5：迭代训练电商实体提取模型，保存模型参数。

2.根据权利要求1所述的一种智能识别电商标题方法，其特征在于，步骤S2所述的自注意力模型，引入辅助学习任务的训练过程包括：

步骤1：将样本映射为词嵌入形式，并送入自注意力模型；

步骤2：根据当前字符与附近字符的词向量相似度进行计算损失值；

步骤3：根据损失值进行梯度反传，更新模型里的参数，进行模型训练。

3.根据权利要求2所述的一种智能识别电商标题方法，其特征在于，所述当前字符与附近字符的词向量相似度计算包括：

选任一字符作为模板词w，与模板词位置相近的字符作为参考词序列[w₁,w₂,...,w_i,...]，将模板词与参考词序列做计算，计算规则如下：

loss＝∑loss_i

其中y表示模板词是否为实体边界的预测值，Y_i表示参考词是否为实体边界的实际值，loss_i表示模板词w与参考词w_i之间的损失值，loss表示模板词与参考词序列中所有词的损失loss_i的总和，

表示两个词做余弦相似度计算。

4.根据权利要求1所述的一种智能识别电商标题方法，其特征在于，所述步骤S3包括：

步骤1：将词向量映射到原始数据样本上，由词向量得到特征矩阵F；

步骤2：分别用上三角矩阵A和下三角矩阵B对提取出的特征矩阵F做掩膜，分别得到正向信息F_a和反向信息F_b。

5.根据权利要求4所述的一种智能识别电商标题方法，其特征在于，正向信息F_a和反向信息F_b计算规则包括：

a_ij表示开头位置为i、结尾位置为j的实体片段表示的语义特征，n表示设定的最大序列长度，

表示矩阵的点乘运算。

6.根据权利要求5所述的一种智能识别电商标题方法，其特征在于，所述步骤S4包括：

步骤1：将正向信息和反向信息进行匹配，得到评分矩阵；

步骤2：根据相对位置距离初始化位置信息加权对角矩阵；

步骤3：将位置信息加权对角矩阵加权到评分矩阵上；

步骤4：评分矩阵中分数较高的分值所处矩阵的行列位置，可映射回序列位置表示实体片段，该实体片段表示预测的实体。

7.根据权利要求6所述的一种智能识别电商标题方法，其特征在于，所述评分矩阵的计算规则包括：

W表示评分矩阵，R为任意n*n的矩阵，为正反向匹配信息打分。

8.根据权利要求6所述的一种智能识别电商标题方法，其特征在于，位置信息加权对角矩阵M的构造包括：

α是放大系数，其值是任意大于1的实数，β是衰减系数，其值是0到1之间的任意小数，β指数表示当前元素所在的行列位置的差值的平均值。

Images