CN109614614A - 一种基于自注意力的bilstm-crf产品名称识别方法 - Google Patents

Abstract

本发明公开了一种基于自注意力的BiLSTM‑CRF产品名称识别方法，其特征在于，包括半自动标注产品标题数据，模型构建及训练，模型使用三个部分。半自动标注产品标题数据部分，建立初步标注‑学习‑预测标签‑人工修正‑学习‑预测标签的迭代过程，模型构建及训练部分，对每个字进行N维稠密向量编码，输进BiLSTM层得到文本序列特征，利用Softmax分类层得到每个字的标签概率；利用CRF层抽取文本局部特征，训练模型；模型使用部分，提取文本特征，利用分类层，得到所有标签概率；利用维特比算法，得到对应的标签，从而识别出产品名称。本发明大大减少人工成本，提高模型的准确率和鲁棒性。

Description

一种基于自注意力的BILSTM-CRF产品名称识别方法

技术领域

本发明涉及电子商务领域，特别是涉及一种基于自注意力的BILSTM-CRF产品名称识别方法。

背景技术

就电商领域而言，商家填写的产品标题中夹杂大量的描述性词汇和冗余信息，如“杀螨剂厂家直销粤秀植保杀螨剂杀螨剂批发采购”其中产品名称应为杀螨剂，冗余信息为厂家直销、粤秀植保、批发采购等，这些修饰词和冗余信息给产品名称识别造成了较大的困难。目前产品名称的识别方法主要是建立产品名称词典,根据关键词匹配找出候选产品名称，根据商家提供的产品属性找出最为合适的产品。这种方法的不足之处在于难以构建一个完备的产品名称词典和对应的产品属性库，且构建过程费时费力，同时不能较好地解决产品名称嵌套的问题，例如“同城直送鲜花快递”，鲜花本身是一种产品名称，但在本例中，产品名称不是鲜花而是鲜花快递。

因此，需要一种能解决上述问题，达到有效的解决产品名称词典不够完备，属性库不全的情况，且避免费事费力的规则构建过程的产品名称识别方法。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于自注意力的BILSTM-CRF产品名称识别方法。

2.为解决上述技术问题，本发明提供一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于，包括半自动标注产品标题数据，模型构建及训练，模型使用三个部分，具体步骤如下：

步骤S1，半自动标注产品标题数据：

1)、根据现有产品名称词典，对产品标题进行关键词匹配，找出候选产品名称，构成产品名称候选集；

2)、根据对应的产品名称属性库，找出相似度最高的产品名称，作为产品名称的初步标注结果；

3)、根据S2的训练结果重新预测步骤S1-2)的产品标题标注数据，比较初步标注结果和预测结果的差异，人工修正错误标注；

步骤S2，模型构建及训练：

4)、将产品标题作为输入，随机初始化M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，从而将产品标题中的每个字映射为N维稠密向量(DenseVctor)；

5)、将产品标题中的每个字按照时序序列(Sequential sequence)输进循环神经网络,提取产品标题中的文本序列特征；

6)、利用自注意力层(Self-Attention Layer)，对文本序列特征赋予不同的权重，提取出识别产品名称的关键信息；

7)、将经过自注意力层编码后的向量输入进分类层，得到产品标题每个字对应的标签，即判断其是否属于产品名称；

8)、将步骤S2-7)步的分类结果输入进CRF层，根据已有标注结果，训练整个模型，得到所有更新好的参数，包括步骤S2-4)中的字向量表；

9)、进行步骤S1-3)，对初步标注结果进行修正；

10)、增量学习步骤S2-9)修正后的产品名称数据；

11)、重复步骤S2-9)和S2-10)，直至标注没有错误；

S3、模型使用:

12)、将待识别文本输进步骤S2得到的模型，根据步骤S2-8)得到的字向量表将文本映射成N维稠密向量；

13)、输入步骤S3-12)的结果，根据步骤S2-8)更新好的参数，计算出每个字对应的标签概率；

14)、根据步骤S2-8)更新好的标签转移概率和S3-13)的结果，利用维特比算法(Viterbi Algorithm)，得到每个字对应的标签；

15)、根据S3-14)得到的标签，取出是产品名称的部分；

16)、结束。

所述步骤S1-1)中建立部分产品名称的词典和对应的属性库，检索产品标题中出现的产品名称，将其作为候选集，

所述步骤S1-2)中利用候选集中的产品名称对应属性库和产品标题的属性库计算相似度，此处的属性库为产品其他信息的总和，包括商家填写的产品关键词，产品描述，产品材质，用途，相似度的计算方法为将候选集中产品名称对应的属性利用tf-idf表征，再计算属性余弦相似度，取相似度最大的作为初步标注结果。

所述步骤S1-3)中根据S2中模型的训练结果重新预测S1-2)的产品标题标注数据，比较初步标注结果和预测结果的差异，人工修正错误标注，形成“初步标注-学习-预测标签-人工修正-学习-预测标签”的操作循环，执行该操作循环直至标注没有错误的迭代过程。

所述步骤S2-4)中将每个字映射为N维稠密向量，方法是在tensorflow中初始化一个M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，然后根据字向量表查找每个字对应的N维稠密向量，此字向量表会根据训练任务进行更新不需要预先训练。

所述步骤S2-5)中，循环神经网络采用的是Bi-LSTM(双向长短期记忆模型)。

所述步骤S2-6)中，自注意力层采用的是：

其中，Q,K,V都代表同一个产品标题，其维度是M*N，M表示产品标题中包含的字数，N表示每个字的维度，对产品标题中每个字赋予不同的权重，从而提取出识别产品名称的关键信息；

所述步骤S2-7)中，采用的分类层为softmax分类层，即由步骤S2-6)得到的向量经过一层线性变化后，输入进激活函数softmax，即可得到每个字对应的标签概率；

所述步骤S2-8)中，根据模型的表现对超参数进行调优，学习率取值为0.001，隐藏单元的数量取值为256维，dropout取值为0.5，CRF层的训练如下：

给定训练数据集X和对应的标签序列Y,优化目标为：在现有的文本序列X下，使得标签序列Y的概率最大，即条件概率P(Y|X)最大，因此优化函数为：

其中 代表标签y_i到y_i+1的转移概率，代表第i个位置对应标签y_i的概率，根据步骤S2-7)可得到需要学习的参数为

本发明所达到的有益效果:

1.由于深度学习可以实现端到端的学习，因此可以有效的解决了产品名词词典不够完备，属性库不全的情况，避免了费事费力的规则构建的过程，大大减少人工成本，提高效率；

2.采用半自动数据标注的方法，循环迭代标注数据，通过初步标注-学习-预测标签-人工修正-学习-预测标签，直至标注没有错误的迭代过程，大大减少人工标注的工作量，提高模型的准确率和鲁棒性；

3.由于深度学习模型的模型层数较深，可以较为全面，多样性的学习文本特征；

4.随着语料库的不断增加，模型的准确率和召回率可以不断的得到提升，并到达和保持在一个高可用的水准上。

附图说明

图1为本发明的示例性实施例的方法流程图；

图2为本发明的示例性实施例中的模型训练与预测流程图。

具体实施方式

下面结合附图和示例性实施例对本发明作进一步的说明：

如图1所示，本实例提供的基于自注意力的BiLSTM-CRF产品名称识别方法包括以下步骤：

步骤101建立部分产品名称的词典和对应的属性库，根据已构建好的产品名称词典对产品标题进行关键词匹配，找出候选产品名称，构成产品名称候选集；

步骤102利用产品名称属性库找出与产品标题属性最相似的产品名称作为初步标注；利用候选集中的产品名称对应属性库和产品标题的属性库计算相似度，此处的属性库为产品其他信息的总和，例如商家填写的产品关键词，产品描述，产品材质，用途等，相似度的计算方法为将候选集中产品名称对应的属性利用tf-idf表征，再计算属性余弦相似度，取相似度最大的作为初步标注结；

步骤103搭建基于自注意力的BiLSTM-CRF模型；

步骤104输入初步标注产品标题数据，训练模型，根据模型的表现对超参数进行调优，例如本实例在学习率上尝试了0.1，0.01，0.001三种取值，学习率在0.001时模型表现最好，隐藏单元的数量尝试了128维，256维，512维，隐藏单元数量在256维模型表现最好，dropout尝试了0.5，0.7，0.9，dropout在0.5时模型表现最好；

步骤105根据104步调节好的模型对初步标注数据进行预测；

步骤106对比初步标注数据和预测结果之间的差异；

步骤107人工判断初步标注数据是否错误，人工修正错误标注，形成“初步标注-学习-预测标签-人工修正-学习-预测标签”的操作循环，执行该操作循环直至标注没有错误的迭代过程；

步骤108使用训练好的模型对新的产品标题进行产品名称的识别。

步骤109结束；

如图2所示，步骤103-104中基于注意力的BiLSTM-CRF模型的训练及预测如下：

步骤201初始化训练集中所有字的字向量，形成字向量表；

步骤202将产品标题中的每个字都映射为N维稠密向量(DenseVctor)，方法是在tensorflow中初始化一个M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，然后根据字向量表查找每个字对应的N维稠密向量，此字向量表会根据训练任务进行更新不需要预先训练；

步骤203将产品标题中的每个字按照时序序列输进Bi-LSTM层(双向长短期记忆模型)获得产品标题中的文本序列特征，Bi-LSTM层可以堆叠多层，本实例采用一层；

步骤204将序列特征输入进自注意力层，自注意力层采用的是：

其中，Q,K,V都代表同一个产品标题，其维度是M*N，M表示产品标题中包含的字数，N表示每个字的维度，对产品标题中每个字赋予不同的权重，从而提取出识别产品名称的关键信息；

自注意力层可以计算产品标题中每个字之间的关系以及对产品名称识别的重要性，从而可以对每个字的序列特征进行加权；

步骤205将加权后的序列特征经过一层线性变化后，输进激活函数softmax分类层，得到产品标题中每个字对应的标签概率，即是否属于产品名称，若属于在产品名称的哪个位置，此处采用的分类层是深度学习中常用的softmax层；

步骤206将分类结果输入进CRF层，利用CRF层得到步骤205标签之间的转移概率；CRF层的训练如下：

给定训练数据集X和对应的标签序列Y,优化目标为：在现有的文本序列X下，使得标签序列Y的概率最大，即条件概率P(Y|X)最大，因此优化函数为：

其中 代表标签y_i到y_i+1的转移概率，代表第i个位置对应标签y_i的概率，根据步骤S2-4)可得到需要学习的参数为

步骤207判断输入的产品标题是否有标签，如果有标签则进入模型训练模式，得到所有更新好的参数，反之进入模型的预测模式，模型的训练模式是根据CRF层的优化函数去学习之前所有层的参数，包括CRF层、分类层、注意力层，Bi-LSTM层、字向量表；

步骤208模型的预测模式根据训练阶段学习好的参数，利用维特比算法预测产品名称中每个字应该属于的标签，取出其中属于产品名称的部分；

步骤209结束。

本发明提供一种基于自注意力的BiLSTM-CRF产品名称识别方法，应用了人工智能的深度学习模型，可以在以下几个方面获得显著的效果：

1.采用半自动标注方法，循环迭代标注结果，大大减少人工标注的工作量，提高工作效率和模型的准确率、鲁棒性；

2.由于深度学习可以实现端到端的学习，因此可以有效的解决了产品名词词典不够完备，属性库不全的情况，避免了费事费力的规则构建的过程，大大减少人工成本，提高效率；

3.由于深度学习模型的模型层数较深，可以较为全面，多样性的学习文本特征；

4.随着语料库的不断增加，模型的准确率和召回率可以不断的得到提升，并到达和保持在一个高可用的水准上。

以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。

Claims (9)

1.一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于，包括半自动标注产品标题数据，模型构建及训练，模型使用三个部分，具体步骤如下：

步骤S1，半自动标注产品标题数据：

1)、根据现有产品名称词典，对产品标题进行关键词匹配，构成产品名称候选集；

2)、根据对应的产品名称属性库，找出相似度最高的产品名称，作为产品名称的初步标注结果；

3)、根据S2的训练结果重新预测步骤S1-2)的产品标题标注数据，比较初步标注结果和预测结果的差异，人工修正错误标注；

步骤S2，模型构建及训练：

4)、将产品标题作为输入，随机初始化M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，从而将产品标题中的每个字映射为N维稠密向量(DenseVctor)；

5)、将产品标题中的每个字按照时序序列(Sequential sequence)输进循环神经网络,提取产品标题中的文本序列特征；

6)、利用自注意力层(Self-Attention Mechanism)，对文本序列特征赋予不同的权重，提取出识别产品名称的关键信息；

7)、将经过自注意力层编码后的向量输入进分类层，得到产品标题每个字对应的标签，即判断其是否属于产品名称；

8)、将步骤S2-7)步的分类结果输入进CRF层，根据已有标注结果，训练整个模型，得到所有更新好的参数，包括步骤S2-4)中的字向量表；

9)、进行步骤S1-3)，对初步标注结果进行修正；

10)、增量学习步骤S2-9)修正后的产品名称数据；

11)、重复步骤S2-9)和S2-10)，直至标注没有错误；

S3、模型使用:

12)、将待识别文本输进步骤S2得到的模型，根据步骤S2-8)得到的字向量表将文本映射成N维稠密向量；

13)、输入步骤S3-12)的结果，根据步骤S2-8)更新好的参数，计算出每个字对应的标签概率；

14)、根据步骤S2-8)更新好的标签之间的转移概率和S3-13)计算出的字的标签概率，利用维特比算法(Viterbi Algorithm)，得到每个字对应的标签；

15)、根据S3-14)得到的标签，取出是产品名称的部分；

16)、结束。

2.如权利要求1所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S1-1)中建立部分产品名称的词典和对应的属性库，检索产品标题中出现的产品名称，将其作为候选集。

3.如权利要求2所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S1-2)中利用候选集中的产品名称对应属性库和产品标题的属性库计算相似度，此处的属性库为产品其他信息的总和，包括商家填写的产品关键词，产品描述，产品材质，用途；相似度的计算方法为将候选集中产品名称对应的属性利用tf-idf表征，再计算属性余弦相似度，取相似度最大的作为初步标注结果。

4.如权利要求3所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S1-3)中根据S2中模型的训练结果重新预测S1-2)的产品标题标注数据，比较初步标注结果和预测结果的差异，人工修正错误标注，形成“初步标注-学习-预测标签-人工修正-学习-预测标签”的操作循环，执行该操作循环直至标注没有错误的迭代过程。

5.如权利要求4所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S2-4)中将每个字映射为N维稠密向量，方法是在tensorflow中初始化一个M*N维度的字向量表，M表示训练语料中的字数，N表示每个字被映射的维度，然后根据字向量表查找每个字对应的N维稠密向量，此字向量表会根据训练任务进行更新不需要预先训练。

6.如权利要求5所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S2-5)中，循环神经网络采用的是Bi-LSTM(双向长短期记忆模型)。

7.如权利要求6所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S2-6)中，自注意力层采用的是：

其中，Q,K,V都代表同一个产品标题，其维度是M*N，M表示产品标题中包含的字数，N表示每个字的维度，对产品标题中每个字赋予不同的权重，从而提取出识别产品名称的关键信息。

8.如权利要求7所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S2-7)中，采用的分类层为softmax分类层，即由步骤S2-6)得到的向量经过一层线性变化后，输入进激活函数softmax，即可得到每个字对应的标签概率；。

9.如权利要求8所述的一种基于自注意力的BILSTM-CRF产品名称识别方法，其特征在于：所述步骤S2-8)中，根据模型的表现对超参数进行调优，学习率取值为0.001，隐藏单元的数量取值为256维，dropout取值为0.5，CRF层的训练如下：

给定训练数据集X和对应的标签序列Y,优化目标为：在现有的文本序列X下，使得标签序列Y的概率最大，即条件概率P(Y|X)最大，因此优化函数为：

其中 代表标签y_i到y_i+1的转移概率，代表第i个位置对应标签y_i的概率，根据步骤S2-7)可得到需要学习的参数为