CN110674305B - 一种基于深层特征融合模型的商品信息分类方法 - Google Patents

Abstract

本发明提供了一种基于深层特征融合模型的商品信息分类方法，该方法使用字嵌入和词嵌入两种文本信息嵌入方式，获取更多商品文本标题的浅层特征信息；联合了自注意力机制、卷积神经网络和通道注意力对文本浅层特征进行增强和获得深层增强特征；最后将两种嵌入方法提取到的深层增强特征进行融合，通过多分类逻辑回归方法softmax确定商品类别。本发明使用两种嵌入方式对商品文本标题进行映射，在不损失原有信息的基础上，获取更多的信息；使用卷积神经网络对商品信息特征进行提取，通过两种注意力机制分别对浅层特征和深层特征进了增强，提升分类的准确率；解决了传统专家规则分类方法中仍然需要人工设置规则的问题，提高了分类结果的准确率。

Description

一种基于深层特征融合模型的商品信息分类方法

技术领域

本发明属于深度学习和文本分类技术领域，尤其是涉及一种基于深层特征融合模型的商品信息分类方法。

背景技术

随着电商平台的迅速崛起，网络零售逐渐成为当下热门的商品交易方式之一，而商品分类是准确定位商品最为便捷的方式。早期的工作中使用简单的词袋分类器，通过专家规则(Pattern)进行分类，但局限性很强，不仅效率和准确率低而且覆盖的范围也非常有限，很难应用于复杂多变的网络环境。深度神经网络能够通过深层次网络结构自动挖掘数据细粒度特征，在自然语言处理、语音和视觉识别任务中优于其他机器学习方法。在深度学习的方法中，对于相关问题，一些学者提出利用CNN/RNN等网络结构自动获取特征表达能力，代替繁杂的人工特征工程，端到端的解决问题，可以解决传统方法中的问题。但是对于短文本分类任务，仍然存在问题：词向量获取信息不够全面，信息源单一；结合了循环神经网络(RNN)的网络结构在短文本方面分类时序信息较少，且时间复杂度较高。

发明内容

有鉴于此，本发明旨在提出一种基于深层特征融合模型的商品信息分类方法，以解决上述背景技术中提到的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深层特征融合模型的商品信息分类方法，包括如下步骤：

(1)对商品文本数据进行预处理；

(2)建立深层特征融合模型，利用深层特征融合模型对商品进行自动分类；

(3)对模型进行训练和测试，验证数据分类的有效性。

进一步的，所述步骤(1)中，通过将文本标题信息清洗、分词，利用Word2vec模型获得商品文本标题的字向量及词向量表示，具体包括如下步骤：

(1.1)将商品信息进行清洗，删除无意义字符和停用词；

(1.2)对经过(1.1)处理后的信息进行分字处理和分词处理；

(1.3)使用上一步处理得到的信息训练字向量模型和词向量模型，从而获得品文本标题的字向量及词向量表示；

进一步的，所述步骤(1)具体实施过程包括：

定义Texts为单个商品信息集，text为单个商品信息，label为单个文本的标签，并且满足关系Texts＝{text，label}。然后对数据集进行数据清洗以及分字和分词，得到字序列W＝{w₁,w₂,…,w_p}和词序列C＝{c₁,c₂,…,c_q},其中p和q分别为文本的字和词语序列的固定长度。接着使用gensim机器学习库中的Word2vec方法训练W和C，得到字向量E_xw和词向量E_xc。

进一步的，所述深层特征融合模型包括嵌入输入层、卷积采样层、特征增强层和融合输出层，所述步骤(2)实现过程如下：

(21)将步骤(1)中获得的字向量E_xw和词向量E_xc输入到嵌入输入层并对其进行特征映射得到文本的浅层特征

和

(22)将步骤(21)中得到的浅层特征通过特征增强层的自注意力机制模块进行特征增强，获得增强后的特征X′^w和X′^c

(23)将步骤(22)中增强后的文本浅层特征输入卷积采样层，并利用多层卷积神经网络对文本浅层特征进行特征提取获得文本深层特征。

(24)将通过步骤(23)中获得的文本字嵌入与词嵌入的深层特征分别输入到特征增强层的通道注意力模块，得到深层增强特征。

(25)将字嵌入与词嵌入的深层增强特征输入到融合输出层，通过特征融合输出获得商品文本标题的综合特征，并通过softmax方法对商品进行分类，将分类结果用于损失函数优化进而确定最优商品信息分类模型。

进一步的，所述深层特征融合模型中的卷积采样层使用(3,4,5)三个卷积核的双层卷积神经网络。卷积神经网络对经过自注意力增强后的文本浅层特征X′^w和X′^c进行文本特征提取，得到深层特征矩阵Y^w和Y^c。

进一步的，所述深层特征融合模型中的特征增强层实现过程如下：

首先，使用自注意力机制对文本浅层特征进行增强，得到增强后的特征X′ⁿ，我们将操作表示为；

A_n＝softmax(XⁿW^Xn(Xⁿ)^T)

X′ⁿ＝A_nXⁿ

其中，Xⁿ表示需要进行特征增强的浅层特征，n∈{w,c}，softmax(.)表示将输入通过一个归一化指数函数进行处理，可将输入向量压缩至[0,1]之前，且保证所有元素和为1，W^Xn表示自注意力机制中用来学习的权重矩阵。

其次，使用通道注意力机制对文本深层特征进行特征增强，该部分分为压缩和扩展两个阶段。压缩阶段先将特征矩阵Y^w和Y^c分别通过执行单维全局平均池化，将其最后一维特征压缩为一个固定值,使固定值可以代表一定范围内的特征，再使用一个一维卷积操作,将压缩之后矩阵维度BS*C*1减小到BS*(C/R)*1，经过通道特征压缩后获得的增强特征Sⁿ可以表示为:

其中，W₁ ^sn表示压缩阶段卷积操作的参数矩阵，r∈{p,q}表示字嵌入或词嵌入维度，H_GP(·)表示全局平均池化操作，σ(.)表示ReLU激活函数，Yⁿ∈{Y^w,Y^c}为待压缩的通道特征。扩展阶段使用一维卷积操作将矩阵维度由压缩之后的BS*(C/R)*1变回BS*C*1，最终输出经过加权的特征矩阵Y′^w和Y′^c，可以表示为：

A_n′＝δ(W₂ ^snSⁿ)

Y′ⁿ＝A′_n·Yⁿ

其中，δ(.)表示激活函数，W₂ ^sn表示扩展阶段卷积操作的参数矩阵。

进一步的，所述深层特征融合模型中的融合输出层实现过程如下：

将字嵌入与词嵌入的深层特征Y′^w和Y′^c在低维度上进行拼接，通过一个线性变换过程并使用softmax函数激活，输出商品类别概率矩阵，将操作表示为：

其中，

表示矩阵拼接操作,W^L表示全连接层的参数矩阵。

进一步的，所述步骤(3)中采用通过二元交叉熵损失函数作为目标函数，采用反向传播机制对深层特征融合模型中的参数进行训练和更新，以最小化商品真实类别和商品预测类别的交叉熵，表示为：

其中c为该商品的真实类别，c'为模型预测类别，i表示商品索引，j表示商品类别索引，在模型训练过程，在输入层输入标注好的数据，然后采用时间反向传播(BPTT)算法获得目标函数相对于所有参数的导数，并通过随机梯度下降法最小化目标函数，从而确定最优参数。

相对于现有技术，本发明所述的一种基于深层特征融合模型的商品信息分类方法具有以下优势：

本发明使用两种嵌入方式对商品信息进行映射，在不损失原有信息的基础上，获取更多的信息；使用卷积神经网络对商品信息特征进行提取，并通过两种注意力机制对其进行增强，进一步提升分类的准确率；提出端到端的深层特征融合模型DFF用于自动商品分类，解决了传统专家规则的分类方法中仍然需要人工设置规则的问题，并有效提高了分类结果的准确率，在测试数据集上能够达到84.346％的准确率。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为深层特征融合模型(Deep Feature Fusion)框架图；

图2为自注意力模型图；

图3为通道注意力模型图；

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

本发明提供了一种基于深层特征融合模型的商品信息分类方法，该方法针对当前问题，提出的算法模型使用字嵌入和词嵌入两种嵌入方法，在不损失原有信息的基础上，获取更多的文本信息；使用结构更简练的两种不同注意力机制对表达的特征进行增强；最后将两种嵌入方法提取到的特征进行融合后通过softmax层进行分类。模型结构如图1所，分为嵌入输入层、卷积采样层、特征增强层和融合输出层。首先将数据进行预处理，通过字嵌入和词嵌入两种方式，将其表示为字向量和词向量，提出浅层特征表示。其次将浅层特征输入特征增强层的自注意力模块进行特征增强并将增强后的特征输入卷积采样层，进而得到文本字嵌入与词嵌入的深层特征。再次将深层特征输入特征增强层的通道注意力模块获得深层增强特征。最后，通过一个线性变换过程将字嵌入与词嵌入的深层增强特征进行融合输出，并使用softmax函数激活，进而得到商品类别概率。将分类结果通过损失函数跌倒优化，从而得到最优的商品信息分类模型。

本发明所述的基于深层特征融合模型的商品信息分类方法属于有监督学习，其具体实施步骤包括：数据的预处理、模型的建立、模型的训练和测试三个步骤。

数据的预处理：

由于数据集中的文本数据无法被模型直接使用，所以首先要对其进行预处理。定义Texts为单个商品信息集，text为单个商品信息，label为单个文本的标签，并且满足关系Texts＝{text，label}。本发明先对商品文本数据进行清洗，删除无意义字符和停用词，对处理后的信息进行分字处理和分词处理，得到text的字序列W＝{w₁,w₂,…,w_p}和词序列C＝{c₁,c₂,…,c_q}，其中p和q分别为文本的字和词语序列的固定长度。然后使用gensim机器学习库中的Word2vec模型训练W和C，得到字向量E_xw和词向量E_xc。

模型的构建：

嵌入输入层将字向量E_xw和词向量E_xc进行输入并对其进行特征映射得到文本的浅层特征

和

卷积采样层，该模块使用(3,4,5)三个卷积核的双层卷积神经网络。卷积神经网络对经过自注意力增强后的文本浅层特征X′^w和X′^c进行文本特征提取，得到深层特征矩阵Y^w和Y^c，具体过程如图1所示。该过程可以表示为：

Yⁿ＝f(ωX′ⁿ+b)其中，f表示激活函数，ω表示卷积核参数矩阵，X′ⁿ表示经过自注意力增强后的商品浅层特征,n表示特征所属字向量或词向量，即n∈{w,c}特征增强层模块首先使用自注意力机制对文本浅层特征进行增强，其过程如图2所示，得到增强后的特征X′ⁿ，我们将操作表示为；

A_n＝softmax(XⁿW^Xn(Xⁿ)^T)

X′ⁿ＝A_nXⁿ

其中，Xⁿ表示需要进行特征增强的浅层特征，n∈{w,c}，softmax(.)表示将输入通过一个归一化指数函数进行处理，可将输入向量压缩至[0,1]之前，且保证所有元素和为1，W^Xn表示自注意力机制中用来学习的权重矩阵。

其次，使用通道注意力机制对文本深层特征进行特征增强，该部分分为压缩和扩展两个阶段，其过程如图3所示。压缩阶段先将特征矩阵Y^w和Y^c分别通过执行单维全局平均池化，将其最后一维特征压缩为一个固定值,使固定值可以代表一定范围内的特征，再使用一个一维卷积操作,将压缩之后矩阵维度BS*C*1减小到BS*(C/R)*1，经过通道特征压缩后获得的增强特征Sⁿ可以表示为:

其中，W₁ ^sn表示压缩阶段卷积操作的参数矩阵，r∈{p,q}表示字嵌入或词嵌入维度，H_GP(·)表示全局平均池化操作，σ(.)表示ReLU激活函数，Yⁿ∈{Y^w,Y^c}为待压缩的通道特征。扩展阶段使用一维卷积操作将矩阵维度由压缩之后的BS*(C/R)*1变回BS*C*1，最终输出经过加权的特征矩阵Y′^w和Y′^c，可以表示为：

A_n′＝δ(W₂ ^snSⁿ)

Y′ⁿ＝A′_n·Yⁿ

其中，δ(.)表示激活函数，W₂ ^sn表示扩展阶段卷积操作的参数矩阵。

融合输出层模块将字嵌入与词嵌入的深层特征Y′^w和Y′^c在低维度上进行拼接，通过一个线性变换过程并使用softmax函数激活，输出商品类别概率矩阵，将操作表示为：

其中，

表示矩阵拼接操作,W^L表示全连接层的参数矩阵。

模型的训练和测试：

在根据本实例建立的深度学习模型中，为了确定模型中的最优参数值，需要用带标签的数据对网络进行训练，而在这一过程中需要引入一个指标来评价模型分类结果误差。本发明通过二元交叉熵损失函数作为目标函数，采用反向传播机制对深层特征融合模型中的参数进行训练和更新，以最小化商品真实类别和商品预测类别的交叉熵。可以表示为：

其中c为该商品的真实类别，c'为本文提出模型预测类别，i表示商品索引，j表示商品类别索引。在模型训练过程，在输入层输入标注好的数据，然后我们采用时间反向传播(BPTT)算法获得目标函数相对于所有参数的导数，并通过随机梯度下降法最小化目标函数，从而确定最优参数。

为了验证本文提出的深层特征融合分类模型(DFF)对商品信息数据分类的有效性，本发明使用了网络零售平台商品分类数据集，其中数据共50万条，被分为30个一级类别，192个二级类别和1258个三级类别。按照类内随机划分的机制，将数据集划分为训练集和测试集，其中训练集样本35万条，占样本总数的70％，测试集样本15万条，占样本总数的30％。当测试数据精度小于给定阈值，则认为模型为有效模型。

综上所述，根据本申请实施例的基于深层特征融合模型的商品信息分类方法主要解决了使用商品标题文本对商品进行自动分类的问题，它采用了多卷积核双层卷积神经网络结构，并通过两种注意力机制对其进行增强，最后通过将两种嵌入进行融合的方式提升了分类精度。在该过程首先是将数据集文本进行词向量和字向量映射成为浅层特征表示，然后将其通过多卷积核双层卷积神经网络进行特征提取，再使用自注意力和通道注意力两种注意力机制对特征进行增强，最后对两种嵌入得到的特征输入到融合输出层进行分类。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于深层特征融合模型的商品信息分类方法，其特征在于：包括如下步骤：

(1)对商品文本标题数据进行预处理；

(2)建立深层特征融合模型，利用深层特征融合模型对商品进行自动分类；

(3)对模型进行训练和测试，验证数据分类的有效性；

所述步骤(1)中，通过对文本标题信息清洗、分词，得到商品文本标题的字序列和词序列，然后通过Word2vec模型获得字向量及词向量，具体包括如下步骤：

(1.1)将商品信息进行清洗，删除无意义字符和停用词；

(1.2)对经过(1.1)处理后的信息进行分字处理和分词处理，获得商品文本标题的字序列W＝{w₁,w₂,…,w_p}和词序列C＝{c₁,c₂,…,c_q}，其中p和q分别为文本的字和词语序列的固定长度；

(1.3)利用上一步处理得到的信息，通过gensim机器学习库中的Word2vec模型训练得到字向量E_xw和词向量E_xc；

所述深层特征融合模型包括嵌入输入层、卷积采样层、特征增强层和融合输出层，所述步骤(2)实现过程如下：

(21)将步骤(1)中获得的字向量E_xw和词向量E_xc输入到嵌入输入层并对其进行特征映射得到文本的浅层特征 和

(22)将步骤(21)中得到的浅层特征通过特征增强层的自注意力机制模块进行特征增强，获得增强后的特征X’^W和X’^C；

(23)将步骤(22)中增强后的文本浅层特征输入卷积采样层，并利用多层卷积神经网络对文本浅层特征进行特征提取获得文本深层特征；

(24)将通过步骤(23)中获得的文本字嵌入与词嵌入的深层特征分别输入到特征增强层的通道注意力模块，得到深层增强特征；

(25)将字嵌入与词嵌入的深层增强特征输入到融合输出层，通过特征融合输出获得商品文本标题的综合特征，并通过softmax方法对商品进行分类，将分类结果用于损失函数优化进而确定最优商品信息分类模型；

所述深层特征融合模型中的卷积采样层使用(3，4，5)三个卷积核的双层卷积神经网络，卷积神经网络对经过自注意力增强后的文本浅层特征X’^W和X’^C进行文本特征提取，得到深层特征矩阵Y^W和Y^C；

首先，使用自注意力机制对文本浅层特征进行增强，得到增强后的特征X′n，我们将操作表示为；

An＝softmax(X_nW_Xn(X_n)_T)

X′ⁿ＝A_nXⁿ

其中，Xⁿ表示需要进行特征增强的浅层特征，n∈{w,c}，softmax(.)表示将输入通过一个归一化指数函数进行处理，可将输入向量压缩至[0,1]之间，且保证所有元素和为1，W^Xn表示自注意力机制中用来学习的权重矩阵；

其次，使用通道注意力机制对文本深层特征进行特征增强，该部分分为压缩和扩展两个阶段，压缩阶段先将特征矩阵Y^W和Y^C分别通过执行单维全局平均池化，将其最后一维特征压缩为一个固定值,使固定值可以代表一定范围内的特征，再使用一个一维卷积操作,将压缩之后矩阵维度BS*C*1减小到BS*(C/R)*1，经过通道特征压缩后获得的增强特征Sn可以表示为:

其中，表示压缩阶段卷积操作的参数矩阵，r∈{p,q}表示字嵌入或词嵌入维度，H_GP(·)表示全局平均池化操作，σ(.)表示ReLU激活函数，Yⁿ∈{Y^W,Y^C}为待压缩的通道特征；

扩展阶段使用一维卷积操作将矩阵维度由压缩之后的BS*(C/R)*1变回BS*C*1，最终输出经过加权的特征矩阵Y′^W和Y′^C，可以表示为：

A′_n＝δ(W2^snSⁿ)

Y′ⁿ＝A′_n·Yⁿ

其中，δ(.)表示激活函数，W2^sn表示扩展阶段卷积操作的参数矩阵。

2.根据权利要求1所述的一种基于深层特征融合模型的商品信息分类方法，其特征在于：所述步骤(3)中采用通过二元交叉熵损失函数作为目标函数，采用反向传播机制对深层特征融合模型中的参数进行训练和更新，以最小化商品真实类别和商品预测类别的交叉熵，表示为：

其中c为该商品的真实类别，c'为模型预测类别，i表示商品索引，j表示商品类别索引，在模型训练过程，在输入层输入标注好的数据，然后采用时间反向传播(BPTT)算法获得目标函数相对于所有参数的导数，并通过随机梯度下降法最小化目标函数，从而确定最优商品分类模型。

Images