CN110516165A - 一种基于文本ugc的混合神经网络跨领域推荐方法 - Google Patents

Abstract

本发明公开了一种基于文本UGC的混合神经网络跨领域推荐方法，目标域特征提取模块根据用户和物品ID为用户和物品分别构建隐因子嵌入矩阵，得到目标域用户、物品的特征向量；所述的辅助域物品特征迁移模块通过模拟类因子分解机模型将用户在两域的特征进行对应位置相乘的交互运算，从而得到两域物品间的关联特征向量，将该向量与目标域用户、物品特征向量在模型顶层进行连接，得到最终的用户‑物品联合特征向量；最后进行Top N物品推荐。本发明为端到端的深度学习跨领域推荐方法，同时自动、高效地利用两域文本UGC，通过深度学习方法挖掘两域物品间的关联特征，可有效提高目标域的物品推荐精度及缓解数据稀疏和冷启动问题。

Description

一种基于文本UGC的混合神经网络跨领域推荐方法

技术领域

本发明涉及推荐系统技术领域，尤其涉及一种基于文本UGC的混合神经网络跨领域推荐方法。

背景技术

随着移动互联网技术的发展，网络信息数量爆炸式增长，信息过载现象日益严重。杂乱繁多的网络内容使得信息的高效组织变得困难与复杂，信息利用效率大大下降。信息接收者难以从海量信息中找到满意的内容，信息发布者同样面临着如何从海量的信息中挑选出让消费者满意的信息的困扰。推荐系统在这种情况下应运而生，它能有效缓解信息过载问题。

推荐系统利用用户-物品的交互信息为用户推荐物品为不需要用户自行选择与操作，有效提高了信息的利用效率。推荐系统的核心为推荐算法，传统的协同过滤算法是推荐系统领域应用最广泛的算法，但其一直受到数据稀疏和冷启动问题的困扰。近来，跨领域推荐方法受到越来越多的研究者重视，该方法与传统的推荐方式相比，可以利用的用户-物品交互数据不仅来自单一的领域，而可以是两个甚至是多个，因此对于数据稀疏和冷启动问题有很好的缓解能力。当今网络购物平台销售物品种类繁多，涉及日用、服饰、食品、书籍、电子产品等各个领域。这些不同领域物品的特征存在一定的相关性，正是这种特征的相关性使得用户在不同领域的购买行为表现出一定的规律。通过跨领域的推荐算法将跨领域物品间的关联特征充分挖掘，用于目标物品的推荐，该方法可有效提高推荐精度并缓解当前推荐方法存在的数据稀疏和冷启动问题。

UGC(User Generated Content)即用户生成内容，兴起于web2.0时代，是一种使用互联网的新方式，用户既是互联网资源的使用者也是生产者。UGC蕴含丰富的用户、物品特征信息，将其运用于跨领域推荐系统的构建对于web2.0时代下新型推荐系统的发展具有较大意义。然而目前跨领域推荐系统对于UGC特别是文本UGC的利用较少，对于文本的处理也大多采用传统的聚类方法、LDA主题模型等，面对海量、复杂的数据时，这些方法存在效率低、数据利用不充分、需要人为干预等问题，从而导致推荐效果不佳。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供基于文本UGC的混合神经网络跨领域推荐方法，该推荐方法可以合理、高效实用文本UGC，提高目标域的物品推荐精度及性能。

本发明是通过以下技术方案实现的：

一种基于文本UGC的混合神经网络跨领域推荐方法，包括有目标域特征提取模块以及辅助域物品特征迁移模块；

所述的目标域特征提取模块由协同过滤神经网络构成，根据用户和物品ID为用户和物品分别构建隐因子嵌入矩阵，经过多层特征映射得到目标域用户、物品特征向量，作为最终的目标用户、物品联合特征向量一部分；

所述的辅助域物品特征迁移模块是本方法的核心，将目标域和辅助域的文本UGC作为物品特征迁移的桥梁，通过模拟类因子分解机模型将两域的文本UGC特征向量进行对应位置相乘的交互运算，从而得到两域物品间的关联特征向量，将该向量与目标域用户、物品特征向量在模型顶层进行连接，得到最终的用户、物品联合特征向量；最后经过softmax分类函数，得到目标用户对物品喜好程度的预测，进而进行Top N物品推荐，交叉熵损失函数作为最终预测值的目标函数，利用梯度下降法优化模型参数。

所述的目标域特征提取模块具体的工作步骤如下：

输入：目标域用户物品ID、用户-物品评分矩阵R；

输出：目标域用户、物品特征向量T_ui；

(1)用户在目标域、辅助域数据的获取：通过用户的唯一ID对用户身份进行识别，得到用户u在目标域、辅助域中与物品的交互信息，包括目标域中的文本UGC d_i，辅助域中的文本UGC集D_S，目标域用户-物品评分矩阵R，其中评分矩阵R作为用户对物品喜好程度的判断依据，文本UGC则作为联系用户在两个领域间兴趣偏好的信息桥梁；

(2)目标域用户、物品特征提取：将用户、物品ID进行one-hot编码处理：

v_u∈{0,1}^m (1)

v_i∈{0,1}ⁿ (2)

其中，v_u和v_i分别代表用户和物品one-hot向量，向量中对应索引位置值为1，其余都为0，m和n分别为目标域用户、物品数量。

用户、物品one-hot向量通过协同过滤神经网络的处理得到目标域用户和物品的隐性特征向量x_u和x_i，将二者进行拼接处理得目标域用户、物品特征的合向量x_ui：

x_ui＝[x_u,x_i] (3)

所述的辅助域物品特征迁移模块具体的工作步骤如下：

1)目标域文本UGC特征提取：目标域文本UGC d_i表示目标域中用户u对物品i的评论文本，对d_i使用预训练的词嵌入模型word2vec进行向量化处理，再经过特征映射和特征提取，得到目标域文本UGC特征向量，该向量作为特征交互层的一个输入；

2)辅助域文本UGC特征提取：辅助域中与目标用户u产生过交互的物品数量较多，因此用户u与多个物品交互可产生文本UGC集D_s，D_s中的元素d_j表示辅助域中用户u在辅助域中对物品j的评论文本，采用步骤1)中所述的方法对D_s中的元素逐个进行处理，以得到辅助域中文本UGC特征向量集，该向量集中的向量作为特征交互集的另一个输入；

3)跨领域物品特征交互计算：不同领域中物品的特征之间存在一定的相关性，比如电影和书籍二者之间的联系可以体现在文体或风格上。相比较这种明显的关联特征，大部分的特征通常是隐性的、不直观的。通过模拟类因子分解机模型，在用户、物品的特征提取层上方增加一个特征交互层，该特征交互层分别将目标域文本UGC特征向量和辅助域文本UGC特征向量集中的单个向量作为输入，对两个特征向量中对应位置的元素进行乘积运算，以求得特征交互向量：

其中，为目标域中用户u对物品i的评论文本的特征向量，为辅助域中用户u对物品j的评论文本的特征向量，s为用户u在辅助域中的文本UGC数量；

经过迭代计算，得到两域的文本UGC特征交互向量集，该特征交互集中的向量经过求和运算得到最终的跨领域物品特征交互向量：

其中，s为用户u在辅助域中的文本UGC数量；

4)目标域与辅助域物品特征融合：经过前面步骤的处理，目标域中的用户、物品特征向量以及目标域物品和辅助域物品的特征交互向量都已确定，分别通过记忆矩阵W和迁移矩阵N将目标域中的用户、物品特征向量以及辅助域物品迁移特征向量融合，得到最终的目标用户、物品特征向量y_ui：

y_ui＝M^TT_ui+N^TS_uj (6)

其中，M为目标域记忆矩阵，用来控制目标域用户、物品特征的保留程度，N为迁移矩阵，用来决定辅助域物品特征的迁移内容，二者的组合为最终的目标用户-物品联合特征向量；其中T_ui为目标域用户、物品特征向量，S_uj为辅助域物品可迁移特征向量；

5)用户对目标域物品的喜好程度预测：最终的目标用户、物品联合特征向量y_ui进过softmax层后得到目标用户对物品的喜好程度值

最后，基于值进行Top N物品推荐。

在本算法中，目标域用户、物品特征提取模块为主要部分，负责目标用户和物品之间交互关系的特征提取，该特征作为判断目标用户对物品喜好的主要依据。

辅助域物品特征迁移模块为次要部分，该模块通过对两个领域内文本UGC内容的抽取，将不同领域内物品间的关联特征进行从辅助域到目标域的迁移，从而补充目标域中的用户、物品特征，提高目标域物品推荐精准度。

在目标域特征提取模块中：

目标域特征提取模块输入层(Input Layer)将用户和物品的原始ID转换为one-hot编码，该编码方式有利于模型的计算，提高了模型的表达能力且方便模型的后续扩展。

在目标域特征提取模块输入层之上，为用户、物品嵌入层(Embedding Layer)，该层使用类隐因子模型结构，构建用户映射矩阵P和物品映射矩阵Q，将用户、物品ID向量转化为稠密、连续的特征向量。

用户和物品的特征向量为二者在不同隐性特征上的分布状况，二者维度相同，共同反映目标用户对物品的偏好。

在目标域特征提取模块嵌入层之上，为神经协同过滤层(Neural CF Layer)，该层由多层全连接的神经网络组成。

通过神经协同过滤层将用户、物品特征向量组合，同时提取二者的特征，将用户、物品特征向量映射到同一隐空间，得到目标域用户、物品特征向量T_ui。

在辅助域物品特征迁移模块中：

在辅助域物品特征迁移模块输入层，使用词嵌入技术word2vec向量化文本UGC，将目标域文本UGC和辅助域文本UGC转换为连续、稠密的向量形式。

在辅助域物品特征迁移模块输入层之上，为域特征映射层(Domain FeatureMapping Layer)。该层利用特征映射矩阵H，将原本的文本UGC向量转换为适合进行特征迁移的向量形式。

由于word2vec词嵌入方法为单词层面的向量化方式，只能捕捉到词语之间的相关性。而在跨领域推荐任务中，辅助域中的信息专注于领域级别的相关性。利用H矩阵可将文本UGC从单词层面映射到域级别。该操作可简化模型运算复杂度，提升算法效率。

在辅助域物品特征迁移模块映射层之上，为跨领域特征交互层(Cross-domainFeature Interaction Layer)。该层分别将一个目标域文本UGC特征向量和多个辅助域文本UGC特征向量作为两个输入，将这两个向量对应位置的值做乘积运算，从而得到多个目标域-辅助域文本UGC特征交互向量。

其中多个交互向量进行求和操作，以得到目标域-辅助域文本UGC特征的交互合向量。该向量代表着两个领域间物品可迁移的相近特征向量。

在辅助域物品特征迁移模块特征交互层之上，为若干个特征映射层，主要负责对目标域-辅助域文本UGC特征交互合向量进行更加深层、精确的特征提取，以得到最终的辅助域物品迁移特征向量S_uj。

在目标域用户、物品特征提取模块和辅助域物品迁移特征提取模块之上，为共享层(Shared Layer)。该层使用M记忆矩阵和N迁移矩阵，将两个模块的特征向量进行融合，从而得到最终的目标用户-物品联合特征向量y_ui，将经softmax函数处理，得到最终目标用户-物品喜好程度预测值

本发明的优点是：本发明针对传统推荐系统存在的冷启动和数据稀疏问题，提出了基于文本UGC的混合神经网络跨领域推荐方法，该方法包含两个神经网络模型用于不同的特征提取任务。目标域特征提取模型可从目标域中提取用户、物品特征，辅助域物品特征迁移模型可根据两域文本UGC中蕴含的隐性特征提取出两域物品间的关联特征，在两模型的顶层——共享层，实现目标域的用户、物品特征与物品可迁移特征的融合，最后预测目标用户对物品的评分。本发明为端到端的深度学习跨领域推荐方法，避免了低效、繁杂的人工处理方式，同时自动、高效地利用两域文本UGC，通过深度学习方法挖掘两域物品间的关联特征，可有效提高目标域的物品推荐精度及缓解数据稀疏和冷启动问题。

附图说明

图1为神经协同过滤(Neural Collaborative Filtering)模型结构。

图2为一种基于本文UGC的混合神经网络跨领域推荐模型的结构图。

图3为一种基于本文UGC的混合神经网络跨领域推荐方法的流程图

具体实施方式

一种基于文本UGC的混合神经网络跨领域推荐方法，其特征在于：包括有目标域特征提取模块以及辅助域物品特征迁移模块；

如图2、3所示，首先数据可采用网络购物平台数据集，如Amazon公共数据集。根据唯一的用户ID可得到用户在目标域和辅助域的交互数据，具体包括用户ID、物品ID、目标域用户-物品评分矩阵、目标域文本UGC、辅助域文本UGC。

对于目标域的用户-物品评分矩阵，使用标准化(normalization)方法处理为分布在(0,1]区间的数值。

其中，用户ID和物品ID用于目标域特征提取模块，目标域、辅助域文本UGC则用于辅助域物品特征迁移。

对于目标域的用户、物品特征提取，具体实施过程如下：

首先是模型底部的输入层(Input Layer)，使用one-hot向量化方法向量化目标域中的用户、物品ID，以得到用户和物品ID的稀疏向量表示形式。

用户和物品稀疏向量分别表示为v_u∈R^m，v_i∈Rⁿ，其中m、n分别为目标域用户和物品数量。

在输入层之上的为嵌入层(Embedding Layer)，该层为全连接层，将原本稀疏的用户、物品向量表示为稠密、连续的向量。

用户和物品稠密、连续的向量表示可视为隐因子模型中的用户、物品特征。然而与传统的隐因子模型不同，这些向量由多层的神经网络得到，且是非线性的。

多层的神经网络都用以挖掘用户-物品间的交互关系，层数越多则挖掘能力越强。

每一层神经网络的维度代表了用户-物品间的交互关系的种类和数量，维度越大则表示能力越强。

嵌入层的具体实现过程如下：

创建两个矩阵P、Q，分别代表用户和物品的隐性特征隐射矩阵。这两个矩阵与用户、物品稀疏向量做乘积运算。

其中，P∈R^m×k，Q∈R^n×k，m、n分别为用户、物品独热编码向量维度，k为隐性特征的数量。

对P、Q两矩阵内的数值进行随机初始化操作。

根据用户、物品向量v_u、v_i以及P、Q隐性特征映射矩阵。用户和物品特征向量具体可表示为：

x_u＝P^Tv_u；

x_i＝Q^Tv_i；

经过嵌入层的处理后，分别得到了用户和物品的特征向量，然而这两个向量在逻辑上仍属于独立关系，相互之间没有产生联系。要将用户和物品的交互关系进行表达必须利用神经协同过滤层。

嵌入层之上为神经协同过滤层(Neural CF Layer),其中协同过滤层的第一层为特征拼接层(Concatenation Layer)，该层为一个简单地映射过程，负责将用户和物品向量进行拼接处理，以形成更大维度的合向量x_ui，具体表示如下：

x_ui＝[x_u,x_i]；

如图1所示的神经协同过滤(Neural Collaborative Filtering)模型结构，神经网络协同过滤层由多个全连接的神经网络层组成，负责用户、物品间交互特征的提取，通过深层的特征提取得到最终的目标域用户、物品特征T_ui。具体可表示为：

T_ui＝f(P^Tv_u,Q^Tv_i|P,Q,θ)；

f(P^Tv_u,Q^Tv_i|P,Q,θ)＝φ_out(φ_k(...φ₁(P^Tv_u,Q^Tv_i)...))；

其中，f为映射函数，θ为模型中的参数，φ_out为输出层的映射函数，φ_k为神经协同过滤层的第k层，φ₁为神经协同过滤层的第一层。

对于辅助域物品特征迁移，具体实施过程如下：

目标域和辅助域文本UGC为辅助域物品迁移特征的数据源，用户u的目标域文本UGC只针对某一具体的物品，因此往往只有一条评论，可视为单个文本d_i。而辅助域文本UGC包括所有与用户u有过交互的物品，因此数量很多，可视为一个文本集D_s，文本集中元素为d_j。

首先是模型底端的词嵌入层(Word Embedding Layer)，每个文本UGC进行分词等预处理操作，采用word2vec向量化方法对文本UGC向量化，取维度最大的UCG文本向量为所有文本UGC的维度，空缺部分以0值进行填充。用户u目标域文本UGC和辅助域文本UGC向量可分别表示为v_di、v_dj。

经过词嵌入层的处理，每个文本UGC映射为向量形式。由于词嵌入层只能赋予文本UGC词语级别的向量值，想要得到辅助域迁移特征，还需要建立域级别的特征。

在词嵌入层之上为域特征映射层(Domain Feature Mapping Layer)，该层使用矩阵H将经过词嵌入层得到的文本UGC向量进行重新映射，以得到和具体可表示为:

其中，H∈R^d×w，w为数据集中所有词语的数量，s为用户u在辅助域中的文本UGC数量。

目标域文本UGC和辅助域文本UGC集中的每个文本都需要经过特征映射矩阵H的处理。

在特征映射层之上的为特征提取层(Feature Exaction Layer)。由于文本UGC的特征向量维度使用了文本UGC集中的最大维度，导致向量存在稀疏性问题。为了压缩向量维度，方便后续特征交互计算，使用一层全连接的神经网络完成特征提取。具体可表示为：

其中，f₁为特征提取层映射函数。

在特征提取层之上的为跨领域特征交互层(Cross-domain Feature InteractionLayer),该层输入为目标域文本UGC特征向量和辅助域文本UGC特征向量，将二者对应位置值做乘积运算，输出为二者的交互特征向量。具体可表示为：

其中，C_i ^j为目标域物品i的文本UGC特征向量与辅助域物品j的文本UGC特征向量的交互结果，最终的交互向量为目标域文本UGC特征向量与辅助域文本UGC集中所有文本特征向量的交互向量和。具体可表示为：

经过以上步骤后，还要经过一层特征提取层以得到最终的辅助域物品迁移特征S_uj。具体可表示为：

S_uj＝f₂(F_i ^j)；

其中，f₂为特征提取映射函数。

在目标域用户、物品特征提取模块和辅助域物品特征迁移模块之上，为共享层(Shared Layer)，负责融合两个模块提取得到的特征，并通过softmax函数完成目标用户对物品的喜好程度预测，进而实现Top N推荐。具体可表示为：

最终，通过交叉熵损失函数(Cross Entropy Loss)实现本跨领域推荐方法的模型训练与参数优化。具体可表示为：

其中，r_ui为经过标准化方法处理过的目标用户对物品的真实评分，S为训练数据中的用户-物品对，从数据集中随机采样获得，占总数据量的80％，且在取样过程中保持正负比例基本一致。

Claims (3)

1.一种基于文本UGC的混合神经网络跨领域推荐方法，文本UGC为用户对物品的评论文本，其特征在于：包括有目标域特征提取模块以及辅助域物品特征迁移模块；

所述的目标域特征提取模块由协同过滤神经网络构成，根据用户和物品ID为用户和物品分别构建隐因子嵌入矩阵，经过多层特征映射得到目标域用户、物品特征向量T_ui；

所述的辅助域物品特征迁移模块将目标域和辅助域的文本UGC作为物品特征迁移的桥梁，通过模拟类因子分解机模型将两域物品特征进行对应位置相乘的交互运算，得到辅助域物品可迁移的特征向量S_uj，将辅助域物品可迁移的特征向量S_uj与目标域用户、物品特征向量T_ui在模型顶层进行连接，得到最终的用户、物品联合特征向量y_ui；最后经过softmax分类函数，得到目标用户对物品喜好程度的预测，进而进行Top N物品推荐，交叉熵损失函数作为最终预测值的目标函数，利用梯度下降法优化模型参数。

2.根据权利要求1所述的一种基于文本UGC的混合神经网络跨领域推荐方法，其特征在于：所述的目标域特征提取模块具体的工作步骤如下：

输入：目标域用户物品ID、用户-物品评分矩阵R；

输出：目标域用户、物品特征向量T_ui；

(1)用户在目标域、辅助域数据的获取：通过用户的唯一ID对用户身份进行识别，得到用户u在目标域、辅助域中与物品的交互信息，包括目标域中的文本UGC d_i，辅助域中的文本UGC集D_S，目标域用户-物品评分矩阵R，其中评分矩阵R作为用户对物品喜好程度的判断依据，文本UGC则作为联系用户在两个领域间兴趣偏好的信息桥梁；

(2)目标域用户、物品特征提取：将用户、物品ID进行one-hot编码处理：

v_u∈{0,1}^m (1)

v_i∈{0,1}ⁿ (2)

其中，v_u和v_i分别代表用户u和物品i的one-hot向量，向量中对应索引位置值为1，其余都为0，m和n分别为目标域用户、物品数量；

用户、物品one-hot向量通过协同过滤神经网络的处理得到目标域用户和物品的隐性特征向量x_u和x_i，将二者进行拼接处理得目标域用户、物品特征的合向量x_ui：

x_ui＝[x_u,x_i] (3)

3.根据权利要求2所述的一种基于文本UGC的混合神经网络跨领域推荐方法，其特征在于：所述的辅助域物品特征迁移模块具体的工作步骤如下：

输入：目标域文本UGC d_i和辅助域文本UGC集D_S、用户-物品评分矩阵R；

输出：辅助域物品迁移特征向量S_uj；

1)目标域文本UGC特征提取：目标域文本UGC d_i表示目标域中用户u对物品i的评论文本，对d_i使用预训练的词嵌入模型word2vec进行向量化处理，再经过特征映射和特征提取，得到目标域文本UGC特征向量，该向量作为特征交互层的一个输入；

2)辅助域文本UGC特征提取：辅助域中与目标用户u产生过交互的物品数量较多，因此用户u与多个物品交互可产生文本UGC集D_s，D_s中的元素d_j表示辅助域中用户u在辅助域中对物品j的评论文本，采用步骤1)中所述的方法对D_s中的元素逐个进行处理，以得到辅助域中文本UGC特征向量集，该向量集中的向量作为特征交互集的另一个输入；

3)跨领域物品特征交互计算：通过模拟类因子分解机模型，在用户、物品的特征提取层上方增加一个特征交互层，该特征交互层分别将目标域文本UGC特征向量和辅助域UGC文本特征向量集中的单个向量作为输入，对两个特征向量中对应位置的元素进行乘积运算，以求得特征交互向量：

其中，为目标域中用户u对物品i的评论文本的特征向量，为辅助域中用户u对物品j的评论文本的特征向量，s为用户u在辅助域中的文本UGC数量；

经过迭代计算，得到两域的文本UGC特征交互向量集，该特征交互集中的向量经过求和运算得到最终的跨领域物品特征交互向量：

其中，s为用户u在辅助域中的文本UGC数量；

4)目标域与辅助域特征融合：分别通过记忆矩阵和迁移矩阵将目标域中的用户、物品特征向量以及辅助域物品迁移特征向量进行融合，得到最终的目标用户、物品联合特征向量y_ui：

y_ui＝M^TT_ui+N^TS_uj (6)

其中，M为目标域记忆矩阵，用来控制目标域用户、物品特征的保留程度，N为迁移矩阵，用来决定辅助域物品特征的迁移内容，二者的组合为最终的目标用户-物品联合特征向量；其中T_ui为目标域用户、物品特征向量，S_uj为辅助域物品可迁移特征向量；

5)目标用户对物品的喜好程度预测：最终的目标用户、物品联合特征向量y_ui进过softmax层后得到目标用户对物品的喜好程度值

最后，基于值进行Top N物品推荐。