CN110910218A - 一种基于深度学习的多行为迁移推荐方法 - Google Patents

Abstract

本发明公开一种基于深度学习的多行为迁移推荐方法，首先，获取用户的多种隐式反馈数据集并进行处理；构建一个基网络G_b和多个行为网络G^(k)，并利用网络表示学习方法学习用户和物品节点在各个网络中的低维嵌入表示；然后，基于用户的多个隐式行为反馈对用户偏好建模的影响不同，使用注意力机制自动学习各个行为的权重，得到用户和物品的融合低维嵌入表示；最后，将用户和物品的低维嵌入向量自然拼接后送入全连接嵌入层，采用基于深度神经网络的偏好学习方法，并反馈到具有隐藏层的前馈神经网络中，在输出层学习用户对物品的偏好。本发明能够更好地捕获用户的偏好并实现个性化推荐，且具有推荐准确率高、泛化能力强，易于实现等优点。

Description

一种基于深度学习的多行为迁移推荐方法

技术领域

本发明属于数据挖掘及推荐技术领域，具体涉及一种基于深度学习的多行为迁移推荐方法。

背景技术

随着互联网上信息和内容的爆炸式增长，人类社会进入了“信息过载”的时代。人们难以迅速有效地找到自己所需的内容或者项目，因此推荐系统应运而生。推荐系统的核心是推荐算法，它通过挖掘用户和项目之间的关系，帮助用户从海量数据中发现感兴趣的项目，并生成个性化推荐列表。传统的推荐方法主要包括协同过滤方法，基于内容的推荐方法和混合推荐方法，其中协同过滤方法利用用户的历史行为记录向用户推荐与之偏好相近的用户所喜欢的项目，基于内容的推荐方法根据用户历史喜欢的项目向其推荐与之相似的项目，而混合推荐是将多种推荐方法融合进行推荐。

构造推荐系统的关键资源是用户历史行为数据，具体可以分为两类：显式反馈和隐式反馈。显式反馈是指用户给出的显式评分，如电影评分、商品打分等，而隐式反馈不直接表现出用户的偏好，如点击商品或者加入购物车等。显式反馈虽然能明确的表现用户的偏好，但是通常包含一些噪声，而且不易获得。隐式反馈数据不需要增加用户负担，具有收集成本更低、应用场景更广、数据规模更大的特点。

目前大多数推荐系统把注意力集中在分析挖掘显式反馈信息上，通过矩阵分解等方法捕捉用户和项目之间的浅层次关系，不能深入挖掘用户和项目的深层特征，而且由于显式反馈信息的匮乏，会带来数据稀疏性问题，从而导致推荐效果不佳。

发明内容

发明目的：本发明提供了一种基于深度学习的多行为迁移推荐方法，能够更好地捕获用户的偏好并实现个性化推荐。

发明内容：本发明所述的一种基于深度学习的多行为迁移推荐方法，包括以下步骤：

(1)对预先获取的用户历史行为数据进行处理获得多种隐式反馈数据集；

(2)根据用户的多种隐式反馈数据集构建一个基网络G_b和多个行为网络G^(k)，并利用网络表示学习方法学习用户和物品节点在各个网络中的低维嵌入表示；

(3)基于用户的多个隐式行为反馈对用户偏好建模的影响不同，使用注意力机制自动学习各个行为的权重，得到用户和物品的融合低维嵌入表示；

(4)将用户和物品的低维嵌入向量自然拼接后送入全连接嵌入层，采用基于深度神经网络的偏好学习方法，并反馈到具有隐藏层的前馈神经网络中，在输出层学习用户对物品的偏好。

进一步地，步骤(1)所述的隐式反馈数据主要包括用户点击数据、加入购物车数据、收藏数据和购买数据。

进一步地，步骤(2)所述的基网络G_b是一个包含用户和物品两种节点，以及一种类型的连边的网络；所述每个行为网络G^(k)中也包含用户和物品节点，且只有用户和物品之间有过对应的行为。

进一步地，步骤(2)所述的网络表示学习方法基于node2vec的随机游走策略，并行学习基网络和多个行为网络中用户和物品节点的之间的结构关系，得到用户和物品的词嵌入向量U_b和U_s ^(k)，游走概率计算方式为：

其中，其中U_b表示从基网络中学习得到的词嵌入向量，而U_s ^(k)表示从第k个行为网络中学习得到的词嵌入向量，Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，α是node2vec中的二阶随机游走参数，α＝1/p表示从节点u_k-1回到节点u_k-2，α＝1表示节点u_k-2与节点u_k相连，α＝1/q表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连，通过调节变量p和q控制随机游走的方向，w(k-1,k)表示节点u_k-1和u_k之间的边权重，取值范围是[0,1]，N(k-1)表示u_k-1的一阶邻居节点的集合。

进一步地，所述步骤(3)包括以下步骤：

(31)利用注意力机制学习得到用户的多个行为对用户偏好的影响，每个行为的权重计算如下：w＝f(W·U+b)，其中，f表示一种激活函数，U表示节点的词嵌入向量，W表示权重矩阵，b表示偏置值；

(32)对学得权重进行归一化，计算如下：α_k＝softmax(w_k)，α_k表示第k个行为网络的归一化权重，softmax是常用于多分类问题的激活函数；

(33)根据学得的归一化权重，将多个行为中用户和物品的词嵌入向量加权求和，得到用户和物品的融合向量

(34)将从基网络中学习的词嵌入向量和融合向量自然拼接，得到U′_t＝[U_b,U′_s]。

进一步地，所述步骤(4)包括以下步骤：

(41)利用多层感知机学习用户和物品之间的非线性关系，输入是用户和物品的词嵌入向量拼接得到的向量z₁＝[U′_t,V′_t]，隐藏层的输出是z₂＝f(W^Tz₁+b)，其中，f是激活函数，b是偏置值，输出层的输出是用户是否对物品感兴趣的预测概率

σ是一种激活函数；

(42)计算用户对物品的偏好损失函数：

其中，I表示用户u_i交互过物品v_j，

表示用户u_i没有交互过物品v_j，y_ij表示用户u_i是否交互过物品v_j的真实值，

表示预测值，取值范围是[0,1]，使用梯度下降算法使得损失函数最小化，即

和y_ij之间的差值收敛；

(43)使用命中率和归一化折扣累积增益作为性能评价指标，确定所有参数的最佳取值，其中命中率HR@K和归一化折扣累积增益NDCG@K的计算方式如下：

其中，K表示选择前K个物品进行推荐，|GT|表示所有测试样本的数量。

有益效果：与现有技术相比，本发明的有益效果：1、本发明充分利用了用户的多种隐式行为信息，将用户的购买行为作为目标行为，并挖掘用户其余交互行为(点击物品、加入购物车和收藏物品)的信息，通过迁移学习到目标行为，更好地对用户偏好建模，并且解决了数据稀疏性问题；2、本发明的实施过程简单，容易实现，同时不受具体开发工具和编程软件的限制，能够快速扩展到分布式和并行化的开发环境中；3、本发明深入挖掘了用户和物品之间的内在联系，能够有效解决数据稀疏问题，同时具有推荐准确率高、泛化能力强，易于实现等优点，能够有效应用于电子商务等领域。

附图说明

图1为本发明的流程图。

具体实施方式

下面将结合附图对本发明作进一步详细说明。本发明基于推荐系统中用户和物品的多种隐式行为反馈信息，挖掘丰富的源行为的信息并迁移到较为稀疏的目标行为，对用户的偏好进行建模，解决数据稀疏性问题。如图1所示，本发明具体包括以下步骤：

步骤一：获取用户的多种隐式反馈数据集并进行处理。

(1)从电子商务网站获取目标用户和物品数据，其中获取数据的方法包括网络爬虫或合作方式。对获得的数据进行清洗，提取隐式反馈数据，其中，所述隐式反馈数据集主要包含点击数据、加入购物车数据、收藏数据和购买数据。根据用户行为数据集构成三元组作为训练集；三元组公式为(u,e^(k),i)，其中，u表示用户，i表示物品，e^(k)表示用户u对物品i的操作，k表示是第k种隐式行为。

步骤二：根据用户的多种行为数据构建网络，并利用网络表示学习方法node2vec学习用户和物品节点在各个网络中的低维嵌入表示。

根据用户的行为数据构建一个基网络G_b和多个行为网络G^(k)。其中，基网络G_b＝{＜u,e,i＞}是一个包含用户和物品两种节点，以及一种类型的连边的网络。用户对物品只要有任意一种行为，那么在基网络G_b中对应的用户和物品节点之间就存在一条边。每个行为网络G^(k)＝{＜u,e^(k),i＞}中也包含用户和物品节点，并且只有用户和物品之间有过第k种行为，那么该行为网络中对应的用户和物品节点之间才有边。

将one-hot形式的用户和物品作为网络中用户和物品节点的初始表示；为了将用户和物品的初始稀疏表示映射成一个低维稠密向量，并且保留网络节点之间的结构关系，使用网络表示学习方法node2vec的随机游走策略，并行学习基网络和多个行为网络中用户和物品节点的之间的结构关系，得到用户和物品的词嵌入向量U_b和U_s ^(k)，其中U_b表示从基网络中学习得到的词嵌入向量，而U_s ^(k)表示从第k个行为网络中学习得到的词嵌入向量。进一步而言，基于node2vec的随机游走策略中游走概率计算方式为：

其中，Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，α是node2vec中的二阶随机游走参数；α＝1/p表示从节点u_k-1回到节点u_k-2；α＝1表示节点u_k-2与节点u_k相连；α＝1/q表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连；通过调节变量p和q可以控制随机游走的方向；w(k-1,k)表示节点u_k-1和u_k之间的边权重，取值范围是[0,1]；N(k-1)表示u_k-1的一阶邻居节点的集合。

步骤三：用户的多个隐式行为反馈对用户偏好建模的影响不同，使用注意力机制自动学习各个行为的权重，得到用户和物品的融合低维嵌入表示。

用户u和物品i的词嵌入向量的维度设置为d，利用注意力机制学习得到用户的多个行为对用户偏好的影响，每个行为的权重计算如下：w＝f(W·U+b)，其中，f表示一种激活函数，U表示节点的词嵌入向量，W表示权重矩阵，b表示偏置值。

对学得权重进行归一化，计算如下：α_k＝softmax(w_k)，α_k表示第k个行为网络的归一化权重，softmax是常用于多分类问题的激活函数。

根据学得的归一化权重，将多个行为中用户和物品的词嵌入向量加权求和，得到用户和物品的融合向量

同样地，物品i的融合向量为

将从基网络G_b中学习的词嵌入向量和根据多个行为网络G^(k)得到的融合向量自然拼接，得到用户u的最终向量表示U_t＝[U′_b,U′_s]和物品i的最终向量表示V′_t＝[V_b,V′_s]，维度为d。

步骤四：将用户和物品的低维嵌入向量自然拼接后送入全连接嵌入层，采用基于深度神经网络的偏好学习方法，并反馈到具有隐藏层的前馈神经网络中，在输出层学习用户对物品的偏好。

利用多层感知机学习用户和物品之间的非线性关系，输入是用户和物品的词嵌入向量拼接得到的向量z₁＝[U′_t,V′_t]，隐藏层的输出是z₂＝f(W^Tz₁+b)，其中，f是激活函数，b是偏置值，输出层的输出是用户是否对物品感兴趣的预测概率

σ是一种激活函数。用户对物品的偏好损失函数计算方式如下：

其中，I表示用户u_i交互过物品v_j，

表示用户u_i没有交互过物品v_j，y_ij表示用户u_i是否交互过物品v_j的真实值，

表示预测值，取值范围是[0,1]，使用梯度下降算法使得损失函数L最小，即

和y_ij之间的差值收敛。

迭代收敛后生成排序模型。对于一个用户u，根据训练好的模型，计算用户u对没有交互过的物品感兴趣的概率，并且按照概率从大到小排序，选择前10个作为用户u的推荐列表。

在本实施方式中采用国内电子商务网站Tmall的行为数据集，数据集记录了987994个用户和4162024个物品，操作分是”purchase””click””AddtoCart””Favor”，分别表示用户对物品进行了购买、点击、加入购物车和收藏四种行为。由于数据集中存在一些用户的行为次数较少的情况，因此处理时删除交互次数低于10次的用户和物品来减少数据集的稀疏性。采用5-fold交叉验证法进行验证，使用leave-one-out(留一法)进行测试。由于隐式反馈的数据没有负样本，因此我们对数据集进行负采样，一个正样本对应4个负样本。

本实施例使用python语言，在Pycharm平台上运行，实验框架为keras，学习速率设为0.001，用户和物品节点的词嵌入向量的大小为64，负采样的比例为1:4，推荐列表为10。

为了评价本发明所述算法的性能，可以使用命中率HR@K和归一化折扣累积增益(NDCG@K)作为性能评价指标，从而确定所有参数的最佳取值。其中，命中率HR@K的计算方式如下：

其中，K表示选择前K个物品进行推荐，|GT|表示所有测试样本的数量。

归一化折扣累积增益(NDCG@K)的计算公式为：

其中，K表示选择前K个物品进行推荐。

Claims (6)

1.一种基于深度学习的多行为迁移推荐方法，其特征在于，包括以下步骤：

(1)对预先获取的用户历史行为数据进行处理获得多种隐式反馈数据集；

(2)根据用户的多种隐式反馈数据集构建一个基网络G_b和多个行为网络G^(k)，并利用网络表示学习方法学习用户和物品节点在各个网络中的低维嵌入表示；

(3)基于用户的多个隐式行为反馈对用户偏好建模的影响不同，使用注意力机制自动学习各个行为的权重，得到用户和物品的融合低维嵌入表示；

(4)将用户和物品的低维嵌入向量自然拼接后送入全连接嵌入层，采用基于深度神经网络的偏好学习方法，并反馈到具有隐藏层的前馈神经网络中，在输出层学习用户对物品的偏好。

2.根据权利要求1所述的一种基于深度学习的多行为迁移推荐方法，其特征在于，步骤(1)所述的隐式反馈数据主要包括用户点击数据、加入购物车数据、收藏数据和购买数据。

3.根据权利要求1所述的一种基于深度学习的多行为迁移推荐方法，其特征在于，步骤(2)所述的基网络G_b是一个包含用户和物品两种节点，以及一种类型的连边的网络；所述每个行为网络G^(k)中也包含用户和物品节点，且只有用户和物品之间有过对应的行为。

4.根据权利要求1所述的一种基于深度学习的多行为迁移推荐方法，其特征在于，步骤(2)所述的网络表示学习方法基于node2vec的随机游走策略，并行学习基网络和多个行为网络中用户和物品节点的之间的结构关系，得到用户和物品的词嵌入向量U_b和U_s ^(k)，游走概率计算方式为：

其中，其中U_b表示从基网络中学习得到的词嵌入向量，而U_s ^(k)表示从第k个行为网络中学习得到的词嵌入向量，Pro(k|k-1)表示从节点u_k-1游走到节点u_k的概率，α是node2vec中的二阶随机游走参数，α＝1/p表示从节点u_k-1回到节点u_k-2，α＝1表示节点u_k-2与节点u_k相连，α＝1/q表示节点u_k-2与节点u_k不直接相连，但节点u_k-1与节点u_k直接相连，通过调节变量p和q控制随机游走的方向，w(k-1,k)表示节点u_k-1和u_k之间的边权重，取值范围是[0,1]，N(k-1)表示u_k-1的一阶邻居节点的集合。

5.根据权利要求1所述的一种基于深度学习的多行为迁移推荐方法，其特征在于，所述步骤(3)包括以下步骤：

(31)利用注意力机制学习得到用户的多个行为对用户偏好的影响，每个行为的权重计算如下：w＝f(W·U+b)，其中，f表示一种激活函数，U表示节点的词嵌入向量，W表示权重矩阵，b表示偏置值；

(32)对学得权重进行归一化，计算如下：α_k＝softmax(w_k)，α_k表示第k个行为网络的归一化权重，softmax是常用于多分类问题的激活函数；

(33)根据学得的归一化权重，将多个行为中用户和物品的词嵌入向量加权求和，得到用户和物品的融合向量

(34)将从基网络中学习的词嵌入向量和融合向量自然拼接，得到U_t′＝[U_b,U_s′]。

6.根据权利要求1所述的一种基于深度学习的多行为迁移推荐方法，其特征在于，所述步骤(4)包括以下步骤：

(41)利用多层感知机学习用户和物品之间的非线性关系，输入是用户和物品的词嵌入向量拼接得到的向量z₁＝[U_t′,V_t′]，隐藏层的输出是z₂＝f(W^Tz₁+b)，其中，f是激活函数，b是偏置值，输出层的输出是用户是否对物品感兴趣的预测概率

σ是一种激活函数；

(42)计算用户对物品的偏好损失函数：

其中，I表示用户u_i交互过物品v_j，

表示用户u_i没有交互过物品v_j，y_ij表示用户u_i是否交互过物品v_j的真实值，

表示预测值，取值范围是[0,1]，使用梯度下降算法使得损失函数最小化，即

和y_ij之间的差值收敛；

(43)使用命中率和归一化折扣累积增益作为性能评价指标，确定所有参数的最佳取值，其中命中率HR@K和归一化折扣累积增益NDCG@K的计算方式如下：

其中，K表示选择前K个物品进行推荐，|GT|表示所有测试样本的数量。

Images