CN105354277A - 一种基于递归神经网络的推荐方法及系统 - Google Patents

Abstract

本发明提供一种基于递归神经网络的推荐方法和系统，其采用递归神经网络模型对用户行为建模并用于推荐系统，通过结合BP算法原理和本发明的神经网络结构，构建针对推荐系统的递归神经网络模型学习方法，根据推荐系统的特点对递归神经网络进行训练，建立独有神经网络结构，从而根据新的神经网络结构为不同用户生成与其兴趣爱好相对应的推荐列表。所述推荐方法和系统通过采用递归神经网络从用户历史行为中学习用户偏好，并据此为用户提供推荐服务。通过递归神经网络特有的递归结构，能够基于时间序列对不同类型的用户行为进行统一表示；且递归神经网络在时间上展开后形成一个深度神经网络结构，能够更精确的表示具有较大随机性的用户行为。

Description

一种基于递归神经网络的推荐方法及系统

技术领域

本发明涉及系统推荐技术领域，具体涉及一种基于递归神经网络的推荐方法及系统。

背景技术

当前，网络服务商为用户提供了诸如新闻、商品、图片、视频、音频、文档等(以下统一简称为物品)的在线服务。为了更好的为用户提供服务，服务提供商会记录用户的历史行为，例如记录用户购买(使用)过哪些物品、对物品的评价、点击、转发、评论等。根据用户的历史行为，为用户提供准确的推荐，是推荐系统面临的重大挑战，其主要表现在：

第一，虽然用户历史行为对了解用户偏好，进而为用户推荐物品，提供了重要信息。但是多样的用户行为具有诸多不同的含义。例如，要根据评论的内容才能知道用户是否喜欢一个物品。此特点给有效利用多种用户行为带来了困难。

第二，就表达的用户偏好而言，用户行为表现出巨大的不确定性。例如，点击、转发等行为不能很明确的说明用户是否喜欢该物品。而用户给予较高评分的物品，多数情况下是用户比较喜欢的。

第三，用户行为发生的时间顺序反映了用户偏好的变化过程，也是推荐系统需要考虑的重要因素，需要加以合理利用。

因此，如何有效的利用记录的多种用户行为，为用户提供准确的推荐，是本领域人员急待解决的问题。

发明内容

有鉴于此，有必要提供一种能够有效的利用记录的多种用户行为从而为用户提供准确的推荐的推荐方法及系统。

一种基于递归神经网络的推荐方法，所述基于递归神经网络的推荐方法包括以下步骤：

S1、收集用户对物品的历史行为，并建立递归神经网络；

S2、按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

S3、根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

S4、根据训练后的递归神经网络为每一个用户生成推荐列表。

一种基于递归神经网络的推荐系统，所述基于递归神经网络的推荐系统包括以下功能模块：

用户行为收集模块，用于收集用户对物品的历史行为，并建立递归神经网络；

训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

权重矩阵确定模块，用于根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

推荐列表生成模块，用于根据训练后的递归神经网络为每一个用户生成推荐列表。

本发明提供基于递归神经网络的推荐方法和系统，其采用递归神经网络模型对用户行为建模并用于推荐系统，通过结合BP算法原理和本发明的神经网络结构，构建针对推荐系统的递归神经网络模型学习方法，根据推荐系统的特点对递归神经网络进行训练，建立独有神经网络结构，从而根据新的神经网络结构为不同用户生成与其兴趣爱好相对应的推荐列表。所述推荐方法和系统通过采用递归神经网络从用户历史行为中学习用户偏好，并据此为用户提供推荐服务。通过递归神经网络特有的递归结构，能够基于时间序列对不同类型的用户行为进行统一表示；且递归神经网络在时间上展开后形成一个深度神经网络结构，能够更精确的表示具有较大随机性的用户行为。

附图说明

图1是本发明所述基于递归神经网络的推荐方法的流程图；

图2是本发明所述基于递归神经网络的推荐方法的递归神经网络推荐模型；

图3是图1中步骤S3的子流程图；

图4为图1中步骤S33的子流程图；

图5是本发明所述基于递归神经网络的推荐系统的结构框图；

图6是图5中权重矩阵确定模块的子结构框图；

图7是图5中网络训练子模块的子结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供一种基于递归神经网络的推荐方法，所述基于递归神经网络的推荐方法包括以下步骤：

S1、收集用户对物品的历史行为，并建立递归神经网络；

S2、按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

S3、根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

S4、根据训练后的递归神经网络为每一个用户生成推荐列表。

其中，所述递归神经网络包括输入层、隐藏层以及输出层，所述输入层的输入包括用户信息U、用户t时刻的行为信息A(t)以及用户t时刻行为的目标物品信息I(t)，所述隐藏层的输出包括t时刻隐藏层的输出S(t)以及t-1时刻隐藏层的输出S(t-1)，所述输出层的输出包括t时刻输出层的输出O(t)。

具体的，在一个网络推荐系统中，设U为递归神经网络输入层的一个输入向量，用于表示用户信息，对于有m个用户的推荐系统，设第i个用户有m个元素，其中第i个元素为1，其它元素为0；

A(t)为输入层的一个输入向量，用于表示用户t时刻的行为，对于能够处理l种用户行为的推荐系统，第j种用户行为表示为一个有l个元素的向量，其中第j个元素为1，其它元素为0；

I(t)是输入层的一个输入向量，用于表示用户t时刻行为的目标物品，对于有n个物品的推荐系统，第k个物品表示为一个有n个元素的向量，其中第k个元素为1，其它元素为0；

S(t-1)是输入层的一个有h个元素输入向量，用于表示t-1时刻隐藏层的输出，h为隐藏层维数；优选的，隐藏层维数h取值为[50，200]中的整数。

S(t)是一个h×1的向量，表示t时刻隐藏层的输出。

进一步的，所述输入层的输入与隐藏层的输出之间存在下列函数关系：

S(t)＝f(VI(t)+WA(t)+XS(t-1)+TU)

其中，V,W,X,T分别表示输入层I(t)、A(t)、S(t-1)、U连接到隐藏层的权重矩阵；函数f是sigma函数，

所述隐藏层的输出S(t)与输出层的输出O(t)之间存在下列函数关系：

O(t)＝g(YS(t))

其中，Y是隐藏层连接到输出层的权重矩阵，g是softmax函数，

其中，如图3所示，步骤S3包括以下分步骤：

S31、随机生成权重矩阵T、V、W、X、Y、Z；

S32、检查收敛条件，即检查迭代次数是否达到上限；或目标函数的值是否不再减小；如果不满足收敛条件，则进入步骤S33；反之则确定了递归神经网络中的权重矩阵；

S33、根据每一个用户的训练样本对递归神经网络进行训练；

所述迭代次数上限为K≤100。

并采用交叉熵(Crossentropy)做为待优化的目标函数，即：

$E=\underset{t=1}{\overset{s}{\Σ}}\log \left(O_{t_i}\left(t\right)\right)$

其中，E为目标函数，t_i是第t时刻的训练样本中的物品编号，s是训练样本数量；

步骤S3中采用BP(backpropagation)算法学习图1中的递归神经网络，从而确定特征1-4中的权重矩阵T,V,W,X和特征1-5中的权重矩阵Y；如图4所示，具体步骤如下：

S331、计算输出层梯度

计算输出层的梯度EO(t)＝I(t)-O(t)；

S332、更新隐藏层到输出层的权重矩阵

更新权重矩阵Y：Y_ij(t+1)＝Y_ij(t)+αS_j(t)EO_i(t)-βY_ij(t)

其中，α是学习率，β是正规化参数。且优选的，学习率α的取值为0.001，正规化参数β的取值为1e^-6；

S333、计算隐藏层梯度

计算隐藏层的梯度ES(t)＝YEO(t)⊙(S(t)(1-S(t)))

S334、更新输入层到隐藏层的权重矩阵

更新权重矩阵T,V,W,X

T_ij(t+1)＝T_ij(t)+αU_jES_i(t)-βT_ij(t)

V_ij(t+1)＝V_ij(t)+αI_jES_i(t)-βV_ij(t)

W_ij(t+1)＝W_ij(t)+αA_jES_i(t)-βW_ij(t)

X_ij(t+1)＝X_ij(t)+αS_j(t-1)ES_i(t)-βX_ij(t)。

步骤S4、根据训练后的递归神经网络为每一个用户生成推荐列表。

具体的，对每一个用户U及其最后一个训练样本I(t_n),A(t_n)，以及对应的隐藏层S(t_n-1)，计算O(t_n)。取O(t_n)最大的前k个元素，其编号即为要推荐的物品编号。

基于上述基于递归神经网络的推荐方法，本发明还提供一种基于递归神经网络的推荐系统，如图5所示，所述基于递归神经网络的推荐系统包括以下功能模块：

用户行为收集模块，用于收集用户对物品的历史行为，并建立递归神经网络；

训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

权重矩阵确定模块，用于根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

推荐列表生成模块，用于根据训练后的递归神经网络为每一个用户生成推荐列表。

其中，如图6所示，权重矩阵确定模块包括以下子模块：

随机生成子模块，用于随机生成权重矩阵T、V、W、X、Y、Z；

收敛检查子模块，用于检查收敛条件，即检查迭代次数是否达到上限；或目标函数的值是否不再减小；

网络训练子模块，用于根据每一个用户的训练样本对递归神经网络进行训练；

其中，如图7所示，网络训练子模块包括以下功能单元：

输出层梯度计算单元，用于计算输出层的梯度EO(t)＝I(t)-O(t)；

一级权重矩阵更新单元，用于更新隐藏层到输出层的权重矩阵Y：Y_ij(t+1)＝Y_ij(t)+αS_j(t)EO_i(t)-βY_ij(t)

隐藏层梯度计算单元，用于计算隐藏层的梯度ES(t)＝YEO(t)⊙(S(t)(1-S(t)))

二级权重矩阵更新单元，用于更新输入层到隐藏层的权重矩阵T,V,W,X；

T_ij(t+1)＝T_ij(t)+αU_jES_i(t)-βT_ij(t)

V_ij(t+1)＝V_ij(t)+αI_jES_i(t)-βV_ij(t)

W_ij(t+1)＝W_ij(t)+αA_jES_i(t)-βW_ij(t)

X_ij(t+1)＝X_ij(t)+αS_j(t-1)ES_i(t)-βX_ij(t)。

具体如表1所示，将本发明所述基于递归神经网络的推荐方法和系统与现有技术在真实数据集MovieLen上进行验证，比较结果见表1。其中Test＝10表示每一个用户选最后10个评分做为测试数据，其它做为训练数据。Test＝20表示每一个用户选最后20个评分做为测试数据，其它做为训练数据。D＝5表示隐藏层维数为5。D＝10表示隐藏层维数为10。在不同实验参数配置下重复实验5次。表中列出了在不同实验参数配置下的F110和F120均值和标准差(括号中的数值)。可以看出，本方法在不同实验条件下都取得了最佳结果，而且比次优结果有至少20％的提升。

表1本发明与现有技术在MovieLen(1M)数据集上的比较结果

Table1ComparisonresultsonMovieLen(1M)dataset

本发明所述基于递归神经网络的推荐方法和系统，其采用递归神经网络模型对用户行为建模并用于推荐系统，通过结合BP算法原理和本发明的神经网络结构，构建针对推荐系统的递归神经网络模型学习方法，根据推荐系统的特点对递归神经网络进行训练，建立独有神经网络结构，从而根据新的神经网络结构为不同用户生成与其兴趣爱好相对应的推荐列表。

本发明采用递归神经网络从用户历史行为中学习用户偏好，并据此为用户提供推荐服务。通过递归神经网络特有的递归结构，能够基于时间序列对不同类型的用户行为进行统一表示；且递归神经网络在时间上展开后形成一个深度神经网络结构，能够更精确的表示具有较大随机性的用户行为。

以上装置实施例与方法实施例是一一对应的，装置实施例简略之处，参见方法实施例即可。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可檫除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于递归神经网络的推荐方法，其特征在于，所述基于递归神经网络的推荐方法包括以下步骤：

S1、收集用户对物品的历史行为，并建立递归神经网络；

S2、按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

S3、根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

S4、根据训练后的递归神经网络为每一个用户生成推荐列表。

2.根据权利要求1所述基于递归神经网络的推荐方法，其特征在于，

所述递归神经网络包括输入层、隐藏层以及输出层，其中，所述输入层的输入包括用户信息U、用户t时刻的行为信息A(t)以及用户t时刻行为的目标物品信息I(t)，所述隐藏层的输出包括t时刻隐藏层的输出S(t)以及t-1时刻隐藏层的输出S(t-1)，所述输出层的输出包括t时刻输出层的输出O(t)。

3.根据权利要求2所述基于递归神经网络的推荐方法，其特征在于，

所述输入层的输入与隐藏层的输出S(t)之间存在下列函数关系：

S(t)＝f(VI(t)+WA(t)+XS(t-1)+TU)

其中，V,W,X,T分别表示输入层I(t)、A(t)、S(t-1)、U连接到隐藏层的权重矩阵；函数f是sigma函数，

4.根据权利要求3所述基于递归神经网络的推荐方法，其特征在于，

所述隐藏层的输出S(t)与输出层的输出O(t)之间存在下列函数关系：

O(t)＝g(YS(t))

其中，Y是隐藏层连接到输出层的权重矩阵，g是softmax函数，

5.根据权利要求4所述基于递归神经网络的推荐方法，其特征在于，所述步骤S3包括以下分步骤：

S31、随机生成权重矩阵T、V、W、X、Y、Z；

S32、检查收敛条件，即检查迭代次数是否达到上限；或目标函数的值是否不再减小；如果不满足收敛条件，则进入步骤S33；反之则确定了递归神经网络中的权重矩阵；

S33、根据每一个用户的训练样本对递归神经网络进行训练。

6.根据权利要求5所述基于递归神经网络的推荐方法，其特征在于，

所述目标函数为迭代次数上限为K≤100。

7.根据权利要求6所述基于递归神经网络的推荐方法，其特征在于，所述步骤S33包括以下分步骤：

S331、计算输出层梯度；

计算输出层的梯度EO(t)＝I(t)-O(t)；

S332、更新隐藏层到输出层的权重矩阵；

更新权重矩阵Y：Y_ij(t+1)＝Y_ij(t)+αS_j(t)EO_i(t)-βY_ij(t)；

S333、计算隐藏层梯度；

计算隐藏层的梯度ES(t)＝YEO(t)⊙(S(t)(1-S(t)))；

S334、更新输入层到隐藏层的权重矩阵；

更新权重矩阵T,V,W,X

T_ij(t+1)＝T_ij(t)+αU_jES_i(t)-βT_ij(t)

V_ij(t+1)＝V_ij(t)+αI_jES_i(t)-βV_ij(t)

W_ij(t+1)＝W_ij(t)+αA_jES_i(t)-βW_ij(t)

X_ij(t+1)＝X_ij(t)+αS_j(t-1)ES_i(t)-βX_ij(t)。

8.一种基于递归神经网络的推荐系统，其特征在于，所述基于递归神经网络的推荐系统包括以下功能模块：

用户行为收集模块，用于收集用户对物品的历史行为，并建立递归神经网络；

训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；

权重矩阵确定模块，用于根据训练样本对递归神经网络进行训练，确定递归神经网络中的权重矩阵；

推荐列表生成模块，用于根据训练后的递归神经网络为每一个用户生成推荐列表。

9.根据权利要求8所述基于递归神经网络的推荐系统，其特征在于，所述权重矩阵确定模块包括以下功能子模块：

随机生成子模块，用于随机生成权重矩阵T、V、W、X、Y、Z；

收敛检查子模块，用于检查收敛条件，即检查迭代次数是否达到上限；或目标函数的值是否不再减小；

网络训练子模块，用于根据每一个用户的训练样本对递归神经网络进行训练。

10.根据权利要求9所述基于递归神经网络的推荐系统，其特征在于，所述网络训练子模块包括以下功能单元：

输出层梯度计算单元，用于计算输出层的梯度EO(t)＝I(t)-O(t)；

一级权重矩阵更新单元，用于更新隐藏层到输出层的权重矩阵Y：Y_ij(t+1)＝Y_ij(t)+αS_j(t)EO_i(t)-βY_ij(t)；

隐藏层梯度计算单元，用于计算隐藏层的梯度ES(t)＝YEO(t)⊙(S(t)(1-S(t)))；

二级权重矩阵更新单元，用于更新输入层到隐藏层的权重矩阵T,V,W,X；

T_ij(t+1)＝T_ij(t)+αU_jES_i(t)-βT_ij(t)

V_ij(t+1)＝V_ij(t)+αI_jES_i(t)-βV_ij(t)

W_ij(t+1)＝W_ij(t)+αA_jES_i(t)-βW_ij(t)

X_ij(t+1)＝X_ij(t)+αS_j(t-1)ES_i(t)-βX_ij(t)。