CN107909421A - 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统 - Google Patents

一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统 Download PDF

Info

Publication number
CN107909421A
CN107909421A CN201710910007.0A CN201710910007A CN107909421A CN 107909421 A CN107909421 A CN 107909421A CN 201710910007 A CN201710910007 A CN 201710910007A CN 107909421 A CN107909421 A CN 107909421A
Authority
CN
China
Prior art keywords
gru
user
article
space
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710910007.0A
Other languages
English (en)
Inventor
刘俊涛
张毅
王元斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN201710910007.0A priority Critical patent/CN107909421A/zh
Publication of CN107909421A publication Critical patent/CN107909421A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于用户空间的多GRU层神经网络的隐含反馈推荐方法及系统，所述方法是：通过将物品映射到用户空间，为用户选择其关注的物品特征，结合BP或BPTT算法和多层GRU神经网络特有的递归结构进行多尺度时间序列分析，并根据用户访问的物品序列预测用户感兴趣的物品，为用户提供推荐服务；所述系统包括用户访问物品的历史行为收集模块、物品映射用户空间模块，多GRU层神经网络训练模块以及推荐列表生成模块，基于此系统能够更精确的表示具有较大随机性的用户行为，并得到更准确的推荐结果。

Description

一种基于用户空间的多GRU层神经网络的隐含反馈推荐方法 及系统
技术领域
本发明涉及系统推荐技术领域，具体涉及一种基于用户空间的多GRU层神经网络的隐含反馈推荐方法及系统。
背景技术
当前，网络服务商为用户提供了诸如新闻、商品、图片、视频、音频、文档等(以下统一简称为物品)的在线推荐服务，为了更好的为用户提供服务，服务提供商会记录用户访问过的所有物品，这种历史访问记录仅能说明用户对访问过的物品有一定的兴趣，并不能说明用户对未访问的物品不感兴趣，这是由于相对于用户所了解的物品数量，服务商提供的物品数量非常巨大，用户未访问某个物品可能是因为用户并不了解该物品，而不是不喜欢该物品，这种含义模糊的用户反馈给推荐带来了困难，该问题被称为隐含反馈推荐问题，是目前推荐系统中普遍存在而并不能很好解决的问题。
发明内容
有鉴于此，需要提供一种利用用户历史访问记录为用户提供准确推荐的方法及系统，此种推荐场景是基于隐含反馈的推荐，为了解决隐含反馈推荐问题，本发明提供一种基于用户空间的多GRU层神经网络的隐含反馈推荐方法及系统。
所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，所述方法的步骤如下：1)收集用户访问物品的历史行为信息，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；2)将物品映射到用户空间；3)根据训练样本，对多GRU(Gated Recurrent Unit)神经网络结构进行训练；
4)根据训练后的神经网络结构为用户生成推荐列表。
在上述技术方案中，所述步骤1)，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合，包括用户、物品以及访问时间。
在上述技术方案中，所述步骤2)包括以下分步骤：
2a)每个物品用向量v表示，初始时为随机生成；
2b)每个用户有一个代表其偏好的矩阵u，初始时为随机生成；
2c)在进入神经网络之前，做变换vu＝u×v，其含义是将物品的向量v经过由用户偏好矩阵u表示的线性变换，变换到用户空间，该空间和特定用户的偏好相关。
在上述技术方案中，所述步骤3)包括以下分步骤:
3a)多GRU层神经网络是一个含有多个GRU层的递归神经网络，其t时刻的输入层为vu(t)，输出层为o(t),s(t)为t时刻隐藏层的输出，s(t-1)为t-1时刻隐藏层的输出；
3b)根据多GRU层神经网络，计算出该神经网络的隐藏层、输出层、重置门、更新门、替代隐藏层以及利用训练样本进行训练得到权重矩阵；
3c)检查收敛条件，迭代次数达到上限或者目标函数的值不再减小，目标函数为其中||·||F是F范数，θ代表所有的多GRU层神经网络中的连接权重矩阵，β是正规化参数，β的取值为1e-6，迭代次数上限K≤100，满足此条件时结束，否则进行步骤3d)；
3d)对步骤3c)中排序后的每一个训练样本，按照BP或BPTT算法，更新权重矩阵，其中用于BP或BPTT算法的学习率α的取值为0.001。
在上述技术方案中，所述步骤3b)多GRU层神经网络结构计算方法如下：
3b1)所述多GRU层神经网络中，GRU0、GRU1、…、GRUL分别表示第0、1、…、L个GRU层，第t时刻，GRU0、GRU1、…、GRUL的输出分别表示为s0(t)、s1(t)、…、sL(t)；
3b2)所述输出层o(t)的第k个元素表示t+1时刻用户喜欢第k个物品的概率，其o(t)计算方法为：o(t)＝g(YsL(t))，其中Y是第L个GRU层GRUL连接到输出层的权重矩阵，g是softmax函数，
3b3)所述多GRU层神经网络的第0个GRU层GRU0的结构中，r0表示GRU0中的重置门，其计算方法为：
其中，分别表示输入层vu(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数,σ(x)＝1/(1+e-x)；
z0表示GRU0中的更新门,z0的计算方法为：
其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
g0表示GRU0中替代隐藏层,计算方法为：
其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵，表示按对应元素相乘；
s0(t)表示t时刻GRU0的输出，其计算方法为：
3b4)多层GRU神经网络的第l(l＝1,2,...,L)个GRU层GRUl的结构中，rl表示GRUl中的重置门，rl的计算方法为：
其中Yl r分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
zl表示GRUl中的更新门，zl的计算方法为：
其中Yl z分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
gl表示GRUl中的替代隐藏层，gl的计算方法：
其中，Yl g分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
sl(t)表示t时刻GRUl的输出，其计算方法为：
在上述技术方案中，所述步骤4)对每一个用户u及其最后一个训练样本v(tn)，以及对应的隐藏层sl(tn-1),(l＝0,1,...,L)，计算o(tn)，取其中最大的前k个元素，其编号即为要推荐的物品编号，其中n表示为用户u的训练样本数量。
本发明还提供一种基于用户空间的多GRU层神经网络的隐含反馈推荐系统，所述系统包括以下模块：
用户访问物品历史行为信息收集模块，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；
物品映射用户空间模块，将物品向量变换到用户空间；
多GRU层神经网络训练模块，根据训练样本，对多GRU神经网络结构进行训练；
推荐列表生成模块，根据训练后的神经网络结构为用户生成推荐列表。
在上述技术方案中，所述用户访问物品历史行为信息收集模块中，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合，包括用户、物品以及访问时间。
在上述技术方案中，所述物品映射用户空间模块中，通过为每个用户设定的用户偏好矩阵u和每个物品设定的特征向量v，做变换vu＝u×v，其含义是将物品的向量v经过由用户偏好矩阵u表示的线性变换，变换到用户空间，该空间和特定用户的偏好相关。
在上述技术方案中，所述多GRU层神经网络训练模块，结合BP或BPTT算法构建多层GRU神经网络模型学习方法，得到多GRU层神经网络的参数。
本发明基于用户空间的多GRU层神经网络的隐含反馈推荐方法及系统，其优势在于，增加了用户空间变换部件，该部件将物品映射到用户空间，能够更好的反映用户的偏好，能够得到更准确的推荐结果。
附图说明
图1本发明基于用户空间的多GRU层神经网络的隐含反馈推荐方法流程图
图2本发明基于用户空间的多GRU层神经网络的隐含反馈推荐系统模块图
图3本发明基于用户空间的多GRU层神经网络推荐结构示意图
图4本发明基于用户空间的多GRU层神经网络推荐系统中的多GRU层神经网络结构示意图
图5本发明基于用户空间的多GRU层神经网络中第0层GRU结构
图6本发明基于用户空间的多GRU层神经网络中第l层GRU的结构(l＝1,2,…,L)
图7本发明基于用户空间的多GRU层神经网络参数学习流程图
具体实施方式
下面结合附图对本发明作进一步详细描述
如图1所示基于用户空间的多GRU层神经网络的隐含反馈推荐方法，包括如下步骤：
1)收集用户访问的物品历史行为信息，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；
其中，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合(u,i,t)，其中是u用户编号，i是用户访问的物品编号，t是行为发生的时间。
2)将物品映射到用户空间；
其中，每个物品用向量v表示，初始时为随机生成，每个用户有代表其偏好的矩阵u，初始时为随机生成；
具体的，在有个m用户的推荐系统中，每个用户表示为一个d×d矩阵，d的取值为100；v(t)表示t时刻用户访问的物品向量，在有n个物品的推荐系统中，每个物品均表示为一个d×1的向量；v(t)表示t时刻用户访问的物品变换到用户空间后的特征向量，其计算方法为：vu(t)＝uv(t)
3)根据训练样本，对多GRU神经网络结构进行训练；
如图3所示，多GRU神经网络是一个含有多个GRU层的递归神经网络，其t时刻的输入层为vu(t)，输出层为o(t)；
具体的，多GRU层神经网络的结构如图4所示，其中GRU0、GRU1、…、GRUL分别表示第0、1、…、L个GRU层，第t时刻，GRU0、GRU1、…、GRUL的输出分别表示为s0(t)、s1(t)、…、sL(t)；s(t)是一个hi×1的向量(i＝0,1,...,L)，表示t-1时刻隐藏层的输出，hi称为隐藏层i的维数；隐藏层维数hi取值为[100，200]中的整数；
o(t)是一个n×1的向量，表示t时刻多GRU层神经网络的输出，o(t)的第k个元素表示t+1时刻用户喜欢第k个物品的概率，o(t)计算方法为：o(t)＝g(YsL(t))，其中Y是第L个GRU层GRUL连接到输出层的权重矩阵，g是softmax函数，
多GRU层神经网络的第0个GRU层GRU0的结构如图5所示；
具体的，r0表示GRU0中的重置门，r0是一个h0×1的向量，t时刻r0的计算方法为：其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数,σ(x)＝1/(1+e-x)；
z0表示GRU0中的更新门，z0是一个h0×1的向量，t时刻z0的计算方法为：其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
g0表示GRU0中的替代隐藏层，g0是一个h0×1的向量，t时刻g0的计算方法为：其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵，表示按对应元素相乘；
s0(t)表示t时刻GRU0的输出，s0(t)是一个h0×1的向量，其计算方法为：
多层GRU神经网络的第l(l＝1,2,...,L)个GRU层GRUl的结构如图6所示；
rl表示GRUl中的重置门，rl是一个hl×1的向量，t时刻rl的计算方法为：其中Yl r分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
zl表示GRUl中的更新门，zl是一个hl×1的向量，t时刻zl的计算方法为：其中Yl z分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
gl表示GRUl中的替代隐藏层，gl是一个hl×1的向量，t时刻gl的计算方法为其中Yl g分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
sl(t)表示t时刻GRUl的输出，sl(t)是一个hl×1的向量，其计算方法为：
采用交叉熵(Cross entropy)做为待优化的目标函数，即：其中||·||F是F范数，θ代表所有的多GRU层神经网络中的连接权重矩阵，β是正规化参数，β的取值为1e-6，ti是第t时刻的训练样本中的物品编号。
检查收敛条件，迭代次数达到上限或者目标函数的值不再减小，其中目标函数为迭代次数上限K≤100，满足此条件时结束，否则按照BP(back prop agation,反向传播算法)算法或者BPTT(back propagatio nthrough time)算法学习图3中的多层GRU神经网络推荐模型，更新权重矩阵 Y以及每一个用户矩阵和物品向量，其中用于BP或BPTT算法的学习率α的取值为0.001。
4)根据训练后的神经网络结构为用户生成推荐列表。
其中，对每一个用户u及其最后一个训练样本v(tn)，以及对应的隐藏层sl(tn-1),(l＝0,1,...,L)，计算o(tn)，取其中最大的前k个元素，其编号即为要推荐的物品编号，其中n表示为用户u的训练样本数量。
本发明还提供一种基于用户空间的多GRU层神经网络的隐含反馈推荐系统，如图2所示所述系统包括以下模块：
用户访问物品历史行为信息收集模块，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；
物品映射用户空间模块，将物品向量变换到用户空间；
多GRU层神经网络训练模块，根据训练样本，对多GRU神经网络结构进行训练；
推荐列表生成模块，根据训练后的神经网络结构为用户生成推荐列表。
在上述技术方案中，所述用户访问物品历史行为信息收集模块中，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合，包括用户、物品以及访问时间。
在上述技术方案中，所述物品映射用户空间模块中，通过为每个用户设定的用户偏好矩阵u和每个物品设定的特征向量v，做变换vu＝u×v，其含义是将物品的向量v经过由用户偏好矩阵u表示的线性变换，变换到用户空间，该空间和特定用户的偏好相关。
在上述技术方案中，所述多GRU层神经网络训练模块，结合BP或BPTT算法构建多层GRU神经网络模型学习方法，得到多GRU层神经网络的参数。
以上系统实施例与方法实施例是一一对应的，系统实施例简略之处，参见方法实施例即可。
说明书中未阐述的部分均为现有技术或公知常识。本实施方式仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (10)

1.一种基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述方法包括如下步骤：
1)收集用户访问物品的历史行为信息，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；
2)将物品映射到用户空间；
3)根据训练样本，对多GRU神经网络结构进行训练；
4)根据训练后的神经网络结构为用户生成推荐列表。
2.根据权利要求1所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述步骤1)中，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合，包括用户、物品以及访问时间。
3.根据权利要求1所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述步骤2)包括以下分步骤：
2a)每个物品用向量v表示，初始时为随机生成；
2b)每个用户有一个代表其偏好的矩阵u，初始时为随机生成；
2c)在进入神经网络之前，做变换vu＝u×v，其含义是将物品的向量v经过由用户偏好矩阵u表示的线性变换，变换到用户空间，该空间和特定用户的偏好相关。
4.根据权利要求1所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述步骤3)包括以下分步骤:
3a)多GRU层神经网络是一个含有多个GRU层的递归神经网络，其t时刻的输入层为vu(t)，输出层为o(t),s(t)为t时刻隐藏层的输出，s(t-1)为t-1时刻隐藏层的输出；
3b)根据多GRU层神经网络，计算出该神经网络的隐藏层、输出层、重置门、更新门、替代隐藏层以及利用训练样本进行训练得到权重矩阵；
3c)检查收敛条件，迭代次数达到上限或者目标函数的值不再减小，目标函数为其中||·||F是F范数，θ代表所有的多GRU层神经网络中的连接权重矩阵，β是正规化参数，β的取值为1e-6，迭代次数上限K≤100，满足此条件时结束，否则进行步骤3d)；
3d)对步骤3c)中排序后的每一个训练样本，按照BP或BPTT算法，更新权重矩阵，其中用于BP或BPTT算法的学习率α的取值为0.001。
5.根据权利要求4所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述步骤3b)中多GRU层神经网络结构计算方法如下步骤：
3b1)所述多GRU层神经网络中，GRU0、GRU1、…、GRUL分别表示第0、1、…、L个GRU层，第t时刻，GRU0、GRU1、…、GRUL的输出分别表示为s0(t)、s1(t)、…、sL(t)；
3b2)所述输出层o(t)的第k个元素表示t+1时刻用户喜欢第k个物品的概率，其o(t)计算方法为：o(t)＝g(YsL(t))，其中Y是第L个GRU层GRUL连接到输出层的权重矩阵，g是softmax函数，
3b3)所述多GRU层神经网络的第0个GRU层GRU0的结构中，r0表示GRU0中的重置门，其计算方法为：
其中，分别表示输入层vu(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数,σ(x)＝1/(1+e-x)；
z0表示GRU0中的更新门,z0的计算方法为：
其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
g0表示GRU0中替代隐藏层,计算方法为：
其中分别表示输入层vu(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵，表示按对应元素相乘；
s0(t)表示t时刻GRU0的输出，其计算方法为：
<mrow> <msub> <mi>s</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msub> <mi>g</mi> <mn>0</mn> </msub> <mo>+</mo> <msub> <mi>z</mi> <mn>0</mn> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>s</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
3b4)多层GRU神经网络的第l(l＝1,2,...,L)个GRU层GRUl的结构中，rl表示GRUl中的重置门，rl的计算方法为：
其中Yl r分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
zl表示GRUl中的更新门，zl的计算方法为：
其中Yl z分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
gl表示GRUl中的替代隐藏层，gl的计算方法：
其中，Yl g分别表示vu(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
sl(t)表示t时刻GRUl的输出，其计算方法为：
<mrow> <msub> <mi>s</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>z</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <msub> <mi>g</mi> <mi>l</mi> </msub> <mo>+</mo> <msub> <mi>z</mi> <mi>l</mi> </msub> <mo>&amp;CircleTimes;</mo> <msub> <mi>s</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>t</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
6.根据权利要求1所述基于用户空间的多GRU层神经网络的隐含反馈推荐方法，其特征在于：所述步骤4)中对每一个用户u及其最后一个训练样本v(tn)，以及对应的隐藏层sl(tn-1),(l＝0,1,...,L)，计算o(tn)，取其中最大的前k个元素，其编号即为要推荐的物品编号。
7.一种基于用户空间的多GRU层神经网络的隐含反馈推荐系统，其特征在于：包括以下模块：
用户访问物品历史行为信息收集模块，根据每一位用户访问物品的记录，按照行为发生时间的先后排序，为每一位用户生成训练样本；
物品映射用户空间模块，将物品向量变换到用户空间；
多GRU层神经网络训练模块，根据训练样本，对多GRU神经网络结构进行训练；
推荐列表生成模块，根据训练后的神经网络结构为用户生成推荐列表。
8.根据权利要求7所述基于用户空间的多GRU层神经网络的隐含反馈推荐系统，其特征在于：所述用户访问物品历史行为信息收集模块中，网络服务供应商记录了用户访问过的物品信息，该记录为一个三元组集合，包括用户、物品以及访问时间。
9.根据权利要求7所述基于用户空间的多GRU层神经网络的隐含反馈推荐系统，其特征在于：所述物品映射用户空间模块中，通过为每个用户设定的用户偏好矩阵u和每个物品设定的特征向量v，做变换vu＝u×v，其含义是将物品的向量v经过由用户偏好矩阵u表示的线性变换，变换到用户空间，该空间和特定用户的偏好相关。
10.根据权利要求7所述基于用户空间的多GRU层神经网络的隐含反馈推荐系统，其特征在于：所述多GRU层神经网络训练模块中，结合BP或BPTT算法构建多层GRU神经网络模型学习方法，得到多GRU层神经网络的参数。
CN201710910007.0A 2017-09-29 2017-09-29 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统 Pending CN107909421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710910007.0A CN107909421A (zh) 2017-09-29 2017-09-29 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710910007.0A CN107909421A (zh) 2017-09-29 2017-09-29 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统

Publications (1)

Publication Number Publication Date
CN107909421A true CN107909421A (zh) 2018-04-13

Family

ID=61841235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710910007.0A Pending CN107909421A (zh) 2017-09-29 2017-09-29 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统

Country Status (1)

Country Link
CN (1) CN107909421A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108629144A (zh) * 2018-06-11 2018-10-09 湖北交投智能检测股份有限公司 一种桥梁健康评估方法
CN108647251A (zh) * 2018-04-20 2018-10-12 昆明理工大学 基于宽深度门循环联合模型的推荐排序方法
CN108776914A (zh) * 2018-05-22 2018-11-09 广州品唯软件有限公司 一种基于神经网络的用户个性化商品浏览方法及装置
CN109325110A (zh) * 2018-08-24 2019-02-12 广东外语外贸大学 印尼语文档摘要生成方法、装置、存储介质及终端设备
CN109508419A (zh) * 2018-11-23 2019-03-22 成都品果科技有限公司 一种基于知识学习的推荐方法和系统
CN110097422A (zh) * 2019-04-23 2019-08-06 马征峰 一种基于社交电商的珠宝玉石定制商业模式
CN110796504A (zh) * 2018-08-03 2020-02-14 京东数字科技控股有限公司 物品推荐方法和装置
CN111899061A (zh) * 2020-03-10 2020-11-06 北京畅行信息技术有限公司 订单推荐方法、装置、设备及存储介质
CN112905648A (zh) * 2021-02-04 2021-06-04 北京邮电大学 一种基于多任务学习的多目标推荐方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254028A (zh) * 2011-07-22 2011-11-23 青岛理工大学 一种集成属性和结构相似性的个性化商品推荐方法和系统
CN102750360A (zh) * 2012-06-12 2012-10-24 清华大学 一种用于推荐系统的计算机数据挖掘方法
CN106327240A (zh) * 2016-08-11 2017-01-11 中国船舶重工集团公司第七0九研究所 一种基于gru神经网络的推荐方法和系统
CN106779867A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 基于上下文感知的支持向量回归推荐方法及系统
CN106897404A (zh) * 2017-02-14 2017-06-27 中国船舶重工集团公司第七0九研究所 一种基于多gru层神经网络的推荐方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254028A (zh) * 2011-07-22 2011-11-23 青岛理工大学 一种集成属性和结构相似性的个性化商品推荐方法和系统
CN102750360A (zh) * 2012-06-12 2012-10-24 清华大学 一种用于推荐系统的计算机数据挖掘方法
CN106327240A (zh) * 2016-08-11 2017-01-11 中国船舶重工集团公司第七0九研究所 一种基于gru神经网络的推荐方法和系统
CN106779867A (zh) * 2016-12-30 2017-05-31 中国民航信息网络股份有限公司 基于上下文感知的支持向量回归推荐方法及系统
CN106897404A (zh) * 2017-02-14 2017-06-27 中国船舶重工集团公司第七0九研究所 一种基于多gru层神经网络的推荐方法与系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647251B (zh) * 2018-04-20 2021-06-18 昆明理工大学 基于宽深度门循环联合模型的推荐排序方法
CN108647251A (zh) * 2018-04-20 2018-10-12 昆明理工大学 基于宽深度门循环联合模型的推荐排序方法
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108776914A (zh) * 2018-05-22 2018-11-09 广州品唯软件有限公司 一种基于神经网络的用户个性化商品浏览方法及装置
CN108629144A (zh) * 2018-06-11 2018-10-09 湖北交投智能检测股份有限公司 一种桥梁健康评估方法
CN108629144B (zh) * 2018-06-11 2022-06-17 湖北交投智能检测股份有限公司 一种桥梁健康评估方法
CN110796504B (zh) * 2018-08-03 2023-11-03 京东科技控股股份有限公司 物品推荐方法和装置
CN110796504A (zh) * 2018-08-03 2020-02-14 京东数字科技控股有限公司 物品推荐方法和装置
CN109325110A (zh) * 2018-08-24 2019-02-12 广东外语外贸大学 印尼语文档摘要生成方法、装置、存储介质及终端设备
CN109508419A (zh) * 2018-11-23 2019-03-22 成都品果科技有限公司 一种基于知识学习的推荐方法和系统
CN110097422B (zh) * 2019-04-23 2022-08-16 马征峰 一种基于社交电商的珠宝玉石定制方法
CN110097422A (zh) * 2019-04-23 2019-08-06 马征峰 一种基于社交电商的珠宝玉石定制商业模式
CN111899061A (zh) * 2020-03-10 2020-11-06 北京畅行信息技术有限公司 订单推荐方法、装置、设备及存储介质
CN111899061B (zh) * 2020-03-10 2024-04-16 北京畅行信息技术有限公司 订单推荐方法、装置、设备及存储介质
CN112905648A (zh) * 2021-02-04 2021-06-04 北京邮电大学 一种基于多任务学习的多目标推荐方法及系统
CN112905648B (zh) * 2021-02-04 2022-09-20 北京邮电大学 一种基于多任务学习的多目标推荐方法及系统

Similar Documents

Publication Publication Date Title
CN107909421A (zh) 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统
CN111310063B (zh) 基于神经网络的记忆感知门控因子分解机物品推荐方法
CN109785062B (zh) 一种基于协同过滤模型的混合神经网络推荐系统
CN109657156A (zh) 一种基于循环生成对抗网络的个性化推荐方法
Wu et al. User-as-Graph: User Modeling with Heterogeneous Graph Pooling for News Recommendation.
CN106327240A (zh) 一种基于gru神经网络的推荐方法和系统
CN106104406B (zh) 神经网络及神经网络训练的方法
CN111932336A (zh) 一种基于长短期兴趣偏好的商品列表推荐方法
CN106897404A (zh) 一种基于多gru层神经网络的推荐方法与系统
CN108829763A (zh) 一种基于深度神经网络的影评网站用户的属性预测方法
CN107766447A (zh) 一种使用多层注意力网络机制解决视频问答的方法
CN107766794A (zh) 一种特征融合系数可学习的图像语义分割方法
CN107392049A (zh) 一种基于差分隐私保护的推荐方法
CN111859166A (zh) 一种基于改进的图卷积神经网络的物品评分预测方法
CN114493755B (zh) 一种融合时序信息的自注意力序列推荐方法
CN106600356A (zh) 多平台电子商务信息聚合方法及系统
CN108492290A (zh) 图像评价方法及系统
Navgaran et al. Evolutionary based matrix factorization method for collaborative filtering systems
CN107273974A (zh) 一种安全应急处置评价体系构建方法及系统
CN109034228A (zh) 一种基于差分隐私和层级相关性传播的图像分类方法
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN110502701B (zh) 引入注意力机制的好友推荐方法、系统和存储介质
CN106934553A (zh) 一种农户信用评估方法及装置
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
CN112612948B (zh) 一种基于深度强化学习的推荐系统构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication