CN106897404B - 一种基于多gru层神经网络的推荐方法与系统 - Google Patents

一种基于多gru层神经网络的推荐方法与系统 Download PDF

Info

Publication number
CN106897404B
CN106897404B CN201710078094.8A CN201710078094A CN106897404B CN 106897404 B CN106897404 B CN 106897404B CN 201710078094 A CN201710078094 A CN 201710078094A CN 106897404 B CN106897404 B CN 106897404B
Authority
CN
China
Prior art keywords
gru
layer
time
neural network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710078094.8A
Other languages
English (en)
Other versions
CN106897404A (zh
Inventor
刘俊涛
李伦
黄志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN201710078094.8A priority Critical patent/CN106897404B/zh
Publication of CN106897404A publication Critical patent/CN106897404A/zh
Application granted granted Critical
Publication of CN106897404B publication Critical patent/CN106897404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多GRU层神经网络的推荐方法和系统，其采用多GRU层神经网络模型对用户行为建模并用于推荐系统，通过结合BP算法或BPTT算法和本发明的神经网络结构，构建针对推荐系统的多GRU层神经网络模型学习方法，根据推荐系统的特点对多GRU层神经网络进行训练，建立独有神经网络结构，从而根据新的神经网络结构为不同用户生成与其兴趣爱好相对应的推荐列表。所述推荐方法和系统通过采用多GRU层神经网络从用户历史行为中学习用户偏好，并据此为用户提供推荐服务。通过多GRU层神经网络特有的递归结构，能够基于时间序列对不同类型的用户行为进行统一表示；且多GRU层神经网络能够进行多尺度时间序列分析，能够更精确的表示具有较大随机性的用户行为。

Description

一种基于多GRU层神经网络的推荐方法与系统
技术领域
本发明属于系统推荐技术领域，具体包括一种基于多GRU层神经网络的推荐方法和系统。
背景技术
当前，网络服务商为用户提供了诸如新闻、商品、图片、视频、音频、文档等(以下统一简称为物品)的在线推荐服务。为了更好的为用户提供服务，服务提供商会记录用户的历史行为，形成用户历史行为数据集，用于学习用户偏好，并据此为用户提供推荐服务，用户历史行为数据集有以下几个特点：
第一，用户历史行为数据集中记录了用户的多种行为，例如用户使用过哪些物品、对物品的评价、点击、转发、评论等；
第二，用户历史行为数据集记录了用户行为发生的时间，通常具有较长的时间跨度；
第三，用户历史行为数据集中包含了相当数量的噪声。
针对上述特点，如何有效利用用户历史行为数据集，为用户提供准确的推荐，是推荐系统面临的重大挑战，主要表现在：
第一，多种多样的用户行为具有诸多不同的含义。如何合理利用这些信息是推荐系统面临的重要问题。
第二，用户行为发生的时间顺序反映了用户偏好的变化过程，需要学习用户偏好随时间的变化规律，并加以合理利用。
第三，对噪声数据的处理和利用。
因此，如何有效从多种用户历史行为中学习用户偏好，并据此为用户提供推荐服务是本领域人员亟待解决的问题。
发明内容
针对现有技术的不足，本发明提供了一种包含多个GRU(Gated recurrent units)层的神经网络(neural network)，用于从多种用户历史行为中学习用户偏好，并据此为用户提供推荐服务。
一种基于多GRU层神经网络的推荐方法，包括以下步骤：
S1，收集用户对物品的历史行为，每条记录为一个四元组(u,i,a,t)，其中u是用户编号，a是行为的类别，i是行为针对的物品的编号，t是行为发生的时间；建立包括输入层、中间层和输出层的GRU神经网络；所述中间层由多个GRU层构成；
S2，按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
S3，根据训练样本对GRU神经网络进行训练，确定GRU神经网络中的权重矩阵；
S4，根据训练后的GRU神经网络为每一个用户生成推荐列表。
一种基于多GRU层神经网络的推荐系统，包括以下功能模块：
用户行为收集模块，用于手机用户对物品的历史行为，并建立包括输入层、中间层和输出层的GRU神经网络；所述中间层由多个GRU层构成；
训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
权重矩阵确定模块，用于根据训练样本对多GRU层神经网络进行训练，确定GRU神经网络中的权重矩阵；
推荐列表生成模块，用于根据训练后的多GRU层神经网络的输出为每个用户生成推荐列表。
与现有技术相比，本发明具有以下优点：
本发明提供的具有多个GRU层的神经网络结构能够方便的对不同类型的用户行为进行统一表示。同时，GRU神经网络特有的递归结构，特别适用于对时间序列编码。因此，能够反映用户偏好随时间变化的情况。此外，GRU神经网络能够自动进行多尺度时间序列分析，使得GRU神经网络能够自适应的在合适的时间尺度上分析用户的历史行为，更为合理的表示具有较大随机性的用户偏好。此外，多GRU层神经网络属于一种深度学习(DeepLearning)模型，此类模型具有较强的特征选择能力，因而能够应对历史行为中存在噪声的问题。
附图说明
图1是一种基于多GRU层神经网络的推荐方法流程图
图2是多GRU层神经网络推荐模型
图3是第0层GRU的结构
图4是第l层GRU的结构
图5是多GRU层神经网络参数学习流程图
图6是一种基于多GRU层神经网络的推荐结构框图
具体实施方式
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
如图1所示，本发明实施例提供一种基于多GRU层神经网络的推荐方法，包括以下步骤：
S1，收集用户对物品的历史行为，每条记录为一个四元组(u,i,a,t)，其中u是用户编号，a是行为的类别，i是行为针对的物品的编号，t是行为发生的时间；建立包括输入层、中间层和输出层的GRU神经网络，如图2所示；所述中间层由多个GRU层构成；
S2，按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
S3，根据训练样本对GRU神经网络进行训练，确定GRU神经网络中的权重矩阵；
S4，根据训练后的GRU神经网络为每一个用户生成推荐列表。
其中输入层的输入包括：
用户信息u(t)：表示t时刻的用户向量，对于有m个用户的推荐系统，第i个用户表示为一个m×1的向量，其中第i个元素为1，其它元素为0；
t时刻用户行为信息a(t)：表示t时刻用户的行为，对于能够处理l种用户行为的推荐系统，第j种用户行为表示为一个l×1的向量，其中第j个元素为1，其它元素为0；
t时刻用户行为的目标物品信息v(t)，表示t时刻用户行为的目标物品，对于有n个物品的推荐系统，第k个物品表示为一个n×1的向量，其中第k个元素为1，其它元素为0；
所述输出层的输出包括t时刻输出层的输出o(t)，o(t)是一个n×1的向量，表示t时刻多GRU层神经网络的输出，o(t)的第k个元素表示用户喜欢第k个物品的概率，o(t)计算方法为：
o(t)＝softmax(YsL(t))
其中，Y是第L个GRU层GRUL连接到输出层的权重矩阵，
Figure GDA0002890982420000041
构成中间层的每个所述GRU层均包括重置门r、更新门z、t时刻输出s(t)、t-1时刻输出s(t-1)以及替代隐藏层g；每个GRU层的t时刻输出si(t)(i＝0,1,...,L)为该层的输出，其为一个h×1的向量，h为GRU层的维数，h取值为[100，200]中的整数。
构成中间层的第0个GRU层GRU0，如图3所示，的重置门r0为一个h×1的向量，t时刻重置门r0的计算方法为：
Figure GDA0002890982420000051
其中，
Figure GDA0002890982420000052
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数，σ(x)＝1/(1+e-x)；
GRU0的更新门z0为一个h×1的向量，t时刻更新门z0的计算方法为：
Figure GDA0002890982420000053
其中，
Figure GDA0002890982420000054
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
GRU0的替代隐藏层g0为一个h×1的向量，t时刻g0的计算方法为：
Figure GDA0002890982420000055
其中，
Figure GDA0002890982420000056
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵；
Figure GDA0002890982420000059
表示按对应元素相乘；
t时刻GRU0的输出s0(t)为一个h×1的向量，其计算方法为：
Figure GDA00028909824200000510
构成中间层的第l(l＝1,2,...,L)个GRU层GRUl，如图4所示，的重置门rl为一个h×1的向量，t时刻重置门rl的计算方法为：
Figure GDA0002890982420000057
其中，
Figure GDA0002890982420000058
分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
GRUl的更新门zl为一个h×1的向量，t时刻更新门zl的计算方法为：
Figure GDA0002890982420000061
其中，
Figure GDA0002890982420000062
分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
GRUl的替代隐藏层gl为一个h×1的向量，t时刻gl的计算方法为：
Figure GDA0002890982420000063
其中，
Figure GDA0002890982420000064
分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
t时刻GRUl的输出sl(t)为一个h×1的向量，其计算方法为：
Figure GDA00028909824200000611
步骤S3具体包括以下子步骤，如图5所示：
S31，随机产生权重矩阵
Figure GDA0002890982420000065
Figure GDA0002890982420000066
Figure GDA0002890982420000067
(l＝0,1,...,L)，
Figure GDA0002890982420000068
(k＝1,...,L)和Y，做为初始解；
S32，检查收敛条件：检查迭代次数是否达到上限或目标函数的值是否不再减小；若满足收敛条件时结束步骤3；否则进行步骤S33；所述目标函数为
Figure GDA0002890982420000069
ti为其中第t时刻的训练样本中的物品编号；迭代次数上限为K≤100；
S33，对步骤2中排序后的每一个训练样本，按照BP(back propagation)算法或者BPTT(back propagation through time)算法，更新权重矩阵
Figure GDA00028909824200000610
Figure GDA0002890982420000071
Figure GDA0002890982420000072
(l＝0,1,...,L)，
Figure GDA0002890982420000073
(k＝1,...,L)和Y。
步骤S4具体为对每一个用户U及其最后一个训练样本v(tn),a(tn)，以及对应上一时刻的GRU层的输出sl(tn-1),(l＝0,1,...,L)，计算o(tn)；取o(tn)最大的前k个元素，其编号即为要推荐的物品编号。
基于上述一种基于多GRU层神经网络的推荐方法，本发明还提供一种基于多GRU层神经网络的推荐系统，如图6所示，包括以下功能模块：
用户行为收集模块，用于手机用户对物品的历史行为，并建立包括输入层、中间层和输出层的GRU神经网络；所述中间层由多个GRU层构成；
训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
权重矩阵确定模块，用于根据训练样本对多GRU层神经网络进行训练，确定GRU神经网络中的权重矩阵；
推荐列表生成模块，用于根据训练后的多GRU层神经网络的输出为每个用户生成推荐列表。
本发明与现有技术的区别：
第一，与已有的方法相比，本发明提供的神经网络采用GRU做为中间层，并且包含多个GRU层。
第二，本发明根据推荐系统的特点设计了具有针对性的多GRU层神经网络模型。
本发明的方法与其它方法在MovieLen(1M)数据集上的比较结果见表1。其中Test＝10表示每一个用户选最后10个评分做为测试数据，其它做为训练数据。Test＝20表示每一个用户选最后20个评分做为测试数据，其它做为训练数据。D＝16表示隐藏层维数为16。D＝32表示隐藏层维数为32。在不同实验参数配置下重复实验5次。表中列出了在不同实验参数配置下的F1@10和F1@20均值和标准差(括号中的数值)。最佳值用黑体标明。可以看到，本方法在不同实验条件下都取得了最佳结果，而且比次优结果有至少20％的提升。
表1本发明的方法与其它方法在MovieLen(1M)数据集上的比较
Figure GDA0002890982420000081
在本说明书的描述中，术语“一个实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (5)

1.一种基于多GRU层神经网络的推荐方法，其特征在于，包括用于表示用户偏好的多GRU层神经网络，所述多GRU层神经网络包括输入层、中间层和输出层；所述中间层由多个GRU层构成；所述方法包括以下步骤：
S1，收集用户对物品的历史行为，每条记录为一个四元组(u,i,a,t)，其中u是用户编号，a是行为的类别，i是行为针对的物品的编号，t是行为发生的时间；
S2，按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
S3，根据训练样本对设计的多GRU层神经网络进行训练，确定多GRU层神经网络中的权重矩阵；
S4，根据训练后的多GRU层神经网络为每一个用户生成推荐列表；
所述多GRU层神经网络的结构为：
所述输入层的输入包括用户信息u(t)、t时刻用户行为信息a(t)以及t时刻用户行为的目标物品信息v(t)，所述输出层的输出包括t时刻输出层的输出o(t)；
构成中间层的每个所述GRU层均包括重置门r、更新门z、t时刻输出s(t)、t-1时刻输出s(t-1)以及替代隐藏层g；每个GRU层的t时刻输出si(t)(i＝0,1,...,L)为该层的输出，其为一个h×1的向量，h为GRU层的维数；
构成中间层的第0个GRU层GRU0的重置门r0为一个h×1的向量，t时刻重置门r0的计算方法为：
Figure FDA0002890982410000011
其中，
Figure FDA0002890982410000012
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数，σ(x)＝1/(1+e-x)；
GRU0的更新门z0为一个h×1的向量，t时刻更新门z0的计算方法为：
Figure FDA0002890982410000013
其中，
Figure FDA0002890982410000021
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
GRU0的替代隐藏层g0为一个h×1的向量，t时刻g0的计算方法为：
Figure FDA0002890982410000022
其中，
Figure FDA0002890982410000023
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵；
Figure FDA0002890982410000024
表示按对应元素相乘；
t时刻GRU0的输出s0(t)为一个h×1的向量，其计算方法为：
Figure FDA0002890982410000025
构成中间层的第l(l＝1,2,...,L)个GRU层GRUl的重置门rl为一个h×1的向量，t时刻重置门rl的计算方法为：
Figure FDA0002890982410000026
其中，
Figure FDA0002890982410000027
Wl r,Vl r,
Figure FDA0002890982410000028
Yl r分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
GRUl的更新门zl为一个h×1的向量，t时刻更新门zl的计算方法为：
Figure FDA0002890982410000029
其中，
Figure FDA00028909824100000210
Wl z,Vl z,
Figure FDA00028909824100000211
Yl z分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
GRUl的替代隐藏层gl为一个h×1的向量，t时刻gl的计算方法为：
Figure FDA0002890982410000031
其中，
Figure FDA0002890982410000032
Wl g,Vl g,
Figure FDA0002890982410000033
Yl g分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
t时刻GRUl的输出sl(t)为一个h×1的向量，其计算方法为：
Figure FDA0002890982410000034
t时刻输出层的输出o(t)为一个h×1的向量，o(t)的第k个元素表示用户喜欢第k个物品的概率，o(t)计算方法为：
o(t)＝softmax(YsL(t))
其中，Y是第L个GRU层GRUL连接到输出层的权重矩阵，
Figure FDA0002890982410000035
2.根据权利要求1所述的一种基于多GRU层神经网络的推荐方法，其特征在于：
GRU层的维数h取值为[100，200]中的整数。
3.根据权利要求2所述的一种基于多GRU层神经网络的推荐方法，其特征在于：
步骤S3包括以下子步骤：
S31，随机产生权重矩阵，做为初始解；
S32，检查收敛条件：检查迭代次数是否达到上限或目标函数的值是否不再减小；若满足收敛条件时结束步骤S3；否则进行步骤S33；所述目标函数为
Figure FDA0002890982410000036
ti为其中第t时刻的训练样本中的物品编号；迭代次数上限为K≤100；
S33，对步骤S2中排序后的每一个训练样本，按照BP(back propagation)算法或者BPTT(back propagation through time)算法，更新权重矩阵。
4.根据权利要求3所述的一种基于多GRU层神经网络的推荐方法，其特征在于：
所述步骤S4具体为：对每一个用户U及其最后一个训练样本v(tn),a(tn)，以及对应上一时刻的GRU层的输出sl(tn-1),(l＝0,1,...,L)，计算o(tn)；取o(tn)最大的前k个元素，其编号即为要推荐的物品编号。
5.一种基于多GRU层神经网络的推荐系统，其特征在于，包括以下功能模块：
用户行为收集模块，用于手机用户对物品的历史行为，并建立包括输入层、中间层和输出层的多GRU层神经网络；所述中间层由多个GRU层构成；
训练样本生成模块，用于按照行为发生时间对每一个用户记录的历史行为进行先后排序；并针对每一个用户生成相应的训练样本；
权重矩阵确定模块，用于根据训练样本对多GRU层神经网络进行训练，确定多GRU层神经网络中的权重矩阵；
推荐列表生成模块，用于根据训练后的多GRU层神经网络的输出为每个用户生成推荐列表；
所述多GRU层神经网络的结构为：
所述输入层的输入包括用户信息u(t)、t时刻用户行为信息a(t)以及t时刻用户行为的目标物品信息v(t)，所述输出层的输出包括t时刻输出层的输出o(t)；
构成中间层的每个所述GRU层均包括重置门r、更新门z、t时刻输出s(t)、t-1时刻输出s(t-1)以及替代隐藏层g；每个GRU层的t时刻输出si(t)(i＝0,1,...,L)为该层的输出，其为一个h×1的向量，h为GRU层的维数；
构成中间层的第0个GRU层GRU0的重置门r0为一个h×1的向量，t时刻重置门r0的计算方法为：
Figure FDA0002890982410000041
其中，
Figure FDA0002890982410000042
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的重置门r0的权重矩阵；σ是sigmoid函数，σ(x)＝1/(1+e-x)；
GRU0的更新门z0为一个h×1的向量，t时刻更新门z0的计算方法为：
Figure FDA0002890982410000051
其中，
Figure FDA0002890982410000052
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的更新门z0的权重矩阵；
GRU0的替代隐藏层g0为一个h×1的向量，t时刻g0的计算方法为：
Figure FDA0002890982410000053
其中，
Figure FDA0002890982410000054
分别表示输入层u(t)、a(t)、v(t)、s0(t-1)连接到GRU0中的替代隐藏层g0的权重矩阵；
Figure FDA0002890982410000055
表示按对应元素相乘；
t时刻GRU0的输出s0(t)为一个h×1的向量，其计算方法为：
Figure FDA0002890982410000056
构成中间层的第l(l＝1,2,...,L)个GRU层GRUl的重置门rl为一个h×1的向量，t时刻重置门rl的计算方法为：
Figure FDA0002890982410000057
其中，
Figure FDA0002890982410000058
Wl r,Vl r,
Figure FDA0002890982410000059
Yl r分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的重置门rl的权重矩阵；
GRUl的更新门zl为一个h×1的向量，t时刻更新门zl的计算方法为：
Figure FDA00028909824100000510
其中，
Figure FDA00028909824100000513
Wl z，Vl z，
Figure FDA00028909824100000512
Yl z分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的更新门zl的权重矩阵；
GRUl的替代隐藏层gl为一个h×1的向量，t时刻gl的计算方法为：
Figure FDA0002890982410000061
其中，
Figure FDA0002890982410000062
Wl g,Vl g,
Figure FDA0002890982410000063
Yl g分别表示u(t)、a(t)、v(t)、sl(t-1)、sl-1(t)连接到GRUl中的替代隐藏层gl的权重矩阵；
t时刻GRUl的输出sl(t)为一个h×1的向量，其计算方法为：
Figure FDA0002890982410000064
t时刻输出层的输出o(t)为一个h×1的向量，o(t)的第k个元素表示用户喜欢第k个物品的概率，o(t)计算方法为：
o(t)＝softmax(YsL(t))
其中，Y是第L个GRU层GRUL连接到输出层的权重矩阵，
Figure FDA0002890982410000065
CN201710078094.8A 2017-02-14 2017-02-14 一种基于多gru层神经网络的推荐方法与系统 Active CN106897404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710078094.8A CN106897404B (zh) 2017-02-14 2017-02-14 一种基于多gru层神经网络的推荐方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710078094.8A CN106897404B (zh) 2017-02-14 2017-02-14 一种基于多gru层神经网络的推荐方法与系统

Publications (2)

Publication Number Publication Date
CN106897404A CN106897404A (zh) 2017-06-27
CN106897404B true CN106897404B (zh) 2021-04-09

Family

ID=59198458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710078094.8A Active CN106897404B (zh) 2017-02-14 2017-02-14 一种基于多gru层神经网络的推荐方法与系统

Country Status (1)

Country Link
CN (1) CN106897404B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909421A (zh) * 2017-09-29 2018-04-13 中国船舶重工集团公司第七0九研究所 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统
KR20190088128A (ko) 2018-01-05 2019-07-26 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN108345219B (zh) * 2018-03-01 2020-01-17 东华大学 基于类脑记忆gru的聚酰胺纤维生产工艺
CN108288502A (zh) * 2018-04-11 2018-07-17 平安科技（深圳）有限公司 疾病预测方法及装置、计算机装置及可读存储介质
CN108647251B (zh) * 2018-04-20 2021-06-18 昆明理工大学 基于宽深度门循环联合模型的推荐排序方法
CN108629630B (zh) * 2018-05-08 2020-05-12 广州太平洋电脑信息咨询有限公司 一种基于特征交叉联合深度神经网络的广告推荐方法
CN109858806A (zh) * 2019-01-30 2019-06-07 网易（杭州）网络有限公司 数据处理的方法、装置、介质和电子设备
CN110955826B (zh) * 2019-11-08 2023-06-20 上海交通大学 基于改进型循环神经网络单元的推荐系统
CN112530598B (zh) * 2020-12-11 2023-07-25 万达信息股份有限公司 一种基于健康数据的健康风险自测量表推荐方法
CN113487377A (zh) * 2021-06-07 2021-10-08 贵州电网有限责任公司 一种基于gru网络的个性化实时推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354277A (zh) * 2015-10-30 2016-02-24 中国船舶重工集团公司第七0九研究所 一种基于递归神经网络的推荐方法及系统
CN105389718A (zh) * 2015-12-07 2016-03-09 深圳市天行家科技有限公司 一种汽车后服务推荐方法和系统
CN105869024A (zh) * 2016-04-20 2016-08-17 北京小米移动软件有限公司 商品的推荐方法及装置
CN105975641A (zh) * 2016-07-15 2016-09-28 合网络技术（北京）有限公司 视频推荐方法及装置
CN106327240A (zh) * 2016-08-11 2017-01-11 中国船舶重工集团公司第七0九研究所 一种基于gru神经网络的推荐方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070203589A1 (en) * 2005-04-08 2007-08-30 Manyworlds, Inc. Adaptive Recombinant Process Methods
US10223644B2 (en) * 2014-09-29 2019-03-05 Cisco Technology, Inc. Behavioral modeling of a data center utilizing human knowledge to enhance a machine learning algorithm

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354277A (zh) * 2015-10-30 2016-02-24 中国船舶重工集团公司第七0九研究所 一种基于递归神经网络的推荐方法及系统
CN105389718A (zh) * 2015-12-07 2016-03-09 深圳市天行家科技有限公司 一种汽车后服务推荐方法和系统
CN105869024A (zh) * 2016-04-20 2016-08-17 北京小米移动软件有限公司 商品的推荐方法及装置
CN105975641A (zh) * 2016-07-15 2016-09-28 合网络技术（北京）有限公司 视频推荐方法及装置
CN106327240A (zh) * 2016-08-11 2017-01-11 中国船舶重工集团公司第七0九研究所 一种基于gru神经网络的推荐方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A dynamic recurrent model for next";YU F,LIU Q,WU S,et al;《Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrical》;20160721;第729-732页 *
"综合用户偏好模型和BP神经网络的个性化推荐";辛菊琴 等;《计算机工程与应用》;20120116(第02期);第57-60页 *

Also Published As

Publication number Publication date
CN106897404A (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
CN106897404B (zh) 一种基于多gru层神经网络的推荐方法与系统
CN110162703B (zh) 内容推荐方法、训练方法、装置、设备及存储介质
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN105354277B (zh) 一种基于递归神经网络的推荐方法及系统
CN110245299B (zh) 一种基于动态交互注意力机制的序列推荐方法及其系统
CN110503531B (zh) 时序感知的动态社交场景推荐方法
CN109087178B (zh) 商品推荐方法和装置
CN106327240A (zh) 一种基于gru神经网络的推荐方法和系统
CN112085172B (zh) 图神经网络的训练方法及装置
CN111523047A (zh) 基于图神经网络的多关系协同过滤算法
CN111881342A (zh) 一种基于图孪生网络的推荐方法
CN108563755A (zh) 一种基于双向循环神经网络的个性化推荐系统及方法
CN112085615B (zh) 图神经网络的训练方法及装置
CN110955826B (zh) 基于改进型循环神经网络单元的推荐系统
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
CN111177473B (zh) 人员关系分析方法、装置和可读存储介质
Tomani et al. Towards trustworthy predictions from deep neural networks with fast adversarial calibration
CN107909421A (zh) 一种基于用户空间的多gru层神经网络的隐含反馈推荐方法及系统
CN112115358B (zh) 一种利用知识图谱中多跳路径特征的个性化推荐方法
CN107346333B (zh) 一种基于链路预测的在线社交网络好友推荐方法与系统
Zhu et al. Portal nodes screening for large scale social networks
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN113704438B (zh) 一种基于分层注意力机制的异构图的会话推荐方法
CN112765461A (zh) 一种基于多兴趣胶囊网络的会话推荐方法
CN112819575B (zh) 一种考虑重复购买行为的会话推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant