CN112150210B - 一种基于ggnn网络的改进型神经网络推荐方法及系统 - Google Patents

一种基于ggnn网络的改进型神经网络推荐方法及系统 Download PDF

Info

Publication number
CN112150210B
CN112150210B CN202011080720.5A CN202011080720A CN112150210B CN 112150210 B CN112150210 B CN 112150210B CN 202011080720 A CN202011080720 A CN 202011080720A CN 112150210 B CN112150210 B CN 112150210B
Authority
CN
China
Prior art keywords
vector
commodity
conversation
sequence
click
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011080720.5A
Other languages
English (en)
Other versions
CN112150210A (zh
Inventor
彭龙
黄炎焱
杜振华
华宇浩
张钊浩
宋雅杰
何新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huiyucheng Intelligent Equipment Research Institute Co ltd
Xiaotu Intelligent Technology Nanjing Co ltd
Nanjing University of Science and Technology
Original Assignee
Jiangsu Huiyucheng Intelligent Equipment Research Institute Co ltd
Xiaotu Intelligent Technology Nanjing Co ltd
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huiyucheng Intelligent Equipment Research Institute Co ltd, Xiaotu Intelligent Technology Nanjing Co ltd, Nanjing University of Science and Technology filed Critical Jiangsu Huiyucheng Intelligent Equipment Research Institute Co ltd
Publication of CN112150210A publication Critical patent/CN112150210A/zh
Application granted granted Critical
Publication of CN112150210B publication Critical patent/CN112150210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于GGNN网络的改进型神经网络推荐方法及系统，所述方法包括：首先从历史会话序列构造长短期会话转换的有向图，再将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，在考虑到会话中之前所有商品的影响同时，着重考虑最后一个点击商品，并相应地生成准确的会话嵌入向量，最后将会话嵌入和全局商品嵌入向量进行计算获得预测的评分。本发明提供的基于GGNN网络的改进型神经网络推荐方法及系统，综合考虑了用户的几次点击中商品相互的转换关系，可以反映用户兴趣的序列化变化，也结合了商品之间的关联；并采用GRU单元进行训练，得到更加准确的推荐目标。

Description

一种基于GGNN网络的改进型神经网络推荐方法及系统
技术领域
本发明涉及大数据推荐模型技术领域，特别是涉及一种基于GGNN网络的改进型神经网络推荐方法及系统。
背景技术
随着计算机科技和互联网的日益发展，人们的日常生活越来越离不开网络，通过网络获取信息、购买商品已经是人们日常生活的一部分。当前社会，各种各样的信息都呈现爆炸增长的情况，互联网用户被海量的信息所包围，虽然我们可以很简单地获取到大量的数据，但是由于很多数据缺乏妥善的管理，并且我们需要的数据也不是那么多，为了寻找到需要的那一部分数据，我们会花费大量的时间，这就是所谓的信息过载问题。网络上各种购物网站和购物app给了我们快捷的购物方式的同时，也让很多人患上了“选择困难症”，人们在具有更多选择空间的同时，对商品选择的困难程度也越来越高。因此，给用户提供合适的商品对提高用户购物体验和增加用户的网站粘度有重要的作用，于是推荐系统成为了购物网站的重要组成部分，研究用户的兴趣情况及挖掘用户的历史行为模式对预测用户的购物偏好具有巨大的作用。国内的淘宝、京东商城、拼多多以及国外的Ebay、Amazon等购物网站，都使用了不同类型的推荐算法来为用户进行各方面的购物推荐，这些购物网站会选取各种不同的推荐方式，如根据用户的浏览或者是购买记录，发掘用户的喜好，向其推荐可能感兴趣的商品。
推荐系统的核心是推荐算法，个性化推荐算法中使用最为广泛的是协同过滤算法，协同过滤算法假设对相同商品有兴趣的用户之间是存在关联的，并且相同商品越多，用户之间的关系越大，利用这个假设，通过构建用户和商品之间的对应模型，计算用户对未有过交互的商品的感兴趣程度。协同过滤算法在某些方面表现良好，比如电影推荐、视频推荐等方面，但是由于它只是针对静态数据集的计算，通过hadoop等离线计算工具，每隔一天或一个小时来计算一次推荐结果，所以并不适合实时的推荐，缺乏对用户当前兴趣情况的感知，虽然基于商品的协同过滤是应对这种情况的解决的方式之一，但是它并不能很好地利用其他用户购买商品时的序列信息。同时，因为一些小的购物网站或者零售系统，用户可能就在上面购买一次，或者用户并没有在挑选时登录，这样就不能通过用户的购买记录来进行针对性推荐。
发明内容
本发明的目的是提供一种基于GGNN网络的改进型神经网络推荐方法及系统，综合考虑了用户的几次点击中商品相互的转换关系，既可以反应出用户在一次会话中的短期兴趣转移，也保留了用户在这次会话中较远的购物意图；并采用GRU单元进行训练，得到更加准确的推荐目标。
为实现上述目的，本发明提供了如下方案：
一种基于GGNN网络的改进型神经网络推荐方法，该方法包括以下步骤：
S1，获取用户的历史会话序列，所述历史会话序列中包括按照访问时间排序的各个商品的特征向量；
S2，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
S3，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量；
S4，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
S5，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
可选的，所述步骤S2中，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图，具体包括：将每个会话序列分解为长期会话序列和多个短期会话序列，其中长期会话序列为当前会话序列本身，然后对长期会话序列和多个短期会话序列分别构建有向图。
可选的，所述步骤S3中，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，具体包括：
S301，所述有向图中每一个节点代表会话序列中用户的一个点击项，每个节点进行特征向量包装，具体公式如下：
Figure BDA0002718555910000031
其中，t为模型更新的第t次；
Figure BDA0002718555910000032
是会话序列s中第i个点击对应的进入GUR单元的输入；
Figure BDA0002718555910000033
拆解为[As,i:,in,As,i:,out]，对应有向图编码后的出度入度矩阵中的一行，n代表的是序列中不同商品的数量，i代表的是第i个商品，即矩阵的第i行；
Figure BDA0002718555910000034
表示的是序列中的第i个商品训练过程中对应的商品嵌入向量，d是隐藏层单元数；
Figure BDA0002718555910000035
是分块的矩阵；
Figure BDA0002718555910000036
为偏移向量；
S302，利用前一个时序处理的结果，通过矩阵来选择出和各节点相关联的节点向量信息，通过GRU单元中的遗忘和产生信息加工过程得到最后的GRU单元输出，具体为：
Figure BDA0002718555910000037
Figure BDA0002718555910000038
Figure BDA0002718555910000039
Figure BDA00027185559100000310
其中，σ是Sigmoid激活函数，
Figure BDA00027185559100000311
是最终更新节点的状态，
Figure BDA00027185559100000312
是对历史记忆的存储，
Figure BDA00027185559100000313
为更新门，用于更新门控制遗忘信息，
Figure BDA00027185559100000314
为重置门，用于控制产生的新信息。
可选的，所述步骤S4中，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量，具体包括：
设置sn等于最后一次点击商品vn的向量：
sn＝vn (2.6)
基于不同的优先级，汇聚有向图中所有商品嵌入向量到全局偏好向量sa，采用注意力机制来更好地表示全局偏好向量，并通过对全局偏好向量和局部点击偏好向量进行线性变换来计算混合嵌入，实现公式为：
ei＝qΤσ(W1vn+W2vi+c) (2.7)
Figure BDA0002718555910000041
sb＝W3[sn:sa] (2.9)
其中，
Figure BDA0002718555910000042
sb是最后需要的会话嵌入向量。
可选的，所述步骤S5中，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标，具体包括：
对全局偏好向量和局部点击偏好向量进行内积，计算公式如下：
Figure BDA0002718555910000043
其中xi代表了商品的嵌入向量，此处
Figure BDA0002718555910000044
对应的是对商品的评分，表示商品的点击概率。
本发明还提供了一种基于GGNN网络的改进型神经网络推荐系统，应用于上述的基于GGNN网络的改进型神经网络推荐方法，包括：
历史会话序列会话单元，用于获取用户的历史会话序列；
图编码器模块，用于基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
GGNN神经网络模块，用于训练更新当前会话序列中的商品嵌入向量；
注意力编码器模块，用于基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
评分预测模块，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于GGNN网络的改进型神经网络推荐方法及系统，首先从历史会话序列构造长短期会话转换的有向图，再将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，在考虑到会话中之前所有商品的影响同时，着重考虑最后一个点击商品，并相应地生成准确的会话嵌入向量，最后将会话嵌入和全局商品嵌入向量进行计算获得预测的评分；本申请将会话序列的长期和短期的转移关系都输入到了模型中进行训练，这样能够让模型发现一个商品的点击在长期是因为哪些商品的影响，也可以发现短期是哪些商品影响，同时兼顾了会话长短期转移特性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是传统SR-GNN模型的推荐方法流程图；
图2是本发明基于GGNN网络的改进型神经网络推荐方法流程图；
图3是传统SR-GNN会话转换为图的示意图；
图4是本发明GGNN会话转换为图的示意图；
图5是本发明出度入度矩阵模型图；
图6是本发明商品转换图；
图7是本发明商品转换出度入度矩阵；
图8是本发明GRU单元训练过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统算法SR-GNN利用了GNN(门限图神经网络，GraphNeuralNetworks)单元代替GRU单元进行训练，其通过将会话进行图编码放入GNN单元中进行训练。其流程图1所示，通过将一个点击序列转换为一个矩阵图，将矩阵图输入GNN网络中进行训练，并通过注意力网络来获取向量，通过结合从GNN网络中提取出的商品向量进行线性转换获取会话嵌入向量。最后通过softmax函数进行计算每个商品的评分，最终给出推荐列表。SR-GNN考虑了一个会话中商品的转换关系，利用了已有会话中的前n个商品预测第n+1个商品，但是其对会话的短期兴趣转换关注不足，同时，在考虑多个商品对预测商品影响的上，一般最后一个商品会对预测商品会有直接的影响，因此需要对会话嵌入向量进行更改，强调最后一个商品的影响。
本发明的目的是提供一种基于GGNN网络的改进型神经网络推荐方法及系统，综合考虑了用户的几次点击中商品相互的转换关系，既可以反应出用户在一次会话中的短期兴趣转移，也保留了用户在这次会话中较远的购物意图；并采用GRU单元进行训练，得到更加准确的推荐目标。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图2所示，本发明提供的基于GGNN网络的改进型神经网络推荐方法，包括以下步骤：
S1，获取用户的历史会话序列，所述历史会话序列中包括按照访问时间排序的各个商品的特征向量；
S2，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
S3，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量；
S4，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
S5，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
其中，步骤S1，获取用户的历史会话序列，历史会话序列可以表示为：si＝[xi,1,xi,2,……,xi,n-1,xi,n]，i代表了第i个会话，训练模型时一般0＜i≤S，S是训练数据中的所有会话数量，X＝[x1,x2,……,xn-1,xn]代表了所有商品的集合，n是所有商品的数量，目标是预测会话si下一个点击的商品xi,n+1。
其中，所述步骤S2中，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图，具体包括：将每个会话序列分解为长期会话序列和多个短期会话序列，其中长期会话序列为当前会话序列本身，然后对长期会话序列和多个短期会话序列分别构建有向图。
对于单个会话s＝[x1,x2,……,xn-1,xn]，传统SR-GNN的构建图的方式为将一个会话构建为一个会话图，对于s对应一个图g，如图3所示：
为了考虑会话中的长短期用户兴趣的变化，本申请通过商品点击顺序分解一个会话序列来挖掘出用户长期短期偏好的共同影响，如图4所示。
会话s对应图[g1,g2,……,gn]，例如，存在会话s＝[x2,x3,x1,x4]可分解为会话：s1＝[x2,x3]，s2＝[x2,x3,x1]，s3＝[x2,x3,x1,x4]。
通过这样的分解相当于将会话的长期和短期的转移关系都输入到了模型中进行训练，这样能够让模型发现一个商品的点击在长期是因为哪些商品的影响，也可以发现短期是哪些商品影响，同时兼顾了会话长短期转移特性。
GGNN模型的输入为一个出度入度矩阵，因此，需要为其构建一个如图5所示的矩阵。
假设已经获得一个分解完的会话s＝[x2,x3,x1,x4,x3]，点击序列为：
x2→x3→x1→x4→x3
GGNN网络需要将这几个序列化的过程转换为图的表示模式，构建这几个商品的转换关系图，如图6所示。
对于这个包含了4个商品的会话，需要构建一个D×2D的出度入度矩阵，其中D为商品个数(此处需要注意的是，如果对于同一批次进行训练的商品，D的大小应该和该批次最长会话的商品数量相等，对于短于最大长度的会话多出的节点出度入都为0)，图6对应的会话所构建的矩阵如图7所示.
左边的矩阵是出度矩阵，右边的矩阵是入度矩阵，如果同时考虑出度和入度，模型学习的就不是简单的单向转移关系了，而是更加丰富的双向关系。因为考虑的是加权连接，所以每个节点对应的出度和入度的加权值都为1，所以对于具有两个入度的x3来说，其入度值都为1/2构建的该矩阵输入到GGNN网络中的。
其中，所述步骤S3中，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，具体包括：
S301，所述有向图中每一个节点代表会话序列中用户的一个点击项，每个节点进行特征向量包装，具体公式如下：
Figure BDA0002718555910000081
其中，t为模型更新的第t次；
Figure BDA0002718555910000082
是会话序列s中第i个点击对应的进入GUR单元的输入；
Figure BDA0002718555910000083
拆解为[As,i:,in,As,i:,out]，对应有向图编码后的出度入度矩阵中的一行，n代表的是序列中不同商品的数量，i代表的是第i个商品，即矩阵的第i行；
Figure BDA0002718555910000084
表示的是序列中的第i个商品训练过程中对应的商品嵌入向量，d是隐藏层单元数；
Figure BDA0002718555910000085
是分块的矩阵；
Figure BDA0002718555910000086
为偏移向量；
S302，利用前一个时序处理的结果，通过矩阵来选择出和各节点相关联的节点向量信息，通过GRU单元中的遗忘和产生信息加工过程得到最后的GRU单元输出，具体为：
Figure BDA0002718555910000087
Figure BDA0002718555910000088
Figure BDA0002718555910000089
Figure BDA00027185559100000810
其中，
Figure BDA00027185559100000811
是最终更新节点的状态，
Figure BDA00027185559100000812
是对历史记忆的存储，
Figure BDA00027185559100000813
为更新门，用于更新门控制遗忘信息，
Figure BDA00027185559100000814
为重置门，用于控制产生的新信息。σ是Sigmoid激活函数，公式中
Figure BDA00027185559100000815
决定冲哪些过去的信息中产生新的信息，公式中
Figure BDA0002718555910000091
选择遗忘哪些信息，
Figure BDA0002718555910000092
选择记住哪些新产生的信息，
Figure BDA0002718555910000093
是最终更新节点的状态。门控循环单元可以避免梯度消失的问题，其隐藏信息不会被清除掉，其会保留所有信息并输入到下一个单元中。
由上面的公式所描述的，整个学习过程就是每个商品的向量进行循环的过程，当时在每次进入GRU单元时，会充分考虑图中的信息，优化商品嵌入向量，其训练示意图如图8所示。
其中，所述步骤S4中，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量，具体包括：
设置sn等于最后一次点击商品vn的向量：
sn＝vn (2.6)
基于不同的优先级，汇聚有向图中所有商品嵌入向量到全局偏好向量sa，采用注意力机制来更好地表示全局偏好向量，并通过对全局偏好向量和局部点击偏好向量进行线性变换来计算混合嵌入，实现公式为：
ei＝qΤσ(W1vn+W2vi+c) (2.7)
Figure BDA0002718555910000094
sb＝W3[sn:sa] (2.9)
其中，
Figure BDA0002718555910000095
sb是最后需要的会话嵌入向量。
为了更好地预测用户的下一次点击，此部分将会话的长期偏好和当前兴趣结合起来，并将这种组合嵌入作为会话嵌入，通常而言，会话中的最后一个商品需要得到更多的关注，因为下一个商品一般会和最后一个商品有着更多的相关性，因此，模型的注意力策略模块分别计算了所有商品和最后一个商品的相关性，进行加权。
其中，所述步骤S5中，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标，具体包括：
对全局偏好向量和局部点击偏好向量进行内积，计算公式如下：
Figure BDA0002718555910000101
其中xi代表了商品的嵌入向量，此处
Figure BDA0002718555910000102
对应的是对商品的评分，表示商品的点击概率。
最后需要通过softmax激活函数来获得向量
Figure BDA0002718555910000103
Figure BDA0002718555910000104
在训练阶段，会使用
Figure BDA0002718555910000105
来作为损失函数的输入来进行训练，在预测阶段，则会将
Figure BDA0002718555910000106
中评分较高的几个商品作为给用户推荐的商品。
损失函数的设计也是获取更好训练效果的重要部分，基于会话的推荐最后的推荐结果是推荐多个可能的商品，这实际上是一种排序的问题，即Ranking问题，损失函数用于指明被训练的模型的整体优化方向。在获得下一次点击对于所有商品的评分向量后，需要定义一个恰当的损失函数使得网络模型的参数能够按照损失函数减少的方向学习。
本申请分别介绍一种交叉熵和top1损失函数，并对其分别加入了一些改进。
第一，top1损失函数，top1损失函数是在基于GRU的会话型推荐系统中较为常见的一种损失函数，其表达式为：
Figure BDA0002718555910000107
j代表了抽样的负样本，i是目标值。
Figure BDA0002718555910000108
起到了正则化的作用，top1损失函数在计算是需要利用到负样本，一般是从用户没有交互过的商品中抽取一些商品作为负样本，但训练时对样本单独进行抽样会比较低效，因为对每个会话都需要进行负样本抽取，很容易造成训练效率的下降，因此可以不从一个大的候选池中抽样作为负样本，此处选择流行度的方式选择较流行的商品组成候选池这样的样本抽样策略很容易实现。
第二，交叉熵损失函数，交叉熵损失函数(Cross Entropy Loss)是一种相对简单的损失函数，交叉熵用来判定实际输出与期望输出的接近程度，交叉熵越小，两个概率分布就越接近[i]。在基于会话的推荐系统中，可以使用如下函数表达式：
Figure BDA0002718555910000111
交叉熵损失函数拥有两个特点：一是计算结果非负性，计算的是预测值和实际值的距离，因此只需要考虑降低损失函数的损失值大小；二是当模型输出与真实输出接近的时候，损失函数趋近于0。交叉熵损失函数能够克服在训练过程中参数权重更新过慢的问题，因为交叉熵损失函数的导数大小受误差的影响，所以当误差大的时候，参数权重更新速度就越快，当误差小的时候，参数权重更新速度相应变慢。
由于一般情况下会话都比较短，使用交叉熵损失函数可以使损失值趋向于0，但这回导致过拟合的问题，所以可以引入正则化参数作为修正，加入正则化的损失函数公式为：
Figure BDA0002718555910000112
其中wt∈{Ws,Wr,Wo,Uo,W1,W2,W3,q}，包含了上文中需要训练的参数，这可以消除一些过拟合的问题。
本发明还提供了一种基于GGNN网络的改进型神经网络推荐系统，应用于上述的基于GGNN网络的改进型神经网络推荐方法，包括：
历史会话序列会话单元，用于获取用户的历史会话序列；
图编码器模块，用于基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
GGNN神经网络模块，用于训练更新当前会话序列中的商品嵌入向量；
注意力编码器模块，用于基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
评分预测模块，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
GGNN的提出最初是为了解决图的问题，许多传统的算法往往将图结构的数据压缩为链式结构，或者转换为树状结构，然后再使用链式神经网络(如RNN)或递归神经网络去处理，此时，图中的拓扑结构信息往往会有一定的损失，模型的性能也会受到压缩(或转换)效果的影响，解决这一问题的最好方案莫过于直接构建关于图的神经网络。利用GGNN解决推荐系统中序列问题可以更好地发现序列中商品和商品隐藏的关系。基于会话图的GGNN能够捕获商品的转换，同时考虑到会话中之前所有商品的影响，并相应地生成准确的商品嵌入向量，这是传统的顺序方法如基于RNN的方法难以发现的，基于RNN和马尔科夫链的模型只对相邻的两个商品的单项转移向量进行建模，而忽略了会话中其他的商品。基于精确的商品嵌入向量，可以构造更可靠的会话嵌入向量表示，并且可以推断出下一个点击的商品。
本发明提供的基于GGNN网络的改进型神经网络推荐方法及系统，首先从历史会话序列构造长短期会话转换的有向图，再将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，在考虑到会话中之前所有商品的影响同时，着重考虑最后一个点击商品，并相应地生成准确的会话嵌入向量，最后将会话嵌入和全局商品嵌入向量进行计算获得预测的评分；本申请将会话序列的长期和短期的转移关系都输入到了模型中进行训练，这样能够让模型发现一个商品的点击在长期是因为哪些商品的影响，也可以发现短期是哪些商品影响，同时兼顾了会话长短期转移特性。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于GGNN网络的改进型神经网络推荐方法，其特征在于，包括以下步骤：
S1，获取用户的历史会话序列，所述历史会话序列中包括按照访问时间排序的各个商品的特征向量；
S2，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
S3，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量；
S4，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
S5，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
2.根据权利要求1所述的基于GGNN网络的改进型神经网络推荐方法，其特征在于，所述步骤S2中，基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图，具体包括：
将每个会话序列分解为长期会话序列和多个短期会话序列，其中长期会话序列为当前会话序列本身，然后对长期会话序列和多个短期会话序列分别构建有向图。
3.根据权利要求1所述的基于GGNN网络的改进型神经网络推荐方法，其特征在于，所述步骤S3中，将有向图输入到GGNN网络中，训练更新当前会话序列中的商品嵌入向量，具体包括：
S301，所述有向图中每一个节点代表会话序列中用户的一个点击项，每个节点进行特征向量包装，具体公式如下：
Figure FDA0003755571740000011
其中，t为模型更新的第t次；
Figure FDA0003755571740000012
是会话序列s中第i个点击对应的进入GRU单元的输入；As,i∈R1×2n，拆解为[As,i:,in,As,i:,out]，对应有向图编码后的出度入度矩阵中的一行，n代表的是序列中不同商品的数量，i代表的是第i个商品，即矩阵的第i行；
Figure FDA0003755571740000021
表示的是序列中的第i个商品训练过程中对应的商品嵌入向量，d是隐藏层单元数；H∈Rd×2d是分块的矩阵；b∈R1×2d为偏移向量；
S302，利用前一个时序处理的结果，通过矩阵来选择出和各节点相关联的节点向量信息，通过GRU单元中的遗忘和产生信息加工过程得到最后的GRU单元输出，具体为：
Figure FDA0003755571740000022
Figure FDA0003755571740000023
Figure FDA0003755571740000024
Figure FDA0003755571740000025
其中，σ是Sigmoid激活函数，
Figure FDA0003755571740000026
是最终更新节点的状态，
Figure FDA0003755571740000027
是对历史记忆的存储，
Figure FDA0003755571740000028
为更新门，用于更新门控制遗忘信息，
Figure FDA0003755571740000029
为重置门，用于控制产生的新信息。
4.根据权利要求1所述的基于GGNN网络的改进型神经网络推荐方法，其特征在于，所述步骤S4中，基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量，具体包括：
设置sn等于最后一次点击商品vn的向量：
sn＝vn (2.6)
基于不同的优先级，汇聚有向图中所有商品嵌入向量到全局偏好向量sa，采用注意力机制来更好地表示全局偏好向量，并通过对全局偏好向量和局部点击偏好向量进行线性变换来计算混合嵌入，实现公式为：
ei＝qTσ(W1vn+W2vi+c) (2.7)
Figure FDA00037555717400000210
sb＝W3[sn:sa] (2.9)
其中，q∈R1×d，W1∈Rd×d，W2∈Rd×d，W3∈Rd×2d，c∈Rd×d，sb是最后需要的会话嵌入向量。
5.根据权利要求4所述的基于GGNN网络的改进型神经网络推荐方法，其特征在于，所述步骤S5中，基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标，具体包括：
对全局偏好向量和局部点击偏好向量进行内积，计算公式如下：
Figure FDA0003755571740000031
其中xi代表了商品的嵌入向量，此处
Figure FDA0003755571740000032
对应的是对商品的评分，表示商品的点击概率。
6.一种基于GGNN网络的改进型神经网络推荐系统，其特征在于，应用于权利要求1-5任一所述的基于GGNN网络的改进型神经网络推荐方法，包括：
历史会话序列会话单元，用于获取用户的历史会话序列；
图编码器模块，用于基于历史会话序列，针对每个会话序列进行分解，构造长短期会话转换的有向图；
GGNN神经网络模块，用于训练更新当前会话序列中的商品嵌入向量；
注意力编码器模块，用于基于商品嵌入向量，采用注意力机制，获取全局偏好向量和局部点击偏好向量，构成会话嵌入向量，其中局部点击向量为最后一次点击商品的嵌入向量；
评分预测模块，用于基于会话嵌入向量，对全局偏好向量和局部点击偏好向量进行内积计算，得到各个商品的评分，评分高的表示商品的点击概率高，筛选出点击概率最高的商品作为推荐目标。
CN202011080720.5A 2020-06-19 2020-10-10 一种基于ggnn网络的改进型神经网络推荐方法及系统 Active CN112150210B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202010568918 2020-06-19
CN202010567925X 2020-06-19
CN202010567925 2020-06-19
CN2020105689181 2020-06-19

Publications (2)

Publication Number Publication Date
CN112150210A CN112150210A (zh) 2020-12-29
CN112150210B true CN112150210B (zh) 2022-10-18

Family

ID=73952981

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011080720.5A Active CN112150210B (zh) 2020-06-19 2020-10-10 一种基于ggnn网络的改进型神经网络推荐方法及系统
CN202011080703.1A Active CN112150209B (zh) 2020-06-19 2020-10-10 一种基于聚类中心的cnn-lstm时序预测模型的构建方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011080703.1A Active CN112150209B (zh) 2020-06-19 2020-10-10 一种基于聚类中心的cnn-lstm时序预测模型的构建方法

Country Status (1)

Country Link
CN (2) CN112150210B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396492A (zh) * 2020-11-19 2021-02-23 天津大学 基于图注意力网络和双向长短期记忆网络的会话推荐方法
CN112733018B (zh) * 2020-12-31 2022-12-06 哈尔滨工程大学 一种基于图神经网络gnn和多任务学习的会话推荐方法
CN112862151A (zh) * 2020-12-31 2021-05-28 华电国际电力股份有限公司天津开发区分公司 一种裤衩腿型循环流化床锅炉机组床压预测方法
CN112765461A (zh) * 2021-01-12 2021-05-07 中国计量大学 一种基于多兴趣胶囊网络的会话推荐方法
CN112669127B (zh) * 2021-01-21 2024-03-05 重庆大学 用于商品推荐的方法、装置及设备
CN112884307A (zh) * 2021-02-02 2021-06-01 国网甘肃省电力公司信息通信公司 一种基于用电数据的常住人口预测模型构建方法
CN112836123B (zh) * 2021-02-03 2021-11-16 电子科技大学 一种基于知识图谱的可解释推荐系统
CN112948709B (zh) * 2021-03-05 2022-03-25 桂林电子科技大学 一种影响力感知驱动的连续兴趣点实时推荐方法
CN112948681B (zh) * 2021-03-12 2024-02-27 北京交通大学 一种融合多维度特征的时间序列数据推荐方法
CN113111573B (zh) * 2021-03-24 2022-09-23 桂林电子科技大学 基于gru的滑坡位移预测方法
CN112967112B (zh) * 2021-03-24 2022-04-29 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN113225331A (zh) * 2021-04-30 2021-08-06 中国科学技术大学 基于图神经网络的主机入侵安全检测方法、系统及装置
CN113222700B (zh) * 2021-05-17 2023-04-18 中国人民解放军国防科技大学 基于会话的推荐方法及装置
CN113688315B (zh) * 2021-08-19 2023-04-18 电子科技大学 一种基于无信息损失图编码的序列推荐方法
CN113656696A (zh) * 2021-08-24 2021-11-16 工银科技有限公司 一种会话推荐方法及装置
CN113704441B (zh) * 2021-09-06 2022-06-10 中国计量大学 一种考虑物品和物品属性特征级别重要性的会话推荐方法
CN113792784B (zh) * 2021-09-14 2022-06-21 上海任意门科技有限公司 用于用户聚类的方法、电子设备和存储介质
CN113781181B (zh) * 2021-09-16 2024-03-05 中山大学 基于使用物品流行度辅助用户兴趣建模的推荐方法
CN114429240A (zh) * 2021-12-21 2022-05-03 浙江永基智能科技有限公司 高速公路设备运行状态监测方法及装置
CN114186139B (zh) * 2021-12-30 2022-08-16 重庆理工大学 一种基于时间增强的图神经网络会话推荐方法
CN114927230B (zh) * 2022-04-11 2023-05-23 四川大学华西医院 基于机器学习的重症心衰患者预后决策支持系统及方法
CN114971784B (zh) * 2022-05-21 2024-05-14 内蒙古工业大学 一种融合自注意力机制基于图神经网络的会话推荐方法与系统
CN115469851A (zh) * 2022-10-20 2022-12-13 晞德软件(北京)有限公司 一种编译器自动调参方法
CN115660217B (zh) * 2022-11-14 2023-06-09 成都秦川物联网科技股份有限公司 一种智慧城市垃圾清扫量预测方法和物联网系统
CN115828118B (zh) * 2022-11-24 2023-06-16 东联信息技术有限公司 基于机器学习的空调异常识别方法
CN116342228B (zh) * 2023-05-18 2023-10-20 云筑信息科技(成都)有限公司 一种基于有向图神经网络的相关推荐的方法
CN117932347B (zh) * 2024-03-22 2024-06-11 四川大学 基于对抗性迁移学习的pm2.5预测方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816101A (zh) * 2019-01-31 2019-05-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于图卷积神经网络的会话序列推荐方法及系统
CN109830303A (zh) * 2019-02-01 2019-05-31 上海众恒信息产业股份有限公司 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法
CN109949936B (zh) * 2019-03-13 2023-05-30 成都数联易康科技有限公司 一种基于深度学习混合模型的再住院风险预测方法
CN110119467B (zh) * 2019-05-14 2023-05-02 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110600053A (zh) * 2019-07-30 2019-12-20 广东工业大学 一种基于ResNet与LSTM网络的脑卒中构音障碍风险预测方法
CN110599234A (zh) * 2019-08-13 2019-12-20 广东工业大学 一种产品销售预测方法
CN110490717B (zh) * 2019-09-05 2021-11-05 齐鲁工业大学 基于用户会话及图卷积神经网络的商品推荐方法及系统
CN111080400B (zh) * 2019-11-25 2023-04-18 中山大学 一种基于门控图卷积网络的商品推荐方法及系统、存储介质

Also Published As

Publication number Publication date
CN112150209A (zh) 2020-12-29
CN112150209B (zh) 2022-10-18
CN112150210A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112150210B (zh) 一种基于ggnn网络的改进型神经网络推荐方法及系统
CN113590900A (zh) 一种融合动态知识图谱的序列推荐方法
CN108876044B (zh) 一种基于知识增强神经网络的线上内容流行度预测方法
CN113905391A (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN114519145A (zh) 一种基于图神经网络挖掘用户长短期兴趣的序列推荐方法
CN112765461A (zh) 一种基于多兴趣胶囊网络的会话推荐方法
Chen et al. A survey on heterogeneous one-class collaborative filtering
CN112231580B (zh) 基于人工智能的信息推荐方法、装置、电子设备及存储介质
CN111143684A (zh) 基于人工智能的泛化模型的训练方法及装置
CN115510313A (zh) 信息推荐方法、装置、存储介质及计算机设备
CN111159242B (zh) 一种基于边缘计算的客户端重排序方法及系统
CN111597401B (zh) 基于图关系网络的数据处理方法、装置、设备及介质
CN114595383A (zh) 一种基于会话序列的海洋环境数据推荐方法及系统
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及系统
CN113590976A (zh) 一种空间自适应图卷积网络的推荐方法
CN114817692A (zh) 确定推荐对象的方法、装置和设备及计算机存储介质
CN116680456A (zh) 基于图神经网络会话推荐系统的用户偏好预测方法
US20240005170A1 (en) Recommendation method, apparatus, electronic device, and storage medium
CN112818084B (zh) 信息交互方法、相关装置、设备及计算机可读介质
CN115293812A (zh) 一种基于长短期兴趣的电商平台会话感知推荐预测方法
CN115564532A (zh) 序列推荐模型的训练方法及装置
CN115470406A (zh) 一种基于双通道信息融合的图神经网络会话推荐方法
CN114417124A (zh) 一种多任务强化学习推荐方法
CN114117233A (zh) 一种基于用户隐式反馈的会话新闻推荐方法及推荐系统
CN114625969A (zh) 一种基于交互近邻会话的推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant