CN113705797A - 基于图神经网络的推荐模型训练方法、装置、设备及介质 - Google Patents
基于图神经网络的推荐模型训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113705797A CN113705797A CN202111155151.0A CN202111155151A CN113705797A CN 113705797 A CN113705797 A CN 113705797A CN 202111155151 A CN202111155151 A CN 202111155151A CN 113705797 A CN113705797 A CN 113705797A
- Authority
- CN
- China
- Prior art keywords
- graph
- target
- node
- neural network
- recommendation model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 148
- 230000007704 transition Effects 0.000 claims abstract description 47
- 238000012546 transfer Methods 0.000 claims abstract description 27
- 230000006399 behavior Effects 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000007526 fusion splicing Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及人工智能技术领域，尤其涉及一种基于图神经网络的推荐模型训练方法、装置、设备及介质。该基于图神经网络的推荐模型训练方法包括获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；基于所述多个业务阶段，构建多个阶段转移区间；基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对阶段转移区间进行初始化，得到第二邻接矩阵；拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。该基于图神经网络的推荐模型训练方法可有保证模型推荐的准确率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于图神经网络的推荐模型训练方法、装置、设备及介质。
背景技术
目前，基于传统的基于会话的推荐方法主要集中于循环神经网络(RNN)和马尔可夫链，但是存在以下缺陷：(1)当一个会话序列中用户的行为数量十分有限时，RNN很难产生质量较高的用户特征；(2)马尔可夫链较依赖数据独立性的假设；(3)会话中item实体(例如物品)之间的转移模式在会话推荐中十分重要，但RNN和马尔可夫过程只对相邻的两个item实体的单向转移关系进行建模，而忽略了会话中其他的item(即上下文)。
为解决上述问题，目前提出一种基于图神经网络进行会话建模方法，该方法中将会话序列建模为图结构数据，并使用图神经网络捕获复杂的项目物品(集item)间转换，每一个会话利用注意力机制将整体偏好与当前偏好结合进行表示，故该种方式并不依赖用户的特征表示，完全只基于会话内部的潜在向量获得Embedding，以基于该Embedding进行预测。但该种建模方式仅考虑item节点间的转移状态，而并未考虑到某些在不同时期所产生的数据在不同时期之间的转移状态，例如，针对保险领域中的关联问题推荐的场景中，用户提问的问题与其所处的保单周期状态(“服销期”、“服务期”、“销售期”)有较大关联，如销售期的用户倾向于保费问题、续保流程，而服务期的用户若主动咨询则极有可能咨询理赔或者资询保险赠送服务相关使用等问题，处于服销期的用户也可能咨询理赔问题，或咨询即将续保的产品。因此上述传统的建模方式并未考虑到节点的特殊时期对预测结果的影响，导致该种建模方式的预测准确率无法保证。
发明内容
本发明实施例提供一种基于图神经网络的推荐模型训练方法、装置、设备及介质，以解决基于图神经网络实现的推荐模型的准确性无法保证的问题。
一种基于图神经网络的推荐模型训练方法，包括：
获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，所述拓扑图对应第一邻接矩阵；所述第一邻接矩阵用于描述所述拓扑图中各图节点之间的转移关系；所述业务生命周期对应多个业务阶段；
基于所述多个业务阶段，构建多个阶段转移区间；
基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对所述阶段转移区间进行初始化，得到第二邻接矩阵；其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；
基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。
一种基于图神经网络的推荐模型训练装置，包括：
数据获取模块，用于用于获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，所述拓扑图对应第一邻接矩阵；所述第一邻接矩阵用于描述所述拓扑图中各图节点之间的转移关系；所述业务生命周期对应多个业务阶段；
阶段转移区间构建模块，用于基于所述多个业务阶段，构建多个阶段转移区间；
阶段转移区间初始化模块，用于基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对所述阶段转移区间进行初始化，得到第二邻接矩阵；其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
拼接模块，用于拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；
图神经网络训练模块，用于基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于图神经网络的推荐模型训练方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于图神经网络的推荐模型训练方法的步骤。
上述基于图神经网络的推荐模型训练方法、装置、设备及介质中，通过获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵，以通过该第一邻接矩阵描述各图节点之间的转移关系；然后基于业务生命周期中的多个业务阶段，构建多个阶段转移区间，以基于各图节点之间的转移关系以及图节点对应的节点业务阶段，对阶段转移区间进行初始化，得到第二邻接矩阵，进而通过第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系。接着，通过拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵，从而使拓扑图融合各图节点对应的业务阶段的转移信息，最后基于拼接后的目标邻接矩阵以及拓扑图进行图神经网络训练，获取目标推荐模型，使模型能够学习到更多的有效信息，相比于传统仅提取历史行为数据特征训练有向图神经网络来说，可有效提高模型推荐的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于图神经网络的推荐模型训练方法的一应用环境示意图；
图2是本发明一实施例中基于图神经网络的推荐模型训练方法的一流程图；
图3是图2中步骤S205的一具体流程图；
图4是本发明一实施例中基于图神经网络的推荐模型训练方法的一流程图；
图5是图3中步骤S302的一具体流程图；
图6是图2中步骤S201的一具体流程图；
图7是本发明一实施例中基于图神经网络的推荐模型训练装置的一示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该基于自学习编码的模型训练方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一实施例中，如图1所示，该基于图神经网络的推荐模型训练方法具体包括如下步骤：
S201：获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，拓扑图对应第一邻接矩阵；第一邻接矩阵用于描述拓扑图中各图节点之间的转移关系；业务生命周期对应多个业务阶段。
其中，本方法可适用于周期性业务的推荐场景，此处以保险业务为例进行描述。业务生命周期为保险业务的整个生命周期，该业务生命周期包括多个业务阶段，例如“服销期”、“服务期”以及“销售期”。在保险业务中，该服销期表示业务生命周期内(T-180～T-31)的一段时间；该服务期表示业务生命周期内(购买保险的第一天～T-180)的一段时间；该销售期指业务生命周期内在T-30之前的一段时间；其中，T表示保单止期，即生命周期的终止期。历史行为数据用于按照时间顺序记录用户不同时间的资询行为，例如某在t-1时刻历史行为数据以如下行为序列描述
该序列描述了在t-1时刻，用户按照时间顺序依次咨询了，
等问题。拓扑图是指根据用户的历史行为数据所构建的结构图。该拓扑图包括多个图节点，每一图节点用于指示用户所资询问题的embedding(例如word2vec)。该拓扑图对应一第一邻接矩阵，该第一邻接矩阵用于描述拓扑图中各图节点之间的转移关系。该邻接矩阵包括N*N(N表示拓扑图中图节点的数量)大小的出度矩阵和入度矩阵，该出度矩阵用于描述每一图节点的出度信息，入度矩阵用于描述每一图节点的入度信息。
S202：基于多个业务阶段，构建多个阶段转移区间。
示例性地，业务阶段包括服销期、服务期以及销售期，对多个业务阶段中相同或不同的业务阶段两两组合构建多个阶段转移区间，即包括如下阶段转移区间：销售期->销售期、销售期->服销期、销售期->服务期、服销期->销售期、服销期->服销期、服销期->服务期、服务期->销售期、服务期->服销期、服务期->服务期。
S203：基于各图节点之间的转移关系以及图节点对应的节点业务阶段，对阶段转移区间进行初始化，得到第二邻接矩阵。其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
具体地，对每一阶段转移区间构建对应一的转移矩阵，然后将多个转移矩阵按行拼接得到第二邻接矩阵，该第二邻接矩阵用于描述在不同的所述阶段转移区间下各图节点之间的阶段转移关系。示例性地，该第二邻接矩阵如下示例图所示，图中只有拓扑图中图节点1->2这条边对应的阶段转移关系为1，即在销售期->服销期这一阶段转移区间内，表示拓扑图中图节点1->2这条边为用户上一时间节点资询问题1时对应的业务阶段为销售期，在相邻的下一时间节点资询问题2时对应的业务阶段为服销期。
S204：拼接第一邻接矩阵与第二邻接矩阵，得到目标邻接矩阵。
其中，对第一邻接矩阵与所述第二邻接矩阵进行按行拼接，即得到目标邻接矩阵。示例性地，第一邻接矩阵为n*2n，第二邻接矩阵为n*3n，对对第一邻接矩阵与所述第二邻接矩阵进行按行拼接，即得到n*11n的目标邻接矩阵。
可以理解地是，本实施例主要用于保险业务的关联问题推荐，而用户的资询行为与其所处的业务阶段具备较强的关联性，如销售期的用户倾向于保费问题、续保流程，而服务期的用户若主动咨询则极有可能咨询理赔或者资询保险赠送服务相关使用等问题，处于服销期的用户也可能咨询理赔问题，或咨询即将续保的产品。因此在进行关联问题推荐时，若仅根据用户咨询行为的时序序列构建推荐模型，则无法使模型学习到资询行文发生的业务阶段对推荐资询问题的影响，进而导致推荐准确性不高，故本实施例中通过构建第二邻接矩阵，以描述在不同的所述阶段转移区间下各图节点之间的阶段转移关系，从而使拓扑图中融合各图节点对应的业务阶段的转移信息。
S205：基于目标邻接矩阵以及拓扑图进行图神经网络训练，获取目标推荐模型。
其中，目标推荐模型包括特征提取层、注意力层、拼接层、全连接层以及分类层；其中，所述特征提取层用于提取所述拓扑图中图节点对应的节点特征；所述注意力层用于基于所述图节点对应的节点特征，计算所述拓扑图的全局特征；所述拼接层用于拼接所述节点特征与所述全局特征；所述全连接层用于融合拼接特征、全局特征以及间隔时间特征；所述分类层用于根据所述融合特征进行分类。其中，间隔时间特征即指基于目标图节点与当前时间的间隔时间确定的全连接层的模型参数。
具体地，通过所述特征提取层基于所述目标邻接矩阵以及所述拓扑图，提取每一图节点对应的节点特征，然后，基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，即通过所述注意力层计算所述拓扑图中的目标图节点与其他候选图节点之间的注意力值，并基于每一所述候选图节点对应的注意力值与所述候选图节点对应的节点特征，计算所述拓扑图的全局特征；拼接所述节点特征与所述全局特征，得到拼接特征；通过所述全连接层融合拼接特征、全局特征以及间隔时间特征(即全连接层的模型参数)，得到融合特征，以通过所述分类层对所述融合特征进行分类，得到分类结果；最后，基于所述分类结果优化所述目标推荐模型，直至模型收敛，得到所述目标推荐模型。
本实施例中，通过获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图以通过该拓扑图对应的第一邻接矩阵描述各图节点之间的转移关系；然后基于业务生命周期中的多个业务阶段中相同或不同的业务阶段，构建多个阶段转移区间，以基于各图节点之间的转移关系以及图节点对应的节点业务阶段，对阶段转移区间进行初始化，得到第二邻接矩阵，进而通过第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系。接着，通过拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵，从而使拓扑图融合各图节点对应的业务阶段的转移信息，最后基于拼接后的目标邻接矩阵以及拓扑图进行图神经网络训练，获取目标推荐模型，使模型能够学习到更多的有效信息，相比于传统仅提取历史行为数据特征训练有向图神经网络来说，可有效提高模型推荐的准确性。
在一实施例中，如图3所示，步骤S205中，即基于目标邻接矩阵以及拓扑图进行图神经网络训练，获取目标推荐模型具体的包括如下步骤：
S301：初始化目标推荐模型；其中，全连接层的初始模型参数为目标图节点对应的行为发生时间与当前时间的间隔时间；目标图节点为拓扑图中距离当前时间最近的图节点。
S302：基于目标邻接矩阵以及拓扑图，对初始化后的目标推荐模型进行图神经网络训练，得到目标推荐模型。
其中，目标图节点为所述拓扑图中距离当前时间最近的图节点，即在拓扑图中最后一次资询的图节点。
具体地，由于本实施例为关联问题推荐，而用户下一资询问题与上一咨询问题的咨询间隔的时长，同样隐含着预测推荐问题的特征信息，例如用户咨询过如何出险报案，那么在短时间内继续提问的问题极有可能为查勘员到场时效的相关问题，而在间隔数天后再咨询，则可能是案件理赔进展的相关问题，在间隔数月后再咨询可能为理赔对下年保费是否有影响等相关问题，故为进一步保证关联问题推荐的准确性，本实施例中通过将目标图节点对应的历史时间与当前时间的间隔时间作为全连接层对应的初始化模型参数(权重参数)，以使模型学到相同的历史行为数据在间隔时间的影响下，输出的推荐问题可能不同，即使模型学习到间隔时间特征对预测结果的影响，以进一步提高关联问题推荐的准确性。
进一步地，针对模型中其他网络层的初始模型参数可随机设置，此处做限定。
在一实施例中，如图4所示，该基于图神经网络的推荐模型训练方法还包括如下步骤：
S401：对目标时间区间进行分箱处理，得到多个分箱块；其中，每一分箱块对应一分箱特征。
其中，目标时间区间为预先设置的分箱基准范围，例如0-366天。具体地，可按照预设标准将目标时间区间分为多个分箱块，每一所述分箱块用于描述一段时间；例如将目标时间区间划分为“1天内”、“1周内”、“1个月内”“1～3个月”，“3～6个月”，“6～10个月”，“10～12个月”，“12个月以上”等分箱块。每一分享块会设置有对应的分箱特征，该分箱特征为离散化特征，用于分类表示每一分箱块。
S402：计算目标图节点对应的行为发生时间与当前时间的间隔时间。
S403：确定与间隔时间对应的分箱块，并将分箱块对应的分箱特征作为全连接层的初始模型参数，以初始化全连接层。
具体地，计算目标图节点对应的历史时间与当前时间的间隔时间，例如当前分箱块包括“1天内”、“1周内”、“1个月内”“1～3个月”，“3～6个月”，“6～10个月”，“10～12个月”，“12个月以上”，假设目标图节点对应的历史时间为2021-07-01，当前时间为2021-08-01，间隔时间为一个月，故将其划分至第五个分箱块中，并将该分箱块对应的分箱特征作为全连接层对应的初始模型参数。
可以理解地是，由于对间隔时长较短的情况下对模型结果影响不大，因此间隔时间较短的划分为一类，故本案中通过对目标时间区间进行分箱处理，以将连续的目标时间区间离散化，降低模型的过拟合风险，提升模型的稳定性。
在一实施例中，如图5所示，步骤S302中，即基于所述目标邻接矩阵以及所述拓扑图，对所述初始化后的目标推荐模型进行图神经网络训练，得到所述目标推荐模型，具体如下步骤：
S501：通过初始化后的特征提取层基于目标邻接矩阵以及拓扑图，提取每一图节点对应的节点特征。
S502：通过初始化后的注意力层计算拓扑图中的目标图节点与其他每一候选图节点之间的注意力值，并基于每一候选图节点对应的注意力值与节点特征，计算拓扑图的全局特征。
具体地，可通过Gated GNN(门控图神经网络，简称GCNN)通过将所有的拓扑图输入到GCNN网络中，可提取每一图节点对应的节点特征，即GCNN网络中按照如下公式提取每一图节点对应的节点特征：
其中，
表示拓扑图中用户在t-1时刻的历史咨询序列，该序列中的每一元素表示一次问题资询；H表示d*2d的权重矩阵，d为自定义的节点特征维度；b表示偏置；
表示重置门，该重置门用于控制忽略上一时刻的状态信息的程度；
表示更新门，该更新门用于控制上一时刻的状态信息传入至当前状态的程度；σ表示sigmoid函数；As，i表示目标邻接矩阵；Uz、Ur、Uo、Wz、Wr、Wo为特征提取层对应的模型权重；
表示重构后的候选状态，
表示图节点对应的节点特征。
具体地，通过注意力层计算拓扑图中的目标图节点与其他候选图节点之间的注意力值，具体包括：
1)采用非线性函数计算每一候选图节点与目标图节点之间的相似度；
2)将相似度与注意力层对应的模型参数相乘，得到每一候选图节点对应的注意力值。
其中，该注意力层可通过计算拓扑图中的目标图节点与其他每一候选图节点之间的相似度即得到每一候选图节点对应的注意力值(如下公式(1)所示)，以将目标图节点也即最后一次资询信息关联至之前的多个候选图节点中；然后基于每一所述候选图节点对应的注意力值与所述候选图节点对应的节点特征，计算所述拓扑图的全局特征(如下公式(2)所示)，按照如下公式表示注意力层计算过程：
αi＝qTσ(W1vn+W2vi+c) (1)
其中，q、W1、W2为注意力层对应的模型权重；αi是给每个候选图节点vi对应的注意力值；vn表示目标图节点；sg表示全局特征；n表示节点数量；c表示偏置。
S503：通过初始化后的拼接层拼接节点特征与全局特征，得到拼接特征。
具体地，通过拼接层拼接节点特征与所述全局特征，得到拼接特征，可按如下公式表示即：Sh＝W3[S1；Sg]，其中，Sh表示拼接特征；W3表示拼接层对应的模型权重；S1表示候选节点对应的节点特征。
S504：通过初始化后的全连接层融合拼接特征、节点特征以及全连接层的模型参数，得到融合特征。
具体地，通过将所述全连接层的模型参数与所述拼接特征相乘，得到中间特征，然后将所述中间特征特征与所述节点特征相乘，得到所述融合特征，以融合拼接特征、全局特征以及全连接层的模型参数，得到融合特征。
S505：基于融合特征进行图神经网络训练，得到目标推荐模型。
具体地，通过分类层对融合特征进行sofmax分类，即可得到分类结果，然后通过交叉熵损失函数根据该分类结果，计算模型损失，以采用误差反向传播算法根据该模型损失更新优化模型，直至满足模型收敛条件，即可得到所述资询推荐模型。其中，误差反向传播算法与传统的误差反向传播算法一致，此处不再详述。模型收敛条件可自定义设置，例如模型准确率达到阈值或迭代训练次数达到最大值。
在一实施例中，步骤S504中，即通过初始化后的全连接层融合拼接特征、节点特征以及全连接层的模型参数，得到融合特征，具体包括如下步骤：
S5041：将全连接层的模型参数与拼接特征相乘，得到中间特征。
S5042：将中间特征特征与节点特征相乘，得到融合特征。
具体地，以如下公式表示全连接层融合过程：
其中，s′h表示中间特征；W4表示全连接层的模型参数即间隔时间特征；
表示融合特征；sh表示拼接特征，vi表示节点特征。
在一实施例中，如图6所示，步骤S201中，即基于拓扑图，构建第一邻接矩阵，具体包括如下步骤：
S601：统计每一图节点对应的出度信息和入度信息，并构建对应的出度矩阵和入度矩阵。
S602：分别对出度矩阵以及入度矩阵进行归一化处理，得到归一化后的出度矩阵以及入度矩阵。
S603：拼接出度矩阵和入度矩阵，以构建第一邻接矩阵。
其中，图节点对应的出度信息指在拓扑图中图节点的出边数量。图节点对应的入度信息指在拓扑图中指向图节点为的入边数量。具体地，通过根据图节点对应的入度信息构建入度矩阵，根据入度信息构建入度矩阵，并分别分别对所述出度矩阵以及入度矩阵进行归一化处理，得到归一化后的出度矩阵以及入度矩阵。其中，归一化处理即使出度矩阵以及入度矩阵中每行的总和为1。最后，将出度矩阵和入度矩阵按行拼接，以得到拓扑图对应的第一邻接矩阵。
示例性地，假设有如下拓扑图，图(a)中包括4个图节点，针对节点v1来说，其对应的入度信息为0，出度信息为1；v2对应的入度信息为2，出度信息为2；v3对应的入度信息为1，出度信息为1；v4对应的入度信息为1，出度信息为0。如图(b)所示根据图节点对应的出度信息构建出度矩阵，根据入度信息构建入度矩阵即如图(b)所示，最后得到的拼接后的第一邻接矩阵如图(c)所示。
图(a)
图(b)
图(c)
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于图神经网络的推荐模型训练装置，该基于图神经网络的推荐模型训练装置与上述实施例中基于图神经网络的推荐模型训练方法一一对应。如图7所示，该基于图神经网络的推荐模型训练装置包括数据获取模块10、阶段转移区间构建模块20、阶段转移区间初始化模块30拼接模块40以及图神经网络训练模块50。各功能模块详细说明如下：
数据获取模块10，用于用于获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，所述拓扑图对应第一邻接矩阵；所述第一邻接矩阵用于描述所述拓扑图中各图节点之间的转移关系；所述业务生命周期对应多个业务阶段；
阶段转移区间构建模块20，用于基于所述多个业务阶段，构建多个阶段转移区间；
阶段转移区间初始化模块30，用于基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对阶段转移区间进行初始化，得到第二邻接矩阵；其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
拼接模块40，用于拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；
图神经网络训练模块50，用于基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。
具体地，目标推荐模型包括依次连接的特征提取层、注意力层、拼接层、全连接层以及分类层；其中，所述特征提取层用于提取所述图节点的节点特征；所述注意力层用于基于所述节点特征，计算所述拓扑图的全局特征；所述拼接层用于拼接所述节点特征与所述全局特征；所述全连接层用于融合所述全局特征、全连接层的模型参数以及所述拼接层输出的拼接特征；所述分类层用于根据所述融合特征进行分类。
具体地，图神经网络训练模块包括模型初始化单元和图神经网络训练单元。
模型初始化单元，用于初始化目标推荐模型；其中，所述全连接层的初始模型参数为目标图节点对应的行为发生时间与当前时间的间隔时间；所述目标图节点为所述拓扑图中距离当前时间最近的图节点；
图神经网络训练单元，用于基于所述目标邻接矩阵以及所述拓扑图，对所述初始化后的目标推荐模型进行图神经网络训练，得到所述目标推荐模型。
具体地，基于图神经网络的推荐模型训练装置还包括分箱单元、间隔时间计算单元以及初始模型参数获取单元。
分箱单元，用于对目标时间区间进行分箱处理，得到多个分箱块；其中，每一所述分箱块对应一分箱特征；
间隔时间计算单元，用于计算所述目标图节点对应的行为发生时间与当前时间的间隔时间；
初始模型参数获取单元，用于确定与所述间隔时间对应的分箱块，并将所述分箱块对应的所述分箱特征作为所述全连接层对应的初始模型参数，以初始化所述全连接层。
具体地，图神经网络训练单元包括特征提取子单元、全局特征计算子单元、拼接子单元、融合子单元和图神经网络训练子单元。
特征提取子单元，用于通过初始化后的所述特征提取层基于所述目标邻接矩阵以及所述拓扑图，提取每一图节点对应的节点特征。
全局特征计算子单元，用于通过初始化后的注意力层计算拓扑图中的目标图节点与其他每一候选图节点之间的注意力值，并基于每一候选图节点对应的注意力值与节点特征，计算拓扑图的全局特征；
拼接子单元，用于通过初始化后的所述拼接层拼接所述节点特征与所述全局特征，得到拼接特征；
融合子单元，用于通过初始化后的所述全连接层融合所述拼接特征、节点特征以及所述全连接层的模型参数，得到融合特征；
图神经网络训练子单元，用于基于所述融合特征进行图神经网络训练，得到所述目标推荐模型。
具体地，融合子单元包括中间特征获取子单元以及融合特征获取子单元。
中间特征获取子单元，用于将所述全连接层的模型参数与所述拼接特征相乘，得到中间特征；
融合特征获取子单元，用于将所述中间特征特征与所述节点特征相乘，得到所述融合特征。
具体地，基于图神经网络的推荐模型训练装置还包括出入度矩阵构建模块、归一化模块和拼接模块。
出入度矩阵构建模块，用于统计每一所述图节点对应的出度信息和入度信息，并构建对应的出度矩阵和入度矩阵；
归一化模块，用于分别对所述出度矩阵以及入度矩阵进行归一化处理，得到归一化后的出度矩阵以及入度矩阵；
拼接模块，用于拼接所述出度矩阵和入度矩阵，以构建第一邻接矩阵。
关于基于图神经网络的推荐模型训练装置的具体限定可以参见上文中对于基于图神经网络的推荐模型训练方法的限定，在此不再赘述。上述基于图神经网络的推荐模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行基于图神经网络的推荐模型训练方法过程中生成或获取的数据，如历史行为数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图神经网络的推荐模型训练方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的基于图神经网络的推荐模型训练方法的步骤，例如图1所示的步骤S201-S205，或者图2至图6中所示的步骤。或者，处理器执行计算机程序时实现基于图神经网络的推荐模型训练装置这一实施例中的各模块/单元的功能，例如图7所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于图神经网络的推荐模型训练方法的步骤，例如图1所示的步骤S201-S205，或者图2至图6中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述基于图神经网络的推荐模型训练装置这一实施例中的各模块/单元的功能，例如图7所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图神经网络的推荐模型训练方法，其特征在于，包括：
获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，所述第一邻接矩阵用于描述所述拓扑图中各图节点之间的转移关系；所述业务生命周期对应多个业务阶段；
基于所述多个业务阶段，构建多个阶段转移区间；
基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对所述阶段转移区间进行初始化，得到第二邻接矩阵；其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；
基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。
2.如权利要求1所述基于图神经网络的推荐模型训练方法，其特征在于，所述目标推荐模型包括依次连接的特征提取层、注意力层、拼接层、全连接层以及分类层；所述基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型，包括：
初始化目标推荐模型；其中，所述全连接层的初始模型参数为目标图节点对应的行为发生时间与当前时间的间隔时间；所述目标图节点为所述拓扑图中距离当前时间最近的图节点；
基于所述目标邻接矩阵以及所述拓扑图，对初始化后的所述目标推荐模型进行图神经网络训练，得到所述目标推荐模型。
3.如权利要求2所述基于图神经网络的推荐模型训练方法，其特征在于，在所述初始化目标推荐模型之前，所述基于图神经网络的推荐模型训练方法还包括：
对目标时间区间进行分箱处理，得到多个分箱块；其中，每一所述分箱块对应一分箱特征；
计算所述目标图节点对应的行为发生时间与当前时间的间隔时间；
确定与所述间隔时间对应的分箱块，并将所述分箱块对应的所述分箱特征作为所述全连接层的初始模型参数，以初始化所述全连接层。
4.如权利要求3所述基于图神经网络的推荐模型训练方法，其特征在于，所述基于所述目标邻接矩阵以及所述拓扑图，对初始化后的所述目标推荐模型进行图神经网络训练，得到所述目标推荐模型，包括：
通过初始化后的所述特征提取层基于所述目标邻接矩阵以及所述拓扑图，提取每一图节点对应的节点特征；
通过初始化后的所述注意力层计算所述拓扑图中的目标图节点与其他每一候选图节点之间的注意力值，并基于每一所述候选图节点对应的注意力值与所述节点特征，计算所述拓扑图的全局特征；
通过初始化后的所述拼接层拼接所述节点特征与所述全局特征，得到拼接特征；
通过初始化后的所述全连接层融合所述拼接特征、节点特征以及所述全连接层的模型参数，得到融合特征；
基于所述融合特征进行图神经网络训练，得到所述目标推荐模型。
5.如权利要求4所述基于图神经网络的推荐模型训练方法，其特征在于，所述通过初始化后的所述全连接层融合所述拼接特征、节点特征以及所述全连接层的模型参数，得到融合特征，包括：
将所述全连接层的模型参数与所述拼接特征相乘，得到中间特征；
将所述中间特征特征与所述节点特征相乘，得到所述融合特征。
6.如权利要求1所述基于图神经网络的推荐模型训练方法，其特征在于，所述基于所述拓扑图，构建第一邻接矩阵，包括：
统计每一所述图节点对应的出度信息和入度信息，并构建对应的出度矩阵和入度矩阵；
分别对所述出度矩阵以及入度矩阵进行归一化处理，得到归一化后的出度矩阵以及入度矩阵；
拼接所述出度矩阵和入度矩阵，以构建所述第一邻接矩阵。
7.一种基于图神经网络的推荐模型训练装置，其特征在于，包括：
数据获取模块，用于用于获取基于用户在业务生命周期中的历史行为数据所构建的拓扑图，并基于所述拓扑图，构建第一邻接矩阵；其中，所述拓扑图对应第一邻接矩阵；所述第一邻接矩阵用于描述所述拓扑图中各图节点之间的转移关系；所述业务生命周期对应多个业务阶段；
阶段转移区间构建模块，用于基于所述多个业务阶段，构建多个阶段转移区间；
阶段转移区间初始化模块，用于基于所述各图节点之间的转移关系以及所述图节点对应的节点业务阶段，对所述阶段转移区间进行初始化，得到第二邻接矩阵；其中，所述第二邻接矩阵用于描述在每一所述阶段转移区间下各图节点之间的阶段转移关系；所述节点业务阶段为所述图节点对应的行为发生时的业务阶段；
拼接模块，用于拼接所述第一邻接矩阵与所述第二邻接矩阵，得到目标邻接矩阵；
图神经网络训练模块，用于基于所述目标邻接矩阵以及所述拓扑图进行图神经网络训练，获取目标推荐模型。
8.如权利要求7所述的基于图神经网络的推荐模型训练装置，其特征在于，所述图神经网络训练模块包括：
模型初始化单元，用于初始化目标推荐模型；其中，所述全连接层的初始模型参数为目标图节点对应的行为发生时间与当前时间的间隔时间；所述目标图节点为所述拓扑图中距离当前时间最近的图节点；
图神经网络训练单元，用于基于所述目标邻接矩阵以及所述拓扑图，对所述初始化后的目标推荐模型进行图神经网络训练，得到所述目标推荐模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于图神经网络的推荐模型训练方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于图神经网络的推荐模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111155151.0A CN113705797B (zh) | 2021-09-29 | 2021-09-29 | 基于图神经网络的推荐模型训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111155151.0A CN113705797B (zh) | 2021-09-29 | 2021-09-29 | 基于图神经网络的推荐模型训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705797A true CN113705797A (zh) | 2021-11-26 |
| CN113705797B CN113705797B (zh) | 2024-05-31 |
Family
ID=78662370
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111155151.0A Active CN113705797B (zh) | 2021-09-29 | 2021-09-29 | 基于图神经网络的推荐模型训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705797B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116301734A (zh) * | 2023-05-17 | 2023-06-23 | 安徽思高智能科技有限公司 | Rpa流程资产库中流程推荐方法、装置及电子设备 |
| CN117540105A (zh) * | 2024-01-09 | 2024-02-09 | 浙江大学 | 一种增强图推荐模型鲁棒性的方法、装置及一种推荐方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190005384A1 (en) * | 2017-06-29 | 2019-01-03 | General Electric Company | Topology aware graph neural nets |
-
2021
- 2021-09-29 CN CN202111155151.0A patent/CN113705797B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190005384A1 (en) * | 2017-06-29 | 2019-01-03 | General Electric Company | Topology aware graph neural nets |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116301734A (zh) * | 2023-05-17 | 2023-06-23 | 安徽思高智能科技有限公司 | Rpa流程资产库中流程推荐方法、装置及电子设备 |
| CN116301734B (zh) * | 2023-05-17 | 2023-07-28 | 安徽思高智能科技有限公司 | Rpa流程资产库中流程推荐方法、装置及电子设备 |
| CN117540105A (zh) * | 2024-01-09 | 2024-02-09 | 浙江大学 | 一种增强图推荐模型鲁棒性的方法、装置及一种推荐方法 |
| CN117540105B (zh) * | 2024-01-09 | 2024-04-16 | 浙江大学 | 一种增强图推荐模型鲁棒性的方法、装置及一种推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705797B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220129700A1 (en) | Methods, apparatuses, and systems for updating service model based on privacy protection | |
| US11537852B2 (en) | Evolving graph convolutional networks for dynamic graphs | |
| WO2019114344A1 (zh) | 一种基于图结构模型的异常账号防控方法、装置以及设备 | |
| US10902332B2 (en) | Recommendation system construction method and apparatus | |
| CN111814977B (zh) | 训练事件预测模型的方法及装置 | |
| WO2021027260A1 (zh) | 处理交互序列数据的方法及装置 | |
| Zliobaite et al. | Next challenges for adaptive learning systems | |
| CN110555469B (zh) | 处理交互序列数据的方法及装置 | |
| CN111737546B (zh) | 确定实体业务属性的方法及装置 | |
| Wei et al. | TRUST: A TCP throughput prediction method in mobile networks | |
| CN113705797B (zh) | 基于图神经网络的推荐模型训练方法、装置、设备及介质 | |
| Robinson et al. | Physics guided neural networks for modelling of non-linear dynamics | |
| US20240152732A1 (en) | Training and prediction of hybrid graph neural network model | |
| US20220147816A1 (en) | Divide-and-conquer framework for quantile regression | |
| Abdelbari et al. | A computational intelligence‐based method to ‘learn’causal loop diagram‐like structures from observed data | |
| WO2022188534A1 (zh) | 信息推送的方法和装置 | |
| van Seijen et al. | Efficient abstraction selection in reinforcement learning | |
| CN113610610B (zh) | 基于图神经网络和评论相似度的会话推荐方法和系统 | |
| US20220083842A1 (en) | Optimal policy learning and recommendation for distribution task using deep reinforcement learning model | |
| CN116090504A (zh) | 图神经网络模型训练方法及装置、分类方法、计算设备 | |
| Provalov et al. | Synevarec: A framework for evaluating recommender systems on synthetic data classes | |
| CN117056595A (zh) | 一种交互式的项目推荐方法、装置及计算机可读存储介质 | |
| US11769087B2 (en) | Multilabel learning with label relationships | |
| CN115222112A (zh) | 一种行为预测方法、行为预测模型的生成方法及电子设备 | |
| CN113836302A (zh) | 文本分类方法、文本分类装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |