CN112069398A - 一种基于图网络的信息推送方法及装置 - Google Patents
一种基于图网络的信息推送方法及装置 Download PDFInfo
- Publication number
- CN112069398A CN112069398A CN202010856777.3A CN202010856777A CN112069398A CN 112069398 A CN112069398 A CN 112069398A CN 202010856777 A CN202010856777 A CN 202010856777A CN 112069398 A CN112069398 A CN 112069398A
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- graph structure
- processed
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及计算机技术领域,尤其涉及一种基于图网络的信息推送方法及装置,获取待处理节点;确定在图网络中以所述待处理节点为中心节点的子图结构,其中,子图结构中包括与待处理节点相连的节点和连接关系;将子图结构输入节点特征提取模型,得到节点特征提取模型输出待处理节点对应的聚合特征向量;基于图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;将所述信息推送节点对应的业务信息进行推送,这样,训练时在聚合特征向量基础上加入图结构特征向量,即加入了图结构信息进行约束,提高了训练的收敛速度和准确性,进而在应用时可以将子图结构为输入,提高图网络中节点表示准确性,以及信息推送准确性。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种基于图网络的信息推送方法及装置。
背景技术
图网络(Graph Network,GN)是用于描述社区关系链最直接的工具,例如在金融、物联等业务场景等,图网络由节点与边构成,是一种基于图结构的广义人工神经网络,图嵌入算法即是将一种图数据映射为低维稠密向量的过程,对节点进行编码,从而使其能方便地应用于下游的具体任务,例如应用于信息推送等,相关技术中,可以采用无监督图嵌入算法对图网络进行训练,例如,GraphSAGE算法,对于一个节点,对该节点的局部邻居进行采样并聚合成特征,再结合该节点本身特征进行学习,从而可以学到图网络的部分图结构信息,但是这种方式,无法对指定的图结构进行学习和训练,并且一般只通过连接关系构成正负样本对,容易导致正负样本合理性低,只考虑节点之间的邻接关系,也缺乏节点之间的图结构描述,降低了训练准确性和收敛速度,进而降低了节点向量表示准确性,以及信息推送准确性。
发明内容
本申请实施例提供一种基于图网络的信息推送方法及装置,以提高信息推送准确性。
本申请实施例提供的具体技术方案如下:
本申请一个实施例提供了一种基于图网络的信息推送方法,包括:
获取待处理节点;
确定在图网络中以所述待处理节点为中心节点的子图结构,其中,所述子图结构中包括与所述待处理节点相连的节点和连接关系;
将所述子图结构输入节点特征提取模型,得到所述节点特征提取模型输出所述待处理节点对应的聚合特征向量;所述聚合特征向量表征所述图网络中的所述待处理节点;
基于所述图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;
将所述信息推送节点对应的业务信息进行推送。
本申请另一个实施例提供了一种图网络训练方法,包括:
针对图网络中的目标节点,在所述图网络中确定所述目标节点的正样本节点和负样本节点,其中,目标节点与正样本节点的关联度大于目标节点与负样本节点的关联度;
分别提取所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,其中,所述图结构特征向量表征包含预设阶数的子图结构的特征;
根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,所述节点特征提取模型用于提取所述图网络中节点的聚合特征向量。
本申请另一个实施例提供了一种图网络训练装置,包括:
第一确定模块,用于针对图网络中的目标节点,在所述图网络中确定所述目标节点的正样本节点和负样本节点,其中,目标节点与正样本节点的关联度大于目标节点与负样本节点的关联度;
第二确定模块,用于分别提取所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,其中,所述图结构特征向量表征包含预设阶数的子图结构的特征;
训练模块,用于根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,所述节点特征提取模型用于提取所述图网络中节点的聚合特征向量。
本申请另一个实施例提供了一种基于图网络的信息推送装置,包括:
获取模块,用于获取待处理节点;
确定模块,用于确定在图网络中以所述待处理节点为中心节点的子图结构,其中,所述子图结构中包括与所述待处理节点相连的节点和连接关系;
提取模块,用于将所述子图结构输入节点特征提取模型,得到所述节点特征提取模型输出所述待处理节点对应的聚合特征向量;所述聚合特征向量表征所述图网络中的所述待处理节点;
筛选模块,用于基于所述图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;
推送模块,用于将所述信息推送节点对应的业务信息进行推送。
本申请另一个实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一种图网络训练、或基于图网络的信息推送方法的步骤。
本申请另一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种图网络训练、或基于图网络的信息推送方法的步骤。
本申请实施例中,获取待处理节点;确定在图网络中以所述待处理节点为中心节点的子图结构,并将所述子图结构输入节点特征提取模型,得到所述节点特征提取模型输出所述待处理节点对应的聚合特征向量;进而基于所述图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;将所述信息推送节点对应的业务信息进行推送,这样,由于在训练时,在聚合特征向量基础上加入图结构特征向量,即加入了图结构信息进行约束,可以减少正负样本的不合理性,加快训练收敛速度,还可以对指定motif结构进行学习和召回,可以泛化到新节点,减少图结构特征向量的重复计算,并且弥补了对图网络拓扑结构信息的描述,从而提高了训练的准确性,进而训练后获得的节点特征提取模型,以待处理节点的子图结构为输入,可以获得待处理节点的聚合特征向量表示,也可以提高图网络中节点表示的准确性,进而应用到具体应用场景中,可以基于获得的聚合特征向量表示,提高信息推送的准确性。
附图说明
图1为本申请实施例中提供的一种应用架构示意图;
图2为本申请实施例中图网络训练方法流程图;
图3为本申请实施例中一种图网络结构示例图;
图4为本申请实施例中确定聚合特征向量的原理示意图;
图5为本申请实施例中一种子图结构形态示意图;
图6为本申请实施例中不同图结构的节点示例图;
图7为本申请实施例中图网络训练方法原理示意图;
图8为本申请实施例中图网络中节点表示方法流程图;
图9为本申请实施例中基于图网络的信息推送方法流程图;
图10为本申请实施例中一种图网络训练装置结构示意图;
图11为本申请实施例中一种基于图网络的信息推送装置结构示意图;
图12为本申请实施例中电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为便于对本申请实施例的理解,下面先对几个概念进行简单介绍:
图网络:图网络是用于描述社区关系链最直接的工具,由节点与边构成,节点代表关系链对象,节点间的连接被称为边,边代表两个对象之间的联系紧密程度,图网络中节点和边的性质与图结构相同,可以分为有向图(directed graph)和无向图(undirectedgraph),其中,有向图例如包括递归神经网络(Recursive Neural Network)和循环神经网络(Recurrent Neural Network)等,无向图例如包括浩斯菲尔德网络(Hopfield)、马尔可夫网络(Markov Network)等,图网络可以适用于处理具有图结构的数据,例如知识图谱、社交网络、分子网络等。
节点属性:在图网络中,每个节点都包含了固有信息,称为节点属性,本申请实施例中在使用时称为节点的属性信息,可以根据节点的属性信息,确定节点的初始特征向量,例如,在商品图网络中,商品的品牌、价格等均属于属性信息。
图嵌入算法(Graph Embedding Algorithms):是一种将图数据(通常为高维稠密的矩阵)映射为低微稠密向量(即嵌入(embedding)特征)的过程,图嵌入需要捕捉到图网络的拓扑结构,节点与节点的关系,以及其他的信息(例如子图,连边等),图嵌入算法目的在于学习图的结构或节点之间的邻接关系,对节点进行编码(或对固有特征进行降维),将所有节点映射为等维度的向量,使其能够方便地应用于下游的聚类、分类、关联分析或可视化任务等,因此,在实际应用中,图嵌入通常属于预处理工作,大多图嵌入算法为无监督学习算法。
图嵌入算法逐渐过渡到神经网络时代,例如包括SDNE、GraphSAGE等,基于神经网络的图嵌入算法不再仅仅局限于节点的邻接信息,而开始将节点本身的特征纳入模型考量,并逐渐从静态的直推式(transductive)学习向动态的归纳式(inductive)学习演变,无论是拟合能力还是泛化能力,都有很大提升。
直推式学习:在图嵌入训练中,在一个固定的图上直接学习每个节点的embedding特征,当图网络结构改变以及新节点的出现,直推式学习需要重新训练以获得新的embedding特征。
归纳学习:与直推式学习对应,通过学习节点与节点之间的联系,从特殊到一般,对未知节点起到泛化作用,当图网络结构改变以及新节点的出现,不需要重新训练就可以获得新的embedding特征,本申请实施例中,主要针对基于大数据归纳学习的无监督图嵌入算法GraphSAGE进行改进,加入了motif Attention学习模块,可以实现节点的motif特征学习,并在损失函数中加入motif特征的约束信息。
图形计数:也称为motif counting,指的是图网络中频繁出现的某种连接模式,并对这种连接形式出现的个数进行计数,统计后得到图网络的结构表示,本申请实施例中,图网络中出现的连接模式即称为子图结构,通过图结构特征向量(即motif特征)来表示。
噪音对比估计(Noise Contrastive Estimation,NCE)损失函数:是无监督图嵌入算法常用的损失函数,现有的NCE损失函数的计算公式为:
其中,zu,zv,表示节点u,v,vn的embedding特征,σ表示sigmoid函数,v为u节点的正样本,vn为u的负样本,Q是负样本数量,Pn为负采样的概率分布,本申请实施例中embedding特征也称为聚合特征向量。
相关技术中,可以采用例如GraphSAGE算法对图网络进行训练,对于图网络中的一个目标节点,确定出正样本节点与负样本节点,并分别针对目标节点、正样本节点和负样本节点的邻居节点进行采样,并进行聚合,从而获得目标节点、正样本节点和负样本节点的特征表示,具体地,例如以针对目标节点,并采样二阶为例,一阶的节点由对应的二阶邻居节点的特征表示,一阶节点的特征合并后形成目标节点的邻居特征,目标节点本身初始特征与目标节点的邻居特征结合,得到目标节点的最终特征表示,进而可以将获取到的目标节点、正样本节点与负样本节点的最终特征表示输入到NCE损失函数中进行梯度反传。这种方法虽然可以通过聚合的方式学习到图网络的部分拓扑信息,但在学习过程存在以下缺陷:1)目前的GraphSAGE无法通过指定某特定的图结构召回对应群体,而通常在图网络中特殊的motif结构往往代表特殊群体;2)GraphSAGE训练时,一般只通过连接关系构成正负样本对,容易导致正负样本准确性差,无法体现差异性,例如实际上不连接的两个节点,拓扑结构可能相似,这样的负样本合理性低,阻碍训练收敛;3)GraphSAGE只考虑节点之间的邻接关系,缺乏节点子图的小社区之间的结构描述,从而降低了图网络训练准确性和收敛速度,进而导致对节点的特征表示准确性也较低,也会导致基于节点的特征表示进行信息推送的准确性。
因此针对上述问题,本申请实施例中提供了一种基于图网络的信息推送方法,获取待处理节点,确定在图网络中以待处理节点为中心节点的子图结构,并将子图结构输入节点特征提取模型,得到节点特征提取模型输出待处理节点对应的聚合特征向量,进而基于图网络中各节点的聚合特征向量,筛选与待处理节点匹配的节点作为信息推送节点,并将信息推送节点对应的业务信息进行推送,这样,在训练时,加入了图结构特征向量,进行motif特征学习,通过学习可以获得每个节点的motif特征,泛化到新节点,可以对指定motif结构进行学习和召回,并可以减少motif特征的重复计算,并且将motif特征加入到损失函数作为训练时的约束条件,可以减少负样本节点的不合理性,加快训练收敛速度,同时,motif特征的加入使得可以在聚合特征向量基础上同时考虑邻接关系和社区结构关系,弥补了对图网络拓扑结构信息的描述,从而提高了训练的准确性,并提高图网络中节点表示的准确性,进而训练后获得的节点特征提取模型,以待处理节点的子图结构为输入,可以获得待处理节点的聚合特征向量表示,由于获得的聚合特征向量准确性更高,因此也提高了信息推送的准确性。
参阅图1所示,为本申请实施例中提供的一种应用架构示意图,包括终端100、服务器200。
终端100可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
终端100上可以安装有各种应用程序,基于不同的应用业务场景,可以对应不同的应用程序,例如,商品推荐应用中,应用程序可以为某购物网站,用户可以在该购物网站中进行搜索、浏览、点击、购买等操作,服务器200可以获取到这些操作信息,进而可以建立图网络并进行不同的业务处理。
服务器200为终端100的后台服务器,能够为终端100提供各种网络服务,对于不同的应用程序,服务器200可以认为是相应的后台服务器,例如,服务器200可以获取用户的点击行为和购买行为等,将不同的商品作为节点,不同商品可以根据用户的点击行为和购买行为等进行连接,确定出不同商品的连接关系,作为边,从而构成一个图网络,服务器200可以训练该图网络,训练完成后,可以通过确定商品的聚合特征向量,并通过相似度比对,从而可以向用户推荐相似度高的商品,例如,用户搜索某商品时,或者用户点击查看了某商品,服务器200可以通过图网络计算,向该用户推荐与该商品相似的商品,提高用户的购物体验。
其中,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端100与服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制,例如图1中以终端100和服务器200通过互联网相连,实现相互之间的通信为例。
可选地,上述的互联网使用标准通信技术、协议,或者两者结合。互联网通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
需要说明的是,本申请实施例中的图网络训练方法和基于图网络的信息推送方法主要由服务器200执行,本实施例以该方法应用于服务器200进行说明,例如,服务器200可以从终端100获取相关的行为数据,从而建立图网络,并基于本申请实施例中的图网络训练方法进行训练,获得训练完成的节点提取模型,又例如,服务器200还可以基于已训练的节点提取模型,计算新加入节点的聚合特征向量,进而可以进行后续的业务处理,进行信息推送,当然,本申请实施例中基于图网络的信息推送方法也可以由终端100执行,对此本申请实施例中并不进行限制。
另外,本申请实施例中的图网络训练,需要预先进行训练,其训练过程通常由服务器200侧执行,这是由于受到终端100的性能限制。
值得说明的是,本申请实施例中的应用架构图是为了更加清楚地说明本申请实施例中的技术方案,并不构成对本申请实施例提供的技术方案的限制,对于其它的应用架构和业务应用,本申请实施例提供的技术方案对于类似的问题,同样适用,本申请各个实施例中,以应用于图1所示的应用架构为例进行示意性说明。
为便于理解本申请实施例中的基于图网络的信息推送方法,下面先对本申请实施例中的节点特征提取模型的训练,即图网络的训练方法进行说明,基于上述实施例,参阅图2所示,为本申请实施例中图网络训练方法流程图,具体该方法包括:
步骤200:针对图网络中的目标节点,在图网络中确定目标节点的正样本节点和负样本节点。
其中,目标节点与正样本节点的关联度大于目标节点与负样本节点的关联度。
本申请实施例中,在训练图网络时,采用图嵌入算法,需要先确定正负样本对,可以采用随机游走的方式,具体执行步骤200时包括:
S1、采用随机游走方式,以目标节点为起点,确定图网络中各节点与目标节点的关联度。
随机游走方式是一种完全随机地游走,通过随机游走可以获得图网络中各节点之间的关联度,其中目标节点即为从图网络中选取的节点,可以随机选取一定数目的节点作为目标节点,本申请实施例中并不进行限制,在计算其它节点与某个目标节点的关联度时,需要每次都从该某个目标节点出发,通过多次游走迭代,其它各节点与该某个目标节点的关联度会趋于一个固定值,即获得其它各节点与该某个目标节点之间的关联度,其中,可以根据实际经验或情况预先设置迭代次数。
例如,参阅图3所示,为本申请实施例中一种图网络结构示例图,图网络中有A、B、C、a、b、c、d几个节点,A、B、C代表用户,而a、b、c、d代表商品,连线代表用户喜欢该商品,假设计算目标节点A和其它商品之间的关联度,则每次随机游走都从A出发,通过多次迭代在ABCabcd节点之间随机游走,从而可以确定其它节点与A的关联度。
本申请实施例中提供了一种可能的计算关联度的实施方式:
1)设定关联度的初始值为PR(A)=1,其余都为0。
2)从A节点开始向外游走,假设从A节点走出去的概率为α,则停留在A节点的概率为1-α,a节点会得到相对于A的关联度1*α*1/2,此时因为其他节点的关联度都为0,所以a节点的关联度即为1*α*1/2。同理可得c节点最后的关联度也为1*α*1/2,此时A节点自身的关联度为1-α。第一次迭代结束。
3)第二次迭代时,除了A节点以外,a和c也有了关联度,从这几个节点出发,继续游走,计算出其他节点的关联度,重复以上过程,因为每次都是从A节点出发,因此结束的时候A节点要加上1-α。
4)迭代到一定次数时,各节点的对A的关联度会趋于一个固定值,即获得各节点与目标节点A的关联度,在图3场景中关联度高的说明用户A偏好该商品,可以找到和A最相关的商品,进而进行推荐。
迭代公式可以概括如下:
其中,u为目标节点,即上例中的用户A,PR(i)为i节点当前的关联度,out(i)为与i节点相连的节点个数,α为不停留在当前节点的概率。
当然也可以采用其它方式计算各节点与目标节点的关联度,本申请实施例中并不进行限制。
S2、将关联度大于等于关联阈值的节点,作为目标节点的正样本节点,将关联度小于关联阈值的节点,作为目标节点的负样本节点。
其中,关联阈值本申请实施例中并不进行限制,可以根据实际情况进行设置,这样,可以将关联度高的节点对作为正样本节点对,关联度低的节点对作为负样本节点对,在图网络中表现为通常邻接节点为正样本节点对,不连接或连接关系疏远的为负样本对。
而在图网络中,不连接的两个节点可能对应的子图结构是相似的,负样本对的训练可能不准确,因为这种子图结构相同或相似的负样本对之间的特征向量表示应该相较与子图结构不相似的负样本对更相似,另外,对于正样本对,可能其二阶或三阶子图结构不同,仅一阶子图结构相同,为更加准确也应该体现正样本对之间的这种子图结构差异,而相关技术中仅依赖连接关系进行训练,没有考虑子图结构信息,无法体现子图结构差异性,因此,本申请实施例中,在训练时加入了子图结构信息,通过加入节点的图结构特征向量,对网络结构描述更加完整,对训练过程进行约束,进而可以提高准确性和收敛速度。
步骤210:分别提取目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,其中,图结构特征向量表征包含预设阶数的子图结构的特征。
如上论述本申请实施例中训练时,在聚合特征向量基础上加入motif特征,即图结构特征向量作为标签指导和约束,具体执行步骤210时,可以分为以下两方面:
第一方面:分别提取目标节点,以及关联的正样本节点和负样本节点的聚合特征向量。
本申请实施例中,确定聚合特征向量可以采用现有的GraphSAGE算法,当然也可以采用其他算法,例如PinSAGE算法等,并不进行限制。
其中,针对目标节点,或关联的正样本节点和负样本节点均采用以下方式确定聚合特征向量:
S1、采用随机采样方式,获取第一待处理节点的邻居节点,其中,第一待处理节点为以下任意一种:目标节点、正样本节点、负样本节点。
其中,获取第一待处理节点的邻居节点时,对第一待处理节点的邻居节点进行随机采样,可以设置获取邻居节点的数目,以降低计算的复杂度,当然也可以获取所有的邻居节点,本申请实施例中并不进行限制。
并且,邻居节点并不限制在一阶,还可以设置阶数,并不进行限制,例如参阅图4所示,为本申请实施例中确定聚合特征向量的原理示意图,如图4中(1)所示,随机采样第一待处理节点A的二阶的邻居节点,图4中(1)中的箭头方向表示随机采样到的邻居节点,可知获得第一待处理节点的采样到的各个邻居节点。
S2、根据第一待处理节点和获取到的邻居节点的属性信息,分别确定第一待处理节点和获取到的邻居节点的初始特征向量。
其中,属性信息为该第一待处理节点的固有信息,基于不同的业务场景和该第一待处理节点对应的对象不同,相应的对应不同的属性信息,例如商品图网络中,属性信息例如为价格、品牌、颜色、样式等。
本申请实施例中,可以先根据属性信息,确定第一待处理节点和邻居节点本身的初始特征向量。
S3、将获取到的邻居节点的初始特征向量进行聚合。
S4、将聚合后的邻居节点的初始特征向量和第一待处理节点的初始特征向量进行拼接,获得第一待处理节点的聚合特征向量。
具体地,在聚合时,可以一阶一阶分别进行聚合,例如先分别聚合距离第一待处理节点第k-1阶的邻居节点对应的第k阶的邻居节点的初始特征向量,聚合后的初始特征向量与对应的第k-1阶的邻居节点进行拼接,获得第k-1阶的邻居节点最终的聚合特征向量,k-1阶的邻居节点再进行聚合,直至获得第一待处理节点最终的聚合特征向量。
其中,在聚合时,可以采用平均聚合、长短期记忆(Long Short-Term Memory,LSTM)网络聚合、池化(pooling)聚合等,本申请实施例中并不进行限制。
例如,平均聚合算法是将第k阶邻居节点的初始特征向量每个维度取平均,并与对应的第k-1阶的邻居节点进行拼接后进行非线性转换。还可以直接对第一待处理节点和所有获取到的邻居节点的初始特征向量中每个维度取平均再进行非线性转换。
又例如,LSTM聚合算法,由于LSTM不符合“排序不变量”的性质,需要先对邻居节点进行随机排序,然后将随机排序后的邻居节点序列的初始特征向量作为LSTM输入。
又例如,Pooling聚合算法,是先对每个邻居节点k-1层的初始特征向量进行非线性转换,再按维度应用最大池化操作或平均池化操作,捕获邻居节点集上在某方面的突出的或综合的表现,从而可以获得第一待处理节点的聚合特征向量。
例如,如图4中(2)所示,以平均聚合算法为例,图4中(2)中的箭头方向表示聚合方向,即分别根据二阶的采样到的邻居节点进行聚合,并与对应的一阶邻居节点进行拼接,获得一阶的邻居节点的聚合特征向量,再将各一阶的邻居节点进行聚合,并与第一待处理节点的初始特征向量进行拼接,如图4中(3)图所示,进而可以获得第一待处理节点的聚合特征向量。
第二方面:分别提取目标节点,以及关联的正样本节点和负样本节点的图结构特征向量。
本申请实施例中,图结构特征向量也可以称为motif特征,motif特征是用于统计图结构信息的手段,表示了图网络中不同连接结构形态,motif结构形态有多种,可以根据不同业务场景自行定义,因此motif结构形态通常带有丰富的业务先验信息。
其中,针对目标节点,或关联的正样本节点和负样本节点均采用以下方式确定图结构特征向量:
S1、确定以第二待处理节点为中心节点的预设阶数的子图结构,其中,第二待处理节点为以下任意一种:目标节点、正样本节点、负样本节点。
其中,确定第二待处理节点对应的子图结构的阶数,应该与预设子图结构的阶数相同,较佳的预设阶数大于等于2。
本申请实施例中,在训练时,可以针对各个第二待处理节点统计其子图结构,选取第二待处理节点的例如2阶的邻居节点构成子图,并计算子图的motif计数特征。
S2、基于各预设子图结构,分别统计各预设子图结构在第二待处理节点对应确定出的子图结构中的出现次数。
S3、根据统计的出现次数,确定第二待处理节点的图结构特征向量。
例如,参阅图5所示,为本申请实施例中一种子图结构形态示意图,如图5所示,列出了16种二阶的子图结构,当然还可以根据业务场景自定义不同的子图结构,并不进行限制,例如在金融图网络中,图5中第四种子图结构可以用于表示资金分发的状态,假设这16种二阶的子图结构为预设子图结构,则可以构成维度为16的向量,分别统计这16种子图结构在第二待处理节点对应确定出的子图结构中的出现次数,统计的这16种子图结构的出现次数即为16维向量中的元素,具体地,对于图5中第一种子图结构,统计该子图结构的出现次数,作为向量中的第一个元素,统计第二种子图结构的出现次数,作为向量中的第二个元素,依次可以获得16个出现次数,构成16维向量,即为第二待处理节点的图结构特征向量。
步骤220:根据目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,节点特征提取模型用于提取图网络中节点的聚合特征向量。
本申请实施例中,在训练图网络时,加入图结构信息,而实际中在图嵌入算法中,很难直观获取到对应的图结构信息,例如很难从节点的embedding特征中直接观察到motif结构形态,没有直观的motif结构形态,就难以在下游业务中完成此类形态的社区筛选,并且,针对大数据量的图网络,对整张图网络统计motif特征其计算量以及资源消耗量巨大,实现比较困难,因此本申请实施例中,为了解决该问题,一方面对相关技术中图嵌入算法进行改进,在训练过程中加入了motif特征,并且另一方面为了减少对motif特征的计算量,加入了motif attention模块,仅在训练时通过对出现次数的计算获得真实的motif特征,并基于此训练该motif attention模块,实现在训练完成后,可以直接预测获得节点的motif特征,而无需再重复通过统计出现次数计算,能够有效降低计算量。另外,本申请实施例中,通过加入motif特征训练时,还可以对损失函数进行约束,以提高准确性。
具体地,执行步骤220时包括:根据目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练节点特征提取模型,以使节点特征提取模型的目标损失函数收敛。
因此,本申请实施例中在训练图网络时,可以理解为多任务训练过程,一方面训练使得节点的图结构特征向量的表示更加准确,另一方面训练使得节点的聚合特征向量的表示更加准确,则目标损失函数包括第一损失函数和第二损失函数,第一损失函数为通过节点特征提取模型预测出的图结构特征向量与确定出的图结构特征向量之间的损失函数,第二损失函数使得目标节点与关联的正样本节点、负样本节点的图结构特征相似度与聚合特征相似度呈正比变化。
具体地,下面分别对第一损失函数和第二损失函数的确定方式进行说明:
第一部分:第一损失函数。
本申请实施例中针对第一损失函数的确定方式,提供了一种可能的实施方式:
1)对确定出的目标节点的图结构特征向量进行归一化处理。
即通过统计出现次数确定的目标节点的图结构特征向量,可以通过softmax函数进行归一化处理,将图结构特征向量中的元素归一化到0到1之间,得到具有motifattention信息的伪标签,通过motif attention模块可以学习到目标节点对应的出现次数最大的子图结构,这时,基于出现次数确定的图结构特征向量可以理解为真值。
2)将目标节点的初始特征向量,通过全连接层获得目标节点预测的图结构特征向量,其中,目标节点的初始特征向量是根据目标节点的属性信息确定的。
即通过全连接层获得的图结构特征向量为预测值,通过预测值和真值之间的差异确定第一损失函数,并不断训练,可以使得预测值不断接近真值,提高预测的图结构特征向量的准确性。
3)根据目标节点的归一化处理后的图结构特征向量和预测出的图结构特征向量,确定第一损失函数。
例如,第一损失函数为:Lmotif=|fs(VM)-V′M|。
其中,fs为softmax归一化公式,VM为基于出现次数确定的图结构特征向量,V′M为通过全连接层预测的图结构特征向量。
本申请实施例中第一损失函数可以仅基于目标节点确定,而不需要根据所有关联的正样本节点和负样本节点确定,可以降低复杂度。
第二部分:第二损失函数。
本申请实施例中针对第二损失函数的确定方式,提供了一种可能的实施方式:
1)根据目标节点,以及关联的正样本节点的图结构特征向量,分别确定目标节点与关联的正样本节点的第一图结构特征相似度权重参数。
2)根据目标节点,以及关联的负样本节点的图结构特征向量,分别确定目标节点与关联的负样本节点的第二图结构特征相似度权重参数。
3)根据第一图结构特征相似度权重参数、第二图结构特征相似度权重参数,并目标节点,以及关联的正样本节点和负样本节点的聚合特征向量,确定第二损失函数。
在训练过程中,通常是为了使得邻接节点的embedding特征更加相似,不连接或者关系连接疏远的节点特征更加不同,因此,这一类训练更多的是考虑两个节点间的关系密切度,而现实的图网络中,常常需要考虑两个节点所在子图的社区拓扑结构相似性。例如,作为正样本对的两个节点,若所在子图的社区拓扑结构相似,则该正样本对的相似度,应高于社区拓扑结构不相似的正样本对;而社区拓扑结构相似的负样本对,则应该削弱彼此的不相似度。因此,本申请实施例中,为了达到这个目的,本申请实施例中,对相关技术中的NCE损失函数进行改进,加入了图结构信息作为约束条件,得到基于motif特征信息的全局NCE损失函数,可以应用于任意的无监督图嵌入算法中。
第一图结构特征相似度权重参数为:
第二图结构特征相似度权重参数为:
则根据第一图结构特征相似度权重参数、第二图结构特征相似度权重参数,以及聚合特征向量确定的第二损失函数为:
其中,σ表示sigmoid函数,Q是负样本数量,Pn为负采样的概率分布,γ为超参数,用于调整权重大小。
这样,通过加入图结构信息,可以对正样本节点、负样本节点与目标节点的相似度进行调整和约束,使得聚合特征向量受motif特征的监督梯度影响,例如,若节点u,v的子图拓扑结构相似,则对应的motif特征相似,ωmotif(zu,zv)越小,对应的权重越大,此时u,v节点为正样本对,其embedding特征的点乘结果应该更小,则对应的embedding特征更相似,而u,vn为负样本对,若子图拓扑结构相似,则通过第二图结构特征相似度权重参数,可以使得对应的embedding特征不相似度会被削弱。
本申请实施例中,分别确定图网络中的目标节点的正样本节点和负样本节点,并分别确定目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,进而可以基于聚合特征向量和图结构特征向量,训练得到节点特征提取模型,这样训练图网络时,在聚合特征向量基础上加入了图结构特征向量,即加入了图结构信息,对网络结构的表示更加完整,也可以减少不合理正负样本对训练的影响,提高训练的收敛速度和准确性,并且通过训练可以将motif特征的复杂运算转换为简易的预测,即通过节点特征提取模型预测即可获得节点的图结构特征向量,降低了计算量,尤其对大数据图网络效果更好,进而可以直观给出motif指向性特征,便于后续下游的业务应用。
基于上述实施例,以采用GraphSAGE算法计算聚合特征向量为例进行说明,相关技术中在大数据图网络常用的GraphSAGE算法中,为了适应大网络的计算,社区结构信息被省略,导致图网络的结构信息缺失,GraphSAGE通过聚合一阶、二阶邻居节点的embedding特征,从而获取子图的部分拓扑结构模式,但是GraphSAGE只考虑子图上中心节点与邻居节点的连接状态(即中心节点是否与邻居节点连接),不考虑最后一阶邻居节点与邻居节点的关系,例如,如图6所示,为本申请实施例中不同图结构的节点示例图,如图6所示,在包含二阶邻居节点的子图中,图6中左图和右图的图结构完全不一样,但现有的GraphSAGE算法中,若各个节点的属性信息相似,A、B节点的embedding特征也会相似,无法体现图结构的差异性。
因此,本申请实施例中可以基于相关技术中的GraphSAGE算法,对其进行改进,在训练的过程中加入motif特征作为伪标签指导,提高节点特征向量表示的准确性,也提高训练收敛速度。
具体参阅图7所示,为本申请实施例中图网络训练方法原理示意图,目标节点为A,为了更加简单便于说明本申请实施例中的方法,以A的邻居节点包括节点B和节点C为例,另外对于目标节点A关联的正样本节点和负样本节点,在计算时原理相同,这里以节点D表示正样本节点或负样本节点进行说明,一次迭代训练需要基于目标节点A、正样本节点和负样本节点D来训练,这里仅是将正样本节点和负样本节点统一到节点D为例进行说明。
1)如图7中GraphSAGE模块,确定目标节点A、邻居节点B和C的初始特征向量,分别根据A、B和C的属性信息,确定A、B和C的初始特征向量,将B和C的初始特征向量进行聚合,称为目标节点A的邻居特征向量,并且与目标节点A的初始特征向量进行拼接(concat),获得目标节点A的聚合特征向量。
如图7中的motif attention模块,针对目标节点A,通过统计各预设子图结构在A对应确定出的子图结构中的出现次数,确定A的图结构特征向量,即motif特征。
将目标节点A的motif特征通过softmax函数进行归一化处理,获得具有motifattention信息的伪标签,将通过GraphSAGE获得的目标节点A的初始特征向量,通过全连接层,获得预测的图结构特征向量,根据目标节点A的归一化处理后的图结构特征向量和预测出的图结构特征向量,确定第一损失函数,通过motif的注意力机制学习,可以学习目标节点A对应的出现次数最多的图结构信息,从而提高通过全连接层预测的图结构特征向量的准确性。
2)节点D可以为目标节点A的正样本节点或负样本节点,同样地,可以通过GraphSAGE模块,确定节点D的聚合特征向量,并通过motif attention模块,确定节点D的图结构特征向量,但这时节点D可以不进行注意力机制学习,不需要将节点D用于第一损失函数。
3)进而可以根据目标节点A、节点D(包括关联的正样本节点和负样本节点)的图结构特征向量,分别确定第一图结构特征相似度权重参数和第二图结构特征相似度权重参数,并根据第一图结构特征相似度权重参数、第二图结构特征相似度权重参数、目标节点A和节点D的聚合特征向量,确定第二损失函数,第二损失函数中加入了motif特征约束,通过第二损失函数的训练学习,提高节点的向量表示的准确性,即获得聚合特征向量的准确性。
本申请实施例中,对GraphSAGE进行改进,在该算法基础上加入端到端的motifattention模块,通过motif attention模块可以实现对每个子图计算motif特征,通过学习得到每个节点的motif特征表示形式,并可以泛化到新的节点中,减少motif特征的重复计算,并且在计算NCE损失函数时加入motif特征约束,削弱motif特征相似的负样本对的区分度,减少无连接但同图结构的节点对之间的对抗,加快图网络训练的收敛,GraphSAGE缺乏对图拓扑结构的描述,motif特征可以用于弥补GraphSAGE缺失的图结构信息,从而可以提高图网络训练的准确性和可靠性。
本申请实施例中的图网络训练方法,可以应用于任意的与关系链相关的应用中,例如,商品推荐、金融关系链等业务场景。图网络训练完成后,就可以基于训练获得的节点特征提取模型,确定图网络中节点的特征向量表示,进而可以基于节点的特征向量表示,应用到业务场景中后续下游任务进行后续处理。
基于上述实施例,参阅图8所示,为本申请实施例中图网络中节点表示方法流程图,具体该方法包括:
步骤800:获取待处理节点。
步骤810:确定在图网络中以待处理节点为中心节点的子图结构,其中,子图结构中包括与待处理节点相连的节点和连接关系。
其中,子图结构的预设阶数,较佳的与训练时获取的子图结构的阶数相同。一个子图结构中通常可以包括子图结构中的各个节点,以及各个节点之间的连接关系。
步骤820:将子图结构输入节点特征提取模型,得到节点特征提取模型输出待处理节点对应的聚合特征向量。
进一步地,还可以同时将待处理节点和子图结构中包括的节点的属性信息作为输入,进而获得待处理节点的聚合特征向量。
其中,节点特征提取模型即是基于上述本申请实施例中的图网络训练方法进行训练获得的,具体地,节点特征提取模型是根据确定的目标节点,以及正样本节点和负样本节点的聚合特征向量和图结构特征向量进行训练,以使节点特征提取模型的目标损失函数收敛而获得的,其中,目标损失函数包括第一损失函数和第二损失函数,第一损失函数为通过节点特征提取模型预测出的图结构特征向量与确定出的图结构特征向量之间的损失函数,第二损失函数使得目标节点与关联的正样本节点、负样本节点的图结构特征相似度与聚合特征相似度呈正比变化。
本申请实施例中,在实际应用时,只需要输入待处理节点的子图,以及子图中包含的节点的属性信息,进而就可以基于已训练的节点特征提取模型,获得待处理节点的聚合特征向量,进一步地,还可以获得待处理节点的图结构特征向量。
具体地,基于上述实施例中图网络训练的方法,输入待处理节点的子图结构,以及属性信息,可以待处理节点以及子图结构中包括的其它节点的属性信息,分别确定待处理节点,以及子图结构中包括的其它节点的初始特征向量,并基于已训练的节点特征提取模型中的聚合函数(也称为聚合算法),聚合获得待处理节点的聚合特征向量,同时还可以基于已训练的节点特征提取模型中的全连接层,获得待处理节点的图结构特征向量。
这样,本申请实施例中,基于本申请实施例中的图网络训练方法训练获得的节点特征提取模型,新来一个节点,只需要通过前向计算即可以获得该节点所在子图的motif特征,无需通过统计出现次数重复计算,预测的motif特征和聚合特征向量联合,可以完善对图网络拓扑结构的描述,获得的聚合特征向量和图结构特征向量更加准确,进而可以提高其它业务功能的准确性。
基于上述实施例中,本申请实施例中还提供了一种具体业务应用场景的示例,基于本申请实施例中的图网络训练方法和图网络中节点表示方法,可以应用到一切与关系链相关的应用中,例如,以应用于商品推荐场景为例,具体参阅图9所示,为本申请实施例中基于图网络的信息推送方法流程图,具体该方法包括:
步骤900:获取待处理节点。
其中,待处理节点即为图网络中的节点,可以为新加入的节点,也可以为其它任意节点,图网络中的节点是与其业务应用场景相关联,例如商品推荐场景,图网络中每个节点即为一个商品,各个商品通过一定的关联关系连接起来,即组成了图网络。
步骤910:确定在图网络中以待处理节点为中心节点的子图结构,其中,子图结构中包括与待处理节点相连的节点和连接关系。
步骤920:将子图结构输入节点特征提取模型,得到节点特征提取模型输出待处理节点对应的聚合特征向量。
其中,聚合特征向量表征图网络中的待处理节点,即待处理节点的向量表示。
步骤930:基于图网络中各节点的聚合特征向量,筛选与待处理节点匹配的节点作为信息推送节点。
进一步地,通过上述实施例的图网络中节点表示方法,还可以获得图网络中其它各个节点的聚合特征向量,这里就不再进行赘述了。
具体地执行步骤930中筛选与待处理节点匹配的节点作为信息推送节点,本申请实施例中提供了一种可能的实施方式:
1)分别根据待处理节点的聚合特征向量和图网络中各节点的聚合特征向量,确定待处理节点与图网络中各节点的相似度。
例如,可以分别计算待处理节点和聚合特征向量和其它各个节点的聚合特征向量之间的余弦值,采用余弦相似度来衡量两个节点之间的相似度。
2)根据相似度,确定信息推送节点。
具有可以有以下两种方式:
第一种方式:将与待处理节点相似度大于阈值的节点作为信息推送节点。
第二种方式:将与待处理节点相似度最大的节点作为信息推送节点。
步骤940:将信息推送节点对应的业务信息进行推送。
例如,业务信息为商品,则可以推送与待处理节点对应的目标商品,相似度较大的商品,可以提高推送的准确性,从而提高用户购物体验,也可以帮助商家提高用户的购买率。
当然,本申请实施例中并不仅限于该业务场景,也可以应用到其它与关系链相关的业务场景中,本申请实施例中并不进行限制,需要说明的是,只要是基于本申请实施例中的图网络训练方法,以及图网络中节点表示方法来实现的,都应属于本申请的保护范围。
基于同一发明构思,本申请实施例中还提供了一种图网络训练装置,该图网络训练装置例如可以是前述实施例中的服务器,该图网络训练装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例,参阅图10所示,本申请实施例中一种图网络训练装置,具体包括:
第一确定模块1000,用于针对图网络中的目标节点,在图网络中确定目标节点的正样本节点和负样本节点,其中,目标节点与正样本节点的关联度大于目标节点与负样本节点的关联度;
第二确定模块1010,用于分别提取目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,其中,图结构特征向量表征包含预设阶数的子图结构的特征;
训练模块1020,用于根据目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,节点特征提取模型用于提取图网络中节点的聚合特征向量。
可选的,在图网络中确定目标节点关联的正样本节点和负样本节点时,第一确定模块1000具体用于:
采用随机游走方式,以目标节点为起点,确定图网络中各节点与目标节点的关联度;
将关联度大于等于关联阈值的节点,作为目标节点的正样本节点,将关联度小于关联阈值的节点,作为目标节点的负样本节点。
可选的,分别提取目标节点,以及关联的正样本节点和负样本节点的聚合特征向量时,第二确定模块1010用于:
针对目标节点,或关联的正样本节点和负样本节点均采用以下方式确定聚合特征向量:
采用随机采样方式,获取第一待处理节点的邻居节点,其中,第一待处理节点为以下任意一种:目标节点、正样本节点、负样本节点;
根据第一待处理节点和获取到的邻居节点的属性信息,分别确定第一待处理节点和获取到的邻居节点的初始特征向量;
将获取到的邻居节点的初始特征向量进行聚合;
将聚合后的邻居节点的初始特征向量和第一待处理节点的初始特征向量进行拼接,获得第一待处理节点的聚合特征向量。
可选的,分别提取目标节点,以及关联的正样本节点和负样本节点的图结构特征向量时,第二确定模块1010用于:
针对目标节点,或关联的正样本节点和负样本节点均采用以下方式确定图结构特征向量:
确定以第二待处理节点为中心节点的预设阶数的子图结构,其中,第二待处理节点为以下任意一种:目标节点、正样本节点、负样本节点;
基于各预设子图结构,分别统计各预设子图结构在第二待处理节点对应确定出的子图结构中的出现次数;
根据统计的出现次数,确定第二待处理节点的图结构特征向量。
可选的,根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型时,训练模块1020具体用于:
根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练节点特征提取模型,以使所述节点特征提取模型的目标损失函数收敛,其中,所述目标损失函数包括第一损失函数和第二损失函数,所述第一损失函数为通过所述节点特征提取模型预测出的图结构特征向量与确定出的图结构特征向量之间的损失函数,所述第二损失函数使得目标节点与关联的正样本节点、负样本节点的图结构特征相似度与聚合特征相似度呈正比变化。
可选的,针对第一损失函数的确定方式,还包括第一计算模块1030,用于:
对确定出的目标节点的图结构特征向量进行归一化处理;
将目标节点的初始特征向量,通过全连接层获得目标节点预测的图结构特征向量,其中,目标节点的初始特征向量是根据目标节点的属性信息确定的;
根据目标节点的归一化处理后的图结构特征向量和预测出的图结构特征向量,确定第一损失函数。
可选的,针对第二损失函数的确定方式,还包括第二计算模块1040,用于:
根据目标节点,以及关联的正样本节点的图结构特征向量,分别确定目标节点与关联的正样本节点的第一图结构特征相似度权重参数;
根据目标节点,以及关联的负样本节点的图结构特征向量,分别确定目标节点与关联的负样本节点的第二图结构特征相似度权重参数;
根据第一图结构特征相似度权重参数、第二图结构特征相似度权重参数,并目标节点,以及关联的正样本节点和负样本节点的聚合特征向量,确定第二损失函数。
本申请实施例中,在训练图网络时,分别确定目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,并基于目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练图网络,以使图网络的目标损失函数收敛,训练时加入了图结构信息,作为约束条件,可以降低正负样本的不合理性,加快收敛速度,并提高了训练的准确性。
基于同一发明构思,本申请实施例中还提供了一种基于图网络的信息推送装置,该装置例如可以是前述实施例中的服务器,该装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例,参阅图11所示,本申请实施例中一种基于图网络的信息推送装置,具体包括:
获取模块1100,用于获取待处理节点;
确定模块1110,用于确定在图网络中以待处理节点为中心节点的子图结构,其中,子图结构中包括与待处理节点相连的节点和连接关系;
提取模块1120,用于将子图结构输入节点特征提取模型,得到节点特征提取模型输出待处理节点对应的聚合特征向量;聚合特征向量表征图网络中的待处理节点;
筛选模块1130,用于基于图网络中各节点的聚合特征向量,筛选与待处理节点匹配的节点作为信息推送节点;
推送模块1140,用于将信息推送节点对应的业务信息进行推送。
这样,由于节点的聚合特征向量表示更加准确,在具有业务场景中,也可以提高信息推送的准确性。
基于上述实施例,参阅图12所示为本申请实施例中电子设备的结构示意图。
本申请实施例提供了一种电子设备,该电子设备可以是前述实施例中的服务器,该电子设备可以包括处理器1210(Center Processing Unit,CPU)、存储器1220、输入设备1230和输出设备1240等。
存储器1220可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器1210提供存储器1220中存储的程序指令和数据。在本申请实施例中,存储器1220可以用于存储本申请实施例中任一种图网络训练、图网络中节点表示方法、或基于图网络的信息推送方法的程序。
处理器1210通过调用存储器1220存储的程序指令,处理器1210用于按照获得的程序指令执行本申请实施例中任一种图网络训练、图网络中节点表示方法、或基于图网络的信息推送方法。
基于上述实施例,本申请实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任意方法实施例中的图网络训练、图网络中节点表示方法、或基于图网络的信息推送方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种基于图网络的信息推送方法,其特征在于,包括:
获取待处理节点;
确定在图网络中以所述待处理节点为中心节点的子图结构,其中,所述子图结构中包括与所述待处理节点相连的节点和连接关系;
将所述子图结构输入节点特征提取模型,得到所述节点特征提取模型输出所述待处理节点对应的聚合特征向量;所述聚合特征向量表征所述图网络中的所述待处理节点;
基于所述图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;
将所述信息推送节点对应的业务信息进行推送。
2.如权利要求1所述的方法,其特征在于,所述节点特征提取模型的训练方式为:
针对图网络中的目标节点,在所述图网络中确定所述目标节点的正样本节点和负样本节点,其中,目标节点与正样本节点的关联度大于目标节点与负样本节点的关联度;
分别提取所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,其中,所述图结构特征向量表征包含预设阶数的子图结构的特征;
根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,所述节点特征提取模型用于提取所述图网络中节点的聚合特征向量。
3.如权利要求2所述的方法,其特征在于,在所述图网络中确定所述目标节点的正样本节点和负样本节点,具体包括:
采用随机游走方式,以所述目标节点为起点,确定所述图网络中各节点与所述目标节点的关联度;
将关联度大于等于关联阈值的节点,作为所述目标节点的正样本节点,将关联度小于关联阈值的节点,作为所述目标节点的负样本节点。
4.如权利要求2所述的方法,其特征在于,分别提取所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量,包括:
针对所述目标节点,或关联的正样本节点和负样本节点均采用以下方式确定聚合特征向量:
采用随机采样方式,获取第一待处理节点的邻居节点,其中,所述第一待处理节点为以下任意一种:所述目标节点、正样本节点、负样本节点;
根据所述第一待处理节点和获取到的邻居节点的属性信息,分别确定所述第一待处理节点和所述获取到的邻居节点的初始特征向量;
将所述获取到的邻居节点的初始特征向量进行聚合;
将聚合后的邻居节点的初始特征向量和所述第一待处理节点的初始特征向量进行拼接,获得所述第一待处理节点的聚合特征向量。
5.如权利要求2-4任一项所述的方法,其特征在于,分别提取所述目标节点,以及关联的正样本节点和负样本节点的图结构特征向量,包括:
针对所述目标节点,或关联的正样本节点和负样本节点均采用以下方式确定图结构特征向量:
确定以第二待处理节点为中心节点的预设阶数的子图结构,其中,所述第二待处理节点为以下任意一种:所述目标节点、正样本节点、负样本节点;
基于各预设子图结构,分别统计所述各预设子图结构在所述第二待处理节点对应确定出的子图结构中的出现次数;
根据统计的出现次数,确定所述第二待处理节点的图结构特征向量。
6.如权利要求5所述的方法,其特征在于,根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练得到节点特征提取模型,具体包括:
根据所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量和图结构特征向量,训练节点特征提取模型,以使所述节点特征提取模型的目标损失函数收敛,其中,所述目标损失函数包括第一损失函数和第二损失函数,所述第一损失函数为通过所述节点特征提取模型预测出的图结构特征向量与确定出的图结构特征向量之间的损失函数,所述第二损失函数使得目标节点与关联的正样本节点、负样本节点的图结构特征相似度与聚合特征相似度呈正比变化。
7.如权利要求6所述的方法,其特征在于,所述第一损失函数的确定方式为:
对确定出的所述目标节点的图结构特征向量进行归一化处理;
将所述目标节点的初始特征向量,通过全连接层获得所述目标节点预测的图结构特征向量,其中,所述目标节点的初始特征向量是根据所述目标节点的属性信息确定的;
根据所述目标节点的归一化处理后的图结构特征向量和预测出的图结构特征向量,确定所述第一损失函数。
8.如权利要求6所述的方法,其特征在于,所述第二损失函数的确定方式为:
根据所述目标节点,以及关联的正样本节点的图结构特征向量,分别确定所述目标节点与关联的正样本节点的第一图结构特征相似度权重参数;
根据所述目标节点,以及关联的负样本节点的图结构特征向量,分别确定所述目标节点与关联的负样本节点的第二图结构特征相似度权重参数;
根据所述第一图结构特征相似度权重参数、所述第二图结构特征相似度权重参数,并所述目标节点,以及关联的正样本节点和负样本节点的聚合特征向量,确定所述第二损失函数。
9.一种基于图网络的信息推送装置,其特征在于,包括:
获取模块,用于获取待处理节点;
确定模块,用于确定在图网络中以所述待处理节点为中心节点的子图结构,其中,所述子图结构中包括与所述待处理节点相连的节点和连接关系;
提取模块,用于将所述子图结构输入节点特征提取模型,得到所述节点特征提取模型输出所述待处理节点对应的聚合特征向量;所述聚合特征向量表征所述图网络中的所述待处理节点;
筛选模块,用于基于所述图网络中各节点的聚合特征向量,筛选与所述待处理节点匹配的节点作为信息推送节点;
推送模块,用于将所述信息推送节点对应的业务信息进行推送。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-8任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010856777.3A CN112069398A (zh) | 2020-08-24 | 2020-08-24 | 一种基于图网络的信息推送方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010856777.3A CN112069398A (zh) | 2020-08-24 | 2020-08-24 | 一种基于图网络的信息推送方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112069398A true CN112069398A (zh) | 2020-12-11 |
Family
ID=73659955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010856777.3A Pending CN112069398A (zh) | 2020-08-24 | 2020-08-24 | 一种基于图网络的信息推送方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112069398A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112382414A (zh) * | 2021-01-11 | 2021-02-19 | 常州微亿智造科技有限公司 | 基于复杂网络的生物活动时间序列分析方法和装置 |
CN112508115A (zh) * | 2020-12-15 | 2021-03-16 | 北京百度网讯科技有限公司 | 建立节点表示模型的方法、装置、设备和计算机存储介质 |
CN112559864A (zh) * | 2020-12-14 | 2021-03-26 | 西安电子科技大学 | 一种基于知识图谱增强的双线性图网络推荐方法和系统 |
CN112784996A (zh) * | 2020-12-31 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种基于图表征的机器学习方法及系统 |
CN112784123A (zh) * | 2021-02-25 | 2021-05-11 | 电子科技大学 | 一种图网络冷启动推荐方法 |
CN112801206A (zh) * | 2021-02-23 | 2021-05-14 | 中国科学院自动化研究所 | 基于深度图嵌入网络与结构自学习的图像关键点匹配方法 |
CN112861963A (zh) * | 2021-02-04 | 2021-05-28 | 北京三快在线科技有限公司 | 训练实体特征提取模型的方法、装置和存储介质 |
CN112883170A (zh) * | 2021-01-20 | 2021-06-01 | 中国人民大学 | 一种用户反馈引导的自适应对话推荐方法和系统 |
CN113139654A (zh) * | 2021-03-18 | 2021-07-20 | 北京三快在线科技有限公司 | 图神经网络模型的训练方法及装置 |
CN113240505A (zh) * | 2021-05-10 | 2021-08-10 | 深圳前海微众银行股份有限公司 | 图数据的处理方法、装置、设备、存储介质及程序产品 |
CN113254707A (zh) * | 2021-06-10 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 模型确定、关联媒体资源确定方法和装置 |
CN113378899A (zh) * | 2021-05-28 | 2021-09-10 | 百果园技术(新加坡)有限公司 | 非正常账号识别方法、装置、设备和存储介质 |
CN113392289A (zh) * | 2021-06-08 | 2021-09-14 | 北京三快在线科技有限公司 | 搜索推荐方法、装置、电子设备 |
CN113590721A (zh) * | 2021-06-25 | 2021-11-02 | 中国人民银行数字货币研究所 | 一种区块链地址分类方法和装置 |
CN114329093A (zh) * | 2021-12-30 | 2022-04-12 | 马上消费金融股份有限公司 | 数据的处理方法、装置及设备 |
CN114491515A (zh) * | 2022-01-24 | 2022-05-13 | 中国人民解放军国防科技大学 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
CN115018009A (zh) * | 2022-07-07 | 2022-09-06 | 北京百度网讯科技有限公司 | 对象描述方法、网络模型的训练方法及装置 |
CN115496174A (zh) * | 2021-06-18 | 2022-12-20 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
CN116342228A (zh) * | 2023-05-18 | 2023-06-27 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
CN116384473A (zh) * | 2023-06-02 | 2023-07-04 | 支付宝(杭州)信息技术有限公司 | 一种计算图改进、信息推送方法及装置 |
-
2020
- 2020-08-24 CN CN202010856777.3A patent/CN112069398A/zh active Pending
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112559864A (zh) * | 2020-12-14 | 2021-03-26 | 西安电子科技大学 | 一种基于知识图谱增强的双线性图网络推荐方法和系统 |
CN112508115A (zh) * | 2020-12-15 | 2021-03-16 | 北京百度网讯科技有限公司 | 建立节点表示模型的方法、装置、设备和计算机存储介质 |
CN112508115B (zh) * | 2020-12-15 | 2023-10-24 | 北京百度网讯科技有限公司 | 建立节点表示模型的方法、装置、设备和计算机存储介质 |
CN112784996A (zh) * | 2020-12-31 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种基于图表征的机器学习方法及系统 |
CN112784996B (zh) * | 2020-12-31 | 2023-06-02 | 杭州海康威视数字技术股份有限公司 | 一种基于图表征的机器学习方法及系统 |
CN112382414A (zh) * | 2021-01-11 | 2021-02-19 | 常州微亿智造科技有限公司 | 基于复杂网络的生物活动时间序列分析方法和装置 |
CN112382414B (zh) * | 2021-01-11 | 2021-05-11 | 常州微亿智造科技有限公司 | 基于复杂网络的生物活动时间序列分析方法和装置 |
CN112883170A (zh) * | 2021-01-20 | 2021-06-01 | 中国人民大学 | 一种用户反馈引导的自适应对话推荐方法和系统 |
CN112883170B (zh) * | 2021-01-20 | 2023-08-18 | 中国人民大学 | 一种用户反馈引导的自适应对话推荐方法和系统 |
CN112861963A (zh) * | 2021-02-04 | 2021-05-28 | 北京三快在线科技有限公司 | 训练实体特征提取模型的方法、装置和存储介质 |
CN112801206B (zh) * | 2021-02-23 | 2022-10-14 | 中国科学院自动化研究所 | 基于深度图嵌入网络与结构自学习的图像关键点匹配方法 |
CN112801206A (zh) * | 2021-02-23 | 2021-05-14 | 中国科学院自动化研究所 | 基于深度图嵌入网络与结构自学习的图像关键点匹配方法 |
CN112784123A (zh) * | 2021-02-25 | 2021-05-11 | 电子科技大学 | 一种图网络冷启动推荐方法 |
CN112784123B (zh) * | 2021-02-25 | 2023-05-16 | 电子科技大学 | 一种图网络冷启动推荐方法 |
CN113139654A (zh) * | 2021-03-18 | 2021-07-20 | 北京三快在线科技有限公司 | 图神经网络模型的训练方法及装置 |
CN113240505B (zh) * | 2021-05-10 | 2024-05-24 | 深圳前海微众银行股份有限公司 | 图数据的处理方法、装置、设备、存储介质及程序产品 |
CN113240505A (zh) * | 2021-05-10 | 2021-08-10 | 深圳前海微众银行股份有限公司 | 图数据的处理方法、装置、设备、存储介质及程序产品 |
CN113378899B (zh) * | 2021-05-28 | 2024-05-28 | 百果园技术(新加坡)有限公司 | 非正常账号识别方法、装置、设备和存储介质 |
CN113378899A (zh) * | 2021-05-28 | 2021-09-10 | 百果园技术(新加坡)有限公司 | 非正常账号识别方法、装置、设备和存储介质 |
CN113392289A (zh) * | 2021-06-08 | 2021-09-14 | 北京三快在线科技有限公司 | 搜索推荐方法、装置、电子设备 |
CN113254707A (zh) * | 2021-06-10 | 2021-08-13 | 北京达佳互联信息技术有限公司 | 模型确定、关联媒体资源确定方法和装置 |
CN115496174A (zh) * | 2021-06-18 | 2022-12-20 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
CN115496174B (zh) * | 2021-06-18 | 2023-09-26 | 中山大学 | 优化网络表示学习的方法、模型训练方法和系统 |
CN113590721A (zh) * | 2021-06-25 | 2021-11-02 | 中国人民银行数字货币研究所 | 一种区块链地址分类方法和装置 |
CN113590721B (zh) * | 2021-06-25 | 2024-01-30 | 中国人民银行数字货币研究所 | 一种区块链地址分类方法和装置 |
CN114329093A (zh) * | 2021-12-30 | 2022-04-12 | 马上消费金融股份有限公司 | 数据的处理方法、装置及设备 |
CN114491515A (zh) * | 2022-01-24 | 2022-05-13 | 中国人民解放军国防科技大学 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
CN114491515B (zh) * | 2022-01-24 | 2022-12-30 | 中国人民解放军国防科技大学 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
CN115018009A (zh) * | 2022-07-07 | 2022-09-06 | 北京百度网讯科技有限公司 | 对象描述方法、网络模型的训练方法及装置 |
CN116342228B (zh) * | 2023-05-18 | 2023-10-20 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
CN116342228A (zh) * | 2023-05-18 | 2023-06-27 | 云筑信息科技(成都)有限公司 | 一种基于有向图神经网络的相关推荐的方法 |
CN116384473B (zh) * | 2023-06-02 | 2023-08-08 | 支付宝(杭州)信息技术有限公司 | 一种计算图改进、信息推送方法及装置 |
CN116384473A (zh) * | 2023-06-02 | 2023-07-04 | 支付宝(杭州)信息技术有限公司 | 一种计算图改进、信息推送方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112069398A (zh) | 一种基于图网络的信息推送方法及装置 | |
US11195312B1 (en) | Gragnostics rendering | |
US11315030B2 (en) | Continuously learning, stable and robust online machine learning system | |
CN113536383B (zh) | 基于隐私保护训练图神经网络的方法及装置 | |
US11907675B2 (en) | Generating training datasets for training neural networks | |
EP4177792A1 (en) | Ai model updating method and apparatus, computing device and storage medium | |
CN111581450B (zh) | 确定用户的业务属性的方法及装置 | |
WO2020038100A1 (zh) | 一种特征关系推荐方法及装置、一种计算设备及存储介质 | |
CN111930983B (zh) | 一种图像检索方法、装置、电子设备及存储介质 | |
CN109271488B (zh) | 一种结合行为序列和文本信息的社交网络用户间因果关系发现方法及系统 | |
Khajenezhad et al. | A distributed density estimation algorithm and its application to naive Bayes classification | |
WO2023179429A1 (zh) | 一种视频数据的处理方法、装置、电子设备及存储介质 | |
CN113592593A (zh) | 序列推荐模型的训练及应用方法、装置、设备及存储介质 | |
CN115062779A (zh) | 基于动态知识图谱的事件预测方法及装置 | |
CN112597399B (zh) | 图数据处理方法、装置、计算机设备和存储介质 | |
CN114398350A (zh) | 训练数据集的清洗方法、装置及服务器 | |
CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
CN113746780B (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
CN113553577A (zh) | 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统 | |
CN116010615A (zh) | 实体的对齐方法、装置、电子设备及计算机存储介质 | |
CN111428741B (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 | |
CN116150429A (zh) | 异常对象识别方法、装置、计算设备以及存储介质 | |
CN115345687A (zh) | 一种跨网站商品对齐方法及装置 | |
CN112364181A (zh) | 一种保险产品匹配度确定方法及装置 | |
CN112750047A (zh) | 行为关系信息提取方法及装置、存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |