CN111309923B - 对象向量确定、模型训练方法、装置、设备和存储介质 - Google Patents
对象向量确定、模型训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111309923B CN111309923B CN202010074197.9A CN202010074197A CN111309923B CN 111309923 B CN111309923 B CN 111309923B CN 202010074197 A CN202010074197 A CN 202010074197A CN 111309923 B CN111309923 B CN 111309923B
- Authority
- CN
- China
- Prior art keywords
- target
- training
- node
- nodes
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 638
- 238000012549 training Methods 0.000 title claims abstract description 539
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000010586 diagram Methods 0.000 claims description 55
- 230000006399 behavior Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009795 derivation Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 9
- 238000012546 transfer Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种对象向量确定、模型训练方法、装置、计算机设备和存储介质,涉及人工智能,所述方法包括:获取目标网络图对应的目标特征,所述目标网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的关联关系,所述目标特征包括节点特征以及边特征;获取已训练的目标向量确定模型;将所述目标特征输入到所述目标向量确定模型中,所述目标向量确定模型对所述目标节点对应的组合特征进行处理,得到所述目标节点对应的目标向量表示,将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示。上述方法可以提高确定目标对象的向量表示的准确度。
Description
技术领域
本申请涉及计算机领域,特别是涉及对象向量确定、模型训练方法、装置、计算机设备和存储介质。
背景技术
随着互联网的发展,互联网平台上的对象越来越多,在很多情况下需要确定对象的向量表示,以根据对象的向量对对象进行分析,例如,可以获取用户的向量表示,也可以获取词语的向量表示(也称为词向量),以根据词向量进行文本分析。
目前,在确定对象的向量表示时,通常是根据对象本身的特征确定的。例如可以将对象的特征作为对象的向量表示,但这种方法得到的对象的向量表示准确度低。
发明内容
基于此,有必要针对上述得到的对象的向量表示准确度低的问题,提供一种对象向量确定、模型训练方法、装置、计算机设备和存储介质。
一种对象向量确定方法,所述方法包括:获取目标网络图对应的目标特征,所述目标网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的关联关系,所述目标特征包括节点特征以及边特征;获取已训练的目标向量确定模型;将所述目标特征输入到所述目标向量确定模型中,所述目标向量确定模型对所述目标节点对应的组合特征进行处理,得到所述目标节点对应的目标向量表示,将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示;其中,所述目标节点对应的组合特征是目标邻接节点特征与目标邻接边特征进行组合得到的,所述目标邻接节点特征为所述目标网络图中,所述目标节点对应的目标邻接节点的节点特征,所述目标邻接边特征为所述目标网络图中,所述目标节点与对应的目标邻接节点之间的边对应的边特征。
一种对象向量确定装置,所述装置包括:目标特征获取模块,用于获取目标网络图对应的目标特征,所述目标网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的关联关系,所述目标特征包括节点特征以及边特征;目标向量确定模型获取模块,用于获取已训练的目标向量确定模型;目标向量表示得到模块,用于将所述目标特征输入到所述目标向量确定模型中,所述目标向量确定模型对所述目标节点对应的组合特征进行处理,得到所述目标节点对应的目标向量表示,将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示;其中,所述目标节点对应的组合特征是目标邻接节点特征与目标邻接边特征进行组合得到的,所述目标邻接节点特征为所述目标网络图中,所述目标节点对应的目标邻接节点的节点特征,所述目标邻接边特征为所述目标网络图中,所述目标节点与对应的目标邻接节点之间的边对应的边特征。
在一些实施例中,所述目标向量确定模型包括第一目标模型参数,所述目标向量表示得到模块包括:目标邻接节点获取单元,用于获取所述目标网络图中所述目标节点对应的各个目标邻接节点;组合单元,用于将所述目标邻接节点的节点特征和所述目标邻接节点与所述目标节点之间的边对应的边特征进行组合,得到各个所述目标邻接节点分别对应的组合特征;第一卷积向量得到单元,用于利用所述第一目标模型参数对各个所述目标邻接节点对应的组合特征分别进行卷积,得到各个所述目标邻接节点分别对应的第一卷积向量;目标向量表示得到单元,用于根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示。
在一些实施例中,当所述目标邻接节点为多个时,所述目标向量表示得到单元用于:对多个所述目标邻接节点对应的第一卷积向量进行统计处理,得到统计向量;根据所述统计向量得到所述目标节点对应的目标向量表示。
在一些实施例中,所述目标向量确定模型包括第二目标模型参数,所述装置还包括:第二卷积向量得到模块,用于利用所述第二目标模型参数对所述目标节点对应的节点特征进行卷积处理,得到所述目标节点对应的第二卷积向量;所述目标向量表示得到单元用于:根据所述目标邻接节点分别对应的第一卷积向量以及所述目标节点对应的第二卷积向量得到所述目标节点对应的目标向量表示。
在一些实施例中,训练得到所述目标向量确定模型的模块包括:训练特征获取模块,用于获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的关联关系,所述训练特征包括节点特征以及边特征;第一训练向量得到模块,用于将所述训练特征输入到待训练的向量确定模型中,所述待训练的向量确定模型对所述训练节点对应的第一组合特征进行处理,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;目标模型损失值得到模块,用于根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;参数调整模块,用于根据所述目标模型损失值对所述待训练的向量确定模型中的模型参数进行调整,得到已训练的所述目标向量确定模型。
在一些实施例中,所述目标节点之间的边的边特征的得到模块用于:获取第一目标对象与第二目标对象之间的关联行为数据;根据所述关联行为数据得到关联特征,将所述关联特征作为表示所述第一目标对象对应的目标节点与所述第二目标对象对应的目标节点之间的边的边特征。
在一些实施例中,所述目标对象为目标用户,所述装置还包括:内容向量表示获取模块,用于获取候选内容集合中各个候选内容对应的内容向量表示;向量相似度计算模块,用于计算所述目标用户对应的目标向量表示与所述候选内容对应的内容向量表示的向量相似度;筛选模块,用于根据所述向量相似度从所述候选内容集合中筛选得到所述目标用户对应的目标内容;推送模块,用于将所述目标内容对应的内容相关信息推送至所述目标用户对应的终端。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述对象向量确定方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述对象向量确定方法的步骤。
上述对象向量确定方法、装置、计算机设备和存储介质,可通过获取目标网络图的目标特征,目标特征包括节点特征以及边特征,对于目标节点其对应的目标向量表示是利用向量确定模型对组合特征训练得到的,组合特征根据节点的邻接节点以及邻接边的特征组合得到,由于同时考虑目标节点的邻接节点的特征以及目标节点与目标邻接节点之间的节点特征,且利用已经经过机器学习训练的目标向量确定模型确定目标节点的向量表示,因此可以得到准确的目标对象的目标向量表示,提高了确定目标对象的向量表示的准确度。
一种向量确定模型训练方法,所述方法包括:获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的关联关系,所述训练特征包括节点特征以及边特征;将所述训练特征输入到待训练的向量确定模型中,所述待训练的向量确定模型对所述训练节点对应的第一组合特征进行处理,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;根据所述目标模型损失值对所述待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
一种向量确定模型训练装置,所述装置包括:训练特征获取模块,用于获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的关联关系,所述训练特征包括节点特征以及边特征;第一训练向量得到模块,用于将所述训练特征输入到待训练的向量确定模型中,所述待训练的向量确定模型对所述训练节点对应的第一组合特征进行处理,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;目标模型损失值得到模块,用于根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;参数调整模块,用于根据所述目标模型损失值对所述待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
在一些实施例中,所述目标模型损失值得到模块用于:计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;计算所述训练节点的第一训练向量表示与非训练邻接节点的第一训练向量表示的第二相似度,根据所述第二相似度确定第二模型损失值,所述第二模型损失值与所述第二相似度成正相关关系;根据所述第一模型损失值以及所述第二模型损失值确定目标模型损失值。
在一些实施例中,所述目标模型损失值得到模块用于:对所述训练网络图进行调整处理,得到调整网络图,所述调整处理包括边切断操作或者节点连接操作的至少一个;获取所述调整网络图对应的向量表示;计算所述调整网络图的向量表示与所述训练网络图中所述训练节点的第一训练向量表示的第三相似度,根据所述第三相似度得到第三模型损失值,所述第三模型损失值与所述第三相似度成正相关关系; 计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;根据所述第一模型损失值以及所述第三模型损失值得到目标模型损失值。
在一些实施例中,所述目标模型损失值得到模块用于:将所述调整网络图对应的训练特征输入到待训练的向量确定模型中,所述待训练的向量确定模型对所述训练节点对应的第二组合特征进行处理,得到各个所述训练节点对应的第二训练向量表示,其中,所述训练节点对应的第二组合特征是对所述调整网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;对所述训练节点对应的第二训练向量表示进行统计处理,得到所述调整网络图对应的向量表示。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述对象向量确定方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述对象向量确定方法的步骤。
上述向量确定模型训练方法、装置、计算机设备和存储介质,可通过获取训练网络图的目标特征,训练特征包括节点特征以及边特征,对于训练节点,其对应的训练向量表示是利用向量确定模型对组合特征训练得到的,组合特征根据节点的邻接节点以及邻接边的特征组合得到,由于同时考虑节点的邻接节点的特征以及训练节点与训练邻接节点之间的节点特征,因此可学习得到同时考虑邻接节点特征以及边特征对节点的向量进行表示的模型参数,提高了训练得到的目标向量确定模型的准确度,且模型损失值根据节点与对应的邻接节点的训练向量表示的相似度确定,因此可以在无监督的情况下进行模型的训练,提高了模型训练的效率。
附图说明
图1为一些实施例中提供的对象向量确定方法的应用环境图;
图2为一些实施例中对象向量确定方法的流程图;
图3为一些实施例中对象向量网络结构图的示意图;
图4为一些实施例中将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示的流程图;
图5为一些实施例中得到目标节点对应的目标向量表示的原理示意图;
图6为一些实施例中卷积层进行卷积处理的示意图;
图7为一些实施例中向量确定模型训练方法的流程图;
图8为一些实施例中根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值法的流程图;
图9为一些实施例中对训练网络图进行调整操作,得到调整网络图的示意图;
图10为一些实施例中对象向量确定装置的结构框图;
图11为一些实施例中向量确定模型训练装置的结构框图;
图12为一些实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一组合特征称为第二组合特征,且类似地,可将第二组合特征称为第一组合特征。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
自然语言处理(Nature Language processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习技术,具体通过如下实施例进行说明:
图1为一些实施例中提供的对象向量确定方法的应用环境图,如图1所示,在该应用环境中,包括终端110以及服务器120。服务器120上可以部署有目标向量确定模型,目标向量确定模型可以是根据本申请实施例提供的向量确定模型训练方法训练得到的,可以是图卷积神经网络模型。当需要确定目标对象对应的目标向量表示时,终端110可以向服务器120发送对象向量确定指令,服务器120获取对应的目标网络图,获取目标网络图对应的目标特征,执行本申请实施例提供的对象向量确定方法,得到目标对象的向量表示。
本申请实施例提供的对象确定方法涉及网络表示学习算法(NetworkRepresentation Learning),网络表示学习算法旨在学习网络中节点的低维度潜在表示,可以将高维网络拓扑结构转化为低维空间表示,例如网络表示学习算法可以将网络图( n× m 矩阵)表示为一个 n × k的矩阵,n表示节点的数量,其中 k小于 m。学习到的向量表示可以用作基于图的各种任务的特征,例如分类、聚类、链路预测或者可视化的至少一个。
由于目标对象的向量表示整合了目标对象的邻接节点的特征以及邻接边的特征,因此该目标对象的向量表示可以表示了目标对象的特性,因此可以基于目标对象的向量表示获取目标对象对应的推送信息或者对目标用户的属性进行预测。例如,假设目标对象为用户,则可以获取与目标向量表示相似的内容向量,向用户推送与相似的内容向量对应的内容。也可以将该目标向量表示作为用户对应的特征,输入到分类模型中,对用户进行分类。也可以是获取向量表示相似的用户,根据相似的用户的属性预测另一个用户的属性。
服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群,可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端110以及服务器120可以通过网络等通讯连接方式进行连接,本申请在此不做限制。
如图2所示,在一些实施例中,提出了一种对象向量确定方法,本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤:
步骤S202, 获取目标网络图对应的目标特征,目标网络图的目标节点与待确定向量表示的目标对象对应,目标节点之间的边表示目标对象之间的关联关系,目标特征包括节点特征以及边特征。
具体地,目标网络图包括节点以及边,可以用点和边的集合来表示图:G=(E,V)。其中E表示边的集合,V表示节点的集合。节点表示目标对象,一个节点对应一个目标对象,节点之间可以存在边,也可以不存在边,目标节点存在边表示目标对象之间存在关联关系,不存在边表示不存在关联关系或者关联关系没有挖掘得到。存在关联关系是指对象之间是有关联的。对象之间是否关联可以根据目标网络图的类型确定,例如如果目标网络图为社交网络图,目标对象为社交用户,则对象之间存在关联关系是指用户之间存在社交关系。如果目标网络图为用户的兴趣网络图,则对象之间存在关联关系是指目标用户之间存在兴趣关联关系,例如加入过相同的兴趣圈子等。如果目标网络图为交易网络图,则对象之间存在关联关系是指目标用户之间存在交易关联关系,例如进行过转账等。举个实际的例子,假设包括三个用户:a、b以及c,如果网络图为交易网络图,a与b之间进行过交易,b与c之间没有进行过交易。则a节点与b节点之间存在边,b节点与c节点之间不存在边。
目标网络图包括多个目标节点,“多个”是指至少两个。如图3所示,为一些实施例中网络结构图的示意图,图3中一个节点表示一个目标对象,节点之间的连线表示边,存在边表示节点之间存在关联关系,由图3可以看出,目标网络图中可以包括13个目标对象分别对应的节点1-节点13。
目标对象是指需要确定向量表示的对象,目标对象的向量表示是指利用向量表示一个对象,该向量表示可以用于表示用户的特性。目标对象的类型根据具体情况确定,可以是用户、设备或者词语中的至少一个。
节点特征用于表示对象的特征,可以获取各个目标对应的节点特征。可以包括根据目标对象的属性信息或者根据目标对象的行为得到的特征中至少一种。用户的行为则可以根据目标网络图的类型确定,例如假设目标网络图为兴趣网络图,则用户的行为可以是与内容浏览有关的行为,可以根据用户的内容浏览行为得到的用户对应的浏览特征。目标网络图对应的节点特征数学表示可以为FN ={FN0, FN1, FN2,…FNn},其中,n为目标网络图中,节点的数量,FNi表示第i个节点对应的节点特征。
边特征是用于表示关联关系的特征。可以根据对象之间的关联行为数据得到。关联行为数据是与至少两个对象关联的行为有关的数据。例如可以是交易行为数据。关联行为数据也可以根据目标网络图的类型得到,例如假设目标网络图为交易网络图,则关联行为数据可以包括交易金额、交易次数或者最后一次交易的时间的至少一种得到。目标网络图对应的边特征数学表示为FE ={FE0, FE1, FE2,…FEe},其中e为目标网络图中边的数量。FEi表示第i个边对应的边特征。
在一些实施例中,可以获取第一目标对象与第二目标对象之间的关联行为数据;根据关联行为数据得到关联特征,将关联特征作为表示第一目标对象对应的目标节点与第二目标对象对应的目标节点之间的边的边特征。
具体地,可以将关联行为数据作为关联特征,也可以是将关联行为数据进一步处理,得到关联特征。举个例子,假设关联数据为交易次数为2次,而对于交易次数对应的特征,交易次数1至3次对应一个关联特征a1,交易次数4至6次对应一个关联特征a2,则交易次数为2次对应的关联特征为a1。第一目标对象以及第二目标对象为目标网络图的任意目标节点对应的对象。举个实际的例子,如果用户A向用户B转账两次,第一次转账200元,第二次转账500元,则关联特征包括转账金额为700元,交易次数为2次。
特征也可以用向量表示,只是一般情况下,由于该特征向量没有经过处理,是一个高维的向量表示,因此需要采用本申请实施例提供的对象向量确定方法确定低维特征表示。例如,特征可以通过one-hot(独热码)编码成用数值表示的特征。
步骤S204,获取已训练的目标向量确定模型。
具体地,目标向量确定模型用于确定节点对应的向量表示,目标向量确模型可以是图卷积网络模型(Graph Convolutional Network,GCN)。图卷积网络模型是一种用于对图数据进行特征提取的深度学习网络,其中包含多个卷积层,各个卷积层可以用于对上一卷积层输出的特征进行进一步特征提取,用公式表示如下:HL+1=WHL,其中HL表示第L层卷积层的输出,为第L+1层的输入。HL+1表示第L+1层卷积层的输出。W表示模型的参数,当L等于0时 H0表示目标特征。
在一些实施例中,目标向量确定模型可以包括第一目标模型参数以及第二目标模型参数,第一目标模型参数用于对目标节点对应的邻接节点的节点特征以及目标节点的边的边特征进行处理,第二目标模型参数用于对目标节点对应的节点特征进行处理。通过区分传播近邻节点以及边的特征到目标节点的模型参数,以及节点本身的特征传播到目标节点的模型参数,使得目标向量确定模型输出的节点的向量表示既考虑了节点本身的特征,又考虑了近邻节点的特征以及边的特征信息。
步骤S206,将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示,将目标节点对应的目标向量表示作为对应的目标对象的向量表示,目标节点对应的组合特征是目标邻接节点特征与目标邻接边特征进行组合得到的,目标邻接节点特征为目标网络图中,目标节点对应的目标邻接节点的节点特征,目标邻接边特征为目标网络图中,目标节点与对应的目标邻接节点之间的边对应的边特征。
具体地,一个节点的邻接节点是指与一个节点存在边连接的节点。目标邻接节点是指目标节点的邻接节点。可以理解,目标邻接节点也是目标网络图中的目标节点。对于一个目标节点,当需要计算其对应的向量表示时,则获取目标网络图中,其邻接的目标节点作为目标邻接节点。例如,假设目标节点a与目标节点b之间存在边连接,当需要计算目标节点a的向量表示时,将目标节点b作为目标节点a的目标邻接节点。当需要计算目标节点b的向量表示时,将目标节点a作为目标节点b的目标邻接节点。
组合特征是指将两个特征组合在一起。组合的方式可以是按行或者列进行拼接。按行拼接是指相同行号的拼接在一起,因此如果是一个n行*m列的特征,与一个n行*k列的特征拼接,则拼接得到的特征为n行*(m+k)列。按列拼接是指相同列号的拼接在一起。例如,假设第一个特征对应的向量表示为(1,2,3),第二个特征对应的向量表示为(4,5,6),则按行进行拼接,得到(1,2,3,4,5,6) 。
一个目标节点的邻接节点可以为一个或多个。一个邻接节点对应一个组合特征。例如,假设目标节点a与目标节点b以及目标节点c之间存在边连接。则目标节点a的邻接节点为b与c。可以将邻接节点b以及邻接节点b与a之间的边对应的特征进行组合,得到目标节点对应的第一个组合特征。将邻接节点c以及邻接节点c与a之间的边对应的特征进行组合,得到目标节点对应的第二个组合特征。
可以理解,由于目标向量确定模型可以包括多层隐层例如多层卷积层,而各个卷积层可以用于对上一卷积层输出的特征进行进一步特征提取,因此对于每一层卷积层,可以是将上一层卷积层输出的邻接节点的特征与目标节点与邻接节点的边特征进行组合。
在一些实施例中,当目标向量模型为图卷积神经网络模型时,对于相同的卷积层,第一目标模型参数以及第二目标模型参数可以是共享的,即对于组合特征而言,用于对组合特征进行处理的为相同的第一目标模型参数。用于根据目标节点的特征进行自身传播的第二目标模型参数,对于各个目标节点而言,都是相同的。因此,即使目标网络图的结构的变化,也无需重新对目标向量确定模型进行重新训练,也可以利用该目标向量确定模型确定目标网络图中目标节点的向量表示。即用于模型训练的训练网络图与目标网络图的结构可以不同。结构不同可以包括节点个数或者边的连接情况不同的至少一种。
得到目标节点的目标向量表示之后,由于目标节点与目标对象对应,因此可以将目标节点的向量表示作为对应的目标对象的向量表示。
上述对象向量确定方法,可通过获取目标网络图的目标特征,目标特征包括节点特征以及边特征,对于目标节点其对应的目标向量表示是利用向量确定模型对组合特征训练得到的,组合特征根据节点的邻接节点以及邻接边的特征组合得到,由于同时考虑目标节点的邻接节点的特征以及目标节点与目标邻接节点之间的节点特征,且利用已经经过机器学习训练的目标向量确定模型确定目标节点的向量表示,因此可以得到准确的目标对象的目标向量表示,提高了确定目标对象的向量表示的准确度。
本申请实施例中,由于目标特征包含各个节点的特征信息以及节点之间的边的特征信息,而且组合了节点的特征与边特征进行处理,得到目标节点的向量表示,因此能够同时学习到图数据的节点特征、边特征以及结构特征,提高了得到的向量表示的准确度。
在一些实施例中,得到目标对象的向量表示后,该目标向量可以作为各种机器学习模型的输入,可以利用该目标对象的向量进行内容的推送,例如广告的推送。获取与内容对应的向量相似的用户向量,作为该内容对应的推送用户。
在一些实施例中,目标对象为目标用户,对象向量确定方法还包括:获取候选内容集合中各个候选内容对应的内容向量表示;计算目标用户对应的目标向量表示与候选内容对应的内容向量表示的向量相似度;根据向量相似度从候选内容集合中筛选得到目标用户对应的目标内容;将目标内容对应的内容相关信息推送至目标用户对应的终端。
具体地,内容可以是图片、文字或者视频中的至少一种。候选内容对应的内容向量表示可以是预先设置的,向量相似度用于表示向量之间的相似程度,相似度越大,则表示内容越相似。相似度可以利用欧式距离或者余弦相似度等方法的至少一种得到。当利用向量的距离表示相似度时,距离与相似度成负相关关系,即距离越大,相似度越小。可以获取相似度大于预设相似度的内容向量对应的候选内容作为目标内容。目标内容的内容信息可以包括内容的相关信息,例如内容本身、内容的标题、摘要或者关键词的至少一个。当用户向量与内容向量相似时,说明该用户对该内容是兴趣的,因此可以向该目标用户对应的终端推送目标内容的内容相关信息,以减少无效的推送,提高推送准确度。
在一些实施例中,目标向量确定模型包括第一目标模型参数,如图4所示,将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示包括:
步骤S402,获取目标网络图中目标节点对应的各个目标邻接节点。
具体地,目标节点可以对应一个或多个邻接节点,具体根据实际确定。将目标节点对应的邻接节点作为目标邻接节点。例如,参考图3,节点2的邻接节点有4个:1、3、4以及5。
步骤S404,将目标邻接节点的节点特征和目标邻接节点与目标节点之间的边对应的边特征进行组合,得到各个目标邻接节点分别对应的组合特征。
具体地,将每一个邻接节点的节点特征和该邻接节点与目标节点之间的边的边特征进行组合,作为该邻接节点对应的组合特征。基于该邻接节点的组合特征进行特征传播,以得到目标节点的向量表示中。例如,对于目标节点2的邻接节点1,将节点1的节点特征与1与2之间的边的边特征进行组合,得到节点1对应的组合特征。对于目标节点2的邻接节点3,将节点3的节点特征与3与2之间的边的边特征进行组合,得到节点3对应的组合特征。将目标邻接节点分别对应的组合特征作为计算目标节点对应向量表示的组合特征。
步骤S406,利用第一目标模型参数对各个目标邻接节点对应的组合特征分别进行卷积,得到各个目标邻接节点分别对应的第一卷积向量。
具体地,对于每一个目标邻接节点对应的组合特征,其对应的用于进行卷积的模型参数是相同的,即模型参数可以共享,从而即使目标网络图的结构与训练网络图不同,无需重新对目标向量确定模型进行重新训练,也可以利用该目标向量确定模型确定目标网络图中目标节点的向量表示。第一卷积向量是指卷积(Convolution)得到的向量。利用第一模型参数对目标邻接节点对应的组合特征进行卷积,得到该目标邻接节点对应的第一卷积向量。目标向量确定模型可以是图卷积网络模型,因此可以利用第一目标模型参数对组合特征进行卷积,得到各个目标邻接节点对应的第一卷积向量。
步骤S408,根据目标邻接节点分别对应的第一卷积向量得到目标节点对应的目标向量表示。
具体地,当目标邻接节点为一个时,可以将该目标邻接节点对应的第一卷积向量作为目标节点对应的目标向量表示。当一个目标节点的目标邻接节点为多个时,可以对多个目标邻接节点对应的第一卷积向量进行统计处理,根据统计向量得到目标节点对应的目标向量表示。对多个目标邻接节点对应的第一卷积向量进行统计处理是指对于目标节点而言,结合其对应的所有的目标邻接节点的第一卷积向量得到目标节点对应的目标向量表示。统计可以是求平均值、最大值、最小值或者中位值。例如,当一个目标节点对应的目标邻接节点有3个时,可以将这三个目标邻接节点对应的第一卷积向量相加,再除以3,得到向量均值,作为统计向量。可以将统计向量作为目标节点对应的目标向量表示,也可以是结合其他向量得到目标节点对应的目标向量表示,例如可以结合根据目标节点的节点特征进行处理得到的向量,得到目标节点对应的向量表示。
在一些实施例中,目标向量确定模型包括第二目标模型参数,对象向量确定方法还包括:利用第二目标模型参数对目标节点对应的节点特征进行卷积处理,得到目标节点对应的第二卷积向量。根据目标邻接节点分别对应的第一卷积向量得到目标节点对应的目标向量表示包括:根据目标邻接节点分别对应的第一卷积向量以及目标节点对应的第二卷积向量得到目标节点对应的目标向量表示。
具体地,第二目标模型参数用于对目标节点对应的节点特征进行处理。即用于根
据目标节点本身的节点特征进行向量的传播。得到第一卷积向量以及第二卷积向量后,如
果第一卷积向量为一个,则可以将第一卷积向量与第二卷积向量进行拼接,得到目标向量
表示。如果第一卷积向量为多个,即目标邻接节点为多个时,则可以对第一卷积向量进行统
计处理,得到统计向量,将统计向量与第二卷积向量进行拼接,得到目标节点对应的目标向
量表示。得到目标节点对应的目标向量表示可以如公式(1)所示。其中,表示目标节点d
对应的目标向量表示,表示目标节点d对应的节点特征,表示目标节点对应的邻接节
点的特征表示向量的集合,表示与目标节点d连接的边对应的特征向量集合。特征向量
是指用于表示特征的向量。为激活函数,例如可以为sigmoid函数、RELU函数或者tanh函
数。为第二目标模型参数,为第一目标模型参数;“||”表示级联操作,即向量的拼接
操作。agg函数为近邻信息(第一卷积向量)的聚合函数,即用于对第一卷积向量进行统计的
统计函数。函数对应的表示形式可以如公式(2)所示。公式(2)中,“N”表示目标节点d的
目标邻接节点的数量。表示目标邻接节点h与目标节点d连接的边的边特征。表示目
标邻接节点h对应的节点特征。故根据公式(2),公式(1)的最终表示形式可以为公式(3)
如图5所示,为一些实施例中得到目标节点对应的目标向量表示的原理示意图。假
设目标节点d包括三个邻接节点:a、b c。第k-1层卷积层中,所输出的节点a、b 、c、d分别对
应的向量分别为、、、。节点a、b 、c与目标节点d连接的边分别为、、,则进行组合后(Concatenation),得到的组合特征分别为、
、,“”表示级联。当利用第k层卷积层的第一目标模型参数分别对每个组合特征
进行处理,利用第k层卷积层的第二目标模型参数对进行处理,级联第一目标模型参
数以及第二目标模型参数处理得到的结果,并进行激活后,第k层卷积层输出目标节点d对
应的向量,如果第k层是最后一层,则可以将作为目标节点的向量表示。如果不是,则
可以继续利用下一层卷积层进行处理。
在一些实施例中,将与目标节点存在边的连接的节点称为1阶节点,将与目标节点的邻接节点存在边连接的节点称为2阶节点,还可以结合2阶节点的节点特征以及2阶节点与1阶节点连接的边的边特征得到目标节点的目标向量表示。此时,对于每一层卷积层,可根据公式(3)计算得到每个邻接节点对应的向量表示,再按照公式(3)计算得到目标节点的向量表示。如图6所示,对于每一层卷积层,在确定目标节点2对应的向量表示时,可以先根据节点4以及节点5的节点特征向量以及边特征向量计算得到节点3对应的节点特征向量(虚线部分),再根据节点3以及节点1的节点特征向量以及边特征向量得到节点2的特征向量(实线部分)。
如图7所示,在一些实施例中,提出了一种向量确定模型训练方法,本实施例主要以该方法应用于上述图1中的服务器120来举例说明。具体可以包括以下步骤:
步骤S702,获取训练网络图对应的训练特征,训练网络图的训练节点与训练对象对应,训练节点之间的边表示训练对象之间的关联关系,训练特征包括节点特征以及边特征。
具体地,训练对象是用于进行模型训练的对象,例如可以获取多个用户以及用户之间的关联关系,组成训练网络图。获取训练对象对应的特征作为对应的节点特征,获取训练对象之间的关联行为数据,根据关联行为数据得到边对应的特征。
步骤S704,将训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第一组合特征进行处理,得到各个训练节点对应的第一训练向量表示,其中,训练节点对应的组合特征是对训练邻接节点特征与训练邻接边特征进行组合得到的。
具体地,待训练的向量确定模型可以是初始的模型,也可以是利用其他模型训练方法训练过的模型。将训练特征输入到待训练的向量确定模型中,可以输出训练节点对应的向量表示,作为第一训练向量表示,可以理解,待训练的向量确定模型对训练节点对应的第一组合特征进行处理的过程与利用目标向量确定模型对目标节点对应的组合特征进行处理的方式是一致的,因此在此不再赘述。
步骤S706,根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值。
具体地,模型损失值是根据损失函数(loss function)得到的,损失函数(lossfunction)是用来估量模型的预测值f(x)与真实值Y的不一致程度。训练邻接节点是训练网络图中,与训练节点存在边连接的节点,一个训练节点对应的训练邻接节点可以包括一个或多个。当为多个时,可以结合训练节点与每个训练邻接节点对应的相似度得到目标模型损失值。也可以是随机选取训练节点与部分训练邻接节点对应的相似度得到目标模型损失值。
在一些实施例中,根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值包括:计算训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据第一相似度确定第一模型损失值,第一模型损失值与第一相似度成负相关关系;计算训练节点的第一训练向量表示与非训练邻接节点的第一训练向量表示的第二相似度,根据第二相似度确定第二模型损失值,第二模型损失值与第二相似度成正相关关系;根据第一模型损失值以及第二模型损失值确定目标模型损失值。
具体地,非训练邻接节点是训练网络图中,与训练节点不存在边连接的节点。当一个网络图中,一个训练节点对应的非训练邻接节点的数量为多个时,可以随机选取部分非训练邻接节点的第一训练向量表示,与训练节点对应的第一向量表示进行相似度的计算。负相关关系是指相似度越大,则模型损失值越小。正相关关系是指相似度越小,则模型损失值越大。可以根据第一相似度确定第一模型损失值。可以根据第二相似度确定第二模型损失值,
在一些实施例中,当通过距离表示相似度时,例如通过向量的欧式距离表示相似
度时,则由于距离越小,则相似度越大,因此可以是将表示第一相似度的向量距离相加,得
到第一模型损失值。利用预设常数减去表示第二相似度的向量距离,得到第二模型损失值。
预设常数例如可以是1。例如,计算目标损失值的公式可以用公式(4)表示。公式(4)中,
表示对训练网络图中所有训练节点i对应的损失值进行求和,得到目标损失值。表示训练
节点i对应的第一训练向量,表示训练节点i的训练邻接节点n对应的第一训练向量,
表示训练节点i的非训练邻接节点k对应的第一训练向量。为表示训
练节点i对应的第一训练向量与非训练邻接节点k对应的第一训练向量的相似度的数据,。为表示训
练节点i对应的第一训练向量与训练邻接节点n对应的第一训练向量的相似度的数据,为第一模型损失值。N表示训练节点i对应的训练邻接节点的数
量,Ne表示随机选取的非训练邻接节点k的数量。在公式(4)中表示相似度的数据为距离,由
于距离与相似度成负相关关系,因此公式(4)所代表的损失函数目的是使相邻节点的向量
表示尽可能相似,非近邻节点的向量表示尽可能不相似,从而使得得到的向量表示包含了
训练网络图的结构信息。
步骤S708,根据目标模型损失值对待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
具体地,可以采用随机梯度下降算法,朝着使目标模型损失值降低的方向调整待训练的向量确定模型中的模型参数,可以理解,模型的训练可以是迭代多次的,即目标向量确定模型可以是多次执行步骤S702~S708训练得到的,当满足模型收敛条件时再停止训练,模型收敛条件可以是模型损失值小于预设损失值,也可以是当模型参数的变化小于预设参数变化值。
上述向量确定模型训练方法,可通过获取训练网络图的目标特征,训练特征包括节点特征以及边特征,对于训练节点,其对应的训练向量表示是利用向量确定模型对组合特征训练得到的,组合特征根据节点的邻接节点以及邻接边的特征组合得到,由于同时考虑节点的邻接节点的特征以及训练节点与训练邻接节点之间的节点特征,因此可学习得到同时考虑邻接节点特征以及边特征对节点的向量进行表示的模型参数,提高了训练得到的目标向量确定模型的准确度,且模型损失值根据节点与对应的邻接节点的训练向量表示的相似度确定,因此可以在无监督的情况下进行模型的训练,提高了模型训练的效率。
本申请实施例中,由于根据相邻节点的向量表示对应的相似度得到模型损失值,因此可以在无监督(没有训练对象对应的真实向量表示的监督)的情况下进行模型的训练,而且相邻节点是存在边连接的节点,因此通过根据相邻节点的向量表示的相似度确定模型损失值,且模型损失值与第一相似度成负相关关系,故朝着使模型损失值下降的方向调整模型参数,相当于朝着使相邻节点的向量表示越来越相似的方向调整模型的参数,从而使得相邻节点的向量表示的相似度高,故通过目标向量确定模型得到的对象的向量表示可以用于表达对象之间的关联关系,也在一定程度上保留了对象的属性信息以及行为信息。例如,如果A词语的向量表示与B词语的向量表示的相似度高,则说明A词语与B词语是关联性强的词语,例如意思相近的词语。因此当需要对对象的属性进行预测时,可以获取向量表示相似的对象,根据相似的对象属性预测另一个对象的属性。
在一些实施例中,如图8所示,根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值包括:
步骤S802,对训练网络图进行调整处理,得到调整网络图,调整处理包括边切断操作或者节点连接操作的至少一个。
具体地,调整处理在本申请实施中也可以称为打散处理。边切断操作是指将节点之间的边切断,使原本存在边连接的节点之间不存在边连接。节点连接操作是指在节点之间增加边,使原本不存在边连接的节点之间存在边连接。可以是对训练网络图的一个或多个边进行边切断操作,可以是在训练网络图增加一个或多个边。例如,如图9所示,为一些实施例中对训练网络图进行调整操作,得到调整网络图的示意图。图9中,训练网络图中包括节点1-节点13,将节点8与节点11之间的边切断,将节点8与节点4进行连接,可以得到调整网络图。调整网络图中,节点的特征与训练网络图的节点特征一致,切断的边不存在边特征,增加的边对应的边特征可以是预设的边特征,也可以是将被切断的边的特征作为增加的边的特征。
步骤S804,获取调整网络图对应的向量表示。
具体地,调整网络图对应的向量表示可以是该调整网络图的嵌入表示。调整网络图对应的向量表示可以是结合调整网络图中各个节点对应的向量表示得到的。
在一些实施例中,由于调整网络图与训练网络图的网络结构已经发生变化,因此根据该调整网络图得到的训练节点对应的向量表示也会发生变化。因此可以将调整网络图对应的训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第二组合特征进行处理,得到各个训练节点对应的第二训练向量表示,其中,第二训练向量表示可以根据第一训练模型参数对调整网络图中,训练节点对应的训练邻接节点特征以及训练邻接边特征进行组合处理得到;对训练节点对应的第二训练向量表示进行统计处理,得到调整网络图对应的向量表示。
具体地,训练特征为调整网络图对应的特征。由于调整网络图的结构相对于训练
网络图的结构已经发生变化,因此训练节点对应的训练邻接节点以及训练边特征也会发生
变化。例如,以图9的节点8为例,在训练网络图中,节点8的邻接节点包括节点11,不包括节
点4。在调整网络图中,节点8的邻接节点包括节点4,不包括节点11。得到训练节点对应的第
二训练向量后,可以对第二训练向量进行统计处理。统计处理例如可以为求向量的平均值,
即对第二训练向量进行平均池化,将平均池化得到的向量作为调整网络图对应的向量表
示。得到调整网络图对应的向量表示的方法可以用公式(5)表示。其中表示训练节点对
应的第二训练向量表示,N为调整网络图的节点的数量。表示调整网络图的训练向量表
示。
同样可以理解的,待训练的向量确定模型对训练节点对应的第二组合特征进行处理的方式与对训练节点对应的第二组合特征进行处理的方式是一致的,因此在此不再赘述。
步骤S806,计算调整网络图的向量表示与训练网络图中训练节点的第一训练向量表示的第三相似度,根据第三相似度得到第三模型损失值,第三模型损失值与第三相似度成正相关关系。
具体地,可以计算调整网络图的向量表示与训练网络图中各个训练节点的第一训练向量的第三相似度。可以将第三相似度相加,得到第三模型损失值。
步骤S808,计算训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据第一相似度确定第一模型损失值,第一模型损失值与第一相似度成负相关关系。
步骤S810,根据第一模型损失值以及第三模型损失值得到目标模型损失值。
具体地,可以将第一模型损失值以及第三模型损失值相加,得到目标模型损失值。也可以是结合第一模型损失值、第二模型损失值以及第三模型损失值得到目标模型损失值。例如可以将第一模型损失值、第二模型损失值以及第三模型损失值进行加权求和,得到目标模型损失值。
在一些实施例中,还可以获取训练网络图对应的向量表示,计算训练网络图对应的向量表示与训练网络图中训练节点的第一训练向量表示的第四相似度,根据第四相似度得到第四模型损失值,第四模型损失值与第四相似度成负相关关系。
具体地,训练网络图对应的向量表示可以参考得到调整网络图的向量表示的方式得到。第四模型损失值与第四相似度成负相关关系,即第四相似度越大,则第四模型损失值越小。
在实施例中,也可以是结合第一模型损失值、第二模型损失值、第三模型损失值以及第四模型损失值得到目标模型损失值。例如可以第一模型损失值、第二模型损失值、第三模型损失值以及第四模型损失值进行加权求和,得到目标模型损失值。
在一些实施例中,,由于第三模型损失值以及第四模型损失值是利用网络图的向
量表示得到的,因此可以根据第三模型损失值以及第四模型损失值得到Losss,Losss表示基
于网络图得到的损失值,用公式(6)表示,其中S表示训练网络图对应的向量表示。N为训练
网络图以及调整网络图的节点的数量,表示训练节点对应的第一训练向量表示,表示训练网络图中,的向量距离的和,。因此公式(6)对应的损失函数的目的为
使训练网络图G内节点的向量表示和训练网络图G的向量表示尽可能相似,训练网络图G内
节点与调整网络图Gr的向量表示尽可能有差异,使得模型能够学习到网络图的网络结构。
如公式(4)所示,也可以根据第一模型损失值以及第二模型损失值得到Lossf,
Lossf表示基于节点之间的相似度得到的损失值。可以结合Losss以及Lossf得到目标模型损
失值Lossm,用公式7表示如下,其中表示权重,具体可以根据需要设置,例如可以为0.5。
以下以目标对象为用户,对本申请实施例提供的方法进行说明,包括以下步骤。
1.获取训练网络图对应的训练特征。
具体地,训练网络图可以是兴趣网络图。训练特征包括根据用户的属性得到的节点特征以及根据用户之间的兴趣之间的关联关系得到的边特征。边特征例如可以包括根据兴趣之间的相似度以及具有共同兴趣的时间长度等信息形成的边特征向量。
2.将训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第一组合特征进行处理,得到各个训练节点对应的第一训练向量表示。
具体地,在训练时,输入的特征包括节点特征以及边特征。由于需要对训练邻接节点特征与训练邻接边特征进行组合,因此还可以输入表示节点之间的邻接关系的邻接矩阵。矩阵中第i行第j列的值Bij表示用户i与用户j之间的邻接关系。如果Bij为1,则表示用户i与用户j存在边连接。Bij为0,则表示用户i与用户j不存在边连接。这样,可以根据邻接矩阵确定节点对应的邻接节点。
3、根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值。
具体地,可以根据公式(7)得到目标模型损失值。即在训练时,可以分为两层进行
训练。第一层为对节点进行嵌入表示学习,得到损失值 。第二层为对整体网络结构
进行嵌入表示学习,得到损失值Losss。向量模型的损失值为两层模型损失值的加权和。从
而使得针对网络结构的数据,可以执行基于节点与边信息传播的无监督网络表示学习算
法,该方法不依赖标签数据,且同时考虑节点特征、边信息、近邻节点的特征信息以及网络
拓扑结构,且对先验知识依赖性较低,可以通过数据驱动完成模型训练。
4、根据目标模型损失值对待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
具体地,可以利用梯度下降方法,朝着使目标模型损失值下降的方向调整模型的参数,可以重复步骤1~4多次,得到已训练的目标向量确定模型。
5、获取目标网络图对应的目标特征,目标网络图的目标节点与待确定向量表示的目标对象对应,目标节点之间的边表示目标对象之间的关联关系,目标特征包括节点特征以及边特征。
具体地,当需要获取目标用户的低维向量表示时,可以获取目标对象的目标网络图。
6、将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示,将目标节点对应的目标向量表示作为对应的目标对象的向量表示。
具体地,由于目标向量确定模型已经训练得到,因此可以根据公式(3)得到目标节点的向量表示。将该目标节点对应的向量表示作为对应的目标用户的向量表示,从而可以得到目标用户的低维向量表示。
7、根据目标用户的向量表示对目标用户的属性进行预测。
具体地,可以获取数千个用户的向量表示,与A用户的向量进行相似度计算,获取与A用户的向量表示相似度大于预设相似度的用户,作为相似用户。
如图10所示,在一些实施例中,提供了一种对象向量确定装置,该对象向量确定装置可以集成于上述的服务器120中,具体可以包括目标特征获取模块1002、目标向量确定模型获取模块1004以及目标向量表示得到模块1006。
目标特征获取模块1002,用于获取目标网络图对应的目标特征,目标网络图的目标节点与待确定向量表示的目标对象对应,目标节点之间的边表示目标对象之间的关联关系,目标特征包括节点特征以及边特征;
目标向量确定模型获取模块1004,用于获取已训练的目标向量确定模型;
目标向量表示得到模块1006,用于将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示,将目标节点对应的目标向量表示作为对应的目标对象的向量表示;其中,目标节点对应的组合特征是目标邻接节点特征与目标邻接边特征进行组合得到的,目标邻接节点特征为目标网络图中,目标节点对应的目标邻接节点的节点特征,目标邻接边特征为目标网络图中,目标节点与对应的目标邻接节点之间的边对应的边特征。
在一些实施例中,目标向量确定模型包括第一目标模型参数,目标向量表示得到模块1006包括:目标邻接节点获取单元,用于获取目标网络图中目标节点对应的各个目标邻接节点;组合单元,用于将目标邻接节点的节点特征和目标邻接节点与目标节点之间的边对应的边特征进行组合,得到各个目标邻接节点分别对应的组合特征;第一卷积向量得到单元,用于利用第一目标模型参数对各个目标邻接节点对应的组合特征分别进行卷积,得到各个目标邻接节点分别对应的第一卷积向量;目标向量表示得到单元,用于根据目标邻接节点分别对应的第一卷积向量得到目标节点对应的目标向量表示。
在一些实施例中,当目标邻接节点为多个时,目标向量表示得到单元用于:对多个目标邻接节点对应的第一卷积向量进行统计处理,得到统计向量;根据统计向量得到目标节点对应的目标向量表示。
在一些实施例中,目标向量确定模型包括第二目标模型参数,对象向量确定装置还包括:第二卷积向量得到模块,用于利用第二目标模型参数对目标节点对应的节点特征进行卷积处理,得到目标节点对应的第二卷积向量;目标向量表示得到单元用于:根据目标邻接节点分别对应的第一卷积向量以及目标节点对应的第二卷积向量得到目标节点对应的目标向量表示。
在一些实施例中,训练得到目标向量确定模型的模块包括:训练特征获取模块,用于获取训练网络图对应的训练特征,训练网络图的训练节点与训练对象对应,训练节点之间的边表示训练对象之间的关联关系,训练特征包括节点特征以及边特征;第一训练向量得到模块,用于将训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第一组合特征进行处理,得到各个训练节点对应的第一训练向量表示,其中,训练节点对应的第一组合特征是对训练网络图中,训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;目标模型损失值得到模块,用于根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;参数调整模块,用于根据目标模型损失值对待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
在一些实施例中,目标节点之间的边的边特征的得到模块用于:获取第一目标对象与第二目标对象之间的关联行为数据;根据关联行为数据得到关联特征,将关联特征作为表示第一目标对象对应的目标节点与第二目标对象对应的目标节点之间的边的边特征。
在一些实施例中,目标对象为目标用户,对象向量确定装置还包括:内容向量表示获取模块,用于获取候选内容集合中各个候选内容对应的内容向量表示;向量相似度计算模块,用于计算目标用户对应的目标向量表示与候选内容对应的内容向量表示的向量相似度;筛选模块,用于根据向量相似度从候选内容集合中筛选得到目标用户对应的目标内容;推送模块,用于将目标内容对应的内容相关信息推送至目标用户对应的终端。
如图11所示,在一些实施例中,提供了一种向量确定模型训练装置,该对象向量确定装置可以集成于上述的服务器120中,具体可以包括训练特征获取模块1102、第一训练向量得到模块1104、目标模型损失值得到模块1106以及参数调整模块1108。
训练特征获取模块1102,用于获取训练网络图对应的训练特征,训练网络图的训练节点与训练对象对应,训练节点之间的边表示训练对象之间的关联关系,训练特征包括节点特征以及边特征;
第一训练向量得到模块1104,用于将训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第一组合特征进行处理,得到各个训练节点对应的第一训练向量表示,其中,训练节点对应的第一组合特征是对训练网络图中,训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
目标模型损失值得到模块1106,用于根据训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;
参数调整模块1108,用于根据目标模型损失值对待训练的向量确定模型中的模型参数进行调整,得到已训练的目标向量确定模型。
在一些实施例中,目标模型损失值得到模块1106用于:计算训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据第一相似度确定第一模型损失值,第一模型损失值与第一相似度成负相关关系;计算训练节点的第一训练向量表示与非训练邻接节点的第一训练向量表示的第二相似度,根据第二相似度确定第二模型损失值,第二模型损失值与第二相似度成正相关关系;根据第一模型损失值以及第二模型损失值确定目标模型损失值。
在一些实施例中,目标模型损失值得到模块1106用于:对训练网络图进行调整处理,得到调整网络图,调整处理包括边切断操作或者节点连接操作的至少一个;获取调整网络图对应的向量表示;计算调整网络图的向量表示与训练网络图中训练节点的第一训练向量表示的第三相似度,根据第三相似度得到第三模型损失值,第三模型损失值与第三相似度成正相关关系; 计算训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据第一相似度确定第一模型损失值,第一模型损失值与第一相似度成负相关关系;根据第一模型损失值以及第三模型损失值得到目标模型损失值。
在一些实施例中,目标模型损失值得到模块1106用于:将调整网络图对应的训练特征输入到待训练的向量确定模型中,待训练的向量确定模型对训练节点对应的第二组合特征进行处理,得到各个训练节点对应的第二训练向量表示,其中,训练节点对应的第二组合特征是对调整网络图中,训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;对训练节点对应的第二训练向量表示进行统计处理,得到调整网络图对应的向量表示。
图12示出了一些实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图12所示,该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现对象向量确定方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行对象向量确定方法或者向量确定模型训练方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施例中,本申请提供的对象向量确定装置可以实现为一种计算机程序的形式,计算机程序可在如图12所示的计算机设备上运行。计算机设备的存储器中可存储组成该对象向量确定装置的各个程序模块,比如,图10所示的目标特征获取模块1002、目标向量确定模型获取模块1004以及目标向量表示得到模块1006。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的对象向量确定方法中的步骤。
例如,图12所示的计算机设备可以通过如图10所示的对象向量确定装置中的目标特征获取模块1002获取目标网络图对应的目标特征,目标网络图的目标节点与待确定向量表示的目标对象对应,目标节点之间的边表示目标对象之间的关联关系,目标特征包括节点特征以及边特征;通过目标向量确定模型获取模块1004获取已训练的目标向量确定模型;通过目标向量表示得到模块1006将目标特征输入到目标向量确定模型中,目标向量确定模型对目标节点对应的组合特征进行处理,得到目标节点对应的目标向量表示,将目标节点对应的目标向量表示作为对应的目标对象的向量表示。
在一些实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象向量确定方法的步骤。此处对象向量确定方法的步骤可以是上述各个实施例的对象向量确定方法或者向量确定模型训练方法的至少一种方法中的步骤。
在一些实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述对象向量确定方法的步骤。此处对象向量确定方法的步骤可以是上述各个实施例的对象向量确定方法或者向量确定模型训练方法的至少一种方法的步骤。
应该理解的是,虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (18)
1.一种内容推送方法,所述方法包括:
获取社交网络图对应的目标特征,所述社交网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的社交关系,所述目标特征包括节点特征以及边特征;节点特征用于表示对象的特征,边特征是用于表示社交关系的特征;
获取已训练的图卷积网络模型;所述图卷积网络模型包括第一目标模型参数,所述第一目标模型参数用于对所述目标节点对应的邻接节点的节点特征以及所述目标节点的边的边特征进行处理;所述图卷积网络模型还包括第二目标模型参数;
获取所述社交网络图中所述目标节点对应的各个目标邻接节点;
将所述目标邻接节点的节点特征和所述目标邻接节点与所述目标节点之间的边对应的边特征进行组合,得到各个所述目标邻接节点分别对应的组合特征;
利用所述第一目标模型参数对各个所述目标邻接节点对应的组合特征分别进行卷积,得到各个所述目标邻接节点分别对应的第一卷积向量;利用所述第二目标模型参数对所述目标节点对应的节点特征进行卷积处理,得到所述目标节点对应的第二卷积向量;根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示,包括:根据所述目标邻接节点分别对应的第一卷积向量以及所述目标节点对应的第二卷积向量得到所述目标节点对应的目标向量表示;
将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示;
获取候选内容集合中各个候选内容对应的内容向量表示;所述目标对象为目标用户;所述候选内容包括图片、文字或者视频中的至少一种;
计算所述目标用户对应的目标向量表示与所述候选内容对应的内容向量表示的向量相似度;
从所述候选内容集合中,获取所述向量相似度大于预设相似度的内容向量对应的候选内容,作为目标内容;
将所述目标内容对应的内容相关信息推送至所述目标用户对应的终端。
2.根据权利要求1所述的方法,其特征在于,当所述目标邻接节点为多个时,所述根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示包括:
对多个所述目标邻接节点对应的第一卷积向量进行统计处理,得到统计向量;
根据所述统计向量得到所述目标节点对应的目标向量表示。
3.根据权利要求1所述的方法,其特征在于,训练得到所述已训练的图卷积网络模型的步骤包括:
获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的社交关系,所述训练特征包括节点特征以及边特征;
将所述训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第一组合特征进行卷积,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;
根据所述目标模型损失值对所述待训练的图卷积网络模型中的模型参数进行调整,得到已训练的图卷积网络模型。
4.根据权利要求1所述的方法,其特征在于,所述目标节点之间的边的边特征的得到步骤包括:
获取第一目标对象与第二目标对象之间的关联行为数据;
根据所述关联行为数据得到关联特征,将所述关联特征作为表示所述第一目标对象对应的目标节点与所述第二目标对象对应的目标节点之间的边的边特征。
5.一种内容推送方法,所述方法包括:
获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的社交关系,所述训练特征包括节点特征以及边特征;节点特征用于表示对象的特征,边特征是用于表示社交关系的特征;
将所述训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第一组合特征进行卷积,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;
根据所述目标模型损失值对所述待训练的图卷积网络模型中的模型参数进行调整,得到已训练的图卷积网络模型;
获取社交网络图对应的目标特征,所述社交网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的社交关系,所述目标特征包括节点特征以及边特征;
将所述目标邻接节点的节点特征和所述目标邻接节点与所述目标节点之间的边对应的边特征进行组合,得到各个所述目标邻接节点分别对应的组合特征;
利用所述已训练的图卷积网络模型的第一目标模型参数,对各个所述目标邻接节点对应的组合特征分别进行卷积,得到各个所述目标邻接节点分别对应的第一卷积向量;所述图卷积网络模型还包括第二目标模型参数;利用所述第二目标模型参数对所述目标节点对应的节点特征进行卷积处理,得到所述目标节点对应的第二卷积向量;根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示,包括:根据所述目标邻接节点分别对应的第一卷积向量以及所述目标节点对应的第二卷积向量得到所述目标节点对应的目标向量表示,将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示;所述第一目标模型参数用于对所述目标节点对应的邻接节点的节点特征以及所述目标节点的边的边特征进行处理;
获取候选内容集合中各个候选内容对应的内容向量表示;所述目标对象为目标用户;所述候选内容包括图片、文字或者视频中的至少一种;
计算所述目标用户对应的目标向量表示与所述候选内容对应的内容向量表示的向量相似度;
从所述候选内容集合中,获取所述向量相似度大于预设相似度的内容向量对应的候选内容,作为目标内容;
将所述目标内容对应的内容相关信息推送至所述目标用户对应的终端。
6.根据权利要求5所述的方法,其特征在于,所述根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值包括:
计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;
计算所述训练节点的第一训练向量表示与非训练邻接节点的第一训练向量表示的第二相似度,根据所述第二相似度确定第二模型损失值,所述第二模型损失值与所述第二相似度成正相关关系;
根据所述第一模型损失值以及所述第二模型损失值确定目标模型损失值。
7.根据权利要求5所述的方法,其特征在于,所述根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值包括:
对所述训练网络图进行调整处理,得到调整网络图,所述调整处理包括边切断操作或者节点连接操作的至少一个;
获取所述调整网络图对应的向量表示;
计算所述调整网络图的向量表示与所述训练网络图中所述训练节点的第一训练向量表示的第三相似度,根据所述第三相似度得到第三模型损失值,所述第三模型损失值与所述第三相似度成正相关关系;
计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;
根据所述第一模型损失值以及所述第三模型损失值得到目标模型损失值。
8.根据权利要求7所述的方法,其特征在于,所述获取所述调整网络图对应的向量表示包括:
将所述调整网络图对应的训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第二组合特征进行卷积,得到各个所述训练节点对应的第二训练向量表示,其中,所述训练节点对应的第二组合特征是对所述调整网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
对所述训练节点对应的第二训练向量表示进行统计处理,得到所述调整网络图对应的向量表示。
9.一种内容推送装置,所述装置包括:
目标特征获取模块,用于获取社交网络图对应的目标特征,所述社交网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的社交关系,所述目标特征包括节点特征以及边特征;节点特征用于表示对象的特征,边特征是用于表示社交关系的特征;
图卷积网络模型获取模块,用于获取已训练的图卷积网络模型;所述图卷积网络模型包括第一目标模型参数,所述第一目标模型参数用于对所述目标节点对应的邻接节点的节点特征以及所述目标节点的边的边特征进行处理;所述图卷积网络模型还包括第二目标模型参数;
目标向量表示得到模块,用于获取所述社交网络图中所述目标节点对应的各个目标邻接节点;将所述目标邻接节点的节点特征和所述目标邻接节点与所述目标节点之间的边对应的边特征进行组合,得到各个所述目标邻接节点分别对应的组合特征;利用所述第一目标模型参数对各个所述目标邻接节点对应的组合特征分别进行卷积,得到各个所述目标邻接节点分别对应的第一卷积向量;利用所述第二目标模型参数对所述目标节点对应的节点特征进行卷积处理,得到所述目标节点对应的第二卷积向量;根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示;将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示,包括:根据所述目标邻接节点分别对应的第一卷积向量以及所述目标节点对应的第二卷积向量得到所述目标节点对应的目标向量表示;
内容向量表示获取模块,用于获取候选内容集合中各个候选内容对应的内容向量表示;所述目标对象为目标用户;所述候选内容包括图片、文字或者视频中的至少一种;
向量相似度计算模块,用于计算所述目标用户对应的目标向量表示与所述候选内容对应的内容向量表示的向量相似度;
筛选模块,用于从所述候选内容集合中,获取所述向量相似度大于预设相似度的内容向量对应的候选内容,作为目标内容;
推送模块,用于将所述目标内容对应的内容相关信息推送至所述目标用户对应的终端。
10.根据权利要求9所述的装置,其特征在于,当所述目标邻接节点为多个时,所述目标向量表示得到模块,还用于:
对多个所述目标邻接节点对应的第一卷积向量进行统计处理,得到统计向量;
根据所述统计向量得到所述目标节点对应的目标向量表示。
11.根据权利要求9所述的装置,其特征在于,训练得到所述已训练的图卷积网络模型的模块用于:
获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的社交关系,所述训练特征包括节点特征以及边特征;
将所述训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第一组合特征进行卷积,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;
根据所述目标模型损失值对所述待训练的图卷积网络模型中的模型参数进行调整,得到已训练的所述图卷积网络模型。
12.根据权利要求9所述的装置,其特征在于,所述目标节点之间的边的边特征的得到模块用于:
获取第一目标对象与第二目标对象之间的关联行为数据;
根据所述关联行为数据得到关联特征,将所述关联特征作为表示所述第一目标对象对应的目标节点与所述第二目标对象对应的目标节点之间的边的边特征。
13.一种内容推送装置,所述装置包括:
训练特征获取模块,用于获取训练网络图对应的训练特征,所述训练网络图的训练节点与训练对象对应,所述训练节点之间的边表示所述训练对象之间的社交关系,所述训练特征包括节点特征以及边特征;节点特征用于表示对象的特征,边特征是用于表示社交关系的特征;
第一训练向量得到模块,用于将所述训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第一组合特征进行卷积,得到各个所述训练节点对应的第一训练向量表示,其中,所述训练节点对应的第一组合特征是对所述训练网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
目标模型损失值得到模块,用于根据所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的相似度,得到目标模型损失值;
参数调整模块,用于根据所述目标模型损失值对所述待训练的图卷积网络模型中的模型参数进行调整,得到已训练的图卷积网络模型;
目标特征获取模块,用于获取社交网络图对应的目标特征,所述社交网络图的目标节点与待确定向量表示的目标对象对应,所述目标节点之间的边表示所述目标对象之间的社交关系,所述目标特征包括节点特征以及边特征;
目标向量表示得到模块,用于将所述目标邻接节点的节点特征和所述目标邻接节点与所述目标节点之间的边对应的边特征进行组合,得到各个所述目标邻接节点分别对应的组合特征;利用所述已训练的图卷积网络模型的第一目标模型参数,对各个所述目标邻接节点对应的组合特征分别进行卷积,得到各个所述目标邻接节点分别对应的第一卷积向量;所述图卷积网络模型还包括第二目标模型参数;利用所述第二目标模型参数对所述目标节点对应的节点特征进行卷积处理,得到所述目标节点对应的第二卷积向量;根据所述目标邻接节点分别对应的第一卷积向量得到所述目标节点对应的目标向量表示,包括:根据所述目标邻接节点分别对应的第一卷积向量以及所述目标节点对应的第二卷积向量得到所述目标节点对应的目标向量表示,将所述目标节点对应的目标向量表示作为对应的目标对象的向量表示;所述第一目标模型参数用于对所述目标节点对应的邻接节点的节点特征以及所述目标节点的边的边特征进行处理;
内容向量表示获取模块,用于获取候选内容集合中各个候选内容对应的内容向量表示;所述目标对象为目标用户;所述候选内容包括图片、文字或者视频中的至少一种;
向量相似度计算模块,用于计算所述目标用户对应的目标向量表示与所述候选内容对应的内容向量表示的向量相似度;
筛选模块,用于从所述候选内容集合中,获取所述向量相似度大于预设相似度的内容向量对应的候选内容,作为目标内容;
推送模块,用于将所述目标内容对应的内容相关信息推送至所述目标用户对应的终端。
14.根据权利要求13所述的装置,其特征在于,所述目标模型损失值得到模块,还用于:
计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;
计算所述训练节点的第一训练向量表示与非训练邻接节点的第一训练向量表示的第二相似度,根据所述第二相似度确定第二模型损失值,所述第二模型损失值与所述第二相似度成正相关关系;
根据所述第一模型损失值以及所述第二模型损失值确定目标模型损失值。
15.根据权利要求14所述的装置,其特征在于,所述目标模型损失值得到模块,还用于:
对所述训练网络图进行调整处理,得到调整网络图,所述调整处理包括边切断操作或者节点连接操作的至少一个;
获取所述调整网络图对应的向量表示;
计算所述调整网络图的向量表示与所述训练网络图中所述训练节点的第一训练向量表示的第三相似度,根据所述第三相似度得到第三模型损失值,所述第三模型损失值与所述第三相似度成正相关关系;
计算所述训练节点的第一训练向量表示与对应的训练邻接节点的第一训练向量表示的第一相似度,根据所述第一相似度确定第一模型损失值,所述第一模型损失值与所述第一相似度成负相关关系;
根据所述第一模型损失值以及所述第三模型损失值得到目标模型损失值。
16.根据权利要求15所述的装置,其特征在于,所述目标模型损失值得到模块,还用于:
将所述调整网络图对应的训练特征输入到待训练的图卷积网络模型中,所述待训练的图卷积网络模型对所述训练节点对应的第二组合特征进行卷积,得到各个所述训练节点对应的第二训练向量表示,其中,所述训练节点对应的第二组合特征是对所述调整网络图中,所述训练节点对应的训练邻接节点特征与训练邻接边特征进行组合得到的;
对所述训练节点对应的第二训练向量表示进行统计处理,得到所述调整网络图对应的向量表示。
17.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至8中任一项权利要求所述方法的步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至8中任一项权利要求所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074197.9A CN111309923B (zh) | 2020-01-22 | 2020-01-22 | 对象向量确定、模型训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010074197.9A CN111309923B (zh) | 2020-01-22 | 2020-01-22 | 对象向量确定、模型训练方法、装置、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111309923A CN111309923A (zh) | 2020-06-19 |
CN111309923B true CN111309923B (zh) | 2023-01-03 |
Family
ID=71145296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010074197.9A Active CN111309923B (zh) | 2020-01-22 | 2020-01-22 | 对象向量确定、模型训练方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111309923B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111930463A (zh) * | 2020-09-23 | 2020-11-13 | 杭州橙鹰数据技术有限公司 | 展示方法及装置 |
CN113408564A (zh) * | 2020-10-21 | 2021-09-17 | 腾讯科技(深圳)有限公司 | 图处理方法、网络训练方法、装置、设备以及存储介质 |
CN113888211A (zh) * | 2021-09-23 | 2022-01-04 | 北京奇艺世纪科技有限公司 | 一种广告推送方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202393A (zh) * | 2016-07-08 | 2016-12-07 | 腾讯科技(深圳)有限公司 | 媒体信息推送方法及装置 |
CN110348573A (zh) * | 2019-07-16 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 训练图神经网络的方法、图神经网络设备、装置、介质 |
-
2020
- 2020-01-22 CN CN202010074197.9A patent/CN111309923B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202393A (zh) * | 2016-07-08 | 2016-12-07 | 腾讯科技(深圳)有限公司 | 媒体信息推送方法及装置 |
CN110348573A (zh) * | 2019-07-16 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 训练图神经网络的方法、图神经网络设备、装置、介质 |
Non-Patent Citations (1)
Title |
---|
Neural Network for Graphs: A Contextual Constructive Approach;Micheli A.;《IEEE Transactions on Neural Network》;20090331;第20卷(第3期);第II-VI节 * |
Also Published As
Publication number | Publication date |
---|---|
CN111309923A (zh) | 2020-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021042828A1 (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
CN111695415A (zh) | 图像识别模型的构建方法、识别方法及相关设备 | |
US20220215227A1 (en) | Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium | |
CN111309923B (zh) | 对象向量确定、模型训练方法、装置、设备和存储介质 | |
CN112084331A (zh) | 文本处理、模型训练方法、装置、计算机设备和存储介质 | |
CN110659723B (zh) | 基于人工智能的数据处理方法、装置、介质及电子设备 | |
CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN114565104A (zh) | 语言模型的预训练方法、结果推荐方法及相关装置 | |
CN112200266B (zh) | 基于图结构数据的网络训练方法、装置以及节点分类方法 | |
CN111311107A (zh) | 基于用户关系的风险评估方法、装置和计算机设备 | |
CN116010684A (zh) | 物品推荐方法、装置及存储介质 | |
CN113822315A (zh) | 属性图的处理方法、装置、电子设备及可读存储介质 | |
CN113435520A (zh) | 神经网络的训练方法、装置、设备及计算机可读存储介质 | |
CN114329029B (zh) | 对象检索方法、装置、设备及计算机存储介质 | |
CN112257841A (zh) | 图神经网络中的数据处理方法、装置、设备及存储介质 | |
CN113705596A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
Smahi et al. | A deep learning approach for collaborative prediction of Web service QoS | |
CN110162783A (zh) | 用于语言处理的循环神经网络中隐状态的生成方法和装置 | |
US20230267317A1 (en) | Sign-aware recommendation apparatus and method using graph neural network | |
Uzun et al. | Deep learning based classification of time series of chaotic systems over graphic images | |
CN117473315A (zh) | 一种基于多层感知机的图分类模型构建方法和图分类方法 | |
CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
CN114936327B (zh) | 元素识别模型的获取方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40023638 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |