CN117009653A - 对象推荐模型的训练方法、对象推荐方法及装置 - Google Patents
对象推荐模型的训练方法、对象推荐方法及装置 Download PDFInfo
- Publication number
- CN117009653A CN117009653A CN202310822409.0A CN202310822409A CN117009653A CN 117009653 A CN117009653 A CN 117009653A CN 202310822409 A CN202310822409 A CN 202310822409A CN 117009653 A CN117009653 A CN 117009653A
- Authority
- CN
- China
- Prior art keywords
- node
- target
- information
- characteristic information
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002452 interceptive effect Effects 0.000 claims abstract description 88
- 230000003993 interaction Effects 0.000 claims description 322
- 238000012937 correction Methods 0.000 claims description 61
- 238000000605 extraction Methods 0.000 claims description 43
- 230000004927 fusion Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010276 construction Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012512 characterization method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011478 gradient descent method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种对象推荐模型的训练方法、对象推荐方法及装置,该对象推荐模型的训练方法包括将基于多种交互关系构建的初始图数据,输入待训练的对象推荐模型进行对象推荐预测,获取预测推荐指标数据和每个节点在每种交互操作下的第一节点特征信息;基于第一节点特征信息,生成表征操作间的节点特征信息差异的第一对比损失;基于不同扰动对应的每个节点在目标交互操作下的节点特征信息,生成表征不同扰动下的操作内节点特征信息间差异的第二对比损失;基于第一对比损失、第二对比损失、预测推荐指标数据和预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。利用本公开实施例可以实现提升推荐精准性和效果。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种对象推荐模型的训练方法、对象推荐方法及装置。
背景技术
随着人工智能技术的发展,基于人工智能技术,构建的推荐模型,被广泛应用于商品、应用程序、店铺、直播间等对象推荐系统。对象推荐模型的训练过程中,需要依赖用户与对象间的交互操作;相关技术中,由于用户和对象之间的交互操作数据本身存在稀疏性的特点,会基于用户与对象间的多种交互操作进行模型训练,这样虽然在一定程度上可以缓解数据稀疏性的问题,但也会带来交互噪声数据,对用户和对象表征造成消极影响,导致模型的对象推荐预测能力较差,推荐系统中推荐精准性和效果较差,进而也带来无效的对象推荐,造成推荐系统的系统资源浪费和系统性能下降等问题。
发明内容
本公开提供一种对象推荐模型的训练方法、对象推荐方法及装置,以至少解决相关技术中模型训练存在的数据稀疏性和交互噪声数据,对用户和对象表征的消极影响,以及模型的对象推荐预测能力较差,推荐系统中推荐精准性和效果较差等技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种对象推荐模型的训练方法,包括:
获取初始图数据,所述初始图数据是基于多种交互关系构建的,所述多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;所述初始图数据包括多个节点;所述多个节点包括所述多个样本账号对应的样本账号节点和所述多个样本交互对象对应的样本对象节点;
将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息;
获取所述每个节点在目标交互操作下的第二节点特征信息和所述每个节点在所述目标交互操作下的第三节点特征信息,所述第二节点特征信息是基于所述初始图数据中目标子图数据对应的第一扰动图数据得到的,所述第三节点特征信息是基于所述目标子图数据对应的第二扰动图数据得到的;所述目标子图数据为所述多种交互操作中所述目标交互操作对应的子图数据;
基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失;所述第一对比损失表征所述每个节点在所述目标交互操作下的节点特征信息与所述每个节点在每一其他交互操作下的节点特征信息间的差异;所述每一其他交互操作为所述多种交互操作中除所述目标交互操作以外的每一交互操作;
基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失;所述第二对比损失表征不同扰动下的所述每个节点在所述目标交互操作下的节点特征信息间的差异;
基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个可选的实施例中,所述基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失包括:
根据目标账号节点在所述目标交互操作下的所述第一节点特征信息和所述目标账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
根据所述目标账号节点在所述目标交互操作下的所述第一节点特征信息和任一其他账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
根据目标对象节点在所述目标交互操作下的所述第一节点特征信息和所述目标对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
根据所述目标对象节点在所述目标交互操作下的所述第一节点特征信息和任一其他对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二负样本信息;所述任一其他对象节点为所述多个节点中除所述目标对象节点以外的任一样本对象节点;
基于所述第一正样本信息、所述第一负样本信息、所述第二正样本信息、所述第二负样本信息,确定所述第一对比损失。
在一个可选的实施例中,所述基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失包括:
根据目标账号节点在所述目标交互操作下的所述第二节点特征信息和所述目标账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
根据所述目标账号节点在所述目标交互操作下的所述第二节点特征信息和任一其他账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
根据目标对象节点在所述目标交互操作下的所述第二节点特征信息和所述目标对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
根据所述目标对象节点在所述目标交互操作下的所述第二节点特征信息和任一其他对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四负样本信息;所述任一其他对象节点为所述多个节点中除所述目标节点以外的任一样本对象节点;
基于所述第三正样本信息、所述第三负样本信息、所述第四正样本信息、所述第四负样本信息,确定所述第二对比损失。
在一个可选的实施例中,所述待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块;所述将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取所述每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息包括:
将所述初始图数据输入所述待训练的图特征提取模块进行图特征提取,得到所述每个节点在所述每种交互操作下的第四节点特征信息;
将所述第四节点特征信息输入所述待训练的自注意力学习模块进行自注意力学习,得到所述每个节点在所述每种交互操作下的第一注意力权重;
将所述第四节点特征信息和所述第一注意力权重输入所述特征融合模块进行特征融合,得到所述第一节点特征信息;
将所述第一节点特征信息输入所述分类模块进行分类处理,得到所述预测推荐指标数据。
在一个可选的实施例中,所述基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型包括:
根据所述预测推荐指标数据和所述预设推荐指标数据,确定推荐损失;
根据所述推荐损失,确定所述待训练的对象推荐模型中模型参数对应的第一梯度信息;
根据所述第一对比损失,确定所述待训练的对象推荐模型中模型参数对应的第二梯度信息;
根据所述第二对比损失,确定所述待训练的对象推荐模型中模型参数对应的第三梯度信息;
基于所述第一梯度信息,对所述第二梯度信息和所述第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息;
根据所述第一梯度信息、所述第一校正梯度信息和所述第二校正梯度信息,对所述待训练的对象推荐模型进行训练,得到所述训练好的对象推荐模型。
在一个可选的实施例中,所述基于所述第一梯度信息,对所述第二梯度信息和所述第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息包括:
根据所述第一梯度信息的方向,去除所述第二梯度信息中目标方向的梯度分量,得到所述第二梯度信息对应的第一初始梯度信息;所述目标方向与所述第一梯度信息的方向相反;
根据所述第一梯度信息的方向,去除所述第三梯度信息中所述目标方向的梯度分量,得到所述第三梯度信息对应的第二初始梯度信息;
根据所述第一梯度信息的梯度大小,对所述第一初始梯度信息和所述第二初始梯度信息梯度大小调整,得到所述第一校正梯度信息和所述第二校正梯度信息。
根据本公开实施例的第二方面,提供一种对象推荐方法,包括:
获取目标账号对应的目标图数据;所述目标图数据是以所述目标账号和至少一个预设对象为节点,以所述目标账号和所述至少一个预设对象中所述目标账号的历史交互对象间的至少一种交互关系为边的图数据;
将所述目标图数据输入根据上述第一方面所述的对象推荐模型的训练方法得到的对象推荐模型进行对象推荐预测,得到所述至少一个预设对象对应的目标推荐指标数据;
基于所述目标推荐指标数据,从所述至少一个预设对象中,确定目标推荐对象;
将所述目标推荐对象推荐给所述目标账号。
在一个可选的实施例中,所述对象推荐模型包括图特征提取模块、自注意力学习模块、特征融合模块和分类模块;所述将所述目标图数据输入根据上述第一方面中任一项所述的对象推荐模型的训练方法得到的对象推荐模型进行对象推荐预测,得到所述至少一个预设对象对应的目标推荐指标数据包括:
将所述目标图数据输入所述图特征提取模块进行图特征提取,得到所述目标账号对应的账号节点在每种交互操作下的第五节点特征信息;
将所述第五节点特征信息输入所述自注意力学习模块进行自注意力学习,得到所述账号节点在所述每种交互操作下的第二注意力权重;
将所述第五节点特征信息和所述第二注意力权重输入所述特征融合模块进行特征融合,得到第六节点特征信息;
将所述第六节点特征信息输入所述分类模块进行分类处理,得到所述目标推荐指标数据。
根据本公开实施例的第三方面,提供一种对象推荐模型的训练装置,包括:
第一图数据获取模块,被配置为执行获取初始图数据,所述初始图数据是基于多种交互关系构建的,所述多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;所述初始图数据包括多个节点;所述多个节点包括所述多个样本账号对应的样本账号节点和所述多个样本交互对象对应的样本对象节点;
第一对象推荐预测模块,被配置为执行将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息;
节点特征信息获取模块,被配置为执行获取所述每个节点在目标交互操作下的第二节点特征信息和所述每个节点在所述目标交互操作下的第三节点特征信息,所述第二节点特征信息是基于所述初始图数据中目标子图数据对应的第一扰动图数据得到的,所述第三节点特征信息是基于所述目标子图数据对应的第二扰动图数据得到的;所述目标子图数据为所述多种交互操作中所述目标交互操作对应的子图数据;
第一对比损失生成模块,被配置为执行基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失;所述第一对比损失表征所述每个节点在所述目标交互操作下的节点特征信息与所述每个节点在每一其他交互操作下的节点特征信息间的差异;所述每一其他交互操作为所述多种交互操作中除所述目标交互操作以外的每一交互操作;
第二对比损失生成模块,被配置为执行基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失;所述第二对比损失表征不同扰动下的所述每个节点在所述目标交互操作下的节点特征信息间的差异;
模型训练模块,被配置为执行基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个可选的实施例中,所述第一对比损失生成模块包括:
第一正样本信息构建单元,被配置为执行根据目标账号节点在所述目标交互操作下的所述第一节点特征信息和所述目标账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
第一负样本信息构建单元,被配置为执行根据所述目标账号节点在所述目标交互操作下的所述第一节点特征信息和任一其他账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
第二正样本信息构建单元,被配置为执行根据目标对象节点在所述目标交互操作下的所述第一节点特征信息和所述目标对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
第二负样本信息构建单元,被配置为执行根据所述目标对象节点在所述目标交互操作下的所述第一节点特征信息和任一其他对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二负样本信息;所述任一其他对象节点为所述多个节点中除所述目标对象节点以外的任一样本对象节点;
第一对比损失确定单元,被配置为执行基于所述第一正样本信息、所述第一负样本信息、所述第二正样本信息、所述第二负样本信息,确定所述第一对比损失。
在一个可选的实施例中,所述第二对比损失生成模块包括:
第三正样本信息构建单元,被配置为执行根据目标账号节点在所述目标交互操作下的所述第二节点特征信息和所述目标账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
第三负样本信息构建单元,被配置为执行根据所述目标账号节点在所述目标交互操作下的所述第二节点特征信息和任一其他账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
第四正样本信息构建单元,被配置为执行根据目标对象节点在所述目标交互操作下的所述第二节点特征信息和所述目标对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
第四负样本信息构建单元,被配置为执行根据所述目标对象节点在所述目标交互操作下的所述第二节点特征信息和任一其他对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四负样本信息;所述任一其他对象节点为所述多个节点中除所述目标节点以外的任一样本对象节点;
第二对比损失确定单元,被配置为执行基于所述第三正样本信息、所述第三负样本信息、所述第四正样本信息、所述第四负样本信息,确定所述第二对比损失。
在一个可选的实施例中,所述待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块;所述第一对象推荐预测模块包括:
第一图特征提取单元,被配置为执行将所述初始图数据输入所述待训练的图特征提取模块进行图特征提取,得到所述每个节点在所述每种交互操作下的第四节点特征信息;
第一自注意力学习单元,被配置为执行将所述第四节点特征信息输入所述待训练的自注意力学习模块进行自注意力学习,得到所述每个节点在所述每种交互操作下的第一注意力权重;
第一特征融合单元,被配置为执行将所述第四节点特征信息和所述第一注意力权重输入所述特征融合模块进行特征融合,得到所述第一节点特征信息;
第一分类处理单元,被配置为执行将所述第一节点特征信息输入所述分类模块进行分类处理,得到所述预测推荐指标数据。
在一个可选的实施例中,所述模型训练模块包括:
推荐损失确定单元,被配置为执行根据所述预测推荐指标数据和所述预设推荐指标数据,确定推荐损失;
第一梯度信息确定单元,被配置为执行根据所述推荐损失,确定所述待训练的对象推荐模型中模型参数对应的第一梯度信息;
第二梯度信息确定单元,被配置为执行根据所述第一对比损失,确定所述待训练的对象推荐模型中模型参数对应的第二梯度信息;
第三梯度信息确定单元,被配置为执行根据所述第二对比损失,确定所述待训练的对象推荐模型中模型参数对应的第三梯度信息;
梯度信息校正单元,被配置为执行基于所述第一梯度信息,对所述第二梯度信息和所述第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息;
模型训练单元,被配置为执行根据所述第一梯度信息、所述第一校正梯度信息和所述第二校正梯度信息,对所述待训练的对象推荐模型进行训练,得到所述训练好的对象推荐模型。
在一个可选的实施例中,所述梯度信息校正模块包括:
第一梯度方向校正单元,被配置为执行根据所述第一梯度信息的方向,去除所述第二梯度信息中目标方向的梯度分量,得到所述第二梯度信息对应的第一初始梯度信息;所述目标方向与所述第一梯度信息的方向相反;
第二梯度方向校正单元,被配置为执行根据所述第一梯度信息的方向,去除所述第三梯度信息中所述目标方向的梯度分量,得到所述第三梯度信息对应的第二初始梯度信息;
梯度大小校正单元,被配置为执行根据所述第一梯度信息的梯度大小,对所述第一初始梯度信息和所述第二初始梯度信息梯度大小调整,得到所述第一校正梯度信息和所述第二校正梯度信息。
根据本公开实施例的第四方面,提供一种对象推荐装置,包括:
第二图数据获取模块,被配置为执行获取目标账号对应的目标图数据;所述目标图数据是以所述目标账号和至少一个预设对象为节点,以所述目标账号和所述至少一个预设对象中所述目标账号的历史交互对象间的至少一种交互关系为边的图数据;
第二对象推荐预测模块,被配置为执行将所述目标图数据输入根据上述第一方面任一项所述的对象推荐模型的训练方法得到的对象推荐模型进行对象推荐预测,得到所述至少一个预设对象对应的目标推荐指标数据;
目标推荐对象确定模块,被配置为执行基于所述目标推荐指标数据,从所述至少一个预设对象中,确定目标推荐对象;
对象推荐模块,被配置为执行将所述目标推荐对象推荐给所述目标账号。
在一个可选的实施例中,所述对象推荐模型包括图特征提取模块、自注意力学习模块、特征融合模块和分类模块;所述第二对象推荐预测模块包括:
第二图特征提取单元,被配置为执行将所述目标图数据输入所述图特征提取模块进行图特征提取,得到所述目标账号对应的账号节点在每种交互操作下的第五节点特征信息;
第二自注意力学习单元,被配置为执行将所述第五节点特征信息输入所述自注意力学习模块进行自注意力学习,得到所述账号节点在所述每种交互操作下的第二注意力权重;
第二特征融合单元,被配置为执行将所述第五节点特征信息和所述第二注意力权重输入所述特征融合模块进行特征融合,得到第六节点特征信息;
第二分类处理单元,被配置为执行将所述第六节点特征信息输入所述分类模块进行分类处理,得到所述目标推荐指标数据。
根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一方面或第二方面中任一项所述的方法。
根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述第一方面或第二方面中任一项所述的方法。
根据本公开实施例的第七方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如上述第一方面或第二方面中任一项所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在对象推荐模型的训练过程中,获取初始图数据,该初始图数据是基于多种交互关系构建的,多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;并将该初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和初始图数据中每个节点在每种交互操作下的第一节点特征信息;并获取不同扰动下,每个节点在目标交互操作下的节点特征信息(第二节点特征信息和第三节点特征信息);接着,基于第一节点特征信息,生成表征每个节点在目标交互操作与其他交互操作下的节点特征信息间差异的第一对比损失,可以实现对目标交互操作和其他交互操作下的节点特征信息进行对比学习,以转移其他交互操作的语义,提升不同交互操作下节点特征信息间的相似度,有效缓解不同交互操作下学习的数据分布偏差所带来的交互噪声数据;接着,基于第二节点特征信息和第三节点特征信息,生成表征不同扰动下的每个节点在目标交互操作下的节点特征信息间差异的第二对比损失,可以效减少节点特征学习过程中,对其他交互操作对应边的过度依赖,有效缓解其他交互操作带来的交互噪声数据;接着,基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型,可以实现基于操作内和操作间的联合对比学习,在基于图数据中多种交互操作对应边信息缓解数据稀疏性的基础上,有效缓解不同交互操作下学习的数据分布偏差,以及对其他交互操作对应边的过度依赖所带来的交互噪声数据,大大提升训练好的模型对用户账号和对象表征的精准性,改善模型的对象推荐预测能力,以及推荐系统中推荐效果,进而也可以减少无效的对象推荐的情况,降低系统资源浪费,提升系统性能。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种对象推荐模型的训练方法的流程图;
图3是根据一示例性实施例示出的一种将初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和多个节点中每个节点在每种交互操作下的第一节点特征信息的流程图;
图4是根据一示例性实施例示出的一种基于第一节点特征信息,生成每个节点对应的第一对比损失的流程图;
图5是根据一示例性实施例示出的一种基于第二节点特征信息和第三节点特征信息,生成每个节点对应的第二对比损失的流程图;
图6是根据一示例性实施例示出的一种基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型的流程图;
图7是根据一示例性实施例提供的一种对象推荐方法的流程图;
图8是根据一示例性实施例示出的一种对象推荐模型的训练装置框图;
图9是根据一示例性实施例示出的一种对象推荐装置框图;
图10是根据一示例性实施例示出的一种用于对象推荐的电子设备的框图;
图11是根据一示例性实施例示出的一种用于对象推荐模型的训练的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的方案涉及人工智能的深度学习等技术,具体的,可以涉及基于深度学习的对象推荐模型的训练及对象推荐等处理,具体通过如下实施例进行说明:
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,该应用环境至少可以包括服务器100和终端200。
在一个可选的实施例中,服务器100可以用于进行对象推荐模型的训练处理,服务器100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。
在一个可选的实施例中,终端200可以用于基于对象推荐模型,提供对象推荐等服务。具体的,终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备、车载终端、智能电视等类型的电子设备;也可以为运行于上述电子设备的软体,例如应用程序、小程序等。本申请实施例中电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是本公开提供的一种应用环境,在实际应用中,还可以包括其他应用环境,例如对象推荐模型的训练也可以在终端实现。
本说明书实施例中,上述服务器100和终端200可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
图2是根据一示例性实施例示出的一种对象推荐模型的训练方法的流程图,该方法可以应用于服务器、终端等电子设备,如图2所示,该方法可以包括以下步骤:
在步骤S201中,获取初始图数据。
在一个具体的实施例中,上述初始图数据是基于多种交互关系构建的;多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;一种交互关系对应一种交互操作。具体的,可以以多个样本账号和多个样本交互对象为节点,且以每个样本账号和每个样本账号对应的样本交互对象间的至少一种交互关系为边,得到上述初始图数据;至少一种交互关系可以为上述多种交互关系,也可以为上述多种交互关系中的部分交互关系;具体的,每个样本账号对应的样本交互对象可以为多个样本交互对象中该样本账号执行过交互操作的对象。初始图数据包括多个节点;多个节点包括多个样本账号对应的样本账号节点和多个样本交互对象对应的样本对象节点。
在一个具体的实施例中,每个样本账号对应的样本交互对象的数量可以为一个或多个,不同样本账号的样本交互对象可以包括相同的对象,也可以包括不同的对象;每个样本账号对该样本账号的多个样本交互对象的交互操作可以包括相同交互操作,也可以包括不同的交互操作;可选的,样本账号可以为对象推荐平台内的用户账号;具体的,对象可以为对象推荐平台内需要推荐的多媒体内容,可选的,多媒体内容可以为短视频、也可以为商品详情页等。具体的,多种交互操作可以包括浏览、点击、收藏、点赞、转化(例如基于样本交互对象购买了相关产品,或基于样本交互对象下载了相关应用等)等操作;多种交互操作包括目标交互操作;可选的,目标交互操作可以结合实际应用需求进行设置,可选的,目标交互操作可以为转化操作。
在步骤S203中,将初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和多个节点中每个节点在每种交互操作下的第一节点特征信息;
在一个具体的实施例中,待训练的对象推荐模型的模型结构可以结合实际应用需求进行设置;可选的,上述待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块;具体的,待训练的图特征提取模块可以为待训练的图神经网络。待训练的自注意力学习模块可以为待训练的自注意力学习网络。特征融合模块可以为用于将节点特征信息和对应的自注意权重进行融合的网络。分类模块可以为基于节点特征进行分类处理(对象是否执行目标交互操作识别)的网络。
在一个可选的实施例中,在待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块的情况下,如图3所示,上述将初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和多个节点中每个节点在每种交互操作下的第一节点特征信息可以包括以下步骤:
在步骤S301,将初始图数据输入待训练的图特征提取模块进行图特征提取,得到每个节点在每种交互操作下的第四节点特征信息;
在步骤S303,将第四节点特征信息输入待训练的自注意力学习模块进行自注意力学习,得到每个节点在每种交互操作下的第一注意力权重;
在步骤S305,将第四节点特征信息和第一注意力权重输入特征融合模块进行特征融合,得到第一节点特征信息;
在步骤S307,将第一节点特征信息输入分类模块进行分类处理,得到预测推荐指标数据。
在一个具体的实施例中,初始图数据可以包括多个子图数据,每个子图数据对应一种交互操作,每个子图数据包括上述多个节点,且多个节点间基于对应的一种交互关系为边;可选的,待训练的图特征提取模块可以结合初始图数据中每个子图数据,提取每个节点在每种交互操作下的第四节点特征信息。具体的,第四节点特征信息可以为基于对应的子图数据学习到的每个节点在该子图数据对应交互操作下的节点特征信息。
在一个具体的实施例中,在待训练的图特征提取模块中可以结合下述公式,提取每个节点在每种交互操作下的第四节点特征信息:
其中,表示待训练的图特征提取模块中第l+1层输出的节点u在第k个交互操作下的节点特征信息(相应的,待训练的图特征提取模块中最后一次输出的是每个节点在每种交互操作下的第四节点特征信息);LeakyRelu()为激活函数;w(l)为待训练的图特征提取模块中第l层的模型参数;/>表示待训练的图特征提取模块中第l层输出的节点i在第k个交互操作下的节点特征信息;/>表示待训练的图特征提取模块中第l层输出的第k个交互操作对应的特征信息;Nu,k表示节点u在第k个交互操作对应子图数据上的邻居节点。mean()为平均值函数。
在一个具体的实施例中,第一注意力权重表可以征在学习多种交互操作间的相关性的基础上,学习到每种交互操作对应的节点表征重要度。在一个具体的实施例中,在待训练的自注意力学习模块中可以结合下述公式,进行自注意力学习,得到每个节点在每种交互操作下的第一注意力权重:
其中,au,k表示节点u在第k个交互操作下的第一注意力权重;eu表示节点u在多种交互操作下的第四节点特征信息,拼接后的节点特征信息;和/>为待训练的自注意力学习模块中的两个与交互操作关联的模型参数。
在一个具体的实施例中,在特征融合模块中可以将每个节点在每种交互操作下的第四节点特征信息和每个节点在每种交互操作下的第一注意力权重进行加权求和,得到第一节点特征信息。具体的,第一节点特征信息为待训练的对象推荐模型进行对象推荐预测中基于初始图数据学习到的每个节点在每种交互操作下的节点特征信息。
在一个具体的实施例中,预测推荐指标数据表征待训练的对象推荐模型基于初始图数据预测的每个样本账号对每个样本交互对象执行目标交互操作的概率。具体的,分类模块可以结合第一节点特征信息对每个样本账号是否会对每个样本交互对象执行目标交互操作进行识别。
上述实施例中,先将初始图数据输入待训练的图特征提取模块,学习每个节点在每种交互操作下的第四节点特征信息,接着,将第四节点特征信息输入待训练的自注意力学习模块进行自注意力学习,得到每个节点在每种交互操作下的第一注意力权重,可以在学习多种交互操作间的相关性的基础上,学习到每种交互操作对应的节点表征重要度,再结合特征融合模块,对第四节点特征信息和第一注意力权重进行融合,得到第一节点特征信息,可以兼顾对交互操作间的异构性和相关性,大大提升节点表征的准确性,进而保证基于该第一节点特征信息进行对象推荐预测的精准性。
此外,需要说明的是,待训练的对象推荐模型中可以包括多个依次连接的待训练特征学习模块(待训练特征学习模块包括依次连接的训练图特征提取模块、待训练的自注意力学习模块和特征融合模块),以更好提升节点表征的准确性。
在步骤S205中,获取每个节点在目标交互操作下的第二节点特征信息和每个节点在目标交互操作下的第三节点特征信息。
在一个具体的实施例中,上述第二节点特征信息是基于初始图数据中目标子图数据对应的第一扰动图数据得到的,第三节点特征信息是基于目标子图数据对应的第二扰动图数据得到的;目标子图数据为多种交互操作中目标交互操作对应的子图数据。具体的,目标子图数据中仅包括目标交互操作对应交互关系的边。具体的,第一扰动图数据和第二扰动图数据是对目标子图数据进行不同扰动后的图数据,具体的,可以对目标子图数据进行边扰动,也可以对目标子图数据进行节点扰动,以得到扰动图数据。
在一个具体的实施例中,以对目标子图数据进行边扰动,得到第一扰动图数据和第二扰动图数据为例,可以分别删除目标子图数据中不同的边,以得到不同扰动的第一扰动图数据和第二扰动图数据。可选的,以对目标子图数据进行节点扰动,得到第一扰动图数据和第二扰动图数据为例,可以分别删除目标子图数据中不同的节点,以得到不同扰动的第一扰动图数据和第二扰动图数据。
在一个具体的实施例中,在第一扰动图数据和第二扰动图数据是基于边扰动得到的情况下,可以将第一扰动图数据和第二扰动图数据分别输入预设的图神经网络进行图特征提取处理,得到上述第二节点特征信息和第三节点特征信息。可选的,也可以将第一扰动图数据和第二扰动图数据分别输入上述待训练的对象推荐模型,结合待训练的对象推荐模型中的训练图特征提取模块、待训练的自注意力学习模块和特征融合模块,从第一扰动图数据和第二扰动图数据中分别提取第二节点特征信息和第三节点特征信息。
在一个可选的实施例中,在第一扰动图数据和第二扰动图数据是基于节点扰动得到的情况下,上述多个节点中包含在第一扰动图数据的节点对应的第二节点特征信息,可以结合上述预设的图神经网络或,或待训练的对象推荐模型中的训练图特征提取模块、待训练的自注意力学习模块和特征融合模块,来获取;相应的,上述多个节点中未包含在第一扰动图数据的节点对应的第二节点特征信息可以为预设的节点特征信息。相应的,上述多个节点中包含在第二扰动图数据的节点对应的第三节点特征信息,可以结合上述预设的图神经网络或,或待训练的对象推荐模型中的训练图特征提取模块、待训练的自注意力学习模块和特征融合模块来获取;上述多个节点中未包含在第二扰动图数据的节点对应的第三节点特征信息可以为预设的节点特征信息。
在步骤S207中,基于第一节点特征信息,生成每个节点对应的第一对比损失。
在一个具体的实施例中,上述第一对比损失可以表征每个节点在目标交互操作下的节点特征信息与每个节点在每一其他交互操作下的节点特征信息间的差异;每一其他交互操作为多种交互操作中除目标交互操作以外的每一交互操作;
在实际应用中,不同交互操作对应的交互数量呈现巨大差异,导致待训练的对象推荐模型在不同交互操作下学习得到的节点特征信息也存在较大差异。因此,为了缓解不同交互操作下学习的数据分布偏差所带来的噪声数据,本申请实施例中,将目标交互操作和其他交互操作(辅助操作)下的节点特征信息进行对比学习,以转移其他交互操作的语义,进而缓存不同交互操作下学习的数据分布偏差所带来的噪声数据。
在一个可选的实施例中,如图4所示,上述基于第一节点特征信息,生成每个节点对应的第一对比损失可以包括以下步骤:
在步骤S401中,根据目标账号节点在目标交互操作下的第一节点特征信息和目标账号节点在每一其他交互操作下的第一节点特征信息,构建第一正样本信息;
在步骤S403中,根据目标账号节点在目标交互操作下的第一节点特征信息和任一其他账号节点在每一其他交互操作下的第一节点特征信息,构建第一负样本信息;
在步骤S405中,根据目标对象节点在目标交互操作下的第一节点特征信息和目标对象节点在每一其他交互操作下的第一节点特征信息,构建第二正样本信息;
在步骤S407中,根据目标对象节点在目标交互操作下的第一节点特征信息和任一其他对象节点在每一其他交互操作下的第一节点特征信息,构建第二负样本信息;
在步骤S409中,基于第一正样本信息、第一负样本信息、第二正样本信息、第二负样本信息,确定第一对比损失。
在一个具体的实施例中,上述目标账号节点可以为多个节点中任一样本账号节点;上述根据目标账号节点在目标交互操作下的第一节点特征信息和目标账号节点在每一其他交互操作下的第一节点特征信息,构建第一正样本信息可以包括:将目标账号节点在目标交互操作下的第一节点特征信息和该目标账号节点在某一其他交互操作下的第一节点特征信息组成一个第一正样本对,相应的,第一正样本信息包括多个第一正样本对。
在一个具体的实施例中,任一其他账号节点为多个节点中除目标账号节点以外的任一样本账号节点;上述根据目标账号节点在目标交互操作下的第一节点特征信息和任一其他账号节点在每一其他交互操作下的第一节点特征信息,构建第一负样本信息可以包括:将目标账号节点在目标交互操作下的第一节点特征信息和某一其他账号节点在某一其他交互操作下的第一节点特征信息组成一个第一负样本对,相应的,第一负样本信息包括多个第一负样本对。
在一个具体的实施例中,上述目标对象节点为多个节点中任一样本对象节点。上述根据目标对象节点在目标交互操作下的第一节点特征信息和目标对象节点在每一其他交互操作下的第一节点特征信息,构建第二正样本信息可以包括:目标对象节点在目标交互操作下的第一节点特征信息和该目标对象节点在某一其他交互操作下的第一节点特征信息作为一个第二正样本对,相应的,第二正样本信息可以包括多个第二正样本对。
在一个具体的实施例中,上述任一其他对象节点为多个节点中除目标对象节点以外的任一样本对象节点。上述根据目标对象节点在目标交互操作下的第一节点特征信息和任一其他对象节点在每一其他交互操作下的第一节点特征信息,构建第二负样本信息可以包括:将目标对象节点在目标交互操作下的第一节点特征信息和某一其他对象节点在某一其他交互操作下的第一节点特征信息组成一个第二负样本对,相应的,第二负样本信息包括多个第二负样本对。
在一个具体的实施例中,基于第一正样本信息、第一负样本信息、第二正样本信息、第二负样本信息,确定第一对比损失过程中可以结合对比学习损失函数。
上述实施例中,通过结合目标账号节点在目标交互操作和其他交互操作(辅助操作)下的第一节点特征信息构建的第一正样本信息、以及结合目标账号节点在目标交互操作下和任一其他账号节点在其他交互操作下的第一节点特征信息构建的第一负样本信息、以及结合目标对象节点在目标交互操作和每一其他交互操作下的第一节点特征信息构建的第二正样本信息,以及结合目标对象节点在目标交互操作下的第一节点特征信息和其他对象节点在其他交互操作下的第一节点特征信息构建的第二负样本信息,来确定第一对比损失,可以实现对目标交互操作和其他交互操作(辅助操作)下的节点特征信息进行对比学习,以转移其他交互操作的语义,提升不同交互操作下节点特征信息间的相似度,进而可以在基于多种交互操作对应边信息缓解数据稀疏性的基础上,有效缓解不同交互操作下学习的数据分布偏差所带来的交互噪声数据。
在步骤S209中,基于第二节点特征信息和第三节点特征信息,生成每个节点对应的第二对比损失。
在一个具体的实施例中,上述第二对比损失表征不同扰动下的每个节点在目标交互操作下的节点特征信息间的差异;
在实际应用中,为了减少节点特征学习过程中,对其他交互操作对应边的依赖,本说明书实施例中,可以结合目标子图数据对应的不同扰动图数据进行目标交互操作内部的自监督对比学习。
在一个可选的实施例中,如图5所示,上述基于第二节点特征信息和第三节点特征信息,生成每个节点对应的第二对比损失可以包括以下步骤:
在步骤S501中,根据目标账号节点在目标交互操作下的第二节点特征信息和目标账号节点在目标交互操作下的第三节点特征信息,构建第三正样本信息;
在步骤S503中,根据目标账号节点在目标交互操作下的第二节点特征信息和任一其他账号节点在目标交互操作下的第三节点特征信息,构建第三负样本信息;
在步骤S505中,根据目标对象节点在目标交互操作下的第二节点特征信息和目标对象节点在目标交互操作下的第三节点特征信息,构建第四正样本信息;
在步骤S507中,根据目标对象节点在目标交互操作下的第二节点特征信息和任一其他对象节点在目标交互操作下的第三节点特征信息,构建第四负样本信息;
在步骤S509中,基于第三正样本信息、第三负样本信息、第四正样本信息、第四负样本信息,确定第二对比损失。
在一个具体的实施例中,上述目标账号节点可以为多个节点中任一样本账号节点;上述根据目标账号节点在目标交互操作下的第二节点特征信息和目标账号节点在目标交互操作下的第三节点特征信息,构建第三正样本信息;目标账号节点为多个节点中任一样本账号节点可以包括:将目标账号节点在目标交互操作下的第二节点特征信息和该目标账号节点在目标交互操作下的第三节点特征信息组成一个第三正样本对,相应的,第三正样本信息包括多个第三正样本对。
在一个具体的实施例中,任一其他账号节点为多个节点中除目标账号节点以外的任一样本账号节点;上述根据目标账号节点在目标交互操作下的第二节点特征信息和任一其他账号节点在目标交互操作下的第三节点特征信息,构建第三负样本信息可以包括:将目标账号节点在目标交互操作下的第二节点特征信息和某一其他账号节点在某一目标交互操作下的第三节点特征信息组成一个第三负样本对,相应的,第三负样本信息包括多个第三负样本对。
在一个具体的实施例中,上述目标对象节点为多个节点中任一样本对象节点。上述根据目标对象节点在目标交互操作下的第二节点特征信息和目标对象节点在目标交互操作下的第三节点特征信息,构建第四正样本信息可以包括:目标对象节点在目标交互操作下的第二节点特征信息和该目标对象节点在目标交互操作下的第三节点特征信息作为一个第四正样本对,相应的,第四正样本信息可以包括多个第四正样本对。
在一个具体的实施例中,上述任一其他对象节点为多个节点中除目标对象节点以外的任一样本对象节点。上述根据目标对象节点在目标交互操作下的第二节点特征信息和任一其他对象节点在目标交互操作下的第三节点特征信息,构建第四负样本信息可以包括:将目标对象节点在目标交互操作下的第二节点特征信息和某一其他对象节点在目标交互操作下的第三节点特征信息组成一个第四负样本对,相应的,第四负样本信息包括多个第四负样本对。
在一个具体的实施例中,基于第三正样本信息、第三负样本信息、第四正样本信息、第四负样本信息,确定第二对比损失过程中可以结合对比学习损失函数。
根据目标账号节点在目标交互操作下的第二节点特征信息和目标账号节点在目标交互操作下的第三节点特征信息,构建第三正样本信息;
在步骤S503中,根据目标账号节点在目标交互操作下的第二节点特征信息和任一其他账号节点在目标交互操作下的第三节点特征信息,构建第三负样本信息;
在步骤S505中,根据目标对象节点在目标交互操作下的第二节点特征信息和目标对象节点在目标交互操作下的第三节点特征信息,构建第四正样本信息;
在步骤S507中,根据目标对象节点在目标交互操作下的第二节点特征信息和任一其他对象节点在目标交互操作下的第三节点特征信息,构建第四负样本信息
上述实施例中,结合不同扰动下的多个节点对应的第二节点特征信息和第三节点特征信息构建的第三正样本信息、第三负样本信息、第四正样本信息、第四负样本信息,来确定第二对比损失,可以有效减少节点特征学习过程中,对其他交互操作对应边的过度依赖,进而可以在基于多种交互操作对应边信息缓解数据稀疏性的基础上,有效缓解其他交互操作带来的交互噪声数据。
在步骤S211中,基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个具体的实施例中,每个样本账号对应的预设推荐指标数据表征每个样本账号对每个样本交互对象执行目标交互操作的概率。具体的,可以每个样本账号对每个样本交互对象的交互操作情况,来确定上述预设推荐指标数据。可选的,若某一样本账号对每个样本交互对象执行过目标交互操作,相应的,预设推荐指标数据可以为1,反之若某一样本账号未对每个样本交互对象执行过目标交互操作,预设推荐指标数据可以为0。
在一个可选的实施例中,上述基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型可以包括:根据预测推荐指标数据和预设推荐指标数据,确定推荐损失;对推荐损失、第一对比损失和第二对比损失进行加权求和,确定目标损失;基于目标损失,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个具体的实施例中,上述推荐损失可以表征预测推荐指标数据和预设推荐指标数据间的差异;具体的,可以结合预设损失函数来确定推荐损失;可选的,预设损失函数可以包括交叉熵损失函数、指数损失函数等。目标损失可以表征待训练的对象推荐模型的对象推荐性能;可选的,该目标损失越大,对象推荐性能越差;反之,目标损失越大,对象推荐性能越好。
在一个具体的实施例中,推荐损失、第一对比损失和第二对比损失各自对应的权重可以结合实际应用需求,调试得到的。
在一个具体的实施例中,可以结合梯度下降法,确定目标损失对应的梯度信息,并结合梯度信息调整待训练的对象推荐模型中相应的模型参数,接着,基于更新后的待训练的对象推荐模型,重复上述步骤S203至S209,确定目标损失,确定目标损失对应的梯度信息,以及结合梯度信息调整待训练的对象推荐模型中相应的模型参数的训练迭代步骤,直至满足预设收敛条件;并将满足预设收敛条件是对应的待训练的对象推荐模型作为对象训练模型。
在一个具体的实施例中,上述满足预设收敛条件可以为目标损失小于等于预设损失阈值,或训练迭代步骤的次数达到预设次数等,具体的,预设损失阈值和预设次数可以结合实际应用中模型精度和训练速度需求进行设置。
上述结合多种损失进行加权求和得到的目标损失,对待训练的对象推荐模型进行模型参数调整训练的实施例中,忽略了跨任务(跨操作)存在优化不平衡的可能性,这会降低目标任务(预测账号执行目标交互操作的任务)的性能;且调整多个损失的权重往往耗时耗力。在一个可选的实施例中,为了解决上述结合多种损失进行加权求和得到的目标损失,对待训练的对象推荐模型进行模型参数调整训练存在的目标任务(对象推荐)的性能降低以及损失权重调整过程耗时耗力带来的效率低下的问题;如图6所示,上述基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型可以包括:
在步骤S601中,根据预测推荐指标数据和预设推荐指标数据,确定推荐损失;
在步骤S603中,根据推荐损失,确定待训练的对象推荐模型中模型参数对应的第一梯度信息;
在步骤S605中,根据第一对比损失,确定待训练的对象推荐模型中模型参数对应的第二梯度信息;
在步骤S607中,根据第二对比损失,确定待训练的对象推荐模型中模型参数对应的第三梯度信息;
在步骤S609中,基于第一梯度信息,对第二梯度信息和第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息;
在步骤S611中,根据第一梯度信息、第一校正梯度信息和第二校正梯度信息,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个具体的实施例中,可以结合梯度下降法和推荐损失,计算用于对模型参数进行调整的第一梯度信息;可以结合梯度下降法和第一对比损失,计算用于对模型参数进行调整的第二梯度信息;以及结合梯度下降法和第二对比损失,计算用于对模型参数进行调整的第三梯度信息。
在一个具体的实施例中。上述基于第一梯度信息,对第二梯度信息和第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息可以包括:基于第一梯度信息的方向和/或大小,对第二梯度信息和第三梯度信息各自的方向和/或大小进行校正,分别得到第一校正梯度信息和第二校正梯度信息。
在一个可选的实施例中,以对第二梯度信息和第三梯度信息进行方向和大小的校正为例,上述基于第一梯度信息,对第二梯度信息和第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息可以包括:
根据第一梯度信息的方向,去除第二梯度信息中目标方向的梯度分量,得到第二梯度信息对应的第一初始梯度信息;
根据第一梯度信息的方向,去除第三梯度信息中目标方向的梯度分量,得到第三梯度信息对应的第二初始梯度信息;
根据第一梯度信息的梯度大小,对第一初始梯度信息和第二初始梯度信息梯度大小调整,得到第一校正梯度信息和第二校正梯度信息。
在一个具体的实施例中,第一校正梯度信息可以为第二梯度信息校正后的结果;第二校正梯度信息可以为第三梯度信息校正后的结果;目标方向与第一梯度信息的方向相反;具体的,第一初始梯度信息可以为第二梯度信息去除目标方向的梯度分量后的梯度信息。第二初始梯度信息可以为第三梯度信息去除目标方向的梯度分量后的梯度信息。可选的,可以结合下述公式,去除第二梯度信息和第三梯度信息中目标方向的梯度分量:
其中,Gaux,i可以为待校正梯度信息(第二梯度信息或第三梯度信息)Gtar可以为第一梯度信息,Gaux,i′可以为去除目标方向的梯度分量后的梯度信息(第一初始梯度信息或第二初始梯度信息)。
在一个具体的实施例中,尽管通过方向调整,减少了对模型目标任务(预测账号执行目标交互操作的任务)对应梯度干扰的程度,但对比损失对应的辅助任务的大梯度幅度仍然阻碍了对模型目标任务的优化。因此,本说明书实施例中进一步调整大梯度的大小,使其与目标任务的梯度(第一梯度信息)靠近;可选的,可以结合下述公式进行梯度大小调整:
其中,Gaux,i′可以为去除目标方向的梯度分量后的梯度信息(第一初始梯度信息或第二初始梯度信息),Gtar可以为第一梯度信息;r可以为预设松弛因子;Gaux,i″可以为第一校正梯度信息或第二校正梯度信息。
上述实施例中,先根据第一梯度信息的方向,去除第二梯度信息和第三梯度信息中与第一梯度信息的方向相反的目标方向的梯度分量,得到第二梯度信息对应的第一初始梯度信息和第三梯度信息对应的第二初始梯度信息,可以有效减少对模型目标任务对应梯度干扰的程度;再结合第一梯度信息的梯度大小,对第一初始梯度信息和第二初始梯度信息梯度大小调整,得到第一校正梯度信息和第二校正梯度信息,可以有效提升辅助任务对应梯度信息与目标任务对应第一梯度信息间一致性,进而提升模型训练时的平稳性,解决辅助任务与目标任务之间的优化失衡问题。
此外,需要说明的是,在对第二梯度信息和第三梯度信息进行方向和大小的校正的场景中,也可以先校正大小再校准方向,可以结合实际应用需求进行设置。
上述实施例中,结合基于待训练的对象推荐模型的目标任务对应的推荐损失确定的第一梯度信息,对基于待训练的对象推荐模型的训练过程中第一对比损失和第二对比损失确定的第二梯度信息和第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息,可以有效保证辅助任务对应第一校正梯度信息和第二校正梯度信息,分别与目标任务对应第一梯度信息间一致性,接着,根据第一梯度信息、第一校正梯度信息和第二校正梯度信息,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型,可以有效提升模型训练时的平稳性,解决辅助任务与目标任务之间的优化失衡问题。
由以上本说明书实施例提供的技术方案可见,本说明书中在对象推荐模型的训练过程中,获取初始图数据,该初始图数据是基于多种交互关系构建的,多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;并将该初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和初始图数据中每个节点在每种交互操作下的第一节点特征信息;并获取不同扰动下,每个节点在目标交互操作下的节点特征信息(第二节点特征信息和第三节点特征信息);接着,基于第一节点特征信息,生成表征每个节点在目标交互操作与其他交互操作下的节点特征信息间差异的第一对比损失,可以实现对目标交互操作和其他交互操作下的节点特征信息进行对比学习,以转移其他交互操作的语义,提升不同交互操作下节点特征信息间的相似度,有效缓解不同交互操作下学习的数据分布偏差所带来的交互噪声数据;接着,基于第二节点特征信息和第三节点特征信息,生成表征不同扰动下的每个节点在目标交互操作下的节点特征信息间差异的第二对比损失,可以效减少节点特征学习过程中,对其他交互操作对应边的过度依赖,有效缓解其他交互操作带来的交互噪声数据;接着,基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型,可以实现基于操作内和操作间的联合对比学习,在基于图数据中多种交互操作对应边信息缓解数据稀疏性的基础上,有效缓解不同交互操作下学习的数据分布偏差,以及对其他交互操作对应边的过度依赖所带来的交互噪声数据,大大提升训练好的模型对用户账号和对象表征的精准性,改善模型的对象推荐预测能力,以及推荐系统中推荐效果,进而也可以减少无效的对象推荐的情况,降低系统资源浪费,提升系统性能。
以下介绍基于本申请上述对象推荐模型的训练方法得到的对象推荐模型的对象推荐方法,如图7所示,图7是根据一示例性实施例提供的一种对象推荐方法的流程图,可以包括以下步骤:
在步骤S701中,获取目标账号对应的目标图数据;
在一个具体的实施例中,目标账号可以为对象推荐平台内容任一需要推荐对象的用户账号。上述目标图数据是以目标账号和至少一个预设对象为节点,以目标账号和至少一个预设对象中目标账号的历史交互对象间的至少一种交互关系为边的图数据;至少一个预设对象可以为对象推荐平台中待推荐对象;可选的,目标账号的历史交互对象可以为至少一个预设对象中目标账号执行过交互操作的对象。历史交互对象可以包括至少一个对象,相应的,目标账号对每个对象可以执行过至少一种交互操作。
在步骤S703中,将目标图数据输入训练好的对象推荐模型进行对象推荐预测,得到至少一个预设对象对应的目标推荐指标数据。
在一个具体的实施例中,目标推荐指标数据可以表征训练好的对象推荐模型预测的目标账号对至少一个预设对象执行目标交互操作的概率。
在一个可选的实施例中,训练好的对象推荐模型包括训练好的图特征提取模块、训练好的自注意力学习模块、特征融合模块和分类模块;上述将目标图数据输入训练好的对象推荐模型进行对象推荐预测,得到至少一个预设对象对应的目标推荐指标数据可以包括:
将目标图数据输入训练好的图特征提取模块进行图特征提取,得到目标账号对应的账号节点在每种交互操作下的第五节点特征信息;
将第五节点特征信息输入训练好的自注意力学习模块进行自注意力学习,得到账号节点在每种交互操作下的第二注意力权重;
将第五节点特征信息和第二注意力权重输入特征融合模块进行特征融合,得到第六节点特征信息;
将第六节点特征信息输入分类模块进行分类处理,得到目标推荐指标数据。
在一个具体的实施例中,上述将目标图数据输入训练好的对象推荐模型进行对象推荐预测,得到至少一个预设对象对应的目标推荐指标数据对应具体细化步骤的具体细化,可以参见上述将初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和多个节点中每个节点在每种交互操作下的第一节点特征信息对应具体细化步骤的具体细化,在此不再赘述。
上述实施例中,先将目标图数据输入图特征提取模块,学习每个节点在每种交互操作下的第五节点特征信息,接着,将第五节点特征信息输入自注意力学习模块进行自注意力学习,得到每个节点在每种交互操作下的第二注意力权重,可以在学习多种交互操作间的相关性的基础上,学习到每种交互操作对应的节点表征重要度,再结合特征融合模块,对第五节点特征信息和第二注意力权重进行融合,得到第六节点特征信息,可以兼顾对交互操作间的异构性和相关性,大大提升节点表征的准确性,进而保证基于该第六节点特征信息进行对象推荐预测的精准性。
在步骤S705中,基于目标推荐指标数据,从至少一个预设对象中,确定目标推荐对象。
在一个具体的实施例中,目标推荐对象可以包括至少一个推荐给目标账号的对象;可选的,可以将至少一个预设对象中对应的目标推荐指标数据大于等于预设阈值的对象,作为目标推荐对象;也可以将至少一个预设对象中对应的目标推荐指标数据,按照降序排序,排在前预设数量位的对象作为目标推荐对象。
在步骤S707中,将目标推荐对象推荐给目标账号。
在一个具体的实施例中,上述将目标推荐对象推荐给目标账号可以包括:将目标推荐对象发送至目标账号对应的终端。
由以上本说明书实施例提供的技术方案可见,本说明书中在对象推荐过程中,获取目标账号对应的目标图数据,该目标图数据是以目标账号和至少一个预设对象为节点,以目标账号和至少一个预设对象中目标账号的历史交互对象间的至少一种交互关系为边的图数据;将该目标图数据输入,基于操作间和操作内对应的联合对比损失训练得到的对象推荐模型进行对象推荐预测,可以有效保证模型在对象推荐预测过程中,学习到的目标账号和至少一个预设对象各自对应的特征信息的精准性,进而可以有效保证目标推荐指标数据的准确性和有效性,接着,基于该目标推荐指标数据确定出推荐给目标账号的目标推荐对象,可以大大提升推荐系统中推荐效果,进而也可以减少无效的对象推荐的情况,降低系统资源浪费,提升系统性能。
图8是根据一示例性实施例示出的一种对象推荐模型的训练装置框图。参照图8,该装置包括:
第一图数据获取模块810,被配置为执行获取初始图数据,初始图数据是基于多种交互关系构建的,多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;初始图数据包括多个节点;多个节点包括多个样本账号对应的样本账号节点和多个样本交互对象对应的样本对象节点;
第一对象推荐预测模块820,被配置为执行将初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和多个节点中每个节点在每种交互操作下的第一节点特征信息;
节点特征信息获取模块830,被配置为执行获取每个节点在目标交互操作下的第二节点特征信息和每个节点在目标交互操作下的第三节点特征信息,第二节点特征信息是基于初始图数据中目标子图数据对应的第一扰动图数据得到的,第三节点特征信息是基于目标子图数据对应的第二扰动图数据得到的;目标子图数据为多种交互操作中目标交互操作对应的子图数据;
第一对比损失生成模块840,被配置为执行基于第一节点特征信息,生成每个节点对应的第一对比损失;第一对比损失表征每个节点在目标交互操作下的节点特征信息与每个节点在每一其他交互操作下的节点特征信息间的差异;每一其他交互操作为多种交互操作中除目标交互操作以外的每一交互操作;
第二对比损失生成模块850,被配置为执行基于第二节点特征信息和第三节点特征信息,生成每个节点对应的第二对比损失;第二对比损失表征不同扰动下的每个节点在目标交互操作下的节点特征信息间的差异;
模型训练模块860,被配置为执行基于第一对比损失、第二对比损失、预测推荐指标数据和每个样本账号对应的预设推荐指标数据,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个可选的实施例中,第一对比损失生成模块840包括:
第一正样本信息构建单元,被配置为执行根据目标账号节点在目标交互操作下的第一节点特征信息和目标账号节点在每一其他交互操作下的第一节点特征信息,构建第一正样本信息;目标账号节点为多个节点中任一样本账号节点;
第一负样本信息构建单元,被配置为执行根据目标账号节点在目标交互操作下的第一节点特征信息和任一其他账号节点在每一其他交互操作下的第一节点特征信息,构建第一负样本信息;任一其他账号节点为多个节点中除目标账号节点以外的任一样本账号节点;
第二正样本信息构建单元,被配置为执行根据目标对象节点在目标交互操作下的第一节点特征信息和目标对象节点在每一其他交互操作下的第一节点特征信息,构建第二正样本信息;目标对象节点为多个节点中任一样本对象节点;
第二负样本信息构建单元,被配置为执行根据目标对象节点在目标交互操作下的第一节点特征信息和任一其他对象节点在每一其他交互操作下的第一节点特征信息,构建第二负样本信息;任一其他对象节点为多个节点中除目标对象节点以外的任一样本对象节点;
第一对比损失确定单元,被配置为执行基于第一正样本信息、第一负样本信息、第二正样本信息、第二负样本信息,确定第一对比损失。
在一个可选的实施例中,第二对比损失生成模块850包括:
第三正样本信息构建单元,被配置为执行根据目标账号节点在目标交互操作下的第二节点特征信息和目标账号节点在目标交互操作下的第三节点特征信息,构建第三正样本信息;目标账号节点为多个节点中任一样本账号节点;
第三负样本信息构建单元,被配置为执行根据目标账号节点在目标交互操作下的第二节点特征信息和任一其他账号节点在目标交互操作下的第三节点特征信息,构建第三负样本信息;任一其他账号节点为多个节点中除目标账号节点以外的任一样本账号节点;
第四正样本信息构建单元,被配置为执行根据目标对象节点在目标交互操作下的第二节点特征信息和目标对象节点在目标交互操作下的第三节点特征信息,构建第四正样本信息;目标对象节点为多个节点中任一样本对象节点;
第四负样本信息构建单元,被配置为执行根据目标对象节点在目标交互操作下的第二节点特征信息和任一其他对象节点在目标交互操作下的第三节点特征信息,构建第四负样本信息;任一其他对象节点为多个节点中除目标节点以外的任一样本对象节点;
第二对比损失确定单元,被配置为执行基于第三正样本信息、第三负样本信息、第四正样本信息、第四负样本信息,确定第二对比损失。
在一个可选的实施例中,待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块;第一对象推荐预测模块820包括:
第一图特征提取单元,被配置为执行将初始图数据输入待训练的图特征提取模块进行图特征提取,得到每个节点在每种交互操作下的第四节点特征信息;
第一自注意力学习单元,被配置为执行将第四节点特征信息输入待训练的自注意力学习模块进行自注意力学习,得到每个节点在每种交互操作下的第一注意力权重;
第一特征融合单元,被配置为执行将第四节点特征信息和第一注意力权重输入特征融合模块进行特征融合,得到第一节点特征信息;
第一分类处理单元,被配置为执行将第一节点特征信息输入分类模块进行分类处理,得到预测推荐指标数据。
在一个可选的实施例中,模型训练模块860包括:
推荐损失确定单元,被配置为执行根据预测推荐指标数据和预设推荐指标数据,确定推荐损失;
第一梯度信息确定单元,被配置为执行根据推荐损失,确定待训练的对象推荐模型中模型参数对应的第一梯度信息;
第二梯度信息确定单元,被配置为执行根据第一对比损失,确定待训练的对象推荐模型中模型参数对应的第二梯度信息;
第三梯度信息确定单元,被配置为执行根据第二对比损失,确定待训练的对象推荐模型中模型参数对应的第三梯度信息;
梯度信息校正单元,被配置为执行基于第一梯度信息,对第二梯度信息和第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息;
模型训练单元,被配置为执行根据第一梯度信息、第一校正梯度信息和第二校正梯度信息,对待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
在一个可选的实施例中,梯度信息校正模块包括:
第一梯度方向校正单元,被配置为执行根据第一梯度信息的方向,去除第二梯度信息中目标方向的梯度分量,得到第二梯度信息对应的第一初始梯度信息;目标方向与第一梯度信息的方向相反;
第二梯度方向校正单元,被配置为执行根据第一梯度信息的方向,去除第三梯度信息中目标方向的梯度分量,得到第三梯度信息对应的第二初始梯度信息;
梯度大小校正单元,被配置为执行根据第一梯度信息的梯度大小,对第一初始梯度信息和第二初始梯度信息梯度大小调整,得到第一校正梯度信息和第二校正梯度信息。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种对象推荐装置框图。参照图9,该装置包括:
第二图数据获取模块910,被配置为执行获取目标账号对应的目标图数据;目标图数据是以目标账号和至少一个预设对象为节点,以目标账号和至少一个预设对象中目标账号的历史交互对象间的至少一种交互关系为边的图数据;
第二对象推荐预测模块920,被配置为执行将目标图数据输入根据上述第一方面任一项的对象推荐模型的训练方法得到的对象推荐模型进行对象推荐预测,得到至少一个预设对象对应的目标推荐指标数据;
目标推荐对象确定模块930,被配置为执行基于目标推荐指标数据,从至少一个预设对象中,确定目标推荐对象;
对象推荐模块940,被配置为执行将目标推荐对象推荐给目标账号。
在一个可选的实施例中,对象推荐模型包括图特征提取模块、自注意力学习模块、特征融合模块和分类模块;第二对象推荐预测模块920包括:
第二图特征提取单元,被配置为执行将目标图数据输入图特征提取模块进行图特征提取,得到目标账号对应的账号节点在每种交互操作下的第五节点特征信息;
第二自注意力学习单元,被配置为执行将第五节点特征信息输入自注意力学习模块进行自注意力学习,得到账号节点在每种交互操作下的第二注意力权重;
第二特征融合单元,被配置为执行将第五节点特征信息和第二注意力权重输入特征融合模块进行特征融合,得到第六节点特征信息;
第二分类处理单元,被配置为执行将第六节点特征信息输入分类模块进行分类处理,得到目标推荐指标数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种用于对象推荐的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象推荐方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
图11是根据一示例性实施例示出的一种用于对象推荐模型的训练的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象推荐模型的训练方法。
本领域技术人员可以理解,图10或图11中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的对象推荐模型的训练或对象推荐方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的对象推荐模型的训练或对象推荐方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的对象推荐模型的训练或对象推荐方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种对象推荐模型的训练方法,其特征在于,包括:
获取初始图数据,所述初始图数据是基于多种交互关系构建的,所述多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;所述初始图数据包括多个节点;所述多个节点包括所述多个样本账号对应的样本账号节点和所述多个样本交互对象对应的样本对象节点;
将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息;
获取所述每个节点在目标交互操作下的第二节点特征信息和所述每个节点在所述目标交互操作下的第三节点特征信息,所述第二节点特征信息是基于所述初始图数据中目标子图数据对应的第一扰动图数据得到的,所述第三节点特征信息是基于所述目标子图数据对应的第二扰动图数据得到的;所述目标子图数据为所述多种交互操作中所述目标交互操作对应的子图数据;
基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失;所述第一对比损失表征所述每个节点在所述目标交互操作下的节点特征信息与所述每个节点在每一其他交互操作下的节点特征信息间的差异;所述每一其他交互操作为所述多种交互操作中除所述目标交互操作以外的每一交互操作;
基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失;所述第二对比损失表征不同扰动下的所述每个节点在所述目标交互操作下的节点特征信息间的差异;
基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
2.根据权利要求1所述的对象推荐模型的训练方法,其特征在于,所述基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失包括:
根据目标账号节点在所述目标交互操作下的所述第一节点特征信息和所述目标账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
根据所述目标账号节点在所述目标交互操作下的所述第一节点特征信息和任一其他账号节点在所述每一其他交互操作下的所述第一节点特征信息,构建第一负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
根据目标对象节点在所述目标交互操作下的所述第一节点特征信息和所述目标对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
根据所述目标对象节点在所述目标交互操作下的所述第一节点特征信息和任一其他对象节点在所述每一其他交互操作下的所述第一节点特征信息,构建第二负样本信息;所述任一其他对象节点为所述多个节点中除所述目标对象节点以外的任一样本对象节点;
基于所述第一正样本信息、所述第一负样本信息、所述第二正样本信息、所述第二负样本信息,确定所述第一对比损失。
3.根据权利要求1所述的对象推荐模型的训练方法,其特征在于,所述基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失包括:
根据目标账号节点在所述目标交互操作下的所述第二节点特征信息和所述目标账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三正样本信息;所述目标账号节点为所述多个节点中任一样本账号节点;
根据所述目标账号节点在所述目标交互操作下的所述第二节点特征信息和任一其他账号节点在所述目标交互操作下的所述第三节点特征信息,构建第三负样本信息;所述任一其他账号节点为所述多个节点中除所述目标账号节点以外的任一样本账号节点;
根据目标对象节点在所述目标交互操作下的所述第二节点特征信息和所述目标对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四正样本信息;所述目标对象节点为所述多个节点中任一样本对象节点;
根据所述目标对象节点在所述目标交互操作下的所述第二节点特征信息和任一其他对象节点在所述目标交互操作下的所述第三节点特征信息,构建第四负样本信息;所述任一其他对象节点为所述多个节点中除所述目标节点以外的任一样本对象节点;
基于所述第三正样本信息、所述第三负样本信息、所述第四正样本信息、所述第四负样本信息,确定所述第二对比损失。
4.根据权利要求1至3任一所述的对象推荐模型的训练方法,其特征在于,所述待训练的对象推荐模型包括待训练的图特征提取模块、待训练的自注意力学习模块、特征融合模块和分类模块;所述将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取所述每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息包括:
将所述初始图数据输入所述待训练的图特征提取模块进行图特征提取,得到所述每个节点在所述每种交互操作下的第四节点特征信息;
将所述第四节点特征信息输入所述待训练的自注意力学习模块进行自注意力学习,得到所述每个节点在所述每种交互操作下的第一注意力权重;
将所述第四节点特征信息和所述第一注意力权重输入所述特征融合模块进行特征融合,得到所述第一节点特征信息;
将所述第一节点特征信息输入所述分类模块进行分类处理,得到所述预测推荐指标数据。
5.根据权利要求1至3任一所述的对象推荐模型的训练方法,其特征在于,所述基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型包括:
根据所述预测推荐指标数据和所述预设推荐指标数据,确定推荐损失;
根据所述推荐损失,确定所述待训练的对象推荐模型中模型参数对应的第一梯度信息;
根据所述第一对比损失,确定所述待训练的对象推荐模型中模型参数对应的第二梯度信息;
根据所述第二对比损失,确定所述待训练的对象推荐模型中模型参数对应的第三梯度信息;
基于所述第一梯度信息,对所述第二梯度信息和所述第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息;
根据所述第一梯度信息、所述第一校正梯度信息和所述第二校正梯度信息,对所述待训练的对象推荐模型进行训练,得到所述训练好的对象推荐模型。
6.根据权利要求5所述的对象推荐模型的训练方法,其特征在于,所述基于所述第一梯度信息,对所述第二梯度信息和所述第三梯度信息进行校正,分别得到第一校正梯度信息和第二校正梯度信息包括:
根据所述第一梯度信息的方向,去除所述第二梯度信息中目标方向的梯度分量,得到所述第二梯度信息对应的第一初始梯度信息;所述目标方向与所述第一梯度信息的方向相反;
根据所述第一梯度信息的方向,去除所述第三梯度信息中所述目标方向的梯度分量,得到所述第三梯度信息对应的第二初始梯度信息;
根据所述第一梯度信息的梯度大小,对所述第一初始梯度信息和所述第二初始梯度信息梯度大小调整,得到所述第一校正梯度信息和所述第二校正梯度信息。
7.一种对象推荐方法,其特征在于,包括:
获取目标账号对应的目标图数据;所述目标图数据是以所述目标账号和至少一个预设对象为节点,以所述目标账号和所述至少一个预设对象中所述目标账号的历史交互对象间的至少一种交互关系为边的图数据;
将所述目标图数据输入根据权利要求1至6任一所述的对象推荐模型的训练方法得到的训练好的对象推荐模型进行对象推荐预测,得到所述至少一个预设对象对应的目标推荐指标数据;
基于所述目标推荐指标数据,从所述至少一个预设对象中,确定目标推荐对象;
将所述目标推荐对象推荐给所述目标账号。
8.一种对象推荐模型的训练装置,其特征在于,包括:
第一图数据获取模块,被配置为执行获取初始图数据,所述初始图数据是基于多种交互关系构建的,所述多种交互关系表征多个样本账号对多个样本交互对象执行的多种交互操作;所述初始图数据包括多个节点;所述多个节点包括所述多个样本账号对应的样本账号节点和所述多个样本交互对象对应的样本对象节点;
第一对象推荐预测模块,被配置为执行将所述初始图数据输入待训练的对象推荐模型进行对象推荐预测,获取每个样本账号对应的预测推荐指标数据和所述多个节点中每个节点在每种交互操作下的第一节点特征信息;
节点特征信息获取模块,被配置为执行获取所述每个节点在目标交互操作下的第二节点特征信息和所述每个节点在所述目标交互操作下的第三节点特征信息,所述第二节点特征信息是基于所述初始图数据中目标子图数据对应的第一扰动图数据得到的,所述第三节点特征信息是基于所述目标子图数据对应的第二扰动图数据得到的;所述目标子图数据为所述多种交互操作中所述目标交互操作对应的子图数据;
第一对比损失生成模块,被配置为执行基于所述第一节点特征信息,生成所述每个节点对应的第一对比损失;所述第一对比损失表征所述每个节点在所述目标交互操作下的节点特征信息与所述每个节点在每一其他交互操作下的节点特征信息间的差异;所述每一其他交互操作为所述多种交互操作中除所述目标交互操作以外的每一交互操作;
第二对比损失生成模块,被配置为执行基于所述第二节点特征信息和所述第三节点特征信息,生成所述每个节点对应的第二对比损失;所述第二对比损失表征不同扰动下的所述每个节点在所述目标交互操作下的节点特征信息间的差异;
模型训练模块,被配置为执行基于所述第一对比损失、所述第二对比损失、所述预测推荐指标数据和所述每个样本账号对应的预设推荐指标数据,对所述待训练的对象推荐模型进行训练,得到训练好的对象推荐模型。
9.一种对象推荐装置,其特征在于,包括:
第二图数据获取模块,被配置为执行获取目标账号对应的目标图数据;所述目标图数据是以所述目标账号和至少一个预设对象为节点,以所述目标账号和所述至少一个预设对象中所述目标账号的历史交互对象间的至少一种交互关系为边的图数据;
第二对象推荐预测模块,被配置为执行将所述目标图数据输入根据权利要求1至6任一所述的对象推荐模型的训练方法得到的对象推荐模型进行对象推荐预测,得到所述至少一个预设对象对应的目标推荐指标数据;
目标推荐对象确定模块,被配置为执行基于所述目标推荐指标数据,从所述至少一个预设对象中,确定目标推荐对象;
对象推荐模块,被配置为执行将所述目标推荐对象推荐给所述目标账号。
10.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的对象推荐模型的训练方法或如权利要求7所述的对象推荐方法。
11.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的对象推荐模型的训练方法或如权利要求7所述的对象推荐方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310822409.0A CN117009653A (zh) | 2023-07-05 | 2023-07-05 | 对象推荐模型的训练方法、对象推荐方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310822409.0A CN117009653A (zh) | 2023-07-05 | 2023-07-05 | 对象推荐模型的训练方法、对象推荐方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117009653A true CN117009653A (zh) | 2023-11-07 |
Family
ID=88573657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310822409.0A Pending CN117009653A (zh) | 2023-07-05 | 2023-07-05 | 对象推荐模型的训练方法、对象推荐方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117009653A (zh) |
-
2023
- 2023-07-05 CN CN202310822409.0A patent/CN117009653A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111538908B (zh) | 搜索排序方法、装置、计算机设备和存储介质 | |
CN112052837A (zh) | 基于人工智能的目标检测方法以及装置 | |
CN113536139B (zh) | 基于兴趣的内容推荐方法、装置、计算机设备及存储介质 | |
CN113901327A (zh) | 一种目标推荐模型训练方法、推荐方法、装置及电子设备 | |
CN112395500A (zh) | 内容数据推荐方法、装置、计算机设备及存储介质 | |
CN106803092B (zh) | 一种标准问题数据的确定方法及装置 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN113420203B (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN110085292A (zh) | 药品推荐方法、装置及计算机可读存储介质 | |
CN113343024A (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN110866609B (zh) | 解释信息获取方法、装置、服务器和存储介质 | |
CN113947185B (zh) | 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 | |
CN117009653A (zh) | 对象推荐模型的训练方法、对象推荐方法及装置 | |
CN111046786A (zh) | 年龄估计神经网络的生成方法、装置以及电子设备 | |
CN113610215B (zh) | 任务处理网络生成、任务处理方法、装置及电子设备 | |
CN115756821A (zh) | 在线任务处理模型训练、任务处理方法及装置 | |
CN113868516A (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN114239983A (zh) | 一种目标区域的人口流量预测方法及相关装置 | |
CN113643283A (zh) | 一种人体衰老状况的检测方法、装置、设备及存储介质 | |
CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 | |
CN114048392B (zh) | 多媒体资源推送方法、装置、电子设备及存储介质 | |
CN112926834B (zh) | 工业app质量评价方法、装置、设备及介质 | |
CN114581946B (zh) | 人群计数方法、装置、存储介质及电子设备 | |
CN114329174A (zh) | 数据召回方法及装置 | |
CN117541073A (zh) | 业务数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB03 | Change of inventor or designer information | ||
CB03 | Change of inventor or designer information |
Inventor after: Wang Chaokun Inventor after: Xu Jincao Inventor after: Wu Cheng Inventor after: Zheng Kai Inventor before: Xu Jincao Inventor before: Zheng Kai Inventor before: Wu Cheng Inventor before: Wang Chaokun |