CN115409151A - 图神经网络训练、任务处理方法、装置、电子设备及存储介质 - Google Patents
图神经网络训练、任务处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115409151A CN115409151A CN202110586648.1A CN202110586648A CN115409151A CN 115409151 A CN115409151 A CN 115409151A CN 202110586648 A CN202110586648 A CN 202110586648A CN 115409151 A CN115409151 A CN 115409151A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- information
- preset
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种图神经网络训练、任务处理方法、装置、电子设备及存储介质,该图神经网络训练方法包括获取样本对象的对象信息和样本对象的正样本数据,正样本数据为样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;对正样本数据进行去噪处理,得到目标样本数据;基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络。利用本公开实施例可以大大提升对多媒体资源的表征精准性,进而提升推荐精准性。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种图神经网络训练、任务处理方法、装置、电子设备及存储介质。
背景技术
随着互联网技术的发展,大量信息推荐平台也在不断的升级,涌现出大批以多媒体资源生产+推荐为核心业务的产品。众所周知,个性化推荐产品,对多媒体资源的精准表征是最核心的技术之一。
相关技术中,常常会结合平台内容的多媒体资源构建一张图,图中的节点表征多媒体资源,并结合用户对多媒体资源的行为操作,构建节点之间的边(如被同一个用户连续观看的两个视频之间存在一条边),生成图数据;接着,基于图数据对图神经网络进行训练,以进行多媒体资源的向量表征(embedding)学习;但上述相关技术中,由于用户行为的不确定性,用于学习的多媒体资源的图数据存在很多噪声,噪声随着图结构进行传播,导致图神经网络往往无法准确学习到节点的特征表征,造成多媒体资源的表征精准性以及后续推荐精准性均较差的问题。
发明内容
本公开提供一种图神经网络训练、任务处理方法、装置、电子设备及存储介质,以至少解决相关技术中多媒体资源的表征精准性以及后续推荐精准性均较差的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图神经网络训练方法,包括:
获取样本对象的对象信息和所述样本对象的正样本数据,所述正样本数据为所述样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;
对所述正样本数据进行去噪处理,得到目标样本数据;
基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络。
可选的,所述对所述正样本数据进行去噪处理,得到目标样本数据包括:
基于数据去噪网络对所述正样本数据进行去噪处理,得到目标样本数据。
可选的,所述方法还包括:
获取所述样本对象的正样本数据对应多媒体资源的第一样本资源信息、负样本数据对应多媒体资源的第二样本资源信息和初始图数据,所述初始图数据包括基于所述正样本数据对应多媒体资源间的关联关系连接的节点,所述节点为所述正样本数据;
将所述初始图数据输入预设图神经网络进行特征提取,得到所述初始图数据中节点对应的初始节点信息;
基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到所述数据去噪网络。
可选的,所述基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络包括:
基于所述目标样本数据对应多媒体资源间的关联关系,生成第一目标图数据;
将所述第一目标图数据输入所述预设图神经网络进行特征提取,得到所述第一目标图数据中节点对应的第一目标节点信息;
将所述目标样本数据对应样本对象的对象信息和所述第一目标节点信息输入预设生成网络进行样本重构处理,得到第一重构样本数据;
根据所述第一重构样本数据和所述目标样本数据,确定第一损失信息;
基于所述第一损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络。
可选的,所述基于所述第一损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络包括:
在所述第一损失信息未满足第一预设条件的情况下,基于所述第一损失信息调整所述预设生成网络和所述预设图神经网络的网络参数;
基于调整网络参数后的预设生成网络更新所述初始节点信息;
基于更新后的初始节点信息重复所述基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络至所述根据所述第一重构样本数据和所述第一目标样本数据,确定第一损失信息的步骤;
在所述第一损失信息满足所述第一预设条件的情况下,将满足所述第一预设条件时对应的预设图神经网络作为所述目标图神经网络。
可选的,所述基于数据去噪网络对所述正样本数据进行去噪处理,得到目标样本数据包括:
将所述正样本数据对应的样本对象的对象信息、对应的初始节点信息和所述第一样本资源信息输入所述数据去噪网络进行置信识别处理,得到目标置信数据,所述目标置信数据表征所述样本对象会对所述正样本数据对应的多媒体资源执行预设操作的概率;
基于所述目标置信数据对所述正样本数据进行重采样,得到所述目标样本数据。
可选的,所述资源信息包括资源标识信息,所述初始图数据包括采用下述方式获取:
对所述资源标识信息进行共现分析,确定两两资源标识信息间的共现关系,所述共现关系表征在同一预设时间段内被同一对象执行过所述预设操作的两两多媒体资源对应的资源标识信息对,在所述正样本数据中的占比信息;
基于所述共现关系确定所述正样本数据对应多媒体资源间的关联关系;
以所述正样本数据对应多媒体资源的资源标识信息为节点,基于所述关联关系,对所述节点进行连接,得到所述初始图数据。
可选的,所述基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络包括:
将所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息输入所述预设数据去噪网络进行置信识别处理,得到预测置信数据,所述预设置信数据表征所述样本对象会对所述样本资源数据对应的多媒体资源执行预设操作的概率;
根据所述预测置信数据和对应的预设置信数据,确定第二损失信息;
基于所述第二损失信息对所述预设数据去噪网络进行训练,得到所述数据去噪网络。
可选的,所述对所述正样本数据进行去噪处理,得到目标样本数据包括:
获取所述样本对象对所述正样本数据对应多媒体资源的行为时长信息;
基于所述行为时长信息生成所述正样本数据对应的采样概率;
基于所述采样概率对所述正样本数据进行重采样,得到所述目标样本数据。
可选的,所述基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络包括:
基于所述目标样本数据对应多媒体资源间的关联关系,生成第二目标图数据;
将所述第二目标图数据输入所述预设图神经网络进行特征提取,得到所述第二目标图数据中节点对应的第二目标节点信息;
将所述目标样本数据对应样本对象的对象信息和所述第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据;
根据所述第二重构样本数据和所述目标样本数据,确定第三损失信息;
基于所述第三损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络。
可选的,所述基于所述第三损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络包括:
在所述第三损失信息未满足第三预设条件的情况下,基于所述第三损失信息调整所述预设生成网络和所述预设图神经网络的网络参数;
基于调整网络参数后的预设生成网络更新所述第二目标节点信息;
基于更新后的第二目标节点信息重复所述将所述第二目标样本数据对应样本对象的对象信息和所述第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据至所述根据所述第二重构样本数据和所述第二目标样本数据,确定第三损失信息的步骤;
在所述第三损失信息满足所述第三预设条件的情况下,将满足所述第三预设条件时对应的预设图神经网络作为所述目标图神经网络。
根据本公开实施例的第二方面,提供一种任务处理方法,包括:
将预设图数据输入根据上述第一方面任一所述的图神经网络训练方法得到的目标图神经网络进行特征提取,得到所述预设图数据中节点对应的资源特征信息;所述预设图数据包括基于多个多媒体资源间的关联关系连接的节点,所述节点为所述多个多媒体资源对应的资源信息;
基于所述资源特征信息执行目标任务。
可选的,所述目标任务包括信息召回任务,所述基于所述资源特征信息执行目标任务包括:
根据所述资源特征信息,确定所述多个多媒体资源间的相似度;
根据所述相似度,确定每个多媒体资源对应的关联多媒体资源;
在基于所述多个多媒体资源中任一多媒体资源进行信息召回处理时,基于对应的关联多媒体资源进行信息召回处理。
可选的,所述目标任务包括目标网络的训练任务,所述基于所述资源特征信息执行目标任务包括:
获取所述资源特征信息对应多媒体资源的预设标注信息,所述预设标注信息表征与所述目标网络对应的关联任务的预设任务结果信息;
将所述资源特征信息输入预设神经网络进行关联任务处理,得到预测任务结果信息;
根据所述预设标注信息和所述预测任务结果信息,确定第三损失信息;
基于所述第三损失信息对所述预设神经网络进行训练,得到所述目标网络。
根据本公开实施例的第三方面,提供一种图神经网络训练装置,包括:
第一数据获取模块,被配置为执行获取样本对象的对象信息和所述样本对象的正样本数据,所述正样本数据为所述样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;
去噪处理模块,被配置为执行对所述正样本数据进行去噪处理,得到目标样本数据;
重构训练模块,被配置为执行基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络。
可选的,所述去噪处理模块具体被配置为执行基于数据去噪网络对所述正样本数据进行去噪处理,得到目标样本数据。
可选的,所述装置还包括:
第二数据获取模块,被配置为执行获取所述样本对象的正样本数据对应多媒体资源的第一样本资源信息、负样本数据对应多媒体资源的第二样本资源信息和初始图数据,所述初始图数据包括基于所述正样本数据对应多媒体资源间的关联关系连接的节点,所述节点为所述正样本数据;
第一特征提取模块,被配置为执行将所述初始图数据输入预设图神经网络进行特征提取,得到所述初始图数据中节点对应的初始节点信息;
数据去噪训练模块,被配置为执行基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到所述数据去噪网络。
可选的,所述重构训练模块包括:
第一目标图数据生成单元,被配置为执行基于所述目标样本数据对应多媒体资源间的关联关系,生成第一目标图数据;
第一特征提取单元,被配置为执行将所述第一目标图数据输入所述预设图神经网络进行特征提取,得到所述第一目标图数据中节点对应的第一目标节点信息;
第一样本重构处理单元,被配置为执行将所述目标样本数据对应样本对象的对象信息和所述第一目标节点信息输入预设生成网络进行样本重构处理,得到第一重构样本数据;
第一损失信息确定单元,被配置为执行根据所述第一重构样本数据和所述第一目标样本数据,确定第一损失信息;
第一重构训练单元,被配置为执行基于所述第一损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络。
可选的,所述第一重构训练单元包括:
第一网络参数调整单元,被配置为执行在所述第一损失信息未满足第一预设条件的情况下,基于所述第一损失信息调整所述预设生成网络和所述预设图神经网络的网络参数;
初始节点信息更新单元,被配置为执行基于调整网络参数后的预设生成网络更新所述初始节点信息;
第一迭代训练单元,被配置为执行基于更新后的初始节点信息重复所述基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络至所述根据所述第一重构样本数据和所述第一目标样本数据,确定第一损失信息的步骤;
第一目标图神经网络确定单元,被配置为执行在所述第一损失信息满足所述第一预设条件的情况下,将满足所述第一预设条件时对应的预设图神经网络作为所述目标图神经网络。
可选的,所述去噪处理模块包括:
第一置信识别处理单元,被配置为执行将所述正样本数据对应的样本对象的对象信息、对应的初始节点信息和所述第一样本资源信息输入所述数据去噪网络进行置信识别处理,得到目标置信数据,所述目标置信数据表征所述样本对象会对所述正样本数据对应的多媒体资源执行预设操作的概率;
第一重采样单元,被配置为执行基于所述目标置信数据对所述正样本数据进行重采样,得到所述目标样本数据。
可选的,所述资源信息包括资源标识信息,所述初始图数据包括采用下述单元获取:
共现分析单元,被配置为执行对所述资源标识信息进行共现分析,确定两两资源标识信息间的共现关系,所述共现关系表征在同一预设时间段内被同一对象执行过所述预设操作的两两多媒体资源对应的资源标识信息对,在所述正样本数据中的占比信息;
关联关系确定单元,被配置为执行基于所述共现关系确定所述正样本数据对应多媒体资源间的关联关系;
初始图数据构建单元,被配置为执行以所述正样本数据对应多媒体资源的资源标识信息为节点,基于所述关联关系,对所述节点进行连接,得到所述初始图数据。
可选的,所述数据去噪训练模块包括:
第二置信识别处理单元,被配置为执行将所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息输入所述预设数据去噪网络进行置信识别处理,得到预测置信数据,所述预设置信数据表征所述样本对象会对所述样本资源数据对应的多媒体资源执行预设操作的概率;
第二损失信息确定单元,被配置为执行根据所述预测置信数据和对应的预设置信数据,确定第二损失信息;
去噪训练单元,被配置为执行基于所述第二损失信息对所述预设数据去噪网络进行训练,得到所述数据去噪网络。
可选的,所述去噪处理模块包括:
行为时长信息获取单元,被配置为执行获取所述样本对象对所述正样本数据对应多媒体资源的行为时长信息;
采样概率生成单元,被配置为执行基于所述行为时长信息生成所述正样本数据对应的采样概率;
第二重采样单元,被配置为执行基于所述采样概率对所述正样本数据进行重采样,得到所述目标样本数据。
可选的,所述重构训练模块包括:
第二目标图数据生成单元,被配置为执行基于所述目标样本数据对应多媒体资源间的关联关系,生成第二目标图数据;
第二特征提取单元,被配置为执行将所述第二目标图数据输入所述预设图神经网络进行特征提取,得到所述第二目标图数据中节点对应的第二目标节点信息;
第二样本重构处理单元,被配置为执行将所述目标样本数据对应样本对象的对象信息和所述第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据;
第三损失信息确定单元,被配置为执行根据所述第二重构样本数据和所述目标样本数据,确定第三损失信息;
第二重构训练单元,被配置为执行基于所述第三损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络。
可选的,所述第二重构训练单元包括:
第二网络参数调整单元,被配置为执行在所述第三损失信息未满足第三预设条件的情况下,基于所述第三损失信息调整所述预设生成网络和所述预设图神经网络的网络参数;
目标节点信息更新单元,被配置为执行基于调整网络参数后的预设生成网络更新所述第二目标节点信息;
第二迭代训练单元,被配置为执行基于更新后的第二目标节点信息重复所述将所述第二目标样本数据对应样本对象的对象信息和所述第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据至所述根据所述第二重构样本数据和所述第二目标样本数据,确定第三损失信息的步骤;
第二目标图神经网络确定单元,被配置为执行在所述第三损失信息满足所述第三预设条件的情况下,将满足所述第三预设条件时对应的预设图神经网络作为所述目标图神经网络。
根据本公开实施例的第四方面,提供一种任务处理装置,包括:
第二特征提取模块,被配置为执行将预设图数据输入根据上述第一方面任一所述的图神经网络训练方法得到的目标图神经网络进行特征提取,得到所述预设图数据中节点对应的资源特征信息;所述预设图数据包括基于多个多媒体资源间的关联关系连接的节点,所述节点为所述多个多媒体资源对应的资源信息;
目标任务执行模块,被配置为执行基于所述资源特征信息执行目标任务。
可选的,所述目标任务包括信息召回任务,所述目标任务执行模块包括:
相似度确定单元,被配置为执行根据所述资源特征信息,确定所述多个多媒体资源间的相似度;
关联多媒体资源确定单元,被配置为执行根据所述相似度,确定每个多媒体资源对应的关联多媒体资源;
信息召回处理单元,被配置为执行在基于所述多个多媒体资源中任一多媒体资源进行信息召回处理时,基于对应的关联多媒体资源进行信息召回处理。
可选的,所述目标任务包括目标网络的训练任务,所述目标任务执行模块包括:
预设标注信息获取单元,被配置为执行获取所述资源特征信息对应多媒体资源的预设标注信息,所述预设标注信息表征与所述目标网络对应的关联任务的预设任务结果信息;
关联任务处理单元,被配置为执行将所述资源特征信息输入预设神经网络进行关联任务处理,得到预测任务结果信息;
第三损失信息确定单元,被配置为执行根据所述预设标注信息和所述预测任务结果信息,确定第三损失信息;
网络训练单元,被配置为执行基于所述第三损失信息对所述预设神经网络进行训练,得到所述目标网络。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一方面或第二方面中任一项所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的第一方面或第二方面中任一所述方法。
根据本公开实施例的第五方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例的第一方面或第二方面中任一所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在图神经网络训练过程中,通过对正样本数据进行去噪处理,可以提升样本数据的有效性和客观性,并结合去噪后的目标样本数据的目标图数据和对应的样本对象的对象信息对预设图神经网络进行重构训练,可以大大提升图神经网络对多媒体资源的表征精准性,进而提升后续应用中的推荐精准性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种图神经网络训练方法的流程图;
图3是根据一示例性实施例示出的一种训练数据去噪网络的流程图;
图4是根据一示例性实施例示出的一种获取初始图数据的流程图;
图5是根据一示例性实施例示出的一种对正样本数据进行去噪处理,得到目标样本数据的流程图;
图6是根据一示例性实施例示出的一种基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络的流程意图;
图7是根据一示例性实施例示出的一种图神经网络训练过程的示意图;
图8是根据一示例性实施例示出的一种任务处理方法的流程;
图9是根据一示例性实施例示出的一种基于资源特征信息执行目标任务的流程图;
图10是根据一示例性实施例示出的另一种基于资源特征信息执行目标任务的流程图;
图11是根据一示例性实施例示出的一种图神经网络训练装置框图;
图12是根据一示例性实施例示出的一种任务处理装置框图;
图13是根据一示例性实施例示出的一种用于图神经网络训练的电子设备的框图;
图14是根据一示例性实施例示出的一种用于任务处理的电子设备的框。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,如图1所示,该应用环境可以包括服务器100和终端200。
在一个可选的实施例中,服务器100可以为用于训练目标图神经网络。具体的,服务器100可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是边缘计算节点,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中,终端200可以基于服务器100训练好的目标图神经网络进行任务处理。具体的,终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、智能可穿戴设备等类型的电子设备,也可以为运行于上述电子设备的软体,例如应用程序等。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是本公开提供的一种应用环境,在实际应用中,还可以包括其他应用环境,例如目标图神经网络的训练也可以在终端200上实现。
本说明书实施例中,上述终端200以及服务器100可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
图2是根据一示例性实施例示出的一种图神经网络训练方法的流程图,如图2所示,该图神经网络训练方法用于终端或服务器等设备中,包括以下步骤。
在步骤S201中,获取样本对象的对象信息和所述样本对象的正样本数据。
在一个可选的实施例中,样本对象可以为用户,也可以为用户账号。样本对象可以包括多个对象,具体的,对象数量可以结合实际应用需求进行设置。可选的,样本对象的对象信息可以为结合样本对象的对象属性确定的特征表征信息,在一个具体的实施例中,样本对象的对象信息可以为对象属性信息的特征向量表征。在一个具体的实施例中,对象属性信息可以包括但不限于用户性别、年龄、学历、地域等表征用户个人属性的信息。在一个可选的实施例中,可以基于词向量模型确定对象属性信息的特征向量表征。可选的,词向量模型可以包括但不限于训练好的word2vec、fasttext、glove等词向量模型。
在一个具体的实施例中,样本对象的正样本数据可以为样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息。上述预设操作可以包括但不限于浏览、点击、转化(例如基于多媒体资源购买了相关产品,或基于多媒体资源下载了相关应用等)等。具体的,预设时间段可以为预先设置的样本资源数据的单位采集时长,例如预设时间段为30分钟,相应的,正样本数据可以为样本对象在半小时内执行过预设操作的多媒体资源的资源信息。
在一个具体的实施例中,多媒体资源可以包括文本、图像等静态资源,也可以包括短视频等动态资源。在一个具体的实施例中,资源信息可以包括资源标识信息(用于区分不同多媒体资源的标识信息)。可选的,资源信息还可以包括多媒体资源的资源属性信息。具体的,资源属性信息可以为用于描述多媒体资源的信息,以多媒体资源为视频为例,资源属性信息可以包括发布者信息、播放时长等文本属性信息,还可以包括封面等图像属性信息。
在步骤S203中,对正样本数据进行去噪处理,得到目标样本数据;
在一个可选的实施例中,上述对正样本数据进行去噪处理,得到目标样本数据可以包括:基于数据去噪网络对正样本数据进行去噪处理,得到目标样本数据。
在一个具体的实施例中,如图3所示,上述方法还可以包括训练数据去噪网络的步骤,具体的,训练数据去噪网络的步骤包括:
在步骤S301中,获取样本对象的正样本数据对应多媒体资源的第一样本资源信息、负样本数据对应多媒体资源的第二样本资源信息和初始图数据,初始图数据包括基于正样本数据对应多媒体资源间的关联关系连接的节点,节点为正样本数据;
在步骤S303中,将初始图数据输入预设图神经网络进行特征提取,得到初始图数据中节点对应的初始节点信息;
在步骤S305中,基于初始节点信息、第一样本资源信息、第二样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络。
在一个可选的实施例中,样本对象的负样本数据可以为样本对象在多个预设时间段内未执行过预设操作的多媒体资源的资源信息。
在一个具体的实施例中,第一样本资源信息可以为正样本数据对应多媒体资源的资源属性信息确定的特征表征信息。第二样本资源信息可以为负样本数据对应多媒体资源的资源属性信息确定的特征表征信息。在一个可选的实施例中,可以结合卷积神经网络、N-Gram(汉语语言模型)等特征表征网络来生成资源属性信息的特征表征信息。
上述实施例中,结合初始图数据对应初始节点信息、正负样本数据对应的样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,生成数据去噪网络,可以提升训练好的数据去噪网络的数据去噪效果,并结合数据去噪网络对正样本数据进行去噪,可以提升样本数据的有效性和客观性。
在一个具体的实施例中,上述初始图数据可以包括基于正样本数据对应多媒体资源间的关联关系连接的节点,节点为上述正样本数据,且正样本数据为样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源标识信息;可选的,如图4所示,获取上述初始图数据可以包括以下步骤:
在步骤S401中,对资源标识信息进行共现分析,确定两两资源标识信息间的共现关系;
在步骤S403中,基于共现关系确定正样本数据对应多媒体资源间的关联关系;
在步骤S405中,以正样本数据对应多媒体资源的资源标识信息为节点,基于关联关系,对节点进行连接,得到初始图数据。
在一个具体的实施例中,在正样本数据为样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源标识信息的情况下,上述共现关系可以表征在同一预设时间段内被同一对象执行过预设操作的两两多媒体资源对应的资源标识信息对,在正样本数据中的占比信息。
在实际应用中,正样本数据可以结合不同对象的不同预设时间段包括多个样本数据组;可选的,上述对资源标识信息进行共现分析可以包括确定在同一样本数据组中的资源标识信息对(两两资源标识信息),针对每一资源标识信息对,确定包括该资源标识信息对的样本数据组的数量,将上述数量除以样本数据组的总量,得到每一资源标识信息对对应的共现关系;相应的,上述共现关系可以包括在同一预设时间段内被同一对象执行过预设操作的两两多媒体资源对应的资源标识信息对,所对应样本数据组,在正样本数据对应样本数据组中的占比信息。可选的,针对未在任一样本数据组中共同出现的资源标识信息对(两两资源标识信息),可以将0作为对应的共现关系。
在一个具体的实施例中,在基于共现关系确定正样本数据对应多媒体资源间的关联关系的过程中,可以确定共现关系所对应的占比信息大于预设阈值的资源标识信息对存在关联关系,反之,确定共现关系所对应的占比信息小于等于预设阈值的资源标识信息对不存在关联关系;具体的,预设阈值可以结合实际应用需求进行设置。进一步的,以正样本数据对应多媒体资源的资源标识信息为节点,并对存在关联关系的节点进行连接,得到初始图数据。
上述实施例中,结合样本对象在多个预设时间段内对多媒体资源的操作信息,构建可以表征多媒体资源的间关联关系的初始图数据,可以有效保证了数据的真实性和客观性。
在一个可选的实施例中,可以将上述初始图数据输入预设图神经网络进行特征提取,得到初始图数据中节点对应的初始节点信息。在一个具体的实施例中,上述初始节点信息可以表征节点对应的多媒体资源的初始节点信息。具体的,预设图神经网络可以为预先设置的图神经网络。
在一个具体的实施例中,基于初始节点信息、第一样本资源信息、第二样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络可以包括:将初始节点信息、第一样本资源信息、第二样本资源信息和对象信息输入预设数据去噪网络进行置信识别处理,得到预测置信数据;根据预测置信数据和对应的预设置信数据,确定第二损失信息;基于第二损失信息对预设数据去噪网络进行训练,得到数据去噪网络。
在一个具体的实施例中,预测置信数据可以为预设数据去噪网络预测出的,样本对象会对样本资源数据对应的多媒体资源执行预设操作的概率。上述预设置信数据可以表征结合获取的样本资源数据确定的,样本对象会对样本资源数据对应的多媒体资源执行预设操作的概率;具体的,正样本数据对应的预设置信数据可以为1;负样本数据对应的预设置信数据可以为0。
在一个具体的实施例中,根据预测置信数据和对应的预设置信数据,确定第二损失信息可以包括基于预设损失函数计算预测置信数据和对应的预设置信数据间的第二损失信息。进一步的,可以基于第二损失信息调整预设数据去噪网络的网络参数,并基于调整后的预设数据去噪网络重复置信识别处理和第二损失信息确定的步骤,至上述第二损失信息满足第二预设条件。
在一个具体的实施例中,预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等。第二损失信息满足第二预设条件可以为第二损失信息小于等于指定阈值,或前后两次训练过程中对应的第二损失信息间的差值小于一定阈值。本说明书实施例中,指定阈值和一定阈值可以为结合实际训练需求进行设置。
在一个具体的实施例中,上述预设数据去噪网络可以包括但不限于预先设置的NN(Neural Network,神经网络)和CNN(Convolutional Neural Networks,卷积神经网络)卷积神经网络等深度学习网络。
上述实施例中,在进行数据去噪训练过程中,结合初始节点信息、第一样本资源信息、第二样本资源信息和对象信息进行置信识别处理,可以提升训练好的数据去噪网络的数据去噪效果和有效性。
在一个具体的实施例中,上述基于数据去噪网络对正样本数据进行去噪处理,得到目标样本数据可以包括:将正样本数据对应的样本对象的对象信息、对应的初始节点信息和第一样本资源信息输入数据去噪网络进行置信识别处理,得到目标置信数据;基于目标置信数据对正样本数据进行重采样,得到目标样本数据。
在一个具体的实施例中,上述目标置信数据为数据去噪网络预测出的,可以表征样本对象会对正样本数据对应的多媒体资源执行预设操作的概率。
在一个具体的实施例中,基于目标置信数据对正样本数据进行重采样,得到目标样本数据可以包括:对目标置信数据进行归一化处理,得到正样本数据对应每一多媒体资源的采样概率,基于采样概率对正样本数据进行重采样,得到上述目标样本数据。
在一个具体的实施例中,假设正样本数据中某一对象看过的多媒体资源包括多媒体资源A、多媒体资源B和多媒体资源C。且该对象分别看了(浏览)1,2,3次;假设多媒体资源A、多媒体资源B和多媒体资源C对应的目标置信数据(数据去噪网络预测出的,该对象看多媒体资源A、多媒体资源B和多媒体资源C的概率)分别为:0.5、0.8和0.9;可选的,多媒体资源A对应的采样概率可以为0.5/(0.5+0.8+0.9)=5/22;多媒体资源B对应的采样概率可以为0.8/(0.5+0.8+0.9)=8/22;多媒体资源C对应的采样概率可以为0.9/(0.5+0.8+0.9)=9/22。相应的,基于采样概率5/22、8/22和9/22,可以确定用于重采样的数据可以包括5个多媒体资源A的资源标识信息、8个多媒体资源B的资源标识信息和9个多媒体资源C的资源标识信息;假设对5个多媒体资源A的资源标识信息、8个多媒体资源B的资源标识信息和9个多媒体资源C的资源标识信息进行6(1+2+3)次随机采样,分别采集到的0次多媒体资源A的资源标识信息,2次多媒体资源B的资源标识信息和4次多媒体资源C的资源标识信息;相应的,可以将正样本数据中多媒体资源A的资源标识信息过滤掉,以得到目标样本数据。
上述实施例中,结合目标置信数据进行重采样,可以更好地囊括各种真实情况,大大实现对样本资源数据的去噪效果,保证目标样本数据的有效性和精准性。
在另一个可选的实施例中,如图5所示,上述对正样本数据进行去噪处理,得到目标样本数据可以包括:
在步骤S501中,获取样本对象对正样本数据对应多媒体资源的行为时长信息;
在步骤S503中,基于行为时长信息生成正样本数据对应的采样概率;
在步骤S505中,基于采样概率对正样本数据进行重采样,得到目标样本数据。
在一个具体的实施例中,行为时长信息可以为样本对象对正样本数据对应多媒体资源执行预设操作的时长,在一个具体的实施例中,假设预设操作为浏览,相应的,行为时长信息可以为样本对象浏览正样本数据对应多媒体资源的时长。在一个具体的实施例中,假设正样本数据中某一对象看过的多媒体资源包括多媒体资源D、多媒体资源E和多媒体资源F。且该对象分别看了1,2,3次;假设多媒体资源D、多媒体资源E和多媒体资源F对应的行为时长信息分别为:5分钟、8分钟和9分钟;可选的,多媒体资源D对应的采样概率可以为5/(5+8+9)=5/22;多媒体资源E对应的采样概率可以为8/(5+8+9)=8/22;多媒体资源F对应的采样概率可以为9/(5+8+9)=9/22。相应的,基于采样概率5/22、8/22和9/22,可以确定用于重采样的数据可以包括5个多媒体资源A的资源标识信息、8个多媒体资源B的资源标识信息和9个多媒体资源C的资源标识信息;假设对5个多媒体资源A的资源标识信息、8个多媒体资源B的资源标识信息和9个多媒体资源C的资源标识信息进行6(1+2+3)次随机采样,分别采集到的0次多媒体资源D的资源标识信息,2次多媒体资源E的资源标识信息和4次多媒体资源F的资源标识信息;相应的,可以将正样本数据中多媒体资源D的资源标识信息过滤掉,以得到目标样本数据。
上述实施例中,结合正样本数据对应多媒体资源的行为时长信息进行重采样,可以更好地囊括各种真实情况,大大实现对样本资源数据的去噪效果,保证目标样本数据的有效性和精准性。
在步骤S205中,基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络。
在一个具体的实施例中,如图6所示,上述基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络可以包括以下步骤:
在步骤S601中,基于目标样本数据对应多媒体资源间的关联关系,生成第一目标图数据。
在步骤S603中,将第一目标图数据输入预设图神经网络进行特征提取,得到第一目标图数据中节点对应的第一目标节点信息;
在步骤S605中,将目标样本数据对应样本对象的对象信息和第一目标节点信息输入预设生成网络进行样本重构处理,得到第一重构样本数据。
在步骤S607中,根据第一重构样本数据和目标样本数据,确定第一损失信息;
在步骤S609中,基于第一损失信息对预设图神经网络进行重构训练,得到目标图神经网络。
在一个具体的实施例中,上述基于目标样本数据对应多媒体资源间的关联关系,生成目标图数据的具体细化步骤可以参见上述生成初始图数据的相关步骤细化,在此不再赘述。
在一个具体的实施例中,上述第一重构样本数据可以为预设生成网络预测的,样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源标识信息。具体的,目标节点信息对应大量多媒体资源,可选的,可以对目标节点信息进行平均池化处理后,再输入预设生成网络,以保证输入预设生成网络的信息的大小满足预设生成网络对输入信息的大小要求。
在一个具体的实施例中,上述根据第一重构样本数据和目标样本数据,确定第一损失信息的具体细化可以参见上述根据预测置信数据和对应的预设置信数据,确定第二损失信息的相关步骤细化,在此不再赘述。
在一个可选的实施例中,上述基于第一损失信息对预设图神经网络进行重构训练,得到目标图神经网络可以包括:在第一损失信息未满足第一预设条件的情况下,基于第一损失信息调整预设生成网络和预设图神经网络的网络参数;基于调整网络参数后的预设生成网络更新初始节点信息;基于更新后的初始节点信息重复基于初始节点信息、第一样本资源信息、第二样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络至根据第一重构样本数据和第一目标样本数据,确定第一损失信息的步骤;在第一损失信息满足第一预设条件的情况下,将满足第一预设条件时对应的预设图神经网络作为目标图神经网络。
在一个具体的实施例中,可以将初始图数据输入上述调整网络参数后的预设生成网络,以进行初始节点信息的更新。
在一个具体的实施例中,上述预设生成网络可以为预先设置的神经网络,具体的,该神经网络可以包括编码网络、解码网络和softmax层。
在一个具体的实施例中,如图7所示,图7是根据一示例性实施例示出的一种图神经网络训练过程的示意图。具体的,图神经网络训练过程中,先将初始节点信息、第一样本资源信息、第二样本资源信息和对象信息输入预设数据去噪网络701,训练得到数据去噪网络702,然后,结合数据去噪网络702对正样本数据进行重采样,得到目标样本数据;接着,将由目标样本数据生成的目标图数据输入预设图神经网络703进行特征提取,得到目标图数据中节点对应的第一目标节点信息;然后,将第一目标节点信息和对应的样本对象的对象信息输入预设生成网络704进行样本重构处理,得到第一重构样本数据;并基于第一重构样本数据和目标样本数据,确定第一损失信息,并基于第一损失信息进行预设图神经网络进行重构训练,在训练过程中,结合不断更新的预设图神经网络,更新输入预设数据去噪网络的初始节点信息,并依次迭代,直至第一损失信息满足第一预设条件。
在一个具体的实施例中,第一损失信息满足第一预设条件可以为第一损失信息小于等于指定阈值,或前后两次训练过程中对应的第一损失信息间的差值小于一定阈值。本说明书实施例中,指定阈值和一定阈值可以为结合实际训练需求进行设置。
上述实施例中,图神经网络训练过程中,结合去噪后的目标样本数据的目标图数据和对应的样本对象的对象信息对预设图神经网络进行重构训练,在训练过程中,结合不断更新的预设图神经网络,更新输入数据去噪网络的初始节点信息,并不断迭代,可以大大提升图神经网络对多媒体资源的表征精准性,进而提升后续应用中的推荐精准性。
在一个可选的实施例中,基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络包括:
基于目标样本数据对应多媒体资源间的关联关系,生成第二目标图数据;
将第二目标图数据输入预设图神经网络进行特征提取,得到第二目标图数据中节点对应的第二目标节点信息;
将目标样本数据对应样本对象的对象信息和第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据;
根据第二重构样本数据和目标样本数据,确定第三损失信息;
基于第三损失信息对预设图神经网络进行重构训练,得到目标图神经网络。
在一个具体的实施例中,上述基于目标样本数据对应多媒体资源间的关联关系,生成第二目标图数据至根据第二重构样本数据和目标样本数据,确定第三损失信息的具体细化可以参见上述步骤S601至步骤S607的细化,在此不再赘述。
在一个可选的实施例中,上述基于第三损失信息对预设图神经网络进行重构训练,得到目标图神经网络可以包括:在第三损失信息未满足第三预设条件的情况下,基于第三损失信息调整预设生成网络和预设图神经网络的网络参数;基于调整网络参数后的预设生成网络更新第二目标节点信息;基于更新后的第二目标节点信息重复将第二目标样本数据对应样本对象的对象信息和第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据至根据第二重构样本数据和第二目标样本数据,确定第三损失信息的步骤;在第三损失信息满足第三预设条件的情况下,将满足第三预设条件时对应的预设图神经网络作为目标图神经网络。
上述实施例中,图神经网络训练过程中,结合去噪后的目标样本数据的目标图数据和对应的样本对象的对象信息对预设图神经网络进行重构训练,可以大大提升图神经网络对多媒体资源的表征精准性,进而提升后续应用中的推荐精准性。
由以上本说明书实施例提供的技术方案可见,本说明书在图神经网络训练过程中,通过对正样本数据进行去噪处理,可以提升样本数据的有效性和客观性,并结合去噪后的目标样本数据的目标图数据和对应的样本对象的对象信息对预设图神经网络进行重构训练,可以大大提升图神经网络对多媒体资源的表征精准性,进而提升后续应用中的推荐精准性。
基于上述的图神经网络训练方法得到的目标图神经网络,本公开还提供一种任务处理方法,图8是根据一示例性实施例示出的一种任务处理方法的流程图,该任务处理方法可以用于上终端或服务器中,如图8所示,可以包括以下步骤。
在步骤S801中,将预设图数据输入目标图神经网络进行特征提取,得到预设图数据中节点对应的资源特征信息。
在一个具体的实施例中,上述预设图数据包括基于多个多媒体资源间的关联关系连接的节点,节点为多个多媒体资源对应的资源信息;在一个可选的实施例中,在资源信息为资源标识信息的情况下,上述预设图数据可以包括上述初始图数据。在资源信息还包括资源属性信息的情况下,上述预设图数据对应的多媒体资源可以与上述初始图数据对应的多媒体不同。
在步骤S803中,基于资源特征信息执行目标任务。
在实际应用中,目标任务可以结合实际应用需求不同而不同,在一个可选的实施例中,上述目标任务可以包括信息召回任务的情况下,相应的,如图9所示,上述基于资源特征信息执行目标任务可以包括以下步骤:
在步骤S901中,根据资源特征信息,确定多个多媒体资源间的相似度;
在步骤S903中,根据相似度,确定每个多媒体资源对应的关联多媒体资源;
在步骤S905中,在基于多个多媒体资源中任一多媒体资源进行信息召回处理时,基于对应的关联多媒体资源进行信息召回处理。
在一个可选的实施例中,可以将与任一多媒体资源的相似度大于等于预设相似度阈值的多媒体资源,作为该多媒体资源对应的关联多媒体资源。在另一个可选的实施例中,可以结合相似度对多媒体资源进行降序排序,相应的,针对任一多媒体资源,可以将排序前预设数量位的多媒体资源,作为该多媒体资源对应的关联多媒体资源。
在一个具体的实施例中,用户浏览视频等多媒体资源时,服务器会收到推荐请求,相应的,可以实时获取用户最近浏览的n个多媒体资源,并将n个多媒体资源和n个多媒体资源对应的关联多媒体资源作为召回结果,以进行信息推荐。
上述实施例中,结合目标图神经网络提取的多媒体资源的资源信息,可以有效提升资源信息对多媒体资源的表征的精准性,进而保证召回的多媒体资源的更符合用户需求,大大提升召回精准性和推荐精准性。
在一个可选的实施例中,上述目标任务包括目标网络的训练任务的情况下,相应的,如图10所示,上述基于资源特征信息执行目标任务可以包括以下步骤:
在步骤S1001中,获取资源特征信息对应多媒体资源的预设标注信息。
在步骤S1003中,将资源特征信息输入预设神经网络进行关联任务处理,得到预测任务结果信息;
在步骤S1005中,根据预设标注信息和预测任务结果信息,确定第三损失信息;
在步骤S1007中,基于第三损失信息对预设神经网络进行训练,得到目标网络。
在一个具体的实施例中,上述预设标注信息可以表征与目标网络对应的关联任务的预设任务结果信息;具体的,目标网络对应的关联任务可以为目标网络用途对应的任务,在一个具体的实施例中,目标网络用于对多媒体资源进行分类,相应的,目标网络对应的关联任务可以为为多媒体资源的分类任务,相应的,预设标注信息可以为分类标签(例如运动类多媒体资源、美食类多媒体资源、游戏类多媒体资源等)。在另一个具体的实施例中,目标网络用于对多媒体资源进行质量分析,相应的,目标网络对应的关联任务可以为多媒体资源的质量分析任务,相应的,预设标注信息可以为质量分析结果。具体的,质量分析结果可以为能够表征多媒体资源质量信息的字符化表征,例如,上、中、下;也可以为基于一定规则对上述字符化表征进行量化后的数值,例如,90、60、30等。
在一个具体的实施例中,根据预设标注信息和预测任务结果信息,确定第三损失信息的具体细化可以参见上述根据重构样本数据和目标样本数据,确定第一损失信息的具体细化,在此不再赘述。
在一个具体的实施例中,可以结合基于第三损失信息调整预设神经网络的网络参数,并基于调整后的预设神经网络重复关联任务处理和第三损失信息确定的步骤,至上述第三损失信息满足第三预设条件。可选的,第三损失信息满足第三预设条件可以为第三损失信息小于等于指定阈值,或前后两次训练过程中对应的第三损失信息间的差值小于一定阈值。本说明书实施例中,指定阈值和一定阈值可以为结合实际训练需求进行设置。
上述实施例中,结合目标图神经网络提取的多媒体资源的资源信息,可以有效提升资源信息对多媒体资源的表征的精准性,进而保证后续目标网络可以更好的学习到多媒体资源的特征,大大提升目标网络的学习效率和学习效果。
由以上本说明书实施例提供的技术方案可见,本说明书结合目标图神经网络提取的多媒体资源的资源信息,可以有效提升资源信息对多媒体资源的表征精准性,进而保证后续目标任务执行过程中,精准掌握多媒体资源的特征,大大提升相关目标任务执行的准确性和效率。
图11是根据一示例性实施例示出的一种图神经网络训练装置框图。参照图11,该装置包括:
第一数据获取模块1110,被配置为执行获取样本对象的对象信息和样本对象的正样本数据,正样本数据为样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;
去噪处理模块1120,被配置为执行对正样本数据进行去噪处理,得到目标样本数据;
重构训练模块1130,被配置为执行基于目标样本数据和目标样本数据对应样本对象的目标对象信息对预设图神经网络进行重构训练,得到目标图神经网络。
可选的,去噪处理模块1120具体被配置为执行基于数据去噪网络对正样本数据进行去噪处理,得到目标样本数据。
可选的,装置还包括:
第二数据获取模块,被配置为执行获取样本对象的正样本数据对应多媒体资源的第一样本资源信息、负样本数据对应多媒体资源的第二样本资源信息和初始图数据,初始图数据包括基于正样本数据对应多媒体资源间的关联关系连接的节点,节点为正样本数据;
第一特征提取模块,被配置为执行将初始图数据输入预设图神经网络进行特征提取,得到初始图数据中节点对应的初始节点信息;
数据去噪训练模块,被配置为执行基于初始节点信息、第一样本资源信息、第二样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络。
可选的,重构训练模块1130包括:
第一目标图数据生成单元,被配置为执行基于目标样本数据对应多媒体资源间的关联关系,生成第一目标图数据;
第一特征提取单元,被配置为执行将第一目标图数据输入预设图神经网络进行特征提取,得到第一目标图数据中节点对应的第一目标节点信息;
第一样本重构处理单元,被配置为执行将目标样本数据对应样本对象的对象信息和第一目标节点信息输入预设生成网络进行样本重构处理,得到第一重构样本数据;
第一损失信息确定单元,被配置为执行根据第一重构样本数据和第一目标样本数据,确定第一损失信息;
第一重构训练单元,被配置为执行基于第一损失信息对预设图神经网络进行重构训练,得到目标图神经网络。
可选的,第一重构训练单元包括:
第一网络参数调整单元,被配置为执行在第一损失信息未满足第一预设条件的情况下,基于第一损失信息调整预设生成网络和预设图神经网络的网络参数;
初始节点信息更新单元,被配置为执行基于调整网络参数后的预设生成网络更新初始节点信息;
第一迭代训练单元,被配置为执行基于更新后的初始节点信息重复基于初始节点信息、第一样本资源信息、第二样本资源信息和对象信息对预设数据去噪网络进行数据去噪训练,得到数据去噪网络至根据第一重构样本数据和第一目标样本数据,确定第一损失信息的步骤;
第一目标图神经网络确定单元,被配置为执行在第一损失信息满足第一预设条件的情况下,将满足第一预设条件时对应的预设图神经网络作为目标图神经网络。
可选的,去噪处理模块1120包括:
第一置信识别处理单元,被配置为执行将正样本数据对应的样本对象的对象信息、对应的初始节点信息和第一样本资源信息输入数据去噪网络进行置信识别处理,得到目标置信数据,目标置信数据表征样本对象会对正样本数据对应的多媒体资源执行预设操作的概率;
第一重采样单元,被配置为执行基于目标置信数据对正样本数据进行重采样,得到目标样本数据。
可选的,资源信息包括资源标识信息,初始图数据包括采用下述单元获取:
共现分析单元,被配置为执行对资源标识信息进行共现分析,确定两两资源标识信息间的共现关系,共现关系表征在同一预设时间段内被同一对象执行过预设操作的两两多媒体资源对应的资源标识信息对,在正样本数据中的占比信息;
关联关系确定单元,被配置为执行基于共现关系确定正样本数据对应多媒体资源间的关联关系;
初始图数据构建单元,被配置为执行以正样本数据对应多媒体资源的资源标识信息为节点,基于关联关系,对节点进行连接,得到初始图数据。
可选的,数据去噪训练模块包括:
第二置信识别处理单元,被配置为执行将初始节点信息、第一样本资源信息、第二样本资源信息和对象信息输入预设数据去噪网络进行置信识别处理,得到预测置信数据,预设置信数据表征样本对象会对样本资源数据对应的多媒体资源执行预设操作的概率;
第二损失信息确定单元,被配置为执行根据预测置信数据和对应的预设置信数据,确定第二损失信息;
去噪训练单元,被配置为执行基于第二损失信息对预设数据去噪网络进行训练,得到数据去噪网络。
可选的,去噪处理模块1120包括:
行为时长信息获取单元,被配置为执行获取样本对象对正样本数据对应多媒体资源的行为时长信息;
采样概率生成单元,被配置为执行基于行为时长信息生成正样本数据对应的采样概率;
第二重采样单元,被配置为执行基于采样概率对正样本数据进行重采样,得到目标样本数据。
可选的,重构训练模块1130包括:
第二目标图数据生成单元,被配置为执行基于目标样本数据对应多媒体资源间的关联关系,生成第二目标图数据;
第二特征提取单元,被配置为执行将第二目标图数据输入预设图神经网络进行特征提取,得到第二目标图数据中节点对应的第二目标节点信息;
第二样本重构处理单元,被配置为执行将目标样本数据对应样本对象的对象信息和第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据;
第三损失信息确定单元,被配置为执行根据第二重构样本数据和目标样本数据,确定第三损失信息;
第二重构训练单元,被配置为执行基于第三损失信息对预设图神经网络进行重构训练,得到目标图神经网络。
可选的,第二重构训练单元包括:
第二网络参数调整单元,被配置为执行在第三损失信息未满足第三预设条件的情况下,基于第三损失信息调整预设生成网络和预设图神经网络的网络参数;
目标节点信息更新单元,被配置为执行基于调整网络参数后的预设生成网络更新第二目标节点信息;
第二迭代训练单元,被配置为执行基于更新后的第二目标节点信息重复将第二目标样本数据对应样本对象的对象信息和第二目标节点信息输入预设生成网络进行样本重构处理,得到第二重构样本数据至根据第二重构样本数据和第二目标样本数据,确定第三损失信息的步骤;
第二目标图神经网络确定单元,被配置为执行在第三损失信息满足第三预设条件的情况下,将满足第三预设条件时对应的预设图神经网络作为目标图神经网络。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种任务处理装置框图。参照图12,该任务处理装置可以包括:
第二特征提取模块1210,被配置为执行将预设图数据输入根据上述第一方面任一的图神经网络训练方法得到的目标图神经网络进行特征提取,得到预设图数据中节点对应的资源特征信息;预设图数据包括基于多个多媒体资源间的关联关系连接的节点,节点为多个多媒体资源对应的资源信息;
目标任务执行模块1220,被配置为执行基于资源特征信息执行目标任务。
可选的,目标任务包括信息召回任务,目标任务执行模块1020包括:
相似度确定单元,被配置为执行根据资源特征信息,确定多个多媒体资源间的相似度;
关联多媒体资源确定单元,被配置为执行根据相似度,确定每个多媒体资源对应的关联多媒体资源;
信息召回处理单元,被配置为执行在基于多个多媒体资源中任一多媒体资源进行信息召回处理时,基于对应的关联多媒体资源进行信息召回处理。
可选的,目标任务包括目标网络的训练任务,目标任务执行模块1020包括:
预设标注信息获取单元,被配置为执行获取资源特征信息对应多媒体资源的预设标注信息,预设标注信息表征与目标网络对应的关联任务的预设任务结果信息;
关联任务处理单元,被配置为执行将资源特征信息输入预设神经网络进行关联任务处理,得到预测任务结果信息;
第三损失信息确定单元,被配置为执行根据预设标注信息和预测任务结果信息,确定第三损失信息;
网络训练单元,被配置为执行基于第三损失信息对预设神经网络进行训练,得到目标网络。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于图神经网络训练的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图神经网络训练方法。
图14是根据一示例性实施例示出的一种用于任务处理的电子设备的框图,该电子设备可以是终端,其内部结构图可以如图14所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13或图14中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图神经网络训练方法或任务处理方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图神经网络训练方法或任务处理方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的图神经网络训练方法或任务处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种图神经网络训练方法,其特征在于,包括:
获取样本对象的对象信息和所述样本对象的正样本数据,所述正样本数据为所述样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;
对所述正样本数据进行去噪处理,得到目标样本数据;
基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络。
2.根据权利要求1所述的图神经网络训练方法,其特征在于,所述对所述正样本数据进行去噪处理,得到目标样本数据包括:
基于数据去噪网络对所述正样本数据进行去噪处理,得到目标样本数据。
3.根据权利要求2所述的图神经网络训练方法,其特征在于,所述方法还包括:
获取所述样本对象的正样本数据对应多媒体资源的第一样本资源信息、负样本数据对应多媒体资源的第二样本资源信息和初始图数据,所述初始图数据包括基于所述正样本数据对应多媒体资源间的关联关系连接的节点,所述节点为所述正样本数据;
将所述初始图数据输入预设图神经网络进行特征提取,得到所述初始图数据中节点对应的初始节点信息;
基于所述初始节点信息、所述第一样本资源信息、所述第二样本资源信息和所述对象信息对预设数据去噪网络进行数据去噪训练,得到所述数据去噪网络。
4.根据权利要求3所述的图神经网络训练方法,其特征在于,所述基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络包括:
基于所述目标样本数据对应多媒体资源间的关联关系,生成第一目标图数据;
将所述第一目标图数据输入所述预设图神经网络进行特征提取,得到所述第一目标图数据中节点对应的第一目标节点信息;
将所述目标样本数据对应样本对象的对象信息和所述第一目标节点信息输入预设生成网络进行样本重构处理,得到第一重构样本数据;
根据所述第一重构样本数据和所述目标样本数据,确定第一损失信息;
基于所述第一损失信息对所述预设图神经网络进行重构训练,得到所述目标图神经网络。
5.一种任务处理方法,其特征在于,包括:
将预设图数据输入根据权利要求1至4任一所述的图神经网络训练方法得到的目标图神经网络进行特征提取,得到所述预设图数据中节点对应的资源特征信息;所述预设图数据包括基于多个多媒体资源间的关联关系连接的节点,所述节点为所述多个多媒体资源对应的资源信息;
基于所述资源特征信息执行目标任务。
6.一种图神经网络训练装置,其特征在于,包括:
第一数据获取模块,被配置为执行获取样本对象的对象信息和所述样本对象的正样本数据,所述正样本数据为所述样本对象在多个预设时间段内执行过预设操作的多媒体资源的资源信息;
去噪处理模块,被配置为执行对所述正样本数据进行去噪处理,得到目标样本数据;
重构训练模块,被配置为执行基于所述目标样本数据和所述目标样本数据对应样本对象的目标对象信息对所述预设图神经网络进行重构训练,得到目标图神经网络。
7.一种任务处理装置,其特征在于,包括:
第二特征提取模块,被配置为执行将预设图数据输入根据权利要求1至4任一所述的图神经网络训练方法得到的目标图神经网络进行特征提取,得到所述预设图数据中节点对应的资源特征信息;所述预设图数据包括基于多个多媒体资源间的关联关系连接的节点,所述节点为所述多个多媒体资源对应的资源信息;
目标任务执行模块,被配置为执行基于所述资源特征信息执行目标任务。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至4中任一项所述的图神经网络训练方法或如权利要求5所述的任务处理方法。
9.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至4中任一项所述的图神经网络训练方法或如权利要求5所述的任务处理方法。
10.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1至4中任一项所述的图神经网络训练方法或如权利要求5所述的任务处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110586648.1A CN115409151A (zh) | 2021-05-27 | 2021-05-27 | 图神经网络训练、任务处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110586648.1A CN115409151A (zh) | 2021-05-27 | 2021-05-27 | 图神经网络训练、任务处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115409151A true CN115409151A (zh) | 2022-11-29 |
Family
ID=84155022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110586648.1A Pending CN115409151A (zh) | 2021-05-27 | 2021-05-27 | 图神经网络训练、任务处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115409151A (zh) |
-
2021
- 2021-05-27 CN CN202110586648.1A patent/CN115409151A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112330685B (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
CN112395500B (zh) | 内容数据推荐方法、装置、计算机设备及存储介质 | |
CN112883257B (zh) | 行为序列数据处理方法、装置、电子设备及存储介质 | |
CN112270686A (zh) | 图像分割模型训练、图像分割方法、装置及电子设备 | |
CN113918738B (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
CN114461869B (zh) | 业务特征数据处理方法、装置、电子设备及存储介质 | |
CN114416995A (zh) | 信息推荐方法、装置及设备 | |
CN113420203B (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN114860892A (zh) | 层次类目预测方法、装置、设备和介质 | |
CN111651666A (zh) | 用户主题推荐方法、装置、计算机设备及存储介质 | |
CN113641835B (zh) | 多媒体资源推荐方法、装置、电子设备及介质 | |
CN113806568B (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
CN114491093B (zh) | 多媒体资源推荐、对象表征网络的生成方法及装置 | |
CN114547257B (zh) | 类案匹配方法、装置、计算机设备及存储介质 | |
CN113610215B (zh) | 任务处理网络生成、任务处理方法、装置及电子设备 | |
CN113961811B (zh) | 基于事件图谱的话术推荐方法、装置、设备及介质 | |
CN115756821A (zh) | 在线任务处理模型训练、任务处理方法及装置 | |
CN112883256B (zh) | 多任务处理方法、装置、电子设备及存储介质 | |
CN113868516A (zh) | 对象推荐方法、装置、电子设备及存储介质 | |
CN115186173A (zh) | 多媒体资源推送、智能体网络生成方法及装置 | |
CN115222112A (zh) | 一种行为预测方法、行为预测模型的生成方法及电子设备 | |
CN115409151A (zh) | 图神经网络训练、任务处理方法、装置、电子设备及存储介质 | |
CN113627514A (zh) | 知识图谱的数据处理方法、装置、电子设备和存储介质 | |
CN114021739B (zh) | 业务处理、业务处理模型训练方法、装置及电子设备 | |
CN114048392B (zh) | 多媒体资源推送方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |