CN113190757A - 多媒体资源推荐方法、装置、电子设备及存储介质 - Google Patents

多媒体资源推荐方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113190757A
CN113190757A CN202110535282.5A CN202110535282A CN113190757A CN 113190757 A CN113190757 A CN 113190757A CN 202110535282 A CN202110535282 A CN 202110535282A CN 113190757 A CN113190757 A CN 113190757A
Authority
CN
China
Prior art keywords
multimedia resource
multimedia
resource
candidate
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110535282.5A
Other languages
English (en)
Inventor
李勇
宋洋
常健新
高宸
郑瑜
牛亚男
惠轶群
金德鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Tsinghua University
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University, Beijing Dajia Internet Information Technology Co Ltd filed Critical Tsinghua University
Priority to CN202110535282.5A priority Critical patent/CN113190757A/zh
Publication of CN113190757A publication Critical patent/CN113190757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本公开关于一种多媒体资源推荐方法、装置、电子设备及存储介质,涉及计算机技术领域。本公开实施例,通过用户账号曾经交互过的多媒体资源,对用户账号的兴趣进行整合分析,通过多媒体资源根据相似度确定的聚集情况,分析哪些多媒体资源为用户账号的核心兴趣,通过多媒体资源与候选多媒体资源之间的相似度,能够分析出哪些多媒体资源与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。

Description

多媒体资源推荐方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及多媒体资源推荐方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的快速发展,智能推荐起到越来越重要的作用。智能推荐的主要任务是通过分析用户账号的相关信息,获得用户对多媒体资源的偏好或兴趣,并据此为用户账号进行多媒体资源推荐。
相关技术中,多媒体资源推荐方法通常是获取用户账号曾经交互过的多媒体资源,通过卷积神经网络(Convolutional Neural Networks,CNN)或循环神经网络(Recurrent Neural Network,RNN),来从多个候选多媒体资源中预测出接下来最可能交互的多媒体资源,从而向该用户账号推荐该多媒体资源。
如果该用户账号曾经交互过的多媒体资源比较多,CNN中的最大池化步骤会忽略这些多媒体资源中比较重要的部分和循环信号,并不能准确抓取到用户账号的核心兴趣。而 RNN具有遗忘长期特征的特性,从用户账号曾经交互过的多媒体资源中提取用户账号的兴趣时,存在短期瓶颈,无法抓取到用户账号的长期兴趣,抓取到的兴趣也不够准确。因而,上述方法中提取到的用户特征不准确,导致推荐结果的准确性差。
发明内容
本公开提供一种多媒体资源推荐方法、装置、电子设备及存储介质,能够提高推荐结果的准确性。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种多媒体资源推荐方法,包括:
获取用户账号曾经交互过的多媒体资源集合,所述多媒体资源集合包括多个第一多媒体资源;
根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,所述第一资源类别参数用于表示所述第一多媒体资源能够代表对应类别的可能性,所述第二多媒体资源为所述多媒体资源集合中与所述第一多媒体资源相似度满足第一相似度条件的多媒体资源,所述第三多媒体资源与所述候选多媒体资源之间的相似度满足第二相似度条件,且所述第三多媒体资源的第一资源类别参数满足参数条件;
基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐。
在一些实施例中,所述根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,包括:
对于所述多个候选多媒体资源中每个候选多媒体资源,根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的相似度,确定所述第一多媒体资源与所述第二多媒体资源的关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的关联信息,从所述多媒体资源集合中,确定出所述候选多媒体资源对应的多个第三多媒体资源,所述多个第三多媒体资源对应的所述关联信息不为零。
在一些实施例中,所述根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的相似度,确定所述第一多媒体资源与所述第二多媒体资源的关联信息,包括:
根据所述每个第一多媒体资源的第一资源类别参数,以及所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的第一相似度,获取所述第一多媒体资源与所述第二多媒体资源的候选关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源的第二资源类别参数,以及所述第一多媒体资源与所述候选多媒体资源之间的第二相似度,所述第二资源类别参数为对所述第一资源类别参数更新后的资源类别参数;
根据所述第一多媒体资源的第二资源类别参数、所述第二相似度、第一目标数值以及所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源与所述第二多媒体资源的关联信息。
在一些实施例中,所述根据所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源的第二资源类别参数,以及所述第一多媒体资源与所述候选多媒体资源之间的第二相似度,包括:
基于所述第一多媒体资源与所述第二多媒体资源的候选关联信息,对所述第一多媒体资源的表征信息进行更新,得到所述第一多媒体资源的目标表征信息;
基于所述第一多媒体资源的目标表征信息,对所述第一多媒体资源的第一资源类别参数进行更新,得到所述第一多媒体资源的第二资源类别参数;
基于所述第一多媒体资源的目标表征信息,确定所述第一多媒体资源与所述候选多媒体资源之间的第二相似度。
在一些实施例中,所述根据所述第一多媒体资源的第二资源类别参数、所述第二相似度、第一目标数值以及所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源与所述第二多媒体资源的关联信息,包括:
根据所述第一多媒体资源的第二资源类别参数和所述第二相似度,确定所述第一多媒体资源的重要性指示信息;
响应于所述第一多媒体资源的重要性指示信息大于或等于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的候选关联信息作为所述第一多媒体资源与所述第二多媒体资源的关联信息;
响应于所述第一多媒体资源的重要性指示信息小于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的关联信息设置为零。
在一些实施例中,所述第一目标数值为所述每个第一多媒体资源的重要性指示信息中最第二目标数值大的数值,所述第二目标数值为目标长度、所述第一多媒体资源的数量中的最小值。
在一些实施例中,所述第一多媒体资源的第一资源类别参数的获取方式包括:
确定所述第一多媒体资源对应的目标类别;
根据属于所述目标类别的每个第一多媒体资源的表征信息,获取所述目标类别的第一多媒体资源的平均表征信息;
获取所述第一多媒体资源的表征信息与所述平均表征信息的第三相似度,将所述第三相似度作为所述第一多媒体资源的第一资源类别参数。
在一些实施例中,所述基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐,包括:
基于所述多个第三多媒体资源,以及所述多个第三多媒体资源的交互时间顺序,从所述多个候选多媒体资源中,确定出目标多媒体资源;
向所述用户账号推荐所述目标多媒体资源。
在一些实施例中,所述基于所述多个第三多媒体资源,以及所述多个第三多媒体资源的交互时间顺序,从所述多个候选多媒体资源中,确定出目标多媒体资源,包括:
获取所述每个候选多媒体资源的交互序列,所述交互序列由按照交互时间顺序排列的所述多个第三多媒体资源组成;
获取所述每个候选多媒体资源的交互序列与所述每个候选多媒体资源之间的匹配度;
将所述匹配度最大的候选多媒体资源作为目标多媒体资源。
在一些实施例中,所述获取所述每个候选多媒体资源的交互序列与所述每个候选多媒体资源之间的匹配度,包括:
对于每个候选多媒体资源,根据所述多个第三多媒体资源,获取所述多个第三多媒体资源对应的第一表征信息,所述第一表征信息用于表示由所述多个第三多媒体资源组成的集合;
根据每个第三多媒体资源的重要性指示信息和所述交互序列中第三多媒体资源的变化情况,获取第二表征信息,所述第二表征信息符合所述变化情况;
根据所述第一表征信息、所述第二表征信息和所述候选多媒体资源的表征信息,获取所述候选多媒体资源的交互序列与所述候选多媒体资源之间的匹配度。
在一些实施例中,所述根据所述第一表征信息、所述第二表征信息和所述候选多媒体资源的表征信息,获取所述候选多媒体资源的交互序列与所述候选多媒体资源之间的匹配度,包括:
获取所述第一表征信息与所述候选多媒体资源的表征信息的哈达玛积;
将所述第一表征信息、所述第二表征信息、所述候选多媒体资源的表征信息以及所述哈达玛积连接,得到第三表征信息;
对所述第三表征信息进行降维处理,得到所述候选多媒体资源的交互序列与所述候选多媒体资源之间的匹配度。
根据本公开实施例的第二方面,提供一种多媒体资源推荐装置,包括:
获取单元,被配置为执行获取用户账号曾经交互过的多媒体资源集合,所述多媒体资源集合包括多个第一多媒体资源;
确定单元,被配置为执行根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,所述第一资源类别参数用于表示所述第一多媒体资源能够代表对应类别的可能性,所述第二多媒体资源为所述多媒体资源集合中与所述第一多媒体资源相似度满足第一相似度条件的多媒体资源,所述第三多媒体资源与所述候选多媒体资源之间的相似度满足第二相似度条件,且所述第三多媒体资源的第一资源类别参数满足参数条件;
推荐单元,被配置为执行基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐。
在一些实施例中,所述确定单元被配置为执行:
对于所述多个候选多媒体资源中每个候选多媒体资源,根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的相似度,确定所述第一多媒体资源与所述第二多媒体资源的关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的关联信息,从所述多媒体资源集合中,确定出所述候选多媒体资源对应的多个第三多媒体资源,所述多个第三多媒体资源对应的所述关联信息不为零。
在一些实施例中,所述确定单元被配置为执行:
根据所述每个第一多媒体资源的第一资源类别参数,以及所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的第一相似度,获取所述第一多媒体资源与所述第二多媒体资源的候选关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源的第二资源类别参数,以及所述第一多媒体资源与所述候选多媒体资源之间的第二相似度,所述第二资源类别参数为对所述第一资源类别参数更新后的资源类别参数;
根据所述第一多媒体资源的第二资源类别参数、所述第二相似度、第一目标数值以及所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源与所述第二多媒体资源的关联信息。
在一些实施例中,所述确定单元被配置为执行:
基于所述第一多媒体资源与所述第二多媒体资源的候选关联信息,对所述第一多媒体资源的表征信息进行更新,得到所述第一多媒体资源的目标表征信息;
基于所述第一多媒体资源的目标表征信息,对所述第一多媒体资源的第一资源类别参数进行更新,得到所述第一多媒体资源的第二资源类别参数;
基于所述第一多媒体资源的目标表征信息,确定所述第一多媒体资源与所述候选多媒体资源之间的第二相似度。
在一些实施例中,所述确定单元被配置为执行:
根据所述第一多媒体资源的第二资源类别参数和所述第二相似度,确定所述第一多媒体资源的重要性指示信息;
响应于所述第一多媒体资源的重要性指示信息大于或等于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的候选关联信息作为所述第一多媒体资源与所述第二多媒体资源的关联信息;
响应于所述第一多媒体资源的重要性指示信息小于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的关联信息设置为零。
在一些实施例中,所述第一目标数值为所述每个第一多媒体资源的重要性指示信息中最第二目标数值大的数值,所述第二目标数值为目标长度、所述多媒体资源集合中第一多媒体资源的数量中的最小值。
在一些实施例中,所述第一多媒体资源的第一资源类别参数的获取方式包括:
确定所述第一多媒体资源对应的目标类别;
根据属于所述目标类别的每个第一多媒体资源的表征信息,获取所述目标类别的第一多媒体资源的平均表征信息;
获取所述第一多媒体资源的表征信息与所述平均表征信息的第三相似度,将所述第三相似度作为所述第一多媒体资源的第一资源类别参数。
在一些实施例中,所述推荐单元包括确定模块和推荐模块;
所述确定模块,被配置为执行基于所述多个第三多媒体资源,以及所述多个第三多媒体资源的交互时间顺序,从所述多个候选多媒体资源中,确定出目标多媒体资源;
所述推荐模块,被配置为执行向所述用户账号推荐所述目标多媒体资源。
在一些实施例中,所述确定模块包括获取子模块和确定子模块;
所述获取子模块被配置为执行获取所述每个候选多媒体资源的交互序列,所述交互序列由按照交互时间顺序排列的所述多个第三多媒体资源组成;
所述获取子模块还被配置为执行获取所述每个候选多媒体资源的交互序列与所述每个候选多媒体资源之间的匹配度;
所述确定子模块被配置为执行将所述匹配度最大的候选多媒体资源作为目标多媒体资源。
在一些实施例中,所述获取子模块被配置为执行:
对于每个候选多媒体资源,根据所述多个第三多媒体资源,获取所述多个第三多媒体资源对应的第一表征信息,所述第一表征信息用于表示由所述多个第三多媒体资源组成的集合;
根据每个第三多媒体资源的重要性指示信息和所述交互序列中第三多媒体资源的变化情况,获取第二表征信息,所述第二表征信息符合所述变化情况;
根据所述第一表征信息、所述第二表征信息和所述候选多媒体资源的表征信息,获取所述候选多媒体资源的交互序列与所述候选多媒体资源之间的匹配度。
在一些实施例中,所述获取子模块被配置为执行:
获取所述第一表征信息与所述候选多媒体资源的表征信息的哈达玛积;
将所述第一表征信息、所述第二表征信息、所述候选多媒体资源的表征信息以及所述哈达玛积连接,得到第三表征信息;
对所述第三表征信息进行降维处理,得到所述候选多媒体资源的交互序列与所述候选多媒体资源之间的匹配度。
根据本公开实施例的第三方面,提供一种电子设备,包括:一个或多个处理器;用于存储所述一个或多个处理器可执行指令的一个或多个存储器;其中,所述处理器被配置为执行所述指令,以实现上述多媒体资源推荐方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述多媒体资源推荐方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现上述多媒体资源推荐方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
本公开实施例,通过用户账号曾经交互过的多媒体资源,对用户账号的兴趣进行整合分析,通过多媒体资源根据相似度确定的聚集情况,分析哪些多媒体资源为用户账号的核心兴趣,通过多媒体资源与候选多媒体资源之间的相似度,能够分析出哪些多媒体资源与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图卷积神经网络的结构示意图。
图2是根据一示例性实施例示出的一种多媒体资源推荐方法的实施环境的示意图。
图3是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。
图4是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。
图5是根据一示例性实施例示出的一种图神经网络的流程图。
图6是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。
图7是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。
图8是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。
图9是根据一示例性实施例示出的一种实验结果示意图。
图10是根据一示例性实施例示出的一种实验结果示意图。
图11是根据一示例性实施例示出的一种实验结果示意图。
图12是根据一示例性实施例示出的一种多媒体资源推荐装置框图。
图13是根据一示例性实施例示出的一种电子设备的结构示意图。
图14是根据一示例性实施例示出的一种终端的结构框图。
图15是根据一示例性实施例示出的一种服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户账号信息可以为经用户账号授权或者经过各方充分授权的信息。
下面对本公开涉及到的名词解释如下。
(1)图
在本公开实施例中,图是指以图的形式存储的数据,图也称图数据、图模型、图表示、图结构数据。图包括至少一个节点和至少一条边,每个节点具有对应的特征,边用于表示不同节点之间的连接关系。可选地,图定义为G=(V,E)。其中,G表示图,V表示图中节点的集合,E表示图中边的集合。可选地,图的边具有权重,边的权重表示了连接关系的属性。
(2)图神经网络
图神经网络(Graph Neural Network,GNN)是指神经网络在图上应用的模型的统称,图神经网络包括图卷积神经网络(Graph Convolutional Network,GCN),图注意力网络等。图神经网络用于根据图的结构特征预测图的类别。具体地,图神经网络会包括一个或多个特征提取层。特征提取层例如是图卷积层(GraphConvolution Layers,GCL)。特征提取层用于提取图的结构特征。如果两个图是同构的,那么两个图的图在经过特征提取层后,得到的结构特征会是相似的。如果两个图是异构的,那么两个图的图在经过特征提取层后,得到的结构特征会是不同的。因此,图神经网络能够将具有同构性质的图结构映射到相同的表示域中,并输出相同的类别。例如,图1是根据一示例性实施例示出的一种图卷积神经网络的结构示意图,如图1所示,在一个具体示例中,输入图卷积神经网络(GCN) 的数据为图,该图包括节点和边,节点为X,边为邻接矩阵A。图卷积神经网络中每层后由线性整流(Rectified Linear Unit,ReLU)函数对数据进行处理,最后一层能够得到输出(Outputs)。
(3)图卷积网络
图卷积网络是一类采用图卷积的图神经网络。图卷积网络包括至少一个图卷积层。图卷积层的作用类似于特征提取器,特征提取的对象是图,提取出的特征是图包含的结构特征。具体地,图卷积层包括多个卷积算子,卷积算子也称为卷积核,卷积核本质上可以是一个权重矩阵,权重矩阵中的权重值通过模型训练阶段得到,通过训练得到的权重值形成的各个权重矩阵可以用来从输入的图中提取特征,从而使得图卷积网络在应用阶段进行正确的预测。
可选地,图以矩阵的数据形式输入至图卷积网络,图中的节点、边和权重通过矩阵中的值来表示。例如,图中节点的特征通过N×D维的矩阵X表示,其中,N表示图中节点的数量,即上述(1)描述的集合V所包括的节点数量。D表示每个节点的特征向量的维度。其中,节点的特征向量中的特征值例如是节点的属性的值。例如,如果节点具有三种属性,则节点的特征向量包括三种属性分别对应的三个属性值,则D取3。图中边的特征通过N×N维的邻接矩阵A表示,例如,如果两个节点之间具有边,则两个节点在邻接矩阵A中对应边的权值为非零数值,如果两个节点之间没有边,则两个节点在邻接矩阵A 中对应边的权值是0,通过邻接矩阵A能够指明N个节点中任两个节点之间的连接关系。 N为正整数。
(4)图卷积处理
图卷积层实现特征提取的功能是通过图卷积处理实现的。图卷积处理是对输入数据进行非线性变换的操作。对于图卷积网络第一个图卷积层而言,图卷积处理的输入数据为图;对于第二个图卷积层至最后一个图卷积层而言,图卷积处理的输入数据为前一个图卷积层的输出结果。
图2是根据一示例性实施例示出的一种多媒体资源推荐方法的实施环境的示意图。参见图2,该实施环境包括终端201,或者该实施环境包括终端201和多媒体资源推荐平台 202。终端201通过无线网络或有线网络与多媒体资源推荐平台202相连。
终端201能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器,膝上型便携计算机,智能机器人,自助支付设备中的至少一种。终端201安装和运行有支持多媒体资源推荐的应用程序,例如,该应用程序能够是系统应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。
示例性地,该终端201上能够登陆有用户账号,用户能够在终端上进行操作,以与任一多媒体资源进行交互,终端201能够将交互记录发送给多媒体资源推荐平台202,由该多媒体资源推荐平台202提供相关服务。该终端201也能够将交互记录发送给其他设备,由该其他设备提供相关服务。该多媒体资源推荐平台202可以从其他设备处提取该交互记录。
示例性地,在该终端201有多媒体资源推荐需求时,能够向多媒体资源推荐平台202 发送推荐请求,由该多媒体资源推荐平台202响应于推荐请求,为该终端201上登录的用户账号推荐多媒体资源。
示例性地,该多媒体资源推荐平台202能够针对某个用户账号的相关信息,主动为该用户账号推荐多媒体资源,该终端201接收到推荐的多媒体资源,能够显示该多媒体资源。
多媒体资源推荐平台202包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。多媒体资源推荐平台202用于为支多媒体资源推荐的应用程序提供后台服务。可选地,多媒体资源推荐平台202承担主要处理工作,终端201承担次要处理工作;或者,多媒体资源推荐平台202承担次要处理工作,终端201承担主要处理工作;或者,多媒体资源推荐平台202或终端201分别能够单独承担处理工作。或者,多媒体资源推荐平台202和终端201两者之间采用分布式计算架构进行协同计算。
可选地,该多媒体资源推荐平台202包括至少一台服务器2021以及数据库2022,该数据库2022用于存储数据,在本申请实施例中,该数据库2022中能够存储有样本图像或样本人脸图像,为至少一台服务器2021提供数据服务。
服务器能够是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式系统,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。
本领域技术人员能够知晓,上述终端201、服务器2021的数量能够更多或更少。比如上述终端201、服务器2021能够仅为一个,或者上述终端201、服务器2021为几十个或几百个,或者更多数量,本申请实施例对终端或服务器的数量和设备类型不加以限定。
图3是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图,如图3所示,多媒体资源推荐方法可以由电子设备执行,包括以下步骤。
在步骤S31中,获取用户账号曾经交互过的多媒体资源集合,该多媒体资源集合包括多个第一多媒体资源。
在步骤S32中,根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从该多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,该第一资源类别参数用于表示该第一多媒体资源能够代表对应类别的可能性,该第二多媒体资源为该多媒体资源集合中与该第一多媒体资源相似度满足第一相似度条件的多媒体资源,该第三多媒体资源与该候选多媒体资源之间的相似度满足第二相似度条件,且该第三多媒体资源的第一资源类别参数满足参数条件。
在步骤S33中,基于该多个第三多媒体资源,向该用户账号进行多媒体资源推荐。
本公开实施例,通过用户账号曾经交互过的多媒体资源,对用户账号的兴趣进行整合分析,通过多媒体资源根据相似度确定的聚集情况,分析哪些多媒体资源为用户账号的核心兴趣,通过多媒体资源与候选多媒体资源之间的相似度,能够分析出哪些多媒体资源与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。
在一些实施例中,该根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从该多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,包括:
对于该多个候选多媒体资源中每个候选多媒体资源,根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的相似度,确定该第一多媒体资源与该第二多媒体资源的关联信息;
根据该第一多媒体资源与该第二多媒体资源的关联信息,从该多媒体资源集合中,确定出该候选多媒体资源对应的多个第三多媒体资源,该多个第三多媒体资源对应的该关联信息不为零。
在一些实施例中,该根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的相似度,确定该第一多媒体资源与该第二多媒体资源的关联信息,包括:
根据该每个第一多媒体资源的第一资源类别参数,以及该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的第一相似度,获取该第一多媒体资源与该第二多媒体资源的候选关联信息;
根据该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源的第二资源类别参数,以及该第一多媒体资源与该候选多媒体资源之间的第二相似度,该第二资源类别参数为对该第一资源类别参数更新后的资源类别参数;
根据该第一多媒体资源的第二资源类别参数、该第二相似度、第一目标数值以及该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源与该第二多媒体资源的关联信息。
在一些实施例中,该根据该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源的第二资源类别参数,以及该第一多媒体资源与该候选多媒体资源之间的第二相似度,包括:
基于该第一多媒体资源与该第二多媒体资源的候选关联信息,对该第一多媒体资源的表征信息进行更新,得到该第一多媒体资源的目标表征信息;
基于该第一多媒体资源的目标表征信息,对该第一多媒体资源的第一资源类别参数进行更新,得到该第一多媒体资源的第二资源类别参数;
基于该第一多媒体资源的目标表征信息,确定该第一多媒体资源与该候选多媒体资源之间的第二相似度。
在一些实施例中,该根据该第一多媒体资源的第二资源类别参数、该第二相似度、第一目标数值以及该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源与该第二多媒体资源的关联信息,包括:
根据该第一多媒体资源的第二资源类别参数和该第二相似度,确定该第一多媒体资源的重要性指示信息;
响应于该第一多媒体资源的重要性指示信息大于或等于第一目标数值,将该第一多媒体资源与该第二多媒体资源的候选关联信息作为该第一多媒体资源与该第二多媒体资源的关联信息;
响应于该第一多媒体资源的重要性指示信息小于第一目标数值,将该第一多媒体资源与该第二多媒体资源的关联信息设置为零。
在一些实施例中,该第一目标数值为该每个第一多媒体资源的重要性指示信息中最第二目标数值大的数值,该第二目标数值为目标长度、该第一多媒体资源的数量中的最小值。
在一些实施例中,该第一多媒体资源的第一资源类别参数的获取方式包括:
确定该第一多媒体资源对应的目标类别;
根据属于该目标类别的每个第一多媒体资源的表征信息,获取该目标类别的第一多媒体资源的平均表征信息;
获取该第一多媒体资源的表征信息与该平均表征信息的第三相似度,将该第三相似度作为该第一多媒体资源的第一资源类别参数。
在一些实施例中,该基于该多个第三多媒体资源,向该用户账号进行多媒体资源推荐,包括:
基于该多个第三多媒体资源,以及该多个第三多媒体资源的交互时间顺序,从该多个候选多媒体资源中,确定出目标多媒体资源;
向该用户账号推荐该目标多媒体资源。
在一些实施例中,该基于该多个第三多媒体资源,以及该多个第三多媒体资源的交互时间顺序,从该多个候选多媒体资源中,确定出目标多媒体资源,包括:
获取该每个候选多媒体资源的交互序列,该交互序列由按照交互时间顺序排列的该多个第三多媒体资源组成;
获取该每个候选多媒体资源的交互序列与该每个候选多媒体资源之间的匹配度;
将该匹配度最大的候选多媒体资源作为目标多媒体资源。
在一些实施例中,该获取该每个候选多媒体资源的交互序列与该每个候选多媒体资源之间的匹配度,包括:
对于每个候选多媒体资源,根据该多个第三多媒体资源,获取该多个第三多媒体资源对应的第一表征信息,该第一表征信息用于表示由该多个第三多媒体资源组成的集合;
根据每个第三多媒体资源的重要性指示信息和该交互序列中第三多媒体资源的变化情况,获取第二表征信息,该第二表征信息符合该变化情况;
根据该第一表征信息、该第二表征信息和该候选多媒体资源的表征信息,获取该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
在一些实施例中,该根据该第一表征信息、该第二表征信息和该候选多媒体资源的表征信息,获取该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度,包括:
获取该第一表征信息与该候选多媒体资源的表征信息的哈达玛积;
将该第一表征信息、该第二表征信息、该候选多媒体资源的表征信息以及该哈达玛积连接,得到第三表征信息;
对该第三表征信息进行降维处理,得到该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
图4是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。参见图4,该方法包括:
步骤S41、电子设备获取多个候选多媒体资源和用户账号曾经交互过的多媒体资源集合,该多媒体资源集合包括多个第一多媒体资源。
第一多媒体资源以及候选多媒体资源可以为文本,音频、图像、视频中的任一种,相应地,本公开实施例的应用场景可以为文本推荐场景、音频推荐场景、图像推荐场景、视频推荐场景中的任一种。例如,短视频是视频的一种,上述第一多媒体资源以及候选多媒体资源可以为短视频,本公开实施例的应用场景可以为短视频推荐场景。又例如,上述第一多媒体资源以及候选多媒体资源可以为新闻,本公开实施例的应用场景可以为新闻推荐场景。又例如,上述第一多媒体资源以及候选多媒体资源可以为广告,本公开实施例的应用场景可以为广告推荐场景。
在本公开实施例中,电子设备可以根据用户账号曾经交互过的第一多媒体资源来预测该用户账号接下来最有可能会交互的多媒体资源,从而为该用户账号推荐该多媒体资源。可以理解地,该用户账号曾经交互过的第一多媒体资源通常能够在一定程度上表示出该用户账号的兴趣,一般用户账号更倾向于与相似的多媒体资源交互。例如,在视频推荐场景中,假设某个用户比较热爱电子游戏,在观看多媒体资源时,更加喜欢观看电子游戏的直播视频或短视频。在候选多媒体资源包括新闻类视频、体育类视频和电子游戏类视频时,该用户账号接下来观看电子游戏类视频的可能性比观看其他类视频的可能性要大。
候选多媒体资源为待推荐的多媒体资源,上述用户账号接下来最有可能会交互的多媒体资源即是从候选多媒体资源中确定出的一个。相应的,当前应用场景可以为在需要为某个用户账号推荐多媒体资源,且包括多个候选多媒体资源时,电子设备获取该用户账号曾经交互过的第一多媒体资源,能够据此来分析该用户账号的兴趣,从而根据该用户账号的兴趣来判断该用户账号接下来是否可能与哪个候选多媒体资源进行交互。
用户账号可以通过多种方式对第一多媒体资源进行交互,在不同的应用场景中交互方式也可以不同。比如,交互方式可以点赞、点击、转发、分享、下载、评论等。具体获取该用户账号通过哪种或哪几种交互方式进行交互的第一多媒体资源,可以由于相关技术人员根据需求进行设置,本公开实施例对此不作限定。
具体地,电子设备可以确定出该用户账号与每个候选多媒体资源交互的可能性,来选择该用户账号最有可能交互的多媒体资源进行推荐。下述将该最有可能交互的多媒体资源称为目标多媒体资源,因而,本公开实施例提供的方法用于从候选多媒体资源中确定出目标多媒体资源来向用户账号进行推荐。
电子设备可以通过多种方式来获取该用户账号曾经交互过的多媒体资源集合,下面提供几种可能的方式。本公开实施例可以采用任一种方式,在此不作具体限定。
在方式一中,电子设备可以从本地的记录数据中提取该用户账号曾经交互过的多媒体资源集合。该用户账号与某个第一多媒体资源交互时,该用户账号所在终端可以向该电子设备发送本次交互的相关数据,电子设备接收到该本次交互的相关数据后,可以记录该用户账号曾经交互过的第一多媒体资源。当然,该电子设备还可以记录本次交互的交互时间,该交互时间可以与该第一多媒体资源对应记录于该电子设备中。这样后续在需要为该用户账号推荐多媒体资源时,可以获取记录数据中该用户账号曾经交互过的多媒体资源集合。
在方式二中,电子设备可以从数据库中获取该用户账号曾经交互过的多媒体资源集合。该用户账号与某个第一多媒体资源交互时,该用户账号所在终端可以向该电子设备发送本次交互的相关数据,由该电子设备将其存储至数据库中。又或者,该用户账号可以通过目标应用与某个第一多媒体资源交互,该用户账号所在终端可以向该目标应用对应的服务器发送本次交互的相关数据,由该目标应用对应的服务器将其存储至数据库中。后续该电子设备可以从数据库中,获取该用户账号曾经交互过的多媒体资源集合。
该用户账号曾经交互过的多媒体资源集合可以包括该用户账号曾经交互过的全部第一多媒体资源,也可以包括该用户账号曾经交互过的部分第一多媒体资源。在一些实施例中,该电子设备可以获取该用户账号曾经交互过的全部第一多媒体资源,以此作为数据依据进行后续处理。在另一些实施例中,该电子设备可以获取该用户账号在目标历史时间段内交互过的第一多媒体资源,以此作为数据依据进行后续处理。该用户账号在目标历史时间段内交互过的第一多媒体资源即为该用户账号曾经交互过的部分第一多媒体资源。
在一些实施例中,该用户账号曾经交互过的第一多媒体资源可以与该用户账号的标识信息对应存储,在需要获取用户账号曾经交互过的第一多媒体资源时,电子设备可以根据该用户账号的标识信息,获取与该标识信息对应存储的第一多媒体资源。该标识信息用于唯一标识该用户账号,该标识信息可以包括多种形式,本公开实施例可以采用任一种标识信息。例如,该标识信息可以为该用户账号的账号ID(Identification,身份标识号),也可以为该用户账号的账号名称,还可以为该用户账号的名称等,当然,该标识信息还可以为其他信息,例如,该用户账号的某种身份凭证或该用户账号的终端ID等,本公开实施例对此不作限定。
需要说明的是,该步骤S41中以电子设备获取了候选多媒体资源为例进行说明,在一些实施例中,该候选多媒体资源可以在后续再获取。在另一些实施例中,该候选多媒体资源也可以不获取,而是在需要进行训练时已有的资源,本公开实施例对此不作限定。
步骤S42、对于该多个候选多媒体资源中每个候选多媒体资源,电子设备根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的相似度,确定该第一多媒体资源与该第二多媒体资源的关联信息。
电子设备获取到用户账号曾经交互过的多媒体资源集合,该用户账号曾经交互过的多媒体资源集合能够体现该用户账号的兴趣。在本公开实施例中,进行多媒体资源推荐时,需要从用户账号曾经交互过的多媒体资源集合中分析出用户账号比较重要的兴趣,从中分析出与待推荐的候选多媒体资源相关的兴趣。在此将用户账号比较重要的兴趣称之为核心兴趣,该核心兴趣用于与边缘兴趣区分。
一个用户账号对不同的多媒体资源的兴趣深浅或大小不同。例如,用户账号可能对一些多媒体资源特别感兴趣,也即是对这些多媒体资源的兴趣很深或很大,该用户账号随着时间变化,对这些多媒体资源的兴趣可能不会变化特别大,因而这些多媒体资源还能够体现出该用户账号长期的兴趣。该用户账号可能对另一些多媒体资源稍微感兴趣,也即是,对该另一些多媒体资源的兴趣比较浅或比较小,可能该用户账号只是在一段时间内对其感兴趣,后续随着时间变化,该用户账号对该另一些多媒体资源的兴趣慢慢就更淡了,甚至就不再感兴趣了,因而该另一些多媒体资源还能够体现出该用户账号短期的兴趣。在此可以根据该兴趣的深浅或者大小,对兴趣进行划分。具体地,将深或大的兴趣称为核心兴趣,将浅或小的兴趣称为边缘兴趣。
可以理解地,该用户账号与核心兴趣相关的多媒体资源交互的次数可能比较多,而与边缘兴趣的多媒体资源交互的次数则可能比较少。下面通过多媒体资源集合中第一多媒体资源之间的相似度,能够分析出第一多媒体资源的聚集情况,可以理解地,相似的第一多媒体资源更容易聚集在一起,相差较大的第一多媒体资源之间则会距离比较远,从而能够显性且更容易地将用户账号的核心兴趣与边缘兴趣区分出来。进一步地,本公开实施例提供的方法旨在提取出该用户账号的核心兴趣,从而根据核心兴趣为该用户账号推荐符合该核心兴趣的目标多媒体资源,这样用户账号与目标多媒体资源交互的可能性更高一些,提高了推荐转化率和成功率。
下面针对涉及的名词进行解释说明。
该第一资源类别参数用于表示该第一多媒体资源能够代表对应类别的可能性。也即是,对第一多媒体资源进行聚类分析,相似的第一多媒体资源之间的距离较小一些,不相似的第一多媒体资源之间的距离较大。这样彼此相似的第一多媒体资源会聚在一起形成一个类,该多媒体资源集合中的第一多媒体资源也即可以形成多个类,每个类用于代表一个类别。对于一种类别的多个第一多媒体资源,通常会具有聚类中心,该聚类中心是指每个聚类或类的中心,该聚类或类中所有第一多媒体资源到该聚类中心的距离之和最小。假设类中所有第一多媒体资源到聚类中心的距离之和为d,则类中所有第一多媒体资源到其他位置的距离之和均大于d,d大于零。
可以理解地,作为聚类中心的第一多媒体资源能够更好、更准确地代表该对应类别。在本公开实施例中,通过该第一资源类别参数能够确定哪个第一多媒体资源更能够代表对应类别,能够代表对应类别的第一多媒体资源即为期望确定出用于表示用户核心兴趣的第一多媒体资源。
第二多媒体资源为该多媒体资源集合中与该第一多媒体资源相似度满足第一相似度条件的多媒体资源。在对多媒体资源集合中任一个第一多媒体资源进行分析时,我们更希望能够分析该多媒体资源集合中是否有很多第一多媒体资源与之相似,那么这个第一多媒体资源以及与之相似的第一多媒体资源可能能够体现用户的核心兴趣。比如,一个用户对一种第一多媒体资源感兴趣,则可能会经常与这种第一多媒体资源进行交互,自然用户账号交互过的多媒体资源集合中这种第一多媒体资源的数量就会比较多。那么在针对一个第一多媒体资源进行分析时,也就可以先根据第一多媒体资源之间的相似度确定出第二多媒体资源,进而再综合多种因素来进一步确定该第一多媒体资源与第二多媒体资源的关联信息。
在本公开实施例中,在确定第一多媒体资源与该第二多媒体资源的关联信息,可以综合三种因素:第一多媒体资源的第一资源类别参数、第一多媒体资源与候选多媒体资源之间的第一相似度、第二多媒体资源与候选多媒体资源之间的第二相似度。通过这三种因素,我们希望能够使得确定出的关联信息,能够体现出该第一多媒体资源是否比较重要,以体现用户的核心兴趣,也能够体现出该第一多媒体资源对应类别与候选多媒体资源的类别是否比较相似。本公开实施例旨在从多媒体资源集合中挑选出能够代表用户核心兴趣且与候选多媒体资源比较相关的第三多媒体资源,第三多媒体资源在确定用户是否对候选多媒体资源感兴趣的方面比较具有代表性。
下面对第二多媒体资源的确定过程进行解释说明。
在一些实施例中,对于多媒体资源集合中每个第一多媒体资源,电子设备可以获取该每个第一多媒体资源与多媒体资源集合中其他第一多媒体资源之间的相似度,然后将该多媒体资源集合中该相似度满足第一相似度条件的第一多媒体资源确定为该多媒体资源的第二多媒体资源。
在一些实施例中,通过第一多媒体资源的表征信息之间的相似度来衡量第一多媒体资源之间相似度。对于用户账号曾经交互过的每个第一多媒体资源,电子设备可以对该第一多媒体资源进行嵌入处理,得到该第一多媒体资源的表征信息。在一个具体的可能实施例中,该表征信息可以为嵌入向量。
对于多媒体资源集合中任两个第一多媒体资源,电子设备获取该两个第一多媒体资源的表征信息之间的相似度。根据该相似度,确定每个第一多媒体资源的第二多媒体资源。
其中,该相似度的获取过程可以通过多种获取方式实现,该相似度的获取过程可以理解为一种相似度度量过程,则该获取过程可以采用任一种相似度度量函数实现。例如,该相似度的获取过程可以通过余弦相似度、径向基函数(Radial Basis Function,RBF)核和注意力机制中任一种方式实现,当然,也可以通过其他相似度度量函数来获取该节点之间的相似度,例如,杰卡德相似系数、欧氏距离等,本公开实施例对此不作具体限定。
在一个具体的可能实施例中,电子设备可以采用加权余弦相似度作为度量标准函数,来确定上述两个第一多媒体资源之间的相似度,具体可以通过下述公式一实现。
Figure RE-GDA0003132905260000121
第一多媒体资源j的表征信息。Sij是第一多媒体资源i和第一多媒体资源j之间的相似度。
Figure RE-GDA0003132905260000122
是权重向量,其与输入的麦征信息
Figure RE-GDA0003132905260000123
Figure RE-GDA0003132905260000124
具有相同的维度。i和j为多媒体资源标识。在上述示例中,该表征信息
Figure RE-GDA0003132905260000125
Figure RE-GDA0003132905260000126
的维度为d,则该
Figure RE-GDA0003132905260000127
的维度也为d,d为正整数。在一些实施例中,上述第一多媒体资源的表征信息可以为嵌入向量。
在一些实施例中,该权重向量可以在训练过程中更新得到。这样学习得到的权重向量中不同维度的权重值可能不同,也就学习到强调上述表征信息的不同维度的特征。
在一些实施例中,可以通过多个视角来观察第一多媒体资源的聚类情况,不同视角所观察到的第一多媒体资源之间的相似度可能不同。因而,电子设备可以将相似度度量函数扩展为多个视角版本,从多个视角来获取两个第一多媒体资源之间的相似度,将多个视角的相似度综合作为最终的相似度。具体地,可以设置φ个权重向量,每个权重向量对应一个视角。该φ个权重向量在学习阶段或训练阶段得到,学习后,该φ个权重向量中不同维度的权重值可能不同,这样φ个权重向量能够偏重于不同的维度的特征。
相应的,电子设备可以基于多个不同的权重向量和该两个第一多媒体资源的表征信息,获取得到多个相似度,然后基于该多个相似度,获取该两个第一多媒体资源之间的相似度。
对于基于该多个相似度来获取该两个第一多媒体资源之间的相似度的过程,电子设备可以通过多种综合方式实现。例如,可以对多个相似度进行加权得到两个第一多媒体资源之间的相似度。其中,将加权的权重设置为1时,该加权过程为求和过程。将加权的权重设置为相同的数值,且该多个相同的数值之和为1时,该加权过程为求平均值的过程。又例如,可以连接多个相似度,得到两个第一多媒体资源之间的相似度。本公开实施例对具体采用哪种方式来综合多个相似度不作限定。
在上述余弦相似度函数的示例中,电子设备可以通过下述公式二和公式三来计算φ个独立的相似度矩阵,每个相似度矩阵为基于每个视角的相似度,并将它们的平均值作为最终相似度。在此仅以对多个相似度取平均值作为最终相似度为例进行了说明,电子设备也可以将该多个视角的相似度连接得到最终相似度,或者对多个视角的相似度进行求和得到最终相似度等,当然,也可以通过其他方式来确定最终相似度,本公开实施例对此不作限定。
Figure RE-GDA0003132905260000128
Figure RE-GDA0003132905260000129
其中,
Figure RE-GDA0003132905260000131
为第δ个视角下两个第一多媒体资源的表征信息
Figure RE-GDA0003132905260000132
Figure RE-GDA0003132905260000133
之间的余弦相似度。 cos()为余弦函数。⊙是哈达玛积。
Figure RE-GDA0003132905260000134
是第一多媒体资源i的表征信息。
Figure RE-GDA0003132905260000135
是第一多媒体资源j的表征信息。Sij是第一多媒体资源i和第一多媒体资源j之间的相似度。
Figure RE-GDA0003132905260000136
芝第δ个视角的权重向量。∑为求和函数。每个视角能够从嵌入了向量捕获到语义的一部分,且关注的角度不同。从多个视角来对第一多媒体资源之间的联系进行度量,能够提高表达能力,得到更加准确的相似度。
电子设备确定出第一多媒体资源之间的相似度,即可根据该相似度来确定其中一个第一多媒体资源是否为另一个第一多媒体资源的第二多媒体资源。可以理解地,第一多媒体资源之间的相似度高,则该两个第一多媒体资源越可能被分到同一类别中,两个第一多媒体资源之间互为第二多媒体资源的可能性就越大。第一多媒体资源之间的相似度低,则该两个第一多媒体资源越可能被分到不同类别中,两个第一多媒体资源之间互为第二多媒体资源的可能性就越小。
在一些实施例中,可以设置有相似度阈值,通过该相似度阈值对两个第一多媒体资源之间的相似度进行划分,来确定两个第一多媒体资源是否互为第二多媒体资源。具体地,电子设备响应于两个第一多媒体资源之间的相似度大于或等于相似度阈值,确定该两个第一多媒体资源互为第二多媒体资源。电子设备响应于两个第一多媒体资源之间的相似度小于该相似度阈值,确定该两个第一多媒体资源互不为第二多媒体资源。
该相似度阈值可以由相关技术人员根据需求进行设置,也可以基于稀疏度来确定,本公开实施例对此不作限定。例如,该相似度阈值可以被设置为0.7。又例如,相关技术人员设置有稀疏度,电子设备可以根据稀疏度和各个第一多媒体资源之间的相似度,确定相似度阈值。该相似度阈值基于稀疏度来确定的策略可以称为相对排名策略。通过稀疏度,能够将各个第一多媒体资源之间的相似度中排名在某个名次的数值作为相似度阈值。
在一些实施例中,该电子设备可以获取该多媒体资源集合中第一多媒体资源的数量的平方,获取该平方与稀疏度的乘积,将该各个第一多媒体资源之间的相似度中第该乘积大的相似度作为该相似度阈值。假设该多媒体资源集合中第一多媒体资源的数量为n,稀疏度为ε,则该乘积为εn2。各个第一多媒体资源之间的相似度中第该乘积大的相似度可以记为
Figure RE-GDA0003132905260000137
为相似度S中第εn2大的值。
在一些实施例中,针对该相似度阈值基于稀疏度来确定的方式,通过稀疏度ε来进行稀疏化。根据度量标准计算的余弦相似度Sii的取值范围为[-1,1],可以对其进行归一化处理,将其归一化到[0,1],将相似度转化为正数。当然也可以不进行归一化,本公开实施例对此不作限定。在一个具体的可能实施例中,简单地对其进行归一化可能会使得第一多媒体资源的聚类比较均匀,不同类别的第一多媒体资源数量可能会相差不大。通过设置该稀疏度进行稀疏化,能够减少计算量,且将一些不重要的第一多媒体资源之间关联过滤掉,从而促使后续的信息聚合步骤能够聚焦于该多媒体资源集合中最重要的部分。将两个第一多媒体资源称为多媒体资源对,上述方式能够考虑最重要的多媒体资源对,而滤掉不重要的多媒体资源对,来从S中确定出每个第一多媒体资源的第二第一多媒体资源。S是指上述Sij组成的矩阵。
在一些实施例中,该相似度阈值基于稀疏度确定的方式可以通过相对排名策略实现。这样能够使得超参数不敏感且不会破坏该多媒体资源集合的稀疏性分布。具体地,可以通过公式四来进一步得到第一多媒体资源之间的关联指示信息A。
Figure RE-GDA0003132905260000138
其中,Aij是第一多媒体资源i与第一多媒体资源j之间的关联指示信息,
Figure RE-GDA0003132905260000139
为相似度S中第εn2大的值,在此指相似度阈值。n是多媒体资源集合中第一多媒体资源的数量,ε为稀疏度,用于控制整体稀疏性。otherwise(其它)是指不满足
Figure RE-GDA00031329052600001310
的其它情况,在此是指
Figure RE-GDA00031329052600001311
该公式四中,通过将相似度小于相似度阈值的关联指示信息设置为零,屏蔽掉了S中小于相似度阈值的那些元素,相似度阈值的选取是通过对S中的度量值(也即是相似度)进行排名而获得的。这样针对该关联指示信息Aij,Aij为 1,则第一多媒体资源i与第一多媒体资源j互为第二多媒体资源。Aij为0,则第一多媒体资源i与第一多媒体资源j互不为第二多媒体资源。
通过将每个用户账号曾经交互过的第一多媒体资源进行聚类,可以更容易地区分其核心兴趣和边缘兴趣。可以理解地,用于代表核心兴趣的第一多媒体资源对应的聚类中具有更多相似兴趣的第一多媒体资源。该第一多媒体资源的第二多媒体资源的数量可能比较多。
在一些实施例中,电子设备可以将该用户账号曾经交互过的第一多媒体资源,按照交互时间顺序,转换为历史交互序列,该历史交互序列中的每个元素为在一个时间点进行的第一多媒体资源。以该历史交互序列来对第一多媒体资源进行进一步处理。
在该步骤S42中,电子设备基于度量学习,对用户账号曾经交互过的第一多媒体资源进行聚类分析,该用户账号曾经交互过的第一多媒体资源可以理解为一维数据,将用户账号曾经交互过的第一多媒体资源按照交互时间顺序排列,可组成一个一维的历史交互序列。一些用户账号曾经交互过的第一多媒体资源可能比较多,另一些用户账号曾经交互过的第一多媒体资源可能比较少,则该历史交互序列可能非常冗长,也可能比较短。
通过上述说明,已经明确第二多媒体资源的确定过程,下面针对如何确定出第一多媒体资源与第二多媒体资源的关联信息进行说明。
电子设备根据第一多媒体资源之间的相似度,初步确定出第一多媒体资源的聚类分布,进而可以再基于第一多媒体资源的第一资源类别参数,以及候选多媒体资源与每个第一多媒体资源之间相似情况,来对该聚类分布进行更新,使得与候选多媒体资源相关且能够代表用户账号的核心兴趣的第一多媒体资源更加突出。该更新过程可以理解为信息聚合过程,用于感知用户账号与候选多媒体资源相关的核心兴趣。
在本公开实施例中,该第一多媒体资源与第二多媒体资源的关联信息可以采用注意力机制进行获取。通过注意力机制分析哪个第一多媒体资源或者哪两个第一多媒体资源之间的关系需要更着重注意,从而得到该第一多媒体资源与第二多媒体资源的关联信息。该关联信息可以理解为注意力分数,该注意力分数用于表示该第一多媒体资源与第二多媒体资源之间关系的重要性。
具体的,该步骤S42可以通过下述步骤一至步骤三实现。
步骤一、电子设备根据该每个第一多媒体资源的第一资源类别参数,以及该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的第一相似度,获取该第一多媒体资源与该第二多媒体资源的候选关联信息。
具体地,在确定候选关联信息时,可以评估该第一多媒体资源能够代表对应类别的可能性,如果该第一多媒体资源能够代表对应类别,则该第一多媒体资源能够代表该用户账号的核心兴趣,自然在后续预测过程中比较重要,需要更多的关注该第一多媒体资源以及与之关联密切的第二多媒体资源,第一多媒体资源与第二多媒体资源的候选关联信息可以比较大。考虑到本公开实施例旨在分析用户账号与候选多媒体资源交互的可能性大小,在分析第二多媒体资源对于该第一多媒体资源是否重要时,可以着重考虑第二多媒体资源是否与候选多媒体资源相关,如果相关,则该第二多媒体资源比较重要,需要将第二多媒体资源的信息更多地传递给该第一多媒体资源,以使得该第一多媒体资源的表征信息与候选多媒体资源更相关一些,反之同理。因而,在确定候选关联信息时,可以先确定该第一多媒体资源的第一资源类别参数和该第二多媒体资源与候选多媒体资源之间的第一相似度,再综合二者,来获取第一多媒体资源与第二多媒体资源的候选关联信息。
需要说明的是,在此将第二多媒体资源与候选多媒体资源之间的相似度称为第一相似度,将第一多媒体资源与候选多媒体资源之间的相似度称为第二相似度。
对于第一多媒体资源的第一资源类别参数,可以先确定该第一多媒体资源对应的目标类别,然后根据属于该目标类别的每个第一多媒体资源的表征信息,获取该目标类别的第一多媒体资源的平均表征信息,获取该第一多媒体资源的表征信息与该平均表征信息的第三相似度,将该第三相似度作为该第一多媒体资源的第一资源类别参数。
通过对第一多媒体资源进行聚类分析,将与第一多媒体资源相似的多个第一多媒体资源看做一个同一个类别,通过对比该第一多媒体资源的表征信息与同属于该类别的第一多媒体资源的平均表征信息,来衡量该第一多媒体资源是否代表这种类别。通过将第一多媒体资源的表征信息与对应类别的平均表征信息进行对比,将该第一多媒体资源能够代表对应类别的可能性量化,通过第一资源类别参数来准确表征出来,为分析该第一多媒体资源的重要性提供了数据基础,进而能够使得对用户账号的核心兴趣分析更加准确。
该第一多媒体资源代表对应类别的可能性可以理解为该第一多媒体资源的注意力分数。在一些实施例中,该注意力分数可以通过注意力网络计算得到,该注意力网络可以为神经网络。该注意力分数可以通过下述公式五计算得到。
Figure RE-GDA0003132905260000151
其中,αi是第一多媒体资源i的注意力分数,也即是指第一多媒体资源i的第一资源类别参数,Wc是变换矩阵,||是连接运算符,⊙表示哈达玛积。ATTEc是注意力网络。
Figure RE-GDA0003132905260000152
是第一多媒体资源i的表征信息,该表征信息可以为嵌入向量。
Figure RE-GDA0003132905260000153
是第一多媒体资源i对应类别(目标类别)的平均表征信息。
Figure RE-GDA0003132905260000154
芝该对应类别(目标类别)的平均表征信息。
在一个具体的可能实施例中,该神经网络可以包括两个全连接层和激活层。该激活层可以采用任一种激活函数。比如,在一个具体示例中,该注意力网络ATTEc是一个以LeakyReLU为激活函数的两层前馈神经网络。
对于该第二多媒体资源与候选多媒体资源之间的第一相似度,通过分析第二多媒体资源与候选多媒体资源之间的第一相似度,能够利用候选多媒体资源,来通过动态方式来将用户账号交互过的该多媒体资源集合来向候选多媒体资源进行靠拢,能够针对性地分析各个第一多媒体资源与候选多媒体资源是否相关,以此能够更准确地分析该候选多媒体资源是否与该用户的核心兴趣有关。
在一些实施例中,该第一相似度可以通过表征信息之间的相似度来衡量。具体地,电子设备可以考虑第二多媒体资源的表征信息
Figure RE-GDA0003132905260000155
与候选多媒体资源的表征信息
Figure RE-GDA0003132905260000156
之间的相关性,也即是第一相似度。如果第二多媒体资源与候选多媒体资源之间的关联度更高,则其在该信息聚合过程中第二多媒体资源对第一多媒体资源的信息传递将更加明显,反之亦然。这也是考虑到与候选多媒体资源相关的第一多媒体资源,能在最终的预测过程中起作用,保留相关信息,而将无关信息丢弃,能够使得预测结果不受无关信息影响而更加准确。
与上述第一多媒体资源的第一资源类别参数可以理解为第一多媒体资源的注意力分数。同理地,该第二多媒体资源与候选多媒体资源之间的第一相似度可以理解为该第二多媒体资源的注意力分数,该注意力分数可以通过注意力网络计算得到,该注意力网络可以为神经网络。该注意力分数可以通过下述公式六计算得到。
Figure RE-GDA0003132905260000157
其中,βj是第二多媒体资源j的注意力分数,Wq是变换矩阵,||是连接运算符,⊙表示哈达玛积。ATTEq是注意力网络。
Figure RE-GDA0003132905260000158
芝第二多媒体资源j的表征信息,该表征信息可以为嵌入向量。
Figure RE-GDA0003132905260000159
是候选多媒体资源的表征信息。
同理地,该注意力网络ATTEq可以包括两个全连接层和激活层。该激活层可以采用任一种激活函数。比如,在一个具体示例中,该注意力网络ATTEq是一个以LeakyReLU为激活函数的两层前馈神经网络。
在确定第一多媒体资源与第二多媒体资源的候选关联信息时,能够综合考虑上述第一多媒体资源的第一资源类别参数和该第二多媒体资源与候选多媒体资源之间的第一相似度两种因素。例如,可以将该第一资源类别参数和第一相似度进行加权。该加权方式可以包括求和或求平均等方式,当然,也可以通过其他方式来综合两种因素,例如相乘方式,本公开实施例对此不作限定。
在一种可能实现方式中,电子设备可以将第一多媒体资源的第一资源类别参数和第一相似度进行求和,得到第一多媒体资源与第二多媒体资源的候选关联信息。其中,第一多媒体资源的第一资源类别参数可以理解为第一多媒体资源的注意力分数。该第二多媒体资源与候选多媒体资源之间的第一相似度可以理解为第二多媒体资源的注意力分数,由于其考虑的是与候选多媒体资源的相关性,该候选多媒体资源可以为待推荐的多媒体资源或待查询的多媒体资源,因而,该第二多媒体资源的注意力分数也可以称之为第二多媒体资源的查询分数。两个分数相加,即可以作为第一多媒体资源i与第二多媒体资源j的候选关联信息。
在一个具体的可能实施例中,一个第一多媒体资源可能对应有多个第二多媒体资源,不同的第二多媒体资源得到的第一相似度可能不同,甚至相差很大。在综合两个因素时,电子设备还可以对一个第一多媒体资源对应的第二多媒体资源进行归一化处理,使得不同第二多媒体资源起到的作用具有比较性。
具体地,可以通过下述公式七,利用softmax函数对第二多媒体资源j的所有选择进行归一化。
Figure RE-GDA0003132905260000161
其中,eij是指第一多媒体资源i与第二多媒体资源j的候选关联信息,可以理解为第一多媒体资源i与第二多媒体资源j之间关系的注意力分数。softmax是归一化函数。在j==i 时获得自环权重,第一多媒体资源i的邻域
Figure RE-GDA0003132905260000162
包括第一多媒体资源i本身,
Figure RE-GDA0003132905260000163
为第一多媒体资源i的邻域,包括该第一多媒体资源i以及与该第一多媒体资源i相似的第二多媒体资源j。在具有自循环传播的条件下,αi控制第一多媒体资源i有多少信息可以接收,而βj控制第二多媒体资源j有多少信息可以发送。
步骤二、电子设备根据该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源的第二资源类别参数,以及该第一多媒体资源与该候选多媒体资源之间的第二相似度,该第二资源类别参数为对该第一资源类别参数更新后的资源类别参数。
电子设备确定出第一多媒体资源与第二多媒体资源的候选关联信息,能够表示从第二多媒体资源向第一多媒体资源的信息传递情况,根据该候选关联信息,还能够对该第一多媒体资源的表征信息进行更新,这样该第一多媒体资源的表征信息即包含有该信息传递情况,使得与候选多媒体资源更相关的第一多媒体资源的表征信息能够更多地进行体现,也能够使得相似第一多媒体资源的表征信息更加相似。
第一多媒体资源的表征信息进行了更新,自然可以再对第一多媒体资源与第二多媒体资源的关联信息进行更新,这样第一多媒体资源与第二多媒体资源的关联信息和第一多媒体资源的表征信息均进行了更新,在此将更新后的表征信息称为目标表征信息。电子设备可以从中确定出能够代表该用户的核心兴趣的第一多媒体资源,在此将能够代表核心兴趣的第一多媒体资源称为第三多媒体资源,并得到该第三多媒体资源的目标表征信息。该过程具体可以参见该步骤二和下述步骤三。
电子设备可以基于该第一多媒体资源与该第二多媒体资源的候选关联信息,对该第一多媒体资源的表征信息进行更新,得到该第一多媒体资源的目标表征信息,然后基于该第一多媒体资源的目标表征信息,对该第一多媒体资源的第一资源类别参数进行更新,得到该第一多媒体资源的第二资源类别参数,然后基于该第一多媒体资源的目标表征信息,确定该第一多媒体资源与该候选多媒体资源之间的第二相似度。
根据候选关联信息,确定第二资源类别参数和第二相似度时,第一多媒体资源与第二多媒体资源的候选关联信息确定了,自然地,基于该候选关联信息,能够对第一多媒体资源的表征信息进行更新,使得第一多媒体资源的表征信息能够更明显地与该候选关联信息相符,得到更加准确的表征信息,第一多媒体资源的表征信息改变了,该第一多媒体资源相关的参数自然也会随之改变。通过确定出的候选关联信息,对第一多媒体资源的相关参数进行更新,进而基于更新后的参数进行后续计算步骤,能够保证后续计算过程能够全面考虑多媒体资源集合的分布以及各个第一多媒体资源之间的关系,得到更加准确的结果。
该第一多媒体资源的表征信息获取过程中,假设该多媒体资源集合为
Figure RE-GDA0003132905260000164
其中,n是多媒体资源集合中第一多媒体资源的数量(即用户账号的历史交互序列的长度),d是每个第一多媒体资源的表征信息的维度。上述第一多媒体资源的表征信息为原始的表征信息。在此将更新后的目标表征信息表示为
Figure RE-GDA0003132905260000165
目标表征信息的维度为d′。其中,目标表征信息的维度与表征信息的维度可以相同,也可以不同。
上述第一多媒体资源与第二多媒体资源的候选关联信息eij可以映射出第一多媒体资源i在其第二多媒体资源j上的重要性,在此可以将归一化后的候选关联信息eij用于计算与第一多媒体资源的表征信息的线性组合,来得到每个第一多媒体资源的最终的表征信息,也即是目标表征信息。
在一个具体地可能实施例中,该第一多媒体资源的目标表征信息可以通过下述公式八计算得到。
Figure RE-GDA0003132905260000171
其中,
Figure RE-GDA0003132905260000172
为第一多媒体资源i的目标表征信息,
Figure RE-GDA0003132905260000173
为第二多媒体资源j的表征信息。aggregate是聚合函数。W为权重向量。σ是非线性函数。
Figure RE-GDA0003132905260000174
是第一多媒体资源i的邻域,也即是该第一多媒体资源i的第二多媒体资源j所组成的集合。
其中,该聚合函数可以是求平均函数、求和函数、求最大值、GRU函数中的任一种,当然,聚合函数也可采用其他函数,本公开实施例对此不作限定。
在一些实施例中,该目标表征信息的获取过程也可以通过多个不同视角来对表征信息进行处理得到。以聚合函数为求和函数,且采用φ个独立视角求得为例进行说明,φ个独立的注意力机制执行上式的变换,然后将其表征信息连接起来,从而产生以下输出嵌入表示:
Figure RE-GDA0003132905260000175
其中,||表示串联,
Figure RE-GDA0003132905260000176
是通过第δ个注意机制计算的归一化注意系数,Wδ是相应的输入线性变换的权重矩阵。在求和方式中,每个第一多媒体资源的输出
Figure RE-GDA0003132905260000177
的维度为φd′。如果是求平均,则维度为d′。
步骤三、电子设备根据该第一多媒体资源的第二资源类别参数、该第二相似度、第一目标数值以及该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源与该第二多媒体资源的关联信息。
上述信息聚合过程中,完成了隐式兴趣信号到显式兴趣信号的融合。这可以理解为池化过程,池化旨在合理地缩小所需处理数据的范围。电子设备可以使用池化方法进一步进行融合后信息的提取。电子设备可以根据每个第一多媒体资源的重要性,来从多媒体资源集合中抽取出代表核心兴趣的第一多媒体资源(也即是第三多媒体资源),通过第三多媒体资源来进行后续的预测过程。
电子设备通过第一多媒体资源之间的联系以及第一多媒体资源与候选多媒体资源之间的第二相似度,进行了信息聚合,使得信息聚合后第一多媒体资源的第二资源类别参数以及与候选多媒体资源之间的第二相似度更准确,能有利于分析哪些第一多媒体资源是与候选多媒体资源相关且比较重要的,进而通过信息聚合,能够使得后续预测更加准确,从而提高推荐的成功率和转化率。
电子设备确定该每个第一多媒体资源为第三多媒体资源的可能性时,该可能性可以根据该第一多媒体资源的重要性来确定,该第一多媒体资源的重要性可以通过该第一多媒体资源的重要性指示信息来表示。
在一些实施例中,电子设备可以根据该第一多媒体资源的第二资源类别参数和该第二相似度,确定该第一多媒体资源的重要性指示信息。然后根据重要性指示信息和目标数值的大小关系来确定第一多媒体资源与第二多媒体资源的关联信息。具体的,电子设备可以响应于该第一多媒体资源的重要性指示信息大于或等于第一目标数值,将该第一多媒体资源与该第二多媒体资源的候选关联信息作为该第一多媒体资源与该第二多媒体资源的关联信息。电子设备可以响应于该第一多媒体资源的重要性指示信息小于第一目标数值,将该第一多媒体资源与该第二多媒体资源的关联信息设置为零。
通过对第一多媒体资源与第二多媒体资源的关联信息进行更新,更新后的数据更能够体现出第一多媒体资源之间的联系,从而基于此,可以分析每个第一多媒体资源是否比较重要,在分析候选多媒体资源是否符合该用户账号的核心兴趣时是否能够起到重要作用,从而基于此再确定出第一多媒体资源与第二多媒体资源的关联信息,将多媒体资源集合中不重要的第一多媒体资源之间的关系滤掉,只保留最重要的关系,以此能够找出更能够体现用户账号核心兴趣的第三多媒体资源,进而保证后续推荐结果的准确性。
在一些实施例中,该第一多媒体资源的重要性指示信息也可以采用注意力机制实现,获取到第一多媒体资源的重要性指示信息后,即可确定出第一多媒体资源与第二多媒体资源的关联信息,来评估该第一多媒体资源为第三多媒体资源的可能性。
在一个具体地可能实施例中,电子设备可以通过下述三个公式来确定该第一多媒体资源为第三多媒体资源的可能性γi,也即是该第一多媒体资源的重要性指示信息。
Figure RE-GDA0003132905260000181
Figure RE-GDA0003132905260000182
Figure RE-GDA0003132905260000183
其中,
Figure RE-GDA0003132905260000184
是第一多媒体资源i的注意力分数,也即是指第一多媒体资源i的第二资源类别参数。
Figure RE-GDA0003132905260000185
是指第一多媒体资源i与候选多媒体资源的第二相似度。γi是该第一多媒体资源i的重要性指示信息。
Figure RE-GDA0003132905260000186
是第一多媒体资源i的目标表征信息。Wc和Wq是权重向量,与上述第一资源类别参数和第一相似度获取过程中的权重向量可以相同,也可以不同。⊙表示哈达玛积。ATTEc和ATTEq是注意力网络。
Figure RE-GDA0003132905260000187
是根据属于第一多媒体资源i对应类别(即是目标类别)的每个第一多媒体资源的目标表征信息计算得到的平均表征信息。
其中,注意力机制中除了输入变成聚合的簇信息外,其参数与兴趣融合层中的参数一致。也即是,该公式十至公式十二与上述公式五至公式八同理,只是上述公式五至公式八中,用于确定第一多媒体资源i与第二多媒体资源j的相关参数,来确定出第一多媒体资源 i与第二多媒体资源j的关联信息。而该公式十至公式十二中用于确定第一多媒体资源i的重要性指示信息,因而,第二多媒体资源j的参数会替换为第一多媒体资源i的参数。
在确定出该第一多媒体资源为第三多媒体资源的可能性γi后,可以根据该可能性对多媒体资源集合进行采样,将目标数量的代表对应类别的第一多媒体资源作为该第三多媒体资源。该代表对应类别的第一多媒体资源即为该类别的聚类中心上的第一多媒体资源。
该确定第三多媒体资源的过程可以理解为池化过程,该目标数量可以为池化长度,也可以为池化长度与多媒体资源集合中第一多媒体资源的数量之间的最小值。
其中,该第一目标数值为该每个第一多媒体资源的重要性指示信息中最第二目标数值大的数值,该第二目标数值为目标长度、该多媒体资源集合中第一多媒体资源的数量中的最小值。通过相对排名策略,从中选出一些具有代表性的、代表用户核心兴趣的第一多媒体资源,而不是全部第一多媒体资源均用来预测,能够减少运算量,且得到的预测结果更加符合用户的核心兴趣。
假设给定的池化长度m<n,选择分值最高的m个聚类并将其包含在池化后的类中。为了确定池化后的类分布,一个类分布矩阵E是必要的。由于兴趣融合层中的注意力得分eij考虑了第一多媒体资源与对应类别之间的隶属关系,因此在假设eij组成的矩阵为类分布矩阵E,然后同时考虑以上两点,将采样后的类分布矩阵记为
Figure RE-GDA00031329052600001812
Figure RE-GDA00031329052600001813
可以通过下述公式十二得到。
Figure RE-GDA0003132905260000188
在提取了重要的兴趣之后,可以将上述公式四确定出的关联指示信息A和采样后的类分布矩阵
Figure RE-GDA0003132905260000189
按下述公式十三进行处理,得到新的关联指示信息
Figure RE-GDA00031329052600001810
以确保每两个聚类之间的连通性强度。
Figure RE-GDA00031329052600001811
该公式十三中,如果原始关联指示信息对应的聚类分布中有任何公共第一多媒体资源或其中任何两个聚类中第一多媒体资源是邻居,则池化后的任何两个聚类c(i)和c(j)都是连通的。因此,聚类之间的连接强度由组成第一多媒体资源通过的隶属关系
Figure RE-GDA0003132905260000191
和边缘权重 A确定。
这样通过上述步骤,获得了代表用户账号更强兴趣信号的紧密粗化分布,该紧密粗化分布中的所有第一多媒体资源均为第三多媒体资源。
步骤S43、电子设备根据该第一多媒体资源与该第二多媒体资源的关联信息,从该多媒体资源集合中,确定出该候选多媒体资源对应的多个第三多媒体资源,该多个第三多媒体资源对应的该关联信息不为零。
该步骤S42和步骤S43为根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从该多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源的过程,其中,该第三多媒体资源与该候选多媒体资源之间的相似度满足第二相似度条件,且该第三多媒体资源的第一资源类别参数满足参数条件。
该第三多媒体资源的确定考虑了三个因素:第一多媒体资源的第一资源类别参数、该第一多媒体资源与候选多媒体资源之间的第二相似度、第二多媒体资源与候选多媒体资源之间的第一相似度。上述仅以通过这三种因素,先确定出第一多媒体资源与第二多媒体资源的关联信息,再基于第一多媒体资源与第二多媒体资源的关联信息来确定出第三多媒体资源为例进行说明,通过三种因素确定出第一多媒体资源与第二多媒体资源的关联信息,能够通过这三种因素,将不重要的第一多媒体资源之间联系滤掉,保留重要的第一多媒体资源之间联系,这样保留了比较重要的第一多媒体资源之间联系,即可准确筛选出第三多媒体资源,以此进行多媒体资源推荐能够得到更加准确的推荐结果。
在一些实施例中,该电子设备也可以不确定上述第一多媒体资源与第二多媒体资源的关联信息,而是直接获取每个第一多媒体资源的重要性指示信息,基于该重要性指示信息与重要性阈值的大小关系,来筛选出第三多媒体资源。当然也可以采用其他方式,本公开实施例对此不作限定。
通过上述方式已将第一多媒体资源之间的关联信息确定下来,代表核心兴趣的第一多媒体资源之间的关联信息为非零数值,其他则为零。电子设备通过关联信息即可将代表核心兴趣的第一多媒体资源(也即是第三多媒体资源)选取出来。
步骤S44、电子设备根据该多个第三多媒体资源,以及该多个第三多媒体资源的交互时间顺序,从该多个候选多媒体资源中,确定出目标多媒体资源。
电子设备获取到代表核心兴趣的第三多媒体资源后,可以将该第三多媒体资源作为预测推荐多媒体资源的依据进行预测步骤,该预测步骤也即是基于第三多媒体资源来确定出目标多媒体资源的步骤。
考虑到用户账号的兴趣随着时间变化可能会发生变化,结合该曾经交互过的第一多媒体资源以及交互时间,能够分析该用户账号随着时间变化的兴趣变化情况。
在外部环境和内部认知的共同影响下,用户账号的核心兴趣可能不断发展。用户账号可能会在一段时间内对各种运动产生兴趣,而在另一时间需要书籍。为了向兴趣的最终表示提供更多相关的历史信息,还可以考虑兴趣之间的时间顺序关系。在曾经交互过的第一多媒体资源被转化为历史交互序列的方式中,该每个第一多媒体资源的交互时间顺序也即是在历史行为序列中的相对位置,第三多媒体资源的交互时间顺序也即是在历史行为序列中的相对位置顺序。将聚类并进行信息融合后的第三多媒体资源展平为一个序列。该序列中的每个元素代表增强后的兴趣信号。
该根据用户账号曾经交互过的第一多媒体资源,按照交互时间顺序来预测该用户账号接下来最有可能会交互的多媒体资源,从而为该用户账号推荐该多媒体资源的过程可以称为顺序推荐过程,该顺序推荐旨在利用用户账号的历史行为序列来预测用户账号的下一次行为,该顺序推荐过程可以应用于任一种推荐场景,例如,新闻推荐、视频推荐或者广告推荐等。与传统的推荐任务以静态方式对用户账号的偏好进行建模不同,顺序推荐过程能够捕获到用户账号在时间变化过程中的动态偏好,也即是,能够获取到用户账号随着时间变化兴趣发生的变化。例如,用户账号可能在一段时间内对各种运动产生兴趣,而在另一时间内喜欢阅读书籍。
具体地,电子设备可以获取该每个候选多媒体资源的交互序列,该交互序列由按照交互时间顺序排列的该多个第三多媒体资源组成。然后电子设备获取该每个候选多媒体资源的交互序列与该每个候选多媒体资源之间的匹配度,将该匹配度最大的候选多媒体资源作为目标多媒体资源。将用户账号与第一多媒体资源进行交互的时间顺序考虑在内,通过交互序列的方式,既能够表示出用户账号的核心兴趣,又能够表示出用户账号的核心兴趣变化,能够快速且准确地确定出候选多媒体资源是否符合该用户账号的核心兴趣以及核心兴趣变化情况,得到准确的推荐结果。
其中,匹配度的获取过程可以通过下述步骤一至步骤三实现。
步骤一、电子设备对于每个候选多媒体资源,根据该多个第三多媒体资源,获取该多个第三多媒体资源对应的第一表征信息,该第一表征信息用于表示由该多个第三多媒体资源组成的集合。
对用户的核心兴趣进行汇总,以得到用户的核心兴趣表达,该核心兴趣表达也即是第一表征信息。通过对集合进行整体的表征,能够得到一个能够表征用户核心兴趣的表达。具体来说,对于上述第三多媒体资源组成的集合,可以通过对第三多媒体资源的表征信息进行加权得到该用户账号的兴趣特征,该兴趣特征可以为集合级别表示
Figure RE-GDA0003132905260000201
也即是第一表征信息,该第一表征信息可以通过下述公式十四得到。
Figure RE-GDA0003132905260000202
其中,权重是每个第一多媒体资源的池化得分(重要性指示信息)γi。Readout为读出函数。Readout函数可以是诸如Mean,Sum,Max等函数。在一个具体示例中,可以使用简单的sum函数来确保置换不变性。当然,其他函数也可保重确保置换不变性,本公开实施例对具体采用哪种函数不作限定。将此集合级别表示提供给最终预测层,以更好地学习每个保留第一多媒体资源的重要性权重。
步骤二、电子设备根据每个第三多媒体资源的重要性指示信息和该交互序列中第三多媒体资源的变化情况,获取第二表征信息,该第二表征信息符合该变化情况。
在此可以使用任何已知的顺序推荐方法对第三多媒体资源组成的交互序列进行建模。假设使用单个顺序推荐模型来建模兴趣的演化,演化方式可以如公式十五,通过m个第三多媒体资源,演化该用户账号的核心兴趣变化情况。
Figure RE-GDA0003132905260000203
其中,
Figure RE-GDA0003132905260000204
为顺序推荐模型对交互序列的演化结果,也即是第二表征信息。
Figure RE-GDA0003132905260000205
为m个第三多媒体资源的目标表征信息。
在一些实施例中,上述第二表征信息可以通过兴趣演化模型实现,电子设备可以将每个第三多媒体资源的重要性指示信息和该交互序列输入兴趣演化模型,输出该第二表征信息,该AUGRU即为兴趣演化模型。
步骤三、电子设备根据该第一表征信息、该第二表征信息和该候选多媒体资源的表征信息,获取该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
在得到核心兴趣表达,也演化出下一个交互的多媒体资源的表征信息是怎么样的,通过上述两种表征信息以及候选多媒体资源的表征信息,能够确定该候选多媒体资源是否符合用户核心兴趣以及符合用户核心兴趣的演化情况。
通过第一表征信息、符合核心兴趣变化情况的第二表征信息以及候选多媒体资源的表征信息,能够全面且准确地分析出该候选多媒体资源是否符合用户的核心兴趣以及核心兴趣变化情况,为多媒体资源推荐提供了数据依据。
将兴趣提取层的集合级别表示和兴趣演化层的演化输出作为用户当前的兴趣,并将它们与候选多媒体资源的表征信息连接在一起。给定级联的密集表示向量(是指第三多媒体资源的表征信息级联在一起得到的数据),可以使用全连接层来自动学习表征信息的组合。使用双层前馈神经网络作为预测函数Pred来估计用户下次与候选多媒体资源交互的可能性,从中确定出可能性最大的多媒体资源作为目标多媒体资源。
在一些实施例中,电子设备可以获取该第一表征信息与该候选多媒体资源的表征信息的哈达玛积,然后将该第一表征信息、该第二表征信息、该候选多媒体资源的表征信息以及该哈达玛积连接,得到第三表征信息,然后对该第三表征信息进行降维处理,得到该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
通过获取哈达玛积,能够完整保留第一表征信息和候选多媒体资源的表征信息,且能够体现出当前核心兴趣的第三多媒体资源与候选多媒体资源之间的联系,进而与第一表征信息、第二表征信息以及候选多媒体资源的表征信息进行拼接得到第三表征信息,这样第三表征信息包括第三多媒体资源的集合、候选多媒体资源、集合与候选多媒体资源之间联系以及用户核心兴趣变化情况,据此进行降维处理,将这些信息综合考虑,得到综合考虑了多个角度的匹配度,该匹配度也就更加准确,以此进行多媒体资源推荐,能够提高推荐结果的准确性。
该降维过程可以通过多种方式实现。在一些实施例中,该降维过程可以通过多媒体资源预测模型实现,电子设备将该第三表征信息输入多媒体资源预测模型中,输出该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
例如,该降维过程可以通过全连接层实现,假设该多媒体资源预测模型可以为两层前馈神经网络,该多媒体资源预测模型的结果可以如图5所示,该两个隐藏层可以采用全连接层实现。其中,该全连接层用于对输入的数据与权重做乘积运算,进而将乘积与偏置求和得到输出。该运算过程与1X1的卷积层进行的卷积运算同理。因而,上述多媒体资源预测模型还可以通过卷积层实现,本公开实施例对此不作限定。
上述确定目标多媒体资源的过程可以通过下述公式十六实现。
Figure RE-GDA0003132905260000211
其中,Pred是指预测函数,该预测函数可以表现为顺序推荐模型,该顺序推荐模型也即是多媒体资源预测模型。
其中,该多媒体资源预测模型的网络输出层可以为softmax层,通过softmax层能够将上述匹配度转化为概率,使得多个候选多媒体资源的结果更具有对比性。该softmax层之前可以为L2层,该L2层用于对前一层的结果进行正则化,得到匹配度。
需要说明的是,上述第三多媒体资源的确定、第二表征信息的确定以及匹配度的获取过程均可以通过网络或模型实现,通过网络或模型的训练过程,能够使得网络或模型具有准确的数据处理能力,进而使用训练好的网络或模型能够快速、准确地对相关数据进行处理,以提高数据处理效率和准确率,进而能够提高推荐效率和准确率。
步骤S45、电子设备向该用户账号推荐该目标多媒体资源。
电子设备确定出目标多媒体资源后,可以向该目标账号发送该目标多媒体资源,以向该目标账号推荐该目标多媒体资源,通过对用户账号交互过的多媒体资源集合进行处理,将用户的核心兴趣提取出来,且该推荐过程参考到了随时间变化核心兴趣的变化,因而,能够使得推荐结果更加符合用户账号需求,能够提高用户账号的交互次数,提高推荐的目标多媒体资源的转化率,提高推荐成功率,推荐效果更好。
该步骤S44和步骤S45为基于该多个第三多媒体资源,向该用户账号进行多媒体资源推荐的过程,该过程考虑到了用户的兴趣随着时间变化可能会发生变化的情况,在预测过程中结合了第三多媒体资源的交互时间顺序,从而确定出的目标多媒体资源也符合用户的兴趣变化情况,也就更加符合用户账号当前的兴趣,推荐结果更加准确。
本公开实施例,通过用户账号曾经交互过的多媒体资源,对用户账号的兴趣进行整合分析,通过多媒体资源根据相似度确定的聚集情况,分析哪些多媒体资源为用户账号的核心兴趣,通过多媒体资源与候选多媒体资源之间的相似度,能够分析出哪些多媒体资源与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。
在一些实施例中,电子设备可以通过将第一多媒体资源转化为图,然后以图的形式来对用户账号的兴趣进行整合分析。具体地,电子设备获取到用户账号曾经交互过的第一多媒体资源之后,可以基于该用户账号曾经交互过的第一多媒体资源,生成第一图,该多媒体资源集合会被映射为图中的节点,后续基于第一图来确定用户账号的兴趣。该生成过程可以理解为将用户账号曾经交互过的第一多媒体资源转化为第一图的过程,也即是图构建过程,该转化过程中将第一多媒体资源转化为第一图中的节点,将第一多媒体资源之间的相似度转化为节点之间的联系,从而以图的形式来分析第一多媒体资源之间的联系,后续针对第一多媒体资源之间的联系确定出图的边,则能够显性且更容易地将用户账号的核心兴趣与边缘兴趣区分出来,显式地对用户账号不同时间的兴趣进行整合分析。
下面通过图6所示实施例对通过转化为图以及对图进行处理的方式来实现多媒体资源推荐的流程进行说明。图6是根据一示例性实施例示出的一种多媒体资源推荐方法的流程图。参见图6,该方法包括:
步骤S61、电子设备获取多个候选多媒体资源和用户账号曾经交互过的多媒体资源集合,该多媒体资源集合包括多个第一多媒体资源。
该步骤S61与上述步骤S61同理,在此不多做赘述。
步骤S62、电子设备基于该多媒体资源集合,生成第一图,该第一图包括用于表示该第一多媒体资源的节点和用于表示两个该第一多媒体资源之间的相似度的边。
在分析时,电子设备基于该用户账号曾经交互过的第一多媒体资源,生成第一图,后续基于第一图来确定用户账号的兴趣。该生成过程可以理解为将用户账号曾经交互过的第一多媒体资源转化为第一图的过程,也即是图构建过程,该转化过程中将第一多媒体资源转化为第一图中的节点,将第一多媒体资源之间的相似度转化为节点之间的联系,从而以图的形式来分析节点之间的联系,能够显式地对用户账号不同时间的兴趣进行整合分析。
该生成第一图的过程为图的构建过程,构建得到的第一图包括节点和边,该第一图可以理解为一个初始的图,后续还会对第一图中节点的表征信息和边进行处理或更新,使得更新后的图能够更明显地表示出该用户账号的核心兴趣。
下面通过下述步骤一至步骤二来对该第一图的节点和边的生成过程进行说明。
步骤一、电子设备基于该用户账号曾经交互过的第一多媒体资源,生成第一图中的节点,每个节点用于表示一个第一多媒体资源。
节点也可以称之为顶点,每个顶点为该用户账号曾经交互过的一个第一多媒体资源。该步骤一中,电子设备可以将该用户账号曾经交互过的第一多媒体资源均转化为节点,得到第一图中的节点。第一图中节点的数量与多媒体资源集合中第一多媒体资源的数量相同。也即是,电子设备获取到用户账号曾经交互过的第一多媒体资源后,将这些第一多媒体资源均用来分析该用户账号的兴趣。
在一些实施例中,对于用户账号曾经交互过的每个第一多媒体资源,电子设备可以对该第一多媒体资源进行嵌入处理,得到该第一多媒体资源的表征信息,将该第一多媒体资源的表征信息作为该第一图中用于表示该第一多媒体资源的节点的表征信息。在一个具体的可能实施例中,该表征信息可以为嵌入向量。
在一个具体的可能实施例中,该第一图可以理解为一个初始的图,该第一图可以为一个无向图。该无向图可以表示为
Figure RE-GDA0003132905260000221
其中,
Figure RE-GDA0003132905260000224
为节点数据或节点集合,也可以称之为顶点数据或顶点集合。
Figure RE-GDA0003132905260000222
中的每个节点(或顶点)记为v,用于表示用户账号曾经交互过的一个第一多媒体资源。
Figure RE-GDA0003132905260000225
Figure RE-GDA0003132905260000226
其中,n是指第一图的节点数量,为正整数。该节点数量与多媒体资源集合中第一多媒体资源相同。||是指取模运算,
Figure RE-GDA0003132905260000227
是对
Figure RE-GDA0003132905260000228
进行取模运算,得到
Figure RE-GDA0003132905260000229
中v的数量。对于每个节点v,可以为每个节点关联一个表征信息,该表征信息记为
Figure RE-GDA0003132905260000223
Rd中的R是指实数,这里是指表征信息中每个维度的元素均为实数。Rd中的d是指表征信息的维度,为正整数。ε和A是边数据。其中,ε是边的集合, A∈Rn×n是邻接矩阵,该邻接矩阵中每个元素Ai,j用于指示从节点vi指向节点vj的边的权值。在无向图中,A是对称矩阵,Ai,j与Aj,i相等。在有向图中,二者可以不同。每个边可以记为(i,j,Ai,j),表示节点i是否与节点j相关。(i,j,Ai,j)∈ε。
在本公开实施例中,初始的第一图中的边的权值为一个初始值,需要在后续的处理过程,来更新得到边的权值,该确定边的权值的过程其实就是确定邻接矩阵A的过程,也是确定边集合的过程。
步骤二、电子设备基于第一图中两个节点之间的相似度,生成该第一图中的边。
第一图中的节点确定后,电子设备可以分析任意两个节点之间是否相似,可以理解地,如果两个节点相似,则该两个节点之间可以具有边,该两个节点则互为邻居节点,第一图中两个节点之间的距离比较近。这样后续通过该第一图中节点的分布情况,凑在一起的节点比较相似,如果凑在一起的节点数量比较大,则这些节点为用户账号的核心兴趣节点的可能性比较大。
需要说明的是,该步骤二中生成第一图中的边的过程与上述图4所示实施例中步骤 S42中确定第二多媒体资源的过程同理,上述第二多媒体资源为该多媒体资源集合中与该第一多媒体资源相似度满足第一相似度条件的多媒体资源。在生成第一图的方式中,也即相应地,会将其映射为节点之间是否有边。对于满足第一相似度条件的第二多媒体资源,可以作为第一图中节点的邻居节点。
在该步骤二中,电子设备可以通过第一图中的节点,能够初始化第一图中的边。可以理解地,如果两个第一多媒体资源比较相似,则用于表示该两个第一多媒体资源的两个节点也比较相似,节点的表征信息应当也比较相似。在一些实施例中,电子设备在分析节点之间的相似度时,可以通过确定两个节点的表征信息之间的相似度,来衡量两个节点之间的相似度。在该步骤二中,电子设备可以通过该两个节点之间的相似度,来生成第一图中的边,这样第一图中的边则能够体现两个第一多媒体资源之间的相似度。
后续还会再对该第一图进行进一步处理,以更多的结合图中各个节点进行信息聚合,以分析出用户账号的核心兴趣。也即是,后续第一图中节点的表征信息会发生更新,图结构也会随着节点的表征信息的更新而不断变化,也即是节点之间的联系会随着表征信息的更新而发生变化。
具体地,该步骤二可以通过下述步骤2.1和步骤2.2实现。
步骤2.1、对于第一图中每两个节点,电子设备获取该两个节点的表征信息之间的相似度。
其中,该相似度的获取过程可以通过多种获取方式实现,该相似度的获取过程可以理解为一种相似度度量过程,则该获取过程可以采用任一种相似度度量函数实现。例如,该相似度的获取过程可以通过余弦相似度、径向基函数(Radial Basis Function,RBF)核和注意力机制中任一种方式实现,当然,也可以通过其他相似度度量函数来获取该节点之间的相似度,例如,杰卡德相似系数、欧氏距离等,本公开实施例对此不作具体限定。
在一个具体的可能实施例中,电子设备可以采用加权余弦相似度作为度量标准函数,来确定上述两个节点之间的相似度,具体可以通过上述公式一实现。相应地,上述公式一中各个参数的定义为:
Figure RE-GDA0003132905260000231
是节点i的表征信息。
Figure RE-GDA0003132905260000232
是节点j的表征信息。Sij是节点i和节点j之间的相似度。i和j为节点标识。
在一些实施例中,该权重向量可以在训练过程中更新得到,也即是在训练时,该权重向量在对基于样本多媒体资源生成的图进行处理的过程中,随着图更新而更新。这样学习得到的权重向量中不同维度的权重值可能不同,也就学习到强调上述表征信息的不同维度的特征。
在一些实施例中,可以通过多个视角来观察第一图,不同视角所观察到的节点之间的相似度可能不同。因而,电子设备可以将相似度度量函数扩展为多个视角版本,从多个视角来获取两个节点之间的相似度,将多个视角的相似度综合作为最终的相似度。具体地,可以设置φ个权重向量,每个权重向量对应一个视角。该φ个权重向量在学习阶段或训练阶段得到,学习后,该φ个权重向量中不同维度的权重值可能不同,这样φ个权重向量能够偏重于不同的维度的特征。也即与上述步骤S42中,从多个视角来观察第一多媒体资源之间的相似度的方式同理。
相应的,该步骤2.1中,电子设备可以基于多个不同的权重向量和该两个节点的表征信息,获取得到多个相似度,然后基于该多个相似度,获取该两个节点之间的相似度。
对于基于该多个相似度来获取该两个节点之间的相似度的过程,电子设备可以通过多种综合方式实现。例如,可以对多个相似度进行加权得到两个节点之间的相似度。其中,将加权的权重设置为1时,该加权过程为求和过程。将加权的权重设置为相同的数值,且该多个相同的数值之和为1时,该加权过程为求平均值的过程。又例如,可以连接多个相似度,得到两个节点之间的相似度。本公开实施例对具体采用哪种方式来综合多个相似度不作限定。
在上述余弦相似度函数的示例中,电子设备可以通过上述公式二和公式三来计算φ个独立的相似度矩阵,每个相似度矩阵为基于每个视角的相似度,并将它们的平均值作为最终相似度。在此仅以对多个相似度取平均值作为最终相似度为例进行了说明,电子设备也可以将该多个视角的相似度连接得到最终相似度,或者对多个视角的相似度进行求和得到最终相似度等,当然,也可以通过其他方式来确定最终相似度,本公开实施例对此不作限定。相应地,上述公式二和公式三中的一些参数定义为:
Figure RE-GDA0003132905260000241
为第δ个视角下两个节点的表征信息
Figure RE-GDA0003132905260000242
Figure RE-GDA0003132905260000243
之间的余弦相似度。
Figure RE-GDA0003132905260000244
是节点i的表征信息。
Figure RE-GDA0003132905260000245
是节点j的表征信息。Sij是节点i和节点j之间的相似度。每个视角能够从嵌入了向量捕获到语义的一部分,且关注的角度不同。从多个视角来对图中节点之间的联系进行度量,能够提高表达能力,得到更加准确的相似度。
步骤2.2、电子设备根据该相似度,确定该两个节点之间的边。
电子设备确定出节点之间的相似度,即可根据该相似度来确定节点之间是否有边以及边的权值。可以理解地,节点之间的相似度高,则该两个节点之间可以具有边。节点之间的相似度低,则该两个节点之间可以没有边。
可以将两个节点之间边的权值设置为非零数值,以此来表示该两个节点之间具有边,也即是邻接矩阵中该两个节点之间边对应的元素取值为非零数值。可以将该两个节点之间边的权值设置为0,来表示两个节点之间没有边,也即是在邻接矩阵中该两个节点之间的边对应的元素取值为零。
需要说明的是,该步骤2.2中确定出两个节点之间的边是第一图中边的初始状态,用于在后续计算时确定节点的邻居节点。在后续计算中,边的初始权值还会再进行更新。
在一些实施例中,可以设置有相似度阈值,通过该相似度阈值对两个节点之间的相似度进行划分,来确定两个节点之间的边的初始权值。为了区分第一图刚开始构建时边的权值与后续计算得到的新的权值,在此将步骤2.2中确定出的边的权值称为初始权值。
具体地,电子设备响应于两个节点之间的相似度大于或等于相似度阈值,将该两个节点之间的边的初始权值置为第一数值,该第一数值为正数。电子设备响应于两个节点之间的相似度小于该相似度阈值,将该两个节点之间的边的权值置为零。
在本公开实施例提供的一种可能实现方式中,可以将第一数值设置为1,在此并不针对节点之间的相似度来区分具有边的节点中哪些节点更接近。这部分内容可以通过后续处理步骤来进一步确定。也即是,电子设备响应于两个节点之间的相似度大于或等于相似度阈值,将该两个节点之间的边的初始权值置为1。电子设备响应于两个节点之间的相似度小于该相似度阈值,将该两个节点之间的边的初始权值置为0。
需要说明的是,上述步骤S42中通过两个第一多媒体资源之间的相似度与相似度阈值的大小关系来确定是否互为第二多媒体资源,在以图的形式实现的方式中,上述第一多媒体资源映射为节点,第二多媒体资源也即映射为节点的邻居节点,上述相似度确定是否互为第二多媒体资源的过程也即映射为确定两个节点之间的边的初始权值是否为零的过程。
上述相似度阈值可以由相关技术人员根据需求进行设置,也可以基于稀疏度来确定,本公开实施例对此不作限定。例如,该相似度阈值可以被设置为0.7。又例如,相关技术人员设置有稀疏度,电子设备可以根据稀疏度和第一图中各个节点之间的相似度,确定相似度阈值。该相似度阈值基于稀疏度来确定的策略可以称为相对排名策略。通过稀疏度,能够将第一图中各个节点之间的相似度中排名在某个名词的数值作为相似度阈值。
在一些实施例中,该电子设备可以获取第一图的节点数量的平方与稀疏度的乘积,将该第一图中各个节点之间的相似度中第该乘积大的相似度作为该相似度阈值。假设第一图的节点数量为n,稀疏度为ε,则该乘积为εn2。第一图中各个节点之间的相似度中第该乘积大的相似度可以记为
Figure RE-GDA0003132905260000251
为相似度S中第εn2大的值。
在一些实施例中,针对该相似度阈值基于稀疏度来确定的方式,通过稀疏度ε来进行图稀疏化。考虑到邻接矩阵元素应为非负值,但根据度量标准计算的余弦相似度Sij的取值范围为[-1,1],因而需要对其进行归一化处理。简单地对其进行归一化不会对第一图的稀疏性施加任何约束,会产生一个完全连接的邻接矩阵。通过设置该稀疏度进行图稀疏化,能够减少计算量,且将一些不重要的边过滤掉,从而促使后续的信息聚合步骤能够聚焦于第一图中最重要的部分。将两个节点称为节点对,上述方式能够考虑最重要连接的节点对,而滤掉不重要的节点对,来从S中提取对称稀疏非负邻接矩阵A。S是指上述Sij组成的矩阵。
在一些实施例中,该相似度阈值基于稀疏度确定的方式可以通过相对排名策略实现。这样能够使得超参数不敏感且不会破坏图的稀疏性分布。具体地,可以通过上述公式四来得到对称稀疏非负邻接矩阵A。该对称稀疏非负邻接矩阵A也即对应上述步骤S42中第一多媒体资源之间的关联指示信息A。相应地,公式四中一些参数的定义可以为:n是节点数,ε为稀疏度,用于控制生成图的整体稀疏性。该公式四中,通过将相似度小于相似度阈值的边的权值设置为零,屏蔽掉了S中小于相似度阈值的那些元素,相似度阈值的选取是通过对S中的度量值(也即是相似度)进行排名而获得的。
该策略不同于整个图的绝对阈值策略和节点邻域的相对排名策略,不会出现因设置一个绝对阈值以移除邻接矩阵中的较小元素可能导致生成图或生成完整的图的情况,该情况出现是因为如果超参数设置不当,随着表征信息的不断更新,度量值的分布也将发生变化,最终无法生成图。该策略也能够使得节点的度不同,从而后续能够进行信息聚合以提取用户账号的核心兴趣。
通过将每个用户账号曾经交互过的第一多媒体资源表示为图,可以更容易地区分其核心兴趣和边缘兴趣。对于图中的节点,如果该节点表示的第一多媒体资源能够代表该用户账号的核心兴趣,则可以将该节点称为核心兴趣节点。如果该节点表示的第一多媒体资源代表用户账号的边缘兴趣,则可以将该节点称为边缘兴趣节点。可以理解地,核心兴趣节点为图中具有更多相似兴趣的节点,该核心兴趣节点通常具有较高的度,并且该核心兴趣节点的相似兴趣具有越高的出现频率,就会导致基于该核心兴趣节点能够组成更大的子图。这样通过图的构建步骤,构筑了一个先验框架,即邻居节点更加相似,也就是指两个节点之间具有边,该两个节点互为邻居节点,则该两个节点之间比较相似。本公开实施例旨在确定出核心兴趣节点形成的密集子图,该密集子图能够体现用户账号的核心兴趣。
在一些实施例中,电子设备可以将该用户账号曾经交互过的第一多媒体资源,按照交互时间顺序,转换为历史交互序列,该历史交互序列中的每个元素为在一个时间点进行的第一多媒体资源。相应地,第一图中每个节点对应该历史交互序列中一个第一多媒体资源。
在该步骤S62中,电子设备基于度量学习,将用户账号曾经交互过的第一多媒体资源转化为第一图,该用户账号曾经交互过的第一多媒体资源可以理解为一维数据,将用户账号曾经交互过的第一多媒体资源按照交互时间顺序排列,可组成一个一维的历史交互序列。一些用户账号曾经交互过的第一多媒体资源可能比较多,另一些用户账号曾经交互过的第一多媒体资源可能比较少,则该历史交互序列可能非常冗长,也可能比较短。因而,多媒体资源集合中第一多媒体资源的数量不同的用户账号,均可以将其曾经交互过的第一多媒体资源转化为第一图,基于第一图对该用户账号的兴趣进行分析。也即是,电子设备可以将该用户账号曾经交互过的第一多媒体资源,按照交互时间顺序,转换为历史交互序列。电子设备基于该历史交互序列,生成第一图中的节点。然后电子设备根据该第一图中两个节点之间的相似度,确定该第一图中的边。
步骤S63、对于该多个候选多媒体资源中每个候选多媒体资源,根据该第一图中每个节点的第一节点参数、该节点以及该节点的邻居节点与该候选多媒体资源之间的相似度,确定第一边的权值,该第一边该邻居节点指向该节点的边,该第一节点参数用于表示该节点为节点簇的质心的可能性。
电子设备生成第一图后,能够再具体根据第一图中每条边的情况,以及候选多媒体资源与第一图中节点之间相似情况,来对第一图进行更新,使得该更新后的第一图能够更明确地指示出图中节点簇的质心位置,也即是用户账号的核心兴趣节点所在位置。该更新过程可以理解为信息聚合过程,用于感知用户账号与候选多媒体资源相关的核心兴趣(即位于节点簇中心的节点)。
每个第一多媒体资源的第一资源类别参数可以为第一图中每个节点的第一节点参数。该第一资源类别参数用于表示该第一多媒体资源能够代表对应类别的可能性。上述同一类别的第一多媒体资源组成的集合也即映射为节点簇,该第一节点参数用于表示该节点为节点簇的质心的可能性。
质心是指质量中心,是物质系统上被认为质量集中于此的一个假想点,一般是指质量分布的平均位置。节点簇的质心是指节点簇中所有节点分布的平均位置。如果一个节点是节点簇的质心,则节点簇中所有节点到该节点的距离之和小于节点簇中所有节点到节点簇中其他任意节点的距离之和。也即是,节点簇中节点到质心的距离之和是最小的。这样如果一个节点为节点簇的中心,则该节点则相较于节点簇中其他节点而言更能够代表该节点簇。放到本公开实施例中节点代表第一多媒体资源的场景中,如果一个节点为节点簇的质心,则该节点所代表的第一多媒体资源更能够代表与该第一多媒体资源相似的这些第一多媒体资源所对应类别,这个第一多媒体资源也就更能够体现用户的核心兴趣。
生成第一图后,第一多媒体资源之间的联系则映射为节点之间的联系。每个第一多媒体资源与候选多媒体资源之间的相似度映射为第一图中每个节点与候选多媒体资源之间的相似度。每个第一多媒体资源的第二多媒体资源映射为第一图中每个节点的邻居节点。第一多媒体资源与第二多媒体资源的关联信息映射为第一边的权值,该第一边为从邻居节点指向该节点的边。
电子设备在对图中每条边进行分析时,可以将连接一条边的两个节点中一个称为源节点,另一个称为目的节点,在这里该边为有向的,该边的方向为从源节点指向目的节点,下述将该边称为第一边。该目的节点为上述节点,该源节点则为该节点的邻居节点。相应地,该步骤S63中,对于该第一图中每条第一边,电子设备根据目的节点的第一节点参数、该源节点以及该目的节点与候选多媒体资源之间的相似度,获取从该源节点指向该目的节点的边的权值。
在本公开实施例中,该第一边的权值的获取过程可以采用注意力机制,来分析哪个节点或者那条边需要更着重注意,从而得到该第一边的权值。该权值可以理解为注意力分数,该注意力分数用于表示该第一边的重要性。
具体的,该步骤S63可以通过下述步骤一至步骤三实现。
步骤一、电子设备根据该第一图中该每个节点的第一节点参数,以及该节点的邻居节点与该候选多媒体资源之间的第一相似度,获取该第一边的候选权值。
具体地,在确定第一边的候选权值时,可以评估该节点为节点簇的质心的可能性,如果该节点为节点簇的质心,则该节点为该用户账号的核心兴趣节点,自然在后续预测过程中比较重要,需要更多的关注该第一边,第一边的候选权值可以比较大。考虑到本公开实施例旨在分析用户账号与候选多媒体资源交互的可能性大小,在分析邻居节点对于该节点是否重要时,可以着重考虑邻居节点是否与候选多媒体资源相关,如果相关,则该邻居节点比较重要,需要将邻居节点的信息更多地传递给该节点,以使得该节点的表征信息与候选多媒体资源更相关一些,反之同理。因而,在确定第一边的候选权值时,可以先确定该节点的第一节点参数和该邻居节点与候选多媒体资源之间的相似度,再综合二者,来获取第一边的候选权值。
对于节点的第一节点参数,可以先确定该节点对应的节点簇,然后根据该节点簇中每个节点的表征信息,获取该节点簇的平均表征信息,获取该节点的表征信息与该平均表征信息的第三相似度,将该第三相似度作为该节点的第一节点参数。
通过将节点周围的多个节点看做一个节点簇,通过对比该节点的表征信息与节点簇的平均表征信息,来衡量该节点是否为该节点簇的质心,该质心是指质量中心。可以理解地,如果该节点簇中各个节点比较相似,当前节点为节点簇的中心,则该节点的表征信息与节点簇的平均表征信息会非常接近。如果二者相差很远,则证明该节点距离节点簇的质心非常远,自然也就不太可能是该节点簇的质心。通过将节点的表征信息与节点簇的平均表征信息进行对比,将该节点为节点簇的质心的可能性量化,通过第一节点参数来准确表征出来,为分析该节点的重要性提供了数据基础,进而能够使得对用户账号的核心兴趣分析更加准确。
在此可以假设节点vi的邻域将形成一个簇,并将图中的节点vi视为簇c(vi)的质心,然后将节点vi的k跳邻域定义为簇的感受野。其中,k为正整数,可以由相关技术人员根据需求进行设置,本公开实施例对此不作限定。簇中的所有节点的表征信息的平均值
Figure RE-GDA0003132905260000271
表示簇的平均表征信息。为了确定节点是否为簇的核心,使用节点表征信息及其对应的簇的平均表征信息来计算该节点为节点簇的质心的可能性,该可能性可以理解为该节点的注意力分数。
在一些实施例中,该注意力分数可以通过注意力网络计算得到,该注意力网络可以为神经网络。该注意力分数可以通过上述公式五计算得到。相应地,上述公式五中一些参数的定义可以为:αi是节点vi的注意力分数,也即是指节点vi的第一节点参数。
Figure RE-GDA0003132905260000272
是节点vi的表征信息,该表征信息可以为嵌入向量。
Figure RE-GDA0003132905260000273
芝节点vi对应的节点簇的平均表征信息。
Figure RE-GDA0003132905260000274
是节点簇的平均表征信息。
在一个具体的可能实施例中,该神经网络可以包括两个全连接层和激活层。该激活层可以采用任一种激活函数。比如,在一个具体示例中,该注意力网络ATTEc是一个以LeakyReLU为激活函数的两层前馈神经网络。
对于该邻居节点与候选多媒体资源之间的相似度,通过分析邻居节点与候选多媒体资源之间的相似度,能够利用候选多媒体资源,来通过动态方式来将第一图中相关信息来向候选多媒体资源进行靠拢,能够针对性地分析各个节点与候选多媒体资源是否相关,以此使得更新后的图能够更准确地确定出该候选多媒体资源是否与该用户的核心兴趣有关。
在一些实施例中,该相似度可以通过表征信息之间的相似度来衡量。具体地,电子设备可以考虑邻居节点的表征信息
Figure RE-GDA0003132905260000275
与候选多媒体资源的表征信息
Figure RE-GDA0003132905260000276
之间的相关性,也即是相似度。如果邻居节点与候选多媒体资源之间的关联度更高,则其在该信息聚合过程中对节点的权重将更加明显,反之亦然。这也是考虑到与候选多媒体资源相关的第一多媒体资源(在此表示为节点),能在最终的预测过程中起作用,保留相关信息,而将无关信息丢弃,能够使得预测结果不受无关信息影响而更加准确。
与上述节点的第一节点参数可以理解为节点的注意力分数同理地,该邻居节点与候选多媒体资源之间的相似度可以理解为该邻居节点的注意力分数,该注意力分数可以通过注意力网络计算得到,该注意力网络可以为神经网络。该注意力分数可以通过上述公式六计算得到。相应地,上述公式六中一些参数的定义可以为:βj是邻居节点vj的注意力分数。
Figure RE-GDA0003132905260000277
是邻居节点vj的表征信息,该表征信息可以为嵌入向量。
同理地,该注意力网络ATTEq可以包括两个全连接层和激活层。该激活层可以采用任一种激活函数。比如,在一个具体示例中,该注意力网络ATTEq是一个以LeakyReLU为激活函数的两层前馈神经网络。
在确定第一边的候选权值时,能够综合考虑上述节点的第一节点参数和该邻居节点与候选多媒体资源之间的相似度两种因素。例如,可以将该第一节点参数和相似度进行加权。该加权方式可以包括求和或求平均等方式,当然,也可以通过其他方式来综合两种因素,例如相乘方式,本公开实施例对此不作限定。
在一种可能实现方式中,电子设备可以将节点的第一节点参数和该邻居节点与候选多媒体资源之间的相似度进行求和,得到邻居节点指向节点的边的候选权值。其中,节点的第一节点参数可以理解为节点的注意力分数,也可以称之为簇分数。该邻居节点与候选多媒体资源之间的相似度可以理解为邻居节点的注意力分数,由于其考虑的是与候选多媒体资源的相关性,该候选多媒体资源可以为待推荐的多媒体资源或待查询的多媒体资源,因而,该邻居节点的注意力分数也可以称之为邻居节点的查询分数。两个分数相加,即可以作为邻居节点j对节点i的边的候选权值。
在一个具体的可能实施例中,一个节点可能与多个节点之间具有边,也即是,一个节点可能对应有多个邻居节点,不同的邻居节点得到的相似度可能不同,甚至相差很大。在综合两个因素时,电子设备还可以对一个节点对应的邻居节点进行归一化处理,使得不同邻居节点的起到的作用具有比较性。
具体地,可以通过上述公式七,利用softmax函数对邻居节点j的所有选择进行归一化。相应地,上述公式七中一些参数的定义可以为:eij是指节点i指向节点j的边的权值,也即是上述第一边的候选权值,可以理解为该第一边的注意力分数。在j==i时获得自环权重,节点i的邻域
Figure RE-GDA0003132905260000281
包括节点i本身,
Figure RE-GDA0003132905260000282
为节点i的邻域,包括该节点i以及与该节点i相连的节点j。在具有自循环传播的条件下,αi控制节点有多少信息可以接收,而βj控制邻居节点有多少信息可以发送。
步骤二、电子设备根据该第一边的候选权值,确定该节点的第二节点参数,以及该节点与该候选多媒体资源之间的第二相似度,该第二节点参数为对该第一节点参数更新后的节点参数。
电子设备确定出第一边的候选权值,该第一边能够表示从邻居节点向节点的信息传递情况,根据该第一边的候选权值,还能够对该节点的表征信息进行更新,这样该节点的表征信息即包含有该信息传递情况,使得与候选多媒体资源更相关的节点的表征信息能够更多地进行体现,也能够使得相似节点的表征信息更加相似。
这样该图中第一边的权值和节点的表征信息均进行了更新,在此将更新后的表征信息称为目标表征信息。电子设备可以从中确定出能够代表该用户的核心兴趣的节点,也即是核心兴趣节点,在此将核心兴趣节点称为目标节点,并得到该目标节点的目标表征信息。
电子设备可以基于该第一边的候选权值,对该节点的表征信息进行更新,得到该节点的目标表征信息,然后基于该节点的目标表征信息,对该节点的第一节点参数进行更新,得到该节点的第二节点参数,基于该节点的目标表征信息,确定该节点与该候选多媒体资源之间的第二相似度。
根据第一边的候选权值,确定节点的第二节点参数和第二相似度时,第一边的候选权值确定了,自然地,基于该候选权值,能够对节点的表征信息进行更新,使得节点的表征信息能够更明显地与该候选权值相符,得到更加准确的表征信息,节点的表征信息改变了,该节点相关的参数自然也会随之改变。通过确定出的候选权值,对节点的相关参数进行更新,进而基于更新后的参数进行后续计算步骤,能够保证后续计算过程能够全面考虑第一图中各个节点分布以及各个节点之间的关系,得到更加准确的结果。
在称第一边所连接的节点为源节点和目的节点时,该过程可以为:对于一个目的节点,电子设备可以根据指向该目的节点的至少一条第一边的权值、该至少一条第一边的源节点的表征信息和该目的节点的表征信息,获取该目的节点的目标表征信息。然后电子设备可以根据每个目的节点的目标表征信息,确定该每个目的节点为目标节点的可能性,然后根据可能性符合条件的目的节点确定为目标节点,将该目的节点的目标表征信息作为该目标节点的目标表征信息。该电子设备通过每个源节点的第一边的候选权值对源节点的表征信息进行了加权,使得不同权值的源节点的信息对目的节点的影响不同。
该节点的表征信息获取过程中,假设该第一图中的节点集合为
Figure RE-GDA0003132905260000283
其中,n是节点数量(即用户账号的历史交互序列的长度), d是每个节点的表征信息的维度。上述节点的表征信息为原始的表征信息。在此将更新后的目标表征信息表示为
Figure RE-GDA0003132905260000284
目标表征信息的维度为d′。其中,目标表征信息的维度与表征信息的维度可以相同,也可以不同。
上述第一边的候选权值eij可以映射出节点vi在其邻居节点vj(源节点)上的重要性,在此可以将归一化后的候选权值eij用于计算与节点的表征信息的线性组合,来得到每个节点的最终的表征信息,也即是目标表征信息。
在一个具体地可能实施例中,该节点的目标表征信息可以通过上述公式八计算得到。相应地,上述公式八中一些参数的定义可以为:
Figure RE-GDA0003132905260000285
为节点的目标表征信息,
Figure RE-GDA0003132905260000286
为节点的表征信息。
Figure RE-GDA0003132905260000287
是节点的邻域,也即是该节点的邻居节点所组成的集合。
在一些实施例中,该目标表征信息的获取过程也可以通过多个不同视角来对表征信息进行处理得到。以聚合函数为求和函数,且采用φ个独立视角求得为例进行说明,φ个独立的注意力机制执行上述的变换,然后将其表征信息连接起来,从而产生以下输出嵌入表示。该目标表征信息也可以通过上述公式九来实现。
步骤三、电子设备根据该节点的第二节点参数、该第二相似度、第一目标数值以及该第一边的候选权值,确定该第一边的权值。
上述信息聚合过程中,完成了隐式兴趣信号到显式兴趣信号的融合。这可以理解为图池化过程,图池化旨在合理地缩小图的尺寸。电子设备可以使用图池化方法进一步在兴趣图(第一图)上进行融合后信息的提取。通过构造的图结构的粗化和坍缩,松散的兴趣被转化为紧密的兴趣。也即是,电子设备可以根据每个节点的重要性,来从多个节点中抽取出核心兴趣节点(也即是目标节点,该目标节点用于表示上述第三多媒体资源),通过核心兴趣节点来进行后续的预测过程。
电子设备通过节点之间的联系以及节点与候选多媒体资源之间的相似度,对图进行了信息聚合,使得信息聚合后节点的节点参数以及与候选多媒体资源之间的相似度更准确,能有利于分析哪些节点是与候选多媒体资源相关且比较重要的,进而通过信息聚合,能够使得后续预测更加准确,从而提高推荐的成功率和转化率。
电子设备确定该每个节点为目标节点的可能性时,该可能性可以根据该节点的重要性来确定,该节点的重要性可以通过该节点的重要性指示信息来表示。
在一些实施例中,电子设备可以根据该节点的第二节点参数和该第二相似度,确定该节点的重要性指示信息。然后根据重要性指示信息和目标数值的大小关系来确定第一边的权值。具体的,电子设备可以响应于该节点的重要性指示信息大于或等于第一目标数值,将该第一边的候选权值作为该第一边的权值。电子设备可以响应于该节点的重要性指示信息小于第一目标数值,将该第一边的权值设置为零。
通过对第一图中节点和第一边的权值进行更新,更新后的第一图中数据更能够体现出节点之间的联系,从而基于此,可以分析每个节点是否比较重要,在分析候选多媒体资源是否符合该用户账号的核心兴趣时是否能够起到重要作用,从而基于此再确定出第一边的权值,将第一图中不重要的第一边滤掉,只保留最重要的第一边,以此能够找出更能够体现用户账号核心兴趣的目标节点,进而保证后续推荐结果的准确性。
在一些实施例中,该节点的重要性指示信息也可以采用注意力机制实现,获取到节点的重要性指示信息后,即可确定出第一边的权值,来评估该节点为目标节点的可能性。
在一个具体地可能实施例中,电子设备可以通过上述公式十、十一和十二来确定该节点为目标节点的可能性γi,也即是该节点的重要性指示信息。相应地,上述三个公式中一些参数的定义可以为:
Figure RE-GDA0003132905260000291
是节点vi的注意力分数,也即是指节点vi的第二节点参数。
Figure RE-GDA0003132905260000292
是指节点vi与候选多媒体资源的第二相似度。γi是该节点vi的重要性指示信息。
Figure RE-GDA0003132905260000293
是节点vi的目标表征信息。Wc和Wq是权重向量,与上述第一节点参数和相似度获取过程中的权重向量可以相同,也可以不同。
Figure RE-GDA0003132905260000294
是根据节点簇中每个节点的目标表征信息计算得到的平均表征信息。
其中,注意力机制中除了输入变成聚合的簇信息外,其参数与兴趣融合层中的参数一致。也即是,该公式十至公式十二与上述公式五至公式八同理,只是上述公式五至公式八中,用于确定节点i与节点j的相关参数,来确定出节点j指向节点i的第一边的权值。而该公式十至公式十二中用于确定节点i的重要性指示信息,因而,节点j的参数会替换为节点i的参数。
在确定出该节点为目标节点的可能性γi后,可以根据该可能性对节点对应的节点簇进行采样,将目标数量的簇的质心上的节点作为该目标节点。
该确定目标节点的过程可以理解为图池化过程,该目标数量可以为池化长度,也可以为池化长度与图中节点数量之间的最小值。
其中,该第一目标数值为该每个节点的重要性指示信息中最第二目标数值大的数值,该第二目标数值为目标长度、该第一图中节点的数量中的最小值。通过相对排名策略,从中选出一些具有代表性的核心兴趣节点,而不是全部节点均用来预测,能够减少运算量,且得到的预测结果更加符合用户的核心兴趣。
假设给定的池化长度m<n,选择分值最高的m个簇并将其包含在池化后的图
Figure RE-GDA0003132905260000301
中。为了获得池化的图,一个簇分配矩阵E是必要的。由于兴趣融合层中的注意力得分eij考虑了节点与簇之间的隶属关系,因此将此矩阵重用作为簇分配矩阵。同时考虑以上两点,采样后的簇分配矩阵
Figure RE-GDA0003132905260000302
可以通过上述公式十二得到。
在提取了重要的兴趣之后,原始的邻接矩阵A和采样后的簇分配矩阵
Figure RE-GDA0003132905260000303
按上述公式十三,为池化的图
Figure RE-GDA0003132905260000304
生成新的邻接矩阵
Figure RE-GDA0003132905260000305
以确保每对簇之间的连通性强度。该公式十三中,如果原始图G中有任何公共节点或其中任何组成节点是邻居,则
Figure RE-GDA0003132905260000306
中的任何两个簇c(i)和c(j)都是连通的。因此,簇之间的连接强度由组成节点通过的隶属关系
Figure RE-GDA0003132905260000307
和边缘权重A确定。
这样通过上述步骤,获得了代表用户账号更强兴趣信号的紧密粗化图,该紧密粗化图中的所有节点均为目标节点,该目标节点也即用于表示第三多媒体资源。该紧密粗化图也即是对应上述第三多媒体资源组成的集合。
步骤S64、电子设备根据该第一图中每条第一边的权值,从该第一图中,确定出该候选多媒体资源对应的多个目标节点,该多个目标节点所连接的该第一边的权值不为零。
该步骤S63和步骤S64为根据该第一图中每个节点的第一节点参数、该节点以及该节点的邻居节点与多个候选多媒体资源之间的相似度,从该第一图中,确定出每个候选多媒体资源对应的多个目标节点的过程,其中,该第一节点参数用于表示该节点为节点簇的质心的可能性,该目标节点所表示的第三多媒体资源与该候选多媒体资源之间的相似度满足相似度条件,且该目标节点的第一节点参数满足参数条件。也即是,目标节点为上述核心兴趣节点。
上述仅以通过第一节点参数和节点与候选多媒体资源之间的相似度这两种因素,先确定出第一边的权值,再基于第一边的权值来确定出目标节点为例进行说明,通过两种因素确定出第一边的权值,能够通过这两种因素,将第一图中不重要的第一边滤掉,保留重要的第一边,这样考虑到重要的第一边所连接的节点比较重要,从而能够准确筛选出目标节点,以此进行多媒体资源推荐能够得到更加准确的推荐结果。
在一些实施例中,该电子设备也可以不确定上述第一边的权值,而是直接获取每个节点的重要性指示信息,基于该重要性指示信息与重要性阈值的大小关系,来筛选出目标节点。当然也可以采用其他方式,本公开实施例对此不作限定。
通过上述方式已将所有边的权值确定下来,核心兴趣节点所连接的边的权值为非零数值,其他边的权值为零。电子设备通过该边的权值即可将核心兴趣节点选取出来。
在一些实施例中,该步骤S63和步骤S64可以通过图卷积网络实现,电子设备将该第一图和多个候选多媒体资源输入图卷积网络中,由该图卷积网络基于每个候选多媒体资源对该第一图进行卷积处理和池化处理,输出每个候选多媒体资源对应的多个目标节点。
步骤S65、电子设备根据该多个目标节点,以及该多个目标节点对应第三多媒体资源的交互时间顺序,从该多个候选多媒体资源中,确定出目标多媒体资源。
电子设备获取到用户账号的核心兴趣节点(目标节点)后,可以将该目标节点作为预测推荐多媒体资源的依据进行预测步骤,该预测步骤也即是基于目标节点来确定出目标多媒体资源的步骤。
考虑到用户账号的兴趣随着时间变化可能会发生变化,结合该曾经交互过的第一多媒体资源与交互时间,能够分析该用户账号随着时间变化的兴趣变化情况。
电子设备可以根据每个目标节点表示的第三多媒体资源的交互时间顺序进行推荐。在曾经交互过的第一多媒体资源被转化为历史交互序列的方式中,该每个节点对应的第一多媒体资源的交互时间顺序也即是在历史行为序列中的相对位置。电子设备可以将池化图中的融合后的兴趣节点展平。展平序列中的每个元素代表增强后的兴趣信号。
具体地,电子设备可以获取该每个候选多媒体资源的交互序列,该交互序列由该多个目标节点组成,该多个目标节点按照对应第三多媒体资源的交互时间顺序排列,获取该每个候选多媒体资源的交互序列与该每个候选多媒体资源之间的匹配度,将该匹配度最大的候选多媒体资源作为目标多媒体资源。将用户账号与第三多媒体资源进行交互的时间顺序考虑在内,通过交互序列的方式,既能够表示出用户账号的核心兴趣,又能够表示出用户账号的核心兴趣变化,能够快速且准确地确定出候选多媒体资源是否符合该用户账号的核心兴趣以及核心兴趣变化情况,得到准确的推荐结果。
其中,匹配度的获取过程可以通过下述步骤实现。
步骤一、电子设备对于每个候选多媒体资源,根据该多个目标节点,获取第二图的第一表征信息,该第二图由该多个目标节点组成。
通过该的第一表征信息,来对用户的核心兴趣进行汇总,以得到用户的核心兴趣表达。具体来说,对于上述目标节点组成的图,可以通过对目标节点的表征信息进行加权得到该用户账号的兴趣特征,该兴趣特征可以为图级别表示
Figure RE-GDA0003132905260000311
也即是第一表征信息,该第一表征信息可以通过上述公式十四得到。该图级别表示
Figure RE-GDA0003132905260000312
也即是指上述步骤S44中的集合级别表示。只是当前将集合用第二图的形式进行了体现。
步骤二、电子设备根据每个目标节点的重要性指示信息和该交互序列中目标节点的变化情况,获取第二表征信息,该第二表征信息符合该变化情况。
在此可以使用任何已知的顺序推荐方法对目标节点组成的节点序列进行建模。假设使用单个顺序推荐模型来建模兴趣的演化,演化方式可以如上述公式十五,通过m个目标节点,演化该用户账号的核心兴趣变化情况。相应地,上述公式十五中一些参数的定义可以为:
Figure RE-GDA0003132905260000313
为顺序推荐模型对节点序列的演化结果,也即是第二表征信息。
在一些实施例中,上述第二表征信息可以通过兴趣演化模型实现,电子设备可以将每个目标节点的重要性指示信息和该交互序列输入兴趣演化模型,输出该第二表征信息,该 AUGRU即为兴趣演化模型。
步骤三、电子设备根据该第一表征信息、该第二表征信息和该候选多媒体资源的表征信息,获取该候选多媒体资源与对应的交互序列的匹配度。
在得到核心兴趣表达,也演化出下一个交互的多媒体资源的表征信息是怎么样的,通过上述两种表征信息以及候选兴趣的表征信息,能够确定该候选多媒体资源是否符合。
通过结合第二图的第一表征信息、符合核心兴趣变化情况的第二表征信息以及候选多媒体资源的表征信息,能够全面且准确地分析出该候选多媒体资源是否符合用户的核心兴趣以及核心兴趣变化情况,为多媒体资源推荐提供了数据依据。
将兴趣提取层的图级表示和兴趣演化层的演化输出作为用户当前的兴趣,并将它们与候选多媒体资源的表征信息连接在一起。给定级联的密集表示向量,可以使用全连接层来自动学习表征信息的组合。使用双层前馈神经网络作为预测函数Pred来估计用户下次与候选多媒体资源交互的可能性,从中确定出可能性最大的多媒体资源作为目标多媒体资源。
在一些实施例中,电子设备可以获取该第一表征信息与该候选多媒体资源的表征信息的哈达玛积,然后将该第一表征信息、该第二表征信息、该候选多媒体资源的表征信息以及该哈达玛积连接,得到第三表征信息,然后对该第三表征信息进行降维处理,得到该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
通过获取哈达玛积,能够完整保留第一表征信息和候选多媒体资源的表征信息,且能够体现出当前核心兴趣节点与候选多媒体资源之间的联系,进而与第一表征信息、第二表征信息以及候选多媒体资源的表征信息进行拼接得到第三表征信息,这样第三表征信息包括图、候选多媒体资源以及图与候选多媒体资源之间联系以及用户核心兴趣变化情况,据此进行降维处理,将这些信息综合考虑,得到综合考虑了多个角度的匹配度,该匹配度也就更加准确,以此进行多媒体资源推荐,能够提高推荐结果的准确性。
该降维过程可以通过多种方式实现。在一些实施例中,该降维过程可以通过多媒体资源预测模型实现,电子设备将该第三表征信息输入多媒体资源预测模型中,输出该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
例如,该降维过程可以通过全连接层实现,假设该多媒体资源预测模型可以为两层前馈神经网络,该多媒体资源预测模型的结果可以如图5所示,该两个隐藏层可以采用全连接层实现。其中,该全连接层用于对输入的数据与权重做乘积运算,进而将乘积与偏置求和得到输出。该运算过程与1X1的卷积层进行的卷积运算同理。因而,上述多媒体资源预测模型还可以通过卷积层实现,本公开实施例对此不作限定。上述确定目标多媒体资源的过程可以通过上述公式十六实现。
需要说明的是,上述目标节点的确定、第二表征信息的确定以及匹配度的获取过程均可以通过网络或模型实现,通过网络或模型的训练过程,能够使得网络或模型具有准确的数据处理能力,进而使用训练好的网络或模型能够快速、准确地对相关数据进行处理,以提高数据处理效率和准确率,进而能够提高推荐效率和准确率。
步骤S66、电子设备向该用户账号推荐该目标多媒体资源。
电子设备确定出目标多媒体资源后,可以向该目标账号发送该目标多媒体资源,以向该目标账号推荐该目标多媒体资源,该目标多媒体资源通过图卷积过程,将用户的核心兴趣提取出来,且该推荐过程参考到了随时间变化核心兴趣的变化,因而,能够使得推荐结果更加符合用户账号需求,能够提高用户账号的交互次数,提高推荐的目标多媒体资源的转化率,提高推荐成功率,推荐效果更好。
该步骤S65和步骤S66为根据该多个目标节点,向该用户账号推荐该多个候选多媒体资源中的目标多媒体资源的过程,该过程考虑到了用户的兴趣随着时间变化可能会发生变化的情况,在预测过程中结合与第三多媒体资源的交互时间顺序,从而确定出的目标多媒体资源也符合用户的兴趣变化情况,也就更加符合用户账号当前的兴趣,推荐结果更加准确。
在一些实施例中,将上述图卷积网络、兴趣演化模型以及多媒体资源预测模型看做一个大模型,可以称之为SURGE(SeqUential Recommendation with Graphconvolutional nEtworks,基于图卷积网络的序列推荐)模型。如图7所示,基于度量学习,将每个交互序列重构为兴趣图(A),并在该兴趣图上动态执行兴趣融合(B)和提取(C)。通过将被融合与提取后的粗化的图进行展开,便得到当前被激活的核心兴趣序列(D),可将其用于进一步的建模兴趣演化以及预测。
其中,基于度量学习,将每个交互序列重构为兴趣图(A)能够通过图6中(a)和 (b)表示。在(a)中,用户交互过的第一多媒体资源表示为交互序列。将其进行重构,得到(b)中的兴趣图。
兴趣融合(B)和提取(C)的流程具体如下:如(c)所示,计算得到节点的簇注意力得分。这里通过填充图案来表示分数,填充的越多表示更高的分数,高分节点表示了用户的核心兴趣。为了简洁起见,仅绘制三个簇。这里仅是一种显示方式,也可以为不同节点赋予颜色,通过颜色深浅来判断簇注意力得分的大小。如(d)所示,计算得到源节点 (邻居节点)的查询注意力得分。填充图案越多,与目标物品(也即是候选多媒体资源) 的相关性越强。如(e)所示,通过注意力传播进行兴趣融合。为了清楚起见,只将高分簇注意力的节点视为目标节点,即源节点的信息聚合节点。箭头线表示聚合时的信息流,其权重是上述两个注意力之和。如(f)所示,通过将被激活的核心兴趣分数作为池化标准,来独立建模与目标物品相关的核心兴趣演化。如(g)所示,通过图池化进行兴趣提取,带有噪声的松散的兴趣被转化为紧凑的兴趣。
然后,如(h)和(i)所示,通过图池化层,将目标节点组成的图(也即是第二图) 按照交互时间顺序排列,铺开得到另一个交互序列,该交互序列中包括用户的核心兴趣及节点(也即是目标节点)。
根据图7所示的SURGE模型,该SURGE模型由四个部分组成。该四个部分为兴趣图构造部分、兴趣融合图卷积层、兴趣提取图池化层和预测层。在此将逐个组件地详细说明该体系结构。
(1)兴趣图构造部分。该部分通过基于度量学习将冗长的物品序列构造为紧密的物品-物品兴趣图,显式地整合并区分长期用户行为中的不同类型的偏好。该兴趣图构造对应上述步骤S62。
(2)兴趣融合图卷积层。该兴趣融合图卷积层在构建的兴趣图上的图卷积传播动态地融合了用户的兴趣,从而强化重要行为并弱化噪声行为。该兴趣融合图卷积层的使用方式对应上述步骤S63。
(3)兴趣提取图池化层。兴趣提取图池化层考虑到用户在不同时刻的不同偏好,进一步的动态图池化操作可以自适应地保留当前激活的偏好。该兴趣提取图池化层的使用方式对应上述步骤S64。
(4)预测层。预测层将池化的图展平为精简的序列后,对增强兴趣信号的演化进行建模并预测用户的下一次交互。该预测层所执行的步骤对应上述步骤S65。
上述图4和图6所示实施例已经对多媒体资源推荐方法的具体流程进行了说明,上述多媒体资源推荐方法可以通过图卷积网络、兴趣演化模型和该多媒体资源预测模型实现,下面通过图8所示实施例,对图卷积网络、兴趣演化模型、该多媒体资源预测模型的训练过程进行说明。
S81、电子设备获取样本用户账号曾经交互过的样本多媒体资源。
该步骤S81与上述步骤S61同理,在此不多做赘述。
S82、电子设备将该任一样本多媒体资源作为目的多媒体资源。
在获取到样本用户账号的第一历史行为数据后,第一历史行为数据中均为该样本用户账号交互过的多媒体资源均为已知的,可以将其进行拆分,将交互时间顺序在前的多媒体资源作为要分析用户兴趣的多媒体资源,将后面的多媒体资源作为要判断是否会交互的多媒体资源,这样得到的第二历史行为数据即为要分析用户兴趣的多媒体资源,目标多媒体资源即为该第二历史行为数据的标签数据,用来标识第二历史行为数据分析得到的下一次要交互的正确的多媒体资源。
S83、电子设备基于交互时间在该目的多媒体资源之前的其它样本多媒体资源,生成样本第一图。
该步骤S83与上述步骤S62同理,在此不多做赘述。
S84、电子设备将该样本第一图和多个候选多媒体资源输入图卷积网络,由该图卷积网络基于该多个候选多媒体资源对该第一图进行卷积处理和池化处理,得到每个候选多媒体资源对应的多个目标节点,该多个候选多媒体资源至少包括该目的多媒体资源。
S85、电子设备基于兴趣演化模型和多媒体资源预测模型,对该每个候选多媒体资源对应的多个目标节点对应的多媒体资源进行处理,输出预测多媒体资源。
该步骤S84和步骤S85与上述步骤S63至步骤S64同理,在此不多做赘述。
S86、电子设备根据该预测多媒体资源与该目的多媒体资源之间的差异,对该图卷积网络、兴趣演化模型、该多媒体资源预测模型进行训练。
上述步骤S86中确定的预测多媒体资源为预测结果,上述步骤S82中的目标多媒体资源为正确结果,通过预测结果和正确结果对比,能够预测结果是否准确,以此来判断上述图卷积网络、兴趣演化模型以及多媒体资源预测模型的性能如何,进而确定是否需要对其参数进行更新,来优化模型。
在对比时可以通过二者的差异来表征预测结果是否准确。该差异可以通过任一种损失函数确定出的损失值来实现。
在一些实施例中,上述顺序推荐过程类似于CTR(点击率)预估过程,可以将负对数似然函数(对数损失)作为损失函数,该差异的获取过程可以通过下述公式十七实现:
Figure RE-GDA0003132905260000331
其中,
Figure RE-GDA0003132905260000332
是训练集,
Figure RE-GDA0003132905260000333
是训练实例(即第二历史行为数据)的数量。Θ表示可训练参数的集合,而λ控制惩罚强度。标签yo=1表示正例,yo=0表示负例。
Figure RE-GDA0003132905260000334
为经softmax层后的网络输出,代表交互下一个多媒体资源的预测概率。L为预测多媒体资源和目标多媒体资源之间的差异,也即是损失值。
如果损失值大于阈值,电子设备可以对上述三个模型的参数进行更新,然后基于更新后的参数进行下一次迭代过程,如果损失值小于阈值,则电子设备可以将当前的三个模型作为最终训练完成的模型。其中,优化过程是将损失函数最小化的过程,能够出现防止过拟合现象。
通过获取样本用户账号的相关数据,将相关数据中用户交互过的多媒体资源按照不同时间点交互过的多媒体资源来建立训练实例,通过真实用户数据来训练模型,能够使得模型对数据进行处理的结果能够贴近真实情况,该模型的推荐结果也就比较准确。另外,基于图卷积网络,将用户账号数据转化为图进行分析,通过图的形式来分析节点之间的联系,能够显式地对用户账号的兴趣进行整合分析,将用户账号的兴趣可视化,后续通过图中节点的第一节点参数,能够基于图中节点的分布情况来分析哪些节点为用户账号的核心兴趣,通过节点与候选多媒体资源之间的相似度,能够分析出哪些节点与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。
下面针对本公开提供的技术方案与相关技术提供的技术方案通过实验进行对比说明。在实验中,分别在公共数据集和行业数据集进行了广泛的实验,以评估本公开的技术方案。实验结果表明,与几种相关技术提供的方法相比,本公开提出的方法具有显着的性能提升。进一步的研究证实,本公开提供的方法可以有效且高效地建模更长的行为序列。在本公开实施例中,将上述多媒体资源称之为物品,下面通过实验设置、各个技术方案的整体性能以及序列长度研究和效率对比来进行说明。
一、实验设置
为了证明提出的SURGE模型(本公开提供的方案)的有效性,将其与相关技术中的顺序推荐器进行了比较。基线分为两类:仅捕获用户静态兴趣的非顺序推荐模型,以及考虑动态兴趣模式的顺序推荐模型。
1)数据集
在公共的电子商务数据集和行业专有的短视频数据集上评估推荐效果。表1总结了这两个数据集的基本统计信息。平均长度表示用户历史记录长度的平均值,表明采用的行业数据集的规模比公共数据集大得多。
表1
数据集 用户 物品 Instances(实例) 平均长度
数据集1 36915 64138 1471155 39.85
数据集2 60813 292286 14952659 245.88
数据集1:该数据集从中国最大的电子商务平台中收集,广泛用于推荐研究。在实验中使用了2017年11月25日至12月3目的点击数据,并过滤少于10次的交互的用户。将前7天用作训练集,将第8天用作验证集,将最后一天用作测试集。
数据集2:这是从最大的短视频平台之一收集的行业专有数据集。用户可以上传短视频并浏览其他用户的短视频。数据集中的数据从2020年10月22日至10月28日对日志进行下采样得到。数据集中记录了用户各种行为(例如点击,喜欢,关注和转发)。将点击数据用于实验,同样采用10核设置来过滤掉无效的样本。前6天的样本用于训练推荐模型。最后一天中午12点之前的样本用作验证集,12点之后的样本则用于评估最终推荐性能。
2)评估指标
为了评估每个模型的性能,使用了两个广泛采用的准确性指标,包括AUC(AreaUnder Curve)和GAUC(Group Area Under Curve),以及两个排名指标MRR(Meanreciprocal rank) 和NDCG(Normalized Discounted cumulative gain,归一化折损累计增益)。其中,AUC 表示用户交互过样本的分数高于未交互过样本的分数的概率,反映了分类模型对样本进行排名的能力。GAUC对每个用户的AUC进行加权平均,其中权重是用户的点击次数。它消除了用户之间的偏差对模型的影响,以更精细的粒度评估了模型的性能。MRR是平均倒数排名,是第一个命中的推荐物品的在序列中排名倒数的平均值。NDCG@K将较高的分数分配给排在前K位的排名列表中较高位置的命中,这强调测试物品应尽可能排名较高。在的实验中,将K设置为2,这是现有工作中广泛使用的设置。
3)基线
为了证明的SURGE模型的有效性,将其与相关技术中的一些顺序推荐器进行了比较。基线分为两类:仅捕获用户静态兴趣的非顺序推荐模型,以及考虑动态兴趣模式的顺序推荐模型。基线也即是指相关技术中的顺序推荐器。下面针对本公开做对比所用到的相关技术中的推荐模型进行简单介绍。
非顺序推荐模型包括DIN。DIN使用注意力机制,并将目标物品作为查询向量。通过将历史交互序列与注意权重进行聚合来获得用户的表示。顺序推荐模型包括DIEN、 Caser、GRU4REC和SLi-Rec,DIEN使用由兴趣提取层和兴趣演化层组成的双层GRU来对用户的行为序列进行建模。Caser将时间和潜在空间上接近的物品序列嵌入到图像特征中,并使用卷积核学习其序列模式。GRU4REC使用GRU对用户会话序列进行建模,并将用户兴趣编码为最终状态。SLi-Rec是长期和短期兴趣联合建模的最先进方法,基于注意力框架和改进的时间感知LSTM。
4)超参设置
本公开提供的SUGER模型可以使用基于TensorFlow的Microsoft Recommenders(微软推荐)框架来实现所有模型。其中,TensorFlow是一个基于数据流编程的符号数学系统。然后在模型训练过程中使用Adam(adaptive moment estimation,自适应力矩估计)算法进行优化,初始学习率为0.001。对于所有模型,批次大小设置为500,表征信息的维度固定为40。然后使用Xavier初始化来初始化参数。所有方法都使用具有隐向量大小为[100,64]的两层前馈神经网络进行交互估计。用户交互序列的最大长度在数据集1上为50,在数据集2上为250。应用网格搜索来找到最佳的超参数。具体来说,在[1e-7,1e-6,1e-5] 中搜索L2正则系数;在[10,20,30,40,50]和[50,100,150,200,250]中分别搜索数据集1和数据集2的用户交互序列的池化长度。
二、整体性能
通过实验,表2说明了在两个数据集上的结果。从结果来看,有以下观察结果:
SURGE模型能够获得最佳性能。可以观察到,无论是分类指标还是和排名指标,模型SURGE都明显优于所有基线。具体来说,SURGE模型在数据集1上将AUC改善了约 0.03(p值<0.001),在数据集2上将近0.04(p值<0.001)。在具有较长交互历史的数据集2上,改进更为明显,这表明的池化方法可以更有效地处理长序列,并显着降低了建模用户兴趣的难度。
相关技术中的顺序推荐模型有效,但存在短期瓶颈。与NCF,DIN和LightGCN相比,Caser,DIEN和GRU4Rec的更好性能验证了捕获顺序模式对于建模用户兴趣的必要性。在数据集1上,具有更强大的捕获顺序模式能力的基于RNN的模型(GRU4Rec和DIEN) 战胜了基于CNN的模型(Caser)。这是因为在计算机视觉中常用的安全有效方案,即 CNN中的最大池化,在对长范围序列数据进行建模时会忽略重要的位置和循环信号。但是在数据集2上,由于RNN在处理更长的序列时往往会遗忘长期的兴趣,因此在某些指标中DIEN和GRU4Rec的性能都被Caser追赶甚至超越。该结果表明,即使强大的递归神经网络也具有短期记忆瓶颈。此外,由于长序列倾向于包含更多噪声,因此相较于 GRU4REC,DIEN在两个数据集上的性能不稳定。这表明,本应更有效的双层GRU(Gated recurrent unit,门控循环单元)结构,在更长序列的数据集上反而更容易被噪声干扰,因此证明了总结序列的动机是合理的。
另外,长期和短期兴趣的联合建模并不总能带来更好的性能。Sli-Rec是长期和短期兴趣的联合模型,就AUC指标而言,它是数据集1上最好的基准,但根据排名指标却表现不佳。此外,在交互序列较长的数据集2上,即使GRU4REC没有显式地区分长期兴趣和短期兴趣,Sli-Rec的性能在所有指标上都比GRU4Rec差。这表明,尽管Sli-Rec利用两个独立的组件对用户的长期和短期兴趣进行建模,但仍然无法有效地将它们集成到单个模型中,特别是对于长序列的处理。此外,Sli-Rec利用时间戳信息来改善建模长期和短期兴趣。然而,通过使用度量学习压缩信息,的方法无需显式建模交互时间,便可以展现出更好的性能。
表2
Figure RE-GDA0003132905260000351
Figure RE-GDA0003132905260000361
三、序列长度研究和效率对比
下面对各个方法的序列长度研究和效率对比,以探究本公开所提出的方法在处理长序列方面是否更有效且高效。首先将用户分组,并在不同的序列长度组下测试不同模型的性能。然后可视化了模型在训练过程中的收敛过程,并比较了不同模型的训练效率。为了清楚起见,绘制了最具竞争力的顺序方法:对于非顺序方法,仅绘制最佳方法DIN(即不包括NCF和LightGCN)。
1)序列长度研究。
用户可能具有很长的交互序列。较长的历史序列通常具有更多可反映用户兴趣的模式,但伴随增加的噪声信号将误导真实兴趣的建模。因此,是否有效地建模用户的长期历史记录是顺序推荐的重要问题。具体来说,在实验中根据交互历史记录的长度将两个数据集的所有用户分为五个组。对于每个组,将本公开提供的方法与基准方法的性能进行比较,并给出两个数据集的GAUC性能指标,如图9所示。
从结果可以看出,当序列长度较短时,所有模型由于数据稀疏性难以捕捉用户的真实兴趣。随着序列长度的增加和建模难度的降低,大多数模型的性能都会提高并达到顶峰。但是随着长度继续增加,几乎所有模型的性能会随着大量噪声信号的引入而下降。其中, DIN和DIEN下降幅度最大。其中,DIN在长序列中很难注意到最关键的部分。最受关注的物品可能出现在序列的早期,而其可能与用户当前的兴趣相去甚远。DIEN中的双层 GRU结构在建模用户兴趣时,下层GRU的输入取决于上层GRU的输出,使其更容易被长序列中充斥的噪声所干扰。GRU4REC由于单个GRU的短期瓶颈,只关注近期历史而无视序列长度,反而其在各个长度组中的表现都相对稳定。Sli-Rec尽管同时考虑了用户的长期和短期兴趣,但由于还是针对充斥着噪声的序列建模,在长序列上也无法避免遭遇性能下滑。
本公开提供的SURGE和其他方法之间的性能差距会随着序列长度的增加而变大。在历史序列最长的用户组中,SURGE仍然在数据集1和数据集2上分别保持0.8919和0.8502的出色性能。原因在于:SURGE模型将隐式信号合并为显式信号并滤除噪声,因此它对于具有更长历史的用户可以实现良好的性能。因而,本公开提出的SURGE模型可以更有效地建模用户的长期历史序列。
2)效率比较。
对于顺序推荐系统,高效地建模用户行为历史记录是一个很大的挑战。用户历史序列中物品的差异性和多样性导致模型收敛缓慢。此外,长历史序列往往对应着更复杂的计算和更耗时的训练。在实验中,将SURGE和基线模型的训练过程可视化,对比了各模型的收敛速度和训练时间。具体来说,绘制了提出的方法与基准方法在训练过程中验证集上的性能变化,并汇报了GAUC指标。使用提前停止来检测训练是否结束,即,如果验证集上的GAUC在五个时期内没有增加,则训练过程将停止。对于两个数据集的性能变化曲线,分别采用0.2和0.6的平滑率对其进行平滑以更好地看到趋势。
两个数据集的训练过程如图10所示。从结果可以看出,DIN在更长的序列上难以集中注意关键兴趣,因此它在数据集2上不断波动,难以收敛。由于GRU4REC遗忘长期现象更加明显,因此每个训练实例中只有最末尾物品的嵌入会得到更新,表现为它的训练曲线是平稳且缓慢,且微乎其微增长的状态使其很难尽早停止。由于SLIREC特别考虑了用户的长期兴趣,因此它在数据集2上收敛很快,但反而在序列较短的数据集1上是收敛最慢的方法。
表3显示了两个数据集上各个模型的训练时长。如表3所示,除了数据集2上DIN 这个非顺序推荐模型外,与所有基线相比,本公开提供的方法的效率提高了20%以上。这是由于SURGE在将嵌入序列馈入到循环神经网络之前,对序列进行了池化操作,大大减少了循环神经网络的循环步长。此外,由于绝大多数噪声已被滤除,池化的序列只包含最核心的兴趣,这无疑有助于加快模型的收敛速度。因此,本公开提出的SURGE模型可以更高效地对用户的长期历史序列进行建模。
表3
Figure RE-GDA0003132905260000371
由于本公开提供的方法与对序列进行池化后的预测层的选择是无关的,可以使用任何已知的顺序推荐方法对池化后的兴趣序列进行建模。下面比较了在池化后的序列上使用不同预测层的影响,包括Attention(DIN),GRU(GRU4Rec),AUGRU(DIEN)和TIME4LSTM(Sli-Rec),结果如图11所示。第一个观察结果是,除DIN以外的顺序推荐模型的性能差异不大,能够利用兴趣提取层中的簇得分的AUGRU稍好一些。第二个观察结果是,在池化后的序列上建模可以为所有现有方法带来增益。这表明的池化策略将大大减少建模用户兴趣的难度并获得更好的性能。
在本次实验中,对两个真实数据集进行了广泛的实验,通过实验结果,证明了本公开提供的SURGE模型优于相关技术中的多媒体资源推荐方法。进一步的研究表明,SURGE 模型可以有效,有效地缓解长序列难以建模的问题。本公开提供的技术方案,通过考虑隐式信号行为和快速变化的偏好,从新的角度处理顺序推荐问题。且该技术方案提出通过在构造的项目-项目兴趣图上设计基于图神经网络的模型,将用户行为中的隐式信号聚合为显式信号。然后,设计了动态池化以过滤并保留激活的偏好用于推荐。另外,实验结果也显示,与相关技术中的顺序推荐方法相比,性能有了显着提高。进一步的研究还证明,本公开提供的方法可以有效且高效地建模长的行为序列。
图12是根据一示例性实施例示出的一种多媒体资源推荐装置框图。参照图12,该装置包括获取单元1201,确定单元1202和推荐单元1203。
获取单元1201,被配置为执行获取用户账号曾经交互过的多媒体资源集合,该多媒体资源集合包括多个第一多媒体资源;
确定单元1202,被配置为执行根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从该多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,该第一资源类别参数用于表示该第一多媒体资源能够代表对应类别的可能性,该第二多媒体资源为该多媒体资源集合中与该第一多媒体资源相似度满足第一相似度条件的多媒体资源,该第三多媒体资源与该候选多媒体资源之间的相似度满足第二相似度条件,且该第三多媒体资源的第一资源类别参数满足参数条件;
推荐单元1203,被配置为执行基于该多个第三多媒体资源,向该用户账号进行多媒体资源推荐。
在一些实施例中,该确定单元1202被配置为执行:
对于该多个候选多媒体资源中每个候选多媒体资源,根据每个第一多媒体资源的第一资源类别参数、该第一多媒体资源和该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的相似度,确定该第一多媒体资源与该第二多媒体资源的关联信息;
根据该第一多媒体资源与该第二多媒体资源的关联信息,从该多媒体资源集合中,确定出该候选多媒体资源对应的多个第三多媒体资源,该多个第三多媒体资源对应的该关联信息不为零。
在一些实施例中,该确定单元1202被配置为执行:
根据该每个第一多媒体资源的第一资源类别参数,以及该第一多媒体资源的第二多媒体资源与该候选多媒体资源之间的第一相似度,获取该第一多媒体资源与该第二多媒体资源的候选关联信息;
根据该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源的第二资源类别参数,以及该第一多媒体资源与该候选多媒体资源之间的第二相似度,该第二资源类别参数为对该第一资源类别参数更新后的资源类别参数;
根据该第一多媒体资源的第二资源类别参数、该第二相似度、第一目标数值以及该第一多媒体资源与该第二多媒体资源的候选关联信息,确定该第一多媒体资源与该第二多媒体资源的关联信息。
在一些实施例中,该确定单元1202被配置为执行:
基于该第一多媒体资源与该第二多媒体资源的候选关联信息,对该第一多媒体资源的表征信息进行更新,得到该第一多媒体资源的目标表征信息;
基于该第一多媒体资源的目标表征信息,对该第一多媒体资源的第一资源类别参数进行更新,得到该第一多媒体资源的第二资源类别参数;
基于该第一多媒体资源的目标表征信息,确定该第一多媒体资源与该候选多媒体资源之间的第二相似度。
在一些实施例中,该确定单元1202被配置为执行:
根据该第一多媒体资源的第二资源类别参数和该第二相似度,确定该第一多媒体资源的重要性指示信息;
响应于该第一多媒体资源的重要性指示信息大于或等于第一目标数值,将该第一多媒体资源与该第二多媒体资源的候选关联信息作为该第一多媒体资源与该第二多媒体资源的关联信息;
响应于该第一多媒体资源的重要性指示信息小于第一目标数值,将该第一多媒体资源与该第二多媒体资源的关联信息设置为零。
在一些实施例中,该第一目标数值为该每个第一多媒体资源的重要性指示信息中最第二目标数值大的数值,该第二目标数值为目标长度、该多媒体资源集合中第一多媒体资源的数量中的最小值。
在一些实施例中,该第一多媒体资源的第一资源类别参数的获取方式包括:
确定该第一多媒体资源对应的目标类别;
根据属于该目标类别的每个第一多媒体资源的表征信息,获取该目标类别的第一多媒体资源的平均表征信息;
获取该第一多媒体资源的表征信息与该平均表征信息的第三相似度,将该第三相似度作为该第一多媒体资源的第一资源类别参数。
在一些实施例中,该推荐单元1203包括确定模块和推荐模块;
该确定模块,被配置为执行基于该多个第三多媒体资源,以及该多个第三多媒体资源的交互时间顺序,从该多个候选多媒体资源中,确定出目标多媒体资源;
该推荐模块,被配置为执行向该用户账号推荐该目标多媒体资源。
在一些实施例中,该确定模块包括获取子模块和确定子模块;
该获取子模块被配置为执行获取该每个候选多媒体资源的交互序列,该交互序列由按照交互时间顺序排列的该多个第三多媒体资源组成;
该获取子模块还被配置为执行获取该每个候选多媒体资源的交互序列与该每个候选多媒体资源之间的匹配度;
该确定子模块被配置为执行将该匹配度最大的候选多媒体资源作为目标多媒体资源。
在一些实施例中,该获取子模块被配置为执行:
对于每个候选多媒体资源,根据该多个第三多媒体资源,获取该多个第三多媒体资源对应的第一表征信息,该第一表征信息用于表示由该多个第三多媒体资源组成的集合;
根据每个第三多媒体资源的重要性指示信息和该交互序列中第三多媒体资源的变化情况,获取第二表征信息,该第二表征信息符合该变化情况;
根据该第一表征信息、该第二表征信息和该候选多媒体资源的表征信息,获取该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
在一些实施例中,该获取子模块被配置为执行:
获取该第一表征信息与该候选多媒体资源的表征信息的哈达玛积;
将该第一表征信息、该第二表征信息、该候选多媒体资源的表征信息以及该哈达玛积连接,得到第三表征信息;
对该第三表征信息进行降维处理,得到该候选多媒体资源的交互序列与该候选多媒体资源之间的匹配度。
本公开实施例提供的装置,通过用户账号曾经交互过的多媒体资源,对用户账号的兴趣进行整合分析,通过多媒体资源根据相似度确定的聚集情况,分析哪些多媒体资源为用户账号的核心兴趣,通过多媒体资源与候选多媒体资源之间的相似度,能够分析出哪些多媒体资源与候选多媒体资源比较相似,结合这两种因素,自然能够从用户账号曾经交互过的多媒体资源中,分析出与候选多媒体资源相似且能够代表用户账号的核心兴趣的多媒体资源,以此来为用户账号来进行多媒体资源推荐,能够使得推荐的目标多媒体资源符合用户账号的核心兴趣,符合用户偏好,提高推荐结果的准确性。
关于上述实施例中的装置,其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种电子设备的结构示意图,该电子设备1300可因配置或性能不同而产生比较大的差异,能够包括一个或一个以上处理器(CentralProcessing Units,CPU)1301和一个或一个以上的存储器1302,其中,该存储器1302中存储有至少一条指令,该至少一条指令由该处理器1301加载并执行以实现上述各个方法实施例提供的多媒体资源推荐方法。该电子设备还能够包括其他用于实现设备功能的部件,例如,该电子设备还能够具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出。本公开实施例在此不做赘述。
上述方法实施例中的电子设备能够实现为终端。例如,图14是根据一示例性实施例示出的一种终端的结构框图。该终端1400可以是便携式移动终端,比如:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1400还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1400包括有:处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1401可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1401还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1401所执行以实现本公开中方法实施例提供的多媒体资源推荐方法。
在一些实施例中,终端1400还可选包括有:外围设备接口1403和至少一个外围设备。处理器1401、存储器1402和外围设备接口1403之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1403相连。具体地,外围设备包括:射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408 和电源1409中的至少一种。
外围设备接口1403可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1401和存储器1402。在一些实施例中,处理器1401、存储器1402和外围设备接口1403被集成在同一芯片或电路板上;在一些其他实施例中,处理器1401、存储器1402和外围设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1404包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1404还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏1405用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时,显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时,显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1405可以为一个,设置在终端1400 的前面板;在另一些实施例中,显示屏1405可以为至少两个,分别设置在终端1400的不同表面或呈折叠设计;在另一些实施例中,显示屏1405可以是柔性显示屏,设置在终端 1400的弯曲表面上或折叠面上。甚至,显示屏1405还可以设置成非矩形的不规则图形,也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display,液晶显示屏)、 OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地,摄像头组件1406包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合, 可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1401进行处理,或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401 或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路 1407还可以包括耳机插孔。
定位组件1408用于定位终端1400的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1408可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1400还包括有一个或多个传感器1410。该一个或多个传感器 1410包括但不限于:加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号,控制显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端1400的机体方向及转动角度,陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在终端1400的侧边框和/或显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时,可以检测用户对终端1400的握持信号,由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在显示屏1405的下层时,由处理器1401根据用户对显示屏1405的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹,由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份,或者,由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1401授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414 可以被设置在终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商Logo 时,指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中,处理器1401可以根据光学传感器1415采集的环境光强度,控制显示屏1405的显示亮度。具体地,当环境光强度较高时,调高显示屏1405的显示亮度;当环境光强度较低时,调低显示屏1405的显示亮度。在另一个实施例中,处理器1401还可以根据光学传感器1415采集的环境光强度,动态调整摄像头组件1406的拍摄参数。
接近传感器1416,也称距离传感器,通常设置在终端1400的前面板。接近传感器1416 用于采集用户与终端1400的正面之间的距离。在一个实施例中,当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时,由处理器1401控制显示屏1405从亮屏状态切换为息屏状态;当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时,由处理器1401控制显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图14中示出的结构并不构成对终端1400的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
上述方法实施例中的电子设备能够实现为服务器。例如,图15是根据一示例性实施例示出的一种服务器的结构示意图,该服务器1500可因配置或性能不同而产生比较大的差异,能够包括一个或一个以上处理器(Central Processing Units,CPU)1501和一个或一个以上的存储器1502,其中,该存储器1502中存储有至少一条指令,该至少一条指令由该处理器1501加载并执行以实现上述各个方法实施例提供的多媒体资源推荐方法。当然,该服务器还能够具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出,该服务器还能够包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括至少一条指令的存储器,上述至少一条指令由可由处理器执行以完成上述实施例中的多媒体资源推荐方法。可选地,计算机可读存储介质可以是只读存储器(Read-Only Memory,简称:ROM)、随机存取存储器(Random Access Memory,简称:RAM)、只读光盘(Compact DiscRead-Only Memory,简称:CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,该计算机程序产品包括一条或多条计算机指令,该一条或多条计算机指令存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条计算机指令,该一个或多个处理器执行该一条或多条计算机指令,使得电子设备能够执行上述多媒体资源推荐方法。
在一些实施例中,本公开实施例所涉及的指令可被部署在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行,分布在多个地点且通过通信网络互连的多个电子设备可以组成区块链系统。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种多媒体资源推荐方法,其特征在于,包括:
获取用户账号曾经交互过的多媒体资源集合,所述多媒体资源集合包括多个第一多媒体资源;
根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,所述第一资源类别参数用于表示所述第一多媒体资源能够代表对应类别的可能性,所述第二多媒体资源为所述多媒体资源集合中与所述第一多媒体资源相似度满足第一相似度条件的多媒体资源,所述第三多媒体资源与所述候选多媒体资源之间的相似度满足第二相似度条件,且所述第三多媒体资源的第一资源类别参数满足参数条件;
基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐。
2.根据权利要求1所述的多媒体资源推荐方法,其特征在于,所述根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,包括:
对于所述多个候选多媒体资源中每个候选多媒体资源,根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的相似度,确定所述第一多媒体资源与所述第二多媒体资源的关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的关联信息,从所述多媒体资源集合中,确定出所述候选多媒体资源对应的多个第三多媒体资源,所述多个第三多媒体资源对应的所述关联信息不为零。
3.根据权利要求2所述的多媒体资源推荐方法,其特征在于,所述根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的相似度,确定所述第一多媒体资源与所述第二多媒体资源的关联信息,包括:
根据所述每个第一多媒体资源的第一资源类别参数,以及所述第一多媒体资源的第二多媒体资源与所述候选多媒体资源之间的第一相似度,获取所述第一多媒体资源与所述第二多媒体资源的候选关联信息;
根据所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源的第二资源类别参数,以及所述第一多媒体资源与所述候选多媒体资源之间的第二相似度,所述第二资源类别参数为对所述第一资源类别参数更新后的资源类别参数;
根据所述第一多媒体资源的第二资源类别参数、所述第二相似度、第一目标数值以及所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源与所述第二多媒体资源的关联信息。
4.根据权利要求3所述的多媒体资源推荐方法,其特征在于,所述根据所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源的第二资源类别参数,以及所述第一多媒体资源与所述候选多媒体资源之间的第二相似度,包括:
基于所述第一多媒体资源与所述第二多媒体资源的候选关联信息,对所述第一多媒体资源的表征信息进行更新,得到所述第一多媒体资源的目标表征信息;
基于所述第一多媒体资源的目标表征信息,对所述第一多媒体资源的第一资源类别参数进行更新,得到所述第一多媒体资源的第二资源类别参数;
基于所述第一多媒体资源的目标表征信息,确定所述第一多媒体资源与所述候选多媒体资源之间的第二相似度。
5.根据权利要求3所述的多媒体资源推荐方法,其特征在于,所述根据所述第一多媒体资源的第二资源类别参数、所述第二相似度、第一目标数值以及所述第一多媒体资源与所述第二多媒体资源的候选关联信息,确定所述第一多媒体资源与所述第二多媒体资源的关联信息,包括:
根据所述第一多媒体资源的第二资源类别参数和所述第二相似度,确定所述第一多媒体资源的重要性指示信息;
响应于所述第一多媒体资源的重要性指示信息大于或等于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的候选关联信息作为所述第一多媒体资源与所述第二多媒体资源的关联信息;
响应于所述第一多媒体资源的重要性指示信息小于第一目标数值,将所述第一多媒体资源与所述第二多媒体资源的关联信息设置为零。
6.根据权利要求1-5任一项所述的多媒体资源推荐方法,其特征在于,所述基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐,包括:
基于所述多个第三多媒体资源,以及所述多个第三多媒体资源的交互时间顺序,从所述多个候选多媒体资源中,确定出目标多媒体资源;
向所述用户账号推荐所述目标多媒体资源。
7.一种多媒体资源推荐装置,其特征在于,包括:
获取单元,被配置为执行获取用户账号曾经交互过的多媒体资源集合,所述多媒体资源集合包括多个第一多媒体资源;
确定单元,被配置为执行根据每个第一多媒体资源的第一资源类别参数、所述第一多媒体资源和所述第一多媒体资源的第二多媒体资源与多个候选多媒体资源之间的相似度,从所述多媒体资源集合中,确定出每个候选多媒体资源对应的第三多媒体资源,所述第一资源类别参数用于表示所述第一多媒体资源能够代表对应类别的可能性,所述第二多媒体资源为所述多媒体资源集合中与所述第一多媒体资源相似度满足第一相似度条件的多媒体资源,所述第三多媒体资源与所述候选多媒体资源之间的相似度满足第二相似度条件,且所述第三多媒体资源的第一资源类别参数满足参数条件;
推荐单元,被配置为执行基于所述多个第三多媒体资源,向所述用户账号进行多媒体资源推荐。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的多媒体资源推荐方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的多媒体资源推荐方法。
10.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1-6任一项所述的多媒体资源推荐方法。
CN202110535282.5A 2021-05-17 2021-05-17 多媒体资源推荐方法、装置、电子设备及存储介质 Pending CN113190757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535282.5A CN113190757A (zh) 2021-05-17 2021-05-17 多媒体资源推荐方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535282.5A CN113190757A (zh) 2021-05-17 2021-05-17 多媒体资源推荐方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113190757A true CN113190757A (zh) 2021-07-30

Family

ID=76982159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535282.5A Pending CN113190757A (zh) 2021-05-17 2021-05-17 多媒体资源推荐方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113190757A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342998A (zh) * 2021-08-05 2021-09-03 北京达佳互联信息技术有限公司 一种多媒体资源推荐方法、装置、电子设备及存储介质
CN113821574A (zh) * 2021-08-31 2021-12-21 北京达佳互联信息技术有限公司 用户行为分类方法和装置及存储介质
CN114301886A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质
CN114491272A (zh) * 2022-02-14 2022-05-13 北京有竹居网络技术有限公司 一种多媒体内容推荐方法及装置
CN114611009A (zh) * 2022-05-10 2022-06-10 北京达佳互联信息技术有限公司 资源推荐方法、装置、电子设备及存储介质
CN115174997A (zh) * 2022-06-29 2022-10-11 Vidaa国际控股(荷兰)公司 显示设备和媒资推荐方法
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116151354A (zh) * 2023-04-10 2023-05-23 之江实验室 网络节点的学习方法、装置、电子装置和存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342998A (zh) * 2021-08-05 2021-09-03 北京达佳互联信息技术有限公司 一种多媒体资源推荐方法、装置、电子设备及存储介质
CN113821574A (zh) * 2021-08-31 2021-12-21 北京达佳互联信息技术有限公司 用户行为分类方法和装置及存储介质
CN114301886A (zh) * 2021-12-17 2022-04-08 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质
CN114301886B (zh) * 2021-12-17 2024-02-23 北京达佳互联信息技术有限公司 一种多媒体资源的识别方法、装置、设备及存储介质
CN114491272B (zh) * 2022-02-14 2023-09-12 北京有竹居网络技术有限公司 一种多媒体内容推荐方法及装置
CN114491272A (zh) * 2022-02-14 2022-05-13 北京有竹居网络技术有限公司 一种多媒体内容推荐方法及装置
CN114611009A (zh) * 2022-05-10 2022-06-10 北京达佳互联信息技术有限公司 资源推荐方法、装置、电子设备及存储介质
CN114611009B (zh) * 2022-05-10 2022-08-26 北京达佳互联信息技术有限公司 资源推荐方法、装置、电子设备及存储介质
CN115174997A (zh) * 2022-06-29 2022-10-11 Vidaa国际控股(荷兰)公司 显示设备和媒资推荐方法
CN115174997B (zh) * 2022-06-29 2023-11-28 Vidaa国际控股(荷兰)公司 显示设备和媒资推荐方法
CN116028727B (zh) * 2023-03-30 2023-08-18 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116028727A (zh) * 2023-03-30 2023-04-28 南京邮电大学 一种基于图像数据处理的视频推荐方法
CN116151354A (zh) * 2023-04-10 2023-05-23 之江实验室 网络节点的学习方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN113190757A (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
TWI754855B (zh) 人臉圖像識別方法、裝置、電子設備及儲存介質
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
US8929600B2 (en) Action recognition based on depth maps
CN109284445B (zh) 网络资源的推荐方法、装置、服务器及存储介质
CN112069414A (zh) 推荐模型训练方法、装置、计算机设备及存储介质
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
CN109784351B (zh) 行为数据分类方法、分类模型训练方法及装置
CN110046301B (zh) 对象推荐方法和装置
WO2021120875A1 (zh) 搜索方法、装置、终端设备及存储介质
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN111611490A (zh) 资源搜索方法、装置、设备及存储介质
CN113205183A (zh) 物品推荐网络训练方法、装置、电子设备及存储介质
CN114154068A (zh) 媒体内容推荐方法、装置、电子设备及存储介质
US11032017B2 (en) System and method for identifying the context of multimedia content elements
CN113505256B (zh) 特征提取网络训练方法、图像处理方法及装置
CN114282587A (zh) 数据处理方法、装置、计算机设备及存储介质
CN114281936A (zh) 分类方法、装置、计算机设备及存储介质
CN112766406A (zh) 物品图像的处理方法、装置、计算机设备及存储介质
CN112163095A (zh) 数据处理方法、装置、设备及存储介质
CN113987326B (zh) 资源推荐方法、装置、计算机设备及介质
CN114996487B (zh) 媒体资源推荐方法、装置、电子设备以及存储介质
CN113409096B (zh) 目标对象识别方法、装置、计算机设备及存储介质
CN113377976B (zh) 资源搜索方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination