CN113704509B - 多媒体推荐方法、装置、电子设备及存储介质 - Google Patents

多媒体推荐方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113704509B
CN113704509B CN202110869326.8A CN202110869326A CN113704509B CN 113704509 B CN113704509 B CN 113704509B CN 202110869326 A CN202110869326 A CN 202110869326A CN 113704509 B CN113704509 B CN 113704509B
Authority
CN
China
Prior art keywords
multimedia
user
feature
sample
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110869326.8A
Other languages
English (en)
Other versions
CN113704509A (zh
Inventor
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110869326.8A priority Critical patent/CN113704509B/zh
Publication of CN113704509A publication Critical patent/CN113704509A/zh
Application granted granted Critical
Publication of CN113704509B publication Critical patent/CN113704509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种多媒体推荐方法、装置、电子设备及存储介质。该方法包括:对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征;将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征;基于所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。根据本公开提供的技术方案,可以提高用户兴趣特征的精准性以提高多媒体推荐的精准度。

Description

多媒体推荐方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域,尤其涉及一种多媒体推荐方法、装置、电子设备及存储介质。
背景技术
随着互联网的应用,推荐业务备受关注,例如在广告、视频等多媒体推荐中,会利用用户信息和多媒体信息进行推荐预测以保证推荐的准确性。相关技术中,可以基于深度学习方法进行推荐处理,其中用户信息会包括用户行为序列,在对用户行为序列进行编码得到中间向量,然后对中间向量进行解码以用于推荐时,该中间向量用于表达用户行为序列的信息不够准确,进而导致推荐的精准度较差。
发明内容
本公开提供一种多媒体推荐方法、装置、电子设备及存储介质,以至少解决相关技术中如何提高推荐精度的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种多媒体推荐方法,包括:
对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征;
将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征;
基于所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述兴趣特征提取网络为乘法自注意力网络,所述将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征步骤包括:
将所述用户行为序列特征和所述多媒体特征输入所述乘法自注意力网络,进行用户兴趣特征提取处理,得到所述用户兴趣特征。
在一种可能的实现方式中,所述方法还包括:
获取所述目标用户的用户属性特征以及所述待推荐多媒体的多媒体属性特征;
所述基于所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体步骤包括:
基于所述用户属性特征、所述多媒体属性特征、所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述基于所述用户属性特征、所述多媒体属性特征、所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体步骤包括:
对所述用户属性特征和所述多媒体属性特征进行拼接处理,得到第一特征;
将所述解码特征、所述用户兴趣特征和所述第一特征进行特征融合处理,获取第二特征;
基于所述第二特征,获取所述待推荐多媒体的推荐预测结果;
根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述基于所述第二特征,获取所述待推荐多媒体的推荐预测结果步骤包括:
将所述第二特征输入推荐预测模型,进行推荐预测处理,得到所述待推荐多媒体的推荐预测结果。
在一种可能的实现方式中,在所述推荐预测结果为推荐预测概率时,所述根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体步骤包括:
基于所述推荐预测概率,对所述待推荐多媒体进行排序,得到排序结果;
根据所述排序结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述方法还包括:
获取样本数据以及对应的目标标签信息,所述样本数据包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;
对所述样本用户行为序列特征和所述样本多媒体特征进行编解码处理,得到样本解码特征;
将所述样本用户行为序列特征和所述样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
基于所述样本解码特征和所述样本用户兴趣特征,获取所述样本多媒体的样本预测结果;
基于所述样本预测结果和所述目标标签信息,对所述预设神经网络进行训练,得到所述兴趣特征提取网络。
根据本公开实施例的第二方面,提供一种多媒体推荐装置,包括:
在一种可能的实现方式中,所述兴趣特征提取网络为乘法自注意力网络,所述用户兴趣特征获取模块包括:
用户兴趣特征获取单元,被配置为执行将所述用户行为序列特征和所述多媒体特征输入所述乘法自注意力网络,进行用户兴趣特征提取处理,得到所述用户兴趣特征。
在一种可能的实现方式中,所述装置还包括:
属性特征获取模块,被配置为执行获取所述目标用户的用户属性特征以及所述待推荐多媒体的多媒体属性特征;
所述推荐模块包括:
推荐单元,被配置为执行基于所述用户属性特征、所述多媒体属性特征、所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述推荐单元包括:
第一特征获取子单元,被配置为执行对所述用户属性特征和所述多媒体属性特征进行拼接处理,得到第一特征;
第二特征获取子单元,被配置为执行将所述解码特征、所述用户兴趣特征和所述第一特征进行特征融合处理,获取第二特征;
推荐预测结果获取子单元,被配置为执行基于所述第二特征,获取所述待推荐多媒体的推荐预测结果;
推荐子单元,被配置为执行根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述推荐预测结果获取子单元包括:
模型预测子单元,被配置为执行将所述第二特征输入推荐预测模型,进行推荐预测处理,得到所述待推荐多媒体的推荐预测结果。
在一种可能的实现方式中,在所述推荐预测结果为推荐预测概率时,所述推荐子单元包括:
排序子单元,被配置为执行基于所述推荐预测概率,对所述待推荐多媒体进行排序,得到排序结果;
目标多媒体确定子单元,被配置为执行根据所述排序结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
在一种可能的实现方式中,所述装置还包括:
样本获取模块,被配置为执行获取样本数据以及对应的目标标签信息,所述样本数据包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;
样本编解码模块,被配置为执行对所述样本用户行为序列特征和所述样本多媒体特征进行边解码处理,得到样本解码特征;
样本用户兴趣特征获取模块,被配置为执行将所述样本用户行为序列特征和所述样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
样本预测结果获取模块,被配置为执行基于所述样本解码特征和所述样本用户兴趣特征,获取所述样本多媒体的样本预测结果;
训练模块,被配置为执行基于所述样本预测结果和所述目标标签信息,对所述预设神经网络进行训练,得到所述兴趣特征提取网络。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时,使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过在编解码的基础上,增加兴趣特征提取网络,可以提取到目标用户最原始的兴趣信息,可以补偿编码过程导致的用户兴趣信息的损失,从而可以提高用户兴趣特征的精准性;在保留编解码结构对序列特征提取能力的基础上,增强了用户兴趣特征提取的准确性,可以提高多媒体推荐的精准度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图。
图2是根据一示例性实施例示出的一种多媒体推荐方法的流程图。
图3是根据一示例性实施例示出的一种序列特征提取模型的示意图。
图4是根据一示例性实施例示出的一种多媒体推荐方法的流程图。
图5是根据一示例性实施例示出的一种基于用户属性特征、多媒体属性特征、解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体的方法流程图。
图6是根据一示例性实施例示出的一种根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体的方法流程图。
图7是根据一示例性实施例示出的一种训练方法的流程图。
图8是根据一示例性实施例示出的一种多媒体推荐装置框图。
图9是根据一示例性实施例示出的一种用于多媒体推荐的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1是根据一示例性实施例示出的一种应用环境的示意图,如图1所示,该应用环境可以包括服务器01和终端02。
在一个可选的实施例中,服务器01可以用于多媒体推荐处理。具体的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中,终端02可以接收并展示目标多媒体。具体的,终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是本公开提供的图像处理方法的一种应用环境。
本说明书实施例中,上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
需要说明的是,以下图中示出的是一种可能的步骤顺序,实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据(包括但不限于用于展示的数据、训练的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
在多媒体推荐业务中,例如广告推荐业务中,可以基于深度学习方法对点击率进行建模,以实现通过点击率预测进行广告的推荐,例如可以推荐点击率高的广告给用户。近年来,业界常用的点击率建模模型主要的优化方向是网络更宽、更深以及特征交叉。随着编解码网络的推广,例如Transformer模型(编解码模型)在自然语言处理领域的广泛推广,出现了一些将Transformer用于广告点击率预估模型的尝试,即利用Transformer对用户行为序列建模的能力提升点击率模型的预估准确性。然而,Transformer作为一个编码/解码结构,其主要功能是将序列输入编码器进行编码处理,得到中间向量,然后将中间向量输入到解码器进行解码。该过程对于一个机器翻译任务是没有问题的,因为其目的是要解码得到对应的目标语言序列。而在广告等推荐场景中,待编码序列是用户行为序列,其中隐含了用户的兴趣,用户行为序列经过编码器得到的中间向量可能会导致用户兴趣信息的损失,使得推荐不够精准。基于此,本公开引入兴趣特征提取网络以增强用户兴趣特征的提取,使得推荐业务可以更加精准,具体可以参见下述介绍。
图2是根据一示例性实施例示出的一种多媒体推荐方法的流程图。如图2所示,可以包括以下步骤。
在步骤S201中,对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征。
本说明书实施例中,可以获取目标用户的用户行为序列特征,例如,在向目标用户推荐多媒体时,可以从目标用户的历史行为序列中获取目标用户的用户行为序列特征。该历史行为序列可以是指目标用户执行过预设行为的多媒体序列。作为一个示例,可以获取目标用户执行过预设行为的多媒体作为多媒体序列,从而可以从历史行为序列中获取用户行为序列特征。
在一个示例中,预设行为可以包括点击、关注、点赞和转发等,本公开对此不作限定。相应地,历史行为序列可以包括点击行为序列、关注行为序列、点赞行为序列、转发行为序列等,本公开对此不作限定。每种行为序列还可以基于不同的多媒体属性划分为不同的用户行为序列特征,多媒体属性可以包括多媒体的内容类型、作者等,本公开对此也不作限定。以点击行为序列为例,若目标用户在距离当前一定时长内点击了5个多媒体:多媒体1、多媒体3、多媒体8、多媒体1、多媒体6。基于此,可以获取该5个多媒体的内容类型作为用户行为序列特征:[搞笑、教育、美食、搞笑、美妆];或者可以获取该5个多媒体的作者作为用户行为序列特征:[作者a、作者b、作者f、作者a、作者c]。本公开对此不作限定。
相应地,还可以获取待推荐多媒体,例如可以从推荐平台中获取待推荐多媒体。并可以提取待推荐多媒体的多媒体特征,该多媒体特征可以是多媒体属性特征中的一种,该多媒体属性特征可以与多媒体属性对应,可以是对应多媒体属性的向量表达方式。在一个示例中,该多媒体特征对应的属性与该用户行为序列特征对应的属性可以相同,这里用户行为序列特征对应的属性可以是指用户行为序列特征中多媒体的属性。例如,用户行为序列特征对应的属性为内容类型,多媒体特征对应的属性可以是内容类型,以保证多媒体特征对应的属性与该用户行为序列特征对应的属性是一致的,这里的属性可以是指多媒体属性。
以一个示例进行说明如下:
用户行为序列特征U=[美食、体育、搞笑];多媒体特征T=[美妆]。
上述用户行为序列可以是点击行为序列,本公开对此不作限定。在一段时间内,目标用户可能点击的视频是[视频1、视频2、视频3],可以获取视频的内容类型,以获取U=[美食、体育、搞笑];可以相应地提取待推荐多媒体的内容类型,以得到多媒体特征,例如多媒体特征T=[美妆]。
可选地,待推荐多媒体可以是多个多媒体1~N,对于每一个多媒体,可以相应地提取每一个多媒体的内容类型,例如多媒体特征T1=[美妆]、T2=[体育]、……TN=[搞笑]。
进一步地,可以对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征。例如,可以将用户行为序列特征输入编码模块,进行编码处理,得到编码特征;并将编码特征和多媒体特征输入解码模块,进行解码处理,得到解码特征。
在一个示例中,如图3所示的序列特征提取模型,这里的编码模块和解码模块可以是Transformer中的编码模块E和解码模块D。从而可以将用户行为序列特征输入编码模块E,进行编码处理,得到编码特征;进一步地,可以将编码特征和多媒体特征输入解码模块D,进行解码处理,得到解码特征。该序列特征提取模型可以是预先训练得到的,本公开对此不作限定。如图3所示,Transformer的编解码过程可以如下:
可以将用户行为序列特征U作为编码模块E的输入K1、V1、Q1,例如将K1=U、V1=U、Q1=U;通过编码模块E对用户行为序列特征U进行编码处理,得到编码特征,该编码特征可以用E-output表示,并可以将E的输出E-output以及T作为解码模块D的输入K2、V2、Q2,例如将K2=E-output、V2=E-output、Q2=T。以通过解码模块D对E-output以及T进行解码处理,得到解码特征。
可选地,可以将U进行位置编码,然后将位置编码后的U作为编码模块E的输入K1、V1、Q1。
在步骤S202中,将用户行为序列特征和多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征。
本说明书实施例中,如图3所示,可以将用户行为序列特征U和多媒体特征T输入兴趣特征提取网络S,即可以将U和T一起作为兴趣特征提取网络S的输入,进行用户兴趣特征提取处理,得到用户兴趣特征。该兴趣特征提取网络S可以是注意力网络以更有效地对序列特征进行提取。例如,可以使兴趣特征提取网络S的输入K3=U、V3=U、Q3=T。
作为一个示例,上述K1、K2、K3可以分别是对应的编码模块、解码模块和注意力网络中键矩阵对应的输入,V1、V2、V3可以分别是对应的编码模块、解码模块和注意力网络中值矩阵对应的输入,Q1、Q2、Q3可以分别是对应的编码模块、解码模块和注意力网络中查询矩阵对应的输入。
在一个示例中,兴趣特征提取网络S可以是乘法自注意力网络Scaled Dot-Product Attention,该步骤S202可以包括:将用户行为序列特征和多媒体特征输入乘法自注意力网络,进行用户兴趣特征提取处理,得到用户兴趣特征。通过乘法自注意力网络提取用户兴趣特征,由于乘法自注意力网络对序列特征的提取比较有效,从而可以提高用户兴趣特征的准确性。
该乘法自注意力网络的处理结果可以如下公式(1)所示:
其中,K可以为U经过乘法自注意力网络对应的键矩阵后得到的结果,V可以为U经过乘法自注意力网络对应的值矩阵后得到的结果,Q可以为T经过乘法自注意力网络对应的查询矩阵后得到的结果,dk可以为K的向量维度。
在步骤S203中,基于解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体。
本说明书实施例中,可以基于解码特征和用户兴趣特征,获取待推荐多媒体的推荐预测结果,并可以根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。进一步地,可以向目标用户推荐目标多媒体。例如,在待推荐多媒体为多个多媒体、推荐预测结果包括推荐和非推荐时。可以从多个多媒体中筛选出推荐预测结果为推荐的多媒体作为目标多媒体,可以将目标多媒体发送至目标用户的终端,以使终端展示目标多媒体。
可选地,在点击率预测中,推荐预测结果可以包括点击率,从而可以基于点击率,将点击率较高的预设数量的待推荐多媒体推荐给目标用户。或者,可以将点击率高于点击阈值认为是推荐,这样可以基于点击率,确定推荐预测结果是推荐或非推荐,从而可以利用上述方式向目标用户推荐目标多媒体。本公开对具体推荐方式不作限定。
通过在编解码的基础上,增加兴趣特征提取网络,可以提取到目标用户最原始的兴趣信息,可以补偿编码过程导致的用户兴趣信息的损失,从而可以提高用户兴趣特征的精准性;在保留编解码结构对序列特征提取能力的基础上,增强了用户兴趣特征提取的准确性,可以提高多媒体推荐的精准度。
图4是根据一示例性实施例示出的一种多媒体推荐方法的流程图。在一种可能的实现方式中,如图4所示,该方法还可以包括以下步骤:
在步骤S401中,获取目标用户的用户属性特征以及待推荐多媒体的多媒体属性特征。
本说明书实施例中,可以获取目标用户的用户属性特征,该用户属性特征可以是除用户行为序列特征之外的特征,例如性别、年龄、偏好信息等。还可以获取待推荐多媒体的多媒体属性特征,该多媒体属性特征可以包括多媒体的主题、封面、作者、内容类型等,本公开对此不作限定。
相应地,上述步骤S203可以包括:
在步骤S402中,基于用户属性特征、多媒体属性特征、解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体。
在一个示例中,可以将用户属性特征、多媒体属性特征、解码特征和用户兴趣特征输入预先训练得到的推荐预测模型中,对待推荐多媒体进行推荐预测处理,得到与目标用户对应的目标多媒体,该目标多媒体可以是待推荐多媒体中的一个或多个多媒体,该一个或多个多媒体的推荐预测结果可以是推荐。
通过结合非序列特征:用户属性特征和多媒体属性特征,可以进一步提高推荐精度以及提升转化率。
需要说明的是,上述用户行为序列特征、多媒体特征、用户属性特征、多媒体属性特征、解码特征和用户兴趣特征可以是向量的形式。相应地,在训练时,样本用户行为序列特征、样本多媒体特征、样本解码特征和样本用户兴趣特征等也可以是向量的形式,本公开对此不作限定。
在一种可能的实现方式中,图5是根据一示例性实施例示出的一种基于用户属性特征、多媒体属性特征、解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体的方法流程图。如图5所示,该步骤S402可以包括以下步骤:
在步骤S501中,对用户属性特征和多媒体属性特征进行拼接处理,得到第一特征;
在步骤S502中,将解码特征、用户兴趣特征和第一特征进行特征融合处理,获取第二特征;
在步骤S503中,基于第二特征,获取待推荐多媒体的推荐预测结果;
在步骤S504中,根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。
本说明书实施例中,可以对用户属性特征和多媒体属性特征进行拼接处理,得到第一特征。并可以将解码特征、用户兴趣特征和第一特征进行特征融合处理,获取第二特征,以及基于第二特征,获取待推荐多媒体的推荐预测结果。例如,可以将第二特征输入推荐预测模型,进行推荐预测处理,得到待推荐多媒体的推荐预测结果。其中,推荐预测模型可以是预先训练好的,本公开对此不作限定。通过推荐预测模型获取推荐预测结果,可以提高预测效率。
进一步地,可以根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体,具体方式可以参见步骤S203,在此不再赘述。
通过对基于序列特征得到的解码特征和用户兴趣特征以及基于非序列特征得到的第一特征进行融合,使得第二特征可以表征更加全面的用户兴趣,进而可以使得推荐预测结果更加准确,提高推荐精准度。
图6是根据一示例性实施例示出的一种根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。在一种可能的实现方式中,在推荐预测结果为推荐预测概率时,如图6所示,上述步骤S504可以包括以下步骤:
在步骤S601中,基于推荐预测概率,对待推荐多媒体进行排序,得到排序结果;
在步骤S602中,根据排序结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。
实际应用中,可以基于推荐预测概率,对待推荐多媒体进行排序,得到排序结果;从而可以根据排序结果,从待推荐多媒体中筛选出目标多媒体,例如在排序越靠前,表征多媒体与目标用户越匹配的情况下,可以从待推荐多媒体中筛选出排序靠前的一个或多个多媒体作为目标多媒体,并可以向目标用户推荐目标多媒体。例如,可以将目标多媒体推送至目标用户的终端,以使终端展示目标多媒体。
通过对待推荐多媒体进行排序,并基于排序结果进行推荐,保证推荐的精准性。
图7是根据一示例性实施例示出的一种训练方法的流程图。如图7所示,在一种可能的实现方式中,该方法还可以包括以下步骤:
在步骤S701中,获取样本数据以及对应的目标标签信息,该样本数据可以包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;其中,样本用户行为序列特征对应的属性与样本多媒体特征对应的属性可以相同;
在步骤S702中,对样本用户行为序列特征和样本多媒体特征进行编解码处理,得到样本解码特征;
在步骤S703中,将样本用户行为序列特征和样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
在步骤S704中,基于样本解码特征和样本用户兴趣特征,获取样本多媒体的样本预测结果。
本说明书实施例中,上述步骤S701~S704的实现方式可以参见上述步骤S201~S203,在此不再赘述。作为一个示例,预设神经网络可以是预设的乘法自注意力网络。目标标签信息可以与样本预测结果对应,例如可以是推荐、不推荐,推荐概率,点击率等。举例来说,一个样本数据以及对应的目标标签信息可以是[样本用户行为序列特征,样本多媒体特征;推荐概率]。
在步骤S705中,基于样本预测结果和目标标签信息,对预设神经网络进行训练,得到上述兴趣特征提取网络。
本说明书实施例中,可以基于样本预测结果和目标标签信息,获取损失信息,从而可以基于损失信息,对预设神经网络进行训练,得到上述兴趣特征提取网络。
可选地,还可以获取样本用户的样本用户属性特征和样本多媒体的样本多媒体属性特征;从而可以将样本解码特征、样本用户兴趣特征、样本用户属性特征和样本多媒体属性特征输入预设推荐预测模型,得到样本预测结果。从而可以基于样本预测结果和目标标签信息,对预设神经网络和预设推荐预测模型进行训练,得到上述兴趣特征提取网络和推荐预测模型。其中,预设推荐预测模型可以是预设的神经网络,本公开对此不作限定。
通过结合样本解码特征和样本用户兴趣特征,对预设神经网络进行训练,得到上述兴趣特征提取网络,使得在应用中,通过兴趣特征提取网络得到的用户兴趣特征可以更加精准。
图8是根据一示例性实施例示出的一种多媒体推荐装置框图。参照图8,该装置可以包括:
编解码模块801,被配置为执行对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征;
用户兴趣特征获取模块802,被配置为执行将用户行为序列特征和多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征;
推荐模块803,被配置为执行基于解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体。
通过在编解码的基础上,增加兴趣特征提取网络,可以提取到目标用户最原始的兴趣信息,可以补偿编码过程导致的用户兴趣信息的损失,从而可以提高用户兴趣特征的精准性;在保留编解码结构对序列特征提取能力的基础上,增强了用户兴趣特征提取的准确性,可以提高多媒体推荐的精准度。
在一种可能的实现方式中,兴趣特征提取网络为乘法自注意力网络,用户兴趣特征获取模块包括:
用户兴趣特征获取单元,被配置为执行将用户行为序列特征和多媒体特征输入乘法自注意力网络,进行用户兴趣特征提取处理,得到用户兴趣特征。
在一种可能的实现方式中,该装置还可以包括:
属性特征获取模块,被配置为执行获取目标用户的用户属性特征以及待推荐多媒体的多媒体属性特征;
上述推荐模块可以包括:
推荐单元,被配置为执行基于用户属性特征、多媒体属性特征、解码特征和用户兴趣特征,在待推荐多媒体中确定与目标用户对应的目标多媒体。
在一种可能的实现方式中,推荐单元可以包括:
第一特征获取子单元,被配置为执行对用户属性特征和多媒体属性特征进行拼接处理,得到第一特征;
第二特征获取子单元,被配置为执行将解码特征、用户兴趣特征和第一特征进行特征融合处理,获取第二特征;
推荐预测结果获取子单元,被配置为执行基于第二特征,获取待推荐多媒体的推荐预测结果;
推荐子单元,被配置为执行根据推荐预测结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。
在一种可能的实现方式中,推荐预测结果获取子单元可以包括:
模型预测子单元,被配置为执行将第二特征输入推荐预测模型,进行推荐预测处理,得到待推荐多媒体的推荐预测结果。
在一种可能的实现方式中,在推荐预测结果为推荐预测概率时,推荐子单元可以包括:
排序子单元,被配置为执行基于推荐预测概率,对待推荐多媒体进行排序,得到排序结果;
目标多媒体确定子单元,被配置为执行根据排序结果,在待推荐多媒体中确定与目标用户对应的目标多媒体。
在一种可能的实现方式中,该装置还可以包括:
样本获取模块,被配置为执行获取样本数据以及对应的目标标签信息,样本数据包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;
样本编解码模块,被配置为执行对样本用户行为序列特征和样本多媒体特征进行边解码处理,得到样本解码特征;
样本用户兴趣特征获取模块,被配置为执行将样本用户行为序列特征和样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
样本预测结果获取模块,被配置为执行基于样本解码特征和样本用户兴趣特征,获取样本多媒体的样本预测结果;
训练模块,被配置为执行基于样本预测结果和目标标签信息,对预设神经网络进行训练,得到兴趣特征提取网络。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于多媒体推荐的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多媒体推荐方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种电子设备,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的多媒体推荐方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的多媒体推荐方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的多媒体推荐方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种多媒体推荐方法,其特征在于,包括:
对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征;
将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征;所述兴趣特征提取网络为注意力网络;
获取所述目标用户的用户属性特征以及所述待推荐多媒体的多媒体属性特征;
对所述用户属性特征和所述多媒体属性特征进行拼接处理,得到第一特征;
将所述解码特征、所述用户兴趣特征和所述第一特征进行特征融合处理,获取第二特征;
基于所述第二特征,获取所述待推荐多媒体的推荐预测结果;
根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
2.根据权利要求1所述的多媒体推荐方法,其特征在于,所述兴趣特征提取网络为乘法自注意力网络,所述将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征步骤包括:
将所述用户行为序列特征和所述多媒体特征输入所述乘法自注意力网络,进行用户兴趣特征提取处理,得到所述用户兴趣特征。
3.根据权利要求1所述的多媒体推荐方法,其特征在于,所述基于所述第二特征,获取所述待推荐多媒体的推荐预测结果步骤包括:
将所述第二特征输入推荐预测模型,进行推荐预测处理,得到所述待推荐多媒体的推荐预测结果。
4.根据权利要求1所述的多媒体推荐方法,其特征在于,在所述推荐预测结果为推荐预测概率时,所述根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体步骤包括:
基于所述推荐预测概率,对所述待推荐多媒体进行排序,得到排序结果;
根据所述排序结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
5.根据权利要求1所述的多媒体推荐方法,其特征在于,所述方法还包括:
获取样本数据以及对应的目标标签信息,所述样本数据包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;
对所述样本用户行为序列特征和所述样本多媒体特征进行编解码处理,得到样本解码特征;
将所述样本用户行为序列特征和所述样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
基于所述样本解码特征和所述样本用户兴趣特征,获取所述样本多媒体的样本预测结果;
基于所述样本预测结果和所述目标标签信息,对所述预设神经网络进行训练,得到所述兴趣特征提取网络。
6.一种多媒体推荐装置,其特征在于,包括:
编解码模块,被配置为执行对获取的目标用户的用户行为序列特征以及待推荐多媒体的多媒体特征进行编解码处理,得到解码特征;
用户兴趣特征获取模块,被配置为执行将所述用户行为序列特征和所述多媒体特征输入兴趣特征提取网络,进行用户兴趣特征提取处理,得到用户兴趣特征;所述兴趣特征提取网络为注意力网络;
推荐模块,被配置为执行基于所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体;
其中,所述装置还包括:
属性特征获取模块,被配置为执行获取所述目标用户的用户属性特征以及所述待推荐多媒体的多媒体属性特征;
所述推荐模块包括:
推荐单元,被配置为执行基于所述用户属性特征、所述多媒体属性特征、所述解码特征和所述用户兴趣特征,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体;
其中,所述推荐单元包括:
第一特征获取子单元,被配置为执行对所述用户属性特征和所述多媒体属性特征进行拼接处理,得到第一特征;
第二特征获取子单元,被配置为执行将所述解码特征、所述用户兴趣特征和所述第一特征进行特征融合处理,获取第二特征;
推荐预测结果获取子单元,被配置为执行基于所述第二特征,获取所述待推荐多媒体的推荐预测结果;
推荐子单元,被配置为执行根据所述推荐预测结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
7.根据权利要求6所述的多媒体推荐装置,其特征在于,所述兴趣特征提取网络为乘法自注意力网络,所述用户兴趣特征获取模块包括:
用户兴趣特征获取单元,被配置为执行将所述用户行为序列特征和所述多媒体特征输入所述乘法自注意力网络,进行用户兴趣特征提取处理,得到所述用户兴趣特征。
8.根据权利要求6所述的多媒体推荐装置,其特征在于,所述推荐预测结果获取子单元包括:
模型预测子单元,被配置为执行将所述第二特征输入推荐预测模型,进行推荐预测处理,得到所述待推荐多媒体的推荐预测结果。
9.根据权利要求6所述的多媒体推荐装置,其特征在于,在所述推荐预测结果为推荐预测概率时,所述推荐子单元包括:
排序子单元,被配置为执行基于所述推荐预测概率,对所述待推荐多媒体进行排序,得到排序结果;
目标多媒体确定子单元,被配置为执行根据所述排序结果,在所述待推荐多媒体中确定与所述目标用户对应的目标多媒体。
10.根据权利要求6所述的多媒体推荐装置,其特征在于,所述装置还包括:
样本获取模块,被配置为执行获取样本数据以及对应的目标标签信息,所述样本数据包括样本用户的样本用户行为序列特征和样本多媒体的样本多媒体特征;
样本编解码模块,被配置为执行对所述样本用户行为序列特征和所述样本多媒体特征进行边解码处理,得到样本解码特征;
样本用户兴趣特征获取模块,被配置为执行将所述样本用户行为序列特征和所述样本多媒体特征输入预设神经网络,进行用户兴趣特征提取处理,得到样本用户兴趣特征;
样本预测结果获取模块,被配置为执行基于所述样本解码特征和所述样本用户兴趣特征,获取所述样本多媒体的样本预测结果;
训练模块,被配置为执行基于所述样本预测结果和所述目标标签信息,对所述预设神经网络进行训练,得到所述兴趣特征提取网络。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的多媒体推荐方法。
12.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至5中任一项所述的多媒体推荐方法。
CN202110869326.8A 2021-07-30 2021-07-30 多媒体推荐方法、装置、电子设备及存储介质 Active CN113704509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110869326.8A CN113704509B (zh) 2021-07-30 2021-07-30 多媒体推荐方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110869326.8A CN113704509B (zh) 2021-07-30 2021-07-30 多媒体推荐方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113704509A CN113704509A (zh) 2021-11-26
CN113704509B true CN113704509B (zh) 2024-01-09

Family

ID=78651215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110869326.8A Active CN113704509B (zh) 2021-07-30 2021-07-30 多媒体推荐方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113704509B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491093B (zh) * 2021-12-22 2023-03-28 北京达佳互联信息技术有限公司 多媒体资源推荐、对象表征网络的生成方法及装置
CN114491272B (zh) * 2022-02-14 2023-09-12 北京有竹居网络技术有限公司 一种多媒体内容推荐方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781396A (zh) * 2019-10-25 2020-02-11 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN110990600A (zh) * 2019-12-04 2020-04-10 腾讯科技(深圳)有限公司 多媒体文件推荐、参数调整方法、装置、介质及电子设备
CN111858969A (zh) * 2019-04-29 2020-10-30 腾讯科技(深圳)有限公司 多媒体数据推荐方法、装置、计算机设备和存储介质
CN112528147A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 内容推荐方法和装置、训练方法、计算设备和存储介质
CN113157951A (zh) * 2021-03-26 2021-07-23 北京达佳互联信息技术有限公司 一种多媒体资源的处理方法、装置、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858969A (zh) * 2019-04-29 2020-10-30 腾讯科技(深圳)有限公司 多媒体数据推荐方法、装置、计算机设备和存储介质
CN110781396A (zh) * 2019-10-25 2020-02-11 上海喜马拉雅科技有限公司 一种信息推荐方法、装置、设备及存储介质
CN110990600A (zh) * 2019-12-04 2020-04-10 腾讯科技(深圳)有限公司 多媒体文件推荐、参数调整方法、装置、介质及电子设备
CN112528147A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 内容推荐方法和装置、训练方法、计算设备和存储介质
CN113157951A (zh) * 2021-03-26 2021-07-23 北京达佳互联信息技术有限公司 一种多媒体资源的处理方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN113704509A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN110929206B (zh) 点击率预估方法、装置、计算机可读存储介质和设备
CN110489582B (zh) 个性化展示图像的生成方法及装置、电子设备
CN110781347A (zh) 一种视频处理方法、装置、设备以及可读存储介质
CN111538912A (zh) 内容推荐方法、装置、设备及可读存储介质
CN110852793A (zh) 文案推荐方法及装置、电子设备
CN110717325B (zh) 文本的情感分析方法、装置、电子设备及存储介质
CN113377971B (zh) 多媒体资源生成方法、装置、电子设备以及存储介质
CN113704509B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN109871736B (zh) 自然语言描述信息的生成方法及装置
CN111460290B (zh) 信息的推荐方法、装置、设备和存储介质
CN111898031A (zh) 一种获得用户画像的方法及装置
CN114461871B (zh) 推荐模型训练方法、对象推荐方法、装置及存储介质
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
TW201814556A (zh) 資訊匹配方法及相關裝置
CN113704511B (zh) 多媒体资源的推荐方法、装置、电子设备及存储介质
CN111651666A (zh) 用户主题推荐方法、装置、计算机设备及存储介质
CN113420203B (zh) 对象推荐方法、装置、电子设备及存储介质
CN115640449A (zh) 媒体对象推荐方法、装置、计算机设备和存储介质
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN114491093B (zh) 多媒体资源推荐、对象表征网络的生成方法及装置
CN115756821A (zh) 在线任务处理模型训练、任务处理方法及装置
CN113821677A (zh) 一种生成封面图像的方法、装置、设备及存储介质
CN110442767A (zh) 一种确定内容互动平台标签的方法、装置及可读存储介质
CN113672820B (zh) 特征提取网络的训练方法、信息推荐方法、装置及设备
CN113420180A (zh) 视频推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant