CN115203543A - 内容推荐方法、内容推荐模型的训练方法及装置 - Google Patents
内容推荐方法、内容推荐模型的训练方法及装置 Download PDFInfo
- Publication number
- CN115203543A CN115203543A CN202210778190.4A CN202210778190A CN115203543A CN 115203543 A CN115203543 A CN 115203543A CN 202210778190 A CN202210778190 A CN 202210778190A CN 115203543 A CN115203543 A CN 115203543A
- Authority
- CN
- China
- Prior art keywords
- content
- scene
- features
- sequence
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种内容推荐方法、内容推荐模型的训练方法及装置,所述方法包括:获取待推荐对象在目标场景下的历史交互内容序列和候选内容;通过内容推荐模型分别对历史交互内容序列和候选内容进行特征提取,得到历史交互内容和候选内容的场景特征和全局特征;对历史交互内容的场景特征和全局特征分别进行编码,得到历史交互内容序列的场景序列特征和全局序列特征;对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的群体特征;根据群体特征、场景序列特征、全局序列特征及候选内容的场景特征和全局特征得到推荐指标信息;基于推荐指标信息,从候选内容中确定出针对待推荐对象的目标推荐内容。该方法可提高跨场景的推荐内容的质量。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种内容推荐方法、内容推荐模型的训练方法、装置、电子设备、存储介质及程序产品。
背景技术
随着新媒体技术的发展,如何通过终端向用户提供更高质量的信息和服务的研究成为当前计算机领域的研究热点。目前,大多数的新媒体应用程序都设置有多种为用户提供推荐内容的场景/频道,来满足用户的不同兴趣,例如,在短视频平台上,可能有同城内容推荐场景、关注内容推荐场景、精选内容推荐场景和直播内容推荐场景等,同一用户在不同场景下的样本交互数据量可能不同,因此,为了提高推荐内容的质量,则需要通过跨场景进行内容推荐。
目前的跨场景进行内容推荐的方法多是基于双向学习机制实现,即以迭代的方式在两个相关场景之间同时传输信息,直至学习过程稳定。然而,这种方法需要一个用户同时与两个场景存在交互,即需要来自两个场景的成对内容作为输入,但实际上要求两个场景中的内容序列对作为成对输入是不合理的,因为两个场景中的内容序列尽管属于同一用户,但往往彼此独立。因此,这种通过混合两个场景的内容序列的双向学习机制,从理论上讲,在非重叠用户场景下难以产生较好的性能。
发明内容
本公开提供一种内容推荐方法、内容推荐模型的训练方法、装置、电子设备、存储介质及程序产品,以至少解决相关技术中的跨场景的内容推荐方法在非重叠用户场景下难以产生较好的性能的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种内容推荐方法,包括:
获取待推荐对象在目标场景下的历史交互内容序列和候选内容;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;
通过内容推荐模型中的全局特征层和场景特征层分别对所述历史交互内容序列和所述候选内容进行特征提取,得到历史交互内容和所述候选内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述待推荐对象与所述候选内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述待推荐对象与所述候选内容进行交互的特征;
通过所述内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史交互内容的场景特征和全局特征分别进行编码,得到所述历史交互内容序列的场景序列特征和全局序列特征;
通过所述内容推荐模型中的群体原型注意力层,对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征;
通过所述内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息;
基于所述推荐指标信息,从所述候选内容中确定出针对所述待推荐对象的目标推荐内容。
在一示例性实施例中,所述对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征,包括:
获取预先确定的多个群体原型的原型特征;
将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;
基于所述群体相似度和各个群体原型的原型特征,得到所述待推荐对象的群体特征。
在一示例性实施例中,所述基于所述群体相似度和各个群体原型的原型特征,得到所述待推荐对象的群体特征,包括:
通过所述群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征;
对各个群体原型的加权特征进行平均处理,得到所述待推荐对象的群体特征。
在一示例性实施例中,所述信息确定单元包括第一信息确定单元和第二信息确定单元;所述对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息,包括:
通过所述第一信息确定单元,对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息;
通过所述第二信息确定单元,对所述全局序列特征和所述候选内容的全局特征进行处理,得到所述候选内容的全局推荐指标信息;
根据所述场景推荐指标信息和所述全局推荐指标信息,得到所述候选内容在所述目标场景下的推荐指标信息。
在一示例性实施例中,在对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息之前,还包括:
通过所述内容推荐模型中的内容相似性注意力增强特征层,以及基于所述候选内容的全局特征和场景特征,对所述历史交互内容的场景特征和全局特征进行增强处理,得到所述历史交互内容的增强特征;
所述对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息,包括:
对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述历史交互内容的增强特征进行处理,得到所述场景推荐指标信息。
在一示例性实施例中,所述基于所述候选内容的全局特征和场景特征,对所述历史交互内容的场景特征和全局特征进行增强处理,得到所述历史交互内容的增强特征,包括:
对所述候选内容的全局特征和场景特征进行融合处理,得到所述候选内容的融合特征,以及,对所述历史交互内容的场景特征和全局特征进行融合处理,得到所述历史交互内容的融合特征;
将所述历史交互内容的融合特征分别与所述候选内容的融合特征进行比对,得到所述历史交互内容与所述候选内容的内容相似度;
通过所述内容相似度,对所述历史交互内容的融合特征进行加权处理,得到所述历史交互内容的增强特征。
在一示例性实施例中,在对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息之前,还包括:
通过所述内容推荐模型中的序列融合注意力层,对所述场景序列特征和所述全局序列特征进行融合处理,得到融合序列特征;
所述对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息,还包括:
对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述融合序列特征进行处理,得到所述场景推荐指标信息。
根据本公开实施例的第二方面,提供一种内容推荐模型的训练方法,包括:
获取目标场景下样本对象与多个样本内容之间的交互信息;所述多个样本内容包括目标样本内容和历史样本内容序列;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;所述目标样本内容与所述样本对象的交互时间晚于历史样本内容与所述样本对象的交互时间;
通过所述目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对所述目标样本内容和所述历史样本内容序列进行特征提取,得到历史样本内容和所述目标样本内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述样本对象与所述样本内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述样本对象与所述样本内容进行交互的特征;
通过所述待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史样本内容的场景特征和全局特征分别进行编码,得到所述历史样本内容序列的场景序列特征和全局序列特征;
通过所述待训练的内容推荐模型中的群体原型注意力层,对所述历史样本内容序列的场景序列特征进行特征提取,得到所述样本对象的群体特征;
通过所述待训练的内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述目标样本内容的场景特征和全局特征进行处理,得到所述目标样本内容在所述目标场景下的推荐指标信息;
基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型。
在一示例性实施例中,所述对所述历史样本内容序列进行处理,得到所述样本对象的群体特征,包括:
获取预先确定的多个群体原型的原型特征;
将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;
基于所述群体相似度和各个群体原型的原型特征,得到所述样本对象的群体特征。
在一示例性实施例中,所述多个群体原型的原型特征通过下述方式确定:
获取多个样本场景下多个样本对象交互的样本内容序列的场景序列特征,得到多个场景序列特征;
确定所述多个场景序列特征中的当前场景序列特征和预设的多个群体原型的当前原型特征;
根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整,得到各个群体原型的调整后原型特征;
获取两两群体原型的调整后原型特征之间的差异信息,当所述差异信息不符合预设条件时,确定所述多个场景序列特征中的下一个场景序列特征,作为新的场景序列特征,以及确定所述调整后原型特征为新的原型特征,并返回根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的所述原型特征。
在一示例性实施例中,所述基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型,包括:
基于所述样本对象与所述目标样本内容之间的交互信息,确定所述目标样本内容的样本类型;所述样本类型包括正样本内容和负样本内容,所述正样本内容表示所述样本对象进行了正向反馈的内容,所述负样本内容表示所述样本对象进行了负向反馈的内容;
获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值;
基于所述损失值对所述待训练的内容推荐模型进行训练,直至达到预设训练次数或所述损失值收敛,得到所述目标场景对应的内容推荐模型。
根据本公开实施例的第三方面,提供一种内容推荐装置,包括:
获取单元,被配置为执行获取待推荐对象在目标场景下的历史交互内容序列和候选内容;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;
内容特征提取单元,被配置为执行通过内容推荐模型中的全局特征层和场景特征层分别对所述历史交互内容序列和所述候选内容进行特征提取,得到历史交互内容和所述候选内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述待推荐对象与所述候选内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述待推荐对象与所述候选内容进行交互的特征;
编码单元,被配置为执行通过所述内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史交互内容的场景特征和全局特征分别进行编码,得到所述历史交互内容序列的场景序列特征和全局序列特征;
群体特征提取单元,被配置为执行通过所述内容推荐模型中的群体原型注意力层,对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征;
推荐指标确定单元,被配置为执行通过所述内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息;
推荐单元,被配置为执行基于所述推荐指标信息,从所述候选内容中确定出针对所述待推荐对象的目标推荐内容。
在一示例性实施例中,所述群体特征提取单元,还被配置为执行获取预先确定的多个群体原型的原型特征;将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;基于所述群体相似度和各个群体原型的原型特征,得到所述待推荐对象的群体特征。
在一示例性实施例中,所述群体特征提取单元,还被配置为执行通过所述群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征;对各个群体原型的加权特征进行平均处理,得到所述待推荐对象的群体特征。
在一示例性实施例中,所述信息确定单元包括第一信息确定单元和第二信息确定单元;所述推荐指标确定单元,还被配置为执行通过所述第一信息确定单元,对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息;通过所述第二信息确定单元,对所述全局序列特征和所述候选内容的全局特征进行处理,得到所述候选内容的全局推荐指标信息;根据所述场景推荐指标信息和所述全局推荐指标信息,得到所述候选内容在所述目标场景下的推荐指标信息。
在一示例性实施例中,所述装置还包括增强处理单元,被配置为执行通过所述内容推荐模型中的内容相似性注意力增强特征层,以及基于所述候选内容的全局特征和场景特征,对所述历史交互内容的场景特征和全局特征进行增强处理,得到所述历史交互内容的增强特征;
所述推荐指标确定单元,还被配置为执行对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述历史交互内容的增强特征进行处理,得到所述场景推荐指标信息。
在一示例性实施例中,所述增强处理单元,还被配置为执行对所述候选内容的全局特征和场景特征进行融合处理,得到所述候选内容的融合特征,以及,对所述历史交互内容的场景特征和全局特征进行融合处理,得到所述历史交互内容的融合特征;将所述历史交互内容的融合特征分别与所述候选内容的融合特征进行比对,得到所述历史交互内容与所述候选内容的内容相似度;通过所述内容相似度,对所述历史交互内容的融合特征进行加权处理,得到所述历史交互内容的增强特征。
在一示例性实施例中,所述装置还包括融合单元,被配置为执行通过所述内容推荐模型中的序列融合注意力层,对所述场景序列特征和所述全局序列特征进行融合处理,得到融合序列特征;
所述推荐指标确定单元,还被配置为执行对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述融合序列特征进行处理,得到所述场景推荐指标信息。
根据本公开实施例的第四方面,提供一种内容推荐模型的训练装置,包括:
样本获取单元,被配置为执行获取目标场景下样本对象与多个样本内容之间的交互信息;所述多个样本内容包括目标样本内容和历史样本内容序列;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;所述目标样本内容与所述样本对象的交互时间晚于历史样本内容与所述样本对象的交互时间;
内容特征提取单元,被配置为执行通过所述目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对所述目标样本内容和所述历史样本内容序列进行特征提取,得到历史样本内容和所述目标样本内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述样本对象与所述样本内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述样本对象与所述样本内容进行交互的特征;
编码单元,被配置为执行通过所述待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史样本内容的场景特征和全局特征分别进行编码,得到所述历史样本内容序列的场景序列特征和全局序列特征;
群体特征提取单元,被配置为执行通过所述待训练的内容推荐模型中的群体原型注意力层,对所述历史样本内容序列的场景序列特征进行特征提取,得到所述样本对象的群体特征;
推荐指标确定单元,被配置为执行通过所述待训练的内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述目标样本内容的场景特征和全局特征进行处理,得到所述目标样本内容在所述目标场景下的推荐指标信息;
模型训练单元,被配置为执行基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型。
在一示例性实施例中,所述群体特征提取单元,还被配置为执行获取预先确定的多个群体原型的原型特征;将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;基于所述群体相似度和各个群体原型的原型特征,得到所述样本对象的群体特征。
在一示例性实施例中,所述装置还包括原型特征确定单元,被配置为执行获取多个样本场景下多个样本对象交互的样本内容序列的场景序列特征,得到多个场景序列特征;确定所述多个场景序列特征中的当前场景序列特征和预设的多个群体原型的当前原型特征;根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整,得到各个群体原型的调整后原型特征;获取两两群体原型的调整后原型特征之间的差异信息,当所述差异信息不符合预设条件时,确定所述多个场景序列特征中的下一个场景序列特征,作为新的场景序列特征,以及确定所述调整后原型特征为新的原型特征,并返回根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的所述原型特征。
在一示例性实施例中,所述模型训练单元,被配置为执行基于所述样本对象与所述目标样本内容之间的交互信息,确定所述目标样本内容的样本类型;所述样本类型包括正样本内容和负样本内容,所述正样本内容表示所述样本对象进行了正向反馈的内容,所述负样本内容表示所述样本对象进行了负向反馈的内容;获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值;基于所述损失值对所述待训练的内容推荐模型进行训练,直至达到预设训练次数或所述损失值收敛,得到所述目标场景对应的内容推荐模型。
根据本公开实施例的第五方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上任一项所述的方法。
根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上任一项所述的方法。
根据本公开实施例的第七方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如上任一项所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
该方法一方面通过提出的群体特征概念,在对预测样本内容和已知样本内容序列进行处理时,得到样本对象的群体特征,实现在群体层面共享用户的意图,从而可不依赖于重叠用户,实现跨场景共享不同用户的共同意图。另一方面,在内容表征上通过内容在特定场景下的场景特征和在多个场景下的全局特征来进行内容的表示,实现跨场景的内容特征的共享,具有更好的多场景兼容性,基于此训练得到的内容推荐模型具有更好的性能,可提高跨场景的推荐内容的质量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的现有的跨场景推荐方案的示意图。
图2是根据一示例性实施例示出的一种内容推荐方法的流程示意图。
图3是根据一示例性实施例示出的一种内容推荐模型的模型结构示意图。
图4是根据一示例性实施例示出的一种内容推荐模型的训练方法的流程示意图。
图5是根据另一示例性实施例示出的一种内容推荐模型的训练方法的完整流程图。
图6是根据一示例性实施例示出的一种内容推荐装置的结构框图。
图7是根据一示例性实施例示出的一种内容推荐模型的训练装置的结构框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。还需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
参考图1,为现有技术的基于双向学习机制实现跨场景推荐的方案的示意图,该机制以迭代的方式在两个相关场景之间同时传输信息,直到学习过程稳定。双向注意力序列学习(Dual Self-Attention Learning,DASL)模型由两个新的组成部分双向特征和双向注意力,共同建立了两阶段学习过程:首先构造双向潜在特征,同时提取用户在这两个场景的偏好,然后通过双向注意力学习机制将提取的潜在物品特征与候选物品特征进行匹配,从而提供跨场景推荐。
但是现有的方案严重依赖完全重叠的用户,需要来自两个场景的成对输入。但是,要求两个场景中的物品序列对作为成对输入是不合理的,因为两个场景中的物品序列尽管属于同一用户,但往往彼此独立。因此,这种通过混合两个场景的序列特征的双向注意力机制,从理论上讲,在非重叠用户场景下不会产生较好的性能。此外,两个场景的物品序列产生也不一定同步,现有的方案还会存在并行同步问题。
因此,为了解决上述问题,本公开提供了一种基于混合注意力的跨场景用户序列建模方法,该方法不依赖于具体重叠的用户id,从物品表示、序列模式和用户群体三个更高的层次迁移跨场景信息,通过局部模块(单个场景)和全局模块(跨多个场景)实现不同场景之间训练解耦和信息交互,具有更高的现实意义和多场景兼容性。
参考图2,为根据一示例性实施例示出的内容推荐方法的流程示意图,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中,该方法包括以下步骤:
在步骤S210中,获取待推荐对象在目标场景下的历史交互内容序列和候选内容;目标场景为多个推荐场景中的任一个场景,多个推荐场景基于推荐内容的关联属性信息划分得到。
其中,目标场景可以为用于提供推荐内容的多个推荐场景中的任一个场景。例如,目标场景可以为同城推荐场景、关注内容推荐场景、精选内容推荐场景和直播内容推荐场景等等。
其中,推荐内容的形式可以为视频、文本、图像等。
其中,推荐内容的关联属性信息可以为推荐内容的发布地点、推荐内容的类型、推荐内容的时间长度、推荐内容的观看次数等可表征推荐内容的属性特征的信息。例如,基于推荐内容的发布地点可得到同城推荐场景,基于推荐内容的类型可得到找工作场景、宠物内容场景,基于推荐内容的观看次数可得到大家都在看场景等等。
具体实现中,可以获取待推荐对象在目标场景下历史交互过的多个交互内容,按照交互时间先后顺序构成历史交互内容序列,并获取准备推荐给待推荐对象的多个内容,作为候选内容,针对每个候选内容,按照下述步骤S220至步骤S250的方式,确定各个候选内容的推荐指标信息,以便于基于推荐指标信息,从候选内容中确定出推荐给待推荐对象的目标内容。
在步骤S220中,通过内容推荐模型中的全局特征层和场景特征层分别对历史交互内容序列和候选内容进行特征提取,得到历史交互内容和候选内容的场景特征和全局特征。
其中,场景特征表征在目标场景下影响待推荐对象与候选内容进行交互的特征。例如,以推荐内容为视频为例,对于推荐场景是长视频场景,那么在这个场景下视频的时长特征对用户是否观看视频的影响较小,即使时长较长,但用户也会去看,则时长不是长视频场景下的场景特征。而在其他推荐场景(如同城推荐场景)下,视频的时长对用户是否观看影响就较大,则时长就属于这个场景下的场景特征。
其中,全局特征表征在多个场景下均影响待推荐对象与候选内容进行交互的特征。
可以理解的是,不同场景下的用户不同,推荐内容不同,因此,根据不同场景训练得到的内容推荐模型也会不同,具体为模型参数不同,但模型架构相同。例如,参考图3所示的内容推荐模型的模型结构示意图,A场景和B场景的内容推荐模型的架构相同,但根据A场景和B场景训练得到的内容推荐模型的模型参数则可能不同,因此,不同的场景下将对应不同的内容推荐模型。为便于描述,本实施例以目标场景为例,对本公开提供的内容推荐方法进行说明。
具体实现中,如图3所示,以目标场景为A场景为例,可将历史交互内容序列和候选内容分别输入内容推荐模型中的全局特征层和场景特征层,通过全局特征层对候选内容和历史交互内容序列中的各个历史交互内容进行全局特征提取,得到各个历史交互内容的全局特征和候选内容的全局特征,以及,通过场景特征层对候选内容和历史交互内容序列中的各个历史交互内容进行场景特征提取,得到各个历史交互内容的场景特征和候选内容的场景特征。
在步骤S230中,通过内容推荐模型中的全局序列编码器和场景序列编码器,对历史交互内容的场景特征和全局特征分别进行编码,得到历史交互内容序列的场景序列特征和全局序列特征。
其中,场景序列特征可以为目标场景下特有的内容之间的转移特征。例如,在场景A中,与内容E进行交互将会获得内容F的权益,那么E→F的转移概率将会高于E→其他内容的转移概率,这个特征在其他场景中可能并不成立,因此属于场景A特有的序列特征。
其中,全局序列特征可表示多个推荐场景下均具有的内容之间的转移特征。
具体实现中,参考图3,将历史交互内容序列输入全局特征层和场景特征层后,通过全局特征层得到的各个历史交互内容的全局特征将会输入全局编码器,由全局编码器进行编码得到历史交互内容序列的全局序列特征。同时,通过场景特征层得到的各个历史交互内容的场景特征将会输入场景编码器,由场景编码器进行编码得到历史交互内容序列的场景序列特征。
在步骤S240中,通过内容推荐模型中的群体原型注意力层,对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的群体特征。
其中,群体特征可表示待推荐对象的个性化的特征。
具体实现中,参考图3,在通过场景编码器得到历史交互内容序列的场景序列特征后,场景序列特征将被输入内容推荐模型中的群体原型注意力层,由群体原型注意力层对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的个性化的群体特征。
更具体地,在群体原型注意力层中,首先将场景序列特征与预设的多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度,基于该群体相似度和各个群体原型的原型特征,得到待推荐对象的群体特征。
在步骤S250中,通过内容推荐模型中的信息确定单元,对群体特征、场景序列特征、全局序列特征,以及候选内容的场景特征和全局特征进行处理,得到候选内容在目标场景下的推荐指标信息。
其中,推荐指标信息用于表征向待推荐对象推荐候选内容的推荐程度,例如,推荐指标信息可以为推荐概率。
具体实现中,在得到待推荐对象的群体特征、历史交互内容序列的场景序列特征和全局序列特征,以及候选内容的场景特征和全局特征后,可通过内容推荐模型的信息确定单元对这些特征进行处理,预测得到候选内容在目标场景下的推荐指标信息。
更具体地,信息确定单元可包括第一信息确定单元和第二信息确定单元。在对群体特征、场景序列特征、全局序列特征,以及候选内容的场景特征和全局特征进行处理时,可针对场景维度的特征和全局维度的特征分别进行处理,即可通过第一信息确定单元对群体特征、场景序列特征和候选内容的场景特征进行处理,得到候选内容的场景推荐指标信息。通过第二信息确定单元对全局序列特征和候选内容的全局特征进行处理,得到候选内容的全局推荐指标信息。根据场景推荐指标信息和全局推荐指标信息,得到候选内容在目标场景下的推荐指标信息。
在步骤S260中,基于推荐指标信息,从候选内容中确定出针对待推荐对象的目标推荐内容。
具体实现中,候选内容的数目可以为多个,在得到针对各个候选内容的推荐指标信息后,可按照推荐指标信息表征的推荐度从高到低的顺序,从各个候选内容中确定出推荐度较高的前1个或多个候选内容,作为目标推荐内容,推送给待推荐对象。
上述内容推荐方法中,先通过内容推荐模型中的全局特征层和场景特征层分别对历史交互内容序列和候选内容进行特征提取,得到历史交互内容和候选内容的场景特征和全局特征;然后通过全局序列编码器和场景序列编码器,对历史交互内容的场景特征和全局特征分别进行编码,得到历史交互内容序列的场景序列特征和全局序列特征,通过群体原型注意力层,对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的群体特征;通过信息确定单元,对群体特征、场景序列特征、全局序列特征,以及候选内容的场景特征和全局特征进行处理,得到候选内容在目标场景下的推荐指标信息,最后基于推荐指标信息,从候选内容中确定出针对待推荐对象的目标推荐内容。该方法一方面通过提出的群体特征概念,在进行内容推荐时通过群体原型注意力层对历史交互内容序列的场景序列特征处理得到待推荐对象的群体特征,实现在群体层面共享其他用户的意图,从而可不依赖于重叠用户,实现跨场景共享不同用户的共同意图。另一方面,在内容表征上通过内容在特定场景下的场景特征和在多个场景下的全局特征来进行内容的表示,实现跨场景的内容特征的共享,具有更好的多场景兼容性,可提高确定的推荐内容的质量。
在一示例性实施例中,在步骤S230中,对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的群体特征,具体可以通过以下步骤实现:
步骤S230a,获取预先确定的多个群体原型的原型特征;
步骤S230b,将场景序列特征与多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度;
步骤S230c,基于群体相似度和各个群体原型的原型特征,得到待推荐对象的群体特征。
具体实现中,在得到历史交互内容序列的场景序列特征后,可先对场景序列特征进行池化处理,通过全连接层,对场景序列特征对应的池化后特征和各个群体原型的原型特征进行处理,得到场景序列特征与各个群体原型的原型特征之间的群体相似度,通过各个群体原型对应的群体相似度与各个群体原型的原型特征得到待推荐对象个性化的群体特征。
进一步地,在一示例性实施例中,步骤S230c中基于群体相似度和各个群体原型的原型特征,得到待推荐对象的群体特征,实现方式可以为:通过群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征;对各个群体原型的加权特征进行平均处理,得到待推荐对象的群体特征。
具体地,在得到各个群体原型对应的群体相似度后,可将该群体相似度,作为各个群体原型对应的权重,因此,可通过群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征,进一步对各个群体原型的加权特征进行平均处理,得到平均处理后的特征,作为待推荐对象的个性化的群体特征。
本实施例中,通过群体原型的设置,可以实现在群体层面共享用户的意图,从而可不依赖于重叠用户,实现跨场景共享不同用户的共同意图。
在一示例性实施例中,信息确定单元包括第一信息确定单元和第二信息确定单元;步骤S250中,对群体特征、场景序列特征、全局序列特征,以及候选内容的场景特征和全局特征进行处理,得到候选内容在目标场景下的推荐指标信息,具体可以通过以下步骤实现:
步骤S250a,通过第一信息确定单元,对群体特征、场景序列特征和候选内容的场景特征进行处理,得到候选内容的场景推荐指标信息;
步骤S250b,通过第二信息确定单元,对全局序列特征和候选内容的全局特征进行处理,得到候选内容的全局推荐指标信息;
步骤S250c,根据场景推荐指标信息和全局推荐指标信息,得到候选内容在目标场景下的推荐指标信息。
具体实现中,为了提高所确定的候选内容在目标场景下的推荐指标信息的准确性,可对场景维度的特征和全局维度的特征分别进行处理,即构建第一信息确定单元用于确定场景推荐指标信息,构建第二信息确定单元用于预测全局推荐指标信息,最后根据场景推荐指标信息和全局推荐指标信息,确定最终的推荐指标信息。
更具体地,场景维度的特征包括群体特征、场景序列特征和候选内容的场景特征,将这三种特征输入第一信息确定单元,得到候选内容的场景推荐指标信息。全局维度的特征包括全局序列特征和候选内容的全局特征,将这两种特征输入第二信息确定单元,得到候选内容的全局推荐指标信息,进一步可将场景推荐指标信息与全局推荐指标信息相加,得到候选内容的推荐指标信息。
本实施例中,通过在全局维度和局部维度分别对候选内容进行预测,根据预测得到的场景推荐指标信息和全局推荐指标信息再确定候选内容在目标场景下的推荐指标信息,该方法在目标场景下的场景推荐指标信息上,结合了跨场景的全局推荐指标信息,共同确定最终的推荐指标信息,从而可极大地提高所确定的推荐指标信息的准确性。
在一示例性实施例中,在步骤S250a,对群体特征、场景序列特征和候选内容的场景特征进行处理,得到候选内容的场景推荐指标信息之前,还包括:
步骤S241,通过内容推荐模型中的内容相似性注意力增强特征层,以及基于候选内容的全局特征和场景特征,对历史交互内容的场景特征和全局特征进行增强处理,得到历史交互内容的增强特征;
步骤S250a,还包括:对群体特征、场景序列特征、候选内容的场景特征,以及历史交互内容的增强特征进行处理,得到场景推荐指标信息。
具体实现中,场景维度的特征除了群体特征、场景序列特征和候选内容的场景特征外,还可包括历史交互内容序列中各个历史交互内容的增强特征,在通过场景特征层和全局特征层提取得到各个历史交互内容和候选内容的场景特征和全局特征后,对各个历史交互内容的场景特征和全局特征进行融合处理,得到各个历史交互内容的融合特征,以及对候选内容的场景特征和全局特征进行融合处理,得到候选内容的融合特征。进一步通过候选内容的融合特征对各个历史交互内容的融合特征进行增强处理,得到各个历史交互内容的增强特征,从而将群体特征、场景序列特征、候选内容的场景特征,以及各个历史交互内容的增强特征输入内容推荐模型中的第一信息确定单元进行处理,得到候选内容的场景推荐指标信息。
本实施例中,通过候选内容的全局特征和场景特征,对各个历史交互内容的场景特征和全局特征进行增强处理,得到各个历史交互内容的增强特征,在群体特征、场景序列特征、候选内容的场景特征的基础上,结合各个历史交互内容的增强特征,确定候选内容的场景推荐指标信息,可以提高所确定的场景推荐指标信息的准确性。
进一步地,在一示例性实施例中,上述步骤S241中,基于候选内容的全局特征和场景特征,对历史交互内容的场景特征和全局特征进行增强处理,得到各个历史交互内容的增强特征,具体可以通过以下步骤实现:
步骤S241a,对候选内容的全局特征和场景特征进行融合处理,得到候选内容的融合特征,以及,对历史交互内容的场景特征和全局特征进行融合处理,得到历史交互内容的融合特征;
步骤S241b,将历史交互内容的融合特征分别与候选内容的融合特征进行比对,得到历史交互内容与候选内容的内容相似度;
步骤S241c,通过内容相似度,对历史交互内容的融合特征进行加权处理,得到历史交互内容的增强特征。
具体实现中,参考图3所示的内容推荐模型的模型结构示意图,图中的内容相似性注意力增强特征层为用于确定各个历史交互内容的增强特征的注意力层,如图所示,在场景特征层和全局特征层对历史交互内容序列和候选内容进行处理后,得到的各个历史交互内容和候选内容的场景特征和全局特征,被输入内容相似性注意力增强特征层,在内容相似性注意力增强特征层中,先对候选内容的全局特征和场景特征进行融合处理,得到候选内容的融合特征,以及,对各个历史交互内容的场景特征和全局特征进行融合处理,得到各个历史交互内容的融合特征,然后将各个历史交互内容的融合特征分别与候选内容的融合特征进行比对,得到各个历史交互内容与候选内容之间的内容相似度,将该内容相似度作为权重,通过各个历史交互内容对应的权重,对各个历史交互内容的融合特征进行加权处理,将各个历史交互内容对应的加权后特征,作为各个历史交互内容的增强特征。
本实施例中,通过候选内容与各个历史交互内容之间的相似性,对各个历史交互内容的融合特征进行增强处理,从而可提高对各个历史交互内容的特征表示的准确性,进而提高根据增强特征预测得到的场景推荐指标信息的准确性。
在一示例性实施例中,在步骤S250a,对群体特征、场景序列特征和候选内容的场景特征进行处理,得到候选内容的场景推荐指标信息之前,还包括:通过内容推荐模型中的序列融合注意力层,对场景序列特征和全局序列特征进行融合处理,得到融合序列特征;
步骤S250a还包括:对群体特征、场景序列特征、候选内容的场景特征,以及融合序列特征进行处理,得到场景推荐指标信息。
进一步地,在一示例性实施例中,步骤S250a还可包括:对群体特征、场景序列特征、候选内容的场景特征、融合序列特征,以及各个历史交互内容的增强特征进行处理,得到场景推荐指标信息。
具体实现中,场景维度的特征除了群体特征、场景序列特征、候选内容的场景特征、各个历史交互内容的增强特征外,还可包括由场景序列特征和全局序列特征融合得到的融合序列特征。参考图3,图中的序列融合注意力层为用于对场景序列特征和全局序列特征进行融合处理的注意力层,如图所示,对于A场景下输入的历史交互内容序列和候选内容,先通过场景特征层和全局特征层进行处理,得到各个历史交互内容的场景特征和全局特征,然后各个历史交互内容的场景特征被输入到场景编码器,得到历史交互内容序列的场景序列特征,各个历史交互内容的全局特征被输入到全局编码器,得到历史交互内容序列的全局序列特征,进一步,场景序列特征和全局序列特征被输入到序列融合注意力层,由序列融合注意力层对场景序列特征和全局序列特征进行融合处理,得到融合序列特征。
进一步地,内容相似性注意力增强特征层输出的各个历史交互内容的增强特征(图3中的eAi),序列融合注意力层输出的融合序列特征(图3中的sAs),群体原型注意力层输出的样本对象的群体特征(图3中的gAu),以及场景编码器输出的历史交互内容序列的场景序列特征(图3中的sA),和场景特征层输出的候选内容的场景特征(图3中的),一起被输入第一信息确定单元(图3中的第一个MLP(Multilayer Perceptron,多层感知机)),由第一信息确定单元对这五类特征进行处理,得到候选内容的场景推荐指标信息。
本实施例中,在进行场景推荐指标信息的确定前,还对场景序列特征和全局序列特征进行融合,以得到不失目标场景的特性又兼顾全局信息的融合序列特征,继而引入该融合序列特征,与群体特征、场景序列特征、候选内容的场景特征、各个历史交互内容的增强特征共同确定候选内容的场景推荐指标信息,以提高所确定的场景推荐指标信息准确性。
参考图4,为根据一示例性实施例示出的内容推荐模型的训练方法的流程示意图,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
在步骤S410中,获取目标场景下样本对象与多个样本内容之间的交互信息;多个样本内容包括目标样本内容和历史样本内容序列;目标场景为多个推荐场景中的任一个场景,多个推荐场景基于推荐内容的关联属性信息划分得到;目标样本内容与样本对象的交互时间晚于历史样本内容与样本对象的交互时间;
在步骤S420中,通过目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对目标样本内容和历史样本内容序列进行特征提取,得到历史样本内容和目标样本内容的场景特征和全局特征;场景特征表征在目标场景下影响样本对象与样本内容进行交互的特征,全局特征表征在多个场景下均影响样本对象与样本内容进行交互的特征;
在步骤S430中,通过待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对历史样本内容的场景特征和全局特征分别进行编码,得到历史样本内容序列的场景序列特征和全局序列特征;
在步骤S440中,通过待训练的内容推荐模型中的群体原型注意力层,对历史样本内容序列的场景序列特征进行特征提取,得到样本对象的群体特征;
在步骤S450中,通过待训练的内容推荐模型中的信息确定单元,对群体特征、场景序列特征、全局序列特征,以及目标样本内容的场景特征和全局特征进行处理,得到目标样本内容在目标场景下的推荐指标信息;
在步骤S460中,基于推荐指标信息,以及样本对象与目标样本内容之间的交互信息,对待训练的内容推荐模型进行训练,得到目标场景对应的内容推荐模型。
其中,交互信息可以理解为可表征样本对象对样本内容的偏好情况的信息,例如,交互信息可以为观看时长、点击率、是否查看评论或发布评论、是否点赞、是否收藏等。
其中,历史样本内容序列中包括多个样本内容。
可以理解的是,不同场景下的用户不同,样本内容不同,所得到的样本数据也不同,因此,根据不同场景训练得到的内容推荐模型也会不同,具体为模型参数不同,但模型架构相同。例如,参考图3所示的内容推荐模型的模型结构示意图,A场景和B场景的内容推荐模型的架构相同,但根据A场景和B场景训练得到的内容推荐模型的模型参数则可能不同,因此,需要针对不同的场景分别进行模型的训练。为便于描述,本实施例以目标场景为例,对本公开提供的内容推荐模型的训练方法进行说明。
具体实现中,在进行模型训练前,先获取样本数据,即获取目标场景下的样本对象(或称样本用户),以及样本对象与多个样本内容之间的交互信息,并按照样本对象与各个样本内容的交互时间,将多个样本内容从早到晚进行排序,将交互时间较早的样本内容形成历史样本内容序列,将交互时间较晚的样本内容作为待预测的目标样本内容,以便于后续根据内容推荐模型对目标样本内容进行预测得到的推荐指标信息,以及样本对象对目标样本内容的实际交互信息,对内容推荐模型进行训练。
更具体地,在得到目标样本内容的推荐指标信息后,可先基于样本对象对该目标样本内容的交互信息确定该目标样本内容的样本类型,即确定该目标样本内容为正样本内容还是负样本内容,从而可在两次预测得到的两个目标样本内容构成正负样本对时,获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的差值,作为损失值,基于该损失值对待训练的内容推荐模型的模型参数进行调整,直至达到预设训练次数或损失值收敛,得到训练完成的内容推荐模型,作为目标场景对应的内容推荐模型。
需要说明的是,历史样本内容序列中的样本内容的数目没有具体限制,因此,多个样本内容可以被划分为多组历史样本内容序列和目标样本内容。例如,设获取的样本数据中的多个样本内容为将其按照交互时间划分,可以划分得到历史样本内容序列和目标样本内容也可以划分得到历史样本内容序列对应的目标样本内容可以为至中的任一个样本内容,只需满足目标样本内容的交互时间晚于历史样本内容序列中各个样本内容的交互时间的条件。
本实施例提供的内容推荐模型的训练方法,一方面通过提出的群体特征概念,在对目标样本内容和丽水市样本内容序列进行处理时,得到样本对象的群体特征,实现在群体层面共享用户的意图,从而可不依赖于重叠用户,实现跨场景共享不同用户的共同意图。另一方面,在内容表征上通过内容在特定场景下的场景特征和在多个场景下的全局特征来进行内容的表示,实现跨场景的内容特征的共享,具有更好的多场景兼容性,基于此训练得到的内容推荐模型具有更好的性能,可提高跨场景的推荐内容的质量。
在一示例性实施例中,步骤S440中,对历史样本内容序列进行处理,得到样本对象的群体特征,包括:获取预先确定的多个群体原型的原型特征;将场景序列特征与多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度;基于群体相似度和各个群体原型的原型特征,得到样本对象的群体特征。
具体实现中,在得到场景序列特征后,对场景序列特征进行池化处理,通过全连接层,对场景序列特征对应的池化后特征和各个群体原型的原型特征进行处理,得到场景序列特征与各个群体原型的原型特征之间的群体相似度,作为各个群体原型的权重,通过各个群体原型的权重与各个群体原型的原型特征进行加权平均,得到样本对象个性化的群体特征。
本实施例中,通过群体原型的设置,可以实现在群体层面共享用户的意图,从而可不依赖于重叠用户,实现跨场景共享不同用户的共同意图。
在一示例性实施例中,多个群体原型的原型特征通过下述方式确定:获取多个样本场景下多个样本对象交互的样本内容序列的场景序列特征,得到多个场景序列特征;确定多个场景序列特征中的当前场景序列特征和预设的多个群体原型的当前原型特征;根据当前场景序列特征对预设的多个群体原型的当前原型特征进行调整,得到各个群体原型的调整后原型特征;获取两两群体原型的调整后原型特征之间的差异信息,当差异信息不符合预设条件时,确定多个场景序列特征中的下一个场景序列特征,作为新的场景序列特征,以及确定调整后原型特征为新的原型特征,并返回根据当前场景序列特征对预设的多个群体原型的当前原型特征进行调整的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的原型特征。
具体实现中,在应用多个群体原型的原型特征确定样本对象个性化的群体特征之前,还需要先训练得到各个群体原型的原型特征。具体地,可获取多个样本场景下多个样本对象的场景序列特征,作为样本数据,并预先初始化各个群体原型的原型特征,然后通过每个场景序列特征对各个群体原型的初始化原型特征进行训练,直至达到训练结束条件,得到各个群体原型的原型特征。
更具体地,采用一个场景序列特征对各个群体原型的初始化原型特征进行调整,得到各个群体原型的当前原型特征,获取多个群体原型中两两群体原型的当前原型特征之间的差异信息,当该差异信息不符合预设条件时,通过下一个场景序列特征再次调整各个群体原型的当前原型特征,得到新的原型特征,并返回获取两两群体原型的当前原型特征之间的差异信息的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的原型特征。
可以理解的是,各个群体原型应当表达不同的方面,而不应当存在重复和冗余,因此各个群体原型的原型特征应当互相不相似,故而各个群体原型的原型特征之间的差异信息应越大越好,对应地其损失函数为群体原型的原型特征两两之间的距离最大化约束条件,转换为最小化则对公式取负如下所示:
其中,Gi和Gj表示两个不同的群体原型的原型特征,Nɡ表示设定的群体原型的总个数,λɡ表示系数。
本实施例中,通过多个样本场景下多个样本对象的场景序列特征对各个群体原型的原型特征进行训练,从而可以得到各个群体原型的原型特征的准确表征,并且通过设置群体原型解纠缠约束条件,在两两群体原型的原型特征之间的距离最大时,确定各个群体原型的原型特征,避免了群体原型之间的重复和冗余,从而可提高基于不存在重复和冗余的群体原型所确定的用户的群体特征的准确性。
在一示例性实施例中,步骤S240,基于推荐指标信息,以及样本对象与目标样本内容之间的交互信息,对待训练的内容推荐模型进行训练,得到目标场景对应的内容推荐模型,具体可以通过以下步骤实现:
步骤S240a,基于样本对象与目标样本内容之间的交互信息,确定目标样本内容的样本类型;样本类型包括正样本内容和负样本内容,正样本内容表示样本对象进行了正向反馈的内容,负样本内容表示样本对象进行了负向反馈的内容;
步骤S240b,获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值;
步骤S240c,基于损失值对待训练的内容推荐模型进行训练,直至达到预设训练次数或损失值收敛,得到目标场景对应的内容推荐模型。
其中,正样本内容可以理解为样本对象感兴趣的内容,具体可以为样本对象进行了交互行为(如观看、点赞、评论等)的内容。而负样本内容可以理解为样本对象不感兴趣的内容,具体可以为样本对象未与之进行交互的内容。
具体实现中,针对每个样本对象,所采集的样本数据中的样本内容应包括样本对象作出正向反馈的正样本内容和样本对象作出负向反馈的负样本内容,由此使每个样本对象的目标样本内容可包括正样本内容和负样本内容两种样本类型,进而可根据正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值,对待训练的内容推荐模型进行训练,直至达到预设训练次数或损失值收敛,得到目标场景对应的内容推荐模型。
可以理解的是,内容推荐模型向用户推荐的内容的条件应该为:预测得到的正样本内容的推荐概率应高于预测得到的负样本内容的推荐概率,且正样本内容的推荐概率与负样本内容的推荐概率之间的差值应当越大越好,因此,以场景A为例,场景A的对数损失函数的关系式可表示为:
本实施例中,通过正样本内容的推荐指标信息和负样本内容的推荐指标信息之间的损失值,对内容推荐模型进行训练,以将正样本内容和负样本内容之间的推荐指标信息给拉大,使正样本内容的推荐指标信息尽量高,负样本内容的推荐指标信息尽量低,使得内容推荐模型可以学习到样本对象对不同样本内容的相对偏好顺序,提高内容推荐模型的预测效果,避免传统方法仅采用单个样本内容的实际交互信息与预测的推荐指标信息之间的损失值进行训练,导致内容推荐模型针对所有样本内容的推荐指标信息差异度较小,难以准确区分样本对象的偏好的问题。
可以理解的是,现有基于双向学习机制实现跨场景推荐的技术严重依赖于重叠用户,然而,在许多实际的跨域顺序推荐应用中,用户总是不重叠的。例如,为了跨场景推荐而共享数据的两家公司总是有不同的用户,或者由于隐私规定,用户的身份是匿名的。因此,现有的应用场景主要是只有重叠内容ID的跨场景推荐,主要面临以下三个主要挑战:
(1)不同场景的内容特征不同。即使内容是跨场景共享的,内容也反映了不同的特征。例如,对于高端电子商务网站,当用户购买商品时,价格方面的影响较小,而它在低端网站中起着重要作用,这种差异给跨不同场景学习准确的内容表示带来了困难。
(2)跨场景多种多样的序列模式。与内容类似,序列行为在不同场景也有所不同。例如,在高端电子商务网站中,用户可能下单更谨慎,这会导致非常短的序列行为和非常长的序列周期模式。因此,不同场景序列模式是多种多样的,这对建模来说是一个挑战。
(3)无重叠用户的偏好转移。由于这项工作注重于现实落地应用,只有内容可以共享,因此跨场景迁移用户偏好建模是一个挑战。换句话说,即使没有重叠的用户,共享用户偏好也是一个挑战。
基于此,为了逐一解决上述三个挑战,本公开提出了一个基于混合注意力网络的新解决方案,从内容层次、序列层次和群体层次混合了三种设计的注意力网络。
第一个是内容相似性注意力模块,该模块用于细化由局部或全局特征编码层所编码的局部或全局内容表示。
第二个是序列融合注意力模块,用于融合场景编码器和全局编码器捕获的局部和全局序列模式。
第三个是群体原型注意力模块,该模块提出了几个群体原型,用于在群体层面传递用户行为序列的意图,虽然用户信息不能直接共享,但行为序列的群体(意图)可以跨场景共享。
在另一示例性实施例中,为了更便于本领域技术人员理解本公开实施例,以下将以样本内容为短视频为例,结合附图的具体示例对本方案进行说明。本方案主要包括以下三个步骤:
(1)获取训练数据,构建训练样本。训练样本的形式为结构化表数据,每一行为一条用户与视频的交互记录,包括用户和视频的ID,以及其他属性和特征。
需要的训练数据包括:
用户特征:用户ID,用户活跃度。
视频特征:视频ID,视频聚类后的类别ID,视频作者ID,视频作者聚类后的类别ID,视频时长,视频热度。
用户对视频的行为特征:用户对视频的点击行为,用户对视频的点赞行为等。
(2)内容推荐模型的构建和训练
参考图3,为本公开提供的内容推荐模型的模型结构示意图,包括内容相似性注意力增强特征层、序列融合注意力层、群体原型注意层和预测层。其中,各个模块的简介如下:
内容相似性注意力增强特征层。本公开构建了内容的场景专属特征和全局特征,并进一步提出了一个内容相似性注意力模块来对视频的特征进行增强学习,得到增强特征。
序列融合注意力层。提出了一个序列融合注意力模块来跨场景传递视频到视频的转移模式。
群体原型注意层。虽然不能利用特定的重叠用户ID,但不同的序列可以反映特定类型用户的消费意图(可以将其视为用户群体),因此,本公开提出了一个群体原型注意模块,用于跨多个场景共享不同用户的共同意图群体。
预测层。将三个注意力模块的输出作为输入,本公开部署了一个局部预测层和一个全局预测层来预测用户将在每个场景中与之交互的候选下一视频的概率。
参考图5,为根据一实施例示出的内容推荐模型的训练方法的完整流程图。以下结合图3对模型的训练过程进行说明:
步骤S520,获取各个历史样本视频和目标样本视频的场景特征和全局特征。具体地,将历史样本视频序列和目标样本视频分别输入场景特征层和全局特征层,通过场景特征层处理得到各个历史样本视频的场景特征和目标样本视频的场景特征以及通过全局特征层处理得到各个历史样本视频的全局特征和目标样本视频的全局特征
步骤S530,基于场景特征和全局特征,得到历史样本视频序列的场景序列特征和全局序列特征。具体地,通过场景编码器对历史样本视频序列中各个历史样本视频的场景特征进行处理,得到历史样本视频序列的场景序列特征sA,以及通过全局编码器对各个历史样本视频的全局特征进行处理,得到历史样本视频序列的全局序列特征sAg。
步骤S540a,通过内容相似性注意力增强特征层,获取各个历史样本视频的增强特征。具体地,先对各个历史样本视频和目标样本视频的场景特征和全局特征进行融合处理,得到各个历史样本视频的融合特征和目标样本视频的融合特征,将各个历史样本视频的融合特征与目标样本视频的融合特征进行比对,得到各个历史样本视频与目标样本视频的视频相似度;通过该视频相似度,对各个历史样本视频的融合特征进行加权处理,得到各个历史样本视频的增强特征eAi。
步骤S540b,通过序列融合注意力层,获取融合序列特征。具体地,将历史样本视频序列的场景序列特征sA和全局序列特征sAg输入序列融合注意力层,进行融合处理,得到融合序列特征sAs。
步骤S540c,通过群体原型注意层,获取样本用户的群体特征。具体地,通过群体原型注意层,将场景序列特征与预设的多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度;对群体相似度和各个群体原型的原型特征加权平均处理,得到样本用户的群体特征gAu。
步骤S550,基于上述步骤得到的各类特征,得到场景推荐指标信息和全局推荐指标信息。具体地,将各个历史样本视频的增强特征eAi、融合序列特征sAs、样本用户的群体特征gAu、历史样本视频序列的场景序列特征sA,以及目标样本视频的场景特征输入局部预测层(图3中从左至右数的第一个MLP),得到目标样本视频的场景推荐指标信息,以及将目标样本视频的全局特征和历史样本视频序列的全局序列特征sAg,输入全局预测层(图3中的第二个MLP),得到目标样本视频的全局推荐指标信息。
步骤S560,基于场景推荐指标信息和全局推荐指标信息,得到目标样本视频在A场景下的推荐指标信息LA。具体地,可将场景推荐指标信息与全局推荐指标信息相加,得到推荐指标信息。
步骤S570,确定目标样本视频的样本类型,基于正样本视频和负样本视频的推荐指标信息之间的损失值,训练得到内容推荐模型。
本实施例提供的内容推荐模型的训练方法,具有以下优点:
(1)更强的跨场景推荐性能。本公开通过真实数据集的实验验证了提出的技术方案的跨场景能力。具体研究了两种数据集上的跨场景能力,一种是交互记录较为稠密的短视频数据集,一种是较为稀疏的电商数据集,通过在两个个数据集共四个场景上的实验结果,确定相比于现有的推荐算法,本公开的方案在所有情况下取得了最优性能,AUC(一种模型评价指标)能够显著提升4%左右。
(2)不依赖于重叠用户。本公开的方案从用户群体层次对用户偏好进行迁移,不依赖于具体的重叠用户ID,数据可视化表明模型能学习到有效的群体信息。
(3)能够处理两个以上场景,场景之间相互协助又相互独立。本公开的方案从两个场景增加到多个场景只需要对目标函数进行修改,同时各个场景训练独立,一个场景的停止不会影响到其他场景,实现了场景之间相互协助又相互独立。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的内容推荐模型的训练方法的内容推荐模型的训练装置,以及一种用于实现上述所涉及的内容推荐方法的内容推荐装置。
图6是根据一示例性实施例示出的一种内容推荐装置的结构框图。参照图6,该装置包括:获取单元610、内容特征提取单元620、编码单元630、群体特征提取单元640、推荐指标确定单元650和推荐单元660,其中,
获取单元610,被配置为执行获取待推荐对象在目标场景下的历史交互内容序列和候选内容;目标场景为多个推荐场景中的任一个场景,多个推荐场景基于推荐内容的关联属性信息划分得到;
内容特征提取单元620,被配置为执行通过内容推荐模型中的全局特征层和场景特征层分别对历史交互内容序列和候选内容进行特征提取,得到历史交互内容和候选内容的场景特征和全局特征;场景特征表征在目标场景下影响待推荐对象与候选内容进行交互的特征,全局特征表征在多个场景下均影响待推荐对象与候选内容进行交互的特征;
编码单元630,被配置为执行通过内容推荐模型中的全局序列编码器和场景序列编码器,对历史交互内容的场景特征和全局特征分别进行编码,得到历史交互内容序列的场景序列特征和全局序列特征;
群体特征提取单元640,被配置为执行通过内容推荐模型中的群体原型注意力层,对历史交互内容序列的场景序列特征进行特征提取,得到待推荐对象的群体特征;
推荐指标确定单元650,被配置为执行通过内容推荐模型中的信息确定单元,对群体特征、场景序列特征、全局序列特征,以及候选内容的场景特征和全局特征进行处理,得到候选内容在目标场景下的推荐指标信息;
推荐单元660,被配置为执行基于推荐指标信息,从候选内容中确定出针对待推荐对象的目标推荐内容。
在一示例性实施例中,群体特征提取单元640,还被配置为执行获取预先确定的多个群体原型的原型特征;将场景序列特征与多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度;基于群体相似度和各个群体原型的原型特征,得到待推荐对象的群体特征。
在一示例性实施例中,群体特征提取单元640,还被配置为执行通过群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征;对各个群体原型的加权特征进行平均处理,得到待推荐对象的群体特征。
在一示例性实施例中,信息确定单元包括第一信息确定单元和第二信息确定单元;推荐指标确定单元650,还被配置为执行通过第一信息确定单元,对群体特征、场景序列特征和候选内容的场景特征进行处理,得到候选内容的场景推荐指标信息;通过第二信息确定单元,对全局序列特征和候选内容的全局特征进行处理,得到候选内容的全局推荐指标信息;根据场景推荐指标信息和全局推荐指标信息,得到候选内容在目标场景下的推荐指标信息。
在一示例性实施例中,装置还包括增强处理单元,被配置为执行通过内容推荐模型中的内容相似性注意力增强特征层,以及基于候选内容的全局特征和场景特征,对历史交互内容的场景特征和全局特征进行增强处理,得到历史交互内容的增强特征;
推荐指标确定单元650,还被配置为执行对群体特征、场景序列特征、候选内容的场景特征,以及历史交互内容的增强特征进行处理,得到场景推荐指标信息。
在一示例性实施例中,增强处理单元,还被配置为执行对候选内容的全局特征和场景特征进行融合处理,得到候选内容的融合特征,以及,对历史交互内容的场景特征和全局特征进行融合处理,得到历史交互内容的融合特征;将历史交互内容的融合特征分别与候选内容的融合特征进行比对,得到历史交互内容与候选内容的内容相似度;通过内容相似度,对历史交互内容的融合特征进行加权处理,得到历史交互内容的增强特征。
在一示例性实施例中,装置还包括融合单元,被配置为执行通过内容推荐模型中的序列融合注意力层,对场景序列特征和全局序列特征进行融合处理,得到融合序列特征;
推荐指标确定单元650,还被配置为执行对群体特征、场景序列特征、候选内容的场景特征,以及融合序列特征进行处理,得到场景推荐指标信息。
图7是根据一示例性实施例示出的一种内容推荐模型的训练装置的结构框图。参照图7,该装置包括:样本获取单元710、内容特征提取单元720、编码单元730、群体特征提取单元740、推荐指标确定单元750和模型训练单元760,其中,
样本获取单元710,被配置为执行获取目标场景下样本对象与多个样本内容之间的交互信息;多个样本内容包括目标样本内容和历史样本内容序列;目标场景为多个推荐场景中的任一个场景,多个推荐场景基于推荐内容的关联属性信息划分得到;目标样本内容与样本对象的交互时间晚于历史样本内容与样本对象的交互时间;
内容特征提取单元720,被配置为执行通过目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对目标样本内容和历史样本内容序列进行特征提取,得到历史样本内容和目标样本内容的场景特征和全局特征;场景特征表征在目标场景下影响样本对象与样本内容进行交互的特征,全局特征表征在多个场景下均影响样本对象与样本内容进行交互的特征;
编码单元730,被配置为执行通过待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对历史样本内容的场景特征和全局特征分别进行编码,得到历史样本内容序列的场景序列特征和全局序列特征;
群体特征提取单元740,被配置为执行通过待训练的内容推荐模型中的群体原型注意力层,对历史样本内容序列的场景序列特征进行特征提取,得到样本对象的群体特征;
推荐指标确定单元750,被配置为执行通过待训练的内容推荐模型中的信息确定单元,对群体特征、场景序列特征、全局序列特征,以及目标样本内容的场景特征和全局特征进行处理,得到目标样本内容在目标场景下的推荐指标信息;
模型训练单元760,被配置为执行基于推荐指标信息,以及样本对象与目标样本内容之间的交互信息,对待训练的内容推荐模型进行训练,得到目标场景对应的内容推荐模型。
在一示例性实施例中,群体特征提取单元740,还被配置为执行获取预先确定的多个群体原型的原型特征;将场景序列特征与多个群体原型的原型特征进行比对,得到场景序列特征与各个群体原型的原型特征之间的群体相似度;基于群体相似度和各个群体原型的原型特征,得到样本对象的群体特征。
在一示例性实施例中,装置还包括原型特征确定单元,被配置为执行获取多个样本场景下多个样本对象交互的样本内容序列的场景序列特征,得到多个场景序列特征;确定多个场景序列特征中的当前场景序列特征和预设的多个群体原型的当前原型特征;根据当前场景序列特征对预设的多个群体原型的当前原型特征进行调整,得到各个群体原型的调整后原型特征;获取两两群体原型的调整后原型特征之间的差异信息,当差异信息不符合预设条件时,确定多个场景序列特征中的下一个场景序列特征,作为新的场景序列特征,以及确定调整后原型特征为新的原型特征,并返回根据当前场景序列特征对预设的多个群体原型的当前原型特征进行调整的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的原型特征。
在一示例性实施例中,模型训练单元760,被配置为执行基于样本对象与目标样本内容之间的交互信息,确定目标样本内容的样本类型;样本类型包括正样本内容和负样本内容,正样本内容表示样本对象进行了正向反馈的内容,负样本内容表示样本对象进行了负向反馈的内容;获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值;基于损失值对待训练的内容推荐模型进行训练,直至达到预设训练次数或损失值收敛,得到目标场景对应的内容推荐模型。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于实现内容推荐模型的训练方法或内容推荐方法的电子设备800的框图。例如,电子设备800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802、存储器804、电源组件806、多媒体组件808、音频组件810、输入/输出(I/O)的接口812、传感器组件814以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800组件的位置改变,用户与电子设备800接触的存在或不存在,设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在一示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一示例性实施例中,还提供了一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备800的处理器820执行以完成上述方法。
需要说明的,上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种内容推荐方法,其特征在于,所述方法包括:
获取待推荐对象在目标场景下的历史交互内容序列和候选内容;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;
通过内容推荐模型中的全局特征层和场景特征层分别对所述历史交互内容序列和所述候选内容进行特征提取,得到历史交互内容和所述候选内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述待推荐对象与所述候选内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述待推荐对象与所述候选内容进行交互的特征;
通过所述内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史交互内容的场景特征和全局特征分别进行编码,得到所述历史交互内容序列的场景序列特征和全局序列特征;
通过所述内容推荐模型中的群体原型注意力层,对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征;
通过所述内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息;
基于所述推荐指标信息,从所述候选内容中确定出针对所述待推荐对象的目标推荐内容。
2.根据权利要求1所述的方法,其特征在于,所述对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征,包括:
获取预先确定的多个群体原型的原型特征;
将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;
基于所述群体相似度和各个群体原型的原型特征,得到所述待推荐对象的群体特征。
3.根据权利要求2所述的方法,其特征在于,所述基于所述群体相似度和各个群体原型的原型特征,得到所述待推荐对象的群体特征,包括:
通过所述群体相似度,对各个群体原型的原型特征进行加权,得到各个群体原型的加权特征;
对各个群体原型的加权特征进行平均处理,得到所述待推荐对象的群体特征。
4.根据权利要求1所述的方法,其特征在于,所述信息确定单元包括第一信息确定单元和第二信息确定单元;所述对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息,包括:
通过所述第一信息确定单元,对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息;
通过所述第二信息确定单元,对所述全局序列特征和所述候选内容的全局特征进行处理,得到所述候选内容的全局推荐指标信息;
根据所述场景推荐指标信息和所述全局推荐指标信息,得到所述候选内容在所述目标场景下的推荐指标信息。
5.根据权利要求4所述的方法,其特征在于,在对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息之前,还包括:
通过所述内容推荐模型中的内容相似性注意力增强特征层,以及基于所述候选内容的全局特征和场景特征,对所述历史交互内容的场景特征和全局特征进行增强处理,得到所述历史交互内容的增强特征;
所述对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息,包括:
对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述历史交互内容的增强特征进行处理,得到所述场景推荐指标信息。
6.根据权利要求5所述的方法,其特征在于,所述基于所述候选内容的全局特征和场景特征,对所述历史交互内容的场景特征和全局特征进行增强处理,得到所述历史交互内容的增强特征,包括:
对所述候选内容的全局特征和场景特征进行融合处理,得到所述候选内容的融合特征,以及,对所述历史交互内容的场景特征和全局特征进行融合处理,得到所述历史交互内容的融合特征;
将所述历史交互内容的融合特征分别与所述候选内容的融合特征进行比对,得到所述历史交互内容与所述候选内容的内容相似度;
通过所述内容相似度,对所述历史交互内容的融合特征进行加权处理,得到所述历史交互内容的增强特征。
7.根据权利要求4所述的方法,其特征在于,在对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息之前,还包括:
通过所述内容推荐模型中的序列融合注意力层,对所述场景序列特征和所述全局序列特征进行融合处理,得到融合序列特征;
所述对所述群体特征、所述场景序列特征和所述候选内容的场景特征进行处理,得到所述候选内容的场景推荐指标信息,还包括:
对所述群体特征、所述场景序列特征、所述候选内容的场景特征,以及所述融合序列特征进行处理,得到所述场景推荐指标信息。
8.一种内容推荐模型的训练方法,其特征在于,所述方法包括:
获取目标场景下样本对象与多个样本内容之间的交互信息;所述多个样本内容包括目标样本内容和历史样本内容序列;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;所述目标样本内容与所述样本对象的交互时间晚于历史样本内容与所述样本对象的交互时间;
通过所述目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对所述目标样本内容和所述历史样本内容序列进行特征提取,得到历史样本内容和所述目标样本内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述样本对象与所述样本内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述样本对象与所述样本内容进行交互的特征;
通过所述待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史样本内容的场景特征和全局特征分别进行编码,得到所述历史样本内容序列的场景序列特征和全局序列特征;
通过所述待训练的内容推荐模型中的群体原型注意力层,对所述历史样本内容序列的场景序列特征进行特征提取,得到所述样本对象的群体特征;
通过所述待训练的内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述目标样本内容的场景特征和全局特征进行处理,得到所述目标样本内容在所述目标场景下的推荐指标信息;
基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型。
9.根据权利要求8所述的方法,其特征在于,所述对所述历史样本内容序列进行处理,得到所述样本对象的群体特征,包括:
获取预先确定的多个群体原型的原型特征;
将所述场景序列特征与所述多个群体原型的原型特征进行比对,得到所述场景序列特征与各个群体原型的原型特征之间的群体相似度;
基于所述群体相似度和各个群体原型的原型特征,得到所述样本对象的群体特征。
10.根据权利要求9所述的方法,其特征在于,所述多个群体原型的原型特征通过下述方式确定:
获取多个样本场景下多个样本对象交互的样本内容序列的场景序列特征,得到多个场景序列特征;
确定所述多个场景序列特征中的当前场景序列特征和预设的多个群体原型的当前原型特征;
根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整,得到各个群体原型的调整后原型特征;
获取两两群体原型的调整后原型特征之间的差异信息,当所述差异信息不符合预设条件时,确定所述多个场景序列特征中的下一个场景序列特征,作为新的场景序列特征,以及确定所述调整后原型特征为新的原型特征,并返回根据所述当前场景序列特征对预设的多个群体原型的当前原型特征进行调整的步骤,直至两两群体原型的当前原型特征之间的差异信息符合预设条件,得到各个群体原型的所述原型特征。
11.根据权利要求8所述的方法,其特征在于,所述基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型,包括:
基于所述样本对象与所述目标样本内容之间的交互信息,确定所述目标样本内容的样本类型;所述样本类型包括正样本内容和负样本内容,所述正样本内容表示所述样本对象进行了正向反馈的内容,所述负样本内容表示所述样本对象进行了负向反馈的内容;
获取正样本内容的推荐指标信息与负样本内容的推荐指标信息之间的损失值;
基于所述损失值对所述待训练的内容推荐模型进行训练,直至达到预设训练次数或所述损失值收敛,得到所述目标场景对应的内容推荐模型。
12.一种内容推荐装置,其特征在于,所述装置包括:
获取单元,被配置为执行获取待推荐对象在目标场景下的历史交互内容序列和候选内容;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;
内容特征提取单元,被配置为执行通过内容推荐模型中的全局特征层和场景特征层分别对所述历史交互内容序列和所述候选内容进行特征提取,得到历史交互内容和所述候选内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述待推荐对象与所述候选内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述待推荐对象与所述候选内容进行交互的特征;
编码单元,被配置为执行通过所述内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史交互内容的场景特征和全局特征分别进行编码,得到所述历史交互内容序列的场景序列特征和全局序列特征;
群体特征提取单元,被配置为执行通过所述内容推荐模型中的群体原型注意力层,对所述历史交互内容序列的场景序列特征进行特征提取,得到所述待推荐对象的群体特征;
推荐指标确定单元,被配置为执行通过所述内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述候选内容的场景特征和全局特征进行处理,得到所述候选内容在所述目标场景下的推荐指标信息;
推荐单元,被配置为执行基于所述推荐指标信息,从所述候选内容中确定出针对所述待推荐对象的目标推荐内容。
13.一种内容推荐模型的训练装置,其特征在于,所述装置包括:
样本获取单元,被配置为执行获取目标场景下样本对象与多个样本内容之间的交互信息;所述多个样本内容包括目标样本内容和历史样本内容序列;所述目标场景为多个推荐场景中的任一个场景,所述多个推荐场景基于推荐内容的关联属性信息划分得到;所述目标样本内容与所述样本对象的交互时间晚于历史样本内容与所述样本对象的交互时间;
内容特征提取单元,被配置为执行通过所述目标场景对应的待训练的内容推荐模型中的全局特征层和场景特征层,分别对所述目标样本内容和所述历史样本内容序列进行特征提取,得到历史样本内容和所述目标样本内容的场景特征和全局特征;所述场景特征表征在所述目标场景下影响所述样本对象与所述样本内容进行交互的特征,所述全局特征表征在所述多个场景下均影响所述样本对象与所述样本内容进行交互的特征;
编码单元,被配置为执行通过所述待训练的内容推荐模型中的全局序列编码器和场景序列编码器,对所述历史样本内容的场景特征和全局特征分别进行编码,得到所述历史样本内容序列的场景序列特征和全局序列特征;
群体特征提取单元,被配置为执行通过所述待训练的内容推荐模型中的群体原型注意力层,对所述历史样本内容序列的场景序列特征进行特征提取,得到所述样本对象的群体特征;
推荐指标确定单元,被配置为执行通过所述待训练的内容推荐模型中的信息确定单元,对所述群体特征、所述场景序列特征、所述全局序列特征,以及所述目标样本内容的场景特征和全局特征进行处理,得到所述目标样本内容在所述目标场景下的推荐指标信息;
模型训练单元,被配置为执行基于所述推荐指标信息,以及所述样本对象与所述目标样本内容之间的交互信息,对所述待训练的内容推荐模型进行训练,得到所述目标场景对应的内容推荐模型。
14.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至11中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至11中任一项所述的方法。
16.一种计算机程序产品,所述计算机程序产品中包括指令,其特征在于,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778190.4A CN115203543A (zh) | 2022-06-29 | 2022-06-29 | 内容推荐方法、内容推荐模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210778190.4A CN115203543A (zh) | 2022-06-29 | 2022-06-29 | 内容推荐方法、内容推荐模型的训练方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115203543A true CN115203543A (zh) | 2022-10-18 |
Family
ID=83577423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210778190.4A Pending CN115203543A (zh) | 2022-06-29 | 2022-06-29 | 内容推荐方法、内容推荐模型的训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115203543A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116796076A (zh) * | 2023-08-29 | 2023-09-22 | 中亿(深圳)信息科技有限公司 | 业务推荐方法、装置、设备及存储介质 |
CN117899492A (zh) * | 2024-03-20 | 2024-04-19 | 成都帆点创想科技有限公司 | 一种游戏玩法场景的实时推荐方法及系统 |
-
2022
- 2022-06-29 CN CN202210778190.4A patent/CN115203543A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116796076A (zh) * | 2023-08-29 | 2023-09-22 | 中亿(深圳)信息科技有限公司 | 业务推荐方法、装置、设备及存储介质 |
CN116796076B (zh) * | 2023-08-29 | 2023-11-03 | 中亿(深圳)信息科技有限公司 | 业务推荐方法、装置、设备及存储介质 |
CN117899492A (zh) * | 2024-03-20 | 2024-04-19 | 成都帆点创想科技有限公司 | 一种游戏玩法场景的实时推荐方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109800325B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
US11443742B2 (en) | Method and apparatus for determining a dialog state, dialog system, computer device, and storage medium | |
CN109684510B (zh) | 视频排序方法、装置、电子设备及存储介质 | |
CN110782034A (zh) | 神经网络的训练方法、装置及存储介质 | |
CN115203543A (zh) | 内容推荐方法、内容推荐模型的训练方法及装置 | |
CN109783656B (zh) | 音视频数据的推荐方法、系统及服务器和存储介质 | |
CN109670077B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
CN111461304B (zh) | 分类神经网络的训练方法、文本分类方法、装置及设备 | |
CN115100472A (zh) | 展示对象识别模型的训练方法、装置和电子设备 | |
CN111159570A (zh) | 一种信息推荐方法及服务器 | |
CN111246255B (zh) | 视频推荐方法、装置、存储介质、终端及服务器 | |
CN110297970B (zh) | 信息推荐模型训练方法及装置 | |
CN111831132A (zh) | 一种信息推荐方法、装置和电子设备 | |
CN114429599A (zh) | 类目分类方法、装置、电子设备和存储介质 | |
CN111949808B (zh) | 一种多媒体内容相似度确定方法、装置、电子设备及存储介质 | |
CN114117058A (zh) | 账户信息的确定方法、装置、电子设备及存储介质 | |
CN112465555A (zh) | 一种广告信息推荐的方法及相关装置 | |
CN114817366A (zh) | 一种推荐内容确定方法、装置、电子设备及存储介质 | |
CN113190725B (zh) | 对象的推荐及模型训练方法和装置、设备、介质和产品 | |
CN114722238B (zh) | 视频推荐方法、装置、电子设备、存储介质及程序产品 | |
CN113177162B (zh) | 搜索结果的排序方法、装置、电子设备和存储介质 | |
CN113254707B (zh) | 模型确定、关联媒体资源确定方法和装置 | |
CN111143609B (zh) | 兴趣标签的确定方法、装置、电子设备及存储介质 | |
CN116028686A (zh) | 资源推荐方法、装置、电子设备及存储介质 | |
CN117093731A (zh) | 媒体资源推荐方法、交互行为预测模型训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |