CN115600017A - 特征编码模型训练方法及装置、媒体对象推荐方法及装置 - Google Patents

Abstract

本公开的实施方式提供了一种特征编码模型训练方法及装置、媒体对象推荐方法及装置，涉及人工智能技术领域。媒体对象推荐方法包括：获取待推荐媒体对象的初始向量，并采用基于特征编码模型训练方法训练得到的特征编码模型根据所述初始向量计算所述待推荐媒体对象的编码向量；计算所述编码向量与预设用户兴趣群体矩阵之间的关联性向量；在向量池中查询与所述待推荐媒体对象的关联性向量近似的多个目标媒体对象；根据各目标媒体对象的关联性向量与所述待推荐媒体对象的关联性向量之间的近似度数值，对所述多个目标媒体对象进行排序，并基于排序结果将所述待推荐媒体对象推荐至所述目标媒体对象关联的用户。本公开能够解决音乐冷启动的问题。

Description

特征编码模型训练方法及装置、媒体对象推荐方法及装置

技术领域

本公开的实施例涉及人工智能技术领域，具体涉及一种特征编码模型训练方法及装置，以及一种媒体对象推荐方法及装置。

背景技术

冷启动问题是推荐系统中非常重要的一个问题，例如音乐的冷启动问题是指在音乐平台中，对于新的音乐，由于其没有与用户之间产生交互，音乐平台难以将其推荐给对其感兴趣的用户。因此，本领域的技术人员亟待解决音乐的冷启动问题。

发明内容

根据本公开实施例的一个方面，提供了一种特征编码模型训练方法，包括：构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量；根据所述特征编码模型对所述目标样本、所述正样本和所述负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量；计算所述目标样本对应的关联性向量与所述正样本对应的关联性向量之间的第一相似度值，以及计算所述目标样本对应的关联性向量与所述负样本对应的关联性向量之间的第二相似度值，根据所述第一相似度值和所述第二相似度值计算第一损失值；将所述对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到所述对比样本对应的多个特征向量组，并对所述多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据所述特征编码模型对所述多个掩码向量分别进行特征编码，获得所述对比样本对应的多个编码向量；计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据所述第三相似度值和所述第四相似度值计算第二损失值；基于所述第一损失值和所述第二损失值对所述特征编码模型进行联合训练。

根据本公开实施例的一个方面，提供了一种特征编码模型训练装置，包括：构建模块，配置为构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量；第一提取模块，配置根据所述特征编码模型对所述目标样本、所述正样本和所述负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量；第一计算模块，配置为计算所述目标样本对应的关联性向量与所述正样本对应的关联性向量之间的第一相似度值，以及计算所述目标样本对应的关联性向量与所述负样本对应的关联性向量之间的第二相似度值，根据所述第一相似度值和所述第二相似度值计算第一损失值；第二提取模块，配置为将所述对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到所述对比样本对应的多个特征向量组，并对所述多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据所述特征编码模型对所述多个掩码向量分别进行特征编码，获得所述对比样本对应的多个编码向量；第二计算模块，配置为计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据所述第三相似度值和所述第四相似度值计算第二损失值；联合训练模块，配置为基于所述第一损失值和所述第二损失值对所述特征编码模型进行联合训练。

根据本公开实施例的一个方面，提供了一种媒体对象推荐方法，包括：获取待推荐媒体对象的初始向量，并采用如前所述的特征编码模型训练方法训练得到的特征编码模型根据所述初始向量计算所述待推荐媒体对象的编码向量；计算所述编码向量与预设用户兴趣群体矩阵之间的关联性向量；在向量池中查询与所述待推荐媒体对象的关联性向量近似的多个目标媒体对象，所述向量池用于存储预收集的媒体对象的关联性向量，并且所述预收集的媒体对象的关联性向量是通过所述特征编码模型获得对应的编码向量后，基于所述预设用户兴趣群体矩阵计算出的；根据各目标媒体对象的关联性向量与所述待推荐媒体对象的关联性向量之间的近似度数值，对所述多个目标媒体对象进行排序，并基于排序结果将所述待推荐媒体对象推荐至所述目标媒体对象关联的用户。

根据本公开实施例的一个方面，提供了一种媒体对象推荐装置，包括：获取模块，配置为获取待推荐媒体对象的初始向量，并采用如前所述的特征编码模型训练方法训练得到的特征编码模型根据所述初始向量计算所述待推荐媒体对象的编码向量；计算模块，配置为计算所述编码向量与预设用户兴趣群体矩阵之间的关联性向量；召回模块，配置为在向量池中查询与所述待推荐媒体对象的关联性向量近似的多个目标媒体对象，所述向量池用于存储预收集的媒体对象的关联性向量，并且所述预收集的媒体对象的关联性向量是通过所述特征编码模型获得对应的编码向量后，基于所述预设用户兴趣群体矩阵计算出的；推荐模块，配置为根据各目标媒体对象的关联性向量与所述待推荐媒体对象的关联性向量之间的近似度数值，对所述多个目标媒体对象进行排序，并基于排序结果将所述待推荐媒体对象推荐至所述目标媒体对象关联的用户。

根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的特征编码模型训练方法或者媒体对象推荐方法。

根据本公开实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的特征编码模型训练方法和媒体对象推荐方法。

在本公开的实施例所提供的技术方案中，训练得到的特征编码模型用于在音乐冷启动场景下召回音乐，从而向被召回音乐关联的用户推荐新的音乐，以解决音乐冷启动的问题，由于特征编码模型在训练过程中不仅能够基于对目标样本、正样本和负样本的处理来感知用户兴趣群体，由此提升召回过程的准确性，还能够基于对比样本的处理来增强特征编码模型的向量表征，由此使得训练得到的特征编码模型在解决音乐冷启动问题的过程中能够促进音乐的准确召回，从而实现将音乐更加准确地推荐给相关的用户。

附图说明

图1是本申请涉及的实施环境的示意图；

图2是一示例性实施例示出的特征编码模型训练方法的流程图；

图3是本申请的另一示例性实施例示出的特征编码模型训练方法在图2所示实施例的基础上还包括的步骤流程图；

图4是计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量的过程的示意图；

图5是图2所示实施例中的步骤S220的示例性流程图；

图6是一示例性的样本对应的初始向量的构成示意图；

图7是一示例性的特征关联矩阵的示意图；

图8是图2所示实施例中的步骤S240的示例性流程图；

图9是一示例性的计算机视觉领域中使用三种数据增强操作符的效果示意图；

图10示出了获取对比样本对应的多个编码向量的整体过程示意图；

图11是图2所示实施例中的步骤S260的示例性流程图；

图12是示例性的媒体对象推荐方法的流程图；

图13是示例性的特征编码模型训练装置的框图；

图14是示例性的媒体对象推荐装置的框图；

图15示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本公开中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先需要说明的是，冷启动问题又被称为Cold-Start Problem，是推荐系统中非常重要的一个问题。冷启动问题通常可分为三类，分别是用户冷启动、物品冷启动和系统冷启动。用户冷启动是指对于新用户，由于推荐系统中没有其行为数据，如何为其推荐物品。物品冷启动是指对于新的物品，由于没有与用户产生过交互，如何将该物品推荐给对其感兴趣的用户。系统冷启动是指对于一个新开发的平台，由于没有用户行为，只有一些物品的信息，如何为用户推荐感兴趣的物品。需理解的是，本申请提及的物品是广义概念上的物品，各类平台上的内容都可以称为物品，例如在商品交易平台上的商品可以称为物品，视频平台上的视频也可以称为物品，音乐平台上的音乐也可以称为物品，新闻平台上的新闻资讯也可以称为物品，不应对物品产生狭义范围上的理解。

本申请的实施例所解决的冷启动问题的类型为物品冷启动，例如在音乐平台上，对于新的歌曲，由于其没有与音乐平台上的用户产生交互数据，音乐平台难以将其推荐给对其感兴趣的用户。

另外需要说明的是，推荐系统中通常包括召回层和排序层。召回层又称为Matching，用于将海量的候选集快速缩小至一个较小的规模，尽量让用户感兴趣的物品在这个阶段被快速筛选出来。排序层又称为Ranking，用于得到精确的排序结果，也即是根据规则将召回层召回的物品进行精准排序。召回层和排序层可理解为是构成推荐系统的软件模块。

以音乐平台为示例，在为用户推荐音乐之前，通常使用召回层从海量的候选音乐中多路召回用户可能感兴趣的候选集，一方面可以降低不必要的计算，另一方面由于排序层通常是单一目标，因此在使用多路召回的过程中可以提高推荐多样性和精确性。因此，召回层是推荐系统的结构中的重要模块，召回层所采用的召回策略对于推荐系统来说至关重要。

在现有技术中，召回层采用的召回策略主要包括三类，分别为基于内容的召回、基于协同过滤的召回和基于表征嵌入的召回。

若仍以音乐平台作为示例，基于内容的召回主要依赖于音乐的内容标签来学习音乐之间的相关性，内容标签例如包括文本、图片等信息，在建立好内容理解模型后，离线计算出已有音乐的内容向量并保存，并构建向量相似度检索索引，在线召回时根据新的音乐计算出内容向量，然后查询近邻索引，得到topK(即内容向量的近似度大小排名为前K的已有音乐)召回集合。但是，仅从内容理解的层面来实现召回会对音乐冷启动情况下的用户推荐产生较大偏差。

基于协同过滤的召回根据用户和音乐的交互矩阵来构建音乐之间的相似矩阵，然后以倒排序索引的形式存储，在线召回时，根据用户的历史行为作为触发，查询倒排序索引，得到相似音乐集合，最后聚合得到topK召回集合。但是，这种召回方式依赖于大规模的用户音乐交互数据来挖掘共现信息，对于新的音乐，由于与用户没有任何交互数据，这种召回方式则难以实现精确召回，进而也难以实现精准的推荐。

基于表征嵌入的召回借鉴Word2vec(是一种词嵌入方式，用于计算每个单词在其给定语料库环境下的分布式词向量)的思想，将用户的行为看作一个句子，认为一个滑窗内的两个相邻音乐是相似的，那这两个向量音乐的词向量也应该近似。依照此假设，构建正样本和负样本，并构建模型用于召回，最终根据模型学习到的音乐向量构建相似度检索索引，在线召回时，根据用户历史行为作为触发，查询倒相似度检索索引，得到topK召回集合。但是，这种方式是从大规模用户音乐交互数据来捕捉音乐间的关联，难以支持对新的音乐来进行召回。

由上可以看出，现有的这些召回策略都难以解决音乐的冷启动问题。另外，音乐通常会存在长尾效应，长尾效应可理解是与音乐的热度有关，热度更高的音乐通常能更长久地保持热度，而热度较低的音乐在音乐平台上的热度往往是稍瞬即逝。基于此，在解决音乐的冷启动问题时，也需要考虑音乐的长尾效应对于召回准确度的影响。

综合如上问题，本申请的实施例分别提供一种特征编码模型训练方法及装置、媒体对象推荐方法及装置、电子设备和计算机可读存储介质，下面将对这些实施例进行详细描述。另外需要说明的是，本申请的实施例提及的特征编码模型作用于推荐系统的召回层，采用本申请实施例训练得到的特征编码模型能够在冷启动场景下，针对新的媒体对象获得精确的topK召回集合，进而作用于实现更加精准的媒体对象推荐，详细的作用过程请参见下述实施例中的记载，在此不进行赘述。另外还需要理解的是，本申请的实施例提及的媒体对象例如包括音乐、视频、新闻咨询等，在此也不进行限制。

请参阅图1，图1是本申请涉及的实施环境的示意图。该实施环境可理解为是一种媒体对象推荐系统，包括媒体终端110和媒体服务端120，媒体终端110和媒体服务端120之间基于预先建立的有线或者无线通信连接进行数据传输。

媒体终端110例如是智能手机、平板、笔记本电脑、计算机、车载终端等设备，媒体终端110通常面向用户，用于提供用户交互界面以与用户进行交互，例如媒体终端110上运行有媒体平台，如音乐平台、视频平台、新闻咨询平台等，用户可在媒体终端110上操作这些平台，由此进行相关用户交互，产生用户行为数据。

媒体服务端120例如是服务器，用于为媒体终端110中媒体平台的运行提供数据支持。例如，媒体终端110将用户行为数据上传至媒体服务端120中存储或处理，或者在冷启动场景下，媒体终端110将用户传入的新的媒体对象传输给媒体服务端120，使得媒体服务端120将此新的媒体对象推荐给对其感兴趣的用户。

需要说明的是，媒体终端110和媒体服务端120的功能可以根据实际的应用需求进行确定，本实施环境并不对媒体服务端120的功能媒体服务端120的具体功能进行限制。另外需理解的是，本实施环境提及的服务器可以是独立的物理服务器，还可以是多个物理服务器构成的服务器集群或者分布式系统，或者还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，在此也不进行限制。

请参阅图2，图2是本申请的一示例性实施例示出的特征编码模型训练方法的流程图。该特征编码训练方法可以适用于图1所示的实施环境，例如由图1所示实施环境中的媒体服务端120具体执行，用以通过训练得到的特征编码模型实现冷启动场景下对于新的媒体对象的推荐。

还需要理解的是，图1所示的特征编码模型训练方法也可以应用于其它的实施环境，并由其它实施环境中的终端设备或者服务器执行，用以训练得到特征编码模型，本实施例并不对特征编码模型训练方法的具体执行主体进行限制。

如图2所示，该示例性的特征编码模型方法包括步骤S210-S260，详细介绍如下：

S210，构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量。

首先说明的是，特征编码模型是用于针对输入信号提取编码向量的机器学习模型，通过对特征编码模型进行训练，以得到满足实际应用需求的特征编码模型。在本申请的实施例中，特征编码模型满足实际应用需求可理解为是，采用训练好的特征编码模型提取出的编码向量可以提升媒体对象推荐过程中的召回精确度，从而使得最终可以将待推荐的媒体对象更加准确地推荐给对其感兴趣的用户。

示例性的，特征编码模型可以采用双向编码器(Bidirectional EncoderRepresentation from Transformers，BERT)、多层感知机(Multilayer Perception，MLP)、卷积神经网络(Convolutional Neural Networks，CNN)、注意力网络(Attention Network，AttNet)等模型结构，本申请的实施例不对特征编码模型的具体模型结构进行限制。

目标样本和正样本是指从已经实现媒体对象到媒体对象的召回、且召回效果较好的媒体对象组中提取出的样本对。媒体对象到媒体对象的召回可以理解为召回与前一个媒体对象相似的后一个媒体对象，举例来说，媒体对象A到媒体对象B的召回即为召回与媒体对象A相似的媒体对象B。召回效果较好可以理解是此次召回较为成功地实现了媒体对象的推荐，例如将媒体对象A推荐给召回的媒体对象B的用户，而这些用户对媒体对象A的感兴趣程度较高。基于此，媒体对象A和媒体对象B可以称为一个媒体对象组，媒体对象A可作为目标样本，媒体对象B可作为正样本。

如上所述，正样本可以理解为是召回效果较好的样本，负样本则可以相应理解为是召回效果较差的样本，对比样本可以理解为是用于进行召回效果对比的样本，例如对比样本可以是随机采样得到的样本，其与召回效果的好坏并无直接的关联关系。

目标样本、正样本、负样本和对比样本的初始向量是指对这些样本的特征数据进行表征嵌入所得到的向量，表征嵌入又称为“embedding”，其通过使用一个低维、稠密、连续的向量来表示一个对象，本实施例即是通过相应的初始向量来表示各个样本。可以理解的，目标样本、正样本、负样本和对比样本各自的初始向量中包含了多个特征，例如以媒体对象为音乐为示例，多个特征例如包括类别特征、音频特征、歌词特征等，每个特征对应各自的特征向量，由多个特征各自的特征向量组合形成了各样本的初始向量。

S220，根据特征编码模型对目标样本、正样本和负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量。

本实施例将目标样本、正样本和负样本各自的初始向量分别作为输入信号输入至待训练的特征编码模型，即可获得特征编码模型相应输出的各样本的编码向量。可以理解的，特征编码模型用于从输入的初始向量中提取更深层次的信息，因此各样本的编码向量相比于各样本的初始向量来说是更深层次的向量表征。

预设用户兴趣群体矩阵是预先收集了多个用户兴趣群体的用户数据，并从这些用户数据中提取出来的矩阵。其中，用户兴趣群体可以理解为是一个用户群体具有统一的兴趣，例如以媒体对象为音乐为例，某个用户群体喜欢朋克音乐，另一用户群体喜欢民谣音乐。

本实施例计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量，以通过关联性向量来体现出各样本被哪个用户兴趣群体所喜爱或感兴趣，使得后续基于关联性向量来计算第一损失值，并根据第一损失值对特征编码模型进行训练，可以使得最终训练得到的特征编码模型在编码过程中能感知用户兴趣群体，提升了模型编码的可解释性，后续使得训练得到的特征编码模型可以作用于媒体对象的精确召回。

S230，计算目标样本对应的关联性向量与正样本对应的关联性向量之间的第一相似度值，以及计算目标样本对应的关联性向量与负样本对应的关联性向量之间的第二相似度值，根据第一相似度值和第二相似度值计算第一损失值。

为提升更好的召回性能，目标样本和正样本所体现出的被各个用户兴趣群体喜爱或感兴趣的分布应当是更加一致的，而目标样本与负样本所体现出的被各个用户兴趣群体喜欢或感兴趣的分布应当强调差异化，因此在特征编码模型的训练过程中，应当同时考虑正样本和负样本的如上情况，因此本实施例需要计算目标样本对应的关联性向量与正样本对应的关联性向量之间的第一相似度值，以及计算目标样本对应的关联性向量与负样本对应的关联性向量之间的第二相似度值，根据第一相似度值和第二相似度值计算第一损失值。

S240，将对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到对比样本对应的多个特征向量组，并对多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据特征编码模型对多个掩码向量分别进行特征编码，获得对比样本对应的多个编码向量。

如前所述，对比样本的初始向量有对比样本的多个特征所各自对应的特征向量组合形成。本实施例将对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，可以是预先设置了特征向量组的数量，从而根据对比样本的初始向量中包含的特征的数量来进行均匀的特征分组，以得到对应的多个特征向量组。或者，也可以采用其它的分组策略来实现特征向量的分组处理，可以参见后续实施例中的记载，本实施例在此不进行赘述，且本实施例也不对具体的分组方式进行限制。

本实施例对多个特征向量组进行不同的特征掩码处理是指，针对每个特征向量组采用不同的掩码方式进行遮掩或加噪，以得到对应的多个掩码向量。不同的掩码方式例如包括随机遮掩、跨度遮掩、均匀噪声等，在此不进行限制。可以理解的，随机遮掩是指从特征向量组中随机采样一定比例的向量元素位置进行遮掩，跨度遮掩是指从特征向量组中随机采样一个向量元素位置后，从该位置开始连续遮掩一定比例的向量元素位置，均匀噪声是指均匀地对整个特征向量组叠加噪声数据。

接下来根据待训练的特征编码模型对如上得到的多个掩码向量分别进行特征编码，由此可以得到对比样本对应的多个编码向量。可以看出，本实施例先将对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到对比样本对应的多个特征向量组，然后对每个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，再根据特征编码模型对多个掩码向量分别进行特征掩码，以得到对比样本对应的多个编码向量，通过此过程则能够得到同一对比样本的不同视图表征。也可以理解为是由于每个编码向量是从同一对比样本的初始向量中进行特征向量分组后，采用不同的掩码方式进行遮掩，并对得到的掩码向量进行特征编码所得到，由此可将所得到得多个编码向量称为是同一对比样本的不同视图表征。

S250，计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据第三相似度值和第四相似度值计算第二损失值。

为提升更好的召回性能，同一对比样本的不同视图表征应当是更加一致的，而不同的对比样本之间的视图表征应当强调差异性，因此在特征编码模型的训练过程中，应当考虑如此情况，因此本实施例需要计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据第三相似度值和第四相似度值计算第二损失值。后续基于第二损失值来对特征编码模型进行训练，可以使得最终训练得到的特征编码模型能够增加其向量表征的能力，而这种能力可以有效解决长尾效应的问题，例如本实施例训练得到的特征编码模型在特征编码的过程中能够充分提取长尾媒体对象的表征。

需理解的是，仍以媒体对象为音乐为示例，本处提及的长尾媒体对象是指热度不高的音乐，在音乐推荐场景中，音乐平台上通常仅有20％的音乐就占据了80％的平台流量，在训练样本中长尾音乐的占比通常较低，导致普通训练所得到的特征编码模型能够精确地对热度较高的音乐提取编码向量，而难以精确提取长尾音乐的编码向量，从而影响在线召回的精确性，而本实施例基于第二损失值所训练得到的特征编码模型则可以有效解决此问题。

S260，基于第一损失值和第二损失值对特征编码模型进行联合训练。

基于如上记载可知，本实施例基于第一损失值和第二损失值对特征编码模型进行联合训练，可使得训练得到的特征编码模型在特征编码过程中不仅能够感知用户兴趣群体，还能够应对长尾效果所导致的不准确问题，由此使得训练得到的特征编码模型在解决冷启动问题的过程中能够促进媒体对象的准确召回，从而实现将新的媒体对象更加准确地推荐给相关的用户。

为了便于理解上述实施例提及的特征编码模型的训练过程，以下将结合媒体对象推荐场景来对此训练过程进行详细描述。并且作为示例，媒体对象也将以音乐作为示例性的记载，但不应理解为是将媒体对象限制解释为音乐，如前述实施例记载的，媒体对象包括但不限于音乐、视频、新闻资讯等媒体对象。

如图3所示，示例性的，在图2所示的步骤S210之前，特征编码模型的训练方法还包括如下步骤S310-S330：

S310，获取媒体对象推荐数据日志和媒体对象元数据，媒体对象推荐数据日志中含有媒体对象到媒体对象的召回信息；

S320，根据媒体对象推荐数据日志计算媒体对象到媒体对象的召回成功率，以及从媒体对象元数据中提取出多个特征；

S330，将召回成功率大于预设全局概率的媒体对象组中的参照媒体对象和推荐媒体对象分别确定为目标样本和正样本，并对确定出的正样本进行负采样得到对应的多个负样本，以及对所述媒体对象推荐数据日志进行采样以得到对比样本。

如上过程揭示了目标样本、正样本、负样本和对比样本的获取过程。在步骤S310中，媒体对象推荐数据日志是指推荐系统中记录的关于媒体对象的历史推荐数据，例如是通过推荐系统的后台日志或数据库收集的历史N天的推荐数据日志，N为大于0的整数。媒体对象推荐数据日志中含有媒体对象到媒体对象的召回信息是指，从媒体对象推荐数据日志中可以获知，某个媒体对象是经由另一个媒体对象召回的。媒体对象元数据是指用于描述媒体对象的某种特性的数据，例如以音乐为例，媒体元数据可以指描述类别特征、音频特征、歌词特征的数据。

在步骤S320中，由于媒体对象推荐数据日志记录了关于媒体对象的历史推荐数据，因此可以从中获取相应的推荐反馈信息，根据推荐返回信息可以确定媒体对象到媒体对象的召回成功率。例如以音乐为例，可以将红心率或者完播率作为召回成功率，红心率是指将音乐A推荐给音乐B的用户后，用户行为数据记录了用户给音乐A点红心的概率，其中用户给音乐点红心可理解为是用户喜爱该音乐，完播率是指用户行为数据记录了用户完整播放音乐A的概率。由于媒体对象元数据是指用于描述媒体对象的某种特性的数据，因此可以从媒体对象元数据中提取出媒体对象对应的多个特征，如前所述的类别特征、音频特征、歌词特征等。

在步骤S330中，预设全局概率是一个预设值，若某组媒体对象的召回成功率大于该预设值，则表示该组媒体对象的召回效果较好，因此将该媒体对象组中的参照媒体对象和推荐媒体对象分别确定为目标样本和正样本。需要理解的是，在将音乐A推荐给音乐B的用户的示例性场景下，音乐A作为推荐媒体对象，也即是正样本，音乐B作为参照媒体对象，也即是目标样本。在确定出正样本之后，对正样本进行负采样是指针对每个正样本采样M个负样本，M为大于0的整数，例如可以对与正样本具有相同用户的音乐集中采集得到负样本，或者可以从媒体对象推荐数据日志中统计出所有出现的媒体对象以及每个媒体对象的出现频率，然后基于媒体对象的出现频率从这些媒体对象中采样得到负样本，因此对于出现频率较高的媒体对象也更容易被采样作为负样本，可以根据实际需求来选择。对媒体对象推荐数据日志进行采样可理解为在媒体对象推荐数据日志中进行均匀采样或随机采样，以得到对比样本。

由上可以看出，本实施例获取的目标样本和正样本能够反映较好的召回效果，负样本并未直接与召回过程关联，因此召回效果相比于正样本应较差，对比样本由于是从媒体对象推荐数据日志中均匀采样或随机采样所得到，对比样本则相对正样本和负样本来说更具有独立性。并且，本实施例由于是通过媒体对象推荐数据日志获取的各样本，也使得这些样本蕴含了协同过滤的信息。

本实施例获取的这些样本可以统称为用于训练特征编码模型的训练样本，也即本实施例可以得到如下所示的用于训练特征编码模型的四元组样本集合

其中i^a、i⁺、i^-和i^c分别表示目标样本、正样本、负样本和对比样本各自的媒体对象标识码，例如音乐ID，

和

分别表示正样本集和负样本集，

表示对比样本集。

在获得上述四元组样本集合

之后，则可基于集合中的各样本对特征编码模型进行训练，并且如步骤S210中记载的，需相应获取各样本的初始向量。对于任意一个样本x_i，它的初始向量可表示如下：

特征的embedding表征，也称为各特征对应的特征向量，K表示样本x_i的最大特征数量，d表示embedding维度，也即特征向量的维度。

由此可以相应获得如下所示的训练样本的初始向量集合χ：

接下来如步骤S220中记载的，构建待训练的特征编码模型，然后根据待训练的特征编码模型对目标样本、正样本、负样本各自的初始向量进行特征编码，获取各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量的过程可表示为如图4所示。

参见图4，将特征编码模型表示为f_θ，特征编码的过程则可表示如下：

z_i＝f_θ(x_i)

目标样本、正样本和负样本各自的初始向量经由上式进行计算可以得到相应的三个编码向量，θ表示特征编码模型的训练参数。具体来说，目标样本的初始向量

经由特征编码得到编码向量

正样本的初始向量

经由特征编码得到编码向量

负样本的初始向量

经由特征编码得到编码向量

各样本的编码向量分别为各自样本的深层表征，且汇聚了各自样本的多个特征，维度为d_e。

预设用户兴趣群体矩阵可表示为

其中E表示用户兴趣群体的数量，每个用户兴趣群体的表征维度为d_e，与各样本的编码特征的维度相同。各样本的编码向量分别与预设用户兴趣群体矩阵计算关联性向量可表示为如下公式：

基于上式可计算得到各样本对应的关联性向量，表示为

其中τ表示维度系数，用于控制离散分布的聚集程度。在所得到的各样本对应的关联性向量中，可以获知各样本与每个用户兴趣群体之间的关联程度的分布情况，例如图4所示，关联性相应对应的柱状图中，每根柱子的高低反映了样本与对应用户兴趣群体之间的关联程度大小。因此，基于各样本的编码向量与预设用户兴趣群体矩阵之间的关联性向量，可以很好地说明样本被哪个用户兴趣群体所喜爱，用以提升训练得到的特征编码模型的可解释性。并且还需说明的是，在冷启动场景下，由于新的媒体对象没有用户交互数据，在召回过程中无法精确到用户层面，但可以基于本申请训练得到的特征编码模型提取能够精确到兴趣群体的层面的编码特征，由此证明了本申请基于用户兴趣群体来训练模型的合理性，这也符合召回层的要求。

接下来，在步骤S230中可以通过如下公式计算第一损失值L_s：

其中

表示由目标样本、正样本和负样本构成的训练集，sim(·)表示向量间的相似度，如cosin相似度，

表示目标样本对应的关联性向量，

表示正样本对应的关联性向量，

表示负样本对应的关联性向量。在示例性的实施方式中，编码向量和预设用户兴趣群体矩阵都经过了线性层进行了归一化处理，因此关联性向量是通过计算cosin相似度得到的，但由于cosin相似度的至于范围较低，容易导致训练过程中应用梯度下降方式存在较低的上限，因此上式中增加可一个调节项e^t，用于拉伸值域范围，t理解为是调节系数。

接下来，步骤S240中将对比样本的初始向量中包含的多个特征分别对应的特征向量分组，以得到对比样本对应的多个特征向量组的过程可参见图5所示，包括如下所示的步骤S241-S242：

S241，根据对比样本的初始向量计算对应的特征关联矩阵；

S242，从对比样本的初始向量中采样得到种子特征，并基于种子特征和特征关联矩阵对初始向量中包含的多个特征对应的特征向量进行分组，以得到对比样本对应的多个特征向量组。

首先需说明的是，对于任意样本x_i的初始向量，其由多个特征对应的特征向量组成，例如图6所示，每个矩形框表征样本x_i的每个特征，而每个特征关联了对应的特征向量在图6中未示出。因此，对比样本的初始向量中也包含了多个特征所各自对应的特征向量，步骤S241中根据对比样本的初始向量计算对象的特征关联矩阵也即是针对对比样本的初始向量中的多个特征之间计算关联性，从而构建得到特征关联矩阵。

在一些示例性的实施方式中，若假设对比样本为音乐，且对比样本的初始向量包含名称、抒情、音频、语言、地域、类别、性别7个特征，通过对任意两个特征对应的特征向量计算关联性，并根据任意两个特征对应的特征向量之间的关联性构建初始关联矩阵，可以得到如图7所示的特征关联矩阵。如图7所示，可将这7个特征依次排列，得到相应的特征序列，将此特征序列同时作为特征关联矩阵的纵向和横向特征排布，将纵向序列和横向序列中任意两个特征对应的关联性的数值填入相应的位置，则得到如图7所示的特征关联矩阵，因此根据图7可以明确得到对比样本的初始向量中的任意两个特征对应的特征向量之间的关联程度。

示例性的，任意两个特征对应的特征向量之间的关联性dCor_ij可通过如下公式计算得到：

其中i和j分别表示任意的两个特征，也即对比样本的初始向量中的第i个特征和第j个特征，e^(.)表示特征对应的特征向量，dVar(e⁽ⁱ⁾)表示特征向量e⁽ⁱ⁾的距离方差，dCov(e⁽ⁱ⁾,e^(j))表示任意两个特征对应的特征向量的距离斜方差。

在另一些示例性的实施方式中，考虑到随着训练的不断进行，特征编码模型进行特征编码所得到的深层表征应是动态更新的，因此引入一种自引导机制来动态调整特征向量之间的关联性。在此场景下，通过如上过程所构建得到的如图7所示的矩阵并非直接作为特征关联矩阵，而是作为初始关联矩阵，后续需根据训练步数来对初始关联矩阵进行动态更新，将更新后的矩阵作为特征关联矩阵。

示例性的，通过如下公式来实现特征向量之间的关联性的动态调节：

C_ij＝αC_ij+(1-α)dCor_ij

其中C表示特征关联矩阵，C_ij表示特征关联矩阵中任意两个特征对应的特征向量之间的关联性对应的矩阵元素位置，C_ij是累计的，dCor_ij表示当前步的任意两个特征对应的特征向量之间的关联性，α表示更新系数，例如可预设为0.99，以保持一个缓慢更新的过程。上式采用了指数移动加权平均的方式来更新特征关联矩阵，例如可设置每隔m步计算更新一次，在此不进行限制。

在步骤S242中，从对比样本的初始向量中采样得到种子特征是指，从初始向量包含的多个特征中随机采样一个特征以作为种子特征。下面将以图7所示的特征关联矩阵作为示例，对基于种子特征和特征关联矩阵对初始向量中包含的多个特征对应的特征向量进行分组的过程进行示例性的介绍。

例如，若需要得到对比样本的两个特征向量组，可以从特征关联矩阵中确定与种子特征最相关的一半特征，将这一半特征对应的特征向量划分为一个特征向量组，剩下的一半特征对应的特征向量相应划分为另一个特征向量组。参照图7所示的特征关联矩阵，若假设种子特征为名称，抒情、语言和地域这3个特征与种子特征的关联性高于音频、类别和性别这3个特征与种子特征的关联性，因此将抒情、语言和地域这3个特征对应的特征向量划分为一个特征向量组，将音频、类别和性别这3个特征对应的特征向量划分为另一个特征向量组。

同理，若需要得到大于两个特征向量组，则可以按照同样的方式依据特征关联矩阵中示出的与种子特征之间的关联性大小依次将多个特征均匀划分为至少两个组，从而相应得到至少两个特征向量组。仍参照图7所示的特征关联矩阵，可将抒情和语言这2个特征对应的特征向量划分为第一个特征向量组，将地域和音频这2个特征对应的特征向量划分为第二个特征向量组，将类别和性别这2个特征对应的特征向量划分为第三个特征向量组。

依此类推，可将多个特征向量组的数量表示为n，根据初始向量中包含的多个特征的数量减去1可得到一个数值，将这个数值乘以1/n可得到每隔特征向量组对应的特征数量，按照与种子特征关联性由大至小或者由小至大的排序对多个特征中除种子特征以外的其它特征进行排序，得到特征序列，然后从特征序列中依次提取与特征数量相匹配的特征，得到多个特征分组，将每个特征分组包含的特征对应的特征向量划分为一个特征向量组，从而得到对比样本对应的多个特征向量组。

或者在另外的示例性实施方式中，可以仍将多个特征向量组的数量表示为n，将对比样本的初始向量中包含的多个特征的数量表示为m，在采样得到第一种子特征后，在特征关联矩阵对初始向量中包含的多个特征中除去第一种子特征以外的其它特征中，选取与第一种子特征的关联性排名为topm/n的第一目标特征，将选取出的第一目标特征对应的特征向量划分为一个特征向量组，并将多个特征中除去第一目标特征之外的特征作为第一候选特征组；接下来，重新在第一候选特征组中采样得到第二种子特征，然后根据特征关联矩阵从第一候选特征组中除去第二种子特征以外的其它特征中，选取与第二种子特征的关联性排名为topm/n的第二目标特征，将选取出的第二目标特征对应的特征向量划分为一个特征向量组，同时将第一候选特征组中除去第二目标特征之外的特征作为第二候选特征组；如此循环地执行从上一轮得到的候选特征组中划分出关联性排名为topm/n的目标特征，并得到相应的一个特征向量组和候选特征组的过程，直至得到的特征向量组的总数为n，则视为完成了多个特征向量组的划分。

又或者，在上述实施方式的基础上，也可将最后一轮得到的候选特征组对应的特征向量划分为一个特征向量组，当得到的特征向量组的总数达到n时，即视为完成了多个特征向量组的划分。需要说明的是，如上所示例的特征向量组的划分方式可以根据实际的应用需求进行选择，本处不对此进行限制。

接下来，步骤S240对多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量的过程可以包括如图8所示的步骤S243-S244：

S243，从预设的数据增强操作符集合中随机采样多个数据增强操作符；

S244，基于采样得到的多个数据增强操作符分别对多个特征向量组进行特征掩码处理，以得到对应的多个掩码向量。

考虑到在使用数据增强操作符构造对比样本的不同视频表征时，如果随机挑选特征进行遮掩或加噪可能会导致训练任务过于简单，例如在前述示例的7个特征中，如果仅对语言特征进行了遮掩，但没有对地域特征进行遮掩，特征编码模型则可以轻松地从地域特征中学习到更深层级的表征。基于此，本申请的实施例提出前述的关联分组机制，先获取对比样本的多个特征向量组，然后分别对不同的特征向量组采用不同的特征掩码方式进行处理。

预设的数据增强操作符集合中例如包括随机遮掩、跨度遮掩、均匀噪声等数据增强操作符，在此不进行限制，不同的数据增强操作符代表不同的特征掩码处理方式。便于理解的，类比于计算机视觉领域，假设一示例性样本为图9所示的图片，数据增强操作符集合G中包含随机遮掩、跨度遮掩、均匀噪声三种数据增强操作符，利用这三种数据增强操作符对该图片的特征向量分别进行随机遮掩、跨度遮掩和均匀噪声的特征掩码处理，可以得到图9所示的处理效果。

相应的，本申请的实施例从预设的数据增强操作符集合中随机采样多个数据增强操作符，基于采样得到的多个数据增强操作符分别对多个特征向量组进行特征掩码处理，所对应得到的多个掩码向量体现了不同的掩码效果。

之后，步骤S240还根据特征编码模型对多个掩码向量分别进行特征编码，以获得对比样本对应的多个编码向量。需说明的是，这里提及的特征编码模型与步骤S220中提及的特征编码模型共享网络参数。

还需说明的是，在一些示例性的实施方式中，在执行步骤S240时，还可以在特征编码模型之上再构建一层映射网络，用于将特征编码模型输出的向量投射到新的向量空间，由此得到对应的编码向量，具体的计算过程如下：

h_i＝g_φ(z_i),z_i＝f_θ(x_i)

其中f_θ(.)和g_φ(.)分别表示特征编码模型和映射网络，θ和φ分别表示特征编码模型的参数和映射网络的参数，x_i表示任意样本的表征向量，z_i表示经特征编码模型对表征向量x_i进行特征编码处理所得到的结果。

若以得到对比样本的2个特征向量组作为示例，对这2个特征向量组分别进行不同的特征编码处理，得到对应的2个掩码向量，再根据特征编码模型、或者特征编码模型加上映射网络进行特征编码处理后，可以得到对应的2个编码向量，例如表示为

和

如上示例的获取对比样本对应的多个编码向量的整体过程可表示为图10所示流程。如图10所示，示例性的，对比样本的初始向量表示为

将初始向量

中包含的多个特征对应特征向量进行分组，相应得到2个特征向量组，然后从数据增强操作符集合G中分别针对每个特征向量组进行采样得到a′和a″两种数据增强操作符，并通过采样得到的数据增强操作符对相应的特征向量组进行特征掩码处理，以得到对比样本对应的2个掩码向量

和

然后根据特征编码模型f_θ分别对这2个掩码向量进行特征编码，输出相应的向量结果

和

然后经由特征编码器上层叠加的映射网络进一步处理输出相应的编码向量

和

接下来仍以对比样本对应的2个编码向量为示例，步骤S250中计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据第三相似度值和第四相似度值计算第二损失值L_c的过程可以表示为如下公式：

其中

表示对比样本集，i^k和i^c是该对比样本集

中的两个不同的对比样本，i^k对应的2个编码向量表示为

和

i^c对应的2个编码向量表示为

和

表示同一对比样本的2个编码向量之间的第三相似度，

表示不同对比样本的编码向量之间的第四相似度，第三相似度和第四相似度均可以是cosin相似度，τ₁表示温度系数，其通常是一个预设值。

可以将本申请实施例提供的特征编码模型的训练过程作为多任务学习的过程，具体来说，如上记载的步骤S220和步骤S240所示的过程可以看作是两个不同的任务，例如表示为提升召回精确性的任务和解决长尾效应的任务，因此在步骤S260中基于第一训练损失值和第二训练损失值对特征编码模型进行联合训练的过程也就是多任务学习的过程。

示例性的，步骤S260中基于第一训练损失值和第二训练损失值对特征编码模型进行联合训练的过程可以包括如图11所示的步骤S261-S263：

S261，获取特征编码模型对应的参数正则化强度值；

S262，计算参数正则化强度值和第二损失值之间的权重和，并计算该权重和与第一损失值之间的总和值；

S263，将总和值作为训练损失总值对特征编码模型进行训练。

需要说明的是，步骤S261中提及的特征编码模型对应的参数正则化强度值是指特征编码模型的一个预设模型参数，特征编码模型的模型参数在训练过程中会不断变化，但不能无限制的增长，这个预设模型参数就是用来限制特征编码模型的模型参数在训练过程中的变化要在一定范围内。示例性的，可通过如下公式计算训练总损失值L：

其中L_s则表示第一损失值，L_c表示第二损失值，

表示参数正则化强度值，λ₁和λ₂分别是参数正则化强度值和第二损失值各自对应的权重，也可以理解为是预设的超参数。

基于如上的特征编码模型的训练过程可知，本申请的实施例基于第一损失值和第二损失值对特征编码模型进行联合训练，可使得训练得到的特征编码模型在特征编码过程中不仅能够感知用户兴趣群体，还能够应对长尾效果所导致的不准确问题，由此使得训练得到的特征编码模型在解决冷启动问题的过程中能够促进媒体对象的准确召回，从而实现将新的媒体对象更加准确地推荐给相关的用户。

下面将以如上训练得到的特征编码模型在媒体对象推荐场景中的应用作为示例，来对本申请实施例提出的特征编码模型方法能够解决冷启动问题的过程进行详细描述。

请参阅图12所示，图12是本申请的一示例性实施例示出的媒体对象推荐方法的流程图，该方法包括步骤S1210-1240，详细介绍如下：

S1210，获取待推荐媒体对象的初始向量，并采用训练得到的特征编码模型根据该初始向量计算待推荐媒体对象的编码向量。

在本实施例提及的冷启动场景下，待推荐媒体对象是指新的媒体对象，例如是音乐平台上新上传的音乐。待推荐媒体对象在冷启动场景下通常不存在用户交互数据。

待推荐媒体对象的初始向量的获取方式与特征编码模型的训练样本的初始向量的获取方式一致，具体可以参见前述实施例中的记载，在此不进行赘述。

采用上述实施例提及的特征编码模型训练方法训练得到的特征编码模型计算待推荐媒体对象的编码向量，使得该编码向量中不仅蕴含了用户兴趣群体的信息，还蕴含了解决长尾效应问题的信息，基于此编码向量进行召回能够更好地解释为什么被召回的媒体对象与待推荐媒体相似，以及在长尾效果的影响下基于此编码向量召回的媒体对象能够避免由于对长尾媒体对象的表征提取不足所导致的召回偏差，因此使得后续基于此编码特征召回的媒体对象的精确性更高，也即，后续基于此编码特征召回的媒体对象所关联的用户对于待推荐媒体对象感兴趣的程度也更高。

S1220，计算编码向量与预设用户兴趣群体矩阵之间的关联性向量。

本实施例提及的预设用户兴趣群体矩阵也即是特征编码训练过程中提及的预设用户兴趣群体矩阵，计算待推荐媒体对象的编码向量与预设用户兴趣群体矩阵之间的关联性向量的过程也与特征编码训练过程中提及的关联性向量计算过程同理，本实施例在此也不进行赘述。

S1230，在向量池中查询与待推荐媒体对象的关联性向量近似的多个目标媒体对象，向量池用于存储预收集的媒体对象的关联性向量，并且预收集的媒体对象的关联性向量是通过特征编码模型获得对应的编码向量后，基于预设用户兴趣群体矩阵计算出的。

在向量池中查询与待推荐媒体对象的关联性向量近似的多个目标媒体对象则体现的是在线召回策略。在线召回时，在计算得到待推荐媒体对象的编码向量与预设用户兴趣群体矩阵之间的关联性向量之后，通过在向量池中进行近邻搜索，得到topK集合，该topK集合即对应与待推荐媒体对象的关联性向量近似的多个目标媒体对象。可以理解的，本实施例召回的多个目标媒体对象是与待推荐媒体对象最为相似的媒体对象，因此后续向目标媒体对象关联的用户推荐该待推荐对象，可以保证这些用户也是对该待推荐对象感兴趣的，由此提升推荐的准确性。

S1240，根据各目标媒体对象的关联性向量与待推荐媒体对象的关联性向量之间的近似度数值，对多个目标媒体对象进行排序，并基于排序结果将待推荐媒体对象推荐至目标媒体对象关联的用户。

由于在线召回过程会计算各目标媒体对象的关联性向量与待推荐媒体对象的关联性向量之间的近似度数值，因此根据这些近似度数值之间的由大至小或者由小至大的顺序，对多个目标媒体对象进行排序，这也即是排序模型的功能。最后基于排序结果将待推荐媒体对象推荐至目标媒体对象关联的用户，由此则可实现精确的媒体对象推荐，以解决相应的冷启动问题，如当媒体对象为音乐时的音乐冷启动问题。

请参阅图13，图13是本申请的一示例性实施例示出的特征编码模型训练装置的框图，该特征编码模型训练装置包括：

构建模块1310，配置为构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量；

第一提取模块1320，配置根据特征编码模型对目标样本、正样本和负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量；

第一计算模块1330，配置为计算目标样本对应的关联性向量与正样本对应的关联性向量之间的第一相似度值，以及计算目标样本对应的关联性向量与负样本对应的关联性向量之间的第二相似度值，根据第一相似度值和第二相似度值计算第一损失值；

第二提取模块1340，配置为将对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到对比样本对应的多个特征向量组，并对多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据特征编码模型对多个掩码向量分别进行特征编码，获得对比样本对应的多个编码向量；

第二计算模块1350，配置为计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据第三相似度值和第四相似度值计算第二损失值；

联合训练模块1360，配置为基于第一损失值和第二损失值对特征编码模型进行联合训练。

在另一示例性实施例中，第二提取模块1340包括：

矩阵计算单元，配置为根据对比样本的初始向量计算对应的特征关联矩阵；

分组单元，配置为从对比样本的初始向量中采样得到种子特征，并基于种子特征和特征关联矩阵对初始向量中包含的多个特征对应的特征向量进行分组，以得到对比样本对应的多个特征向量组。

在另一示例性实施例中，分组单元包括：

构建子单元，配置为对对比样本的初始向量中包含的任意两个特征对应的特征向量计算关联性，并根据任意两个特征对应的特征向量之间的关联性构建初始关联矩阵；

更新子单元，配置为根据当前对应的训练步数对初始关联矩阵中的各元素进行动态更新，以得到特征关联矩阵。

在另一示例性实施例中，第二提取模块1340还包括：

采样单元，配置为从预设的数据增强操作符集合中随机采样多个数据增强操作符；

掩码单元，配置为基于采样得到的多个数据增强操作符分别对多个特征向量组进行特征掩码处理，以得到对应的多个掩码向量。

在另一示例性实施例中，联合训练模块1360包括：

信息获取单元，配置为获取特征编码模型对应的参数正则化强度值；

信息计算单元，配置为计算参数正则化强度值和第二损失值之间的权重和，并计算权重和与第一损失值之间的总和值；

训练单元，配置为将总和值作为训练损失总值对特征编码模型进行训练。

在另一示例性实施例中，该特征编码模型训练装置还包括：

第一信息提取模块，配置为获取媒体对象推荐数据日志和媒体对象元数据，媒体对象推荐数据日志中含有媒体对象到媒体对象的召回信息；

第二信息提取模块，配置为根据媒体对象推荐数据日志计算媒体对象到媒体对象的召回成功率，以及从媒体对象元数据中提取出多个特征；

样本提取模块，配置为将召回成功率大于预设全局概率的媒体对象组中的参照媒体对象和推荐媒体对象分别确定为目标样本和正样本，并对确定出的正样本进行负采样得到对应的多个负样本，以及对媒体对象推荐数据日志进行采样以得到对比样本。

需要说明的是，上述实施例所提供的特征编码模型训练装置与上述实施例所提供的特征编码模型训练方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的特征编码模型训练装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

图14是本申请的一示例性实施例示出的媒体对象推荐装置的框图，该媒体对象推荐装置包括：

获取模块1410，配置为获取待推荐媒体对象的初始向量，并采用前述实施例提及的特征编码模型训练方法训练得到的特征编码模型根据初始向量计算待推荐媒体对象的编码向量；

计算模块1420，配置为计算编码向量与预设用户兴趣群体矩阵之间的关联性向量；

召回模块1430，配置为在向量池中查询与待推荐媒体对象的关联性向量近似的多个目标媒体对象，向量池用于存储预收集的媒体对象的关联性向量，并且预收集的媒体对象的关联性向量是通过特征编码模型获得对应的编码向量后，基于预设用户兴趣群体矩阵计算出的；

推荐模块1440，配置为根据各目标媒体对象的关联性向量与待推荐媒体对象的关联性向量之间的近似度数值，对多个目标媒体对象进行排序，并基于排序结果将待推荐媒体对象推荐至目标媒体对象关联的用户。

同样需要说明的是，上述实施例所提供的媒体对象推荐装置与上述实施例所提供的媒体对象推荐方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的媒体对象推荐装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本公开的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的特征编码模型训练方法或者媒体对象推荐方法。

图15示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。需要说明的是，图15示出的电子设备的计算机系统1500仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图15所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)1501，其可以根据存储在只读存储器(Read-Only Memory，ROM)1502中的程序或者从储存部分1508加载到随机访问存储器(Random Access Memory，RAM)1503中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1503中，还存储有系统操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(Input/Output，I/O)接口1505也连接至总线1504。

以下部件连接至I/O接口1505：包括键盘、鼠标等的输入部分1506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1507；包括硬盘等的储存部分1508；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1510上，以便于从其上读出的计算机程序根据需要被安装入储存部分1508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1509从网络上被下载和安装，和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元(CPU)1501执行时，执行本公开的系统中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。

本公开的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的特征编码模型训练方法或者媒体对象推荐方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

上述内容，仅为本公开的较佳示例性实施例，并非用于限制本公开的实施方案，本领域普通技术人员根据本公开的主要构思和精神，可以十分方便地进行相应的变通或修改，故本公开的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种特征编码模型训练方法，其特征在于，所述方法包括：

构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量；

根据所述特征编码模型对所述目标样本、所述正样本和所述负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量；

计算所述目标样本对应的关联性向量与所述正样本对应的关联性向量之间的第一相似度值，以及计算所述目标样本对应的关联性向量与所述负样本对应的关联性向量之间的第二相似度值，根据所述第一相似度值和所述第二相似度值计算第一损失值；

将所述对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到所述对比样本对应的多个特征向量组，并对所述多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据所述特征编码模型对所述多个掩码向量分别进行特征编码，获得所述对比样本对应的多个编码向量；

计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据所述第三相似度值和所述第四相似度值计算第二损失值；

基于所述第一损失值和所述第二损失值对所述特征编码模型进行联合训练。

2.根据权利要求1所述的方法，其特征在于，所述将所述对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到所述对比样本对应的多个特征向量组，包括：

根据所述对比样本的初始向量计算对应的特征关联矩阵；

从所述对比样本的初始向量中采样得到种子特征，并基于所述种子特征和所述特征关联矩阵对所述初始向量中包含的多个特征对应的特征向量进行分组，以得到所述对比样本对应的多个特征向量组。

3.根据权利要求2所述的方法，其特征在于，所述根据对比样本的初始向量计算对应的特征关联矩阵，包括：

对所述对比样本的初始向量中包含的任意两个特征对应的特征向量计算关联性，并根据所述任意两个特征对应的特征向量之间的关联性构建初始关联矩阵；

根据当前对应的训练步数对所述初始关联矩阵中的各元素进行动态更新，以得到所述特征关联矩阵。

4.根据权利要求1所述的方法，其特征在于，所述对所述多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，包括：

从预设的数据增强操作符集合中随机采样多个数据增强操作符；

基于采样得到的多个数据增强操作符分别对所述多个特征向量组进行特征掩码处理，以得到对应的多个掩码向量。

5.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失值和所述第二损失值对所述特征编码模型进行联合训练，包括：

获取所述特征编码模型对应的参数正则化强度值；

计算所述参数正则化强度值和所述第二损失值之间的权重和，并计算所述权重和与所述第一损失值之间的总和值；

将所述总和值作为所述训练损失总值对所述特征编码模型进行训练。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取媒体对象推荐数据日志和媒体对象元数据，所述媒体对象推荐数据日志中含有媒体对象到媒体对象的召回信息；

根据所述媒体对象推荐数据日志计算媒体对象到媒体对象的召回成功率，以及从所述媒体对象元数据中提取出多个特征；

将召回成功率大于预设全局概率的媒体对象组中的参照媒体对象和推荐媒体对象分别确定为目标样本和正样本，并对确定出的正样本进行负采样得到对应的多个负样本，以及对所述媒体对象推荐数据日志进行采样以得到对比样本。

7.一种媒体对象推荐方法，其特征在于，所述方法包括：

获取待推荐媒体对象的初始向量，并采用如权利要求1-6中任一项所述的方法训练得到的特征编码模型根据所述初始向量计算所述待推荐媒体对象的编码向量；

计算所述编码向量与预设用户兴趣群体矩阵之间的关联性向量；

在向量池中查询与所述待推荐媒体对象的关联性向量近似的多个目标媒体对象，所述向量池用于存储预收集的媒体对象的关联性向量，并且所述预收集的媒体对象的关联性向量是通过所述特征编码模型获得对应的编码向量后，基于所述预设用户兴趣群体矩阵计算出的；

根据各目标媒体对象的关联性向量与所述待推荐媒体对象的关联性向量之间的近似度数值，对所述多个目标媒体对象进行排序，并基于排序结果将所述待推荐媒体对象推荐至所述目标媒体对象关联的用户。

8.一种特征编码模型训练装置，其特征在于，所述装置包括：

构建模块，配置为构建待训练的特征编码模型，以及获取目标样本、正样本、负样本和对比样本的初始向量；

第一提取模块，配置根据所述特征编码模型对所述目标样本、所述正样本和所述负样本各自的初始向量进行特征编码，获得各样本的编码向量，并计算各样本的编码向量分别与预设用户兴趣群体矩阵之间的关联性向量；

第一计算模块，配置为计算所述目标样本对应的关联性向量与所述正样本对应的关联性向量之间的第一相似度值，以及计算所述目标样本对应的关联性向量与所述负样本对应的关联性向量之间的第二相似度值，根据所述第一相似度值和所述第二相似度值计算第一损失值；

第二提取模块，配置为将所述对比样本的初始向量中包含的多个特征分别对应的特征向量进行分组，得到所述对比样本对应的多个特征向量组，并对所述多个特征向量组进行不同的特征掩码处理，得到对应的多个掩码向量，根据所述特征编码模型对所述多个掩码向量分别进行特征编码，获得所述对比样本对应的多个编码向量；

第二计算模块，配置为计算同一对比样本的多个编码向量之间的第三相似度值，以及计算不同对比样本的编码向量之间的第四相似度值，根据所述第三相似度值和所述第四相似度值计算第二损失值；

联合训练模块，配置为基于所述第一损失值和所述第二损失值对所述特征编码模型进行联合训练。

9.一种媒体对象推荐装置，其特征在于，所述装置包括：

获取模块，配置为获取待推荐媒体对象的初始向量，并采用如权利要求1-6中任一项所述的方法训练得到的特征编码模型根据所述初始向量计算所述待推荐媒体对象的编码向量；

计算模块，配置为计算所述编码向量与预设用户兴趣群体矩阵之间的关联性向量；

召回模块，配置为在向量池中查询与所述待推荐媒体对象的关联性向量近似的多个目标媒体对象，所述向量池用于存储预收集的媒体对象的关联性向量，并且所述预收集的媒体对象的关联性向量是通过所述特征编码模型获得对应的编码向量后，基于所述预设用户兴趣群体矩阵计算出的；

推荐模块，配置为根据各目标媒体对象的关联性向量与所述待推荐媒体对象的关联性向量之间的近似度数值，对所述多个目标媒体对象进行排序，并基于排序结果将所述待推荐媒体对象推荐至所述目标媒体对象关联的用户。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1-7中任意一项所述的方法。

Images