CN117216538A - 内容发布模型训练方法、内容发布方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供了一种内容发布模型训练方法、内容发布方法、装置及电子设备。方法包括：从样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类类别对应的样本权重，基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量；根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量和目标写入向量。通过采用上述的方法，可以获得一种能够提升冷启动效果的同时节约内存开销的内容发布模型，该模型能够为用户相关的特征较少或没有历史内容浏览记录的用户发布合适的内容，以提升用户的体验感。

Description

内容发布模型训练方法、内容发布方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种内容发布模型训练方法、内容发布方法、装置及电子设备。

背景技术

冷启动问题是一个业界推荐系统经常面对的问题，根据不同的场景有不同的方案。近年来数据给新用户/物品加权的策略影响了整体数据分布，可能导致系统偏向新用户，降低了老用户的推荐体验；单独分开数据训练新用户/物品推荐系统、加快更新速率、引入更多数据、对数据结构进行修改等策略对工程架构改动加大，在线的计算和存储成本大大提升。类似于DropoutNet等一系列两阶段技术需要先用老用户数据训练好一个基础模型，再进行第二次训练加强新用户的效果。整体训练流程变得冗长，带来在线服务时延增加、模型难以维护等问题。

类似于MeLU和MWUF等一阶段技术，模型结构过于复杂，虽然相比二阶段方案减少了训练时间，但是同样引入了大量参数，例如MeLU需要为每个新用户引入一套元学习所需参数；MWUF需要为每个冷启物品收集交互过的用户信息。这导致了线上训练所需存储开销增大。

发明内容

有鉴于此，本申请实施例提出了一种内容发布模型训练方法、内容发布方法、装置及电子设备，可以在提升模型冷启动效果的同时节约内存开销。

第一方面，本申请实施例提供了一种内容发布模型训练方法，方法包括：获取样本数据，所述样本数据携带有用于标识所述样本数据是否被选取的样本标签；从所述样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量；根据所述写入样本热向量和所述样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，所述模型参数包括所述聚类向量和所述目标写入向量。

第二方面，本申请实施例提供了一种内容发布方法，该方法包括：获取内容请求，所述内容请求中携带有目标用户的用户标识；根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，其中，N为大于或等于1的整数；从所述用户向量和所述内容特征向量中的至少一种中提取目标内容特征向量，其中，所述目标内容特征向量和目标样本特征向量对应的特征种类相同；针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各所述聚类类别对应的内容权重，基于调整后的目标写入向量和各所述聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量；利用上述的内容发布模型训练方法获得的内容发布模型基于所述用户向量、各所述待发布内容的内容特征向量和对应的写入内容热向量得到各所述待发布内容的分值；根据各所述待发布内容的分值确定目标待发布内容。

第三方面，本申请实施例提供了一种内容发布模型训练装置，所述装置包括：数据获取模块、样本向量提取模块、样本热向量获取模块以及模型训练模块。数据获取模块，用于获取样本数据，所述样本数据携带有用于标识所述样本数据是否被选取的样本标签；样本向量提取模块，用于从所述样本数据中提取目标样本特征向量；样本热向量获取模块，用于根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量；模型训练模块，用于根据所述写入样本热向量和所述样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，所述模型参数包括所述聚类向量和所述目标写入向量。

在一种可实施方式中，样本热向量获取模块包括向量处理子模块、权重获取子模块、向量更新子模块以及热向量获得子模块。向量处理子模块，用于对所述目标样本特征向量进行处理得到写入样本特征向量、读取样本特征向量以及待写入向量；权重获取子模块，用于基于多个聚类类别对应的聚类向量和所述写入样本特征向量，得到各所述聚类类别分别对应的样本写入权重；基于多个所述聚类向量和所述读取样本特征向量，得到各所述聚类类别分别对应的样本读取权重；向量更新子模块，用于根据所述待写入向量和各所述样本写入权重，更新与各所述聚类类别分别对应的目标写入向量；热向量获得子模块，用于基于每个所述聚类类别对应的样本读取权重和调整后的目标写入向量，得到所述样本数据的写入样本热向量。

在一种可实施方式中，权重获取子模块，还用于对多个聚类类别对应的聚类向量与所述写入样本特征向量进行相似度计算，得到各所述聚类类别对应的第一相似度；对各所述聚类类别对应的第一相似度进行归一化处理，得到各所述聚类类别分别对应的样本写入权重；以及用于对多个所述聚类向量与所述读取样本特征向量进行相似度计算，得到各所述聚类类别对应的第二相似度；对各所述聚类类别对应的第二相似度进行归一化处理，得到各所述聚类类别分别对应的样本读取权重。

在一种可实施方式中，向量更新子模块，还用于对所述待写入向量进行第一编码处理得到初始记忆向量，对所述待写入向量进行第二编码处理得到初始遗忘向量；基于所述初始记忆向量和各所述样本写入权重，得到各所述聚类向量分别对应的目标记忆向量，基于所述初始遗忘向量和各所述样本写入权重得到各所述聚类向量分别对应的目标遗忘向量；根据各所述聚类向量分别对应的目标记忆向量和目标遗忘向量更新与各所述聚类向量分别对应的目标写入向量。

在一种可实施方式中，所述样本数据包括内容样本数据和用户样本数据，向量提取模块，还用于提取所述样本数据中的用户样本数据对应的用户样本特征向量，提取样本数据中的内容样本数据对应内容样本特征向量；将所述用户样本特征向量和内容样本特征向量中的至少一种确定为目标样本特征向量。

在一种可实施方式中，热向量获取子模块，还用于将各所述聚类类别对应的样本读取权重与调整后的目标写入向量相乘后相加，得到样本数据的写入样本热向量。

在一种可实施方式中，向量处理子模块，还用于对所述目标样本特征向量进行第一线性变化处理，得到写入样本特征向量；对所述目标样本特征向量进行第二线性变化处理，得到读取样本特征向量；对所述写入样本特征向量进行第三线性变化处理，得到待写入向量。

第四方面，本申请实施例提供了一种内容发布装置，所述装置还包括：请求获取模块、内容向量获取模块、内容向量提取模块、内容热向量获得模块、分值获得模块以及内容确定模块。请求获取模块，用于获取内容请求，所述内容请求中携带有目标用户的用户标识；内容向量获取模块，用于根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，其中，N为大于或等于1的整数；内容向量提取模块，用于从所述用户向量和所述内容特征向量中的至少一种中提取目标内容特征向量，其中，所述目标内容特征向量和目标样本特征向量对应的特征种类相同；内容热向量获得模块，用于针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各所述聚类类别对应的内容权重，基于调整后的目标写入向量和各所述聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量；分值获得模块，用于利用所述内容发布模型基于各所述用户向量、各所述待发布内容的内容特征向量和对应的写入内容热向量得到各所述待发布内容的分值；内容确定模块，用于根据各所述待发布内容的分值确定目标待发布内容。

在一种可实施方式中，内容热向量获得模块，还用于基于训练后的内容发布模型中的多个聚类类别对应的聚类向量和所述目标内容特征向量，得到各所述聚类类别分别对应的内容读取权重；基于各所述聚类类别分别对应的内容读取权重和调整后的目标写入向量，得到所述待发布内容对应的写入内容热向量。

在一种可实施方式中，内容向量获取模块，还用于根据所述内容请求，从预设用户向量集合中获取与所述用户标识对应的目标用户向量，其中，所述预设用户向量集合包括至少一个用户标识对应的用户向量；根据所述内容请求，从预设内容向量集合中获取所述N个待发布内容，其中，所述预设内容向量集合包括至少一个预先确定的内容向量。

在一种可实施方式中，所述聚类类别对应的聚类向量与对应的目标写入向量以键值对的方式存储。

第三方面，本申请实施例提供了一种电子设备，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

第五方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质获取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的方法。

本申请实施例提供的一种内容发布模型训练方法、内容发布方法、装置及电子设备，方法包括：从样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类类别对应的样本权重，基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量；根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量。通过采用上述的方法，可以在模型训练阶段对样本数据中影响内容发布准确性的数据进行特征提取，并对提取的特征和多个聚类类别对应的聚类向量确定与样本数据对应的聚类类别，以及根据样本数据对应的类别为样本数据获得适当的写入样本热向量，以基于样本数据和对应的写入样本热向量对模型进行训练，避免了需要对模型进行多阶段的训练而导致训练过程复杂的问题，也避免了需要使用大量的训练数据进行模型训练占用大量内存的问题，也即，采用本申请的上述方法获得一种能够提升冷启动效果的同时节约内存开销的内容发布模型，在利用训练后的内容发布模型进行内容发布时能够为用户相关的特征较少或没有历史内容浏览记录的用户发布合适的内容，以提升用户的体验感。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种内容发布模型训练方法的应用场景图；

图2示出了本申请实施例提出的一种内容发布模型训练方法的流程示意图；

图3示出了本申请实施例提出的一种内容发布模型训练方法的另一流程示意图；

图4示出了本申请实施例提供的一种内容发布模型训练方法的又一流程示意图；

图5示出了本申请实施例提供的一种内容发布模型训练方法的流程框图；

图6示出了本申请实施例提供的一种内容发布方法的流程框图；

图7示出了本申请实施例提供的一种内容发布模型训练装置的连接框图；

图8示出了本申请实施例提供的一种内容发布装置的连接框图；

图9示出了用于执行本申请实施例的方法的电子设备的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

另外需要说明的是，在本申请实施例中，用户的工作类型、学历、年龄、性别、人生阶段(例如是否结婚)、工作地点以及喜好产品等信息的获取均需要获得用户许可或同意，且用户的工作类型、学历、年龄、人生阶段(例如是否结婚)、工作地点以及喜好产品等信息的收集、使用、处理和存储均需要符合所在地区的规定。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，并发挥越来越重要的价值。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。以人工智能应用在机器学习上为例进行说明：

其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。本申请的方案主要是利用机器学习进行内容发布模型训练以及进行内容发布。

下面说明本发明实施例提供的用于执行上述内容发布模型训练方法的示例性应用，本发明实施例提供的内容发布模型训练方法可以应用于如图1所示的应用环境中的服务器中。

图1是根据本申请一实施例示出的应用场景的示意图，如图1所示，该应用场景包括终端设备10和通过网络与终端设备10通信连接的服务器20。

终端设备10具体可以是手机、电脑、台式计算机、平板电脑、车载终端或者智能电视等，终端设备10可以设有用于展示内容发布结果的客户端，如内容交互客户端、即时通信客户端等。

网络可以是广域网或者局域网，或者是二者的组合。终端设备10可以是智能手机、等。

服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

若利用如图1中的终端设备10和服务器20进行内容发布模型训练，则可以具体执行如下步骤。用户可以通过终端设备10向服务器20上传样本数据，服务器在获取到样本数据后，从样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类类别对应的样本权重，基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量；根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量。

进一步的，服务器20在完成对内容发布模型的训练之后，可以在接收到终端设备10发送的内容请求之后，为用户推送内容时，可以利用聚类中其他老用户/物品记忆过的特征(调整后的目标写入向量)加强自身表示(获得待发布内容对应的写入内容热向量并加入至用户相关的特征和待发布内容的内容特征中)，克服冷启动特征不充足的缺陷，提升冷启动推荐效果，以获得目标待发布内容，并发送至客户端，图1中示出了目标待发布内容包括内容1、内容2以及内容3的示意图。由于本方案仅仅在模型训练和推理时产生影响，因此对预处理过程没有修改；由于聚类数量远小于用户/物品数量，因此不会引入大量训练开销。

应当理解，上述的方法步骤也可以仅由终端设备10来执行或者仅由服务器20来执行，也即，上述描述的方法步骤的应用场景仅仅是示意性的，并不作为本方案的限制。

为便于对本方案进行理解，下面先对几个概念进行简单介绍：

冷启动在推荐系统中表示该系统积累数据量过少，无法给新用户做个性化推荐的问题，这是产品推荐的一大难题。基本上，冷启动问题可以分为用户冷启动、内容冷启动以及系统冷启动这三种。

用户冷启动：用户冷启动主要解决如何给新用户做个性化推荐的问题。当新用户到来时，我们没有他的行为数据，所以也无法根据他的历史行为预测其兴趣，从而无法借此给他做个性化推荐。

物品冷启动：物品冷启动主要解决如何将新的物品推荐给可能对它感兴趣的用户这一问题。

系统冷启动：系统冷启动主要解决如何在一个新开发的网站上(还没有用户，也没有用户相关的行为，只有一些物品的信息)设计个性化推荐系统，从而在网站刚发布时就让用户体验到个性化推荐服务这一问题。

下面将结合附图具体描述本申请的各实施例。

请阅图2，图2所示为本申请提供的一种内容发布模型训练方法，可以应用于电子设备，该电子设备可以是上述的终端设备10或服务器20，该方法包括：

步骤S110：获取样本数据，样本数据携带有用于标识样本数据是否被选取的样本标签。

其中，样本数据可以是用户查看文本、视频、商品等内容的数据。上述用户查看文本、视频、商品的数据。上述被选取的方式具体可以是用户点击、收藏、搜索、评论或者购买等方式。

上述的样本数据可以具体包括用户数据和上述的内容数据。上述的用户数据具体可以是用户在浏览内容平台时输入的性别、年龄以及偏好等中的一种或多种信息，上述的内容数据可以是内容类型、内容浏览次数以及内容属性等信息。

示例性的，若样本数据为用户浏览商品的数据，则样本数据包括用户数据和商品数据，其中，用户数据具体可以包括用户年龄、用户性别、用户角色以及用户偏好等中的一种或多种用户相关的用户元素；商品数据具体可以包括商品类型、商品名称、商品浏览次数、商品购买次数、商品收藏次数以及商品评价分值等中的一种或多种商品元素。若样本数据为用户浏览的视频的数据，则样本数据包括的用户数据和视频数据，其中，用户数据具体可以包括用户年龄、用户性别、用户角色以及用户偏好等中的一种或多种用户相关的用户元素；视频数据具体可以包括视频类型、视频名称、视频点击次数、视频浏览完全次数、视频时长以及视频评价分值等中的一种或多种视频元素。若样本数据为用户浏览文本的数据，则样本数据包括的用户数据和文本数据，其中，用户数据具体可以包括用户年龄、用户性别、用户角色以及用户偏好等中的一种或多种用户相关的用户元素；文本数据具体可以包括文本类型、文本名称、文本浏览次数、文本长度、文本收藏次数以及文本分享次数等中的一种或多种文本元素。

获取样本数据的方式可以有多种，例如，可以是从服务器中获取样本数据，也可以是接收用户端输入的样本数据，应当理解，上述样本数据的获取方式仅仅是示意性，还可以有更多的获取方式，在本实施例不作具体限定。

步骤S120：从样本数据中提取目标样本特征向量。

其中，从样本数据中提取目标样本特征向量的方式可以有多种。例如，可以是：提取样本数据中的一种或多种用户相关的特征向量作为目标样本特征向量；也可以是提取一种或多种内容数据对应的内容特征向量作为目标样本特征向量；也可以是提取一种或多种用户相关的特征向量和一种或多种内容数据对应的内容特征向量，并将提取的用户相关的特征向量和内容特征向量作为目标样本特征向量；还可以是对样本数据进行向量转化得到样本特征向量之后，从样本特征向量中提取用户相关的特征向量和内容特征向量中的至少一种作为目标样本特征向量。

应当理解，上述的目标样本特征向量的提取方式仅仅是示意性的，还可以有更多的处理方式，在此不作一一赘述。

步骤S130：根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类类别对应的样本权重，基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量。

其中，根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类向量分别对应的权重的方式可以是：将多个聚类类别分别对应的聚类向量与目标样本特征向量进行相似度计算，得到各聚类类别分别对应的相似度；基于各聚类类别分别对应的相似度确定各聚类类别对应的样本权重。也可以是根据各聚类类别对应的聚类向量中与目标样本特征向量中的相同元素向量数量，确定各聚类类别分别对应的权重，元素向量是指聚类数据中的数据元素(如，用户元素、视频元素、文本元素或者商品元素等中的一种或多种)对应的向量。应当理解，上述的权重计算方式仅仅是示意性的，还可以有更多的权重计算方式，在本实施例不作具体限定。

基于各聚类类别对应的样本权重和目标写入向量获得样本数据的写入样本热向量的方式可以是：将每个聚类类别对应的样本权重与该聚类类别对应的的目标写入向量相乘后求和，得到样本数据的写入样本热向量。也可以是将多个聚类类别中目标聚类类别对应的样本权重与该目标聚类类别对应的目标写入向量相乘得到写入样本热向量，其中，多个聚类类别中的目标聚类类别可以是最大权重对应的目标聚类类别，也可以是从多个聚类类别中按照预设规则中选取的目标聚类类别。

步骤S140：根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量和目标写入向量。

其中，上述步骤S140具体可以是，将写入样本热向量与所属于样本数据对应的向量进行叠加得到的目标样本向量输入至内容发布模型中以进行训练，根据内容发布模型输出的样本数据对应的选取概率和样本标签得到模型损失，以基于模型损失调整模型参数以最小化模型损失。

其中，当训练次数达到预设次数，或者当模型损失小于预设损失值时，获得训练后的内容发布模型。

通过采用本申请提供的一种内容发布模型训练方法，在获取样本数据之后；从样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和目标样本特征向量确定各聚类类别对应的样本权重，基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量；根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量和目标写入向量。可以实现在模型训练阶段对样本数据中影响内容发布准确性的数据进行特征提取，并对提取的特征和多个聚类类别对应的聚类向量确定与样本数据对应的聚类类别，以及根据样本数据对应的类别为样本数据获得适当的写入样本热向量，以基于样本数据和对应的写入样本热向量对模型进行训练，避免了需要对模型进行多阶段的训练而导致训练过程复杂的问题，也避免了需要使用大量的训练数据进行模型训练占用大量内存的问题，也即采用本实施例可以获得一种能够提升冷启动效果的同时节约内存开销的内容发布模型，使得训练后的内容发布模型得到能够为用户相关的特征较少或没有历史内容浏览记录的用户发布合适的内容，增强了用户侧和物品侧(内容侧)中的至少一种的冷启动场景推荐效果，以提升用户的体验感。

请参阅图3，本申请另一实施例提供了一种内容发布模型训练方法，该方法包括：

步骤S210：获取样本数据，样本数据携带有用于标识样本数据是否被选取的样本标签。

步骤S220：从样本数据中提取目标样本特征向量。

步骤S230：对目标样本特征向量进行处理得到写入样本特征向量、读取样本特征向量以及待写入向量。

其中，对目标样本特征向量进行处理得到写入样本特征向量和读取样本特征向量的方式可以有多种。

示例性的，对目标样本特征向量进行处理得到写入样本特征向量的方式可以是对目标样本特征向量进行第一线性变化处理得到写入样本特征向量；也可以是从目标样本特征向量中的选取第一指定向量作为写入样本特征向量；还可以是将目标样本特征向量与第一指定向量进行叠加得到写入样本特征向量。对目标样本特征向量进行处理得到读取样本特征向量的方式可以是：对目标样本特征向量进行第二线性变化处理得到读取样本特征向量；也可以是从目标样本特征向量中的选取第二指定向量作为写入样本特征向量；还可以是将目标样本特征向量与第二指定向量进行叠加得到读取样本特征向量。应当理解，上述的特征处理方式仅仅是示意性的，还可以有更多的处理方式，在此不做具体限定。

其中，待写入向量的提取方式也可以有多种，在一种可实施方式中，可以是提取样本数据中的一种或多种用户相关的特征向量作为待写入向量；也可以是提取一种或多种内容数据对应的内容特征向量作为待写入向量；还可以是提取一种或多种用户相关的特征向量和一种或多种内容数据对应的内容特征向量，并将提取的用户相关的特征向量和内容特征向量作为待写入向量；也可以是对上述一种或多种特征提取方式提取的特征向量进行特征变化处理后得到待写入向量，其中，上述的特征变化处理方式可以是线性变化处理，也可以是归一化处理，还可以是将上述提取的特征向量与预设特征向量进行叠加得到待写入向量。

应当理解，上述的待写入向量的获取方式仅仅是示意性的，还可以有更多的处理方式，在此不作一一赘述。

在一种可实施方式中，上述步骤S230具体可以是：对所述目标样本特征向量进行第一线性变化处理，得到写入样本特征向量；对所述目标样本特征向量进行第二线性变化处理，得到读取样本特征向量；对所述写入样本特征向量进行第三线性变化处理，得到待写入向量。

步骤S240：基于多个聚类类别对应的聚类向量和写入样本特征向量，得到各聚类类别分别对应的样本写入权重；基于多个聚类向量和读取样本特征向量，得到各聚类类别分别对应的样本读取权重。

其中，基于多个聚类类别对应的聚类向量和写入样本特征向量，得到各聚类类别分别对应的样本写入权重的方式可以是：将多个聚类类别对应聚类向量和写入样本特征向量进行相似度计算，得到各聚类类别对应的第一相似度，对各聚类类别对应的第一相似度进行归一化计算得到各聚类类别对应的样本写入权重。其中，上述的相似度计算方式可以余弦相似度计算方式，也可以是欧几里得相似度等；上述的归一化计算方式可以是利用softmax算法进行归一化处理，也可以是线性归一化处理等。

在本申请的一种可实施方式中，上述的相似度计算方式为余弦相似度计算方式，上述的归一化计算方式为softmax算法进行归一化处理。

基于多个聚类类别对应的聚类向量和写入样本特征向量，得到各聚类类别分别对应的样本写入权重的方式也可以是：根据各聚类类别对应的聚类向量中与写入样本特征向量的相同元素向量数量，确定各聚类类别分别对应的第一相似度，对各聚类类别分别对应的第一相似度进行归一化计算得到各聚类类别对应的样本写入权重，其中，元素向量是指聚类数据中的数据元素(如，用户元素、视频元素、文本元素或者商品元素等中的一种或多种)对应的向量。应当理解，上述的权重计算方式仅仅是示意性的，还可以有更多的权重计算方式，在本实施例不作具体限定。

基于多个聚类向量和读取样本特征向量，得到各聚类类别分别对应的样本读取权重的方式可以是：对多个聚类向量与读取样本特征向量进行相似度计算，得到各聚类类别对应的第二相似度；对各聚类类别对应的第二相似度进行归一化处理，得到各聚类类别分别对应的样本读取权重。其中，上述的相似度计算方式可以余弦相似度计算方式，也可以是欧几里得相似度等；上述的归一化计算方式可以是利用softmax算法进行归一化处理，也可以是线性归一化处理等。

在本申请的一种可实施方式中，上述的相似度计算方式为余弦相似度计算方式，上述的归一化计算方式为softmax算法进行归一化处理。

基于多个聚类向量和读取样本特征向量，得到各聚类类别分别对应的样本读取权重的方式也可以是：根据各聚类类别对应的聚类向量中与读取样本特征向量的相同元素向量数量，确定各聚类类别分别对应的第二相似度，对各聚类类别分别对应的第二相似度进行归一化计算得到各聚类类别对应的样本读取权重，其中，元素向量是指聚类数据中的数据元素(如，用户元素、视频元素、文本元素或者商品元素等中的一种或多种)对应的向量。应当理解，上述的样本读取权重计算方式仅仅是示意性的，还可以有更多的权重计算方式，在本实施例不作具体限定。

步骤S250：根据待写入向量和各样本写入权重，更新与各聚类类别分别对应的目标写入向量。

在一种可实施方式中，上述步骤S250可以是：将待写入向量与各聚类类别对应的样本写入权重相乘，得到各聚类类别对应的写入向量，将每个聚类类别对应的写入向量与该聚类类别的目标写入向量进行叠加，得到该聚类类别中更新后的目标写入向量。

在另一中可实施方式中，上述步骤S250也可以是对待写入向量进行线性变化处理，得到处理后的待写入向量，将处理后的待写入向量与各聚类类别对应的样本写入权重相乘，得到各聚类类别对应的写入向量，将每个聚类类别对应的写入向量与该聚类类别的目标写入向量进行叠加，得到该聚类类别中更新后的目标写入向量。

在又一种可实施方式中，上述步骤S250还可以是：对待写入向量进行第一编码处理得到初始记忆向量，对待写入向量进行第二编码处理得到初始遗忘向量；基于初始记忆向量和各样本写入权重，得到各聚类向量分别对应的目标记忆向量，基于初始遗忘向量和各样本写入权重得到各聚类向量分别对应的目标遗忘向量；根据各聚类向量分别对应的目标记忆向量和目标遗忘向量更新与各聚类向量分别对应的目标写入向量。

在该种实施方式下，上述的第一编码和第二编码的编码方式可以相同，也可以不同，编码方式可以是采用线性变化处理的编码方式，也可以是采用非线性变化处理的编码方式。

在一种可实施方式中，可以是对待写入向量进行第四线性变化处理得到初始遗忘向量，以及对待写入向量进行第五线性变化处理得到初始遗忘向量。

上述获得目标记忆向量和目标遗忘向量的方式可以与获得写入样本热向量的方式类似，在此处不作一一赘述。

根据各聚类向量分别对应的目标记忆向量和目标遗忘向量更新与各聚类向量分别对应的目标写入向量的方式可以是：向每个聚类类别对应的目标写入向量叠加目标记忆向量后减去目标遗忘向量，得到更新后的目标写入向量。也可以是：针对每个聚类向量，若该聚类向量对应的样本写入权重大于预设权重，则向该聚类向量对应的目标写入向量中增加目标记忆向量以及减去目标遗忘向量以更新目标写入向量，若该聚类向量对应的样本写入权重小于预设权重，则不作更新。

应当理解，上述更新各聚类类别对应的目标写入向量的方式仅仅是示意性的，还可以有更多的更新方式，在本申请实施例不作具体赘述。

步骤S260：基于每个聚类类别对应的样本读取权重和调整后的目标写入向量，得到样本数据的写入样本热向量。

其中，上述步骤S260可以是，将每个聚类类别对应的样本读取权重和该类别对应的调整后的目标写入向量相乘后叠加得到样本数据的写入热向量；也可以是将各聚类类别对应的样本权重中的目标权重与该目标权重所属类别对应的调整后的目标写入向量相乘获得写入样本热向量，其中，目标权重可以是各聚类类别对应的样本权重中的最大权重，也可以是各聚类类别对应的样本权重中大于预设权重阈值的权重，在本实施例不作具体限定。

步骤S270：根据写入样本热向量和样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，模型参数包括聚类向量和目标写入向量。

还应当说明的是，上述的模型参数还可以包括上述进行线性变化处理如，进行第一线性变化、第二线性变化、第三线性变化等)时的线性变化参数(，也可以包括对样本数据进行特征提取(编码)时的编码参数，还可以包括目标记忆向量和目标遗忘向量的具体向量信息。应当理解，上述的模型参数仅仅是示意性的，还可以有更多的模型参数，在本申请实施例不作具体限定。

通过采用上述的内容发布模型训练方法，在模型训练之前对数据工程、特征工程等模型训练前的预处理流程没有影响，在模型训练过程中仅仅在引入极少量参数和计算开销，对于整体系统而言影响很小。在训练过程中使用对称键值记忆网络来提升冷启动效果，即在模型训练过程中同时学习到用户/物品的聚类，并记忆特征信息。新的用户/物品会仅需固定特征(如年龄、性别)以及少量(或者无)交互历史信息，就可以被分到对应的用户/物品聚类当中，从而利用聚类中其他老用户/物品记忆过的特征加强自身表示，克服冷启动特征不充足的缺陷，提升冷启动推荐效果。此外，由于本申请的方案仅仅在模型训练和推理时产生影响，因此对预处理过程没有修改；由于聚类数量远小于用户/物品数量，因此不会引入大量训练开销。

请参阅图4，通过采用本申请提供的一种内容发布方法，在完成如上述实施例中训练阶段的内容发布模型的训练，并将内容发布模型部署(如部署在服务器或平台中)之后，可以利用部署的内容发布模型进行内容发布，且内容发布的方法包括：

步骤S310：获取内容请求，内容请求中携带有目标用户的用户标识。

其中，内容请求具体可以是用于请求视频内容、请求文本内容以及请求商品内容等中的一帧或多种的内容请求。

上述获取内容请求的方式可以是，每间隔预设时长生成内容请求，也可以是响应于客户端的启动生成内容请求，还可以是响应于用户的指定操作获取内容请求。应当理解，上述的内容请求仅仅是示意性的，还可以有更多的内容获取请求的方式，在此处不作具体限定。

上述的用户标识可以是用户ID或者任意可以标识用户唯一性的信息。

步骤S320：根据内容请求获取目标用户的用户向量以及N个待发布内容分别对应的内容特征向量。

其中，N为大于或等于1的整数。

若内容请求是用于获取请求视频内容、请求文本内容以及请求商品内容等中的一帧或多种时，则上述的N个待发布内容可以包括多个待发布视频内容、多个待发布文本内容以及多个待发布商品内容等中的至少一种中的一个或多个。

其中，上述步骤S320可以是，根据内容获取请求从服务器、与服务器关联的数据库或者内容平台中获取待发布内容。

获取N个待发布内容的内容向量的方式应当与提取样本数据的样本特征向量的方式应当相同，例如可以是，对各待发布内容进行特征提取，得到待发布内容的内容向量；也可以是对待发布内容进行向量编码得到待发布内容的内容向量。

在本申请的一种可实施方式中：上述步骤S320具体可以是：根据内容请求，从预设用户向量集合中获取与用户标识对应的目标用户向量，其中，预设用户向量集合包括至少一个用户标识对应的用户向量；根据内容请求，从预设内容向量集合中获取N个待发布内容，其中，预设内容向量集合包括至少一个预先确定的内容向量。

步骤S330：从各用户向量和内容特征向量中的至少一种中提取目标内容特征向量，其中，目标内容特征向量和目标样本特征向量对应的特征种类相同。

应当理解，上述提取目标内容特征向量与目标样本特征向量的提取方式相同。

步骤S340：针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各聚类类别对应的内容权重，基于调整后的目标写入向量和各聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量。

其中，获得各聚类类别对应的内容权重的方式应当与前述实施例中获取各聚类类别对应的样本权重的方式相同或者获取各聚类类别对应的读取样本特征向量的方式相同。也即，可以是，针对每个待发布内容，将该待发布内容与各目标内容特征向量进行相似度计算，得到各聚类类别对应的内容权重。

上述基于调整后的目标写入向量和各聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量的方式可以与基于各聚类类别对应的样本权重和目标写入向量，获得样本数据的写入样本热向量的方式相似。也即，可以是，将每个聚类类别对应的内容权重与该聚类类别对应的目标写入向量相乘后求和，得到待发布内容的写入样本热向量。也可以是将多个聚类类别中目标聚类类别对应的内容权重与该目标聚类类别对应的目标写入向量相乘得到写入内容热向量，其中，多个聚类类别中的目标聚类类别可以是最大权重对应的目标聚类类别，也可以是从多个聚类类别中按照预设规则中选取的目标聚类类别。

在本申请的一种可实施方式中，上述步骤S340具体可以是：基于训练后的内容发布模型中的多个聚类类别对应的聚类向量和目标内容特征向量，得到各聚类类别分别对应的内容读取权重；基于各聚类类别分别对应的内容读取权重和调整后的目标写入向量，得到待发布内容对应的写入内容热向量。

步骤S350：利用内容发布模型基于用户向量、各待发布内容的内容特征向量和对应的写入内容热向量得到各待发布内容的分值。

其中，上述步骤S350具体可以是：将每个用户向量与各待发布内容的内容特征向量和对应的写入内容热向量进行叠加，将叠加后的向量输入至内容发布模型中，得到各待发布内容的推荐概率，根据各待发布内容的推荐概率确定待发布内容的分值。

其中，写入内容热向量包括用户元素的热向量和内容元素的热向量中的至少一类元素的热向量；若写入内容热向量为用户元素的热向量时，上述步骤S350也可以是，将用户向量与用户元素的热向量进行叠加，得到目标用户向量，将目标用户向量与各待发布内容的内容特征向量进行相似度计算，得到各待发布内容对应的相似度计算结果，以依据相似度计算结果从多个待发布内容中选取目标待发布内容。若写入内容热向量为内容元素的热向量时上述步骤S350也可以是，将各待发布内容的内容特征向量与对对应的内容元素的热向量进行叠加，得到待发布内容的目标内容特征向量，将用户向量与各待发布内容的目标内容特征向量进行相似度计算，得到各待发布内容对应的相似度计算结果，以依据相似度计算结果从多个待发布内容中选取目标待发布内容。若写入内容热向量包括用户元素的热向量和内容元素的热向量时上述步骤S350也可以是，将各待发布内容的内容特征向量与对对应的内容元素的热向量进行叠加，得到待发布内容的目标内容特征向量，将用户向量与用户元素的热向量进行叠加，得到目标用户向量，将目标用户向量与各待发布内容的目标内容特征向量进行相似度计算，得到各待发布内容对应的相似度计算结果，以依据相似度计算结果从多个待发布内容中选取目标待发布内容。也即，上述的相似度计算结果可以用于表征各待发布内容的分值，也即各待发布内容对应的相似度计算结果与对应的分值正相关。

示例性的，依据相似度计算结果从多个待发布内容中选取目标待发布内容的方式可以是，对多个待发布内容按照相似度由大到小的顺序进行排序，选取顺序排序为前预设数量的待发布内容作为目标待发布内容；也可以是从多个待发布内容中选取相似度大于预设相似度阈值待发布内容作为目标待发布内容。

步骤S360：根据各待发布内容的分值确定目标待发布内容。

其中，上述步骤S360可以是：根据各待发布内容的分值对各待发布内容进行排序，选取排序为前设定数值的待发布内容确定为目标待发布内容；也可以是选取分值大于预设分值的待发布内容确定为目标待发布内容。

应当理解，上述的目标待发布内容的确定方式仅仅是示意性的，还可以有更多的确定方式，在此处不作具体限定。

请结合参阅图5和图6，以内容发布模型中预先设置的用户聚类类别和内容聚类类别)(物品聚类类别)分别为三个，且内容发布模型用于向用户发布用品数据进行内容发布模型训练及发布为例进行描述。

在训练阶段：通过获取样本数据，样本数据包括用户样本数据和物品样本数据。样本数据中的用户样本数据和物品样本数据分别进行特征提取，得到用户样本特征和物品样本特征。

在线聚类：其中，用户样本特征一般都会编码聚合为一个特征向量，令其为U。在线聚类模块(用户聚类模块和/或物品聚类模块)由多个和U相同维度的聚类向量C构成。假如用户或物品向量的维度为512，如图6中所示总共有3个记忆块，那么在线聚类模块(用户聚类模块和/或物品聚类模块)就有3个512维聚类向量。在线聚类模块中的每个聚类向量与每个记忆块一一对应，每个聚类向量对应的聚类类别(聚类id)与记忆块可以按照数据库中的键值对应关系进行存储，也即聚类id和记忆块类似于数据库中的键值关系，因此叫做键值记忆网络。

以上述的在线聚类模块为用户聚类模块为例进行说明：

用户样本向量U和用户聚类向量C计算cosine相似度(余弦相似度)并由softmax函数归一化，就能得到一组权重，公式如下：

w＝softmax(UM^T)

在线用户聚类模块可以取拥有最高聚类权重的聚类向量序号作为聚类id输出，也可以输出所有权重。考虑到输出所有权重能够提供更详细的信息。本实例中采取的是输出所有权重的方案。

在线用户聚类模块会计算两次，也即对用户样本向量进行第一线性变化处理得到读取用户样本特征向量和写入用户样本特征向量；基于多个用户聚类类别对应的用户聚类向量和写入用户样本特征向量，进行余弦相似度计算和softmax函数归一化处理后得到各用户聚类类别分别对应的写入样本权重(写入用户样本权重)w_write；基于多个用户聚类向量和读取用户样本特征向量，进行余弦相似度计算和softmax函数归一化处理后得到各用户聚类类别分别对应的读取样本权重(读取用户样本权重)w_read。

记忆信息写入：给定在线聚类模块输出的写入样本权重(写入用户样本权重)w_write，记忆信息写入模块按写入用户样本权重将信息写入到记忆块中。记忆块M和在线聚类模块C一样，也是由若干个和用户样本向量U同维度的向量构成，与聚类id和聚类向量一一对应。写入的公式如下：

add_u＝f_add(W)

erase_u＝f_erase(W)

具体而言，写入包含两部分，记忆add(记忆向量)和遗忘erase(遗忘向量)，两部分都由待写入用户向量W(待写入向量)经简单线性层(f_add，f_erase)编码得到，只不过前者是加入到记忆块中，后者是从记忆块中删除。也即，每个记忆块加入信息和遗忘信息的程度由写入权重决定，表现在公式中就是权重与记忆/遗忘信息加权并加/减到记忆块中。

热信息增强：待写入用户向量W的来源可以为用户向量U经简单线性变换得到，也可以是用户与物品向量交叉编码后的信息，取决于之后想使用何种热信息增强模型。

具体的，可以对待写入用户向量进行第一编码处理得到初始用户记忆向量，对待写入向量进行第二编码处理得到初始用户遗忘向量；基于初始用户记忆向量和各用户样本写入权重，得到各用户聚类向量分别对应的目标用户记忆向量，基于初始用户遗忘向量和各用户样本写入权重得到各用户聚类向量分别对应的目标用户遗忘向量；根据各用户聚类向量分别对应的目标用户记忆向量和目标用户遗忘向量更新与各用户聚类向量分别对应的目标用户写入向量。更新数据库中与每个用户聚类类别对应的目标写入用户向量；基于每个用户聚类类别对应的更新后的目标写入用户向量和第二用户权重得到样本内容数据的写入用户样本热向量。

具体的，对于给定在线用户聚类模块输出的样本读取权重(样本用户读取权重)w_read，热信息增强模块按目标写入用户向量从记忆块中读出信息，加权求和，得到读取出来的写入样本热信息R(写入样本热向量)，公式如下：R＝w_readM，其中，M为目标写入向量(目标写入用户向量)

应当理解，若在线聚类模块包括物品聚类模块，则获取写入物品样本热向量的过程应当与写入用户热向量的过程相似，具体的，可以是对物品样本特征向量进行处理，得到读取物品样本特征向量和写入物品样本特征向量；基于多个物品聚类类别对应的物品聚类向量和写入物品样本特征向量，进行余弦相似度计算和softmax函数归一化处理后得到各物品聚类类别分别对应的写入物品样本权重；基于多个物品聚类向量和读取物品样本特征向量，进行余弦相似度计算和softmax函数归一化处理后得到各物品聚类类别分别对应的读取物品样本权重。

基于多个物品聚类类别对应的物品聚类向量和写入物品样本特征向量，得到各物品聚类类别分别对应的写入物品样本权重；基于多个物品聚类向量和读取物品特征向量，得到各物品聚类类别分别对应的读取物品样本权重；

对待写入物品向量进行第一编码处理得到初始物品记忆向量，对待写入向量进行第二编码处理得到初始物品遗忘向量；基于初始物品记忆向量和各样本物品写入权重，得到各物品聚类向量分别对应的目标物品记忆向量，基于初始物品遗忘向量和各物品样本写入权重得到各物品聚类向量分别对应的目标物品遗忘向量；根据各物品聚类向量分别对应的目标物品记忆向量和目标物品遗忘向量更新与各物品聚类向量分别对应的目标物品写入向量，更新数据库中与每个物品聚类类别对应的写入物品向量；基于每个物品聚类类别对应的更新后的目标写入物品向量和物品读取权重得到样本物品数据的写入物品样本热向量。

在获得写入用户样本热向量和写入物品样本热向量之后，可以将上述获得的热向量与样本特征进行叠加后输入至内容发布模型中，以进行模型训练以最小化模型损失，得到训练后的内容发布模型。

内容发布阶段：在获得训练后的内容发布模型之后，将内容发布模型部署至线上获得线上模型，如部署在服务器上，并将更新后的各用户聚类向量对应的目标物品写入向量和各物品聚类向量对应的目标用户写入向量分别存储至与服务器关联的数据库中，若获取到内容请求时，根据内容请求获取目标用户的用户向量以及N个待发布内容分别对应的用户相关的特征向量和物品特征向量，其中，N为大于或等于1的整数；针对每个待发布内容，基于该待发布内容对应的目标用户相关的特征向量以及每个用户聚类类别分别对应更新后的用户聚类向量，获得各用户聚类类别对应的用户内容权重，基于调整后的目标写入向量和各用户聚类类别对应的用户内容权重得到该待发布内容对应的写入用户内容热向量。利用内容发布模型基于各用户向量、各待发布内容的内容特征向量和对应的写入内容热向量得到各待发布内容的分值；根据各待发布内容的分值确定目标待发布内容。

示例性地，以广泛使用的冷启动推荐公开数据集上，评估了本方案在六种冷启动场景下的性能如下，用户冷启动和物品冷启动各评估了三个场景，介绍如下：一、零样本冷启动：待评估的用户/物品从未有过交互历史，推荐系统从未学习过它们的历史交互信息。二、单样本冷启动：推荐系统只学习过待评估的用户/物品的一次历史交互信息。三、少样本冷启动：推荐系统只学习过待评估的用户/物品的少量历史交互信息，如不超过五次的历史交互信息。具体的，可以用两个常见推荐指标衡量本专利提出方案的推荐准确性。其中，LogLoss衡量了推荐系统的绝对准确性，越低越好；AUC衡量了推荐系统的排序准确性，越高越好。

如下表所示是用户冷启动效果。根据下表可知在用户冷启动实验中，本专利提出的方案在所有场景所有指标上相比现有方案都得到了显著提升。

如下表所示是物品冷启动效果，可以看到，在物品冷启动实验中，本专利提出的方案在所有场景所有指标上相比现有方案同样得到了显著提升。

如下表所示是对新老用户对应的用户和物品的总体推荐场景，可以看到总体推荐效果依然提升，这说明本实施例的方案在冷启动场景的提升不会对老用户带来过大影响，整体的推荐体验相比现有方案依然改善显著。

通过采用上述的内容发布模型训练方法以及利用训练后的内容发布模型进行内容发布时，可以实现在内容发布模型训练之前，无需对样本数据进行处理，在模型训练结算，通过从所述样本数据中提取目标样本特征向量；根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量，并根据所述写入样本热向量和所述样本数据训练内容发布模型，以及利用训练后的内容发布模型进行内容发布时，仅仅在训练时引入极少量参数和计算开销，对于整体系统而言影响很小。后续在进行内容发布时，通过将训练后的内容发布模型部署至服务器，并采用对称键值记忆网络来存储目标写入向量，使得训练后的内容发布模型能够有效提升冷启动效果，也即在模型训练过程中同时学习到用户/物品的聚类，并记忆特征信息。新的用户/物品会仅需固定特征(如年龄、性别)以及少量(或者无)交互历史信息，就可以被分到对应的用户/物品聚类当中，从而利用聚类中其他老用户/物品记忆过的特征加强自身表示，克服冷启动特征不充足的缺陷，提升冷启动推荐效果。由于本实施例的方案仅仅在模型训练和推理时产生影响，因此对预处理过程没有修改；由于聚类数量远小于用户/物品数量，因此不会引入大量训练开销。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

如图7所示，是根据一实施例示出的内容发布模型训练装置400，如图7所示，该内容发布模型训练装置400包括：数据获取模块410、样本向量提取模块420、样本热向量获取模块430以及模型训练模块440。

数据获取模块410，用于获取样本数据，所述样本数据携带有用于标识所述样本数据是否被选取的样本标签；样本向量提取模块420，用于从所述样本数据中提取目标样本特征向量；样本热向量获取模块430，用于根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量；模型训练模块440，用于根据所述写入样本热向量和所述样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，所述模型参数包括所述聚类向量和所述目标写入向量。

在一种可实施方式中，样本热向量获取模块430包括向量处理子模块、权重获取子模块、向量更新子模块以及热向量获得子模块。向量处理子模块，用于对所述目标样本特征向量进行处理得到写入样本特征向量、读取样本特征向量以及待写入向量；权重获取子模块，用于基于多个聚类类别对应的聚类向量和所述写入样本特征向量，得到各所述聚类类别分别对应的样本写入权重；基于多个所述聚类向量和所述读取样本特征向量，得到各所述聚类类别分别对应的样本读取权重；向量更新子模块，用于根据所述待写入向量和各所述样本写入权重，更新与各所述聚类类别分别对应的目标写入向量；热向量获得子模块，用于基于每个所述聚类类别对应的样本读取权重和调整后的目标写入向量，得到所述样本数据的写入样本热向量。

在一种可实施方式中，权重获取子模块，还用于对多个聚类类别对应的聚类向量与所述写入样本特征向量进行相似度计算，得到各所述聚类类别对应的第一相似度；对各所述聚类类别对应的第一相似度进行归一化处理，得到各所述聚类类别分别对应的样本写入权重；以及用于对多个所述聚类向量与所述读取样本特征向量进行相似度计算，得到各所述聚类类别对应的第二相似度；对各所述聚类类别对应的第二相似度进行归一化处理，得到各所述聚类类别分别对应的样本读取权重。

在一种可实施方式中，向量更新子模块，还用于对所述待写入向量进行第一编码处理得到初始记忆向量，对所述待写入向量进行第二编码处理得到初始遗忘向量；基于所述初始记忆向量和各所述样本写入权重，得到各所述聚类向量分别对应的目标记忆向量，基于所述初始遗忘向量和各所述样本写入权重得到各所述聚类向量分别对应的目标遗忘向量；根据各所述聚类向量分别对应的目标记忆向量和目标遗忘向量更新与各所述聚类向量分别对应的目标写入向量。

在一种可实施方式中，所述样本数据包括内容样本数据和用户样本数据，样本向量提取模块420，还用于提取所述样本数据中的用户样本数据对应的用户样本特征向量，提取样本数据中的内容样本数据对应内容样本特征向量；将所述用户样本特征向量和内容样本特征向量中的至少一种确定为目标样本特征向量。

在一种可实施方式中，热向量获取子模块，还用于将各所述聚类类别对应的样本读取权重与调整后的目标写入向量相乘后相加，得到样本数据的写入样本热向量。

在一种可实施方式中，向量处理子模块，还用于对所述目标样本特征向量进行第一线性变化处理，得到写入样本特征向量；对所述目标样本特征向量进行第二线性变化处理，得到读取样本特征向量；对所述写入样本特征向量进行第三线性变化处理，得到待写入向量。

如图8所示，是根据一实施例示出的内容发布装置500，所述装置500包括：请求获取模块510、内容向量获取模块520、内容向量提取模块530、内容热向量获得模块540、分值获得模块550以及内容确定模块560。请求获取模块510，用于获取内容请求，所述内容请求中携带有目标用户的用户标识；内容向量获取模块520，用于根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，其中，N为大于或等于1的整数；内容向量提取模块530，用于从所述用户向量和所述内容特征向量中的至少一种中提取目标内容特征向量，其中，所述目标内容特征向量和目标样本特征向量对应的特征种类相同；内容热向量获得模块540，用于针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各所述聚类类别对应的内容权重，基于调整后的目标写入向量和各所述聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量；分值获得模块550，用于利用所述内容发布模型基于各所述用户向量、各所述待发布内容的内容特征向量和对应的写入内容热向量得到各所述待发布内容的分值；内容确定模块560，用于根据各所述待发布内容的分值确定目标待发布内容。

在一种可实施方式中，内容向量获取模块520，还用于根据所述内容请求，从预设用户向量集合中获取与所述用户标识对应的目标用户向量，其中，所述预设用户向量集合包括至少一个用户标识对应的用户向量；根据所述内容请求，从预设内容向量集合中获取所述N个待发布内容，其中，所述预设内容向量集合包括至少一个预先确定的内容向量。

在一种可实施方式中，内容热向量获得模块540，还用于基于训练后的内容发布模型中的多个聚类类别对应的聚类向量和所述目标内容特征向量，得到各所述聚类类别分别对应的内容读取权重；基于各所述聚类类别分别对应的内容读取权重和调整后的目标写入向量，得到所述待发布内容对应的写入内容热向量。

在一种可实施方式中，所述聚类类别对应的聚类向量与对应的目标写入向量以键值对的方式存储。

下面将结合图9对本申请提供的一种电子设备进行说明。

请参阅图9，基于上述实施例提供的内容发布模型训练方法，本申请实施例还提供的另一种包括可以执行前述方法的处理器102的电子设备100，该电子设备100可以为服务器或终端设备，终端设备可以是智能手机、平板电脑、计算机或者便携式计算机等设备。

电子设备100还包括存储器104。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(DigitalSignal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(GraphicsProcessing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所获取的数据(如，目标写入向量、聚类向量以及样本数据等中的一种或多种)等。

电子设备100还可以包括网络模块以及屏幕，网络模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互，如，显示待发布内容。

在一些实施例中，电子设备100还可以包括有：外设接口106和至少一个外围设备。处理器102、存储器104和外设接口106之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外设接口连接。具体地，外围设备包括：射频组件108、定位组件112、摄像头114、音频组件116、显示屏118以及电源122等中的至少一种

外设接口106可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器102和存储器104。在一些实施例中，处理器102、存储器104和外设接口106被集成在同一芯片或电路板上；在一些其他实施例中，处理器102、存储器104和外设接口106中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

射频组件108用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频组件108通过电磁信号与通信网络以及其他通信设备进行通信。射频组件108将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频组件108包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频组件108可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频组件108还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

定位组件112用于定位电子设备的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件112可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、北斗系统或伽利略系统的定位组件。

摄像头114用于采集图像或视频。可选地，摄像头114包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备100的前面板，后置摄像头设置在电子设备100的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头114还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频组件116可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器102进行处理，或者输入至射频组件108以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器102或射频组件108的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频组件114还可以包括耳机插孔。

显示屏118用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏118是触摸显示屏时，显示屏118还具有采集在显示屏118的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器102进行处理。此时，显示屏118还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏118可以为一个，设置电子设备100的前面板；在另一些实施例中，显示屏118可以为至少两个，分别设置在电子设备100的不同表面或呈折叠设计；在又一些实施例中，显示屏118可以是柔性显示屏，设置在电子设备100的弯曲表面上或折叠面上。甚至，显示屏118还可以设置成非矩形的不规则图形，也即异形屏。显示屏118可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，机发光二极管)等材质制备。

电源122用于为电子设备100中的各个组件进行供电。电源122可以是交流电、直流电、一次性电池或可充电电池。当电源122包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本申请实施例还提供一种计算机可读存储介质的结构框图。该计算机可读介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (16)

1.一种内容发布模型训练方法，其特征在于，所述方法包括：

获取样本数据，所述样本数据携带有用于标识所述样本数据是否被选取的样本标签；

从所述样本数据中提取目标样本特征向量；

根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量；

根据所述写入样本热向量和所述样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，所述模型参数包括所述聚类向量和所述目标写入向量。

2.根据权利要求1所述的方法，其特征在于，所述根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量，包括：

对所述目标样本特征向量进行处理得到写入样本特征向量、读取样本特征向量以及待写入向量；

基于多个聚类类别对应的聚类向量和所述写入样本特征向量，得到各所述聚类类别分别对应的样本写入权重；基于多个所述聚类向量和所述读取样本特征向量，得到各所述聚类类别分别对应的样本读取权重；

根据所述待写入向量和各所述样本写入权重，更新与各所述聚类类别分别对应的目标写入向量；

基于每个所述聚类类别对应的样本读取权重和调整后的目标写入向量，得到所述样本数据的写入样本热向量。

3.根据权利要求2所述的方法，其特征在于，所述基于多个聚类类别对应的聚类向量和所述写入样本特征向量，得到各所述聚类类别分别对应的样本写入权重，包括：

对多个聚类类别对应的聚类向量与所述写入样本特征向量进行相似度计算，得到各所述聚类类别对应的第一相似度；

对各所述聚类类别对应的第一相似度进行归一化处理，得到各所述聚类类别分别对应的样本写入权重；

所述基于多个所述聚类向量和所述读取样本特征向量，得到各所述聚类类别分别对应的样本读取权重，包括：

对多个所述聚类向量与所述读取样本特征向量进行相似度计算，得到各所述聚类类别对应的第二相似度；

对各所述聚类类别对应的第二相似度进行归一化处理，得到各所述聚类类别分别对应的样本读取权重。

4.根据权利要求2所述的方法，其特征在于，所述根据所述待写入向量和各所述样本写入权重，更新与各所述聚类类别分别对应的目标写入向量，包括：

对所述待写入向量进行第一编码处理得到初始记忆向量，对所述待写入向量进行第二编码处理得到初始遗忘向量；

基于所述初始记忆向量和各所述样本写入权重，得到各所述聚类向量分别对应的目标记忆向量，基于所述初始遗忘向量和各所述样本写入权重得到各所述聚类向量分别对应的目标遗忘向量；

根据各所述聚类向量分别对应的目标记忆向量和目标遗忘向量更新与各所述聚类向量分别对应的目标写入向量。

5.根据权利要求2所述的方法，其特征在于，所述样本数据包括内容样本数据和用户样本数据，所述从所述样本数据中提取目标样本特征向量，包括：

提取所述样本数据中的用户样本数据对应的用户样本特征向量，提取样本数据中的内容样本数据对应内容样本特征向量；

将所述用户样本特征向量和内容样本特征向量中的至少一种确定为目标样本特征向量。

6.根据权利要求2所述的方法，其特征在于，所述基于每个所述聚类类别对应的样本读取权重和调整后的目标写入向量，得到所述样本数据的写入样本热向量，包括：

将各所述聚类类别对应的样本读取权重与调整后的目标写入向量相乘后相加，得到样本数据的写入样本热向量。

7.根据权利要求2所述的方法，其特征在于，所述对所述目标样本特征向量进行处理得到写入样本特征向量、读取样本特征向量以及待写入向量，包括：

对所述目标样本特征向量进行第一线性变化处理，得到写入样本特征向量；

对所述目标样本特征向量进行第二线性变化处理，得到读取样本特征向量；

对所述写入样本特征向量进行第三线性变化处理，得到待写入向量。

8.一种内容发布方法，其特征在于，所述方法还包括：

获取内容请求，所述内容请求中携带有目标用户的用户标识；

根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，其中，N为大于或等于1的整数；

从所述用户向量和所述内容特征向量中的至少一种中提取目标内容特征向量，其中，所述目标内容特征向量和目标样本特征向量对应的特征种类相同；

针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各所述聚类类别对应的内容权重，基于调整后的目标写入向量和各所述聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量；

利用如权利要求1-7中任意一项所述的内容发布模型基于所述用户向量、各所述待发布内容的内容特征向量和对应的写入内容热向量得到各所述待发布内容的分值；

根据各所述待发布内容的分值确定目标待发布内容。

9.根据权利要求8所述的方法，其特征在于，所述基于调整后的目标写入向量和各所述目标内容特征向量得到各待发布内容对应的写入内容热向量，包括：

基于训练后的内容发布模型中的多个聚类类别对应的聚类向量和所述目标内容特征向量，得到各所述聚类类别分别对应的内容读取权重；

基于各所述聚类类别分别对应的内容读取权重和调整后的目标写入向量，得到所述待发布内容对应的写入内容热向量。

10.根据权利要求8所述的方法，其特征在于，所述根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，包括：

根据所述内容请求，从预设用户向量集合中获取与所述用户标识对应的目标用户向量，其中，所述预设用户向量集合包括至少一个用户标识对应的用户向量；

根据所述内容请求，从预设内容向量集合中获取所述N个待发布内容，其中，所述预设内容向量集合包括至少一个预先确定的内容向量。

11.根据权利要求8所述的方法，其特征在于，所述聚类类别对应的聚类向量与对应的目标写入向量以键值对的方式存储。

12.一种内容发布模型训练装置，其特征在于，所述装置包括：

数据获取模块，用于获取样本数据，所述样本数据携带有用于标识所述样本数据是否被选取的样本标签；

样本向量提取模块，用于从所述样本数据中提取目标样本特征向量；

样本热向量获取模块，用于根据多个聚类类别分别对应的聚类向量和所述目标样本特征向量确定各所述聚类类别对应的样本权重，基于各所述聚类类别对应的样本权重和目标写入向量，获得所述样本数据的写入样本热向量；

模型训练模块，用于根据所述写入样本热向量和所述样本数据训练内容发布模型，并在训练过程中调整模型参数，得到训练后的内容发布模型，所述模型参数包括所述聚类向量和所述目标写入向量。

13.一种内容发布装置，其特征在于，所述装置包括：

请求获取模块，用于获取内容请求，所述内容请求中携带有目标用户的用户标识；

内容向量获取模块，用于根据所述内容请求获取所述目标用户的用户向量以及N个待发布内容分别对应的内容特征向量，其中，N为大于或等于1的整数；

内容向量提取模块，用于从所述用户向量和所述内容特征向量中的至少一种中提取目标内容特征向量，其中，所述目标内容特征向量和目标样本特征向量对应的特征种类相同；

内容热向量获得模块，用于针对每个待发布内容，基于该待发布内容对应的目标内容特征向量以及每个聚类类别分别对应更新后的聚类向量，获得各所述聚类类别对应的内容权重，基于调整后的目标写入向量和各所述聚类类别对应的内容权重得到该待发布内容对应的写入内容热向量；

分值获得模块，用于利用如权利要求12中的内容发布模型基于所述用户向量、各所述待发布内容的内容特征向量和对应的写入内容热向量得到各所述待发布内容的分值；

内容确定模块，用于根据各所述待发布内容的分值确定目标待发布内容。

14.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-11中任意一项所述的方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11中任意一项所述的方法。

16.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-11中任意一项所述方法的步骤。