CN111625710B - 推荐内容的处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种推荐内容的处理方法、装置、电子设备及可读存储介质，涉及信息流技术。具体实现方案为：根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得推荐内容序列中各推荐特征向量的相关性特征；根据历史行为序列中各历史特征向量和各推荐特征向量的相关性特征，获得各推荐特征向量所对应的推荐内容的推荐参数；根据各推荐内容的推荐参数，对各推荐内容进行排序处理。由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co‑Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

Description

推荐内容的处理方法、装置、电子设备及可读存储介质

技术领域

涉及计算机技术领域，具体涉及信息流技术，尤其涉及一种推荐内容的处理方法、装置、电子设备及可读存储介质。

背景技术

随着互联网的深入发展，应用于终端上的应用(Application，APP)层出不穷，有些应用中还会涉及一些信息推荐服务。通常，可以从用户的历史行为数据中提取历史行为特征，并基于所提取的历史行为特征，对所召回的推荐列表进行排序处理，以向用户提供个性化的推荐内容。

然而，现有技术提供的技术方案，由于只能够单一地根据用户的历史行为数据所提取的历史行为特征，获得排序之后的推荐列表，因此，推荐的灵活性和有效性不高。

发明内容

本申请的多个方面提供一种推荐内容的处理方法、装置、电子设备及可读存储介质，用以提高推荐的灵活性和有效性。

根据第一方面，提供了一种推荐内容的处理方法，包括：

根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征；

根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数；

根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

根据第二方面，提供了一种推荐内容的处理装置，包括：

特征单元，用于根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征；

参数单元，用于根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数；

排序单元，用于根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

本发明的另一方面，提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

本发明的另一方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。

本发明的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

由上述技术方案可知，本申请实施例通过根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，进而，根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。附图仅仅用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的示意图；

图2A是根据本申请第二实施例的示意图；

图2B是图2A所对应的实施例中所采用的注意力机制的示意图；

图3A是根据本申请第三实施例的示意图；

图3B是图3A所对应的实施例中所采用的注意力机制的示意图；

图4是根据本申请第四实施例的示意图；

图5是根据本申请第五实施例的示意图；

图6是根据本申请第六实施例的示意图；

图7是用来实现本申请实施例的推荐内容的处理方法的电子设备的示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)、智能家居设备等智能设备。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

推荐系统目前被广泛应用在各种场景中，包括信息流、电商、广告等。个性化推荐算法作为推荐系统的核心技术，需要基于用户的历史行为，对用户进行准确建模，从而增强推荐的准确性。

当前主流的个性化推荐算法主要基于统计方法或序列编码，从用户的历史行为数据中提取历史行为特征，并基于所提取的历史行为特征，对所召回的推荐列表进行排序处理，以向用户提供个性化的推荐内容。

该方法的主要缺点为对于同一用户的历史记录，只能够单一地根据用户的历史行为数据所提取的历史行为特征，获得排序之后的推荐列表，无法提取当前推荐列表与历史推荐列表的相关性，因此，推荐的灵活性和有效性不高。

因此，本申请提供一种推荐内容的处理方法，可以提取当前推荐列表与历史推荐列表的相关性，从而满足推荐需求，提高推荐的灵活性和有效性。

图1是根据本申请第一实施例的示意图，如图1所示。

101、根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征。

所谓的用户的历史行为序列，由用户的历史推荐列表中各历史内容的历史特征向量组成，各历史内容的历史特征向量可以为该历史内容的内容特征和用户对该历史内容所行为的行为特征(例如，点击特征、停留特征等)所组成的特征向量。

所谓的所召回的当前推荐列表的推荐内容序列，由所召回的当前推荐列表中各推荐内容的推荐特征向量组成，各推荐内容的推荐特征向量可以为该推荐内容的内容特征组成的特征向量。

其中，所述当前推荐列表，是通过在全局候选推荐物料中，通过召回方式、粗排等方式，所获得的一个粗略的推荐列表。

102、根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

103、根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或SDK(Software Development Kit，软件开发工具包)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的推荐平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。

在本实施例中，在获得所述推荐内容序列中各推荐特征向量的相关性特征之后，则可以根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，利用RNN(Recurrent Neural Network，循环神经网络)，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

具体地，具体可以根据所述各历史特征向量，获得所述用户的历史行为特征。进而，可以以所述历史行为特征作为RNN的初始化状态，以基于注意力机制所获得的所述各推荐特征向量的相关性特征作为RNN每一步的输入，基于RNN每一步的输入与上一步的隐藏状态计算得到所述各推荐特征向量的隐藏状态，再通过一个全连接层进行所述各推荐特征向量所对应的推荐内容的推荐参数的预测。

例如，具体可以将所获得的所述各历史特征向量通过一个全连接层，以获得所述各历史特征向量的权重值。进而，则可以对所述各历史特征向量的权重值进行归一化处理，并与所述各历史特征向量一一对应进行加权融合处理，从而获得用户的历史行为特征。

进一步地，为了进一步提升推荐的有效性，还可以进一步结合所述用户的历史行为特征与其他用户属性特征(例如，用户性别、年龄、兴趣等)作为RNN的初始化状态，能够有效地刻画用户画像。

在获得所述各推荐内容的推荐参数之后，则可以根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。此时，则可以向用户提供排序处理之后的所述各推荐内容。

本实施例中，通过根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，进而，根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

图2A是根据本申请第二实施例的示意图，如图2A所示。在第一实施例的基础之上，第一实施例中的101可以由如下步骤实现：

201、将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量。

202、将所述推荐内容序列中各推荐特征向量进行特征映射处理，以获得所述各推荐特征向量的抽象特征向量。

203、对所述各推荐特征向量的抽象特征向量和所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积。

204、根据所述各历史特征向量的抽象特征向量，以及所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征。

其中，所述201和202的执行顺序可以不进行限定，可以先执行201，再执行202，或者还可以先执行202，再执行201，或者还可以同时执行201和202，本实施例对此不进行限定。

在本实施例中，具体可以将所述历史行为序列中各历史特征向量进行特征映射处理，从而可以获得所述各历史特征向量的抽象特征向量。以及可以将所述推荐内容序列中各推荐特征向量进行特征映射处理，从而可以获得所述各推荐特征向量的抽象特征向量。然后，则可以对所述各推荐特征向量的抽象特征向量和所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积。接着，则可以将所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各推荐特征向量基于各历史特征向量加权的各推荐特征向量的相关性特征。

本实施例在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，示意图可以参见图2B所示，各推荐特征向量的相关性特征组成一个各推荐特征向量的互注意力向量序列(Co-Attention向量序列)。

可选地，在本实施例的一个可能的实现方式中，在201中，具体可以将所述历史行为序列中各历史特征向量通过第一全连接层，进行特征映射处理，从而将所述历史行为序列中各历史特征向量映射到新的特征空间，使得原始特征向量进一步抽象，获得所述各历史特征向量的抽象特征向量，方便计算特征向量之间的相关性。

类似地，在202中，具体可以将所述推荐内容序列中各推荐特征向量通过第二全连接层，进行特征映射处理，从而将所述推荐内容序列中各推荐特征向量映射到新的特征空间，使得原始特征向量进一步抽象，获得所述各推荐特征向量的抽象特征向量，方便计算特征向量之间的相关性。

在获得所述各历史特征向量的抽象特征向量和所述各推荐特征向量的抽象特征向量之后，则可以将所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量进行内积计算，获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积。

此时，通过内积计算，能够获得各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的相似程度，从而可以将这个相似程度作为本实施例所采用的注意力机制的权重，即注意力权重。

在获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积之后，则可以将所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各推荐特征向量基于历史特征向量加权的各推荐特征向量的相关性特征。

例如，推荐特征向量的抽象特征向量A1分别与各历史特征向量的抽象特征向量B1、B2和B3之间的内积为W1、W2和W3，那么，将W1、W2和W3作为B1、B2和B3的注意力权重，对B1、B2和B3进行加权融合处理，获得该推荐特征向量的相关性特征为W1*B1+W2*B2+W3*B3。

本实施例中，通过将所获得的各推荐特征向量的抽象特征向量分别与各历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各推荐特征向量基于历史特征向量加权的各推荐特征向量的相关性特征。由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

图3A是根据本申请第三实施例的示意图，如图3A所示。在第一实施例的基础之上，第一实施例中的102可以由如下步骤实现：

301、根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征。

302、根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征。

303、根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

与第一实施例和第二实施例相比，本实施例通过根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征，再进一步根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征，进而，根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，能够进一步增强历史行为特征的自相关性，从而进一步提高了推荐的灵活性和有效性。

可选地，在本实施例的一个可能的实现方式中，在301中，具体可以将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量，进而，对所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各历史特征向量的抽象特征向量分别与自身以及其他历史特征向量的抽象特征向量之间的内积。然后，则可以根据所述各历史特征向量的抽象特征向量，以及所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积，获得所述各历史特征向量的相关性特征。

本实现方式中，通过将所获得的各历史特征向量的抽象特征向量分别与自身以及其他历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各历史特征向量基于该历史向量和其他历史向量加权的各历史特征向量的相关性特征。由于在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，能够进一步增强历史行为特征的自相关性，从而进一步提高了推荐的灵活性和有效性。

在实现方式中，具体可以将所述历史行为序列中各历史特征向量进行特征映射处理，从而可以获得所述各历史特征向量的抽象特征向量。然后，则可以对所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积。接着，则可以将所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各历史特征向量基于该历史向量和其他历史向量加权的各历史特征向量的相关性特征。

本实施例在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，示意图可以参见图3B所示，各历史特征向量的相关性特征组成一个各历史特征向量的自注意力向量序列(Self-Attention向量序列)。

在一个具体的实现过程中，具体可以将所述历史行为序列中各历史特征向量分别通过第三全连接层和第四全连接层，进行特征映射处理，从而将所述历史行为序列中各历史特征向量映射到新的特征空间，使得原始特征向量进一步抽象，分别获得两组所述各历史特征向量的抽象特征向量，方便计算特征向量之间的相关性。

在获得两组所述各历史特征向量的抽象特征向量之后，则可以将一组中各历史特征向量的抽象特征向量分别与另一组中自身、以及其他历史特征向量的抽象特征向量进行内积计算，获得所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积。

此时，通过内积计算，能够获得各历史特征向量的抽象特征向量分别与自身、以及历史推荐列表中除了该历史特征向量之外的其他历史特征向量的抽象特征向量之间的相似程度，从而可以将这个相似程度作为本实施例所采用的注意力机制的权重，即注意力权重。

在获得所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积之后，则可以将所述各历史特征向量的抽象特征向量分别与自身、以及其他历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各历史特征向量基于该历史向量和其他历史向量加权的各历史特征向量的相关性特征。

例如，历史特征向量的抽象特征向量B1分别与自身B1、以及其他历史特征向量的抽象特征向量B2和B3之间的内积为Y1、Y2和Y3，那么，将Y1、Y2和Y3作为B1、B2和B3的注意力权重，对B1、B2和B3进行加权融合处理，获得该历史特征向量的相关性特征为Y1*B1+Y2*B2+Y3*B3。

可选地，在本实施例的一个可能的实现方式中，在302中，具体可以将所获得的所述各历史特征向量的相关性特征通过一个全连阶层，以获得所述各历史特征向量的相关性特征的权重值。进而，则可以对所述各历史特征向量的相关性特征的权重值进行归一化处理，并与所述各历史特征向量的相关性特征一一对应进行加权融合处理，从而获得用户的历史行为特征。

在本实施例中，在获得所述推荐内容序列中各推荐特征向量的相关性特征，以及所述用户的历史行为特征之后，则可以根据所述历史行为特征和所述各推荐特征向量的相关性特征，利用RNN，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

具体地，具体可以以所述用户的历史行为特征作为RNN的初始化状态，以基于注意力机制所获得的所述各推荐特征向量的相关性特征作为RNN每一步的输入，基于RNN每一步的输入与上一步的隐藏状态计算得到所述各推荐特征向量的隐藏状态，再通过一个全连接层进行所述各推荐特征向量所对应的推荐内容的推荐参数的预测。

进一步地，为了进一步提升推荐的有效性，还可以进一步结合所述用户的历史行为特征与其他用户属性特征(例如，用户性别、年龄、兴趣等)作为RNN的初始化状态，能够有效地刻画用户画像。

在获得所述各推荐内容的推荐参数之后，则可以根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。此时，则可以向用户提供排序处理之后的所述各推荐内容。

本实施例中，通过根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，以及根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征，再进一步根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征，进而，根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，能够进一步增强历史行为特征的自相关性，以及在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

图4是根据本申请第四实施例的示意图，如图4所示。本实施例的推荐内容的处理装置400可以包括特征单元401、参数单元402和排序单元403。其中，特征单元401，用于根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征；参数单元402，用于根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数；排序单元403，用于根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

需要说明的是，本实施例所提供的推荐内容的处理装置的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或SDK(Software Development Kit，软件开发工具包)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的视频处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。

需要说明的是，图1对应的实施例中的方法可以由本实施例提供的推荐内容的处理装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。

本实施例中，通过特征单元根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，进而，由参数单元根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得排序单元能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

图5是根据本申请第五实施例的示意图，如图5所示。在第四实施例的基础之上，本实施例的推荐内容的处理装置400中的所述特征单元401可以包括第一映射模块501、第二映射模块502、计算模块503和互相关模块504。其中，第一映射模块501，用于将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；第二映射模块502，用于将所述推荐内容序列中各推荐特征向量进行特征映射处理，以获得所述各推荐特征向量的抽象特征向量；计算模块503，用于对所述各推荐特征向量的抽象特征向量和所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积；互相关模块504，用于根据所述各历史特征向量的抽象特征向量，以及所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征。

需要说明的是，图2A对应的实施例中的方法可以由本实施例提供的推荐内容的处理装置实现。详细描述可以参见图2A对应的实施例中的相关内容，此处不再赘述。

本实施例中，通过互相关模块将计算模块所获得的各推荐特征向量的抽象特征向量分别与各历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各推荐特征向量基于历史特征向量加权的各推荐特征向量的相关性特征。由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

图6是根据本申请第六实施例的示意图，如图6所示。在第四实施例的基础之上，本实施例的推荐内容的处理装置400中的所述参数单元402可以包括自相关模块601、融合模块602和预测模块603。其中，自相关模块601，用于根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征；融合模块602，用于根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征；预测模块603，用于根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

可选地，在本实施例的一个可能的实现方式中，所述自相关模块601，具体可以用于将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；对所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积；以及根据所述各历史特征向量的抽象特征向量，以及所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积，获得所述各历史特征向量的相关性特征。

需要说明的是，图3A对应的实施例中的方法可以由本实施例提供的推荐内容的处理装置实现。详细描述可以参见图3A对应的实施例中的相关内容，此处不再赘述。

本实施例中，通过特征单元根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，以及参数单元中的自相关模块根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征，进而，由参数单元中的预测模块根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，并由参数单元中的融合单元根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征，使得排序单元能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，能够进一步增强历史行为特征的自相关性，以及在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。

根据本申请的实施例，本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。

如图7所示，是用来实现本申请实施例的推荐内容的处理方法的电子设备的示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI(图形用户界面)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的推荐内容的处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的推荐内容的处理方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元，如本申请实施例中的推荐内容的处理方法对应的程序指令/单元(例如，附图4所示的特征单元401、参数单元402和排序单元403)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及单元，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的推荐内容的处理方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现本申请实施例提供的推荐内容的处理方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至实现本申请实施例提供的推荐内容的处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

推荐内容的处理方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与实现本申请实施例提供的推荐内容的处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，LCD(液晶显示器)、LED(发光二极管)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、PLD(可编程逻辑器件))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(局域网)、WAN(广域网)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，进而，根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制，即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

另外，采用本申请实施例的技术方案，通过将所获得的各推荐特征向量的抽象特征向量分别与各历史特征向量的抽象特征向量之间的内积，作为各历史特征向量的抽象特征向量的注意力权重，对所述各历史特征向量的抽象特征向量进行加权融合处理，从而可以获得各推荐特征向量基于历史特征向量加权的各推荐特征向量的相关性特征。由于在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

另外，采用本申请实施例的技术方案，通过根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，以及根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征，再进一步根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征，进而，根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，使得能够根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理，由于在用户的历史推荐列表中引进注意力机制即自注意力机制(Self-Attention)，能够进一步增强历史行为特征的自相关性，以及在用户的历史推荐列表与所召回的当前推荐列表之间引进注意力机制即互注意力机制(Co-Attention)，能够有效增强用户的当前推荐列表与历史推荐列表之间的相关性，从而提高了推荐的灵活性和有效性。

另外，采用本申请所提供的技术方案，能够有效地提高用户的体验。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种推荐内容的处理方法，其特征在于，包括：

根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，

所述根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征包括：根据用户的历史行为序列中各历史特征向量的抽象特征向量，以及推荐内容序列中各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征；

根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征进行计算，获得所述各推荐特征向量所对应的推荐内容的推荐参数；

根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

2.根据权利要求1所述的方法，其特征在于，所述根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，包括：

将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；

将所述推荐内容序列中各推荐特征向量进行特征映射处理，以获得所述各推荐特征向量的抽象特征向量；

对所述各推荐特征向量的抽象特征向量和所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积；

根据所述各历史特征向量的抽象特征向量，以及所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数，包括：

根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征；

根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征；

根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

4.根据权利要求3所述的方法，其特征在于，所述根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征，包括：

将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；

对所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积；

根据所述各历史特征向量的抽象特征向量，以及所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积，获得所述各历史特征向量的相关性特征。

5.一种推荐内容的处理装置，其特征在于，包括：

特征单元，用于根据用户的历史行为序列和所召回的当前推荐列表的推荐内容序列，利用注意力机制，获得所述推荐内容序列中各推荐特征向量的相关性特征，

所述特征单元，具体用于根据用户的历史行为序列中各历史特征向量的抽象特征向量，以及推荐内容序列中各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征；

参数单元，用于根据所述历史行为序列中各历史特征向量和所述各推荐特征向量的相关性特征进行计算，获得所述各推荐特征向量所对应的推荐内容的推荐参数；

排序单元，用于根据所述各推荐内容的推荐参数，对所述各推荐内容进行排序处理。

6.根据权利要求5所述的装置，其特征在于，所述特征单元包括：

第一映射模块，用于将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；

第二映射模块，用于将所述推荐内容序列中各推荐特征向量进行特征映射处理，以获得所述各推荐特征向量的抽象特征向量；

计算模块，用于对所述各推荐特征向量的抽象特征向量和所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积；

互相关模块，用于根据所述各历史特征向量的抽象特征向量，以及所述各推荐特征向量的抽象特征向量分别与所述各历史特征向量的抽象特征向量之间的内积，获得所述各推荐特征向量的相关性特征。

7.根据权利要求5或6所述的装置，其特征在于，所述参数单元，包括：

自相关模块，用于根据所述历史行为序列中各历史特征向量，利用注意力机制，获得所述各历史特征向量的相关性特征；

融合模块，根据所述各历史特征向量的相关性特征，获得所述用户的历史行为特征；

预测模块，用于根据所述历史行为特征和所述各推荐特征向量的相关性特征，获得所述各推荐特征向量所对应的推荐内容的推荐参数。

8.根据权利要求7所述的装置，其特征在于，所述自相关模块，具体用于

将所述历史行为序列中各历史特征向量进行特征映射处理，以获得所述各历史特征向量的抽象特征向量；

对所述各历史特征向量的抽象特征向量进行内积计算，以获得所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积；以及

根据所述各历史特征向量的抽象特征向量，以及所述各历史特征向量的抽象特征向量分别与其他历史特征向量的抽象特征向量之间的内积，获得所述各历史特征向量的相关性特征。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。

Images