CN111563205A

CN111563205A - 共享账户中基于自注意力机制的跨域信息推荐方法及系统

Info

Publication number: CN111563205A
Application number: CN202010338698.3A
Authority: CN
Inventors: 郭磊; 李秋菊; 王新华; 刘方爱
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-04-26
Filing date: 2020-04-26
Publication date: 2020-08-21

Abstract

本发明公开了共享账户中基于自注意力机制的跨域信息推荐方法及系统，包括：获取待推荐账户内第一领域的用户浏览记录序列和第二领域的用户浏览记录序列；将第一领域的用户浏览记录序列和第二领域的用户浏览记录序列，均输入到训练好的基于自注意力机制的跨域推荐模型SCRM中；训练好的基于自注意力机制的跨域推荐模型SCRM，从第一领域中提取对第二领域有关联的第一序列特征；从第二领域中提取对第一领域有关联的第二序列特征；基于第一序列特征输出待推荐账户内第二领域的推荐数据；基于第二序列特征输出待推荐账户内第一领域的推荐数据。

Description

共享账户中基于自注意力机制的跨域信息推荐方法及系统

技术领域

本公开涉及数据推荐技术领域，特别是涉及共享账户中基于自注意力机制的跨域信息推荐方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

传统序列推荐的目标是在建模用户最近行为序列的基础上预测用户下一次可能会点击或购买的item。在这个任务中，用户的行为通常是按照所发生的时间进行排序。并且在某一时间段内，用户的一系列的行为都是为了实现某个目标，比如找到一个感兴趣的电影，或者找到一本与研究方向相关的工具书等。目前，序列推荐在许多领域如电商、视频、音乐等都有着非常重要的应用。

共享账户跨域序列推荐(SCSR)是指在下列特定背景下的序列推荐(SR)任务，即：为多个不同用户所共享的账户进行跨域序列推荐。其中，共享账户是指多个用户共同使用同一个账户(如购物账号、家庭电视账号等)；跨域推荐是指利用用户在其它域中的行为在目标域中预测用户下一次可能会观看或点击的item。在SCSR中，(1)我们考虑共享账户的推荐场景是因为共享账号在很多应用中是一个很普遍的现象。例如，一个家庭的成员往往会使用同一个账号观看视频、电视，甚至是网上购物。在这些情景中，共享账户中的多个用户行为是混合在一起的，很难直接将他们区分开来，使得推荐任务变得更具有挑战。(2)我们在跨域场景下考虑推荐任务，主要是基于以下两个方面的原因：一是当今社会人们会借助不同的网络实现不同的目的，例如在视频网这个域上观看自己喜欢的视频，在购物网这个域上进行购物等。虽然每一个域上的得到的产品和服务不一样，但是却可以反映出用户的一些共同特征，借助其他域提取出来的用户特征可以提高目标域的推荐质量。二是在当今网络生态系统中，存在大量的在功能和内容上具有同质性的网络，例如：豆瓣和IMDb在提供的电影上存在一定比例的重合性；淘宝和京东在功能上具有一定的相似性，在提供的产品上也存在很大程度上重合现象。所以借助这种域跟域之间存在的这种同质性，可以通过跨域传输同质性的信息以补充目标域的数据量，进而提高目标域的推荐质量。

目前已有的序列推荐算法大都使用递归神经网络(RNN)或卷积神经网络(CNN)对序列进行建模，但是RNN和CNN在建模用户的序列行为时都存在一定的缺陷，例如，RNN不能够较好地捕捉用户行为之间的长距离依赖关系，而CNN不能够显式捕获用户行为之间的交互关系。另外，已有的工作大多数都是针对单个域中的用户行为进行推荐，很少有同时考虑共享账户和跨域这两种情况。例如，π-net将SCSR看作一种并行的序列推荐问题，并且提出一个并行的信息共享网络来兼顾共享账户和跨域这两个特点。但是由于他们的方法是基于RNN的，在整个方法计算复杂度比较高的同时，也无法很好地学习用户交互行为之间的长距离依赖关系，而这恰恰是序列建模任务中需要解决的关键问题。

发明内容

为了解决现有技术的不足，本公开提供了共享账户中基于自注意力机制的跨域信息推荐方法及系统；

第一方面，本公开提供了共享账户中基于自注意力机制的跨域信息推荐方法；

共享账户中基于自注意力机制的跨域信息推荐方法，包括：

获取待推荐账户内第一领域的用户浏览记录序列和第二领域的用户浏览记录序列；

将第一领域的用户浏览记录序列和第二领域的用户浏览记录序列，均输入到训练好的基于自注意力机制的跨域推荐模型SCRM中；

训练好的基于自注意力机制的跨域推荐模型SCRM，从第一领域中提取对第二领域有关联的第一序列特征；从第二领域中提取对第一领域有关联的第二序列特征；基于第一序列特征输出待推荐账户内第二领域的推荐数据；基于第二序列特征输出待推荐账户内第一领域的推荐数据。

第二方面，本公开提供了共享账户中基于自注意力机制的跨域信息推荐系统；

共享账户中基于自注意力机制的跨域信息推荐系统，包括：

获取模块，其被配置为：获取待推荐账户内第一领域的用户浏览记录序列和第二领域的用户浏览记录序列；

推荐模块，其被配置为：将第一领域的用户浏览记录序列和第二领域的用户浏览记录序列，均输入到训练好的基于自注意力机制的跨域推荐模型SCRM中；

第三方面，本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。

第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

第五方面，本公开还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。

与现有技术相比，本公开的有益效果是：

1、本公开通过提出基于自注意力机制的跨域推荐模型SCRM，解决了共享账户跨域信息推荐的技术问题；

2、本公开通过在基于自注意力机制的跨域推荐模型SCRM中引入注意力机制，有效的减少了训练时间，且建立了长距离依赖关系模型；

3、本公开通过在基于自注意力机制的跨域推荐模型SCRM中引入多头自注意力网络，假设共享帐户由多个用户组成，模拟共享账户的特征。

4、本公开通过提出基于自注意力机制的跨域推荐模型SCRM，解决了将域信息从辅助域传输到目标域的技术问题，实现了将传输的信息与目标域中的原始信息相结合。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为第一个实施例的方法流程图；

图2为第一个实施例的SCRM的系统架构和工作流程图；

图3为第一个实施例的跨域序列推荐的多头自注意力机制的体系结构。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

另外，为了便于清楚描述本公开实施例的技术方案，在本公开实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

关于域的定义：

根据已有的文献可以将域划分为系统域，概念域，时间域。系统域：就是按照数据集所属的系统进行划分的。概念域：将同一系统中的数据，按照不同的概念层次进行划分。

实施例一

本实施例提供了共享账户中基于自注意力机制的跨域信息推荐方法；

共享账户中基于自注意力机制的跨域信息推荐方法，包括：

S101：获取待推荐账户内第一领域的用户浏览记录序列和第二领域的用户浏览记录序列；

S102：将第一领域的用户浏览记录序列和第二领域的用户浏览记录序列，均输入到训练好的基于自注意力机制的跨域推荐模型SCRM中；

示例性的，所述第一领域，例如包括：娱乐休闲视频领域或者在线教育类视频领域。

示例性的，所述第二领域，例如包括：在线教育类视频领域或者娱乐休闲视频领域。

进一步地，所述第一领域与第二领域不一致。

应理解的，所述第一领域与第二领域不一致，例如第一领域为娱乐休闲视频领域，第二领域为在线教育类视频领域。

本实施例能够为娱乐休闲视频领域的观看者推荐适应年龄的在线教育类视频领域的视频内容；同样的，本实施例也能够为在线教育类视频领域的观看者提供适应年龄的娱乐休闲视频领域的视频内容。

进一步地，如图2所示，所述基于自注意力机制的跨域推荐模型SCRM，包括：并列的第一支路和第二支路；

所述第一支路，包括依次连接的第一输入层、第一嵌入层、第一自注意力机制模块、第一前馈神经网络和第一混合推荐编码器；

所述第二支路，包括依次连接的第二输入层、第二嵌入层、第二自注意力机制模块、第二前馈神经网络和第二混合推荐编码器；

所述第一前馈神经网络的输出端通过第一跨域传输单元与第二混合推荐编码器的输入端连接；

所述第二前馈神经网络的输出端通过第二跨域传输单元与第一混合推荐编码器的输入端连接。

进一步地，所述第一输入层，用于输入待推荐账户内第一领域的用户浏览记录序列；

进一步地，所述第一嵌入层，用于对第一领域的用户浏览记录序列进行预处理，输出第一领域的用户浏览记录序列的初始嵌入值；

进一步地，所述第一自注意力机制模块，用于从第一领域的用户浏览记录序列的初始嵌入值，学习第一领域内用户浏览记录序列上下文的信息，并且获得第一领域内用户序列行为中任意两个元素之间的关联关系；

进一步地，所述第一前馈神经网络，用于将第一领域内用户浏览记录序列上下文的信息和第一领域内用户序列行为中任意两个元素之间的关联关系，进行非线性投影，实现不同维度内信息的交互；

进一步地，所述第一混合推荐编码器，用于将第一领域的推荐内容和第二领域的推荐内容进行混合后输出；

进一步地，所述第一跨域传输单元，用于将第二领域内的信息传输到第一领域内。

进一步地，所述第二输入层，用于输入待推荐账户内第二领域的用户浏览记录序列；

进一步地，所述第二嵌入层，用于对第二领域的用户浏览记录序列进行预处理，输出第二领域的用户浏览记录序列的初始嵌入值；

进一步地，所述第二自注意力机制模块，用于从第二领域的用户浏览记录序列的初始嵌入值中，学习出第二领域内用户序列上下文的信息，并且获得第二领域内用户序列中任意两个元素之间的关联关系；

进一步地，所述第二前馈神经网络，用于将第二领域内用户浏览记录序列上下文的信息和第二领域内用户序列行为中任意两个元素之间的关联关系，进行非线性投影，实现不同维度内信息的交互；

进一步地，所述第二混合推荐编码器，用于将第二领域的推荐内容和第一领域的推荐内容进行混合后输出；

进一步地，所述第二跨域传输单元，用于将第一领域内的信息传输到第二领域内；

具体的，所述第一嵌入层的工作有两部分：一是将第一领域内的所有项目用向量表示出来，所有项目的表示构成一个矩阵；二是根据输入的序列中包含的项目表示依次从矩阵中查找，然后形成用户浏览序列的矩阵表示。

具体的，所述第一嵌入层，工作原理包括：

首先，将第一领域内所有项目表示成嵌入矩阵M，其中M∈R^|I|*d，其中I表示第一领域的项目集合，d是潜在维度；

然后，利用嵌入矩阵得到第一领域的用户浏览记录序列对应的初始嵌入值。

应理解的，根据输入的用户浏览记录对嵌入矩阵M进行依次检索，找出浏览记录上每一个项目在嵌入矩阵中的对应表示，然后用户的浏览记录就可以采用一种统一的方式表示出来，这个就是初始的嵌入值。

进一步地，所述第一自注意力机制模块或第二自注意力机制模块的结构是一致的。

具体的，所述第一自注意力机制模块，是多头注意力机制函数。

具体的，所述第一自注意力机制模块，具体结构包括：

首先，输入包括Q(Query)、K(Key)、V(Value)三个矩阵，矩阵Q与矩阵K之间的进行点乘运算(MatMul)；

然后，将点乘运算的结果除以一个尺度标度

(scale)；再利用Softmax操作将其结果归一化为概率分布；

最后，将得到的概率分布乘以矩阵V(MatMul)，得到权重求和的表示；

运算一次得到一个head，经过H次操作就得到H个head；将得到的H个head做拼接操作。

具体的，所述第一自注意力机制模块，表示为：

其中，Q、K、V分别表示查询(query)、关键字(key)和值(value)，是自注意力机制的输入；第一自注意力机制模块输入是经过第一嵌入层处理的，所以

是第一自注意力机制模块的输入，其中

表示嵌入矩阵，W^Q、W^K、W^v表示权重矩阵；

是投影矩阵，

是MSA的最终输出，D表示共享帐户中H(head₁，...，head_H)个用户的行为特征。H是MSA机制中头(或用户)的数量。

进一步地，所述第一前馈神经网络或第二前馈神经网络的结构是一致的。

具体的，所述第一前馈神经网络，包括：

其中F_i表示第i个账户的前馈神经网络的输出，D_i表示第i个账户的MSA的输出，矩阵

是神经网络中的权重矩阵，b⁽¹⁾和b⁽²⁾都是神经网络中的偏置单元。

具体的，所述第一前馈神经网络，工作原理包括：

第一前馈神经网络中的每一节点都与自注意力机制网络中的每一节点进行相连，使模型具有非线性投影和不同维度之间交互的功能。

进一步地，所述第一混合推荐编码器或第二混合推荐编码器的结构是一致的。

具体的，所述第一混合推荐编码器，包括：

其中S_A，S_B表示第一领域内和第二领域内输入的用户浏览记录序列，B_j+1表示第二领域内第j+1个项目；F_(A→B)i表示账户i中从第一领域传输到第二领域的信息；F_Bi表示账户i在第二领域内前馈神经网络FFN的输出；

表示拼接运算，W和b是神经网络的权重矩阵和偏置单元。

具体的，所述第一混合推荐编码器，工作原理包括：

将第二领域传输过来的数据与第一领域的数据进行拼接处理，然后将拼接结果传输到下一层的全连接层，全连接层与softmax层连接，softmax层与输出层连接。

进一步地，所述第一跨域传输单元或第二跨域传输单元的结构是一致的。

具体的，所述第一跨域传输单元，包括：

采用聚合操作对从第二领域传输到第一领域的信息进行传输。

具体的，第一跨域传输单元，表示为(以均值操作为例)：

其中F_A表示第一领域内FFN的输出，F_(A→B)i表示账户i中从第一领域内传输到第二领域内的信息。

具体的，所述第一跨域传输单元，工作原理包括：

将FFN输出的信息，采用聚合操作(例如均值操作、最小值操作等)，然后将第一领域与第二领域的信息做拼接处理，实现将一个域的信息传输到另一个域内，实现跨域信息传输。

进一步地，训练好的基于自注意力机制的跨域推荐模型SCRM，训练步骤包括：

构建训练集；所述训练集包括：已知跨领域推荐内容的同一个账号下两个不同领域的用户浏览记录序列；

将训练集输入到基于自注意力机制的跨域推荐模型SCRM中进行训练，当基于自注意力机制的跨域推荐模型SCRM的损失函数达到最小值时，停止训练，得到训练好的基于自注意力机制的跨域推荐模型SCRM。

进一步地，基于自注意力机制的跨域推荐模型SCRM的损失函数是指：

L(θ)＝L_A(θ)+L_B(θ)，

其中，L(θ)表示模型的总损失函数，L_A(θ)和L_B(θ)分别表示第一领域内和第二领域内的损失函数，θ表示SCRM里面的所有参数。

表示第一领域内和第二领域内的训练序列(S_A和S_B)，S_A和S_B表示第一领域内和第二领域内中输入的训练序列。A_i表示序列S_A中的项目i，B_i表示序列S_B中的项目j。A_i+1表示在域A中预测的下一个项目i+1，B_i+1表示在域B中预测的下一个项目j+1。

共享账户跨域序列推荐(SCSR)是指在有多个用户共享同一个账号的情况下，给该账号推荐在不同领域中下一个可能会观看或点击的item，与传统的推荐任务相比，共享账户跨域序列推荐主要面临以下两方面的挑战：

(1)每一个账号里的交互行为是由多个用户产生，并且这些用户的行为是混合在一起的。

(2)用户在一个域中产生的交互行为可能会提升推荐系统对该用户在其他域的推荐质量。

目前，已有的一些相关工作大都是基于循环神经网络(RNN)的方法，但由于RNN本身固有的一些缺陷，即：使用RNN在推导用户兴趣时不仅非常耗时，而且不能够很好的捕获交互行为之间的长距离依赖关系。在本公开中，我们针对SCSR提出了基于自注意力的跨域推荐模型SCRM来解决这两个挑战。具体来讲，我们首先引入了一个多头自注意力网络来模拟一个共享账号中有多个用户参与的交互行为。然后，通过传输在不同域中得到的账户偏好信息，同时考虑该账户在不同域中的交互行为来提高目标域的推荐质量。最后，我们通过一个混合的编码器实现在不同域中的信息推荐。我们在真实数据集HVIDEO上进行了实验，实验结果表明，与目前最新的基准方法相比，我们的方法能在MRR和Recall两个指标上取得更好的结果。

基于对以上问题的观察，本公开将自注意力机制应用到SCSR任务中去，并且提出了基于自注意力的跨域推荐模型(SCRM)来解决目前存在的问题。自注意力机制是在最近的机器翻译模型一The Transformer中提出的，它在机器翻译任务中取得了较好的性能。与现有的使用递归或卷积的其他模型相比，Transformer只采用了注意力机制来对序列信息进行建模。该模型的运行方式采用的是并行加速，使其运行速度比基于RNN/CNN的方法快一个数量级。这种自注意力机制(SA)不仅网络框架简洁、训练时间少，而且能够很好地捕捉用户交互行为之间的长距离依赖关系。具体来说，在SCRM中我们采用了多头(Multi-head)自注意力机制来建模多个用户共享一个账户的行为，用一个头表示一个用户。为了能够利用其它域的信息来提高目标域的推荐质量，我们将域A中由多个头的自注意力机制得到的序列表示传输到域B，反之亦然。然后，我们提出能考虑两个域信息的混合编码器来进行推荐。最后，我们以端到端的方式在两个域上进行联合训练。

本公开的主要贡献可以概括为以下几个方面：

1)我们针对SCSR问题提出了一个新的SCRM模型，这个模型同时考虑了共享账户和跨域两个特性，并且在两个域中进行了推荐。

2)我们采用了多头的自注意力机制(SA)来建模共享账号的偏好，不仅能够很好捕捉用户行为间的长距离依赖关系，而且能够捕获多个用户的混合交互行为。

3)我们将其它域中的信息传递给目标域，通过设计混合编码器，使目标域可以借助来自其他域的信息来提高自身的推荐质量。

4)我们在真实数据集上进行了实验，实验结果表明，我们的方法更加有效地对共享账户的行为进行建模，并且能在SCSR任务上取得最好的结果。

将从跨域推荐、共享账户推荐和基于注意力机制的推荐三个方面来介绍相关工作。

跨域推荐：

由于跨域推荐主要是考虑了来自多个域的信息，所以它有助于解决推荐系统中经常面临的冷启动问题和数据稀疏问题。在跨域推荐的研究中，主要有两种方法来解决跨域推荐问题。一种方法是将不同域之间的信息直接聚合起来。另一种是将辅助域中的信息传输到目标域中。基于深度学习的方法非常适合迁移学习，因为深度学习方法可以学习不同域的高级抽象表示。

然而，现有技术只适用于静态评分数据，并不能应用到序列推荐中去。现有的模型不仅耗时而且不能够很好的捕捉用户行为之间的长距离依赖关系。

共享账户推荐：

共享账户推荐是对多个用户在同一个账户内产生的混合交互行为进行建模，然后向账户里的每一个用户进行推荐，这通常被认为是两个独立的过程，即首先识别用户，然后进行推荐。

基于注意力机制的推荐：

注意力机制被应用于许多领域，如：图像处理、机器翻译、自然语言处理等。然而，目前的研究都没有将SA应用到SCSR任务中去。本公开通过借助多头SA机制对共享账户和跨域两个特性进行建模，以更好的解决SCSR这个问题。

首先给出关于模型的任务定义和SCRM的概述，然后分别详细描述了组成SCRM的模块，最后给出了目标函数。表1列出了本公开后续内容经常会使用到的符号定义。

表1文中常用的符号定义及描述

任务定义：

用

和

分别表示域A和域B的用户交互行为序列；

其中

表示在域A中消费项目的索引；

表示域A中所有项目的集合；

表示在域B中消费项目的索引；

表示域B中所有项目的集合。

SCRM的任务就是根据给定序列S_A和序列S_B给共享账户推荐即将消费的下一个项目。

域A和域B中所有候选项目的被推荐的概率定义如下：

P(A_i+1|S_A，S_B)～f_A(S_A，S_B) (1)

P(B_j+1|S_B，S_A)～f_B(S_B，S_A) (2)

其中P(A_i+1|S_A，S_B)表示在域A中，给定序列S_A和S_B情况下，推荐项目A_i+1的概率。此概率可以被f_A(S_A，S_B)进一步计算可得，可以使用该函数估计P(A_i+1|S_A，S_B)。同样的定义也适用于P(B_j+1|S_B，S_A)和f_A(S_B，S_A)。

SCRM的主要任务是学习一个推荐模型，该模型可以从辅助域A(或B)中提取序列特征，然后将相关特征信息传输到目标域B(或A)中，传输的信息与目标域的原始信息进行整合以进行推荐。

SCRM的系统架构和工作流程如图1所示。SCRM主要由四个部分组成，即嵌入层、自注意力模块、跨域传输模块和混合推荐编码器。具体来看，嵌入层的功能是将原始的输入序列进行预处理，其输出是每个输入项目的初始嵌入。SA模块不仅用来建模用户的序列信息，而且可以表示共享账户里多个用户的问题。我们使用SA里面的每一个头表示共享账户里的每一个用户。跨域传输单元的任务是将辅助域的信息传输到目标域中，以提高目标域的推荐质量。混合推荐编码的提出主要是为了能够同时利用两个域的信息以进行更好的推荐。

嵌入层：

嵌入层的任务是将原始输入(即S_A，S_B)转换为SA模块的初始输入。设定输入序列的长度是固定的，并且设置其最大长度为30。

使用M∈R^|I|*d表示域A或B中所有项目的嵌入矩阵，其中I表示域A或B中的项目集合(I＝A或I＝B)，d是潜在维度。

然后，通过检索矩阵M得到输入序列S_Ai(以域A为例)的初始嵌入E_Ai∈R^n*d(n表示输入序列的最大长度)。

位置嵌入：由于SA模块并不包括任何的循环或卷积机制，所以使用SA机制直接对序列信息进行建模得到的编码不包括序列信息的顺序性。为了能够利用序列行为的顺序性这一优势，我们E的基础之上增加了一个位置编码P∈R^n*：

其中，

是嵌入层的最终输出，表示带有位置编码的输入交互行为。

SA模块：

为了克服基于RNN方法的固有缺陷，采用了自注意力(SA)网络作为基础序列编码器。与传统的注意力机制仅仅利用有限的知识去捕捉上下文信息不同的是，SA可以学习全文上下文的信息，并且可以获得任意两个元素之间的关系，不管这两个元素的距离有多远。

本公开中，使用的SA方法是采用标度点积计算的，其定义如下：

注意力模块的输入包括：查询(Q)，关键字(K)和值(V)，输出是值的加权和，其中与值对应的权重矩阵(或关联矩阵)是由查询值和其对应的关键值决定的。

自注意力层：我们的模型首先将由嵌入层得到的

转换为查询

关键字

和值

然后将其输入到自注意力层：

其中

是三个投影矩阵，使用三个不同的投影矩阵与采用相同的投影矩阵相比较而言，不同的投影矩阵会使得模型灵活性更好一些。S是SA层的输出，表示学习到的序列特征(我们这里仅仅使用了一层SA层)。

多头自注意力(MSA)：由于共享帐户包含多个用户，所以我们不能默认为账户里的用户交互行为是由一个虚拟账户生成的。为了从多用户视角对混合的交互行为进行建模(这里我们假设每一个账户里有H个用户)，我们进一步在SA里引入了多头机制，其中一个头在共享帐户中建模为一个用户。

MSA通过不同的线性投影将查询、关键字、值投影H次。然后，以并行的方式执行注意力机制，每一次投影的输出都为d维的值。继而将得到的H个投影值进行拼接处理，再进行一次投影，最后生成MSA的最终结果(如图3所示)。我们通过使用MSA机制可以联合建模共享账户里不同用户的信息。

域A(或B)中的多头机制可以表示为：

其中

是投影矩阵，

是MSA的最终输出，它表示共享帐户中H个用户的行为特征。H是MSA机制中头(或用户)的数量。

前馈神经网络(FFN)：自我注意力模型的功能主要是线性投影。为了使模型具有非线性投影和不同维度之间交互的功能，我们将点式前馈神经网络应用到每个域学习到的特征中：

其中矩阵

b⁽¹⁾和b⁽²⁾都是神经网络的参数。本公开中，我们使用的是标准的ReLU激活函数。

跨域传输单元：

MSA的输出依然属于单个域(A或B)。为了能实现跨域推荐，我们需要将其传输到目标域B(或A)，然后将其与目标域B(或A)的原始信息进行结合。具体来讲，我们将域A学习到的交互行为表示F_Ai(假设A是辅助域)，采用聚合操作(如均值聚合、最大值聚合)对从域A传输到到域B的信息表示

进行建模。简单起见，我们将均值聚合操作作为一个例子：

其中MEAN是元素的均值运算，

表示账户i从域A传输到域B的信息。

混合推荐编码：

混合推荐编码器旨在利用来自两个域(A和B)的混合信息来提高目标域B(或A)中的推荐性能，其主要功能是将传输信息与本域的原始信息结合在一起。具体展开，它首先通过将目标域B的原始信息

与从A传输到B的信息

拼接起来表示混合信息。然后，将拼接得到的值传入到全连接层，计算出每一个项目在目标域B的预测分数。

下一项推荐项目B_j+1的概率公式定义如下：

(1)

其中

表示拼接运算，W和b是神经网络的参数。

目标函数：

本公开中，利用负对数似然损失函数作为目标函数，对各个域的SCRM进行如下训练：

其中θ表示SCRM里面的所有参数，

表示域A和域B的训练序列(S_A和S_B)。为了能够在两个域中进行同时训练，将L_A和L_B线性联合起来，训练模型总的损失函数：

L(θ)＝L_A(θ)+L_B(θ) (13)

SCRM里的所有参数都是以端到端的方式学习的。

本公开研究了共享帐户跨域推荐问题，提出了一种新的基于自注意力的跨域推荐机制(SCRM)，以克服现有的挑战。具体来讲，为了减少训练时间和建立长距离依赖关系模型，我们引入了自注意力机制作为我们的基本序列编码器。为了模拟共享帐户的特征，我们假设共享帐户由多个用户组成，并进一步探索了多头自注意力网络。为了将域信息从辅助域传输到目标域，提出了一种跨域传输组件。最后，将传输的信息与目标域中的原始信息相结合，得到一个混合推荐解码器。为了评价SCRM的性能，在真实数据集HVIDEO上进行了大量的实验。

实施例二

本实施例提供了共享账户中基于自注意力机制的跨域信息推荐系统；

共享账户中基于自注意力机制的跨域信息推荐系统，包括：

此处需要说明的是，上述获取模块和推荐模块应于实施例一中的步骤S101至S102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.共享账户中基于自注意力机制的跨域信息推荐方法，其特征是，包括：

2.如权利要求1所述的方法，其特征是，所述基于自注意力机制的跨域推荐模型SCRM，包括：并列的第一支路和第二支路；

3.如权利要求2所述的方法，其特征是，所述第一输入层，用于输入待推荐账户内第一领域的用户浏览记录序列；

所述第一嵌入层，用于对第一领域的用户浏览记录序列进行预处理，输出第一领域的用户浏览记录序列的初始嵌入值；

所述第一自注意力机制模块，用于从第一领域的用户浏览记录序列的初始嵌入值，学习第一领域内用户浏览记录序列上下文的信息，并且获得第一领域内用户序列行为中任意两个元素之间的关联关系；

所述第一前馈神经网络，用于将第一领域内用户浏览记录序列上下文的信息和第一领域内用户序列行为中任意两个元素之间的关联关系，进行非线性投影，实现不同维度内信息的交互；

所述第一混合推荐编码器，用于将第一领域的推荐内容和第二领域的推荐内容进行混合后输出；

所述第一跨域传输单元，用于将第二领域内的信息传输到第一领域内。

4.如权利要求2所述的方法，其特征是，所述第一嵌入层，工作原理包括：

首先，将第一领域内所有项目表示成嵌入矩阵M，其中M∈R^|I|*d,其中I表示第一领域的项目集合，d是潜在维度；

5.如权利要求2所述的方法，其特征是，所述第一自注意力机制模块，是多头注意力机制函数。

6.如权利要求2所述的方法，其特征是，所述第一前馈神经网络，工作原理包括：第一前馈神经网络中的每一节点都与自注意力机制网络中的每一节点进行相连，使模型具有非线性投影和不同维度之间交互的功能。

7.如权利要求2所述的方法，其特征是，所述第一混合推荐编码器，工作原理包括：将第二领域传输过来的数据与第一领域的数据进行拼接处理，然后将拼接结果传输到下一层的全连接神经网络。

8.共享账户中基于自注意力机制的跨域信息推荐系统，其特征是，包括：

9.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。