CN113343097A - 基于片段和自注意力机制的序列推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于片段和自注意力机制的序列推荐方法及系统，所述方法包括：将输入的物品序列重组为片段序列；利用神经网络模型对所述片段序列进行特征提取；将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。本发明通过对BERT4Rec作出改进，使其性能优于现有技术下的BERT4Rec或其它推荐模型，最终提高了真实环境下物品序列推荐结果的准确度。

Description

基于片段和自注意力机制的序列推荐方法及系统

技术领域

本发明涉及神经网络和机器学习技术领域，具体涉及一种基于片段和自注意力机制的序列推荐方法及系统。

背景技术

序列推荐系统需要捕捉用户随着时间变化的的动态兴趣偏好，自注意力机制很适合用于序列推荐因为它能够捕捉序列中项目间的全局关系，于是基于transformer的模型在序列推荐领域中得到广泛的应用。例如基于特征的自注意力块来捕捉特征间的转变模式、在使用注意力机制时考虑协同信息、利用多头注意力对序列数据进行建模及利用双向transformer对用户的行为序列进行编码等。

然而，现有的技术都集中在根据物品序列来捕捉用户的兴趣偏好，但是这些方法很容易受到真实世界的噪声的影响，例如在某一个时间用户选择交互的物品可能是随机的，甚至是有悖于用户的兴趣偏好的，比如说给别人买东西。这种情况下真实环境下物品序列显然是不准确的。因此，亟需一种序列推荐方法能够解决上述问题。

发明内容

本发明的目的在于提供一种基于片段和自注意力机制的序列推荐方法及系统，以解决现有技术基于物品序列来捕捉用户的兴趣偏好时存在的噪声大、易出错的技术问题。

为了克服上述现有技术中的缺陷，本发明提供了一种基于片段和自注意力机制的序列推荐方法，包括：

将输入的物品序列重组为片段序列；

利用神经网络模型对所述片段序列进行特征提取；

将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

进一步地，所述将输入的物品序列重组为片段序列，包括：

获取物品序列：

式中，

表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

进一步地，利用梯度下降法进行模型训练。

进一步地，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；

输出层，用于输出提取结果。

本发明还提供了一种基于片段和自注意力机制的序列推荐系统，包括：

序列重组单元，用于将输入的物品序列重组为片段序列；

特征提取单元，用于利用神经网络模型对所述片段序列进行特征提取；

预测单元，用于将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

训练单元，用于根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

进一步地，所述序列重组单元，还用于：

获取物品序列：

式中，

表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

进一步地，利用梯度下降法进行模型训练。

进一步地，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；

输出层，用于输出提取结果。

本发明还提供了一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的基于片段和自注意力机制的序列推荐方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如上任一项所述的基于片段和自注意力机制的序列推荐方法。

相对于现有技术，本发明的有益效果在于：

本发明公开的一种基于片段和自注意力机制的序列推荐方法，包括：将输入的物品序列重组为片段序列；利用神经网络模型对所述片段序列进行特征提取；将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。本发明通过对BERT4Rec作出改进，使其性能优于现有技术下的BERT4Rec或其它推荐模型，最终提高了真实环境下物品序列推荐结果的准确度。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的基于片段和自注意力机制的序列推荐方法的流程示意图；

图2是本发明某一实施例提供的基于Transformer网络模型的整体架构图；

图3是本发明某一实施例提供的本发明方法与其他方法的性能对比图；

图4是本发明某一实施例提供的基于片段和自注意力机制的序列推荐系统的结构示意图；

图5是本发明某一实施例提供的终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面：

请参阅图1，本发明某一实施例提供了一种基于片段和自注意力机制的序列推荐方法，包括：

S10、将输入的物品序列重组为片段序列。

本步骤中，首先获取输入的物品序列：

式中，

表示序列中的第t个物品，t表示时间戳。

然后将物品序列重组成片段的序列，具体来说，一个片段指的是某个时间戳t之前的一个物品序列的子序列，表示为：

式中，{,}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；其中，p_t可以手工设计也可以自动学习。从而，可以将原物品序列转换为片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

进一步地，将该片段序列表示为矩阵形式：

S20、利用神经网络模型对所述片段序列进行特征提取。

具体地，特征提取网络由L层Transformer层堆叠而成，E⁰是第一层的输入，E^l表示第l层的输出同时也是第(l+1)层的输入。

在某一实施例中，所述神经网络模型为transformer网络，包括：自注意力层，用于对所述片段序列进行特征提取；输出层，用于输出提取结果。

本实施例中，需要说明的是，Transformer由自注意力层和输出层组成，自注意力层中能够通过多头自注意力函数MSA(E^l)捕捉E^l中任意两个项目(片段)间的依赖：

式中，W_j ^(o)是可学习的参数，MSA(E^l)是从h个自注意力头的输出的拼接投射而来，这些自注意力头并行计算h个不同的缩放点积注意力函数SPDA(.,.,.)：

式中，K、Q、V分别代表key、query、value矩阵，它们是从E^l乘上不同的可学习的参数

之后再投射而来，下标j代表第j个自注意力头。每一个自注意力头代表ε^(u)中片段间的一种全局的交互关系，使用多个自注意力头增强了模型的表征能力。

自注意力层之后是输出层，该层中会进行以下操作：

带有残差模块的层正则化、使用GELU作为激活函数的MLP以及Dropout。假设前一层transformer的输出是E^l-1，那么在第l层这些操作可以表示为：

E^l＝Output(E^l-1)

Output(E^l-1)＝LN(A^l-1+Dropout(Concat_G(A^l-1)))

A^l-1＝LN(E^l-1+Dropout(MSA(E^l-1)))

其中，

Concat_G(A)＝[G(a₁)^T；...；G(a_n)^T]^T

GELU(x)＝xφ(x)

式中，Concat_G(A)表示对矩阵A的每一行执行函数G(·)然后再把函数返回的结果拼接成矩阵，φ(x)是标准高斯分布的累计分布函数。

是第l层中可学习的参数，LN是层标准化函数。

S30、将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率。

具体地，使用最后一层即第L层transformer的输出作为输入去计算所有物品可能是下一个物品的概率：

式中，

是物品集合V的嵌入矩阵，W_P，b_P，b_I是可学习的参数，

是物品v_t对应的片段e_t在经过L层transformer后的向量表示(即最后一层transformer的输出E^L中对应的那一行的行向量)。

S40、根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

需要说明的是，在这一步中，主要以损失函数最小为目标训练模型，最终将训练好的模型用于物品序列推荐的真实场景。

其中，和BERT4Rec类似，本发明实施例也是双向模型，在训练的时候以一定概率随机遮盖掉序列中一些项目，把这些项目的集合记作

然后把这些项目当作模型学习去预测的目标。这个操作把

转变为

与此同时片段序列

也转变为了

从而定义损失函数为：

式中，v^*表示遮盖住的项目

的真实值。然后就可以通过梯度下降法最小化

来训练模型。其中，模型整体架构如图2所示。

进一步地，图3给出了本发明与其他方法性能对比。具体地，基于三组不同的数据集，即Beauty、MovieLens-1M和MovieLens-20M数据集，分别通过MRR、HR、NDCG作为评估指标来评估模型的性能。需要说明的是，MRR(Mean Reciprocal Rank)表示平均倒数排名，HR(Hit Ratio)表示命中率，HR@n表示真实物品出现在预测的概率最高前n个物品中的概率；NDCG(Normalized Discounted Cummulative Gain)表示归一化折损累计增益，NDCG@n表示只考虑预测概率最高的前n个物品，且越靠前权重越大。由图3可知，无论基于哪种数据集，由本发明提供的序列推荐方法的性能都明显优于其他方法，因此本发明能够提高物品序列推荐的准确度。

本发明实施例提供的基于片段和自注意力机制的序列推荐方法，通过对BERT4Rec作出改进，使其性能优于现有技术下的BERT4Rec或其它推荐模型，最终提高了真实环境下物品序列推荐结果的准确度。

第二方面：

请参阅图4，本发明某一实施例还提供了一种基于片段和自注意力机制的序列推荐系统，包括：

序列重组单元01，用于将输入的物品序列重组为片段序列；

特征提取单元02，用于利用神经网络模型对所述片段序列进行特征提取；

预测单元03，用于将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

训练单元04，用于根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

在某一实施例中，所述序列重组单元01，还用于：

获取物品序列：

式中，

表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{,}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

在某一实施例中，利用梯度下降法进行模型训练。

在某一实施例中，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；

输出层，用于输出提取结果。

本发明实施例提供的基于片段和自注意力机制的序列推荐系统用于执行如第一方面所述的基于片段和自注意力机制的序列推荐方法，通过对BERT4Rec作出改进，使其性能优于现有技术下的BERT4Rec或其它推荐模型，最终提高了真实环境下物品序列推荐结果的准确度。

第三方面：

请参阅图5，本发明某一实施例还提供了一种终端设备，该终端设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的基于片段和自注意力机制的序列推荐方法对应的操作。

在一个可选实施例中提供了一种终端设备，如图5所示，图5所示的终端设备包括：处理器001和存储器003。其中，处理器001和存储器003相连，如通过总线002相连。可选地，终端设备000还可以包括收发器004。需要说明的是，实际应用中收发器004不限于一个，该终端设备000的结构并不构成对本申请实施例的限定。

处理器001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线002可包括一通路，在上述组件之间传送信息。总线002可以是PCI总线或EISA总线等。总线002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器003用于存储执行本申请方案的应用程序代码，并由处理器001来控制执行。处理器001用于执行存储器003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，终端设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中的相应内容。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于片段和自注意力机制的序列推荐方法，其特征在于，包括：

将输入的物品序列重组为片段序列；

利用神经网络模型对所述片段序列进行特征提取；

将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

2.根据权利要求1所述的基于片段和自注意力机制的序列推荐方法，其特征在于，所述将输入的物品序列重组为片段序列，包括：

获取物品序列：

式中，

表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{，}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

3.根据权利要求1所述的基于片段和自注意力机制的序列推荐方法，其特征在于，利用梯度下降法进行模型训练。

4.根据权利要求1-3任一项所述的基于片段和自注意力机制的序列推荐方法，其特征在于，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；

输出层，用于输出提取结果。

5.一种基于片段和自注意力机制的序列推荐系统，其特征在于，包括：

序列重组单元，用于将输入的物品序列重组为片段序列；

特征提取单元，用于利用神经网络模型对所述片段序列进行特征提取；

预测单元，用于将部分提取结果输入至softmax函数，利用所述softmax函数预测每个物品为下一推荐物品的概率；

训练单元，用于根据所述概率建立神经网络模型的损失函数，当所述损失函数未满足预设条件时，将剩余提取结果输入至神经网络模型进行模型训练，直至所述损失函数满足预设条件时，将对应的神经网络模型作为目标模型，用于物品的序列推荐。

6.根据权利要求5所述的基于片段和自注意力机制的序列推荐系统，其特征在于，所述序列重组单元，还用于：

获取物品序列：

式中，

表示序列中的第t个物品，t表示时间戳；

获取物品序列的子序列：

式中，{，}表示向量的拼接，r表示片段的长度；x_t＝v_t+p_t，v_t、p_t分别表示物品

的d维嵌入向量、位置向量；

重组子序列，得到片段序列：

式中，a表示片段的步长，n_u表示原物品序列的长度；

将片段序列表示为矩阵形式：

7.根据权利要求5所述的基于片段和自注意力机制的序列推荐系统，其特征在于，利用梯度下降法进行模型训练。

8.根据权利要求5-7任一项所述的基于片段和自注意力机制的序列推荐系统，其特征在于，所述神经网络模型为transformer网络，包括：

自注意力层，用于对所述片段序列进行特征提取；

输出层，用于输出提取结果。

9.一种终端设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于片段和自注意力机制的序列推荐方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1至4任一项所述的基于片段和自注意力机制的序列推荐方法。

Images