CN112464104B - 一种基于网络自协作的隐式推荐方法和系统 - Google Patents

Abstract

本发明公开了一种基于网络自协作的隐式推荐方法和系统。该方法包括：对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型中移植参数来重激活该序列推荐模型的无效参数；以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。本发明通过自动化地促进多个模型的协作和优化，能够获得更具表现力的序列推荐模型，为用户提供准确的推荐服务。

Description

一种基于网络自协作的隐式推荐方法和系统

技术领域

本发明涉及序列推荐技术领域，更具体地，涉及一种基于网络自协作的隐式推荐方法和系统。

背景技术

近年来，推荐系统(RS)已成为许多大型社交媒体和电子商务平台的核心技术。在这样的系统上能够显式或隐式地产生大量用户-推荐项交互行为(即反馈)。特别是隐式反馈(例如点击，购买，观看的视频和播放的歌曲)相对显式评分数据更容易收集并且规模更大。例如，在Tiktok上，每个视频的播放时间通常少于20秒，那么用户在一个小时内可以轻松观看多达100部短视频。因此，最近对前N个推荐的研究已经从显式反馈问题转变为隐式反馈问题。隐式推荐系统的本质是利用用户先前的反馈来预测用户希望交互的前N个推荐项的列表。目前，基于深度神经网络(DNN)的推荐模型已实现了卓越的性能，并且几乎主导了推荐系统领域。在本发明中，将专注于探索通过多模型协作机制增强隐式推荐系统的技术方案。

在现有的利用多模型协作的一项研究成果中，提出了使用标准的集成学习的方法，结合多个弱模型的输出形成一个强模型，通过这种方式能够提高推荐准确率。在另一项研究成果中，提出了基于知识蒸馏的多模型协作的方法，将知识从大型的、经预训练的教师模型转移到通常较小的学生模型中，进而提高学生模型的表现。然而，以上两种方法由于没有明确考虑到推荐领域的特点，或者提升效果不够理想，明显降低了预测效率，或者使用范围受限。

经分析，目前隐式推荐模型存在两个明显缺陷：大型的推荐模型通常会带来明显的性能提升，但存在过参数化现象，即模型中存在大量冗余的神经元和参数，这已经成为模型表现力的主要障碍；深度神经网络模型中的参数的重要性难以评判，使用常见的L1/L2-norm只能关注参数的绝对值，而无法衡量参数的变化。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于网络自协作的隐式推荐方法和系统，在深度学习模型的基础上，提出了利用新的网络自协作框架为用户进行准确地推荐服务。

根据本发明的第一方面，提供一种基于网络自协作的隐式推荐方法。该方法包括以下步骤：

对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；

对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；

以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。

根据本发明的第二方面，提供一种基于网络自协作的隐式推荐系统。该系统包括：

网络自协作框架：其被设置包含一个序列推荐模型以及与其具有相同网络架构的一个或多个对等序列推荐模型；

协作训练模块：用于对所述网络自协作框架进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；

序列预测模块：用于以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务。

与现有技术相比，本发明的优点在于，根据序列推荐领域的特点，在深度学习模型的基础上，提出了一种新的网络自协作训练框架，该框架利用具有相同网络结构的多个基于DNN的推荐模型的协作训练机制(称为自协作机制)，在训练过程中重新激活并增强冗余的参数，从而获得更高的推荐准确率，且仍保持其原始推理效率。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于网络自协作的隐式推荐方法的流程图；

图2是根据本发明一个实施例的具有两个相同网络架构的网络自协作框架的示意图；

图3根据本发明一个实施例的具有四个相同网络架构的网络自协作框架的示意图；

图4是根据本发明一个实施例的NextItNet网络架构图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提出了一种用于隐式推荐任务的网络自协作训练框架，在本文中称为SeCoRec，通过从原始序列推荐模型的一个或多个相同网络架构的模型中移植信息来重新激活该原始序列模型的无效参数进而提高模型的表现。本文将使用NextItNet架构实现SeCoRec为例进行说明。NextItNet架构可参见(“A simple convolutional generativenetwork for next item recommendation”，Proceedings of the Twelfth ACMInternational Conference on Web Search and Data Mining.2019:582-590.Yuan F,Karatzoglou A,Arapakis I,et al.)。

参见图1所示，该实施例提供的基于网络自协作的隐式推荐方法包括以下步骤。

步骤S110，构建具有相同网络架构的多个序列推荐模型，包括原始序列推荐模型及其对等模型。

序列推荐模型可基于深度神经网络构建，每个序列推荐模型具有相同的网络架构，例如具有相同层数、每层具有相同数量的神经元等。为了便于理解，在本文中，从第一个序列推荐模型(或称为原始序列推荐模型)出发进行描述，将其他的序列推荐模型也称为第一个序列推荐模型的对等模型。但应理解的是，上述相同结构的多个序列推荐模型在自协作训练中处于相同的角色，可以互相补充参数信息，以增强自身的表达力。

步骤S120，设计衡量序列推荐模型中每一层参数重要性的标准。

例如，选择神经网络层(如包括嵌入层和softmax层)中的所有权重作为度量单位。此处的目的是使重新激活无效参数时尽可能地保持网络连接。优选地，采用基于熵的标准来衡量序列推荐模型中每一层参数的重要性。熵是评估系统中混乱程度(信息)的自然选择。在实际应用中，将参数矩阵转换为向量，并通过将向量离散化为m个统计堆栈，计算每个统计堆栈的概率。

具体地，首先根据向量中参数的值对参数进行排序，然后将向量划分为具有相等数值间隔(其中max和min分别代表参数矩阵的最大值和最小值)的m个统计堆栈。第j个统计堆栈的概率为：

其中N是序列推荐模型中一层的参数数量，n_j是第j个统计堆栈中的参数数量。

然后，计算参数矩阵W_i的熵为：

针对序列推荐模型中的参数重要性难以评判的缺点，本发明提出基于熵来衡量序列推荐模型中参数的重要性，这种方式能够深入挖掘有效的参数信息。

步骤S130，对于原始序列推荐模型及其对等序列推荐模型进行协作训练，并协作训练过程中，根据原始序列推荐模型中每一层参数的重要性通过从其对等模型中移植参数来重激活该原始序列推荐模型中无效参数。

在此步骤S130中，首先根据所计算的每一层参数重要性制定关于如何在多个相同网络之间进行信息补充以及每个网络需要补充多少信息的规则，然后利用该规则从对等模型中移植参数来重激活原始序列推荐模型中的无效参数，进而生成新的参数信息，其中无效参数是指对预测结果没有影响或影响力很低的参数，而生成的新参数信息将增强序列推荐模型的表现力。

具体地，图2是使用两个具有相同网络架构的序列推荐模型的SeCoRec框架，分别标记为M₁和M₂，其中⊕表示和/>的加权线性组合，t表示特征(例如，用户-推荐项交互)空间的大小。假设两个模型都具有N层。将/>和/>表示为两个模型的第i层的权重矩阵，/>和/>分别表示为/>和/>的信息熵。本文的核心思想是使用两个网络的相对应的参数信息并生成更具表达力的参数/>

和/>的参数分布可能会有所不同，因为它们使用不同的超参数进行了优化(下文将进行说明)。即，一层的不重要的权重可以对应于另一层的重要的权重，反之亦然。

在一个实施例中，将f定义为线性组合函数：

其中％是取模运算，是系数，用于表征第i层参数的重要性，该系数用来确定这些相同网络需要多少外部信息(每一层)。/>是信息移植后的新参数矩阵。在实践中，将此系数/>作为自适应参数用以自动地促进模型间的合作和优化。

公式(4)是根据每一层参数重要性所制定的关于如何在多个相同网络之间进行信息补充以及每个网络需要补充多少信息的规则，该规则被用来从其对等序列推荐模型中移植重要参数来重激活该序列推荐模型的无效参数。这种简单但非常有效的加权线性组合方法能够增强每个模型的每层参数。

此外，优选地，设计自适应系数自动化地促进两个模型的协作和优化。

例如，设计合适的自适应参数的两条准则如下：

1)、期望熵较小的层可以从其对等模型中获取更多信息。

例如，使用差来衡量相对重要性。当差为零时，将/>设置为0.5，否则/>应该为具有较大熵的层分配较大的/>(即/>)。

应注意的是，即使也有意义，因为相同的熵并不意味着所有参数都相同。考虑一种极端的情况，如果两个参数矩阵的分布(例如正态分布)相同，但每个参数(具有相同位置)的大小相反。在这种情况下，每一层的熵是相同的，但是/>的熵被增加了。

2)、对于之差很大的情况，期望/>包含其自身的部分信息，并且能够自适应地控制/>的影响。

为了满足以上两条准则，在一个实施例中，设计了一个自适应表示为：

其中α是一个超参数，用于控制来自外部层的信息的程度。值得注意的是，仅在每个优化迭代的间隔执行此组合操作。由于采用了双重线性组合(对偶)，因此两个模型的新参数矩阵应该是相同的。在实践中，需要保证每个模型都具有丰富多样的信息用以相互补充。在本发明实施例中，对这两种模型采用两种简单的策略以使它们各自获取独特且多样性的信息，即使用不同的学习率和不同的训练数据的采样。

利用公式(4)和公式(5)的基于熵的标准，能够有效确定各个网络模型中哪些参数是重要的，并确定了如何在多个相同网络模型之间进行信息补充以及每个网络模型需要补充多少信息等，从而有效地增强其中的无效参数。

进一步地，将两个模型的网络自协作框架扩展为多模型的网络自协作框架，如图3所示，示出了四个模型，分别标记为M₁、M₂、M₃和M₄。不失一般性，给定K个模型M₁,…,M_K(K＞2)，模型M_i(1≤i≤K-1)将下一个模型M_i+1作为其伙伴，并且相应地最后一个模型M_K将第一个模型M₁作为伙伴，以形成一个循环。也就是说，使用M_i+1的参数作为外部信息来补充M_i。多模型的网络自协作训练框架是不对称的，通过这种方式，每个序列推荐模型都可以从其余具有相同架构的模型中间捕获外部信息。

综上，本发明提出简单但非常有效的加权线性组合方法来增强每个模型的每层参数，并提出了自适应系数自动化地促进多个模型的协作和优化，即通过具有自适应系数的加权线性组合的方式将一个模型中的重要参数移植到另外一个模型中的无效参数中。这种方式能够很好地提高模型的容量和表达能力，并且保持了原始模型的训练和推断速度。

应理解的是，在另外的实施例中，公式(4)中的也可简单地根据仿真或序列推荐场景设置为合适的常数，尽管这种方式相对于上述设计的/>减弱了自适应性，但一定程度上同样能够实现本发明的思想。

步骤S140，以用户的历史浏览序列作为输入，利用经协作训练的序列推荐模型为用户进行推荐服务。

在协作训练之后，每个序列推荐均能获得更具表达力的优化参数信息。在实际预测阶段，只需要一个经协作训练的序列推荐模型为用户进行推荐服务，因此在保证模型效率的前提下，提升了推荐准确率，从而更精确地生成用户感兴趣的推荐项。

为进一步理解本发明，使用NextItNet架构来实例化所提出的网络自协作训练框架SeCoRec，图4是SeCoRec中每一个单独序列推荐模型的神经网络架构，整体上包含三部分，从左至右分别是输入嵌入层、中间结构(包含多个中间隐藏层)、输出softmax层。

对于输入嵌入层，给定用户-推荐项交互序列{x₁,x₂,…,x_t+1}，序列推荐模型将通过嵌入矩阵的查找表进行检索前t个推荐项{x₁,x₂,…,x_t}的嵌入向量堆叠到一个矩阵用作中间层的输入。

对于中间层，如图4所示，参照NextItNet为SeCoRec中每一个单独序列推荐模型使用空洞卷积层。SeCoRec通过倍增每一层的空洞因子来获得指数增长的感受野，例如{1,2,4,8}。此外，为了进一步增强模型的表达能力和提高准确性，以残差连接的方式堆叠该结构多次，例如{1,2,4,8,…,1,2,4,8}。

对于输出softmax层，其将中间层的输出隐变量与softmax中所有向量进行点乘获得每一个item(推荐项)对应的得分。给定每个输入序列{x₁,…,x_t}，在训练过程中SeCoRec的输出是目标序列y＝{x₂,…,x_t+1}的概率分布，其中x_t+1是预期的下一个被期望的推荐项，在测试阶段SeCoRec可仅预测下一个推荐项x_t+1。

在实际的协作训练中，可通过两种模式对网络自协作训练框架SeCoRec进行优化，即并行和串行训练。就并行模式而言，SeCoRec的多个单独网络模型的训练是在每个优化迭代中独立且同时进行的。可以使用保存的检查点来传输每个具有相同架构的推荐模型的信息。因此并行模式需要更多的内存和计算量，但节省了大量的训练时间。另一方面，可以在每个优化迭代中顺序地对每个单独的网络模型执行串行优化。这样与并行模式相比，串行优化不可避免地会牺牲训练时间，但不会消耗额外的内存和计算量。在协作训练中，可以使用正常的交叉熵训练SeCoRec中每一个模型，具体训练过程不再赘述。

为了进一步验证本发明的有效性和先进性，使用网络自协作训练框架SeCoRec在NextItNet，NeuralFM和YoutubeDNN三个推荐系统模型，以及4个数据集进行了训练和评估，通过大量实验和消融分析来进行推荐表现对比。实验结果表明，本发明始终优于目前最优的隐式推荐模型NextItNet，可以被广泛应用于隐式推荐领域。

综上所述，本发明针对序列推荐领域中深度神经网络模型的过参数化问题，提出了网络自协作框架及其序列推荐方法，通过从原始推荐模型的一个或多个相同架构的网络中移植信息来重新激活该模型的无效参数。此外，本发明采用一个基于熵的标准来衡量推荐模型中每一层参数的重要性，通过简单但非常有效的加权线性组合方法来增强每个模型的每层参数，并结合自适应系数自动化地促进多个模型的协作和优化。相对于现有的通过剪枝冗余(无效)的参数来解决过参数化的问题，本发明的自协作训练优化方法能够获得更多有效参数，增强了序列推荐模型的表现力，提高了推荐准确率，并且也保证了推荐效率，为序列推荐模型的潜在发展提供了新的方向。

需要说明的是，在上文描述中，模型、序列推荐模型、网络模型、网络等具有相同的含义，均表示根据深度神经网络构建的用于序列推荐的模型，除非根据上下文另有所指。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种基于网络自协作的隐式推荐方法，包括以下步骤：

对应于一个序列推荐模型，构建具有相同网络架构的对等序列推荐模型；

对于所述序列推荐模型及其对等序列推荐模型进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型来重激活该序列推荐模型的无效参数；

以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务；

其中，所述重激活该序列推荐模型的无效参数后，参数信息表示为：

其中％是取模运算，i是序列推荐模型的层索引，是系数，用于表征序列推荐模型第i层参数的重要性，/>是信息移植后的新参数矩阵，k＝1标识所述序列推荐模型，k＝2标识对等序列推荐模型。

2.根据权利要求1所述的方法，其中，根据以下步骤确定

将所述序列推荐模型中的参数矩阵转换为向量；

根据向量中参数的值对参数进行排序，并将向量划分为具有相等数值间隔的m个统计堆栈；

计算参数矩阵W_i的熵为：

基于参数矩阵W_i的熵确定表示为：

其中α是一个超参数，N是序列推荐模型中一层参数的数量，n_j是第j个统计堆栈中的参数数量。

3.根据权利要求1所述的方法，其中，将所述序列推荐模型及其对等序列模型设置为K个，分别标记为M₁，...，M_K，对于模型M_i，1≤i≤K-1，将模型M_i+1作为其伙伴，并且对于最后一个模型M_K，将模型M₁作为伙伴，以形成一个循环通过多次迭代进行协作训练，并在协作训练中，使用模型M_i+1的参数作为外部信息来补充模型M_i，其中K是大于2的整数。

4.根据权利要求3所述的方法，其中，采用并行模式进行协作训练，对于多个单独的序列推荐模型的训练在每个优化迭代中独立且同时进行，并使用保存的检查点来传输每个具有相同架构的序列推荐模型的信息。

5.根据权利要求3所述的方法，其中，在每个优化迭代中顺序地对每个单独的序列推荐模型执行串行优化。

6.根据权利要求1所述的方法，其中，所述序列推荐模型是NextItNet架构，依次包括输入嵌入层、中间层和softmax输出层，所述输入嵌入层以用户-推荐项交互序列{x₁，x₂，...，x_t+1}作为输入，通过嵌入矩阵的查找表检索前t个推荐项{x₁，x₂，...，x_t}的嵌入向量堆叠到一个矩阵用作中间层的输入；所述中间层使用空洞卷积层以残差连接方式获得隐变量；所述softmax输出层中间层的输出隐变量与softmax中所有向量进行点乘获得每个推荐项的得分，进而预测后续时刻被期望的推荐项。

7.一种基于网络自协作的隐式推荐系统，包括：

网络自协作框架，被设置包含一个序列推荐模型以及与其具有相同网络架构的一个或多个对等序列推荐模型；

协作训练模块：用于对所述网络自协作框架进行协作训练，并在协作训练过程中，根据所述序列推荐模型中每一层参数的重要性通过从其对等序列推荐模型中移植参数来重激活该序列推荐模型的无效参数；

序列预测模块：用于以用户的历史浏览序列作为输入，利用经协作训练的所述序列推荐模型为用户进行序列推荐服务；

其中，所述重激活该序列推荐模型的无效参数后，参数信息表示为：

其中％是取模运算，i是序列推荐模型的层索引，是系数，用于表征序列推荐模型第i层参数的重要性，/>是信息移植后的新参数矩阵，k＝1标识所述序列推荐模型，k＝2标识对等序列推荐模型。

8.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至6中任一项所述方法的步骤。

9.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6中任一项所述的方法的步骤。