CN111582492A - 序列推荐模型的解离化自监督学习方法及装置 - Google Patents

Abstract

本发明公开了一种序列推荐模型的解离化自监督学习方法及装置，其中，该方法包括以下步骤：将每个用户点击过的多个单品按照时间顺序构成序列；构建具备意图解离化技术的序列编码器；将序列输入序列编码器中，将序列分解成输入序列和标签序列，利用输入序列预测标签序列，获得多个向量表征；利用多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。该方法能够抵抗偶然噪声，相比传统的训练方法能有更高的信噪比；同时能够更加精确全面地捕捉到用户的复数多个消费意图，并作出相应的推荐。

Description

序列推荐模型的解离化自监督学习方法及装置

技术领域

本发明涉及信息检索技术领域，特别涉及一种序列推荐模型的解离化自监督学习及装置。

背景技术

以Recurrent Neural Networks、Transformer等为代表的深度序列模型已经成为当前工业级推荐系统最核心的技术之一。当前主流的训练深度序列模型的方法采用的是序列至单品的形式，每个训练样本的输入是一个用户某时间点之前点击过的单品构成的序列，训练样本的标签是这个用户在该时间点后点击的下一个单品。但在推荐系统中，用户经常会漫无目的地点击一个单品，导致该训练方式容易受噪声数据的影响。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种序列推荐模型的解离化自监督学习方法，该方法克服使用未来的单品作为标签时的易被噪声样本误导的问题，避免无关信息的干扰，且提升了收敛速度。

本发明的另一个目的在于提出一种序列推荐模型的解离化自监督学习装置。

为达到上述目的，本发明一方面实施例提出了序列推荐模型的解离化自监督学习方法，包括以下步骤：步骤S1，将每个用户点击过的多个单品按照时间顺序构成序列；步骤S2，构建具备意图解离化技术的序列编码器；步骤S3，将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列，利用所述输入序列预测所述标签序列，获得多个向量表征；步骤S4，利用所述多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

本发明实施例的序列推荐模型的解离化自监督学习方法，利用未来的全部单品构成的整个序列作为训练标签，而不是传统的以未来的单个单品作为训练标签，丰富了训练数据的来源；利用解离化技术，把历史序列和未来序列中的多个意图拆分开，以便在训练过程中只关注历史序列中与未来序列涉及共同意图的部分，避免无关意图的干扰，从而提升训练数据的信噪比；采用预测“整个未来序列的向量表征”，而不是逐个预测“未来序列中的单品”的做法，从而减少了冗余的预测、大大提升了收敛速度。

另外，根据本发明上述实施例的序列推荐模型的解离化自监督学习方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在深度序列模型的基础上引入一个意图解离化装置，进而构建出所述具备意图解离化技术的序列编码器。

进一步地，在本发明的一个实施例中，所述序列编码器随机选择一个时间点前的全部单品构成的整个序列作为所述输入序列，所述一个时间点后的全部单品构成的整个序列作为所述标签序列。

进一步地，在本发明的一个实施例中，所述步骤S3包括：将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列；将所述输入序列中的多个消费意图拆分，获得多个历史向量表征；利用所述多个历史向量表征预测所述标签序列的多个未来预测向量表征；将所述标签序列中的多个消费意图拆分，获得多个未来实际向量表征；比较所述多个未来预测向量表征与所述多个未来实际向量表征，获得预测误差；判断所述预测误差是否高于预设阈值，则利用所述预测误差处理所述多个历史向量表征，得到所述多个向量表征，否则，无视该次预测。

为达到上述目的，本发明另一方面实施例提出了序列推荐模型的解离化自监督学习装置，包括：构造模块，用于将每个用户点击过的多个单品按照时间顺序构成序列；构建模块，用于构建具备意图解离化技术的序列编码器；预测模块，用于将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列，利用所述输入序列预测所述标签序列，获得多个向量表征；训练模块，用于利用所述多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

本发明实施例的序列推荐模型的解离化自监督学习装置，利用未来的全部单品构成的整个序列作为训练标签，而不是传统的以未来的单个单品作为训练标签，丰富了训练数据的来源；利用解离化技术，把历史序列和未来序列中的多个意图拆分开，以便在训练过程中只关注历史序列中与未来序列涉及共同意图的部分，避免无关意图的干扰，从而提升训练数据的信噪比；采用预测“整个未来序列的向量表征”，而不是逐个预测“未来序列中的单品”的做法，从而减少了冗余的预测、大大提升了收敛速度。

另外，根据本发明上述实施例的序列推荐模型的解离化自监督学习装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，在深度序列模型的基础上引入一个意图解离化装置，进而构建出所述具备意图解离化技术的序列编码器。

进一步地，在本发明的一个实施例中，所述序列编码器随机选择一个时间点前的全部单品构成的整个序列作为所述输入序列，所述一个时间点后的全部单品构成的整个序列作为所述标签序列。

进一步地，在本发明的一个实施例中，所述预测模块包括：分解单元，用于将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列；第一拆分单元，用于将所述输入序列中的多个消费意图拆分，获得多个历史向量表征；预测单元，用于利用所述多个历史向量表征预测所述标签序列的多个未来预测向量表征；第二拆分单元，用于将所述标签序列中的多个消费意图拆分，获得多个未来实际向量表征；比较单元，用于比较所述多个未来预测向量表征与所述多个未来实际向量表征，获得预测误差；判断单元判断所述预测误差是否高于预设阈值，则利用所述预测误差处理所述多个历史向量表征，得到所述多个向量表征，否则，无视该次预测。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的序列推荐模型的解离化自监督学习方法的流程图；

图2为根据本发明一个实施例的步骤S3中预测过程示意图；

图3为根据本发明一个实施例的序列推荐模型的解离化自监督学习装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

首先，本发明实施例提出的一种新的训练方式，旨在克服现有传统训练方法面临的低信噪比，即使用用户的整个未来序列，而不是单品，作为训练时的标签，为使新的训练方式能顺利实施，需要克服下述挑战：

(1)未来序列是由多个单品构成的，这些单品同样可能是噪声信号。本发明实施例为此在深度序列编码器的基础上设计了一个意图解离化的装置，通过解离出来的意图判断未来序列中哪些是有效的信号，并只使用有效的部分进行训练。

(2)构成未来序列的单品可能很多，不仅全预测对很困难，且逐个地去预测这些单品会引入大量的冗余计算(如若未来的很多个单品其实十分相似，则只预测一个和全都预测带来的效用是差不多的)。本发明实施例采用在隐向量空间做预测的方式，即预测整个未来序列在向量空间中的大致表征，而不是逐个预测单品，从而简化了训练过程、提升了收敛速度。

也就是说，本发明实施例利用未来的全部单品构成的整个序列作为训练标签，来丰富训练数据的来源，分别使用意图解离化、在向量空间做整体预测，来解决前述两个挑战。

下面参照附图具体描述根据本发明实施例提出的序列推荐模型的解离化自监督学习方法及装置，首先将参照附图具体描述根据本发明实施例提出的序列推荐模型的解离化自监督学习方法。

图1是本发明一个实施例的序列推荐模型的解离化自监督学习方法的流程图。

如图1所示，该序列推荐模型的解离化自监督学习方法包括以下步骤：

在步骤S1中，将每个用户点击过的多个单品按照时间顺序构成序列。

也就是说，将每一个用户的点击过的单品按照时间顺序组织成序列，同时随机选择一个时间点，以方便后续步骤S3将该序列拆分成两条序列，即早于该时间点的部分作为输入序列，新于该时间点的作为要预测的标签序列。

在步骤S2中，构建具备意图解离化技术的序列编码器。

也就是说，构建一个含意图解离模块的序列编码器。该序列编码的基本骨架是一个深度序列模型，如一个类似Transformer的基于注意力机制的序列编码器；同时在深度序列模型的基础上引入一个意图解离化装置(即采用基于原型意图进行意图聚类的实现方式，解离模块的每一个原型意图对应一个隐类目)，并可以在其基础上引入额外引入时间信息、用时间信息辅助实现更加精准的意图解离化。

在步骤S3中，将序列输入序列编码器中，将序列分解成输入序列和标签序列，利用输入序列预测标签序列，获得多个向量表征。

进一步地，序列编码器根据步骤S1中随机选择一个时间点，将序列拆分成时间点前的全部单品构成的整个序列作为输入序列，时间点后的全部单品构成的整个序列作为标签序列。

进一步地，在本发明的一个实施例中，步骤S3包括：

将序列输入序列编码器中，将序列分解成输入序列和标签序列；

将输入序列中的多个消费意图拆分，获得多个历史向量表征；

利用多个历史向量表征预测标签序列的多个未来预测向量表征；

将标签序列中的多个消费意图拆分，获得多个未来实际向量表征；

比较多个未来预测向量表征与多个未来实际向量表征，获得预测误差；

判断预测误差是否高于预设阈值，则利用预测误差处理多个历史向量表征，得到多个向量表征，否则，无视该次预测。

也就是说，如图2所示，将输入序列和标签序列输入序列编码器编码器中，获得描述序列中与不同隐类目相关的意图的多个向量表征。设输入序列与输出序列均涉及隐类目Y，则使用“输入序列与隐类目Y相关的向量表征”来预测“标签序列与隐类目Y相关的向量表征”。若预测的置信度高于一定阈值，则将预测误差记入训练过程的损失函数；若预测的置信度较低，则无视该次预测。

可以理解的是，在执行前述的序列至序列的训练过程的过程中(即步骤S1-S3)，同步执行传统的序列至单品的训练过程可知，本发明实施例设计的训练方式从历史序列这个整体的向量表征预测未来序列这另一个整体的向量表征。与现有技术中采用的训练方式是传统做法，即基于历史序列这个整体的向量表征逐个地预测未来的各个单品的方式相比，本发明实施例克服传统方法使用未来的单品作为标签时的易被噪声样本误导的问题。同时，本发明实施例设计的解离化表征学习方式，将用户的一个历史序列中涉及的多个消费意图拆解开来，进而将这些不同的意图表示为隐空间中的多个向量。与现有技术将这些不同的意图糅合在同一个向量中的方式相比，避免无关信息的干扰。另外，本发明实施例考虑的是序列数据，即用户点击过的单品根据时序关系构成一个序列，并且在解离化多个意图时额外考虑了时间上的相关性，然而现有技术中一般处理的是集合数据，用户点击过的单品构成一个集合，并没有考虑时间维度上的信息。

在步骤S4中，利用多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

进而在推荐系统中，根据用户点击过的历史单品构成的序列，自动生成描述用户多个消费意图的表征向量，并基于该表征检索出用户接下来最可能感兴趣的单品。

根据本发明实施例提出的序列推荐模型的解离化自监督学习方法，利用未来的全部单品构成的整个序列作为训练标签，而不是传统的以未来的单个单品作为训练标签，丰富了训练数据的来源；利用解离化技术，把历史序列和未来序列中的多个意图拆分开，以便在训练过程中只关注历史序列中与未来序列涉及共同意图的部分，避免无关意图的干扰，从而提升训练数据的信噪比；采用预测“整个未来序列的向量表征”，而不是逐个预测“未来序列中的单品”的做法，从而减少了冗余的预测、大大提升了收敛速度。

其次参照附图描述根据本发明实施例提出的序列推荐模型的解离化自监督学习装置。

图3是本发明一个实施例的序列推荐模型的解离化自监督学习装置的结构示意图。

如图3所示，该装置10包括：构造模块100、构建模块200、预测模块300和训练模块400。

其中，构造模块，用于将每个用户点击过的多个单品按照时间顺序构成序列；构建模块，用于构建具备意图解离化技术的序列编码器；预测模块，用于将序列输入序列编码器中，将序列分解成输入序列和标签序列，利用输入序列预测标签序列，获得多个向量表征；训练模块，用于利用多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

进一步地，在本发明的一个实施例中，在深度序列模型的基础上引入一个意图解离化装置，进而构建出具备意图解离化技术的序列编码器。

进一步地，在本发明的一个实施例中，序列编码器随机选择一个时间点前的全部单品构成的整个序列作为输入序列，一个时间点后的全部单品构成的整个序列作为标签序列。

进一步地，在本发明的一个实施例中，预测模块包括：

分解单元，用于将序列输入序列编码器中，将序列分解成输入序列和标签序列；

第一拆分单元，用于将输入序列中的多个消费意图拆分，获得多个历史向量表征；

预测单元，用于利用多个历史向量表征预测标签序列的多个未来预测向量表征；

第二拆分单元，用于将标签序列中的多个消费意图拆分，获得多个未来实际向量表征；

比较单元，用于比较多个未来预测向量表征与多个未来实际向量表征，获得预测误差；

判断单元判断预测误差是否高于预设阈值，则利用预测误差处理多个历史向量表征，得到多个向量表征，否则，无视该次预测。

根据本发明实施例提出的序列推荐模型的解离化自监督学习装置，利用未来的全部单品构成的整个序列作为训练标签，而不是传统的以未来的单个单品作为训练标签，丰富了训练数据的来源；利用解离化技术，把历史序列和未来序列中的多个意图拆分开，以便在训练过程中只关注历史序列中与未来序列涉及共同意图的部分，避免无关意图的干扰，从而提升训练数据的信噪比；采用预测“整个未来序列的向量表征”，而不是逐个预测“未来序列中的单品”的做法，从而减少了冗余的预测、大大提升了收敛速度。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种序列推荐模型的解离化自监督学习方法，其特征在于，包括以下步骤：

步骤S1，将每个用户点击过的多个单品按照时间顺序构成序列；

步骤S2，构建具备意图解离化技术的序列编码器；

步骤S3，将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列，利用所述输入序列预测所述标签序列，获得多个向量表征；

步骤S4，利用所述多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

2.根据权利要求1所述的序列推荐模型的解离化自监督学习方法，其特征在于，在深度序列模型的基础上引入一个意图解离化装置，进而构建出所述具备意图解离化技术的序列编码器。

3.根据权利要求1所述的序列推荐模型的解离化自监督学习方法，其特征在于，所述序列编码器随机选择一个时间点前的全部单品构成的整个序列作为所述输入序列，所述一个时间点后的全部单品构成的整个序列作为所述标签序列。

4.根据权利要求1所述的序列推荐模型的解离化自监督学习方法，其特征在于，所述步骤S3包括：

将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列；

将所述输入序列中的多个消费意图拆分，获得多个历史向量表征；

利用所述多个历史向量表征预测所述标签序列的多个未来预测向量表征；

将所述标签序列中的多个消费意图拆分，获得多个未来实际向量表征；

比较所述多个未来预测向量表征与所述多个未来实际向量表征，获得预测误差；

判断所述预测误差是否高于预设阈值，则利用所述预测误差处理所述多个历史向量表征，得到所述多个向量表征，否则，无视该次预测。

5.一种序列推荐模型的解离化自监督学习装置，其特征在于，包括：

构造模块，用于将每个用户点击过的多个单品按照时间顺序构成序列；

构建模块，用于构建具备意图解离化技术的序列编码器；

预测模块，用于将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列，利用所述输入序列预测所述标签序列，获得多个向量表征；

训练模块，用于利用所述多个向量表征训练序列推荐模型，训练后的序列推荐模型为每个用户作出感兴趣的推荐。

6.根据权利要求5所述的序列推荐模型的解离化自监督学习装置，其特征在于，在深度序列模型的基础上引入一个意图解离化装置，进而构建出所述具备意图解离化技术的序列编码器。

7.根据权利要求5所述的序列推荐模型的解离化自监督学习装置，其特征在于，所述序列编码器随机选择一个时间点前的全部单品构成的整个序列作为所述输入序列，所述一个时间点后的全部单品构成的整个序列作为所述标签序列。

8.根据权利要求5所述的序列推荐模型的解离化自监督学习装置，其特征在于，所述预测模块包括：

分解单元，用于将所述序列输入所述序列编码器中，将所述序列分解成输入序列和标签序列；

第一拆分单元，用于将所述输入序列中的多个消费意图拆分，获得多个历史向量表征；

预测单元，用于利用所述多个历史向量表征预测所述标签序列的多个未来预测向量表征；

第二拆分单元，用于将所述标签序列中的多个消费意图拆分，获得多个未来实际向量表征；

比较单元，用于比较所述多个未来预测向量表征与所述多个未来实际向量表征，获得预测误差；

判断单元判断所述预测误差是否高于预设阈值，则利用所述预测误差处理所述多个历史向量表征，得到所述多个向量表征，否则，无视该次预测。

Images