CN112948681A

CN112948681A - 一种融合多维度特征的时间序列数据推荐方法

Info

Publication number: CN112948681A
Application number: CN202110270394.2A
Authority: CN
Inventors: 冀振燕; 吴梦丹; 王开阳; 赵阳; 杨昕阳
Original assignee: Beijing Jiaotong University
Current assignee: Beijing Jiaotong University
Priority date: 2021-03-12
Filing date: 2021-03-12
Publication date: 2021-06-11
Anticipated expiration: 2041-03-12
Also published as: CN112948681B

Abstract

本发明公开了一种融合多维度特征的时间序列数据推荐方法。该方法包括：利用多通道卷积神经网络从不同维度捕获项目的内部特征；将内部特征与时间序列网络模型捕获的外部特征合并；通过注意机制将内部特征和外部特征合并，作为转换函数的输入；对于用户下一次点击事件，预测输出用户点击项目的可能性。本发明既考虑了会话项目推荐的外部特征，又包含了会话项目推荐的内部特征，能够利用会话丰富的嵌入特征提供高精确度的个性化推荐。

Description

一种融合多维度特征的时间序列数据推荐方法

技术领域

本发明涉及互联网技术领域，更具体地，涉及一种融合多维度特征的时间序列数据推荐方法。

背景技术

为了应对互联网信息时代信息的爆炸性增长，使得用户能够快速找到需要的商品信息，推荐系统已成为用户处理大量信息的有效解决方案。为了获得更好的用户体验，个性化推荐系统已应用于许多场景，包括电影推荐，音乐推荐，在线购物等。

传统的推荐系统主要分为基于协同过滤(CF)的推荐系统，基于内容的推荐系统(CB)和混合推荐系统(HRS)。基于CF的推荐系统通过用户或项目的相似性来建立用户偏好模型。基于内容的推荐系统基于项目的内容特征进行推荐。但是，基于CF的建议存在数据稀疏和冷启动问题。为了解决这些问题，混合推荐系统应运而生，并提取了包括项目属性，用户的社交网络和项目评论在内的信息。

近年来，深度学习技术被广泛用于推荐系统。在许多神经模型中，首先应用递归神经网络方法。然后，数据的丰富特征通过神经网络等方法进行提取，其中，用户时间行为用于数据扩充。最近，许多推荐方法通过考虑全局偏好和局部偏好来捕获用户的兴趣。尽管上述方法取得了很大的进步，但仍然有一些局限性。首先，大量的会话推荐系统是基于用户的历史行为信息，没有大量的用户信息，这些推荐系统将无法准确地进行推荐。其次，尽管按时间顺序标记的顺序特征被捕获，但项目之间的信息却被忽略。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种融合多维度特征的时间序列数据推荐方法，是涉及文本处理、信息提取、特征提取等的新技术方案。

本发明的技术方案是提供一种融合多维度特征的时间序列数据推荐方法。该方法包括以下步骤：

步骤S1，构建数据集，该数据集所包含的会话中的点击条目被表示为向量；

步骤S2，针对所述数据集，利用知识图提取生成初始会话嵌入，每个会话被建模为有向图，其中用户的点击事件中的前一项点击和后一项点击之间的交互信息生成该有向图中的一条边，将用户点击事件中的点击条目生成该有向图中的节点；

步骤S3，利用图神经网络生成节点的嵌入向量表示，使用步骤S1得到的向量嵌入，经过图神经网络聚合节点特征，生成新的节点嵌入向量；

步骤S4，利用卷积神经网络提取多个维度的局部信息作为会话的内部特征；

步骤S5，以步骤S3获得的嵌入向量为输入，利用时间序列网络模型提取序列信息作为会话的外部特征；

步骤S6，将提取到的会话的外部特征和内部特征通过注意力机制进行数据融合；

步骤S7，对于用户下一次点击事件，预测输出用户点击项目的可能性。

与现有技术相比，本发明的优点在于，融合了会话的外部和内部特征，应用卷积神经网络充分提取不同维度的局部信息，通过递归神经网络提取条目序列信息作为外部信息，提高了推荐精确度。进一步地，将提取的特征经过自适应机制，自适应权重聚合特征，最后经过非线性变换函数输出下一次点击条目的可能性。此外，为了处理这些数据，建立了知识图提取数据结构和条目信息。在提取序列条目信息的过程中，将经过时间序列网络模型提取的序列信息作为外部信息，经过多通道卷积神经网络提取的信息作为内部特征。本发明提出的融合多维度特征的时间序列数据推荐方法充分提取了用户历史点击事件信息，同时，融合会话内部特征和外部特征进行推荐，也缓解了推荐系统的冷启动问题。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的融合多维度特征的时间序列数据推荐方法的流程图；

图2是根据本发明一个实施例的融合多维度特征的时间序列数据推荐方法的整体过程示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

结合图1和图2所示，所提供的融合多维度特征的时间序列数据推荐方法包括以下步骤。

步骤S110，对会话数据进行预处理，构建数据集。

具体地，对会话数据预处理包括以下步骤：

步骤S111，分割数据

根据不同的数据集，可采取不同的数据分割方法。例如，对于不同的数据集，数据的断点不同，可根据不同的断点分割数据集。

步骤S112，统计词频

例如，采用循环方法，遍历整个数据集，记录并存储每个条目出现的次数。对于每个会话，统计会话的长度。

步骤S113，生成时间戳

为提取数据集的时间属性，可将时间按照年、月、日或者年、月、日、小时、分钟、秒的形式提取和存储。

步骤S114，筛选数据

将上述提取的数据进行统计信息后，将会话长度小于5和出现总次数小于5的条目和会话删除，以提供后续预测的精确度。

步骤S115，划分训练集、测试集

根据日期划分训练集和测试集，将训练集和测试集均以会话的形式保存。

步骤S116，会话编号

将训练会话转换为序列并重新编号，将测试会话转换为序列，而忽略训练集中未出现的项目。

经上述处理，可以去除对后续提升预测精确度有影响的数据，并生成便于处理的数据形式。例如，会话中点击的条目可用向量表示，每个会话被表示为：[条目1，条目2，条目3，……]。

步骤S120，利用知识图提取生成初始会话嵌入。

优选地，结合知识图生成初始用户点击条目向量能更加精确的生成会话的向量嵌入。知识图是一种有向图，图中的节点表示用户点击的条目，有向边表示用户的点击序列信息。将用户的点击序列生成有向图能够进一步提取条目以及序列信息。

在一个实施例中，利用知识图提取生成初始会话嵌入包括如下几个步骤：

步骤121，有向图加边

将用户的点击事件中的前一项点击和后一项点击之间的交互信息生成知识有向图中的一条边，并存储在知识有向图中。同时，赋予该条边权重为1。

步骤S122，有向图加节点

将用户点击事件中的点击条目生成有向图中的节点存储到知识有向图中。

步骤S123，划分训练集和验证集

将生成的数据根据设定的大小分为训练集和验证集。

例如，每个会话都被建模为有向图G_s＝(V_s,ξ_s)，其中V＝{v₁,v₂,v₃,···,v_n}表示用户点击的条目集合，

表示一个会话中用户点击条目的集合。具体地，V_s表示有向图中的节点，ξ_s表示有向图中的边，如用户点击条目标记为

则下一个点击条目可以表示为

并且

经过有向图生成的会话中节点的向量嵌入可以表示为

步骤S130，利用图神经网络生成节点的嵌入向量表示。

在该步骤中，通过图神经网络进一步生成用户的嵌入向量表示。在一个实施例中，损失函数定义为交叉熵：

其中，y表示用户点击事件中的点击条目的独热向量编码，i表示用户点击条目的编号，m表示用户点击条目的数量，

表示样本预测为正的概率，

则表示样本预测为负的概率。

步骤S140，利用多通道卷积神经网络进行内部特征提取。

具体地，利用多通道卷积神经网络进行内部特征提取包括以下步骤：

步骤S141，扩围数据

例如，将原始的二维数据进行扩围，扩围之后的数据是四维；

步骤S142，提取局部信息

例如，将四维的数据利用多通道卷积神经网络分别进行多个层面的局部信息提取，生成相应的嵌入的向量。

在一个实施例中，设计为三通道卷积神经网络，三个通道的卷积核分别设置为[1,1,1,1]，[1,2,1,1]，[1,3,1,1]。经过局部特征提取之后的嵌入向量分别表示为

其中，

表示在t时刻在卷积核设置为[1,1,1,1]时，经过局部特征提取之后的嵌入向量表示；相应地，

表示在t时刻在卷积核设置为[1,2,1,1]时，经过局部特征提取之后的嵌入向量表示，

表示在t时刻在卷积核设置为[1,3,1,1]时，经过局部特征提取之后的嵌入向量表示。

步骤S143，通过非线性函数变换生成内部特征

对经过扩围之后的嵌入向量进行非线性函数变换，生成最终的内部特征向量。

步骤S150，利用时间序列网络模型进行外部特征提取。

为提取点击事件的时间序列信息，捕获点击事件之间的关联性，采用时间序列网络模型进行外部特征提取，时间序列网络模型例如包括门控神经网络、长短期记忆网络(LSTM)等。

在下文的描述中，将以门控神经网络为例进行说明，其包含多个门控循环单元(GRU)。

具体地，利用门控循环单元(GRU)提取外部特征包括以下步骤：

步骤S151，更新门计算

更新门通过如下方式计算：

其中，

表示在会话s中的t时刻的更新门计算，

表示在会话s中的t时刻的输入，

表示会话s中t-1时刻的隐藏层，W_nz和W_hz分别表示t时刻以及t-1时刻的权重，σ(·)表示sigmoid函数：

步骤S152，重置门计算

重置门确定当前时刻的候选状态是否需要依赖于前一时刻的网络状态以及它所依赖的状态。重置门通过如下方式进行计算：

同样地，

表示在会话s中的t时刻的重置门计算，

表示在会话s中的t时刻的输入，

表示会话s中t-1时刻的隐藏层，W_nr和W_hr分别表示t时刻以及t-1时刻的权重。

步骤S153，记忆单元计算

记忆单元是一个中间值，由最后一刻的存储值和当前输入值确定。通过如下方式进行计算：

其中，c_t表示t时刻的记忆单元计算，

表示在会话s中的t时刻的重置门计算结果，AGG表示聚合函数，W_nn和W_rc分别表示t时刻以及t-1时刻的权重，h_t-1表示t-1时刻隐藏层的输出，tanh(·)表示tanh函数，是sigmoid函数的一种变形，与sigmoid不同的是，tanh函数的均值是0，其计算公式如下：

步骤S154，隐藏层计算

隐藏层的状态值通过如下的方式进行计算：

其中AGG表示聚合器，h_t表示t时刻隐藏层的输出，

表示在会话s中的t时刻的更新门计算结果，c_t表示t时刻的记忆单元计算结果，h_t-1表示t-1时刻隐藏层的输出。经过GRU单元之后的节点的嵌入向量可以表示为：

步骤S160，基于注意力机制融合内部特征和外部特征。

在该步骤中，将提取到的会话的外部特征和内部特征通过注意力机制自适应的进行数据融合。数据融合过程包括以下步骤：

步骤S161，融合会话的最后一次点击事件，融合公式表示为：

其中

i∈[1,m]，

表示会话s中的最后一个点击条目的嵌入向量表示，

表示会话s中的第i个点击条目的嵌入向量表示，v,ω₁,ω₂均为权重，b为偏置，σ(·)为sigmoid函数。

步骤S162，融合会话的外部嵌入和内部嵌入，即融合会话的外部特征和内部特征，融合公式如下：

其中

表示全局嵌入向量表示，

表示最后一次点击条目的嵌入向量表示，矩阵

将两个组合的嵌入向量压缩到潜在空间

步骤S170，针对用户下一次点击事件，预测点击项目的可能性。

该步骤实现用户下一次点击事件的非线性预测，例如，具体包括以下步骤：

步骤S171，计算候选项目得分

在一个实施例中，针对用户下一次点击事件的非线性预测，通过向量内积计算候选向量的得分，进而经过softmax函数输出用户点击项目的可能性。向量内积计算方式如下：

其中，ω₃是相应的转换向量矩阵，

表示候选集的相似性得分，

表示会话s中的第i个条目的嵌入向量表示。

步骤S172，计算用户点击项目的可能性

例如，用户点击项目的可能性表示为：

其中，

表示用户点击下一个条目的可能性。

为进一步验证本发明的效果，保证推荐结果的可靠性，采用了以下评价指标。

1)精确度

精确度(Precision)用来描述最终的推荐列表中有多少比例是发生过的用户-物品评分记录。精确度的计算方式如下：

其中N表示测试集中测试数据的个数，精确度表示在top-K中，标准结果所占的比例。

2)平均倒数排名

平均倒数排名(MRR，Mean reciprocal rank)是指多个推荐结果的排名倒数的均值，其评估假设是基于唯一的一个相关结果，即第一个结果为推荐的最终结果，分数为1，第二个为推荐的最终结果，分数为0.5，第n个为推荐的最终结果，分数为1/n，如果推荐结果中没有最后的结果，则分数为0。最终的分数为所有得分之和。

平均倒数排名的计算方式表示为：

即，MRR是将标准答案在推荐系统给出的推荐结果的排名的倒数的均值作为评价结果指标。其中N表示推荐结果的总数，rank_i是第i个推荐结果的排名。

除了上述的评价指标以外，还可以使用如下的排名预测评价指标：

1)召回率

召回率(Recall)描述的是，在结果集中用户-物品评分记录出现的比例。召回率的计算方式为：

其中，R_u表示推荐结果中推荐项目的数量，T_u表示项目的总数量。

4)平均准确率

平均准确率(MAP，Mean average precision)同时考虑了准确率和召回率，平衡了两者之间的关系。平均准确率的计算方式如下：

其中，R表示相关结果的数量，Position(r)表示第r个结果在结果中的排名。

需说明的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行改变或变型。例如，采用除softmax之外的其他的回归模型计算用户点击项目的概率分布，又如，设置更多通道的卷积神经网络，或其他尺寸的卷积核等。

综上所述，为了提高推荐系统的推荐准确度和推荐性能，同时，提取会话项目之间的丰富信息，本发明通过多通道卷积神经网络从不同维度捕获项目的内部特征，并将内部特征与时间序列网络模型提取的外部特征合并，其中内部特征通过挖掘用户点击条目的内容之间的相似性特征获得，用于表征用户点击条目的内容维度特征，外部特征通过挖掘用户点击条目的序列特征获得，用于表征用户点击条目的时序维度特征。然后，通过注意机制将内部特征和外部特征合并在一起，作为转换函数的输入。最后，概率分布将在softmax函数之后输出。本发明既考虑了会话项目推荐的外部特征，又包含了会话项目推荐的内容特征(即内部特征)，能够利用会话丰富的嵌入特征提供高精确度的个性化推荐。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。