CN116842254A

CN116842254A - 基于时间间隔数据增强的生成对抗网络序列推荐方法

Info

Publication number: CN116842254A
Application number: CN202310756274.2A
Authority: CN
Inventors: 李忠伟; 周洁; 刘昕; 吴金燠; 李可一; 郭防铭; 辛紫麒
Original assignee: China University of Petroleum East China
Current assignee: China University of Petroleum East China
Priority date: 2023-06-26
Filing date: 2023-06-26
Publication date: 2023-10-03

Abstract

本发明提供了一种基于时间间隔数据增强的生成对抗网络序列推荐方法。该方法根据用户交互序列以及交互项之间的时间间隔，进行数据增强后用于探索用户的兴趣，预测用户下一个将会点击或购买的项目。主要包含如下步骤：1、根据用户交互序列中不同交互项之间的时间间隔，将时间间隔变化较大或不均匀的交互项之间通过自监督学习插入与前后交互项最为相关的项目，以此来实现交互序列的数据增强；2、生成网络模型基于增强的交互序列来预测用户将会感兴趣的下一个项目；3、用判别模型结合知识图谱信息来判断生成模型预测的项目的合理程度，并为其打分；4、利用最大最小化竞争算法，使生成网络模型与判别模型相互对抗，从基于数据增强的用户交互序列更好地学习到用户的偏好，从而提高个性化推荐的精准度。本发明能有效针对用户交户数据稀疏以及冷启动问题，有效的捕捉用户交互序列的特征，从而提升序列推荐的准确性。

Description

基于时间间隔数据增强的生成对抗网络序列推荐方法

技术领域

本发明涉及序列推荐领域，特别是涉及一种数据增强的生成对抗网络(GAN)序列推荐方法。

技术背景

在互联网时代，信息爆炸性增长，人们往往无法在庞大的信息中快速准确地找到自己所需要的内容和产品。推荐系统是一种常见的信息过滤技术，旨在为用户提供个性化的推荐，帮助其快速找到符合其兴趣和需求的信息和产品。推荐系统已经广泛应用于电商、社交网络、在线广告、音乐、视频、新闻等领域，为用户提供个性化的服务和优化企业的运营效益，是现代互联网生态系统中不可或缺的一部分。传统的推荐算法是根据用户的历史行为、兴趣爱好、社交关系等信息，预测用户可能感兴趣的物品，并将其推荐给用户。然后这种方法并没有考虑用户行为的时序性，即用户的行为会受到时间、位置、社交关系等因素的影响，用户的兴趣也会随着时间的推移而发生变化。序列推荐则通过考虑用户行为的时序性，建立时间序列模型来对用户兴趣进行建模和预测。

现有的序列推荐算法主要包括传统方法和基于深度学习模型的方法。

传统方法主要包括：(1)基于序列模式挖掘的方法：该方法通过挖掘用户行为序列中的频繁模式来推荐物品。(2)基于马尔可夫链的方法：该方法通过建立马尔可夫链模型来描述用户的行为序列，并基于该模型进行预测。

近年来，随着深度学习和人工智能的发展，推荐系统也开始采用深度学习模型进行建模和预测。深度学习模型可以更好地捕捉用户和物品之间的复杂关系，提高推荐的准确性和个性化程度。其方法主要包括：(1)基于循环神经网络的方法：最早的深度学习方法是基于RNN(循环神经网络)的序列推荐方法，如基于时间递归神经网络的方法(TRNN)、基于门控循环单元的方法(GRU4Rec)等。(2)基于卷积神经网络的方法：该方法可以被视为将一维卷积运算应用于序列数据，以提取其局部特征。(3)基于注意力机制的方法：注意力机制是一种能够动态地选择和聚焦序列中重要部分的方法。在序列推荐中，注意力机制可以用户学习用户历史行为序列中不同部分的重要性，从而更准确地进行推荐。

随着深度学习和人工智能的发展，推荐系统在准确性和个性化程度上有了明显的提高，但其依然面临着数据稀疏性和冷启动等问题。数据稀疏性是指用户和物品之间的交互数据较少，导致推荐准确度较低。冷启动问题则是指新用户或新物品缺乏足够的网络历史数据，难以进行推荐。

发明内容

本发明针对上述问题，提出了一种基于时间间隔数据增强的生成对抗网络序列推荐方法，该方法首先计算出用户交互序列中相邻项之间的时间间隔，在时间间隔不均匀处插入与前后项最为相关的项目或物品，以此来进行数据增强，接着将生成对抗网络与知识图谱信息相结合来进行序列推荐，从而提高个性化推荐的准确性。

本发明提出的基于时间间隔数据增强的生成对抗网络序列推荐方法包括以下步骤：S1、根据用户交互序列中不同交互项之间的时间间隔，将时间间隔较大或不均匀的交互项之间插入与前后交互项最为相关的项目，以此来实现交互序列的数据增强；S2、生成网络模型基于已增强的交互序列来预测用户将会感兴趣的下一个项目或商品；S3、用判别模型结合知识图谱信息来判断生成模型预测的项目的合理程度，并为其打分；S4、利用最大最小化竞争算法，生成模型与判别模型之间相互对抗，模型不断优化对用户偏好预测的精准度，从而提高个性化推荐的精准度。

在进行基于时间间隔的数据增强时，主要包括以下具体步骤：

S1.1：分别将用户和交互项进行数字化编码，将字符形式的名称转化为模型可读取的数字化格式；

S1.2：对处理后的数据进行时间间隔分析，获取每个交互项之间的时间间隔信息，包括时间间隔的分布、均值、标准差等统计量，以及时间间隔的变化趋势等；

S1.3：基于时间间隔分析结果，采用插入与前后交互项最为相关的新交互项的方法，也可以采用时间段截断、区间切割等方法以生成更多样性的交互项。

S1.4：将生成的新交互项加入到原始用户交互序列中，以扩充用户交互序列的规模。需要保证新的交互项与原始交互序列具有相似的特征，以保证数据集的可靠性和有效性。

生成模型可以根据输入的用户交互序列中数据的分布从而生成新的具有相似特征的数据，来预测用户将会感兴趣的下一个项目或商品，其主要步骤包括：

S2.1：为了有效地捕捉序列数据的长短期依赖关系，并且生成的推荐项目具有很好的准确性，使用基于自注意力机制的网络结构来作为生成模型；

S2.2：将增强后的用户交互序列送进模型中，根据判别模型反馈的信息进行训练，训练目标是为了让模型尽可能地拟合用户历史行为的分布，从而预测出用户可能感兴趣的项目或商品。生成模型训练方法为基于反向传播的优化算法，如梯度下降和Adam等；

S2.3：将训练好的模型用于推荐预测，生成模型通常会输出一个概率分布向量，表示每个可能的下一个交互项目的概率。从中选择概率最高的几个交互项目进行推荐。

进一步的，所述S3中的判别模型结合知识图谱信息对不同用户所生成的数据进行合理性判别，具体的训练过程如下：

S3.1：对原始数据进行标记为真，以数字1来表示，将生成器生成的数据标记为假，用数字0来表示；

S3.2：判别模型的输入为融合知识图谱信息和用户交互序列的向量，将该向量输入到双向自注意力机制的网络中，提取数据中潜在的特征信息；

S3.3：将提取到的特征信息输入到多层感知机模型中，该特征信息即可转换成对生成模型合理性的评分，再将该分数反馈给生成模型，从而指导生成模型的训练；

S3.4：我们将生成序列看作是负样本，将真实序列当作是正样本，使用交叉熵函数作为判别器网络的损失函数，并利用反向传播算法对整个网络进行优化。

所述S4中具体方法为：生成模型经过对用户偏好的学习后推荐用户最可能感兴趣的项目或物品，判别模型结合知识图谱信息对该推荐项目的评分，并将该评分反馈给生成模型并指导其学习，因此生成模型和判别模型能共同学习，共同进步，直至最优状态。

本发明与现有技术相比，具有以下显著优点：

(1)改善了数据稀疏性：传统的序列推荐方法往往无法有效处理数据稀疏的问题。而本方法引入时间间隔数据增强，通过增加用户与商品之间的时间间隔信息，能够有效地增加数据密度，从而提高推荐的准确性和可靠性。

(2)提高了推荐的多样性：传统的推荐算法往往存在推荐结果过于单一的问题，难以满足用户的多样化需求。而本方法通过增加时间间隔数据的信息，使得生成的推荐序列更加多样化，能够更好地满足用户的个性化需求。

(3)具有较高的推荐准确性和可靠性：本方法使用了生成对抗网络，能够充分考虑用户历史行为的时间和序列信息，并通过对抗训练来提高推荐的准确性和可靠性，使得推荐结果更加符合用户的真实需求。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。

图1解说了根据本发明的一个实施例的基于时间间隔数据增强的生成对抗网络序列推荐方法的流程图。

图2解说了根据本发明的一个实施例的生成模型的流程图。

图3解说了根据本发明的一个实施例的知识图谱信息融合模块的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图1展示了我们的推荐系统框架。框架主要有两个主要模块组成，包括数据增强模块和生成对抗模型预测模块。数据增强模块输入的是原始用户交互序列，输出的是经过增强后的交互序列的项目或物品的隐因子向量。生成对抗网络预测模块输入的是用户隐因子向量和项目或物品隐因子向量，输出生成模型所预测的下一个交互物品的合理性分数。图2详细地展示了生成对抗网络预测模块中生成模型中数据的流动过程，此处我们使用的是带掩码的多头自注意力机制。如图3所示，在判别模型中我们结合了知识图谱信息，此处在用户交互序列的基础上，设计了一个信息融合单元将其融合，从而得到更准备的分数。我们联合训练整个生成对抗网络，直至模型收敛，最后我们经过排序将Top-N列表推荐给用户。

为了更好得阐述模型之间的关系，我们将通过更详细的步骤和公式来展示更多的技术细节。

假设一个用户历史行为序列为：s＝(v₁，v₂，...，v_t，...，v_n)，该交互序列所对应的时间戳序列为：t＝(t₁，t₂，...，t_t，...，t_n)，其中|S^u|和|T^u|分别表示交互序列和时间序列的长度。时间间隔向量可以通过以下公式获得：

其中r_max表示该序列中的最大时间间隔。接着我们从已经处理好的时间间隔数据中找到较不均匀的位置，即时间间隔与其他相比差距较大的位置。接着在该位置插入尚未与用户交互但是与序列中相邻的项目非常相关的项目，这里我们采用点积的结果来衡量相似度：

Corr_d(i，j)＝e_i·e_j

此处e_i和e_j分别是项目i和项目j的嵌入表示向量。假设经过计算，我们确定将项目j作为要插入目标位置的项目，我们将得到增强后的序列s＝(v₁，v₂，...，v_j，v_t，...，v_n)，我们将增强后的序列送进生成模型中，该生成模型采用多头注意力机制获得全局特征表示，其计算过程如下：

Q＝W^q[v₁，...，v_n]

K＝W^k[v₁，...，v_n]

U＝W^u[v₁，...，v_n]

s_global＝Concat(head₁，...，head_h)W^O

head_i＝Attention(QW_i ^Q，KW_i ^K，VW_i ^u)

其中W^q、W^k、W^u、W^O为权重矩阵。

根据上文中得到的特征表示，经过全连接层后，与项目的嵌入表示向量进行点积运算，通过二者之间的相似度得到用户对不同项目感兴趣的概率，以此作为推荐的依据，其计算过程如下：

根据生成模型所推荐的下一个将会交互的项目，此时我们会得到一个新的序列称为生成序列s′＝(v₁，v₂，...，v_t，...，v_n，v′_n+1)，以及真实交互序列s＝(v₁，v₂，...，v_j，v_t，...，v_n，v_n+1)。我们将真实序列的特征信息与知识图谱信息经过进行信息融合后送入基于双向多头注意力机制的判别模型中进行进一步地特征提取，从来为生成序列的合理性打分，其计算过程如下：

F_k＝σ(Conv(Conc(Pool_Max(E_D)，Pool_Avg(E_D))))

其中E^I为生成序列s′的嵌入表示向量，E^KG为知识图谱信息的嵌入表示向量，为进行信息融合后的嵌入表示向量。接着经以下计算过程，得到最终的合理性分数/>

其中W^Q，W^K，W^V，W⁽¹⁾，W⁽²⁾均为权重矩阵，b⁽¹⁾，b⁽²⁾为向量。

整个装置的训练方法：

我们使用对抗训练联合生成模型和判别模型。在训练生成模型时，我们基于已增强的用户交互序列，如前n个交互项来生成第n+1个可能感兴趣的项目。接着通过梯度下降策略，利用判别模型的反馈来更新生成模型的参数。在训练判别模型时，我们将生成序列s′看作是负样本，将真实序列当作是正样本，通过最小化交叉熵损失来更新判别模型的参数。在训练过程中，每一轮迭代我们依次更新生成模型和判别模型直至收敛。

生成模型的损失函数如下，利用反向传播算法进行优化：

其中表示从判别模型中得到的反馈分数。

判别模型的损失函数为交叉熵损失函数，并利用反向传播算法对整个网络进行优化，其公式如下所示：

利用最大化最小化竞争算法，生成模型和判别模型之间相互对抗，共同进步，模型不断优化其对用户偏好预测的精准度，直至最优状态，从而提高个性化推荐的准确度。

Claims

1.一种基于时间间隔数据增强的生成对抗网络序列推荐方法，包括以下步骤：

S1、根据用户交互序列中不同交互项之间的时间间隔，将时间间隔较大或不均匀的交互项之间插入与前后交互项最为相关的项目，以此来实现交互序列的数据增强；

其中数据增强模块分别构建以用户为中心的通过数据集的具体构建步骤如下：

S1.2：对处理后的数据进行时间间隔分析，获取每个交互项之间的时间间隔信息，包括时间间隔的分布、均值、标准差等统计量，以及时间间隔的变化趋势等；计算时间间隔的公式如下：

其中r_max表示该序列中的最大时间间隔，t_i表示第i个交互项的时间戳。

S1.3：基于时间间隔分析结果，采用插入与前后交互项最为相关的新交互项的方法，也可以采用时间段截断、区间切割等方法以生成更多样性的交互项。计算相似度的具体公式如下：

Corr_d(i,j)＝e_i·e_j

此处e_i和e_j分别是项目i和项目j的嵌入表示向量。

S2、生成网络模型基于已增强的交互序列来预测用户将会感兴趣的下一个项目或商品；

S2.1：为了有效地捕捉序列数据的长短期依赖关系，并且生成的推荐项目具有很好的准确性，使用基于自注意力机制的网络结构来作为生成模型；其计算公式如下：

Q＝W^q[v₁,...,v_n]

K＝W^k[v₁,...,v_n]

U＝W^u[v₁,...,v_n]

s_global＝Concat(head₁,...,head_h)W^O

head_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^u)

其中W^q、W^k、W^u、W^O为权重矩阵。

S2.2：将增强后的用户交互序列送进模型中，根据判别模型反馈的信息进行训练，训练目标是为了让模型尽可能地拟合用户历史行为的分布，从而预测出用户可能感兴趣的项目或商品。生成模型的训练方法为基于反向传播的优化算法，如梯度下降和Adam等；

S3、用判别模型结合知识图谱信息来判断生成模型预测的项目的合理程度，并为其打分；

F_k＝σ(Conv(Conc(Pool_Max(E_D),Pool_Avg(E_D))))

其中E^I为生成序列s′的嵌入表示向量，E^KG为知识图谱信息的嵌入表示向量，为进行信息融合后的嵌入表示向量。W^Q,W^K,W^V,W⁽¹⁾,W⁽²⁾均为权重矩阵，b⁽¹⁾,b⁽²⁾为向量。

S4、利用最大最小化竞争算法，生成模型与判别模型之间相互对抗，模型不断优化其对用户偏好预测的精准度，从而提高个性化推荐的精准度。

所述S4中具体方法为：我们使用对抗训练联合生成模型和判别模型。在训练生成模型时，我们基于已增强的用户交互序列，如前n个交互项来生成第n+1个可能感兴趣的项目。接着通过梯度下降策略，利用判别模型的反馈来更新生成模型的参数。在训练判别模型时，我们将生成序列s′看作是负样本，将真实序列当作是正样本，通过最小化交叉熵损失来更新判别模型的参数。在训练过程中，每一轮迭代我们依次更新生成模型和判别模型直至收敛。