CN113723008B - 基于几何非纠缠变分自动编码器学习几何解耦表示的方法 - Google Patents

Abstract

本发明公开了一种基于几何非纠缠变分自动编码器学习几何解耦表示的方法，首次尝试学习几何解耦表示，并提出了一个几何解耦变分自动编码器模型(GDVAE)，将不同几何空间中的分离表示投影到一个共享的潜在空间中，从而可以利用一个通用的度量来计算接近度，可以学习不同几何特征下的特征，结合不同几何以获得更为有效的特征表示，并通过实验结果证明了所提出的GDVAE模型的有效性。

Description

基于几何非纠缠变分自动编码器学习几何解耦表示的方法

技术领域

本发明涉及信息技术领域，尤其涉及一种基于几何非纠缠变分自动编 码器学习几何解耦表示的方法。

背景技术

信息技术的飞速发展促进了信息的爆炸式增长，也加剧了信息过载的 挑战。推荐系统的目的是通过为用户推荐一小部分物品来满足他们的个性 化兴趣，从而减轻信息过载。主要基于用户行为来反映用户偏好的学习表 示一直是推荐系统研究的中心课题。在推荐系统中，用户的行为是由用户 决策过程背后许多潜在偏好因素的复杂交互作用所驱动的。一些工作学习 对用户/物品解耦的特征表示，以揭示和解开这些意图因素。

传统的方法通常只学习单个用户/物品的表示向量，而忽略了用户决策 过程中潜在因素之间的复杂交互作用。最近，解耦表示表征学习展示了其 更具有表达性和可解释性特征，其目的是学习解耦表征，揭示和分离隐藏 在观察数据中的潜在解释因素。尽管基于解耦表示的推荐模型具有良好的 性能，但它们只关注欧氏空间上的解耦表示。这样一个基于几何的假设可 能不足以捕捉复杂用户项交互下的潜在因素。

非欧几里德空间(例如双曲和球面空间)最近被广泛研究，以将层次 和环状数据连接嵌入表示中。与具有单一连接类型的树或环状数据不同， 推荐数据集中的用户项交互更为复杂。例如，如图1右所示，用户的高阶 交互可以扩展为树结构。同时，一些物品可能重复出现，导致环状结构(例 如，u₁→i₁→u₂→i₂→u₁)。因此，将这种混合结构分离到一个表达能力有 限的欧几里德空间可能会导致较低的表达能力。

发明内容

本发明针对上述技术问题，提供一种基于几何非纠缠变分自动编码器 学习几何解耦表示的方法。

为了实现上述目的，本发明提供如下技术方案：

本发明提供一种基于几何非纠缠变分自动编码器学习几何解耦表示的 方法，包括以下步骤：

S1、方法定义：用户行为数据集D由用户和物品之间的交互组成，用 户u和物品i之间的交互用f_u,i∈{0,1}表示，其中f_u,i＝1表示u对i有偏好，f_u,i＝0 表示u和i之间没有记录的交互作用，使用f_u＝{f_u,i:f_u,i＝1}来表示用户u喜欢 物品i的集合；任务目标是学习用户和物品/>的表示，模型中的可 训练参数集表示为θ；用户的解耦表示表示为其中 />是一种在M_k中的解耦表示，用于捕捉用户对理念k的偏好；物品没 有解耦表示，使用欧几里德表示/>物品与兴趣之间的交互用表示，其中c_i＝[c_i,1,c_i,2,…,c_i,k]指示物品是否属于该兴趣归因的理念； 用p(c_i,k)表示物品i属于兴趣k的概率，/>假设观测数据是使用相 应的用户因子表示以及物品理念分配分布p(C):p(f_u|z_u,C)＝Sim(z_u,C)，其相 应的目标是在用户因子表示的分布上z_u最大化用户观测数据h_u的期望边际 可能性：对于给定的观察用户行为f_u，用 概率分布q_θ(z_u|f_u,C)描述因子表示z_u和物品理念分配C的推断后验配置；

S2、兴趣对齐：利用基于原型的理念分配计算物品和理念之间的分配 概率；

S3、几何解耦表示：将p_θ(z_u)设为统一高斯分布，利用非欧几里德神经 网络获得平均值/>和标准差/>利用q_θ(z_u|f_u,C)计算用户u的表示；

S4、几何共享用户行为重构：根据用户和物品之间的相似性预测M。

进一步地，步骤S1在概率分布q_θ(z_u|f_u,C)上引入约束并将q_θ(z_u|f_u,C)匹 配到单位高斯先验p_θ(z_u)。

进一步地，步骤S2利用K原型来描述空间中理念的锚点

进一步地，步骤S2在比较物品和原型之前将它们映射到空间，具体方 法为：假设所有项都存在于切线空间，即T₀M，然后将它们转换为M_k通过； 假设物品表示来自并通过并行传输将其转换为/>以获得原型 特定项表示：/>计算变h_i′和m_k之间的相似性。

进一步地，计算变h_i′和m_k之间的相似性的方法为：将h_i′转到M_k流形， h_i′和m_k的相似度可以通过它们的测地距离来测量。

进一步地，计算变h_i′和m_k之间的相似性的方法为：计算h_i′在上 的范数s_i，k＝-||h_i′||_k，物品属于理念的概率由softmax函数计算： />其中τ是缩放值的超参数，τ∈(0,1)。

进一步地，步骤S3获得平均值和标准差/>的方法为：假设为每一个作为多元正态分布与对角线 协方差矩阵，平均值/>和标准差/>由具有输入特征 t_u＝[[f_u，1，f_u，2，…，f_u，M]⊙[p(c_1，k)，p(c_2，k)，…，p(c_M，k)]]。E^M的神经网络 />计算,

进一步地，步骤S3计算用户u的表示的方法为：从分布中 采样，首先从流形的切线空间中采样T₀M_k，即v～N(0,σ_u)∈T₀M_k，几何解耦 表示/>通过从T₀M_k到的并行传输v_u获得，并通过指数映射映射到流 形

进一步地，步骤S4的具体方法为：映射了用户表示到切线空间T₀M_κ， 利用欧几里德距离来度量共享切线空间T₀M_κ上用户和物品k^th理念之间的 相似性：用户行为通过物品的分类分布来重建：

与现有技术相比，本发明的有益效果为：

本发明提供的基于几何非纠缠变分自动编码器学习几何解耦表示的方 法，首次尝试学习几何解耦表示，并提出了一个几何解耦变分自动编码器 模型(GDVAE)，将不同几何空间中的分离表示投影到一个共享的潜在空间 中，从而可以利用一个通用的度量来计算接近度，可以学习不同几何特征 下的特征，结合不同几何以获得更为有效的特征表示，并通过实验结果证 明了所提出的GDVAE模型的有效性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对 实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附 图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可 以根据这些附图获得其他的附图。

图1为本发明实施例提供的用户-物品关系和树状交互关系的示意图。

其中图1左显示用户-物品关系，图1右显示u₁的树状交互关系。

图2为本发明实施例提供的GDVAE的模型框架。

具体实施方式

为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的 说明。

现有技术中，有三种类型的流形M具有恒定的截面曲率。这些流形的 常见实现是双曲面H_κ、欧氏空间E以及超球面S_κ，它们可以根据符号来区 分κ.给定一个具有恒定截面曲率的n维流形，有：

其中<·,·>_κ是曲率感知的标量积,i.e.,对于κ＞0,并且对于κ＜0。

例如，切线空间是一个重要的理念，当我们需要执行流形中没有定义 的操作时，它非常有用。在x处的切线空间定义为N-近似于x的维向量空 间。

对于切线空间是一个重要的理念,当我们需要执行流形中 没有定义的操作时，它非常有用。在/>处的切线空间/>被定义为一个n 维的向量空间，在处x近似/>

流形与其切线空间的映射可以通过指数映射和对数映射来实现。指数 映射是切线空间T的子集的自身映射。对数映射是映射回切线的反向映射 流形与其切线空间的映射T_xM_κ可以通过指数映射和对数映射 来实现：

其中是切线空间中的范数，并且曲率感知的三角函数在以 下内容给出：

为了连接相切空间中的向量，我们使用并行传输来实现：

由此确保传输的向量与连接保持平行。此外，测地距离如下所示：

此外，对于欧几里德空间Eⁿ，设x,y∈Eⁿ，v∈T_xEⁿ。指数映射定义为 exp_x(v)＝x+v，对数映射定义为log_x(y)＝y-x，并行传输定义为PT_x→y(v)＝v。

本发明提供了一种基于几何非纠缠变分自动编码器学习几何解耦表示 的方法，其工作过程如图2所示。

步骤1：方法定义。

用户行为数据集D由用户和物品之间的交互组成。用户u和物品i之间 的交互用f_u,i∈{0,1}，其中f_u,i＝1表示u对i有偏好；而f_u,i＝0表示和之间没有 记录的交互作用。为了方便起见，我们使用f_u＝{f_u,i:f_u,i＝1}来表示用户u喜欢 物品i的集合。

任务的目标是学习用户和物品/>的表示，用户表示可以基于不 同的流形来解耦用户的意图。此外，我们模型中的可训练参数集表示为θ。

不同的用户可能有非常不同的兴趣，这些兴趣可以归因于不同的理念。 因此，我们的目标是学习一个由不同理念组成的用户的解耦表示。我们希 望用户的解耦表示表示为其中/>是一种在M_k中的 解耦表示，用于捕捉用户对理念k的偏好。另外，请注意，物品没有解耦表 示，使用欧几里德表示/>

物品与兴趣之间也有关联，我们其中c_i＝[c_i,1,c_i,2,…,c_i,k]并指示 物品是否属于该理念。此外，我们还使用p(c_i,k)描述了一个分布，它表示物 品i属于兴趣k的概率，/>值得注意的是，虽然一个物品应该只属 于p(c_i,k)取值最高的理念，我们还允许在模型中考虑具有较低p(c_i,k)的理念， 以便基于不同流形更好地重构用户项交互。我们提出了一个生成模型，遵 循一些变分自动编码器(VAE)理论。假设观测数据是使用相应的用户因子表 示以及物品理念分配分布p(C):p(f_u|z_u,C)＝Sim(z_u,C)。因此，一个合适的目 标是在用户因子表示的分布上z_u最大化用户观测数据h_u的期望边际可能 性：

对于给定的观察用户行为f_u，我们用概率分布q_θ(z_u|f_u,C)描述了因子表 示z_u和物品理念分配C的推断后验配置。

此外，我们还感兴趣的是，在更精细的层次上，就物品的各个方面， 解开用户的偏好。

这可以通过在q_θ(z_u|f_u,C)上引入约束并将q_θ(z_u|f_u,C)匹配到单位高斯先 验p_θ(z_u)来实现。

因此，式中的约束优化问题可以写成：

其中ò指定应用的约束的强度。在KKT条件下，我们将式重新写成拉 格朗日方程：

步骤2、兴趣对齐

我们的目标是计算物品和理念之间的分配概率。

为了防止过度参数化和低样本效率，我们利用了基于原型的理念分配。 具体来说，我们利用K原型来描述空间中理念的锚点从物品和原型 m_k开始级K可能来自不同的空间，我们需要在比较它们之前将它们映射到 空间中。一种简单的方法是，首先假设所有项都存在于切线空间，即T₀M， 然后将它们转换为M_k通过。然而，当原型共享相同的潜在空间时，物品的 表示将是相等的，即，M_k＝M_k+1，因此转换后的项表示将无法区分。因此，我们应该根据物品的原型进行转换。这里，如图2(a)所示，我们假设物 品表示来自/>并通过并行传输将其转换为/>以获得原型特定项表 示：

接下来，我们要计算变h_i′和m_k之间的相似性。一个简单的方法就是将 h_i′转到M_k流形，h_i′和m_k的相似度可以通过它们的测地距离来测量。但是， 这种方法等同于更简单的方法，即计算h_i′在上的范数。

因此，我们直接计算h_i′范数来衡量相似性：

s_i，k＝-||h_i′||_k

物品属于理念的概率由softmax函数计算：

其中τ是缩放值的超参数，我们设置τ∈(0,1)以获得更尖锐的分布。

步骤3、几何解耦表示

因为我们假设用户有不同的理念表示，所以这里我们要学习不同的理 念的用户特征表示。如上所述，我们将p_θ(z_u)设为统一高斯分布。编码器 q_θ(z_u|f_u,C)用于计算用户u的表示。我们假设和 />每一个作为多元正态分布与对角线协方差矩阵。平均值/>和标准差/>由具有输入特征 t_u＝[[f_u，1，f_u，2，…，f_u，M]⊙[p(c_1，k)，p(c_2，k)，…，p(c_M，k)]]∈E^M的神经网络 />计算,/>这里我们 利用非欧几里德神经网络/>来获得这些结果。

获得并且/>后，我们利用包裹正态分布\在黎曼流形上建立高斯分 布来生成用户表示，如图2(b)所示。具体来说，要从分布/>中采 样，首先要从流形的切线空间中采样T₀M_k，即v～N(0,σ_u)∈T₀M_k。几何解耦 表示/>可通过从T₀M_k到/>的并行传输v_u获得，并通过指数映射映射到 流形/>

步骤4、几何共享用户行为重构

这里我们的目的是预测M根据用户和物品之间的相似性，最有可能被 用户单击。由于项表示存在于欧几里德空间中，我们可以把它看作一个切 线空间，对物品表示进行变换，并根据距离计算它们的相似性。 然而，不同流形中的距离可能具有不同的尺度，例如，对于欧氏流形和双 曲流形，理论上距离可能是无限的，而对于超球流形，距离是有限的。当 流形来自欧氏空间或双曲空间时，相似性可能有较大的值。为了解决这个 问题，我们映射了用户表示/>到切线空间T₀M_κ.注意，这些流形的切空间 同构于欧几里德空间，如图2(c)所示。因此，我们可以利用欧几里德距 离来度量共享切线空间T₀M_κ上用户和物品k^th理念之间的相似性：

用户行为可以通过物品的分类分布来重建：

实验例

实验方法：我们在四个真实世界的数据集上进行实验。具体来说，我 们使用AliShop数据集和三个不同规模的MovieLens数据集，即 MovieLens-100k、MovieLens-1M、MovieLens-20M。AliShop数据集包含与 来自阿里巴巴电子商务平台淘宝的七个类别的商品相关联的用户商品交互。 MovieLens数据集描述了MovieLens网站上的评级和自由文本标记活动。 我们对MovieLens数据集进行二值化处理，保持4级或更高的收视率，并 保留至少看过5部电影的用户。

将发明方法与两种最新的图形协同过滤方法以及两种基于分离的推荐 方法进行了比较：(1)NGCF是一种基于图形的CF模型，它结合了用户-物 品交互的高阶连通性，(2)LightGCN是一个基于图卷积网络的CF推荐模型， (3)DGCF是一个分离的CF模型，通过图卷积网络学习不同潜在用户意图 的表示，(4)MacridVAE也是一个解耦模型，它利用可变自动编码器来解耦 宏和微组件以满足用户行为。

实验结果：我们评估了本发明方法在隐式反馈数据集的协同过滤任务 上的性能，隐式反馈数据集是最常见的推荐设置之一。注意，GDVAE可以 用三种类型的几何体来实现，即双曲、欧几里德和球面。这里我们利用双 曲面模型H_κ庞加来球模型P_κ分别描述双曲几何；超球模型S_κ和投影超球模 型D_κ分别描述球面几何。我们设置κ＝-1,+1分别表示双曲几何和球面几何。 本文给出了三种几何组合的GDVAE结果，即单几何H,P,E,S,D；两种几何 图形的组合三种几何结构的组 合,/>将不同几何体的分量数设置为近似相等，当这些分量不 能等分时，双曲或欧氏分量数将大于球面分量数。为了评估top-K推荐的 有效性，我们采用了两种广泛使用的评估协议，即：Recall@20以及 NDCG@20。

结果如表1所示，最好的结果用粗体数字表示。对于各种几何组合中 的GDVAE结果，最好的结果也用下划线数字表示。我们观察到，我们的 方法在大多数情况下都优于基线。另外，对于单几何实现的GDVAE，双曲 几何，即HP在大多数情况下比欧几里德几何表现更好，这表明在非欧几 里德空间中学习表示的优越性。此外，我们发现在大多数情况下，具有两 种几何结构的GDVAE实现比其他类型的GDVAE获得更好的结果。建议两 种几何结构足以模拟推荐系统中的复杂相互作用。此外，我们发现在 AliShop数据集上，欧几里德几何的GDVAE比非欧几里德几何的表现更好。 然而，球面几何可以进一步提高其有效性，这表明单一类型的空间可能无 法提供最强大的表示学习能力，同时也显示了学习不同几何体的解耦表示 的优越性。

表1：协同过滤(每个方法保留大致2保留个参数)

GDVAE的组件必须是具有特定几何形状的先验选择。一个有趣的问题 是找到这些几何图形的最有效组合。最简单的方法就是尝试所有的可能性 并比较它们的结果。这个过程很可能是最佳的，但不能很好地扩展。

为了解决这个问题，我们提出了一种近似方法。具体来说，我们随机 设置组件的曲率[-1,1]，并允许在培训过程中学习所有部件的曲率。此外， 曲率符号在此过程中不受约束，因此零部件可能会将其几何图形从双曲型 更改为球形，反之亦然。注意，对于双曲 面H和超球面S。

因此，通用曲率GDVAE利用了庞加莱球P和投影超球D分别适用于双 曲几何和球面几何。通用曲率GDVAE表示为U。我们有兴趣比较U和P&D， 因为它们都利用了庞加莱球P和投影超球D。结果如表2所示。具有最佳结 果的几何组合也标记在该表中。我们可以发现，在大多数情况下，普适曲 率U比P&D更好，这表明U可以学习更合适的基本几何。然而，U不会收敛到特定的曲率。U的一个限制是它不能学习欧氏分量，因为在训练过程中 很难保证收敛到0。

表2：对于通用曲率GDVAE的效果

本发明旨在研究一种新的几何非纠缠表示学习(GDRL)问题。基于用户 项交互是潜在生成的基本假设从高度复杂的意图因素，我们进一步假设这 些意图因素应该是几何意识。不同的意图因素将负责生成属于不同几何图 形的用户项交互。在这种几何感知约束下，GDRL模型能够同时兼顾多几 何学习和非纠缠学习的优点。然而，如何学习一个理想的GDRL模型仍然 是个谜。考虑到这两种技术之间的巨大差距，对不同几何图形的表示进行分离是非常重要的。此外，由于表示是在不同的几何空间中定义的，因此 交叉几何贴近度度量是必不可少的。现有的方法测量共享乘积空间中的交 叉几何贴近度，这违背了GDRL将嵌入分离到不同几何空间的内在动机。

为了应对上述挑战，我们首次尝试学习几何解耦表示，并提出了一个 几何解耦变分自动编码器模型(GDVAE)。具体地说，通过基于不同的几何 特征识别与用户意图相关联的高级理念来实现几何解耦表示。为了度量用 户项的相似性，我们将不同几何空间中的分离表示投影到一个共享的潜在 空间中，从而可以利用一个通用的度量来计算它们的接近度。实验结果证 明了所提出的GDVAE模型的有效性，证明了GDRL与传统的非纠缠表示 学习相比的优越性。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照 前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分 技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本 质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，包括以下步骤：

S1、方法定义：用户行为数据集D由用户和物品之间的交互组成，用户u和物品i之间的交互用f_u,i∈{0,1}表示，其中f_u,i＝1表示u对i有偏好，f_u,i＝0表示u和i之间没有记录的交互作用，使用f_u＝{f_u,i:f_u,i＝1}来表示用户u喜欢物品i的集合；任务目标是学习用户和物品/>的表示，模型中的可训练参数集表示为θ；用户的解耦表示表示为其中/>是一种在M_k中的解耦表示，用于捕捉用户对理念k的偏好；物品没有解耦表示，使用欧几里德表示/>物品与兴趣之间的交互用/>表示，其中c_i＝[c_i,1,c_i,2,…,c_i,k]指示物品是否属于该兴趣归因的理念；用p(c_i,k)表示物品i属于兴趣k的概率，/>假设观测数据是使用相应的用户因子表示以及物品理念分配分布p(C):p(f_u|z_u,C)＝Sim(z_u,C)，其相应的目标是在用户因子表示的分布上z_u最大化用户观测数据h_u的期望边际可能性：/>对于给定的观察用户行为f_u，用概率分布q_θ(z_u|f_u,C)描述因子表示z_u和物品理念分配C的推断后验配置；

S2、兴趣对齐：利用基于原型的理念分配计算物品和理念之间的分配概率；

S3、几何解耦表示：将p_θ(z_u)设为统一高斯分布，利用非欧几里德神经网络获得平均值/>和标准差/>利用q_θ(z_u|f_u,C)计算用户u的表示；

S4、几何共享用户行为重构：根据用户和物品之间的相似性预测M。

2.根据权利要求1所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S1在概率分布q_θ(z_u|f_u,C)上引入约束并将q_θ(z_u|f_u,C)匹配到单位高斯先验p_θ(z_u)。

3.根据权利要求1所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S2利用K原型来描述空间中理念的锚点

4.根据权利要求3所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S2在比较物品和原型之前将它们映射到空间，具体方法为：假设所有项都存在于切线空间，即T₀M，然后将它们转换为M_k通过；假设物品表示来自并通过并行传输将其转换为/>以获得原型特定项表示：/>计算变h_i′和m_k之间的相似性。

5.根据权利要求4所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，计算变h_i′和m_k之间的相似性的方法为：将h_i′转到M_k流形，h_i′和m_k的相似度可以通过它们的测地距离来测量。

6.根据权利要求4所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，计算变h_i′和m_k之间的相似性的方法为：计算h_i′在上的范数s_i，k＝-||h_i′||_κ，物品属于理念的概率由softmax函数计算：/>其中τ是缩放值的超参数，τ∈(0,1)。

7.根据权利要求1所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S3获得平均值和标准差/>的方法为：假设为每一个作为多元正态分布与对角线协方差矩阵，平均值/>和标准差/>由具有输入特征t_u＝[[f_u，1，f_u，2，…，f_u，M]⊙[p(c_1，k)，p(c_2，k)，…，p(c_M，k)]]∈E^M的神经网络/>计算,

8.根据权利要求1所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S3计算用户u的表示的方法为：从分布中采样，首先从流形的切线空间中采样T₀M_k，即v～N(0,σ_u)∈T₀M_k，几何解耦表示/>通过从T₀M_k到/>的并行传输v_u获得，并通过指数映射映射到流形/>

9.根据权利要求1所述的基于几何非纠缠变分自动编码器学习几何解耦表示的方法，其特征在于，步骤S4的具体方法为：映射了用户表示到切线空间T₀M_κ，利用欧几里德距离来度量共享切线空间T₀M_κ上用户和物品k^th理念之间的相似性：用户行为通过物品的分类分布来重建：