CN114969547B - 一种基于多视角增强图注意神经网络的音乐推荐方法 - Google Patents

Abstract

本发明公开了一种基于多视角增强图注意神经网络的音乐推荐方法，包括如下步骤：S1、数据采集，获取一定时间内多个用户得音乐收听记录；S2、数据建模，构建异构音乐图HMG，对各种数据和信息进行整合；S3、表征学习，S4、用户短期兴趣建模，从用户的最近的音乐收听行为中推断她/他的短期兴趣偏好；S5、音乐推荐，基于用户的长期、短期和动态三种兴趣偏好进行推荐。该方法从用户的音乐收听记录以及音乐和用户的向量表征中学习用户的动态、长期和短期偏好，并利用上述偏好信息进而从海量的音乐数据中推荐满足用户实时要求的音乐。

Description

一种基于多视角增强图注意神经网络的音乐推荐方法

技术领域

本发明涉及数字经济的个性化服务技术领域，具体指一种基于多视角增强图注意神经网络的音乐推荐方法。

背景技术

近年来，由于信息技术的创新，数字服务市场发展迅速。根据国际唱片业联合会(IFPI)在2021年发布的报告，全球音乐市场增长18.5％，其中流媒体音乐市场增长24.3％。同时，用户可以方便地访问海量的数字音乐内容。具体来说，亚马逊音乐和苹果音乐都为用户提供了超过9000万首歌曲(2022年5月的统计数据)。

因此，人们越来越难以从海量的音乐内容中找到自己喜欢的音乐，这就是所谓的信息过载问题。为了解决该问题，推荐系统通过不同的策略(例如基于协同过滤的推荐、基于内容的推荐、上下文感知推荐、顺序推荐等)帮助用户从可用的海量数据中找到他们需要的服务或内容。

然而，传统的音乐推荐系统的推荐精度有限，尤其是在具有海量音乐数据的应用场景下的效果不佳。混合推荐方法通过将传统的协同过滤或基于内容的方法与用户档案、项目属性等辅助内容数据相结合，进而提高推荐系统的准确性。然而，现有的混合推荐方法可能无法以灵活和自适应的方式充分利用这些不同类型的数据。

此外，近年来用户的听音乐行为模式也在逐渐发生变化。例如，根据腾讯音乐娱乐(TME)在2020年第一季度发布的报告，COVID-19全球大流行带来了数字时代的新兴机遇，移动MAU(月活跃用户)和付费用户增长迅速，腾讯音乐的收入保持强劲。智能手机的普及以及移动互联网技术的快速发展，使得人们几乎可以随时随地享受音乐，这给用户的偏好建模和音乐推荐带来了更多的挑战。如何充分利用用户的音乐播放记录和音乐的内容特征等异构数据是进一步提高音乐推荐性能的关键因素。

发明内容

本发明针对上述问题，提出了一种基于多视角增强图注意神经网络(MEGAN)的音乐推荐方法，可以基于图神经网络和注意力机制，从异构数据中学习用户偏好和音乐特征表示，并实现音乐推荐。

为了解决上述技术问题，本发明的技术方案为：

一种基于多视角增强图注意神经网络的音乐推荐方法，包括如下步骤：

S1、数据采集

获取一定时间内多个用户得音乐收听记录H＝{H¹,…,H^u,…,H^U}，

是用户u∈U得音乐收听记录，t_i是m_i∈M的时间戳，U和M表示用户集合和音乐集合；

S2、数据建模

构建异构音乐图HMG，对各种数据和信息进行整合，包括用户收听记录和音乐的内容，HMG定义为G＝(V,E,W)，V＝(U,S,M,F)表示HMG中不同类型节点的集合，其中U、S、M和F分别是用户集合、会话集合、音乐集合和内容特征集合，E是HMG中不同类型边的集合，W是E的权重集；

S3、表征学习

S31、预训练：利用预训练技术得到用HMG中的节点的初始特征向量，节点v_i∈V的初始特征向量定义为

其中V′∈R^|V|×d是预训练的嵌入矩阵，

是v_i的独热向量表示；

S32、用户兴趣建模：首先从HMG中以用户的档案视角、行为视角和会话视角学习用户的兴趣表示，然后将三个视角的兴趣表示进行融合，得到用户的综合兴趣表征v_u；

S33、音乐特征建模：首先从HMG中以音乐的属性视角、交互视角、转移视角和上下文视角学习音乐的特征表示，然后将四个视角的特征表示进行融合，得到音乐的综合特征表示v_m；

S4、用户短期兴趣建模

从用户的最近的音乐收听行为中推断她/他的短期兴趣偏好；

S5、音乐推荐

基于用户的长期、短期和动态三种兴趣偏好进行推荐。

作为优选，所述步骤S1中还包括数据处理，每个用户的音乐收听记录根据时间戳划分为不同的会话，其中间隔时间超过一定阈值的音乐播放记录会被划分到两个会话中，将用户u的播放记录可以被划分为n个会话，

此外，音乐和用户的内容特征词的集合表示为F。

作为优选，所述集合V包括用户节点u∈U、会话节点s∈S、音乐节点m∈M和内容特征词f∈F，所述集合E包括用户-音乐(u-m)边、用户-特征(u-f)边、用户会话(u-s)边、音乐特征(m-f)边、音乐-音乐(m-m)边和音乐-会话(m-s)边。

作为优选，所述步骤S32中，

从HMG中以用户的档案视角上的兴趣表征方法如下：

将用户u档案内容中的l′个特征词{f₁,f₂,…,f_l′,}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V″_u,f上使用双曲正切激活函数和均值池化策略，得到每个用户u的在档案视角上的兴趣表示

从HMG中以用户的行为视角上的兴趣表征方法如下：

将用户u在HMG上的音乐邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k个音乐邻居{m₀,m₁,…,m_k-1}，行为视角的用户兴趣表示定义为：

其中

是音乐m_i的初始特征向量，上标b表示行为视角，

是用户u对第i个音乐邻居节点m_i在行为视角的注意力权重，其定义如下：

其中

是用户u和音乐m_i在HMG上的边的权重，

是u和m_i之间的行为得分，表示用户偏好与音乐特征之间的相关性，正式定义为：

其中σ是带泄漏的ReLU激活函数，而

是可学习的向量参数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是用户u和音乐m_i在行为视角中的隐藏表示，定义为

其中

和

是可学习的参数，tanh()是双曲正切激活函数。

从HMG中以用户的会话视角上的兴趣表征方法如下：

将用户u在HMG上的会话邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k′个会话邻居{s₀,s₁,…,s_k′-1}，会话视角的用户兴趣表示定义为：

其中，其中上标s表示会话视图，

是u的会话s_i的嵌入，

是会话s_i和用户u之间的注意力权重，正式定义为：

其中

是u和她/他的会话邻居s_i之间的边的权重，

是u和s_i之间的会话得分，表示用户全局偏好和会话偏好之间的相关性，

和

是可学习的参数，

和

是用户u和会话s_i的隐藏表示。

作为优选，所述步骤S32中，用户的综合兴趣表征v_u方法如下：

用户的综合兴趣表征建模为三个视角中学到的用户兴趣，定义为：

其中

和

分别是u在档案视角、行为视角和会话视角的兴趣表示，

和

是三个视角的权重，通过注意力机制计算的，视角x(p、b或者s)的权重定义为：

其中，q_u∈R^d″、

和

是可学习参数，d″是隐藏层的大小，

是用户u在视角x下的兴趣表示。

作为优选，所述步骤S33中，

从HMG中以音乐的属性视角学习音乐的特征表示：

将音乐m内容特征中的l′个特征词{f₁，f₂，…，f_l′}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V″_u,f上使用双曲正切激活函数和均值池化策略，得到每首音乐m的在属性视角上的兴趣表示

其中上标a表示属性视角；

从HMG中以音乐的交互视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n个用户邻居{u₀,u₁,…,u_n-1}，交互视角的音乐特征表示定义为：

其中

是用户u_j的初始兴趣向量，上标i表示交互视角，

是音乐m对第j个用户邻居节点u_j在交互视角的注意力权重，其定义如下：

其中

是音乐m和第j个用户邻居节点u_j在HMG上的边的权重，

是m和u_j之间的交互得分，表示音乐特征与用户偏好之间的相关性，σ是带泄漏的ReLU激活函数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和u_j在交互视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的转移视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n′个音乐邻居{m₀,m₁,…,m_n′-1}，转移视角的音乐特征表示定义为：

其中

是音乐m_j的初始特征向量，上标t表示转移视角，

是音乐m对第j个音乐邻居节点m_j在转移视角的注意力权重，其定义如下：

其中

是音乐m和第j个音乐邻居节点m_j在HMG上的边的权重，

是m和m_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数。d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和m_j在转移视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的上下文视角学习音乐的特征表示：

将音乐m在HMG上的会话邻居进行聚合得到音乐特征表示，即对于音乐m和它的n″个会话邻居{s₀,s₁,…,s_n″-1}，上下文视角的音乐特征表示定义为：

其中

是会话s_j的初始特征向量，上标c表示上下文视角，

是音乐m对第j个会话邻居节点s_j在上下文视角的注意力权重，其定义如下：

其中

是音乐m和第j个会话邻居节点s_j在HMG上的边的权重，

是m和s_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数。d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和s_j在上下文视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数。

作为优选，所述步骤S33中，将属性视角、交互视角、转移视角和上下文视角四个视角的特征表示进行融合，得到音乐的综合特征表示v_m方法如下：

定义：

其中

和

分别是m在属性视角、交互视角、转移视角和上下文视角的特征表示，

和

是四个视角的权重，通过注意力机制计算的，视角y(a、i、t或者c)的权重定义为：

其中，y是a、i、t和c中任意一种，q_m∈R^d″、

和

是可学习参数，d″是隐藏层的大小，

是音乐m在视角x下的特征向量。

作为优选，所述步骤S4中，给定用户u和她/他的历史收听序列{m₀,…,m_o-i,…,m_o-1}，u的短期偏好表示用基于注意力的加权和策略定义为：

其中

是音乐m_j的综合特征表示，o是历史序列的长度，h是近期序列的长度，

是历史记录m_j在短期偏好推断过程中的权重，

用软注意机制定义为：

其中

是m_j对于u的短期偏好推断的得分，

它定义为：

其中v_u∈R^d是用户u的综合兴趣表征，

是最后一首音乐记录m_o-1的综合特征表示。

和c^ε∈R^d是可学习的参数。

作为优选，所述步骤S5中，用户u对候选音乐m的兴趣分数定义为：

其中v_m是音乐m的综合特征表示，ρ^lt，ρ^st和ρ^d分别是长期、短期和动态兴趣偏好的权重，定义为

其中W^ρ∈R^3×3d和c^ρ∈R³是可学习的参数，从而可以根据上述公式中的兴趣对候选音乐进行排序，并将得分高的音乐推荐给目标用户。

本发明具有以下的特点和有益效果：

采用上述技术方案，首先使用异构音乐图HMG以统一的方式对各种数据进行建模，包括用户的音乐收听行为以及用户和音乐的文本内容数据。然后，结合图神经网络和注意力机制，利用HMG中的各种信息学习用户和音乐的低维实数向量表征，该学习过程通过用户的三个视图(档案/行为/会话)和音乐的四个视图(上下文/交互/转移/属性)进行增强。最后，MEGAN从用户的音乐收听记录以及音乐和用户的向量表征中学习用户的动态、长期和短期偏好，并利用上述偏好信息进而从海量的音乐数据中推荐满足用户实时要求的音乐。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例的方法流程图。

图2为本实施例中异构音乐图(HMG)建模方法示意图。

图3为本实施例中基于多视角增强图注意神经网络方法架构图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

本发明提供了一种基于多视角增强图注意神经网络的音乐推荐方法，如图1所示，包括如下步骤：

S1、数据采集

获取一定时间内多个用户得音乐收听记录

是用户u∈U得音乐收听记录，t_i是m_i∈M的时间戳，U和M表示用户集合和音乐集合；

进一步的，每个用户的音乐收听记录根据时间戳划分为不同的会话，其中间隔时间超过一定阈值的音乐播放记录会被划分到两个会话中，将用户u的播放记录可以被划分为n个会话，

此外，音乐和用户的内容特征词的集合表示为F。

具体的，如图2所示，本实施例中用户u₁和u₂的对m₁-m₅五首音乐的收听序列，两个用户的收听序列根据时间戳划分为4个会话{s_1,1,s_1,2,s_2,1,s_2,2}，五首音乐的内容信息如图2左下角的表格所示。

S2、数据建模

构建异构音乐图HMG，如图2所示，对各种数据和信息进行整合，包括用户收听记录和音乐的内容，HMG定义为G＝(V,E,W)，V＝(U,S,M,F)表示HMG中不同类型节点的集合，其中U、S、M和F分别是用户集合、会话集合、音乐集合和内容特征集合，所述集合V包括用户节点u∈U、会话节点s∈S、音乐节点m∈M和内容特征词f∈F，E是HMG中不同类型边的集合，所述集合E包括用户-音乐(u-m)边、用户-特征(u-f)边、用户会话(u-s)边、音乐特征(m-f)边、音乐-音乐(m-m)边和音乐-会话(m-s)边，W是E的权重集。

S3、表征学习，用图神经网络和注意力机制从HMG中的用户音乐收听行为数据以及音乐的内容特征中学习节点(用户、音乐等)的特征表示。

具体的，包括如下子步骤：

S31、预训练：利用预训练技术得到用HMG中的节点的初始特征向量，节点v_i∈V的初始特征向量定义为

其中V′∈R^|V|×d是预训练的嵌入矩阵，d是向量的维度，

是v_i的独热向量表示。

S32、用户兴趣建模：首先从HMG中以用户的档案视角、行为视角和会话视角学习用户的兴趣表示，然后将三个视角的兴趣表示进行融合，得到用户的综合兴趣表征v_u；

进一步的，

从HMG中以用户的档案视角上的兴趣表征方法如下：

将用户u档案内容中的l′个特征词{f₁，f₂，…，f_l′}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V″_u,f上使用双曲正切激活函数和均值池化策略，得到每个用户u的在档案视角上的兴趣表示

从HMG中以用户的行为视角上的兴趣表征方法如下：

将用户u在HMG上的音乐邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k个音乐邻居{m₀,m₁,…,m_k-1}，行为视角的用户兴趣表示定义为：

其中

是音乐m_i的初始特征向量，上标b表示行为视角，

是用户u对第i个音乐邻居节点m_i在行为视角的注意力权重，其定义如下：

其中

是用户u和音乐m_i在HMG上的边的权重，

是u和m_i之间的行为得分，表示用户偏好与音乐特征之间的相关性，正式定义为：

其中σ是带泄漏的ReLU激活函数，而

是可学习的向量参数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是用户u和音乐m_i在行为视角中的隐藏表示，定义为

其中

和

是可学习的参数，tanh()是双曲正切激活函数。

从HMG中以用户的会话视角上的兴趣表征方法如下：

将用户u在HMG上的会话邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k′个会话邻居{s₀,s₁,…,s_k′-1}，会话视角的用户兴趣表示定义为：

其中，其中上标s表示会话视图，

是u的会话s_i的嵌入，

是会话s_i和用户u之间的注意力权重，正式定义为：

其中

是u和她/他的会话邻居s_i之间的边的权重，

是u和s_i之间的会话得分，表示用户全局偏好和会话偏好之间的相关性，

和

是可学习的参数，

和

是用户u和会话s_i的隐藏表示。

最后综合上述三个视角，用户的综合兴趣表征v_u方法如下：

用户的综合兴趣表征建模为三个视角中学到的用户兴趣，定义为：

其中

和

分别是u在档案视角、行为视角和会话视角的兴趣表示，

和

是三个视角的权重，通过注意力机制计算的，视角x(p、b或者s)的权重定义为：

其中，q_u∈R^d″、

是可学习参数，d″是隐藏层的大小，

是用户u在视角x下的兴趣表示。

S33、音乐特征建模：首先从HMG中以音乐的属性视角、交互视角、转移视角和上下文视角学习音乐的特征表示，然后将四个视角的特征表示进行融合，得到音乐的综合特征表示v_m；

进一步的，

从HMG中以音乐的属性视角学习音乐的特征表示：

将音乐m内容特征中的l′个特征词{f₁，f₂，…，f_l′}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V_u″_,f上使用双曲正切激活函数和均值池化策略，得到每首音乐m的在属性视角上的兴趣表示

其中上标a表示属性视角；

从HMG中以音乐的交互视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n个用户邻居{u₀,u₁,…,u_n-1}，交互视角的音乐特征表示定义为：

其中

是用户u_j的初始兴趣向量，上标i表示交互视角，

是音乐m对第j个用户邻居节点u_j在交互视角的注意力权重，其定义如下：

其中

是音乐m和第j个用户邻居节点u_j在HMG上的边的权重，

是m和u_j之间的交互得分，表示音乐特征与用户偏好之间的相关性，σ是带泄漏的ReLU激活函数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和u_j在交互视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的转移视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n′个音乐邻居{m₀,m₁,…,m_n′-1}，转移视角的音乐特征表示定义为：

其中

是音乐m_j的初始特征向量，上标t表示转移视角，

是音乐m对第j个音乐邻居节点m_j在转移视角的注意力权重，其定义如下：

其中

是音乐m和第j个音乐邻居节点m_j在HMG上的边的权重，

是m和m_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数。d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和m_j在转移视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的上下文视角学习音乐的特征表示：

将音乐m在HMG上的会话邻居进行聚合得到音乐特征表示，即对于音乐m和它的n″个会话邻居{s₀,s₁,…,s_n″-1}，上下文视角的音乐特征表示定义为：

其中

是会话s_j的初始特征向量，上标c表示上下文视角，

是音乐m对第j个会话邻居节点s_j在上下文视角的注意力权重，其定义如下：

其中

是音乐m和第j个会话邻居节点s_j在HMG上的边的权重，

是m和s_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数。d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和s_j在上下文视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数。

进一步的，将属性视角、交互视角、转移视角和上下文视角四个视角的特征表示进行融合，得到音乐的综合特征表示v_m方法如下：

定义：

其中

和

分别是m在属性视角、交互视角、转移视角和上下文视角的特征表示，

和

是四个视角的权重，通过注意力机制计算的，视角y(a、i、t或者c)的权重定义为：

其中，y是a、i、t和c中任意一种，q_m∈R^d″、

和

是可学习参数，d″是隐藏层的大小，

是音乐m在视角x下的特征向量。

S4、用户短期兴趣建模

具体的，如图3所示，可以理解的，用户的短期兴趣偏好是从她/他最近的收听行为中推断出来的给定，因此，用户u和她/他的历史收听序列{m₀,…,m_o-i,…,m_o-1}，u的短期偏好表示用基于注意力的加权和策略定义为：

其中

是音乐m_j的综合特征表示，o是历史序列的长度，h是近期序列的长度，

是是历史记录m_j在短期偏好推断过程中的权重，

用软注意机制定义为：

其中

是m_j对于u的短期偏好推断的得分，

它定义为：

其中v_u∈R^d是用户u的综合兴趣表征，

是最后一首音乐记录m_o-1的综合特征表示。

和c^ε∈R^d是可学习的参数。

S5、音乐推荐

具体的，如图3所示，实施音乐推荐，本实施例基于用户的三种兴趣偏好进行推荐，即长期、短期和动态兴趣。用户u的长期偏好用综合兴趣表征v_u表示，她/他的短期兴趣偏好为

此外，我们使用u的最后收听记录(音乐m_o)的综合特征表示，即

来表示她/他的动态偏好。然后，我们可以根据用户u的偏好和候选音乐m∈M的特征计算u对m的兴趣分数，然后将分数高的音乐推荐给u。u对m的兴趣分数定义为：

其中v_m是音乐m的综合特征表示，ρ^lt，ρ^st和ρ^d分别是长期、短期和动态兴趣偏好的权重，定义为

其中W^ρ∈R^3×3d和c^ρ∈R³是可学习的参数，从而可以根据上述公式中的兴趣对候选音乐进行排序，并将得分高的音乐推荐给目标用户。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (7)

1.一种基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，包括如下步骤：

S1、数据采集

获取一定时间内多个用户得音乐收听记录H＝{H¹,…,H^u,…,H^U}，

是用户u∈U得音乐收听记录，t_i是m_i∈M的时间戳，U和M表示用户集合和音乐集合；

S2、数据建模

构建异构音乐图HMG，对各种数据和信息进行整合，包括用户收听记录和音乐的内容，HMG定义为G＝(V,E,W)，V＝(U,S,M,F)表示HMG中不同类型节点的集合，其中U、S、M和F分别是用户集合、会话集合、音乐集合和内容特征集合，E是HMG中不同类型边的集合，W是E的权重集，

所述集合V包括用户节点u∈U、会话节点s∈S、音乐节点m∈M和内容特征词f∈F，所述集合E包括用户-音乐(u-m)边、用户-特征(u-f)边、用户会话(u-s)边、音乐特征(m-f)边、音乐-音乐(m-m)边和音乐-会话(m-s)边；

S3、表征学习

S31、预训练：利用预训练技术得到用HMG中的节点的初始特征向量，节点v_i∈V的初始特征向量定义为

其中V′∈R^|V|×d是预训练的嵌入矩阵，

是v_i的独热向量表示；

S32、用户兴趣建模：首先从HMG中以用户的档案视角、行为视角和会话视角学习用户的兴趣表示，然后将三个视角的兴趣表示进行融合，得到用户的综合兴趣表征v_u，

所述步骤S32中，

从HMG中以用户的档案视角上的兴趣表征方法如下：

将用户u档案内容中的l′个特征词{f₁，f₂，…，f_l′}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V″_u,f上使用双曲正切激活函数和均值池化策略，得到每个用户u的在档案视角上的兴趣表示

从HMG中以用户的行为视角上的兴趣表征方法如下：

将用户u在HMG上的音乐邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k个音乐邻居{m₀,m₁,…,m_k-1}，行为视角的用户兴趣表示定义为：

其中

是音乐m_i的初始特征向量，上标b表示行为视角，

是用户u对第i个音乐邻居节点m_i在行为视角的注意力权重，其定义如下：

其中

是用户u和音乐m_i在HMG上的边的权重，

是u和m_i之间的行为得分，表示用户偏好与音乐特征之间的相关性，正式定义为：

其中σ是带泄漏的ReLU激活函数，而

是可学习的向量参数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是用户u和音乐m_i在行为视角中的隐藏表示，定义为

其中

和

是可学习的参数，tanh()是双曲正切激活函数，

从HMG中以用户的会话视角上的兴趣表征方法如下：

将用户u在HMG上的会话邻居进行聚合得到用户兴趣表示，即对于用户节点v_u和她/他的k′个会话邻居{s₀,s₁,…,s_k′-1}，会话视角的用户兴趣表示定义为：

其中，其中上标s表示会话视图，

是u的会话s_i的嵌入，

是会话s_i和用户u之间的注意力权重，正式定义为：

其中

是u和她/他的会话邻居s_i之间的边的权重，

是u和s_i之间的会话得分，表示用户全局偏好和会话偏好之间的相关性，

和

是可学习的参数，

和

是用户u和会话s_i的隐藏表示；

S33、音乐特征建模：首先从HMG中以音乐的属性视角、交互视角、转移视角和上下文视角学习音乐的特征表示，然后将四个视角的特征表示进行融合，得到音乐的综合特征表示v_m；

S4、用户短期兴趣建模

从用户的最近的音乐收听行为中推断她/他的短期兴趣偏好；

S5、音乐推荐

基于用户的长期、短期和动态三种兴趣偏好进行推荐。

2.根据权利要求1所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S1中还包括数据处理，每个用户的音乐收听记录根据时间戳划分为不同的会话，其中间隔时间超过一定阈值的音乐播放记录会被划分到两个会话中，将用户u的播放记录被划分为n个会话，

此外，音乐和用户的内容特征词的集合表示为F。

3.根据权利要求1所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S32中，用户的综合兴趣表征v_u方法如下：

用户的综合兴趣表征建模为三个视角中学到的用户兴趣，定义为：

其中

和

分别是u在档案视角、行为视角和会话视角的兴趣表示，

和

是三个视角的权重，通过注意力机制计算的，视角x(p、b或者s)的权重定义为：

其中，q_u∈R^d″、

和

是可学习参数，d″是隐藏层的大小，

是用户u在视角x下的兴趣表示。

4.根据权利要求1所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S33中，

从HMG中以音乐的属性视角学习音乐的特征表示：

将音乐m内容特征中的l′个特征词{f₁，f₂，…，f_l′}转换为相应的词嵌入矩阵

其中

是f_i的词向量，然后利用卷积操作将V′_u,f转换为V″_u,f∈R^{d×(l′-l″+1)}，l″是卷积核的大小，卷积层中的输入通道数和输出通道数分别为d和d′，最后，在V″_u,f上使用双曲正切激活函数和均值池化策略，得到每首音乐m的在属性视角上的兴趣表示

其中上标a表示属性视角；

从HMG中以音乐的交互视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n个用户邻居{u₀,u₁,…,u_n-1}，交互视角的音乐特征表示定义为：

其中

是用户u_j的初始兴趣向量，上标i表示交互视角，

是音乐m对第j个用户邻居节点u_j在交互视角的注意力权重，其定义如下：

其中

是音乐m和第j个用户邻居节点u_j在HMG上的边的权重，

是m和u_j之间的交互得分，表示音乐特征与用户偏好之间的相关性，σ是带泄漏的ReLU激活函数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和u_j在交互视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的转移视角学习音乐的特征表示：

将音乐m在HMG上的用户邻居进行聚合得到音乐特征表示，即对于音乐m和它的n′个音乐邻居{m₀,m₁,…,m_n′-1}，转移视角的音乐特征表示定义为：

其中

是音乐m_j的初始特征向量，上标t表示转移视角，

是音乐m对第j个音乐邻居节点m_j在转移视角的注意力权重，其定义如下：

其中

是音乐m和第j个音乐邻居节点m_j在HMG上的边的权重，

是m和m_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和m_j在转移视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数；

从HMG中以音乐的上下文视角学习音乐的特征表示：

将音乐m在HMG上的会话邻居进行聚合得到音乐特征表示，即对于音乐m和它的n″个会话邻居{s₀,s₁,…,s_n″-1}，上下文视角的音乐特征表示定义为：

其中

是会话s_j的初始特征向量，上标c表示上下文视角，

是音乐m对第j个会话邻居节点s_j在上下文视角的注意力权重，其定义如下：

其中

是音乐m和第j个会话邻居节点s_j在HMG上的边的权重，

是m和s_j之间的交互得分，表示音乐特征之间的相关性，σ是带泄漏的ReLU激活函数，d″是隐藏层大小，||是向量之间的拼接，

此外，

和

是m和s_j在上下文视角中的隐藏表示，

和

是可学习的参数，tanh()是双曲正切激活函数。

5.根据权利要求4所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S33中，将属性视角、交互视角、转移视角和上下文视角四个视角的特征表示进行融合，得到音乐的综合特征表示v_m方法如下：

定义：

其中

和

分别是m在属性视角、交互视角、转移视角和上下文视角的特征表示，

和

是四个视角的权重，通过注意力机制计算的，视角y(a、i、t或者c)的权重定义为：

其中，y是a、i、t和c中任意一种，q_m∈R^d″、

和

是可学习参数，d″是隐藏层的大小，

是音乐m在视角x下的特征向量。

6.根据权利要求1所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S4中，给定用户u和她/他的历史收听序列{m₀,…,m_o-i,…,m_o-1}，u的短期偏好表示用基于注意力的加权和策略定义为：

其中

是音乐m_j的综合特征表示，o是历史序列的长度，h是近期序列的长度，

是历史记录m_j在短期偏好推断过程中的权重，

用软注意机制定义为：

其中

是m_j对于u的短期偏好推断的得分，

定义为：

其中v_u∈R^d是用户u的综合兴趣表征，

是最后一首音乐记录m_o-1的综合特征表示，

和c^ε∈R ^d是可学习的参数。

7.根据权利要求1所述的基于多视角增强图注意神经网络的音乐推荐方法，其特征在于，所述步骤S5中，用户u对候选音乐m的兴趣分数定义为：

其中v_m是音乐m的综合特征表示，ρ^lt，ρ^st和ρ^d分别是长期、短期和动态兴趣偏好的权重，定义为

其中W^ρ∈R^3×3d和c^ρ∈R³是可学习的参数，从而根据上述公式中的兴趣对候选音乐进行排序，并将得分高的音乐推荐给目标用户。

Images