CN114357201B - 基于信息感知的视听推荐方法、系统 - Google Patents

Abstract

本发明提供一种基于信息感知的视听推荐方法，基于信息感知的视听推荐方法、系统，首先对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；根据全局影视数据和用户点播相关数据获取节目全局图，并对节目全局图进行扩增以形成用户‑节目交互图；对用户‑节目交互图进行学习处理以形成电影特征向量和用户特征向量；基于电影特征向量和用户特征向量获取用户的短期兴趣和长期兴趣，基于短期兴趣和所述长期兴趣获取用户的兴趣向量，根据兴趣向量计算归一化概率；自大至小依次取预设数量的归一化概率作为大概率数据，并将与大概率数据相对应的项目作为视听推荐列表，如此，实现多种异构信息的融合。

Description

基于信息感知的视听推荐方法、系统

技术领域

本发明涉及媒体推荐技术领域，更为具体地，涉及一种基于信息感知的视听推荐方法、系统。

背景技术

随着互联网时代的到来，各种网站上的内容信息呈爆炸式增长。用户往往无法从海量的信息中提取感兴趣的有效信息或选择合适的商品。个性化推荐系统的出现为用户提供了更高效的决策环境。各种推荐算法研究领域的工作都取得了巨大的进展，如基于内容的推荐算法、基于协同过滤的推荐算法和混合推荐算法等。这些推荐算法倾向于利用所有历史交互数据得到用户对项目的长期和静态偏好，然而在电影业务领域，用户的偏好往往是动态变化的。为了缓解用户的兴趣漂移问题，基于会话的推荐方法受到越来越多的关注。会话推荐方法从生成的会话中学习用户的偏好，既能捕捉用户近期会话的短期偏好，又能捕捉用户从一次会话到另一次会话的偏好变化，从而获得更准确、更合理的推荐结果。用户的观影意向受多种因素共同影响，比如用户对电影类型的偏好、用户对演员和导演的偏好、电影热映等。然而现有的基于会话的推荐方法大多只依赖于单层的会话数据，缺乏其他层的辅助信息，容易出现冷启动和数据稀疏的问题。

因此，亟需一种进一步探究用户的长短期兴趣偏好，实现多种异构信息的融合，缓解冷启动和数据稀疏的基于信息感知的视听推荐方法。

发明内容

鉴于上述问题，本发明的目的是提供一种基于信息感知的视听推荐方法，以解决现有技术中推荐方法大多只能得到用户对项目的长期和静态偏好，无法捕捉用户的动态偏好的问题，以及现有方法大多只依赖于单层的会话数据，缺乏其他层的辅助信息，容易出现冷启动和数据稀疏的问题。

本发明提供的一种基于信息感知的视听推荐方法，包括：

对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

根据所述全局影视数据和所述用户点播相关数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

优选地，所述预处理包括降噪处理和辅助信息提取处理；其中，

所述降噪处理包括：

对所述用户信息中的离群点用户进行过滤处理以形成全局用户数据；按照预设规则对所述电影信息进行筛选以获取全局影视数据；根据所述用户点播记录信息获取用户在特定时间内的电影点播序列，并在所述电影点播序列中删除长噪声序列和短噪声序列以形成用户点播相关数据；

所述辅助信息提取处理为基于所述电影信息获取辅助信息；其中，基于所述电影信息获取辅助信息的过程，包括：

遍历所述电影信息以获取电影的导演信息和演员信息；

在预设的电影表格中创建导演字典和演员字典；其中，在所述导演字典中包含电影与导演的映射关系，在所述演员字典中包含电影与演员的映射关系。

优选地，根据所述全局影视数据和所述用户点播数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

基于所述全局影视数据和所述用户点播数据获取电影嵌入向量和用户嵌入向量；

根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图；其中，所述节目全局图至少包括电影节点、关于所述电影节点电影点播放顺序的有向边和所述电影节点之间的归一化的边权重；

基于所述辅助信息和所述用户点播数据对所述节目全局图进行扩增以形成用户-节目交互图。

优选地，根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图的过程，包括：

根据所述用户点播相关数据获取每位用户的电影点播序列，并根据所述电影点播序列获取每位用户相关的电影节点、电影点播顺序的有向边和归一化的边权重；其中，

获取所述每位用户相关的电影节点、所述电影点播顺序的有向边的过程，包括：

对所述电影点播序列进行遍历存储，将所述电影点播序列中所涉及的每一部电影作为一个单独的电影节点，根据所述电影点播序列的播放顺序确定所述电影点播顺序的有向边。

优选地，获取所述归一化的边权重的过程，包括：

通过归一化公式计算所述归一化的边权重：

其中，Crs表示有向边<mr, ms>在节目全局图中出现的次数，mr、ms分别表示两条直接连接所述电影节点的拓扑线；out(r)表示在节目全局图中以节点mr为起点的有向边的终点节点集合, mt 表示以节点mr为起点的有向边的终点节点，Crt表示有向边<mr, mt>在节目全局图中出现的次数。

优选地，基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

依据所述电影节点与导演、演员之间的映射关系创建导演和演员节点，并依据所述电影节点与用户之间的映射关系创建用户节点；

将所述导演节点、所述演员节点、所述用户节点添加到所述节目全局图中，并建立所述导演节点、所述演员节点、所述用户节点与所述电影节点之间的拓扑线以形成用户-节目交互图。

优选地，对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量的过程，包括：

以GGNN网络结构为基础创建特征向量表示模块；

通过所述特征向量表示模块对所述用户-节目交互图中的每个节点进行卷积操作，并根据每个节点的上一个迭代过程的嵌入向量生成当前的临时状态；

将所述临时状态与上一个迭代过程的嵌入向量重新组合以生成当前各个节点的特征嵌入向量；并且，将与所述用户节点的特征嵌入向量作为用户特征向量；将与所述电影节点相对应的特征嵌入向量作为电影特征向量。

优选地，基于所述电影特征向量获取用户的短期兴趣的过程，包括：

获取所述电影特征向量中预设数量个关于末尾点播记录的末尾电影特征向量；

将所述末尾预设数量个电影特征向量的平均值作为用户的短期兴趣；

基于所述电影特征向量获取用户的长期兴趣的过程，包括：

将所述电影点播序列中所涉及的所有电影特征向量进行堆叠操作以获取电影序列特征向量；

通过注意力机制计算所述电影序列特征向量中单行向量对应的权重；

将所述单行向量对应的权重与所述单行向量相乘以获取用户的长期兴趣。

优选地，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量和所述电影特征向量计算归一化概率的过程，包括：

将所述长期兴趣与所述短期兴趣组合以获取项目偏好；

将所述项目偏好与所述用户特征向量相乘以获取用户级别兴趣向量；

将所述用户级别兴趣向量、所述项目偏好的和与全部电影节点的电影特征向量进行内积以获取内积数据；

对所述内积数据进行数据转换以获取归一化概率。

另一方面，本发明还提供一种基于信息感知的视听推荐系统，实现如前所述的基于信息感知的视听推荐方法，包括融入辅助信息感知和图神经网络的会话推荐模型，所述会话推荐模型包括用户-节目交互图构建模块、特征向量表示模块和用户兴趣构建与预测模块；其中，

所述用户-节目交互图构建模块包括数据预处理单元、节目全局图构建单元和用户-节目交互图单元；

所述数据预处理单元用于对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

所述节目全局图构建单元用于根据所述全局影视数据和所述用户点播相关数据获取节目全局图；

所述用户-节目交互图单元用于基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

所述特征向量表示模块用于对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

所述用户兴趣构建与预测模块包括用户兴趣单元和推荐单元；

所述用户兴趣单元用于基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

所述推荐单元用于自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

从上面的技术方案可知，本发明提供的基于信息感知的视听推荐方法、系统，包括：对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；根据全局影视数据和用户点播相关数据获取节目全局图，并基于辅助信息和全局用户数据对节目全局图进行扩增以形成用户-节目交互图；对用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；基于电影特征向量和用户特征向量获取用户的短期兴趣和长期兴趣，基于短期兴趣和所述长期兴趣获取用户的兴趣向量，根据兴趣向量计算归一化概率；自大至小依次取预设数量的归一化概率作为大概率数据，并将与大概率数据相对应的项目作为视听推荐列表，如此，克服时序建模方法中只考虑相邻项目间的关联性的局限性，并且构建异构的用户-节目交互图，异构图的优势是能够扩展图结构数据的拓扑结构，并实现多种异构信息的融合，而且该方法、系统基于导演和演员信息感知的电影推荐模型 (Directorand Actor-aware Movie Recommendation，DAMRec)，如此，利用会话推荐算法技术，对用户的长短期兴趣进行建模，缓解用户的兴趣漂移问题。

附图说明

通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于信息感知的视听推荐方法的流程图；

图2为根据本发明实施例的基于信息感知的视听推荐方法所涉及的DAMRec模型总流程示意图；

图3为根据本发明实施例的基于信息感知的视听推荐方法所涉及的用户-节目交互图的构建流程图；

图4为根据本发明实施例的基于信息感知的视听推荐方法所涉及的节目全局图示意图；

图5为根据本发明实施例的基于信息感知的视听推荐方法所涉及的用户节目交互图示意图；

图6为根据本发明实施例的基于信息感知的视听推荐系统的系统框图。

具体实施方式

目前，在电影业务领域，用户的观影意向受多种因素共同影响，比如用户对电影类型的偏好、用户对演员和导演的偏好、电影热映等。然而现有的基于会话的推荐方法大多只依赖于单层的会话数据，缺乏其他层的辅助信息，容易出现冷启动和数据稀疏的问题；并且，目前传统的推荐算法（如基于内容的推荐算法、基于协同过滤的推荐算法）倾向于利用所有历史交互数据得到用户对项目的长期和静态偏好，这种做法存在一个潜在的假设，即用户的所有历史交互数据对其当前偏好同样重要。但在现实情况中，用户对项目的选择不仅取决于他的长期偏好，还取决于他近期的兴趣偏好。例如在电商网站、视频网站等应用场景下，用户的兴趣偏好往往是动态变化的，即存在兴趣漂移现象。

针对上述问题，本发明提供一种基于信息感知的视听推荐方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。

为了说明本发明提供的基于信息感知的视听推荐方法、系统，图1-图5对本发明实施例的基于信息感知的视听推荐方法进行了示例性标示；图6对本发明实施例的基于信息感知的视听推荐系统进行了示例性标示。

以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。

如图1、图2、图3所示，本发明提供一种基于信息感知的视听推荐方法，该方法基于融入辅助信息感知和图神经网络的会话推荐模型（DAMRec），该模型首先建立了一个用户-节目交互图，然后使用辅助信息感知以及门控图神经网络（Gated Graph Neural Network,GGNN）得到用户和节目的特征表示，最后通过注意力机制聚合节点信息得到用户兴趣表示，并结合用户和节目的表征向量进行推荐预测。

在图1、图2、图3共同所示的实施例中，包括：

S1：对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

S2：根据全局影视数据和所述用户点播相关数据获取节目全局图，并基于辅助信息和全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

S3：对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

S4：基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

S5：自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

在图1、图2、图3共同所示的实施例中，步骤S1为对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据的过程；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；其中，

该预处理包括降噪处理和辅助信息提取处理；其中，

该降噪处理包括：

对所述用户信息中的离群点用户进行过滤处理以形成全局用户数据；按照预设规则对所述电影信息进行筛选以获取全局影视数据；根据所述用户点播记录信息获取用户在特定时间内的电影点播序列，并在所述电影点播序列中删除长噪声序列和短噪声序列以形成用户点播相关数据；

所述辅助信息提取处理为基于所述电影信息获取辅助信息；其中，基于所述电影信息获取辅助信息的过程，包括：

遍历所述电影信息以获取电影的导演信息和演员信息；

在预设的电影表格中创建导演字典和演员字典；其中，在所述导演字典中包含电影与导演的映射关系，在演员字典中包含电影与演员的映射关系。

在一个具体实施例中，数据预处理部分对输入的三类数据执行一系列的数据过滤和筛选处理操作，并对用户及其与影视库中的电影的交互数据进行降噪处理，这些降噪后的数据将被用于辅助信息提取和节点嵌入。

其中，输入数据包含三类信息：用户信息，电影信息，用户在1个月内点播电影的历史记录。以上三类数据经过数据处理层的筛选和降噪处理后最终转化为推荐模型的所需的数据，即全局唯一的用户ID、影视库中的全局唯一的电影ID、用户的点播会话中的每次点播电影时的时间戳信息以及电影的导演和主要演员；数据降噪包括两部分内容。一是过滤掉离群点的用户，即点播电影记录非常少的不活跃用户。此类用户的点播记录增大了整个数据集的稀疏性，过滤掉此类用户的记录，有利于提高数据集的质量。二是对点播电影序列进行过滤，包括用户频繁切换电影而形成的长噪声序列和长度过短的序列。

辅助信息提取的主要任务是将具有标签特征的电影导演和演员列表从节目信息中提取出来，存储为新的数据结构，从而得到导演和演员与其相关电影的映射关系。

用户观影意向与电影的导演和演员信息有关，不同用户对导演和演员信息的感知能力是不同的，可以通过对用户、电影、导演和演员之间的关系建模来研究用户的观影意向。辅助信息提取的主要任务是完整提取出导演和演员与相关电影的映射关系。具体步骤是在电影信息表格中构建导演字典和电影字典，导演字典中包含两部分：影视库中所有导演的名称和对应的导演执导的所有电影名称，演员字典中包含两部分：影视库中所有演员的名称和对应的演员参演的所有电影名称。节目的导演和演员信息将在后续的推荐算法被用来构建基于感知机制的电影节点嵌入和用户嵌入，进而增强推荐性能；更为具体的，在一个具体实施例中，在电影信息表格中构建dict_D2M和dict_A2M两个字典。dict_D2M的key是影视库中的所有导演的名称，每个key对应的value是在影视库内这个key对应的导演执导的所有电影名称组成的列表。dict_A2M的key是影视库中的所有演员名称，每个key对应的value是在影视库内这个key对应的演员参演的所有电影名称组成的列表。节目的导演和演员信息将在后续的推荐算法被用来构建基于感知机制的电影节点嵌入和用户嵌入，进而增强推荐性能。

在图1、图2、图3、图4共同所示的实施例中，步骤S2为根据所述全局影视数据和所述用户点播相关数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；其中，

根据所述全局影视数据和所述用户点播相关数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

S21：基于所述全局影视数据和所述用户点播数据获取电影嵌入向量和用户嵌入向量；即为每个电影m和用户ui分别分配一个服从高斯分布的M维实值向量e _m 和一个服从高斯分布的N维实值向量e _ui 作为它们的初始状态, 其中，电影嵌入会在图神经网络的信息传播过程中，逐渐学习到收敛状态，用户嵌入会在训练过程中更新误差函数；

S22：根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图；其中，所述节目全局图至少包括电影节点、关于所述电影节点电影点播放顺序的有向边和所述电影节点之间的归一化的边权重；

S23：基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

在步骤S22中，根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图的过程，包括：

S221：根据所述用户点播相关数据获取每位用户的电影点播序列，并根据所述电影点播序列获取每位用户相关的电影节点、电影点播顺序的有向边和归一化的边权重；其中，

获取所述每位用户相关的电影节点、所述电影点播顺序的有向边的过程，包括：

S2211：对所述电影点播序列进行遍历存储，将所述电影点播序列中所涉及的每一部电影作为一个单独的电影节点，根据所述电影点播序列的播放顺序确定所述电影点播顺序的有向边。

具体的，在本实施例中，步骤S22即为将每位用户的电影点播序列转化为有向图的形式，并将所有有向图合并得到节目全局图的过程；节目全局图包含三部分内容：电影节点、表示电影点播顺序的有向边和归一化的边权重；

在步骤S22中，首先经由步骤S221确定电影节点和有向边；其中，

在确定电影节点和有向边的过程中，一个用户在一段时间的电影点播历史记录可以视为一个电影点播序列，将一个电影点播序列中包含的每部电影都视作电影节点，点播序列中的顺序性和相邻性体现为电影节点间的有向边，由此可以得到该电影点播序列对应的有向图。在此基础上，将所有序列对应的有向图合并，可得到包含所有电影点播序列的节目全局图。

每一个用户在一段时间内的点播记录是由若干个电影节目即电影节点组成，记用户u _i 在该段时间内的点播记录为S _ui ，S _ui =[m ₁ ,m ₂ ,...,m _j ..,m _n ], 其中m _j 表示用户u _i 在该段时间内点播的第j个电影节目，其相邻位置的项目节点m _j+1 表示用户点播了电影m _j 后点播了电影m _j+1 。用户u _i 在一天之内的点播的电影节目序列构成了一个有向图G_s={V,E}，其中V是用户u_i在一天内点播的电影节目的集合，E是G_s中的有向边集合，S _ui 中每2个相邻位置的电影节目m _x-1 , m _x 之间都会存在一条由m _x-1 指向m _x 的有向边<m _x-1 , m _x >，箭头指向表示用户的观看顺序。若出现不同用户点播同一个电影节目的情况，则将交集部分合并构成节目全局图。例如，由两个用户历史点播记录s₁=[m ₁ ,m ₂ ,m ₃ ,m ₄ ]和s₂=[m ₄ ,m ₅ ,m ₃ ]组成的节目全局图如图4所示。

而获取归一化的边权重的过程，包括：

通过归一化公式计算所述归一化的边权重：

其中，Crs表示有向边<mr, ms>在节目全局图中出现的次数，mr、ms分别表示两条直接连接所述电影节点的拓扑线；out(r)表示在节目全局图中以节点mr为起点的有向边的终点节点集合, mt 表示以节点mr为起点的有向边的终点节点，Crt表示有向边<mr, mt>在节目全局图中出现的次数；

更为具体的，在获取归一化的边权重的过程中，将节目全局图的邻接矩阵定义为归一化的边权重，它描述了图中所有节点的拓扑关系以及电影间的转移关系，具体来说，若两个直接连接电影节目节点m _r , m _s 在点播记录S _ui 中出现一次以上，则统计有向边<mr, ms>出现的次数，然后利用归一化公式（1）计算m _r 到m _s 的归一化边权重normalize_E_rs，并将该值作为邻接矩阵中m _r 到m _s 的值。

(1)

其中，Crs表示有向边<mr, ms>在节目全局图中出现的次数，mr、ms分别表示两条直接连接所述电影节点的拓扑线；out(r)表示在节目全局图中以节点mr为起点的有向边的终点节点集合, mt 表示以节点mr为起点的有向边的终点节点，Crt表示有向边<mr, mt>在节目全局图中出现的次数。由公式（1）计算得到的邻接矩阵命名为A^O。

同理，定义归一化的公式（2）计算由m _s 指向m _r 的归一化边权重normalize_E_sr，并将该值作为邻接矩阵m _s 到m _r 的值。

(2)

其中Csr表示有向边<m _s , m _r >在节目全局图中出现的次数，in(r)表示在节目全局图中以节点m _r 为终点的有向边的起始节点集合。Crt表示有向边<m _t , m _r >在节目全局图中出现的次数。由公式（2）计算得到的邻接矩阵命名为A^I。A^O和A^I两个邻接矩阵完整地描述了节目全局图中的电影节目节点的空间临近性。

在图1、图2、图3、图5共同所示的实施例中，步骤S23为基于所述辅助信息和全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程；其中，基于辅助信息和全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

S231：依据所述电影节点与导演、演员之间的映射关系创建导演和演员节点，并依据电影节点与用户之间的映射关系创建用户节点；

S232：将导演节点、演员节点、用户节点添加到节目全局图中，并建立导演节点、演员节点、用户节点与电影节点之间的拓扑线以形成用户-节目交互图。

具体的，为了突出节目的导演和演员信息对于节目特征学习的贡献，将节目的导演和演员信息作为辅助信息，融入到节目全局图中，基于此构建了异构的用户-节目交互图。用户-节目交互图在节目全局图上增加了3种不同节点，共包含了4种不同的节点，分别为电影节点、导演节点、演员节点和用户节点，其结构如图5所示。

用户-节目交互图将电影的导演和主要演员视作电影的相关信息，举例来说，若电影M3由导演D2执导，则M3和D2节点之间添加无权重的有向边e<D2, M3>，它以导演D2节点为起点，电影M3节点作为终点；若演员A3参与演出了电影M4，则A3和M4之间添加无权重的有向边e<A3,M4>，它以演员A3节点为起点，电影M4节点作为终点。

对处于电影点播会话中的用户，以用户节点的形式构建与电影节目之间的联系。若用户u2点播了电影M3，则M3和u2之间添加有权重的有向边e<M3,u2>，它以电影M3节点为起点，用户u2节点作为终点。边权重表示用户在当前点播会话中对该电影的内容偏好度。

在图5中有4种不同类型的有向边，它们代表不同的含义，电影之间的有向边表示的是电影节目间的转移关系，即用户点播电影的顺序；导演和电影之间的有向边表示导演执导了该电影。演员和电影之间的有向边表示的演员出演了该电影；用户和电影之间的有向边表示用户与电影之间的交互行为,即用户点播了该电影。

在图1、图2、图3共同所示的实施例中，步骤S3为对用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量的过程；其中，

对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量的过程，包括：

S31：以GGNN网络结构为基础创建特征向量表示模块；

S32：通过所述特征向量表示模块对所述用户-节目交互图中的每个节点进行卷积操作，并根据每个节点的上一个迭代过程的嵌入向量生成当前的临时状态；

S33：将所述临时状态与上一个迭代过程的嵌入向量重新组合以生成当前各个节点的特征嵌入向量；并且，将与所述用户节点的特征嵌入向量作为用户特征向量；将与所述电影节点相对应的特征嵌入向量作为电影特征向量。

具体的，在该过程中，特征向量表示模块以GGNN网络结构为基础，该模块将用户-节目交互图中的用户节点和电影节点转化为具有感知能力的特征表示。

GGNN是一种类似于LSTM单元的图神经网络模型，与LSTM模型的输入数据结构不同，GGNN的输入数据是图结构数据，例如社交网络图。本模块的输入为上一模块得到的用户-节目交互图，GGNN对图中的每个节点进行卷积操作并根据每个节点的上一个迭代过程的嵌入向量生成当前的临时状态，并且重新组合临时状态和上一个迭代过程的嵌入向量生成该节点的特征嵌入向量，最终输出用户特征向量与若干个节目特征向量（包括电影特征向量，以及关于电影特征向量的其他向量）。

更为具体的，在一个具体实施例中，对于电影特征向量来说，用户x产生的一个历 史点播记录S=[v1,v2,v3,…vq]，电影的初始嵌入向量

为电影i、导演d、演员a以及 用户x的初始嵌入之和，计算方法如公式(3)所示。

(3)

其中

、

、

分别表示电影i、导演d、演员a的初始嵌入，

表示参与 导演了电影i的导演组成的集合，

则表示参与演出了电影i的演员组成的集合。

接着计算第t次迭代时的邻居聚合状态向量

，计算方法如公式(4)所示。

(4)

其中

表示由矩阵A _M 第i行重构的矩阵，矩阵A _M 由节目全局图M的邻接矩阵A^O 和A^I横向拼结而成，它的每一行分别对应邻接矩阵A^O和A^I的第i行。

然后计算第t次迭代时的状态重置门

和状态更新门

，计算方法如公式 (5)、(6)所示，其中

(*)表示sigmoid非线性函数。

(5)

(6)

最后根据状态重置门

的计算结果、节点i在第t-1次迭代时的特征嵌入向量

和邻居聚合状态

重构节点在第t次迭代时的状态

，如公式(7)所 示。并根据状态更新门

的计算结果、重构状态

和节点i在第t-1次迭代时的特征 嵌入向量

生成在步骤t时的特征嵌入向量

，如公式(8)所示。给定一 个固定的t值，将所有训练数据依次作为模型输入，经过前向传播和反向误差传播，所有的 节点嵌入向量最终会达到一个收敛状态。

(7)

(8)

在该具体实施例中，对于用户特征向量来说，首先需要首先计算用户x的历史点播 会话S中所有电影的维度特征偏好以及电影的导演和主演节点传递的特征向量

，该 特征赋予用户x对导演和主演信息的感知能力，该特征的计算方法如公式(9)所示。

(9)

其中的

表示用户x在当前会话中点播观看的电影组成的集合，它随着用户会 话的不同而动态变化。最后结合特征向量

与用户初始嵌入向量

，生成用户的特 征表示

，计算方法如公式(10)所示。

(10)

在图1、图2、图3共同所示的实施例中，步骤S4为基于电影特征向量和用户特征向量获取用户的短期兴趣和长期兴趣，基于短期兴趣和长期兴趣获取用户的兴趣向量，根据兴趣向量和电影特征向量计算归一化概率的过程；其中，基于所述电影特征向量获取用户的短期兴趣的过程，包括：

S411-1：获取所述电影特征向量中预设数量个关于末尾点播记录的末尾电影特征向量；

S411-2：将所述末尾预设数量个电影特征向量的平均值作为用户的短期兴趣；

基于所述电影特征向量获取用户的长期兴趣的过程，包括：

S412-1：将所述电影点播序列中所涉及的所有电影特征向量进行堆叠操作以获取电影序列特征向量；

S412-2：通过注意力机制计算所述电影序列特征向量中单行向量对应的权重；

S412-3：将所述单行向量对应的权重与所述单行向量相乘以获取用户的长期兴趣。

基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量和所述电影特征向量计算归一化概率的过程，包括：

S42：将所述长期兴趣与所述短期兴趣组合以获取项目偏好；

S43：将所述项目偏好与所述用户特征向量相乘以获取用户级别兴趣向量；

S44：将所述用户级别兴趣向量、所述项目偏好的和与全部电影节点的电影特征向量进行内积以获取内积数据；

S45：对所述内积数据进行数据转换以获取归一化概率。

在一个具体实施例中，首先基于上一模块得到的用户特征向量与节目特征向量（至少包括电影特征向量）进行用户长短期兴趣挖掘，并将用户的长期兴趣I _long 和短期兴趣I _short 的组合表示为用户的电影兴趣，最后根据用户兴趣向量预测该用户最可能点击的电影列表。

假设用户x在某天的电影点播记录为S=[v ₁ ,v ₂ ,v ₃ ,…v _q ]。用户的短期兴趣强调时效性，因此选取点播序列S中的最后L个(L<q)电影嵌入向量的平均值作为用户x的短期兴趣。计算方法如公式(11)所示，其中avg(*)表示平均函数。

(11)

用户的长期兴趣体现用户的一般观影偏好，因此使用点播序列S中的全部电影节点的嵌入向量共同表示用户x的长期兴趣。首先将点播序列S中的全部电影节点的嵌入向量进行堆叠操作，得到电影序列的嵌入向量seq。计算方法如公式(12)所示。其中，stack(*)表示向量的堆叠操作，即把q个形状为1×F(F为电影特征向量的维度)的向量组成一个q×F的向量。

(12)

而后根据注意力机制计算电影序列向量

中每行对应的权重

，如公式(13) 所示，其中

表示

的第j行，其形状为1×F。

(13)

最后将电影序列中每行对应的权重

与其自身向量相乘得到用户的长期兴 趣。如公式(14)所示。

(14)

在预测用户的下一个可能点播的电影时，将用户的长期兴趣I _long 和短期兴趣I _short 组合得到用户的项目偏好

。如公式(15)所示，其中符号

表示两个向量的连接。

(15)

而后将得到的用户项目偏好

与用户的特征表示

相乘得到用户级别的兴 趣向量

。如公式(16)所示。

(16)

将用户级别的兴趣向量

与用户的项目偏好

之和与全部电影节点的 嵌入向量

进行内积，并归一化为概率的形式，即得到归一化概率。

最后经由步骤S5自大至小依次取预设数量的归一化概率作为大概率数据，并将与 大概率数据相对应的项目作为视听推荐列表，即取前K个概率最大的电影节目最为预测结 果。计算方法如公式(17)、(18)所示；其中，符号

表示2个向量之间的内积；softmax是标准 的归一化函数，即

, TopK表示评分scores中的前K个最高得分组成 的集合。

此在，在本实施例中，还可以包括对冷启动用户进行推荐的过程，推荐策略是简单地取全部非冷启动用户的用户嵌入的均值作为该冷启动用户的用户嵌入，然后再对目标用户进行电影节目推荐。

模型的损失函数计算方法如公式(19)所示，它由预测结果与目标结果之间的交叉熵、模型的图神经网络的模型参数两部分组成。

(19)

其中，y是一个m维的one-hot编码的标签向量，其中目标结果所在的索引对应的值 为1，其余均为0，

是模型为用户预测的下一个可能点击的电影的概率向量，显然

,

是图神经网络的模型参数，

表示参数

的L₂范数的平方。

综上所述，本发明实施例的一种基于信息感知的视听推荐方法，基于信息感知的视听推荐方法、系统，包括：对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；根据全局影视数据和用户点播相关数据获取节目全局图，并基于辅助信息和全局用户数据对节目全局图进行扩增以形成用户-节目交互图；对用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；基于电影特征向量和用户特征向量获取用户的短期兴趣和长期兴趣，基于短期兴趣和所述长期兴趣获取用户的兴趣向量，根据兴趣向量计算归一化概率；自大至小依次取预设数量的归一化概率作为大概率数据，并将与大概率数据相对应的项目作为视听推荐列表，如此，克服时序建模方法中只考虑相邻项目间的关联性的局限性，并且构建异构的用户-节目交互图，异构图的优势是能够扩展图结构数据的拓扑结构，并实现多种异构信息的融合。

如图6所示，本发明实施例还提供一种基于信息感知的视听推荐系统100，实现如前所述的基于信息感知的视听推荐方法，包括融入辅助信息感知和图神经网络的会话推荐模型1100，会话推荐模型包括用户-节目交互图构建模块1110、特征向量表示模块1120和用户兴趣构建与预测模块1130；其中，

该用户-节目交互图构建模块1110包括数据预处理单元1111、节目全局图构建单元1112和用户-节目交互图单元1113；

所述数据预处理单元1111用于对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

所述节目全局图构建单元1112用于根据所述全局影视数据和所述全局用户数据获取节目全局图；

所述用户-节目交互图单元1113用于基于所述辅助信息和所述用户点播相关数据对所述节目全局图进行扩增以形成用户-节目交互图；

所述特征向量表示模块1120用于对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

所述用户兴趣构建与预测模块1130包括用户兴趣单元1131和推荐单元1132；

所述用户兴趣单元1131用于基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

所述推荐单元1132用于自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

具体的实施方式不做具体描述，可参照上述基于信息感知的视听推荐方法的具体实施例。

综上所述，基于信息感知的视听推荐系统100，实现如前所述的基于信息感知的视听推荐方法，包括融入辅助信息感知和图神经网络的会话推荐模型1100，会话推荐模型包括用户-节目交互图构建模块1110、特征向量表示模块1120和用户兴趣构建与预测模块1130；该用户-节目交互图构建模块1110包括数据预处理单元1111、节目全局图构建单元1112和用户-节目交互图单元1113；通过数据预处理单元1111对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；通过节目全局图构建单元1112根据所述全局影视数据和用户点播相关数据获取节目全局图；通过用户-节目交互图单元1113基于所述辅助信息和全局用户数据对节目全局图进行扩增以形成用户-节目交互图；通过特征向量表示模块1120对用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；用户兴趣构建与预测模块1130包括用户兴趣单元1131和推荐单元1132；通过用户兴趣单元1131基于所述电影特征向量和所述用户特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣和所述长期兴趣获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；通过推荐单元1132自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表，如此，在构建用户长短期兴趣的基础上，构建了多级会话数据，将节目的导演和演员信息从节目中提取出来，作为属性层信息，从交互层和属性层两个级别建模捕获项目特征，并通过注意力机制聚合节点信息并得到会话表示，预测下一个交互项目，进一步探究用户兴趣。

如上参照附图以示例的方式描述了根据本发明提出的基于信息感知的视听推荐方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于信息感知的视听推荐方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于信息感知的视听推荐方法，其特征在于，包括：

对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

根据所述全局影视数据和所述用户点播相关数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；其中，根据所述全局影视数据和所述用户点播数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

基于所述全局影视数据和所述用户点播数据获取电影嵌入向量和用户嵌入向量；根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图；其中，所述节目全局图至少包括电影节点、关于所述电影节点电影点播放顺序的有向边和所述电影节点之间的归一化的边权重；基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

其中，根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图的过程，包括：

根据所述用户点播相关数据获取每位用户的电影点播序列，并根据所述电影点播序列获取每位用户相关的电影节点、电影点播顺序的有向边和归一化的边权重；其中，获取所述每位用户相关的电影节点、所述电影点播顺序的有向边的过程，包括：对所述电影点播序列进行遍历存储，将所述电影点播序列中所涉及的每一部电影作为一个单独的电影节点，根据所述电影点播序列的播放顺序确定所述电影点播顺序的有向边；

对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

2.如权利要求1所述的基于信息感知的视听推荐方法，其特征在于，所述预处理包括降噪处理和辅助信息提取处理；其中，

所述降噪处理包括：

对所述用户信息中的离群点用户进行过滤处理以形成全局用户数据；按照预设规则对所述电影信息进行筛选以获取全局影视数据；根据所述用户点播记录信息获取用户在特定时间内的电影点播序列，并在所述电影点播序列中删除长噪声序列和短噪声序列以形成用户点播相关数据；

所述辅助信息提取处理为基于所述电影信息获取辅助信息；其中，基于所述电影信息获取辅助信息的过程，包括：

遍历所述电影信息以获取电影的导演信息和演员信息；

在预设的电影表格中创建导演字典和演员字典；其中，在所述导演字典中包含电影与导演的映射关系，在所述演员字典中包含电影与演员的映射关系。

3.如权利要求1所述的基于信息感知的视听推荐方法，其特征在于，获取所述归一化的边权重的过程，包括：

通过归一化公式计算所述归一化的边权重：

其中，Crs表示有向边<mr, ms>在节目全局图中出现的次数，mr、ms分别表示两条直接连接所述电影节点的拓扑线；out(r)表示在节目全局图中以节点mr为起点的有向边的终点节点集合, mt 表示以节点mr为起点的有向边的终点节点，Crt表示有向边<mr, mt>在节目全局图中出现的次数。

4.如权利要求1所述的基于信息感知的视听推荐方法，其特征在于，基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

依据所述电影节点与导演、演员之间的映射关系创建导演和演员节点，并依据所述电影节点与用户之间的映射关系创建用户节点；

将所述导演节点、所述演员节点、所述用户节点添加到所述节目全局图中，并建立所述导演节点、所述演员节点、所述用户节点与所述电影节点之间的拓扑线以形成用户-节目交互图。

5.如权利要求4所述的基于信息感知的视听推荐方法，其特征在于，对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量的过程，包括：

以GGNN网络结构为基础创建特征向量表示模块；

通过所述特征向量表示模块对所述用户-节目交互图中的每个节点进行卷积操作，并根据每个节点的上一个迭代过程的嵌入向量生成当前的临时状态；

将所述临时状态与上一个迭代过程的嵌入向量重新组合以生成当前各个节点的特征嵌入向量；并且，将与所述用户节点的特征嵌入向量作为用户特征向量；将与所述电影节点相对应的特征嵌入向量作为电影特征向量。

6.如权利要求2所述的基于信息感知的视听推荐方法，其特征在于，

基于所述电影特征向量获取用户的短期兴趣的过程，包括：

获取所述电影特征向量中预设数量个关于末尾点播记录的末尾电影特征向量；

将所述末尾预设数量个电影特征向量的平均值作为用户的短期兴趣；

基于所述电影特征向量获取用户的长期兴趣的过程，包括：

将所述电影点播序列中所涉及的所有电影特征向量进行堆叠操作以获取电影序列特征向量；

通过注意力机制计算所述电影序列特征向量中单行向量对应的权重；

将所述单行向量对应的权重与所述单行向量相乘以获取用户的长期兴趣。

7.如权利要求6所述的基于信息感知的视听推荐方法，其特征在于，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量和所述电影特征向量计算归一化概率的过程，包括：

将所述长期兴趣与所述短期兴趣组合以获取项目偏好；

将所述项目偏好与所述用户特征向量相乘以获取用户级别兴趣向量；

将所述用户级别兴趣向量、所述项目偏好的和与全部电影节点的电影特征向量进行内积以获取内积数据；

对所述内积数据进行数据转换以获取归一化概率。

8.一种基于信息感知的视听推荐系统，其特征在于，实现权利要求1-7任一所述的基于信息感知的视听推荐方法，包括融入辅助信息感知和图神经网络的会话推荐模型，所述会话推荐模型包括用户-节目交互图构建模块、特征向量表示模块和用户兴趣构建与预测模块；其中，

所述用户-节目交互图构建模块包括数据预处理单元、节目全局图构建单元和用户-节目交互图单元；

所述数据预处理单元用于对用户信息、电影信息和用户点播记录信息进行预处理以形成标准输入数据；所述标准输入数据包括基于所述用户信息获取的全局用户数据、基于所述电影信息获取的全局影视数据和辅助信息，以及基于所述用户点播记录信息获取的用户点播相关数据；

所述节目全局图构建单元用于根据所述全局影视数据和所述用户点播相关数据获取节目全局图；

所述用户-节目交互图单元用于基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

其中，根据所述全局影视数据和所述用户点播数据获取节目全局图，并基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图的过程，包括：

基于所述全局影视数据和所述用户点播数据获取电影嵌入向量和用户嵌入向量；根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图；其中，所述节目全局图至少包括电影节点、关于所述电影节点电影点播放顺序的有向边和所述电影节点之间的归一化的边权重；基于所述辅助信息和所述全局用户数据对所述节目全局图进行扩增以形成用户-节目交互图；

其中，根据所述用户点播相关数据将用户的电影点播序列转化为有向图，并对所述有向图进行汇总以形成节目全局图的过程，包括：

根据所述用户点播相关数据获取每位用户的电影点播序列，并根据所述电影点播序列获取每位用户相关的电影节点、电影点播顺序的有向边和归一化的边权重；其中，获取所述每位用户相关的电影节点、所述电影点播顺序的有向边的过程，包括：对所述电影点播序列进行遍历存储，将所述电影点播序列中所涉及的每一部电影作为一个单独的电影节点，根据所述电影点播序列的播放顺序确定所述电影点播顺序的有向边；

所述特征向量表示模块用于对所述用户-节目交互图进行学习处理以形成电影特征向量和用户特征向量；

所述用户兴趣构建与预测模块包括用户兴趣单元和推荐单元；

所述用户兴趣单元用于基于所述电影特征向量获取用户的短期兴趣和长期兴趣，基于所述短期兴趣、所述长期兴趣，以及所述用户特征向量获取用户的兴趣向量，根据所述兴趣向量计算归一化概率；

所述推荐单元用于自大至小依次取预设数量的归一化概率作为大概率数据，并将与所述大概率数据相对应的项目作为视听推荐列表。

Images