CN110516160B - 基于知识图谱的用户建模方法、序列推荐方法 - Google Patents

Abstract

本发明属于用户建模与推荐系统领域，具体涉及一种基于知识图谱的用户建模方法、序列推荐方法，旨在为了解决现有用户建模方法无法有效提取用户动态访问信息的特征，准确捕捉用户兴趣；现有序列推荐系统推荐准确率不高，用户体验较差的问题。本发明将内容特征和结构特征作为项目的完整表示，基于用户与项目之间的语义路径获取用户和项目之间的交互表示，通过自注意力模型获取用户动态偏好。基于用户动态偏好和待预测项目，通过推荐模型得到推荐结果。本发明的用户建模方法能够有效提取用户动态访问信息的特征，引入语义路径准确的捕捉交互级别的用户动态偏好；基于知识图谱序列推荐方法提升了推荐的准确性，用户体验更好。

Description

基于知识图谱的用户建模方法、序列推荐方法

技术领域

本发明属于用户建模与推荐系统领域，具体涉及一种基于知识图谱的用户建模方法、序列推荐方法。

背景技术

随着互联网技术的不断发展，为用户提供个性化的服务显得尤为重要，通过提供个性化的服务，最大化满足用户的需求，培养用户粘度和忠诚度，是服务提供商打败竞争对手的有效方法。个性化服务的核心是匹配用户需求，其中用户建模是关键。现有技术中，用户兴趣建模有基于用户静态信息的建模方法，如根据用户性别、年龄、出生日期等作为用户的特征，此方法无法准确把握用户的动态兴趣变化；还有基于动态信息的方法，如通过获取用户访问过的页面文本信息，从文本信息中提取关键词，将所有关键词组合成为用户特征。由于互联网内容的大规模、异质多元、组织结构多样，如何从有限的用户信息中提取用户特征成为用户模型建立的关键所在。

序列推荐系统致力于通过用户的历史行为序列信息分析和满足用户当前的需求。由于用户的兴趣会随着时间动态演变，如何准确捕捉用户的动态兴趣变化，是当前推荐系统领域重点关注的问题之一。与理解用户动态兴趣迁移同等重要的是，为用户提供可信的、可解释性的个性化推荐，以使用户明确理解为什么推荐系统将当前的候选项目推荐给他/她。

综上所述，现有技术中用户建模方法无法有效提取用户动态访问信息的特征，准确捕捉用户兴趣；基于现有建模方法的序列推荐系统推荐准确率不高，用户体验较差。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术中用户建模方法无法有效提取用户动态访问信息的特征，准确捕捉用户兴趣的问题，本发明第一方面提出了一种基于知识图谱的用户建模方法，该方法包括：

步骤S110，分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；

步骤S120，获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第一网络模型分别获取用户和各项目之间的交互表示；所述第一网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

步骤S130，基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第二网络模型获取所述用户的动态偏好表示；所述第二网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得所述用户的动态偏好表示。

在一些优选的实施方式中，所述项目的内容特征包括所述项目的文本特征和视觉特征。

在一些优选的实施方式中，所述文本特征为所述项目的标题和描述的文本表示。

在一些优选的实施方式中，所述视觉特征为从所述项目的图片中提取的图像特征。

在一些优选的实施方式中，“每个项目的内容特征表示和结构特征表示”满足所述知识图谱中实体和关系的结构约束，所述结构约束包括四种结构约束方式：

其中，

为以内容特征表示的第一实体，

为以结构特征表示的第一实体，

为以内容特征表示的第二实体，

为以结构特征表示的第二实体，r为第一实体和第二实体之间的关系，c2c,s2s,c2s,s2c分别为四种结构约束方式。

本发明的第二方面提出了一种基于知识图谱的序列推荐方法，该方法包括：

步骤S210，基于用户访问的历史项目序列，通过权力要求1-5中任一项所述的基于知识图谱的用户建模方法获取所述用户的动态偏好表示；

步骤S220，分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述待预测项目为从项目库中随机选取的预先设定数量的项目；

步骤S230，获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第三网络模型分别获取用户和每个待预测项目之间的交互表示；所述第三网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

步骤S240，基于所述用户的动态偏好表示和所述用户和每个待预测项目之间的交互表示，获取所述用户与每个待预测项目的交互概率；

步骤S250，基于所述用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。

在一些优选的实施方式中，所述序列推荐方法还将推荐结果与用户访问的历史项目序列中每个项目的相关性分数，以及用户与每个项目所有可能交互路径的相关性分数作为所述推荐结果的推荐解释并输出。

在一些优选的实施方式中，获取所述用户与每个待预测项目的交互概率的方法为通过内积函数或者H层的多层感知机。

在一些优选的实施方式中，所述推荐损失函数为交叉熵损失L_rec；

其中，D(·)为距离函数，σ(·)为sigmoid函数，u表示用户，v表示作为推荐结果的待预测项目，v′表示待预测项目中除了推荐结果以外的其他项目，

表示待预测项目。

在一些优选的实施方式中，所述推荐损失函数还包括四种结构约束方式中知识图谱三元组第一实体通过关系得到的表示与第二实体之间距离的平均值L_kg；

其中，h为知识图谱三元组中的第一实体，r为三元组中的关系，t为知识图谱三元组中的第二实体，c2c,s2s,c2s,s2c为四种结构约束方式，i为结构约束方式。

本发明的第三方面提出了一种基于知识图谱的用户建模系统，该系统包括第一项目完整表示获取模块、第一交互表示获取模块、用户的动态偏好获取模块；

所述第一项目完整表示获取模块，配置为分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；

所述第一交互表示获取模块，配置为获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第四网络模型分别获取用户和各项目之间的交互表示；所述第四网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

所述用户的动态偏好获取模块，配置为基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第五网络模型获取所述用户的动态偏好表示；所述第五网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得所述用户的动态偏好表示。

本发明的第四方面提出了一种基于知识图谱的序列推荐系统，该系统包括用户动态偏好获取模块、第二项目完整表示获取模块、第二交互表示获取模块、交互概率获取模块、推荐结果获取模块；

所述用户动态偏好获取模块，配置为基于用户访问的历史项目序列，通过上述的基于知识图谱的用户建模方法获取所述用户的动态偏好表示；

所述第二项目完整表示获取模块，配置为分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述待预测项目为从项目库中随机选取的预先设定数量的项目；

所述第二交互表示获取模块，配置为获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第六网络模型分别获取用户和每个待预测项目之间的交互表示；所述第六网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

所述交互概率获取模块，配置为基于所述用户的动态偏好表示和所述用户和每个待预测项目之间的交互表示，获取所述用户与每个待预测项目的交互概率；

所述推荐结果获取模块，配置为基于所述用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。

本发明的第四方面提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于知识图谱的用户建模方法，或上述的基于知识图谱的序列推荐方法。

本发明的第五方面提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于知识图谱的用户建模方法，或上述的基于知识图谱的序列推荐方法。

本发明的有益效果：

本发明提出了一种基于知识图谱的用户建模方法，引入文本、图像特征及知识图谱中的结构特征到模型中进行多模态融合，有效提取用户动态访问信息的特征，引入语义路径准确的捕捉交互级别的用户动态偏好；进一步通过本发明的基于知识图谱的序列推荐方法，采用基于知识图谱的用户建模方法提升了推荐的准确性，用户体验更好，并且推荐系统在输出推荐结果的同时还能够输出解释的功能提升了系统的可信度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的基于知识图谱的用户建模方法流程示意图；

图2是本发明一种实施例的电影领域用户-项目示意图；

图3是本发明一种实施例的算法结构示意图；

图4是本发明一种实施例的基于知识图谱的序列推荐方法得到的推荐案例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种基于知识图谱的用户建模方法，如图1所示，该方法包括：

步骤S110，分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；

步骤S120，获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第一网络模型分别获取用户和各项目之间的交互表示；第一网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和项目的交互表示；

步骤S130，基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第二网络模型获取用户的动态偏好表示；第二网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得用户的动态偏好表示。

为了更清晰地对本发明进行说明，先阐述本发明的问题定义，然后对本发明方法一种实施例的各步骤的模型获取进行展开描述，最后结合图3对本发明方法一种实施例的各步骤进行描述。

一般的用户行为可以用用户和项目之间的二元关系来表示。定义用户集合为U＝{u₁,u₂,…,u_|U|},项目集合为I＝{i₁,i₂,…,i_|I|}，其中|U|和|I|分别是两个集合中元素的总数。将用户-项目的交互定义为一个三元组τ＝{u，interact，i},其中交互(interact)是一个预定义的关系。用户和项目之所以可以与外部知识图谱相连接，是因为用户行为序列中的项目与图谱中的实体做了对齐，并且由于有“interact”的存在，使得用户可以通过交互过的项目进入图谱中。因此，用户的行为序列可以表示为B＝{τ_t,t＝1,2,…,T}。基于这些预设，用户建模的任务是：给定用户与其交互的项目的行为序列B＝{τ_t,t＝1，2,…，T}，以及通过知识图谱得到的每个用户-项目对之间的路径集合p(u，i)＝{p₁，p₂，…，p_|P|}，得到用户的动态偏好表示。定义序列推荐任务：给定用户与其交互的项目的行为序列B＝{τ_t，t＝1，2，…，T}，以及通过知识图谱得到的每个用户-项目对之间的路径集合p(u，i)＝{p₁，p₂，…，p_|P|}，序列推荐的任务是预测用户在T+1时刻可能交互的项目i_T+1。

步骤S110，分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取。

内容特征包括文本特征和视觉特征。关于文本特征，采集项目的标题和描述，利用开源工具fastText提取文本表示。具体来说，通过预训练的英语单词向量模型(Englishword vectors)提取了每个单词300维的嵌入表示w，通过将所有标题和描述中的单词的表示进行整合，如式(1)，得到项目的文本表示；

其中，item^textual为项目的文本表示，n表示标题和描述中的单词的总量，w_i为每个单词300维的嵌入表示。

关于视觉特征，通过收集项目的视觉描述，比如通过对应的项目编码(如电影编码)，从互联网电影资料库(Internet Movie Database，简称IMDb)上爬取电影的海报图片。利用在ImageNet数据集上的预训练模型AlexNet来提取图片的4096维图像特征，由于视觉信息中可能存在冗余和噪声，因此利用主成分分析法PCA将视觉高维特征进行降维，得到300维的低维视觉特征表示item^visual∈R³⁰⁰。因此，内容特征可通过式(2)表示；

f_c＝σ(W_f[item^textual，item^visual]+b_f) (2)

其中，f_c为内容特征，[，]是连接操作，W_f和b_f是学习参数，σ是非线性激活函数，item^visual是项目的视觉特征表示，item^textual是项目的文本表示。

通过引入包含丰富的客观知识的外部知识图谱来构建项目的结构特征表示。本实施例中的知识图谱采用谷歌开源的知识图谱freebase，知识图谱嵌入方法是在保持实体和关系的结构信息的基础上，将实体和关系映射到低维连续向量空间。本实施例中，学习实体和关系的结构特征的方法是通过知识图谱的结构约束。

多模态融合的实现是通过组合文本特征、视觉特征、结构特征表示进入知识图谱网络中，这个网络中不同的模态特征都满足图谱中实体和关系的结构约束，定义为h+r＝t。对于上述两种不同类型的特征表示(内容特征、结构特征)，有四种满足结构约束的方式，如式(3)-式(6)，把这些约束称为多模态融合。

其中，

为以内容特征表示的第一实体，

为以结构特征表示的第一实体，

为以内容特征表示的第二实体，

为以结构特征表示的第二实体，r为第一实体和第二实体之间的关系，c2c，s2s，c2s，s2c分别为四种结构约束方式。

关系r在所有约束中共享同一个表示。多模态融合的作用是构建用户和项目更完整全面的表示。

步骤S120，获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第一网络模型分别获取用户和各项目之间的交互表示；第一网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和项目的交互表示。

语义路径是实体e_i和e_j之间的一个序列，由实体和连接实体的关系组成，表示为式(7)。

其中，p_x为语义路径，r为实体之间的关系，e为实体。

每两个相邻的实体可以通过不同类型的关系进行连接，因此也就构建了许多不同语义的路径。如图2所示，电影m₄、电影m₅、电影m₆分别为t₂时刻、t_n-1时刻、t_n时刻用户访问的电影，其中用户可以通过不同的语义路径与电影m₅进行交互：

用户的历史行为常常被表示为用户交互过的一系列项目，不管是用项目的ID或者多模态特征或者其他辅助信息，这些都只是单一的表示。事实上，用户行为有很强的主观性，这种主观性使得用户与特定项目之间的交互并不遵从相同的模式。如图2所示，用户到电影m₅之间有三种不同的路径，分别包含不同的语义信息。本发明目的是挖掘用户和每个项目之间的高层交互表示，来替代传统的单一的低层表示。通过引入外部知识图谱，可以以更合理的、可信的和可解释的方式来描述交互行为。

将用户和项目之间的交互定义为一系列语义路径的集合，如式(8)；

interact(u，i)＝p(u，i)＝{p₁，p₂，…，p_|P|} (8)

其中，interact(u,i)表示用户和项目之间的交互，p表示路径，|P|是路径数的总和，u表示用户，i表示项目。

由于路径集合p(u,i)包含了用户和项目之间的交互的不同语义，因此交互表示可以通过对路径集合建模来获得。一条路径是由许多实体和关系组成的一个序列，因此，我们利用序列模型对一条路径进行建模，得到路径的语义表示。为了简化模型结构，提升训练的效率，采用一种结合位置编码的自注意力模型来建模路径序列，这种方法不仅可以捕捉变长序列中的长距离依赖，同时也允许模型进行并行运算，提升模型效率。

1.1、自注意力层

对于P{u,i}中的每一条路径，如式(9)所示，

其中，p_l为路径，r为实体之间的关系，e₁为用户，e_L为用户交互的项目，e₂…e_L-1为用户与项目交互的语义路径上的实体。

自注意力模块通过对组成路径的实体和关系进行表示学习来对路径进行编码，得到整条路径的语义表示。自注意力模块由两个部分组成，一个是用来学习注意力分数的自注意力矩阵，另一个是用于将序列位置信息引入到路径编码中的位置编码矩阵。其中，位置编码矩阵又由两个矩阵组成：前向位置编码矩阵和后向位置编码矩阵，分别如式(10)、(11)所示。

其中，

表示前向位置编码矩阵，

表示后向位置编码矩阵，，如果i,j相邻，则|i,j|＝1，以此类推。

前后向位置编码矩阵与自注意力网络相结合，以保存序列建模中的时序信息。

自注意力网络的输入是一个序列，由两个原始特征向量e和r组成，e和r分别表示知识图谱中的实体和关系。训练开始之前，先将e和r随机初始化，随着模型的训练，e和r会不断地更新迭代。具体来说，将实体的嵌入表示e_i∈R^d和关系的嵌入表示r_i∈R^d相连接，再通过一个全连接层将其映射到隐空间中，输出可以表示为元素x_i∈R^d，如式(12)所示。

x_i＝σ(W_x[e_i,r_i]+b_x) (12)

其中，W_x和b_x是学习参数，σ是非线性激活函数。

需要注意的是，P{u,i}中的第一个实体e_i必须是用户u,对应的关系是“交互(interact)”。最后一个实体e_L是项目i,由于最后一个实体没有向外连接的关系，因此我们将自定义的关系“END”赋给最后一个实体对应的关系。

将路径序列x＝{x₁,x₂,…,x_L}作为自注意力网络模块的输入，通过式(13)可得到两个元素之间的关系，用f(x_i,x_j)表示。

f(x_i,x_j)＝W^Tσ(W₁x_i+W₂x_j)+γM_i,j (13)

其中，W^T、W₁和W₁都是参数矩阵，σ是非线性激活函数，γ是位置尺度参数，M_i,j代表前向位置编码矩阵或后向位置编码矩阵。

利用前向或后向编码矩阵进行编码是两个独立的过程，每个过程均产生一个序列的嵌入表示，最后通过连接前后向嵌入表示得到最终的输出作为序列最终向量表示。本文以其中一个过程为例进行阐述。

元素x_i与x_j之间的注意力分数的定义，如式(14)所示，

其中，a_ij为元素x_i与x_j之间的注意力分数，f(x_i,x_j)为两个元素之间的关系，L为路径序列中所有实体个数。

得到所有实体的注意力分数之后，元素x_j的输出定义如式(15)所示

其中，a_ij为元素x_i与x_j之间的注意力分数，⊙表示按位点乘。

得到每个元素的输出之后，采用平均池化的操作，得到一条路径的表示，如式(16)所示。

其中，mean-pooling()为平均池化函数，L代表路径长度，o_j表示元素x_j的输出。

在路径集合P{u,i}中的每条路径的长度都可能不同。由于不同用户-项目对之间的路径数量是动态变化的，因此自注意力网络的层数也会随之改变。在这个模块中的自注意力层共享参数，以防止过拟合。

1.2、权重池化层

对于路径集合P{u,i}中的所有路径{p₁,p₂,…,p_|P|},通过上述步骤，可以得到所有路径的语义嵌入表示

由于每条路径都是由不同的中间实体以及关系组合而成，因此路径之间包含的语义信息互不相同，在用户-项目交互表示的过程中，起到的决定作用也不尽相同。因此，利用一个权重池化层来判别各路径的重要性。注意力机制通常被用来作为权重分数的计算方式，本实施例中利用用户u和项目i的表示来作为注意力算法中的“query”，则query通过式(17)计算得到

query＝σ_q(W_q[u,i]+b_q) (17)

其中，query∈R^d,W_q、b_q是学习参数，σ_q是非线性激活函数。

将query和每个路径P(u,i)进行相似度计算得到权重，相似度计算的方法为：先通过多层感知机求得query与每条路径的隐藏层特征向量，然后计算两个特征向量之间的Cosin相似度；最后使用softmax函数对这些权重进行归一化，得到各路径的权重w(P(u,i))，如式(18)：

w(P(u,i))＝[w₁,w₂,…,w_|P|] (18)

其中，w₁+w₂+…+w_|P|＝1。

通过聚合加权的路径表示，可以通过式(19)得到统一的交互表示τ：

其中，l为路径编号，Pl_emb为编号为l的路径表示，w_l∈w(P(u,i))，表示对应的权重，|P|是路径数的总和。

τ通过结合不同语义路径的重要性，可以展示用户-项目对交互的推理过程。因此，模型可以推断用户-项目交互的基本原理来解释推荐的结果。

步骤S130，基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第二网络模型获取用户的动态偏好表示；第二网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得用户的动态偏好表示。

一个用户的历史行为是一个时序序列，因此，预测用户下一个可能产生交互的项目，可以通过对用户的历史行为序列进行建模。上文中提到的基于位置编码的自注意力网络可以有效且高效地捕捉和刻画序列间的动态依赖关系，因此在这一序列交互建模的过程中，采用这种结构来建模序列交互行为。

给定一个用户的历史项目序列{i_t,t＝1,2,…,T}，用户的交互行为序列可以表示为B＝{τ_t,t＝1,2,…,T},则基于用户交互行为序列的用户动态偏好表示可以通过以下式(20)-式(23)得到：

其中，W_τ ^T、W_τ ¹和W_τ ²是参数矩阵，σ是非线性激活函数，γ是位置尺度参数，M_i,j代表前向位置编码矩阵或后向位置编码矩阵，τ_i为与项目i的交互表示，⊙为按位点乘，w_t表示每个交互行为的注意力分数，此时模型中所用的query是待预测的项目；B_emb.代表用户的动态偏好表示。

下面结合图3对本发明一种实施例的基于知识图谱的用户建模方法的进行描述。

本实施例中以电影作为访问项目，因此针对用户访问的电影序列，通过AlexNet获取每个电影的视觉特征、通过fastText提取电影标题和描述的文本特征，从知识库freebase中提取与电影相关的三元组组成一个电影领域的知识图谱。将电影的包含内容特征和结构特征的完整表示作为电影的表示。

通过第一网络模型分别获取用户和每个电影的交互表示。具体为，用户与所访问的每个电影之间的具有多条不同的语义路径p₁、p₂…p_|p|，每一条路径可以表示为实体e_m和e_n之间的一个序列,由实体和连接实体的关系组成。通过语义路径建模对语义路径进行编码，同将每个被访问电影的位置信息引入，得到一条路径的表示P_|p|emb。通过聚合加权的路径表示，得到一个电影所有语义路径的交互表示τ，其中，τ＝interaction_emb.。对用户访问的每一个电影分别按照上面的流程得到用户与电影的交互表示。

基于用户和历史项目序列中每个项目U-i₁，U-i₂…U-i_k之间的交互表示，通过序列交互建模对交互表示进行编码，同将每个被访问电影的位置信息引入，得到用户的动态偏好表示B_emb.。

本发明的第二方面提出了一种基于知识图谱的序列推荐方法，该方法包括：

步骤S210，基于用户访问的历史项目序列，通过上述的基于知识图谱的用户建模方法获取用户的动态偏好表示；

步骤S220，分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；待预测项目为从项目库中随机选取的预先设定数量的项目；

步骤S230，获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第三网络模型分别获取用户和每个待预测项目之间的交互表示；第三网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和项目的交互表示；

步骤S240，基于用户的动态偏好表示和用户和每个待预测项目之间的交互表示，获取用户与每个待预测项目的交互概率；

步骤S250，基于用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，推荐模型通过最小化目标函数获取，目标函数为预设的推荐损失函数。

以下针对本发明一种实施例从待预测项目获取、推荐模型获取进行展开描述，然后对本发明的各步骤进行描述，最后针对本实施例中电影的推荐结果和推荐测试结果进行描述。

2.1待预测项目获取

本实施例的实验测试过程中，由于项目数量庞大，为了节约计算资源和训练时间，从用户未观看过的电影集合中随机选择100个电影项目作为待预测项目集合。

2.2推荐模型获取

推荐系统的目标是使作为推荐结果的待预测项目v的排序高于其他项目

因此本实施例将推荐损失函数定义为交叉熵损失，如式(24)所示：

其中D(·)是距离函数，可以是内积，或者其他更复杂的神经网络。σ(·)是sigmoid函数。u表示用户，v表示作为推荐结果的待预测项目，v′表示待预测项目中除了推荐结果以外的其他项目，

表示待预测项目。

另外，还可以基于知识图谱的结构信息来辅助序列推荐。如上文所述，所有在知识图谱中的项目都满足多模态融合约束。因此，可以将相应的四个约束作为损失函数加入到模型的训练中，如式(25)所示：

其中，h为知识图谱三元组中的第一实体，r为三元组中的关系，t为知识图谱三元组中的第二实体，c2c,s2s,c2s,s2c为四种结构约束方式，i为结构约束方式，L_c2c、L_s2s、L_c2s、L_s2c如式(26)-(29)所示，分别为四种约束中知识图谱三元组第一实体通过关系得到的表示与第二实体之间的距离，

因此，通过式(30)计算得到目标函数L，然后通过最小化联合目标函数L来训练模型。

L＝L_rec+λL_kg (30)

其中，λ是两类损失函数间的平衡参数，L为联合目标函数，L_rec为交叉熵损失，L_kg为基于结构约束的损失函数。

2.3基于知识图谱的序列推荐方法的具体步骤

步骤S210-步骤S230具体过程可参见前述基于知识图谱的用户建模方法中的步骤110-步骤S130描述，以下仅针对步骤S240-步骤S250展开描述。

将步骤S220-步骤S230得到的用户和每个待预测项目之间的交互表示以及通过上述的基于知识图谱的用户建模方法得到的用户动态偏好表示输入函数f，通过函数f来预测用户u和每个待预测项目v可能发生交互的概率p_u,v，如式(31)所示。函数f是距离度量方式，可以是内积或者H层的多层感知机MLP。

p_u,v＝σ(f(B_emb.,τ_v)) (31)

其中，σ(·)是sigmoid函数，B_emb.是用户的动态偏好表示，τ_v是用户与项目v的交互表示。

基于用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出。此外，还将推荐结果与用户访问的历史项目序列中每个项目的相关性分数，以及用户与每个项目所有可能交互路径的相关性分数作为推荐结果的推荐解释并输出。

2.4电影的推荐结果和推荐测试结果

图4是本发明一种实施例的基于知识图谱的序列推荐方法得到的推荐案例，图4中上部为编号为112691的用户先后访问了从《哈利遇到莎莉》到《危险关系》六部电影，系统根据用户的访问序列向他推荐了《黑客帝国》、《特工佳丽》、《迷失东京》三部电影。在对用户进行推荐的过程中，得到推荐的电影与用户历史行为之间的相关性分数(图4中带下划线的分数值)，分数的高低表示推荐的项目与各个历史项目的相关性。图4中下部为用户与其中一个电影《星球大战6：绝地归来》所有可能的交互路径，共有六条路径，圆圈中的数字表示路径的序号。每一条路径包含实体和实体间的关系。每条路径上的实体右侧的数值为用户与电影《星球大战6：绝地归来》所有可能的交互路径的相关性分数，分数的高低表示用户与该项目的各个交互路径的相关性。两类相关性分数给予了用户直观的感受，有助于用户理解推荐系统给出推荐项目的原因，体现了本发明可解释性能力。因此，本发明赋予了推荐系统可解释的能力，提升了推荐的准确性和可信度。

为了评估本发明，本发明的一个实施例基于电影领域数据集MovieLens-20M和知识图谱Freebase进行研究实验。表1给出了本发明一种实施例和其他方法在不同评价指标上的推荐准确率的比较，可以看出本发明的方法在用户建模与序列推荐上有着显著的效果。

其中：

BPR：Bayesian personalized ranking，贝叶斯个性化排序算法。

Bi-LSTM：Bi-directional Long Short-Term Memory，双向长短时记忆模型。

Bi-LSTM+att.：基于注意力机制的双向长短时记忆模型。

ATRank：是一种基于注意力的用户建模框架，它仅基于自注意力机制对序列行为进行编码。

CKE：是最近提出的一种基于知识图谱的推荐方法，它结合了知识图谱嵌入来提高推荐性能。

KTUP：是一种基于知识增强的基于翻译的用户偏好模型。它将从知识图谱中学习到的关系嵌入和实体嵌入转换为用户偏好模型，同时训练两个不同的任务。

AUC：area under the curve，受试者工作特征曲线下方的面积。

MAP：Mean Average Precision，主集合的平均准确率。

Hit@5：Hit Radio at 5，测试集中，能够落在推荐列表中的前5名之中的记录数，占总测试记录数的比例。

Hit@10：Hit Radio at 10，测试集中，能够落在推荐列表中的前10名之中的记录数，占总测试记录数的比例。

NDCG@5：对前5项计算归一化折现累积增益NDCG(normalized discountedcumulative gain)

NDCG@10：对前10项计算归一化折现累积增益NDCG(normalized discountedcumulative gain)

表1中每个单元格上面的数据为各推荐方法在不同评价指标的测试结果，括号中的数据为与本发明相应评价指标测试结果的差值百分比。

表1

本发明的第三方面提出了一种基于知识图谱的用户建模系统，该系统包括第一项目完整表示获取模块、第一交互表示获取模块、用户的动态偏好获取模块；

项目完整表示获取模块，配置为分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；

第一交互表示获取模块，配置为获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第四网络模型分别获取用户和各项目之间的交互表示；第四网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和项目的交互表示；

用户的动态偏好获取模块，配置为基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第五网络模型获取用户的动态偏好表示；第五网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得用户的动态偏好表示。

本发明的第四方面提出了一种基于知识图谱的序列推荐系统，该系统包括用户动态偏好获取模块、第二项目完整表示获取模块、第二交互表示获取模块、交互概率获取模块、推荐结果获取模块；

用户动态偏好获取模块，配置为基于用户访问的历史项目序列，通过上述的基于知识图谱的用户建模方法获取用户的动态偏好表示；

第二项目完整表示获取模块，配置为分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；待预测项目为从项目库中随机选取的预先设定数量的项目；

第二交互表示获取模块，配置为获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第六网络模型分别获取用户和每个待预测项目之间的交互表示；第六网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和项目的交互表示；

交互概率获取模块，配置为基于用户的动态偏好表示和用户和每个待预测项目之间的交互表示，获取用户与每个待预测项目的交互概率；

推荐结果获取模块，配置为基于用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，推荐模型通过最小化目标函数获取，目标函数为预设的推荐损失函数。

需要说明的是，上述实施例提供的基于知识图谱的用户建模系统、基于知识图谱的序列推荐系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明实施例的一种存储装置，其中存储有多条程序，程序适于由处理器加载并执行以实现上述的基于知识图谱的用户建模方法，或上述的基于知识图谱的序列推荐方法。

本发明实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；程序适于由处理器加载并执行以实现上述的基于知识图谱的用户建模方法，或上述的基于知识图谱的序列推荐方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (11)

1.一种基于知识图谱的用户建模方法，其特征在于，该方法包括：

步骤S110，分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述项目的内容特征包括所述项目的文本特征和视觉特征；所述文本特征为采集项目的标题和描述，利用开源工具fastText提取文本表示；所述视觉特征为通过收集项目的视觉描述，利用AlexNet来提取图片的图像特征，并通过主成分分析法PCA进行降维得到的低维视觉特征表示；

步骤S120，获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第一网络模型分别获取用户和各项目之间的交互表示；所述第一网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

步骤S130，基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第二网络模型获取所述用户的动态偏好表示；所述第二网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得所述用户的动态偏好表示；

基于所述用户的动态偏好表示获取推荐结果并输出。

2.根据权利要求1所述的基于知识图谱的用户建模方法，其特征在于，“每个项目的内容特征表示和结构特征表示”满足所述知识图谱中实体和关系的结构约束，所述结构约束包括四种结构约束方式：

其中，

为以内容特征表示的第一实体，

为以结构特征表示的第一实体，

为以内容特征表示的第二实体，

为以结构特征表示的第二实体，r为第一实体和第二实体之间的关系，c2c，s2s，c2s，s2c分别为四种结构约束方式。

3.一种基于知识图谱的序列推荐方法，其特征在于，该方法包括：

步骤S210，基于用户访问的历史项目序列，通过权力要求1-2中任一项所述的基于知识图谱的用户建模方法获取所述用户的动态偏好表示；

步骤S220，分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述待预测项目为从项目库中随机选取的预先设定数量的项目；

步骤S230，获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第三网络模型分别获取用户和每个待预测项目之间的交互表示；所述第三网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

步骤S240，基于所述用户的动态偏好表示和所述用户和每个待预测项目之间的交互表示，获取所述用户与每个待预测项目的交互概率；

步骤S250，基于所述用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。

4.根据权利要求3所述的基于知识图谱的序列推荐方法，其特征在于，所述序列推荐方法还将推荐结果与用户访问的历史项目序列中每个项目的相关性分数，以及用户与每个项目所有可能交互路径的相关性分数作为所述推荐结果的推荐解释并输出。

5.根据权利要求3所述的基于知识图谱的序列推荐方法，其特征在于，获取所述用户与每个待预测项目的交互概率的方法为通过内积函数或者H层的多层感知机。

6.根据权利要求3所述的基于知识图谱的序列推荐方法，其特征在于，所述推荐损失函数为交叉熵损失L_rec；

其中，D(·)为距离函数，σ(·)为sigmoid函数，u表示用户，v表示作为推荐结果的待预测项目，v′表示待预测项目中除了推荐结果以外的其他项目，

表示待预测项目。

7.根据权利要求6所述的基于知识图谱的序列推荐方法，其特征在于，所述推荐损失函数还包括四种结构约束方式中知识图谱三元组第一实体通过关系得到的表示与第二实体之间距离的平均值L_kg；

其中，h为知识图谱三元组中的第一实体，r为三元组中的关系，t为知识图谱三元组中的第二实体，c2c，s2s，c2s，s2c为四种结构约束方式，i为结构约束方式。

8.一种基于知识图谱的用户建模系统，其特征在于，该系统包括第一项目完整表示获取模块、第一交互表示获取模块、用户的动态偏好获取模块；

所述第一项目完整表示获取模块，配置为分别获取用户所访问的历史项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述项目的内容特征包括所述项目的文本特征和视觉特征；所述文本特征为采集项目的标题和描述，利用开源工具fastText提取文本表示；所述视觉特征为通过收集项目的视觉描述，利用AlexNet来提取图片的图像特征，并通过主成分分析法PCA进行降维得到的低维视觉特征表示；

所述第一交互表示获取模块，配置为获取用户与所访问的历史项目序列中每个项目的完整表示之间的语义路径表示，通过第四网络模型分别获取用户和各项目之间的交互表示；所述第四网络模型基于自注意力网络构建，用于基于用户与所访问的项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

所述用户的动态偏好获取模块，配置为基于用户和所访问的历史项目序列中每个项目之间的交互表示，通过第五网络模型获取所述用户的动态偏好表示；所述第五网络模型基于自注意力网络搭建，用于基于用户与所访问的每个项目的交互表示，通过对各交互表示加权获得所述用户的动态偏好表示；

基于所述用户的动态偏好表示获取推荐结果并输出。

9.一种基于知识图谱的序列推荐系统，其特征在于，该系统包括用户动态偏好获取模块、第二项目完整表示获取模块、第二交互表示获取模块、交互概率获取模块、推荐结果获取模块；

所述用户动态偏好获取模块，配置为基于用户访问的历史项目序列，通过权力要求1-2中任一项所述的基于知识图谱的用户建模方法获取所述用户的动态偏好表示；

所述第二项目完整表示获取模块，配置为分别获取待预测项目序列中每个项目的内容特征表示和结构特征表示，并通过多模态融合构建项目的完整表示；每个项目的结构特征表示基于预设的知识图谱中实体和关系的结构信息获取；所述待预测项目为从项目库中随机选取的预先设定数量的项目；

所述第二交互表示获取模块，配置为获取用户与每个待预测项目的完整表示之间的语义路径表示，通过第六网络模型分别获取用户和每个待预测项目之间的交互表示；所述第六网络模型基于自注意力网络构建，用于基于用户与每个待预测项目之间的多条语义路径表示，通过对各语义路径表示的加权获取用户和所述项目的交互表示；

所述交互概率获取模块，配置为基于所述用户的动态偏好表示和所述用户和每个待预测项目之间的交互表示，获取所述用户与每个待预测项目的交互概率；

所述推荐结果获取模块，配置为基于所述用户与每个待预测项目的交互概率，通过推荐模型获取推荐结果并输出，所述推荐模型通过最小化目标函数获取，所述目标函数为预设的推荐损失函数。

10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-2中任一权利要求所述的基于知识图谱的用户建模方法，或权利要求9所述的基于知识图谱的序列推荐方法。

11.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-2中任一权利要求所述的基于知识图谱的用户建模方法，或权利要求9所述的基于知识图谱的序列推荐方法。

Images