CN113158049A - 一种知识增强的推荐方法和系统 - Google Patents

Abstract

本发明公开了一种知识增强的推荐方法和系统。该方法包括：针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户‑物品交互的语义知识增强表示；基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户‑物品交互的语义知识增强表示，利用层次化的用户‑物品交互机制预测交互评分，以生成物品推荐结果。本发明层次化地模拟用户‑物品交互实现推荐预测，提供高质量的推荐结果。

Description

一种知识增强的推荐方法和系统

技术领域

本发明涉及计算机技术领域，更具体地，涉及一种知识增强的推荐方法和系统。

背景技术

随着互联网和信息技术的发展，信息爆炸的问题越来越严峻，导致有用的信息被淹没在日益膨胀的信息流中。针对信息爆炸或信息过益的问题，推荐系统起到至关重要的作用，是解决信息过益的有效工具。推荐系统利用用户、物品的历史数据和各种类型的其他知识，根据用户所处的环境和需求采用不同的推荐方法为用户推荐新物品。推荐系统具有非常广泛的应用价值，在电子商务平台如Amazon、淘宝等扮演着非常重要的角色，在多媒体平台如Nextfix、Youtube、腾讯视频等提供给用户不可或缺的推荐服务。

传统的推荐方法通常包括基于内容的推荐方法和协同过滤方法。基于内容的推荐方法依赖可能的内容信息，例如用户的个人信息或推荐物品的描述内容信息等，来估计用户的行为模式并进行相关的推荐。协同过滤方法是通过分析大众的行为模式，利用兴趣相似或拥有相同经验的群体喜好来近似目标用户的兴趣。协同过滤包括基于存储的方法和基于模型的方法等。基于存储的方法是利用用户的历史行为数据，计算相似度或相关性而进行推荐，例如基于用户的协同过滤算法。基于模型的方法是设计机器学习的模型挖掘用户行为中的行为模式来进行推荐，经典的方法包括矩阵分解(Matrix factorization)、概率矩阵分解(Probabilistic Matrix Factorization)等。

近年来，基于深度学习的推荐方法引起了学术界和工业界的广泛兴趣。例如，一项研究成果利用深度学习模型自编码器来学习用户或物品的特征表示，然后用协同过滤来学习和挖掘用户的行为模式。一项研究成果提出了一种可以融合协同过滤和半监督学习的深度神经网络结构，协同过滤和半监督学习联合训练实现推荐预测。另一项研究成果针对Top-N(前N个)物品推荐任务，提出神经协同推荐算法实现用户行为交互评分预测。

然而，传统的推荐方法主要是利用协同过滤的思想对个人喜好进行预测，无法准确地表示用户偏好，同时由于用户显示交互数据少，数据稀疏，导致推荐性能较低。而基于深度学习的推荐方法可以提取深层信息特征形成高层次的抽象表示，但是严峻的数据稀疏问题仍然影响推荐算法的性能，无法生成高质量的推荐结果。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种知识增强的推荐方法和系统，利用外部知识库在用户、物品、用户-物品交互三方面进行知识增强，学习用户行为的知识增强表征，缓解数据稀疏的影响，解决冷启动问题。

根据本发明的第一方面，提供一种知识增强的推荐方法。该方法包括以下步骤：

步骤S1：针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；

步骤S2：利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；

步骤S3：融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示；

步骤S4：基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示，利用层次化的用户-物品交互机制预测交互评分，以生成物品推荐结果。

根据本发明的第二方面，提供一种知识增强的推荐系统。该系统包括：

层次化语义提取单元：用于针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；

关联语义提取单元：用于利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；

知识增强表示单元：用于融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示；

推荐预测单元：用于基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示，利用层次化的用户-物品交互机制预测交互评分，以生成物品推荐结果。

与现有技术相比，本发明的优点在于，针对推荐系统中严峻的数据稀疏问题，采用外部知识在用户、物品、用户-物品交互三方面进行语义知识增强，设计层次化的知识增强用户行为表征学习方法，获得高质量的特征表示，准确刻画用户行为偏好，解决数据稀疏和冷启动问题；基于神经协同过滤框架，融合知识增强的用户行为表征，提出层次化的神经网络推荐算法，层次化地模拟用户-物品交互实现推荐预测，提供高质量的推荐结果，提升推荐性能。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的知识增强的推荐方法的流程图；

图2是根据本发明一个实施例的语义知识增强的框架图；

图3是根据本发明一个实施例的层次化神经网络推荐算法的示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在下文的描述中，设数据集中具有m个用户，记为u；n个物品，记为v。用户与物品的交互行为表示为＜u_i,v_j,r_ij,d_ij＞,其中r_ij表示用户u_i对物品v_j的评分，d_ij表示用户u_i对物品v_j的文本评论，用户-物品交互矩阵标记为R，文本评论集合标记为D，所有文本评论构成的词典为V_g，常识知识库为KB。

本文要解决的问题可定义为：给定用户集合U，物品集合V，用户-物品交互矩阵R和文本评论集合D，常识知识库KG，对于给定的用户u，推荐top-N个物品(该用户未交互过的物品)。

简言之，本发明提供的知识增强的推荐方法主要包括两部分，分别是知识增强的用户行为表征学习和层次化的神经网络推荐算法，具体结合图1所示，该方法包括以下步骤。

步骤S110，学习知识增强的用户行为表征，获得用户的知识增强表示、物品的知识增强表示以及用户-物品交互的知识增强表示。

例如，对于每个用户/物品，利用池化的方法将某用户/物品的所有评论文档整合成为一个用户/物品语义文档d_u(d_v)；并对新构建的用户语义文档、物品语义文档和原有的用户-物品评论文档，提取语义知识，如图2所示，语义知识增强过程包括以下步骤。

步骤S111，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示。

在一个实施例中，针对评论文档，利用word2vec方法构建词向量，然后利用全局层次的双向长短期记忆网络BiLSTM提取全局层次的语义隐含向量表示S^g；应用句子层次的BiLSTM提取语句层次的语义隐含向量表示S^s。其中全局层次的语义向量S^g包含了全局的潜在语义信息，语句层次的隐含向量表示S^s包含更加细粒度的带有上下文信息的语义知识表示；通过串联(concatenate)操作融合两种语义表示，得到层次化的语义表示C＝[S^g，S^s]。

在本文中，有时也将此步骤S111获得的层次化语义表示称为浅层语义表示，除非根据上下文另有所指。

步骤S112，基于知识库获得深层次语义知识表示。

首先，针对文档中的词，从常识知识库KB检索top-N相关概念(concept)，概念的向量表示记为c。对于每个词w_i，利用注意力机制计算检索到的扩展概念知识的关联影响β_ij＝Attention(w_i,c_j)，并计算增强概念表示

然后，应用BiLSTM得到关联语义知识表示C^A＝BiLSTM([c^a ₁,c^a ₂,…,c^a _n])。并利用语义文档的全局层次的语义知识表示S^g和关联语义知识表示C^A构成增强语义键-值对(key-value)，其中键为S^g，对应的值为C^A。

进一步地，为了学习不同语义空间下的知识表示，采用多头注意力机制(multi-head attention)融合用户-物品层次化语义表示C和增强语义键-值对，得到深层次语义知识表示

具体公式如下：

MultiHead(C,S^g,C^A)＝Concat(h₁,h₁,…,h_h)W^O

其中W^O,

为多头注意力机制学习参数。因此用户、物品、用户-物品交互的语义知识表示分别记为

步骤S113，融合用户/物品浅层表示和用户/物品的深层次语义知识表示，分别得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示。

例如，对于用户和物品，采用独热编码(one-hot)表示所用用户和物品，应用嵌入表示的方法将独热编码映射成稠密空间的用户浅层表示u和物品浅层表示v，然后通过串联操作融合用户/物品浅层表示和用户/物品的深层次语义知识表示，分别得到用户的语义知识增强表示

和物品的语义知识增强表示

用户-物品交互的语义知识增强表示，标记为

综上，在此步骤S110中，针对用户、物品、用户-物品文本文档进行语义分析提取不同层次的语义知识；从常识知识库检索关联的语义知识，形成关联语义知识表示；融合层次化语义知识和关联语义知识表示，学习用户、物品、用户-物品交互的知识增强表示，以便后续的用户行为交互预测。并且，利用知识库信息，可以灵活地将不同领域实体的属性信息特征化，并将推荐系统中的产品和知识库中的实体关联在一起，进而从各种各样的领域中获取丰富的产品属性信息。

步骤S120，融合用户、物品、用户-物品交互的知识增强表示，利用层次化的用户-物品交互机制预测交互评分，进而生成物品推荐结果。

例如，基于神经协同过滤框架，设计三层结构的用户-物品交互预测算法，如图3所示。第一层利用神经网络(f₁)映射知识增强的用户表示X^u和知识增强的物品表示X^v为用户-物品交互表示I_uv，表示为：

I_uv＝f₁(W_I[X^u,X^v]+b) (2)

其中W_I为学习的权重参数，b是偏置参数，f₁为激活函数，可以选取tanh、ReLU等。

第二层网络(f₂)融合用户-物品交互表示I_uv和用户-物品交互的语义知识增强表示X^I，分别计算两者的元素积z_h＝I_uv*X^I；另外，优选地，利用多层感知器MLP作用于[I_uv,X^I]得到z_m，表示为：

z_m＝MLP(W_I[I_uv,X^I]+b) (3)

最后一层(第三层或称预测层)预测用户-物品偏好评分

如表示为：

对于给定用户u，根据预测评分排序

推荐top-N个物品。

在此步骤S120中，基于神经网络协同过滤框架，融合用户、物品、用户-物品交互的知识增强表示，设计层次化的用户-物品交互机制预测交互评分，基于用户-物品的交互预测评分生成推荐结果。

需说明的是，本发明提出的方法是端到端的方法，因此知识增强的特征表示学习和层次化神经网络推荐预测采用联合学习的方式训练和优化，显著降低了训练难度，加速了训练过程，同时减少了内存需求。

相应地，本发明还提供一种知识增强的推荐系统，用于实现上述方法的一个方面或多个方面，例如，该系统包括：层次化语义提取单元，其用于针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；关联语义提取单元，其用于利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；知识增强表示单元，其用于融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示；推荐预测单元，其用于基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示，利用层次化的用户-物品交互机制预测交互评分，以生成物品推荐结果。

为了验证本发明的有效性和先进性，在Amazon和Yelp这两个广泛使用的数据集进行了大量实验。实验结果表明，本发明始终优于现有的最好方法，展现出巨大优越性，具有十分广阔的应用前景。

综上所述，本发明提出了利用知识增强解决用户行为数据稀疏问题的技术方案，利用外部语义知识库在用户、物品、用户-物品交互三个层面进行知识增强，学习用户行为的知识增强表示，有效地减轻数据稀疏带来的影响和解决了冷启动问题。此外，创新地提出一种层次化神经网络推荐算法，从不同层次挖掘用户行为模式，模拟用户行为决策，实现高质量的用户-物品交互预测，提升推荐性能。

应理解的是，在不违背本发明精神和范围的前提下，本领域技术人员可对上述实施例进行适当的修改或变型，例如，除采用BiLSTM外，也可采用双向GRU(门控循环单元)，单向LSTM、单向GRU等。优选采用BiLSTM的目的是为了充分学习双向(即上下文)信息的语义知识表示。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种知识增强的推荐方法，包括以下步骤：

步骤S1：针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；

步骤S2：利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；

步骤S3：融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示；

步骤S4：基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示，利用层次化的用户-物品交互机制预测交互评分，以生成物品推荐结果。

2.根据权利要求1所述的知识增强的推荐方法，其特征在于，在步骤S1中，根据以下子步骤获得所述层次化的语义表示：

针对评论文档，构建词向量，并利用第一循环神经网络提取全局层次的语义隐含向量S^g，该全局层次的语义向量S^g包含全局的潜在语义信息；

以所构建的词向量为输入，应用第二循环神经网络提取语句层次的语义隐含向量表示S^s，该语句层次的隐含向量表示S^s包含细粒度的上下文信息的语义知识表示；

融合全局层次的语义隐含向量S^g和语句层次的隐含向量表示S^s，得到层次化的语义表示C＝[S^g，S^s]。

3.根据权利要求2所述的知识增强的推荐方法，其特征在于，在步骤S2中，根据以下子步骤形成所述关联语义知识表示：

针对评论文档中的词，从知识库检索top-N相关概念，概念的向量表示；

对于每个词w_i，利用注意力机制计算检索到的概念知识的关联影响β_ij＝Attention(w_i，c_j)，并计算增强概念表示

其中c_j是检索到的概念的向量表示，j是索引；

以所述概念知识的关联影响为输入，应用第三循环神经网络得到关联语义知识表示C^A；

利用全局层次的语义向量表示S^g和关联语义知识表示C^A构成增强语义键-值对，其中键为S^g，对应的值为C^A；

采用多头注意力机制融合层次化的语义表示C和增强语义键-值对，得到深层次语义知识表示

4.根据权利要求3所述的知识增强的推荐方法，其特征在于，步骤S3包括：

对于用户和物品，采用独热编码表示所用用户和物品，并将独热编码映射成稠密空间的用户浅层表示u和物品浅层表示v；

通过串联操作得到用户的语义知识增强表示

物品的语义知识增强表示

以及用户-物品交互的语义知识增强表示记为

其中

是用户的深层表示，

是物品的深层表示，

是用户-物品交互的语义知识表示。

5.根据权利要求1所述的知识增强的推荐方法，其特征在于，所述神经协同过滤框架设置为三层结构，其中：

第一层网络f₁映射用户的语义知识增强表示X^u和物品的语义知识增强表示X^v为用户-物品交互表示I_uv：

I_uv＝f₁(W_I[X^u，X^v]+b)

第二层网络f₂融合用户-物品交互表示I_uv和用户-物品交互的语义知识增强表示X^I，分别计算两者的元素积z_h＝I_uv*X^I，并利用多层感知器MLP作用于[I_uv，X^I]得到z_m，表示为：

z_m＝MLP(W_I[I_uv，X^I]+b)

第三层网络用于预测用户-物品偏好评分

并根据预测评分排序，为给定用户推荐物品；

其中W_I为权重参数，f₁为激活函数，b是偏置参数。

6.根据权利要求5所述的知识增强的推荐方法，其特征在于，所述用户-物品偏好评分

表示为：

其中，W_z是权重参数，σ是激活函数。

7.根据权利要求3所述的知识增强的推荐方法，其中，第一循环神经网络、第二循环神经网络和第三循环神经网络均是双向长短期记忆网络。

8.一种知识增强的推荐系统，包括：

层次化语义提取单元：用于针对评论文档，提取全局层次的语义向量表示和语句层次的隐含向量表示，获得层次化的语义表示；

关联语义提取单元：用于利用知识库，检索与评论文档关联的语义知识，形成关联语义知识表示；

知识增强表示单元：用于融合所述层次化语义知识和所述关联语义知识表示，得到用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示；

推荐预测单元：用于基于神经协同过滤框架，融合所得到的用户的语义知识增强表示、物品的语义知识增强表示以及用户-物品交互的语义知识增强表示，利用层次化的用户-物品交互机制预测交互评分，以生成物品推荐结果。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法的步骤。

Images