CN110619081B

CN110619081B - 一种基于交互图神经网络的新闻推送方法

Info

Publication number: CN110619081B
Application number: CN201910893757.0A
Authority: CN
Inventors: 孙逊; 鲜学丰; 赵朋朋; 钱永烨
Original assignee: Suzhou Vocational University
Current assignee: Suzhou Vocational University
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2022-05-17
Anticipated expiration: 2039-09-20
Also published as: CN110619081A

Abstract

本申请公开了一种基于交互图神经网络的新闻推送方法、装置、设备及可读存储介质，该方案在嵌入过程中，利用基于知识的卷积神经网络从知识层和语义层学习基于新闻内容的特征，并利用嵌入传播层的高阶连通性，将用户新闻交互图中潜在的协作信号编码到用户和新闻表示的学习过程中，最终基于嵌入结果确定用户对候选新闻的偏好程度以决定是否向用户推送该候选新闻。可以看出，该方案使用两个图获得用户和新闻的表示，一个是知识图，另一个是用户新闻交互图，通过这种对嵌入过程的改进，提升了新闻推荐性能和用户满意度。

Description

一种基于交互图神经网络的新闻推送方法

技术领域

本申请涉及计算机技术领域，特别涉及一种基于交互图神经网络的新闻推送方法、装置、设备及可读存储介质。

背景技术

随着互联网的快速发展，人们的新闻阅读习惯逐渐从传统媒体如报纸、电视转向互联网。然而，新闻应用每天提供大量的新闻，这使得用户被信息爆炸淹没。因此，如何挑选出用户感兴趣的新闻，是提高用户满意度和粘性的关键。

研究者提出了许多推荐新闻的方案。传统的基于身份的方法，如协同过滤，由于候选新闻更新速度极快，不适合新闻推荐。相对而言，传统的语义模型和主题模型更有效，因为新闻具有高度的内容基础，但是，这些模型只基于词的共现或聚类结构来捕捉词与词之间的关系，忽略了潜在的知识层面的联系。

随着知识图的成功应用，相关学者提出了利用知识图提取知识层连接的深度知识感知网络(DKN)，该网络为每条新闻获取一个知识感知表示向量。为了获得当前候选新闻的动态用户表示，DKN应用注意力机制，根据候选新闻聚合不同权重的用户历史记录。虽然DKN通过单词嵌入和知识图嵌入对嵌入进行了预训练，但是其推荐性能仍然不够理想，难以满足当前需求。

综上，如何提升新闻推荐方案的推荐效果，是亟待本领域技术人员解决的问题。

发明内容

本申请的目的是提供一种基于交互图神经网络的新闻推送方法、装置、设备及可读存储介质，用以解决传统新闻推荐方案的推荐效果较差的问题。具体方案如下：

第一方面，本申请提供了一种基于交互图神经网络的新闻推送方法，包括：

获取候选新闻和当前用户已访问的历史新闻；

利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，并根据所述历史新闻确定所述当前用户的第一嵌入表示；

利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻；

根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示；

根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度；

在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻。

优选的，所述利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，包括：

随机生成所述候选新闻的单词嵌入矩阵；

利用TransE模型根据知识图确定所述候选新闻的实体嵌入矩阵和上下文嵌入矩阵；

将所述单词嵌入矩阵、所述实体嵌入矩阵、所述上下文嵌入矩阵输入卷积神经网络，得到所述候选新闻的第一嵌入表示。

优选的，所述根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示，包括：

对所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示进行串联操作，得到所述候选新闻的目标嵌入表示；对所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示进行均值池化操作，得到所述当前用户的目标嵌入表示。

优选的，所述根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度，包括：

对所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示进行内积运算，得到所述当前用户对所述候选新闻的偏好程度。

优选的，所述利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示，包括：

利用三个嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示。

优选的，所述在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻，包括：

根据所述偏好程度由高到低对候选集合中的各个所述候选新闻进行排序，向所述当前用户推送排序结果中前第二预设数量的候选新闻。

第二方面，本申请提供了一种基于交互图神经网络的新闻推送装置，包括：

新闻获取模块：用于获取候选新闻和当前用户已访问的历史新闻；

第一表示模块：用于利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，并根据所述历史新闻确定所述当前用户的第一嵌入表示；

第二表示模块：用于利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻；

第三表示模块：用于根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示；

偏好程度确定模块：用于根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度；

推送模块：用于在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻。

优选的，所述第一表示模块包括：

随机嵌入单元：用于随机生成所述候选新闻的单词嵌入矩阵；

知识嵌入单元：用于利用TransE模型根据知识图确定所述候选新闻的实体嵌入矩阵和上下文嵌入矩阵；

第一表示单元：用于将所述单词嵌入矩阵、所述实体嵌入矩阵、所述上下文嵌入矩阵输入卷积神经网络，得到所述候选新闻的第一嵌入表示。

第三方面，本申请提供了一种基于交互图神经网络的新闻推送设备，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如上所述的一种基于交互图神经网络的新闻推送方法的步骤。

第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的一种基于交互图神经网络的新闻推送方法的步骤。

本申请所提供的一种基于交互图神经网络的新闻推送方法、装置、设备及可读存储介质，方案包括：获取候选新闻和当前用户已访问的历史新闻；利用基于知识的卷积神经网络，根据候选新闻确定候选新闻的第一嵌入表示，并根据历史新闻确定当前用户的第一嵌入表示；利用预设数量的嵌入传播层，根据用户新闻交互图分别确定候选新闻的第二嵌入表示和当前用户的第二嵌入表示；根据候选新闻的第一嵌入表示和第二嵌入表示，确定候选新闻的目标嵌入表示；根据当前用户的第一嵌入表示和第二嵌入表示，确定当前用户的目标嵌入表示；根据候选新闻的目标嵌入表示和当前用户的目标嵌入表示，确定当前用户对候选新闻的偏好程度；在偏好程度满足预设要求时，向当前用户推送候选新闻。

可见，该方案在嵌入过程中，利用基于知识的卷积神经网络从知识层和语义层学习基于新闻内容的特征，并利用嵌入传播层的高阶连通性，将用户新闻交互图中潜在的协作信号编码到用户和新闻表示的学习过程中，最终基于嵌入结果确定用户对候选新闻的偏好程度以决定是否向用户推送该候选新闻。可以看出，该方案使用两个图获得用户和新闻的表示，一个是知识图，另一个是用户新闻交互图，通过这种对嵌入过程的改进，提升了新闻推荐性能和用户满意度。

附图说明

为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例一的实现流程图；

图2为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中交互图神经网络的架构示意图；

图3为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二的实现流程图；

图4为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中KCNN的示意图；

图5为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中S302的细化流程图；

图6为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中嵌入传播层的示意图；

图7为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中用户新闻交互图示例的示意图；

图8为本申请所提供的一种基于交互图神经网络的新闻推送方法实施例二中消息传播过程示意图；

图9为本申请所提供的一种基于交互图神经网络的新闻推送装置实施例的功能框图；

图10为本申请所提供的一种基于交互图神经网络的新闻推送设备实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，基于知识感知内容的新闻推荐方案，没有将用户与新闻交互过程中的潜在协作信号纳入到用户和新闻表示的学习过程中，导致新闻推荐效果较差。由于这种协同信号信息对推荐具有重要意义，因此，本申请提供一种基于交互图神经网络的新闻推送方法、装置、设备及可读存储介质，从用户与新闻交互图的高阶连通性中提取潜在协作信号，揭示用户与新闻之间的行为相似性，提升新闻推荐性能和用户满意度。

下面对本申请提供的一种基于交互图神经网络的新闻推送方法实施例一进行介绍，参见图1，实施例一包括：

S101、获取候选新闻和当前用户已访问的历史新闻；

本实施例的目的在于，给定一个用户的新闻点击记录，即上述历史新闻，预测用户下次浏览新闻时可能要阅读的新闻。换句话说，新闻推荐任务可以重新表述为确定用户对候选新闻的偏好程度，并对候选新闻的排序问题。本实施例不限定上述候选新闻和历史新闻的数量，具体根据实际需求确定即可。

S102、利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，并根据所述历史新闻确定所述当前用户的第一嵌入表示；

上述基于知识的卷积神经网络，全称Knowledge-aware Convolutional NeuralNetwork，简称KCNN，用于确定候选新闻和历史新闻在知识层和语义层的嵌入表示，下文将对KCNN作详细介绍，此处不再赘述。

S103、利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；

上述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻。

S104、根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示；

S105、根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度；

具体的，通过对所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示进行内积运算，得到所述当前用户对所述候选新闻的偏好程度。

S106、在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻。

具体的，根据偏好程度对候选新闻进行排序，选取排序结果前预设数量的候选新闻来推送给当前用户。

作为一种具体的实施方式，本实施例将用户新闻交互图和知识图集成到新闻推荐模型中，得到一种新的新闻推荐模型，即交互图神经网络(IGNN)。具体来说，IGNN使用两个图获得用户和新闻的表示，一个是知识图，另一个是用户新闻交互图。IGNN利用卷积神经网络从知识层和语义层学习基于内容的特征，将从用户新闻交互图中提取的高阶协作信号融合到用户和新闻表示学习过程中。经过在两个真实的新闻数据集上进行了大量的实验，实验结果表明，在新闻推荐方面，本实施例的性能显著优于其他新闻推荐方案的性能。

本实施例所提供一种基于交互图神经网络的新闻推送方法，该方案在嵌入过程中，利用基于知识的卷积神经网络从知识层和语义层学习基于新闻内容的特征，并利用嵌入传播层的高阶连通性，将用户新闻交互图中潜在的协作信号编码到用户和新闻表示的学习过程中，最终基于嵌入结果确定用户对候选新闻的偏好程度以决定是否向用户推送。可以看出，该方案使用两个图获得用户和新闻的表示，一个是知识图，另一个是用户新闻交互图，通过这种对嵌入过程的改进，提升了新闻推荐性能和用户满意度。

下面开始详细介绍本申请提供的一种基于交互图神经网络的新闻推送方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。

首先，对实施例二的新闻推荐任务进行定义，假设有一组用户和一组新闻，分别被定义为U和N，其中u∈U表示一个用户，n∈N表示一个新闻，用户和新闻的总数分别表示为|U|和|N|，对于一个用户u，他访问过的新闻可以表示为

给定一个用户的新闻点击记录，推荐任务是推荐用户下次浏览新闻时可能要阅读的新闻，即对所有候选新闻的排序问题，然后向用户推荐前K个新闻。

基于以上，本实施例提出一种交互图神经网络，即IGNN，图2显示了IGNN的框架。该框架包括三个部分：(1)基于知识的卷积神经网络(KCNN)，它可以获取新闻内容的单词结构信息和潜在的知识层面信息；(2)嵌入传播层，用于将高阶连通性建模注入用户和新闻的嵌入表示过程中；(3)预测层，得到用户和新闻的最优表示后，计算用户对候选新闻的偏好程度。从图2中可以看到，对于新闻而言，输入是新闻内容和新闻的标题；对于特定的用户，输入是用户以前读过的历史新闻内容和用户的标识信息。

参见图3，实施例二具体包括：

S301、获取候选新闻和当前用户已访问的历史新闻；

S302、利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，并根据所述历史新闻确定所述当前用户的第一嵌入表示；

S303、利用三个嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；

所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻。

S304、对所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示进行串联操作，得到所述候选新闻的目标嵌入表示；对所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示进行均值池化操作，得到所述当前用户的目标嵌入表示；

S305、对所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示进行内积运算，得到所述当前用户对所述候选新闻的偏好程度；

在经过KCNN获取基于内容的表示，以及应用嵌入传播层获取交互信息之后，可以获得新闻的两部分表示和用户的两部分表示。然后，我们使用串联函数来构成新闻的最终嵌入。对于用户，用访问过的历史新闻的表示的平均值来表示用户基于内容的表示，利用串联函数根据用户基于内容的表示和交互过程中的用户标识构成用户的最终嵌入。最后，我们使用内积运算来评估用户对候选新闻的偏好。

S306、根据所述偏好程度由高到低对候选集合中的各个所述候选新闻进行排序，向所述当前用户推送排序结果中前第二预设数量的候选新闻。

下面分别对实施例二中的关键步骤进行详尽介绍：

首先，对S302进行介绍：

上述S302中候选新闻与历史新闻的嵌入表示的确定过程类似，此处以候选新闻为例，详细描述如何利用基于知识的卷积神经网络，根据候选新闻确定候选新闻的第一嵌入表示。

首先，我们将介绍知识图谱的嵌入方法。一个典型的知识图由数百万个实体-关系实体三元组(h,r,t)组成，其中h,r,t分别表示三元组的头部、关系和尾部。给定知识图中的所有三元组，知识图嵌入的目标是为每个实体和关系学习一个低维表示向量，以维护原始知识图的结构信息。近年来，基于翻译的知识图嵌入因其模型简单、性能优越而受到广泛关注。本实施例将TransE模型应用于知识图的嵌入。

TransE模型中，当给定一个三元组关系(h,r,t)时，TransE尽可能的保持h′+r′≈t′。其中h′,r′,t′分别是和h,r,t对应的向量。因此，TransE假设一个得分函数定义如下：

为了增强正确的三元组和错误的三元组之间的区别，对于TransE模型，本实施例使用以下基于边缘值的排名损失进行训练：

其中，γ是一个权重，Δ是正确的三元组集合，Δ′是错误的三元组集合。

然后，我们介绍KCNN模型，如图4所示，在图4的底部有三个矩阵，分别为单词嵌入矩阵、实体嵌入矩阵和上下文嵌入矩阵。下面的矩阵是单词嵌入矩阵，对于长度为n的新闻标题t的原始输入序列，我们使用w_1:n＝[w₁,w₂,...,w_n]∈R^d×n表示其关键词的嵌入矩阵，其中每一个关键词的表示w_i可以与一个嵌入好的实体e_i∈R^k×1和实体的上下文表示

相关联，该实体嵌入表示和上下文表示由transE模型预先训练好，其中k是实体嵌入的维数。实体e的上下文被定义为知识图中它的近邻的集合，如下所示：

context(e)＝{eⁱ|(e,r,eⁱ)∈Gor(eⁱ,r,e)∈G}

其中r是关系，G是知识图。由于上下文实体通常在语义和逻辑上与当前实体密切相关，所以上下文实体的使用可以提供额外的信息，并有助于实体的标识。给定实体e，则上下文的嵌入表示

计算为上下文实体的平均值，如下所示：

其中e_i是通过知识图嵌入上述提到的的TransE模型学习到的e_i的嵌入向量。然后我们把这三个嵌入矩阵叠加在一起，得到一个三通道的图像：

在得到卷积神经网络的输入后，应用几个多重过滤器m来获取新闻中的内容信息，如下所示：

最后使用最大值池化功能，从多张特征图中挑选出最适合的新闻内容特征表示：

其中l是卷积核的个数。

因此，如图5所示，上述利用基于知识的卷积神经网络，根据候选新闻确定候选新闻的第一嵌入表示的过程具体包括：

S501、随机生成所述候选新闻的单词嵌入矩阵；

S502、利用TransE模型根据知识图确定所述候选新闻的实体嵌入矩阵和上下文嵌入矩阵；

S503、将所述单词嵌入矩阵、所述实体嵌入矩阵、所述上下文嵌入矩阵输入卷积神经网络，得到所述候选新闻的第一嵌入表示。

下面对S303进行介绍：

S303主要涉及嵌入传播层，即Embedding Propagation Layer。事实上，用户的历史条目在一定程度上反映了用户的偏好；同样，用户对同一新闻的消费也可以看作是新闻的特征，可以反映出两个新闻之间的协同相似性。在嵌入传播层中，如图6所示，本实施例利用图神经网络的消息传递体系结构，提取沿图结构的协作信号，加强用户和项目的表示。图7为一个简单的用户新闻交互图示例，白色的表示用户，黑色的表示新闻，用户和新闻的之间的连线就表示该用户访问过该新闻。

嵌入传播层由两部分组成：消息传递和消息聚合。对于一个用户新闻连接对(u,n)中，从n到u的信息可以表示为如下所示：

m_u←n＝w(e_n,e_u,p_u,n)

其中m_u←n是正在传播的信息，w(·)是信息传播函数。w(·)的输入是e_n，e_u和p_u,n。p_u,n是控制边缘(u,n)传播上的衰减因子，e_n，e_u分别是经过嵌入层之后的新闻的向量化表示和用户的向量化表示。w(·)的定义如下：

其中W₁∈R^d′×d和W₂∈R^d′×d是学习传播有用信息的可训练权重，而e_n⊙e_u代表元素的内积计算结果，它用于将e_n和e_u之间的交互信息编码到消息传递中。这使得类似的新闻之间可以传递更多的信息，这不仅提高了模型表示能力，而且提高了推荐性能。

根据图神经网络，

是用来定义图的拉普拉斯范数，表示为p_u,n，其中N_u和N_n分别表示用户u和新闻n的所有第一跳邻居。

另一个部分消息聚合用于聚合从用户附近传播的消息。聚合函数的表达式如下：

其中

为用户u的新表示，本实施例对传入消息值使用非线性转换，如下所示：

本实施例将激活函数Ψ(·)设置为LeakyReLU。在这项工作中，为了考虑自连接以保留原始特性，本实施例在公式中添加了m_u←u，它被定义为m_u←u＝W₁e_u。类似地，通过从连接的用户传播信息，新闻n嵌入表示可以被标识为

对于高阶连通性，本实施例利用它叠加更多的传播层。因此，用户和新闻可以通过组合来自高跳邻居的消息来单独表示。对这种协作信号进行编码是交互学习的关键，有助于评估用户与新闻之间的相关度。

用户或新闻可以通过叠加k个嵌入传播层获得从第k跳邻居传播的消息。因此，用户u可以递归地表示如下：

所传播的消息表示为：

其中e^k-1是前一次嵌入传播生成的表示形式，它存储来自(k-1)跳邻居的消息，

和

是第k层传播层的可训练权重。

从图6可以看到，像u₁←i₂←u₂←i₄这样的协同信号可以被嵌入传播层有效的挖掘出来并将其应用到推荐中去。假如我们的k设定为3，那么就有3层的嵌入传播层，既用户和新闻的表示可以获得他们各自第三跳的邻居传播过来的信息。对于u₁的最终表示，就可以通过如图8所示的传播过程获得。该过程中，上标为0的向量是随机初始化的新闻和用户的向量表示。通过这样一个过程，我们就可以提取到用户和新闻交互图中的高阶协同信号。

最后，对IGNN的训练过程进行介绍：

作为一种具体的实施方式，本实施例选择用BPR框架来训练IGNN，这种框架被广泛应用与各种推荐模型的训练上。对于每一对用户和阅读过的新闻对(u,n_pos)，我们从用户没有阅读过的新闻中随机选择一对负样例对(u,n_neg)，然后计算这两对的损失。因此，优化模型的目标函数为：

其中Γ表示训练集，μ(·)是sigmoid函数，Θ是模型参数集。此外，我们对Θ参数进行L₂正则化，以防止过拟合。

在模型训练方面，本实施例采用mini-batch Adam对模型进行优化，更新模型参数。虽然深度学习模型具有较强的表达能力，但往往存在过度拟合的问题。根据之前的工作，dropout是一个有效的解决方案，以防止过度拟合。本实施例在嵌入传播层时采用了两种dropout技术：Message dropout和Node dropout。Message dropout随机删除消息信息。特别地，本实施例对上式中传播的消息使用消息dropout，其概率为P₁。因此，只有部分消息信息参与新的表示。本实施例还使用node dropout随机地阻塞一些特定的节点，并丢弃它的所有传出消息。特别地，我们在第l层传播层的拉普拉斯矩阵节点上随机删除P₂个节点，其中P₂是删除率。

可见，本实施例提供的一种基于交互图神经网络的新闻推送方法，采用了一种用于新闻推荐的交互图神经网络(IGNN)，它分别提取新闻与新闻和用户与新闻的图信息。对于新闻图，IGNN首先将transE嵌入的单词、实体和实体的上下文信息三个嵌入矩阵叠加起来，然后利用卷积神经网络获得内容和知识的交互信息。此外，利用嵌入传播层的高阶连通性，将用户新闻交互图中潜在的协作信号编码到用户和新闻表示的学习过程中，改进了嵌入过程。通过叠加多个嵌入传播层，实现嵌入捕获高阶连接度的协作信号。由于每一层都产生所有用户和新闻的嵌入，本实施例将所有层的嵌入结合起来，将从不同连接度顺序中学习到的协作信号聚合起来，形成嵌入函数。通过对两个真实世界的数据集进行了实证研究，大量的实验结果证明了本实施例的优越性，以及它通过嵌入传播提高嵌入质量的有效性。

下面对本申请实施例提供的一种基于交互图神经网络的新闻推送装置进行介绍，下文描述的一种基于交互图神经网络的新闻推送装置与上文描述的一种基于交互图神经网络的新闻推送方法可相互对应参照。

如图9所示，该装置包括：

新闻获取模块901：用于获取候选新闻和当前用户已访问的历史新闻；

第一表示模块902：用于利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，并根据所述历史新闻确定所述当前用户的第一嵌入表示；

第二表示模块903：用于利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻；

第三表示模块904：用于根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示；

偏好程度确定模块905：用于根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度；

推送模块906：用于在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻。

在一些具体的实施例中，所述第一表示模块包括：

本实施例的一种基于交互图神经网络的新闻推送装置用于实现前述的一种基于交互图神经网络的新闻推送方法，因此该装置中的具体实施方式可见前文中的一种基于交互图神经网络的新闻推送方法的实施例部分，例如，新闻获取模块901、第一表示模块902、第二表示模块903、第三表示模块904、偏好程度确定模块905、推送模块906，分别用于实现上述一种基于交互图神经网络的新闻推送方法中步骤S101，S102，S103，S104，S105，S106。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。

另外，由于本实施例的一种基于交互图神经网络的新闻推送装置用于实现前述的一种基于交互图神经网络的新闻推送方法，因此其作用与上述方法的作用相对应，这里不再赘述。

此外，本申请还提供了一种基于交互图神经网络的新闻推送设备，如图10所示，包括：

存储器100：用于存储计算机程序；

处理器200：用于执行所述计算机程序以实现如前文所述的一种基于交互图神经网络的新闻推送方法的步骤。

最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如前文所述的一种基于交互图神经网络的新闻推送方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种基于交互图神经网络的新闻推送方法，其特征在于，包括：

获取候选新闻和当前用户已访问的历史新闻；

利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻；所述利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示包括：在嵌入传播层中，利用图神经网络的消息传递体系结构，提取沿图结构的协作信号，加强用户和项目的表示；所述嵌入传播层包括消息传递和消息聚合，将经过嵌入层之后的新闻的向量化表示和用户的向量化表示之间的交互信息编码到消息传递中，消息聚合用于聚合从用户附近传播的消息，用户或新闻通过叠加k个嵌入传播层获得从第k跳邻居传播的消息；

2.如权利要求1所述的方法，其特征在于，所述利用基于知识的卷积神经网络，根据所述候选新闻确定所述候选新闻的第一嵌入表示，包括：

随机生成所述候选新闻的单词嵌入矩阵；

3.如权利要求2所述的方法，其特征在于，所述根据所述候选新闻的第一嵌入表示和所述候选新闻的第二嵌入表示，确定所述候选新闻的目标嵌入表示；根据所述当前用户的第一嵌入表示和所述当前用户的第二嵌入表示，确定所述当前用户的目标嵌入表示，包括：

4.如权利要求3所述的方法，其特征在于，所述根据所述候选新闻的目标嵌入表示和所述当前用户的目标嵌入表示，确定所述当前用户对所述候选新闻的偏好程度，包括：

5.如权利要求4所述的方法，其特征在于，所述利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示，包括：

6.如权利要求1-5任意一项所述的方法，其特征在于，所述在所述偏好程度满足预设要求时，向所述当前用户推送所述候选新闻，包括：

7.一种基于交互图神经网络的新闻推送装置，其特征在于，包括：

第二表示模块：用于利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示；所述用户新闻交互图包括用户节点、新闻节点、表征所述用户节点与所述新闻节点之间的访问关系的连接线，其中所述用户节点包括所述当前用户，所述新闻节点包括所述候选新闻；所述利用预设数量的嵌入传播层，根据用户新闻交互图分别确定所述候选新闻的第二嵌入表示和所述当前用户的第二嵌入表示包括：在嵌入传播层中，利用图神经网络的消息传递体系结构，提取沿图结构的协作信号，加强用户和项目的表示；所述嵌入传播层包括消息传递和消息聚合，将经过嵌入层之后的新闻的向量化表示和用户的向量化表示之间的交互信息编码到消息传递中，消息聚合用于聚合从用户附近传播的消息，用户或新闻通过叠加k个嵌入传播层获得从第k跳邻居传播的消息；

8.如权利要求7所述的装置，其特征在于，所述第一表示模块包括：

9.一种基于交互图神经网络的新闻推送设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序以实现如权利要求1-6任意一项所述的一种基于交互图神经网络的新闻推送方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-6任意一项所述的一种基于交互图神经网络的新闻推送方法的步骤。