CN110009093A

CN110009093A - 用于分析关系网络图的神经网络系统和方法

Info

Publication number: CN110009093A
Application number: CN201811497595.0A
Authority: CN
Inventors: 常晓夫; 宋乐
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2018-12-07
Filing date: 2018-12-07
Publication date: 2019-07-12
Anticipated expiration: 2038-12-07
Also published as: TW202032422A; TWI709086B; CN110009093B; WO2020114122A1

Abstract

本说明书实施例提供一种通过计算机执行的、用于分析关系网络图的神经网络系统和方法，该神经网络系统包括：特征提取层，用于提取关系网络图中的节点的特征向量；深度神经网络，用于对上述特征向量进行第一处理，得到第一输出；图神经网络，用于结合关系网络图的邻接信息，对上述特征向量进行第二处理，得到第二输出；其中邻接信息用于表示关系网络图所包含的各个节点之间的连接关系；以及融合层，用于对第一输出和第二输出进行融合，基于融合结果输出针对所述节点的预测结果。

Description

用于分析关系网络图的神经网络系统和方法

技术领域

本说明书一个或多个实施例涉及通过计算机执行的神经网络系统，尤其涉及用于分析关系网络图的神经网络系统和方法。

背景技术

图是建模关系数据的有力工具，因此，目前往往是将存在关联关系的数据用图的形式表达和建模。另一方面，提出了基于图的运用深度学习方法的神经网络，图神经网络(Graph Neural Network，Graph NN或GNN)，用于对图信息进行学习。图神经网络GNN可以有效地利用图上的信息传递以及融合节点或边的特征信息，来完成图上节点或边的分类或者回归等机器学习任务。

然而，在真实的业务场景中，尤其是在业务的初始阶段，例如邀请新用户阶段，关系数据不完整。从图的角度来看，即存在很多的孤立节点。在这样的情况下，图神经网络GNN并不能达到预期的分析效果。

因此，希望能有改进的方案，更加有效地对关系网络图进行学习、分析和预测。

发明内容

本说明书一个或多个实施例描述了通过计算机执行的、用于分析关系网络图的神经网络系统和方法，可以更加有效地对关系网络图进行学习、分析和预测。

根据第一方面，提供了一种通过计算机执行的、用于分析关系网络图的神经网络系统，包括：

特征提取层，用于提取关系网络图中的节点的特征向量；

深度神经网络，用于对所述特征向量进行第一处理，得到第一输出；

图神经网络，用于结合所述关系网络图的邻接信息，对所述特征向量进行第二处理，得到第二输出；其中所述邻接信息用于表示所述关系网络图所包含的各个节点之间的连接关系；

融合层，用于对所述第一输出和所述第二输出进行融合，基于融合结果输出针对所述节点的预测结果。

在一个实施例中，关系网络图所包含的各个节点对应于各个用户，所述各个节点之间的连接关系包括以下中的一种或多种：用户之间的社交关系、媒介关系和资金关系。

根据一种可能的实现方式，关系网络图为有向图，相应地，所述邻接信息包括，所述有向图对应的邻接表或十字链表。

根据一种实施方式，邻接信息包括所述关系网络图的邻接矩阵。

根据一个实施例，所述图神经网络为图卷积网络，所述图卷积网络包含多个网络层以进行所述第二处理，所述第二处理至少包括，使用所述邻接矩阵中的元素为权重因子，对所述节点及其邻居节点的特征向量进行加权求和操作。

根据一种实施方式，上述融合层具体用于，对所述第一输出和所述第二输出进行加权求和，其中所述第一输出对应第一权重因子，所述第二输出对应第二权重因子。

进一步的，在一个实施例中，第一权重因子是第一输出的函数，第二权重因子是第二输出的函数。

在另一实施例中，第一权重因子与第二权重因子和为1，并且：

所述第一权重因子是所述第一输出的函数；或者，

所述第二权重因子是所述第二输出的函数。

在又一实施例中，第一权重因子与第二权重因子和为1，并且：

所述第一权重因子是所述第一输出和第二输出的函数；或者，

所述第二权重因子是所述第一输出和第二输出的函数。

根据一种实现方式，所述神经网络系统通过端到端方式训练。

根据第二方面，提供一种通过计算机执行的、用于分析关系网络图的方法，包括：

提取关系网络图中的节点的特征向量；

采用深度神经网络，对所述特征向量进行第一处理，得到第一输出；

采用图神经网络，结合所述关系网络图的邻接信息，对所述特征向量进行第二处理，得到第二输出；其中所述邻接信息用于表示所述关系网络图所包含的各个节点之间的连接关系；

对所述第一输出和所述第二输出进行融合，基于融合结果输出针对所述节点的预测结果。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第二方面的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第二方面的方法。

通过本说明书实施例提供的神经网络系统和方法，组合了深度神经网络DNN和图神经网络GNN，将DNN的单节点特征处理能力和GNN的关系特征处理能力进行了融合，使得组合的神经网络系统可以对各种各样的关系网络图进行有效的分析和学习。在关系网络图中关系特征完善且有效的情况下，图神经网络GNN可以发挥主要作用，深度神经网络DNN对单节点的分析作为补充；而如果关系特征缺失或者效果有限，仍然可以通过深度神经网络DNN的分支，对图中的节点进行有效分析处理，给出较为理想的预测结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书披露的一个实施例的关系网络图的示意图；

图2示出根据一个实施例的神经网络系统的示意图；

图3示出根据一个实施例的深度神经网络DNN的示意图；

图4示出根据一个实施例的图卷积网络GCN的示意图；

图5示出根据一个实施例的分析关系网络图的方法流程图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

根据本说明书一个或多个实施例，提出一种用于处理关系数据的神经网络系统，该神经网络系统可以用于对关系网络图进行学习和预测。

下面首先对关系网络图进行描述。图1为本说明书披露的一个实施例的关系网络图的示意图。可以看到，关系网络图中包括多个节点，具有关联关系的节点之间通过连接边互相连接。与其他节点都没有关联关系的节点，形成孤立节点，例如图1中的节点A，B和C。

在一个实施例中，还可以对关联关系的类型和/或强度进行区分，从而为连接边赋予一定的属性或权值。例如图1中用粗线条示出强连接，细线条示出弱连接。然而，这并不是必须的。

根据节点所代表的实体的不同，关系网络图可以反映各种实体之间的关联关系。例如，在一个实施例中，节点可以代表卖家或买家，节点之间的边可以代表发生过交易，由此，通过关系网络图反映实体之间的交易关系。

在另一个实施例中，节点代表各个用户，节点之间的边代表用户之间的关联关系。更具体地，在不同例子中，可以基于用户之间不同类型的关联关系，对节点建立连接关系。

在一个例子中，用户之间的关联关系可以包括，用户之间的社交关系。在基于社交关系形成的关系网络中，若两个用户有共同关注对象(例如微博账号共同关注了同一人)，或他们之前有来往联系，或加入了共同群组(例如QQ群，微信群等)，或在红包、彩票等活动中有互动，那么可以认为这两个节点之间存在社交关系，可以建立一条边进行连接。

在另一个例子中，用户之间的关联关系可以包括，用户之间的媒介关系。在基于媒介关系形成的关系网络中，若两个用户使用过同样的媒介，例如加密后的银行卡、身份证、邮箱、户号、手机号、物理地址(例如MAC地址)、终端设备号(例如UMID、TID、UTDID)等，则这两个用户之间存在媒介关系的关联，可以建立一条边进行连接。

在又一例子中，用户之间的关联关系可以包括，用户之间的资金关系。在基于资金关系形成的关系网络中，如果两个用户之间至少存在资金交易中的一种，那么两节点之间存在一条边。资金交易可以包括，代充、代付、条码收款、条码付款、AA收款、C2C手机当面付、送礼金、交房租、红包、信用卡代还款、代购、亲密付、代订服务等等。

在其他实施例中，关系网络图中的节点还可以代表其他实体，节点之间的连接可以基于各种类型的关联关系。

对于图1的关系网络图，一般可以采用图神经网络GNN进行学习和预测。学习的过程一般对应于图神经网络GNN的训练过程。

在训练图神经网络GNN时，需要根据预测业务的目的，为图1中至少部分节点添加标签，从而进行监督学习。例如，假定图1中关系网络图中的节点对应于各个用户，如果要学习和预测各个用户的信用风险，那么至少需要为部分节点添加“高风险用户”(涉嫌欺诈的用户)和“正常用户”的标签，将这些有标签的节点，连同这些节点在图中的连接关系提供给图神经网络GNN，以供GNN进行训练和学习。训练完成之后，就可以将未知用户输入到图神经网络GNN，使得图神经网络GNN利用训练好的网络参数，对该未知用户进行预测。

然而，在许多情况下，上述方案的效果不够理想。

一方面，关系网络图是基于关联关系进行构建。如前所述，节点之间存在各种各样的关联关系，如果在构建关系网络图时，所选择的关联关系与业务目的匹配度不够高，那么基于这样的关联关系所构建的关系网络图进行学习，效果往往不够理想。例如，在业务目的是想要学习用户对某类产品的购买意图的情况下，如果关联关系选择为是否具有共同关注对象的社交关系，那么这样的关系数据对于判断购买意图的业务目的不一定有效。

另一方面，在一些业务场景下，例如拉新、促销等业务阶段中，大量增加新用户，此时新用户的关系数据很不完整，在图中形成大量孤立节点。对这些孤立节点的预测存在一定困难。因为在训练阶段，图神经网络GNN通常是基于连接关系比较完善的关系图进行学习的，训练阶段和预测阶段样本分布差异较大，会影响图神经网络GNN的预测效果。并且，孤立节点本身有关连接关系的特征数据欠缺，也使得图神经网络GNN无法达到其最优效果。

基于以上的分析和研究，在本说明书的实施例中，提供一种组合式的神经网络系统，可以更有效地对关系网络图进行学习。

图2示出根据一个实施例的神经网络系统的示意图，该神经网络系统通过计算机执行，用于对关系网络图进行学习，对关系数据进行处理。如图2所示，该神经网路系统包括，特征提取层21，用于提取关系网络图中的节点的特征向量；深度神经网络22，用于对所述特征向量进行第一处理，得到第一输出；图神经网络23，用于结合所述关系网络图的邻接信息，对所述特征向量进行第二处理，得到第二输出；融合层24，用于对所述第一输出和所述第二输出进行融合，基于融合结果输出针对所述节点的预测结果。下面具体描述以上各个网络部分的执行方式。

特征提取层21用于提取关系网络图中的节点的特征向量。该关系网络图例如是图1所示的关系网络图，其中包含多个节点，具有关联关系的节点之间存在连接关系。特征提取层21针对关系网络图中的节点进行特征提取，所提取的特征是有关节点本身的特征，如此提取的特征构成特征向量。

在一个实施例中，上述关系网络图中的各个节点对应于各个用户，例如支付宝用户。针对这样的节点，特征提取层21可以提取用户的基本属性特征，用于构成特征向量，上述基本属性特征例如包括，用户ID，注册时长，性别，年龄等等。

在一个实施例中，特征提取层21还根据业务目的，提取与业务目的相关的特征。例如，在业务目的为，预测用户的购买意图的情况下，特征提取层21还获取用户的购买记录，基于购买记录进行特征提取，例如提取购买次数、购买品类、购买金额等多项特征。又例如，在业务目的为，预测用户的借贷风险的情况下，特征提取层21还获取用户的借贷记录，基于借贷记录进行特征提取，例如提取借贷次数、借贷金额、已还款金额、守信次数、逾期次数等多项特征。

在特征提取层21提取得到节点的特征向量后，将该特征向量并行地分别输入到深度神经网络22和图神经网络23，分别进行处理。

深度神经网络(Deep Neural Network，DNN)是一种多层全连接的前向结构的人工神经网络。图3示出根据一个实施例的深度神经网络的示意图。如图3所示，深度神经网络DNN包含多个网络层，这些网络层可以分为输入层，隐藏层和输出层,输入层与输出层之间的都是隐藏层。一般的，当一个神经网络中隐藏层的层数较多时，我们才称之为深度神经网络。DNN中各个网络层均包含若干神经元，除输入层之外的神经元均通过激活函数对输入数据进行运算操作。在DNN中，网络层之间是全连接的，也就是说，第i层的任意一个神经元均与第i+1层的任意一个神经元相连。

深度神经网络DNN可以被设计、训练用于各种业务场景的分析和预测。

根据本说明书一种实施方式，将深度神经网络DNN作为一个实施例的神经网络系统的一个分支部分。在特征提取层21提取得到节点的特征向量后，该特征向量被提供给深度神经网络DNN 22的输入层，经由隐藏层对其进行处理，并通过DNN的输出层输出处理结果。为了描述的简单，将DNN隐藏层对特征向量的处理过程称为第一处理，将DNN输出层输出的处理结果称为第一输出。

需要说明的是，本文中的“第一”、“第二”等描述仅仅是位于区分相似概念，以及为了描述的简单和清楚，并不具有顺序等其他方面的限定作用。

另一方面，特征提取层21提取的节点特征向量还被输入到图神经网络GNN23。可以理解，图神经网络GNN用于对关系网络图进行分析和学习。与常规神经网络类似的，图神经网络GNN也具有多层的网络结构，通过神经元的函数映射对输入数据进行操作和处理。特别的，作为专用于处理关系网络图的神经网络，GNN在处理过程中，会结合关系网络图中各个节点之间的连接关系信息，对节点的特征向量进行处理。上述关系网络图中各个节点之间的连接关系信息又称为邻接信息。为了描述方便，将GNN中结合邻接信息对节点的特征向量进行处理的过程称为第二处理，将GNN处理的结果称为第二输出。

如图2所示，为了GNN处理的需要，预先获取关系网络图的邻接信息，提供给图神经网络GNN 23。

上述邻接信息可以体现为多种形式。典型的，可以通过邻接矩阵来表示关系网络图中节点之间的连接关系。假定关系网络图中包含n个节点，那么邻接矩阵是一个n*n维的矩阵，在最简单的情况下(节点之间的连接边具有等同权值的情况下)，如果节点i和节点j之间有连接关系，则矩阵元素A_ij＝1，否则，矩阵元素A_ij＝0。

此外，还可以采用度矩阵、拉普拉斯矩阵等形式，表示关系网络图中节点之间的连接关系。

在一个实施例中，上述关系网络图是一个有向图，即，节点之间的连接是有方向的。对于有向图，在一些情况下，还采用邻接表来记录关系网络图的邻接信息，其中邻接表可以进一步包括正向邻接表和逆邻接表。在另一种示例中，基于正邻接表和逆邻接表生成十字链表，采用十字链表记录有向图中节点之间的连接关系。

在其他实施例中，还可以采用其他形式记录邻接信息。

于是，图神经网络GNN 23可以基于邻接信息，确定当前节点的邻居节点，以及当前节点与这些邻居节点之间的连接边的信息，将这些邻居节点的节点信息和连接边的边信息与特征提取层21输入进来的当前节点的特征向量进行综合处理，从而得到第二输出。

具体的，在一个实施例中，图神经网络GNN 23采用图卷积网络GCN(GraphConvolutional Network)实现。

图4示出根据一个实施例的图卷积网络GCN的示意图。在一个实施例中，图卷积网络GCN包含多个网络层，每个网络层通过其中的神经元定义了一个神经网络模型f(X,A)，其中X为输入特征向量，即前述的特征提取层21输入到GCN的、当前节点的特征向量，A为关系网络图的邻接矩阵，该神经网络模型f(X，A)更具体的可以表示为：

其中，为S+λI的度矩阵，λ为超参数，用于控制节点相对于其邻居节点的权重，在原始模型中被设定为1。

H^(l+1)表示每一网络层的输出。l＝0时，H⁰＝X，即为输入层接收到节点的特征向量X的情况。d*d维向量W^(l)和d*1维的参数b均为可训练的网络层参数，σ为非线性函数。在不同例子中，σ函数可以是Relu函数，sigmoid函数，tanh函数，softmax函数等等。

通过上式可以看到，网络的第一层使用邻接矩阵中的元素作为权重因子，对当前节点及其邻居节点(有标签或无标签)的特征向量进行求和，然后使用W^(l)和b进行线性变换操作，之后施加非线性激活函数σ。后续的每个网络层的操作也至少包括，使用邻接矩阵中的元素为权重因子，对上一网络层输出的节点向量及其邻居节点向量进行加权求和操作；此外还包括，使用W^(l)和b进行的线性变换操作，以及施加的非线性激活函数σ操作。

换而言之，对于节点u_i，第l层的输出通过下式计算：

其中W^l和b^l为l层的可训练的网络层参数，nhood(i)表示节点i的邻居节点。

如此，在图卷积网络GCN中，结合邻接矩阵所表达的邻接信息，对节点的特征向量进行处理。

在一个实施例中，上述邻接矩阵可以是归一化之后的矩阵，如此避免有些邻接矩阵中元素分布差异过大的情况。例如，在有些关系网络图中包含一些超级节点，超级节点跟图中的几乎每个节点都有连接；另一方面，有一些节点非常孤立，连接极少，这就会造成邻接矩阵中不同节点对应的连接边的数目(例如对应于矩阵中某行或某列的元素之和)差异非常大。为此，可以对邻接矩阵进行归一化。在GCN中使用归一化的邻接矩阵进行加权求和，相当于对当前节点和邻接节点进行了平均池化(average pooling)操作。

在其他实施例中，图神经网络GNN 23还可以采用其他的网络结构和隐藏层算法。然而，共同点是，图神经网络GNN 23所进行的第二处理，需要结合关系网络图的邻接信息，对当前节点的特征向量进行综合处理，从而得到第二输出。

对比深度神经网络DNN 22和图神经网络GNN 23的处理过程可以理解，深度神经网络DNN 22所进行的第一处理仅针对当前节点的特征向量，侧重于分析节点本身的属性特征，即单点特征；图神经网络GNN 23所进行的第二处理需要结合关系网络图的邻接信息，引入了当前节点与其他节点的关系特征。

接下来，通过融合层24将深度神经网络DNN 22的第一输出和图神经网络23的第二输出进行融合，基于融合结果输出针对当前节点的预测结果。为了表述方便，将第一输出记为H1，将第二输出记为H2。在不同实施例中，融合层24可以通过各种不同方式对H1和H2进行融合，得到融合结果H。

在一个实施例中，融合层24通过一个融合函数F对第一输出H1和第二输出H2进行融合：

H＝F(H1，H2)

其中融合函数F可以是各种线性或非线性函数。

在一个实施例中，融合层24对第一输出H1和第二输出H2进行加权求和(对应于融合函数为线性求和的情况)，即：

H＝w1*H1+w2*H2

其中w1为第一输出对应的第一权重因子，w2为第二输出对应的第二权重因子。

可以理解，第一输出H1和第二输出H2均为输出向量的形式；而权重因子w1和w2可以是标量，也可以是向量，甚至是矩阵。权重因子w1和w2的值通过神经网络系统的训练过程而优化、确定。

在一个实施例中，进一步地，将上述权重因子设置为对应输出的函数，例如，将第一权重因子w1设置为第一输出H1的函数，将第二权重因子w2设置为第二输出H2的函数：

w1＝f1(H1)

w2＝f2(H2)

更具体的，上述函数具体形式可以为：

w1＝g(u1*H1+b1)

w2＝g(u2*H2+b2)

其中函数g优选为非线性函数，例如sigmoid函数，tanh函数。

如此，训练和确定权重因子w1和w2，即训练和确定参数u1，b1，u2，b2。

在以上方式中，权重因子w1和w2互相独立训练，并且不确保最终结果H的取值范围。

在另一实施例中，首先将第一权重因子与第二权重因子之和设为1，然后仅设置和调整其中一个。例如，将融合结果H设定为：

H＝α*H1+(1-α)*H2

如此，仅需要设置和调整第一权重因子α，第二权重因子随之确定。

在一个实施例中，该第一权重因子α可以设置为第一输出的函数，或者，第一输出和第二输出的函数，即：

α＝g(H1)＝g(u*H1+b)，或者

α＝g(H1，H2)＝g(u1*H1+u2*H2+b)

当然，也可以设置和调整第二权重因子β，使得第一权重因子为(1-β)，即：

H＝(1-β)*H1+β*H2

进一步地，也可以将第二权重因子设置为第二输出的函数，或者，第一输出和第二输出的函数，即：

β＝g(H2)＝g(u*H2+b)，或者

β＝g(H1，H2)＝g(u1*H1+u2*H2+b)。

以上举例了几种典型的融合方式。在以上举例的基础上，本领域技术人员还可以联想到其他类似的融合方式，这些方式均应涵盖在本说明书的构思之内。

通过各种融合方式，融合层24得到融合结果H，并基于融合结果H输出针对当前节点的预测结果。该预测结果在训练阶段，是针对有标签节点的预测值；在使用阶段，是针对未知结果的最终分类预测。下面描述图2所示的神经网络系统在训练阶段和使用阶段的执行过程。

对于图2所示的组合了深度神经网络DNN和图神经网络GNN的神经网络系统，可以采用端到端方式进行训练。具体而言，在训练阶段，在整个神经网络系统的输入侧输入带标签的节点信息，即特征提取层21提取若干带标签节点的特征向量。如前所述，根据业务目的不同，标签可以是各种类别标签，例如用于表示风险等级的标签，比如1表示高风险用户，0表示普通用户，等等。然后，在整个神经网络系统的输出侧获取针对各个节点的预测结果。具体地，该预测结果是融合层24根据融合结果而输出，可以体现为针对各个节点的预测值。将各个节点的预测值与其标签进行比对，根据比对结果和预设的损失函数，得到这批样本的误差，然后通过误差反向传播，对整个神经网络系统的网络参数进行调整，并最终确定出使得误差达到最小的网络参数。一旦确定出最优的网络参数，可以认为完成了神经网络系统的训练，该神经网络系统可以用于未知节点的预测。

在使用阶段，将未知节点的节点信息输入到神经网络系统的输入侧，即，即特征提取层21提取未知节点的特征向量。然后采用神经网络系统中经由训练阶段而确定下来的网络参数，通过并列的深度神经网络DNN和图神经网络GNN对该特征向量进行处理，由融合层24基于融合结果输出预测结果，该预测结果即针对该未知节点进行业务预测的输出结果。

综合以上可以看到，图2的神经网络系统，由于组合了深度神经网络DNN和图神经网络GNN，将DNN的单节点特征处理能力和GNN的关系特征处理能力进行了融合，使得组合的神经网络系统可以对各种各样的关系网络图进行有效的分析和学习。在关系网络图中关系特征完善且有效的情况下，图神经网络GNN可以发挥主要作用，深度神经网络DNN对单节点的分析作为补充；而如果关系特征缺失或者效果有限，例如关系网络图中存在大量孤立节点，或者关系网络图的构建所基于的关联关系对于业务并不十分有效，在这样的情况下，仍然可以通过深度神经网络DNN的分支，对图中的节点进行有效分析处理，给出较为理想的预测结果。

根据另一方面的实施例，还提供一种通过计算机执行的、用于分析关系网络图的方法。图5示出根据一个实施例的分析关系网络图的方法流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、计算平台、计算集群来执行。如图5所示，该方法包括：

步骤51，提取关系网络图中的节点的特征向量；

步骤52，采用深度神经网络，对所述特征向量进行第一处理，得到第一输出；

步骤53，采用图神经网络，结合所述关系网络图的邻接信息，对所述特征向量进行第二处理，得到第二输出；其中所述邻接信息用于表示所述关系网络图所包含的各个节点之间的连接关系；

步骤54，对所述第一输出和所述第二输出进行融合，基于融合结果输出针对所述节点的预测结果。

需要说明的是，步骤52和步骤53可以以任意先后顺序执行，或并行执行，在此不做限定。

在一种可能的实施方式中，关系网络图为有向图，所述邻接信息包括，所述有向图对应的邻接表或十字链表。

在一种实施方案中，邻接信息包括所述关系网络图的邻接矩阵。

根据一种实施方式，上述图神经网络为图卷积网络，所述图卷积网络包含多个网络层以进行所述第二处理，所述第二处理至少包括，使用所述邻接矩阵中的元素为权重因子，对所述节点及其邻居节点的特征向量进行加权求和操作。

在一种实施方式中，步骤54中对所述第一输出和所述第二输出进行融合具体包括，对所述第一输出和所述第二输出进行加权求和，其中所述第一输出对应第一权重因子，所述第二输出对应第二权重因子。

进一步的，在一个实施例中，上述第一权重因子是第一输出的函数，第二权重因子是第二输出的函数。

第一权重因子是第一输出的函数；或者，

第二权重因子是第二输出的函数。

或者，在又一实施例中，第一权重因子与第二权重因子和为1，并且：

第一权重因子是第一输出和第二输出的函数；或者，

第二权重因子是第一输出和第二输出的函数。

通过以上的方法，结合深度神经网络对单节点特征的处理，以及图神经网络对节点关系特征的处理，综合地对关系网络图进行分析。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图5所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图5所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种通过计算机执行的、用于分析关系网络图的神经网络系统，包括：

特征提取层，用于提取关系网络图中的节点的特征向量；

2.根据权利要求1所述的神经网络系统，其中所述关系网络图所包含的各个节点对应于各个用户，所述各个节点之间的连接关系包括以下中的一种或多种：用户之间的社交关系、媒介关系和资金关系。

3.根据权利要求1所述的神经网络系统，其中所述关系网络图为有向图，所述邻接信息包括，所述有向图对应的邻接表或十字链表。

4.根据权利要求1所述的神经网络系统，其中所述邻接信息包括所述关系网络图的邻接矩阵。

5.根据权利要求4所述的神经网络系统，其中所述图神经网络为图卷积网络，所述图卷积网络包含多个网络层以进行所述第二处理，所述第二处理至少包括，使用所述邻接矩阵中的元素为权重因子，对所述节点及其邻居节点的特征向量进行加权求和操作。

6.根据权利要求1所述的神经网络系统，所述融合层具体用于，对所述第一输出和所述第二输出进行加权求和，其中所述第一输出对应第一权重因子，所述第二输出对应第二权重因子。

7.根据权利要求6所述的神经网络系统，其中所述第一权重因子是所述第一输出的函数，所述第二权重因子是所述第二输出的函数。

8.根据权利要求6所述的神经网络系统，其中所述第一权重因子与第二权重因子和为1，并且：

所述第一权重因子是所述第一输出的函数；或者，

所述第二权重因子是所述第二输出的函数。

9.根据权利要求6所述的神经网络系统，其中所述第一权重因子与第二权重因子和为1，并且：

所述第二权重因子是所述第一输出和第二输出的函数。

10.根据权利要求1所述的神经网络系统，所述神经网络系统通过端到端方式训练。

11.一种通过计算机执行的、用于分析关系网络图的方法，包括：

提取关系网络图中的节点的特征向量；

12.根据权利要求11所述的方法，其中所述关系网络图所包含的各个节点对应于各个用户，所述各个节点之间的连接关系包括以下中的一种或多种：用户之间的社交关系、媒介关系和资金关系。

13.根据权利要求11所述的方法，其中所述关系网络图为有向图，所述邻接信息包括，所述有向图对应的邻接表或十字链表。

14.根据权利要求11所述的方法，其中所述邻接信息包括所述关系网络图的邻接矩阵。

15.根据权利要求14所述的方法，其中所述图神经网络为图卷积网络，所述图卷积网络包含多个网络层以进行所述第二处理，所述第二处理至少包括，使用所述邻接矩阵中的元素为权重因子，对所述节点及其邻居节点的特征向量进行加权求和操作。

16.根据权利要求11所述的方法，其中所述对所述第一输出和所述第二输出进行融合包括，对所述第一输出和所述第二输出进行加权求和，其中所述第一输出对应第一权重因子，所述第二输出对应第二权重因子。

17.根据权利要求16所述的方法，其中所述第一权重因子是所述第一输出的函数，所述第二权重因子是所述第二输出的函数。

18.根据权利要求16所述的方法，其中所述第一权重因子与第二权重因子和为1，并且：

所述第一权重因子是所述第一输出的函数；或者，

所述第二权重因子是所述第二输出的函数。

19.根据权利要求16所述的方法，其中所述第一权重因子与第二权重因子和为1，并且：

所述第二权重因子是所述第一输出和第二输出的函数。

20.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求11-19中任一项所述的方法。