CN110008967A - 一种融合结构和语义模态的行为表征方法和系统 - Google Patents

Abstract

本申请公开了一种融合结构和语义模态的行为表征方法和系统，所述方法包括：对原始数据进行处理，得到多个子图；对所述多个子图分别进行数据结构化处理，将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；对所述每个子图的输出结果进行合并。

Description

一种融合结构和语义模态的行为表征方法和系统

技术领域

本申请涉及神经网络技术，尤其涉及一种融合结构和语义模态的行为表征方法和系统。

背景技术

近年来，卷积神经网络的迅速发展，在网络数据上已经取得了巨大的成功，比如图片处理，手写数据集的识别等问题。深度学习方法在对象识别和图像分类方面取得了巨大成功。但是，自然界的许多问题都不能简单的建模为网格数据，最典型的就是社交网络，在社交网络中，用户构成一个个的点，他们之间的认识与否构成边，边上的权值有节点的度构成，通过这个模型可以解决社交网络中的许多问题。因此，最近的一些工作集中在将卷积神经网络推广到网格之外的结构，即从2D/3D图像到任意图形或网络。图上的卷积神经网络通常被称为图形卷积网络(Graph Convolutional Network，GCN)，并且通过将任意图形表示为具有有效的丰富结构化语义信息的固定特征映射，在特征提取中具有鲁棒性。

然而这种在任意图上做卷积的方式目前存在几个问题：

1)局部邻域中图卷运算过度简化。作为局部邻域中节点值的聚合，存在与基本图卷积运算相关联的信息的潜在损失；

2)对同构图进行分类的效果差。GCN模型不能直接应用，因为它与图中的节点顺序的等价性相当，这意味着它们不能保证任何两个同构图的输出总是相同的；

3)获取全局信息的能力有限。图形卷积过滤器是本地数据，并提供本地数据的平均/聚合视图。这个缺点在处理节点标签不存在的图表时会造成严重的困难；

4)进行最大池化(Max Pooling)时存在的缺点。由于对节点排序进行了比较，MaxPooling无法保证同构子图共享不变特征向量，因为Max Pooling可以测量子图的比较顺序。并且，Max Pooling运算符是聚合后用于实现不变性的流行选择。

这些问题的存在，使得现在的神经网络对于任意图的处理学习方面效果存在不少问题，导致效果并不好。

申请内容

为解决上述技术问题，本申请实施例提供了一种融合结构和语义模态的行为表征方法和系统。

本申请实施例提供的神经网络处理数据的方法，包括：

对原始数据进行处理，得到多个子图；对所述多个子图分别进行数据结构化处理；

将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；

对所述每个子图的输出结果进行合并。

本申请实施例提供的神经网络处理数据的装置，包括：

子图提取模块，用于对原始数据进行处理，得到多个子图；

结构化处理模块，用于对所述多个子图分别进行数据结构化处理；

卷积处理模块，用于将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；

合并模块，用于对所述每个子图的输出结果进行合并。

采用本申请实施例的上述技术方案，1)考虑了不同边缘对节点标注产生的影响。实现了深度卷积神经网络来提取辨别图特征，特别是为了避免同构子图问题；2)能够提取复杂的空间信息，并在现实世界图中提取不同的子图；3)通过使用提出的基于匹配的子图归一化和掩盖的自我注意层在大多数任务中获得了显着的性能提升。

附图说明

图1为本申请实施例提供的神经网络处理数据的方法的流程示意图；

图2为本申请实施例提供的社交网络的行为表征架构图；

图3为本申请实施例提供的神经网络处理数据的架构图；

图4为本申请实施例提供的神经网络处理数据的装置的结构组成示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

任意图模型是很常见的一种结构，许多现实世界的问题都可以建模成该结构，但是它的处理上还存在不少问题，因此，本申请实施例提出了一种新的融合结构和语义模态的系统来解决这类问题，这个系统可以克服卷积运算和获取相邻节点特征的局限性，通过选择合理的结构，可以更好的获得整体的数据信息，更快速的进行处理，以在社交网络上进行的实验为例：本申请实施例为社交网络数据集精心设计了合适的网络主题，并执行与主题匹配的引导图规范化选定的小图。并且适应可计算的自注意前提条件，不仅放弃了两个方向的汇集操作，而且还通过设置水平步幅来确保特征映射上的每个维度代表特征性子图。

图1为本申请实施例提供的神经网络处理数据的方法的流程示意图，如图1所示，所述神经网络处理数据的方法包括以下步骤：

步骤101：对原始数据进行处理，得到多个子图；对所述多个子图分别进行数据结构化处理。

本申请实施例中，可以使用python的graph-tool工具对原始数据进行处理，得到多个子图，并对多个子图分别进行数据结构化处理。需要说明的是，本申请实施例可以基于python环境来实现，不局限于此，在不偏离本申请实施例的技术方案核心的情况下，本申请实施例还可以基于其他语言环境来实现。

本申请实施例中，子图的提取过程可以通过以下步骤来实现：

1)对目标网络中的节点按照紧密中心度进行排序；

2)选择前k个节点作为各个子图的中心节点，k是子图个数；

3)针对所述前k个节点中的各个节点，将该节点周围的m个节点增加到该节点对应的子图中，m是该子图中的节点数。

本申请实施例中，子图的数据结构化处理过程可以通过以下步骤来实现：

1)针对所述多个子图中的各个子图，将该子图中的节点按照紧密中心度进行排序，并选择两跳结构对所述子图进行结构化处理，得到中心节点、第二跳节点和三跳节点；基于所述中心节点和该节点之后的节点构成的三角结构，形成第一块矩阵；

2)基于所述第二跳节点和该节点之后的节点构成的三角结构，形成第二块矩阵；基于所述第三跳节点和该节点之后的节点构成的三角结构，形成第三块矩阵；

3)将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接，构成所述子图的结构化表示。

步骤102：将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果。

这里，神经网络通过卷积操作对每个子图的结构化数据进行处理。

步骤103：对所述每个子图的输出结果进行合并。

在神经网络的卷积层后，加入注意力(attention)模型，利用注意力模型提取相邻子图的之间的联系信息。所述注意力模型采用如下公式：

其中，是注意力模型计算的第i个节点的结果，j代表与节点i相邻的节点，S是注意力的个数，是神经网络训练出来的每个子图的输出结果进行合并后的结果，表示子图之间的连接关系因子。

以下结合具体应用实例对本申请实施例的技术方案做进一步说明。参照图2，图2为本申请实施例提供的社交网络的行为表征架构图。

(1)从社交网络中提取子图

首先社交网络是很大的数据集，包含的信息量巨大，如果直接用原始数据进行训练，对内存的需求和训练速度都会有很大的挑战，因此，首先要从图中选择小的子图进行训练，但是又不能丢弃过多的图的信息，不然信息量不足，网络就无法进行准确的学习了。因此，需要合理的提取子图。

本申请实施例通过紧密中心度来选择子图，紧密中心度的公式为：

该公式表示某个节点到其他节点的难易程度，也就是到其他所有结点节点距离的平均值的倒数。

首先对社交网络中的节点按照紧密中心度进行排序，然后选择前k个节点(k是子图个数)作为中心点进行子图扩展，将它周围的m个节点增加进来(m是每个子图的节点数)。

(2)从子图中获得数据信息并结构化表示

子图并不能直接进行处理，需要将其转换为神经网络能够处理的数据结构，也就是矩阵形式。

首先，将子图中的节点同样按照紧密中心度进行排序，很显然，中心节点是第一个。然后，选择两跳结构来将子图结构化表示，具体地：将节点分为中心节点，二跳节点(与中心点距离为1的节点)，三跳节点(与中心点距离为2的节点)，因为社交网络数据集之间的差异相对较小代表了激活群体或程度，两跳路径主题具有对称属性，当忽略节点的异构性时，适合于局部匹配。最后，以这些节点和包含它们之后的节点构成的三角结构构成一行矩阵，将这样的三块矩阵进行拼接，构成子图数据的结构化表示，参照图2。因为边缘的分布在图中非常不平衡，因此三角形或更复杂的图案很少匹配。甚至密集的子图也可以被划分为多个双跳路径图案并且大致重建。此外，两个跳跃路径可以很容易地表示为数组。

(3)网络训练子图的结构化数据

参照图3，将子图的结构化数据输入神经网络中进行学习，因为一个结构信息单元是三角结构，因此，输入矩阵的一行就表示一个结构信息单元，做卷积的时候需要一起做。

(4)使用注意力模型进一步提取子图之间的联系信息

从图2可以看到，在网络训练完之后本实例在最后又加入了attention层，这一层的主要目的是训练子图之间的联系信息，得以更好的获得整个图的结构信息。具体地，将神经网络卷积之后的子图数据进行合并，得到一个一维向量之后通过attention层相邻节点之间的交流信息，得到新的特征向量attention模型的公式是：

其中，是注意力模型计算的第i个节点的结果，j代表与节点i相邻的节点，S是注意力的个数，是神经网络训练出来的每个子图的输出结果进行合并后的结果，表示子图之间的连接关系因子。

进一步，的公式为：

和W是参数，α_ij表示子图之间的连接关系，多个Attention可以提取更多信息，不同的Attention关注的点可能不一样，这样就能提取出更多的信息。

图4为本申请实施例提供的神经网络处理数据的装置的结构组成示意图，如图4所示，所示装置包括：

子图提取模块401，用于对原始数据进行处理，得到多个子图；

结构化处理模块402，用于对所述多个子图分别进行数据结构化处理；

卷积处理模块403，用于将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；

合并模块404，用于对所述每个子图的输出结果进行合并。

在一实施方式中，所述子图提取模块401，用于：

对目标网络中的节点按照紧密中心度进行排序；

选择前k个节点作为各个子图的中心节点，k是子图个数；

针对所述前k个节点中的各个节点，将该节点周围的m个节点增加到该节点对应的子图中，m是该子图中的节点数。

在一实施方式中，所述结构化处理模块402，用于：

针对所述多个子图中的各个子图，将该子图中的节点按照紧密中心度进行排序，并选择两跳结构对所述子图进行结构化处理，得到中心节点、第二跳节点和三跳节点；

基于所述中心节点和该节点之后的节点构成的三角结构，形成第一块矩阵；基于所述第二跳节点和该节点之后的节点构成的三角结构，形成第二块矩阵；基于所述第三跳节点和该节点之后的节点构成的三角结构，形成第三块矩阵；

将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接，构成所述子图的结构化表示。

在一实施方式中，所述装置还包括：

注意力模块405，用于利用注意力模型提取相邻子图的之间的联系信息。

在一实施方式中，所述注意力模型采用如下公式：

其中，是注意力模型计算的第i个节点的结果，j代表与节点i相邻的节点，S是注意力的个数，是神经网络训练出来的每个子图的输出结果进行合并后的结果，表示子图之间的连接关系因子。

本领域技术人员应当理解，图4所示的神经网络处理数据的装置中的各模块的实现功能可参照前述神经网络处理数据的方法的相关描述而理解。图4所示的神经网络处理数据的装置中的各模块的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种融合结构和语义模态的行为表征方法和系统，其特征在于，所述方法包括：

对原始数据进行处理，得到多个子图；对所述多个子图分别进行数据结构化处理；

将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；

对所述每个子图的输出结果进行合并。

2.根据权利要求1所述的方法，其特征在于，所述对原始数据进行处理，得到多个子图，包括：

对目标网络中的节点按照紧密中心度进行排序；

选择前k个节点作为各个子图的中心节点，k是子图个数；

针对所述前k个节点中的各个节点，将该节点周围的m个节点增加到该节点对应的子图中，m是该子图中的节点数。

3.根据权利要求1所述的方法，其特征在于，所述对所述多个子图分别进行数据结构化处理，包括：

针对所述多个子图中的各个子图，将该子图中的节点按照紧密中心度进行排序，并选择两跳结构对所述子图进行结构化处理，得到中心节点、第二跳节点和三跳节点；

基于所述中心节点和该节点之后的节点构成的三角结构，形成第一块矩阵；基于所述第二跳节点和该节点之后的节点构成的三角结构，形成第二块矩阵；基于所述第三跳节点和该节点之后的节点构成的三角结构，形成第三块矩阵；

将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接，构成所述子图的结构化表示。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

利用注意力模型提取相邻子图的之间的联系信息。

5.根据权利要求4所述的方法，其特征在于，所述注意力模型采用如下公式：

其中，是注意力模型计算的第i个节点的结果，j代表与节点i相邻的节点，S是注意力的个数，是神经网络训练出来的每个子图的输出结果进行合并后的结果，表示子图之间的连接关系因子。

6.一种神经网络处理数据的装置，其特征在于，所述装置包括：

子图提取模块，用于对原始数据进行处理，得到多个子图；

结构化处理模块，用于对所述多个子图分别进行数据结构化处理；

卷积处理模块，用于将处理得到的结构化数据输入神经网络中进行训练，得到每个子图的输出结果；

合并模块，用于对所述每个子图的输出结果进行合并。

7.根据权利要求6所述的装置，其特征在于，所述子图提取模块，用于：

对目标网络中的节点按照紧密中心度进行排序；

选择前k个节点作为各个子图的中心节点，k是子图个数；

针对所述前k个节点中的各个节点，将该节点周围的m个节点增加到该节点对应的子图中，m是该子图中的节点数。

8.根据权利要求6所述的装置，其特征在于，所述结构化处理模块，用于：

针对所述多个子图中的各个子图，将该子图中的节点按照紧密中心度进行排序，并选择两跳结构对所述子图进行结构化处理，得到中心节点、第二跳节点和三跳节点；

基于所述中心节点和该节点之后的节点构成的三角结构，形成第一块矩阵；基于所述第二跳节点和该节点之后的节点构成的三角结构，形成第二块矩阵；基于所述第三跳节点和该节点之后的节点构成的三角结构，形成第三块矩阵；

将所述第一块矩阵、所述第二块矩阵和所述第三块矩阵进行拼接，构成所述子图的结构化表示。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：

注意力模块，用于利用注意力模型提取相邻子图的之间的联系信息。

10.根据权利要求9所述的装置，其特征在于，所述注意力模型采用如下公式：

其中，是注意力模型计算的第i个节点的结果，j代表与节点i相邻的节点，S是注意力的个数，是神经网络训练出来的每个子图的输出结果进行合并后的结果，表示子图之间的连接关系因子。