CN106997474A - 一种基于深度学习的图节点多标签分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图节点多标签分类方法，首先加载图数据模块，解析图数据，使用字典的形式保存；生成游走路径模块，完成在图数据中的随机游走，返回生成游走路径；生成节点特征向量模块，将上一步返回的游走路径，以及指定的向量表示维数和上下文窗口大小作为输入，调用word2vec算法计算每一个图节点的特征向量表示；生成训练数据模块，从所有图节点中随机抽取一定百分比的节点作为训练节点数据，对于每一个节点，取其特征向量与该节点对应的标签序列组成二元组作为一个训练样本；最后构建深度置信网络模型。本发明提出的图节点多标签分类算法可以取得比传统的多标签分类算法更高的正确率。

Description

一种基于深度学习的图节点多标签分类方法

技术领域

本发明提出了一种采用深度学习算法深度置信网络分类模型对网络中的节点进行多标签分类的方法，涉及网络中节点的特征表示，深度置信网络的分类模型的构建，以及训练数据的生成等。

背景技术

基于游走的网络表示学习算法，例如deepwalk，是利用了word2vec的理论方法，将网络中的节点与自然语言处理中的词单元进行了类比，将网络中的一条一条的连接路径类比作自然语言处理中的一条语句；利用概率语言模型中求解每一个词语之间共现关系(即所有的条件概率参数)的方法来探讨网络节点之间的连接结构；利用生成词向量的方法生成了网络中节点的向量表示方法。通过这种类比算法得到的网络节点的向量，反映了对应网络节点与周围邻居节点联系的结构特征，同时实现了网络节点的低维向量表示，这就为针对网络数据的一些数据挖掘问题，比如网络节点分类，链路预测，社区发现等等，提供了一个新的使用机器学习算法进行处理或是优化的思路。

深度置信网络计算模型采用全新的网络结构和训练方式，很好地解决了传统神经网络模型中特征人工提取、容易陷入局部极小以及深层网络难以优化的三个问题。现在，DBN已被广泛作为一种典型的改造传统的浅层神经网络计算模型网络层数和训练方式的一种深度学习算法。

深度置信网络模型由多个受限玻尔兹曼机模型和一个分类器组成。每一个受限玻尔兹曼机具有两层，可见层(即输入层)接收上一层模型的输入或原始输入，隐层作为下一个计算模型的输入层，比如逻辑回归模型或者下一个受限玻尔兹曼机的输入层。通过可见层与隐层之间的权重，以及正向传播、反向传播的过程，受限玻尔兹曼机计算可见层的数据特征在隐层向量空间中的特征表示，实现了自动的提取输入数据的内在特征。

图节点的多标签分类问题是图数据挖掘的常见问题。因为每一个图节点都具有数量不定的标签个数，所以多标签分类问题的预测要比每个样本只可以属于一类的简单分类问题复杂很多，同时也对分类算法和样本特征提出了更高的要求。同时，在分类结果的评价上，与简单分类问题也不同，通常使用F1函数进行比较。F1函数是对分类结果的正确率和召回率的加权平均。考虑到每一个类别标签在数量上的不平衡性，需要对每一个类别上的F1函数再进行一个加权平均，通常包括“micro”、“macro”、“samples”和“weighted”四种加权方式。但这种传统的多标签分类算法存在的缺点是准确率偏低。

发明内容

本发明针对大规模无向网络，提出一种使用深度置信网络分类模型进行网络节点多标签分类的方法。

具体技术方案为一种基于深度学习的图节点多标签分类方法，包含以下步骤：

步骤1：加载图数据模块，解析图数据，使用字典的形式保存，其中字典的key表示图中的某一个节点，字典的value表示该节点的邻居节点序列；

步骤2：生成游走路径模块，完成在图数据中的随机游走，返回生成游走路径；

步骤3：生成节点特征向量模块，将上一步返回的游走路径，以及指定的向量表示维数和上下文窗口大小作为输入，调用word2vec算法计算每一个图节点的特征向量表示；

步骤4：生成训练数据模块，从所有图节点中随机抽取一定百分比的节点作为训练节点数据，对于每一个节点，取其特征向量与该节点对应的标签序列组成二元组作为一个训练样本，同时，选取一定百分比的节点作为验证节点数据，剩余节点作为测试节点数据，每一个验证样本和测试样本同样采用二元组的形式；

步骤5：构建深度置信网络模型，输入层神经元个数为图节点特征向量的维数，隐层个数及神经元个数可以依据训练效果灵活调整，输出层的神经元个数为标签个数.对于每一个训练样本，其中x向量作为模型输入，y向量作为训练或测试的目标。

进一步，步骤2中生成游走路径模块具体步骤为，假设指定游走次数为N，在每一次的游走中首先将图中的节点序列随机洗牌，然后依次从每一个节点开始游走，游走完成指定路径长度L后，保存游走路径path_list到路径集合Paths中，并从下一个节点继续开始游走，直到最后一个节点，根据指定的游走次数，迭代此过程若干次，返回游走路径集合，其中，path_list的形式可以表示为：

path_list＝[S,n₁,n₂,L,n_L-1]，其中，S为起始节点，后面是游走到的节点序列。

进一步，步骤5中深度置信网络模型训练过程为：首先使用训练样本对RBM进行逐层预训练，使得神经网络的参数取得较优的初始值，然后使用通过RBM学习得到的样本的新的特征表示对逻辑回归模型进行有监督的训练，使用的是训练样本数据；每一轮训练后，根据反向传播原理，使用验证样本依据分类效果对全网参数进行微调，直到完成指定的训练轮数或者每一轮的参数更新值与原值的差小于指定的阈值，最后，使用训练好的模型对测试样本进行分类，评估分类效果。

深度置信网络的训练过程可以描述为以下步骤：

1)将输入样本x作为第一个RBM结构的可见层，即x＝h(0)；

2)利用p(h(1)＝1|h(0))或者p(h(1)|h(0))得到输入层的另一种表示，作为第二层的数据；

3)将第二层作为RBM的可见层进行训练，即把转换后的数据作为新的训练样本；

4)对所有的层迭代操作第2,3步骤；

5)以末层的逻辑回归模型的目标函数作为优化目标，对此深度置信网络中的所有的参数进行微调。

本发明的有益效果在于：

1、本发明算法中深度置信网络前部的受限玻尔兹曼机模型可以将节点的特征向量转化到不同向量空间的特征表示，具有进一步提取图节点的特征以及降维的作用。

2、通过设置合适的深度置信网络训练参数，本发明设计的图节点多标签分类算法可以取得比传统的多标签分类算法更高的正确率。

附图说明

图1为本发明整体流程图。

图2为生成游走路径图。

图3为深度置信网络模型图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

首先对分类方法中的主要步骤做一概括性说明：

加载图数据模块完成将各种格式保存的图数据加载到内存，并以字典的形式保存，其中字典的key表示图中的某一个节点，字典的value表示该节点的邻居节点序列。

生成游走路径模块完成在图数据中的随机游走，并生成游走路径。具体做法是，将图中的节点序列随机洗牌，然后依次从每一个节点开始游走，游走完成指定路径长度后，保存游走路径，并从下一个节点继续开始游走，直到最后一个节点。根据指定的游走次数，迭代此过程若干次，返回游走路径集合。

生成节点特征向量模块将上一步返回的游走路径，以及指定的向量表示维数和上下文窗口大小作为输入，调用word2vec算法，算法返回每一个图节点的向量表示。

生成训练数据模块，从所有图节点中随机抽取一定百分比的节点作为训练节点数据。对于每一个节点，取其特征向量与该节点对应的标签序列组成二元组作为一个训练样本。在剩余图节点中，选取一定百分比的节点作为验证节点数据，剩余节点作为测试节点数据，每一个验证样本和测试样本同样采用二元组的形式。

构建深度置信网络模型，输入层神经元个数为图节点特征向量的维数，隐层个数及神经元个数可以依据训练效果灵活调整，输出层的神经元个数为标签个数。训练过程中，首先使用训练样本对受限玻尔兹曼机(Restricted Boltzmann Machines,RBM)进行预训练。然后，对逻辑回归模型(Logistic Regression,LR)进行训练，每一轮训练后，使用验证样本依据分类效果对全网参数进行微调。最后，使用训练好的模型对测试样本进行分类，评估分类效果。

图1为本发明的整体执行过程，具体来讲包括：

步骤1：加载图数据模块解析各种格式保存的图数据，使用字典的形式保存，其中字典的key表示图中的某一个节点，字典的value表示该节点的邻居节点序列。即

步骤2：生成游走路径模块完成在图数据中的随机游走，返回生成游走路径。具体操作如图2所示。假设指定游走次数为N，在每一次的游走中首先将图中的节点序列随机洗牌，然后依次从每一个节点开始游走，游走完成指定路径长度L后，保存游走路径path_list到路径集合Paths中，并从下一个节点继续开始游走，直到最后一个节点。根据指定的游走次数，迭代此过程若干次，返回游走路径集合。其中，path_list的形式可以表示如下

path_list＝[S,n₁,n₂,L,n_L-1] (0.2)

其中，S为起始节点，后面是游走到的节点序列。

步骤3：生成节点特征向量模块将上一步返回的游走路径，以及指定的向量表示维数和上下文窗口大小作为输入，调用word2vec算法。Word2vec算法可以为我们计算每一个图节点的向量表示。以Google公司实现的python版本的word2vec算法为例，其调用接口形如

model＝word2vec(paths,representation_size,context_size,L)

其中，paths为上一步求得的游走路径集合，representation_size代表节点向量的维度，context_size为节点上下文窗口的大小。算法返回一个model类，该类定义了一些比较两个节点的特征相似性的方法。这里我们直接通过指定节点作为索引，从该类中得到对应节点的特征向量表示，从而作为深度置信网络分类模型的输入。

步骤4：生成训练数据模块，从所有图节点中随机抽取一定百分比的节点作为训练节点数据。对于每一个节点，取其特征向量与该节点对应的标签序列组成二元组作为一个训练样本。因此一个训练样本的形式类似于

Z＝(x y),＝([x₁,x₂,L,x_d],[y₁,y₂,L,y_m]) (0.3)

其中，x表示一个节点的特征向量，具有d维；y表示该节点的标签序列，这里假设具有m个标签。该节点具有某一个标签，则y相对应维度上的取值为1，否则为0。

同时，选取一定百分比的节点作为验证节点数据，剩余节点作为测试节点数据，每一个验证样本和测试样本同样采用二元组的形式。

步骤5：构建深度置信网络模型，输入层神经元个数为图节点特征向量的维数，隐层个数及神经元个数可以依据训练效果灵活调整，输出层的神经元个数为标签个数.对于每一个训练样本，其中x向量作为模型输入，y向量作为训练或测试的目标。模型结构以及训练过程如图3所示。

训练过程中，首先使用训练样本对RBM进行逐层预训练，使得神经网络的参数取得较优的初始值。然后，使用通过RBM学习得到的样本的新的特征表示对逻辑回归模型(LR)进行有监督的训练，这里还是使用的是训练样本数据。每一轮训练后，根据反向传播原理，使用验证样本依据分类效果对全网参数进行微调，直到完成指定的训练轮数或者每一轮的参数更新值与原值的差小于指定的阈值。最后，使用训练好的模型对测试样本进行分类，评估分类效果。

深度置信网络的训练过程可以概括为如下步骤。

6)将输入样本x作为第一个RBM结构的可见层，即x＝h(0)；

7)利用p(h(1)＝1|h(0))或者p(h(1)|h(0))得到输入层的另一种表示，作为第二层的数据；

8)将第二层作为RBM的可见层进行训练，即把转换后的数据作为新的训练样本；

9)对所有的层迭代操作第2,3步骤；

10)以末层的逻辑回归模型的目标函数作为优化目标，对此深度置信网络中的所有的参数进行微调。

综上所述，本发明针对图数据中图节点的多标签分类任务设计了一种利用图节点的表示学习方法以及深度置信网络的分类模型，深度挖掘图节点向量表示的特征，可以实现相比于传统的多标签分类算法更高的准确率。

以上所述仅为本发明的优选实施案例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行改进，或者对其中部分技术进行同等替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度学习的图节点多标签分类方法，其特征在于包含以下步骤：

步骤1：加载图数据模块，解析图数据，使用字典的形式保存，其中字典的key表示图中的某一个节点，字典的value表示该节点的邻居节点序列；

步骤2：生成游走路径模块，完成在图数据中的随机游走，返回生成游走路径；

步骤3：生成节点特征向量模块，将上一步返回的游走路径，以及指定的向量表示维数和上下文窗口大小作为输入，调用word2vec算法计算每一个图节点的特征向量表示；

步骤4：生成训练数据模块，从所有图节点中随机抽取一定百分比的节点作为训练节点数据，对于每一个节点，取其特征向量与该节点对应的标签序列组成二元组作为一个训练样本，同时，选取一定百分比的节点作为验证节点数据，剩余节点作为测试节点数据，每一个验证样本和测试样本同样采用二元组的形式；

步骤5：构建深度置信网络模型，输入层神经元个数为图节点特征向量的维数，隐层个数及神经元个数可以依据训练效果灵活调整，输出层的神经元个数为标签个数.对于每一个训练样本，其中x向量作为模型输入，y向量作为训练或测试的目标。

2.根据权利要求1所述的基于深度学习的图节点多标签分类方法，其特征在于步骤2中生成游走路径模块具体步骤为，假设指定游走次数为N，在每一次的游走中首先将图中的节点序列随机洗牌，然后依次从每一个节点开始游走，游走完成指定路径长度L后，保存游走路径path_list到路径集合Paths中，并从下一个节点继续开始游走，直到最后一个节点，根据指定的游走次数，迭代此过程若干次，返回游走路径集合，其中，path_list的形式可以表示为：path_list＝[S,n₁,n₂,L,n_L-1]，其中，S为起始节点，后面是游走到的节点序列。

3.根据权利要求1所述的基于深度学习的图节点多标签分类方法，其特征在于步骤5中深度置信网络模型训练过程为：首先使用训练样本对RBM进行逐层预训练，使得神经网络的参数取得较优的初始值，然后使用通过RBM学习得到的样本的新的特征表示对逻辑回归模型进行有监督的训练，使用的是训练样本数据；每一轮训练后，根据反向传播原理，使用验证样本依据分类效果对全网参数进行微调，直到完成指定的训练轮数或者每一轮的参数更新值与原值的差小于指定的阈值，最后，使用训练好的模型对测试样本进行分类，评估分类效果。

4.根据权利要求3所述的基于深度学习的图节点多标签分类方法，其特征在于深度置信网络的训练过程可以描述为以下步骤：

1)将输入样本x作为第一个RBM结构的可见层，即x＝h(0)；

2)利用p(h(1)＝1|h(0))或者p(h(1)|h(0))得到输入层的另一种表示，作为第二层的数据；

3)将第二层作为RBM的可见层进行训练，即把转换后的数据作为新的训练样本；

4)对所有的层迭代操作第2,3步骤；

5)以末层的逻辑回归模型的目标函数作为优化目标，对此深度置信网络中的所有的参数进行微调。