CN111310068A - 基于动态图的社交网络节点分类方法 - Google Patents

Abstract

本发明公开了基于动态图的社交网络节点分类方法，利用sparsemax函数强化不同节点在时序前后的联系，并结合长短期记忆神经网络使稀疏化处理和细胞的门控共同作用，更好地对时序数据前后联系和依赖关系进行挖掘，充分表达了时序数据中节点状态的变化模式，从而提高社交网络节点分类的精准度。本发明解决了现有的社交网络节点分类方法中，对于社交网络中动态变化的时序数据，无法有效的挖掘节点之间的相互影响和不同时间的前后依赖关系的问题，可用于社交平台，推荐系统，信息系统，医疗健康，影视娱乐等领域中的动态结构社交节点分类问题。

Description

基于动态图的社交网络节点分类方法

技术领域

本发明涉及数据挖掘技术领域，尤其涉及基于动态图的社交网络节点分类方法。

背景技术

如今，社交网络的时序数据在社交系统，信息系统，医疗健康，金融市场等领域的应用变得越来越普遍。因此，动态图的节点分类任务已经成为一个重要且有价值的研究课题，如商品推荐，好友推荐等。传统如图卷积网络(GCN)和图注意力模型(GAT)等基于静态图的分类方法，其只对节点的静态状态敏感，并未考虑不同时间之间节点的关系。

目前流行的另一类方法是对图节点进行一系列的特征变换，从而挖掘其中的模式用于分类，如多层感知器(MLP)、长短期记忆神经网络(LSTM)和卷积神经网络(CNN)等。这类方法虽然在特征空间上隐式地对不同变量之间的关系进行捕获，但是难以刻画变量之间关系的变化模式。在时间序列节点分类问题上，变量之间关系的某类变化方式往往代表着一种分类的类别。例如，在购物平台上，用户A在t时刻更喜欢购买X类商品，但是在t+1，t+2，t+3时刻又对Y类商品感兴趣从而购买了Y类商品，最后在t+4时刻由于需要又购买了X类商品，综合了所有时间步以后，A用户更偏向于喜好Y类商品，但是在静态图中，由于在t时刻和最后的t+4时刻都是购买的X类商品，不一定能够很好的捕捉这种时序上的变化，从而导致最后对用户A的喜好分类不准确。上述两个类别中，变量之间关系的变化方式是不一样的，然而目前的方法无法很好的对这种变化进行表达并分类。

发明内容

本发明为解决现有的社交网络节点分类方法中，对于社交网络中动态变化的时序数据，无法有效挖掘节点之间的相互影响和不同时间的前后依赖关系的问题，提供了基于动态图的社交网络节点分类方法。

为实现以上发明目的，而采用的技术手段是：

基于动态图的社交网络节点分类方法，包括以下步骤：

S1.获取带标签的社交网络数据集；

S2.将所述社交网络数据集根据时间划分为T个时间步，并根据社交网络数据集中节点属性及节点特征构造每个时间步的邻接矩阵和特征矩阵；

S3.构建基于点与边交互传递信息的图自动编码模型，输入所述每个时间步的邻接矩阵和特征矩阵，得到每个时间步的图节点表示；

S4.将T个时间步的图节点表示通过权重矩阵的sparsemax函数进行稀疏化处理；

S5.构建长短期记忆神经网络，并输入稀疏化处理后的图节点表示，得到每个节点经过处理时序信息的隐藏状态；

S6.将隐藏状态输入标签分类器，输出对应的分类即为所述社交网络的节点分类结果。

上述方案中，利用sparsemax函数强化不同节点在时序前后的联系，并结合长短期记忆神经网络使稀疏化处理和细胞的门控(输入门、输出门、遗忘门)共同作用，更好地对时序数据前后联系和依赖关系进行挖掘，从而提高社交网络节点分类的准确性。

优选的，步骤S1所述的社交网络数据集是利用社交网络平台收集用户的原始数据，并将其中的冗杂信息剔除获得，所述社交网络数据集表示为：

X＝[x₁,x₂,x₃,...,x_m]

其中m为社交网络数据集中包含的样本数据的数量；设其中t时刻的样本数据x_t∈Rⁿ，即含有n变量，同时每个样本数据x_t对应一个标签变量y_t，其中y_t∈L，L表示标签类别的集合。在本优选方案中，利用如微博、阿里云数据平台等社交网络平台采集样本数据，将其中的冗杂信息剔除，将能代表用户特征、行为、属性、标签等有用信息保留并提取出来。

优选的，所述步骤S2具体为：对于每个时间步，从社交网络数据集X中获取时间长为w的样本数据X_t＝[x_t-n+1,x_t-n+2,...,x_t]；其中X_t为社交网络数据集X中的一个时间片段，用于提取特征矩阵X_t1∈R^nxm和邻接矩阵A_t1∈R^nxn作为t时刻的输入；其中所述样本数据X_t包括两种情况：当其中的节点为同一类型，则每个时间步的所有节点处理为特征向量；当其中的节点存在不同类型的属性，则构造异构图，每个时间步的特征向量由不同节点的特征向量拼接而成。在本优选方案中，通过区分样本数据的两种情况，可针对不同的社交网络数据进行有效的处理。

优选的，所述步骤S3具体为：

构建基于点与边交互传递信息的图自动编码模型，输入每个时间步的特征矩阵X_t1和邻接矩阵A_t1，利用所述图自动编码模型对每个时间步的节点进行消息传递及更新，并进行编码后得到对应的T个图节点表示h₁,h₂,h₃,...,h_t以及对应每个时刻的节点的标签y_t；其中节点进行消息传递及更新的方式为：

其中

是节点v_i、v_j在第1层的表示；

表示连接着节点v_i和v_j的边的特征在第1层的表示，x_i表示节点v_i的特征，x_(i,j)表示边(v_i,v_j)的特征，

是节点v_j在l+1层的表示，N_j表示由边连接的节点的集合；[·,·]表示向量的拼接；f_v(*)和f_e(*)分别表示节点和边消息传递及更新的预设神经网络(如全连接神经网络、卷积神经网络等)，v→e表示由边两端的节点特征聚合为该边的特征，e→v表示将所有与节点相连的边的特征聚合为该节点的表示。

优选的，所述步骤S4具体为：将图节点表示的权重矩阵输入到如下sparsemax函数进行稀疏处理：

其中z为输出，Δ^k-1表示{p∈R^k|1^Tp＝1,p≥0}作为k-1维的单纯形，p为Δ^k-1的元素。在本优选方案中，通过sparsemax函数进行稀疏处理从而强化不同节点在时间序列前后的联系。

优选的，步骤S5所述的构建长短期记忆神经网络，并输入稀疏化处理后的图节点表示，得到每个节点经过处理时序信息的隐藏状态具体表示为：

i_t＝σ(x_t·S(W_xi)+h_t-1·W_hi+b_i)

f_t＝σ(x_t·S(W_xf)+h_t-1·W_hf+b_f)

o_t＝σ(x_t·S(W_xo)+h_t-1·W_ho+b_o)

g_t＝tanh(x_t·S(W_xg)+h_t-1·W_hg+b_g)

其中，i_t为输入门，f_t为遗忘门，o_t为输出门，g_t为旧的细胞状态，c_t为新的细胞状态，h_t为隐藏状态；x_t和h_t分别为输入和隐藏状态；

代表矩阵乘法，·代表点乘；σ(*)表示sigmod函数，tanh(*)表示双曲正切函数；S(*)表示sparsemax函数；W和b分别为参数矩阵和偏置，W下标的名称分别对应x_t和h_t与不同门控和状态的参数矩阵。在本优选方案中，通过结合长短期记忆模型细胞与sparsemax函数，使稀疏化处理和细胞的门控(输入门、输出门、遗忘门)共同作用，更好的对时序数据前后联系和依赖关系进行挖掘。

优选的，步骤S6中所述的标签分类器采用全连接层，步骤S5得到的隐藏状态作为其输入，输出得到节点类别

优选的，所述步骤S6还包括以下步骤：采用输出的节点类别

的交叉熵作为损失函数进行损失计算，并使用梯度下降法重复执行步骤S3～S6，以提高分类精度；其中损失计算的公式如下：

其中y_i表示第i个样本数据真实的标签，|L|表示标签类别的个数。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的基于动态图的社交网络节点分类方法，利用sparsemax函数强化不同节点在时序前后的联系，并结合长短期记忆神经网络使稀疏化处理和细胞的门控(输入门、输出门、遗忘门)共同作用，更好地对时序数据前后联系和依赖关系进行挖掘，充分表达了时序数据中节点状态的变化模式，从而提高社交网络节点分类的精准度。本发明解决了现有的社交网络节点分类方法中，对于社交网络中动态变化的时序数据，无法有效挖掘节点之间的相互影响和不同时间的前后依赖关系的问题。本发明方法可用于社交平台，推荐系统，信息系统，医疗健康，影视娱乐等领域中的动态结构社交节点分类问题。

附图说明

图1为本发明的方法流程图。

图2为实施例2中采用本发明方法以及静态图模型NRI，GCN，GAT的分类准确率结果图。

图3为实施例2中采用本发明方法以及动态图模型dyngraph2vec和dynGEM的分类准确率结果图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

基于动态图的社交网络节点分类方法，如图1所示，包括以下步骤：

S1.获取带标签的社交网络数据集；

利用如微博、阿里云数据平台等社交网络平台收集用户的原始数据，并将其中的冗杂信息剔除，将能代表用户特征、行为、属性、标签等有用信息保留并提取出来，从而获得社交网络数据集：

X＝[x₁,x₂,x₃,...,x_m]

其中m为社交网络数据集中包含的样本数据的数量；设其中t时刻的样本数据x_t∈Rⁿ，即含有n变量，同时每个样本数据x_t对应一个标签变量y_t，其中y_t∈L，L表示标签类别的集合。

S2.将所述社交网络数据集根据时间划分为T个时间步，并根据社交网络数据集中节点属性及节点特征构造每个时间步的邻接矩阵和特征矩阵；

对于每个时间步，从社交网络数据集X中获取时间长为w的样本数据X_t＝[x_t-n+1,x_t-n+2,...,x_t]；其中X_t为社交网络数据集X中的一个时间片段，用于提取特征矩阵X_t1∈R^nxm和邻接矩阵A_t1∈R^nxn作为t时刻的输入；其中所述样本数据X_t包括两种情况：当其中的节点为同一类型，则每个时间步的所有节点处理为特征向量；当其中的节点存在不同类型的属性，则构造异构图，每个时间步的特征向量由不同节点的特征向量拼接而成。

S3.构建基于点与边交互传递信息的图自动编码模型，输入所述每个时间步的邻接矩阵和特征矩阵，得到每个时间步的图节点表示；

将每个时间步的特征矩阵X_t1和邻接矩阵A_t1输入基于点与边交互传递信息的图自动编码模型，由图神经网络对每个时间步的节点进行消息传递及更新，并进行编码后得到对应的T个图节点表示h₁,h₂,h₃,...,h_t以及对应每个时刻的节点的标签y_t；其中节点进行消息传递及更新的方式为：

其中

是节点v_i、v_j在第1层的表示；

表示连接着节点v_i和v_j的边的特征在第1层的表示，x_i表示节点v_i的特征，x_(i,j)表示边(v_i,v_j)的特征，

是节点v_j在l+1层的表示，N_j表示由边连接的节点的集合；[·,·]表示向量的拼接；f_v(*)和f_e(*)分别表示节点和边消息传递及更新的预设神经网络(如全连接神经网络、卷积神经网络等，本领域技术人员可根据实际需求选择已有的网络结构)，v→e表示由边两端的节点特征聚合为该边的特征，e→v表示将所有与节点相连的边的特征聚合为该节点的表示。

S4.将T个时间步的图节点表示通过权重矩阵的sparsemax函数进行稀疏化处理；

在本实施例中采用sparsemax函数进行稀疏化处理可以更好地挖掘前后的节点不同时间的依赖性。传统经典的函数是转换向量(例如，标签得分)为一个概率分布(如标签的后验概率)的softmax函数，定义为：

但是softmax函数有个限制即得到的概率分布总是有充分的支持，例如对于每个z和i则soft max_i(z)＝0，这在稀疏概率分布的应用中是一个缺点。在这种情况下，通常需要定义一个阈值，小概率值被截断为零。因此在本实施例中提出以下代替方案变换，称之为sparsemax：

假设真实的k个标签分类的分布p服从Δ^k-1＝{p∈R^k|1^Tp＝1,p≥0}，其中Δ^k-1是由自由度为k-1的概率分布p所定义的单纯形，则sparsemax函数进行稀疏化处理为：

其中z为输出，Δ^k-1表示{p∈R^k|1^Tp＝1,p≥0}作为k-1维的单纯形，p为Δ^k-1的元素。sparsemax的目标是直接逼近真实的多标签分类分布，另外sparsemax不再由指数函数对输出z做smooth变换。采用直接将输出z投影到单纯形的方式能够起到输出的稀疏化效果。在sparsemax(z)变得稀疏时，这个投影是很有可能等到单纯形的边界，而sparsemax保留了softmax的大部分重要特性，还有生成稀疏分布的能力。

S5.构建长短期记忆神经网络，并输入稀疏化处理后的图节点表示，得到每个节点经过处理时序信息的隐藏状态；

在本步骤中，通过结合传统的长短期记忆神经网络与sparsemax函数，使稀疏化处理和细胞的门控(输入门、输出门、遗忘门)共同作用，从而更好地对时序数据前后联系和依赖关系进行挖掘。表示为：

i_t＝σ(x_t·S(W_xi)+h_t-1·W_hi+b_i)

f_t＝σ(x_t·S(W_xf)+h_t-1·W_hf+b_f)

o_t＝σ(x_t·S(W_xo)+h_t-1·W_ho+b_o)

g_t＝tanh(x_t·S(W_xg)+h_t-1·W_hg+b_g)

其中，i_t为输入门，f_t为遗忘门，o_t为输出门，g_t为旧的细胞状态，c_t为新的细胞状态，h_t为隐藏状态；x_t和h_t分别为输入和隐藏状态；

代表矩阵乘法，·代表点乘；σ(*)表示sigmod函数，tanh(*)表示双曲正切函数；S(*)表示sparsemax函数；W和b分别为参数矩阵和偏置，W下标的名称分别对应x_t和h_t与不同门控和状态的参数矩阵。

S6.将隐藏状态输入标签分类器，在本实施例中采用的是全连接层，输出得到节点类别

采用输出的节点类别

的交叉熵作为损失函数进行损失计算，并使用梯度下降法重复执行步骤S3～S6，以提高分类精度；其中损失计算的公式如下：

其中y_i表示第i个样本数据真实的标签，|L|表示标签类别的个数。

实施例2

为验证实施例1所提出的基于动态图的社交网络节点分类方法的性能，本实施例进行了如下实验：

采用微博电商数据与阿里云平台数据作为测试数据集，其中微博电商数据为同构图数据，阿里云为异构图数据。在本实施例中，将各社交网络节点分类方法的预测结果与测试数据集的真实标签进行比较，计算分类准确率，其取值范围为[0,1]，数值越高代表分类的效果越好。

一、分别将实施例1的社交网络节点分类方法与静态图模型NRI，GCN，GAT进行比较，得到实验效果如图2所示。(图中myModel表示采用实施例1的方法)，可以看出，实施例1方法的计算分类准确率最高。

二、分别将实施例1的社交网络节点分类方法与动态图模型dyngraph2vec和dynGEM进行比较，得到实验效果如图3所示。(图中myModel表示采用实施例1的方法)，可以看出，实施例1方法的计算分类准确率最高。

综上可以得出，本发明的社交网络节点分类方法可更好地对时序数据前后联系和依赖关系进行挖掘，充分表达了时序数据中节点状态的变化模式，从而提高社交网络节点分类的精准度。

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于动态图的社交网络节点分类方法，其特征在于，包括以下步骤：

S1.获取带标签的社交网络数据集；

S2.将所述社交网络数据集根据时间划分为T个时间步，并根据社交网络数据集中节点属性及节点特征构造每个时间步的邻接矩阵和特征矩阵；

S3.构建基于点与边交互传递信息的图自动编码模型，输入所述每个时间步的邻接矩阵和特征矩阵，得到每个时间步的图节点表示；

S4.将T个时间步的图节点表示通过权重矩阵的sparsemax函数进行稀疏化处理；

S5.构建长短期记忆神经网络，并输入稀疏化处理后的图节点表示，得到每个节点经过处理时序信息的隐藏状态；

S6.将隐藏状态输入标签分类器，输出对应的分类即为所述社交网络的节点分类结果。

2.根据权利要求1所述的基于动态图的社交网络节点分类方法，其特征在于，步骤S1所述的社交网络数据集是利用社交网络平台收集用户的原始数据，并将其中的冗杂信息剔除获得，所述社交网络数据集表示为：

X＝[x₁,x₂,x₃,...,x_m]

其中m为社交网络数据集中包含的样本数据的数量；设其中t时刻的样本数据x_t∈Rⁿ，即含有n变量，同时每个样本数据x_t对应一个标签变量y_t，其中y_t∈L，L表示标签类别的集合。

3.根据权利要求2所述的基于动态图的社交网络节点分类方法，其特征在于，所述步骤S2具体为：对于每个时间步，从社交网络数据集X中获取时间长为w的样本数据X_t＝[x_t-n+1,x_t-n+2,...,x_t]；其中X_t为社交网络数据集X中的一个时间片段，用于提取特征矩阵X_t1∈R^nxm和邻接矩阵A_t1∈R^nxn作为t时刻的输入；其中所述样本数据X_t包括两种情况：当其中的节点为同一类型，则每个时间步的所有节点处理为特征向量；当其中的节点存在不同类型的属性，则构造异构图，每个时间步的特征向量由不同节点的特征向量拼接而成。

4.根据权利要求3所述的基于动态图的社交网络节点分类方法，其特征在于，所述步骤S3具体为：

构建基于点与边交互传递信息的图自动编码模型，输入每个时间步的特征矩阵X_t1和邻接矩阵A_t1，利用所述图自动编码模型对每个时间步的节点进行消息传递及更新，并进行编码后得到对应的T个图节点表示h₁,h₂,h₃,...,h_t以及对应每个时刻的节点的标签y_t；其中节点进行消息传递及更新的方式为：

其中

是节点v_i、v_j在第1层的表示；

表示连接着节点v_i和v_j的边的特征在第1层的表示，x_i表示节点v_i的特征，x_(i,j)表示边(v_i,v_j)的特征，

是节点v_j在l+1层的表示，N_j表示由边连接的节点的集合；[·,·]表示向量的拼接；f_v(*)和f_e(*)分别表示节点和边消息传递及更新的预设神经网络，v→e表示由边两端的节点特征聚合为该边的特征，e→v表示将所有与节点相连的边的特征聚合为该节点的表示。

5.根据权利要求4所述的基于动态图的社交网络节点分类方法，其特征在于，所述步骤S4具体为：将图节点表示的权重矩阵输入到如下sparsemax函数进行稀疏处理：

其中z为输出，Δ^k-1表示{p∈R^k|1^Tp＝1,p≥0}作为k-1维的单纯形，p为Δ^k-1的元素。

6.根据权利要求5所述的基于动态图的社交网络节点分类方法，其特征在于，步骤S5所述的构建长短期记忆神经网络，并输入稀疏化处理后的图节点表示，得到每个节点经过处理时序信息的隐藏状态具体表示为：

i_t＝σ(x_t·S(W_xi)+h_t-1·W_hi+b_i)

f_t＝σ(x_t·S(W_xf)+h_t-1·W_hf+b_f)

o_t＝σ(x_t·S(W_xo)+h_t-1·W_ho+b_o)

g_t＝tanh(x_t·S(W_xg)+h_t-1·W_hg+b_g)

其中，i_t为输入门，f_t为遗忘门，o_t为输出门，g_t为旧的细胞状态，c_t为新的细胞状态，h_t为隐藏状态；x_t和h_t分别为输入和隐藏状态；

代表矩阵乘法，·代表点乘；σ(*)表示sigmod函数，tanh(*)表示双曲正切函数；S(*)表示sparsemax函数；W和b分别为参数矩阵和偏置，W下标的名称分别对应x_t和h_t与不同门控和状态的参数矩阵。

7.根据权利要求6所述的基于动态图的社交网络节点分类方法，其特征在于，步骤S6中所述的标签分类器采用全连接层，步骤S5得到的隐藏状态作为其输入，输出得到节点类别

8.根据权利要求7所述的基于动态图的社交网络节点分类方法，其特征在于，所述步骤S6还包括以下步骤：采用输出的节点类别

的交叉熵作为损失函数进行损失计算，并使用梯度下降法重复执行步骤S3～S6，以提高分类精度；其中损失计算的公式如下：

其中y_i表示第i个样本数据真实的标签，|L|表示标签类别的个数。

Images