CN110263236B - 基于动态多视图学习模型的社交网络用户多标签分类方法 - Google Patents

Abstract

本发明提供了基于动态多视图学习模型的社交网络用户多标签分类方法，包括如下步骤：针对特定社交网络数据集，构建用户的多视图表征；基于用户表征，构建多视图数据间深度融合表征模型；采用动态路由模型，更新参数并优化多视图特征；引入共享表征模型，对步骤三中的特征，构建目标函数。通过模型优化，并得到最优共享表征矩阵，最终利用共享矩阵实现任意用户的多标签分类。本方法实现了网络用户的多标签高效分类，解决了数据缺失导致模型学习性能下降、视图融合数量受限和模型无法满足多分类任务需求等问题，可以广泛应用于网络中用户精准分析、异常用户检测、用户关系挖掘、未知用户识别等场景。

Description

基于动态多视图学习模型的社交网络用户多标签分类方法

技术领域

本发明基于动态多视图学习模型的社交网络用户多标签分类方法，属于信息技术服务领域。

背景技术

目前互联网已成为了人们生活必不可少的部分，用户在不同社交网络(如微博、twitter、微信)中产生了大量的文本、图像、用户关系等数据，称为多视图数据。这些多视图数据隐含了丰富的信息，而且更新速度极快，因此，多视图数据的融合也成为了数据挖掘领域的一个关键技术问题，其研究成果可应用于不同的领域。网络用户分析作为一个重要的应用场景，用户可能同时具有多个类别标签，近年来，不同网络上同一用户的多标签分类受到了研究团队的广泛关注。

据调研，受网络用户数据多源、多模特点的制约，现有多标签分类方法依然存在以下不足：(1)多标签预测性能过度依赖于用户数据，在部分视图数据缺失的情况下，模型的学习性能会明显下降；(2)受模型的限制，大多数方法只实现了两视图的融合学习；(3)部分新的方法可实现多视图的融合，并取得了较好的性能，但完成的是聚类任务，难以实现最优的多标签分类模型。为了解决以上问题，本发明基于多视图子空间算法，构建了动态多视图学习模型实现了用户的多标签分类任务。

发明内容

本发明克服了现有技术存在的不足，提供了基于动态多视图学习模型的社交网络用户多标签分类方法，尤其是基于动态多视图学习模型的社交网络用户多标签分类方法，该方法能够充分融合用户的多视图数据，优化视图表征，实现网络用户的多标签分类，也可应用其他领域中的多视图数据分析。

本发明是通过以下技术方案实现的，

基于动态多视图学习模型的社交网络用户多标签分类方法，包括如下步骤：

步骤一，针对特定社交网络数据集，构建用户的多视图表征矩阵：

社交网络数据一般包括用户个人信息和用户与用户关系两种模态的数据，构成了用户的多视图表示，其中，用户个人信息称为节点属性，关系称为节点间的边；

所述的用户多视图表示过程包括以下步骤：

首先，学习社交网络数据集中节点属性的表征，得到节点的特征向量，构成了该节点第一个视图；

然后，学习社交网络数据集中节点间边的表征，即节点的结构表征向量，构成了该节点第二个视图；

最终，节点和节点间边的表征共同构成了所述用户的全部视图表征矩阵；

步骤二，构建用户多视图数据的深度学习模型：

采用多层感知器模型(MLP)分别对步骤一得到的全部视图的表征矩阵进行深度学习，深度学习过程中的参数权重w不断优化，最后得到全部视图的深度表征，并分别对各个视图的深度表征进行平均中心化，实现每个视图的非线性映射表征，并将得到的平均中心化表征作为第三步多视图学习模型的输入特征；

步骤三，多视图学习模型采用动态路由模型，更新参数并优化多视图表征矩阵；

步骤二的输出作为步骤三的输入，将其多视图表征矩阵的更新优化作为一个独立的任务，每个任务采用动态路由模型来学习对应特征中的活跃向量，并将所述活跃向量作为对应特征的最优向量表征；

步骤四，利用共享表征模型，构建目标函数：

通过步骤三得到每个视图的最优向量表征作为共享表征模型的输入，然后，利用共享表征模型的目标函数，计算得到全部视图的共享表征；

步骤五，通过模型优化，更新步骤二中的参数权重w，得到最优共享表征矩阵，利用最优共享表征矩阵来实现任意用户的多标签分类。

优选地，所述社交网络的多个用户多视图表征通过下述过程实现：

所述社交网络的某一用户多视图表征为矩阵形式：

(1,2,…,n；1,2,…,m)

式中，(1,2…,n)为该用户的第一个视图，(1,2…,m)为该用户的第二个视图，则该用户的表征向量为n+m维向量。

优选地，步骤二中所述多层感知器模型(MLP)为：

假定多层感知器模型是一个具有K_j层的网络，每层网络包括c_j个神经单元，则第K层的输出为

其中，函数s(w,b)为非线性激活函数，

表示第k层输出，

表示第k-1层输出，

表示第K层的权值矩阵，

为偏置参数；

该模型最后一层的输出表示为：f_j(X_j)，平均中心化后最终输出表示为：O_j。

优选地，所述步骤三中，动态路由模型的学习过程主要包括以下步骤：

1)针对某一路由过程，选定路由节点，分成若干个子节点；

2)将每个子节点继续分成k₁个分节点，然后赋权重

初值；

3)分节点交叉学习后，构成新的k₂子节点，作为所述选定路由节点的活跃向量，并更新路由参数值；

4)最后，更新参数权重

直到迭代结束。

优选地，所述步骤三中，每个视图的所述活跃向量通过下述方式生成：

为每个视图活跃向量，V₁表示第1个新子节点，V₂表示第2个新子节点,

表示第k₂个新子节点。

优选地，所述

通过如下步骤求得：

1)所述的动态路由模型满足如下公式，

上式中，

表示对

求偏导，

表示生成子节点时的网络参数权重，k₁表示分节点数量，k₂表示一个分节点分成新的子节点的数量，F表示损失函数，v_k2表示第k₂个新子节点，

表示损失函数对v_k2求导，η表示模型的学习速率，

表示学习速率与偏导的乘积；

通过上式得到

的值；

2)由于全部预测向量

的权重

为：

式中，

为第k₁个原子节点，

为相关系数；

通过公式(4)求得

的值；

3)由于

为

的输出向量，

式中squash表示

的激活函数；

通过公式(5)得到

的值。

优选地，所述相关系数

下式求得：

式中，softmax表示多分类激活函数，

表示k₁与k₁的先验概率，

表示k₁与k₁的先验概率的更新值。

所述步骤四中，共享表征学习的目标函数如下：

其中，N为视图的数量，J表示视图的个数，j表示任意一项视图，d_j为各视图的维度，r为共享表征的维度，

为步骤二中第j^th个网络的线性变换，

为步骤三中更新后的矩阵，G为学习得到的共享表征，G^T为共享矩阵的转置矩阵，I_r为单位矩阵，R为实数集。

所述步骤五中的模型优化函数为：

上式中，L为损失函数，

为步骤三中的输出矩阵，G为学习得到的共享表征，J表示视图的个数，j表示任意一项视图，U_j为任意一个视图的向量表示，U_J为全部视图的矩阵表示，

为任意一个视图向量的转置。

本发明与现有技术相比具有的有益效果是：

本发明方法可以帮助解决网络中用户的精准分析、异常用户的检测、用户关系的挖掘、未知用户的识别等，并具有很好的鲁棒性，可应用于其他领域的多视图数据分析中，具有非常广泛的应用性。本发明的模型更加科学合理，克服了现有多视图数据学习存在诸多不足，是一个充分融合用户多视图数据的用户多标签分类模型。

附图说明

图1为本发明的整体步骤流程图。

图2为本发明的动态路由模型的流程图。

具体实施方式

下面结合具体实施例对本发明做进一步的详细说明，但是本发明的保护范围并不限于这些实施例，凡是不背离本发明构思的改变或等同替代均包括在本发明的保护范围之内。

本发明基于动态多视图学习模型的社交网络用户多标签分类方法，包括如下步骤：

步骤一，针对特定社交网络数据集，构建用户的多视图表征矩阵：

社交网络数据一般包括用户个人信息和用户与用户关系两种模态的数据，构成了用户的多视图表示，其中，用户个人信息称为节点属性，关系称为节点间的边；对某用户进行多标签分类的首要关键任务是进行用户的多视图表征，然后表征向量作为后续网络模型的输入数据。

所述的用户多视图表示过程包括以下步骤：

首先，学习社交网络数据集中节点属性的表征，得到节点的特征向量，构成了该节点第一个视图；

然后，学习社交网络数据集中节点间边的表征，即节点的结构表征向量，构成了该节点第二个视图；

最终，节点和节点间边的表征共同构成了所述用户的全部视图表征矩阵；

优选地，所述社交网络的多个用户多视图表征通过下述过程实现：

所述社交网络的某一用户多视图表征为矩阵形式：

(1,2,…,n；1,2,…,m)

式中，(1,2…,n)为该用户的第一个视图，(1,2…,m)为该用户的第二个视图，则该用户的表征向量为n+m维向量。

步骤二，构建用户多视图数据的深度学习模型：

采用多层感知器模型(MLP)分别对步骤一得到的全部视图的表征矩阵进行深度学习，深度学习过程中的参数权重w不断优化，最后得到全部视图的深度表征，并分别对各个视图的深度表征进行平均中心化，实现每个视图的非线性映射表征，并将得到的平均中心化表征作为第三步多视图学习模型的输入特征；

优选地，步骤二中所述多层感知器模型(MLP)为：

假定多层感知器模型是一个具有K_j层的网络，每层网络包括c_j个神经单元，则第K层的输出为

其中，函数s(w,b)为非线性激活函数，

表示第k层输出，

表示第k-1层输出，

表示第K层的权值矩阵，

为偏置参数；

该模型最后一层的输出表示为：f_j(X_j)，平均中心化后最终输出表示为：O_j。

步骤三，多视图学习模型采用动态路由模型，更新参数并优化多视图表征矩阵；

步骤二的输出作为步骤三的输入，将其多视图表征矩阵的更新优化作为一个独立的任务，每个任务采用动态路由模型来学习对应特征中的活跃向量，并将所述活跃向量作为对应特征的最优向量表征；

所述步骤三中，动态路由模型的学习过程主要包括以下步骤：

1)针对某一路由过程，选定路由节点，分成若干个子节点；

2)将每个子节点继续分成k₁个分节点，然后赋权重

初值；

3)分节点交叉学习后，构成新的k₂子节点，作为所述选定路由节点的活跃向量，并更新路由参数值；

4)最后，更新参数权重

直到迭代结束。

优选地，所述步骤三中，每个视图的所述活跃向量通过下述方式生成：

为每个视图活跃向量，V₁表示第1个新子节点，V₂表示第2个新子节点,

表示第k₂个新子节点。

优选地，所述

通过如下步骤求得：

1)所述的动态路由模型满足如下公式，

上式中，

表示对

求偏导，

表示生成子节点时的网络参数权重，k₁表示分节点数量，k₂表示一个分节点分成新的子节点的数量，F表示损失函数，v_k2表示第k₂个新子节点，

表示损失函数对v_k2求导，η表示模型的学习速率，

表示学习速率与偏导的乘积；

通过上式得到

的值；

2)由于全部预测向量

的权重

为：

式中，

为第k₁个原子节点，

为相关系数；

通过公式(4)求得

的值；

3)由于

为

的输出向量，

式中squash表示

的激活函数；

通过公式(5)得到

的值。

优选地，所述相关系数

下式求得：

式中，softmax表示多分类激活函数，

表示k₁与k₁的先验概率，

表示k₁与k₁的先验概率的更新值。

步骤四，利用共享表征模型，构建目标函数：

通过步骤三得到每个视图的最优向量表征作为共享表征模型的输入，然后，利用共享表征模型的目标函数，计算得到全部视图的共享表征；

共享表征学习的目标函数如下：

其中，N为视图的数量，J表示视图的个数，j表示任意一项视图，d_j为各视图的维度，r为共享表征的维度，

为步骤二中第j^th个网络的线性变换，

为步骤三中更新后的矩阵，G为学习得到的共享表征，G^T为共享矩阵的转置矩阵，I_r为单位矩阵，R为实数集。

所述模型优化函数为：

上式中，L为损失函数，

为步骤三中的输出矩阵，G为学习得到的共享表征，J表示视图的个数，j表示任意一项视图，U_j为任意一个视图的向量表示，U_J为全部视图的矩阵表示，

为任意一个视图向量的转置。

应用场景实例：

假定Twitter网络上某用户利用6种视图数据表示，分别为：推文、推文提到的用户、朋友、粉丝、朋友网络、粉丝网络，以上6种视图共同表示了该用户，该用户的分类标签有200种。

通过本模型的学习，可以实现该用户的200种分类。

本发明不会限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖性特点相一致的最宽范围。

Claims (8)

1.基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，包括如下步骤：

步骤一，针对特定社交网络数据集，构建用户的多视图表征矩阵：

社交网络数据包括用户个人信息和用户与用户关系两种模态的数据，构成了用户的多视图表示，其中，用户个人信息称为节点属性，关系称为节点间的边；

所述的用户多视图表示过程包括以下步骤：

首先，学习社交网络数据集中节点属性的表征，得到节点的特征向量，构成了该节点第一个视图；

然后，学习社交网络数据集中节点间边的表征，即节点的结构表征向量，构成了该节点第二个视图；

最终，节点和节点间边的表征共同构成了所述用户的全部视图表征矩阵；

步骤二，构建用户多视图数据的深度学习模型：

采用多层感知器模型分别对步骤一得到的全部视图的表征矩阵进行深度学习，深度学习过程中的参数权重w不断优化，最后得到全部视图的深度表征，并分别对各个视图的深度表征进行平均中心化，实现每个视图的非线性映射表征，并将得到的平均中心化表征作为第三步多视图学习模型的输入特征；

步骤三，多视图学习模型采用动态路由模型，更新参数并优化多视图表征矩阵；

步骤二的输出作为步骤三的输入，将其多视图表征矩阵的更新优化作为一个独立的任务，每个任务采用动态路由模型来学习对应特征中的活跃向量，并将所述活跃向量作为对应特征的最优向量表征；

步骤四，利用共享表征模型，构建目标函数：

通过步骤三得到每个视图的最优向量表征作为共享表征模型的输入，然后，利用共享表征模型的目标函数，计算得到全部视图的共享表征；

步骤五，通过模型优化，更新步骤二中的参数权重w，得到最优共享表征矩阵，利用最优共享表征矩阵来实现任意用户的多标签分类；

所述步骤五中的模型优化函数为：

上式中，L为损失函数，

为步骤三中的输出矩阵，G为学习得到的共享表征，J表示视图的个数，j表示任意一项视图，U_j为任意一个视图的向量表示，U_J为全部视图的矩阵表示，

为任意一个视图向量的转置。

2.根据权利要求1所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述社交网络的多个用户多视图表征通过下述过程实现：

所述社交网络的某一用户多视图表征为矩阵形式：

(1,2,…,n；1,2,…,m)

式中，(1,2…,n)为该用户的第一个视图，(1,2…,m)为该用户的第二个视图，则该用户的表征向量为n+m维向量。

3.根据权利要求1所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，步骤二中所述多层感知器模型为：

假定多层感知器模型是一个具有K_j层的网络，每层网络包括c_j个神经单元，则第K层的输出为

其中，函数s(w,b)为非线性激活函数，

表示第k层输出，

表示第k-1层输出，

表示第K层的权值矩阵，

为偏置参数；

该模型最后一层的输出表示为：f_j(X_j)，平均中心化后最终输出表示为：O_j。

4.根据权利要求1所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述步骤三中，动态路由模型的学习过程主要包括以下步骤：

1)针对某一路由过程，选定路由节点，分成若干个子节点；

2)将每个子节点继续分成k₁个分节点，然后赋权重

初值；

3)分节点交叉学习后，构成新的k₂子节点，作为所述选定路由节点的活跃向量，并更新路由参数值；

4)最后，更新参数权重

直到迭代结束。

5.根据权利要求1所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述步骤三中，每个视图的所述活跃向量通过下述方式生成：

为每个视图活跃向量，V₁表示第1个新子节点，V₂表示第2个新子节点，

表示第k₂个新子节点。

6.根据权利要求5所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述

通过如下步骤求得：

1)所述的动态路由模型满足如下公式，

上式中，

表示对

求偏导，

表示生成子节点时的网络参数权重，k₁表示分节点数量，k₂表示一个分节点分成新的子节点的数量，F表示损失函数，v_k2表示第k₂个新子节点，

表示损失函数对v_k2求导，η表示模型的学习速率，

表示学习速率与偏导的乘积；

通过上式得到

的值；

2)由于全部预测向量

的权重

为：

式中，

为第k₁个原子节点，

为相关系数；

通过公式(4)求得

的值；

3)由于

为

的输出向量，

式中squash表示

的激活函数；

通过公式(5)得到

的值。

7.根据权利要求6所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述相关系数

下式求得：

式中，softmax表示多分类激活函数，

表示k₁与k₁的先验概率，

表示k₁与k₁的先验概率的更新值。

8.根据权利要求1所述的基于动态多视图学习模型的社交网络用户多标签分类方法，其特征在于，所述步骤四中，共享表征学习的目标函数如下：

其中，N为视图的数量，J表示视图的个数，j表示任意一项视图，d_j为各视图的维度，r为共享表征的维度，

为步骤二中第j^th个网络的线性变换，

为步骤三中更新后的矩阵，G为学习得到的共享表征，G^T为共享矩阵的转置矩阵，I_r为单位矩阵，R为实数集。

Images