CN113762334B - 一种采用深度强化学习评估异质社交网络关键节点的方法 - Google Patents

Abstract

本发明公开了一种采用深度强化学习评估异质社交网络关键节点的方法，该方法首先根据异质社交网络的异质性构建多层有向网络模型，根据在真实网路中是否存在交互关系确定用户节点之间的连边，根据属性相似性来确定同一层属性节点之间的连边，根据节点的入度、出度和传递性定义元路径。其次，构建基于深度强化学习机制复合关系元路径的网络嵌入新框架，将多层有向网络编码为低维嵌入向量；然后，构建基于改进的图神经网络的LBSN(Location‑based Social Network，基于位置的社交网络)关键节点评估模型，输出节点重要度的排序。本发明能够有效的提高异质社交网络的关键节点评估的全面性、准确性及高效性。

Description

一种采用深度强化学习评估异质社交网络关键节点的方法

技术领域

本发明涉及异质社交网络关键节点技术领域，特别是涉及一种采用深度强化学习评估异质社交网络关键节点的方法。

背景技术

国内外等大规模的社交网络的蓬勃发展，为社交网络的研究提供了大量可靠的数据支撑。对社交网络的关键节点问题的研究是社会网络分析的关键问题之一，现阶段主要的理论框架是针对单层网络结构。单层网络结构是一种简化了的社交网络框架，难以准确刻画异质社交网络中不同类型的节点之间彼此依存、相互关联的状态。

如何精确刻画LBSN(Location-based Social Network，基于位置的社交网络)的网络结构，探索推广同质社交网络已知的关键节点度量方法到异质社交网络中，研究设计符合异质社交网络的结构特点和动力学特征的关键节点评估方法，是异质社交网络关键节点评估的重要挑战之一。

然而针对异质社交网络的关键节点评估的研究，大多是通过建立多个单层网络模型，再通过某种复合规则进行建模分析，这种处理方式会丧失异质社交网络层间的特定结构信息，同时可能还面临各种权重的设置问题。因此设计较有效的图嵌入方法对异质社交网络中层内与层间结构信息的进行有效挖掘和表征，再建立有效的关键节点评估模型，是提高异质社交网络关键节点评估准确性的关键之处。

目前为止基于机器学习的异质社交网络的相关研究虽然取得很大成果，但在基于机器学习的异质社交网络关键节点评估方法中大部分均采用的单一分机制计算节点的属性值，然后评估节点综合得分较高的节点作为推荐候选集。未从信息传递角度、局部以及全局信息的角度，造成评估结果的精确度不高及泛化能力弱等局限。

发明内容

针对上述问题，本发明的目的在于提出一种采用深度强化学习评估异质社交网络关键节点的方法，在较全面的表征异质社交网络的基础上，采用改进的图神经网络建立评估模型，旨在有效的提高异质社交网络关键节点评估的全面性、准确性及高效性。

本发明采用的技术方案如下：一种采用深度强化学习评估异质社交网络关键节点的方法，首先构建有向有权值多层网络模型,根据网络的结构特征定义元路径；其次通过基于深度强化学习的图嵌入框架对网络进行表征，得出特征融合矩阵；使用图神经网络构建关键节点评估模型，输出节点重要度的排序结果；最后使用SIR模型进行评价。具体步骤如下：

S1，采用多层网络模型进行建模，层内与层间连边权值采用二值计量和对数计量方法进行确定，根据异质社交网络中信息传播特性定义元路径的类型，所述异质社交网络中信息传播特性包括用户节点决定属性个数、属性个数影响用户信息的传播能力；

S2，根据不同类型的元路径上具有不同的信息，为表征网络的同质和异质信息提供可行的方案，采用基于深度强化学习算法确定最佳的元路径类型，使用改进的图神经网络提取特征，最后使用堆叠自编码器进行特征融合，输出特征融合矩阵，从而建立基于深度强化学习的异质社交网络嵌入框架；

S3，改进图神经网络构建关键节点评估模型，将特征融合矩阵作为模型输入训练评估模型，输出关键节点排序结果。

其中，步骤S1中，所述多层网络模型为媒体层、用户层和位置层的有向有权值模型，二值计量为计算用户层内网络用户节点是否是好友，即定义节点是否存在连边，对数计量即在特定的时间阈值T内，媒体层与位置层签到的次数C，lg^C为节点对连边上的权值。

其中，步骤S1具体包括：

S11，设G＝(V,E,W)为给定的LBSN网络，其中

表示节点集，N为网络中的节点个数，k＝1,2,3其中表示第k层结构，

k′＝1,2，k′为层间关系，其中

为同一层内不同节点对

权重集合，

为不同层之间的节点

对连边权重集合，

为边集合，

表示同一层节点连边的集合，

表示层间节点的连边集合；

S12，根据节点类型分为用户层节点、媒体层节点和位置层节点三类，用户层节点若存在连边，则边的权值为1，媒体层内的节点对之间、位置层内的节点对之间的权值根据在时间阈值T内的连接次数C，取

其中

S13，定义用户节点集U＝{u₁,u₂,....,u_i|u_i∈V}与其余两层节点之间的关系为复合属性关系，属性节点用

表示，其中k′＝1,2，定义用户节点u_i将媒体层节点作为属性节点时表示为

用户节点u_i将位置层节点作为属性节点时表示为

根据小世界和三度影响力理论将聚合用户邻居信息到三阶，即只考虑长度为3的元路径；

S14，基于节点-属性的关系将元路径集

分为两大类：

基于用户的元路径，即从用户节点u_i出发定义长度为3的跨层元路径类型包括以下几种：

u_i→u_i+1→u_i+2→u_i+3；

基于属性的元路径，即从属性节点α^k出发定义长度为3的跨层元路径类型包括以下几种：

其中

代表网络中的属性节点，u_i代表网络中的用户节点，因为模型建立为异质有向网络，其中元路径

和

代表用户节点u_i的入度和出度信息，每条元路径中的所经过的属性节点

为同一属性层节点，即元路径

中

和

的k′取值相等。

其中，步骤S2中，基于深度强化学习网络表征框架中强化学习模型为DQN模型，通过在定义的动作模式空间中选择不同的路径构建用户-媒体层属性特征向量、用户-位置层属性特征向量这两种属性特征向量，使用改进的图神经网络提取特征，再使用堆叠自编码器进行特征融合，最后输出特征融合矩阵H。

其中，步骤S2具体包括：

S21，将选择最优元路径类型作为一个智能体决策过程，在

中选择一种元路径进行采样，将每一步中进行节点选择的这一操作定义为智能体的动作A、选择的元路径X_i和点集O定义为状态S，根据用户层-媒体层属性矩阵和用户层-位置层属性矩阵进行解码重构网络，奖励函数R(s,o)根据重构误差函数的值的大小来设定；

用户层-媒体层属性矩阵：

用户层-位置层属性矩阵：

用户-用户层邻接矩阵：

其中C_UM代表用户在同一媒体类型上的签到次数的统计值，C_UL代表用户在同一位置上的签到次数的统计值；

S22，图神经网络聚合节点的一阶近邻信息和二阶近邻信息，使用两个嵌入层，第一层用来描述节点本身，第二层用来描述节点作为其它节点的连接情况，一阶近邻信息的只考虑节点直接相连的情况，不考虑是否有向，其表述如下：

对于节点v_i,v_j之间的连边概率为

其中，

为节点v_i,v_j的低维特征表达；

一阶近邻优化目标函数为

其中，e_i，e_j是节点v_i,v_j之间的连边，w_ij为连边上的权重；

S23，二阶近邻信息考虑有向不直接相连，即节点间的共同邻居，其表述如下：

其中，

是节点v_i作为上下文时的特征表达，|V|为上下文节点的数量；二阶近邻优化目标函数为

联合优化目标函数为

其中，δ为二阶损失的参数，

为正则化项λ为控制正则化项的参数，通过对

和

的学习，最小化目标函数得到每个节点v_i的特征表达

S24，使用堆叠自编码器进行特征融合，将用户层-媒体层属性矩阵和用户层-位置层属性矩阵作为模型输入，输出为特征融合矩阵H。

其中，步骤S3中，图神经网络为注意力网络，构造注意力因子，将特征融合矩阵作为模型输入，输出为节点重要度分数序列。

其中，步骤S3具体包括：

S31，图神经网络的确定，使用基于图数据的自注意力方法实现根据节点间的关联关系对相邻节点信息进行聚合；

S32，注意力因子的构造，首先使用节点特征转换矩阵W∈Φ^F×F'进行线性变换，再通过注意力机制

计算节点间的注意力系数，此后通过softmax函数对节点与其邻居的注意力系数进行归一化操作得到节点间的注意力因子；

S33，将特征融合矩阵

作为模型的输入，输出关键节点排序结果。

根据本发明提供的采用深度强化学习评估异质社交网络关键节点的方法，上游任务使用深度强化学习算法进行异质网络层内和层间结构信息的挖掘，下游任务采用改进的图神经网络进行节点重要度评估模型的构建。本发明使用深度强化学习方法对异质社交网络层内交互信息和层间异质信息进行深度挖掘得出特征融合矩阵，能够发挥图神经网络的优势，将特征融合矩阵作为关键节点评估模型输入对模型进行训练，以此提高评估效果，能够有效的提高异质社交网络的关键节点评估的全面性、准确性及高效性。

附图说明

图1为异质社交网络建模示意图。

图2为网络表征模型示意图。

图3为关键节点评估模型示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种采用深度强化学习评估异质社交网络关键节点的方法，首先构建有向有权值多层网络模型,根据网络的结构特征定义元路径；其次通过基于深度强化学习的图嵌入框架对网络进行表征，得出特征融合矩阵；使用图神经网络构建关键节点评估模型，输出节点重要度的排序结果；最后使用SIR模型进行评价。

整个建模过程具体步骤如下：

S1，采用多层网络模型进行建模如图1所示，层内与层间连边权值采用二值计量和对数计量方法进行确定，根据异质社交网络中信息传播特性(用户节点决定属性个数、属性个数影响用户信息的传播能力)定义元路径的类型；

S2，根据不同类型的元路径上具有不同的信息，为表征网络的同质和异质信息提供可行的方案。采用基于深度强化学习算法确定最佳的元路径类型，使用改进的图神经网络提取特征，最后使用堆叠自编码器进行特征融合，输出特征融合矩阵，如图2所示建立基于深度强化学习的异质社交网络嵌入框架；

S3，改进图神经网络构建关键节点评估模型如图3所示，将特征融合矩阵作为模型输入训练评估模型，输出为关键节点排序结果；

S4，采用训练SIR模型对评估模型性能与有效性进行评价。

其中，步骤S1中，所述的采用多层网络模型进行建模为媒体层、用户层和位置层的有向有权值模型。二值计量为计算用户层内网络用户节点的是否是好友即定义节点是否存在连边。对数计量即在特定的时间阈值T内，媒体层与位置层签到的次数C，lg^C为节点对连边上的权值。

其中，步骤S2中，基于深度强化学习网络表征框架中强化学习模型为DQN模型，通过在定义的动作模式空间中选择不同的路径构建两种属性特征向量(用户-媒体层属性特征向量、用户-位置层属性特征向量)，使用改进的图神经网络提取特征，再使用堆叠自编码器进行特征融合，最后输出特征融合矩阵H。

其中，步骤S3中，图神经网络为注意力网络(graph attention networks，GAT)，构造注意力因子，将特征融合矩阵作为模型输入，输出为节点重要度分数序列。

其中，步骤S1中，采用多层网络模型进行建模，层内与层间连边权值采用二值计量和对数计量方法进行确定；步骤如下：

S11：输入样本集G＝(V,E,W)，对于用户数低于10000的数据集筛选出超过2个人签到的地理位置，评论数超过5条的用户及其所拥有的社交关系。用户数大于10000的数据集筛选出了签到数超过50的地理位置，以及评论数超过5条的用户及其所拥有的社交关系。其中

表示节点集，N为网络中的节点个数，k＝1,2,3其中表示第k层结构。

k′＝1,2k′为层间关系。其中

为同一层内不同节点对

权重集合，

为不同层之间的节点

对连边权重集合，

为边集合，

表示同一层节点连边的集合，

表示层间节点的连边集合。

S12：层内与层间连边权值采用二值计量或对数计量方法公式如下：

S13：模式空间

的定义，即元路径类型。

基于用户的元路径，即从用户节点u_i出发定义长度为3的跨层元路径类型包括以下几种：

u_i→u_i+1→u_i+2→u_i+3；

基于属性的元路径，即从属性节点α^k出发定义长度为3的跨层元路径类型包括以下几种：

其中

代表网络中的属性节点，u_i代表网络中的用户节点。因为模型建立为异质有向网络，其中元路径

和

代表用户节点u_i的入度和出度信息，每条元路径中的所经过的属性节点

为同一属性层节点，即元路径

中

和

的k′取值相等。

其中，步骤S2中，采用基于深度强化学习网络表征框架，其中A是在模式空间中为训练选择特定类型的边，S是到目前为止选择的边的类型序列，R(s,a)由实际任务中的重构误差函数值定义，目标是采取一系列的动作以实现最大化积累

S21：Q_p(s,a)计划模块的训练。首先选择一种模式空间下的边的类型节点,N(s,a)表示访问次数，动作序列Z(a,a′....)。用表示学习算法模拟子序列的动作，计算出预测值Q_p。针对状态s使用如下公式选择动作a，ε、β为参数。

Q_p的更新公式为:

S22：Q_l(s,a)学习模块的训练。根据经验池获取不同状态之间的相关性计算出Q_l，Y_l为DQN的参数，θ为参数；Y_l更新公式如下：

Y_l＝Y_l+θ[r_i+Q_l(s_i+1,a_i+1)-Q_l(s_i,a_i)]Δw_lQ_l(s_i,a_i)(4)

S23：整合两个模块

给定当前状态S,按照如下公式为动作a计算回报值：

S24：构建用户层-媒体层属性矩阵(UM)和用户层-位置层属性矩阵(UL)

用户层-媒体层属性矩阵(UM)：

用户层-位置层属性矩阵(UL)：

用户-用户层邻接矩阵(UU)：

其中C_UM代表用户在同一媒体类型上的签到次数的统计值，C_UL代表用户在同一位置上的签到次数的统计值。

其中，步骤S2中，采用基于深度强化学习网络表征框架，基于改进的图神经网络提取特征，步骤如下：

S25：一阶近邻信息的只考虑节点直接相连的情况，不考虑是否有向，其表述如下：

对于节点v_i,v_j之间的连边概率为

其中

为节点v_i,v_j的低维特征表达。

一阶近邻优化目标函数为

其中e_i，e_j是节点v_i,v_j之间的连边，w_ij为连边上的权重。

S26：二阶近邻信息考虑有向不直接相连，即节点间的共同邻居，其表述如下：

其中

是节点v_i作为上下文时的特征表达，|V|为上下文节点的数量。

S27：二阶近邻优化目标函数为

联合优化目标函数为

其中δ为二阶损失的参数，

为正则化项λ为控制正则化项的参数。通过对

和

的学习，最小化目标函数得到每个节点v_i的特征表达

其中，步骤S3中，基于图神经网络构建关键节点评估模型，步骤如下：

S31：确定图神经网络。基于LBSN相邻节点间的重要度存在相互影响的情况，且节点间相同属性个数与邻居节点的个数会直接影响到节点间重要度的传递。选择图注意力网络(graph attention networks，GAT)。

S32：注意力因子的构造。相邻节点对v_i,v_j之间的注意力系数，计算公式如下：

S33：为了使节点i与其邻居节点之间的注意力系数可比，利用softmax函数对其进行归一化操作，得到相邻节点对v_i,v_j之间的注意力因子，计算公式如下：

S34：将特征融合矩阵

作为模型的输入，输出为：

根据上述的采用深度强化学习评估异质社交网络关键节点的方法，上游任务使用深度强化学习算法进行异质网络层内和层间结构信息的挖掘，下游任务采用改进的图神经网络进行节点重要度评估模型的构建。本发明使用深度强化学习方法对异质社交网络层内交互信息和层间异质信息进行深度挖掘得出特征融合矩阵，能够发挥图神经网络的优势，将特征融合矩阵作为关键节点评估模型输入对模型进行训练，以此提高评估效果，能够有效的提高异质社交网络的关键节点评估的全面性、准确性及高效性。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (5)

1.一种采用深度强化学习评估异质社交网络关键节点的方法，其特征在于，包括如下步骤：

S1，采用多层网络模型进行建模，层内与层间连边权值采用二值计量和对数计量方法进行确定，根据异质社交网络中信息传播特性定义元路径的类型，所述异质社交网络中信息传播特性包括用户节点决定属性个数、属性个数影响用户信息的传播能力；

S2，根据不同类型的元路径上具有不同的信息，为表征网络的同质和异质信息提供可行的方案，采用基于深度强化学习算法确定最佳的元路径类型，使用改进的图神经网络提取特征，最后使用堆叠自编码器进行特征融合，输出特征融合矩阵，从而建立基于深度强化学习的异质社交网络嵌入框架；

S3，改进图神经网络构建关键节点评估模型，将特征融合矩阵作为模型输入训练评估模型，输出为关键节点排序结果；

其中，步骤S1中，所述多层网络模型为媒体层、用户层和位置层的有向有权值模型，二值计量为计算用户层内网络用户节点是否是好友，即定义节点是否存在连边，对数计量即在特定的时间阈值T内，媒体层与位置层签到的次数C，lg^C为节点对连边上的权值；

步骤S1具体包括：

S11，设G＝(V,E,W)为给定的LBSN网络，其中

表示节点集，N为网络中的节点个数，k＝1,2,3其中表示第k层结构，

k′为层间关系，其中

为同一层内不同节点对

权重集合，

为不同层之间的节点

对连边权重集合，

为边集合，

表示同一层节点连边的集合，

表示层间节点的连边集合；

S12，根据节点类型分为用户层节点、媒体层节点和位置层节点三类，用户层节点若存在连边，则边的权值为1，媒体层内的节点对之间、位置层内的节点对之间的权值根据在时间阈值T内的连接次数C，取

其中

S13，定义用户节点集U＝{u₁,u₂,....,u_i|u_i∈V}与其余两层节点之间的关系为复合属性关系，属性节点用

表示，其中k′＝1,2，定义用户节点u_i将媒体层节点作为属性节点时表示为

用户节点u_i将位置层节点作为属性节点时表示为

根据小世界和三度影响力理论将聚合用户邻居信息到三阶，即只考虑长度为3的元路径；

S14，基于节点-属性的关系将元路径集

分为两大类：

基于用户的元路径，即从用户节点u_i出发定义长度为3的跨层元路径类型包括以下几种：

u_i→u_i+1→u_i+2→u_i+3；

基于属性的元路径，即从属性节点α^k出发定义长度为3的跨层元路径类型包括以下几种：

其中

代表网络中的属性节点，u_i代表网络中的用户节点，因为模型建立为异质有向网络，其中元路径

和

代表用户节点u_i的入度和出度信息，每条元路径中的所经过的属性节点

为同一属性层节点，即元路径

中

和

的k′取值相等。

2.根据权利要求1所述的采用深度强化学习评估异质社交网络关键节点的方法，其特征在于，步骤S2中，基于深度强化学习网络表征框架中强化学习模型为DQN模型，通过在定义的动作模式空间中选择不同的路径构建用户-媒体层属性特征向量、用户-位置层属性特征向量这两种属性特征向量，使用改进的图神经网络提取特征，再使用堆叠自编码器进行特征融合，最后输出特征融合矩阵H。

3.根据权利要求2所述的采用深度强化学习评估异质社交网络关键节点的方法，其特征在于，步骤S2具体包括：

S21，将选择最优元路径类型作为一个智能体决策过程，在

中选择一种元路径进行采样，将每一步中进行节点选择的这一操作定义为智能体的动作A、选择的元路径X_i和点集O定义为状态S，根据用户层-媒体层属性矩阵和用户层-位置层属性矩阵进行解码重构网络，奖励函数R(s,o)根据重构误差函数的值的大小来设定；

用户层-媒体层属性矩阵：

用户层-位置层属性矩阵：

用户-用户层邻接矩阵：

其中C_UM代表用户在同一媒体类型上的签到次数的统计值，C_UL代表用户在同一位置上的签到次数的统计值；

S22，图神经网络聚合节点的一阶近邻信息和二阶近邻信息，使用两个嵌入层，第一层用来描述节点本身，第二层用来描述节点作为其它节点的连接情况，一阶近邻信息的只考虑节点直接相连的情况，不考虑是否有向，其表述如下：

对于节点v_i,v_j之间的连边概率为

其中，

为节点v_i,v_j的低维特征表达；

一阶近邻优化目标函数为

其中，e_i，e_j是节点v_i,v_j之间的连边，w_ij为连边上的权重；

S23，二阶近邻信息考虑有向不直接相连，即节点间的共同邻居，其表述如下：

其中，

是节点v_i作为上下文时的特征表达，|V|为上下文节点的数量；

二阶近邻优化目标函数为

联合优化目标函数为

其中，δ为二阶损失的参数，

为正则化项λ为控制正则化项的参数，通过对

和

的学习，最小化目标函数得到每个节点v_i的特征表达

S24，使用堆叠自编码器进行特征融合，将用户层-媒体层属性矩阵和用户层-位置层属性矩阵作为模型输入，输出为特征融合矩阵H。

4.根据权利要求3所述的采用深度强化学习评估异质社交网络关键节点的方法，其特征在于，步骤S3中，图神经网络为注意力网络，构造注意力因子，将特征融合矩阵作为模型输入，输出为节点重要度分数序列。

5.根据权利要求4所述的采用深度强化学习评估异质社交网络关键节点的方法，其特征在于，步骤S3具体包括：

S31，图神经网络的确定，使用基于图数据的自注意力方法实现根据节点间的关联关系对相邻节点信息进行聚合；

S32，注意力因子的构造，首先使用节点特征转换矩阵W∈Φ^F×F'进行线性变换，再通过注意力机制

计算节点间的注意力系数，此后通过softmax函数对节点与其邻居的注意力系数进行归一化操作得到节点间的注意力因子；

S33，将特征融合矩阵

作为模型的输入，输出关键节点排序结果。

Images