CN110362754B - 基于强化学习的线上社交网络信息源头检测的方法 - Google Patents

Abstract

本发明公开了一种基于强化学习的线上社交网络信息源头检测的方法，针对庞大的在线社交网络，当观测整个网络不可行或是对整个网络进行计算不可行时，采用观察网络局部的状态来收集信息；观测庞大社交网络有限的局部信息，同时对网络结构和传播状态进行观察，构造社交网络信息传播的局部特征矩阵；针对收集到的信息，使用强化学习方法来拟合函数近似器，用于判决传播重要节点或源头；对判决过程中收集到的节点信息和观测子图的特征矩阵进行整合，完善强化学习策略的输入信息，提升检测信息传播源头的准确度。该方法能够对在线社交网络中的信息传播源头进行检测，且有效解决了对庞大网络观测或计算能力不足的问题。

Description

基于强化学习的线上社交网络信息源头检测的方法

技术领域

本发明属于信息数据挖掘技术领域，特别地涉及一种基于强化学习的线上社交网络特定信息传播源头检测的方法。

背景技术

现代社交网络中信息源头检测方法多采用传统的方式，主要基于完全的结构信息的特征。传统方法基于如下的完全信息：整个网络的拓扑结构可见，传播过程中使用的渠道可见(即在网络的抽象图结构中，信息传播所使用的边可知)。实际的信息传播过程类似于生成树形网络，在对此传播途径的结构拥有完全观察能力的情况下，传统方法基于这种信息能够较为有效地检测信息源头。

对于现代的在线社交网络，网络通常非常庞大：数百万个节点，节点度的不规则分布。在这种庞大的网络中，我们对网络的观察能力受到限制：

(1)在没有相关权限时，观察社交网络的全局信息变得困难，我们仅能观察特定节点周围的信息；

(2)即使社交网络提供商提供网络的全部信息，由于计算能力的有限，传统方法也不再可行。

发明内容

为解决上述问题，本发明的目的在于提供一种基于强化学习的线上社交网络信息源头检测的方法，其通过强化学习挑选特定节点并观察其邻域信息，计算相应的特征矩阵，整合所有观察的子图的特征，判决特定信息传播的源头。

为实现上述目的，本发明的解决方案为：

一种基于强化学习的线上社交网络信息源头检测的方法，

强化学习代理在线上社交网络中挑选观察节点，观察n跳范围的子图中所有节点的全局特征和局部特征，n可以为任意自然数，根据计算能力选择，比如选择1或2；

所述的观察n跳范围的子图中所有节点的全局特征：观察节点对特定信息的传播过程的参与状态、观察节点过去对其他信息传播过程的参与行为来估计其易受感染的程度、观察节点在全局网络中的度、观察节点在全局网络中的周围节点对特定信息的传播过程的参与状态；

所述的观察n跳范围的子图中所有节点的局部特征：观察节点在子图中的度和其周围节点对特定信息的传播过程的参与状态、计算节点在子图中的某种中心性；

分别将子图中所有节点的全局特征和局部特征组合在一起构成其特征向量，然后将子图节点的特征向量组合在一起构成此子图的特征矩阵；

强化学习代理从初始节点出发，在其邻域依次挑选若干节点进行观察，构造特征矩阵；使用这些特征矩阵的序列计算每个节点在传播过程中的重要程度，判断信息传播源头节点。

所述的方法，具体如下：

有限全局信息观察：将线上社交网络的结构抽象为无向图G(V,E)，强化学习代理观察网络中节点对信息传播的参与状态：

(1)有过参与传播的行为则视作被感染，对不同的用户i，被感染状态s_i＝1，否则s_i＝0；

(2)根据用户过去的行为估计其易受感染的程度：转发过大量信息为高，反之则偏低，对不同的用户i分别记为

(3)观察网络中用户周围受感染节点的数目，对不同的用户i分别记作n_i；

(4)观察网络中用户的度，对不同的用户i分别记作d_i；使用上述特征构造全局特征向量：

局部信息观察：强化学习代理挑选一个观测节点v，以其为中心，生成n 跳子图为观测范围，记作

使用此子图中可被观测的局部信息构建每个用户的局部特征向量：

(1)观察每个节点在局部子图中的度，记作d′_i；

(2)观察每个节点在局部子图中周围受感染节点的数目，记作n′_i；

(3)计算此节点在局部子图中的中心性，包括接近度中心性(degreecentrality)，中心性(closeness centrality)，中间中心性(between centrality)，特征向量中心性(eigenvector centrality)或任意一种能够衡量节点中心性的计算方法，记作c′_i；

(4)将上述在局部子图中计算的特征组合成为节点i的局部特征向量： l_i＝[d′_i,n′_i,c′_i]；分别将观测子图

中每个节点的全局特征向量和局部特征向量连接在一起，构成每个节点的特征向量x_i＝[g_i,l_i]，

构造特征矩阵：将子图中的各个节点的特征向量整合，构造特征矩阵：

强化学习代理的策略网络使用神经网络作为强化学习动作-状态价值函数近似器，记作

其中

为当前强化学习代理对状态的估计，a为所选的动作；使用过去所有的观测信息即已计算好的特征矩阵序列作为状态的估计：

for v∈T(v₀,v₁,…,v_l)

其中，T(v₀,v₁,…,v_l)是过去所选择节点的轨迹，其中选择第一个节点时，轨迹中仅有初始节点v₀；

在观测节点v，选择下一个观测节点a′的策略为：

即选择具有最大

值的节点，然后强化学习代理在节点a′进行观测，计算下一个特征矩阵，加入轨迹计算新的

并选择下一个节点；

当节点轨迹中最后两个节点为同一个节点时，停止选择下一个节点，此时的最终节点即为输出——检测到的信息传播源头。

与现有技术相比，本发明的有益效果为：本发明提供的基于强化学习的线上社交网络特定信息传播源头检测的方法有效降低了在大型网络上检测信息源头的时间复杂度，同时提供了在没有观测整个网络的能力的情况下检测信息源头的方法，降低了解决相关问题的难度。

附图说明

图1是基于节点1和节点6的观测子图；

图2是节点31的观测子图及每个节点的Q值；

图3是节点2的观测子图及每个节点的Q值；

图4是强化学习代理在指定节点的观测子图以及子图中各节点的Q值。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的阐述。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

社交网络信息源检测是在社交网络信息传播过程中检测/识别传播源头的过程，其中，社交网络一般是抽象为图结构，其中节点和边根据应用场景的不同而拥有不同的属性。对于现代在线社交网络，其图结构是非常庞大的。对于这样的巨大的图，本发明通过观察其若干局部特征，进而判别信息传播的源头。

判别流程具体为：

步骤1，观察信息

有限全局信息观察：将线上社交网络的结构抽象为无向图G(V,E)，强化学习代理(Agent)观察网络中节点(用户)对信息传播的参与状态：

(1)有过参与传播的行为则视作被感染(对不同的用户i，被感染状态s_i＝1，否则s_i＝0)；

(2)根据用户过去的行为估计其易受感染的程度：转发过大量信息为高(容易传播信息)，反之则偏低，对不同的用户i分别记为

(3)观察网络中用户周围受感染节点的数目(信息的转发数)，对不同的用户i分别记作n_i；

(4)观察网络中用户的度(社交网络中粉丝、朋友的数目)，对不同的用户i分别记作d_i；使用上述特征构造全局特征向量：

例如，由图1所示，灰色节点为被感染节点，各节点易受感染程度列于表格中。根据如上观察方法，图中节点4的全局特征向量为：g₄＝[1,0.8,4,5]；

局部信息观察：Agent挑选一个观测节点v，以其为中心，生成n跳子图为观测范围，记作

使用此子图中可被观测的局部信息构建每个用户的局部特征向量：

(1)观察每个节点在局部子图中的度，记作d′_i；

(2)观察每个节点在局部子图中周围受感染节点的数目，记作n′_i；

(3)计算此节点在局部子图中的中心性，包括度中心性(degree centrality)，接近中心性(closeness centrality)，中间中心性(between centrality)，特征向量中心性(eigenvector centrality)或其他任何一种用于衡量中心性的方法，记作c′_i；

(4)将上述在局部子图中计算的特征组合成为节点i的局部特征向量： l_i＝[d′_i,n′_i,c′_i]；分别将观测子图

中每个节点的全局特征向量和局部特征向量连接在一起，构成每个节点的特征向量x_i＝[g_i,l_i]；

特别地，当同一个节点处于不同的观察子图中时，其局部特征向量相对应的也有所改变。例如，如图1所示，虚线框分别是从节点1(左)进行观察和节点6(右)观察。节点4在这两个观察子图中的局部特征向量分别为(以度中心性为例)：l₄＝[3,3,3](左)，l₄＝[2,1,2](右)。由此，节点4在两个子图中的特征向量分别为：x₄＝[1,0.8,4,5,3,3,3](左)和x₄＝[1,0.8,4,5,2,1,2](右)。

步骤2，整合信息

构造特征矩阵：将子图中的各个节点的特征向量整合，构造特征矩阵：

强化学习代理的策略网络使用神经网络作为强化学习动作-状态价值函数近似器，记作

其中

为当前强化学习代理对状态的估计，a为所选的动作(即节点，以下会同时使用)。可以使用各类函数近似器，包括但不限于多层感知机，神经网络等。使用过去所有的观测信息(已计算好的特征矩阵)序列作为状态的估计：

for v∈T(v₀,v₁,…,v_l)

其中，T(v₀,v₁,…,v_l)是过去所选择节点的轨迹，特殊地，选择第一个节点时，轨迹中仅有初始节点v₀。

步骤3，判决过程

在某个观测节点v，选择下一个观测节点a′的策略为：

即选择具有最大

值的节点。

以图2中展示的Karate Club Graph子图为例，使用神经网络作为函数近似器，在节点31观测并计算各个节点对应的

值，其中节点28拥有最高的

值，为强化学习代理所选择的下一个进行观测的节点。

然后强化学习代理在节点a′进行观测，计算下一个特征矩阵，加入轨迹计算新的

并选择下一个节点；当节点轨迹中最后两个节点为同一个节点时，停止选择下一个节点。如图3所示，在节点2进行判断，

值最高的节点依然为节点2，判决停止。此时的最终节点即为输出——检测到的信息传播源头。

以图4为例，强化学习代理检测信息源头是一个连续的过程：除初始节点外，每一次的观测节点皆从上一次观测的子图中进行选择，且可能反复对若干个节点进行选择。其中，反复选择的过程是强化学习代理为最终的结果输出收集信息的过程。

尽管本发明的具体实施方式已经得到详细的描述，本领域技术人员将会理解，根据已经公开的教导和启示，可以对那些细节进行各种修改和替换，这些改变均在本发明的保护范围之内。本发明的保护范围由所附权利要求及其任何等同物给出。

Claims (1)

1.一种基于强化学习的线上社交网络信息源头检测的方法，其特征在于，

强化学习代理在线上社交网络中挑选观察节点，观察n跳范围的子图中所有节点的全局特征和局部特征；

所述的观察n跳范围的子图中所有节点的全局特征：观察节点对特定信息的传播过程的参与状态、观察节点过去对其他信息传播过程的参与行为来估计其易受感染的程度、观察节点在全局网络中的度、观察节点在全局网络中的周围节点对特定信息的传播过程的参与状态；

所述的观察n跳范围的子图中所有节点的局部特征：观察节点在子图中的度和其周围节点对特定信息的传播过程的参与状态、计算节点在子图中的某种中心性；

分别将子图中所有节点的全局特征和局部特征组合在一起构成其特征向量，然后将子图节点的特征向量组合在一起构成此子图的特征矩阵；

强化学习代理从初始节点出发，在其邻域依次挑选若干节点进行观察，构造特征矩阵；使用这些特征矩阵的序列计算每个节点在传播过程中的重要程度，判断信息传播源头节点；

所述的方法，具体如下：

有限全局信息观察：将线上社交网络的结构抽象为无向图G(V,E)，强化学习代理观察网络中节点对信息传播的参与状态：

(1)有过参与传播的行为则视作被感染，对不同的用户i，被感染状态s_i＝1，否则s_i＝0；

(2)根据用户过去的行为估计其易受感染的程度：转发过大量信息为高，反之则偏低，对不同的用户i分别记为

(3)观察网络中用户周围受感染节点的数目，对不同的用户i分别记作n_i；

(4)观察网络中用户的度，对不同的用户i分别记作d_i；使用上述特征构造全局特征向量：

局部信息观察：强化学习代理挑选一个观测节点v，以其为中心，生成n跳子图为观测范围，记作

使用此子图中可被观测的局部信息构建每个用户的局部特征向量：

(1)观察每个节点在局部子图中的度，记作d′_i；

(2)观察每个节点在局部子图中周围受感染节点的数目，记作n′_i；

(3)计算此节点在局部子图中的中心性，包括度中心性、接近中心性、中间中心性、特征向量中心性中任意一种，记作c′_i；

(4)将上述在局部子图中计算的特征组合成为节点i的局部特征向量：l_i＝[d′_i,n′_i,c′_i]；

分别将观测子图

中每个节点的全局特征向量和局部特征向量连接在一起，构成每个节点的特征向量x_i＝[g_i,l_i]，

构造特征矩阵：将子图中的各个节点的特征向量整合，构造特征矩阵：

强化学习代理的策略网络使用神经网络作为强化学习动作-状态价值函数近似器，记作

其中

为当前强化学习代理对状态的估计，a为所选的动作；使用过去所有的观测信息即已计算好的特征矩阵序列作为状态的估计：

其中，T(ν₀,v₁,…,v_l)是过去所选择节点的轨迹，其中选择第一个节点时，轨迹中仅有初始节点v₀；

在观测节点ν，选择下一个观测节点a′的策略为：

即选择具有最大

值的节点，然后强化学习代理在节点a′进行观测，计算下一个特征矩阵，加入轨迹计算新的

并选择下一个节点；

当节点轨迹中最后两个节点为同一个节点时，停止选择下一个节点，此时的最终节点即为输出——检测到的信息传播源头。

Images