CN111126674B - 基于深度模型的传播预测方法及其系统 - Google Patents

基于深度模型的传播预测方法及其系统 Download PDF

Info

Publication number
CN111126674B
CN111126674B CN201911224739.XA CN201911224739A CN111126674B CN 111126674 B CN111126674 B CN 111126674B CN 201911224739 A CN201911224739 A CN 201911224739A CN 111126674 B CN111126674 B CN 111126674B
Authority
CN
China
Prior art keywords
vector
hidden layer
node
model
lstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911224739.XA
Other languages
English (en)
Other versions
CN111126674A (zh
Inventor
陈晋音
王珏
张敦杰
徐晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911224739.XA priority Critical patent/CN111126674B/zh
Publication of CN111126674A publication Critical patent/CN111126674A/zh
Application granted granted Critical
Publication of CN111126674B publication Critical patent/CN111126674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于深度模型的传播预测方法，包括：1)数据预处理，采集社交网络一段时间内的数据作为样本数据，处理网络数据，生成数据集并划分：2)构建Seq2Seq模型，采用编码器‑解码器的框架，其中编码器和解码器均由LSTM单元组成；3)嵌入GCN模型：利用图卷积神经网络GCN来提取每个时刻的网络结构特征；具体有：构建滤波器gθ，对隐藏层状态和细胞层状态分别进行卷积操作：4)处理得到的隐藏层向量，具体有：将隐藏层向量输入到逻辑斯蒂二分类器，将隐藏层向量输入到全连接层中。本发明还包括实施上述基于深度模型的传播预测方法的系统，包括：依次连接的数据预处理模块、Seq2Seq模型构建模块、GCN模型嵌入模块、隐藏层向量处理模块。

Description

基于深度模型的传播预测方法及其系统
技术领域
本发明涉及一种结合图卷积神经网络(GCN)和长短时记忆网络 (LSTM)的节点属性预测方法及其系统。
背景技术
信息的传播在社会网络中是一种很普遍的现象。推特、微博、微信等社交平台在我们的日常生活中扮演着越来越重要的作用。它们的急剧增长促进了各种信息的快速传播，例如新闻消息的传播、科技创新成果的传播以及营销活动的传播等。互联网时代下，网络已经成为人们获取信息、咨询的重要途径。与传统媒体相比，网络媒体时效性更高、信息资源更丰富，使受众从中可以获取更多、更新、更全面的新闻信息。也正是因为网络媒体的这种优势，使得信息在网络中很容易被发布，更容易出现虚假信息。虚假信息一旦踏入互联网这一快速通道，不仅会造成网络自媒体公信力的下降，还会对虚假信息中的当事人造成不可逆的影响。虚假消息检测是信息传播模型的下游应用之一，除此之外还有信息源识别、病毒营销识别等应用。
早期经典的传播模型有线性阈值模型(LT)和独立级联模型(IC)。其中LT模型的核心思想是：当一个已经激活的节点去试图激活邻居节点而没有成功时，其对邻居节点的影响力被积累而不是被舍弃，这个贡献直到节点被激活或传播过程结束为止，该过程称为“影响积累”。 IC模型的核心思想是：处于激活的节点会尝试激活邻居中未激活的节点，如果失败该影响被抛弃。可以看出这两个模型都具有很强的假设性，脱离一定的情景可能就不适用。也有许多依赖于特征工程的模型，它们手工提取有用的特征然后预测节点的激活概率，模型可以取得一定的效果，但是特征提取的过程需要大量的人力和相应领域的先验知识。随着近几年神经网络的发展，研究者们提出了一些深度学习的方法，可以很好地避免特征提取的过程，小部分工作使用图嵌入来对传播进行建模。例如，Embedded-IC。循环神经网络(RNN)的发展给传播预测带来了活力。例如DeepCas，它是用来预测传播规模的模型，它在每个时间步长上用一个诱导子图在活动节点上对级联进行建模，然后将子图分解为若干随机游动路径，并利用门控递归单元(GRU) 学习子图的嵌入向量，基于该子图嵌入向量，对未来的级联规模进行了预测。传播规模的预测是宏观层面的任务，在微观层面考虑的就是用户层面的行为推理问题，即用户之间的相互影响。
发明内容
为了克服已有传播模型假设性太强、特征提取工程太过繁琐的不足，本发明提供了一种假设性较弱、适用性广、由模型自动提取复杂特征的基于深度模型的传播预测方法及其系统，解决用户层面的预测问题。
本发明解决其技术问题所采用的技术方案是：
基于深度模型的传播预测方法，包括以下步骤：
1)数据预处理：
1.1)采集社交网络一段时间内的数据作为样本数据：
传播模型针对的是一个随时间变化的社交网络，因此我们使用微博、推特、微信等社交平台的网络数据。
1.2)处理网络数据，生成数据集并划分：
原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用Xt这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数。用户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边。使用邻接矩阵A来表示，我们假定拓扑结构不发生变化，即该矩阵保持不变。经过处理可以得到数据集，然后经过划分可以得到训练集、测试集和验证集。
2)构建Seq2Seq模型：
Seq2Seq模型由编码器和解码器组成；
编码器由多个LSTM单元相连而成，编码器负责将输入序列压缩成指定长度的向量，这个向量可以看做这个序列的语义向量C。获取语义向量在这里采用对最后一个隐含状态做一个变换的方式。
解码器也是由多个LSTM单元相连而成，解码器负责根据语义向量生成指定序列，在这里语义向量只参与初始时刻的运算，语义向量也可以参与序列所有时刻的运算。
3)嵌入GCN模型：
3.1)构建滤波器gθ：
利用切比雪夫多项式Tk(x)得K阶截断展开来近似滤波器gθ。
3.2)对隐藏层状态和细胞层状态分别进行卷积操作：
引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将 t时刻的LSTM的隐藏层向量ht以及细胞层向量ct分别作为两个GCN模型的输入，且利用滤波器gθ对隐藏层向量ht以及细胞层向量ct进行卷积操作，将GCN模型输出的新隐藏层向量
Figure RE-GDA0002406980880000041
以及新的细胞层向量
Figure RE-GDA0002406980880000042
作为t+1时刻的LSTM单元的输入；
4)处理得到的隐藏层向量：
4.1)将LSTM单元得到的隐藏层向量输入到逻辑斯蒂分类器中，可以判定节点是否被激活。
4.2)将隐藏层向量输入到一个全连接层中，可以实现节点属性的预测。
本发明还包括一种实施上述基于深度模型的传播预测方法的系统，其特征在于：包括：依次连接的数据预处理模块、Seq2Seq模型构建模块、GCN模型嵌入模块、隐藏层向量处理模块；
数据预处理模块采集社交网络一段时间内的数据作为样本数据，并且处理网络数据，生成数据集并划分：原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用Xt这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变；经过处理可以得到数据集，然后经过划分可以得到训练集、测试集和验证集；
Seq2Seq模型构建模块包括编码器和解码器；编码器由多个LSTM 单元相连而成，编码器负责将输入序列压缩成指定长度的向量，这个向量可以看做这个序列的语义向量C。获取语义向量在这里采用对最后一个隐含状态做一个变换的方式；解码器也是由多个LSTM单元相连而成，解码器负责根据语义向量生成指定序列，在这里语义向量只参与初始时刻的运算，语义向量也可以参与序列所有时刻的运算；
GCN模型嵌入模块包括滤波器构建子模块和卷积操作子模块；滤波器构建子模块构建滤波器gθ，利用切比雪夫多项式Tk(x)得K阶截断展开来近似滤波器gθ；卷积操作子模块对隐藏层状态和细胞层状态分别进行卷积操作：引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量ht以及细胞层向量ct分别作为两个GCN模型的输入，且利用滤波器gθ对隐藏层向量ht以及细胞层向量ct进行卷积操作，将GCN模型输出的新隐藏层向量
Figure RE-GDA0002406980880000051
以及新的细胞层向量
Figure RE-GDA0002406980880000052
作为t+1时刻的LSTM单元的输入；
隐藏层向量处理模块将LSTM单元得到的隐藏层向量输入到逻辑斯蒂分类器中，判定节点是否被激活；将隐藏层向量输入到一个全连接层中，实现节点属性的预测。
本发明的技术构思为：基于深度学习的传播预测方法，充分提取社交网络数据的时空特性，得到更为精确的预测结果向量表示，提高分类和预测结果精度。首先将社交网络用图的数据形式表示，然后建立Seq2Seq模型，Seq2Seq模型忽略了数据的空间特性，因此需要嵌入GCN模型提高精度。最后，对混合模型预测得到的隐藏层向量，采用逻辑斯蒂分类器确定激活状态，采用全连接层全连接层可以预测节点特征属性。
本发明的有益效果主要表现在：对数据的时空特性提取效果较好，结合了Seq2Seq模型和GCN模型的优点，与人工提取特征的方法相比很大程度地节约了劳动力，而且可以同时预测节点属性变化和判断节点是否被激活。
附图说明
图1是本发明的传播过程示意图；
图2是本发明的传播模型的基础模型Seq2Seq的结构示意图；
图3是本发明的嵌入GCN模型后LSTM单元的内部结构图；
图4是本发明的GCN的阶数K的说明示意图；
图5是本发明的sigmoid函数图像。
具体实施方式
为使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图对本发明进行进一步的详细说明。
参照图1～图5，一种基于深度模型的传播预测方法，包括以下步骤：
1)数据预处理：
1.1)采集社交网络一段时间内的数据作为样本数据：
传播模型针对的是一个随时间变化的社交网络，因此我们使用微博、推特、微信等社交平台的网络数据。
1.2)处理网络数据，生成数据集并划分：
将社交网络用图的数据形式表示，将用户关系用邻接矩阵A来表示，节点属性用矩阵Xt表示。如附图1所示，图中黑色的节点表示已经被影响的节点，即已激活的节点，随着时间的推移，节点属性不断发生变化，白色的节点(未受影响)不断被激活。训练集、测试集、验证集的比例为6：2：2。
2)构建Seq2Seq模型，模型如图2所示，它采用的是编码器-解码器的框架，其中编码器和解码器均由LSTM单元组成。编码器将输入的节点属性序列映射成一个固定长度的上下文向量C，这个存储着过去时刻的节点属性信息的上下文向量将会传给解码器，解码器根据传入的上下文向量来生成特点的向量序列，从而预测未来一段时间的节点属性，其中START向量是与节点属性向量维度相同的全零矩阵，用作解码器的初始输入向量。
本发明将Seq2Seq模型应用于传播预测中，目的是提取传播过程的时间特性，其具体过程如下：
[ht,ct]＝LSTM1(Xt,[ht-1,ct-1])(t＝1,2,...,T), (1)
C＝[hT,cT], (2)
START＝zero(X), (3)
Figure RE-GDA0002406980880000071
Figure RE-GDA0002406980880000072
编码器中的LSTM单元用LSTM1表示，前一时刻得到的隐藏层向量 ht-1，细胞层向量为ct-1，然后将这两个向量与节点向量Xt一起输入到下一个LSTM单元中得到新的ht和ct，以此类推。编码器最后一个时刻为T,将hT和cT的集合用C表示。解码器中的LSTM单元用LSTM2表示，与编码器不同的是，t+1时刻输入的与特征向量维度相同的全0 向量，每个LSTM2单元得到的隐藏层向量hT+t'作为逻辑斯蒂分类器和全连接层的输入。
3)嵌入GCN模型：
图卷积神经网络GCN是直接作用于图的卷积神经网络，GCN允许对结构化数据进行端到端的学习，通过学习网络的结构特征来对实现网络节点的特征提取。本发明利用图卷积神经网络GCN来提取每个时刻的网络结构特征。
3.1)构建滤波器gθ：
图的谱卷积定义为输入信号x与滤波器gθ＝diag(θ)相乘，而为了解决大网络里拉普拉斯矩阵的特征分解的复杂度高得问题，本文利用切比雪夫多项式Tk(x)得K阶的截断展开来近似滤波器gθ：
Figure RE-GDA0002406980880000081
其中
Figure RE-GDA0002406980880000082
(7)
表示一个经过调整的拉普拉斯矩阵，而
L＝IN-D-0.5AD-0.5(8)
表示原来的拉普拉斯矩阵，A是用来表示社交网络中节点关系的邻接矩阵，D是A的度值矩阵，IN是一个单位矩阵，λmax是拉普拉斯矩阵L的最大特征值。θk定义为切比雪夫多项式的系数。切比雪夫多项式可以被递归的定义为
Tk(x)＝2xTk-1(x)-Tk-2(x)(9)，
其中 T0(x)＝1，T1(x)＝x。
3.2)对隐藏层状态和细胞层状态分别进行卷积操作：
把GCN模型嵌入到Seq2Seq模型中，LSTM单元就变为图3所示的新单元。
下面对其进行介绍，
由于细胞层状态和隐藏层状态分别反映不同的信息，本发明建议使用两个独立得到GCN模型分别对细胞层状态和隐藏层状态执行卷积运算。在本文中，每个时刻LSTM的隐藏层向量ht以及cell层向量ct分别作为2个GCN模型的输入，与滤波器gθ相乘，输出新的隐藏层向量
Figure RE-GDA0002406980880000083
以及新的cell层向量
Figure RE-GDA0002406980880000084
其中
Figure RE-GDA0002406980880000085
是对隐藏层向量做卷积操作的滤波器，
Figure RE-GDA0002406980880000091
是对细胞层向量ct做卷积操作的滤波器，如图4所示。
Figure RE-GDA0002406980880000092
Figure RE-GDA0002406980880000093
将Seq2Seq模型中的LSTM1单元和LSTM2单元替换为图3所示的单元就实现了本文提出的传播模型，具体过程为：
Figure RE-GDA0002406980880000094
Figure RE-GDA0002406980880000095
Figure RE-GDA0002406980880000096
C＝[hT,cT],
START＝zero(X),
Figure RE-GDA0002406980880000097
Figure RE-GDA0002406980880000098
Figure RE-GDA0002406980880000099
Figure RE-GDA00024069808800000910
其中
Figure RE-GDA00024069808800000911
是对隐藏层向量做卷积操作的滤波器，
Figure RE-GDA00024069808800000912
是对细胞层向量ct做卷积操作的滤波器。加了GCN模型以后，整个模型就能同时实现对空间拓扑特征的提取和时序特征的提取，可以得到更为准确的节点隐藏层向量表示，后续的分类结果也会更加的准确。
此外滤波器
Figure RE-GDA00024069808800000913
和
Figure RE-GDA00024069808800000914
中都存在一个参数K，K是一个重要的超参数，它决定了中心节点聚合几阶邻居节点的信息。这里结合图5进行简要说明，图4可以看作是网络节点图的一小部分，这里取在较为中心的节点1作为中心节点进行说明。可以清楚地看到，节点2、3、4、5与节点1直接相连，是一阶邻居节点，即K＝1。节点6、7、8、9、10、11与节点1的一阶邻居节点相连，是节点1的二阶邻居节点，即K＝2。此外，节点12、13是三阶邻居节点。K值越大，能聚合的信息就越多，但是计算量也会增大。K的取值需要经过实验验证选取最好的数值，一般来说K取3。
4)处理得到的隐藏层向量：
4.1)将隐藏层向量输入到逻辑斯蒂二分类器：
将每个LSTM2单元得到的
Figure RE-GDA0002406980880000101
输入到逻辑斯蒂分类器得到分类结果。其中WT为回归系数矩阵，σ为sigmoid函数，如图5所示，Sigmoid 函数由于其图像特点，可以很方便的执行二分类的任务。
Figure RE-GDA0002406980880000102
以下对逻辑斯蒂二分类进行简单的介绍。假设我们要分类一个问题，且只是是与不是的问题，在传播问题中就是激活与未激活的问题，只能是1或0。目标拥有n个特征，我们得到的是一个关于输入x的线性函数，我们可以得到：
y＝σ(WTx)＝σ(w0x0+w1x1+…+wmxm) (15)
上述的公式对于要得到的1和0并不是很好的描述，结果可能有很多种结果，非常大的数或很小的负数。所以将上述的结果作为sigmoid 函数自变量，当结果y非常大时，结果将趋于1，结果非常小时将趋于0。
4.2)将隐藏层向量输入到全连接层中：
将隐藏层向量输入到全连接层中则可以得到未来一段时间的特征矩阵，就可以清楚的看出节点特征的变化。全连接层的层数根据实际情况进行确定。
Figure RE-GDA0002406980880000111
y(m)＝σm(W(m)y(m-1)+b(m)),m＝2,…,M (17)
其中M代表的是全连接层的层数，σm是第m层的激活函数。只有在第 M层的时候激活函数取sigmoid函数，其余层的激活函数取ReLU函数，W(m)和b(m)为各层的权重和偏置；
ReLU＝max(0,x) (18)
需要注意的是最后一层的神经元个数需要与初始数据的维度相同，即把数据映射回原来的向量空间，这样才能看出节点特征的变化。
本发明还包括一种实施上述基于深度模型的传播预测方法的系统，其特征在于：包括：依次连接的数据预处理模块、Seq2Seq模型构建模块、GCN模型嵌入模块、隐藏层向量处理模块；
数据预处理模块采集社交网络一段时间内的数据作为样本数据，并且处理网络数据，生成数据集并划分：原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用Xt这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变。经过处理可以得到数据集，然后经过划分可以得到训练集、测试集和验证集；
Seq2Seq模型构建模块包括编码器和解码器；编码器由多个LSTM 单元相连而成，编码器负责将输入序列压缩成指定长度的向量，这个向量可以看做这个序列的语义向量C。获取语义向量在这里采用对最后一个隐含状态做一个变换的方式；解码器也是由多个LSTM单元相连而成，解码器负责根据语义向量生成指定序列，在这里语义向量只参与初始时刻的运算，语义向量也可以参与序列所有时刻的运算；
GCN模型嵌入模块包括滤波器构建子模块和卷积操作子模块；滤波器构建子模块构建滤波器gθ，利用切比雪夫多项式Tk(x)得K阶截断展开来近似滤波器gθ；卷积操作子模块对隐藏层状态和细胞层状态分别进行卷积操作：引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量ht以及细胞层向量ct分别作为两个GCN模型的输入，且利用滤波器gθ对隐藏层向量ht以及细胞层向量ct进行卷积操作，将GCN模型输出的新隐藏层向量
Figure RE-GDA0002406980880000121
以及新的细胞层向量
Figure RE-GDA0002406980880000122
作为t+1时刻的LSTM单元的输入；
隐藏层向量处理模块将LSTM单元得到的隐藏层向量输入到逻辑斯蒂分类器中，判定节点是否被激活；将隐藏层向量输入到一个全连接层中，实现节点属性的预测。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于深度模型的传播预测方法，包括以下步骤：
1)数据预处理：
1.1)采集社交网络一段时间内的数据作为样本数据：
传播模型针对的是一个随时间变化的社交网络，因此使用微博、推特、微信的社交平台的网络数据；
1.2)处理网络数据，生成数据集并划分：
原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用Xt这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；用户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变；经过处理得到数据集，然后经过划分得到训练集、测试集和验证集；
2)构建Seq2Seq模型，采用编码器-解码器的框架，其中编码器和解码器均由LSTM单元组成；编码器将输入的节点属性序列映射成一个固定长度的上下文向量C，这个存储着过去时刻的节点属性信息的上下文向量将会传给解码器，解码器根据传入的上下文向量来生成特点的向量序列，从而预测未来一段时间的节点属性，其中START向量是与节点属性向量维度相同的全零矩阵，用作解码器的初始输入向量；
将Seq2Seq模型应用于传播预测中，目的是提取传播过程的时间特性，其具体过程如下：
[ht,ct]＝LSTM1(Xt,[ht-1,ct-1])，t＝1,2,...,T (1)
C＝[hT,cT], (2)
START＝zero(X), (3)
Figure FDA0003616330330000021
Figure FDA0003616330330000022
编码器中的LSTM单元用LSTM1表示，前一时刻得到的隐藏层向量ht-1，细胞层向量为ct-1，然后将这两个向量与节点向量Xt一起输入到下一个LSTM单元中得到新的ht和ct，以此类推；编码器最后一个时刻为T,将hT和cT的集合用C表示；解码器中的LSTM单元用LSTM2表示，与编码器不同的是，t+1时刻输入的与特征向量维度相同的全0向量，每个LSTM2单元得到的隐藏层向量
Figure FDA0003616330330000023
作为逻辑斯蒂分类器和全连接层的输入,逻辑斯蒂分类器和全连接层在模型构建的最后一部分进行说明；
3)嵌入GCN模型：
图卷积神经网络GCN是直接作用于图的卷积神经网络，GCN允许对结构化数据进行端到端的学习，通过学习网络的结构特征来对实现网络节点的特征提取；利用图卷积神经网络GCN来提取每个时刻的网络结构特征；
3.1)构建滤波器gθ：
图的谱卷积定义为输入信号x与滤波器gθ＝diag(θ)相乘，而为了解决大网络里拉普拉斯矩阵的特征分解的复杂度高得问题，利用切比雪夫多项式Tk(x)得K阶的截断展开来近似滤波器gθ：
Figure FDA0003616330330000031
其中
Figure FDA0003616330330000032
表示一个经过调整的拉普拉斯矩阵，而
L＝IN-D-0.5AD-0.5(8)
表示原来的拉普拉斯矩阵，A是用来表示社交网络中节点关系的邻接矩阵，D是A的度值矩阵，IN是一个单位矩阵，λmax是拉普拉斯矩阵L的最大特征值；θk定义为切比雪夫多项式的系数；切比雪夫多项式被递归的定义为
Tk(x)＝2xTk-1(x)-Tk-2(x)(9)，
其中T0(x)＝1，T1(x)＝x；
3.2)对隐藏层状态和细胞层状态分别进行卷积操作：
引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量ht以及细胞层向量ct分别作为两个GCN模型的输入，且利用滤波器gθ对隐藏层向量ht以及细胞层向量ct进行卷积操作，将GCN模型输出的新隐藏层向量h～t以及新的细胞层向量
Figure FDA0003616330330000039
作为t+1时刻的LSTM单元的输入；
由于细胞层状态和隐藏层状态分别反映不同的信息，使用两个独立得到GCN模型分别对细胞层状态和隐藏层状态执行卷积运算；每个时刻LSTM的隐藏层向量ht以及cell层向量ct分别作为2个GCN模型的输入，与滤波器gθ相乘，输出新的隐藏层向量
Figure FDA0003616330330000033
以及新的cell层向量
Figure FDA0003616330330000034
其中
Figure FDA0003616330330000035
是对隐藏层向量做卷积操作的滤波器，
Figure FDA0003616330330000036
是对细胞层向量ct做卷积操作的滤波器；
Figure FDA0003616330330000037
Figure FDA0003616330330000038
将Seq2Seq模型中的LSTM1单元和LSTM2单元替换为嵌入GCN模型后的单元就实现了传播模型，具体过程为：
Figure FDA0003616330330000041
Figure FDA0003616330330000042
Figure FDA0003616330330000043
C＝[hT,cT],
START＝zero(X),
Figure FDA0003616330330000044
Figure FDA0003616330330000045
Figure FDA0003616330330000046
Figure FDA0003616330330000047
与Seq2Seq模型不同的是细胞层状态和隐藏层状态需要经过卷积操作再输入到下一个LSTM单元中；
加了GCN模型以后，整个模型就能同时实现对空间拓扑特征的提取和时序特征的提取，得到更为准确的节点隐藏层向量表示，后续的分类结果也会更加的准确；
此外滤波器
Figure FDA0003616330330000048
和
Figure FDA0003616330330000049
中都存在一个参数K，K是一个重要的超参数，决定了中心节点聚合几阶邻居节点的信息；
4)处理得到的隐藏层向量：
4.1)将隐藏层向量输入到逻辑斯蒂二分类器：
将每个LSTM2单元得到的
Figure FDA00036163303300000410
输入到逻辑斯蒂分类器得到分类结果，判定节点是否被激活；其中WT为回归系数矩阵，σ为sigmoid函数；即用
Figure FDA00036163303300000411
替代公式中的x，得到一个范围在0到1内的结果，再根据设定的阈值将其分为0类或1类，0类即节点未激活，1类即节点激活；
Figure FDA0003616330330000051
y＝σ(WTx)＝σ(w0x0+w1x1+…+wmxm) (15)
4.2)将隐藏层向量输入到全连接层中：
将隐藏层向量输入到全连接层中则得到未来一段时间的特征矩阵，预测节点特征的变化；全连接层的层数根据实际情况进行确定；
Figure FDA0003616330330000052
y(m)＝σm(W(m)y(m-1)+b(m)),m＝2,…,M (17)
其中M代表的是全连接层的层数，σm是第m层的激活函数；只有在第M层的时候激活函数取sigmoid函数，其余层的激活函数取ReLU函数，W(m)和b(m)为各层的权重和偏置；
ReLU＝max(0,x) (18)
需要注意的是最后一层的神经元个数需要与初始数据的维度相同，即把数据映射回原来的向量空间，这样才能看出节点特征的变化。
2.一种实施上述基于深度模型的传播预测方法的系统，其特征在于：包括：依次连接的数据预处理模块、Seq2Seq模型构建模块、GCN模型嵌入模块、隐藏层向量处理模块；
数据预处理模块采集社交网络一段时间内的数据作为样本数据，并且处理网络数据，生成数据集并划分：原始数据是用户的一些属性和用户之间的关系，需要将其转化为图的形式，将社交网络中的用户当做节点，用户属性即为节点特征，使用Xt这个矩阵来表示t时刻网络中所有节点的特征，其中每一行为一个节点的所有特征，列数代表特征维度，行数代表节点个数；户之间的关系看做连边，即用户之间存在联系即有连边，没有联系则无连边；使用邻接矩阵A来表示，假定拓扑结构不发生变化，即该矩阵保持不变；经过处理得到数据集，然后经过划分得到训练集、测试集和验证集；
Seq2Seq模型构建模块包括编码器和解码器；编码器由多个LSTM单元相连而成，编码器负责将输入序列压缩成指定长度的向量，这个向量看做这个序列的语义向量C；获取语义向量在这里采用对最后一个隐含状态做一个变换的方式；解码器也是由多个LSTM单元相连而成，解码器负责根据语义向量生成指定序列，在这里语义向量只参与初始时刻的运算，语义向量也参与序列所有时刻的运算；
GCN模型嵌入模块包括滤波器构建子模块和卷积操作子模块；滤波器构建子模块构建滤波器gθ，利用切比雪夫多项式Tk(x)得K阶截断展开来近似滤波器gθ；卷积操作子模块对隐藏层状态和细胞层状态分别进行卷积操作：引入GCN模型对细胞层状态和隐藏层状态进行图卷积运算，即将t时刻的LSTM的隐藏层向量ht以及细胞层向量ct分别作为两个GCN模型的输入，且利用滤波器gθ对隐藏层向量ht以及细胞层向量ct进行卷积操作，将GCN模型输出的新隐藏层向量
Figure FDA0003616330330000061
以及新的细胞层向量
Figure FDA0003616330330000062
作为t+1时刻的LSTM单元的输入；
隐藏层向量处理模块将LSTM单元得到的隐藏层向量输入到逻辑斯蒂分类器中，判定节点是否被激活；将隐藏层向量输入到一个全连接层中，实现节点属性的预测。
CN201911224739.XA 2019-12-04 2019-12-04 基于深度模型的传播预测方法及其系统 Active CN111126674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911224739.XA CN111126674B (zh) 2019-12-04 2019-12-04 基于深度模型的传播预测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911224739.XA CN111126674B (zh) 2019-12-04 2019-12-04 基于深度模型的传播预测方法及其系统

Publications (2)

Publication Number Publication Date
CN111126674A CN111126674A (zh) 2020-05-08
CN111126674B true CN111126674B (zh) 2022-06-21

Family

ID=70497405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911224739.XA Active CN111126674B (zh) 2019-12-04 2019-12-04 基于深度模型的传播预测方法及其系统

Country Status (1)

Country Link
CN (1) CN111126674B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183299B (zh) * 2020-09-23 2024-02-09 成都佳华物链云科技有限公司 行人属性预测方法、装置、电子设备及存储介质
CN112199608B (zh) * 2020-11-03 2021-05-28 北京中科研究院 基于网络信息传播图建模的社交媒体谣言检测方法
CN112822045B (zh) * 2020-12-31 2022-04-12 天津大学 基于多特征混合神经网络的内容传播热区预测方法
CN112651665B (zh) * 2021-01-14 2022-12-20 浙江鸿程计算机系统有限公司 一种基于图神经网络的地表水水质指标预测方法和装置
CN113077094B (zh) * 2021-04-13 2022-08-23 南京邮电大学 一种基于lstm-gcn的臭氧预测方法
CN113139128B (zh) * 2021-05-07 2024-03-01 厦门大学 一种基于图卷积神经网络的博文推荐方法及系统
CN113488112A (zh) * 2021-06-10 2021-10-08 五邑大学 一种共价结合预测方法及装置
CN113435649B (zh) * 2021-06-29 2022-09-16 布瑞克农业大数据科技集团有限公司 一种全域农业数据整理方法、系统、装置及介质
CN113505878B (zh) * 2021-07-09 2022-11-29 兰州大学 一种基于图神经网络的航迹预测方法
CN113610299B (zh) * 2021-08-06 2023-05-26 华侨大学 基于特征衰减强化神经网络的信息传播预测方法及装置
CN118468203B (zh) * 2024-07-12 2024-09-03 国家海洋技术中心 基于社会网络和深度学习的海洋通信信号检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097968A (zh) * 2019-03-27 2019-08-06 中国科学院自动化研究所 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN110413844A (zh) * 2019-05-24 2019-11-05 浙江工业大学 基于时空注意力深度模型的动态链路预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251480A1 (en) * 2018-02-09 2019-08-15 NEC Laboratories Europe GmbH Method and system for learning of classifier-independent node representations which carry class label information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097968A (zh) * 2019-03-27 2019-08-06 中国科学院自动化研究所 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
CN110413844A (zh) * 2019-05-24 2019-11-05 浙江工业大学 基于时空注意力深度模型的动态链路预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Mobile demand forecasting via deep graph-sequence spatiotemporal modeling in cellular networks;Luoyang Fang et al.;《 IEEE Internet of Things Journal》;20180501;第5卷(第4期);第3091-3101页 *
Structured Sequence Modeling with Graph Convolutional Recurrent Networks;Youngjoo Seo et al.;《arXiv》;20161222;第1-10页 *
基于时空注意力深度模型的动态链路预测;陈晋音 等;《小型微型计算机系统》;20191115;第40卷(第11期);第2365-2373页 *
面向时空数据的深度模型设计与实现;徐轩桁;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200215(第2期);第I138-850页 *

Also Published As

Publication number Publication date
CN111126674A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126674B (zh) 基于深度模型的传播预测方法及其系统
Bruggemann et al. Automated search for resource-efficient branched multi-task networks
CN112364880B (zh) 基于图神经网络的组学数据处理方法、装置、设备及介质
CN110334742B (zh) 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN111159425A (zh) 一种基于历史关系和双图卷积网络的时态知识图谱表示方法
CN111382283B (zh) 资源类别标签标注方法、装置、计算机设备和存储介质
CN109816032A (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN113536144B (zh) 一种社交网络信息的传播规模预测方法、装置
CN111967271A (zh) 分析结果的生成方法、装置、设备及可读存储介质
CN114461943B (zh) 基于深度学习的多源poi语义匹配方法、装置及其存储介质
CN110826699A (zh) 一种基于梯度的图神经网络可解释性分析方法
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN114637911A (zh) 一种注意力融合感知网络的下一个兴趣点推荐方法
CN117392686A (zh) 一种基于改进的动态图神经网络的不实信息检测方法
CN115858919A (zh) 基于项目领域知识和用户评论的学习资源推荐方法及系统
CN116340524A (zh) 一种基于关系自适应网络的小样本时态知识图谱补全方法
CN114547310A (zh) 一种假新闻早期检测方法、系统、设备及介质
CN114116995A (zh) 基于增强图神经网络的会话推荐方法、系统及介质
Hafidi et al. Graph-assisted Bayesian node classifiers
CN117172376A (zh) 基于网络重构的生成式图神经网络的图结构链路预测方法及系统
CN113159976B (zh) 一种微博网络重要用户的识别方法
CN116307022A (zh) 一种舆情热点信息预测方法及系统
CN114529096A (zh) 基于三元闭包图嵌入的社交网络链路预测方法及系统
CN111177526A (zh) 网络意见领袖识别方法及装置
CN116975578A (zh) 逻辑规则网络模型训练方法、装置、设备、程序及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared