CN115759482A - 一种社交媒体内容传播预测方法和装置 - Google Patents

Abstract

本发明公开了一种社交媒体内容传播预测方法和装置，该方法包括：获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图；通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果；根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。本发明聚合了社交媒体内容传播过程中的拓扑信息，对历史内容发布、转发时间、转发用户层面和时间层面的不确定性进行建模，提升了预测效果。

Description

一种社交媒体内容传播预测方法和装置

技术领域

本发明涉及数据分析技术领域，具体涉及一种社交媒体内容传播预测方法和装置。

背景技术

网站内容在传播之前，需要进行预先检测，对用户发布的不良言论等内容需要早期进行管控，实现舆情治理，现有的网站内容传播预测方法包括基于特征设计、基于生成过程、基于扩散过程、基于深度学习的四类方法；这些方法在进行内容传播预测时，选择的观测时间窗是内容发布一段时间后，观测时间窗为1—5小时；而在实际应用中，有时需要在新闻或事件发生的很短时间内进行传播规模预测，实现早期预警。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种社交媒体内容传播预测方法和装置。

根据本发明的一个方面，提供了一种社交媒体内容传播预测方法，包括：

获取历史社交媒体内容以及所述历史社交媒体内容对应的历史转发关系数据，依据所述历史社交媒体内容以及所述历史转发关系数据构建得到内容传播过程对应的级联结构图；

通过基于注意力机制的Transformer网络为所述级联结构图中的节点设置时间特征，得到第一处理结果；

利用变分编码器对所述级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果，预测所述待预测社交媒体内容在指定预测时段内的传播数据。

根据本发明的另一方面，提供了一种社交媒体内容传播预测装置，包括：

级联结构图构建模块，用于获取历史社交媒体内容以及所述历史社交媒体内容对应的历史转发关系数据，依据所述历史社交媒体内容以及所述历史转发关系数据构建得到内容传播过程对应的级联结构图；

数据处理模块，用于通过基于注意力机制的Transformer网络为所述级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对所述级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

预测模块，用于根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果，预测所述待预测社交媒体内容在指定预测时段内的传播数据。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述一种社交媒体内容传播预测方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述一种社交媒体内容传播预测方法对应的操作。

根据本发明的一种社交媒体内容传播预测方法和装置，通过获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图；通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果；根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。本发明通过捕捉历史内容传播过程中的动态性，聚合了传播过程中的拓扑信息，对历史内容发布、转发时间、转发用户层面和时间层面的不确定性进行建模，考虑了内容传播过程中文本特征的变化，显著提升了预测效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种社交媒体内容传播预测方法流程图；

图2a示出了本发明实施例提供的一种社交媒体内容传播预测方法的模型结构示意图；

图2b示出了本发明实施例提供的GraphSAGE模型示意图；

图3示出了本发明实施例提供的一种社交媒体内容传播预测装置的结构示意图；

图4示出了本发明实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1示出了本发明一种社交媒体内容传播预测方法实施例的流程图，如图1所示，该方法包括以下步骤：

步骤S101：获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图。

图2a示出了本发明实施例提供的一种社交媒体内容传播预测方法的模型结构示意图，如图2a所示，本实施例提供了依据上下文依赖的动态变分自编码(CD-VAE)模型，主要包含5个部分：

1)结构嵌入：CD-VAE主要对社交媒体内容(例如微博博文)传播过程中的结构模式和用户在社交网络中的潜在关系进行捕捉；具体地，利用图深度学习技术来对网络结构进行学习，采用一种归纳式的图神经网络方法(GraphSAGE)来进行节点嵌入从而形成级联结构图。

2)文本特征嵌入：CD-VAE利用自然语言处理方法将文本表示为节点属性，采用GraphSAGE进行嵌入带属性的无向无环图得到文本表示。

3)时间特征嵌入：CD-VAE采用基于注意力机制的Transformer网络来对传播过程中的时间特征信息进行嵌入。

4)不确定性嵌入：CD-VAE采用了变分自编码器(Variational Auto-Encoder,VAE)来对内容传播过程中节点层面和时间层面的不确定性进行建模。

5)预测：CD-VAE结合了Transformer、变分推断、文本嵌入来得到最终表示，并输入多层感知机(MLP)进行分类和回归预测任务。

在一种可选的方式中，步骤S101进一步包括：对历史转发关系数据进行分析，确定参与内容传播过程的各个用户以及各个用户之间的转发关系；对历史社交媒体内容进行分析，确定各个用户的传播文本内容；依据各个用户以及各个用户之间的转发关系，构建级联结构图，并根据各个用户的传播文本内容为级联结构图中的每个节点设置文本特征。

在一种可选的方式中，步骤S101进一步包括：将各个用户作为各个节点，依据各个用户之间的转发关系确定各个节点之间的边，得到级联结构图。

在一种可选的方式中，步骤S101进一步包括：针对每个节点，将该节点对应的用户的传播文本内容进行向量表示后作为该节点的文本特征。

社交媒体内容传播的网络结构一般为级联结构，以一条转发微博“\\@A:XXX\\@B:YYY\\@C:ZZZ.....”为例，其中，A、B、C分别代表不同的用户，XXX、YYY、ZZZ为用户转发时所评论的文本，而级联结构则表示用户C所转发内容被用户B转发后，又由用户A转发；抽取单条微博博文中所有此类转发关系构建级联结构图，依据各个用户以及各个用户之间的转发关系，构建级联结构图，在本实施例中，通过归纳式的图神经网络方法即GraphSAGE来学习级联结构信息，GraphSAGE核心包括邻居采样和特征聚合，其思想是不断聚合每个用户的邻居信息，即级联结构图中与对应节点直接相连的节点信息，然后进行迭代，随着迭代次数增加，能学习到全局图信息。

图2b示出了本发明实施例提供的GraphSAGE模型示意图，如图2b所示，在本实施例中，GraphSAGE将直推式学习转化为归纳式学习，避免了训练时每次都需要重新训练节点特征的情况；此外，GraphSAGE通过邻居采样实现了直推式节点只能对一种局部结构进行表示转化到对应多种局部结构的节点归纳表示，充分提高模型的泛化、迁移能力，减少过拟合。

GraphSAGE进行特征聚合方式主要包括两种：平均聚合和池化聚合，分别如公式(1)、(2)所示:

其中ξ(v)为节点v的邻居集合，

和

分别为节点v和u的k-1层表示，W为权重矩阵，σ为激活函数，MEAN、max分别为求均值和求最大值函数。采用GraphSAGE进行结构嵌入时，当没有用户属性时，则

采用随机初始化。

通过GraphSAGE归纳式记忆局部模式结构信息，一方面通过节点嵌入捕获到了用户在传播过程中的行为，另一方面通过局部图学习能够捕捉到用户之间潜在的社交特性。GraphSAGE通过多次迭代后能够实现局部图学习近似为全局图学习，能够捕获全局结构。通过结构嵌入，能够捕捉到内容传播过程中的一些特性，1)用户影响力:在传播过程中具有更多邻居节点的用户往往是具有更大影响力的用户；2)用户社交特性:具有好友关系的用户之间传播内容的可能性更大。

构建级联结构图之后，需要根据各个用户的传播文本内容为级联结构图中的每个节点设置文本特征，文本特征嵌入具体方法如下：内容在转发过程中，用户进行转发时往往会附加评论，生成新的文本，生成文本也是内容传播的影响因子，即用户评论滋生的文本可能会滋生传播的新方向。

对于内容C_i，其在T时刻所形成的级联结构图为G_i(T)，将其记作G(V,ε)，对于任意节点v∈V，其文本记作tx(v)。句子嵌入是将{tx(v),v∈V}嵌入成一个向量，作为G(V,ε)的节点属性。首先使用word2vec将tx(v)中每个词

嵌入到低维向量表示

其中L表示词数量，WE(·)表示自然语言处理方法中文本转向量(word2vec)嵌入过程，如公式(3)所示。

再利用双向卷积神经网络(Bidirectional Gate Recurrent Unit，Bi-GRU)捕捉词序列之间的依赖关系，将序列

表示成另一个序列

具体如公式(4)所示，BG(·)表示Bi-GRU嵌入过程：

经过Bi-GRU得到一个序列，利用公式(5)进行平均池化得到一个向量x_v。

其中，mean(.)表示取平均值。然后便将每个节点的文本特征嵌入成了隐藏向量表示，后续便利用GraphSAGE对节点带属性的无向无环图进行嵌入得到最终的文本表示H，如公式(6),GS(·)表示GraphSAGE嵌入过程:

H＝GS(G(V,ε),{x_v,v∈V})； (6)

步骤S102：通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果。

在一种可选的方式中，步骤S102进一步包括：根据级联结构图，确定在观测时间窗内的时间序列，时间序列中包含有多个节点；通过基于注意力机制的Transformer网络对时间序列进行位置编码，对位置编码结果进行注意力机制求解和特征组合处理，得到多个节点的时间特征。

CD-VAE采用一种不依赖于顺序结构以及历史状态的序列处理方法，即基于注意力机制的Transformer网络来进行时间特征嵌入；具体地，对于内容C_i，在t时刻其形成的级联结构图为G_i(t)，经过上述步骤进行结构嵌入后表示为Z_i(t)；则在观测时间窗T内形成的时间序列为Z_i＝{Z_i(t),t＝1,2,…,T}，随后将时间序列Z_i输入Transformer网络，Transformer网络主要过程包括位置编码、多头注意力机制；具体地，Transformer虽然摒弃了这种时间依赖的思想，但是也需要区分输入时间序列的顺序，其是通过位置编码来实现的，位置编码过程如公式(7)和(8)所示：

其中PE表示位置编码，pos表示位置，而i表示特征维度；由于三角函数的性质，可将任意位置都可以进行编码表示，解决了序列长度问题，即可以针对任意长度序列进行处理。

而后是将位置编码后的输入求注意力机制，注意力求解如公式(9)所示:

其中Q、K、V分别表示输入的矩阵，d_k表示向量维度，Att(·)表示自注意力机制，sm(·)表示归一化指数函数softmax计算过程，则多头注意力计算如公式(10)、(11):

H_multi＝Concat(head₁,…,head_M)； (10)

经过M头注意力后输出为H_multi，head₍₎表示取特征数据字符串的头部，Concat()表示字符串拼接，Att(·)表示自注意力机制，Q、K、V分别表示输入的矩阵，则经过transformer后的输出为式(12):

TS(·)表示Transformer计算过程，第一处理结果

聚合了结构信息和时间信息，且能够处理长序列、非长期依赖序列问题。为了要提高模型准确率，可以采用更多层数的Transformer网络，更好地捕捉社交媒体内容传播内容的时间特征。

步骤S103：利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果。

在一种可选的方式中，步骤S103进一步包括：将级联结构图对应的节点序列输入至第一变分编码器得到节点维度的第一隐藏向量，利用第一隐藏向量进入输入重构得到第一重构结果；根据节点序列和第一重构结果之间的重构损失确定第一隐藏向量的目标值；将第一隐藏向量的目标值输入至第二变分编码器得到时间维度的第二隐藏向量，利用第二隐藏向量进行输入重构得到第二重构结果；根据第一隐藏向量的目标值和第二重构结果之间的重构损失确定第二隐藏向量的目标值；依据级联结构图、第一隐藏向量的目标值和第二隐藏向量的目标值，得到第二处理结果。

其中，第一隐藏向量用于表示在节点维度下的各个节点所具有的分布；第二隐藏向量用于表示在时间维度下的序列依赖特性所具有的分布。

本步骤用于利用变分编码器对级联结构图在节点维度和时间维度的不确定性进行嵌入，具体地，不确定性嵌入包括两个方面：1)用户(即节点维度)不确定性嵌入；2)时间维度不确定性嵌入。例如，微博传播内容早期预测中，可观测到的用户和转发行为都相对较少，直接从早期观测结果中学习得到的行为模式泛用性不强，从中总结用户转发规律和时间分布规律可能会导致预测结果失真，稳定性不高，因此我们需要对早期预测中的不确定性进行建模。

具体方法如下：

1)节点维度不确定性嵌入：对于内容C_i，其中的用户随着时间会进行增长，而用户增长则是依赖于转发结构，其用户层面不确定性来源于转发结构是否存在，故采用GraphSAGE嵌入结果z_j作为第一变分编码器的输入，其中j＝1,…,N表示节点，即内容传播中观测到的每一个用户。定义第一变分编码器中的编码器和解码器分别为Enc(·)和Dec(·)，则自编码器可表示如公式(13)、(14):

其中

表示z_j输入的重构，x_j表示第一隐藏向量，NN(·)表示线性神经网络，相当于多层感知机。经过第一变分编码器将输入表示成一个均值为μ，方差为logσ²的第一隐藏向量x_j。然后可以通过该第一隐藏向量来重构原始输入z_j得到第一重构结果

为了要表示内容传播过程中节点层面的不确定性，第一变分编码器的编码器对μ和logσ²进行采样来实现对服从高斯分布的隐藏向量进行采样，如公式(15)。

x_j＝μ_j+εσ_j,ε～N(0,1)； (15)

对于内容传播过程中的每个用户，其对于原始输入z_j的边缘对数似然表示为公式(16):

log₂p_θ(z_j)＝log₂∫p_θ(z_j|x_j)p(x_j)dx_j； (16)

在高维度时难以对z_j的边缘对数似然进行计算，可通过观察一个参数化的先验

来最大化证据下界(MaximizingtheEvidenceLowerBound，ELBO)，从而实现近似的后验概率p_θ(x_j|z_j)的计算，如公式(17)。

其中

是一个参数为

的编码器，其是后验概率p_θ(x_j|z_j)的近似表达，用于生成第一隐藏向量x_j，D_KL(·)表示KL散度(Kullback-Leibler divergence)，具体定义如公式(18):

根据节点序列和第一重构结果之间的重构损失确定第一隐藏向量的目标值，具体地，目标值是最小化

和p_θ(x_j|z_j)的KL散度，可以将它们转化为最大化log₂p_θ(z_j,x_j)的证据下界，其中参数θ,

可以使用不同的非线性函数进行拟合，例如神经网络等。

通过最小化输入z_j和重构输出

之间的重构损失，可以保证隐藏表示X_i捕捉到所有参与者j＝1,2,…,L具有的数据分布，从而能够对效果进行提升，现在可将生成的隐藏表示X_i输入到Transformer网络来进行结果预测，这就是实现用户(节点)层面不确定性的模型，记作CD-VAE-node，但是CD-VAE-node仅捕捉到了节点层面的不确定性，忽略了节点所形成序列之间的依赖性，因此还需要对时间层面的不确定性进行建模。

2)时间维度不确定性嵌入：对于内容C_i，其经过节点层面第一变分自编码器后输出的第一隐藏向量为X_i＝{x_i(j),j＝1,…,L}，采用最小化重构损失的思想，定义得到的时间维度的第二隐藏向量Y_i，其需要捕捉数据中序列依赖特性所具有的分布。

建模序列特征时采用的是Transformer，可将编码器Enc(·)表示为基于Transformer的第二变分编码器中的编码器输入，将解码器Dec(·)表示为基于Transformer的第二变分编码器中的解码器来实现对输入的重构。则基于Transformer的第二变分编码器可表示如公式(19)-(21):

其中，

μ＝TS(X_i),logσ²＝TS(X_i)； (20)

其中，

是对X_i进行重构的输入，M表示序列的长度，Y_i是学习到的时间层面变分编码的第二隐藏向量。若定义R_i表示序列的输入，则内容c_i的联合概率分布可被定义为公式(22)：

p_θ(R_i,X_i,Y_i)＝p_θ(Y_i|X_i)p_θ(R_i|X_i,Y_i)； (22)

第一隐藏向量X_i是一个中心各向同性多元高斯分布，则条件概率分布p_θ(Y_i|X_i)的参数通过基于Transformer的第二变分编码器来确定，p_θ(R_i|X_i,Y_i)可作为隐藏因子中重构的内容级联表示，定义如公式(23)、(24)：

其中已观测的R_i的条件分布是具有对角协方差矩阵的多元高斯函数，其均值和方差由神经网络

和

来确定，其中θ和

是神经网络参数；Diag()表示对角矩阵；证据下界(ELBO)可定义如公式(25)。

公式(25)中第一项是重构成本，对序列的负对数似然函数进行估计，其激励着对隐藏变量X_i和Y_i的序列的节点进行解码，两个KL散度是D_KL(·)是模型的正则化项，其反映了在优化证据下界下的信息损失。基于此，CD-VAE通过第一变分编码器和第二变分编码器将用户和序列的数据假设为高斯分布来完成了节点维度和时间维度的不确定性建模。

步骤S104：根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。

在本步骤中，预测任务可以包括三个方面：1)回归任务；2)分类任务。3)计算复杂度分析。

在一种可选的方式中，步骤S104进一步包括：根据待预测社交媒体内容、第一处理结果和第二处理结果进行回归处理，预测待预测社交媒体内容在指定预测时段内的传播规模增量；根据待预测社交媒体内容、第一处理结果和第二处理结果进行分类处理，预测待预测社交媒体内容在指定预测时段内的传播规模对应的分类区间。

具体地，根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果进行回归处理，目标是根据观测时间窗T内待预测社交媒体内容C_i的节点、文本、结构、时间等特征得到指定预测时段τ内的传播规模增量ΔP_i，如公式(26)。

损失函数定义如公式(27)：

其中，c是待预测社交媒体内容数量；

为第一处理结果；ΔP_i、

分别表示内容C_i的预测增量、真实增量；Y_i为第二隐藏向量；H_i为待预测社交媒体内容最终表示；Concat()用于连接两个或多个数组；L_reg表示L2正则化项；其是为了防止训练过程中过拟合，而λ是超参数；ELBO(R_i)是通过变分编码来实现的最大化证据下界。

根据待预测社交媒体内容、第一处理结果和第二处理结果进行分类处理，预测待预测社交媒体内容在指定预测时段内的传播规模对应的分类区间；具体地，可以将待预测社交媒体内容的传播规模划分为5个区间，例如为(0,10]，(10,50]，(50,150]，(150,300]，(300,∞]，以微博博文为例，其中(0,10]表示单条博文的转发量为大于0且小于等于10；将传播规模划分成一个分类任务，为了符合对于早期传播预警的要求，即对于内容传播规模预测，更加关注其是否达到某个阈值，而非具体的数值，在计算准确率时对上述五个分类区间的权重进行区别设置，例如分别设置为为1、10、50、100、300，即表示比较关注的是传播规模较大的任务，从而实现精准营销、早期预警、内容传播治理，分类任务的输出如下式(28):

其中y为通过softmax(sf)进行预测的类别，损失函数定义为带权重的交叉熵损失，如公式(29):

其中，

和

分别表示内容C_i属于第j类的概率，C_i表示第j类的权重，以上述5分类区间为例，则权重weight＝[1,10,50,100,300]。

在一种可选的方式中，该方法还包括：计算级联结构图、第一处理结果和/或第二处理结果的复杂度。

具体地说，由于CD-VAE模型在进行结构信息学习时采用的是GraphSAGE网络，GraphSAGE是基于空域的图嵌入方法，其计算复杂度为O(|E|d_m)，其中|E|、d_m分别表示级联结构图的边数量和输入节点特征；另外，CD-VAE模型在时间信息学习时采用的是Transformer网络，Transformer是基于自注意力的网络，其计算复杂度为

其中d_n表示输入Transformer的特征维度即GraphSAGE的输出特征维度；文本特征嵌入时采用图依赖的方式，其计算复杂度约等于O(|E|d_m)；在进行节点维度和时间维度不确定性嵌入时会存在很多的线性层，其计算复杂度主要是受隐藏变量的特征维度影响。

采用本实施例的方法，通过捕捉历史内容传播过程中的动态性，聚合了传播过程中的拓扑信息，从概率的角度对历史内容发布/转发时间和转发用户层面的不确定性进行建模，考虑了内容传播过程中文本特征的变化，显著提升了预测效果。本发明基于深度学习和贝叶斯学习的方法，结合了社交媒体内容的早期传播的特性，通过归纳式的图神经网络GraphSAGE来学习级联结构图，采用基于注意力机制的Transformer网络学习时间特征信息，同时采用两个变分自编码器来学习内容传播过程中节点维度和时间维度的不确定性；并且将涉及到的原始博文和转发内容信息通过自然语言处理技术进行文本特征嵌入为节点属性，实现传播规模预测，解决了现有预测模型只考虑发布文本，在聚合文本信息时，未考虑到转发结构依赖，以及未考虑内容传播过程中的节点和时间层面的不确定性。

图3示出了本发明一种社交媒体内容传播预测装置实施例的结构示意图。如图3所示，该装置包括：级联结构图构建模块301、数据处理模块302和预测模块303。

级联结构图构建模块301，用于获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图。

在一种可选的方式中，级联结构图构建模块301进一步用于：对历史转发关系数据进行分析，确定参与内容传播过程的各个用户以及各个用户之间的转发关系；对历史社交媒体内容进行分析，确定各个用户的传播文本内容；依据各个用户以及各个用户之间的转发关系，构建级联结构图，并根据各个用户的传播文本内容为级联结构图中的每个节点设置文本特征。

在一种可选的方式中，级联结构图构建模块301进一步用于：将各个用户作为各个节点，依据各个用户之间的转发关系确定各个节点之间的边，得到级联结构图。

在一种可选的方式中，级联结构图构建模块301进一步用于：针对每个节点，将该节点对应的用户的传播文本内容进行向量表示后作为该节点的文本特征。

数据处理模块302，用于通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果。

在一种可选的方式中，数据处理模块302进一步用于：根据级联结构图，确定在观测时间窗内的时间序列，时间序列中包含有多个节点；通过基于注意力机制的Transformer网络对时间序列进行位置编码，对位置编码结果进行注意力机制求解和特征组合处理，得到多个节点的时间特征。

在一种可选的方式中，数据处理模块302进一步用于：将级联结构图对应的节点序列输入至第一变分编码器得到节点维度的第一隐藏向量，利用第一隐藏向量进入输入重构得到第一重构结果；根据节点序列和第一重构结果之间的重构损失确定第一隐藏向量的目标值；将第一隐藏向量的目标值输入至第二变分编码器得到时间维度的第二隐藏向量，利用第二隐藏向量进行输入重构得到第二重构结果；根据第一隐藏向量的目标值和第二重构结果之间的重构损失确定第二隐藏向量的目标值；依据级联结构图、第一隐藏向量的目标值和第二隐藏向量的目标值，得到第二处理结果。

在一种可选的方式中，第一隐藏向量用于表示在节点维度下的各个节点所具有的分布；第二隐藏向量用于表示在时间维度下的序列依赖特性所具有的分布。

预测模块303，用于根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。

在一种可选的方式中，预测模块303进一步用于：根据待预测社交媒体内容、第一处理结果和第二处理结果进行回归处理，预测待预测社交媒体内容在指定预测时段内的传播规模增量；根据待预测社交媒体内容、第一处理结果和第二处理结果进行分类处理，预测待预测社交媒体内容在指定预测时段内的传播规模对应的分类区间。

在一种可选的方式中，预测模块303进一步用于：计算级联结构图、第一处理结果和/或第二处理结果的复杂度。

采用本实施例的装置，通过获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图；通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果；根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。本装置通过捕捉历史内容传播过程中的动态性，聚合了传播过程中的拓扑信息，从概率的角度对历史内容发布、转发时间、转发用户层面和时间层面的不确定性进行建模，进行建模，考虑了内容传播过程中文本特征的变化，显著提升了预测效果。

本发明实施例提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的一种社交媒体内容传播预测方法。

可执行指令具体可以用于使得处理器执行以下操作：

获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图；

通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；

利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。

图4示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：

处理器(processor)、通信接口(Communications Interface)、存储器(memory)、以及通信总线。

其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。通信接口，用于与其它设备比如客户端或其它服务器等的网元通信。处理器，用于执行程序，具体可以执行上述一种社交媒体内容传播预测方法实施例中的相关步骤。

具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。

处理器可能是中央处理器CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器，用于存放程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序具体可以用于使得处理器执行以下操作：

获取历史社交媒体内容以及历史社交媒体内容对应的历史转发关系数据，依据历史社交媒体内容以及历史转发关系数据构建得到内容传播过程对应的级联结构图；

通过基于注意力机制的Transformer网络为级联结构图中的节点设置时间特征，得到第一处理结果；

利用变分编码器对级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

根据待预测社交媒体内容、第一处理结果和第二处理结果，预测待预测社交媒体内容在指定预测时段内的传播数据。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (12)

1.一种社交媒体内容传播预测方法，其特征在于，包括：

获取历史社交媒体内容以及所述历史社交媒体内容对应的历史转发关系数据，依据所述历史社交媒体内容以及所述历史转发关系数据构建得到内容传播过程对应的级联结构图；

通过基于注意力机制的Transformer网络为所述级联结构图中的节点设置时间特征，得到第一处理结果；

利用变分编码器对所述级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果，预测所述待预测社交媒体内容在指定预测时段内的传播数据。

2.根据权利要求1所述的方法，其特征在于，所述依据所述历史社交媒体内容以及所述历史转发关系数据构建得到内容传播过程对应的级联结构图进一步包括：

对所述历史转发关系数据进行分析，确定参与内容传播过程的各个用户以及所述各个用户之间的转发关系；

对所述历史社交媒体内容进行分析，确定所述各个用户的传播文本内容；

依据所述各个用户以及所述各个用户之间的转发关系，构建级联结构图，并根据所述各个用户的传播文本内容为所述级联结构图中的每个节点设置文本特征。

3.根据权利要求2所述的方法，其特征在于，所述依据所述各个用户以及所述各个用户之间的转发关系，构建级联结构图进一步包括：

将所述各个用户作为各个节点，依据所述各个用户之间的转发关系确定各个节点之间的边，得到级联结构图。

4.根据权利要求2所述的方法，其特征在于，所述根据所述各个用户的传播文本内容为所述级联结构图中的每个节点设置文本特征进一步包括：

针对每个节点，将该节点对应的用户的传播文本内容进行向量表示后作为该节点的文本特征。

5.根据权利要求1所述的方法，其特征在于，所述通过基于注意力机制的Transformer网络为所述级联结构图中的节点设置时间特征，得到第一处理结果进一步包括：

根据所述级联结构图，确定在观测时间窗内的时间序列，所述时间序列中包含有多个节点；

通过基于注意力机制的Transformer网络对所述时间序列进行位置编码，对位置编码结果进行注意力机制求解和特征组合处理，得到所述多个节点的时间特征。

6.根据权利要求1所述的方法，其特征在于，所述利用变分编码器对所述级联结构图在节点维度和时间维度进行处理，得到第二处理结果进一步包括：

将所述级联结构图对应的节点序列输入至第一变分编码器得到节点维度的第一隐藏向量，利用所述第一隐藏向量进入输入重构得到第一重构结果；

根据所述节点序列和所述第一重构结果之间的重构损失确定所述第一隐藏向量的目标值；

将所述第一隐藏向量的目标值输入至第二变分编码器得到时间维度的第二隐藏向量，利用所述第二隐藏向量进行输入重构得到第二重构结果；

根据所述第一隐藏向量的目标值和所述第二重构结果之间的重构损失确定所述第二隐藏向量的目标值；

依据所述级联结构图、所述第一隐藏向量的目标值和所述第二隐藏向量的目标值，得到所述第二处理结果。

7.根据权利要求6所述的方法，其特征在于，所述第一隐藏向量用于表示在所述节点维度下的各个节点所具有的分布；

所述第二隐藏向量用于表示在所述时间维度下的序列依赖特性所具有的分布。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果，预测所述待预测社交媒体内容在指定预测时段内的传播数据进一步包括：

根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果进行回归处理，预测所述待预测社交媒体内容在指定预测时段内的传播规模增量；

根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果进行分类处理，预测所述待预测社交媒体内容在指定预测时段内的传播规模对应的分类区间。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

计算所述级联结构图、所述第一处理结果和/或所述第二处理结果的复杂度。

10.一种社交媒体内容传播预测装置，其特征在于，包括：

级联结构图构建模块，用于获取历史社交媒体内容以及所述历史社交媒体内容对应的历史转发关系数据，依据所述历史社交媒体内容以及所述历史转发关系数据构建得到内容传播过程对应的级联结构图；

数据处理模块，用于通过基于注意力机制的Transformer网络为所述级联结构图中的节点设置时间特征，得到第一处理结果；利用变分编码器对所述级联结构图在节点维度和时间维度进行处理，得到第二处理结果；

预测模块，用于根据待预测社交媒体内容、所述第一处理结果和所述第二处理结果，预测所述待预测社交媒体内容在指定预测时段内的传播数据。

11.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的一种社交媒体内容传播预测方法对应的操作。

12.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-9中任一项所述的一种社交媒体内容传播预测方法对应的操作。

Images