CN108596239B - 一种基于马尔科夫链和动态回溯的主题热度趋势预测方法 - Google Patents

Abstract

本发明公开了一种基于马尔科夫链和动态回溯的主题热度趋势预测方法。本发明综合微博的四个影响因素(微博数、转发总数、评论总数和赞总数)，利用相对的排名的方法定义微博热度值。在预测时改进了马尔科夫链算法，基于历史回溯优化模拟退火算法优化相关参数。本发明提出的方法能够提高主题热度趋势预测的准确性。

Description

一种基于马尔科夫链和动态回溯的主题热度趋势预测方法

技术领域

本发明涉及社交网络信息分析，特别是涉及一种基于马尔科夫链和动态回溯的主题热度趋势预测方法。

背景技术

针对社交网络预测问题，近年来研究日益增多。全球范围内主要研究Twitter，Facebook等平台，中国国内以新浪微博和微信平台为主。预测的内容包括以用户为主的用户影响力预测，用户偏好预测和以主题为主的主题热度预测等。

对于微博主题发展趋势的研究成为社交网络预测研究的重点之一。从时间序列进行研究的包括Tong,H.等人提出的使用自适应AR模型对网络主题进行浏览量的预测。Han,Y.等提出了用现有用户发布文本生成带影响值的时间序列，并且通过对主体属性，社会属性和地理属性的运用预测主题的影响力。Gupta,M等将主题的发展趋势分为5类，通过结合流行特征，比值特征，社会特征，主题特征等不同的特征值，运用线性回归、自回归、自回归移动平均和向量回归等回归的方法以及朴素贝叶斯，决策树，支持向量机等分类的方法对主题的流行趋势进行预测。从机器学习算法进行研究的处理常用的支持向量机算法外，Zhou,Y.等提出了对个人兴趣，群体行为和时间推移因素的分析量化，建立动态概率模型的方法。Wang,X等提出了建立灰度模型对网络主题点击量进行预测。除此之外，还有Bao,P.等提出的利用主题的结构特性，通过早期用户的连接密度和扩散深度建立预测模型，Fu,C.等提出了根据分析微博文本，构建特殊语料库，并提取时间特征，预测特殊主题的局部趋势。

上述这些模型在微博主题热度趋势预测上取得了一定的研究效果。然而存在了两个瓶颈。一个是时间序列预测方法对数据依赖性过强。传统时间序列预测方法大多基于时间序列数据存在一个线性关系的假设，而微博数据并不满足这个条件，所以一旦数据的波动过大，预测的结果就不理想。另一个是现有的预测指标存在问题。绝对预测的过于严格性使得预测难度过大，取得准确性高结果的几率很小，预测的价值大减。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于马尔科夫链和动态回溯的主题热度趋势预测方法。

本发明所采用的技术方案是：为了提高主题热点预测的相对准确性，我们提出了一个基于马尔科夫链和动态回溯的主题趋势预测模型。该模型在预测未来时间点的主题热度时，既与长期历史的相关数据相联系，又着重通过近期短时间的主题热度进行精确预测估计；运用马尔科夫链，和自学习技术对于预测进行修正，以提高预测的准确性。

一种基于马尔科夫链和动态回溯的主题热度趋势预测方法，具体步骤如下：

步骤1：利用已知的微博主题历史数据进行自学习，完成对上升因子和下降因子的参数修正；

为确保预测算法中参数的准确性，本发明利用模拟退火算法优化参数up_factor和attenuation_factor。up_factor表示上升因子，该因子主要是为了调节在预测过程中微博热度上升的速度，attenuation_factor表示衰减因子，该因子主要是为了调节在预测过程中微博热度下降的速度。

模拟退火算法是一种通用的优化算法，具有渐近收敛性，已在理论上被证明是一种以概率l收敛于全局最优解的全局优化算法。模拟退火算法可以分解为解空间、目标函数和初始解三部分。模拟退火的基本思想如下：

⑴初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L

⑵对k＝1,2...L；做第⑶至第6步：

⑶产生新解S'

⑷计算增量Δt'＝C(S')-C(S)，其中C(S)为评价函数

⑸若Δt'＜0则接受S'作为新的当前解，否则以概率exp(-Δt'/T)接受S'作为新的当前解

⑹如果满足终止条件则输出当前解作为最优解，结束程序。

终止条件通常取为连续若干个新解都没有被接受时终止算法。

⑺T逐渐减少，且T-＞0,然后转第2步。

修正集是训练集后t个时间段的微博数据，设C为修正数据集，C＝{correction_i|0＜i＜t}，上升因子和衰减因子的初始值up_factor＝1.0，attenuation_factor＝1.0，通过使用预测算法计算出修正集对应的预测结果result＝prediction()，得到新的解，设评价函数C(S)＝log(Ad)+log(Rd)。Ad是结果的绝对差：

Rd是结果的相对差：

步骤2：利用动态回溯算法改进马尔科夫预测算法中的状态，将主题状态抽象模糊化，用近期微博的变化量确定主题热度上升和下降的程度，对未知主题的热度进行预测分析。

马尔可夫预测是利用状态之间转移概率矩阵预测主题发生的状态及其发展变化趋势，也是一种随时间序列分析法。它基于马尔可夫链，根据主题的目前状况预测其将来各个时刻(或时期)的变动状况。时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为X_n＝X(n),n＝0,1,2...。

马尔可夫链是随机变量X₁,X₂,X₃...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而c的值则是在时间n的状态。如果X_n+1对于过去状态的条件概率分布仅是X_n的一个函数，则

P(X_n+1＝x|X₀,X₁,X₂,...,X_n)＝P(X_n+1＝x|X_n)

这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。虽然马尔科夫广泛的运用于自然科学和工程技术领域的预测，但是经典马尔科夫算法在主题热度预测上存在一些挑战。首先是马尔科夫链中状态的确定。状态是指某一主题在某个时刻(或时期)出现的某种结果。主题的发展，从一种状态转变为另一种状态，称为状态转移。一般事物会被划分为n个状态，事物也只能在这n个状态中发展和转换。但在主题热度值的预测上，又很难将连续的热度值划分为有限离散的n个状态。针对无法将连续的真实热度值转换成离散状态的问题。有人通过将主题的上升程度和下降程度平均分为n种情况，将这n种情况当作马尔科夫链中的状态，但是这种预测更接近聚类的思想，没法实际考量真正的热度值。本发明采用动态回溯方法改进主题热度状态。

本发明选择将主题状态进行抽象模糊化，设定主题的热度只存在两种状态：上升和下降。然后根据训练集和主题的发展情况，确定上升和下降的概率，用近期微博的变化量确定主题上升和下降程度。将两者进行分析对比，求出主题的最终的发展情况是上升还是下降以及上升或下降的具体热度值，完成对主题的热度趋势预测。

设主题的状态集S＝{s₊,s_{_}}，s₊代表主题热度值在下个单位时间段处于上升时期，s_{_}代表主题热度值在下个单位时间段处于下降时期。通过主题的训练集，提取不同主题的特征，可以得到不同主题的上升(下降)速度，上升(下降)幅度等，然后综合考虑这些因素，得到主题的上升(下降)概率。然后，通过主题的修正集，对主题的上升或下降情况进行修正，得到上升(下降)因子。通过对比上升因素和下降因素的影响程度，最终确定主题下一步的走向。

本发明中基于马尔科夫链的预测算法公式如下：

predict_value＝front_value+up+down

公式中，front_value是所预测前一单位时间的微博热度值；up是预测热度上升的值，down是预测热度下降的值。其中：

up＝up_factor×value×p₊×compare₊

down＝attenuation_factor×value×p_-×compare_-

上升值计算公式中，p₊是通过训练集得到的热度上升概率，up_factor是通过修正集得到的上升因子。而value值代表热度变化值。下降值计算公式中，p_-是通过训练集得到的热度下降概率，attenuation_factor是通过修正集得到的衰减因子。value与以上相同。compare值是比较在训练集中得到的上升值和下降值中的其他一些参数，对两者做出进一步的调节。本发明假设compare₊＝1，compare_{_}＝(s_-/s₊)×(count_-/count₊)。

突发主题在爆发后会快速消散，为了准确的预测这一特点，本发明设置了一个阈值θ，这个阈值的目的是预测主题发生过程中的最高点或最低点，然后控制主题的走向，改变主题变化的趋势。阈值θ将直接影响主题的调节因子α＝(1,-1)；当α＝1时，主题呈上升势态发展；当α＝-1时，主题呈下降势态发展。

步骤3：利用时间窗机制改进马尔可夫预测算法中的无后效性，回溯前几个时间段的主题热度，计算对未来的影响，对未知主题的热度进行预测分析。

经典马尔科夫模型有一个显著的特点就是无后效性，即主题的未来只跟现在有关，跟过去无关。而微博主题的发展并不具有无后效性的特点，他的热度值可能受到近期主题发展的影响。本发明选择了使用时间窗的方法，确定可能影响的范围，向前回溯几个时间段的微博热度，利用这些数据计算其对未来的影响。

设时间窗跨度为n,当预测主题未来趋势时，我们将提取时间t,t-1,t-2...t-n+1的数据，作为影响未来趋势的数据基础。为确定热度变化值，本发明运用马尔科夫思想，可以假设第n+1步的主题热度与整个主题热度发展的历史无关，只与相邻第n步的热度值相关，公式如下：

h(t_n+1|t_n,t_n-1...t₁)＝h(t_n+1|t_n)

但是从实际角度考虑，主题发展过程中对下一步热度有重要影响的要素往往不止相邻一步，可能回溯前几步的主题热度都对需预测的主题热度有影响。所以，本发明最终将影响第n+1步的主题热度值定义为：

h(t_n+1|t_n,t_n-1...t₁)＝h(t_n+1|t_n,t_n-1...t_n-m+1)

公式表明，第n+1个单位时间的主题热度值不只是由相邻的第n步值决定，而是由回溯的前m步值共同决定。所以，value值表示回溯m步的热度平均值，即：

与现有技术相比，本发明的有益效果如下：

为了提高主题热点预测的相对准确性，我们提出了一个基于马尔科夫链和动态回溯的主题趋势预测模型。该模型在预测未来时间点的主题热度时，既与长期历史的相关数据相联系，又着重通过近期短时间的主题热度进行精确预测估计；运用马尔科夫链，和自学习技术对于预测进行修正，以提高预测的准确性。本发明得到了较好的结果，能预测出了突发主题的爆发事件和相应的主题热度排名。

附图说明

图1为退火算法优化过程；

图2为马尔科夫链无后效性的改进。

具体实施方式

下面结合附图对本发明进一步说明。

实施例一

本发明一种基于马尔科夫链和动态回溯的主题热度趋势预测方法，选择选择T＝3作为预测的时间窗参数。具体步骤如下：

步骤1：利用已知的微博主题历史数据进行自学习，完成对上升因子和下降因子的参数修正；为确保预测算法中参数的准确性，本发明利用模拟退火算法优化参数up_factor和attenuation_factor。up_factor表示上升因子，该因子主要是为了调节在预测过程中微博热度上升的速度，attenuation_factor表示衰减因子该因子主要是为了调节在预测过程中微博热度下降的速度。

模拟退火算法是一种通用的优化算法，具有渐近收敛性，已在理论上被证明是一种以概率l收敛于全局最优解的全局优化算法。模拟退火算法可以分解为解空间、目标函数和初始解三部分。模拟退火的基本思想：

⑴初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L

⑵对k＝1,2...L；做第⑶至第6步：

⑶产生新解S'

⑷计算增量Δt'＝C(S')-C(S)，其中C(S)为评价函数

⑸若Δt'＜0则接受S'作为新的当前解，否则以概率exp(-Δt'/T)接受S'作为新的当前解

⑹如果满足终止条件则输出当前解作为最优解，结束程序。

终止条件通常取为连续若干个新解都没有被接受时终止算法。

⑺T逐渐减少，且T-＞0,然后转第2步。

修正集是训练集后t个时间段的微博数据，设C为修正数据集，C＝{correction_i|0＜i＜t}，上升因子和衰减因子的初始值up_factor＝1.0，attenuation_factor＝1.0，通过使用预测算法计算出修正集对应的预测结果result＝prediction()，得到新的解，设评价函数C(S)＝log(Ad)+log(Rd)。Ad是结果的绝对差：

Rd是结果的相对差：

具体算法流程如图1所示。

步骤2：利用动态回溯算法改进马尔科夫预测算法中的状态，将主题状态抽象模糊化，用近期微博的变化量确定主题热度上升和下降的程度，对未知主题的热度进行预测分析。

马尔可夫预测是利用状态之间转移概率矩阵预测主题发生的状态及其发展变化趋势，也是一种随时间序列分析法。它基于马尔可夫链，根据主题的目前状况预测其将来各个时刻(或时期)的变动状况。时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为X_n＝X(n),n＝0,1,2...。

马尔可夫链是随机变量X₁,X₂,X₃...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而c的值则是在时间n的状态。如果X_n+1对于过去状态的条件概率分布仅是X_n的一个函数，则

P(X_n+1＝x|X₀,X₁,X₂,...,X_n)＝P(X_n+1＝x|X_n)

这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。虽然马尔科夫广泛的运用于自然科学和工程技术领域的预测，但是经典马尔科夫算法在主题热度预测上存在一些挑战。首先是马尔科夫链中状态的确定。状态是指某一主题在某个时刻(或时期)出现的某种结果。主题的发展，从一种状态转变为另一种状态，称为状态转移。一般事物会被划分为n个状态，事物也只能在这n个状态中发展和转换。但在主题热度值的预测上，又很难将连续的热度值划分为有限离散的n个状态。针对无法将连续的真实热度值转换成离散状态的问题。有人通过将主题的上升程度和下降程度平均分为n种情况，将这n种情况当做马尔科夫链中的状态，但是这种预测更接近聚类的思想，没法实际考量真正的热度值。本发明采用动态回溯方法改进主题热度状态。

本发明选择将主题状态进行抽象模糊化，设定主题的热度只存在两种状态：上升和下降。然后根据训练集和主题的发展情况，确定上升和下降的概率，用近期微博的变化量确定主题上升和下降程度。将两者进行分析对比，求出主题的最终的发展情况是上升还是下降以及上升或下降的具体热度值，完成对主题的热度趋势预测。

设主题的状态集S＝{s₊,s_-}，s₊代表主题热度值在下个单位时间段处于上升时期，s_{_}代表主题热度值在下个单位时间段处于下降时期。通过主题的训练集，提取不同主题的特征，可以得到不同主题的上升(下降)速度，上升(下降)幅度等，然后综合考虑这些因素，得到主题的上升(下降)概率。然后，通过主题的修正集，对主题的上升或下降情况进行修正，得到上升(下降)因子。通过对比上升因素和下降因素的影响程度，最终确定主题下一步的走向。

本发明中基于马尔科夫链的预测算法公式如下：

predict_value＝front_value+up+down

公式中，front_value是所预测前一单位时间的微博热度值；up是预测热度上升的值，down是预测热度下降的值。其中：

up＝up_factor×value×p₊×compare₊

down＝attenuation_factor×value×p_-×compare_-

上升值计算公式中，p₊是通过训练集得到的热度上升概率，up_factor是通过修正集得到的上升因子。而value值代表热度变化值。下降值计算公式中，p_-是通过训练集得到的热度下降概率，attenuation_factor是通过修正集得到的衰减因子。value与以上相同。compare值是比较在训练集中得到的上升值和下降值中的其他一些参数，对两者做出进一步的调节。本发明假设compare₊＝1，compare_{_}＝(s_-/s₊)×(count_-/count₊)。

突发主题在爆发后会快速消散，为了准确的预测这一特点，本发明设置了一个阈值θ，这个阈值的目的是预测主题发生过程中的最高点或最低点，然后控制主题的走向，改变主题变化的趋势。阈值θ将直接影响主题的调节因子α＝(1,-1)；当α＝1时，主题呈上升势态发展；当α＝-1时，主题呈下降势态发展。

步骤3：利用时间窗机制改进马尔可夫预测算法中的无后效性，回溯前几个时间段的主题热度，计算对未来的影响，对未知主题的热度进行预测分析。

经典马尔科夫模型有一个显著的特点就是无后效性，即主题的未来只跟现在有关，跟过去无关。而微博主题的发展并不具有无后效性的特点，他的热度值可能受到近期主题发展的影响。本发明选择了使用时间窗的方法，确定可能影响的范围，向前回溯几个时间段的微博热度，利用这些数据计算其对未来的影响，如图2所示。

设时间窗跨度为n,当预测主题未来趋势时，我们将提取时间t,t-1,t-2...t-n+1的数据，作为影响未来趋势的数据基础。为确定热度变化值，本发明运用马尔科夫思想，可以假设第n+1步的主题热度与整个主题热度发展的历史无关，只与相邻第n步的热度值相关，公式如下：

h(t_n+1|t_n,t_n-1...t₁)＝h(t_n+1|t_n)

但是从实际角度考虑，主题发展过程中对下一步热度有重要影响的要素往往不止相邻一步，可能回溯前几步的主题热度都对需预测的主题热度有影响。所以，本发明最终将影响第n+1步的主题热度值定义为：

h(t_n+1|t_n,t_n-1...t₁)＝h(t_n+1|t_n,t_n-1...t_n-m+1)

公式表明，第n+1个单位时间的主题热度值不只是由相邻的第n步值决定，而是由回溯的前m步值共同决定。所以，value值表示回溯m步的热度平均值，即：

Claims (1)

1.一种基于马尔科夫链和动态回溯的主题热度趋势预测方法，其特征在于：

步骤1：利用已知的微博主题历史数据进行自学习，完成对上升因子和下降因子的参数修正，找到最优参数；

利用模拟退火算法优化参数

和

，

表示上升因子，该因子主要是为了调节在预测过程中微博热度上升的速度，

表示衰减因子该因子主要是为了调节在预测过程中微博热度下降的速度；

步骤2：利用动态回溯算法改进马尔可夫预测算法中的状态，将主题状态抽象模糊化，用近期微博的变化量确定主题热度上升和下降的程度，对未知主题的热度进行预测分析；

基于马尔科夫链的预测算法公式如下，

公式中，

是所预测前一单位时间的微博热度值，

是预测热度上升的值，

是预测热度下降的值；其中，

上升值计算公式中，

是通过训练集得到的热度上升概率，

是通过修正集得到的上升因子，而

值代表热度变化值，下降值计算公式中，

是通过训练集得到的热度下降概率，

是通过修正集得到的衰减因子，

与以上相同，

值是比较在训练集中得到的上升值和下降值中的其他一些参数，对两者做出进一步的调节；

设定一个阈值

，用来预测主题发生过程中的最高点或最低点，控制主题的走向，改变主题变化的趋势；

步骤3：利用时间窗机制改进马尔可夫预测算法中的无后效性，回溯前几个时间段的主题热度，计算对未来的影响，对未知主题的热度进行预测分析；

第n+1步的主题热度值计算公式如下，

公式表明，第

个单位时间的主题热度值不只是由相邻的第

步值决定，而是由回溯的前

步值共同决定。

Images