CN110149595A - 一种基于hmm的异构网络用户行为预测方法 - Google Patents

Abstract

本发明提出一种基于HMM的异构网络用户行为预测方法。针对异构蜂窝网络(HCN)环境下，传统的切换管理策略极少综合考虑热点地区用户的移动偏好与移动特征的问题，本发明对热点地区用户行为进行感知的方法。该方法采用人类自相似性最小行走移动模型(Self‑similar Least‑action Human Walk，SLAW)模拟热点地区用户移动路径，采用隐式马尔科夫模型对用户行为建模，实现了通过用户在基站中的移动序列来预测用户对应的移动时间。该方法为设计合理的切换管理方案提供具体的设置参数，提升了热点地区用户行为预测的准确率，确保热点地区基站对即将到来的切换请求做出有效准备。异构蜂窝网络的用户行为预测方法属于通信网络领域。

Description

一种基于HMM的异构网络用户行为预测方法

技术领域

针对异构蜂窝网络(Heterogeneous Cellular Networks，HCN)环境下，传统的切换管理策略极少综合考虑热点地区用户的移动偏好与移动特征的问题，本发明提出一种基于隐式马尔科夫模型(Hidden Markov Model，HMM)对热点地区用户行为进行感知的方法。该方法采用人类自相似性最小行走移动模型(Self-similar Least-action Human Walk，SLAW)模拟热点地区用户移动路径，采用隐式马尔科夫模型对用户行为建模，实现了通过用户在基站中的移动序列来预测用户对应的移动时间。该方法为设计合理的切换管理方案提供具体的设置参数，提升了热点地区用户行为预测的准确率，确保热点地区基站对即将到来的切换请求做出有效准备。异构蜂窝网络的用户行为预测方法属于通信网络领域。

背景技术

随着高性能移动终端的迅猛发展，针对移动设备优化的在线资源逐渐丰富，个人手持移动终端也日益普及，移动数据业务将会在未来的全球移动业务总流量中占比越来越大。用户使用手持移动终端与网络处于业务连接状态时，不可避免的在不同小区间游走，为了增加热点地区(Hot-spot)的覆盖密度，小蜂窝技术被提出，该技术能有效地提高小区容量，随后将其与宏蜂窝融合形成了异构蜂窝网络。在该环境中，如何确保用户在小区间切换时具有良好的网络连接状态成为了当下的一个研究重点。在多种小蜂窝组成的HCN中，由于各小区覆盖半径并不完全相同，因此若对所有小区采用相同切换设置参数可能会降低切换性能，故切换策略的设计应考虑用户的移动偏好等因素。切换策略的执行基础是对持有移动终端的用户群体进行分析和行为预测，这就需要切换策略拥有合理的用户行为感知方法。

在现有的行为预测算法中，可以通过预测用户在目标小区中的停留时间(Time-of-Stay,ToS)来减少不必要的切换，削弱切换中产生的乒乓效应。但是用于预测ToS的用户速度信息基于当前值获取，没有利用用户历史状态信息增加预测的准确度。针对HCN特殊的部署环境，可以采用递归最小二乘法预测候选小区中的接收信号强度(Received SignalStrength，RSS)，选取具有最好信号水平的小区作为目标切换小区，以此对用户行为进行感知。但是由于热点地区复杂的建筑物结构和相应的多径与穿透损耗使得RSS波动比较剧烈，其可信度也有所降低。

此外，使用何种人类移动模型作为预测算法的输入也会对预测算法的仿真结果和正确率产生影响。在现有的人类移动模型中，随机移动模型，例如截断的利维行走(Truncated Levy Walk,TLW)、随机路径点(Random Way Point,RWP)、布朗运动(BrownianMotion,BM)等没有考虑移动轨迹的自相似性和移动区域有界性，而集群移动模型(Clustered Mobility Model,CMM)、马尔科夫路径点移动模型(Markov Way PointMobility Model,MWP)虽然模拟了热点和群组效应，但是没有考虑移动距离的重尾分布。

在这个背景下，为了解决上述方案存在的不足，本发明使用SLAW模型作为移动数据基础，着重研究基于HMM的热点地区个体用户行为预测方法。即利用HMM对SLAW所模拟的热点地区的用户移动特征进行分析与建模，采用Baum-Welch算法学习模拟热点地区的用户路径点，得到HMM参数集；利用Viterbi算法生成的时间序列预测当前跟踪用户最有可能的移动时间。

发明内容

本发明获得了一种基于隐式马尔科夫模型对热点地区用户行为进行感知的方法。首先，该方法基于人类自相似性最小行走移动模型模拟热点地区用户移动路径，并使用隐式马尔科夫模型对用户行为建模，然后通过用户的移动序列预测对应的移动时间，最后通过仿真实验分析不同采样时间和不同基站密度对用户行为预测的影响，为设计合理的切换管理方案提供具体的设置参数。结果表明：该方法提升了热点地区用户行为预测的准确率，确保热点地区基站对即将到来的切换请求做出有效准备；

该方法的具体步骤如下：

步骤一：提取用户待移动路径点

在SLAW模型中，初始存在着根据移动区域大小、路径点个数和赫斯特指数，采用分数阶高斯噪声和分数布朗运动技术在二维平面上生成的一个特定移动区域以及指定个数的自相似的路径点，需要从这些自相似路径点中，提取用户待移动路径点，具体过程如下所示：

①定义N为生成的路径点进行聚类后形成的若干个点群；

②定义r₁为各点群之间的比例因子，定义r₂为将要选取的路径点比例因子，并抽取出个点群；

③从剩余的个点群中随机挑选一个点群，随机替换已抽取的个点群中的一个；

④定义P为抽取出的个点群中包含的路径点，此时可以得到用户待移动路径点集合V，有

步骤二：生成用户移动轨迹模型

SLAW模型模拟出的用户移动轨迹是由每个采样时间点用户所在的路径点组成的，对于用户移动的总时间、采样时间间隔、最小暂停时间、最大暂停时间、移动速度等一些特定的参数可根据实际情况预先自行设定，SLAW模型模拟用户移动轨迹具体过程如下：

①参照步骤一，从已生成的用户待移动路径点集合V中随机选择2个点，一个作为起始点，另一个作为下一路径点，即用户下一步移动的目的点，完成初始化工作。抽取工作遵循完全随机原则；

②系统采样起始时间设定为1秒，此后采样时间不断增加，同时用户从起始点出发，定义该起始点作为用户当前的路径点，且到达时间为1s；

③经过固定的时间间隔(一般为30秒至60秒，时间间隔越短，采样精度越高)，判断下一采样时间点与当前路径点的到达时间、暂停开始时间、暂停结束时间的关系(暂停开始时间与暂停结束时间可视为用户在某一地点的驻留时间)：

a.如果当前采样时间大于当前路径点的暂停结束时间，则用户下一移动目的点定义为：

其中c表示当前路径点，v表示下一路径点，P(c,v)表示到达下一路径点v的概率，d(c,v)表示表示当前路径点c与候选路径点v之间的欧氏距离，V'为未达到过的路径点的集合，α为距离权重(常数，一般设置在1到6之间，表示选择的可能性，值越大选择可能性越大)，遍历V'中所有所有路径点，概率最大的即为用户下一移动目标。

b.如果采样时间在当前路径点的暂停开始时间和暂停结束时间之间，用户不进行转移，停留在当前路径点。

④循环进行③，直到系统总采样时间大于预先设定的用户移动的总时间，随后将用户停留过的路径点按采样时间顺序相连，生成用户最终的移动轨迹。

步骤三：基于HMM对HCN环境下的用户行为建模

在HMM预测算法中，对步骤二中得到的热点地区用户移动轨迹进行分段采样，并将采样时间内用户所停留的基站定义为该时间段内用户的常驻基站，而在小区间进行游走的用户其常驻基站也会发生改变(同时其对应的隐含态也将随之改变)，从当前的常驻基站(可观测的状态)到目的的常驻基站进行变迁，这一过程也叫作用户观测状态转移的过程。在本文建立的模型中，对于热点地区不同的用户而言其发生状态转移的过程和一天中的时间段有关(例如一天中的早晨、中午、下午与夜晚等)，现实中用户发生迁移的时间段其改变和特定场景有关，难以直接观测，因此我们将其作为HMM模型中的隐含态。综上所述，构建基于观测态(热点地区的用户在采样时间内停留的基站)和隐含态(一天之中的各个时间段)的HMM模型，该模型的表达式为λ＝(n,m,A,B,π)。

n表示建模中所设定的隐含态(一天之内的时间段)的个数，其最大值随建模时所设的隐含态个数而改变。

m表示在某一特定隐含态下所具有的观测状态(常驻基站)的个数，n与m在HMM模型中的作用主要为规范状态转移过程的取值。

A表示一个n×n的状态转移矩阵，表示不同隐含态(时间段)之间的转移概率。其中p(j^T+1|i^T)为从采样时间T时刻的隐含状态i到T+1时刻隐含状态j的转移概率，矩阵中每一个元素a_ij定义如下：

a_ij＝p(j^T+1|i^T),1≤i,j≤n (2)

B表示HMM模型中的混淆矩阵(也称为观测矩阵)，对于HMM模型中任意一个无法观测的隐含态序列，每一个隐态都会与一个观测态相对应，而该观测态将从m个观测态中产生一个，故B是一个n×m的概率矩阵，即在某一隐态下对应某一观测态的概率集合，其中p(oi)表示在隐含状态i出现时观察到观测态o的概率，矩阵中每一个元素b_i定义如下：

b_i＝p(o|i),1≤o≤m,1≤i≤n (3)

π＝{π₁，π₂，...，π_n}表示HMM模型的初始隐含态概率分布，该集合中所有的元素总和为1，p(t_i)表示隐含态i在系统时间t＝0时刻的初始概率，该集合中每一个元素可表示为：

π_i＝p(t_i),1≤i≤n, (4)

步骤四：确定HMM模型参数

在建立了针对热点地区用户移动的五个HMM模型参数后，需要确定这些参数的具体数值。在HMM模型中，对于已生成的观察序列(用户移动的基站序列号)，其对应的隐含态为未知，因此使用Baum-welch算法计算最可能的模型参数。定义可观测的用户移动序列为O＝(o₁，o₂，...，o_m)，m为步骤三中观测状态(常驻基站)的个数，定义隐含态序列为I＝(i₁，i₂，...，i_n)，n为步骤三中隐含态(时间段)的个数，O与I的联合集定义为完全数据，即(O，I)＝(o₁,...,o_m,i₁,...,i_n)，λ为步骤三中的HMM模型参数，P(O,I|λ)为在λ条件下完全数据的联合概率，P(O,i|λ)为在λ条件下某一隐态i出现的概率。在这个条件下，各个参数的求值公式如下所示：

求π式由Baum-welch算法中对拉格朗日函数求偏导得到，其中P(O|λ)为在λ条件下观测态出现的概率，γ(i)为单个隐态i出现的概率。

同理，和上述参数相同，P(O，i,j|λ)为在λ条件下隐含态i与j同时出现的联合概率，ζ(i,j)为两个隐含态i，j的联合概率，求A式如下：

同理，和上述参数相同，I(o_j)为在观测态o下隐含态j出现的概率，求B式如下：

步骤五：预测对应用户移动的时间序列

对于一个已知的可观测的用户移动状态，使用Viterbi算法对其评估最可能匹配的隐含态(即对应的移动时间段)。定义变量δ_t(i)表示t时刻，隐态为i的所有完全数据序列(同步骤四)中的概率最大值，λ为步骤三中的HMM模型，定义ψ_t(i)为t时刻每一个隐态i下，所对应的概率最大的隐含态序列的前一个状态j。预测观测态对应的隐态序列过程分为初始化、递推、终止与最优路径回溯：

1)初始化：

其中π_i为步骤三中π矩阵和该时刻隐态i对应的元素，同理b_i为步骤三中B矩阵和该时刻隐态i对应的元素，o₁与步骤四中含义相同，为观测序列O的第一个元素，δ_t(i)的初始值为三者之积，ψ_t(i)的初始值为0，则有当t＝1时，：

δ₁(i)＝π_ib_i(o₁) (8)

ψ₁(i)＝0 (9)

2)递推：

对t＝2,3，...，n，将1)中所得不断加入迭代，因子b_i与o_t保持，分别为该t时刻隐态i对应的观测矩阵B与观测序列O的元素，同时a_ij表示在步骤三A矩阵中与当前隐态i和前一个状态j对应的元素，每一t时刻的δ_t(i)与ψ_t(i)计算公式为：

3)终止：

当t＝n时，定义P^*为运算结束时，在2)的计算中得到的δ_t(i)的最大值，定义为在运算结束时，使δ_t(i)达到最大值的隐含态i，其表达式为：

P^*＝maxδ_t(i) (12)

4)最优路径回溯：

对时刻t＝n-1,n-2,...,1，定义为t+1时刻每一个隐态i下，所对应的概率最大的前一个状态：

通过4)的不断倒推回溯，求得最优路径(即在已知观测态O下对应的隐含态I的序列，O、I含义与步骤四种相同)即为给定观测用户移动序列所对应的用户移动时间序列。

通过得到的时间序列，由此可以知道在热点地区移动的用户按其移动轨迹的特征，最有可能发生转移并提出切换请求的时间段，热点地区的基站可提前做出准备，减少切换高峰期带来的切换失败，同时可以针对不同特征的热点地区用户移动时间序列，对相应的切换管理参数做调整。

本发明的创造性主要体现在：

(1)将自相似性最小行走移动模型(SLAW)应用到热点地区的用户目标基站预测中，结合热点地区蜂窝小区基站分布，建立路径点与基站分布的复合建模。

(2)结合SLAW模型中的人类行走特性，提出了一种面向HCN环境的热点地区用户行为预测方法；实验仿真结果分组对比表明，采样时间和热点地区基站分布将对预测算法的性能产生影响，为设计合理的移动网络切换管理方案提供了具体的设置参数。

附图说明

图1是本发明面向HCN的行为预测模型

图2是本发明在不同时间段下，不同基站数的预测结果图

图3是不同时间段下，使用本发明和不使用本发明的预测结果对比图

具体实施方式

步骤1，本方法将SLAW模型引入HCN环境模拟用户移动路径，SLAW初始存在着根据移动区域大小、路径点个数和赫斯特指数，采用分数阶高斯噪声和分数布朗运动技术在二维平面上生成的一个特定移动区域以及指定个数的自相似的路径点，通过初始聚类和完全随机替换从这些自相似路径点中，提取用户待移动路径点。

步骤2，从已生成的用户待移动路径点集合V中随机选择2个点，一个作为起始点，另一个作为下一路径点，即用户下一个步移动的目的点，完成初始化工作。然后遍历计算所有未到达路径点的到达概率，选出其中概率最大的点作为用户下一步的移动目标，直到系统总采样时间大于预先设定的用户移动的总时间，随后将用户停留过的路径点按采样时间顺序相连，生成用户最终的移动轨迹。

步骤3，对HCN环境下的用户行为进行建模。在HMM预测算法中，我们对得到的热点地区的用户移动轨迹进行分段采样，并将采样时间内用户所停留的基站定义为该时间段内用户的常驻基站，而在小区间进行游走的用户其常驻基站也会发生改变(同时其对应的隐含态也将随之改变)，从当前的常驻基站(可观测的状态)到目的的常驻基站进行变迁，这一过程也叫作用户观测状态转移的过程。在本文建立的模型中，对于热点地区不同的用户而言其发生状态转移的过程和一天中的时间段有关(例如一天中的早晨、中午、下午与夜晚等)，现实中用户发生迁移的时间段其改变和特定场景有关，难以直接观测，因此我们将其作为HMM模型中的隐含态。综上所述，构建基于观测态(热点地区的用户在采样时间内停留的基站)和隐含态(一天之中的各个时间段)的HMM模型。

步骤4，在建立了针对热点地区用户移动的五个HMM模型参数后，需要确定这些参数的具体数值。在HMM模型中，对于已生成的观察序列(用户移动的基站序列号)，若已知其对应的隐含态，可使用监督学习(即最大似然估计)来确定参数。而在HCN环境中隐含态为未知，因此使用Baum-welch算法计算最可能的模型参数，即为求HMM参数下的联合概率，由公式(5)、(6)、(7)得到。

步骤5，对于一个用户状态观察序列，对其评估最可能匹配的隐含态(时间段)，通过得到的时间序列，由此知道在热点地区移动的用户按其移动轨迹的特征，最有可能发生转移并提出切换请求的时间段，热点地区的基站可提前做出准备，减少切换高峰期带来的切换失败，同时可以针对不同特征的热点地区用户移动时间序列，对相应的切换管理参数做调整。

本发明提出的面向HCN的基于HMM的用户行为预测模型分为3个模块，分别是用户移动路径生成模块、输入数据处理模块和HMM行为预测模块，如图1所示。用户移动路径生成模块主要是生成模拟的用户移动路径，本文使用的是SLAW模型模拟人类在热点区域内的移动轨迹。输入数据处理模块主要是对上一模块生成的用户移动轨迹进行转换，根据已知的候选基站以及各个基站的范围，将路径点转化为相应的基站号，得到用户移动的基站序列，然后统计每个时间段用户移动到各个基站的概率，作为HMM行为预测模块的输入。HMM行为预测模块根据输入的各个矩阵参数，采用Baum-Welch算法学习模拟热点地区的用户路径点，得到若干HMM参数集；利用Viterbi算法生成的时间序列预测当前跟踪用户最有可能的移动时间。

Claims (1)

1.一种基于HMM的异构网络用户行为预测方法，其特征在于，具体步骤如下：

步骤一：提取用户待移动路径点

在SLAW模型中，初始存在着根据移动区域大小、路径点个数和赫斯特指数，采用分数阶高斯噪声和分数布朗运动技术在二维平面上生成的一个移动区域以及指定个数的自相似的路径点，需要从这些自相似路径点中，提取用户待移动路径点，具体过程如下所示：

①定义N为生成的路径点进行聚类后形成的若干个点群；

②定义r₁为各点群之间的比例因子，定义r₂为将要选取的路径点比例因子，并抽取出个点群；

③从剩余的个点群中随机挑选一个点群，随机替换已抽取的个点群中的一个；

④定义P为抽取出的个点群中包含的路径点，此时可以得到用户待移动路径点集合V，有

步骤二：生成用户移动轨迹模型

SLAW模型模拟出的用户移动轨迹是由每个采样时间点用户所在的路径点组成的，具体过程如下：

①参照步骤一，从已生成的用户待移动路径点集合V中随机选择2个点，一个作为起始点，另一个作为下一路径点，即用户下一步移动的目的点，完成初始化工作；抽取工作遵循完全随机原则；

②系统采样起始时间设定为1秒，此后采样时间不断增加，同时用户从起始点出发，定义该起始点作为用户当前的路径点，且到达时间为1s；

③经过固定的时间间隔，判断下一采样时间点与当前路径点的到达时间、暂停开始时间、暂停结束时间的关系；时间间隔为30秒至60秒，时间间隔越短，采样精度越高；

a.如果当前采样时间大于当前路径点的暂停结束时间，则用户下一移动目的点定义为：

其中c表示当前路径点，v表示下一路径点，P(c,v)表示到达下一路径点v的概率，d(c,v)表示表示当前路径点c与候选路径点v之间的欧氏距离，V'为未达到过的路径点的集合，α为距离权重，遍历V'中所有所有路径点，概率最大的即为用户下一移动目标；

b.如果采样时间在当前路径点的暂停开始时间和暂停结束时间之间，用户不进行转移，停留在当前路径点；

④循环进行③，直到系统总采样时间大于预先设定的用户移动的总时间，随后将用户停留过的路径点按采样时间顺序相连，生成用户最终的移动轨迹；

步骤三：基于HMM对HCN环境下的用户行为建模

在HMM预测算法中，对步骤二中得到的热点地区用户移动轨迹进行分段采样，并将采样时间内用户所停留的基站定义为该时间段内用户的常驻基站，而在小区间进行游走的用户其常驻基站也会发生改变，从当前的常驻基站到目的的常驻基站进行变迁，这一过程也叫作用户观测状态转移的过程；对于热点地区不同的用户而言其发生状态转移的过程和一天中的时间段有关，现实中用户发生迁移的时间段其改变和特定场景有关，难以直接观测，因此将其作为HMM模型中的隐含态；

综上所述，构建基于观测态即热点地区的用户在采样时间内停留的基站和隐含态即一天之中的各个时间段的HMM模型，该模型的表达式为λ＝(n,m,A,B,π)；

n表示建模中所设定的隐含态即一天之内的时间段的个数，其最大值随建模时所设的隐含态个数而改变；

m表示在某一特定隐含态下所具有的观测状态即常驻基站的个数，n与m在HMM模型中的作用主要为规范状态转移过程的取值；

A表示一个n×n的状态转移矩阵，表示不同隐含态即时间段之间的转移概率；其中p(j^{T +1}|i^T)为从采样时间T时刻的隐含状态i到T+1时刻隐含状态j的转移概率，矩阵中每一个元素a_ij定义如下：

a_ij＝p(j^T+1|i^T),1≤i,j≤n (2)

B表示HMM模型中的混淆矩阵也称为观测矩阵，对于HMM模型中任意一个无法观测的隐含态序列，每一个隐态都会与一个观测态相对应，而该观测态将从m个观测态中产生一个，故B是一个n×m的概率矩阵，即在某一隐态下对应某一观测态的概率集合，其中p(o|i)表示在隐含状态i出现时观察到观测态o的概率，矩阵中每一个元素b_i定义如下：

b_i＝p(o|i),1≤o≤m,1≤i≤n (3)

π＝{π₁，π₂，...，π_n}表示HMM模型的初始隐含态概率分布，该集合中所有的元素总和为1，p(t_i)表示隐含态i在系统时间t＝0时刻的初始概率，该集合中每一个元素表示为：

π_i＝p(t_i),1≤i≤n, (4)

步骤四：确定HMM模型参数

在建立了针对热点地区用户移动的五个HMM模型参数后，需要确定这些参数的具体数值；在HMM模型中，对于已生成的观察序列即用户移动的基站序列号，其对应的隐含态为未知，因此使用Baum-welch算法计算最可能的模型参数；定义可观测的用户移动序列为O＝(o₁，o₂，...，o_m)，m为步骤三中观测状态(常驻基站)的个数，定义隐含态序列为I＝(i₁，i₂，...，i_n)，n为步骤三中隐含态即时间段的个数，O与I的联合集定义为完全数据，即(O，I)＝(o₁,...,o_m,i₁,...,i_n)，λ为步骤三中的HMM模型参数，P(O,I|λ)为在λ条件下完全数据的联合概率，P(O,i|λ)为在λ条件下某一隐态i出现的概率；在这个条件下，各个参数的求值公式如下所示：

求π式由Baum-welch算法中对拉格朗日函数求偏导得到，其中P(O|λ)为在λ条件下观测态出现的概率，γ(i)为单个隐态i出现的概率；

同理，和上述参数相同，P(O，i,j|λ)为在λ条件下隐含态i与j同时出现的联合概率，ζ(i,j)为两个隐含态i，j的联合概率，求A式如下：

同理，和上述参数相同，I(o_j)为在观测态o下隐含态j出现的概率，求B式如下：

步骤五：预测对应用户移动的时间序列

对于一个已知的可观测的用户移动状态，使用Viterbi算法对其评估最可能匹配的隐含态即对应的移动时间段；定义变量δ_t(i)表示t时刻，隐态为i的所有完全数据序列中的概率最大值，λ为步骤三中的HMM模型，定义ψ_t(i)为t时刻每一个隐态i下，所对应的概率最大的隐含态序列的前一个状态j；预测观测态对应的隐态序列过程分为初始化、递推、终止与最优路径回溯：

1)初始化：

其中π_i为步骤三中π矩阵和该时刻隐态i对应的元素，同理b_i为步骤三中B矩阵和该时刻隐态i对应的元素，o₁与步骤四中含义相同，为观测序列O的第一个元素，δ_t(i)的初始值为三者之积，ψ_t(i)的初始值为0，则有当t＝1时，：

δ₁(i)＝π_ib_i(o₁) (8)

ψ₁(i)＝0 (9)

2)递推：

对t＝2,3，...，n，将1)中所得不断加入迭代，因子b_i与o_t保持，分别为该t时刻隐态i对应的观测矩阵B与观测序列O的元素，同时a_ij表示在步骤三A矩阵中与当前隐态i和前一个状态j对应的元素，每一t时刻的δ_t(i)与ψ_t(i)计算公式为：

3)终止：

当t＝n时，定义P^*为运算结束时，在2)的计算中得到的δ_t(i)的最大值，定义为在运算结束时，使δ_t(i)达到最大值的隐含态i，其表达式为：

P^*＝maxδ_t(i) (12)

4)最优路径回溯：

对时刻t＝n-1,n-2,...,1，定义为t+1时刻每一个隐态i下，所对应的概率最大的前一个状态：

通过4)的不断倒推回溯，求得最优路径即在已知观测态O下对应的隐含态I的序列，O、I含义与步骤四种相同；即为给定观测用户移动序列所对应的用户移动时间序列。