CN101795460B - 一种适用于障碍物环境下移动自组网的马尔可夫移动模型 - Google Patents

Abstract

本发明属于移动通信技术领域，公开了一种适用于障碍物环境下移动自组网的马尔可夫移动模型的设计方法。其特征在于移动模型的构建过程：首先给出了障碍物阻碍性和透明性的概念，针对障碍物阻碍节点运动并不影响通信和阻碍节点运动并阻断信号传输两种情况进行分析；然后利用离散时间马尔可夫链表示节点运动情况，同时利用状态标识获得节点位置信息。最后给出了两种状态转移矩阵的设定方法。在不同的状态转移矩阵下，节点具有不同的运动特点。本发明的效果和益处是能够模拟真实环境下节点的运动情况，适用于多种障碍物环境。利用状态转移矩阵描述节点的运动情况，通过调整状态转移矩阵中的参数，获得具有不同特点的运动情况。

Description

一种适用于障碍物环境下移动自组网的马尔可夫移动模型

技术领域

本发明属于移动通信技术领域，涉及到利用马尔可夫过程对节点移动进行建模的方法。给出了两种不同的构建移动模型的方法，能够根据不同的障碍物环境，调节节点的运动方式。

背景技术

移动模型试图模拟网络的实际情况，移动节点的速度和方向要能真实的反映节点的运动情况。为此，研究人员提出了许多不同类型的移动自组网(Ad hoc网络)移动模型。每种移动模型都有各自的特点和应用范围。路由协议的性能受到移动模型的影响，因此，应该根据网络的实际情况选取已有的或者设计新的、更符合实际环境的移动模型，这样有利于对Ad hoc网络协议的准确地研究和评价。

现阶段移动模型的研究主要存在以下两方面的问题：(1)移动模型适用环境的局限性。现有的移动模型适用环境有局限性，例如：入备用节点的移动模型适用于障碍物环境(障碍物移动自组网中基于连通控制集的混合路由算法，D.Wu，Y.Qu，and N.Tong，“Connected Dominating Set Based Hybrid RoutingAlgorithm in Ad hoc Networks with Obstacles，”in Proc.IEEE InternationalConference on Communications，Istanbul，2006，pp.4008-4013.)，曼哈顿移动模型主要适用于移动终端在棋盘式街道上的移动情形(移动模型对移动自组网路由协议性能影响的系统分析框架，F.Bai，N.Sadagopan，and A.Helmy，“IMPORTANT：A Framework to Systematically Analyze the Impact of Mobility on Performance ofRouting Protocols of Ad Hoc Networks，”in Proc.IEEE INFOCOM，Sun Francisco，USA，2003，pp.825-835.)，参考点组移动模型，每个组需要有一个参考点，群组移动的路径由参加点决定(移动自组网的组移动模型，X.Y.Hong，M.Gerla，G.Y.Pei，and CH.CH.Chiang，“A Group Mobility Model for Ad Hoc WirelessNetworks，”in Proc.ACM International Workshop on Modeling，Analysis andSimulation of Wireless and Mobile Systems，Washington，USA，1999，pp.53-60.)。(2)节点运动方式的问题。大多数移动模型中节点的运动方式是随机的，节点随机选取运动参数，不能规定节点的运动轨迹(随机方向模型的性能，P.Nain，D.Towslev，B.Y.Liu，and Z.Liu，“Properties of Random Direction Models，”in Proc.INFOCOM，Miami，Florida，USA，2005，pp.1897-1907.)。对于节点运动进行限制的移动模型，例如：曼哈顿移动模型，该移动模式具有较高的时空独立性，但仍然是一种受到移动线路局限的节点移动方式。

发明内容

本发明要解决的技术问题是提供一种模拟真实环境下Ad hoc网络中节点运动的方法，利用状态转移矩阵确定节点的运动情况。

本发明的技术方案如下：

通过障碍物的表示、节点状态标识、运动模式设定和状态转移矩阵的设定给出了障碍物环境下的马尔可夫(Markov)移动模型。给出了两种设定状态转移矩阵的方法：带方向约束的方法，无方向约束的方法。分别针对障碍物环境和不存在障碍物的环境，分析了状态转移矩阵对节点运动的影响，选取不同的状态转移矩阵，可以满足在一个网络环境中存在多种运动形式节点的需求。同时可以根据具体网络环境，调节节点的运动情况。

该方法包括四个主要部分：障碍物的表示、节点状态标识、运动模式设定、设计状态转移矩阵。本发明的具体步骤如下：

(1)障碍物的表示

障碍物的阻碍性表示障碍物对节点运动的影响，其中规定阻碍性∈{0，1}。

利用障碍物的透明度来表示障碍物对网络通信的影响，其中规定透明度∈[0，1]。

对本模型中的障碍物有如下规定：障碍物的形状为线形，阻碍性＝1 and透明度＝0或者阻碍性＝1 and透明度＝1。

(2)节点状态标识

模型中，每个节点是独立的终端，不会影响其他节点的运动。每个节点下一时刻的位置只与当前的位置有关，而与之前其他时刻的位置无关。因此，利用离散时间马尔可夫链分别表示节点x坐标和y坐标的变化。x坐标和y坐标的变化是两个独立的过程，其状态空间均为S，S＝{-e，-e+1，L，-1，0，1，L，e-1，e}。

每个节点都有一组状态标识s_x(a，b)和s_y(a，b)，用s_x(a，b)和s_y(a，b)表示节点当前时刻的运动状态。利用s_x(a，b)(或者s_y(a，b))可以得出下一时刻节点的x坐标(或者y坐标)。其中a∈D，b∈V。D＝{-1，0，1}表示节点运动方向，1表示沿着相同方向运动，-1表示向相反方向运动，0表示节点位置不改变。V＝{1，2，L，e}表示节点运动快慢，0表示停止运动，e表示按照速度基值的e倍运动，其中e∈Z⁺。

节点的状态也可以表示为s(i_x，i_y)，简称s；其中，i_x＝s_x(a)×s_x(b)，i_y＝s_y(a)×s_y(b)，i_x，i_y∈S。S中共有2e+1个元素，因此，坐标x(或者y)方向上有2e+1种运动状态。利用状态标识来决定节点的运动。给定一个固定的时间单位t，t为节点状态的保持时间，t称为状态稳定时间。经过t，每个节点状态标识更新一次。节点u当前时刻坐标x和y的状态标识分别为s_x(a，b)和s_y(a，b)，经过时间t，坐标x和y的状态分别为s_x(a′，b′)和s_y(a，′b′)。u运动方向改变的概率为p_d(a，a′)，运动速度改变的概率为p_v(b，b′)。u当前时刻坐标x(或者y)状态i＝a×b，经过t，坐标x(或者y)的状态为j＝a′×b′，p_(i，j)表示由i转移到j的概率，其中i∈S，j∈S。状态转移矩阵为P。

(3)运动模式设定

节点当前位置的坐标为(x，y)，当前状态标识为s_x(a，b)和s_y(a，b)。1秒后节点坐标为(x′，y′)。利用公式(1)可以得到(x′，y′)。

x′＝x+s_x(a)×s_x(b)×c

                                 公式(1)

y′＝y+s_y(a)×s_y(b)×c

其中，c是一个常量，是节点移动速度的基值。s_x(b)(或者s_y(b))和c共同决定了节点在x方向上(或者y方向上)的运动速度。节点在运动过程中与障碍物相遇，规定节点与障碍物发生类似于镜面反射的弹性碰撞。

(4)设计状态转移矩阵，得到马尔可夫移动模型。

状态转移矩阵决定了节点的运动特性。在不同的状态转移矩阵下，节点具有不同的运动特点。根据实际情况修改状态转移矩阵中的参数，可以获得适用于障碍物环境下的Markov移动模型。

节点u当前时刻状态标识为s_x(a，b)和s_y(a，b)，经过时间t，状态为s_x(a′，b′)和s_y(a′，b′)，这表示节点沿坐标轴方向(x或y)的速度由基值c的b倍转移到c的b’倍，节点沿坐标轴方向(x或y)的运动方向由a变为a’。u当前时刻状态i＝a×b，t时间后的状态为j＝a′×b′，其中i，j∈S，a，a′∈D，b，b′∈V。坐标x和坐标y的状态转移矩阵的设定方法相同，因此，下面只分析节点在x方向上的位置变化。下面，给出2种不同的概率转移的规定方法。针对带方向约束的方法和无方向约束的方法，分别给出P_d和P_v，然后利用公式，得到节点的状态转移概率矩阵P。根据节点实际运动情况的不同，可以选取不同的P。

①方法1：带方向约束的方法

在带方向约束的方法中，节点运动方向的状态转移如图1所示。D＝{-1，0，1}，其中状态1表示向坐标轴正方向移动，0表示原地不动，-1表示向坐标轴负方向移动。通过图1，得到节点方向的状态转移矩阵P_d。

$P_d=\left[\begin{array}{ccc}1-q& q& 0\\ p& 1-2p& p\\ 0& q& 1-q\end{array}\right]$

从P_d中可以看出：当前时刻静止不动的节点，可以向任何方向运动或者保持静止；而运动的节点只能选择向相同方向运动或者停止运动。通过调整p，q值，可以控制节点的运动情况，其中，p∈[0，0.5]，q∈[0，1]。带方向约束的方法中节点运动轨迹的方向性很强，适用于模拟很少改变运动方向的移动终端。在障碍物环境下，节点易于绕过障碍物。

节点的速度状态的改变是一个Markov过程，如图2所示。图2中Markov链的速度概率转移矩阵，可由下面给出的过程计算得出。

我们有如下规定：从当前状态转移到其右边所有状态概率的加和为m(公式2)，从当前状态转移到其左边所有状态概率的加和也为m(公式3)；因此，除了状态(0)和(e)，节点状态不改变的概率为(1-2m)，如公式(4)所示。状态(0)和(e)，与其他状态不同。对于状态(0)，其他所有状态都位于其右边，从公式(2)可得其转移到其他状态的概率加和为m，因此，状态保持不变的概率为(1-m)，见公式(5)。同理，状态(e)转移到其他状态的概率加和为m，状态保持不变的概率为(1-m)。利用公式(6)和公式(7)可以得到节点由状态b转移到状态b’的概率。从而得到节点的速度概率转移矩阵P_v。我们规定m∈[0，0.5]，e∈Z⁺。

$\underset{b^{\&prime;}=b+1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}=m,(1\&le;b<e)---\left(2\right)$

$\underset{b^{\&prime;}=b-1}{\overset{1}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}=m,(1<b\&le;e)---\left(3\right)$

p_v(b，b′)＝1-2m(1＜b＜e)        (4)

p_v(1，1)＝p_v(e，e)＝1-m         (5)

$p_{v(b,b^{\&prime;})}=\frac{2^{(b-b^{\&prime;})}}{1-2^{(b-e)}}\&times;m,(1\&le;b<e,b<b^{\&prime;}\&le;e)---\left(6\right)$

$p_{v(b,b^{\&prime;})}=\frac{2^{(b^{\&prime;}-b)}}{1-2^{(-b)}}\&times;m,(1<b\&le;e,1\&le;b^{\&prime;}<b)---\left(7\right)$

p_(i，j)＝p_d(a，a′)×p_v(b，b′)其中i，j≠0；j＝a×b；j＝a′×b′；a，a′∈D；b，b′∈V公式(8)

$p_{(0,b^{\&prime;})}=p\&times;\frac{1}{e}\&times;\underset{b=1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}$ 其中b，b′∈V    公式(9)

$p_{(b,0)}=q\&times;\underset{b^{\&prime;}=1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}$ 其中b，b′∈V    公式(10)

p_(0 ，0)＝1-2p    公式(11)

利用公式(8-11)可以得到u的状态转移概率。因此，利用P_d和P_v可以得到状态转移矩阵P_a。

②方法2：无方向约束的方法

在无方向约束的方法中，节点运动方向的改变如图3所示，运动的节点可以直接向相反方向移动。

通过图3，得到节点方向的状态转移矩阵P_d。该方法的速度转移概率矩阵与带方向约束的方法的相同。

$P_d=\left[\begin{array}{ccc}1-q-q^{\&prime;}& q& q^{\&prime;}\\ p& 1-2p& p\\ q^{\&prime;}& q& 1-q-q^{\&prime;}\end{array}\right]$

状态转移矩阵决定了节点的运动特点。同理，可以得到该方法中节点的状态转移矩阵P_b。

本发明的效果和益处是能够模拟真实环境下节点的运动情况，适用于多种障碍物环境。利用状态转移矩阵描述节点的运动情况，通过调整状态转移矩阵中的参数，获得具有不同特点的运动情况。

附图说明

附图1是带限制的节点运动方向状态转移示意图。

附图2是速度状态转移示意图

附图3是节点运动方向的状态转移示意图。

附图4(a)是状态转移矩阵为P_a1时无障碍物环境下节点运动轨迹的示意图。

附图4(b)是状态转移矩阵为P_a1时阻碍性＝1and透明度＝1环境下节点运动轨迹的示意图。

附图5(a)是状态转移矩阵为P_a2时无障碍物环境下节点运动轨迹的示意图。

附图5(b)是状态转移矩阵为P_a2时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图6(a)是状态转移矩阵为P_a3时无障碍物环境下节点运动轨迹的示意图。

附图6(b)是状态转移矩阵为P_a3时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图7(a)是状态转移矩阵为P_a4时无障碍物环境下节点运动轨迹的示意图。

附图7(b)是状态转移矩阵为P_a4时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图8(a)是状态转移矩阵为P_b1时无障碍物环境下节点运动轨迹的示意图。

附图8(b)是状态转移矩阵为P_b1时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图9(a)是状态转移矩阵为P_b2时无障碍物环境下节点运动轨迹的示意图。

附图9(b)是状态转移矩阵为P_b2时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图10(a)是状态转移矩阵为P_b3时无障碍物环境下节点运动轨迹的示意图。

附图10(b)是状态转移矩阵为P_b3时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图11(a)是状态转移矩阵为P_b4时无障碍物环境下节点运动轨迹的示意图。

附图11(b)是状态转移矩阵为P_b4时阻碍性＝1 and透明度＝1环境下节点运动轨迹的示意图。

附图12(a)是在无障碍物环境下移动模型对AODV协议转发率影响的示意图。

附图12(b)是在阻碍性＝1 and透明度＝0环境下移动模型对AODV协议转发率影响的示意图。

附图12(c)是在阻碍性＝1 and透明度＝1环境下移动模型对AODV协议转发率影响的示意图。

附图13(a)是在无障碍物环境下移动模型对DSDV协议转发率影响的示意图。

附图13(b)是在阻碍性＝1 and透明度＝0环境下移动模型对DSDV协议转发率影响的示意图。

附图13(c)是在阻碍性＝1 and透明度＝1环境下移动模型对DSDV协议转发率影响的示意图。

具体实施方式

以下结合技术方案和附图详细说明本发明的实施例。

先给出不同参数下节点的运动情况。然后，针对这3种网络环境：不存在障碍物、障碍物阻碍节点运动但不影响信号传输和障碍物阻碍节点运动并且影响信号传输。选取随机路点运动模型(random waypoint model，RWP)和通用个体马尔可夫移动模型(generic individual markovian mobility model，GIMM)与本发明提出的模型进行比较分析。

下面给定四组参数(见表1)，仿真分析P_a对节点运动的影响。

表1

Pa	p	q	m	e
					Pa1	0.4	0.3	0.4	4
Pa2	0.4	0.15	0.4	4
					Pa3	0.05	0.2	0.4	4
Pa4	0.05	0.05	0.4	4

当P_a＝P_a1时，节点运动与障碍物相遇，然后改变运动方向。运动有以下特点：运动过程中经常改变运动方向，可以向各个方向运动(见图4)。当P_a＝P_a2时，节点的运动轨迹如图5所示，在大部分时间内节点运动较快，可以向各个方向运动。当P_a＝P_a3时，P(0，0)＝0.9，运动的节点停止运动的概率是P(i，0)＝0.2，其中i∈{1，2，3，4，-1，-2，-3，-4}。该种参数设置，节点维持原状态的概率较大。因此，静止的节点易于保持静止不动，运动的节点易于继续运动(见图6)。当P_a＝P_a4时，运动的节点停止运动的概率是P(i，0)＝0.05，其中i∈{1，2，3，4，-1，-2，-3，-4}，节点不易于从运动状态转化到状态0，即停止运动。由于运动的节点停止运动后才能向相反方向运动，因此，运动过程中节点不易于改变运动方向(如图7所示)。当节点与障碍物相遇后，由于碰撞后节点状态不改变，因此沿着障碍物运动的概率较大，如图7(b)所示。

方法2与方法1显著不同点是节点可以直接改变运动方向。下面给定四组参数(见表2)，仿真分析P_b对节点运动的影响。

表2

Pb	p	q	q’	m	e
						Pb1	0.4	0.3	0.3	0.4	4
Pb2	0.4	0.15	0.1	0.4	4
						Pb3	0.05	0.2	0.1	0.4	4
Pb4	0.05	0.05	0.05	0.4	4

当P_b＝P_b1时，节点的运动轨迹如图8所示。节点经常改变运动方向，运动轨迹杂乱。当P_b＝P_b2时，节点的运动轨迹如图9所示，节点运动特点是：运动过程中方向性很强，当遇到障碍物时，沿着障碍物运动。当P_b＝P_b3时，节点的运动轨迹如图10所示。图10(a)中：运动过程中经常停留，运动方向很少改变，在相对长的一段时间内保持运动方向不变，经常沿着水平或者竖直方向运动。遇到障碍物后，沿着障碍物运动(见图10(b))。当P_b＝P_b4时，运动过程中，节点很少改变运动方向。与障碍物相遇后，沿着障碍物运动(见图11)。

在网络模拟器-2(Network Simulator-2，NS-2)仿真平台下进行性能比较分析。设置参数：50个节点随机分布在500米×700米的网络区域内，节点的通信半径相同，均为100米。RWP模型，最小速度V_min＝0米/秒，最大速度V_max＝8米/秒，停留时间是0秒。GIMM模型中参数设置：m＝0.4，b＝2，e＝4。带方向约束的方法中个参数取值：p＝0.4，q＝0.3，m＝0.4，e＝4，c＝2，节点的初始状态为s_x(0，0)和s_y(0，0)，状态转移矩阵P_a如下所示：

$P_a=\left[\begin{array}{ccccccccc}0.42& 0.16& 0.08& 0.04& 0.3& 0& 0& 0& 0\\ 0.28& 0.14& 0.19& 0.09& 0.3& 0& 0& 0& 0\\ 0.09& 0.19& 0.14& 0.28& 0.3& 0& 0& 0& 0\\ 0.04& 0.08& 0.16& 0.42& 0.3& 0& 0& 0& 0\\ 0.1& 0.1& 0.1& 0.1& 0.2& 0.1& 0.1& 0.1& 0.1\\ 0& 0& 0& 0& 0.3& 0.42& 0.16& 0.08& 0.04\\ 0& 0& 0& 0& 0.3& 0.28& 0.14& 0.19& 0.09\\ 0& 0& 0& 0& 0.3& 0.09& 0.19& 0.14& 0.28\\ 0& 0& 0& 0& 0.3& 0.04& 0.08& 0.16& 0.42\end{array}\right]$

无方向约束的方法中参数设置如下：p＝0.4，q＝0.3，q’＝0.2，m＝0.4，e＝4，c＝2，节点的初始状态为s_x(0，0)和s_y(0，0)，状态转移矩阵P_b如下所示：

$P_b=\left[\begin{array}{ccccccccc}0.3& 0.11& 0.06& 0.03& 0.3& 0.01& 0.02& 0.05& 0.12\\ 0.2& 0.1& 0.13& 0.07& 0.3& 0.03& 0.05& 0.04& 0.08\\ 0.07& 0.13& 0.1& 0.2& 0.3& 0.08& 0.04& 0.05& 0.03\\ 0.03& 0.06& 0.11& 0.3& 0.3& 0.12& 0.05& 0.02& 0.01\\ 0.1& 0.1& 0.1& 0.1& 0.2& 0.1& 0.1& 0.1& 0.1\\ 0.3& 0.11& 0.06& 0.03& 0.3& 0.3& 0.11& 0.06& 0.03\\ 0.2& 0.1& 0.13& 0.07& 0.3& 0.2& 0.1& 0.13& 0.07\\ 0.07& 0.13& 0.1& 0.2& 0.3& 0.07& 0.13& 0.1& 0.2\\ 0.03& 0.06& 0.11& 0.3& 0.3& 0.03& 0.06& 0.11& 0.3\end{array}\right]$

Ad hoc网络按需距离矢量协议(Ad hoc On-Demand Distance Vector，AODV)的转发率随仿真时间的变化趋势，如图12所示。在无障碍物环境下，在开始的一段仿真时间内，利用方法2构造状态转移矩阵得到的模型下转发率出现最高值。当AODV稳定运行后，GIMM的转发率最高，其次是用方法2构建的模型，用方法1得到的模型和RWP转发率较低。在阻碍性＝1 and透明度＝0环境下，本发明提出的方法2的转发率最高，其次是方法1，GIMM的转发率显著降低。因此，在阻碍性＝1 and透明度＝0环境下，按照本文提出的状态转移矩阵运动的节点，使用AODV进行路由，能够得到较高的转发率。在阻碍性＝1 and透明度＝1环境下，与其他模型相比，方法2仍然具有较高的转发率，GIMM的转发率最低。可见，方法2模型实用性较强，在多种网络环境中，均能得到较高的转发率。

目的节点序列距离矢量协议(Destination-Sequenced Distance Vector，DSDV)协议的转发率随仿真时间的变化趋势，如图13所示。在无障碍物环境下(见图13(a))，仿真时间前50秒内，方法1模型下的转发率最高，50秒后，方法2的转发率最高，其次是方法1。RWP的转发率一直最低。在阻碍性＝1 and透明度＝0环境下，使用不同移动模型，DSDV协议的转发率如图14(b)所示。转发率的随仿真时间的变化趋势与图13(a)几乎相同，转发率数值变化也较少。可见，只阻碍节点运动并不影响通信的障碍物，对DSDV协议的转发率影响较少。如图13(c)所示，在阻碍性＝1 and透明度＝1环境下，与其他模型相比，方法2仍然具有较高的转发率，其次是方法1，RWP的转发率最低。可见，本文提出的模型实用性较强，在多种网络环境中，均能得到较高的转发率。

Claims (1)

1.一种适用于障碍物环境下移动自组网的马尔可夫移动模型建立方法，其特征在于如下步骤：

(1)障碍物的表示

障碍物的形状为线形，阻碍性=1 and透明度=0或者阻碍性=1 and透明度=1；其中：

(2)节点状态标识

每个节点都有一组状态标识s_x(a,b)和s_y(a,b)，用s_x(a,b)和s_y(a,b)表示节点当前时刻的运动状态；利用s_x(a,b)得出下一时刻节点的x坐标，利用s_y(a,b)得出下一时刻节点的y坐标；其中a∈D,b∈V；D＝{-1,0,1}表示节点运动方向，1表示沿着相同方向运动，-1表示向相反方向运动，0表示节点位置不改变；V＝{1,2,…,e}表示节点运动快慢，e表示按照速度基值的e倍运动，其中e∈Z⁺；

(3)运动模式设定

节点当前位置的坐标为(x，y)，1秒后节点坐标为(x′,y′)；利用公式(1)得到(x′,y′)；

x′=x+s_x(a)×s_x(b)×c

y′=y+s_y(a)×s_y(b)×c            (1)

其中，c是一个常量，是速度基值；节点在运动过程中与障碍物相遇，规定节点与障碍物发生类似于镜面反射的弹性碰撞；

(4)设计状态转移矩阵

给出2种不同的状态转移矩阵设计方法：带方向约束的方法和无方向约束的方法；

①方法1：带方向约束的方法

在该方法中节点方向的状态转移矩阵为P_d；

$P_d=\left[\begin{array}{ccc}1-q& q& 0\\ p& 1-2p& p\\ 0& q& 1-q\end{array}\right]$

通过调整p，q值，控制节点的运动情况，其中，p∈[0,0.5]，q∈[0,1]；

从当前状态转移到其右边所有状态概率的加和为m(公式2)；

从当前状态转移到其左边所有状态概率的加和也为m(公式3)；

除了状态(0)和(e)，节点状态不改变的概率为(1-2m)，公式(4)所示；

状态(0)，其他所有状态都位于其右边，从公式(2)得其转移到其他状态的概率加和为m，因此，状态保持不变的概率为(1-m)，见公式(5)；

状态(e)转移到其他状态的概率加和为m，状态保持不变的概率为(1-m)；利用公式(6)和公式(7)得到节点由状态b转移到状态b’的概率；

马尔可夫链的速度概率转移矩阵P_v，由下面的公式计算得出；我们规定m∈[0,0.5]，e∈Z⁺；

$\underset{b^{\&prime;}=b+1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}=m,1\&le;b<e---\left(2\right)$

$\underset{b^{\&prime;}=b-1}{\overset{1}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}=m,1<b\&le;e---\left(3\right)$

p_v(b，b′)=1-2m,1<b<e        (4)

p_v(1，1)＝p_v(e，e)＝1-m      (5)

$p_{v(b,b^{\&prime;})}=\frac{2^{(b-b^{\&prime;})}}{1-2^{(b-e)}}\&times;m,1\&le;b<e,b<b^{\&prime;}\&le;e---\left(6\right)$

$p_{v(b,b^{\&prime;})}=\frac{2^{(b^{\&prime;}-b)}}{1-2^{(-b)}}\&times;m,1<b\&le;e,1\&le;b^{\&prime;}<b---\left(7\right)$

p_(i，j)＝p_d(a,a′)×p_v(b,b′)其中i,j≠0;i=a×b；j=a′×b′；a,a′∈D；b,b′∈V    (8)

$p_{(0,b^{\&prime;})}=p\&times;\frac{1}{e}\&times;\underset{b=1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}$ 其中b,b′∈V    (9)

$p_{(b,0)}=q\&times;\underset{b^{\&prime;}=1}{\overset{e}{\mathrm{\&Sigma;}}}{p}_{v(b,b^{\&prime;})}$ 其中b,b′∈V     (10)

p_(0，0)＝1-2p                                        (11)

利用P_d和P_v得到状态转移矩阵P_a；

②方法2：无方向约束的方法

节点方向的状态转移矩阵P_d；该方法的速度转移概率矩阵与带方向约束的方法相同；

$P_d=\left[\begin{array}{ccc}1-q-q^{\&prime;}& q& q^{\&prime;}\\ p& 1-2p& p\\ q^{\&prime;}& q& 1-q-q^{\&prime;}\end{array}\right]$

同理，得到节点的状态转移矩阵P_b；

Images