CN106850425A - 基于马尔科夫决策过程的分段路由方法及一种网络节点 - Google Patents

Abstract

本公开涉及基于马尔科夫决策过程的分段路由方法及一种网络节点，针对机会网络节点相遇的随机性，本公开在考虑机会网络中消息转发时的投递率和网络负载之间平衡的基础上，将消息转发分为多副本转发阶段和单副本转发阶段。在多副本转发阶段，携带消息的节点按照消息副本转移概率将自身携带的消息副本转发给其遇到的邻居节点，消息副本转发过程符合马尔科夫过程，在保证多个副本之间并行高效的传输的同时，还可以有效地控制网络开销和资源消耗。当携带的消息副本数量为1时，转入单副本转发阶段。在该阶段，基于马尔科夫决策过程来计算每个节点成功递交消息的概率并作为衡量指标，使消息转发至更加优秀的中继节点从而更快的到达目的节点。

Description

基于马尔科夫决策过程的分段路由方法及一种网络节点

技术领域

本公开涉及无线通信网络中的通信路由，具体地讲，涉及一种基于马尔科夫决策过程的分段路由方法及一种网络节点。

背景技术

移动机会网络由于节点的移动性，稀疏性，导致网络的拓扑结构时常发生变化，所以目的节点和源节点之间很少存在端到端的通信链路。这就使得传统依赖于固定设施的蜂窝移动网络中采用“先路由-后传输”的工作模式统路由算法失效。考虑到移动机会网络的弱连通性等特点，目前机会路由采用存储-携带-转发的工作模式。在这种工作模式下，当节点接收到网络中随机相遇的节点转发来的消息时，首先将消息存于自己的缓存中，并且携带消息继续在网络中随机移动并转发给其他随机相遇的节点，直到消息到达目的节点。在这种情况下，机会网络中的路由算法作为实现间歇式连通环境下节点通信的理论基础，具有十分重要的研究意义。但是在机会路由中节点如何选择合适的转发时机以及中继节点，使得消息可以更快速的到达目的节点且节省更多的网络资源，是目前机会路由研究的关键问题。

由于机会网络的拓扑易变和节点移动的不确定性，给其路由算法的设计带来挑战。为了适应机会网络间断、部分连接的特点，研究者提出了多种路由算法，其大致可以分为两大类，单副本路由策略和多副本路由策略。单副本的路由策略是同一时间内网络中只保留消息的一个副本。此类路由的特点是网络中由于副本的数量被严格的限制，导致网络中消息的投递率很低、延迟很大，消息不能快速准确的到达目的节点。但是网络副本被很好地控制，达到了节省网络资源的目的。现有几种基于单副本的机会网络节点转发策略：(1)First Contact，该算法源节点将数据分组转发给它每次遇到的下一跳节点；(2)DirectDelivery，该算法源节点仅在遇到目标节点时才将数据分组转发给下一节点；(3)随机路由，以概率P将消息发送给其遇到的节点；(4)Seek and Focus，结合了随机路由和基于效用路由的转发策略；(5)Simbet，节点只将数据分组转发给具备一定相似度的节点。

多副本的路由策略是每个节点可以按照规则携带多个消息副本。常见的多副本路由是Spray and Wait、Prophet、MaxProp、Epidemic。多副本路由策略由于副本数量的增加，在网络中多个消息副本之间可以独立的被传递至消息目的节点，相当于单副本路由策略，多副本路由策略投递率和消息延迟有着较大的提升，但是，副本数量的增多也会导致网络负载的上升，网络资源的消耗往往较大。

发明内容

针对上述问题，本公开在考虑机会网络中消息转发时的投递率和网络负载之间的平衡的基础上，结合多副本转发策略，根据马尔科夫决策过程提出了新的高效转发因子，以提高投递率、减少开销和降低平均时延。

一方面，本公开提出了一种基于马尔科夫决策过程的分段路由方法，所述方法包括下述步骤：

S100、判断携带消息的节点周围是否存在目的节点；

若所述携带消息的节点周围存在目的节点，则执行步骤S200；否则，执行步骤S300；

S200、转发消息给目的节点，完成消息转发；

S300、判断所述携带消息的节点所携带的消息副本数量是否为1；

若所述消息副本数量不为1，执行步骤S400；否则，执行步骤S500；

S400、在所述携带消息的节点随机移动过程中，将自身所携带的消息副本转发给其随机遇到的邻居节点，使该邻居节点成为一个携带消息的节点；且转发消息副本的数量等于消息副本转移概率与所述携带消息的节点所携带消息副本数量的乘积；

返回步骤S100；

S500、在所述携带消息的节点随机移动过程中，采用单副本路由转发策略将所携带的消息转发给目的节点；

其中，所述消息副本转移概率是由当前时刻和下一时刻是否递交消息副本确定的，消息副本转移的过程符合马尔科夫过程。

另一方面，本公开还涉及一种网络节点，所述节点上包括第一判断模块、第一转发模块、第二判断模块、第二转发模块，第三转发模块，其中：

所述第一判断模块，被配置用于：当节点上创建消息或收到消息失，判断该节点周围是否存在目的节点；若所述携带消息的节点周围存在目的节点，转入第一转发模块；否则，转入第二判断模块；

所述第一转发模块，被配置用于：将所述节点携带的消息转发给目的节点，完成消息转发；

所述第二判断模块，被配置用于：判断所述节点所携带的消息副本数量是否为1；若所述消息副本数量不为1，转入第二转发模块；

否则，转入第三转发模块；

所述第二转发模块，被配置用于：在所述携带消息的节点随机移动过程中，将自身所携带的消息副本转发给其随机遇到的邻居节点，使该邻居节点成为一个携带消息的节点；

转发消息副本的数量等于消息副本转移概率与所述携带消息的节点所携带消息副本数量的乘积；

转入所述第一判断模块；

所述第三转发模块，被配置用于：在所述携带消息的节点随机移动过程中，采用单副本路由转发策略将所携带的消息转发给目的节点；

其中，所述消息副本转移概率是由当前时刻和下一时刻是否递交消息副本确定的，消息副本转移的过程符合马尔科夫过程。

与现有技术相比，经机会网络仿真工具(Opportunistic Network Environmentsimulator)实验表明，与现有经典的算法epidemic、spring and focus和Prophet路由算法相比，本公开中基于马尔科夫决策过程的路由方法能达到下述效果：

(1)本公开方法在多副本阶段，消息迅速扩散至中继节点以便在网络中并行寻找目的节点，提高了消息达到率，减少消息延迟，降低了网络负载和能耗；

(1)在网络密集的情况下，本公开方法在遇到[N/e]个节点之后才将消息转发至中继节点，大大节省了网络中带宽等通信资源；

(2)由于源节点在遇到[N/e]个节点之后才将消息转发至中继节点，导致时延增大，但是由于精准的投递，使消息到目的节点的速度也快于spring and focus算法和Prophet算法；

(3)相对epidemic、spring and focus和Prophet路由算法，本公开方法在递交消息时将消息以较小的转发次数中继至比较优秀的节点上。

附图说明

图1本公开一个实施例中关于基于马尔科夫决策过程的分段路由方法示意图；

图2节点递交消息副本马氏链的概率转移示意图；

图3路由模型的状态转移示意图；

图4-1本公开一个实施例中关于节点变化对消息递交率的影响示意图；

图4-2本公开一个实施例中关于节点变化时对消息时延的影响示意图；

图4-3本公开一个实施例中关于节点变化时对消息平均跳的影响示意图；

图4-4本公开一个实施例中关于节点变化时对网络负载的影响示意图；

图4-5本公开一个实施例中关于节点变化时对节点剩余电量的影响示意图。

具体实施方式

本公开考虑一般化的随机机会网络作为网络模型.网络被抽象为一个非连通有向图G＝(v，e)，其中顶点v表示网络中的节点，而边e则代表节点间的接触.每个节点携带着短距离无线通信设备在网络中自由随机的移动，节点进入到彼此的通信范围之内则认为节点之间相互接触及开始进行通信。在网络中，任何节点可以随机产生以本节点为源节点的消息，而目的节点也是网络中随机的其他节点，消息在节点之间的传递则依靠机会网络中的“存储-携带-转发”的通信模式进行多跳递交，直到消息到达目的节点。考虑到场景中所有节点均按照随机方式运动，途中遇见的任意节点也是随机的，符合离散时间有限阶段马尔可夫决策过程。

路由策略

本公开结合了多副本路由的快速性、高负载和单副本路由的简单性、低消耗的优点，提出基于马尔科夫决策过程的可控副本数量的多副本路由策略，既保证多个副本之间并行高效的传输，并且有效的控制网络开销和资源消耗。路由策略分为多副本阶段和单副本阶段，在多副本阶段采用类似传染路由的方式将消息快速的扩散成L个副本，多个副本在网络中并行的传输并且进入到单副本路由阶段，在单副本阶段我们采用一种基于马尔科夫决策过程的效用值递交策略。

本公开提出的方法满足上述要求，考虑到提高发送率和降低传输延迟，在多副本阶段，我们关注两个问题：发不发，发多少。也就是说，当携带副本的节点遇到任意一节点时，是否递交消息副本以及递交多少副本。当节点携带的消息副本为1时，此时携带消息的节点不能在向网络中的其他节点扩散此消息的副本，只能将此消息转发给目的节点或者其它候选节点，且在自身缓存中删除该消息。单副本路由的主要目的在于将消息如何准确的递交至目的节点或者更优秀的中继节点，本文我们提出一种高效的单副本转发策略，该策略是找到源节点携带消息出发，遇见优秀的中继节点然后转发消息，重复路由策略直到目的节点收到消息过程结束。本策略基于马尔科夫决策过程来计算每个节点成功递交消息的概率并作为衡量指标，使消息转发至更加优秀的中继节点从而更快的到达目的节点。

在一个实施例中，参照图1，为本公开一个方法流程示意图，所述方法包括下述步骤：

S100、判断携带消息的节点周围是否存在目的节点；

若所述携带消息的节点周围存在目的节点，则执行步骤S200；否则，执行步骤S300；

S200、转发消息给目的节点，完成消息转发；

S300、判断所述携带消息的节点所携带的消息副本数量是否为1；

若所述消息副本数量不为1，执行步骤S400；否则，执行步骤S500；

S400、在所述携带消息的节点随机移动过程中，将自身所携带的消息副本转发给其随机遇到的邻居节点，使该邻居节点成为一个携带消息的节点；且转发消息副本的数量等于消息副本转移概率与所述携带消息的节点所携带消息副本数量的乘积；

返回步骤S100；

S500、在所述携带消息的节点随机移动过程中，采用单副本路由转发策略将所携带的消息转发给目的节点；

其中，所述消息副本转移概率是由当前时刻和下一时刻是否递交消息副本确定的，消息副本转移的过程符合马尔科夫过程。

这里，步骤S400是多副本路由阶段，步骤S500是单副本路由阶段。在本实施例中，不限制单副本路由阶段的方法，可以是First Contact算法、Direct Delivery算法、随机路由算法、Seek and Focus算法或者Simbet等。

在多副本路由阶段，其消息副本的可控体现在下述两个方面：

(1)携带消息的节点如果是消息创建的源节点，则在源节点设置消息副本数量的最大值L；

(2)以一定概率p随机转发给邻居节点p×L个该消息的副本，而自己保留(1-p)×L个消息的副本，节点并行携带消息在网络中移动并寻找消息的下一跳，直到消息的副本数量为1，然后转为单副本路由阶段。

由于是携带消息的节点是并行寻找，因而提高了消息的发送率，降低了时延；由于消息副本数量可控，相对现有多副本路由算法，比如Spray and Wait、Prophet、MaxProp、Epidemic等，所述方法可以有效控制网络开销和资源消耗。

优选地，所述消息副本转移概率满足下述不等式：

其中：

p为消息副本转移概率；

L为在源节点设定的欲进行多副本转发的消息副本最大值；

n为消息目前的跳数；

m为机会网络中节点数目。

所述消息副本转移概率的来源依据如下。

在随机网络场景中，节点间的运动规律符合离散马尔科夫过程，根据马尔科夫过程n步转移规律，设{X(n)，n＝0，1}是状态空间E＝{0，1}的马氏链，其中0，1分别表示节点不递交副本或者递交副本。X(O)表示节点当前时刻，X(1)表示节点下一时刻，若节点当前时刻不递交副本，下一时刻递交副本的概率为p0；当前时刻不递交副本，下一时刻不递交副本的概率为q0；节点当前时刻递交副本，下一时刻递交副本的概率为p1；则当前时刻递交副本，下一时刻不递交副本的概率为q1。得出此节点递交副本马氏链的概率转移图如图2所示。

其中p0+q0＝1，p1+q1＝1；

X(n)是齐次的，则系统的一步转移概率为：

p₀₀＝P{x(1)＝0|x(0)＝0}＝q₀

p₀₁＝P{x(1)＝1|x(0)＝0}＝p₀

p₁₀＝P{x(1)＝0|x(1)＝1}＝p₁

p₁₁＝P{x(1)＝1|x(1)＝1}＝q₁

一步转移概率矩阵：

二步转移概率矩阵：

从上述推倒可以看出，此二步转移矩阵，实际上可由一步转移矩阵相乘得出，即

类似课推得三步转移概率矩阵p⁽³⁾＝p⁽²⁾·p＝p³

数学归纳法：p⁽ⁿ⁾＝p^(n-1)·p＝pⁿ

按照步骤S400所述，对于第一次成功发送，携带消息的节点所剩的副本数量为L*(1-p)；第二次继续成功以此策略发送，携带消息的节点所剩的副本数量为L*(1-p)-p*L*(1-p)＝L*(1-p)²；以此类推第n次成功发送以后，携带消息的节点所剩的副本数量为L*(1-p)ⁿ。考虑到副本数量是整数，当L*(1-p)ⁿ≤1.5时多副本策略结束。由此可以得出经过n次递交以后，消息目前的跳数为n，节点以概率p递交消息的节点总数为2ⁿ*p，若场景中的节点数为m，则有2ⁿ*p≤m，故所以P的取值区间：其中2ⁿ≥m，n≤0.1m，为了权衡网络中传输消息的负载，本公开规定消息的跳数n不能超过节点总数m的十分之一。

由于单副本路由的主要目的在于将消息如何准确的递交至目的节点或者更优秀的中继节点，因此所述单副本路由转发策略优选基于马尔科夫决策过程来计算每个节点成功递交消息的概率并作为衡量指标，使消息转发至更加优秀的中继节点从而更快的到达目的节点。在这种转发策略下，所述单副本路由转发策略包括下述步骤：

S501、判断遇到的邻居节点是否是目的节点；

若遇到的节点是目的节点，执行步骤S502；否则，执行步骤S503；

S502、转发消息给目的节点，结束消息转发；

S503、判断当前已遇到的邻居节点的数目是否小于观察节点数；

若已遇到的邻居节点的数目小于等于观察节点数，执行步骤S504；否则，执行步骤S505；

S504、更新已遇到的邻居节点的最高优先级Lv的值；

S505、除去观察节点，从剩下的节点中任选一个节点，该节点的优先级高于当前记录的最高优先级Lv的值，将携带的消息转发给该节点；

S506、用选择节点的优先级更新最高优先级Lv的值；

S507、返回步骤S501。

上述单副本路由策略是从携带一个消息副本的节点出发，遇见优秀的中继节点然后转发消息，重复路由策略直到目的节点收到消息过程结束。网络中的节点按照随机方式移动，根据随机布朗运动的特性，节点在一定时间内在空间上的移动具有局限性，可以将本节点与消息的目的节点相遇的时间间隔作为候选节点的优先度衡量指标，并且时间间隔越小，节点之间再次遇见的概率就更大。

当携带单副本消息的节点随机遇见某一个邻居节点的时候，需要判断节点优先级的高低后决定消息是否转发，这里设定N为消息的最大跳数，M为此时消息已转发的跳数，且M∈(1，N)，在消息的转发过程中，每当判断出一个有效的候选节点，就会进行一次消息的转发，所以有效决策的阶段数与消息最多传递次数相同，即在最大跳N之间有包括源节点在内的N个不同优先度的转发候选节点。我们假设在整个转发的过程中有T个决策时刻用于判断随机遇到的邻居节点是否为有效的中继节点，则T≥N。

定义马尔可夫决策过程状态空间：S′＝{0，1}。状态空间S′有两个元素0和1。其中1代表当前的节点是目的节点；0则表示当前的节点不是目的节点。

为了描述过程的结束情况，我们用Φ表示过程的停止状态。根据马尔可夫性质，转移概率是不依赖于当前状态i的，而且只要采取行动X，过程就会继续下去。

对于每一个状态定义行动集：A(0)＝A(1)＝{X，Y}，行动Y表示传送消息给当前节点；选取行动X表示跳过当前节点，并准备相遇下一个节点。

根据机会路由投递消息的要求，除了在全部过程停止的时候，所有其它时间阶段的报酬都是0，也就是在选取行动X(放弃当前的节点)时的报酬总是0。反之，只有当采取行动Y的时刻系统具备有效报酬，有效报酬的概念表示选中的节点是目标节点的概率。如果用D表示目的节点在前n个相遇节点中，那么可以得到：

因此，可以定义报酬值：

另外，定义转移概率：

在时刻t+1恰好在前n+1个节点中遇到目的节点的概率是：

根据马氏状态转移矩阵性质，通常我们总假设：

那么未遇到目的节点的概率是：

图3为路由模型的状态转移图。

综上所述，对于i＝0，1，得出马氏决策过程的五元组：

{T，S，A(i)，P_t(j|i，α)，R_t(i，α)}

其中T为决策时刻，T的取值范围为：T＝{1，2，...，N}，N＜∞S为可能的状态，同时满足A(i)为可用的行动集，其取值如下：

R_t(i，α)为报酬值，其取值如下：

P_t(j|i，α)为转移概率：

这里我们就定义好了解决这个节点转发策略的马氏决策过程数学模型。下面给出求解的过程。用U_t(1)表示从当前的时段到过程结束源节点能够遇到目标节点的最大概率；用U_t(0)表示在剩下的时段中源节点能够遇见目的节点的最大概率，而此时遇见的节点不是目标节点。那么，它们满足下面的关系：

对干n＝1，2，……，N-1，有：

考虑到U_t≥0，化简：

从上式分析得出，最优策略具有这样的结构：t时刻如果在状态S(1)，有U_t(0)＜n/N，最优行动是停止并且传递消息；如果U_t(0)＞n/N，最优行动就是继续寻找下一节点；如果U_t(0)＝n/N，两者都是最优行动。在状态S(O)，继续下去是最优的选择。

当节点数目N确定以后，此机会网络节点转发策略是先观察K个候选节点，然后比较并记录其中最好的节点Lv(a)，在放弃前K个观察节点之后，选择第一个优于Lv(a)的节点Lv(b)，其中b＞a。下面给出求解K的过程：

把1到N个节点按照优先级进行排列共有N！种可能。对于某个固定的K，如果目的节点出现在了第M个位置(K＜M≤N)，且从K+1到M-1位置的节点优先级小于前K位置中的最优节点，就必须得满足前M-1个节点中的最优节点在前K个节点里，这有K/(M-1)的可能。我们便得到计算目的节点被选中的概率公式P(K)：

用x来表示K/N的值，x＝K/N，K＝Nx，确定积分上界N-1，积分下界M＝K＝Nx，假设N充分大，N-1≈N，则上述公式可以改写成：

为了求出K和P(K)的极值对上式求导，并令这个导数为0，

由x＝K/N且K是自然数，所以结果取整得到：

K＝[N/e]

其中，N为消息的最大跳数；e为自然常数；[N/e]表示对N/e后取整。

至此，得到上述单副本路由策略的核心思想是记录源节点遇见的前[N/e]个节点，如果遇见目的节点则直接递交消息，如果前[N/e]个节点不是目的节点，记录其中最高优先度节点的Lv(a)值并放弃前[N/e]个节点，之后选择剩下的N-[N/e]中的任何一个优于Lv(a)的节点传递消息，并继续寻找目的节点D，直到消息传递完毕为止。

下面使用ONE(Opportunistic Network Environment)仿真工具[15]，并且建立节点以布朗运动的方式随机运动的仿真场景模型，模拟节点之间通过随身携带的短距离通讯设备组成的移动机会网络发送消息，为了防止网络拥塞和能量过多的耗费我们默认消息的最大跳数为网络中节点数目的10％。为方便作图，将本公开提出的方法表示为Segment路由算法，将其与Epidemic、Spring and Focus和Prophet路由算法作对比，具体网络参数如表1所示：

表1仿真场景参数设置

结合机会网络性能评价指标和本公开中所提出路由算法的特点，我们拟采用以下参数评价网络的性能。(1)消息递交率：被成功投递到目的节点的消息个数比网络中产生的总的消息个数。(2)平均跳数：消息成功到达目的节点所经过的平均跳数(3)网络时延：成功将消息递交到目的节点所需要的平均时间。(4)网络负载：网络中消息的中继次数比消息的递交个数。(5)平均剩余能量：指网络仿真结束后设备剩余能量的平均值。

【实验1】节点变化时对消息递交率的影响

为了对比不同路由算法的效率，考察在网络面积不变的情况下，网络中节点个数分别为50、100、150、200、250、300时网络评价指标的变化情况，实验结果如图4-1。

从图4-1我们可以看出随着节点个数的增多，四种路由算法的递交率都在上升，这是因为随着网络越来越密集，节点之间的基础越来越频繁，更多的通信机会就导致更多的消息被递交至目的节点。我们还可以看出Segment路由算法的递交率总是最高的，并且随着网络密度越来越高，路由算法的性能越好，这是因为基于马氏决策的Segment路由算法能更准确的找到较合适的中继节点，从而消息能被更快的中继到目的节点，在网络密集的情况下，由于Segment路由算法在遇到[N/e]个节点之后才将消息转发至中继节点，大大节省了网络中带宽等通信资源。相反，Epidemic算法属于洪范式的扩散副本，在网络密集的情况下容易造成网络堵塞而导致网络瘫痪，投递率在四中算法中是最低的，Spring and Focus算法在稀疏网络中由于跳数的限制和Epidemic算法表现类似，但是在网络密集时，由于其控制了副本数量，在一定程度上节省了网络资源从而递交率高于Epidemic算法，Prophet算法，则是因为通过概率计算将消息转发至更容易遇到目的节点的中继节点，递交率高于Epidemic和Spring and Focus算法，但远远低于Segment算法。

【实验2】节点变化时对消息时延的影响

从图4-2我们可以看出随着节点个数的增多，四种路由算法的平均消息时延都在下降。其中，Epidemic路由算法有着最好的表现，这是该算法会充分利用网络带宽将消息迅速扩散至网络中的其他节点上，及时到达率不是最高，但是，部分成功递交至目的节点的消息时延则是最快的。Segment算法由于源节点在遇到[N/e]个节点之后才将消息转发至中继节点，导致时延增大，但是由于精准的投递，使消息到目的节点的速度也快于Spring andfocus算法和Prophet算法，Spring and Focus算法由于首先将有限数量的副本扩散至网络中，单个副本并行的寻找目的节点，在时延的效率上也优与Prophet算法。

【实验3】节点变化时对消息平均跳的影响

图4-3描述的是在节点个数变化的情况下，网络中被成功递交消息的平均跳数，随着节点数量的增多导致网络拓扑结构的复杂，发送消息则需要更多的中继节点进行递交，则消息平均跳数明显增多。我们还可以发现在四种路由算法中，Segment算法有着明显的优势，这正是因为Segment算法的马氏决策机制，在递交消息时将消息以较小的转发次数中继至比较优秀的节点上。Epidemic算法的平均跳数最多，几乎与节点个数的增长成正比例，这起恰恰符合该算法中洪范的转发特性，将消息随机的转发给遇到的邻居节点，导致消息平均跳数最高。Spring and Focus算法稍高于Prophet算法是因为前者在仿真初期有类似于Epidemic算法的副本扩散策略。

【实验4】节点变化时对网络负载及节点剩余电量的影响

从图4-4和图4-5中描述的是网络中节点个数变化时对负载以及节点剩余电量的影响，我们可以发现随着节点数量的增多，网络中消息传递时的负载增多，同时仿真结束时节点剩余的能量减少。我们还可以看出Segment算法具有最低的网络负载和最高的平均节点剩余能量，这恰恰验证了我们所提出算法的高效性，并且越为复杂的网络场景下，Segment算法的优势越高。相反，Epidemic等算法随着网络场景的密集，负载剧烈的升高，剩余电量剧烈减少，所以，Segment算法适应性很好，而其他算法均不适应密集网络。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种基于马尔科夫决策过程的分段路由方法，其特征在于，所述方法包括下述步骤：

S100、判断携带消息的节点周围是否存在目的节点；

若所述携带消息的节点周围存在目的节点，则执行步骤S200；否则，执行步骤S300；

S200、转发消息给目的节点，完成消息转发；

S300、判断所述携带消息的节点所携带的消息副本数量是否为1；

若所述消息副本数量不为1，执行步骤S400；否则，执行步骤S500；

S400、在所述携带消息的节点随机移动过程中，将自身所携带的消息副本转发给其随机遇到的邻居节点，使该邻居节点成为一个携带消息的节点；且转发消息副本的数量等于消息副本转移概率与所述携带消息的节点所携带消息副本数量的乘积；

返回步骤S100；

S500、在所述携带消息的节点随机移动过程中，采用单副本路由转发策略将所携带的消息转发给目的节点；

其中，所述消息副本转移概率是由当前时刻和下一时刻是否递交消息副本确定的，消息副本转移的过程符合马尔科夫过程。

2.根据权利要求1所述的方法，其特征在于，优选的，所述单副本路由转发策略包括下述步骤：

S501、判断遇到的邻居节点是否是目的节点；

若遇到的节点是目的节点，执行步骤S502；否则，执行步骤S503；

S502、转发消息给目的节点，结束消息转发；

S503、判断当前已遇到的邻居节点的数目是否小于观察节点数；

若已遇到的邻居节点的数目小于等于观察节点数，执行步骤S504；否则，执行步骤S505；

S504、更新已遇到的邻居节点的最高优先级Lv的值；

S505、除去观察节点，从剩下的节点中任选一个节点，该节点的优先级高于当前记录的最高优先级Lv的值，将携带的消息转发给该节点；

S506、用选择节点的优先级更新最高优先级Lv的值；

S507、返回步骤S501。

3.根据权利要求2所述的方法，其特征在于，所述观察节点数通过下述公式确定：

观察节点数＝[N/e]

其中：

N为消息的最大跳数；e为自然常数；[N/e]表示对N/e后取整。

4.根据权利要求2所述的方法，其特征在于，所述邻居节点的优先级依据其与目的节点相遇的时间间隔设定。

5.根据权利要求1所述的方法，其特征在于，所述消息副本转移概率满足下述不等式：

$\sqrt[n]{\frac{3}{2L}}\≤p\≤\frac{m}{2^n}$

其中：

p为消息副本转移概率；

L为在源节点设定的欲进行多副本转发的消息副本最大值；

n为消息目前的跳数；

m为机会网络中节点数目。

6.一种网络节点，其特征在于：

所述节点上包括第一判断模块、第一转发模块、第二判断模块、第二转发模块，第三转发模块，其中：

所述第一判断模块，被配置用于：当节点上创建消息或收到消息失，判断该节点周围是否存在目的节点；若所述携带消息的节点周围存在目的节点，转入第一转发模块；否则，转入第二判断模块；

所述第一转发模块，被配置用于：将所述节点携带的消息转发给目的节点，完成消息转发；

所述第二判断模块，被配置用于：判断所述节点所携带的消息副本数量是否为1；若所述消息副本数量不为1，转入第二转发模块；否则，转入第三转发模块；

所述第二转发模块，被配置用于：在所述携带消息的节点随机移动过程中，将自身所携带的消息副本转发给其随机遇到的邻居节点，使该邻居节点成为一个携带消息的节点；

转发消息副本的数量等于消息副本转移概率与所述携带消息的节点所携带消息副本数量的乘积；

转入所述第一判断模块；

所述第三转发模块，被配置用于：在所述携带消息的节点随机移动过程中，采用单副本路由转发策略将所携带的消息转发给目的节点；

其中，所述消息副本转移概率是由当前时刻和下一时刻是否递交消息副本确定的，消息副本转移的过程符合马尔科夫过程。

7.根据权利要求6所述的网络节点，其特征在于，所述第三转发模块包括下述单元：

第一判断单元、第一转发单元、第二判断单元、第一更新单元、第二转发单元、第二更新单元，其中：

所述第一判断单元，被配置用于：判断遇到的邻居节点是否是目的节点；若遇到的节点是目的节点，转入第一转发单元；否则，转入第二判断单元；

所述第一转发单元，被配置用于：转发消息给目的节点，结束消息转发；

所述第二判断单元，被配置用于：判断当前已遇到的邻居节点的数目是否小于观察节点数；若已遇到的邻居节点的数目小于等于观察节点数，转入第一更新单元；否则，转入第二转发单元；

所述第一更新单元，被配置用于：若遇到的邻居节点的优先级高于最高优先级Lv的值，则更新最高优先级Lv的值；

所述第二转发单元，被配置用于：除去观察节点，从剩下的节点中任选一个节点，该节点的优先级高于当前记录的最高优先级Lv的值，将携带的消息转发给该节点；

所述第二更新单元，被配置用于：用选择节点的优先级更新最高优先级Lv的值；转入第一判断单元。

8.根据权利要求7所述的网络节点，其特征在于，所述观察节点数通过下述公式确定：

观察节点数＝[N/e]

其中：

N为消息的最大跳数；e为自然常数；[N/e]表示对N/e后取整。

9.根据权利要求6所述的方法，其特征在于，所述邻居节点的优先级依据其与目的节点相遇的时间间隔设定。

10.根据权利要求6所述的网络节点，其特征在于：

所述消息副本转移概率满足下述不等式：

$\sqrt[n]{\frac{3}{2L}}\≤p\≤\frac{m}{2^n}$

其中：

p为消息副本转移概率；

L为在源节点设定的欲进行多副本转发的消息副本最大值；

n为消息目前的跳数；

m为机会网络中节点数目。