CN115580577A - 一种基于时间同步感知的智慧园区多态路由协议优化方法 - Google Patents

Abstract

本发明提供一种基于时间同步感知的智慧园区多态路由协议优化方法，属于通信技术领域。本发明适配差异化QoS需求的多态路由协议优化，满足智慧园区业务的大吞吐量、低误码率、低队列积压等差异化QoS需求。终端时间同步感知与唤醒，为路由选择优化的数据传输提供有力支撑。基于网络拥塞反馈的智能路由学习方法，提高网络自适应能力。

Description

一种基于时间同步感知的智慧园区多态路由协议优化方法

技术领域

本发明提供一种基于时间同步感知的智慧园区多态路由协议优化方法，属于通信技术领域。

背景技术

智慧园区是智慧城市和新型电力系统建设的重要组成部分，通过充分利用人工智能、大数据、工业互联网等新一代通信技术，实现对可再生电源、柔性负荷和储能系统等资源的实时管理。随着大量分布式能源终端接入，智慧园区网络业务形态丰富，业务数据呈爆炸式增长。终端间、以及终端与业务主站间的高效信息交互需要更先进的路由技术来支撑不同业务数据的可靠传输。然而，当前园区中业务对队列积压、误码率、吞吐量等服务质量(Quality of Service，QoS)需求差异性大，现有的路由选择优化方法难以适配；同时，时间同步偏差大和链路与网络拥塞等信息的不确定性，给路由选择优化问题增加了复杂性维度，降低路由选择优化性能。具体介绍如下：

第一，路由优化与差异化业务需求适配性差。智慧园区中不同业务具有差异化的QoS需求。传统路由协议仅考虑单一性能指标，服务能力有限、功能固定，存在网络拥塞、路由过长等问题，难以适配业务差异化QoS需求。

第二，时间同步与路由优化的耦合性。吞吐量、到达数据量、误码率等路由参数测量均与时间同步密切相关，若终端在路由选择优化过程中与网关的时间偏差较大，则会使在休眠态的终端延迟唤醒，导致本该从休眠态变成活跃态的终端，仍处于休眠态，造成终端间数据难以有效传输，严重影响园区网络路由优化性能。

第三，链路与网络拥塞等信息的不确定性：路由选择优化应根据链路信息、网络拥塞、到达数据量等时变参数进行动态调整。考虑终端间频繁的信息交互产生的信令开销，实际中难以准确获得这些参数的精确信息。因此，如何在全局状态信息不确定的情况下进行路由选择优化是一个挑战。

因此，迫切需要设计一种基于时间同步感知的智慧园区多态路由协议优化方法，在满足时间偏差阈值条件下，通过优化数据流选择策略，最小化队列积压和误码率，解决了园区通信网络由于时间不同步终端延迟唤醒的问题，保障不同业务差异化的QoS需求。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于时间同步感知的智慧园区多态路由协议优化方法。

本发明的一种基于时间同步感知的智慧园区多态路由协议优化方法，具体步骤为：

S1、预先构建时间同步感知多态路由协议架构，将所述的时间同步感知多态路由协议架构中的监测数据建模为终端队列积压模型，根据所述终端队列积压模型，确定监测数据的吞吐量模型，并得到终端的误码率模型；

S2、根据对网关与终端间数据上下行传输与时间偏差的分析，获得时间同步模型；

S3、基于所述终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型，对智慧园区通信网络的多态路由选择优化问题进行建模，其优化目标为最小化队列积压和误码率；

S4、将所述优化目标中最小化队列积压转换为队列积压差最大化问题；

S5、将所述多态路由选择优化问题模型转化为马尔可夫优化问题，提出联合背压和Q学习的时间同步感知多态路由协议算法，基于Q学习智能决策能力，对转化后的马尔可夫优化问题进行求解，根据求解结果，智能优化智慧园区的多态路由选择方案。

进一步的，S1中所述时间同步感知多态路由协议架构由控制平面和数据平面构成，其中，控制平面主要包含网关，其根据获取的终端网络拓扑及状态信息配置多态路由协议，并向对应的终端发送路由选择优化策略，优化传输路径，满足智慧园区业务的差异化QoS需求。此外，网关对数据平面中的终端进行时间同步，保证业务数据的稳定传输。数据平面包含多个具有数据转发功能的终端，主要负责执行多态路由决策。共有N个园区终端，其集合为N＝{1,...,n,...,N}，定义N_d∈N为目标终端。令E＝{(n,n′)|n,n′∈N}表示终端n和终端n′之间的链路集合。将总优化时间划分为T个等长的时隙，表示为：t∈{1,2,...,T}，且每个时隙长度为τ。假设智慧园区通信网络中每个终端都能够服务K种具有不同QoS需求的业务，对应K种存储在终端缓冲区中的数据流，其集合表示为：K＝{1,...,k,...,K}。定义

为终端状态指示变量，其中，

表示终端n传输数据流k时处于活跃态，否则，

进一步的，所述终端队列积压模型具体为：

其中，J(n)为终端n的下一跳终端集合，I(n)为传输数据到终端n的上一跳终端集合；

为在第t个时隙内，终端n中数据流k的吞吐量，即从终端n传输到终端j的数据量；

为路由选择优化策略指示变量，其中，

表示在第t个时隙内终端n和终端j间选择第k个数据流进行数据传输，否则，

为数据流k流出终端n的数据量；

为数据流k流入终端n的数据量；

为在第t个时隙内，终端n自身产生的数据流k的数据量。

进一步的，所述吞吐量模型为

其中，

为终端n和终端j间数据流k的传输速率，θ_n,j(t)为在第t个时隙内n和j间的链路容量。

进一步的，所述误码率模型为考虑正交相移键控(Quadrature Phase ShiftKeying，QPSK)的非相干调制的误码率，具体为：

其中，

为终端n和终端j间传输数据流k的信噪比。

进一步的，S2中所述时间同步模型中，数据传输分为上行传输与下行传输，其中，下行传输数据是网关下发的同步信息或路由决策信息，定义网关传输下行数据至终端的起始时刻为T_a，终端接收网关下行数据的起始时刻为T_b；上行传输数据是园区终端的网络状态信息，定义终端发送上行数据给网关的起始时刻为T_c，网关接收终端上行数据的起始时刻为T_d；其中：

T_b＝T_a+t_error+t_DT

T_d＝T_c-t_error+t_UT

其中，t_DT为下行数据的传输延迟；t_UT为上行数据的传输延迟，理论上，上行数据延迟等于下行数据延迟，即t_DT＝t_UT；t_error为终端时间t_n与网关时间t_G之间的时间偏差，其表达式为：

t_G＝t_n+t_error

根据上式可计算出终端与网关之间的时间偏差为：

根据获得的终端时间与网关时间之间的时间偏差t_error，调整终端时间t_nb，完成终端与网关之间的时间同步，得到同步后的终端时间为t_na，其表达式为：

t_na＝t_nb-t_error

进一步的，S3中所述多态路由选择优化问题进行建模的模型具体为：

队列积压与误码率的累积加权和为：

其中，α^k和β^k分别表示数据流k的队列积压和误码率的权重；路由选择优化问题表示为：

P1:

s.t. C₁:

C₂:

其中，C₁为路由选择优化约束，即终端n仅能选择一个数据流进行数据传输；C₂为数据传输约束，即对于数据流k，仅当终端n和终端j均处于活跃态时，才能进行数据传输。

进一步的，S4中所述优化问题中队列积压最小化问题转换为队列积压差最大化问题，具体为：

定义

为队列积压差，其表达式为：

W(t)转化为

其表达式为：

进一步的，S5中所述马尔可夫优化问题包括状态空间、动作空间与惩罚函数，其中：

状态空间由链路容量、队列积压，以及第(t-1)个时隙的路由选择优化策略指示变量、吞吐量和误码率确定，表示为：

动作空间为优化问题P1的优化变量集合，表示为：

惩罚为优化问题P1转换后的优化目标，表示为：

进一步的，S5中所述联合背压和Q学习的时间同步感知多态路由协议算法，具体步骤如下：

初始化步骤：初始化终端n的队列积压，即

同时，初始化Q值Q(S_n(t),X_n(t))，即在状态空间S_n(t)中选择动作X_n(t)的值；初始化终端状态变量

定义时间不同步集合V(t)；

时间同步步骤：设置时间偏差阈值

当时间偏差t_error大于

时，即

认为终端与网关时间不同步；然后，网关对终端进行时间同步以唤醒休眠终端；

路由选择步骤：在完成时间同步后，网关观察第t个时隙状态空间S_n(t)中的信息，根据Q值，采用ε-greedy贪婪算法选择路由，然后，每个终端n∈N根据网关下发的路由决策传输数据流，计算惩罚值

并反馈给网关；

学习步骤：在完成数据流传输后，更新队列信息，并转移到下一个状态S_n(t+1)；终端n所对应的Q值更新为：

其中，ψ为学习率；γ为衰减因子，表示考虑未来预期收益的评价尺度。

本发明还提供一种时间同步感知的智慧园区多态路由协议优化装置，具体包括：

建模模块：用于建立终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型；

优化建模模块：用于基于上述所述终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型，对智慧园区多态路由选择优化问题进行建模，其优化目标为最小化队列积压和误码率，获得智慧园区多态路由选择策略优化问题模型；

转化计算模块：用于将所上述优化目标中最小化队列积压问题基于背压算法转换为队列积压差最大化问题，并将转换后的智慧园区多态路由选择策略优化问题模型转化为马尔可夫优化问题，提出联合背压和Q学习的时间同步感知多态路由协议算法，通过Q学习智能决策能力，对转化后的马尔可夫优化问题进行求解，智能优化智慧园区多态路由选择方案。

进一步的，所述建模模块：共有N个园区终端，其集合为N＝{1,...,n,...,N}，N_d∈N为目标终端。E＝{(n,n′)|n,n′∈N}表示终端n和终端n′之间的链路集合。假设智慧园区通信网络中每个终端都能够服务K种具有不同QoS需求的业务，对应K种存储在终端缓冲区中的数据流，其集合表示为：K＝{1,...,k,...,K}。

进一步的，所述优化建模模块，具体用于构建智慧园区多态路由选择优化问题模型，表示为：

P1:

s.t. C₁:

C₂:

其中，C₁为路由选择优化约束，即终端n仅能选择一个数据流进行数据传输；C₂为数据传输约束，即对于数据流k，仅当终端n和终端j均处于活跃态时，才能进行数据传输。

进一步的，所述转化计算模块：具体用于将所述智慧园区多态路由选择优化问题模型转化为马尔可夫优化问题并计算求解，其中，马尔可夫优化问题包括状态空间、动作空间与惩罚函数，其中：

状态空间由链路容量、队列积压，以及第(t-1)个时隙的路由选择优化策略指示变量、吞吐量和误码率确定，表示为：

动作空间为优化问题P1的优化变量集合，表示为：

惩罚为优化问题P1转换后的优化目标，表示为：

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被网关处理器执行时，使得所述网关处理器执行所述多态路由协议优化方法的步骤。

还提供一种时间同步感知多态路由协议系统，包括控制平面和数据平面构成；

其中，控制平面主要包含网关，其根据获取的终端网络拓扑及状态信息配置多态路由协议，并向对应的终端发送路由选择优化策略，优化传输路径；网关对数据平面中的终端进行时间同步；

数据平面包含多个具有数据转发功能的终端，负责执行多态路由决策。

本发明具体的技术效果：

1.适配差异化QoS需求的多态路由协议优化：本发明所提方法基于多态路由协议，为不同业务制定多样化的路由方案，实现路由服务与业务差异化QoS需求的适配，满足智慧园区业务的大吞吐量、低误码率、低队列积压等差异化QoS需求。

2.终端时间同步感知与唤醒：本发明所提方法基于时间偏差阈值的概念对时间同步进行感知，根据网关的时间标准对网络中的终端执行时间同步操作，使延迟唤醒的休眠态终端变为活跃态，为智慧园区终端路由选择优化的数据传输提供有力支撑。

3.基于网络拥塞反馈的智能路由学习方法：本发明所提方法基于背压算法评估下一跳终端拥塞情况，将终端自身积压转化为终端间队列积压差，并通过在Q学习的惩罚值中引入队列积压差来反馈网络拥塞，更新Q值选取最优的传输路径，实现终端的智能学习，提高智慧园区通信网络的自适应能力，从而解决园区中分布式光伏、储能等大量终端接入所引发的网络拥塞问题

附图说明

图1为本发明时间同步感知多态路由协议架构；

图2为本发明ELECTRIC算法流程图；

图3为实施例队列积压与误码率加权累积值随时隙的变化对比；

图4为实施例误码率随时隙的变化对比；

图5为实施例不同数据流的平均队列积压；

图6为实施例平均吞吐量随时隙的变化对比；

图7为实施例终端n＝5时所选传输路径随时隙的变化对比；

图8为实施例终端同步前后的时间偏差对比。

具体实施方式

结合实施例说明本发明的具体技术方案。

本发明的整个技术方案，具体介绍如下：

1.构建系统模型架构

本发明提出了一种时间同步感知多态路由协议架构，如图1所示。该架构由控制平面和数据平面构成，其中，控制平面主要包含网关，其根据获取的终端网络拓扑及状态信息配置多态路由协议，并向对应的终端发送路由选择优化策略，优化传输路径，满足智慧园区业务的差异化QoS需求。此外，网关对数据平面中的终端进行时间同步，保证业务数据的稳定传输。数据平面包含多个具有数据转发功能的终端，主要负责执行多态路由决策。首先，数据平面将网络状态信息上传到控制平面；其次，网关根据状态信息为不同业务配置多种路由协议，即多态路由协议，在此基础上，下发协议处理规则，实现路由表的周期性计算和更新；最后，数据平面根据多态路由协议执行数据转发，实现智慧园区终端的集中管理和数据传输优化。

本发明将智慧园区通信网络视为无向图，用G＝＝(N,E)描述，其中N＝{1,...,n,...,N}表示N个终端的集合，定义N_d∈N为目标终端。令E＝{(n,n′)|n,n′∈N}表示终端n和终端n′之间的链路集合。将总优化时间划分为T个等长的时隙，表示为：t∈{1,2,...,T}，且每个时隙长度为τ。

通过优化智慧园区路由选择策略，以满足不同业务的差异化QoS需求，如图1所示。假设智慧园区通信网络中存在两种数据流，每种数据流对应着具有特定QoS需求的业务。其中，数据流1在路由选择优化时主要考虑的QoS需求是队列积压，数据流2在路由选择优化时主要考虑的QoS需求是误码率。为了满足两种不同业务的差异化QoS需求，网关通过配置多态路由协议，包括路由协议1和路由协议2，并下发相应的路由表，实现最优传输路径。具体地，路由协议1根据数据流1的QoS需求，将队列积压视为最高优先级制定传输路径，其传输路径为1→2→N_d。路由协议2根据数据流2的QoS需求，将误码率视为最高优先级制定传输路径，其传输路径为1→3→4→N_d。需要根据智慧园区不同业务的差异化QoS需求，动态调整路由选择优化策略。

2.模型的细化

假设智慧园区通信网络中每个终端都能够服务K种具有不同QoS需求的业务，对应K种存储在终端缓冲区中的数据流，其集合表示为：K＝{1,...,k,...,K}。定义

为终端状态指示变量，其中，

表示终端n传输数据流k时处于活跃态，否则，

(1)终端队列积压模型

本发明的队列积压表示在第t个时隙中终端缓冲区数据量的大小。定义J(n)为终端n的下一跳终端集合，I(n)为传输数据到终端n的上一跳终端集合。将每个终端缓冲区中存储的数据建模为队列。因此，在时隙(t+1)初，存储在终端n缓冲区中第k个数据流的队列积压

表示为：

其中，

为在第t个时隙内，终端n中数据流k的吞吐量，即从终端n传输到终端j的数据量；

为路由选择优化策略指示变量，其中，

表示在第t个时隙内终端n和终端j间选择第k个数据流进行数据传输，否则，

为数据流k流出终端n的数据量；

为数据流k流入终端n的数据量；

为在第t个时隙内，终端n自身产生的数据流k的数据量。

(2)吞吐量模型

令

表示在第t个时隙内，终端n和终端j间传输数据流k的信道增益。终端n和终端j间的信噪比表示为：

其中，δ²，

分别表示为：噪声功率、传输功率、电磁干扰功率。因此，终端n和终端j间数据流k的传输速率表示为：

其中，

为在第t个时隙内终端n和终端j间传输数据流k所用的带宽。

在第t个时隙终端n和终端j间数据流k的吞吐量表示为：

其中，θ_n,j(t)为在第t个时隙内n和j间的链路容量。

(3)误码率模型

定义第t个时隙内终端n和终端j间传输数据流k的误码率为

本发明考虑正交相移键控(Quadrature Phase Shift Keying，QPSK)的非相干调制，其对应的误码率表示为：

本发明以QPSK调制为例，该模型可以扩展到其他调制方法，例如正交幅度调制(Quadrature Amplitude Modulation，QAM)、二进制相移键控(Binary Phase ShiftKeying，BPSK)和正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)等调制方法。

(4)时间同步模型

时间同步是实现园区终端间数据正常传输的基础。智慧园区中的终端存在两种状态，即活跃态和休眠态。若终端时间与网关时间不同步，则处于休眠态的终端会延迟唤醒，导致本该从休眠态变成活跃态的终端，仍处于休眠态。网关在进行路由选择优化决策过程中，可能选择了一个本该是活跃态的终端，但由于时间不同步该终端仍保持在休眠态上，导致数据传输时延增加，严重影响网络性能。

在本发明中，数据传输分为上行传输与下行传输。其中，下行传输数据是网关下发的同步信息或路由决策信息，定义网关传输下行数据至终端的起始时刻为T_a，终端接收网关下行数据的起始时刻为T_b；上行传输数据是园区终端的网络状态信息，定义终端发送上行数据给网关的起始时刻为T_c，网关接收终端上行数据的起始时刻为T_d。其中

T_b＝T_a+t_error+t_DT (6)

T_d＝T_c-t_error+t_UT (7)

其中，t_DT为下行数据的传输延迟；t_UT为上行数据的传输延迟，理论上，上行数据延迟等于下行数据延迟，即t_DT＝t_UT；t_error为终端时间t_n与网关时间t_G之间的时间偏差，其表达式为

t_G＝t_n+t_error (8)

根据公式(6)和(7)可计算出终端与网关之间的时间偏差为

根据获得的终端时间与网关时间之间的时间偏差t_error，调整终端时间t_nb，完成终端与网关之间的时间同步，得到同步后的终端时间为t_na，其表达式为

t_na＝t_nb-t_error (10)

3.优化问题的设计

本发明旨在解决智慧园区通信网络的路由选择优化问题，以满足不同业务的差异化QoS需求。优化目标为最小化队列积压和误码率。队列积压与误码率的累积加权和为

其中，α^k和β^k分别表示数据流k的队列积压和误码率的权重。路由选择优化问题表示为：

P1:

s.t. C₁:

C₂:

其中，C₁为路由选择优化约束，即终端n仅能选择一个数据流进行数据传输；C₂为数据传输约束，即对于数据流k，仅当终端n和终端j均处于活跃态时，才能进行数据传输。

4.时间同步感知的多态路由协议算法

(1)基于背压算法的队列积压问题转换

根据背压算法，可以将队列积压最小化问题转换为队列积压差最大化问题，避免数据到达量和信道状态的影响。定义

为队列积压差，其表达式为

其中，当

较大时，下一跳终端j的队列积压远小于终端n，有利于平衡智慧园区通信网络中的流量负载，避免下一跳终端产生拥塞的情况。因此，W(t)可以转化为

其表达式为

(2)联合背压和Q学习的时间同步感知多态路由协议算法

由于动态的网络拓扑和复杂的电磁干扰，获取完美的全局信息是不切实际的，终端需要根据本地信息优化路由选择。因此，本发明提出了联合背压和Q学习的时间同步感知多态路由协议((backprEssure and Q-Learning based timEsynChronizaTion-awarepolymoRphicroutIngprotoCol，ELECTRIC))算法，将转换后的路由选择优化问题建模为马尔可夫决策过程(Markov decision process，MDP)，包括状态空间、动作空间和惩罚。

状态空间：状态空间由链路容量、队列积压，以及第(t-1)个时隙的路由选择优化策略指示变量、吞吐量和误码率确定，即：

动作空间：动作空间定义为优化问题P1的优化变量集合，即：

惩罚：惩罚定义为P1转换后的优化目标，即：

本发明所提算法根据网络拥塞反馈观察终端间队列积压变化，避免网络拥塞，并通过阈值与时间偏差的比较，实现终端时间同步感知。终端时间不同步时，网关对终端执行时间同步操作，及时唤醒处于休眠态的终端，保障数据的有效传输。终端时间同步后，网关基于惩罚和更新的状态信息进行下一次路由决策。所提算法的实现过程如流程图2所示，具体可以分为四个步骤。

初始化步骤：初始化终端n的队列积压，即

同时，初始化Q值Q(S_n(t),X_n(t))，即在状态空间S_n(t)中选择动作X_n(t)的值；初始化终端状态变量

定义时间不同步集合V(t)。

时间同步步骤：设置时间偏差阈值

当时间偏差t_error大于

时，即

认为终端与网关时间不同步。然后，网关对终端进行时间同步以唤醒休眠终端。

路由选择步骤：在完成时间同步后，网关观察第t个时隙状态空间S_n(t)中的信息，根据Q值，采用ε-greedy贪婪算法选择路由，然后，每个终端n∈N根据网关下发的路由决策传输数据流，计算惩罚值

并反馈给网关。

学习步骤：在完成数据流传输后，根据公式(1)更新队列信息，并转移到下一个状态S_n(t+1)。终端n所对应的Q值更新为

其中，ψ为学习率；γ为衰减因子，表示考虑未来预期收益的评价尺度。

本发明对上述提出的算法进行了仿真实验，并设置了两个对比算法进行性能的对比验证，对比算法设置如下。

对比算法1：一种基于Q学习算法(Q-Learning based Route Selection，QLRS)的路由协议优化方法。

对比算法2：一种基于队列积压的背压算法(Queue Backlog based BackpressureRoute Selection，QBBRS)的路由协议优化方法。

在仿真过程中，考虑的仿真场景包括50个终端，包含1个目标终端，其中网络中存在3种数据流。总优化时间为1000个时隙，且各时隙大小为100ms。假设新到达数据量以泊松分布σ产生数据，其中σ＝2～4Kbits/slot，学习率ψ为0.1，衰减因子γ为0.8，链路容量θ_n,j(t)为12Kbits/slot。仿真结果如图3。

图3展示了队列积压与误码率加权累积值随时隙的变化对比。当t＝1000时，相较于QLRS和QBBRS，ELECTRIC的加权累积值分别降低了50％和55.56％。原因在于，ELECTRIC引入了基于背压的队列积压转换方法，避免了终端的拥塞，并且可以在不确定信息下利用Q值选取最优的路由策略，满足园区不同业务的差异化QoS需求。

图4展示了误码率随时隙的变化对比。当t＝1000时，相较于QLRS和QBBRS，ELECTRIC的误码率分别降低了31.58％和58.06％。原因在于，ELECTRIC可以在全局信息不确定的情况下，通过与网关不断交互学习，在惩罚中考虑误码率进行Q值的更新。此外，对终端进行时间同步操作，保障休眠态终端及时唤醒，降低终端间误码率，实现数据的稳定传输。

图5展示了不同数据流的平均队列积压。与QLRS和QBBRS相比，ELECTRIC使平均队列积压分别降低了33.86％和44.07％，实现了更小的平均队列积压波动。原因在于，ELECTRIC通过引入背压和时间同步，考虑下一跳终端的拥塞情况，在实现及时唤醒处于休眠态的终端以进行数据传输的同时，可以有效降低终端的队列积压。

图6展示了平均吞吐量随时隙的变化对比。仿真结果表明，ELECTRIC的平均吞吐量始终高于QLRS和QBBRS。当t＝1000时，与QLRS和QBBRS相比，ELECTRIC使平均吞吐量分别提高17.39％和56.52％。原因在于，ELECTRIC在更新Q值时引入队列积压差，通过不断的学习交互，选择最优的策略。然而，由于缺乏时间同步感知，QLRS和QBBRS无法保证数据的有效传输，阻碍了平均吞吐量的增加。

图7展示了终端n＝5时所选传输路径随时隙的变化对比。其中，传输路径3为终端n＝5的最优传输路径。仿真结果表示，随着时隙的增加，ELECTRIC选取第3条路径到达目标终端的频率逐渐提高。原因在于，所提ELECTRIC基于背压评估下一跳终端拥塞情况，并在惩罚值中引入队列积压差来反馈网络拥塞，更新Q值选取最优的传输路径，实现终端的智能学习。

图8展示了终端同步前后的时间偏差对比。将园区内终端进行编号1-50。仿真结果表明，所提ELECTRIC对终端进行时间同步后，时间偏差明显减小。其中，与同步前相比，编号为50的终端同步后时间偏差可减小39.76％。原因在于，ELECTRIC基于网关的时间标准，对时间不同步的终端执行同步操作，使其从休眠态转换成活跃态，减少时间同步偏差的同时保证数据正常传输。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。

Claims (16)

1.一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于，包括以下步骤：

S1、预先构建时间同步感知多态路由协议架构，将所述的时间同步感知多态路由协议架构中的采集的数据建模为终端队列积压模型，

根据所述终端队列积压模型，确定终端的吞吐量模型，并得到终端的误码率模型；

S2、根据对网关与终端间数据上下行传输与时间偏差的分析，获得时间同步模型；

S3、基于所述终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型，对智慧园区通信网络的多态路由选择优化问题进行建模，其优化目标为最小化队列积压和误码率；

S4、将所述优化目标中最小化队列积压转换为队列积压差最大化问题；

S5、将所述多态路由选择优化问题模型转化为马尔可夫优化问题，提出联合背压和Q学习的时间同步感知多态路由协议算法，基于Q学习智能决策能力，对转化后的马尔可夫优化问题进行求解，根据求解结果，智能优化智慧园区的多态路由选择方案。

2.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于，S1中，所述的时间同步感知多态路由协议架构，由控制平面和数据平面构成，其中，控制平面主要包含网关，其根据获取的终端网络拓扑及状态信息配置多态路由协议，并向对应的终端发送路由选择优化策略，优化传输路径，满足智慧园区业务的差异化QoS需求；网关对数据平面中的终端进行时间同步；

数据平面包含多个具有数据转发功能的终端，负责执行多态路由决策；共有N个园区终端，其集合为N＝{1,...,n,...,N}，定义N_d∈N为目标终端；令E＝{(n,n′)|n,n′∈N}表示终端n和终端n′之间的链路集合；将总优化时间划分为T个等长的时隙，表示为：t∈{1,2,...,T}，且每个时隙长度为τ；假设智慧园区通信网络中每个终端都能够服务K种具有不同QoS需求的业务，对应K种存储在终端缓冲区中的数据流，其集合表示为：K＝{1,...,k,...,K}；定义

为终端状态指示变量，其中，

表示终端n传输数据流k时处于活跃态，否则，

3.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S1中，所述终端队列积压模型为第t个时隙中终端缓冲区数据量的大小，具体为：

其中，J(n)为终端n的下一跳终端集合，I(n)为传输数据到终端n的上一跳终端集合；

为在第t个时隙内，终端n中数据流k的吞吐量，即从终端n传输到终端j的数据量；

为路由选择优化策略指示变量，其中，

表示在第t个时隙内终端n和终端j间选择第k个数据流进行数据传输，否则，

为数据流k流出终端n的数据量；

为数据流k流入终端n的数据量；

为在第t个时隙内，终端n自身产生的数据流k的数据量。

4.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：所述吞吐量模型为

其中，

为终端n和终端j间数据流k的传输速率，θ_n,j(t)为在第t个时隙内n和j间的链路容量。

5.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：所述误码率模型为考虑正交相移键控的非相干调制的误码率，具体为：

其中，

为终端n和终端j间传输数据流k的信噪比。

6.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S2中，所述时间同步模型具体为：

数据传输分为上行传输与下行传输，其中，下行传输数据是网关下发的同步信息或路由决策信息，定义网关传输下行数据至终端的起始时刻为T_a，终端接收网关下行数据的起始时刻为T_b；上行传输数据是园区终端的网络状态信息，定义终端发送上行数据给网关的起始时刻为T_c，网关接收终端上行数据的起始时刻为T_d；其中：

T_b＝T_a+t_error+t_DT

T_d＝T_c-t_error+t_UT

其中，t_DT为下行数据的传输延迟；t_UT为上行数据的传输延迟，上行数据延迟等于下行数据延迟，即t_DT＝t_UT；t_error为终端时间t_n与网关时间t_G之间的时间偏差；

终端与网关之间的时间偏差为：

根据获得的终端时间与网关时间之间的时间偏差t_error，调整终端时间t_nb，完成终端与网关之间的时间同步，得到同步后的终端时间为t_na，其表达式为：

t_na＝t_nb-t_error

7.根据权利要求1所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S3中，所述多态路由选择优化问题进行建模的模型具体为：

队列积压与误码率的累积加权和为：

其中，α^k和β^k分别表示数据流k的队列积压和误码率的权重；路由选择优化问题表示为：

其中，C₁为路由选择优化约束，即终端n仅能选择一个数据流进行数据传输；C₂为数据传输约束，即对于数据流k，仅当终端n和终端j均处于活跃态时，才能进行数据传输。

8.根据权利要求7所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S4中，所述优化问题中队列积压最小化问题转换为队列积压差最大化问题，具体为：

定义

为队列积压差，其表达式为：

W(t)转化为

其表达式为：

9.根据权利要求8所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S5中，所述马尔可夫优化问题包括状态空间、动作空间与惩罚函数，其中：

状态空间由链路容量、队列积压，以及第(t-1)个时隙的路由选择优化策略指示变量、吞吐量和误码率确定，表示为：

动作空间为优化问题P1的优化变量集合，表示为：

惩罚为优化问题P1转换后的优化目标，表示为：

10.根据权利要求9所述的一种基于时间同步感知的智慧园区多态路由协议优化方法，其特征在于：S5中，所述联合背压和Q学习的时间同步感知多态路由协议算法，具体步骤为：

初始化步骤：初始化终端n的队列积压，即

同时，初始化Q值Q(S_n(t),X_n(t))，即在状态空间S_n(t)中选择动作X_n(t)的值；初始化终端状态变量

定义时间不同步集合V(t)；

时间同步步骤：设置时间偏差阈值

当时间偏差t_error大于

时，即

认为终端与网关时间不同步；然后，网关对终端进行时间同步以唤醒休眠终端；

路由选择步骤：在完成时间同步后，网关观察第t个时隙状态空间S_n(t)中的信息，根据Q值，采用ε-greedy贪婪算法选择路由，然后，每个终端n∈N根据网关下发的路由决策传输数据流，计算惩罚值

并反馈给网关；

学习步骤：在完成数据流传输后，更新队列信息，并转移到下一个状态S_n(t+1)；终端n所对应的Q值更新为：

其中，ψ为学习率；γ为衰减因子，表示考虑未来预期收益的评价尺度。

11.一种时间同步感知的智慧园区多态路由协议优化装置，其特征在于：包括：

建模模块：用于建立终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型；

优化建模模块：用于基于上述所述终端队列积压模型、吞吐量模型、误码率模型、以及时间同步模型，对智慧园区多态路由选择优化问题进行建模，其优化目标为最小化队列积压和误码率，获得智慧园区多态路由选择策略优化问题模型；

转化计算模块：用于将所上述优化目标中最小化队列积压问题转换为队列积压差最大化问题，并将转换后的智慧园区多态路由选择策略优化问题模型转化为马尔可夫优化问题，提出联合背压和Q学习的时间同步感知多态路由协议算法，通过Q学习智能决策能力，对转化后的马尔可夫优化问题进行求解，智能优化智慧园区多态路由选择方案。

12.根据权利要求11所述的一种时间同步感知的智慧园区多态路由协议优化装置，其特征在于：所述建模模块：共有N个园区终端，其集合为N＝{1,...,n,...,N}，N_d∈N为目标终端。E＝{(n,n′)|n,n′∈N}表示终端n和终端n′之间的链路集合。假设智慧园区通信网络中每个终端都能够服务K种具有不同QoS需求的业务，对应K种存储在终端缓冲区中的数据流，其集合表示为：K＝{1,...,k,...,K}。

13.根据权利要求11所述的一种时间同步感知的智慧园区多态路由协议优化装置，其特征在于：所述优化建模模块，具体用于构建智慧园区多态路由选择优化问题模型，表示为：

其中，C₁为路由选择优化约束，即终端n仅能选择一个数据流进行数据传输；C₂为数据传输约束，即对于数据流k，仅当终端n和终端j均处于活跃态时，才能进行数据传输。

14.根据权利要求11所述的一种时间同步感知的智慧园区多态路由协议优化装置，其特征在于：所述转化计算模块：具体用于将所述智慧园区多态路由选择优化问题模型转化为马尔可夫优化问题并计算求解，其中，马尔可夫优化问题包括状态空间、动作空间与惩罚函数，其中：

状态空间由链路容量、队列积压，以及第(t-1)个时隙的路由选择优化策略指示变量、吞吐量和误码率确定，表示为：

动作空间为优化问题P1的优化变量集合，表示为：

惩罚为优化问题P1转换后的优化目标，表示为：

15.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被网关处理器执行时，使得所述网关处理器执行如权利要求1至10中任一项所述方法的步骤。

16.一种时间同步感知多态路由协议系统，其特征在于，包括控制平面和数据平面构成；

其中，控制平面主要包含网关，其根据获取的终端网络拓扑及状态信息配置多态路由协议，并向对应的终端发送路由选择优化策略，优化传输路径；网关对数据平面中的终端进行时间同步；

数据平面包含多个具有数据转发功能的终端，负责执行多态路由决策。

Images