CN114900264A - 一种面向低碳园区群的智能分层时间同步方法及系统 - Google Patents

一种面向低碳园区群的智能分层时间同步方法及系统 Download PDF

Info

Publication number
CN114900264A
CN114900264A CN202210652839.8A CN202210652839A CN114900264A CN 114900264 A CN114900264 A CN 114900264A CN 202210652839 A CN202210652839 A CN 202210652839A CN 114900264 A CN114900264 A CN 114900264A
Authority
CN
China
Prior art keywords
synchronization
data packet
time synchronization
synchronous
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210652839.8A
Other languages
English (en)
Inventor
周振宇
王曌
刘晨
廖海君
吕磊
黄林
刘家宇
雷磊
杨懿
刘萧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
State Grid Sichuan Electric Power Co Ltd
Original Assignee
North China Electric Power University
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University, State Grid Sichuan Electric Power Co Ltd filed Critical North China Electric Power University
Priority to CN202210652839.8A priority Critical patent/CN114900264A/zh
Publication of CN114900264A publication Critical patent/CN114900264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/12—Shortest path evaluation
    • H04L45/124—Shortest path evaluation using a combination of metrics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种面向低碳园区群的智能分层时间同步方法及系统，属于通信技术领域。本发明建立信干噪比约束下同步时延与同步误差联合优化的时间同步路由选择问题模型，以同步时延与同步误差的加权和为优化目标，通过信干噪比约束保障时间同步数据包传输的可靠性，通过调整优化目标权重，实现同步时延与同步误差性能的动态权衡，满足差异化调控业务与低碳业务的时间同步需求，支撑低碳园区群分布式资源一致性响应。

Description

一种面向低碳园区群的智能分层时间同步方法及系统
技术领域
本发明涉及一种面向低碳园区群的智能分层时间同步方法及系统，属于通信技术领域。
背景技术
目前，低碳智慧园区群涵盖高比例可再生能源、可控负荷和分布式储能等多能源主体，是实现碳减排、碳中和，以及可持续发展的关键支柱。然而，分布式资源的输出功率具有强间歇性、随机性等特点，进一步造成电压波动及电能质量退化等问题。同时，分布式发电机的频繁投切也会产生谐波污染，严重影响电网稳定性。因此，需对分布式资源进行统一协同调控，实现智慧园区内及园区间的能源供需平衡，促进新能源消纳。
为支撑智慧园区群分布式资源的智能精准调控，保障碳足迹监测、电碳融合计算、碳交易等低碳业务高效运行，需要在光伏板、空调、充电桩等设备上部署大量的电力物联网终端，以采集电压、电流、有功/无功功率等各种参数，和CO2、CH4等温室气体排放数据，并将数据通过电力线通信(power line communication，PLC)传回到调控中心或管理平台进行实时的数据处理和深度分析。在此过程中，智慧园区群分布式资源调控和低碳业务运行的信息采集、实时控制、能源交易、碳交易等都需要有严格的时间同步作为前提，即通信终端接收到标准同步信号以校准本地时钟，并进一步为电气设备授时，保障分布式资源的无差错协调调度，避免电网失步振荡和运行异步所导致分布式资源调控响应不一致问题，同时实现对电气设备的碳足迹监测和精准碳排放预测，支撑碳交易和碳转移，减少碳排放。然而，面向低碳智慧园区群的时间同步方法研究仍处于起步阶段，需解决以下挑战：
第一，低碳智慧园区群光伏、电动汽车充电桩、储能单元等分布式资源分布广泛，精准负荷调控、碳足迹监测、能源互补等分布式资源调控业务和低碳业务需要园区内及园区间海量通信终端与电气设备的广域时间同步覆盖。
第二，时间同步性能指标包括同步误差、同步时延和同步信号传输可靠性等，然而多性能指标保障相互矛盾。例如某些授时终端时间同步误差小，但与待授时终端间的信道条件较差，利用该授时终端进行授时可能会导致长时间同步时延、丢包等。
第三，考虑到大量的信令开销，信道质量、电磁干扰等动态环境信息无法为PLC网关实时获知，因此，时间同步数据包传输的路由选择策略需要在不确定信息的条件下进行优化，传统基于完全信息或者特定统计模型的优化方法不再适用。
现有技术在进行时间同步数据包传输路由选择策略优化时，仅考虑单一性能指标，未考虑多性能指标的权衡，也未考虑低碳智慧园区群高度复杂动态环境下的路由策略优化的高维特性，无法保障待授时终端的时间同步精度。因此，亟需设计一种面向低碳园区群的智能分层时间同步方法及系统，实现智慧园区群从网关层到终端层的分层时间同步
发明内容
为解决上述技术问题，本发明的目的是提供一种面向低碳园区群的智能分层时间同步方法及系统。
本发明的一种面向低碳园区群的智能分层时间同步方法，具体同步步骤为：
获得时钟源层时间同步信号，对网关层时间同步信号进行调整，获得网关层精准时间同步信号；
将所述网关层精准时间同步信号传输至终端层，建立同步数据包传输模型、同步时延模型、累积同步误差模型；
基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
将上述同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，提出基于DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。
进一步的，所述网关层精准时间同步信号为：
网关接收来自时钟源层卫星、5G时间同步网络、电网公司自建时间同步网络发送的时间同步信号，基于多时间源选择或综合计算策略产生网关侧精准时间同步信号。
进一步的，所述同步数据包传输模型具体为：
在第i次迭代dm'从dm接收同步数据包的速率为：
Figure BDA0003683685730000031
其中，Ns为OFDM符号传输速率，
Figure BDA0003683685730000032
为信干噪比，表示为：
Figure BDA0003683685730000033
其中，
Figure BDA0003683685730000034
为传输功率，
Figure BDA0003683685730000035
表示为：
Figure BDA0003683685730000036
其中，
Figure BDA0003683685730000037
及δ0分别为链路频率响应、电磁干扰及高斯白噪声功率；
Figure BDA0003683685730000038
为SINR间隙，表示抵抗信干噪比衰落的能力，计算公式如下：
Figure BDA0003683685730000039
其中，Pe表示目标误码率，Q-1(x)表示
Figure BDA00036836857300000310
的反函数。
进一步的，所述同步时延模型为：
将每个迭代划分为若干个长度为τs的时隙，每个时隙开始时，已同步终端dm开始向连接的未同步终端dm'分发同步数据包；在多跳传输中，第i次迭代dm'接收同步数据包的时延由dm接收同步数据包的时延，以及dm'从dm接收同步数据包的单跳传输时延两部分组成，表示为：
Figure BDA00036836857300000311
其中，
Figure BDA00036836857300000312
表示dm接收同步数据包所经历的时隙数，
Figure BDA00036836857300000313
为dm'从dm接收数据包的时延，表示为：
Figure BDA00036836857300000314
其中，U(i)表示第i次迭代同步数据包的大小。
进一步的，所述累积同步误差模型为：
第i次迭代dm'接收同步数据包的累积同步误差为
Figure BDA0003683685730000041
表示为：
Figure BDA0003683685730000042
其中，
Figure BDA0003683685730000043
为路由选择指示变量，
Figure BDA0003683685730000044
表示第i次迭代dm'从dm接收同步数据包，否则
Figure BDA0003683685730000045
Figure BDA0003683685730000046
为第i次迭代dm'从dm接收数据包的累积同步误差，表示为：
Figure BDA0003683685730000047
其中，
Figure BDA0003683685730000048
表示第i次迭代dm'从dm接收同步数据包形成的时间同步误差，服从误差均值为α，标准差为β的正态分布，表示为
Figure BDA0003683685730000049
Figure BDA00036836857300000410
为第i次迭代dm接收同步数据包的累积同步误差。
进一步的，所述同步数据包的路由选择策略优化问题进行建模的模型为：
Figure BDA00036836857300000411
其中，χ是权重参数，用于动态权衡同步时延与同步误差；C1和C2为路由选择约束，表示每次迭代接收端dm'最多可以从一个发送端接收同步数据包；C3表示dm'与dm不连接时，dm'无法从dm接收数据包；C4为SINR约束，
Figure BDA00036836857300000412
为最小SINR阈值，以保障同步数据包传输可靠性。
进一步的，所述马尔可夫优化问题包括状态空间、动作空间与奖励函数，其中：
状态空间为第i次迭代同步数据包的大小及终端间拓扑连接关系，表示为：
Figure BDA00036836857300000413
其中，U(i)表示第i次迭代同步数据包的大小；
Figure BDA00036836857300000414
为PLC网关以及各终端间的拓扑连接指示变量，
Figure BDA0003683685730000051
表示dm与dm'连接，否则
Figure BDA0003683685730000052
动作空间由路径选择策略集合表示，表示为：
Figure BDA0003683685730000053
其中，
Figure BDA0003683685730000054
为路由选择指示变量，
Figure BDA0003683685730000055
表示第i次迭代dm'从dm接收同步数据包，否则
Figure BDA0003683685730000056
奖励函数为终端同步时延及同步误差加权和的负值，表达式为：
Figure BDA0003683685730000057
其中，
Figure BDA0003683685730000058
第i次迭代dm'从dm接收同步数据包的同步时延；
Figure BDA0003683685730000059
表示第i次迭代dm'从dm接收数据包的累积同步误差。
进一步的，所述基于DQN的高精度低时延时间同步算法为：
(1)初始化阶段：初始化评估网络权重
Figure BDA00036836857300000510
目标网络权重
Figure BDA00036836857300000511
以及经验池
Figure BDA00036836857300000512
(2)路由选择阶段：在每次迭代中，每个时隙开始时，PLC网关基于ε-greedy算法制定时间同步数据包路由选择决策；PLC网关以概率ε进行探索并随机选择一个动作，以概率1-ε利用当前具有最大估计Q值的动作
Figure BDA00036836857300000513
(3)奖励计算及状态转换阶段：未同步终端根据路由选择决策从已同步终端或PLC网关接收同步数据包，并反馈时间同步延迟和同步误差；接着，PLC网关根据终端反馈的信息计算奖励函数
Figure BDA00036836857300000514
将当前状态
Figure BDA00036836857300000515
转移到下一个状态
Figure BDA00036836857300000516
并将经验数据
Figure BDA00036836857300000517
存入经验池
Figure BDA00036836857300000518
(4)学习及网络更新阶段：在每次迭代结束时，PLC网关从经验池
Figure BDA00036836857300000519
中随机抽取样本集
Figure BDA00036836857300000520
基于上述样本计算损失函数
Figure BDA00036836857300000521
其中，
Figure BDA00036836857300000522
为目标网络得到的目标估计Q值，表示为：
Figure BDA00036836857300000523
其中，γ为折扣因子；基于损失函数
Figure BDA0003683685730000061
采用梯度下降法更新评估网络权重
Figure BDA0003683685730000062
Figure BDA0003683685730000063
其中，λ表示学习速率；随后，每隔IGap个迭代，根据
Figure BDA0003683685730000064
更新目标网络参数
Figure BDA0003683685730000065
并在接下来的IGap-1个迭代中保持不变；
最后，重复上述步骤(2)到步骤(4)，直至I次迭代结束。
一种面向低碳园区群的智能分层时间同步系统，其特征在于：包括时钟源层、网关层、终端层以及智能控制层；
时钟源层用于获得时钟源层时间同步信号，对网关层时间同步信号进行调整，获得网关层精准时间同步信号；
网关层用于将所述网关层精准时间同步信号传输至终端层，建立同步数据包传输模型、同步时延模型、累积同步误差模型；
终端层用于基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
智能控制层用于将同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，基于DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。一种面向低碳园区群的智能分层时间同步装置，包括：
建模模块：用于获得同步数据包传输模型、同步时延模型、累积同步误差模型；
优化建模模块：用于基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
转化计算模块：用于将上述同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，提出基于深度Q学习DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。
进一步的，所述优化建模模块中同步数据包的路由选择策略优化问题进行建模的模型为：
Figure BDA0003683685730000071
其中，χ是权重参数，用于动态权衡同步时延与同步误差；C1和C2为路由选择约束，表示每次迭代接收端dm'最多可以从一个发送端接收同步数据包；C3表示dm'与dm不连接时，dm'无法从dm接收数据包；C4为SINR约束，
Figure BDA0003683685730000072
为最小SINR阈值，以保障同步数据包传输可靠性。
进一步的，所述转化计算模块，具体用于将所述同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题并计算求解，其中，马尔可夫优化问题包括状态空间、动作空间与奖励函数，其中：
状态空间为第i次迭代同步数据包的大小及终端间拓扑连接关系，表示为：
Figure BDA0003683685730000073
其中，U(i)表示第i次迭代同步数据包的大小；
Figure BDA0003683685730000074
为PLC网关以及各终端间的拓扑连接指示变量，
Figure BDA0003683685730000075
表示dm与dm'连接，否则
Figure BDA0003683685730000076
动作空间由路径选择策略集合表示，表示为：
Figure BDA0003683685730000077
其中，
Figure BDA0003683685730000078
为路由选择指示变量，
Figure BDA0003683685730000079
表示第i次迭代dm'从dm接收同步数据包，否则
Figure BDA00036836857300000710
奖励函数为所有终端同步时延及同步误差加权和的负值，表达式为：
Figure BDA00036836857300000711
其中，
Figure BDA00036836857300000712
第i次迭代dm'从dm接收同步数据包的总同步时延；
Figure BDA00036836857300000713
表示第i次迭代dm'从dm接收数据包的累积同步误差
借由上述方案，本发明至少具有以下优点：
1.本发明建立信干噪比约束下同步时延与同步误差联合优化的时间同步路由选择问题模型，以同步时延与同步误差的加权和为优化目标，通过信干噪比约束保障时间同步数据包传输的可靠性，通过调整优化目标权重，实现同步时延与同步误差性能的动态权衡，满足差异化调控业务与低碳业务的时间同步需求，支撑低碳园区群分布式资源一致性响应。
2.本发明提出基于DQN的高精度低时延时间同步算法，利用DQN优化时间同步路由选择策略，通过整合Q学习智能决策能力与深度神经网络复杂函数逼近能力，在仅有本地信息的条件下估计路由选择动作的价值，通过与环境的不断交互动态优化路由选择决策，实现信息不确定下的智能时间同步路由选择。
3.本发明提出面向低碳智慧园区群的智能分层时间同步系统，包括时钟源层、网关层、终端层及智能控制层。在智能控制层赋能下，各智慧园区的PLC网关通过对多时钟源进行选择或综合计算，实现智慧园区群网关的时间同步；同时，基于园区内PLC网络拓扑，PLC网关执行所提基于DQN的高精度低时延时间同步算法，通过路由选择优化将时间同步数据包分层传输至各终端，最终实现低碳智慧园区群网关、终端的广域时间同步分层覆盖。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明面向低碳园区群的智能分层时间同步系统示意图；
图2是本发明基于DQN的高精度低时延时间同步算法流程图；
图3是本发明平均同步时延随迭代次数变化折线图；
图4是本发明平均同步误差随迭代次数变化折线图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
整个技术方案包括整体系统和具体方法两部分。
1.整体系统
如图1所示，面向低碳园区群的智能分层时间同步系统包括时钟源层、网关层、终端层以及智能控制层。其中，时钟源层利用卫星、5G时间同步网络、电网公司自建时间同步网络等多个时钟源为网关层提供时间同步信号。网关层由多个PLC网关组成，负责接收来自时钟源层的时间同步信号，通过多时间源选择或综合计算策略产生网关侧同步信号，实现低碳园区群各园区间的时间同步，并利用同步数据包广播、组播的方式向海量终端分层发送时间同步信息，实现园区内业务节点的高精度低时延广域时间同步。终端层通过在分布式光伏、充电桩等电气设备上部署海量电力物联网终端，为网关层提供太阳能电池组件表面温度、光照强度、风速、储能单元充放电效率等数据，并将数据包同步时延及同步误差反馈给网关层，支撑同步数据包路由选择策略优化。同时，电力物联网终端可转发来自电网调度中心或聚集商的调度指令，为分布式资源一致性响应提供时间同步和数据传输支撑。智能控制层部署适用于时钟源层、网关层和终端层的深度强化学习(deep reinforcementlearning，DRL)功能。在时钟源层，DRL协助时钟源基于链路质量动态调整时间同步信号广播频次。在网关层，DRL支持时间同步数据包的智能分层路由，实现高精度时间溯源与同步信号高性能广域覆盖。在终端层，DRL协助终端进行数据的准入控制、拆分和卸载优化，实现数据的传感、传输和处理一体化。同时，DRL可结合云边端协同、区块链、数字孪生等先进技术，支持低碳园区群电力现货市场市场、电碳融合计算等多种业务。
2.具体方法
本发明设计了一种面向低碳园区群的智能分层时间同步方法，主要包括时间同步模型构建、优化问题建模以及基于DQN的高精度低时延时间同步算法设计三阶段，具体介绍如下：
(1)时间同步模型构建
本发明在低碳智慧园区群PLC网关获得精准时间同步的基础上，考虑PLC网关通过分层下发时间同步数据包对电力物联网终端进行授时的场景。假设存在1个PLC网关及M个电力物联网终端，其集合表示为
Figure BDA0003683685730000101
d0为PLC网关，且网络拓扑已知，即各终端间链路关系已知。在时间同步过程中，共考虑I次迭代，集合表示为
Figure BDA0003683685730000102
每次迭代在园区所有终端都接收到时间同步数据包时结束，每次迭代的长度等于最后一个终端接收到同步数据包的时间。在每次迭代开始时，PLC网关将同步数据包分层发送给海量终端，即部分终端率先完成同步数据包接收后，转变为发送端进一步将数据包分发给下一层未收到同步数据包的终端，直到所有终端均收到同步数据包。定义dm为同步数据包发送端，dm'为同步数据包接收端。路由选择指示变量用二进制变量
Figure BDA0003683685730000103
表示，其中，
Figure BDA0003683685730000104
表示第i次迭代dm'从dm接收同步数据包，否则
Figure BDA0003683685730000105
定义二进制变量
Figure BDA0003683685730000106
为PLC网关以及各终端间的拓扑连接指示变量，
Figure BDA0003683685730000107
表示dm与dm'连接，否则
Figure BDA0003683685730000108
考虑同步数据包传输模型、时延模型以及累积同步误差模型，具体如下所述。
1)同步数据包传输模型
考虑园区复杂电磁环境及噪声干扰，本发明基于正交频分复用技术(orthogonalfrequency division multiplexing，OFDM)实现PLC系统中同步数据包传输。在第i次迭代dm'从dm接受同步数据包的速率为
Figure BDA0003683685730000109
其中，Ns为OFDM符号传输速率，
Figure BDA00036836857300001010
为信干噪比(signal-to-interference-plus-noise ratio，SINR)，表示为
Figure BDA00036836857300001011
其中，
Figure BDA00036836857300001012
为传输功率，
Figure BDA00036836857300001013
表示为
Figure BDA00036836857300001014
其中，
Figure BDA0003683685730000111
及δ0分别为链路频率响应、电磁干扰及高斯白噪声功率。
Figure BDA0003683685730000112
表示SINR间隙，即抵抗信干噪比衰落的能力，计算公式如下
Figure BDA0003683685730000113
其中，Pe表示目标误码率，Q-1(x)表示
Figure BDA0003683685730000114
的反函数。
2)同步时延模型
本发明将每个迭代划分为若干个长度为τs的时隙，每个时隙开始时，dm开始向连接的dm'分发同步数据包。在多跳传输中，第i次迭代dm'接收同步数据包的时延由发送端dm接收同步数据包的时延，以及dm'从dm接收同步数据包的单跳传输时延两部分组成，表示为
Figure BDA0003683685730000115
其中，
Figure BDA0003683685730000116
表示dm接收同步数据包所经历的时隙数，
Figure BDA0003683685730000117
为dm'从dm接收数据包的时延，表示为
Figure BDA0003683685730000118
其中，U(i)表示第i次迭代同步数据包的大小。
3)累积同步误差模型
定义第i次迭代dm'接收同步数据包的累积同步误差为
Figure BDA0003683685730000119
表示为
Figure BDA00036836857300001110
其中，
Figure BDA00036836857300001111
为第i次迭代dm'从dm接收数据包的累积同步误差，即
Figure BDA00036836857300001112
其中，
Figure BDA00036836857300001113
表示第i次迭代dm'从dm接收同步数据包形成的时间同步误差，服从误差均值为α，标准差为β的正态分布，即
Figure BDA00036836857300001114
Figure BDA00036836857300001115
为第i次迭代dm接收同步数据包的累积同步误差。
(2)优化问题建模
本发明的优化目标是在SINR约束下，通过同步数据包的路由选择策略优化，最小化平均每次迭代每个终端同步时延和同步误差的加权和，该优化问题可建模为
Figure BDA0003683685730000121
其中，χ是权重参数，用于动态权衡同步时延与同步误差。C1和C2为路由选择约束，表示每次迭代接收端dm'最多可以从一个发送端接收同步数据包。C3表示dm'与dm不连接时，dm'无法从dm接收数据包。C4为SINR约束，
Figure BDA0003683685730000122
为最小SINR阈值，以保障同步数据包传输可靠性。
(3)基于DQN的高精度低时延时间同步算法设计
为解决上述优化问题，本发明将其建模为马尔可夫(Markov decision process，MDP)优化问题，其关键元素包括状态空间、动作空间与奖励函数，具体介绍如下：
1)状态空间：状态空间为第i次迭代同步数据包的大小及终端间拓扑连接关系，即
Figure BDA0003683685730000123
2)动作空间：动作空间由路径选择策略集合表示，即
Figure BDA0003683685730000124
3)奖励函数：奖励函数定义为终端同步时延及同步误差加权和的负值，表达式为
Figure BDA0003683685730000125
本发明提出基于DQN的高精度低时延时间同步算法，融合深度神经网络求解高维问题的优点和Q-learning的决策能力，利用DQN估计动作累积奖励值的Q值，并以此为依据优化同步数据包路由选择策略。例如，若PLC网关在当前迭代中根据所选动作获得较大奖励，那么该动作的Q值在下次迭代中会增加，从而使得选择该动作的概率更高，有效减少同步延迟及同步误差。
如图2所示，所提基于DQN的高精度低时延时间同步算法执行主体为PLC网关，为每个终端分别维护一个评估网络和一个目标网络，权重向量分别为
Figure BDA0003683685730000131
和
Figure BDA0003683685730000132
其中，评估网络基于
Figure BDA0003683685730000133
实现“状态-动作”到Q值的映射，例如
Figure BDA0003683685730000134
表示在状态
Figure BDA0003683685730000135
下采取动作
Figure BDA0003683685730000136
的评估值。目标网络协助训练评估网络的权重向量，以提高学习过程的收敛性和稳定性。同时，PLC网关为每个终端维护一个容量为|Ω|的经验池
Figure BDA0003683685730000137
来存放两个相邻状态之间的经验数据
Figure BDA0003683685730000138
Figure BDA0003683685730000139
在第i次迭代结束时，
Figure BDA00036836857300001310
被存储在
Figure BDA00036836857300001311
中，并覆盖旧的经验数据
Figure BDA00036836857300001312
同时，采用经验回放机制从池中随机抽取一小批经验数据，定期训练神经网络，克服经验数据的相关性和非平稳分布问题，有效提高时间同步数据包路由选择学习效率。
本发明设计的基于DQN的高精度低时延时间同步算法具体步骤如下：
①初始化阶段：初始化评估网络权重
Figure BDA00036836857300001313
目标网络权重
Figure BDA00036836857300001314
以及经验池
Figure BDA00036836857300001315
②路由选择阶段：在每次迭代中，每个时隙开始时，PLC网关基于ε-greedy算法制定时间同步数据包路由选择决策。具体而言，PLC网关以概率ε进行探索并随机选择一个动作，以概率1-ε利用当前具有最大估计Q值的动作
Figure BDA00036836857300001316
③奖励计算及状态转换阶段：未同步终端根据路由选择决策从已同步终端或PLC网关接收同步数据包，并反馈时间同步延迟和误差。接着，PLC网关根据终端反馈的信息计算奖励函数
Figure BDA00036836857300001317
将当前状态
Figure BDA00036836857300001318
转移到下一个状态
Figure BDA00036836857300001319
并将经验数据
Figure BDA00036836857300001320
存入经验池
Figure BDA00036836857300001321
④学习及网络更新阶段：在每次迭代结束时，PLC网关从经验池
Figure BDA0003683685730000141
中随机抽取样本集
Figure BDA0003683685730000142
基于上述样本计算损失函数
Figure BDA0003683685730000143
其中，
Figure BDA0003683685730000144
为目标网络得到的目标估计Q值，表示为
Figure BDA0003683685730000145
其中，γ为折扣因子。基于损失函数
Figure BDA0003683685730000146
采用梯度下降法更新评估网络权重
Figure BDA0003683685730000147
即
Figure BDA0003683685730000148
其中，λ表示学习速率。随后，每隔IGap个迭代，根据
Figure BDA0003683685730000149
更新目标网络参数
Figure BDA00036836857300001410
并在接下来的IGap-1个迭代中保持不变。
最后，重复上述步骤②到步骤④，直至I次迭代结束。
本发明对上述提出的基于DQN的高精度低时延时间同步算法，进行了如下仿真对比：
对比算法1为基于多臂赌博机的时间同步路由选择方法(multi-armed bandit-based time synchronization route selection algorithm，MAB-RS)，优化目标为最小化平均每次迭代每个终端同步时延和同步误差的加权和。对比算法2为基于同步时延感知DQN的时间同步路由选择算法(synchronization-delay-aware DQN-based timesynchronization route selection algorithm，SD-DQN)，仅考虑时间同步时延性能优化而忽略了多跳传输中累积同步误差。
本发明所考虑的仿真场景包括1个PLC网关、9个电力物联网终端及100次迭代。园区内PLC信道及电磁干扰分别采用多径衰落信道模型及对称α-稳定(symmetricα-stable，SαS)分布建模。同步数据包大小在[10,20]bit内随机取值，并采用多跳累积同步误差模型，单跳同步误差在10μs到200μs间波动，仿真结果如下。
图3展示了平均同步时延随迭代次数的变化情况。可以看出，相比于MAB-RS算法，经100次迭代后，所提算法的平均同步时延降低了5.43％。同时，所提算法经20次迭代即可实现收敛，而MAB-RS算法需要70次迭代才能收敛。这是由于所提算法凭借深度神经网络在逼近复杂函数方面的优势及Q-learning在智能决策方面的能力，有效提高同步时延性能及收敛速度。由于SD-DQN算法仅优化时间同步时延这单一指标，因此其平均同步时延性能最好，但未考虑与时间同步误差性能的权衡，无法保障待授时终端的时间同步精度，其同步误差性能较差，如图4所示。
图4展示了平均同步误差随迭代次数的变化情况。可以看出，与MAB-RS及SD-DQN算法相比，经100次迭代后，所提算法的平均同步误差分别降低了10.31％和36.21％。这是由于在低碳园区群复杂动态环境下，所提算法处理高维时间同步数据包传输路由选择问题的能力强于SD-DQN算法，能够有效降低同步误差。
本领域内的技术人员应明白，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种面向低碳园区群的智能分层时间同步方法，其特征在于具体同步步骤为：
获得时钟源层时间同步信号，对网关层时间同步信号进行调整，获得网关层精准时间同步信号；
将所述网关层精准时间同步信号传输至终端层，建立同步数据包传输模型、同步时延模型、累积同步误差模型；
基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
将上述同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，基于DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。
2.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述网关层精准时间同步信号为：
网关接收来自时钟源层卫星、5G时间同步网络、电网公司自建时间同步网络发送的时间同步信号中的一种或多种信号，基于多时间源选择或综合计算策略产生网关侧精准时间同步信号。
3.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述同步数据包传输模型具体为：
在第i次迭代dm'从dm接收同步数据包的速率为：
Figure FDA0003683685720000011
其中，Ns为OFDM符号传输速率，
Figure FDA0003683685720000012
为信干噪比，表示为：
Figure FDA0003683685720000013
其中，
Figure FDA0003683685720000014
为传输功率，
Figure FDA0003683685720000015
表示为：
Figure FDA0003683685720000016
其中，
Figure FDA0003683685720000017
及δ0分别为链路频率响应、电磁干扰及高斯白噪声功率；
Figure FDA0003683685720000021
为SINR间隙，表示抵抗信干噪比衰落的能力，计算公式如下：
Figure FDA0003683685720000022
其中，Pe表示目标误码率，Q-1(x)表示
Figure FDA0003683685720000023
的反函数。
4.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述同步时延模型为：
将每个迭代划分为若干个长度为τs的时隙，每个时隙开始时，已同步终端dm开始向连接的未同步终端dm'分发同步数据包；在多跳传输中，第i次迭代dm'接收同步数据包的时延由dm接收同步数据包的时延，以及dm'从dm接收同步数据包的单跳传输时延两部分组成，表示为：
Figure FDA0003683685720000024
其中，
Figure FDA0003683685720000025
表示dm接收同步数据包所经历的时隙数，
Figure FDA0003683685720000026
为dm'从dm接收数据包的时延，表示为：
Figure FDA0003683685720000027
其中，U(i)表示第i次迭代同步数据包的大小。
5.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述累积同步误差模型为：
第i次迭代dm'接收同步数据包的累积同步误差为
Figure FDA0003683685720000028
表示为：
Figure FDA0003683685720000029
其中，
Figure FDA00036836857200000210
为路由选择指示变量，
Figure FDA00036836857200000211
表示第i次迭代dm'从dm接收同步数据包，否则
Figure FDA00036836857200000212
Figure FDA00036836857200000213
为第i次迭代dm'从dm接收数据包的累积同步误差，表示为：
Figure FDA00036836857200000214
其中，
Figure FDA00036836857200000215
表示第i次迭代dm'从dm接收同步数据包形成的时间同步误差，服从误差均值为α，标准差为β的正态分布，表示为
Figure FDA0003683685720000031
Figure FDA0003683685720000032
为第i次迭代dm接收同步数据包的累积同步误差。
6.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述同步数据包的路由选择策略优化问题进行建模的模型为：
Figure FDA0003683685720000033
其中，χ是权重参数，用于动态权衡同步时延与同步误差；C1和C2为路由选择约束，表示每次迭代接收端dm'最多可以从一个发送端接收同步数据包；C3表示dm'与dm不连接时，dm'无法从dm接收数据包；C4为SINR约束，
Figure FDA0003683685720000034
为最小SINR阈值，以保障同步数据包传输可靠性。
7.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述马尔可夫优化问题包括状态空间、动作空间与奖励函数，其中：
状态空间为第i次迭代同步数据包的大小及终端间拓扑连接关系，表示为：
Figure FDA0003683685720000035
其中，U(i)表示第i次迭代同步数据包的大小；
Figure FDA0003683685720000036
为PLC网关以及各终端间的拓扑连接指示变量，
Figure FDA0003683685720000037
表示dm与dm'连接，否则
Figure FDA0003683685720000038
动作空间由路径选择策略集合表示，表示为：
Figure FDA0003683685720000039
其中，
Figure FDA00036836857200000310
为路由选择指示变量，
Figure FDA00036836857200000315
表示第i次迭代dm'从dm接收同步数据包，否则
Figure FDA00036836857200000311
奖励函数为终端同步时延及同步误差加权和的负值，表达式为：
Figure FDA00036836857200000312
其中，
Figure FDA00036836857200000313
第i次迭代dm'从dm接收同步数据包的同步时延；
Figure FDA00036836857200000314
表示第i次迭代dm'从dm接收数据包的累积同步误差。
8.根据权利要求1所述的一种面向低碳园区群的智能分层时间同步方法，其特征在于：所述基于DQN的高精度低时延时间同步算法为：
(1)初始化评估网络权重
Figure FDA0003683685720000041
目标网络权重
Figure FDA0003683685720000042
以及经验池
Figure FDA0003683685720000043
(2)在每次迭代中，每个时隙开始时，PLC网关基于目标网络权重估计当前状态下各个动作的Q值，基于ε-greedy算法制定时间同步数据包路由选择决策；PLC网关以概率ε进行探索并随机选择一个动作，以概率1-ε利用当前具有最大估计Q值的动作
Figure FDA0003683685720000044
(3)未同步终端根据从路由选择决策阶段获得的路由选择决策从已同步终端或PLC网关接收同步数据包，并反馈时间同步延迟和同步误差；接着，PLC网关根据终端反馈的信息计算奖励函数
Figure FDA0003683685720000045
将当前状态
Figure FDA0003683685720000046
转移到下一个状态
Figure FDA0003683685720000047
并将经验数据
Figure FDA0003683685720000048
存入经验池
Figure FDA0003683685720000049
(4)在每次迭代结束时，PLC网关从经验池
Figure FDA00036836857200000410
中随机抽取样本集
Figure FDA00036836857200000411
基于上述样本计算损失函数
Figure FDA00036836857200000412
其中，
Figure FDA00036836857200000413
为根据目标网络权重得到的目标估计Q值，表示为：
Figure FDA00036836857200000414
其中，γ为折扣因子；基于损失函数
Figure FDA00036836857200000415
采用梯度下降法更新评估网络权重
Figure FDA00036836857200000416
Figure FDA00036836857200000417
其中，λ表示学习速率；随后，每隔IGap个迭代，根据
Figure FDA00036836857200000418
更新目标网络参数
Figure FDA00036836857200000419
并在接下来的IGap-1个迭代中保持不变；
(5)重复上述步骤(2)～(4)，直至I次迭代结束。
9.一种面向低碳园区群的智能分层时间同步系统，其特征在于：包括时钟源层、网关层、终端层以及智能控制层；
其中：
时钟源层用于获得时钟源层时间同步信号，对网关层时间同步信号进行调整，获得网关层精准时间同步信号；
网关层用于将所述网关层精准时间同步信号传输至终端层，建立同步数据包传输模型、同步时延模型、累积同步误差模型；
终端层用于基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
智能控制层用于将同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，基于DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。
10.一种面向低碳园区群的智能分层时间同步装置，其特征在于：包括：
信号获取模块：用于获得时钟源层时间同步信号，对网关层时间同步信号进行调整，获得网关层精准时间同步信号；
建模模块：用于获得同步数据包传输模型、同步时延模型、累积同步误差模型；
优化建模模块：用于将所述网关层精准时间同步信号传输至终端层，建立同步数据包传输模型、同步时延模型、累积同步误差模型；
转化计算模块：用于基于所述同步数据包传输模型中的信干噪比、同步时延模型、以及累积同步误差模型，对同步数据包的路由选择策略优化问题进行建模，获得同步数据包路由选择策略优化问题模型；
求解模块：用于将同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题，基于DQN的高精度低时延时间同步算法，对转化后的马尔可夫优化问题进行求解，根据求解结果，确定分层时间同步。
11.根据权利要求10所述的一种面向低碳园区群的智能分层时间同步装置，其特征在于：所述转化计算模块中同步数据包的路由选择策略优化问题进行建模的模型为：
Figure FDA0003683685720000061
其中，χ是权重参数，用于动态权衡同步时延与同步误差；C1和C2为路由选择约束，表示每次迭代接收端dm'最多可以从一个发送端接收同步数据包；C3表示dm'与dm不连接时，dm'无法从dm接收数据包；C4为SINR约束，
Figure FDA0003683685720000062
为最小SINR阈值，以保障同步数据包传输可靠性。
12.根据权利要求10所述的一种面向低碳园区群的智能分层时间同步装置，其特征在于：所述求解模块，具体用于将所述同步数据包路由选择策略优化问题模型转化为马尔可夫优化问题并计算求解，其中，马尔可夫优化问题包括状态空间、动作空间与奖励函数，其中：
状态空间为第i次迭代同步数据包的大小及终端间拓扑连接关系，表示为：
Figure FDA0003683685720000063
其中，U(i)表示第i次迭代同步数据包的大小；
Figure FDA0003683685720000064
为PLC网关以及各终端间的拓扑连接指示变量，
Figure FDA0003683685720000065
表示dm与dm'连接，否则
Figure FDA0003683685720000066
动作空间由路径选择策略集合表示，表示为：
Figure FDA0003683685720000067
其中，
Figure FDA0003683685720000068
为路由选择指示变量，
Figure FDA0003683685720000069
表示第i次迭代dm'从dm接收同步数据包，否则
Figure FDA00036836857200000610
奖励函数为所有终端同步时延及同步误差加权和的负值，表达式为：
Figure FDA00036836857200000611
其中，
Figure FDA00036836857200000612
第i次迭代dm'从dm接收同步数据包的总同步时延；
Figure FDA00036836857200000613
表示第i次迭代dm'从dm接收数据包的累积同步误差。
CN202210652839.8A 2022-06-08 2022-06-08 一种面向低碳园区群的智能分层时间同步方法及系统 Pending CN114900264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210652839.8A CN114900264A (zh) 2022-06-08 2022-06-08 一种面向低碳园区群的智能分层时间同步方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210652839.8A CN114900264A (zh) 2022-06-08 2022-06-08 一种面向低碳园区群的智能分层时间同步方法及系统

Publications (1)

Publication Number Publication Date
CN114900264A true CN114900264A (zh) 2022-08-12

Family

ID=82729123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210652839.8A Pending CN114900264A (zh) 2022-06-08 2022-06-08 一种面向低碳园区群的智能分层时间同步方法及系统

Country Status (1)

Country Link
CN (1) CN114900264A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114377A (zh) * 2022-08-26 2022-09-27 湖南融链科技有限公司 一种大规模分布式可信数据同步方法与系统
CN115694560A (zh) * 2022-10-19 2023-02-03 华北电力大学 基于电力线载波的低碳园区群拓扑预测和授时方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115114377A (zh) * 2022-08-26 2022-09-27 湖南融链科技有限公司 一种大规模分布式可信数据同步方法与系统
CN115694560A (zh) * 2022-10-19 2023-02-03 华北电力大学 基于电力线载波的低碳园区群拓扑预测和授时方法及系统

Similar Documents

Publication Publication Date Title
Liu et al. Cooperative offloading and resource management for UAV-enabled mobile edge computing in power IoT system
Han et al. Powering mobile networks with green energy
Liang et al. Decentralized economic dispatch in microgrids via heterogeneous wireless networks
CN114900264A (zh) 一种面向低碳园区群的智能分层时间同步方法及系统
Ahuja et al. Network selection criterion for ubiquitous communication provisioning in smart cities for smart energy system
CN112383922B (zh) 一种基于优先经验重放的深度强化学习频谱共享方法
KR102439722B1 (ko) 날씨 데이터 기반의 무선 센서 네트워크 노드 태양에너지 수집 파워 예측 알고리즘
CN115276756B (zh) 一种保障服务质量的低轨卫星星座优化设计方法
CN102969720B (zh) 一种能够在智能电网中应用的负载动态控制和分析方法
CN116610434A (zh) 面向分层联邦学习系统的资源优化方法
CN105792218A (zh) 具有射频能量收集能力的认知无线电网络的优化方法
Zhou et al. DRL-assisted topology identification and time synchronization for PIoT-empowered distributed renewable resource dispatch
CN103595652B (zh) 一种电力通信网络中QoS能效的分级方法
He et al. Optimizing information freshness in RF-powered multi-hop wireless networks
CN116436984A (zh) 时间同步误差感知的边端协同分布式能源调控方法及系统
CN116614195A (zh) 基于边缘容器的电碳计算智能融合终端及时间同步方法
Vangelista et al. A battery lifetime comparison between LoraWAN and Wireless MBus smart meters
CN115021399A (zh) 一种适配园区多能源供电网络的拓扑辨识方法及装置
CN115915454A (zh) Swipt辅助的下行资源分配方法及装置
CN115912430A (zh) 基于云边端协同的大规模储能电站资源分配方法及系统
CN113766446A (zh) 基于5g网络的智能电网信息采集的数据调度与资源分配方法
CN113067628A (zh) 一种基于非理想电池模型低轨道卫星网络的链路调度方法
CN115694560A (zh) 基于电力线载波的低碳园区群拓扑预测和授时方法及系统
CN114977163B (zh) 基于5g网络的主动配电网需求响应的无线资源分配方法
KR102661899B1 (ko) 신재생에너지 발전량 예측 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination