CN117176655A - 面向工业互联网的5g和tsn协同流调度系统及方法 - Google Patents
面向工业互联网的5g和tsn协同流调度系统及方法 Download PDFInfo
- Publication number
- CN117176655A CN117176655A CN202311251389.2A CN202311251389A CN117176655A CN 117176655 A CN117176655 A CN 117176655A CN 202311251389 A CN202311251389 A CN 202311251389A CN 117176655 A CN117176655 A CN 117176655A
- Authority
- CN
- China
- Prior art keywords
- tsn
- scheduling
- network
- transmission
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 136
- 238000011156 evaluation Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 230000002787 reinforcement Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 46
- 238000005516 engineering process Methods 0.000 claims description 42
- 238000005457 optimization Methods 0.000 claims description 36
- 206010042135 Stomatitis necrotising Diseases 0.000 claims description 34
- 201000008585 noma Diseases 0.000 claims description 34
- 230000009977 dual effect Effects 0.000 claims description 30
- 230000032683 aging Effects 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 238000005265 energy consumption Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000001550 time effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 5
- 239000003795 chemical substances by application Substances 0.000 description 75
- 230000007246 mechanism Effects 0.000 description 21
- 238000007726 management method Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 239000000243 solution Substances 0.000 description 8
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004401 flow injection analysis Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明具体涉及面向工业互联网的5G和TSN协同流调度系统及方法。系统包括：若干个时效敏感的流客户端，用于采集和传输数据流；5G网络上行接入无线链路，用于供流客户端传输数据流至基站；基站，用于探测和解码流客户端传输的数据流，并将解码得到数据包传输给TSN网关；TSN网络，用于接收与转发基站注入的数据包，并对其进行时延确定性转发；TSN网络包括TSN网关和TSN交换机；TSN网关和TSN交换机利用TSN CQF循环队列实现数据包的确定性传输；TSN网关带有5G‑TSN CQF协议转换功能。方法包括：基于分层增强学习的本地调度代理和基于深度Q学习的全局调度策略评估代理实现5G网络和TSN网络的协同流调度。本发明能够实现工业互联网中5G网络和TSN网络的无线/有线融合传输。
Description
技术领域
本发明涉及工业互联网技术领域，具体涉及面向工业互联网的5G和TSN协同流调度系统及方法。
背景技术
工业互联网是第四次工业革命的重要支撑，其中时间敏感网络(Time SensitiveNetworking,TSN)技术基于一系列严格的流量调度协议以保证时间关键任务的确定性交互。
为进一步增强工业泛在感知能力，3GPP在5G版本中引入时间敏感通信技术，以满足工业物联网场景下的TSN融合需求，具体将5G网络作为一个逻辑网桥，在用户平面上提供了TSN以太网出入端口。其中TSN网络通过严格时钟同步和时间感知流量调度机制来保证数据流有界低时延、低抖动的传输，标准化程度较高。5G网络通过服务质量(Quality ofService,QoS)机制按照业务需求进行无线资源的分配和调度。目前5G网络与TSN网络的服务质量保证机制相互独立，只能在5G网络边缘采用保持-转发机制进行流传输，使得两者无法有效融合部署，需进一步研究5G网络和TSN网络的流调度协议并进行联合设计。
针对上述问题，公开号为CN114827056A的中国专利公开了《一种基于5G移动通信中时间敏感网络传输的系统及方法》，其系统包括至少一个5G-TSN架构，5G-TSN架构至少包括一个5G系统、两个转换器和两个TSN系统，两个转换器分别为第一转换器和第二转换器，两个TSN系统分别至少包括一个TSN交换机，两个TSN系统分别为第一TSN系统和第二TSN系统；5G系统的终端侧与第一转换器连接，第一转换器与第一TSN系统的TSN交换机连接，5G系统的核心网侧与第二转换器连接，第二转换器与第二TSN系统的TSN交换机连接；5G系统的终端为客户终端设备。
上述现有方案通过结合TSN网络(系统)和5G网络(系统)实现了工业互联网的无线/有线异构传输。申请人发现，该现有方案采用的调度方案为保持-转发机制，在该机制中，基站接收到数据包后，会将其保持一段时间，并在此期间寻找合适的时隙将数据包注入至TSN网络中，这种机制的目的是减少TSN网络中CQF队列的数据包溢出概率，从而提高数据转发可靠性和确定性。然而，工业互联网具有延迟要求高和数据流QoS各异的特点，使用该保持-转发机制会增加数据包在基站处的等待延迟，影响工业互联网流调度的实时性；同时保持-转发机制在面对海量数据流的不同QoS需求时，无法进行全局优化提供差异化服务，这进一步导致工业互联网流调度的实用性不好。因此，如何提高工业互联网流调度的实时性和实用性是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种面向工业互联网的5G和TSN协同流调度系统，能够实现5G网络和TSN网络的有效融合，并且能够实现工业互联网中5G网络和TSN网络的协同流调度，从而提高工业互联网流调度的实时性和实用性，并保证工业互联网的通信效果。
为了解决上述技术问题，本发明采用了如下的技术方案：
面向工业互联网的5G和TSN协同流调度系统，包括：
若干个时效敏感的流客户端，用于采集和传输数据流；
5G网络的上行接入无线链路，用于供流客户端传输数据流至基站；
其中5G网络的上行接入无线链路基于GF-NOMA技术实现数据流的低时延传输；在GF-NOMA技术下，基站预先周期性分配多个带有不同时隙偏移的CG资源；每个周期称为一个子帧，每个子帧内分为多个传输时隙；在每个子帧开始时，流客户端在数据流到达时自主选择一个CG资源进行传输；
基站，用于探测和解码流客户端传输的数据流，并将解码得到数据包传输给TSN网关；
TSN网络，用于接收与转发基站注入的数据包，并对其进行时延确定性转发；
其中TSN网络包括TSN网关和TSN交换机；TSN网关和TSN交换机利用TSN CQF循环队列实现数据包的确定性传输；TSN网关带有5G-TSN CQF协议转换功能，用于接收数据包并注入到TSN网络；TSN交换机用于对注入TSN网络的数据包进行多跳转发；
TSN CQF循环队列由一个发送队列和一个接收队列组成：设定一个与传输时隙对齐的转发时隙，将传输时隙和转发时隙统称为时隙；在一个时隙内，接收队列只接收将要被转发的数据包，而发送队列只负责发送该队列的数据包；下一个时隙两个队列循环轮换，即原接收队列转换为发送队列，将前一个时隙接收的数据包发送出去，而前一个时隙的发送队列用于接收本时隙内的数据包；
调度管理模块，用于设计流客户端在GF-NOMA技术中的CG资源，进而联合优化5G传输CG时频资源和注入TSN网络的时隙偏移，以实现5G网络和TSN网络的无缝传输。
优选的，在GF-NOMA技术下，基站以子帧t为单位周期分配多个CG资源；每个子帧含有多个传输时隙τ；每个CG资源带有不同的时隙偏移，即在一个子帧内开始的传输时隙不同；
5G-TSN CQF协议下，TSN网关和TSN交换机以转发时隙为单位进行循环转发。
优选的，在各个流客户端分别设置对应的本地调度代理；本地调度代理用于通过分层调度策略生成指导对应流客户端进行包括采样决策和传输决策的调度决策；
在基站设置全局调度策略评估代理；全局调度策略评估代理用于从全局视角评估每个本地调度代理的分层调度策略的性能；
通过各个流客户端的本地调度代理和基站的全局调度策略评估代理实现5G网络和TSN网络的协同流调度。
本发明还公开了面向工业互联网的5G和TSN协同流调度方法，包括：
S1：构建本发明的5G和TSN协同流调度系统；
S2：通过本地调度代理在每个子帧开始时收集包含系统信息时效状态的本地观测，并将本地观测输入分层调度策略得到包含采样决策和传输决策的调度决策；
S3：每个流客户端根据采样决策进行数据流的采样，并根据传输决策利用5G网络的上行接入无线链路将采样的数据流传输至基站；
S4：基站在每个时隙基于GF-NOMA技术进行数据流的探测与解码，并将成功解码得到的数据包无缝注入到TSN网络；
S5：TSN网络基于TSN CQF协议进行数据流转发；
S6：全局调度策略评估代理离线收集本地调度代理的本地观测和调度决策得到全局状态和调度行为，进而计算对应的策略优化信息并反馈至对应的本地调度代理；
S7：本地调度代理根据全局调度策略评估代理的策略优化信息更新其分层调度策略；
S8：重复步骤S2至S7，直至5G网络和TSN网络的协同流调度结束。
优选的，本地调度代理通过如下步骤得到调度决策：
S201：为每个流客户端建立对应的含时效上限的流特征；
S202：建立所有本地调度代理的5G-TSN联合传输问题，通过引入拉格朗日乘子将5G-TSN联合传输问题转换到对偶域，得到无约束优化问题；
S203：根据无约束优化问题，结合增强学习策略梯度理论建立各个本地调度代理的分层调度策略，包括：用于根据当前时效状态输出采样决策的高层采样策略，以及用于实现数据流无冲突传输的底层通信策略/>；
S204：每个子帧开始时，流客户端收集本地观测并输入高层采样策略，得到对应的采样决策：若采样决策为不采样，则等待下个子帧开始；否则，设定采样子目标为成功实现数据传输，进入步骤S205；
S205：融合采样子目标和本地观测输入至底层通信策略，得到对应的传输决策，即在哪个CG资源下进行传输。
优选的，流客户端的流特征包括包含信息时效上限、源/目的主机ID和位置，以及预先配置的5G MA签名和TSN网络中固定传输路径。
优选的，通过如下公式表示5G-TSN联合传输问题：
式中：Pst表示一次采样-传输的能量消耗；kt表示采样决策；ct表示传输决策；
其中5G-TSN联合传输问题的约束包括：对于每个流客户端i在每个子帧t下的期望时效gi，t不超过上限fi.age，以及每个TSN交换机上的队列e在每个时隙τ的队列长度qe，τ不超过上限Qsize。
优选的，在5G-TSN联合传输问题中引入拉格朗日乘子将其转化为无约束优化问题，进而求解无约束优化问题如下：
式中：λi表示针对流时效约束的乘子；λe表示针对队列长度约束的乘子。
优选的，全局调度策略评估代理通过如下步骤得到策略优化信息：
S601：针对N个流客户端构建对应的全局Q网络；
全局Q网络的公式为：
式中：Q表示全局Q网络；st，at分别表示全局状态和全局行为；γ表示时间折扣因子；Lt表示瞬时对偶成本；
S602：每个子帧t结束后，本地调度代理反馈本地观测与调度决策给全局调度策略评估代理，全局调度策略评估代理收集所有本地调度代理反馈的本地观测与调度决策形成全局状态和全局行为st，at；
S603：根据各个数据流在该子帧t下的传输性能，获取更新后的流客户端本地信息时效状态和TSN网络的队列长度状态，分别更新流客户端时效和队列长度对偶变量，通过动态调整对偶变量使得调度策略满足流客户端时效和TSN队列约束；
公式描述为：
式中：β表示对偶变量更新步长；
S604：基于更新后对偶变量、流客户端的信息时效状态和TSN网络的队列长度状态，生成该子帧下的瞬时对偶成本；
瞬时对偶成本描述为：
式中：Pst表示一次采样-传输的能量消耗；
S605：基于全局状态、全局行为和瞬时对偶成本，生成一个训练经验样本，放入全局调度策略评估代理的经验池中；
S606：当经验池里的样本数量到达上限，执行步骤S607；否则，返回步骤S602；
S607：每个子帧结束时采样一批经验样本，基于深度Q学习算法训练全局Q网络；
S608：基于全局Q网络为每个流客户端计算生成优势函数Ai(st，at)，即反馈给本地调度代理的策略优化信息；
公式描述为：
式中：Ai(st，at)表示流客户端i的优势函数；bi(st，a-i，t)表示针对该全局状态和其他流客户端行为的无偏基准。
优选的，本地调度代理通过如下步骤更新分层调度策略：
S701：基于通信反馈更新本地调度代理的底层通信策略；
公式描述为：
Ri，t＝ki，t(2ri，t-1)；
式中：ri，t∈{0，1}表示流客户端i在子帧t下是否传输成功；Ri为基于通信反馈设计的传输奖励；α为策略更新学习率；
S702：基于全局调度策略评估代理生成的优势函数更新本地调度代理的高层采样策略；
公式描述为：
式中：Ai(st，at)表示策略优化信息，即全局调度策略评估代理生成的策略优化信息。
本发明中面向工业互联网的5G和TSN协同流调度系统与现有系统相比，具有如下有益效果：
本发明通过5G网络的上行接入无线链路将流客户端的数据流传输至基站，基站解析数据流后通过TSN网关将解析得到的数据流无缝注入到TSN网络中，通过TSN网络将数据包转发至远端控制器。一方面，本发明采用的5G网络能够实现毫秒级的数据传输和反馈，可以很好的满足工业应用中大数据传输的需求，进而辅助提高工业自动化程度和生产效率；此外5G网络采用了更强大的信号覆盖和容错机制，能够提供高可靠的通信质量和连续性，对于工业环境中复杂的无线环境、干扰和多路径传播非常重要，能够有效保证工业应用的稳定性和可用性。另一方面，本发明通过TSN网络高度可预测的时钟同步机制，可以实现精确的数据传输和控制，保证工业互联网应用的实时性和确定性；并且TSN网络能够提供微秒级的数据传输延迟，实现快速的数据交换和响应，这对于需要高速数据传输和实时控制的工业应用非常重要，提高了生产效率和响应能力；此外TSN网络遵循IEEE 802.1标准，统一了工业互联网中不同设备和系统之间的通信规范和接口要求，这有助于降低系统集成和互操作性的难度，提高设备之间的互联能力和系统的灵活性。综上，本发明通过融合5G网络和TSN网络各自的优势，可以满足工业互联网中不同设备和应用的需求，能够带来更强大的通信能力、更灵活的设备连接和管理、更高效的生产调度和协同控制，推动工业互联网的发展和应用，从而提高工业互联网流调度的实时性和实用性，并保证工业互联网的通信效果。
本发明在有效融合5G网络和TSN网络的基础上，联合优化GF-NOMA技术中传输时频CG资源和基于CQF的TSN网络中的注入时隙，使得能够有效利用TSN CQF协议的确定转发机制和5G GF-NOMA低时延接入技术来实现5G网络和TSN网络的协同流调度，与现有调度技术相比，具有如下有益效果：
一方面，本发明采用的GF-NOMA技术可以将多个免授权用户的传输资源进行非正交组合，通过不同的功率控制和信道编码技术，实现在同一频谱资源中多用户进行并行通信，可以显著提高网络容量，减少频谱资源浪费，提高资源利用率，满足工业互联网中大规模设备和数据的传输需求；并且GF-NOMA技术可以通过非正交组合的方式，实现更多设备的同时连接，大幅增加设备接入数量，可以满足工业互联网中大规模物联网设备的连接需求。另一方面，本发明中TSN CQF协议的差异化流注入机制可以有效地优化带宽资源的调度，提供确定的传输延迟和更高的数据可靠性，通过及时收集和反馈传输质量的信息，可以动态地调整资源和采样策略，进而满足实时性和可靠性的需求。最后，本发明通过联合优化GF-NOMA技术中传输时频CG资源和基于CQF的TSN网络注入时隙偏移量，实现了5G网络和TSN网络的无缝传输，进而能够利用TSN CQF协议的确定性机制和5G GF-NOMA低时延接入技术来实现工业互联网中5G网络和TSN网络的协同流调度，与传统协议转换方案采用的保持-转发机制相比，可以显著提高网络容量和资源利用率，支持大规模设备连接，提高设备通信的灵活性和可靠性，进而极大地推动工业互联网的发展和应用，并为工业生产和管理提供更高效、可靠和智能化的解决方案。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为面向工业互联网的5G和TSN协同流调度系统的网络结构图；
图2为本地调度代理的工作流程图；
图3为全局调度策略评估代理的工作流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件能够以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。例如“水平”仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面通过具体实施方式进一步详细的说明：
实施例一：
超可靠低时延通信(Ultra-Reliable and Low-Latency Communication,URLLC)是5G系统实现TSN融合的关键技术。为了实现低时延上行链路接入，URLLC引入了免授权(Grant-Free,GF)传输方案。其中，配置授权(Configured-Grant,CG)技术通过周期性地引入多个拥有不同起始时隙偏移的CG资源，以供大量URLLC用户实现低时延传输。在该场景下，URLLC用户可在数据到达时自主选择一个预配置的CG资源进行数据传输。与传统集中式动态调度相比，这种到达即发送的方式可免去复杂的设备握手过程，大大降低传输时延。由于GF是分布式传输，导致URLLC用户自私地竞争CG资源，产生传输冲突。因此，现有工作提出引入非正交多址访问(Non-Orthogonal Multiple Access，NOMA)技术用以缓解网络拥塞，称为GF-NOMA技术。然而，对于5G+TSN融合网络，需进一步考虑TSN流调度协议以增强GF-NOMA技术，以保证端到端的时延约束。
作为IEEE 802.1TSN任务组开发的以太网协议扩展，TSN引入了许多如时间感知整形器(Time-Aware Shaper,TAS)的协议以保证周期性时间敏感流的确定性转发。TAS为每个流周期地分配时隙，流只在分配的时隙内传输数据。因此需要对TSN交换机中每个队列的门控列表(Gate Control List,GCL)进行严格且细粒度的控制。为了简化TSN CGL的设计，IEEE802.1Qch协议中提出了一种基于乒乓队列的循环排队转发(Cyclic queuing andforwarding,CQF)模型，且适用于非周期和周期流。CQF协议通过配置静态门控列表，循环执行出入队操作，省去了复杂的GCL计算，无需考虑数据包输入输出的时间顺序。然而，多个流在转发过程中易聚合到某些关键队列中，导致队列溢出。为此，现有工作提出了许多基于增量启发式算法的注入时间规划策略，通过延迟流的发送时隙，可以提高队列利用率，从而减少队列溢出概率。但此方法完全基于有线TSN技术进行数据转发，未考虑无线通信技术，不适用于传输类型多样、通信要求复杂的智能制造产线场景。因此，如何面向工业5G网络+TSN网络融合设计协同流调度机制仍是一个十分具有挑战性的问题。
针对上述问题，本实施例中公开了一种面向工业互联网的5G和TSN协同流调度系统。
如图1所示，面向工业互联网的5G和TSN协同流调度系统，包括：
若干个时效敏感的流客户端，用于采集和传输数据流；
本实施例中，针对工业现场若干个状态监控系统，存在多个时效敏感流，每个系统的源端为本地流客户端用于状态采集并发送至目的地(如：远端控制器)。具体地，流客户端根据当前系统时效状态确定流调度决策(含状态数据流包采样决策和传输决策)。
5G网络的上行接入无线链路，用于供流客户端传输数据流至基站；
其中5G网络的上行接入无线链路基于GF-NOMA(即免授权-非正交多址访问)技术实现数据流的低时延传输；在GF-NOMA技术下，基站预先周期性分配多个带有不同时隙偏移的(时频)CG资源；每个周期称为一个子帧，每个子帧内分为多个传输时隙；在每个子帧开始时，流客户端在数据流到达时自主选择一个CG资源进行传输；
本发明中，5G网络的上行接入无线链路GF-NOMA技术实现数据流的低时延传输，与传统的集中式动态调度相比，能够通过到达即发送的分布式调度方式免去复杂的用户-基站握手过程，从而极大的降低传输时延。
本实施例中，5G网络的上行接入无线链路：基于5G URLLC技术的免授权CG接入协议，基站预先周期性地分配多个带有不同时隙偏移的CG资源，并通过无线资源控制或者下行链路控制信息下发该信息来激活静态的CG资源，并将参数广播给所有URLLC用户。
在GF-NOMA技术下，基站以子帧t为单位周期分配多个CG资源；每个子帧含有多个传输时隙τ，也称为传输时间间隔；每个CG资源带有不同的时隙偏移，即在一个子帧内开始的传输时隙不同。
5G GF-NOMA传输中，基于缩短传输时间间隔(Transmission Time Interval，TTI)技术，根据参数因子μ，子载波间隔计算为Δf＝2μ×15kHz，μ＝0，1，2，3，4，对应的时隙大小缩短至为1/2μms。图1中的GF-NOMA系统即为一个带有三个CG资源，每个CG资源下有两个资源块(Resource Block，RB)的例子，Noffsetp，p＝1，2，3为时隙偏移大小。其中μ＝3，因此，每一个时隙由7个OFDM符号组成，时间为0.125ms。
基站，用于探测和解码流客户端传输的数据流，并将解码得到数据包传输给TSN网关；
TSN网络，用于接收与转发基站注入的数据包，并对其进行时延确定性转发；
其中TSN网络包括三层TSN网关和二层TSN交换机；TSN网关和TSN交换机利用TSNCQF循环队列实现数据包的确定性传输；TSN网关带有5G-TSN CQF协议转换功能，用于接收数据包并注入到TSN网络；TSN交换机用于将注入TSN网络的数据包多跳转发至远端控制器；
TSN CQF循环队列由一个发送队列和一个接收队列组成：设定一个与传输时隙对齐的转发时隙，将传输时隙和转发时隙统称为时隙；在一个时隙内，接收队列只接收将要被转发的数据包，而发送队列只负责发送该队列的数据包；下一个时隙两个队列循环轮换，即原接收队列转换为发送队列，将前一个时隙接收的数据包发送出去，而前一个时隙的发送队列用于接收本时隙内的数据包。
5G-TSN CQF协议下，TSN网关和TSN交换机以转发时隙为单位进行循环转发。其中数据流注入TSN网络的转发时隙对TSN交换机的队列利用率有重要影响。
本实施例中，基站成功解码数据包后无缝将其注入到网状拓扑的TSN核心网中，并基于CQF协议转发非周期时效敏感流的数据包。TSN业务为了保证每业务确定性服务质量，依赖CUC-CNC(集中式用户配置-集中式网络配置)架构的集中管控技术，包括集中配置业务端到端资源预留避免拥塞丢包、配置业务监管参数和调度参数等。
5G中每个CG资源包含3个参数，资源RB的数量、时隙偏移大小、重传次数。其中流竞争的最小资源定义为CTU(Contention Transmission Unit，竞争传输单元)，由时频资源RB和MA(Multi-access)签名表示。如果多个流使用相同的CTU传输，基站无法区分和探测出它们，因此无法进一步进行数据包解码。
从时域角度，5G系统可以通过使用缩短传输时间间隔，即mini-slot技术，将传输时隙从1ms缩短至微秒级从而便于对齐TSN时隙；从空域角度，用于状态监控的信息时效流客户端分布在工厂内，它们在5G+TSN系统中共享上行多个CG资源进行传输，但由于其分布式接入的特点，流之间相互产生同频干扰。为了减少5G+TSN传输中的流传输冲突，基站采用NOMA技术解码数据包，即基站不断探测流并使用连续干扰消除技术解码成功探测到的数据流包。
对于TSN网络，5G系统(5G System,5GS)充当一个或多个TSN桥的角色。5GS网桥由单个UPF(User Plane Function)侧的端口、用户和UPF之间的用户平面隧道和DS-TT(Device-side TSN translator)侧的端口组成，对于TSN网络的每个5GS网桥，NW-TT(Network-side TSN translator)上的端口都支持与TSN网络的连接，同时DS-TT侧上的端口与PDU(Protocol Data Unit)会话相关联，从而提供与TSN网络的连接。为了在5GS桥接器上支持TSN调度的流量，5G标准中规范5GS应支持包括在5GS中配置网桥信息、在PDU会话建立后将5GS网桥的网桥信息报告给TSN网络等功能。TSN网络使用5GS桥的桥信息来为5GS桥进行适当的管理配置。5GS网桥信息至少包括网桥ID、港口数量以及端口号列表等信息。
TSN网络作为工业核心主干网络，由TSN交换机和工业网关组成。网关具有多种工业协议转换功能，包含工业总线和工业以太网等。同时网关兼备TSN交换机和5G基站的功能，并具备一定的计算处理能力。
TSN CQF传输中，交换机通常有8个队列，两个乒乓队列定义Q6、Q7。在图1中展示了简化的接收队列的门控列表和发送门控列表。基于此，注入的数据包在无冲突传输情况下，每一时隙通过一个交换机。由于流选择传输的CG带有时隙偏移，因此基站注入TSN网络时也会有对应的偏移，从而达到无缝传输和联合设计的目的。
调度管理模块，用于设计流客户端在GF-NOMA技术中的CG资源，进而联合优化5G传输CG时频资源和注入TSN网络的时隙偏移，以实现5G网络和TSN网络的无缝传输。
本发明通过5G网络的上行接入无线链路将流客户端的数据流传输至基站，基站解析数据流后通过TSN网关将解析得到的数据流无缝注入到TSN网络中，通过TSN网络将数据包转发至远端控制器。一方面，本发明采用的5G网络能够实现毫秒级的数据传输和反馈，可以很好的满足工业应用中大数据传输的需求，进而辅助提高工业自动化程度和生产效率；此外5G网络采用了更强大的信号覆盖和容错机制，能够提供高可靠的通信质量和连续性，对于工业环境中复杂的无线环境、干扰和多路径传播非常重要，能够有效保证工业应用的稳定性和可用性。另一方面，本发明通过TSN网络高度可预测的时钟同步机制，可以实现精确的数据传输和控制，保证工业互联网应用的实时性和确定性；并且TSN网络能够提供微秒级的数据传输延迟，实现快速的数据交换和响应，这对于需要高速数据传输和实时控制的工业应用非常重要，提高了生产效率和响应能力；此外TSN网络遵循IEEE 802.1标准，统一了工业互联网中不同设备和系统之间的通信规范和接口要求，这有助于降低系统集成和互操作性的难度，提高设备之间的互联能力和系统的灵活性。综上，本发明通过融合5G网络和TSN网络各自的优势，可以满足工业互联网中不同设备和应用的需求，能够带来更强大的通信能力、更灵活的设备连接和管理、更高效的生产调度和协同控制，推动工业互联网的发展和应用，从而提高工业互联网流调度的实时性和实用性，并保证工业互联网的通信效果。
本发明在有效融合5G网络和TSN网络的基础上，联合优化GF-NOMA技术中传输时频CG资源和基于CQF的TSN网络中的注入时隙，使得能够有效利用TSN CQF协议的确定转发机制和5G GF-NOMA低时延接入技术来实现5G网络和TSN网络的协同流调度，与现有调度技术相比，具有如下有益效果：
一方面，本发明采用的GF-NOMA技术可以将多个免授权用户的传输资源进行非正交组合，通过不同的功率控制和信道编码技术，实现在同一频谱资源中多用户进行并行通信，可以显著提高网络容量，减少频谱资源浪费，提高资源利用率，满足工业互联网中大规模设备和数据的传输需求；并且GF-NOMA技术可以通过非正交组合的方式，实现更多设备的同时连接，大幅增加设备接入数量，可以满足工业互联网中大规模物联网设备的连接需求。另一方面，本发明中TSN CQF协议的差异化流注入机制可以有效地优化带宽资源的调度，提供确定的传输延迟和更高的数据可靠性，通过及时收集和反馈传输质量的信息，可以动态地调整资源和采样策略，进而满足实时性和可靠性的需求。最后，本发明通过联合优化GF-NOMA技术中传输时频CG资源和基于CQF的TSN网络注入时隙偏移量，实现了5G网络和TSN网络的无缝传输，进而能够利用TSN CQF协议的确定性机制和5G GF-NOMA低时延接入技术来实现工业互联网中5G网络和TSN网络的协同流调度，与传统协议转换方案采用的保持-转发机制相比，可以显著提高网络容量和资源利用率，支持大规模设备连接，提高设备通信的灵活性和可靠性，进而极大地推动工业互联网的发展和应用，并为工业生产和管理提供更高效、可靠和智能化的解决方案。
具体实施过程中，在各个流客户端分别设置对应的本地调度代理；本地调度代理用于通过分层调度策略生成指导对应流客户端进行包括采样决策和传输决策的调度决策；
在基站设置全局调度策略评估代理；全局调度策略评估代理用于从全局视角评估每个本地调度代理的分层调度策略的性能。
通过各个流客户端的本地调度代理和基站的全局调度策略评估代理实现5G网络和TSN网络的协同流调度。
本发明通过在基站设置的全局调度策略评估代理和在各个流客户端分别设置的本地调度代理，构建了“集中评估分散执行”的学习框架，能够解决分布式调度下观测不完全带来的学习非平稳挑战，从而有利于进一步提高工业互联网流调度的稳定性。同时，本发明通过各个流客户端的本地调度代理和基站的全局调度策略评估代理实现5G网络和TSN网络的协同流调度，与传统协议转换方案采用的保持-转发机制相比，可以显著提高网络容量和资源利用率，支持大规模设备连接，提高设备通信的灵活性和可靠性，并支持低延迟和高可靠性的应用，进而极大地推动工业互联网的发展和应用，并为工业生产和管理提供更高效、可靠和智能化的解决方案。
实施例二：
本实施例中公开了一种面向工业互联网的5G和TSN协同流调度方法。
结合图2和图3所示，面向工业互联网的5G和TSN协同流调度方法，包括：
S1：构建实施例一中的5G和TSN协同流调度系统；
S2：通过本地调度代理在每个子帧开始时收集包含系统信息时效状态(为本地观测的核心)的本地观测，并将本地观测输入分层调度策略得到包含采样决策和传输决策的调度决策；
S3：每个流客户端根据采样决策进行数据流的采样，并根据传输决策利用5G网络的上行接入无线链路将采样的数据流上传至基站；
S4：基站在每个时隙基于GF-NOMA技术进行数据流的探测与解码，并将成功解码得到的数据包无缝注入到TSN网络；
本实施例中，所有流进行资源竞争，传输期间可能会因为5G系统中信号干扰噪声比(Signal to Interference plus Noise Ratio,SINR)过小而解码失败，或者TSN传输中产生了队列溢出导致数据包传输失败，从而导致系统信息时效增加。
S5：TSN网络基于CQF协议对数据包进行数据包转发；
S6：全局调度策略评估代理离线收集本地调度代理的本地观测和调度决策得到全局状态和调度行为，进而计算对应的策略优化信息并反馈至对应的本地调度代理；
S7：本地调度代理根据全局调度策略评估代理的策略优化信息更新其分层调度策略；
S8：重复步骤S2至S7，直至5G网络和TSN网络的协同流调度结束。
本发明中，在基站设置的全局调度策略评估代理和在各个流客户端分别设置的本地调度代理，并且通过全局调度策略评估代理计算对应的策略优化信息并反馈至本地调度代理，通过本地调度代理根据全局调度策略评估代理的策略优化信息更新其分层调度策略，有效构建了“集中评估分散执行”的学习框架，能够解决分布式调度下观测不完全带来的学习非平稳挑战，从而有利于进一步提高工业互联网流调度的稳定性。
本发明通过构建的“集中评估分散执行”的学习框架以及本地调度代理和全局调度策略评估代理的融合交互方式，能够实现工业互联网中5G网络和TSN网络的协同流调度，与传统协议转换方案采用的保持-转发机制相比，可以显著提高网络容量和资源利用率，支持大规模设备连接，提高设备通信的灵活性和可靠性，并支持低延迟和高可靠性的应用，进而极大地推动工业互联网的发展和应用，并为工业生产和管理提供更高效、可靠和智能化的解决方案。
结合图2所示，本地调度代理通过如下步骤得到调度决策：
S201：为每个流客户端建立对应的含时效上限的流特征；
本实施例中，流客户端的流特征包括包含信息时效上限、源/目的主机ID和位置，以及预先配置的5G MA签名和TSN网络中固定传输路径；
其中，信息时效(简称“时效”)定义为自最近目的地收到的数据包的生成时间以来所经过的时间；预先配置的5GMA签名和所选择的CG资源共同决定了基站是否能成功探测出流，当同一个CG资源里存在两个及以上的数据流有着相同MA签名，则基站无法区分出这些流；TSN网络传输路径决定了数据包到达远端控制器之前经过的交换机端口。
信息时效更新采用Generate-at-will策略以保证数据的新鲜度，即当流决定在某个子帧传输时，它会在该子帧起始时采样数据包并立即将该数据包发送到目的地。
S202：建立所有本地调度代理带流客户端时效和TSN队列约束的5G-TSN联合传输问题，通过引入拉格朗日乘子将5G-TSN联合传输问题转换到对偶域，得到无约束优化问题；
本实施例中，将流时效和TSN队列长度演进看作与信道增益和通信干扰相关的随机过程。因此，该问题是带有环境不确定性的随机约束问题，可以通过深度增强学习来求解。
本实施例中，调度决策定义为每个流的数据包采样-5G CG选择决策，其中选择的CG带来的时隙偏移会影响TSN的注入时隙，从而影响TSN的传输性能。
S203：根据无约束优化问题，结合增强学习策略梯度理论建立各个本地调度代理的分层调度策略，该调度策略基于DNN(深度神经网络，Deep Neural Network)进行了参数化设计；其中调度决策包括：用于根据当前时效状态输出采样决策的高层采样策略，以及用于实现数据流无冲突传输的底层通信策略；
本实施例中，调度策略包括高层采样策略和底层通信策略/>θi统一表示调度策略的DNN参数，高层采样策略和底层通信策略共享部分参数。为了训练本地调度代理的调度策略，需要更新策略DNN参数和影响约束满足的对偶乘子参数。
分层调度策略分为感知时效的高层采样策略和底层通信策略。高层策略主要根据当前时效状态输出采样决策另一方面，该决策也定义为子目标并传递给低层策略，具体代表通信成功或不通信。因此，当高层决定采样时，底层策略的目标是实现无冲突传输，即基于子目标输出传输决策/>通过这种分层控制方式，低层策略受到高层策略提出的子目标监督。
高层策略是基于评估代理反馈的全局优势函数进行训练的，基于强化学习的梯度策略定理，进一步可以表示为：
Ai(st，at)为全局调度策略评估代理反馈的优势函数。
设计了通信奖励用于训练低层策略，定义为：ri，t为是否传输成功指示符；基于此，底层策略的梯度更新公式如下，/>
通过分层训练，实现无冲突通信的任务被解耦出来，因此能对两个策略进行更高效地学习。
S204：每个子帧开始时，流客户端收集关于信息时效、对偶乘子参数、发送器源端位置的本地观测并输入高层采样策略，得到对应的采样决策：若采样决策为不采样，则等待下个子帧开始；否则，设定采样子目标为成功实现数据传输，进入步骤S205；
S205：融合采样子目标和本地观测输入至底层通信策略，得到对应的传输决策，即在哪个CG资源下进行传输。
具体实施过程中，为了能使得所有流客户端在满足自身时效和队列不溢出的约束下能耗最低，设计了如下的5G-TSN联合传输问题：
式中：Pst表示一次采样-传输的能量消耗；kt表示采样决策；ct表示传输决策；
其中5G-TSN联合传输问题的约束包括：对于每个流客户端i在每个子帧t下的期望时效gi，t不超过上限fi.age，以及每个TSN交换机上的队列e在每个时隙τ的队列长度qe，τ不超过上限Qsize。
为了同时优化主目标和约束条件，在5G-TSN联合传输问题中引入拉格朗日乘子(对偶变量)将其转化为无约束优化问题，进而求解无约束优化问题如下：
式中：λi表示针对流时效约束的乘子；λe表示针对队列长度约束的乘子。
本发明中，本地调度代理的分层调度方案能够解决由于数据流间歇性传输导致的通信反馈稀疏带来的学习样本不均衡挑战，有利于更好的实现工业互联网中5G网络和TSN网络的协同流调度，从而进一步提高工业互联网流调度的稳定性。
结合图3所示，全局调度策略评估代理通过如下步骤得到策略优化信息：
S601：针对N个流客户端构建对应的全局Q网络；
全局Q网络的公式为：
式中：Q表示全局Q网络；st，at分别表示全局状态和全局行为；γ表示时间折扣因子；Lt表示瞬时对偶成本，反映了拉格朗日对偶问题的优化值；
S602：每个子帧t结束后，本地调度代理反馈本地观测与调度决策给全局调度策略评估代理，全局调度策略评估代理收集所有本地调度代理反馈的本地观测与调度决策形成全局状态和全局行为st，at；
S603：根据各个数据流在该子帧t下的传输性能，获取更新后的流客户端本地信息时效状态和TSN网络的队列长度状态，分别更新流客户端时效和队列长度对偶变量，通过动态调整对偶变量使得调度策略尽快满足流客户端时效和TSN队列约束；
公式描述为：
/>
式中：β表示对偶变量更新步长；
S604：基于更新后对偶变量、流客户端的信息时效状态和TSN网络的队列长度状态，生成该子帧下的瞬时对偶成本；
瞬时对偶成本描述为：
Lt＝∑i(kiPst+λi，t(fi．age-gi，t))+∑eλe，t(Qsize-qe，t)；
式中：Pst表示一次采样-传输的能量消耗；
S605：基于全局状态、全局行为和瞬时对偶成本，生成一个训练经验样本，放入全局调度策略评估代理的经验池中；
S606：当经验池里的样本数量到达上限，执行步骤S607；否则，返回步骤S602；
S607：每个子帧结束时采样一批经验样本，基于DQN算法训练全局Q网络；
S608：基于全局Q网络为每个流客户端计算生成优势函数Ai(st，at)，即反馈给本地调度代理的策略优化信息；
公式描述为：
式中：Ai(st，at)表示流客户端i的优势函数；bi(st，a-i，t)表示针对该全局状态和其他流客户端行为的无偏基准，作用是将除i之外其他流客户端行为对瞬时对偶成本的影响去除，从而大大降低本地调度策略的训练方差，从而加快策略收敛。
本发明中，全局调度策略评估代理的优势函数是以全局视角进行更新的，使得能够保证了本地调度策略训练的环境稳定性，解决分布式学习带来的非平稳挑战，进而更好的实现工业互联网中5G网络和TSN网络的协同流调度，进一步提高工业互联网流调度的稳定性。
具体实施过程中，本地调度代理通过如下步骤更新分层调度策略：
S701：基于通信反馈更新本地调度代理的底层通信策略；
公式描述为：
Ri，t＝ki，t(2ri，t-1)：
式中：通信反馈ri，t∈{0，1}表示流客户端i在子帧t下是否传输成功；Ri为基于通信反馈设计的传输奖励；α为策略更新学习率；
S702：基于全局调度策略评估代理生成的优势函数更新本地调度代理的高层采样策略；
公式描述为：
式中：Ai(st，at)表示策略优化信息，即全局调度策略评估代理为其生成的策略优化信息。
本发明中，采用的分层调度策略更新方式通过额外引入通信反馈，将优化通信策略的任务被解耦出来，因此能分别对高层采样与底层通信策略进行更高效地学习，从而更好的实现工业互联网中5G网络和TSN网络的协同流调度。
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.面向工业互联网的5G和TSN协同流调度系统，其特征在于，包括：
若干个时效敏感的流客户端，用于采集和传输数据流；
5G网络的上行接入无线链路，用于供流客户端传输数据流至基站；
其中5G网络的上行接入无线链路基于GF-NOMA技术实现数据流的低时延传输；在GF-NOMA技术下，基站预先周期性分配多个带有不同时隙偏移的CG资源；每个周期称为一个子帧，每个子帧内分为多个传输时隙；在每个子帧开始时，流客户端在数据流到达时自主选择一个CG资源进行传输；
基站，用于探测和解码流客户端传输的数据流，并将解码得到数据包传输给TSN网关；
TSN网络，用于接收与转发基站注入的数据包，并对其进行时延确定性转发；
其中TSN网络包括TSN网关和TSN交换机；TSN网关和TSN交换机利用TSN CQF循环队列实现数据包的确定性传输；TSN网关带有5G-TSN CQF协议转换功能，用于接收数据包并注入到TSN网络；TSN交换机用于对注入TSN网络的数据包进行多跳转发；
TSN CQF循环队列由一个发送队列和一个接收队列组成：设定一个与传输时隙对齐的转发时隙，将传输时隙和转发时隙统称为时隙；在一个时隙内，接收队列只接收将要被转发的数据包，而发送队列只负责发送该队列的数据包；下一个时隙两个队列循环轮换，即原接收队列转换为发送队列，将前一个时隙接收的数据包发送出去，而前一个时隙的发送队列用于接收本时隙内的数据包；
调度管理模块，用于设计流客户端在GF-NOMA技术中的CG资源，进而联合优化5G传输CG时频资源和注入TSN网络的时隙偏移，以实现5G网络和TSN网络的无缝传输。
2.如权利要求1所述的面向工业互联网的5G和TSN协同流调度系统，其特征在于：在GF-NOMA技术下，基站以子帧t为单位周期分配多个CG资源；每个子帧含有多个传输时隙τ；每个CG资源带有不同的时隙偏移，即在一个子帧内开始的传输时隙不同；
5G-TSN CQF协议下，TSN网关和TSN交换机以转发时隙为单位进行循环转发。
3.如权利要求1所述的面向工业互联网的5G和TSN协同流调度系统，其特征在于：在各个流客户端分别设置对应的本地调度代理；本地调度代理用于通过分层调度策略生成指导对应流客户端进行包括采样决策和传输决策的调度决策；
在基站设置全局调度策略评估代理；全局调度策略评估代理用于从全局视角评估每个本地调度代理的分层调度策略的性能；
通过各个流客户端的本地调度代理和基站的全局调度策略评估代理实现5G网络和TSN网络的协同流调度。
4.面向工业互联网的5G和TSN协同流调度方法，其特征在于，包括：
S1：构建如权利要求1所述的5G和TSN协同流调度系统；
S2：通过本地调度代理在每个子帧开始时收集包含系统信息时效状态的本地观测，并将本地观测输入分层调度策略得到包含采样决策和传输决策的调度决策；
S3：每个流客户端根据采样决策进行数据流的采样，并根据传输决策利用5G网络的上行接入无线链路将采样的数据流传输至基站；
S4：基站在每个时隙基于GF-NOMA技术进行数据流的探测与解码，并将成功解码得到的数据包无缝注入到TSN网络；
S5：TSN网络基于TSN CQF协议进行数据流转发；
S6：全局调度策略评估代理离线收集本地调度代理的本地观测和调度决策得到全局状态和调度行为，进而计算对应的策略优化信息并反馈至对应的本地调度代理；
S7：本地调度代理根据全局调度策略评估代理的策略优化信息更新其分层调度策略；
S8：重复步骤S2至S7，直至5G网络和TSN网络的协同流调度结束。
5.如权利要求4所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于，步骤S2中，本地调度代理通过如下步骤得到调度决策：
S201：为每个流客户端建立对应的含时效上限的流特征；
S202：建立所有本地调度代理的5G-TSN联合传输问题，通过引入拉格朗日乘子将5G-TSN联合传输问题转换到对偶域，得到无约束优化问题；
S203：根据无约束优化问题，结合增强学习策略梯度理论建立各个本地调度代理的分层调度策略，包括：用于根据当前时效状态输出采样决策的高层采样策略以及用于实现数据流无冲突传输的底层通信策略/>
S204：每个子帧开始时，流客户端收集本地观测并输入高层采样策略，得到对应的采样决策：若采样决策为不采样，则等待下个子帧开始；否则，设定采样子目标为成功实现数据传输，进入步骤S205；
S205：融合采样子目标和本地观测输入至底层通信策略，得到对应的传输决策，即在哪个CG资源下进行传输。
6.如权利要求5所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于：步骤S201中，流客户端的流特征包括包含信息时效上限、源/目的主机ID和位置，以及预先配置的5G MA签名和TSN网络中固定传输路径。
7.如权利要求5所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于：步骤S202中，通过如下公式表示5G-TSN联合传输问题：
式中：Pst表示一次采样-传输的能量消耗；kt表示采样决策；ct表示传输决策；
其中5G-TSN联合传输问题的约束包括：对于每个流客户端i在每个子帧t下的期望时效gi,t不超过上限fi.age，以及每个TSN交换机上的队列e在每个时隙τ的队列长度qe，τ不超过上限Qsize。
8.如权利要求7所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于：步骤S202中，在5G-TSN联合传输问题中引入拉格朗日乘子将其转化为无约束优化问题，进而求解无约束优化问题如下：
式中：λi表示针对流时效约束的乘子；λe表示针对队列长度约束的乘子。
9.如权利要求8所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于：步骤S6中，全局调度策略评估代理通过如下步骤得到策略优化信息：
S601：针对N个流客户端构建对应的全局Q网络；
全局Q网络的公式为：
式中：Q表示全局Q网络；st,at分别表示全局状态和全局行为；γ表示时间折扣因子；Lt表示瞬时对偶成本；
S602：每个子帧t结束后，本地调度代理反馈本地观测与调度决策给全局调度策略评估代理，全局调度策略评估代理收集所有本地调度代理反馈的本地观测与调度决策形成全局状态和全局行为st,at；
S603：根据各个数据流在该子帧t下的传输性能，获取更新后的流客户端本地信息时效状态和TSN网络的队列长度状态，分别更新流客户端时效和队列长度对偶变量，通过动态调整对偶变量使得调度策略满足流客户端时效和TSN队列约束；
公式描述为：
式中：β表示对偶变量更新步长；
S604：基于更新后对偶变量、流客户端的信息时效状态和TSN网络的队列长度状态，生成该子帧下的瞬时对偶成本；
瞬时对偶成本描述为：
Lt=Σi(kiPst+λi,t(fi.age-gi,t))+Σeλe,t(Qsize-qe,t)；
式中：Pst表示一次采样-传输的能量消耗；
S605：基于全局状态、全局行为和瞬时对偶成本，生成一个训练经验样本，放入全局调度策略评估代理的经验池中；
S606：当经验池里的样本数量到达上限，执行步骤S607；否则，返回步骤S602；
S607：每个子帧结束时采样一批经验样本，基于深度Q学习算法训练全局Q网络；
S608：基于全局Q网络为每个流客户端计算生成优势函数Ai(st,at)，即反馈给本地调度代理的策略优化信息；
公式描述为：
式中：Ai(at,at)表示流客户端i的优势函数；bi(st,a-i,t)表示针对该全局状态和其他流客户端行为的无偏基准。
10.如权利要求9所述的面向工业互联网的5G和TSN协同流调度方法，其特征在于，步骤S7中，本地调度代理通过如下步骤更新分层调度策略：
S701：基于通信反馈更新本地调度代理的底层通信策略；
公式描述为：
Ri,t＝ki,t(2ri,t-1)；
式中：ri，t∈{0，1}表示流客户端i在子帧t下是否传输成功；Ri为基于通信反馈设计的传输奖励；α为策略更新学习率；
S702：基于全局调度策略评估代理生成的优势函数更新本地调度代理的高层采样策略；
公式描述为：
式中：Ai(st，at)表示策略优化信息，即全局调度策略评估代理生成的策略优化信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311251389.2A CN117176655A (zh) | 2023-09-26 | 2023-09-26 | 面向工业互联网的5g和tsn协同流调度系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311251389.2A CN117176655A (zh) | 2023-09-26 | 2023-09-26 | 面向工业互联网的5g和tsn协同流调度系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117176655A true CN117176655A (zh) | 2023-12-05 |
Family
ID=88935468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311251389.2A Pending CN117176655A (zh) | 2023-09-26 | 2023-09-26 | 面向工业互联网的5g和tsn协同流调度系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117176655A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596605A (zh) * | 2024-01-18 | 2024-02-23 | 北京交通大学 | 一种面向智能应用的确定性网络架构及其工作方法 |
-
2023
- 2023-09-26 CN CN202311251389.2A patent/CN117176655A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596605A (zh) * | 2024-01-18 | 2024-02-23 | 北京交通大学 | 一种面向智能应用的确定性网络架构及其工作方法 |
| CN117596605B (zh) * | 2024-01-18 | 2024-04-12 | 北京交通大学 | 一种面向智能应用的确定性网络架构及其工作方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Low-latency networking: Where latency lurks and how to tame it | |
| Kosta et al. | Age of information performance of multiaccess strategies with packet management | |
| Ahmed et al. | Cooperative vehicular networking: A survey | |
| She et al. | Cross-layer design for mission-critical IoT in mobile edge computing systems | |
| Sagduyu et al. | On joint MAC and network coding in wireless ad hoc networks | |
| US20220150159A1 (en) | Control device, switch device and methods | |
| Kim et al. | Scheduling multicast traffic with deadlines in wireless networks | |
| CN117176655A (zh) | 面向工业互联网的5g和tsn协同流调度系统及方法 | |
| Tello-Oquendo et al. | SDN-based architecture for providing reliable Internet of Things connectivity in 5G systems | |
| Zhang et al. | Wireless/wired integrated transmission for industrial cyber-physical systems: risk-sensitive co-design of 5G and TSN protocols | |
| Hayat et al. | Signaling overhead reduction techniques in device-to-device communications: Paradigm for 5G and beyond | |
| Orozco-Santos et al. | Multicast scheduling in sdn wise to support mobile nodes in industrial wireless sensor networks | |
| Liu et al. | Ultra-reliable and low-latency communications using proactive multi-cell association | |
| Jerbi et al. | MSU-TSCH: A Mobile scheduling updated algorithm for TSCH in the internet of things | |
| Strinati et al. | Goal-oriented and semantic communication in 6G AI-native networks: The 6G-GOALS approach | |
| Wang et al. | A survey on the optimisation of age of information in wireless networks | |
| Luo et al. | Hierarchical computing network collaboration architecture for industrial Internet of Things | |
| Oechtering et al. | Stability region of an optimized bidirectional regenerative half-duplex relaying protocol | |
| Wen et al. | Asynchronous distributed optimization via dual decomposition for delay-constrained flying ad hoc networks | |
| Li et al. | Sliding-window-based RNC scheme in UAV multicasting: Performance analysis and network optimization | |
| Wang et al. | Dynamic cooperative secondary access in hierarchical spectrum sharing networks | |
| Yang et al. | Slicing allocation optimization based on MEC service-aware in 5G smart grids enabled surveillance system | |
| Yang et al. | Real-time scheduling over Markovian channels: when partial observability meets hard deadlines | |
| Wei et al. | On the age of information in wireless networks using rateless codes | |
| Deng et al. | Spectrum-aware Multi-hop Task Routing in Vehicle-assisted Collaborative Edge Computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |