CN111935724B - 基于异步深度强化学习的无线传感器网络拓扑优化方法 - Google Patents

基于异步深度强化学习的无线传感器网络拓扑优化方法 Download PDF

Info

Publication number
CN111935724B
CN111935724B CN202010641920.7A CN202010641920A CN111935724B CN 111935724 B CN111935724 B CN 111935724B CN 202010641920 A CN202010641920 A CN 202010641920A CN 111935724 B CN111935724 B CN 111935724B
Authority
CN
China
Prior art keywords
network
wireless sensor
sensor network
topological structure
training model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010641920.7A
Other languages
English (en)
Other versions
CN111935724A (zh
Inventor
邱铁
陈宁
李克秋
周晓波
赵来平
张朝昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010641920.7A priority Critical patent/CN111935724B/zh
Publication of CN111935724A publication Critical patent/CN111935724A/zh
Application granted granted Critical
Publication of CN111935724B publication Critical patent/CN111935724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开一种基于异步深度强化学习的无线传感器网络拓扑优化方法，利用无标度网络模型的规则生成初始化的无线传感器网络拓扑结构；压缩无线传感器网络拓扑结构；初始化异步深度强化学习模型；训练与测试阶段；在训练阶段，首先对无线传感器网络拓扑结构进行序列化，用一个行向量来表示无线传感器网络拓扑结构；然后，网络拓扑结构行向量分别输入到不同的本地网络训练模型中；其次，本地网络训练模型中包含两个神经网络模型，分别是动作选取策略网络和策略评估网络；测试阶段，全局网络训练模型对测试数据集进行测试评估；重复步骤1、2、3和4；直至最大的迭代次数。

Description

基于异步深度强化学习的无线传感器网络拓扑优化方法
技术领域
本发明涉及本发明主要涉及无线传感器网络技术领领域，特别是涉及一种基于异步深度强化学习的无线传感器网络拓扑优化方法。
背景技术
无线传感器网络作为智慧城市物联网中的一个重要网络组成部分，其扮演实时获取信息的重要角色，能够使得人们更多地获得想要的一些信息。通过分析这些数据，可以提高智慧城市的服务质量，帮助人们处理一些突发事件。无线传感器网络应用广泛，如智能家居、智能穿戴设备、智能交通、环境监测、国土安全、边境检测等。上述应用的前提是网络具有高鲁棒性能够将感测到的数据通过网络发送到服务器数据中心，相关人员或系统可以进行后续的紧急事件处理策略。因此，无线传感器网络在面对网络威胁时如何保证其网络通信能力具有重要的研究意义。
在无线传感器网络的拓扑优化中，节点通常被部署在固定的地点，并具有一定的通信范围限制。初始化网络拓扑的过程中，每个节点按照一种无标度模型来连接自己通信范围内的节点，这样能够最大程度的体现现实世界的网络拓扑特征——少数节点具有很大的连接个数，多数节点具有非常少的连接关系。网络拓扑鲁棒性的优化通常都需要保证网络节点的连接数，也就是度数，保持不变。因为在无标度网络模型中，初始化的网络拓扑抵御随机攻击威胁具有非常好的性能。随机攻击威胁，比如自然灾害、能量耗尽、节点故障等造成的不确定性网络节点失效。因此，在无标度网络模型下，大部分研究以提高网络拓扑结构抵御恶意攻击的能力为主要研究目标，主要通过优化每个节点通信范围内的连接关系，提高其网络拓扑结构抵御攻击的威胁以及保证鲁棒的数据传输能力。据我们所知，在无线传感器网络优化拓扑结构中，大部分研究者采用优化的演化算法来改变网络节点的连接关系已达到提高网络拓扑鲁棒的目标。如期刊“Deep Actor-Critic Learning-basedRobustness Enhancement of Internet of Things”提出了一种基于深度强化学习的智能无线传感器网络拓扑结构的策略，但是在模型的运行过程中，非常依赖于GPU的计算资源，而且数据的同构性会导致优化结果的震荡。在无线传感器网络拓扑结构优化中，利用新的智能算法来提高网络拓扑结构的鲁棒能力，不依赖于稀有的GPU资源，只利用一个机器的多核CPU处理器，重新设计一个异步的优化网络拓扑结构的策略。
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于异步深度强化学习的无线传感器网络拓扑优化方法，能在有效的提高网络鲁棒性能力的同时降低计算资源的依赖性和数据之间的关联性。提高网络拓扑抵抗恶意攻击的能力；降低优化网络拓扑的时间，延长网络运行的时间；保证数据的可靠传输。
本发明的目的是通过以下技术方案实现的：
基于异步深度强化学习的无线传感器网络拓扑优化方法，包括以下步骤：
步骤1.利用无标度网络模型的规则生成初始化的无线传感器网络拓扑结构；随机部署节点，新加入的无线传感器网络节点按照边密度参数进行连接；新加入的节点优先连接之前已存在的节点，保证无线传感器网络能够最大程度的描述现实世界的网络拓扑特征，同时固定节点的地理位置；每个节点具有相同的属性；
步骤2.压缩无线传感器网络拓扑结构；无线传感器网络中节点的信息包括节点ID、坐标、通信范围和邻居节点；无线传感器网络中节点的信息保存到中心服务器；采用邻接矩阵的上三角部分将无线传感器网络拓扑结构转换为拓扑状态行向量；其次，剔除非邻居节点的信息，进一步的降低存储无线传感器网络拓扑结构的空间；
步骤3.初始化异步深度强化学习模型；根据服务器的CPU核心数，每个CPU核初始化一个基于深度强化学习框架的本地网络训练模型，同时这些本地网络训练模型共享相同的内存空间，并初始化一个全局网络训练模型与其他本地网络训练模型共享模型参数；本地和全局网络训练模型的输入层和输出层的神经元个数根据无线传感器网络拓扑结构的行向量大小设置；随机初始化本地和全局网络训练模型的参数，初始化的参数是相同的；
步骤4.训练与测试阶段；在训练阶段，首先对无线传感器网络拓扑结构进行序列化，用一个行向量来表示无线传感器网络拓扑结构；然后，网络拓扑结构行向量分别输入到不同的本地网络训练模型中；其次，本地网络训练模型中包含两个神经网络模型，分别是动作选取策略网络和策略评估网络；动作选取策略网络根据输入层的数据输出选取的优化动作，策略评估网络用于评估上述动作选取策略的优劣，同时累计每次的学习经验并更新本地网络训练模型的参数；最后，每个本地网络训练模型每隔一段时间异步地与全局网络训练模型共享网络参数；
测试阶段，全局网络训练模型对测试数据集进行测试评估；
步骤5.重复步骤1、2、3和4；直至最大的迭代次数；上述过程中，当本地和全局的网络训练模型的训练效果不再变化时，认为达到最优结果；重复该实验，选取最优结果的平均值作为最终实验的结果。
与现有技术相比，本发明的技术方案所带来的有益效果是：
1.本发明利用深度强化学习框架设计了一种智能演化无线传感器网络拓扑结构鲁棒性的策略，解决传统算法的陷入局部最优解的问题，同时提高初始拓扑结构抵御攻击的能力。
2.本发明利用多核CPU的计算机特点不依赖于特殊硬件资源，设计一个异步学习的模型，加快网络优化的收敛时间，降低数据之间的关联性，提高整个网络在面临威胁时的通信能力。
附图说明
图1为本发明方法的流程示意图；
图2为异步深度强化学习无线传感器网络拓扑结构优化方法示意图；
具体实施方式
以下结合附图，对依据本发明设计的无线传感器网络拓扑结构优化方法的具体方式、结构、特征及作用详细说明如下。
步骤1：利用无标度网络模型的规则生成初始化的无线传感器网络拓扑结构X。随机部署网络拓扑节点，新加入无线传感器网络的节点按照边密度参数M进行连接。新加入的节点优先大概率地连接之前已存在的节点，保证无线传感器网络能够最大程度的描述现实世界的网络拓扑特征，同时固定节点的地理位置P。每个节点具有相同的属性。
其中，边密度参数设置为M＝2表示，无线传感器网络中的边数是节点数的2倍。
步骤2：压缩无线传感器网络拓扑结构。无线传感器网络中所有节点的信息包括节点ID、坐标、通信范围r和邻居节点保存到中心服务器。采用邻接矩阵的上三角部分将网络拓扑结构转换为行向量。其中，每个节点的信息只保留通信范围内的节点连接关系，进一步的降低存储空间，并将压缩后的无线传感器网络拓扑行向量作为环境空间S。
其中,每个节点的通信范围r根据不同的检测区域设定不同的范围值。S为一个行向量，该行向量会随着网络拓扑状态的改变而改变。
步骤3：初始化异步深度强化学习模型。根据深度学习与强化学习的特征和多核CPU的计算机特点，构建一种基于异步深度强化学习模型优化的无线传感器网络拓扑结构。通过本地网络训练模型与全局网络训练模型的参数共享，每个本地网络训练模型与全局网络训练模型都包含模拟动作选取策略网络π与网络评估优化策略Q，设计目标优化函数O与本地和全局网络训练模型的更新规则。
其中，动作选择策略网络π由式(1)定义。
at＝π(st|θ) (1)
式中at表示选取出来的确定性动作，st代表当前网络拓扑状态，θ表示动作网络的参数。当前网络拓扑结构状态st经过动作策略函数π，得到一个确定性的动作，该动作可以直接对当前网络拓扑结构进行操作。
其中，网络评估优化策略Q由式(2)定义，衡量选取出来的动作对环境空间的效果。
Q(st,at)＝E(r(st,at)+γQ(st+1,π(st+1))) (2)
式中r表示当前动作at对当前网络状态st的即时回报值，γ是折扣因子，累积学习经验。Q(st+1,π(st+1))表示在下个网络状态st+1下采取动作的未来回报值，st+1表示下一个时刻的网络状态。因此，当前动作对当前网络状态的效果Q(st,at)由即时回报值和未来回报值组成，E表示期望值，对一系列的动作选取策略累积之前的效果。
其中，异步深度强化学习模型的目标函数根据上述描述由式(3)定义，分为三个部分，动作选取策略Lπ，评估Lv和策略熵Lreg。
O(θ)＝E((λ1Lπ+λ2Lv+λ3Lreg)|π(,θ)) (3)
其中Lπ可以由动作选择策略函数π求导所得，由(4)定义。
Lπ＝π(s|θ) (4)
其中Lv可以由网络优化策略函数定义所得，定义为(5)。
Lv＝Ε(r1+γr2+γ2r3+...|π(,θ)) (5)
式中r表示每次动作对环境产生的效果，即回报值。γ代表折扣因子，累积学习经验。π(,θ)表示动作选取的策略，θ是动作策略网络的参数。E表示平均期望值，作为整个网络优化策略的评估函数值。
其中Lreg表示整个动作策略的熵，用来控制网络模型的大小。
式中，λ1,λ2,λ3是折扣因子，具体值根据实验效果设定。
其中，网络的更新规则由式(6)定义，
Figure BDA0002571462630000041
式(6)中的T表示预期目标值，θQ表示Q网络的参数。该式计算整个模型的误差，然后根据误差进行反馈。此外每个本地和全局网络训练模型中还分别包含两个目标网络，即动作选取策略目标网络π'，网络评估优化策略目标网络Q'。这两个目标网络是用来加快本地和全局的网络训练模型的学习速度。
步骤4：训练与测试模型。在训练阶段，通过动作选取策略网络π随机得到离散动作a，网络评估优化策略Q评估该动作a对当前环境的效果，同时累积之前的学习经验并更新整个网络模型，最后得到最优的结果。测试阶段，对样本数据进行测试，得到测试结果。在这个步骤中，主要考虑本地网络训练模型如何与全局网络训练模型进行参数共享。
其中本地网络训练模型更新参数阶段，动作选取策略网络更新原则由式(7)定义。
▽π＝Eπ[▽aQ(s,a)▽θπ(s)] (7)
式(7)中，动作选取策略网络更新原则是朝着使得动作策略取值最大的方向来更新，▽π表示对π求导，同理▽a，▽θ分别表示对a，θ求导，因此，选取出来的动作使得评估函数值最大。
当每个本地网络训练模型经过一定的迭代次数，产生了自身的网络参数θi，全局网络训练模型G(θ)根据此网络参数的梯度Δθi进行更新，由式(8)定义。
G(θ)＝θ+ηΔθi (8)
其中，η是折扣因子。本地网络训练模型的参数上传到了全局网络训练模型中，为了加快本地网络训练模型的速度，全局网络训练模型的参数向所有的本地网络训练模型更新其参数ΔL(θ)，由式(9)定义。
ΔL(θ)＝ΔG(θ) (9)
式(9)中，采用传递参数的梯度，保证所有网络参数的梯度式一样的。针对具体的网络参数更新规则由(10)定义。
Figure BDA0002571462630000051
式(10)中，τ表示目标网络的更新率。θQ′,θπ′表示目标网络中网络评估优化策略和动作选取策略网络。
步骤5：在一次独立重复实验中，周期性的重复步骤4；在多次独立重复实验中，周期性的重复步骤1、2、3和4；直至最大的迭代次数。在此过程中，最大的迭代次数被设置，每次独立重复实验，选取最优的结果。选取多次重复实验的平均值作为此次实验的结果。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (1)

1.基于异步深度强化学习的无线传感器网络拓扑优化方法，其特征在于，包括以下步骤：
步骤1.利用无标度网络模型的规则生成初始化的无线传感器网络拓扑结构；随机部署节点，新加入的无线传感器网络节点按照边密度参数进行连接；新加入的节点优先连接之前已存在的节点，保证无线传感器网络能够最大程度的描述现实世界的网络拓扑特征，同时固定节点的地理位置；每个节点具有相同的属性；
步骤2.压缩无线传感器网络拓扑结构；无线传感器网络中节点的信息包括节点ID、坐标、通信范围和邻居节点；无线传感器网络中节点的信息保存到中心服务器；采用邻接矩阵的上三角部分将无线传感器网络拓扑结构转换为拓扑状态行向量；其次，剔除非邻居节点的信息，进一步的降低存储无线传感器网络拓扑结构的空间；
步骤3.初始化异步深度强化学习模型；根据服务器的CPU核心数，每个CPU核初始化一个基于深度强化学习框架的本地网络训练模型，同时这些本地网络训练模型共享相同的内存空间，并初始化一个全局网络训练模型与其他本地网络训练模型共享模型参数；本地和全局网络训练模型的输入层和输出层的神经元个数根据无线传感器网络拓扑结构的行向量大小设置；随机初始化本地和全局网络训练模型的参数，初始化的参数是相同的；
步骤4.训练与测试阶段；在训练阶段，首先对无线传感器网络拓扑结构进行序列化，用一个行向量来表示无线传感器网络拓扑结构；然后，网络拓扑结构行向量分别输入到不同的本地网络训练模型中；其次，本地网络训练模型中包含两个神经网络模型，分别是动作选取策略网络和策略评估网络；动作选取策略网络根据输入层的数据输出选取的优化动作，策略评估网络用于评估上述动作选取策略的优劣，同时累计每次的学习经验并更新本地网络训练模型的参数；最后，每个本地网络训练模型每隔一段时间异步地与全局网络训练模型共享网络参数；
测试阶段，全局网络训练模型对测试数据集进行测试评估；
步骤5.重复步骤1、２、３和４；直至最大的迭代次数；当本地和全局的网络训练模型的训练效果不再变化时，认为达到最优结果；重复该方法，选取最优结果的平均值作为最终实验的结果。
CN202010641920.7A 2020-07-06 2020-07-06 基于异步深度强化学习的无线传感器网络拓扑优化方法 Active CN111935724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010641920.7A CN111935724B (zh) 2020-07-06 2020-07-06 基于异步深度强化学习的无线传感器网络拓扑优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010641920.7A CN111935724B (zh) 2020-07-06 2020-07-06 基于异步深度强化学习的无线传感器网络拓扑优化方法

Publications (2)

Publication Number Publication Date
CN111935724A CN111935724A (zh) 2020-11-13
CN111935724B true CN111935724B (zh) 2022-05-03

Family

ID=73312583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010641920.7A Active CN111935724B (zh) 2020-07-06 2020-07-06 基于异步深度强化学习的无线传感器网络拓扑优化方法

Country Status (1)

Country Link
CN (1) CN111935724B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112631717B (zh) * 2020-12-21 2023-09-05 重庆大学 基于异步强化学习的网络服务功能链动态部署系统及方法
CN113435567B (zh) * 2021-06-25 2023-07-07 广东技术师范大学 基于流量预测的智能拓扑重构方法、电子设备、存储介质
CN113923123B (zh) * 2021-09-24 2023-06-09 天津大学 一种基于深度强化学习的水下无线传感器网络拓扑控制方法
CN114139688A (zh) * 2021-12-09 2022-03-04 福州大学 基于马尔可夫链共识的工业物联网分布式联邦学习方法
CN115967631A (zh) * 2022-12-19 2023-04-14 天津大学 一种基于宽度学习的物联网拓扑优化方法及其应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554844A (zh) * 2016-01-22 2016-05-04 大连理工大学 一种无线传感器网络拓扑构建方法
CN110443364A (zh) * 2019-06-21 2019-11-12 深圳大学 一种深度神经网络多任务超参数优化方法及装置
CN110807230A (zh) * 2019-10-29 2020-02-18 天津大学 一种自主学习优化物联网拓扑结构鲁棒性的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3872715A1 (en) * 2015-11-12 2021-09-01 Deepmind Technologies Limited Asynchronous deep reinforcement learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105554844A (zh) * 2016-01-22 2016-05-04 大连理工大学 一种无线传感器网络拓扑构建方法
CN110443364A (zh) * 2019-06-21 2019-11-12 深圳大学 一种深度神经网络多任务超参数优化方法及装置
CN110807230A (zh) * 2019-10-29 2020-02-18 天津大学 一种自主学习优化物联网拓扑结构鲁棒性的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Actor–Critic Learning-Based Robustness Enhancement;Ning Chen 等;《IEEE Internet of Things Journal》;20200101;全文 *

Also Published As

Publication number Publication date
CN111935724A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111935724B (zh) 基于异步深度强化学习的无线传感器网络拓扑优化方法
Sun et al. Adaptive federated learning and digital twin for industrial internet of things
CN110807230B (zh) 一种自主学习优化物联网拓扑结构鲁棒性的方法
CN112598150A (zh) 一种在智能电厂中基于联邦学习提升火灾检测效果的方法
CN110346654A (zh) 基于普通克里金插值的电磁频谱地图构建方法
Zhang et al. Evolving pseudofractal networks
He et al. Three-stage stackelberg game enabled clustered federated learning in heterogeneous UAV swarms
Hu et al. Deterministic ripple-spreading model for complex networks
CN116647459A (zh) 一种多智能体协同进化的物联网拓扑鲁棒优化方法
CN113422695A (zh) 一种提高物联网拓扑结构鲁棒性能的优化方法
CN114708479B (zh) 一种基于图结构和特征的自适应防御方法
Liu et al. Optimal network defense strategy selection method based on evolutionary network game
CN109889525A (zh) 多通信协议智能感知方法
Banerjee et al. Boosting exploration in actor-critic algorithms by incentivizing plausible novel states
CN115801549B (zh) 基于关键节点识别的自适应网络恢复方法、装置及设备
CN112312299A (zh) 服务卸载方法、装置及系统
CN104680263B (zh) 基于粒子群算法的电力运输网络拓扑结构设计方法
Campbell et al. Asynchronous distributed iot-enabled customer characterization in distribution networks: Theory and hardware implementation
CN114599043A (zh) 一种基于深度强化学习的空天地一体化网络资源分配方法
CN115238134A (zh) 用于生成图数据结构的图向量表示的方法及装置
CN114997422A (zh) 一种异构通信网络的分组式联邦学习方法
Yang et al. Overcoming set imbalance in data driven parameterization: A case study of gravity wave momentum transport
An et al. Robust Topology Generation of Internet of Things Based on PPO Algorithm Using Discrete Action Space
CN117395164B (zh) 工业物联网的网络属性预测方法及系统
Li et al. An Asynchronous Model Parameter Update Method for Electric Power Horizontal Federated Learning Scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant