CN114800545B - 一种基于联邦学习的机器人控制方法 - Google Patents

一种基于联邦学习的机器人控制方法 Download PDF

Info

Publication number
CN114800545B
CN114800545B CN202210230205.3A CN202210230205A CN114800545B CN 114800545 B CN114800545 B CN 114800545B CN 202210230205 A CN202210230205 A CN 202210230205A CN 114800545 B CN114800545 B CN 114800545B
Authority
CN
China
Prior art keywords
local
node
aggregation
data
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210230205.3A
Other languages
English (en)
Other versions
CN114800545A (zh
Inventor
苏德瑜
张锴
杨庚雨
王平江
黄瑞
王乔羽
何静
张志旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou-Hust Intelligent Manufacturing Future
Huazhong University of Science and Technology
Original Assignee
Quanzhou-Hust Intelligent Manufacturing Future
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou-Hust Intelligent Manufacturing Future, Huazhong University of Science and Technology filed Critical Quanzhou-Hust Intelligent Manufacturing Future
Publication of CN114800545A publication Critical patent/CN114800545A/zh
Application granted granted Critical
Publication of CN114800545B publication Critical patent/CN114800545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供一种基于联邦学习的机器人控制方法，包括如下步骤：A、聚合节点向各本地节点发送训练请求；B、本地节点利用当前所积累的运行数据在本地模型进行训练，并将训练所得数据发送至聚合节点；C、若聚合计算次数n＝1，则计算全模型及对应于该全模型的全准确率，并进入步骤D；若n＞N+1，则进入步骤E；D、聚合节点将所有本地节点划分为重要节点和非重要节点，并进入步骤A；E、聚合节点根据重要节点的数据进行聚合计算，并进入步骤F；F、第二周期T2后，需要时向聚合节点发送更新请求，进入步骤A。本发明能够保证机器人的工作精度始终保持在一个较高的水平，且能够在保证本地模型精度的前提下，减少聚合计算过程中计算资源的开销及通讯开销。

Description

一种基于联邦学习的机器人控制方法
技术领域
本发明涉及一种基于联邦学习的机器人控制方法。
背景技术
随着我国数字化技术发展的大潮来临，人工智能，大数据和智能机器人产业迎来了爆发式增长，技术革新速度不断加快，产业落地应用不断增多，将科学技术的进步引领到传统产业升级的方方面面。现有的工业互联网技术会把生产线上的各种机器人在雕刻、焊接、分拣、拼装等工序过程中的生产数据进行本地收集，并通过网络终端设备上传到云端大数据平台上，再由平台把相同工序和型号的机器人数据进行归集并采用传统机器学习算法进行训练。最后把训练不断优化得到的模型参数下发给各网络终端设备，再发送到末端机器人控制器进行本地控制算法优化，提高轨迹精度与工作效率。
但这存在如下问题：中小型企业受限于规模无法获得足够多的生产数据进行模型训练，如果由多个中小企业共享一个云端平台，则参与方会担心自己的上传到云端的工艺参数数据被同行窃取，进而导致行业内的恶性竞争(生产工艺被复制，产品被仿造，竞争者进行恶性价格竞争)。因此现有的大部分云端大数据训练平台，空有运行架构，却缺少真实数据，难以发挥其真正的作用。
将联邦学习应用于机器人控制方面，能够避免上述数据泄露的问题，但是现有的基于联邦学习的控制方案中，本地模型在经过一次聚合计算的更新后，就不会再更新，这样在运行一段时间后，若原有的机器人运行轨迹或者实际使用场景有了调整，本地模型与机器人的适配性会受到较大影响，导致机器人工作精度降低。
发明内容
本发明提出一种基于联邦学习的机器人控制方法，本地模型根据机器人实际运行情况进行更新，保证机器人的工作精度始终保持在一个较高的水平，且能够在保证本地模型精度的前提下，减少聚合计算过程中计算资源的开销及通讯开销。
本发明通过以下技术方案实现：
一种基于联邦学习的机器人控制方法，本地节点按照第一周期T1不间断地周期性获取机器人的运行数据，并包括如下步骤：
A、云端聚合节点向各本地节点发送训练请求；
B、本地节点在接收到云端聚合节点发送的训练请求后，利用当前所积累的运行数据在本地模型进行训练，并将训练所得数据发送至聚合节点；
C、聚合节点判断聚合计算次数n，若聚合计算次数n＝1，则根据各本地节点的数据进行聚合计算，得到全模型及对应于该全模型的全准确率，并进入步骤D；若聚合计算次数n＞N+1，则进入步骤E，其中，N为本地节点
个数；
D、聚合节点分别进行N次聚合计算，每次聚合计算均剔除一个未被剔除过的本地节点的数据，得到N个局部模型及分别对应于N个局部模型的N个局部准确率，根据全准确率分别与N个局部准确率的差值，将所有本地节
点划分为重要节点和非重要节点，并进入步骤A；
E、聚合节点根据重要节点的数据进行聚合计算，将训练生成的新的模型参数发送至各节点，各节点根据该模型参数更新本地模型，机器人根据更新
后的本地模型所规划的运行参数运行，并进入步骤F；
F、第二周期T2后，本地节点利用当前所积累的运行数据在本地模型进行训练，当训练所得数据与上一次训练所得数据之差超过设定的第一阈值时，向聚合节点发送更新请求，当发送聚合节点请求的本地节点比例超过设定的第二阈值时，进入步骤A。
进一步的，所述步骤E中，若机器人运行精度达不到预设值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将增加一个非重要节点的数据，若运行精度超过预设值一定值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将减少一个重要节点的数据。
进一步的，所述步骤D中，得到全准确率与N个局部准确率的差值后，将这N个差值由大至小排序，将前L个差值对应的本地节点划分为重要节点，其余本地节点划分为非重要节点。
进一步的，所述步骤C中，所述全准确率的获取过程为：聚合节点利用云端本身具有的测试数据对全模型进行测试，从而得到全准确率。
进一步的，所述步骤B中，本地节点将训练所得数据加密后再发送至聚合节点。
进一步的，所述步骤F中，第二阈值的取值范围为[1/3,2/3]。
进一步的，所述运行数据包括机器人运行状态参数、机器人所加工的产品数据以及加工数据。
进一步的，所述训练所得数据为梯度值。
本发明具有如下有益效果：
1、本发明的本地节点在机器人运行过程中，按照第一周期T1不间断地周期性获取机器人的运行数据，积累的运行数据将越来越多，在第一次根据聚合计算数据更新本地模型后，本地节点会在第二周期T2后，利用当前所积累的运行数据进行本地训练，当训练所得数据与上一次训练所得数据之差超过设定的第一阈值时，则向聚合节点发送更新请求，当大部分本地节点都需要更新请求时，则会进行新的一轮聚合计算，从而再次更新本地模型，并以此长期对本地模型进行更新，因机器人的运行轨迹和使用场景不可能是一成不变的，因此将新获取的运行数据加入训练，必然能够使本地模型与机器人的适配度一直保持高水平，从而保证机器人运行轨迹的高精度，且工作时间越长，机器人轨迹精度会越高；然而，积累的运行数据越来越多，必然导致聚合计算本就不小的计算和通讯开销变得更大，这显然不利于实际应用，联邦学习中不同的本地节点所收集到的数据是不一样的，而不同的数据在聚合计算过程中所起的作用也不相同，重要节点和非重要节点对训练结果的影响差距是非常大的，因此本发明通过将所有本地节点分为重要节点和非重要节点来减少聚合计算的数据，如此能够大大降低聚合节点训练的计算复杂度和时间复杂度，减少训练过程中计算资源的开销与通讯开销，同时又不会使本地模型精确度的损失很大，这在运行时间长后运行数据积累多的情况下能够起到非常好的效果。
2、在实际运行中，若机器人的运行精度达不到预设值，则在下一轮聚合计算中增加一个非重要节点的数据，直到运行精度达到预设值，而若运行精度过高，则减少一个重要节点的数据，如此能够进一步提高本地模型的精确度，且避免不必要的资源浪费。
附图说明
下面结合附图对本发明做进一步详细说明。
图1为本发明的流程图。
具体实施方式
如图1所示，基于联邦学习的机器人控制方法中，联邦学习模型包括一个聚合节点和若干本地节点，本地节点为服务器，服务器上运行有本地模型，本地节点按照第一周期T1(在本实施中，T1＝100ms)不间断地周期性获取机器人的运行数据，运行数据包括机器人运行状态参数、机器人所加工的产品数据以及加工数据等。
基于联邦学习的机器人控制方法包括如下步骤：
A、云端聚合节点向各本地节点发送训练请求的广播；
B、本地节点在接收到云端聚合节点发送的训练请求后，利用当前所积累的运行数据在本地模型进行训练，训练结束后调用加密函数的API接口，将训练所得的梯度值进行加密，再将加密后的梯度值发送至聚合节点；
C、聚合节点收到梯度值，调用解密函数的API接口，对梯度值进行解密后，判断聚合计算次数n，若聚合计算次数n＝1，则根据各本地节点的梯度值进行聚合计算，得到全模型及对应于该全模型的全准确率，并进入步骤D；若聚合计算次数n＞N+1，则进入步骤E，其中，N为本地节点个数；加密和解密的具体过程均为现有技术；
其中，判断聚合计算次数n的过程为现有技术；
得到全准确率的过程为：云端本身存有已知的测试数据，通过聚合计算得到全模型后，利用测试数据对全模型进行测试，即可得到全准确率；
D、聚合节点分别进行N次聚合计算，每次聚合计算均剔除一个未被剔除过的本地节点的数据，得到N个局部模型及分别对应于N个局部模型的N个局部准确率，根据全准确率分别与N个局部准确率的差值，将所有本地节点划分为重要节点和非重要节点，并进入步骤A，获取局部准确率的过程与全准确率的过程相同；全准确率相对各局部准确率，应该是最高的；
得到全准确率与N个局部准确率的差值后，将这N个差值由大至小排序，将前L个差值对应的本地节点划分为重要节点，其余本地节点划分为非重要节点；L的具体取值根据实际工况认为设定；
E、聚合节点根据重要节点的数据进行聚合计算，将训练生成的新的模型参数发送至各节点，各节点根据该模型参数更新本地模型，机器人根据更新后的本地模型所规划的运行参数运行，并进入步骤F；
其中，若机器人运行精度达不到预设值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将增加一个非重要节点的数据，依此规律，直至运行精度达到预设值，若运行精度超过预设值一定值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将减少一个重要节点的数据，依此规律，直至运行精度与预设值基本相同，以避免浪费运算资源；
F、第二周期T2后，本地节点利用当前所积累的运行数据在本地模型进行训练，当训练所得梯度值与上一次训练所得梯度值之差超过设定的第一阈值时，向聚合节点发送更新请求，当发送聚合节点请求的本地节点比例超过设定的第二阈值时，进入步骤A，该第二周期T2、第一阈值的具体取值均根据实际工况而认为设定，第二阈值的取值范围为[1/3,2/3]，在本实施例中，
第二阈值为1/3。
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (8)

1.一种基于联邦学习的机器人控制方法，其特征在于：本地节点按照第一周期T1不间断地周期性获取机器人的运行数据，并包括如下步骤：
A、云端聚合节点向各本地节点发送训练请求；
B、本地节点在接收到云端聚合节点发送的训练请求后，利用当前所积累的运行数据在本地模型进行训练，并将训练所得数据发送至聚合节点；
C、聚合节点判断聚合计算次数n，若聚合计算次数n＝1，则根据各本地节点的数据进行聚合计算，得到全模型及对应于该全模型的全准确率，并进入步骤D；若聚合计算次数n＞N+1，则进入步骤E，其中，N为本地节点个数；
D、聚合节点分别进行N次聚合计算，每次聚合计算均剔除一个未被剔除过的本地节点的数据，得到N个局部模型及分别对应于N个局部模型的N个局部准确率，根据全准确率分别与N个局部准确率的差值，将所有本地节点划分为重要节点和非重要节点，并进入步骤A；
E、聚合节点根据重要节点的数据进行聚合计算，将训练生成的新的模型参数发送至各节点，各节点根据该模型参数更新本地模型，机器人根据更新后的本地模型所规划的运行参数运行，并进入步骤F；
F、第二周期T2后，本地节点利用当前所积累的运行数据在本地模型进行训练，当训练所得数据与上一次训练所得数据之差超过设定的第一阈值时，向聚合节点发送更新请求，当发送聚合节点请求的本地节点比例超过设定的第二阈值时，进入步骤A。
2.根据权利要求1所述的一种基于联邦学习的机器人控制方法，其特征在于：所述步骤E中，若机器人运行精度达不到预设值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将增加一个非重要节点的数据，若运行精度超过预设值一定值，则本地节点向聚合节点发送请求，聚合节点在下一轮聚合计算中将减少一个重要节点的数据。
3.根据权利要求2所述的一种基于联邦学习的机器人控制方法，其特征在于：所述步骤D中，得到全准确率与N个局部准确率的差值后，将这N个差值由大至小排序，将前L个差值对应的本地节点划分为重要节点，其余本地节点划分为非重要节点。
4.根据权利要求1或2或3所述的一种基于联邦学习的机器人控制方法，其特征在于：所述步骤C中，所述全准确率的获取过程为：聚合节点利用云端本身具有的测试数据对全模型进行测试，从而得到全准确率。
5.根据权利要求1或2或3所述的一种基于联邦学习的机器人控制方法，其特征在于：所述步骤B中，本地节点将训练所得数据加密后再发送至聚合节点。
6.根据权利要求1或2或3所述的一种基于联邦学习的机器人控制方法，其特征在于：所述步骤F中，第二阈值的取值范围为[1/3,2/3]。
7.根据权利要求1或2或3所述的一种基于联邦学习的机器人控制方法，其特征在于：所述运行数据包括机器人运行状态参数、机器人所加工的产品数据以及加工数据。
8.根据权利要求1或2或3所述的一种基于联邦学习的机器人控制方法，其特征在于：所述训练所得数据为梯度值。
CN202210230205.3A 2022-01-18 2022-03-09 一种基于联邦学习的机器人控制方法 Active CN114800545B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210052454 2022-01-18
CN2022100524548 2022-01-18

Publications (2)

Publication Number Publication Date
CN114800545A CN114800545A (zh) 2022-07-29
CN114800545B true CN114800545B (zh) 2023-10-27

Family

ID=82528059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210230205.3A Active CN114800545B (zh) 2022-01-18 2022-03-09 一种基于联邦学习的机器人控制方法

Country Status (1)

Country Link
CN (1) CN114800545B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955907A (zh) * 2019-12-13 2020-04-03 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111324440A (zh) * 2020-02-17 2020-06-23 深圳前海微众银行股份有限公司 自动化流程的执行方法、装置、设备及可读存储介质
CN113158550A (zh) * 2021-03-24 2021-07-23 北京邮电大学 一种联邦学习方法、装置、电子设备及存储介质
CN113204787A (zh) * 2021-05-06 2021-08-03 广州大学 基于区块链的联邦学习隐私保护方法、系统、设备和介质
CN113570065A (zh) * 2021-07-08 2021-10-29 国网河北省电力有限公司信息通信分公司 基于联盟链和联邦学习的数据管理方法、装置及设备
WO2021232754A1 (zh) * 2020-05-22 2021-11-25 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955907A (zh) * 2019-12-13 2020-04-03 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111324440A (zh) * 2020-02-17 2020-06-23 深圳前海微众银行股份有限公司 自动化流程的执行方法、装置、设备及可读存储介质
WO2021232754A1 (zh) * 2020-05-22 2021-11-25 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及计算机可读存储介质
CN113158550A (zh) * 2021-03-24 2021-07-23 北京邮电大学 一种联邦学习方法、装置、电子设备及存储介质
CN113204787A (zh) * 2021-05-06 2021-08-03 广州大学 基于区块链的联邦学习隐私保护方法、系统、设备和介质
CN113570065A (zh) * 2021-07-08 2021-10-29 国网河北省电力有限公司信息通信分公司 基于联盟链和联邦学习的数据管理方法、装置及设备

Also Published As

Publication number Publication date
CN114800545A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN106027300B (zh) 一种应用神经网络的智能机器人参数优化系统及方法
CN110187647B (zh) 模型训练方法及系统
CN111629380B (zh) 面向高并发多业务工业5g网络的动态资源分配方法
WO2021057245A1 (zh) 带宽预测方法、装置、电子设备及存储介质
CN110363355B (zh) 一种氧化铝生产指标的云-边协同预报系统及方法
CN110213784B (zh) 一种流量预测方法及装置
CN113037783B (zh) 一种异常行为检测方法及系统
CN111182564A (zh) 一种基于lstm神经网络的无线链路质量预测方法
CN112036788B (zh) 数据处理方法、装置、可读存储介质和电子设备
GB2589472A (en) Distributed control system using asynchronous services in a wellbore
CN117931424A (zh) 一种云环境的网络资源调度优化系统
CN117892886B (zh) 基于置信区间的船舶运动极短期概率预报方法及系统
CN114553661A (zh) 一种面向无线联邦学习的移动用户设备分簇训练方法
CN116235529A (zh) 实现多个接入网络设备的自组织网络的方法和执行该方法的电子装置
CN111343006B (zh) 一种cdn峰值流量预测方法、装置及存储介质
CN114800545B (zh) 一种基于联邦学习的机器人控制方法
CN115809785A (zh) 一种智慧工地管理系统
CN110601916A (zh) 一种基于机器学习的流量采样和应用感知的系统
CN112486676B (zh) 一种基于边缘计算的数据共享分发装置
CN110163224B (zh) 一种可在线学习的辅助数据标注方法
CN110017838A (zh) 航班飞行轨迹预测方法、设备、介质及系统
CN114609969B (zh) 一种基于云计算的数控机床轨迹误差补偿方法
CN114401192A (zh) 一种多sdn控制器协同训练方法
CN104734898B (zh) 一种基于社交网络分析的业务推荐方法和系统
CN116778363B (zh) 一种基于联邦学习的低通信量库区水环境风险识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant