CN112308240A - 基于联邦学习的边缘侧机器协同与优化的系统 - Google Patents

基于联邦学习的边缘侧机器协同与优化的系统 Download PDF

Info

Publication number
CN112308240A
CN112308240A CN202011186697.8A CN202011186697A CN112308240A CN 112308240 A CN112308240 A CN 112308240A CN 202011186697 A CN202011186697 A CN 202011186697A CN 112308240 A CN112308240 A CN 112308240A
Authority
CN
China
Prior art keywords
model
edge side
task
training
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011186697.8A
Other languages
English (en)
Inventor
毕得
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011186697.8A priority Critical patent/CN112308240A/zh
Publication of CN112308240A publication Critical patent/CN112308240A/zh
Priority to US17/451,434 priority patent/US20220138626A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/501—Performance criteria
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/42—Anonymization, e.g. involving pseudonyms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/80—Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于联邦学习的边缘侧机器协同与优化的系统，包括：R个联邦学习系统，R≥1，模型参数分发单元，以及模型训练和优化单元。R个联邦学习系统中第i个联邦学习系统包括运行经验分布不均匀的Mi个边缘侧机器，Mi≥2，i＝1、2、……、R。模型参数分发单元用于向Mi个边缘侧机器分发联邦学习的初始参数，接收中间模型参数，以及将接收的中间模型参数进行聚合与更新，得到新模型参数。模型训练和优化单元用于基于初始参数和各自的运行数据对本地的运行模型进行训练，将训练之后得到中间模型参数发送至模型参数分发单元；以及根据新模型参数得到系统协同运行模型。其中，本地的运行模型为针对不同的运行环境进行工作响应的模型。

Description

基于联邦学习的边缘侧机器协同与优化的系统
技术领域
本公开属于数字化系统集成技术领域，涉及一种基于联邦学习的边缘侧机器协同与优化的系统。
背景技术
万物互联的发展，边缘计算的兴起，工业互联网的快速普及，这些变化和发展都使得每个边缘侧、终端的设备、机器都成为一个大数据的主体。如车间的加床、自动搬运机器人(AGV)、工业机器人，矿山中的开采机、运输车，以及各种巡检机器人、无人驾驶的智能汽车，都是大数据的来源主体，也是数据计算与应用的载体。但这些大量的数据处于数据安全等方面的考虑，形成大量的数据孤岛，并未有效应用，没有能够形成数据对单机运行优化、系统运行、业务需求的支撑应用能力。
工业智能化的推进需要高价值的数据应用，工业应用程序app的开发，工业机理的建模，工厂工艺与流程的优化，特定场景工况的调整与响应，机器设备与业务需求的系统，系统中多机器之间的工作协同，都需要机器之间的数据有效共享与应用。当前智能机器可产生海量数据，但缺乏有效的工具与方式能够在保证数据安全可信的前提下，在边缘侧将每台设备和机器上的大数据有针对性的应用起来。
当下边缘侧机器设备的学习与优化，大多数采用人工智能(AI)建模与部署大多集中于云上进行训练和建模，然后边缘侧部署应用的方式。国内某工业互联网平台基于TensorFlow平台，开发出对机器轴承进行剩余使用寿命预测和健康评估分析的算法模型，将其部署到云端进行训练与预测，以应用程序编程接口(API)的方式为用户提供相应的服务。该服务要求用户将设备的运转数据实时上传，在系统平台数据服务层对数据进行清洗、转换和预处理操作。这种方式无法保证边缘侧的数据隐私，机器设备运行过程中产生的所有数据都将被AI服务商所收集。
当下很多企业存在“信息系统、智能系统越多、信息孤岛越多”的痛点。企业的数据最终目的是被理解和使用，但大量企业数据存储与应用体系缺乏与最新的大数据技术方案和生态对接，很难将数据有效的与业务需求匹配起来，很难将企业数据资源转化为数据资产。
随着物联网时代数据体量的不断增大，云计算的中心化模式在部分业务场景中的效果并不理想，如对时延较高的工业现场的机器设备，云管控中的通讯时延会影响到执行效能和用户体验。
发明内容
(一)要解决的技术问题
本公开提供了一种基于联邦学习的边缘侧机器协同与优化的系统，以至少部分解决以上所提出的技术问题。
(二)技术方案
本公开的一个方面提供了一种基于联邦学习的边缘侧机器协同与优化的系统。上述系统包括：R个联邦学习系统，R≥1，模型参数分发单元，以及模型训练和优化单元。R个联邦学习系统中第i个联邦学习系统包括Mi个边缘侧机器，Mi≥2，i＝1、2、……、R，Mi个边缘侧机器的运行经验分布不均匀。模型参数分发单元用于向第i个联邦学习系统中的Mi个边缘侧机器分发联邦学习的初始参数，接收由模型训练和优化单元发送的中间模型参数，以及将接收的中间模型参数进行聚合与更新，得到新模型参数。模型训练和优化单元分别设置于Mi个边缘侧机器中每个边缘侧机器内。模型训练和优化单元用于基于模型参数分发单元分发的初始参数和各自的运行数据对本地的运行模型进行训练，将训练之后得到中间模型参数发送至模型参数分发单元；以及根据新模型参数得到第i个联邦学习系统的系统协同运行模型。其中，本地的运行模型为针对不同的运行环境进行工作响应的模型。
根据本公开的实施例，Mi个边缘侧机器中存在运行经验低于预定要求的特定Ti个边缘侧机器，1≤Ti＜Mi。上述系统还包括：场景特征模型优化单元。该场景特征模型优化单元设置于特定Ti个边缘侧机器内，用于基于系统协同运行模型和特定Ti个边缘侧机器的工作场景特征进行模型优化，以增加单机智能，提升特定T个边缘侧机器对所在环境的响应与任务执行能力。
根据本公开的实施例，运行经验低于预定要求包括以下的一种：所经历的运行场景的个数低于预定值；或者，运行数据量低于预定数量；或者，运行时间低于预定值。
根据本公开的实施例，当第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私可见的组织时，中间模型参数发送时无需加密。当第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私不可见的组织时，中间模型参数发送时需要进行加密。
根据本公开的实施例，加密包括：同态加密，上述同态加密包括全同态加密。
根据本公开的实施例，上述系统还包括：机器选拔单元，任务模型参数分发单元，以及任务模型训练和优化单元。机器选拔单元用于选拔R个联邦学习系统内各个联邦学习系统中针对目标任务的执行表现分值高于预定值的边缘侧机器，得到任务训练联盟。任务模型参数分发单元用于向任务训练联盟中的各个边缘侧机器分发任务初始参数，接收由任务模型训练和优化单元发送的任务模型中间参数，以及将接收的任务模型中间参数进行聚合与更新，得到任务模型新参数。任务模型训练和优化单元分别设置于任务训练联盟中的各个边缘侧机器内，用于基于任务模型参数分发单元分发的任务初始参数和各自的运行数据对本地的针对目标任务的运行模型进行训练，将训练之后得到任务模型中间参数加密后发送至任务模型参数分发单元；以及根据任务模型新参数得到任务训练联盟的系统协同执行任务模型。其中，本地的针对目标任务的运行模型为在不同的运行环境下执行目标任务的模型。
根据本公开的实施例，模型参数分发单元还用于联邦学习系统内活动数据的记录与统计，联邦学习系统内活动数据的记录与统计包括：参与计算的边缘侧机器的数量、模型传递的次数、更新模型参数的发送和收敛性判断。
根据本公开的实施例，模型参数分发单元由Mi个边缘侧机器中运算能力和存储能力符合预定要求的一个边缘侧机器充当。
根据本公开的实施例，模型参数分发单元由能够与M个边缘侧机器进行通信的云端服务器或边缘侧服务器充当。
根据本公开的实施例，R个联邦学习系统中第i个联邦学习系统内的Mi个边缘侧机器还包括：数据采集模块，存储单元，计算单元，以及通信模块。数据采集模块用于采集图像、运动轨迹、运行数据以及环境响应数据。存储单元，用于存储运行数据，以供模型训练。计算单元的其中一部分被配置为执行既定工作任务，另一部分用于执行联邦学习的任务。通信模块支持有线通信和无线通信，无线通信包含5G通信模组。
(三)有益效果
从上述技术方案可以看出，本公开提供的基于联邦学习的边缘侧机器协同与优化的系统，具有以下有益效果：
(1)将边缘侧机器组成联邦学习系统，基于系统协同运行模型的训练可以提升单台机器的智能化水平，优化和提升单台机器运行效能，加快单机智能化进程，提升对工况环境的快速调整与适应能力，不断优化工作效能。
(2)促进智能机器之间的协同，有效分配与应用计算和存储资源，机器的高价值应用，提升硬件资产应用率，改善硬件资产贬值。
(3)促进数据应用与模型训练，加速AI场景化应用，加速数据向价值的转化。
(4)数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求。
(5)破除数据孤岛，提升孤岛数据的协同应用。
(6)提升系统内的机器之间协同工作，优化系统任务的快速分解，系统应对更加复杂性、环境动态变化性工作任务的适应性增强，如生产制造环境下优化工艺与流程，提升系统的整体效能。
(7)基于任务训练联盟中各成员的共同训练得到的系统协同执行任务模型，可以提升整个系统效能，如同一集团企业可能拥有N家具有相同或类似机器设备和生产任务的工厂，但各个工厂的效能会有所差异，通过基于联邦学习的单机数据训练和建模的优化，进一步进行系统之间的机器数据训练与性能优化。
附图说明
图1为根据本公开一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构示意图。
图2为根据本公开另一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构框图。
图3为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构和应用示意图。
图4为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的框架示意图。
具体实施方式
联邦学习由谷歌在2016年率先提出，旨在数据不共享的情况下完成联合建模。即数据拥有方持有的数据不会离开本地，通过联邦系统中加密机制下的参数交换方式，建立基于分布式数据集的全局共享模型，建好的模型为本地的计算目标服务，模型信息能够以加密或者不加密形式在各方之间交换，但数据不能脱离本地，这样不会暴露数据的隐私，不会发生数据泄露。
国内部分公司也在部分行业展开研究并取得一定进展，有的将联邦学习技术应用于银行和保险等金融领域；有的利用联邦学习实现电商数据的多方协同和授权共享，应用于智能信贷和风控；有的将联邦学习应用于医疗、金融等领域。
但将联邦学习应用于机器设备以提升生产运营效能领域的研究和创新还较少。
基于云架构的边缘侧机器运行管控方式不能够快速、小数据样本的适应环境变化，其应对环境变化存在滞后和需要大量样本学习等不足。如对于某些如户外巡检机器人的功能性机器设备，其工作场景变化较大，生产商很难预先做好全方位的准备，所以需要这些机器能够具有学习和理解不同场景的能力。
本公开提出的基于联邦学习的边缘侧机器协同与优化的系统融合了联邦学习的优点，基于联邦学习在保证数据不脱离拥有方(可以是机器、工厂、企业)以及保证数据安全可信应用的基础上推进数据应用。将联邦学习应用边缘侧机器设备之间的数据协同建模，可有效加速边缘侧机器之间的数据流通与共享，推进工业机理的模型构建与训练，优化机器应对不同工况的工作质量，增强与环境和业务流程的协同，提升运行效能。可提升同类机器甚至是不同类设备应用小数据训练与学习的能力，提升对环境的适应与响应能力。
本公开通过联邦学习方式进行边缘侧机器之间的数据建模与应用，在保证数据安全可信的前提下，应用不同机器上的数据，进行模型训练和模型推理，保证数据在不泄密的前提下的边缘侧应用，改善传统数据集中于云端进行数据分析与建模的集中应用模式。本公开为促进不同机器之间数据应用与工业机理建模，并最终为优化机器运行、改善工况、提升单机及系统工作效能提供支撑。
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
本公开的第一个示例性实施例提供了一种基于联邦学习的边缘侧机器协同与优化的系统。
图1为根据本公开一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构示意图。图2为根据本公开另一实施例所示的基于联邦学习的边缘侧机器防同与优化的系统的结构框图。图3为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构和应用示意图。
参照图1-图3所示，本公开的基于联邦学习的边缘侧机器协同与优化的系统，包括：R个联邦学习系统，R≥1，模型参数分发单元，以及模型训练和优化单元。R个联邦学习系统中第i个联邦学习系统包括Mi个边缘侧机器，Mi≥2，i＝1、2、……、R，Mi个边缘侧机器的运行经验分布不均匀。
上述R个联邦学习系统中第i个联邦学习系统包含的边缘侧机器与第j个联邦学习系统可以有重叠，j≠i，j＝1、2、……、R，根据实际场景和任务需要进行联邦学习系统的组织构建。
在图1中将Mi个边缘侧机器分别示意为机器A、机器B、机器C、机器D、……、机器Mi。
模型参数分发单元用于向第i个联邦学习系统中的Mi个边缘侧机器分发联邦学习的初始参数，接收由模型训练和优化单元发送的中间模型参数，以及将接收的中间模型参数进行聚合与更新，得到新模型参数。
根据本公开的实施例，参照图2和图3所示，模型参数分发单元由Mi个边缘侧机器中运算能力和存储能力符合预定要求的一个边缘侧机器充当，例如图2中示意的由机器B充当模型参数分发单元，在机器B中会留出一部分运算资源和存储资源用于实现模型参数分发单元的功能。
根据本公开的实施例，参照图1和图3所示，模型参数分发单元由能够与M个边缘侧机器进行通信的云端服务器或边缘侧服务器充当。
参照图1和图2所示，模型训练和优化单元分别设置于Mi个边缘侧机器中每个边缘侧机器内。模型训练和优化单元用于基于模型参数分发单元分发的初始参数和各自的运行数据对本地的运行模型进行训练，将训练之后得到中间模型参数加密后发送至模型参数分发单元；以及根据新模型参数得到第i个联邦学习系统的系统协同运行模型。其中，本地的运行模型为针对不同的运行环境进行工作响应的模型。
根据本公开的实施例，Mi个边缘侧机器中存在运行经验低于预定要求的特定Ti个边缘侧机器，1≤Ti＜Mi。上述系统还包括：场景特征模型优化单元。该场景特征模型优化单元设置于特定Ti个边缘侧机器内，用于基于系统协同运行模型和特定Ti个边缘侧机器的工作场景特征进行模型优化，以增加单机智能，提升特定T个边缘侧机器对所在环境的响应与任务执行能力。
根据本公开的实施例，运行经验低于预定要求包括以下的一种：所经历的运行场景的个数低于预定值；或者，运行数据量低于预定数量；或者，运行时间低于预定值。
建模将充分结合边缘侧智能机器的移动性、多场景性、数据快速更迭与及时获取性的特点。
本公开通过将运行经验分布不均匀的同一类/种机器进行跨场景的联邦建模，弥补了同一种/类机器在不同工况场景下不能够快速积累大量不同场景运行数据的不足，使得机器快速积累能够较高质量运行于多种工况和场景的运行能力，实现了小数据下机器对不同场景的学习和适应能力，拓展了机器的工作能力普适性，压缩了机器优化与迭代开发的成本，压缩了机器在新的工况下调试与试机的时间成本，降低了机器使用的成本，该机器在某一岗位完成任务后还可适用于更多新的工况环境。
同时，对于那些运行经验不足，例如运营/运行数据不足或者运行场景不丰富的新手机器而言，可充分利用那些长时间运行机器的运行数据协同联邦建模，实现小数据下的快速机器学习目标，优化单个机器的运行工况和环境响应能力，提升单个机器的智能化水平。
机器智能的一个重要特征是对环境的快递、高质量响应。本公开通过结合机器所在的具体工作场景进行联邦模型的选择、传递与部署，提高模型的精度与场景的适应度，优化了模型训练过程。
根据本公开的实施例，当第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私可见的组织时，中间模型参数发送时无需加密。数据隐私可见的组织可以是同一个企业、机构或者工厂内，各个机器设备之间的数据是可以分享的。
当第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私不可见的组织时，中间模型参数发送时需要进行加密。数据隐私不可见的组织可以是不同企业、机构或工厂，或者同一个企业的不同部门、不同组织或者个体之间，各个机器设备的全部或部分数据是不能进行共享的。
根据本公开的实施例，加密包括：同态加密，上述同态加密包括全同态加密。
对于同一企业或机构的机器间数据相对没有严格的保密，但不同的企业或机构之间的机器运行数据是具有相对严格的保密要求的，此时要求联合建模的数据被会彼此看到和使用，随着算法效率逐步提高，以及智能机器的算力增强，全同态加密在数据与运算加密方面展开逐步应用。在智能机器之间的数据协同建模过程中，全同态加密结合联邦学习，为了防止通过训练的模型反演来获得原始数据的可能性，通过同态加密来加密智能机器的原始数据，之后将加密数据进行模型训练，数据本身不会离开数据拥有方，也不会泄露用户隐私，充分保障了数据拥有方隐私信息及数据安全。模型训练的中间结果进行加密，从而保证模型训练过程的隐私与安全性。
本公开采用“隐私数据保护”与同一系统内数据相结合的方式进行模型训练。对于同一系统内，没有数据隐私保护要求的场景，可直接进行数据共享与传递，获得更多更好的训练数据。
图4为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的框架示意图。图4中，在第i个联邦学习系统中，模型参数分发单元可以由Mi个边缘侧机器中运算能力和存储能力符合预定要求的一个边缘侧机器充当，参照虚线框所示。模型参数分发单元也可以位于Mi个边缘侧机器外部，例如由边缘侧服务器或云端服务器充当。
根据本公开的实施例，参照图4所示，上述系统还包括：机器选拔单元，任务模型参数分发单元，以及任务模型训练和优化单元。
机器选拔单元用于选拔R个联邦学习系统内各个联邦学习系统中针对目标任务的执行表现分值高于预定值的边缘侧机器，得到任务训练联盟。
任务模型参数分发单元用于向任务训练联盟中的各个边缘侧机器分发任务初始参数，接收由任务模型训练和优化单元发送的任务模型中间参数，以及将接收的任务模型中间参数进行聚合与更新，得到任务模型新参数。
任务模型训练和优化单元分别设置于任务训练联盟中的各个边缘侧机器内，用于基于任务模型参数分发单元分发的任务初始参数和各自的运行数据对本地的针对目标任务的运行模型进行训练，将训练之后得到任务模型中间参数加密后发送至任务模型参数分发单元；以及根据任务模型新参数得到任务训练联盟的系统协同执行任务模型。
其中，本地的针对目标任务的运行模型为在不同的运行环境下执行目标任务的模型。
每个机器的工作要求、生产任务并非一成不变，是不断变化与调整的，系统协同执行任务模型的构建，通过联邦学习支撑下的单机之间的学习，实现系统任务最优化分解，单机自学习与任务分配，从而最高效与最优化的利用那些闲置性、与执行任务最匹配性的机器设备。
工业4.0重要的特征是柔性制造，多个制造工序里的机器设备可以根据订单的需求和当下运行状态智能化重新组成柔性化、满足当下订单需求的生产线。这对于过去那种通过预编程定义，来执行生产任务的机器设备是无法机动灵活实现的。本公开有助于系统任务分解与机器之间协同，增加工艺与流程的弹性与质量优化。
对于复杂工作场景常存在大量的机器设备，由于操作者或者工况变化导致同种机器设备之间的运行效率存在差异，如功耗、零部件损耗。通过系统内机器成员之间的学习与优化，独立机器可做出自主优化调整或者给出操作者合理化工作建议。
根据本公开的实施例，参照图3所示，模型参数分发单元还用于联邦学习系统内活动数据的记录与统计，联邦学习系统内活动数据的记录与统计包括：参与计算的边缘侧机器的数量、模型传递的次数、更新模型参数的发送和收敛性判断。
根据本公开的实施例，参照图3所示，R个联邦学习系统中第i个联邦学习系统内的Mi个边缘侧机器还包括：数据采集模块，存储单元，计算单元，以及通信模块。数据采集模块用于采集图像、运动轨迹、运行数据以及环境响应数据。存储单元，用于存储运行数据，以供模型训练。计算单元的其中一部分被配置为执行既定工作任务，另一部分用于执行联邦学习的任务。通信模块支持有线通信和无线通信，无线通信包含5G通信模组。
为了保证数据传输的高效、稳定和及时，通过5G通信模组来提高数据的传输与响应速度，把时延控制在不影响机器运行效能和安全稳定的范围内。
以一实例来描述实现多个机器共同完成一个系统任务的过程。如垃圾分拣，高质量的垃圾分拣不但有利于回收利用，还有利于垃圾焚烧发电，提升进入焚烧炉的垃圾燃烧热能。但垃圾中充满了大量玻璃、塑料制品，这些垃圾不可能通过某一台设备某一次来完成鉴别和筛选。可将固定的分拣机械臂变为可在地面自由移动的机器臂，通过基于联邦学习的机器之间的学习与交流，分拣线后端的机器可通过前端机器发送的信息提前做好预期任务动作，同时后端机器也能够将后面的工况及时的反馈给前端机器，甚至前端的机器可移动到后端工序中，增加机器在整个系统的分拣效能。
综上所述，本公开实施例提供了一种基于联邦学习的边缘侧机器协同与优化的系统，将边缘侧机器组成联邦学习系统，基于系统协同运行模型的训练可以提升单台机器的智能化水平，优化和提升单台机器运行效能，加快单机智能化进程，提升对工况环境的快速调整与适应能力，不断优化工作效能。提升系统内的机器之间协同工作，优化系统任务的快速分解，系统应对更加复杂性、环境动态变化性工作任务的适应性增强，如生产制造环境下优化工艺与流程，提升系统的整体效能。基于任务训练联盟中各成员的共同训练得到的系统协同执行任务模型，可以提升整个系统效能，如同一集团企业可能拥有N家具有相同或类似机器设备和生产任务的工厂，但各个工厂的效能会有所差异，通过基于联邦学习的单机数据训练和建模的优化，进一步进行系统之间的机器数据训练与性能优化。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于联邦学习的边缘侧机器协同与优化的系统，其特征在于，包括：
R个联邦学习系统，R≥1，所述R个联邦学习系统中第i个联邦学习系统包括Mi个边缘侧机器，Mi≥2，i＝1、2、……、R，所述Mi个边缘侧机器的运行经验分布不均匀；
模型参数分发单元，用于向第i个联邦学习系统中的Mi个边缘侧机器分发联邦学习的初始参数，接收由模型训练和优化单元发送的中间模型参数，以及将接收的中间模型参数进行聚合与更新，得到新模型参数；以及
模型训练和优化单元，分别设置于所述Mi个边缘侧机器中每个边缘侧机器内，用于基于模型参数分发单元分发的初始参数和各自的运行数据对本地的运行模型进行训练，将训练之后得到中间模型参数发送至所述模型参数分发单元；以及根据所述新模型参数得到第i个联邦学习系统的系统协同运行模型；其中，所述本地的运行模型为针对不同的运行环境进行工作响应的模型。
2.根据权利要求1所述的系统，其特征在于，所述Mi个边缘侧机器中存在运行经验低于预定要求的特定Ti个边缘侧机器，1≤Ti＜Mi，所述系统还包括：
场景特征模型优化单元，设置于所述特定Ti个边缘侧机器内，用于基于所述系统协同运行模型和所述特定Ti个边缘侧机器的工作场景特征进行模型优化，以增加单机智能，提升所述特定T个边缘侧机器对所在环境的响应与任务执行能力。
3.根据权利要求2所述的系统，其特征在于，所述运行经验低于预定要求包括以下的一种：
所经历的运行场景的个数低于预定值；或者，
运行数据量低于预定数量；或者，
运行时间低于预定值。
4.根据权利要求1所述的系统，其特征在于，
当所述第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私可见的组织时，所述中间模型参数发送时无需加密；
当所述第i个联邦学习系统中的Mi个边缘侧机器属于数据隐私不可见的组织时，所述中间模型参数发送时需要进行加密。
5.根据权利要求4所述的系统，其特征在于，所述加密包括：同态加密，所述同态加密包括全同态加密。
6.根据权利要求1所述的系统，其特征在于，还包括：
机器选拔单元，用于选拔所述R个联邦学习系统内各个联邦学习系统中针对目标任务的执行表现分值高于预定值的边缘侧机器，得到任务训练联盟；
任务模型参数分发单元，用于向任务训练联盟中的各个边缘侧机器分发任务初始参数，接收由任务模型训练和优化单元发送的任务模型中间参数，以及将接收的任务模型中间参数进行聚合与更新，得到任务模型新参数；以及
任务模型训练和优化单元，分别设置于任务训练联盟中的各个边缘侧机器内，用于基于任务模型参数分发单元分发的任务初始参数和各自的运行数据对本地的针对目标任务的运行模型进行训练，将训练之后得到任务模型中间参数加密后发送至所述任务模型参数分发单元；以及根据所述任务模型新参数得到任务训练联盟的系统协同执行任务模型；其中，所述本地的针对目标任务的运行模型为在不同的运行环境下执行目标任务的模型。
7.根据权利要求1所述的系统，其特征在于，所述模型参数分发单元还用于联邦学习系统内活动数据的记录与统计，所述联邦学习系统内活动数据的记录与统计包括：参与计算的边缘侧机器的数量、模型传递的次数、更新模型参数的发送和收敛性判断。
8.根据权利要求1所述的协同与优化系统，其特征在于，所述模型参数分发单元由所述Mi个边缘侧机器中运算能力和存储能力符合预定要求的一个边缘侧机器充当。
9.根据权利要求1所述的协同与优化系统，其特征在于，所述模型参数分发单元由能够与M个边缘侧机器进行通信的云端服务器或边缘侧服务器充当。
10.根据权利要求1所述的系统，其特征在于，所述R个联邦学习系统中第i个联邦学习系统内的Mi个边缘侧机器还包括：
数据采集模块，用于采集图像、运动轨迹、运行数据以及环境响应数据；
存储单元，用于存储运行数据，以供模型训练；
计算单元，所述计算单元的其中一部分被配置为执行既定工作任务，另一部分用于执行联邦学习的任务；以及
通信模块，所述通信模块支持有线通信和无线通信，所述无线通信包含5G通信模组。
CN202011186697.8A 2020-11-02 2020-11-02 基于联邦学习的边缘侧机器协同与优化的系统 Pending CN112308240A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011186697.8A CN112308240A (zh) 2020-11-02 2020-11-02 基于联邦学习的边缘侧机器协同与优化的系统
US17/451,434 US20220138626A1 (en) 2020-11-02 2021-10-19 System For Collaboration And Optimization Of Edge Machines Based On Federated Learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011186697.8A CN112308240A (zh) 2020-11-02 2020-11-02 基于联邦学习的边缘侧机器协同与优化的系统

Publications (1)

Publication Number Publication Date
CN112308240A true CN112308240A (zh) 2021-02-02

Family

ID=74332396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011186697.8A Pending CN112308240A (zh) 2020-11-02 2020-11-02 基于联邦学习的边缘侧机器协同与优化的系统

Country Status (2)

Country Link
US (1) US20220138626A1 (zh)
CN (1) CN112308240A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050553A (zh) * 2021-02-18 2021-06-29 同济大学 半导体生产线基于联邦学习机制的调度建模方法
CN113077060A (zh) * 2021-03-30 2021-07-06 中国科学院计算技术研究所 针对边云协同的联邦学习系统及方法
CN113159279A (zh) * 2021-03-18 2021-07-23 中国地质大学（北京） 基于神经网络与深度学习的跨域知识协助方法与系统
CN113259100A (zh) * 2021-06-01 2021-08-13 平安科技（深圳）有限公司 基于tee的联邦推荐方法、装置、设备及介质
CN113329021A (zh) * 2021-05-31 2021-08-31 湖北工业大学 基于工业互联网的汽车折旧模型参数隐私保护系统及方法
CN113536670A (zh) * 2021-07-09 2021-10-22 北京航空航天大学 一种群体产品剩余寿命预测的联邦迁移学习方法
CN115438735A (zh) * 2022-09-09 2022-12-06 中国电信股份有限公司 基于联邦学习的质检方法、系统、可读介质及电子设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3143855A1 (en) * 2020-12-30 2022-06-30 Atb Financial Systems and methods for federated learning on blockchain
CN115174404B (zh) * 2022-05-17 2024-06-21 南京大学 一种基于sdn组网的多设备联邦学习系统
CN114827153A (zh) * 2022-07-04 2022-07-29 广东电网有限责任公司肇庆供电局 边缘计算协同系统中边缘服务器的选择方法、装置和系统
CN115292738B (zh) * 2022-10-08 2023-01-17 豪符密码检测技术(成都)有限责任公司 一种联邦学习模型和数据安全性及正确性的检测方法
CN115730475B (zh) * 2023-01-09 2023-05-19 广东省科学院智能制造研究所 一种云边端协同的柔性产线机器人学习系统及方法
CN117056951B (zh) * 2023-08-09 2024-06-25 上海好芯好翼智能科技有限公司 一种数字平台的数据安全管理方法
CN117808123B (zh) * 2024-02-28 2024-07-05 东北大学 一种基于多中心分层联邦学习的边缘服务器再分配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663202A (zh) * 2012-04-25 2012-09-12 清华大学 基于联邦模式的动态产品协同开发平台及方法
CN111836321A (zh) * 2020-07-27 2020-10-27 北京邮电大学 一种基于联邦学习和边缘计算的小区切换方法
CN111866869A (zh) * 2020-07-07 2020-10-30 兰州交通大学 面向边缘计算的联邦学习室内定位隐私保护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663202A (zh) * 2012-04-25 2012-09-12 清华大学 基于联邦模式的动态产品协同开发平台及方法
CN111866869A (zh) * 2020-07-07 2020-10-30 兰州交通大学 面向边缘计算的联邦学习室内定位隐私保护方法
CN111836321A (zh) * 2020-07-27 2020-10-27 北京邮电大学 一种基于联邦学习和边缘计算的小区切换方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113050553A (zh) * 2021-02-18 2021-06-29 同济大学 半导体生产线基于联邦学习机制的调度建模方法
CN113159279A (zh) * 2021-03-18 2021-07-23 中国地质大学（北京） 基于神经网络与深度学习的跨域知识协助方法与系统
CN113159279B (zh) * 2021-03-18 2023-06-23 中国地质大学（北京） 基于神经网络与深度学习的跨域知识协助方法与系统
CN113077060A (zh) * 2021-03-30 2021-07-06 中国科学院计算技术研究所 针对边云协同的联邦学习系统及方法
CN113329021A (zh) * 2021-05-31 2021-08-31 湖北工业大学 基于工业互联网的汽车折旧模型参数隐私保护系统及方法
CN113329021B (zh) * 2021-05-31 2022-04-29 湖北工业大学 基于工业互联网的汽车折旧模型参数隐私保护系统及方法
CN113259100A (zh) * 2021-06-01 2021-08-13 平安科技（深圳）有限公司 基于tee的联邦推荐方法、装置、设备及介质
CN113259100B (zh) * 2021-06-01 2022-10-28 平安科技（深圳）有限公司 基于tee的联邦推荐方法、装置、设备及介质
CN113536670A (zh) * 2021-07-09 2021-10-22 北京航空航天大学 一种群体产品剩余寿命预测的联邦迁移学习方法
CN113536670B (zh) * 2021-07-09 2024-01-12 北京航空航天大学 一种群体产品剩余寿命预测的联邦迁移学习方法
CN115438735A (zh) * 2022-09-09 2022-12-06 中国电信股份有限公司 基于联邦学习的质检方法、系统、可读介质及电子设备

Also Published As

Publication number Publication date
US20220138626A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
CN112308240A (zh) 基于联邦学习的边缘侧机器协同与优化的系统
CN109767255B (zh) 一种通过大数据建模实现智能运营及精准营销的方法
CN107871164B (zh) 一种雾计算环境个性化深度学习方法
CN113282368B (zh) 一种用于变电站巡视的边缘计算资源调度方法
Jinbo et al. Research on monitoring platform of agricultural product circulation efficiency supported by cloud computing
Li et al. Collaboration of heterogeneous unmanned vehicles for smart cities
CN106101196A (zh) 一种基于概率模型的云渲染平台任务调度系统及方法
CN104636199A (zh) 一种基于分布式内存计算的大数据实时处理系统及方法
CN116360939A (zh) 基于可信计算的多任务调度方法、系统、设备及存储介质
Yang et al. Toward incentive-compatible vehicular crowdsensing: An edge-assisted hierarchical framework
CN106027318A (zh) 一种基于云计算的虚拟机两级优化调度管理平台
Machado et al. Autonomous heavy-duty mobile machinery: A multidisciplinary collaborative challenge
Li et al. Study on the data processing of the IOT sensor network based on hadoop cloud platform and TWLGA scheduling algorithm
Ren et al. Collaborative task offloading and resource scheduling framework for heterogeneous edge computing
Vargas Decision-making system and operational risk framework for hierarchical production planning
Xuan et al. An improved quantum particle swarm optimization and its application
Karkalos et al. General aspects of the application of computational methods in industry 4.0
Jack et al. Revolutionizing Agriculture: AI-Powered Crop Yield Forecasting and Precision Farming for Optimal Harvests.
Long et al. Enterprise service remote assistance guidance system based on digital twin drive
Long et al. Optimizing Data Mining Efficiency in Professional Farmer Simulation Training System with Cloud-Edge Collaboration
Vanzha et al. Staging the process of enhancing of competitiveness of machine-building enterprises in the conditions of Industry 4.0
CN108009302A (zh) 基于互联网的分布式异步人才服务反射式匹配方法
CN115002217B (zh) 调度方法、装置、设备及介质
Sadeghi et al. The Physical-Spatial Evolution of the Villages around the City of Kashan during the Period of 1976-2016
CN107172142A (zh) 一种加速云计算数据中心查询的数据调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination