CN113591999A - 一种端边云联邦学习模型训练系统及方法 - Google Patents

一种端边云联邦学习模型训练系统及方法 Download PDF

Info

Publication number
CN113591999A
CN113591999A CN202110887349.1A CN202110887349A CN113591999A CN 113591999 A CN113591999 A CN 113591999A CN 202110887349 A CN202110887349 A CN 202110887349A CN 113591999 A CN113591999 A CN 113591999A
Authority
CN
China
Prior art keywords
model
cost
federal learning
terminal
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110887349.1A
Other languages
English (en)
Other versions
CN113591999B (zh
Inventor
朱孔林
陈文韬
张琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110887349.1A priority Critical patent/CN113591999B/zh
Publication of CN113591999A publication Critical patent/CN113591999A/zh
Application granted granted Critical
Publication of CN113591999B publication Critical patent/CN113591999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioethics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种端边云联邦学习模型训练系统及方法，应用于模型训练的技术领域，可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。

Description

一种端边云联邦学习模型训练系统及方法
技术领域
本申请涉及模型训练技术领域，特别是涉及一种端边云联邦学习模型训练系统及方法。
背景技术
为了保护用户的隐私数据，目前联邦学习已经有着广泛的应用。通过联邦学习可以在本地设备中迭代训练模型，从而防止用户的隐私数据的泄露。
然而，申请人在研究过程中发现，在联邦学习的过程中，由于机器学习模型迭代以及样本数据的获取等，会消耗过多的计算和通信资源，从而产生极高的费用，而如果模型迭代的次数减少，虽然的资源费用会减少，但是训练出最终模型的准确率会下降，如何在保证模型的准确率的同时降低联邦学习的成本成为一个需要解决的问题。
发明内容
本申请实施例的目的在于提供一种端边云联邦学习模型训练系统及方法，用以解决如何在保证模型的准确率的同时降低联邦学习的成本的问题。具体技术方案如下：
本申请实施的第一方面，提供了一种端边云联邦学习模型训练系统，包括多个终端、多个边缘端；
各终端，用于向一个或多个边缘端发送样本数据；
各边缘端，用于接收一个或多个终端发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
各终端，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
各边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可选的，上述系统还包括云端，
各边缘端，具体用于通过样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将第一终端网络模型的参数发送至云端；
云端，用于对各边缘端发送的第一终端网络模型的参数进行整合，得到第一整合参数；将第一整合参数反馈至各边缘端；
各边缘端，具体用于接收并根据第一整合参数对第一终端网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将第二终端网络模型的参数发送至云端，以使云端对各边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端；利用第二整合参数对第二终端网络模型的参数进行更新，返回通过样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
可选的，各边缘端，具体用于接收当前的数据；计算当前的数据的购买成本和传输成本，样本数据的购买成本和传输成本；根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，并根据计算结果更新目标准确率，并对联邦学习模型进行训练。
可选的，各边缘端，还用于从云端下载待训练的联邦学习模型。
本申请实施的第二方面，提供了一种端边云联邦学习模型训练方法，上述方法应用于端边云联邦学习模型训练系统，上述系统包括多个终端、多个边缘端；
通过各终端向一个或多个边缘端发送样本数据；
通过各边缘端接收一个或多个终端发送的样本数据；通过各边缘端计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；通过各边缘端根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；通过各边缘端判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
通过各边缘端接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
通过各边缘端接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可选的，上述系统还包括云端，接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各边缘端利用样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将第一终端网络模型的参数发送至云端；
通过各云端对各边缘端发送的第一终端网络模型的参数进行整合，得到第一整合参数；将第一整合参数反馈至各边缘端；
通过各边缘端接收并根据第一整合参数对第一终端网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将第二终端网络模型的参数发送至云端，以使云端对各边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端；利用第二整合参数对第二终端网络模型的参数进行更新，返回通过样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
可选的，接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各边缘端接收当前的数据；计算当前的数据的购买成本和传输成本，样本数据的购买成本和传输成本；根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，得到并根据计算结果更新目标准确率；对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可选的，上述方法还包括：
通过各边缘端从云端下载待训练的联邦学习模型。
本申请实施例有益效果：
本申请实施例提供了一种端边云联邦学习模型训练系统及方法，上述系统包括多个终端、多个边缘端；各终端，用于向一个或多个边缘端发送样本数据；各边缘端，用于接收一个或多个终端发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；各终端，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；各边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的端边云联邦学习模型训练系统的一种结构示意图；
图2为本申请实施例提供的端边云联邦学习模型训练系统的另一种结构示意图；
图3为本申请实施例提供的应用于车辆领域的联邦学习模型训练过程的示意图；
图4为本申请实施例提供的应用于手机设备领域的联邦学习模型训练过程的示意图；
图5为本申请实施例提供的端边云联邦学习模型训练方法的一种流程示意图；
图6为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为了解决如何在保证模型的准确率的同时降低联邦学习的成本的问题，本申请实施例提供了一种端边云联邦学习模型训练系统及方法。
本申请实施例的第一方面，首先提供了一种端边云联邦学习模型训练系统，包括多个终端、多个边缘端；
各终端，用于向一个或多个边缘端发送样本数据；
各边缘端，用于接收一个或多个终端发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
各终端，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
各边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可见，通过本申请实施例的系统，可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。
具体的，参见图1，图1为本申请实施例提供的端边云联邦学习模型训练系统的一种结构示意图，包括多个终端101、多个边缘端102；
各终端101，用于向一个或多个边缘端发送样本数据；
各边缘端，用于接收一个或多个终端101发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端101反馈数据获取信息；
各终端101，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
各边缘端，还用于接收一个或多个终端101发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端101反馈数据获取信息，以使终端101向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
本申请实施例的系统是用于进行联邦学习的端边云系统，具体的，终端可以是用户终端，通过该终端可以进行用户数据的收集，从而可以根据收集到的数据进行模型的训练。例如，终端可以是手机、电脑、车辆的控制终端等，通过终端可以收集用户的操作记录等数据，从而根据手机到的数据进行联邦学习模型的训练。边缘端可以是电脑或服务器等，在实际使用过程中边缘端的计算能力大于终端，通过边缘端可以根据终端收集到的数据进行联邦学习模型的训练。
其中，预设准确率可以是预先设定的联邦学习模型的最终期望的准确率，目标准确率为一般小于预设准确率。上述返回向一个或多个边缘端102发送当前的数据的步骤继续执行，直至得到满足预设准确率的联邦学习模型，可以在对联邦学习模型进行训练之后，计算训练得到的联邦学习模型的准确率并与预设准确率进行对比，若小于则返回向一个或多个边缘端102发送当前的数据的步骤继续执行，若大于，则停止训练。其中，根据更新目标准确率对联邦学习模型进行训练，包括对联邦学习模型进行多次迭代。
其中，通过在每次更新目标准确率之后对根据目标准确率对联邦学习模型进行多次迭代，使得每次迭代过程都是训练成本最低训练过程，以使训练后的模型满足目标准确率，然后对目标准确率进行更新，然后再根据更新后的目标准确率进行迭代，直至最终得到满足预设准确率的模型。由于迭代过程都是训练成本最低训练过程，从而可以保证最终的多次目标准确率更新的训练过程都是训练成本最低训练过程，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。
可见，通过本申请实施例的系统，可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。
可选的，参见图2，上述系统还包括云端103，
各边缘端102，具体用于通过样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端101网络模型；将第一终端101网络模型的参数发送至云端103；
云端103，用于对各边缘端102发送的第一终端101网络模型的参数进行整合，得到第一整合参数；将第一整合参数反馈至各边缘端102；
各边缘端102，具体用于接收并根据第一整合参数对第一终端101网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端101网络模型；将第二终端101网络模型的参数发送至云端103，以使云端103对各边缘端102发送的第二终端101网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端102；利用第二整合参数对第二终端101网络模型的参数进行更新，返回通过样本数据对更新后的终端101网络模型进行训练，得到第二终端101网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
可选的，各边缘端102，还用于从云端103下载待训练的联邦学习模型。
其中，各边缘端102，可以通过样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型，并将第一终端网络模型的参数发送至云端103，而不会将从终端101获取的终端101收集到的数据发送至云端103，从而可以不但可以进行联邦学习模型的训练还可以防止用户的隐私数据的泄露。
其中，云端103对各边缘端102发送的第二终端网络模型的参数进行整合，可以对各边缘端102发送的联邦学习模型的网络的结构、层类型，输出层大小等参数进行整合，具体的，利用权值平均算法，根据每个边缘端的数据量及其在总数据中的占比、联邦学习网格结构的权值进行相应的计算，具体公式如下所示：
Figure BDA0003194686270000101
其中，n为总数据量，nk为第k个边缘端的数据量，wt+1为第t+1个网络单元的权值，wk t+1为第t+1个网络单元的权值，通过以上的公式去对联邦学习模型进行参数整合，使得数据量越大的边缘端在整个联邦学习模型中的贡献更大，结果更加准确。
例如，参见图2，本申请实施例提供的端边云联邦学习模型训练系统包括云-边-端三层的联邦学习框架，用户在本地逐渐产生数据后，将数据上传到靠近数据源头的边缘端服务器；边缘端服务器收集数据，经过多轮模型迭代后，将模型参数上传到云端服务器中，这样既可以能够保证用户的数据不被上传到云端服务器中，保护了数据隐私，且边缘端服务器的计算能力远大于用户终端，使得模型训练的速度加快；云端服务器聚合各个边缘端服务器模型的数据，将聚合的数据下发到边缘端服务器更新模型参数。经过这样的循环迭代，最终得到训练好的模型。
可见，通过本申请实施例的方法，不但可以通过边缘端向云端发送模型的参数而不发送用户数据的方法防止用户的隐私数据的泄露，同时还可以通过计算能力强于终端的边缘端进行联邦学习的模型的训练，从而提高模型训练的速度。
可选的，各边缘端102，具体用于接收当前的数据；计算当前的数据的购买成本和传输成本，样本数据的购买成本和传输成本；根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，并根据计算结果更新目标准确率，并对联邦学习模型进行训练。
其中，在实际使用过程中，当前的数据的购买成本和传输成本和样本数据的购买成本和传输成本，一般只与获取的数据和传输的途径有关，而不会随准确率发送变化。不同准确率对应的联邦学习成本，会随着准确率的提高联邦学习成本也会提高，随着准确率的降低联邦学习成本也会降低。不同模型准确率对应的模型损失，随着准确率的提高模型损失会降低，随着准确率的降低模型损失会提高。
根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型，其中，总训练成本为：
Figure BDA0003194686270000111
同时，根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型，还包括：
1、根据需求Rτ，样本数据dli(t)和当前的数据dri(t)，它们之间应该满足以下的约束条件，即
Figure BDA0003194686270000112
2、当前的数据的传输成本dij(t)，其需要和之前的样本数据满足：
Figure BDA0003194686270000121
3、数据出队量小于此时的队伍中的数量，即xj(t)≤Qj(t)。
4、模型准确率ηj，保持0≤ηj≤1。
根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建得到的不同模型准确率对应的联邦学习模型的总训练成本模型为：
Figure BDA0003194686270000122
Figure BDA0003194686270000123
Figure BDA0003194686270000124
Figure BDA0003194686270000125
Figure BDA0003194686270000126
Figure BDA0003194686270000127
Figure BDA0003194686270000128
其中，Cost(τ)表示总训练成本，
Figure BDA0003194686270000129
表示当前的数据和样本数据的购买成本，该购买成本可以是实时变化的，
Figure BDA00031946862700001210
表示当前的数据的传输成本，
Figure BDA0003194686270000131
表示不同准确率对应的联邦学习成本，λ(ηj-η)2表示不同模型准确率对应的模型损失，i、j为正整数，t表示样本数据中的时刻，τ为当前的数据对应的时刻，针对不同j，Qj(τ)为预设定值，M为预设的终端的数量，N为预设的边缘端的数量，di max为当前的数据是购买成本的最大值，dj max为样本数据的购买成本的最大值，dij max为当前的数据的传输成本的最大值，Smax为数据总数量，xj(τ)为数据的出队量。
在此基础上，各终端101向一个或多个边缘端102发送当前的数据，通过各边缘端更新目标准确率，并对联邦学习模型进行训练，返回向一个或多个边缘端102发送当前的数据的步骤继续执行的过程，可以通过二阶李雅普诺夫的在线优化控制算法实现，具体该算法的实施过程如下：
1、时间模型数据购买指令；
2、设定一个完整的训练时间分为K个时间帧，每个时间帧里面有T个时间隙；
3、基于最小原则创建网络模型；
4、本地模型的迭代，在每一个时间隙中，边缘端服务器迭代多轮本地模型；
5、数据的更新，将模型参数聚合云端服务器，聚合后下发数据更新；
6、获取当前数据购买指令，在每个时间隙中，用户终端也在产生数据，数据也不断被上传到边缘端服务器上；
7、本地模型的迭代，通过当前的数据和预先获取的数据，对本地模型进行训练；
8、通过最小化优化问题，计算用户的资源购买数量、数据出队数量、模型的准确率；
9、本地模型的迭代，通过边缘端服务器迭代多轮本地模型；
10、通过解决最小化优化问题，得到用户的实时资源购买数量、数据出队数量、模型的准确率、用户数据的传输入队路径及数量；
11、本地模型的迭代，通过边缘端服务器迭代多轮本地模型；
12、模型的更新得到训练好的网络模型。
在这个过程中，我们需要使用带权重的随机取整算法对得到的结果进行取整，经过多次取整后，保证不等式的条件仍然满足，且最后得到整数解。
将一个完整的训练时间分为K个时间帧，每个时间帧里面有T个时间隙；在每一个时间隙中，边缘端服务器迭代多轮本地模型，并且将模型参数聚合云端服务器，聚合后下发数据更新；同时在每个时间隙中，用户终端也在产生数据，数据也不断被上传到边缘端服务器上。当时间处于每个时间帧的第一个时间隙上时，该系统需要去解决最小化优化问题，得到用户的资源购买数量、数据出队数量、模型的准确率；在剩余的时间隙上，即每个时间帧除开第一个时间隙的时间上，该系统需要去解决最小化优化问题，得到用户的实时资源购买数量、数据出队数量、模型的准确率、用户数据的传输入队路径及数量，同时需要根据数据出队入队数量更新队伍缓存。
其中，在实际使用过程中计算模型的准确率是一个NP难的问题，因此，可以将问题松弛为凸问题，然后使用本申请设计的带权重的随机取整算法来进一步处理，解决了NP难的问题。其中，NP难的问题是指所有NP问题都能在多项式时间复杂度内归遇到的问题。具体的，该算法的实施过程如下：
1、获取需要取整的变量；
2、将需要取整的变量进行分成整数和非整数两类，其中，只需要处理非整数的变量即可；
3、创建需要非整数的变量队列；
4、对非整数的变量，按照设计的概率值进行随机放缩，使得所有非整数变量的和等于整数；
5、从变量中随机挑选两个非整数；
6、确定所选的变量为整数；
7、当所选的变量为非整数时；
8、按照设计的融合了权值的概率进行随机割补的计算；
9、将一个非整数向上取整，另一个非整数减去该取整之差；
10、循环以上操作直到所有非整数量都变为整数；
11、循环结束；
12、返回取整后的变量。
该算法的简要过程如下：首先将需要取整的变量进行分成整数和非整数两类，只需要处理非整数的变量即可；然后对非整数的变量按照设计的概率进行随机放缩，使得所有非整数变量的和等于整数；然后对于这群放缩后的非整数，随机挑选其中的两个非整数，按照设计融合了权值的概率进行随机割补的计算：将一个非整数向上取整，另一个非整数减去该取整之差。经过多轮的选取和计算后，所有的非整数变量都会变为整数，即解决了NP难的问题。
为了说明本申请实施例的本申请实施例提供的端边云联邦学习模型训练系统，以下结合具体实施例进行说明：
如图3所示，为车辆在联邦学习过程中的实际场景。车辆在行驶过程中通过摄像头收集数据，然后将数据上传到边缘服务器中进行模型迭代；在多轮迭代后，边缘服务器将模型参数上传到中央服务器中，中央服务器聚合各个边缘服务器模型的数据，将聚合的数据下发到边缘服务器更新模型参数。经过循环迭代，最终得到训练好的车辆目标检测模型。在迭代过程中，根据需求，购买车辆通过摄像头获得的图片资源，购买的图片资源数量必须满足当前的需求。根据预期的训练模型准确率去设置，经过多轮训练迭代后的训练模型保证在预期范围之内，根据车辆的数量设置，根据边缘服务器的数量设置。然后执行二阶李雅普诺夫在线算法，为车辆收集的图片数据训练迭代出效果优秀的模型，使得资源成本较低。
再如图4所示，为手机设备在联邦学习过程中的实际场景。用户在手机输入法中输入的文字会形成词关联数据，然后将词关联数据上传到边缘服务器中进行模型迭代；在多轮迭代后，边缘服务器将模型参数上传到中央服务器中，中央服务器聚合各个边缘服务器模型的数据，将聚合的数据下发到边缘服务器更新模型参数。经过循环迭代，最终得到训练好的词关联模型，根据需求，购买用户在输入法中形成的词关联资源信息，其中，购买的词关联资源数量必须满足当前的需求。需要根据预期的训练模型准确率去设置，使得经过多轮训练迭代后的训练模型保证在预期范围之内。根据手机设备的数量设置，根据边缘服务器的数量设置。然后执行二阶李雅普诺夫在线算法，通过用户的词关联数据训练迭代出效果优秀的词关联模型，在保护用户隐私的同时能够使得资源成本较低。
本申请实施例的第二方面，还提供了一种端边云联邦学习模型训练方法，参见图5，上述方法应用于端边云联邦学习模型训练系统，系统包括多个终端、多个边缘端；
步骤S51，通过各终端向一个或多个边缘端发送样本数据；
步骤S52，通过各边缘端接收一个或多个终端发送的样本数据；通过各边缘端计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；通过各边缘端根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；通过各边缘端判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
步骤S53，通过各边缘端接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
步骤S54，通过各边缘端接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可选的，上述系统还包括云端，接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各边缘端利用样本数据和当前的数据对联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将第一终端网络模型的参数发送至云端；
通过各云端对各边缘端发送的第一终端网络模型的参数进行整合，得到第一整合参数；将第一整合参数反馈至各边缘端；
通过各边缘端接收并根据第一整合参数对第一终端网络模型的参数进行更新；通过样本数据和当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将第二终端网络模型的参数发送至云端，以使云端对各边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各边缘端；利用第二整合参数对第二终端网络模型的参数进行更新，返回通过样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
可选的，接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各边缘端接收当前的数据；计算当前的数据的购买成本和传输成本，样本数据的购买成本和传输成本；根据当前的数据的购买成本和传输成本、样本数据的购买成本和传输成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，得到并根据计算结果更新目标准确率；对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
可选的，上述方法还包括：
通过各边缘端从云端下载待训练的联邦学习模型。
可见，通过本申请实施例的方法，可以根据获取样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算待训练的联邦学习模型的总训练成本最低时的模型准确率，得到目标准确率，并根据样本数据对待训练的联邦学习模型进行训练，得到满足目标准确率的联邦学习模型，从而不但可以保证联邦学习模型的准确率，还可以降低联邦学习模型的训练成本。
本申请实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
各终端，用于向一个或多个边缘端发送样本数据；
各边缘端，用于接收一个或多个终端发送的样本数据；计算获取各样本数据的成本；根据获取各样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据样本数据对待训练的联邦学习模型进行训练，直至满足目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
各终端，还用于接收一个或多个边缘端反馈数据获取信息；根据数据获取信息向一个或多个边缘端发送当前的数据；
各边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取当前的数据的成本；根据获取当前的数据的成本、样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新目标准确率，并对联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使终端向各边缘端发送当前的数据，并根据当前的数据进行训练，若是，则得到训练好的联邦学习模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一端边云联邦学习模型训练方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一端边云联邦学习模型训练方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法、电子设备、存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种端边云联邦学习模型训练系统，其特征在于，所述系统包括多个终端、多个边缘端；
各所述终端，用于向一个或多个边缘端发送样本数据；
各所述边缘端，用于接收一个或多个终端发送的样本数据；计算获取各所述样本数据的成本；根据获取各所述样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；根据所述样本数据对待训练的联邦学习模型进行训练，直至满足所述目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
各所述终端，还用于接收一个或多个边缘端反馈数据获取信息；根据所述数据获取信息向一个或多个边缘端发送当前的数据；
各所述边缘端，还用于接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括云端，
各所述边缘端，具体用于通过所述样本数据和所述当前的数据对所述联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将所述第一终端网络模型的参数发送至所述云端；
所述云端，用于对各所述边缘端发送的所述第一终端网络模型的参数进行整合，得到第一整合参数；将所述第一整合参数反馈至各所述边缘端；
各所述边缘端，具体用于接收并根据所述第一整合参数对所述第一终端网络模型的参数进行更新；通过所述样本数据和所述当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将所述第二终端网络模型的参数发送至所述云端，以使所述云端对各所述边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各所述边缘端；利用所述第二整合参数对所述第二终端网络模型的参数进行更新，返回所述通过所述样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
3.根据权利要求1所述的系统，其特征在于，
各所述边缘端，具体用于接收所述当前的数据；计算所述当前的数据的购买成本和传输成本，所述样本数据的购买成本和传输成本；根据所述当前的数据的购买成本和传输成本、所述样本数据的购买成本和传输成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对所述不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，并根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练。
4.根据权利要求2所述的系统，其特征在于，
各所述边缘端，还用于从所述云端下载所述待训练的联邦学习模型。
5.一种端边云联邦学习模型训练方法，其特征在于，所述方法应用于端边云联邦学习模型训练系统，所述系统包括多个终端、多个边缘端；
通过各所述终端向一个或多个边缘端发送样本数据；
通过各所述边缘端接收一个或多个终端发送的样本数据；通过各所述边缘端计算获取各所述样本数据的成本；根据获取各所述样本数据的成本、预设的不同准确率对应的联邦学习成本和预设的不同模型准确率对应的模型损失，计算总训练成本最低时的模型准确率，得到目标准确率；通过各所述边缘端根据所述样本数据对待训练的联邦学习模型进行训练，直至满足所述目标准确率；通过各所述边缘端判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息；
通过各所述边缘端接收一个或多个边缘端反馈数据获取信息；根据所述数据获取信息向一个或多个边缘端发送当前的数据；
通过各所述边缘端接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型。
6.根据权利要求5所述的方法，其特征在于，所述系统还包括云端，所述接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各所述边缘端利用所述样本数据和所述当前的数据对所述联邦学习模型进行训练，得到满足目标准确率的第一终端网络模型；将所述第一终端网络模型的参数发送至所述云端；
通过各所述云端对各所述边缘端发送的所述第一终端网络模型的参数进行整合，得到第一整合参数；将所述第一整合参数反馈至各所述边缘端；
通过各所述边缘端接收并根据所述第一整合参数对所述第一终端网络模型的参数进行更新；通过所述样本数据和所述当前的数据对更新后的联邦学习模型进行训练，得到第二终端网络模型；将所述第二终端网络模型的参数发送至所述云端，以使所述云端对各所述边缘端发送的第二终端网络模型的参数进行整合，得到并将第二整合参数反馈至各所述边缘端；利用所述第二整合参数对所述第二终端网络模型的参数进行更新，返回所述通过所述样本数据对更新后的终端网络模型进行训练，得到第二终端网络模型的步骤继续执行，直至得到满足目标准确率的联邦学习模型。
7.根据权利要求5所述的方法，其特征在于，所述接收一个或多个终端发送的当前的数据；计算获取所述当前的数据的成本；根据获取所述当前的数据的成本、所述样本数据的成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失计算总训练成本最低时的模型准确率，根据计算结果更新所述目标准确率，并对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型，包括：
通过各所述边缘端接收所述当前的数据；计算所述当前的数据的购买成本和传输成本，所述样本数据的购买成本和传输成本；根据所述当前的数据的购买成本和传输成本、所述样本数据的购买成本和传输成本、所述预设的不同准确率对应的联邦学习成本和所述预设的不同模型准确率对应的模型损失，创建不同模型准确率对应的联邦学习模型的总训练成本模型；对所述不同模型准确率对应的联邦学习模型的总训练成本模型进行求解，计算总训练成本最低时的模型准确率，得到并根据计算结果更新所述目标准确率；对所述联邦学习模型进行训练，直至满足更新后的目标准确率；判断训练后的联邦学习模型是否满足预设准确率，若否，则向对应终端反馈数据获取信息，以使所述终端向各所述边缘端发送当前的数据，并根据所述当前的数据进行训练，若是，则得到训练好的联邦学习模型。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过各所述边缘端从所述云端下载所述待训练的联邦学习模型。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求5-8任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求5-8任一所述的方法步骤。
CN202110887349.1A 2021-08-03 2021-08-03 一种端边云联邦学习模型训练系统及方法 Active CN113591999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110887349.1A CN113591999B (zh) 2021-08-03 2021-08-03 一种端边云联邦学习模型训练系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110887349.1A CN113591999B (zh) 2021-08-03 2021-08-03 一种端边云联邦学习模型训练系统及方法

Publications (2)

Publication Number Publication Date
CN113591999A true CN113591999A (zh) 2021-11-02
CN113591999B CN113591999B (zh) 2023-08-01

Family

ID=78254517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110887349.1A Active CN113591999B (zh) 2021-08-03 2021-08-03 一种端边云联邦学习模型训练系统及方法

Country Status (1)

Country Link
CN (1) CN113591999B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596865A (zh) * 2023-05-05 2023-08-15 深圳市大数据研究院 缺陷检测方法、系统及机器人

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329010A (zh) * 2020-10-16 2021-02-05 深圳前海微众银行股份有限公司 基于联邦学习的自适应数据处理方法、装置、设备及存储介质
US20210158687A1 (en) * 2019-11-27 2021-05-27 B&H Licensing Inc. Method and system for pedestrian-to-vehicle collision avoidance based on amplified and reflected wavelength

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210158687A1 (en) * 2019-11-27 2021-05-27 B&H Licensing Inc. Method and system for pedestrian-to-vehicle collision avoidance based on amplified and reflected wavelength
CN112329010A (zh) * 2020-10-16 2021-02-05 深圳前海微众银行股份有限公司 基于联邦学习的自适应数据处理方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘耕;赵立君;陈庆勇;唐小勇;游正鹏;: "联邦学习在5G云边协同场景中的原理和应用综述", 通讯世界, no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596865A (zh) * 2023-05-05 2023-08-15 深圳市大数据研究院 缺陷检测方法、系统及机器人
CN116596865B (zh) * 2023-05-05 2024-04-16 深圳市大数据研究院 缺陷检测方法、系统及机器人

Also Published As

Publication number Publication date
CN113591999B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
US20200159702A1 (en) Method, apparatus, and computer program product for data quality analysis
CN109343942B (zh) 基于边缘计算网络的任务调度方法
CN111049756B (zh) 请求响应方法、装置、电子设备及计算机可读存储介质
CN108965951B (zh) 广告的播放方法及装置
US20210089887A1 (en) Variance-Based Learning Rate Control For Training Machine-Learning Models
CN113408797A (zh) 流转量预测多时序模型生成方法、信息发送方法和装置
CN112187670B (zh) 一种基于群体智能的网络化软件共享资源分配方法及装置
CN106326062A (zh) 应用程序的运行状态控制方法和装置
CN114048931B (zh) 补货信息生成方法、装置、电子设备和计算机可读介质
WO2019062404A1 (zh) 应用程序的处理方法、装置、存储介质及电子设备
CN110866040A (zh) 用户画像生成方法、装置和系统
CN113591999B (zh) 一种端边云联邦学习模型训练系统及方法
CN115271757A (zh) 需求信息生成方法、装置、电子设备和计算机可读介质
CN112559898B (zh) 物品信息发送方法、装置、电子设备和计算机可读介质
CN110347973B (zh) 用于生成信息的方法和装置
CN111130984B (zh) 用于处理信息的方法和装置
CN107734006A (zh) 一种统计日志发送方法、装置及电子设备
CN115391661A (zh) 训练推荐模型的方法、推荐资源的方法及其装置
CN114257521A (zh) 流量预测方法、装置、电子设备和存储介质
CN113421045A (zh) 运单信息发送方法、装置、电子设备和计算机可读介质
CN114116740A (zh) 用于联合学习中确定参与方贡献度的方法及装置
CN110766501B (zh) 数据嵌套存储方法、装置、电子设备及计算机可读介质
CN115130026A (zh) 目标对象的确定方法、装置、介质及电子设备
CN115334321B (zh) 视频流的访问热度的获取方法、装置、电子设备及介质
WO2020128449A1 (en) Data aggregation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant