CN113935462A - 一种基于堆栈自动编码器的联邦学习方法、装置及系统 - Google Patents

一种基于堆栈自动编码器的联邦学习方法、装置及系统 Download PDF

Info

Publication number
CN113935462A
CN113935462A CN202111155779.0A CN202111155779A CN113935462A CN 113935462 A CN113935462 A CN 113935462A CN 202111155779 A CN202111155779 A CN 202111155779A CN 113935462 A CN113935462 A CN 113935462A
Authority
CN
China
Prior art keywords
image data
automatic encoder
child nodes
data
stack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111155779.0A
Other languages
English (en)
Inventor
樊昕晔
王鹏
贾雪丽
李钰
王义文
田江
向小佳
丁永建
李璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everbright Technology Co ltd
Original Assignee
Everbright Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everbright Technology Co ltd filed Critical Everbright Technology Co ltd
Priority to CN202111155779.0A priority Critical patent/CN113935462A/zh
Publication of CN113935462A publication Critical patent/CN113935462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于堆栈自动编码器的联邦学习方法、装置及系统，其中，该方法包括：多个子节点分别通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据，将该加密后的图像数据发送给该中心节点；该中心节点根据该多子节点的加密后的图像数据对图像分类模型进行训练，可以解决相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题，使用堆栈自动编码器对各子节点的数据进行加密，中心节点无法获得堆栈自动编码器的参数，故无法基于加密后的数据推断出对应的原始数据，保证了数据的安全，一定程度上提升了联邦学习的效果和效率。

Description

一种基于堆栈自动编码器的联邦学习方法、装置及系统
技术领域
本发明涉及数据处理领域，具体而言，涉及一种基于堆栈自动编码器的联邦学习方法、装置及系统。
背景技术
传统横向联邦学习下的模型训练，多个节点共同训练一个模型时，数据质量显得尤为重要。但数据均存在不同程度的噪声，这部分噪声会干扰模型效果，延缓模型训练速率。传统横向联邦学习目前无法规避噪声对于模型的不良影响。
当模型需要很多轮的迭代时，这会产生大量的通信开销。因为每轮迭代都需要各节点间传递参数，复杂的模型参数量巨大，且经过加密处理后的参数，所占的内存空间会变得更大。传统横向联邦学习只能提升机器性能，以应对大量参数传递带来的巨大通信开销。传统横向联邦学习在训练模型时，需要各节点均保持在线，任意一方网络出现问题均会导致训练失败。
针对相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种基于堆栈自动编码器的联邦学习方法、装置及系统，可以解决相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题。
根据本发明的一个实施例，提供了一种基于堆栈自动编码器的联邦学习方法，应用于子节点，包括：
通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
可选地，通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据包括：
根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器；
根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
可选地，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组包括：
将所述目标图像数据输入所述自动编码器；
通过所述自动编码器计算所述目标图像数据中每个图像数据的均方误差；
根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组。
可选地，根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组包括：
将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；
将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；
对所述异常数据进行过滤。
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习方法，应用于中心节点，包括：
接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
可选地，根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练包括：
将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习装置，应用于子节点，包括：
加密模块，用于通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
发送模块，用于将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
可选地，所述加密模块包括：
训练子模块，用于根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器；
提取子模块，用于根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
可选地，所述提取子模块包括：
输入单元，用于将所述目标图像数据输入所述自动编码器；
计算单元，用于通过所述自动编码器计算所述目标图像数据中每个图像数据的均方误差；
过滤单元，用于根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组。
可选地，所述过滤单元，还用于
将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；
将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；
对所述异常数据进行过滤。
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习装置，应用于中心节点，包括：
接收模块，用于接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
训练模块，用于根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
可选地，所述训练模块，还用于
将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习系统，包括：多个子节点与中心节点，其中，所述多个子节点均与所述中心节点连接，
所述多个子节点，用于分别通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据，将所述加密后的图像数据发送给所述中心节点；
所述中心节点，用于根据所述多个子节点的加密后的图像数据对图像分类模型进行训练。
可选地，所述多个子节点，还用于分别根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
可选地，所述中心节点，还用于将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
可选地，所述多个子节点，用于分别将所述目标图像数据中的每个图像数据输入所述自动编码器；通过所述自动编码器计算所述每个图像数据的均方误差；根据所述均方误差过滤异常数据，得到所述编码数组。
可选地，所述多个子节点，还用于将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；对所述异常数据进行过滤。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，多个子节点分别通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据，将所述加密后的图像数据发送给所述中心节点；所述中心节点根据所述多个子节点的加密后的图像数据对图像分类模型进行训练，可以解决相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题，使用堆栈自动编码器对各子节点的数据进行加密，中心节点无法获得堆栈自动编码器的参数，故无法基于加密后的数据推断出对应的原始数据，保证了数据的安全，一定程度上提升了联邦学习的效果和效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的基于堆栈自动编码器的联邦学习方法的移动终端的硬件结构框图；
图2是根据本发明实施例的基于堆栈自动编码器的联邦学习方法的流程图一；
图3是根据本发明实施例的基于堆栈自动编码器的联邦学习方法的流程图二；
图4是根据本发明实施例的基于堆栈自动编码器的联邦学习系统的示意图；
图5是根据本发明实施例的基于堆栈自动编码器的联邦学习的示意图；
图6是根据本发明实施例的基于堆栈自动编码器的联邦学习装置的框图一；
图7是根据本发明实施例的基于堆栈自动编码器的联邦学习装置的框图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的基于堆栈自动编码器的联邦学习方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的基于堆栈自动编码器的联邦学习方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的基于堆栈自动编码器的联邦学习方法，图2是根据本发明实施例的基于堆栈自动编码器的联邦学习方法的流程图一，如图2所示，应用于子节点，该流程包括如下步骤：
步骤S202，通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
步骤S204，将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
通过上述步骤S202至S204，可以解决相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题，使用堆栈自动编码器对各子节点的数据进行加密，中心节点无法获得堆栈自动编码器的参数，故无法基于加密后的数据推断出对应的原始数据，保证了数据的安全，一定程度上提升了联邦学习的效果和效率。
具体的，模型训练开始的标志是中心节点接收完所有子节点的数据，这一特性避免了各子节点机器在线时间不一致的问题，因为模型不需要各子节点间同步训练过程，可以解决各子节点必须同时在线的问题。使用堆栈自动编码器对各子节点的数据进行加密，中心节点无法获得堆栈自动编码器的参数，故无法基于加密后的数据推断出对应的原始数据，保证了数据的安全，可以解决数据泄露的问题。堆栈自动编码器可以提取出图像数据的核心特征，同时去除掉图像中干扰模型的噪声。编码器的这一特性可以提升各子节点的数据质量，从而使中心节点的模型更快地收敛，可以提升联邦学习效果。模型训练只在中心节点的机器中完成，不存在多轮的参数传递，即不涉及多轮的通信开销，可以提升联邦学习效率。
在各子节点构建堆栈自动编码器，将各子节点的数据通过堆栈自动编码器编码进行加密，将加密后的数据传递至中心节点，中心节点根据多个子节点的所有数据训练本地模型。
本发明实施例中，上述步骤S202具体可以包括：
S2021，根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器；
S2022，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
进一步的，上述S2022具体可以包括：将所述目标图像数据输入所述自动编码器；通过所述自动编码器计算所述目标图像数据中每个图像数据的均方误差；根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组，具体的，将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；对所述异常数据进行过滤，便可得到正常的图像数据。
实施例2
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习方法，图3是根据本发明实施例的基于堆栈自动编码器的联邦学习方法的流程图二，如图3所示，应用于中心节点，包括：
步骤S302，接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
步骤S304，根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
本发明实施例中，步骤S304具体可以包括：将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
通过上述步骤S302至S304，可以解决相关技术中横向联邦学习在训练模型时，需要各子节点均保持在线，任意一方网络出现问题均会导致训练失败，且数据容易泄露的问题，使用堆栈自动编码器对各子节点的数据进行加密，中心节点无法获得堆栈自动编码器的参数，故无法基于加密后的数据推断出对应的原始数据，保证了数据的安全，一定程度上提升了联邦学习的效果和效率。
实施例3
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习系统，图4是根据本发明实施例的基于堆栈自动编码器的联邦学习系统的示意图，如图4所示，包括：多个子节点42与中心节点44，其中，所述多个子节点42均与所述中心节点44连接，
所述多个子节点42，用于分别通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据，将所述加密后的图像数据发送给所述中心节点44；
所述中心节点44，用于根据所述多个子节点42的加密后的图像数据对图像分类模型进行训练。
可选地，所述多个子节点42，还用于分别根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
可选地，所述中心节点44，还用于将所述多个子节点42的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
可选地，所述多个子节点42，用于分别将所述目标图像数据中的每个图像数据输入所述自动编码器；通过所述自动编码器计算所述每个图像数据的均方误差；根据所述均方误差过滤异常数据，得到所述编码数组。
可选地，所述多个子节点42，还用于将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；对所述异常数据进行过滤。
本发明实施例基于堆栈自动编码器新的联邦学习模型训练方式，即运用堆栈自动编码器加密各子节点数据，从而完成中心节点的模型训练。这里以两个子节点、图像分类问题为例说明本发明的模型结构，图5是根据本发明实施例的基于堆栈自动编码器的联邦学习的示意图，如图5所示，两个子节点分别训练自身的堆栈自动编码器，待自动编码器训练好后，提取出代表本地图像数据核心特征的编码数组，并将编码数组传递至中心节点的卷积神经网络，进行图像分类任务的训练。
为了防止各子节点的图像数据直接泄露给中心节点，需要设计一种加密的算法，对原始图像数据进行加工。该方法既要保证隐私的安全，也最好在一定程度上提升联邦学习模型的效果和效率。
堆栈自动编码器可以提取出图像数据的核心特征，同时去除掉图像中干扰模型的噪声。编码器的这一特性可以提升各子节点的数据质量，从而使中心节点的模型更快地收敛。
通过堆栈自动编码器加密的图像数据，可被直接传递至中心节点进行训练。这解决了传统横向联邦学习中多节点均需在线维护一个模型，每轮训练时节点间都需互传参数两个问题。
图像数据在输入本地的堆栈自动编码器后，会随之计算均方误差，若该误差大于预先设置的阈值，则认为该图像数据是异常值，可见堆栈自动编码器在一定程度上充当了数据质量过滤器的作用。
真实联邦场景中各机构数据差异性较大，本发明实施例并不限制堆栈自动编码器的结构，所以各机构可根据自身数据的实际情况构建编码器，以实现编码数组最优程度地代表数据本身。
假设任务目标是通过肺部图像识别患者是否患有某病毒，有两家医院具备这样的图像数据。对于本发明的模型而言，两家医院预选训练自身的堆栈自动编码器，此时的训练数据可以只选择肺部图像数据，也可将数据集扩充至相关的医疗图像数据。因为训练堆栈自动编码器的目的是提取图像特征，所以编码器中的神经网络层结构也以卷积层为主。待堆栈自动编码器训练完成后，将肺部图像输入编码器，得到包含图像核心特征的编码数组，该编码数组便作为肺部图像的加密形式传递至中心节点。中心节点是两家医院共同信任的第三方机构，中心节点只负责接收加密数据和训练模型。因为任务是图像二分类，所以中心节点也应构建相应的卷积网络，最后以sigmoid激活函数结尾。预测阶段同理，医院将待预测的图像通过编码器加密，而后借助中心节点的卷积神经网络得到待预测图像的分类结果。
以两家医院的肺部图像识别为例。在肺部图像识别的任务中，模型使用了神经网络中的卷积层(Conv2D)、池化层(MaxPooling2D)、全连接层(Dense)、激活层(LeakyReLU)、批量标准化层(BatchNormalization)，各层的作用如下：
卷积层：用来提取图像特征；
池化层：用于压缩参数量，防止过拟合，提高模型泛化能力；
全连接层：连接所有的特征；
激活层：用来加入非线性因素；
批量标准化层：通过规范化的手段,将越来越偏的分布拉回到标准化的分布,使得激活函数的输入值落在激活函数对输入比较敏感的区域,从而使梯度变大,加快学习收敛速度,避免梯度消失的问题。
选用堆栈自动编码器而非普通自动编码器的原因。因为堆栈自动编码器具有更深的网络结构，网络结构越深，对于数据特征的提取能力越强，模型训练的效果也越好。
本发明实施例基于堆栈自动编码器的隐私加密机制，利用堆栈自动编码器提取出数据的核心特征，并去除了干扰模型的数据中的噪声。模型训练只在中心节点的机器中完成，不存在多轮的参数传递，即不涉及多轮的通信开销。模型训练开始的标志是中心节点接收完所有子节点的数据，这一特性避免了各子节点机器在线时间不一致的问题，因为模型不需要各子节点间同步训练过程。加入的堆栈自动编码器可以辅助识别数据中的异常值。具有较大的数据包容性，即使各子节点数据分布有较大的差异，中心节点的模型也会有很好的结果，因为本发明允许各子节点针对自身数据训练各不相同的堆栈自动编码器。
实施例4
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习装置，图6是根据本发明实施例的基于堆栈自动编码器的联邦学习装置的框图一，如图6所示，应用于子节点，包括：
加密模块62，用于通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
发送模块64，用于将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
可选地，所述加密模块62包括：
训练子模块，用于根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器；
提取子模块，用于根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
可选地，所述提取子模块包括：
输入单元，用于将所述目标图像数据输入所述自动编码器；
计算单元，用于通过所述自动编码器计算所述目标图像数据中每个图像数据的均方误差；
过滤单元，用于根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组。
可选地，所述过滤单元，还用于
将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；
将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；
对所述异常数据进行过滤。
实施例5
根据本发明的另一个实施例，还提供了一种基于堆栈自动编码器的联邦学习装置，图7是根据本发明实施例的基于堆栈自动编码器的联邦学习装置的框图二，如图7所示，应用于中心节点，包括：
接收模块72，用于接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
训练模块74，用于根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
可选地，所述训练模块74，还用于
将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例6
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S11，通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
S12，将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
可选地，在本实施例中，上述存储介质还可以被设置为存储用于执行以下步骤的计算机程序：
S21，接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
S22，根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例7
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S11，通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
S12，将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
可选地，在本实施例中，上述处理器还可以被设置为通过计算机程序执行以下步骤：
S21，接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
S22，根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于堆栈自动编码器的联邦学习方法，其特征在于，应用于子节点，包括：
通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
2.根据权利要求1所述的方法，其特征在于，通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据包括：
根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器；
根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
3.根据权利要求2所述的方法，其特征在于，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组包括：
将所述目标图像数据输入所述自动编码器；
通过所述自动编码器计算所述目标图像数据中每个图像数据的均方误差；
根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组。
4.根据权利要求3所述的方法，其特征在于，根据所述均方误差过滤所述目标图像数据中的异常数据，得到所述编码数组包括：
将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；
将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；
对所述异常数据进行过滤。
5.一种基于堆栈自动编码器的联邦学习方法，其特征在于，应用于中心节点，包括：
接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
6.根据权利要求5所述的方法，其特征在于，根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练包括：
将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
7.一种基于堆栈自动编码器的联邦学习装置，其特征在于，应用于子节点，包括：
加密模块，用于通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据；
发送模块，用于将所述加密后的图像数据发送给中心节点，以使所述中心节点根据多个所述子节点的加密后的图像数据对图像分类模型进行训练。
8.一种基于堆栈自动编码器的联邦学习装置，其特征在于，应用于中心节点，包括：
接收模块，用于接收多个子节点发送的加密后的图像数据，其中，所述加密后的图像数据是所述多个子节点通过堆栈自动编码器对目标图像数据进行加密得到的；
训练模块，用于根据所述多个子节点的所述加密后的图像数据对图像分类模型进行训练。
9.一种基于堆栈自动编码器的联邦学习系统，其特征在于，包括：多个子节点与中心节点，其中，所述多个子节点均与所述中心节点连接，
所述多个子节点，用于分别通过堆栈自动编码器对目标图像数据进行加密，得到加密后的图像数据，将所述加密后的图像数据发送给所述中心节点；
所述中心节点，用于根据所述多个子节点的加密后的图像数据对图像分类模型进行训练。
10.根据权利要求9所述的系统，其特征在于，
所述多个子节点，还用于分别根据预设数量的图像数据训练所述堆栈自动编码器，得到训练好的自动编码器，根据所述自动编码器提取代表所述目标图像数据的核心特征的编码数组，其中，所述加密后的图像数据为所述编码数组。
11.根据权利要求10所述的系统，其特征在于，
所述中心节点，还用于将所述多个子节点的所述编码数组输入卷积神经网络模型中，对所述卷积神经网络模型进行训练，得到训练好的用于图像分类的目标卷积神经网络模型。
12.根据权利要求10所述的系统，其特征在于，
所述多个子节点，用于分别将所述目标图像数据中的每个图像数据输入所述自动编码器；通过所述自动编码器计算所述每个图像数据的均方误差；根据所述均方误差过滤异常数据，得到所述编码数组。
13.根据权利要求12所述的系统，其特征在于，
所述多个子节点，还用于将所述每个图像数据的所述均方误差与预先设置的阈值进行对比，得到对比结果；将所述目标图像数据中所述对比结果为大于预先设置的阈值的图像数据确定为异常数据；对所述异常数据进行过滤。
14.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4、5至6任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至4、5至6中任一项所述的方法。
CN202111155779.0A 2021-09-29 2021-09-29 一种基于堆栈自动编码器的联邦学习方法、装置及系统 Pending CN113935462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111155779.0A CN113935462A (zh) 2021-09-29 2021-09-29 一种基于堆栈自动编码器的联邦学习方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111155779.0A CN113935462A (zh) 2021-09-29 2021-09-29 一种基于堆栈自动编码器的联邦学习方法、装置及系统

Publications (1)

Publication Number Publication Date
CN113935462A true CN113935462A (zh) 2022-01-14

Family

ID=79277333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111155779.0A Pending CN113935462A (zh) 2021-09-29 2021-09-29 一种基于堆栈自动编码器的联邦学习方法、装置及系统

Country Status (1)

Country Link
CN (1) CN113935462A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
CN111401273A (zh) * 2020-03-19 2020-07-10 支付宝(杭州)信息技术有限公司 一种用于隐私保护的用户特征提取系统及设备
CN112347885A (zh) * 2020-10-27 2021-02-09 西安科技大学 一种基于自编码网络的铁谱图像智能识别方法
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN112686393A (zh) * 2020-12-31 2021-04-20 华南理工大学 一种联邦学习系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130279A1 (en) * 2017-10-27 2019-05-02 Robert Bosch Gmbh Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder
CN111401273A (zh) * 2020-03-19 2020-07-10 支付宝(杭州)信息技术有限公司 一种用于隐私保护的用户特征提取系统及设备
CN112347885A (zh) * 2020-10-27 2021-02-09 西安科技大学 一种基于自编码网络的铁谱图像智能识别方法
CN112464290A (zh) * 2020-12-17 2021-03-09 浙江工业大学 一种基于自编码器的垂直联邦学习防御方法
CN112686393A (zh) * 2020-12-31 2021-04-20 华南理工大学 一种联邦学习系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
安东尼奥·古利等: "深度学习实战 基于TENSORFLOW 2和KERAS 原书第2版", 31 August 2021, 机械工业出版社, pages: 268 *
陈敏: "人工智能通信理论与方法", 31 January 2020, 华中科技大学出版社, pages: 102 - 103 *

Similar Documents

Publication Publication Date Title
CN110795477A (zh) 数据的训练方法及装置、系统
CN106682984A (zh) 基于区块链的交易事务处理方法及系统
Tyagi et al. When is a function securely computable?
CN104521186A (zh) 工业网络中的消息隧穿
CN107798538A (zh) 一种交易核算方法及客户端
US20230262728A1 (en) Communication Method and Communication Apparatus
CN104734887A (zh) 一种带外管理服务器资产信息的方法
CN105991164B (zh) 一种蓝牙的组网方法及系统
CN109302540A (zh) 一种融合通讯业务的受理方法、装置及设备
CN104243198B (zh) 一种基于网络配置协议的网络管理方法和系统
US10187365B2 (en) Method for exchanging numerical data frames and associated communication system
CN109758629B (zh) 透析数据的传输方法、装置、设备及存储介质
CN113935462A (zh) 一种基于堆栈自动编码器的联邦学习方法、装置及系统
CN112270415A (zh) 一种加密机器学习的训练数据准备方法、装置和设备
CN115348177B (zh) 一种工控系统网络拓扑安全重构方法、装置及存储介质
CN113114465B (zh) 归属权限的处理方法及装置、存储介质、电子装置
CN115766160A (zh) 数据处理方法及装置
CN106303983B (zh) 群组数据传输方法和装置
CN114547140A (zh) 行为序列的生成方法及装置、存储介质、电子装置
Luo et al. Routing explicit side information for data compression in wireless sensor networks
CN106850246A (zh) 设备信息的识别方法及装置
CN113839921B (zh) 数据处理方法、装置、计算机设备和存储介质
CN110929101A (zh) 一种确定连通分量、强连通分量的方法及装置
US7876777B2 (en) Multiple protocol decoder
CN113283521B (zh) 一种条件生成对抗网络生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination