CN116579418A - 联邦边缘学习环境下模型分割优化的隐私数据保护方法 - Google Patents

联邦边缘学习环境下模型分割优化的隐私数据保护方法 Download PDF

Info

Publication number
CN116579418A
CN116579418A CN202310562355.9A CN202310562355A CN116579418A CN 116579418 A CN116579418 A CN 116579418A CN 202310562355 A CN202310562355 A CN 202310562355A CN 116579418 A CN116579418 A CN 116579418A
Authority
CN
China
Prior art keywords
model
edge
segmentation
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310562355.9A
Other languages
English (en)
Inventor
胡海洋
徐帅达
李忠金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310562355.9A priority Critical patent/CN116579418A/zh
Publication of CN116579418A publication Critical patent/CN116579418A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Medical Informatics (AREA)
  • Bioethics (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。本发明结合了隐私安全保护和模型分割动态调整策略，在满足联邦边缘学习计算任务、数据隐私安全性和边缘设备能耗控制的条件下，使得联邦边缘学习效率最大化，并提供模型分割动态调整策略。首先根据模型反演找到满足数据隐私安全性的模型分割安全点，在满足数据安全性的条件下，找到一个边缘设备能耗和训练效率的模型分割平衡点。在平衡点处进行模型分割部署的初始化。然后在训练和推理的过程中根据边缘设备的资源分配需求，动态调整模型分割点，满足复杂环境下模型训练效率最大化以及资源动态调整的需求。

Description

联邦边缘学习环境下模型分割优化的隐私数据保护方法
技术领域
本发明涉及联邦边缘学习、深度学习模型分割技术领域，具体是一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。
背景技术
随着深度学习网络(DNN)在物联网领域中的广泛应用，如语音识别，计算机视觉，图像处理等。在深度学习任务的应用中，需要大量的数据来训练DNN模型，这需要庞大的存储系统以及足够的算力支持。传统的解决方案采用集中的训练方式，将边缘设备的数据传输到云服务器进行训练。这种方案在数据隐私保护方面有不可避免的缺陷。另一方面，数据上传到云也需要占用大量的通信资源，拉低了整个系统的性能。基于此，在边缘设备周围架设边缘服务器得以受到人们的重视。边缘服务器凭借其物理距离的优势，相比于云服务器有更加可靠的短距离通信传输，显著的降低了系统的通信成本。但是，数据在边缘服务器的隐私保护问题仍未得到解决。
联邦学习(Federal Learning,FL)的出现为隐私保护的解决提供了新的平台和机遇。FL是一种分布式学习范式，允许多个边缘设备协同训练DNN模型。在FL框架中每个边缘设备根据自己的数据集在本地进行模型训练，然后将本地模型参数上传至中央服务器，中央服务器负责将各个边缘设备的模型聚合，得到全局模型参数，并将全局模型再分发到边缘设备。重复上述训练过程，直至模型收敛。
随着越来越多的物联网设备参与到联邦学习中，近年来研究人员致力于优化FL范式，优化目标主要集中在提高模型精度和通信效率上。相比而言，对于提高FL的计算效率以及降低FL计算能耗的研究并不多。在经典FL框架下，资源受限的边缘设备承担了大部分的模型训练任务，资源充足的边缘服务器只是承担了计算量很小的聚合任务，这种不公平的任务分配策略很大程度上降低了FL的训练效率。
边缘学习(Edge Learning)提出利用网络边缘的资源执行计算任务，具有数据传输距离短、数据处理实时的优点。一些解决方案将联合学习和边缘计算相结合，以减少交换模型参数时的通信开销。它们要求边缘服务器对近端移动设备的模型进行聚合，并将聚合后的模型上传到云数据中心。然而，移动设备仍然需要消耗大量的本地计算资源来训练模型。这就引入了一个额外的第三方，边缘服务器，这可能会增加新的潜在的安全风险。
联邦边缘学习(Federal Edge Learning,FEEL)的出现弥补了FL在资源分配策略上的不足，也平衡了边缘学习隐私安全性的缺陷。在FEEL中，基于边缘计算的思想，将模型计算任务转移到私有的可信任的边缘服务器上，而不是在中央服务器上进行简单的模型聚合。边缘设备、边缘服务器和中央服务器构成了FEEL的三层架构。现有大部分FEEL策略为增强数据隐私的安全性，在模型计算通信的过程中增加了噪声或者进行了加密处理，但都同时提高了模型训练的复杂度，不利于模型训练的效率。再者，现有FEEL策略多继承了经典FL框架的特征，将整个DNN模型放了在边缘设备上，资源受限的边缘设备承担了大部分的模型训练任务。这种不公平的任务分配策略同样很大程度上降低了FEEL的训练效率。
为此，本发明提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。
发明内容
本发明针对现有方法的不足，提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法。
本发明提出的一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，在保证数据隐私安全性的前提下，降低边缘设备端的模型计算能耗，提高模型计算效率。本发明方法的大体思想是：分割学习策略、模型反演、模型分割优化和模型分割动态调整策略。
分割学习策略给定了模型分割的分割策略，在模型分割点处进行有效的模型分割，并部署到边缘设备和边缘服务器上。
模型反演用来验证边缘设备的子模型在不同分割点的隐私安全性，训练一个反演模型，对不同分割点的中间激活进行反演测试，根据对边缘数据安全性的要求，找到一个最小的模型分割安全点Q。
模型分割优化用来在数据隐私安全性和训练性能之间找到一个平衡点。按照该分割平衡点K，进行模型的初始化分割。
模型分割动态调整策略，边缘设备计算发生变化时，对模型分割点进行动态调整。分为两种情况，当边缘设备其他计算任务抢占计算资源时，若新任务的响应速度要求高，则应减少FEEL训练任务所占用的计算量，即减少边缘设备上的模型层数，这部分模型依靠边缘服务器来训练。当边缘设备上计算任务量少时，则可增加FEEL训练任务在边缘设备的模型层数，由于边缘设备的资源限制以及能耗要求，模型在边缘设备上的子模型层数并不能一直增加，需采取的策略是将子模型层数增加至之前模型分割优化所得到的模型分割平衡点。
本发明具体如下：
第一方面，本发明提供一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，包括如下步骤：
步骤1、构建联邦边缘学习框架，包括一个云服务器S、一组边缘服务器ES、n个边缘设备E以及每个边缘设备的私有数据集Di；
步骤2、制定模型分割学习策略，实现DNN模型的分割，一部分部署在边缘设备端，另一部分部署在边缘服务器端；
步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；
步骤4、考虑各边缘设备的计算性能及功耗，兼顾DNN模型训练效率，确定DNN模型分割平衡点K。然后根据步骤2所示模型分割学习策略将DNN模型在模型分割平衡点K处进行分割初始化，以保护各边缘设备的数据隐私；
步骤5、根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点，以提高边缘设备任务调度的灵活性。
进一步的，步骤2具体包括以下步骤：
所述DNN模型从输入层至输出层共有N层，其中靠近输入层的前m层部署在边缘设备上，称为左子模型Ml；靠近输出层的后N-m层部署到边缘服务器上，称为右子模型Mr，模型分割处为当前模型分割点。
边缘设备在本地执行前向传播，将左子模型最后的激活参数传到边缘服务器的右子模型。边缘服务器使用接受到的激活参数继续进行正向传播。之后，边缘服务器对右子模型的模型参数进行反向传播，更新右子模型。然后，边缘服务器将右子模型在分割点处的反向传播模型参数传递给边缘设备。边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型继续进行反向传播。以此来进行分离式的边缘联邦学习。
进一步的，步骤3具体包括以下步骤：
从DNN模型的输入层开始进行逐层分割，对于每一个可能的分割点(即分割层)Li，i＝1,2,…，N。分别构建反演模型Gi，用来测试该分割点的隐私安全性。分割点为Li时，部署在边缘设备上的左子模型记为MLi。
对反演模型Gi进行训练，使得反演推理出的数据与原始输入数据之间的均方误差(MSE，Mean Square Error)最小化。设用于训练反演模型的数据集为Datag，则反演模型Gi的优化可表示为：
利用训练好的反演模型Gi对左子模型MLi发送的中间激活参数Aiti进行反演推理，重构原始输入数据。
采用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似性SSIM(structural similarity)来衡量反演模型的重构数据与原数据的相似程度。若重构数据与原数据的PSNR>30dB且SSIM>0.8时，则认为以当前分割点进行模型分割是隐私不安全的。反之，若重构数据与原数据的PSNR≤30dB或SSIM≤0.8则认为以当前分割点进行模型分割是隐私安全的。
反演模型的训练从i＝1开始，逐个训练反演模型Gi，直到反演模型Gi重构出的图像不满足评价指标，则i就是要找的模型分割安全点,记为Q。其中，为检验反演模型对不同分割点进行攻击的训练效果，针对不同分割层数i的反演模型Gi的模型结构和训练次数应相同。
进一步的，步骤4具体包括以下步骤：
4-1计算边缘设备总能量消耗E；
单个边缘设备总能量消耗Esum由边缘设备模型计算能耗和通信传输能耗两部分组成；边缘设备模型计算能耗可由设备CPU/GPU功率乘计算时间得到，边缘设备通信能耗可由设备通信功率乘通信传输时间得到；边缘设备总能量消耗E可表示为：
E＝Pedge*Tedge+Parr*Tarr 式(2)
其中，Pedge表示边缘设备计算单元功率，Parr表示边缘设备通信传输功率，Tedge表示边缘设备计算所需时间，Tarr表示边缘设备通信所需时间；
4-2计算模型训练总时延T。
模型训练总时延T由边缘设备训练时间、通信传输时间和服务器训练时间三部分组成；边缘设备训练时间可由边缘设备左子模型计算量、边缘设备算力以及训练任务的超参数得出；服务器训练时间可由边缘服务器右子模型计算量、服务器设备算力以及训练任务的超参数得出；通信传输时间可由模型参数上传至服务器时间和下载到本地时间计算得出；模型训练总时延T可表示为：
其中FLOPsedge为边缘设备左子模型计算量，FLOPSsever为边缘服务器右子模型计算量，wedge、wsever分别为边缘设备左子模型、边缘服务器右子模型的算力，CAit为通信传输数据量，r为通信传输速率，B为模型训练的batchsize，epoch为模型训练次数；
边缘设备左子模型的层数越多，DNN模型分割点处参数量越小，通信传输的能耗以及时间就越小，模型训练效率更高，但同时占用了更多边缘设备的计算资源，产生了更多能耗。反之，边缘设备左子模型的层数越少，边缘设备的能耗更低，但同时模型训练效率降低。
4-3计算模型分割平衡点k，使得整个系统的训练时间及能量消耗尽可能少。
在通信传输率r，模型参数量params以及模型安全性的约束之下，该优化问题可表示为：
s.t.K>Q
K≤N
Paramsedge<Medge
其中，Paramsedge为边缘设备左子模型参数量，Medge为边缘设备内存容量，N为DNN模型网络模型总层数，λ和μ分别表示能耗和时延的重要性加权指标，Q为模型分割安全点；
利用二次多项式回归，优化求解公式(4)，得到模型分割平衡点K；
4-4在分割平衡点K处进行模型分割，将分割后左子模型(输入端)部署在边缘设备，右子模型(输出端)部署在边缘服务器吗，完成模型分割的初始化。
进一步的，步骤5具体包括以下步骤：
实时监控边缘设备负载情况，根据资源(CPU/GPU/内存)占用率、边缘设备核心温度、高优先级任务插队等情况出现时，对当前模型分割的分割点k进行动态调整。
5-1对DNN模型进行训练，初始化模型分割的分割点k为模型分割平衡点，即k＝K,时刻t＝t0；
5-2判断当前时刻t模型分割的分割点k是否满足k>Q，若否则执行步骤5-3；若是则继续判断训练过程中是否有出现资源(CPU/GPU/内存)占用率大于预设值θ、优先级高于当前任务的插队任务中的至少一种情况，若是则将部署在边缘设备的左子模型的尾部s层的计算任务交给边缘服务器，模型分割点更新为k＝k-s，且更新后分割点k满足k≥Q，执行步骤5-3；若否则更新k＝K，然后执行步骤5-3；
5-3判断当前DNN模型的训练任务是否完成，若是则模型分割任务结束；若否则t＝t+Δt时，Δt为等待时间，返回步骤5-2。
边缘设备与边缘服务器通过一次通信传输完成模型分割点k的更新。所述通信传输过程具体是边缘设备在给边缘服务器传输激活参数Ait的同时，携带一个模型分割动态调整状态字段Dynamic_adjustment＝true，边缘设备传输第k-s层至第k层的模型参数给边缘服务器。之后，这s层的计算任务，将由边缘服务器承担。s的取值应根据DNN模型大小设定，模型越大，每次动态调整的步长s越大。
当资源(CPU/GPU/内存)占用率低、高优先级任务处理完成时，应将模型分割点恢复至模型分割平衡点K，以保证边缘设备能耗、资源占用以及训练时间的平衡。这一过程为减少边缘设备左子模型的层数的逆过程，同样通过一次通信完成模型分割点的调整。
第二方面，本发明提供一种隐私数据保护系统，包括：
联邦边缘学习框架构建模块；
模型分割学习策略模块；
反演模型构建模块，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；
初始分割模块，确定DNN模型分割平衡点K，然后根据模型分割学习策略将DNN模型在模型分割平衡点K处进行初始分割；
动态调整模块，根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行所述的方法。
第四方面，本发明提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的方法。
本发明有益效果：
本发明提出了一种联邦边缘学习环境下模型分割优化的隐私数据保护方法结合了隐私安全保护和模型分割动态调整策略，在满足联邦边缘学习计算任务、数据隐私安全性和边缘设备能耗控制的条件下，使得联邦边缘学习效率最大化。
本发明采用反演模型寻找满足数据隐私安全性的模型分割安全点，在满足数据安全性的条件下，找到一个边缘设备能耗和训练效率的模型分割平衡点。在平衡点处进行模型分割部署的初始化。然后在训练和推理的过程中根据边缘设备的资源分配需求，动态调整模型分割点，提高边缘设备任务调度的灵活性，满足复杂环境下模型训练效率最大化以及资源动态调整的需求。
附图说明
图1为本发明整体流程图；
图2为本发明联邦边缘学习架构图；
图3为本发明模型分割方法示意图；
图4为本发明模型分割平衡点确定流程图；
图5为本发明模型分割动态调整流程图。
具体实施方式
下面将对本发明所提供的图1模型分割优化及隐私数据保护方法进行具体说明。
步骤1、构建联邦边缘学习框架，包括一个云服务器S、一组边缘服务器ES、n个边缘设备E以及每个边缘设备的私有数据集Di，如图2所示。边缘设备和边缘服务器承担模型训练及推理的计算任务，云服务器只承担联邦聚合任务。
步骤2、制定模型分割策略，将DNN模型分割为两个部分，一部分放在边缘设备上，另一部分放在边缘服务器。
首先将模型分割为两部分，如图3，靠近输入层的部分部署在边缘设备上，称为左子模型Ml；靠近输出层的部分部署到边缘服务器上，称为右子模型Mr，模型分割处为当前模型分割点。
边缘设备在本地执行前向传播，将左子模型Ml最后的激活参数传到边缘服务器的右子模型Mr；边缘服务器使用接受到的激活参数继续进行正向传播；之后，边缘服务器对右子模型Mr的模型参数进行反向传播，更新右子模型Mr；然后，边缘服务器将右子模型Mr在分割点处的反向传播模型参数传递给边缘设备；边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型Ml继续进行反向传播。以此来进行分离式的边缘联邦学习。
步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算模型分割隐私安全点Q。
对于每一个可能的分割点(即分割层)Lii＝1,2,…，N，分别构建反演模型Gi，用来测试该分割点的隐私安全性。分割点为Li时，部署在边缘设备上的左子模型记为MLi。
对反演模型Gi进行训练，使得反演推理出的数据与原始输入数据之间的均方误差(MSE，Mean Square Error)最小化。设用于训练反演模型的数据集为Datag，则反演模型Gi的优化可表示为：
利用训练好的反演模型Gi对左子模型MLi发送的中间激活参数Aiti进行反演推理，重构边缘设备私有数据。
采用峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和结构相似性SSIM(structural similarity)来衡量反演模型的重构数据与原数据的相似程度。当反演模型Gi对左子模型MLi发送的中间激活参数Aiti进行反演推理，重构出的数据与原数据的PSNR>30dB且SSIM>0.8时，认为数据重构是成功的，即在i层进行模型分割是隐私不安全的。反之，若重构数据与原数据的PSNR≤30dB或SSIM≤0.8则认为以当前分割点进行模型分割是隐私安全的。
反演模型的训练从i＝1开始，逐个训练反演模型Gi，直到反演模型Gi重构出的图像不满足评价指标，则当前i就是要找的模型分割安全点,记为Q。其中，为检验反演模型对不同分割点进行攻击的训练效果，针对不同分割层数i的反演模型Gi的训练次数epoch应相同。
步骤4、考虑边缘设备的计算性能及功耗，兼顾模型训练效率，计算边缘设备总能量消耗E和模型训练总时延T。根据E和T建立优化模型确定模型分割平衡点K，然后根据步骤2模型分割学习策略将DNN模型在模型分割平衡点K处进行分割初始化，以保护各边缘设备的数据隐私。
计算边缘设备总能量消耗E。单个边缘设备总能量消耗Esum由边缘设备模型计算能耗和通信传输能耗两部分组成。边缘设备模型计算能耗可由设备CPU/GPU功率乘计算时间得到，边缘设备通信能耗可由设备通信功率乘通信传输时间得到。边缘设备总能量消耗E可表示为：
E＝Pedge*Tedge+Parr*Tarr
其中，Pedge表示边缘设备计算单元功率，Parr表示边缘设备通信传输功率，Tedge表示边缘设备计算所需时间，Tarr表示边缘设备通信所需时间。
计算模型训练总时延T。模型训练总时延T由边缘设备训练时间、通信传输时间和服务器训练时间三部分组成。边缘设备训练时间可由边缘子模型计算量、边缘设备算力以及训练任务的超参数得出。服务器训练时间可由服务端子模型计算量、服务器设备算力以及训练任务的超参数得出。通信传输时间可由模型参数上传至服务器时间和下载到本地时间计算得出。模型训练总时延T可表示为：
其中FLOPsedge为边缘设备左子模型计算量，FLOPssever为边缘服务器右子模型计算量，wedge、wsever分别为边缘设备左子模型、边缘服务器右子模型的算力，CAit为通信传输数据量，r为通信传输速率，B为模型训练的batchsize，epoch为模型训练次数。
边缘设备左子模型的层数越多，DNN模型分割点处参数量越小，通信传输的能耗以及时间就越小，模型训练效率更高，但同时占用了更多边缘设备的计算资源，产生了更多能耗。反之，边缘设备左子模型的层数越少，边缘设备的能耗更低，但同时模型训练效率降低。
考虑边缘设备的计算性能及功耗，兼顾模型训练效率，确定一个模型分割平衡点K，使得整个系统的训练时间及能量消耗尽可能少。同时要保证通信过程中传输的数据安全性在可接受的范围内，即模型分割平衡点K不能小于模型分割安全点Q。在通信传输率r，模型参数量params以及模型安全性的约束之下，该优化问题可表示为：
s.t.K>Q
K≤N
Paramsedge<Medge
其中，Paramsedge为边缘设备模型参数量，Medge为边缘设备内存容量，N为DNN模型网络模型总层数，λ和μ分别表示能耗和时延的重要性加权指标。
利用二次多项式回归，优化求解模型分割平衡点K。在K层进行模型分割，将分割后左子模型(输入端)部署在边缘设备，右子模型(输出端)部署在边缘服务器吗，完成模型分割的初始化。
步骤5、训练时模型分割的动态调整。
实时监控边缘设备负载情况，根据资源(CPU/GPU/内存)占用率、边缘设备核心温度、高优先级任务插队等情况出现时，对模型分割的分割点进行动态调整。
5-1对DNN模型进行训练，初始化模型分割的分割点k为模型分割平衡点K，即k＝K,时刻t＝t0；
5-2判断当前时刻t模型分割的分割点k是否满足k>Q，若否则执行步骤5-3；若是则继续判断训练过程中是否有出现资源占用率大于预设值θ、优先级高于当前任务的插队任务中的至少一种情况，若是则将部署在边缘设备的左子模型的尾部s层的计算任务交给边缘服务器，模型分割点更新为k＝k-s，且更新后分割点k满足k≥Q，执行步骤5-3；若否则更新k＝K，然后执行步骤5-3；
5-3判断当前DNN模型的训练任务是否完成，若是则模型分割任务结束；若否则t＝t+Δt时，Δt为等待时间，返回步骤5-2。
边缘设备与边缘服务器通过一次通信传输完成模型分割点的切换。边缘设备在给服务器传输激活参数Ait的同时，携带一个模型分割动态调整状态字Dynamic_adjustment＝true，表示此次通信之后，模型分割点将进行调整。另外边缘设备传输第k-s层至第k层的模型参数给边缘服务器。之后，这s层的计算任务，将有边缘服务器承担。
当资源(CPU/GPU/内存)占用率低、高优先级任务处理完成时，应将模型分割点恢复至模型分割平衡点K，以保证边缘设备能耗、资源占用以及训练时间的平衡。这一过程为减少边缘设备左子模型的层数的逆过程，同样通过一次通信完成模型分割点的调整。

Claims (8)

1.一种联邦边缘学习环境下模型分割优化的隐私数据保护方法，其特征在于所述方法包括如下步骤：
步骤1、构建联邦边缘学习框架，包括一个云服务器S、一组边缘服务器ES、n个边缘设备E以及每个边缘设备的私有数据集Di；
步骤2、制定模型分割学习策略，实现DNN模型的分割，一部分部署在边缘设备端，另一部分部署在边缘服务器端；
所述DNN模型从输入层至输出层共有N层，其中靠近输入层的前m层部署在边缘设备上，称为左子模型Ml；靠近输出层的后N-m层部署到边缘服务器上，称为右子模型Mr，模型分割处为当前模型分割点；
边缘设备在本地执行前向传播，将左子模型Ml最后的激活参数传到边缘服务器的右子模型Mr；边缘服务器使用接受到的激活参数继续进行正向传播；之后，边缘服务器对右子模型Mr的模型参数进行反向传播，更新右子模型Mr；然后，边缘服务器将右子模型Mr在分割点处的反向传播模型参数传递给边缘设备；边缘设备接收到边缘服务器传来的反向传播模型参数后，对本地左子模型Ml继续进行反向传播；
步骤3、构建反演模型，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；
步骤4、考虑各边缘设备的计算性能及功耗，兼顾DNN模型训练效率，确定DNN模型分割平衡点K；然后根据步骤2模型分割学习策略将DNN模型在模型分割平衡点K处进行分割初始化，以保护各边缘设备的数据隐私；
步骤5、根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点。
2.根据权利要求1所述方法，其特征在于步骤3具体包括以下步骤：
从DNN模型的输入层开始进行逐层分割，对于每一个可能的分割点Li，i＝1,2,…，N，分别构建反演模型Gi，部署在边缘设备上的左子模型记为MLi；
对反演模型Gi进行训练，使得反演推理出的数据与原始输入数据之间的均方误差MSE最小化；设用于训练反演模型的数据集为Datag，则反演模型Gi的优化可表示为：
利用训练好的反演模型Gi对左子模型MLi发送的中间激活参数Aiti进行反演推理，重构原始输入数据；
采用峰值信噪比PSNR和结构相似性SSIM来衡量反演模型的重构数据与原数据的相似程度；若重构数据与原数据的PSNR>30dB且SSIM>0.8时，则认为以当前分割点进行模型分割是隐私不安全的；反之，若重构数据与原数据的PSNR≤30dB或SSIM≤0.8则认为以当前分割点进行模型分割是隐私安全的；
反演模型的训练从i＝1开始，逐个训练反演模型Gi，直到反演模型Gi重构出的图像不满足评价指标，则当前i就是要找的模型分割安全点,记为Q。
3.根据权利要求2所述方法，其特征在于步骤3中不同分割层数i的反演模型Gi的模型结构和训练次数应相同。
4.根据权利要求1所述方法，其特征在于步骤4具体包括以下步骤：
4-1计算边缘设备总能量消耗E；
单个边缘设备总能量消耗Esum由边缘设备模型计算能耗和通信传输能耗两部分组成；边缘设备模型计算能耗可由设备CPU/GPU功率乘计算时间得到，边缘设备通信能耗可由设备通信功率乘通信传输时间得到；边缘设备总能量消耗E可表示为：
E＝Pedge*Tedge+Parr*Tarr 式(2)
其中，Pedge表示边缘设备计算单元功率，Parr表示边缘设备通信传输功率，Tedge表示边缘设备计算所需时间，Tarr表示边缘设备通信所需时间；
4-2计算模型训练总时延T；
模型训练总时延T由边缘设备训练时间、通信传输时间和服务器训练时间三部分组成；边缘设备训练时间可由边缘设备左子模型计算量、边缘设备算力以及训练任务的超参数得出；服务器训练时间可由边缘服务器右子模型计算量、服务器设备算力以及训练任务的超参数得出；通信传输时间可由模型参数上传至服务器时间和下载到本地时间计算得出；模型训练总时延T可表示为：
其中FLOPsedge为边缘设备左子模型计算量，FLOPssever为边缘服务器右子模型计算量，wedge、wsever分别为边缘设备左子模型、边缘服务器右子模型的算力，CAit为通信传输数据量，r为通信传输速率，B为模型训练的batchsize，epoch为模型训练次数；
4-3计算模型分割平衡点K，使得整个系统的训练时间及能量消耗尽可能少；
在通信传输率r，模型参数量params以及模型安全性的约束之下，该优化问题可表示为：
s.t.K>Q
K≤N
Paramsedge<Medge
其中，Paramsedge为边缘设备左子模型参数量，Medge为边缘设备内存容量，N为DNN模型网络模型总层数，λ和μ分别表示能耗和时延的重要性加权指标，Q为模型分割安全点；
利用二次多项式回归，优化求解公式(4)，得到模型分割平衡点K；
4-4在分割平衡点K处进行模型分割，将分割后DNN模型的左子模型部署在边缘设备，右子模型部署在边缘服务器，完成模型分割的初始化。
5.根据权利要求1所述方法，其特征在于步骤5具体包括以下步骤：
5-1对DNN模型进行训练，初始化模型分割的分割点k为模型分割平衡点K，即k＝K,时刻t＝t0；
5-2判断当前时刻t模型分割的分割点k是否满足k>Q，若否则执行步骤5-3；若是则继续判断训练过程中是否有出现资源占用率大于预设值θ、优先级高于当前任务的插队任务中的至少一种情况，若是则将部署在边缘设备的左子模型的尾部s层的计算任务交给边缘服务器，模型分割点更新为k＝k-s，且更新后分割点k满足k≥Q，执行步骤5-3；若否则更新k＝K，然后执行步骤5-3；
5-3判断当前DNN模型的训练任务是否完成，若是则模型分割任务结束；若否则t＝t+Δt时，Δt为等待时间，返回步骤5-2。
6.实现权利要求1-5任一项所述方法的隐私数据保护系统，其特征在于包括：
联邦边缘学习框架构建模块；
模型分割学习策略模块；
反演模型构建模块，训练并推理，根据对数据安全性的要求计算DNN模型分割隐私安全点Q；
初始分割模块，确定DNN模型分割平衡点K，然后根据模型分割学习策略将DNN模型在模型分割平衡点K处进行初始分割；
动态调整模块，根据各边缘设备的资源分配需求，在满足数据隐私安全性的状态下，动态调整DNN模型分割点。
7.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-5中任一项所述的方法。
8.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-5中任一项所述的方法。
CN202310562355.9A 2023-05-18 2023-05-18 联邦边缘学习环境下模型分割优化的隐私数据保护方法 Pending CN116579418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310562355.9A CN116579418A (zh) 2023-05-18 2023-05-18 联邦边缘学习环境下模型分割优化的隐私数据保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310562355.9A CN116579418A (zh) 2023-05-18 2023-05-18 联邦边缘学习环境下模型分割优化的隐私数据保护方法

Publications (1)

Publication Number Publication Date
CN116579418A true CN116579418A (zh) 2023-08-11

Family

ID=87539265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310562355.9A Pending CN116579418A (zh) 2023-05-18 2023-05-18 联邦边缘学习环境下模型分割优化的隐私数据保护方法

Country Status (1)

Country Link
CN (1) CN116579418A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932228A (zh) * 2023-09-14 2023-10-24 湖南希赛网络科技有限公司 一种基于志愿者计算的边缘ai任务调度和资源管理系统
CN117313869A (zh) * 2023-10-30 2023-12-29 浙江大学 一种基于模型分割的大模型隐私保护推理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116932228A (zh) * 2023-09-14 2023-10-24 湖南希赛网络科技有限公司 一种基于志愿者计算的边缘ai任务调度和资源管理系统
CN116932228B (zh) * 2023-09-14 2023-12-12 湖南希赛网络科技有限公司 一种基于志愿者计算的边缘ai任务调度和资源管理系统
CN117313869A (zh) * 2023-10-30 2023-12-29 浙江大学 一种基于模型分割的大模型隐私保护推理方法
CN117313869B (zh) * 2023-10-30 2024-04-05 浙江大学 一种基于模型分割的大模型隐私保护推理方法

Similar Documents

Publication Publication Date Title
CN110347500B (zh) 用于边缘计算环境中面向深度学习应用的任务卸载方法
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
CN116579418A (zh) 联邦边缘学习环境下模型分割优化的隐私数据保护方法
CN111835827A (zh) 物联网边缘计算任务卸载方法及系统
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
CN112882815B (zh) 基于深度强化学习的多用户边缘计算优化调度方法
CN114189892A (zh) 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法
CN112118312B (zh) 一种面向边缘服务器的网络突发负载疏散方法
CN111861793B (zh) 基于云边协同计算架构的配用电业务分配方法及装置
CN113794494B (zh) 一种面向低轨卫星网络的边缘计算系统及计算卸载优化方法
CN113225377A (zh) 物联网边缘任务卸载方法及装置
CN116489708B (zh) 面向元宇宙的云边端协同的移动边缘计算任务卸载方法
CN116489712B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN113485826A (zh) 一种边缘服务器负载均衡方法、系统
CN113626104A (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
CN116366576A (zh) 算力网络资源调度方法、装置、设备及介质
CN116321293A (zh) 基于多智能体强化学习的边缘计算卸载和资源分配方法
CN115714820A (zh) 一种分布式的微服务调度优化方法
Hu et al. Dynamic task offloading in MEC-enabled IoT networks: A hybrid DDPG-D3QN approach
CN114706631A (zh) 基于深度q学习的移动边缘计算中卸载决策方法及系统
Yan et al. Service caching for meteorological emergency decision-making in cloud-edge computing
CN111611069A (zh) 多数据中心间多类型任务迁移方法
CN116486192A (zh) 一种基于深度强化学习的联邦学习方法及系统
CN111148155A (zh) 一种基于移动边缘计算的任务卸载方法
CN110958177A (zh) 一种片上网络路由优化方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination