CN116032663B - 基于边缘设备的隐私数据处理系统、方法、设备及介质 - Google Patents

基于边缘设备的隐私数据处理系统、方法、设备及介质 Download PDF

Info

Publication number
CN116032663B
CN116032663B CN202310304984.1A CN202310304984A CN116032663B CN 116032663 B CN116032663 B CN 116032663B CN 202310304984 A CN202310304984 A CN 202310304984A CN 116032663 B CN116032663 B CN 116032663B
Authority
CN
China
Prior art keywords
edge
local
aggregation
model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310304984.1A
Other languages
English (en)
Other versions
CN116032663A (zh
Inventor
陈晓红
许冠英
徐雪松
胡东滨
马涛
梁伟
曹文治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Red Pu Innovation Technology Development Co ltd
Original Assignee
Hunan Red Pu Innovation Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Red Pu Innovation Technology Development Co ltd filed Critical Hunan Red Pu Innovation Technology Development Co ltd
Priority to CN202310304984.1A priority Critical patent/CN116032663B/zh
Publication of CN116032663A publication Critical patent/CN116032663A/zh
Application granted granted Critical
Publication of CN116032663B publication Critical patent/CN116032663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于边缘设备的隐私数据处理系统、方法、设备及介质，包括：云层协调模块中的云服务器将初始化模型下发至与边缘设备连接的所有终端设备；本地层执行模块采用本地数据对初始化模型进行本地训练，得到本地模型；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有本地模型进行边缘局部聚合；采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于目标联邦学习模型进行隐私数据处理，采用本发明提高了隐私数据处理的安全性和效率。

Description

基于边缘设备的隐私数据处理系统、方法、设备及介质
技术领域
本发明涉及隐私数据处理领域，尤其涉及一种基于边缘设备的隐私数据处理系统、方法、设备及介质。
背景技术
随着人工智能技术的快速发展，当前世界正处在一个以数据、算力、算法为中心的信息计算世界，计算任务无处不在，计算资源已经从云卸载至边缘。支持边缘的物联网设备通常包括广泛的设备类型，例如传感器，智能手机，安全摄像头等，同时它们也配备了能力越来越强的智能芯片。在5G浪潮及6G的推动下，这些边缘设备的大规模部署可被用于不同人群的感知任务，例如车载互联网、智慧交通、智慧城市等。因此，如何高效且安全地利用这些边缘设备每时每刻产生的庞大数据作为边缘智能的数据底座是非常有意义的。传统以云为数据中心的集中式机器学习，需将已完成标注的训练数据发送至中心服务器进行处理与计算。但是，这种集中式方法受网络带宽和端云距离的影响，无法适应例如自动驾驶、实时在线视频播放等新型实时应用程序。而随着通信技术的革命性创新，边缘计算已然成为了云计算的替代和辅助方案，其利用终端设备和边缘服务器的计算和存储能力来拉近模型与数据源的距离。尽管靠近终端的边缘服务器可以快速高效的采集数据并满足实时处理的要求，但是边缘服务器的计算卸载和数据处理仍然涉及潜在敏感个人数据的传输，这会阻止对隐私敏感的用户参与模型训练，甚至违反日益严格的隐私法。
当前，虽然各种隐私保护方法被证明是有效的，例如差分隐私（DP），同态加密（HE）、混淆电路（GC）、密钥分享（SS）等。但是，一些企业和用户仍然不愿意公开他们的私人数据，因为他们依旧担心数据可能会被外部服务器恶意检查和利用。为此，为了保证训练数据保留在个人设备上并促进分布式边缘设备之间进行复杂模型的协作机器学习训练，谷歌于2016年提出了一种称为联邦学习（Federated Learning, FL）的分散式机器学习方法。这就意味着FL可以成为边缘网络上ML模型训练的使能技术。联邦学习作为支持边缘智能的核心技术，它的宗旨是“数据可用不可见、数据可算不可识、用途可辨可度量、流程可控可追溯、技术可视可解释”。然而，在万物互联时代下的边缘网络存在数以万计个异构分布式边缘设备，因此，隐私数据的安全性和数据处理效率仍然是一个巨大挑战，如何实现对海量的隐私数据进行数据处理，是一个亟待解决的难题。
发明内容
本发明实施例提供一种基于边缘设备的隐私数据处理系统、方法、计算机设备和存储介质，以提高隐私数据处理的效率和安全性。
为了解决上述技术问题，本申请实施例提供一种基于边缘设备的隐私数据处理系统，包括：云层协调模块、边缘层聚合模块、本地层执行模块，代价层计算模块，中心层选择模块，知识层感知模块；其中，
所述云层协调模块用于联邦任务发布及边缘链路通信协调；
所述边缘层聚合模块用于本地模型局部聚合及局部模型全局循环聚合；
所述本地层执行模块利用本地数据对全局模型发起同步训练，得到本地模型；
所述边缘层聚合模块用于对各个本地模型进行边缘局部聚合，得到边缘聚合中心；
所述代价层计算模块用于对全域终端设备总体能耗和时延的计算，确定边缘聚合中心数量；
所述中心层选择模块用于选择边缘聚合中心子集；
所述知识层感知模块用于为所述中心层选择模块提供边缘聚合中心选择的动态感知决策。
为了解决上述技术问题，本申请实施例提供一种基于边缘设备的隐私数据处理方法，应用于上述基于边缘设备的隐私数据处理系统，包括：
将初始化模型
Figure SMS_1
下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型
Figure SMS_2
的下发由云层协调模块中的云服务器执行；
在每个终端设备接收到初始化模型
Figure SMS_3
后，本地层执行模块采用本地数据对初始化模型
Figure SMS_4
进行本地训练，得到本地模型，并将本地模型发送给终端设备连接的边缘设备；
针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有所述本地模型进行边缘局部聚合，其中，每组边缘设备包括至少一个边缘设备；
在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；
边缘层聚合模块根据所述边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于所述目标联邦学习模型进行隐私数据处理。
可选地，所述云层协调模块中的云服务器将初始化模型
Figure SMS_5
下发至与边缘设备连接的所有终端设备包括：
云服务器根据全域边缘设备的先验知识对所有边缘设备进行分组，得到若干边缘分组；
云服务器从每个边缘分组中随机选择一个边缘设备作为初始化模型
Figure SMS_6
的接收者；
针对每个所述边缘分组，采用Gossip协议在组内对所述初始化模型进行传播，直到分组中的每个边缘设备都接收到初始化模型
Figure SMS_7
；
每个边缘设备将所述将初始化模型
Figure SMS_8
其下发至与所述边缘设备连接的所有终端设备。
可选地，当接收到初始化模型
Figure SMS_9
后，每一个终端设备通过在其本地数据集
Figure SMS_10
上的最小化经验损失
Figure SMS_11
Figure SMS_12
进行本地训练。
可选地，所述对组内所有所述本地模型进行边缘局部聚合包括：每一个边缘服务器的局部损失函数计算如下：
Figure SMS_13
边缘局部聚合参数更新如下：
Figure SMS_14
。
可选地，所述在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量包括：
采用如下公式计算第i个终端设备在端到云架构中的整体时间代价，作为第一时间代价：
Figure SMS_15
；
其中，
Figure SMS_16
为第i个终端设备的第一时间代价，
Figure SMS_17
为第i个终端设备的本地训练时间，
Figure SMS_18
为第i个终端设备到云服务器的传输时间，
Figure SMS_19
为第i个终端设备与云服务器通信的传输速率；
采用如下公式计算第i个终端设备在端到云架构中的整体能耗代价，作为第一能耗代价：
Figure SMS_20
；
其中，
Figure SMS_21
为第i个终端设备的第一能耗代价，
Figure SMS_22
为第i个终端设备的本地训练能耗，
Figure SMS_23
为第i个终端设备到云传输能耗；
计算每一个终端设备的总代价
Figure SMS_24
，作为第一总代价，其中，
Figure SMS_25
；
采用如下公式计算第i个终端设备在端到边缘架构中的整体时间代价，作为第二时间代价：
Figure SMS_26
；
其中，
Figure SMS_27
为第i个终端设备的第二时间代价，
Figure SMS_28
为第i个终端设备的本地训练时间，
Figure SMS_29
为第i个终端设备与边缘设备通信的传输速率；
采用如下公式计算第i个终端设备在端到边缘架构中的整体能耗代价，作为第二能耗代价：
Figure SMS_30
；
其中，
Figure SMS_31
为第i个终端设备的第二能耗代价，
Figure SMS_32
为第i个终端设备的本地训练能耗，
Figure SMS_33
为第i个终端设备到边缘设备的传输能耗；
计算每一个终端设备到边缘设备的总代价
Figure SMS_34
，作为第二总代价，其中，
Figure SMS_35
；
基于所述第一总代价和所述第二总代价，采用如下公式确定边缘聚合中心的数量：
Figure SMS_36
；
其中，
Figure SMS_37
为边缘聚合中心的数量。
可选地，所述采用知识层感知模块和中心层选择模块确定边缘聚合中心子集包括：
获取每个所述边缘设备的历史准确率和数据分布差异性；
基于每个所述边缘设备的历史准确率和数据分布差异性，评估每个所述边缘设备的可靠性；
针对每个所述边缘设备的可靠性，计算所有边缘设备构成的边缘系统的最大安全性，并基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集。
可选地，所述基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集包括：
为每个边缘设备配备智能体作为代理，并在边缘设备上建立演员-评论家网络；
边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作O(t)；
将所述待执行动作O(t)输入到演员-评论家网络，获取奖励值γ(t)和下一个状态θ(t+1)；
智能体从M={θ(t)，O(t)，γ(t)，θ(t+1)}中采样一个L最小批次
Figure SMS_38
，并计算其损失值
Figure SMS_39
；
基于所述损失值，更新演员-评论家网络，即更新后的结果为：
Figure SMS_40
；
判断
Figure SMS_41
的状态，若是最后状态，则结束训练，返回所述边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作
Figure SMS_42
的步骤继续执行；
将所述最大安全性和每个所述边缘设备的可靠性输入到训练好的演员-评论家网络，得到目标边缘设备，并根据目标边缘设备对应的作为所述边缘聚合中心子集。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于边缘设备的隐私数据处理方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于边缘设备的隐私数据处理方法的步骤。
本发明实施例提供的基于边缘设备的隐私数据处理系统、方法、计算机设备及存储介质，云层协调模块中的云服务器将初始化模型
Figure SMS_43
下发至与边缘设备连接的所有终端设备；每个终端设备在接收到初始化模型
Figure SMS_44
后，本地层执行模块采用本地数据对初始化模型
Figure SMS_45
进行本地训练，得到本地模型；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有本地模型进行边缘局部聚合；在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于目标联邦学习模型进行隐私数据处理，提高了隐私数据处理的安全性和效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是本申请的基于边缘设备的隐私数据处理方法的一个实施例的流程图；
图3是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，图1为本实施例提供的一种基于边缘设备的隐私数据处理系统的示例图，该系统包括：云层协调模块、边缘层聚合模块、本地层执行模块，代价层计算模块，中心层选择模块，知识层感知模块；其中，
云层协调模块用于联邦任务发布及边缘链路通信协调；
边缘层聚合模块用于本地模型局部聚合及局部模型全局循环聚合；
本地层执行模块利用本地数据对全局模型发起同步训练，得到本地模型；
边缘层聚合模块用于对各个本地模型进行边缘局部聚合，得到边缘聚合中心；
代价层计算模块用于对全域终端设备总体能耗和时延的计算，确定边缘聚合中心数量；
中心层选择模块用于选择边缘聚合中心子集；
知识层感知模块用于为中心层选择模块提供边缘聚合中心选择的动态感知决策。
请参阅图2，图2示出本发明实施例提供的一种基于边缘设备的隐私数据处理方法，以该方法应用在图1中的应用环境为例进行说明，详述如下：
S201：将初始化模型
Figure SMS_46
下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型
Figure SMS_47
的下发由云层协调模块中的云服务器执行。
在一具体可选实施方式中，云层协调模块中的云服务器将初始化模型
Figure SMS_48
下发至与边缘设备连接的所有终端设备包括：
云服务器根据全域边缘设备的先验知识对所有边缘设备进行分组，得到若干边缘分组；
云服务器从每个边缘分组中随机选择一个边缘设备作为初始化模型
Figure SMS_49
的接收者；
针对每个边缘分组，采用Gossip协议在组内对初始化模型
Figure SMS_50
进行传播，直到分组中的每个边缘设备都接收到初始化模型
Figure SMS_51
；
每个边缘设备将将初始化模型
Figure SMS_52
其下发至与边缘设备连接的所有终端设备。
S202：每个终端设备在接收到初始化模型
Figure SMS_53
后，本地层执行模块采用本地数据对初始化模型
Figure SMS_54
进行本地训练，得到本地模型。
可选地，当接收到初始化模型
Figure SMS_55
后，每一个终端设备通过在其本地数据集
Figure SMS_56
上的最小化经验损失
Figure SMS_57
Figure SMS_58
进行本地训练。
本实施例中，采用最小化经验损失的方式进行本地训练，主要有如下好处：
第一，传统的有监督机器学习任务，将数据统一发送至中心服务器进行集中训练，其损失函数如下：
Figure SMS_59
。
其中
Figure SMS_60
为数据集大小，x j ，y j 分别为数据样本及其对应的类别标签，f(w)取决于所使用的机器学习方法，例如线性回归、决策树、神经网络等。但是在联邦学习中，数据不出本地，因此只能通过计算每一个设备的损失函数
Figure SMS_61
，全局的最小化损失函数为
Figure SMS_62
，其中|D i |为第i个终端设备数据集的训练样本总数，N为终端设备数量，|D|为全部数据集的大小，所以本实施例中，采用的最小化经验损失函数计算为：
Figure SMS_63
，实现全局损失函数的快速准确计算。
第二，由于参数更新方式为随机梯度下降方法，因此必须计算损失函数来求解参数更新，
Figure SMS_64
。
S203：针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有本地模型进行边缘局部聚合；
可选地，对组内所有本地模型进行边缘局部聚合包括：每一个边缘服务器的局部损失函数计算如下：
Figure SMS_65
。边缘局部参数聚合更新如下：
Figure SMS_66
。
需要说明的是，本实施例中，通过调整
Figure SMS_67
和
Figure SMS_68
的大小，在相同收敛条件下，可以大大减少与云服务器通信的轮数，以此降低通信资源的消耗。
S204：在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集。
在一具体可选实施方式中，步骤S204中，在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量包括：
采用如下公式计算第i个终端设备在端到云架构中的整体时间代价，作为第一时间代价：
Figure SMS_69
；
其中，
Figure SMS_70
为第i个终端设备的第一时间代价，
Figure SMS_71
为第i个终端设备的本地训练时间，
Figure SMS_72
为第i个终端设备到云服务器的传输时间，
Figure SMS_73
为第i个终端设备与云服务器通信的传输速率；
采用如下公式计算第i个终端设备在端到云架构中的整体能耗代价，作为第一能耗代价：
Figure SMS_74
；
其中，
Figure SMS_75
为第i个终端设备的第一能耗代价，
Figure SMS_76
为第i个终端设备的本地训练能耗，
Figure SMS_77
为第i个终端设备到云传输能耗；计算每一个终端设备到云的总代价
Figure SMS_78
，作为第一总代价，其中，
Figure SMS_79
；
采用如下公式计算第i个终端设备在端到边缘架构中的整体时间代价，作为第二时间代价：
Figure SMS_80
；
其中，
Figure SMS_81
为第i个终端设备的第二时间代价，
Figure SMS_82
为第i个终端设备的本地训练时间，
Figure SMS_83
为第i个终端设备与边缘设备通信的传输速率；
采用如下公式计算第i个终端设备在端到边缘架构中的整体能耗代价，作为第二能耗代价：
Figure SMS_84
；
其中，
Figure SMS_85
为第i个终端设备的第二能耗代价，
Figure SMS_86
为第i个终端设备的本地训练能耗，
Figure SMS_87
为第i个终端设备到边缘设备的传输能耗；
计算每一个终端设备到边缘设备的总代价
Figure SMS_88
，作为第二总代价，其中，
Figure SMS_89
；
基于第一总代价和第二总代价，采用如下公式确定边缘聚合中心的数量：
Figure SMS_90
；
其中，
Figure SMS_91
为边缘聚合中心的数量。
在一具体可选实施方式中，步骤S204中，采用知识层感知模块和中心层选择模块确定边缘聚合中心子集包括：
获取每个边缘设备的历史准确率和数据分布差异性；
基于每个边缘设备的历史准确率和数据分布差异性，评估每个边缘设备的可靠性；
针对每个边缘设备的可靠性，计算所有边缘设备构成的边缘系统的最大安全性，并基于最大安全性，采用强化学习的方式选择边缘聚合中心子集。
可选地，以每个边缘服务器准确率
Figure SMS_92
和数据分布差异性
Figure SMS_93
为基准，计算每一个边缘设备的可靠性
Figure SMS_94
，其中，
Figure SMS_95
Figure SMS_96
Figure SMS_97
；
在一具体示例中，边缘设备的属性数据如下：
Figure SMS_98
；
其中，C1定义了t时刻边缘设备被选择的具体情况。C2表示边缘设备选择的个数与m t 一致。C3表示被选择的边缘设备，其准确率不能过低。C4表示数据分布的离散值不能过大。C5为折扣因子，用于平衡准确率与数据分布差异性。
在一具体可选实施方式中，基于最大安全性，采用强化学习的方式选择边缘聚合中心子集包括：
建立马尔可夫决策模型M={θ(t)，O(t)，γ(t)，P}，其中
Figure SMS_99
为智能体的状态，
Figure SMS_100
为智能体的动作，
Figure SMS_101
为智能体执行动作所获得的奖励值，
Figure SMS_102
为状态转移概率；
根据马尔可夫决策模型M，计算每个智能体的最大累积奖励值
Figure SMS_103
；
根据累积奖励值γ选择边缘聚合中心子集。
进一步地，基于最大安全性，采用强化学习的方式选择边缘聚合中心子集包括：
为每个边缘设备配备智能体作为代理，并在边缘设备上建立演员-评论家网络；
边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作O(t)；
将待执行动作O(t)输入到演员-评论家网络，获取奖励值γ(t)和下一个状态θ(t+1)；智能体从M={θ(t)，O(t)，γ(t)，θ(t+1)}中采样一个L最小批次
Figure SMS_104
，并计算其损失值
Figure SMS_105
；
基于损失值，更新演员-评论家网络，即更新后的结果为：
Figure SMS_106
；
判断
Figure SMS_107
的状态，若是最后状态，则结束训练，返回边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作O(t)的步骤继续执行；
将最大安全性和每个边缘设备的可靠性输入到训练好的演员-评论家网络，得到目标边缘设备，并根据目标边缘设备对应的作为边缘聚合中心子集。
S205：边缘层聚合模块根据边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于目标联邦学习模型进行隐私数据处理。
本实施例中，云层协调模块中的云服务器将初始化模型
Figure SMS_108
下发至与边缘设备连接的所有终端设备；每个终端设备在接收到初始化模型
Figure SMS_109
后，本地层执行模块采用本地数据对初始化模型
Figure SMS_110
进行本地训练，得到本地模型；针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有本地模型进行边缘局部聚合；在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；边缘层聚合模块根据边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于目标联邦学习模型进行隐私数据处理，提高了隐私数据处理的安全性和效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器 (Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或D界面显示存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于边缘设备的隐私数据处理方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于边缘设备的隐私数据处理系统，其特征在于，所述系统包括：云层协调模块、边缘层聚合模块、本地层执行模块，代价层计算模块，中心层选择模块，知识层感知模块；其中，
所述云层协调模块用于联邦任务发布及边缘链路通信协调，将初始化模型w t下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型w t的下发由云层协调模块中的云服务器执行；
所述本地层执行模块利用本地数据对全局模型发起同步训练，得到本地模型，在每个终端设备接收到初始化模型w t后，本地层执行模块采用本地数据对初始化模型w t进行本地训练，得到本地模型，并将本地模型发送给终端设备连接的边缘设备；
所述边缘层聚合模块用于本地模型局部聚合及局部模型全局循环聚合，
所述边缘层聚合模块用于对各个本地模型进行边缘局部聚合，得到边缘聚合中心，针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有所述本地模型进行边缘局部聚合，所述边缘层聚合模块还用于根据所述边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于所述目标联邦学习模型进行隐私数据处理，其中，每组边缘设备包括至少一个边缘设备；
所述代价层计算模块用于对全域终端设备总体能耗和时延的计算，确定边缘聚合中心数量；所述中心层选择模块用于选择边缘聚合中心子集；所述知识层感知模块用于为所述中心层选择模块提供边缘聚合中心选择的动态感知决策；
其中，在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集。
2.一种基于边缘设备的隐私数据处理方法，其特征在于，应用于权利要求1所述的基于边缘设备的隐私数据处理系统，包括：
将初始化模型w t下发至与边缘设备连接的所有终端设备，其中，每个边缘设备连接至少一个终端设备，初始化模型w t的下发由云层协调模块中的云服务器执行；
在每个终端设备接收到初始化模型w t后，本地层执行模块采用本地数据对初始化模型w t进行本地训练，得到本地模型，并将本地模型发送给终端设备连接的边缘设备；
针对每组边缘设备，在接收到组内每个边缘设备反馈的本地训练完成消息后，对组内所有所述本地模型进行边缘局部聚合，其中，每组边缘设备包括至少一个边缘设备；
在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量，并采用知识层感知模块和中心层选择模块确定边缘聚合中心子集；
边缘层聚合模块根据所述边缘聚合中心子集执行局部模型全局循环聚合训练，得到目标联邦学习模型，并基于所述目标联邦学习模型进行隐私数据处理。
3.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，所述将初始化模型w t下发至与边缘设备连接的所有终端设备包括：
云服务器根据全域边缘设备的先验知识对所有边缘设备进行分组，得到若干边缘分组；
云服务器从每个边缘分组中随机选择一个边缘设备作为初始化模型w t的接收者；
针对每个所述边缘分组，采用Gossip协议在组内对所述初始化模型w t进行传播，直到分组中的每个边缘设备都接收到初始化模型w t；
每个边缘设备将所述将初始化模型w t下发至与所述边缘设备连接的所有终端设备。
4.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，当接收到初始化模型w t后，每一个终端设备通过在其本地数据集
Figure QLYQS_1
上的最小化经验损失
Figure QLYQS_2
进行本地训练；
其中，x j为第j个单个输入样本，y j为x j对应的样本标签，|D i|表示第i个终端设备的训练样本总数，F j(w)为数据集上的第j个样本的损失函数，第i个终端设备本地模型参数的更新
Figure QLYQS_3
，其中，k为更新步骤的索引，k c为本地训练需要的次数，φ为梯度下降过程中的步长。
5.如权利要求4所述的基于边缘设备的隐私数据处理方法，其特征在于，所述对组内所有所述本地模型进行边缘局部聚合包括：
每一个边缘服务器的局部损失函数计算如下：
Figure QLYQS_4
边缘局部聚合参数更新如下：
Figure QLYQS_5
其中，
Figure QLYQS_6
为第l个边缘服务器的局部损失函数，C l为第l个边缘服务器下设备的集合，|D l|为第l个边缘服务器下所属终端智能设备数据集的大小，k e为局部聚合索引。
6.如权利要求2所述的基于边缘设备的隐私数据处理方法，其特征在于，所述在边缘局部聚合过程中，采用代价层计算模块计算边缘聚合中心数量包括：
采用如下公式计算第i个终端设备在端到云架构中的整体时间代价，作为第一时间代价：
Figure QLYQS_7
其中，
Figure QLYQS_8
为第i个终端设备的第一时间代价
Figure QLYQS_9
为第i个终端设备的本地训练时间，
Figure QLYQS_10
为第i个终端设备到云服务器的传输时间；
采用如下公式计算第i个终端设备在端到云架构中的整体能耗代价，作为第一能耗代价：
Figure QLYQS_12
其中，
Figure QLYQS_13
为第i个终端设备的第一能耗代价，
Figure QLYQS_14
为第i个终端设备的本地训练能耗，
Figure QLYQS_15
为第i个终端设备到云传输能耗；
计算每一个终端设备
Figure QLYQS_16
的总代价
Figure QLYQS_17
，作为第一总代价，其中，
Figure QLYQS_18
；
采用如下公式计算第i个终端设备在端到边缘架构中的整体时间代价，作为第二时间代价：
Figure QLYQS_19
其中，
Figure QLYQS_20
为第i个终端设备的第二时间代价，
Figure QLYQS_21
为第i个终端设备的本地训练时间，
Figure QLYQS_22
为第i个终端设备与边缘设备通信的传输速率；
采用如下公式计算第i个终端设备在端到边缘架构中的整体能耗代价，作为第二能耗代价：
Figure QLYQS_23
其中，
Figure QLYQS_24
为第i个终端设备的第二能耗代价，
Figure QLYQS_25
为第i个终端设备的本地训练能耗，
Figure QLYQS_26
为第i个终端设备到边缘设备的传输能耗；
计算每一个终端设备
Figure QLYQS_27
的总代价
Figure QLYQS_28
，作为第二总代价，其中，
Figure QLYQS_29
；
基于所述第一总代价和所述第二总代价，采用如下公式确定边缘聚合中心的数量：
Figure QLYQS_30
其中，
Figure QLYQS_31
为边缘聚合中心的数量。
7.如权利要求2至6任一项所述的基于边缘设备的隐私数据处理方法，其特征在于，所述采用知识层感知模块和中心层选择模块确定边缘聚合中心子集包括：
获取每个所述边缘设备的历史准确率和数据分布差异性；
基于每个所述边缘设备的历史准确率和数据分布差异性，评估每个所述边缘设备的可靠性；
针对每个所述边缘设备的可靠性，计算所有边缘设备构成的边缘系统的最大安全性，并基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集。
8.如权利要求7所述的基于边缘设备的隐私数据处理方法，其特征在于，所述基于所述最大安全性，采用强化学习的方式选择边缘聚合中心子集包括：
为每个边缘设备配备智能体作为代理，并在边缘设备上建立演员-评论家网络；
边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作O(t)；
将所述待执行动作O(t)输入到演员-评论家网络，获取奖励值γ(t)和下一个状态θ(t+1)；
智能体从M={θ(t)，O(t)，γ(t)，θ(t+1)}中采样一个L最小批次
Figure QLYQS_32
，并计算其损失值
Figure QLYQS_33
；
基于所述损失值，更新演员-评论家网络，即更新后的结果为：
Figure QLYQS_34
，其中，每个智能体由评论家估计网络
Figure QLYQS_37
和动作家估计网络
Figure QLYQS_38
组成，同时每个网络均有各自的目标网络
Figure QLYQS_41
和
Figure QLYQS_42
，评论家和动作家目标网络参数由相应估计网络参数进行滞后更新，其中
Figure QLYQS_43
代表行动网络权重参数，
Figure QLYQS_44
为评价网络权重参数，
Figure QLYQS_35
为软更新系数，且
Figure QLYQS_36
<<1，
Figure QLYQS_39
和
Figure QLYQS_40
为随机初始化获得；
判断θ(t+1)的状态，若是最后状态，则结束训练，返回所述边缘设备初始化演员-评论家网络，智能体根据当前的策略和探索噪声的结果选择待执行动作O(t)的步骤继续执行；
将所述最大安全性和每个所述边缘设备的可靠性输入到训练好的演员-评论家网络，得到目标边缘设备，并根据目标边缘设备对应的作为所述边缘聚合中心子集。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求2至8任一项所述的基于边缘设备的隐私数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求2至8任一项所述的基于边缘设备的隐私数据处理方法。
CN202310304984.1A 2023-03-27 2023-03-27 基于边缘设备的隐私数据处理系统、方法、设备及介质 Active CN116032663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310304984.1A CN116032663B (zh) 2023-03-27 2023-03-27 基于边缘设备的隐私数据处理系统、方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310304984.1A CN116032663B (zh) 2023-03-27 2023-03-27 基于边缘设备的隐私数据处理系统、方法、设备及介质

Publications (2)

Publication Number Publication Date
CN116032663A CN116032663A (zh) 2023-04-28
CN116032663B true CN116032663B (zh) 2023-06-02

Family

ID=86077844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310304984.1A Active CN116032663B (zh) 2023-03-27 2023-03-27 基于边缘设备的隐私数据处理系统、方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116032663B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258420B (zh) * 2023-05-11 2023-08-01 中南大学 一种产品质量检测方法、装置、终端设备及介质
CN116346863B (zh) * 2023-05-29 2023-08-01 湘江实验室 基于联邦学习的车载网数据处理方法、装置、设备及介质
CN116582840A (zh) * 2023-07-13 2023-08-11 江南大学 车联网通信的电平分配方法、装置、存储介质及电子设备
CN117009095B (zh) * 2023-10-07 2024-01-02 湘江实验室 一种隐私数据处理模型生成方法、装置、终端设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
WO2021204040A1 (zh) * 2020-10-29 2021-10-14 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、设备及存储介质
WO2021232832A1 (zh) * 2020-05-19 2021-11-25 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2021247448A1 (en) * 2020-06-01 2021-12-09 Intel Corporation Federated learning optimizations
CN115277689A (zh) * 2022-04-29 2022-11-01 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及系统
CN115358487A (zh) * 2022-09-21 2022-11-18 国网河北省电力有限公司信息通信分公司 面向电力数据共享的联邦学习聚合优化系统及方法
CN115408151A (zh) * 2022-08-23 2022-11-29 哈尔滨工业大学 一种联邦学习训练加速方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924460B2 (en) * 2019-12-13 2021-02-16 TripleBlind, Inc. Systems and methods for dividing filters in neural networks for private data computations
US20220318412A1 (en) * 2021-04-06 2022-10-06 Qualcomm Incorporated Privacy-aware pruning in machine learning

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232832A1 (zh) * 2020-05-19 2021-11-25 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2021247448A1 (en) * 2020-06-01 2021-12-09 Intel Corporation Federated learning optimizations
CN112181666A (zh) * 2020-10-26 2021-01-05 华侨大学 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
WO2021204040A1 (zh) * 2020-10-29 2021-10-14 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、设备及存储介质
CN115277689A (zh) * 2022-04-29 2022-11-01 国网天津市电力公司 一种基于分布式联邦学习的云边网络通信优化方法及系统
CN115408151A (zh) * 2022-08-23 2022-11-29 哈尔滨工业大学 一种联邦学习训练加速方法
CN115358487A (zh) * 2022-09-21 2022-11-18 国网河北省电力有限公司信息通信分公司 面向电力数据共享的联邦学习聚合优化系统及方法

Also Published As

Publication number Publication date
CN116032663A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN116032663B (zh) 基于边缘设备的隐私数据处理系统、方法、设备及介质
US20220391771A1 (en) Method, apparatus, and computer device and storage medium for distributed training of machine learning model
US11863644B2 (en) Push notification delivery system with feedback analysis
EP3523759B1 (en) Image processing neural networks with separable convolutional layers
US20180018562A1 (en) Platform for providing task based on deep learning
CN113505882B (zh) 基于联邦神经网络模型的数据处理方法、相关设备及介质
CN111831675A (zh) 一种仓储模型训练方法、装置、计算机设备及存储介质
CN114282681A (zh) 多任务处理及模型的训练方法、装置、介质及设备
US20220374776A1 (en) Method and system for federated learning, electronic device, and computer readable medium
CN108111399B (zh) 消息处理的方法、装置、终端及存储介质
CN114895773B (zh) 异构多核处理器的能耗优化方法、系统、装置及存储介质
CN114186256A (zh) 神经网络模型的训练方法、装置、设备和存储介质
CN107256231B (zh) 一种团队成员识别设备、方法及系统
US11062224B2 (en) Prediction using fusion of heterogeneous unstructured data
Saputra et al. Federated learning framework with straggling mitigation and privacy-awareness for AI-based mobile application services
US11899823B2 (en) Privacy safe anonymized identity matching
Liu et al. QuAsyncFL: Asynchronous federated learning with quantization for cloud-edge-terminal collaboration enabled AIoT
CN111898766B (zh) 基于自动机器学习的以太坊燃料限制预测方法及装置
CN111813529B (zh) 数据处理方法、装置、电子设备及存储介质
WO2023143080A1 (zh) 一种数据处理方法以及相关设备
CN114221964B (zh) 一种访问请求处理方法、装置、计算机设备及存储介质
CN115097740A (zh) 设备控制方法、装置、系统及存储介质
US20210006557A1 (en) Sensor-based authentication, notification, and assistance systems
CN117519996B (zh) 一种数据处理方法、装置、设备以及存储介质
US20230334096A1 (en) Graph data processing method and apparatus, computer device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant