CN111866869B - 面向边缘计算的联邦学习室内定位隐私保护方法 - Google Patents
面向边缘计算的联邦学习室内定位隐私保护方法 Download PDFInfo
- Publication number
- CN111866869B CN111866869B CN202010645474.7A CN202010645474A CN111866869B CN 111866869 B CN111866869 B CN 111866869B CN 202010645474 A CN202010645474 A CN 202010645474A CN 111866869 B CN111866869 B CN 111866869B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- edge
- training
- privacy protection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004364 calculation method Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 16
- 238000004220 aggregation Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
- H04W16/22—Traffic simulation tools or models
- H04W16/225—Traffic simulation tools or models for indoor or short range network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
- H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出了一种面向边缘计算的联邦学习室内定位隐私保护方法,该方法基于联邦学习和差分隐私保护技术,在边缘计算环境下进行室内定位模型的可信联邦训练,训练过程中各参与用户不共享训练数据,只通过共享定位模型参数进行室内定位模型的分布式训练和可信聚合,同时,通过端云协同的迭代方式更新模型参数,不断优化室内定位模型,实现多用户定位模型训练的隐私保护和协同获益。实验结果表明,与传统集中式的模型训练方法和基于联邦学习的模型训练方法相比,本发明不仅能提供可证明的隐私保护,而且在增加极小计算开销的情况下保证了模型的定位效果。
Description
技术领域
本发明涉及室内定位的服务领域,涉及到用户在利用位置获取服务时,保护用户的数据隐私。
背景技术
在传统以云为中心的计算方法中,移动设备收集的数据将被全部上传并存储在云端的服务器进行集中的计算与处理。然而,随着物联网、群智感知、社交网络等技术和领域的飞速发展,无处不在的移动设备、传感器持续产生海量数据,数以亿计的用户在享受互联网服务时产生巨量的交互,使得边缘侧数据出现出爆炸式增长,云计算在处理这些数据的时候,会消耗大量的计算和存储资源,其能力就会显得捉襟见肘。边缘计算可以迁移云计算的压力,高效地处理这些海量数据(例如图片、视频、位置信息等),促使以数据为驱动的人工智能成为可能。但是,由于网络承载力以及隐私等种种限制,导致现阶段的海量数据都以“数据孤岛”的形式存在,缺乏有效的互通与协作,使得人工智能的成功实施面临困境。
另一方面,随着大型公司对数据安全和用户隐私的威胁意识日益增强,对数据隐私和安全的重视已成为全球性的主要问题。一些重大的用户数据泄露事件都会成为人们关注的焦点,例如近期Facebook的数据泄露事件就曾引起了不小的社会恐慌。目前,各国都在加强对数据安全和隐私的保护。2018年5月25日,欧盟开始实施《通用数据保护条例》(General Data Protection Regulation,GDPR),旨在保护用户的个人隐私和数据安全,对于经营方也进行了明确的约束。经营者在制订用户协议时,必须使用清晰、明确的语言表述,且用户有权利要求经营者删除其个人数据,停止经营方利用用户数据进行建模。一旦违反该条例,等待经营方的可能会是名誉损失和巨额罚款。中国在2017年起实施的《中华人民共和国网络安全法》和《中华人民共和国民法总则》也对网络数据安全做了相关规定,要求经营方未征得用户同意的情况下,不得擅自泄露、篡改、毁坏以及收集用户个人信息,在与第三方进行数据交易时,必须要在合同中明确约定拟交易数据的范围和数据保护义务。这些条例和规定在保护用户隐私的同时,对传统的人工智能数据处理模式也提出了新的要求。
传统的人工智能数据处理模式有着相对固定的流程,一般是一方收集数据,再转移到另一方进行处理、清洗、建模,再将最终的模型销售给第三方。不过,在相关法律完善之后,监督管理也会更加严格,当数据离开收集方,或是用户不了解模型的具体用途时,经营者就会伴随着触犯法律的风险。要处理以孤岛形式存在的数据,就需要把数据整合到其中一方。然而目前在法律法规的约束之下,经营者简单粗暴地聚合数据很可能会变成违法行为。如果无法合法地解决数据孤岛问题,那么大数据的这个遗留问题就很有可能会成为人工智能的健康发展的瓶颈之一。
针对上述问题与挑战,学术界和工业界对潜在可行的解决方法进行了探索,专利CN110632554A提出了一种基于联邦学习的室内定位方法、装置、终端、设备及介质,利用联邦学习方法解决数据孤岛问题。然而,该方法并未考虑到边缘节点及云服务器的不可信性,增加了用户隐私泄露的风险。本发明利用差分隐私技术对用户设备采集到的RSSI数据进行差分扰动之后,上传到参数服务器,实现了对用户隐私的保护。其次,云服务器对来在各个边缘设备节点的模型参数进行差分隐私保护聚合,混淆各个边缘节点对全局模型的贡献,实现对边缘节点模型的保护;专利CN110267197A提出了一种基于WIFI指纹室内定位的轻量级隐私保护系统及方法,该方法在为用户提供服务的同时,利用Paillier等加密算法,在数据上传及处理时进行加密处理,达到保护用户隐私的效果;但是该方法使用了公钥密码系统,计算开销很大,不适用于边缘计算环境;专利CN107222851A提出了一种差分私有保护方法,为用户提供位置服务的同时,服务器利用客户端上传的AP序列构建指纹数据集,利用差分隐私保护技术在聚类过程中进行扰动处理,以此来保护用户的位置隐私和服务器的数据隐私。然而,该方法基于云服务器架构,难以适应当前终端设备数据量呈指数增长的情况且和模型训练过程的隐私。本发明引入了边缘计算和联邦学习技术,将云服务器的部分计算与服务功能迁移到边缘节点上,并通过联邦学校实现了多用户数据的可信模型训练、减少云服务器的负载、为用户提供实时性的服务。
发明内容
本发明提出面向边缘计算的联邦学习室内定位隐私保护方法,为用户提供实时、安全、准确的室内定位服务。
本发明所采用的技术方案为:
一种面向边缘计算的联邦学习室内定位隐私保护方法,假设边缘节点是半可信的,多个边缘节点间不具备通信能力,无法串通获取用户的完整信息,为了保障用户的隐私安全,边缘节点之间也呈信息孤岛状存在;假设云服务器是不可信的,它会尽力获取室内定位模型的训练数据集,通过分析训练数据集来揭露用户的敏感信息。因此,要避免将未经隐私保护处理的真实数据直接暴露给云服务器;具体包括下列步骤:
步骤A:用户的终端设备通过无线传感器信标收集无线信号强度RSSI数据(x,y),并对x添加可控的随机拉普拉斯噪声Laplace(1/εu),在数据共享前对收集到的RSSI数据进行差分扰动,保证RSSI数据发送至边缘节点的隐私安全。然后将处理后的RSSI数据发送到附近的边缘节点,其中x为用户的终端设备收集到的多个AP信号的集合,y为用户所处位置,εu为隐私预算。
步骤B:边缘节点收集附近多个终端设备上传的经过隐私保护处理的RSSI数据,并对这些数据进行聚合;然后利用这些聚合数据进行本地子模型训练,最后,各个边缘节点将训练好的本地子模型参数上传到云服务器;
步骤C:云服务器首先对多个边缘节点上传的模型参数进行差分私有聚合,混淆各个边缘节点的的实际贡献;然后,通过端云协同的迭代方式更新模型参数直到模型达到最优;最后,将训练好的最优室内定位模型下发至各边缘节点,为用户提供实时、安全、准确地室内定位服务。
进一步的,步骤A详细过程如下:
用户终端设备在共享RSSI数据前,对RSSI数据中的x添加可控随机拉普拉斯噪声Laplace(1/εu),在数据共享前对RSSI数据进行差分扰动,保证RSSI数据发送到边缘节点的隐私安全。差分扰动后的RSSI数据为(x′,y),其中x′可表示为:
x′=x+Laplace(Δf/εu)
其中,Laplace(·)为满足拉普拉斯分布的可控随机噪声,添加的噪声量由敏感度Δf控制,其中εu为分配给用户在终端设备上进行差分扰动的隐私保护预算,Δf计算如下:
x′=reshape(x′,width,height)
Δf=|max(mean(x′,axis=1))-min(mean(x′,axis=1))|
其中reshape(,)表示在不改变列表内容的情况下对列表进行重新排列。reshape(x′,width,height)表示将一维的数据x′转换为一个widht*height的二维数组。max(,)表示求元素的中最大值、min(,)表示求元素的中最小值、mean(,)表示求元素的均值,当axis=1,表示对二维列表中的每行元素求均值。
步骤B详细过程如下:
边缘节点将接收到的来自不同用户的RSSI数据进行聚合,形成本地子模型所需的训练数据集(X′edge,Yedge),其中,edge仅用于标识该数据是在边缘节点上对来自各个用户的RSSI数据进行组合后的数据,并不参与任何运算, 表示第i条数据样本,/>表示该样本对应的标签值。对于本地子模型训练,任意一个边缘节点edge上模型训练的优化目标是:
其中,表示边缘节点收集的经差分扰动后的数据,fu表示待学习的本地子模型,/>表示将数据/>输入到模型训练后模型的输出结果,/>表示模型在数据/>上的损失,/>表示模型在数据集(X′edge,Yedge)上的总损失,对于分类任务/>是一个标准的交叉熵损失,Θedge表示所有待学习的参数,包括权重和偏置项。
步骤C详细过程如下:
云服务器接受来自N个不同边缘节点上传的本地子模型参数,并对这些模型参数进行满足差分隐私保护的聚合和更新操作,云端模型的更新可以形式化为:
其中,ws为云端模型目标参数,wi为N个本地子模型参数,i=1,2,…,N。以此为原则,不断迭代,实现云端模型和本地子模型的协同更新。
本发明基于联邦学习和差分隐私保护技术,在边缘计算环境下进行室内定位模型的可信联邦训练,训练过程中各个边缘节点不共享训练数据,只通过共享定位模型参数来进行模型的分布式训练和可信聚合,通过端云协同的迭代方式对模型进行不断地优化,实现多用户定位模型训练的隐私保护和协同获益。
本发明主要解决了三个方面的问题:1)研究关注边缘计算下室内定位模型训练安全问题和数据使用的合法性与合规性,解决数据孤岛问题,使多个参与用户不分享私有数据的同时实现定位模型的智能协作训练与共同获益;2)考虑敌手的攻击背景,利用差分隐私技术在模型训练期间模糊各参与用户的实际贡献,实现多层面的ε-差分隐私保护,在隐私保护强度、定位模型性能和时间开销三者之间取得了更好权衡;3)该方法可扩展并且可以作为边缘计算下室内定位应用的标准框架。实现多个参与用户室内定位模型的可信联邦训练,在保障用户隐私安全的情况下,保证高效、准确的室内定位性能。
附图说明
图1为本发明的差分私有联邦学习结构图。
具体实施方式
下面结合附图对本发明及其效果进一步说明。
如图1所示,本发明系统模型由三个实体构成:终端设备、边缘节点和云服务器。这些系统描述如下:
(1)终端设备:用户的终端设备从室内区域(例如,大型购物中心,地下停车场,展览厅等)的多个无线传感器信标收集无线信号强度RSSI数据。为了解决隐私泄露问题,终端设备先独立地对原始RSSI数据进行满足差分隐私的隐私保护处理,然后将处理后的数据发送到附近的边缘节点,在边缘节点处进行多用户的数据聚合。在此模型中认为终端设备是可信的。
(2)边缘节点:边缘节点是一些具有数据计算和存储功能的智能网关,可将云服务的边缘扩展到室内区域。首先,边缘节点收集附近终端设备上传的经过隐私保护处理的RSSI训练数据,并将这些数据聚合成包含多个用户的组合数据;然后,利用这些组合数据进行本地子模型的训练;最后,各个边缘节点将训练好的本地子模型的模型参数上传到云服务器。在此模型中认为边缘节点是半可信的。
(3)云服务器:存储在大型数据中心中的云服务器具有强大的数据计算和存储能力,对边缘节点上传的多个子模型的模型参数进行差分私有聚合,混淆各参与的边缘节点的实际贡献;然后,通过端云协同的方式不断更新模型,直到模型达到最优;最后将训练好的理想室内定位模型下发至边缘节点,为用户提供实时、安全、准确的室内定位服务。在此模型中认为云服务器是不可信的。
在上述模型下,所形成的一种面向边缘计算的联邦学习室内定位隐私保护方法的具体内容为:通过利用差分隐私技术将收集到的RSSI数据经差分处理后,上传到边缘节点,边缘节点将这些数据聚合后,进行本地子模型训练并将训练好的本地子模型的模型参数上传到云服务器,云服务器对各个边缘节点上传的模型参数进行差分私有聚合,混淆各个边缘节点的实际贡献。最后,通过端云协同的方式不断地更新模型直到模型达到最优,最后,将训练好的理想模型下发给各个边缘节点,为用户提供实时、安全、准确的室内定位服务。
在服务器端和用户端,均采用一个轻量的卷积神经网络(Convolutional NeuralNetworks,CNN)做室内定位模型的训练和预测。整个网络结构包含两个卷积层、一个池化层和两个全连接层,其中卷积层采用的卷积核大小为1×5。在训练过程中,我们采用60%的数据作为训练集、10%的数据作为验证集、30%的数据作为测试集。采用Adadelta优化器作为优化策略,Adadelta不是累积所有过去的梯度,而是根据渐变更新的移动窗口调整学习速率,无需设置初始学习率。将购物中心10个子区域当作训练目标进行分类任务,批处理大小为10,训练周期数200。
在构建边缘节点层面的差分隐私保护的基础上,对用户端本地数据也进行差分隐私保护处理,使得本发明所提的方法能够提供多层次的差分隐私保护。为了验证本方法的性能,设计了集中式初始云端模型训练模式,采用10折交叉验证法进行模型的超参数微调,从而得到优化后的模型,记为Non-Fed;设计分布式的传统联邦学习训练模式对本地子模型和云端模型进行协同训练与优化更新,以此方式得到的优化后的模型记为Fed。为了与上述两种模型进行性能对比,我们采用算法执行10次后的平均值作为该方法的最终结果(见表1)。
表1不同ε下Non-Fed、Fed和本发明所提方法定位效果对比
从表1中可得,随着隐私保护预算ε的变化,本发明定位效果受ε影响非常明显。尤其当ε=0.001时,由于本发明在处理过程中添加了大量的可控随机噪声,定位效果受到严重影响,仅为23.3%。调整ε逐渐增大,本方法定位效果也有显著提升,当ε=1时达到82.1%的准确度,与Non-Fed模型表现几近相仿。与Fed模型相比,也没有明显额外的时间开销。因此,本发明能够在保证没有额外资源开销的情况下,保证有效的定位效果并提供多层面的ε-差分隐私保护。
实现本发明的具体步骤如下:
步骤A:用户的终端设备通过无线传感器信标收集无线信号强度RSSI数据(x,y),并对x添加可控的随机噪声Laplace(1/εu),在数据共享前对收集到的RSSI数据进行差分扰动,保证RSSI数据发送至边缘节点的隐私安全。然后将处理后的RSSI数据发送到附近的边缘节点;
步骤B:边缘节点收集附近多个终端设备上传的经过隐私保护处理的RSSI数据,并对这些数据进行聚合;然后利用这些聚合数据进行本地子模型训练,最后,各个边缘节点将训练好的本地子模型的参数上传到云服务器;
步骤C:云服务器对多个边缘节点上传的模型参数进行差分私有聚合,混淆各个边缘节点的的实际贡献;然后,通过端云协同的迭代方式更新模型参数直到模型达到最优;最后,将训练好的理想室内定位模型下发至边缘节点,为用户提供实时、安全、准确的室内定位服务。
各步骤详细解读如下:
Δf=maxD,D′‖Q(D)-Q(D′)‖
其中,‖Q(D)-Q(D′)‖是Q(D)和Q(D′)之间的1-阶范数距离,敏感度用来表征删除数据集中的任何记录引起的最大变化,是确定添加的噪声量的关键参数。
进一步的
1)步骤A详细过程如下:
步骤A详细过程如下:
用户终端设备在共享RSSI数据前,对RSSI数据中的x添加可控随机拉普拉斯噪声Laplace(1/εu),在数据共享前对RSSI数据进行差分扰动,保证RSSI数据发送到边缘节点的隐私安全。差分扰动后的RSSI数据为(x′,y),其中x′可表示为:
x′=x+Laplace(Δf/εu)
其中,Laplace(·)为满足拉普拉斯分布的可控随机噪声,添加的噪声量由敏感度Δf控制,其中εu为分配给用户在终端设备上进行差分扰动的隐私保护预算,Δf计算如下:
x′=reshape(x′,width,height)
Δf=|max(mean(x′,axis=1))-min(mean(x′,axis=1))|
其中reshape(,)表示在不改变列表内容的情况下对列表进行重新排列。reshape(x′,width,height)表示将一维的数据x′转换为一个widht*height的二维数组。max(,)表示求元素的中最大值、min(,)表示求元素的中最小值、mean(,)表示求元素的均值,当axis=1,表示对二维列表中的每行元素求均值。
2)步骤B详细过程如下:
边缘节点将接收到的来自不同用户的RSSI数据进行聚合,形成本地子模型所需的训练数据集(X′edge,Yedge),其中,edge仅用于标识该数据是在边缘节点上对来自各个用户的RSSI数据进行组合后的数据,并不参与任何运算, 表示第i条数据样本,/>表示该样本对应的标签值。对于本地子模型训练,任意一个边缘节点edge上模型训练的优化目标是:
其中,表示边缘节点收集的经差分扰动后的数据,fu表示待学习的本地子模型,/>表示将数据/>输入到模型训练后模型的输出结果,/>表示模型在数据/>上的损失,/>表示模型在数据集(X′edge,Yedge)上的总损失,对于分类任务/>是一个标准的交叉熵损失,θedge表示所有待学习的参数,包括权重和偏置项。
3)步骤C详细过程如下:
云服务器接受来自N个不同边缘节点上传的本地子模型参数,并对这些模型进行满足差分隐私保护的聚合和更新操作,云端模型的更新可以形式化为:
其中,ws为云端模型目标参数,wi为N个本地子模型参数,i=1,2,…,N。以此为原则,不断迭代,实现云端模型和本地子模型的协同更新。
对本发明安全性的分析
我们利用了隐私预算中广泛使用的组合性质:序列组合性对本专利提出的方法进行安全性分析。
理论1:本发明所提方法能够提供差分隐私保护。
证明:该方法提供的隐私保护处理主要包括以下几个操作阶段:(1)用户终端设备上RSSI数据的差分扰动;(2)边缘节点上传模型参数;(3)云服务器差分私有的模型聚合。在阶段(1)中,众多用户独立地在自己本地进行私有数据的差分隐私保护,每个用户分配的隐私保护预算均为εu,根据差分隐私定义3和并行组合性可以得到在此阶段可以满足(εu)-差分隐私保护。在阶段(2)中,边缘节点接受到的用户RSSI数据是经过差分扰动处理过的,在这些数据上进的聚合和计算操作同样满足(εu)-差分隐私保护。而且,在这一阶段,边缘节点仅向云端共享模型学习的参数,数据仍在本地可防可控,没有造成额外的隐私泄露风险。在阶段(3)中,利用阶段(1)扰动后的数据建模学习到的模型参数在云端进行汇聚,为了防止敌手针对边缘节点实施差分攻击,在这一阶段对模型参数的聚合结果添加可控拉普拉斯噪声,来模糊化各个边缘节点本地子模型对云端模型的贡献量。因此,在云端分配隐私保护预算εs,实现(εs)-差分隐私保护。
对于整个算法流程来说,应用引理1可以得出该方法能够提供(εu+εs)-差分隐私保护,即对于任何一对相邻的训练数据集X和X′,Fed都满足:
敌手无法通关观察算法输出结果的差异性,来进行贝叶斯推理攻击,利用模型反推训练样本及用户隐私信息。同时,由于多个边缘节点在假定条件下不具有通信能力,边缘节点之间相互独立,数据无法共享,那么敌手也无法通过关联多个边缘节点数据实施链接攻击,在边缘节点层面,用户和本地子模型的数据安全得以保证。由此可得,本发明所提方法能够提供多层面的差分隐私安全保障。
Claims (1)
1.一种面向边缘计算的联邦学习室内定位隐私保护方法,假设边缘节点是半可信的,多个边缘节点间不具备通信能力,无法串通获取用户的完整信息,为了保障用户的隐私安全,边缘节点之间也呈信息孤岛状存在;假设云服务器是不可信的,它会尽力获取室内定位模型的训练数据集,通过分析训练数据集来揭露用户的敏感信息;因此,要避免将未经隐私保护处理的真实数据直接暴露给云服务器;具体包括下列步骤:
步骤A:用户的终端设备通过无线传感器信标收集无线信号强度RSSI数据(x,y),并对x添加可控的随机拉普拉斯噪声Laplace(1/εu),在数据共享前对收集到的RSSI数据进行差分扰动处理,保证RSSI数据发送至边缘节点上的隐私安全,然后将处理后的RSSI数据发送到附近的边缘节点,其中x为用户的终端设备收集到的多个AP信号的集合,y为用户所处位置,εu为隐私预算;
步骤A详细过程如下:
用户终端设备在共享RSSI数据前,对RSSI数据中的x添加可控随机拉普拉斯噪声Laplace(1/εu),在数据共享前对RSSI数据进行差分扰动处理,保证RSSI数据发送到边缘节点的隐私安全;差分扰动后的RSSI数据为(x′,y),其中x′可表示为:
x′=x+Laplace(Δf/εu)
其中,Laplace(·)为满足拉普拉斯分布的可控随机噪声,添加的噪声量由敏感度Δf控制;其中εu为分配给用户在终端设备上进行差分扰动的隐私保护预算,Δf计算如下:
其中reshape(,)表示在不改变列表内容的情况下对列表进行重新排列;x′指reshape前的一维数据,而指reshape后widht*height的二维数据;max(,)表示求元素的中最大值、min(,)表示求元素的中最小值、mean(,)表示求元素的均值,当axis=1,表示对二维列表中的每行元素求均值;
步骤B:边缘节点收集附近多个终端设备上传的经过隐私保护处理的RSSI数据,并对这些数据进行聚合;然后利用这些聚合数据进行本地子模型训练,最后,各个边缘节点将训练好的本地子模型参数上传到云服务器;
步骤B详细过程如下:
边缘节点将接收到的来自不同用户的RSSI数据进行聚合,形成本地子模型所需的训练数据集(X′edge,Yedge),其中,edge仅用于标识该数据是在边缘节点上对来自各个用户的RSSI数据进行聚合后的数据,并不参与任何运算, 表示第i条数据样本,/>表示该样本对应的标签值;对于本地子模型训练,任意一个边缘节点edge上模型训练的优化目标是:
其中,表示边缘节点收集的经差分扰动后的数据,fu表示待学习的本地子模型,/>表示将数据/>输入到模型训练后模型的输出结果,l(·,·)表示模型在数据/>上的损失,/>表示模型在数据集(X′edge,Yedge)上的总损失,对于分类任务l(·,·)是一个标准的交叉熵损失,Θedge表示所有待学习的参数,包括权重和偏置项;
步骤C:云服务器首先对多个边缘节点上传的模型参数进行差分私有聚合,混淆各个边缘节点的的实际贡献;然后,通过端云协同的迭代方式更新模型参数直到模型达到最优;最后,将训练好的最优室内定位模型下发至各边缘节点,为用户提供实时、安全、准确地室内定位服务;步骤C详细过程如下:
云服务器接受来自N个不同边缘节点上传的本地子模型参数,并对这些模型参数进行满足差分隐私保护的聚合和更新操作,云端模型的更新可以形式化为:
其中,ws为云端模型目标参数,wi为N个本地子模型参数,i=1,2,...,N,以此为原则,不断迭代,实现云端模型和本地子模型的协同更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010645474.7A CN111866869B (zh) | 2020-07-07 | 2020-07-07 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010645474.7A CN111866869B (zh) | 2020-07-07 | 2020-07-07 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111866869A CN111866869A (zh) | 2020-10-30 |
CN111866869B true CN111866869B (zh) | 2023-06-23 |
Family
ID=73153597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010645474.7A Active CN111866869B (zh) | 2020-07-07 | 2020-07-07 | 面向边缘计算的联邦学习室内定位隐私保护方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111866869B (zh) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112565331B (zh) * | 2020-11-02 | 2022-08-12 | 中山大学 | 一种基于边缘计算的端-边协同联邦学习优化方法 |
CN112308240A (zh) * | 2020-11-02 | 2021-02-02 | 清华大学 | 基于联邦学习的边缘侧机器协同与优化的系统 |
CN113923225A (zh) * | 2020-11-16 | 2022-01-11 | 京东科技控股股份有限公司 | 基于分布式架构的联邦学习平台、方法、设备和存储介质 |
CN112583575B (zh) * | 2020-12-04 | 2023-05-09 | 华侨大学 | 一种车联网中基于同态加密的联邦学习隐私保护方法 |
CN112232528B (zh) * | 2020-12-15 | 2021-03-09 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
CN112329073B (zh) * | 2021-01-05 | 2021-07-20 | 腾讯科技(深圳)有限公司 | 分布式数据处理方法、装置、计算机设备及存储介质 |
CN112333216B (zh) * | 2021-01-07 | 2021-04-06 | 深圳索信达数据技术有限公司 | 一种基于联邦学习的模型训练方法及系统 |
CN112911608B (zh) * | 2021-01-14 | 2021-11-23 | 浙江大学 | 一种面向边缘智能网络的大规模接入方法 |
CN112766138B (zh) * | 2021-01-14 | 2024-08-13 | 深圳前海微众银行股份有限公司 | 基于图像识别的定位方法、装置、设备及存储介质 |
CN112906745B (zh) * | 2021-01-21 | 2022-03-29 | 天津大学 | 基于边缘协同的诚信智能网络训练方法 |
CN113052333A (zh) * | 2021-04-02 | 2021-06-29 | 中国科学院计算技术研究所 | 基于联邦学习进行数据分析的方法及系统 |
CN113033825B (zh) * | 2021-04-21 | 2024-05-28 | 支付宝(杭州)信息技术有限公司 | 一种隐私保护的模型训练方法、系统及装置 |
CN113206887A (zh) * | 2021-05-08 | 2021-08-03 | 武汉理工大学 | 边缘计算下针对数据与设备异构性加速联邦学习的方法 |
CN112926559B (zh) * | 2021-05-12 | 2021-07-30 | 支付宝(杭州)信息技术有限公司 | 人脸图像处理方法及装置 |
CN113312667B (zh) * | 2021-06-07 | 2022-09-02 | 支付宝(杭州)信息技术有限公司 | 一种风险防控方法、装置及设备 |
CN113614726A (zh) * | 2021-06-10 | 2021-11-05 | 香港应用科技研究院有限公司 | 对联邦学习系统的动态差异隐私 |
CN113255004B (zh) * | 2021-06-16 | 2024-06-14 | 大连理工大学 | 一种安全且高效的联邦学习内容缓存方法 |
CN113642700B (zh) * | 2021-07-05 | 2024-06-18 | 湖南师范大学 | 基于联邦学习和边缘计算的跨平台多模态舆情分析方法 |
CN113805142B (zh) * | 2021-09-16 | 2023-11-07 | 北京交通大学 | 一种基于联邦学习的建筑物楼层室内定位方法 |
CN114050976B (zh) * | 2021-10-18 | 2023-07-07 | 广州大学 | 一种面向隐私保护的iot设备通信方法及系统 |
CN113971090B (zh) * | 2021-10-21 | 2022-09-13 | 中国人民解放军国防科技大学 | 分布式深度神经网络的分层联邦学习方法及装置 |
CN114117536B (zh) * | 2021-12-07 | 2022-07-01 | 中国矿业大学 | 基于深度强化学习的三维空间lbs中位置隐私保护方法 |
CN114169010A (zh) * | 2021-12-13 | 2022-03-11 | 安徽理工大学 | 一种基于联邦学习的边缘隐私保护方法 |
CN114205905B (zh) * | 2021-12-13 | 2023-04-18 | 江苏第二师范学院 | 一种基于集成联邦学习的复杂环境室内指纹定位方法 |
CN114338258A (zh) * | 2021-12-28 | 2022-04-12 | 广州广电运通金融电子股份有限公司 | 一种隐私计算保护系统、方法和存储介质 |
CN114465722B (zh) * | 2022-01-29 | 2024-04-02 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备、存储介质及程序产品 |
CN114726861B (zh) * | 2022-04-02 | 2023-07-18 | 中国科学技术大学苏州高等研究院 | 基于空闲服务器的模型聚合加速方法和装置 |
CN115424079B (zh) * | 2022-09-30 | 2023-11-24 | 深圳市大数据研究院 | 基于联邦边缘学习的图像分类方法以及相关设备 |
CN115686779B (zh) * | 2022-10-14 | 2024-02-09 | 兰州交通大学 | 基于dqn的自适应边缘计算任务调度方法 |
CN115510472B (zh) * | 2022-11-23 | 2023-04-07 | 南京邮电大学 | 一种面向云边聚合系统的多重差分隐私保护方法及系统 |
CN117579215B (zh) * | 2024-01-17 | 2024-03-29 | 杭州世平信息科技有限公司 | 基于标签共享的纵向联邦学习差分隐私保护方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106125038A (zh) * | 2016-06-15 | 2016-11-16 | 北京工业大学 | 基于边缘计算和贝叶斯后验概率模型的室内无线定位方法 |
CN110632554A (zh) * | 2019-09-20 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 基于联邦学习的室内定位方法、装置、终端设备及介质 |
CN111091199A (zh) * | 2019-12-20 | 2020-05-01 | 哈尔滨工业大学(深圳) | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
CN111340558A (zh) * | 2020-02-28 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 基于联邦学习的线上信息处理方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9288276B2 (en) * | 2006-11-03 | 2016-03-15 | At&T Intellectual Property I, L.P. | Application services infrastructure for next generation networks including a notification capability and related methods and computer program products |
US11521090B2 (en) * | 2018-08-09 | 2022-12-06 | International Business Machines Corporation | Collaborative distributed machine learning |
-
2020
- 2020-07-07 CN CN202010645474.7A patent/CN111866869B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106125038A (zh) * | 2016-06-15 | 2016-11-16 | 北京工业大学 | 基于边缘计算和贝叶斯后验概率模型的室内无线定位方法 |
CN110632554A (zh) * | 2019-09-20 | 2019-12-31 | 深圳前海微众银行股份有限公司 | 基于联邦学习的室内定位方法、装置、终端设备及介质 |
CN111091199A (zh) * | 2019-12-20 | 2020-05-01 | 哈尔滨工业大学(深圳) | 一种基于差分隐私的联邦学习方法、装置及存储介质 |
CN111340558A (zh) * | 2020-02-28 | 2020-06-26 | 深圳前海微众银行股份有限公司 | 基于联邦学习的线上信息处理方法、装置、设备及介质 |
Non-Patent Citations (2)
Title |
---|
Adaptive Federated Learning in Resource Constrained Edge Computing Systems;Shiqiang Wang等;The China Pervasive Computing Conference (PCC), 2019.;1-20 * |
抵御背景知识推理攻击的服务相似性位置k匿名隐私保护方法;闫光辉等;西安交通大学学报;第54卷(第1期);第8-17页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111866869A (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111866869B (zh) | 面向边缘计算的联邦学习室内定位隐私保护方法 | |
Guo et al. | Deep federated learning enhanced secure POI microservices for cyber-physical systems | |
Adekitan et al. | Data mining approach for predicting the daily Internet data traffic of a smart university | |
WO2019056572A1 (zh) | 隐私保护协同Web服务质量预测的基于模型的协同过滤方法 | |
CN107659444A (zh) | 隐私保护协同Web服务质量的差分隐私预测系统及方法 | |
CN113128701A (zh) | 面向样本稀疏性的联邦学习方法及系统 | |
Abunadi et al. | Federated learning with blockchain assisted image classification for clustered UAV networks | |
WO2019056571A1 (zh) | 一种web服务质量预测方法 | |
Alterazi et al. | Prevention of cyber security with the internet of things using particle swarm optimization | |
Wang et al. | Environmental monitoring based on fog computing paradigm and internet of things | |
CN111988845B (zh) | 边缘计算架构下的差分私有多源无线信号指纹融合室内定位方法 | |
Lilhore et al. | A cognitive security framework for detecting intrusions in IoT and 5G utilizing deep learning | |
Wang et al. | An empirical study on vulnerability assessment and penetration detection for highly sensitive networks | |
Gupta et al. | Game theory based privacy preserving approach for collaborative deep learning in iot | |
Xue et al. | An Asynchronous Quasi‐Cloud/Edge/Client Collaborative Federated Learning Mechanism for Fault Diagnosis | |
Etiabi et al. | Federated distillation based indoor localization for IoT networks | |
Anjos et al. | A survey on collaborative learning for intelligent autonomous systems | |
Zhang et al. | Visual object detection for privacy-preserving federated learning | |
Do et al. | A Horizontal Federated-Learning Model for Detecting Abnormal Traffic Generated by Malware in IoT Networks | |
Feng | Application of edge computing and blockchain in smart agriculture system | |
CN115840965B (zh) | 一种信息安全保障模型训练方法和系统 | |
Guofeng et al. | Adaptive morphological contrast enhancement based on quantum genetic algorithm for point target detection | |
Atlam et al. | ANFIS for risk estimation in risk-based access control model for smart homes | |
Tang et al. | Differentially private decentralized traffic flow prediction approach based on federated learning | |
Han et al. | MT 2 AD: multi-layer temporal transaction anomaly detection in ethereum networks with GNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |