CN115829063A - 一种基于动态隐私预算的无线定位差分隐私联邦学习方法 - Google Patents

一种基于动态隐私预算的无线定位差分隐私联邦学习方法 Download PDF

Info

Publication number
CN115829063A
CN115829063A CN202211559932.0A CN202211559932A CN115829063A CN 115829063 A CN115829063 A CN 115829063A CN 202211559932 A CN202211559932 A CN 202211559932A CN 115829063 A CN115829063 A CN 115829063A
Authority
CN
China
Prior art keywords
model
privacy
data
differential
edge server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211559932.0A
Other languages
English (en)
Inventor
张学军
孙小文
张潇
席阿友
徐彤
黄海燕
张斌
周文杰
加小红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN202211559932.0A priority Critical patent/CN115829063A/zh
Publication of CN115829063A publication Critical patent/CN115829063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于动态隐私预算的无线定位差分隐私联邦学习方法，包括：(1)终端设备对从室内获取到的RSS指纹数据集数据预处理和差分扰动，将扰动后的RSS数据发送至邻近的边缘服务器；(2)边缘服务器对接受到的RSS指纹数据进行聚合并利用这些聚合数据进行本地定位子模型训练，在每轮迭代过程中，利用RDP技术进行动态隐私预算分配后，将处理好的本地子模型参数上传给云服务器；(3)接收各边缘服务器共享的子模型参数，利用联邦平均优化算法更新全局共享模型参数，并将更新后的模型参数下发给各边缘服务器进行下一轮迭代训练，直至获得最优的训练模型。本发明在保护用户的数据隐私与模型的参数隐私的同时，可获得较高精度的室内定位模型及较低的响应时延。

Description

一种基于动态隐私预算的无线定位差分隐私联邦学习方法
技术领域
本发明属于室内定位领域，具体涉及一种在利用位置信息进行位置服务时，保护用户的数据隐私及模型参数隐私的方法，具体指一种基于动态隐私预算的无线定位差分隐私联邦学习方法。
背景技术
随着网络技术和移动定位技术的发展，使得越来越多的应用程序离不开定位功能。室外定位技术的发展已臻于成熟，人们将目光转向室内定位技术，为此产生了很多有助于提高室内定位精度的技术，主要包括基于红外线、超声波、RFID、无线局域网、蓝牙、传感网络、超带宽、电磁信号、视觉和声音等，以及由这些技术组合成的混合系统。虽然这些技术中大都提供了高水平的定位精度，但其应用都有严重的局限性，难以达到室内定位和导航的要求。而基于接收信号强度(Received Signal Strength,RSS)的指纹定位技术因其具有易实现、低成本、低功耗、基础设施成熟等优势而成为室内定位的主流趋势。面对海量可用的RSS指纹数据，为了利用这些RSS数据进一步提高室内定位精度和应对室内环境复杂多变、无线信号阴影衰落、多径效应等因素的不利影响，一些新的研究提出利用多传感器数据、信道状态信息(Channel State Information,CSI)数据并结合联邦学习技术辅助WiFi或蓝牙指纹进行室内定位，获得了比传统定位方法和系统更高的定位精度和鲁棒性。然而，在室内定位技术为用户服务的过程中，出现了数据处理及传输延迟、云服务器压力、网络负载等问题，而将室内定位联邦学习模型部署到边缘计算框架中是解决传统基于云架构的室内定位系统存在上述问题的一种有效策略。
虽然边缘计算环境和联邦学习能够有效解决云架构下存在的诸多挑战，但由于边缘设备计算、通信、存储等资源受限的问题，难以执行复杂的隐私保护策略，因此隐私泄露问题仍很严峻。恶意攻击者可以通过模型反演攻击、成员推理攻击等技术利用神经网络参数获取用户的隐私信息，而差分隐私技术通过给数据添加符合其分布的随机噪声，能够有效地解决联邦学习模型在训练及应用过程当中存在的隐私泄露问题，保护用户的隐私。噪声量由隐私预算参数ε控制，ε越大，添加的噪声越小，数据可用性越高，反之，添加的噪声就越多，数据可用性就越小。因此，如何设计一个高效的、动态的隐私预算分配策略是目前DL隐私保护领域中的研究热点及难点。
面对利用差分隐私保护联邦学习模型在训练及应用过程当中存在的隐私预算分配问题，许多人对这个方法提出了改进。Martin等人针对深度学习模型训练中的隐私泄露问题，基于(ε，δ)-差分技术提出了DP-SGD算法，利用Mom-ents Account(MA)对隐私损失进行了精细化分析与追踪，能够在细粒度保护用户隐私的情况下，获得了可靠的模型性能，但没有考虑数据批处理方法对隐私损失造成的影响。为了解决这个问题，Yu等人基于集中差分隐私提出新的动态隐私预算方法，该方法能够在提供更加严格的隐私保护的同时，提高了模型的性能。虽然这些方法能够实现动态隐私预算分配，但是仍无法直接适用于高度复杂且动态的边缘计算环境，难以有效解决基于深度学习的指纹室内定位隐私保护方法存在的隐私预算动态调整与分配问题，该问题已成为阻碍室内定位技术快速发展与应用的挑战之一。
针对边缘计算环境的高度复杂性与动态性，现有的动态隐私预算分配策略难以适用，因此学术界对此进行了深入地探索。专利CN114462090A基于假设检验通过f-差分隐私技术完成隐私预算分配，使得联邦学习系统在精度下降不超出可接受阈值的范围的同时满足差分隐私。但是，该方法没有考虑到实时性这个问题，无法满足动态的边缘计算环境，专利CN113642715A是在相关性对梯度进行扰动的基础上考虑最优模型噪声添加情况，从而解决的隐私预算消耗过大的问题，提高隐私保护水平。但是，该方法是根据权重的变化来进行隐私预算分配的，不能够对差分隐私进行细粒度控制。
发明内容
针对以上问题，本发明提出一种基于动态隐私预算的无线定位差分隐私联邦学习方法，主要解决两个问题：1、在保护用户数据隐私及模型参数隐私的同时，获得较高的室内定位模型精度以及较低的响应时延；2、实现室内定位模型训练过程中的隐私预算精细化分配。
本发明所采用的技术方案为：
一种基于动态隐私预算的无线定位差分隐私联邦学习方法，具体按照以下步骤实施：
步骤A，数据预处理和差分扰动：终端设备将从室内区域获取的基于接收信号强度的Received Signal Strength，RSS指纹数据集进行数据预处理和差分扰动，然后将扰动后的RSS指纹数据发送至邻近的边缘服务器；数据预处理为利用皮尔逊相关系数PearsonCorrelation Coefficient,PCC剔除掉弱相关的RSS指纹数据，然后利用(ε，δ)-差分隐私技术对转换后的灰度图像进行差分扰动，最后将扰动后的灰度图像发送给边缘服务器；
步骤B，本地子模型训练：边缘服务器对接受的RSS指纹数据进行聚合，利用这些聚合数据进行本地定位子模型训练，利用Rényi差分隐私Rényi DifferentialPrivacy,RDP技术动态计算隐私预算损失并进行隐私预算分配，自适应调整当前阶段对参数梯度的扰动程度，实现噪声数据的细粒度控制，并将训练好的本地子模型参数上传到云服务器；
步骤C，模型参数聚合：在每轮迭代过程中云服务器接收到来自各边缘服务器共享的模型参数，利用联邦平均优化算法更新全局共享模型参数，然后将聚合后的模型参数下发给各边缘服务器，使其进行下一步迭代训练，直至获得最优的训练模型。
步骤A进一步包括：
A1、将室内区域分为N个均匀小区域，每个区域的标签为li，1≤i≤N，用户在室内区域中收集到的K条指纹数据记录R＝[r1，r2，...，rK]，其中rj＝[r1，r2，...，rm，li]，1≤j≤K表示用户在区域li中m个APs收集到的第j条RSS指纹数据；
A2、计算指纹数据标签LK＝[l1，l1，...，lK]与wn，1≤n≤m的PCC值c，其中wn为指纹数据集R的第n列数据；当|c|≤0.3时，表明APs信号强度不可用，因此，在该阶段，我们剔除了|c|≤0.3的指纹数据列；
A3、计算最新RSS指纹数据记录和c的哈达玛乘积Hadamard Product，HP，得到哈达玛矩HP；其中HP＝[HP1，HP2，...，HPK]，对HPi进行差分扰动后转换成灰度图像imgi，最后将得到扰动后的灰度图像[img1，img2，...，imgK]上传到边缘服务器。
步骤B进一步包括：
边缘服务器在接收到来自附近终端设备ui扰动后的RSS指纹图片数据
Figure BDA0003984262910000041
后，对其进行聚合，形成模型训练所需数据集
Figure BDA0003984262910000042
Figure BDA0003984262910000043
N为聚合后的数据集大小，
Figure BDA0003984262910000044
表示
Figure BDA0003984262910000045
对应的标签，i≤j≤N，然后利用数据集
Figure BDA0003984262910000046
进行本地子模型训练，按照公式(1)对边缘服务器Ei的本地子模型进行优化：
Figure BDA0003984262910000047
其中，fe(·，·)表示模型的预测函数，
Figure BDA0003984262910000048
表示模型的优化目标，l(·，·)表示模型的优化函数，
Figure BDA0003984262910000049
表示边缘服务器Ei的模型参数。
步骤B中本地子模型训练过程进一步包括如下步骤：
B1、对参数梯度进行裁剪：将参数梯度g(imgi)按照公式(2)裁剪后得到g’(imgi)：
Figure BDA00039842629100000410
其中，C为梯度裁剪阈值，||g(imgi)||2为梯度g(imgi)的欧氏距离；
B2、添加可控的差分私有噪声：在梯度上按照公式(3)添加可控的差分私有噪声gGaussian(0，σ2C2)得到新的梯度gt：
Figure BDA00039842629100000411
其中，B为每次输入到模型中的数据个数，
Figure BDA00039842629100000412
为噪声尺度；
B3、参数更新：按照公式(4)利用扰动后的参数梯度对模型参数进行更新，使其进行下一步迭代训练：
Figure BDA0003984262910000051
其中，
Figure BDA0003984262910000052
为更新后的模型参数，
Figure BDA0003984262910000053
为当前阶段的模型参数，α为学习率。
步骤C中云服务器接收到N个边缘服务器上传的模型参数后，按照公式(5)对其进行参数聚合后下发给各边缘服务器，使其进行下一次迭代训练:
Figure BDA0003984262910000054
其中，wglobal为聚合后的模型参数，
Figure BDA0003984262910000055
为边缘服务器Ei上传的模型参数。
本发明利用联邦学习和(ε，δ)-差分隐私技术结合的方法，可以保护深度学习模型训练过程中用户数据隐私和模型参数隐私。本发明利用已有的皮尔逊相关系数及差分隐私技术实现RSS数据收集及预处理；利用Rényi差分隐私(Rényi Differential Privacy,RDP)动态追踪与分析在深度学习的模型训练过程中的隐私损失与度量每一阶段的隐私损失，实现细粒度的噪声添加，在保护用户的数据隐私与模型的参数隐私的同时，可以获得较高精度的室内定位模型以及较低的响应时延。
附图说明
图1为本发明的架构图；
图2为本发明的流程图；
图3为本发明和没有经过差分隐私的联邦学习方法No-DP的模型精度对比图；
图4为本发明和没有经过差分隐私的联邦学习方法No-DP的模型损失对比图；
图5为本发明调整后的隐私预算即子隐私ε变化图；
图6为本发明在模型训练过程中每轮最优RDPOrder变化图。
具体实施方式
下面结合附图对本发明进一步说明。
参照图1，图1为本发明的架构图，其详细说明了本发明的使用场景的具体实施过程。首先终端设备从室内区域获取并存储本地RSS指纹数据集，然后独立地对收集到的RSS数据集进行数据预处理和差分扰动，最后将扰动后的RSS数据发送至邻近的边缘服务器；其次，边缘服务器执行数据聚合、本地子模型训练和服务反馈任务；最后，接收各边缘服务器共享的子模型参数，利用联邦平均优化算法更新全局共享模型参数，并将更新后的模型参数下发给各边缘服务器进行下一轮迭代训练，直至获得最优的训练模型。
该架构的具体设计如表1。在网络架构设计方面使用TensorFlow构建了一个简单的室内定位网络模型，整个网络结构包含2个卷积层，2个池化层和3个全连接层，其中卷积层采用的卷积核大小为3*3。
表1本发明的网络架构表
Figure BDA0003984262910000061
参照图2，一种基于动态隐私预算的无线定位差分隐私联邦学习方法，具体按照以下步骤实施：
步骤A，数据预处理和差分扰动：终端设备将从室内区域获取的基于接收信号强度的Received Signal Strength，RSS指纹数据集进行数据预处理和差分扰动，然后将扰动后的RSS指纹数据发送至邻近的边缘服务器；数据预处理为利用皮尔逊相关系数PearsonCorrelation Coefficient,PCC剔除掉弱相关的RSS指纹数据，将其转换成灰度图像，然后利用(ε，δ)-差分隐私技术对转换后的灰度图像进行差分扰动，以保护用户自身数据隐私，最后将扰动后的灰度图像发送给边缘服务器；
其中数据预处理方法：由于靠近用户终端设备位置的接入点(Access Points，APs)信号较强，远离终端设备位置APs信号较弱甚至没有可用性。因此通过计算位置点与RSS指纹数据间的皮尔逊相关系数PCC，剔除可用性较差的Aps信号点，然后将其转换成灰度图像，提高模型对数据的学习及泛化能力。
步骤A进一步细化为以下步骤：
A1、将室内区域分为N个均匀小区域，每个区域的标签为li，1≤i≤N，用户在室内区域中收集到的K条指纹数据记录R＝[r1，r2，...，rK]，其中rj＝[r1，r2，...，rm，li]，1≤j≤K表示用户在区域lx中m个APs收集到的第j条RSS指纹数据。
A2、计算指纹数据标签LK＝[l1，l1，...，lK]与wn，1≤n≤m的PCC值c，其中wn为指纹数据集R的第n列数据；当|c|≤0.3时，表明APs信号强度不可用，因此，在该阶段，我们剔除了|c|≤0.3的指纹数据列；
A3、计算最新RSS指纹数据记录和c的哈达玛乘积(Hadamard Product，HP)，得到哈达玛矩HP；其中HP＝[HP1，HP2，...，HPK]，对HPi进行差分扰动后转换成灰度图像imgi，最后将扰动后的灰度图像[img1，img2，...，imgK]上传到边缘服务器。
本发明中的数据预处理算法如表2，该算法首先将室内区域分为N个均匀小区域，并打上标签；其次，通过计算PCC值剔除APs信号强度不可用的数据；最后扰动数据并将其上传至云服务器。
表2本发明的数据预处理算法
Figure BDA0003984262910000071
Figure BDA0003984262910000081
步骤B，本地子模型训练：边缘服务器对接受的RSS指纹数据进行聚合，利用这些聚合数据进行本地定位子模型训练，利用Rényi差分隐私Rényi Differential Privacy，RDP技术动态计算隐私预算损失并进行隐私预算分配，自适应调整当前阶段对参数梯度的扰动程度，实现噪声数据的细粒度控制，并将训练好的本地子模型参数上传到云服务器。
步骤B进一步包括：边缘服务器在接收到来自附近终端设备ui扰动后的RSS指纹图片数据
Figure BDA0003984262910000082
后，对其进行聚合，形成模型训练所需数据集
Figure BDA0003984262910000083
N为聚合后的数据集大小，
Figure BDA0003984262910000084
表示
Figure BDA0003984262910000085
对应的标签，i≤j≤N，然后利用数据集
Figure BDA0003984262910000086
进行本地子模型训练，按照公式(1)对边缘服务器Ei的本地子模型进行优化：
Figure BDA0003984262910000087
其中，fe(·，·)表示模型的预测函数，
Figure BDA0003984262910000088
表示模型的优化目标，l(·，·)表示模型的优化函数，
Figure BDA0003984262910000089
表示边缘服务器Ei的模型参数。
步骤B中本地子模型训练过程进一步包括如下步骤：
B1、对参数梯度进行裁剪：将参数梯度g(imgi)按照公式(2)裁剪后得到g’(imgi)：
Figure BDA0003984262910000091
其中，C为梯度裁剪阈值，||g(imgi)||2为梯度g(imgi)的欧氏距离。
B2、添加可控的差分私有噪声：在梯度上按照公式(3)添加可控的差分私有噪声aGaussian(0，σ2C2)得到新的梯度gt：
Figure BDA0003984262910000092
其中，B为每次输入到模型中的数据个数，
Figure BDA0003984262910000093
为噪声尺度。
B3、参数更新：按照公式(4)利用扰动后的参数梯度对模型参数进行更新，使其进行下一步迭代训练：
Figure BDA0003984262910000094
其中，
Figure BDA0003984262910000095
为更新后的模型参数，
Figure BDA0003984262910000096
为当前阶段的模型参数，α为学习率。
上述本地子模型训练方法见表3。
表3本发明中的本地子模型训练方法
Figure BDA0003984262910000097
Figure BDA0003984262910000101
步骤C，模型参数聚合：在每轮迭代过程中云服务器接收到来自各边缘服务器共享的模型参数，利用联邦平均优化算法更新全局共享模型参数，然后将聚合后的模型参数下发给各边缘服务器，使其进行下一步迭代训练，直至获得最优的训练模型。
当云服务器接收到N个边缘服务器上传的模型参数后，按照公式(5)对其进行参数聚合后下发给各边缘服务器，使其进行下一次迭代训练：
Figure BDA0003984262910000102
其中，wglobal为聚合后的模型参数，
Figure BDA0003984262910000103
为边缘服务器Ei上传的模型参数。
本发明需要满足(ε，δ-差分隐私，证明如下：
设算法总的隐私预算为ε，只有在数据预处理和边缘服务器对模型进行训练的阶段需要用到隐私预算，因此将这两个阶段的隐私预算划分为2个子隐私预算εc和εe，此时，ε＝εc+εe。而这两个阶段在数据集Dc和De上的随机算法为
Figure BDA0003984262910000111
且Mc和Me的随机过程相对独立。
推导可得：
Figure BDA0003984262910000112
Figure BDA0003984262910000113
因此，这两个阶段分别满足(εc，δ)-差分隐私和(εe，δ)-差分隐私。
因为云服务器收到的数据是经过处理的，所以云服务器对模型参数进行聚合阶段同样满足(εe，δ)差分隐私。
在终端、边缘服务器和云服务器三个阶段需要满足(εe，δ)差分隐私的前提是要求随机算法Mc和Me满足(ε，δ)-差分隐私。证明如下：
在数据预处理阶段，
Figure BDA0003984262910000114
N为参与者个数，设Pi在数据集PDi上的随机算法
Figure BDA0003984262910000115
满足(εi，δi)-差分隐私，且任意2个随机算法
Figure BDA0003984262910000116
的随机过程相互独立。
推导得到：
Figure BDA0003984262910000117
设算法
Figure BDA0003984262910000118
满足(εc，δ-差分隐私，则
Figure BDA0003984262910000119
随机算法Mc的输出记为O＝{r1，r2，...，rN}，由于任意2个算法
Figure BDA00039842629100001110
随机过程相互独立，因此，
Figure BDA00039842629100001111
由
Figure BDA00039842629100001112
可知，在所有的
Figure BDA00039842629100001113
i∈{1，2，...，N}，有且仅有1个
Figure BDA00039842629100001114
其他的相邻数据集
Figure BDA00039842629100001115
j≠i。
推导可得：
对于
Figure BDA00039842629100001116
使得
Figure BDA0003984262910000121
当且仅当εc≥εi，δ≥δi时，有
Figure BDA00039842629100001211
从而证得随机机制算法Mc满足(εc，δ)-差分隐私。同理可得，随机机制算法Me满足(εe，δ)-差分隐私。
在模型训练阶段，
Figure BDA0003984262910000122
N为模型训练轮次，设每一轮训练边缘服务器Ei在数据集Di上的随机算法
Figure BDA0003984262910000123
满足(εe，δi)-差分隐私，且任意2个随机算法
Figure BDA0003984262910000124
的随机过程相互独立。因此，对于
Figure BDA0003984262910000125
可以推导得：
Figure BDA0003984262910000126
因此，在每个边缘服务器Ej在模型训练过程当中满足(εe，δ)-差分隐私。
对于整个边缘计算下支持动态隐私预算分配的室内定位联邦学习方法而言，设随机算法
Figure BDA0003984262910000127
在数据预处理阶段和模型训练阶段的操作分别为Mc和Me，因此，M＝{Mc，Me}，记算法M的输出为O＝{rc，re}。由于算法Mc和Me的随机过程相互独立。因此，对于
Figure BDA0003984262910000128
可以推导得：
Figure BDA0003984262910000129
因为
Figure BDA00039842629100001210
可得：
Pr[M(D)＝O]＝eε×Pr[M(D′)＝O]+δ
因此可以得出结论，本发明满足(ε，δ-差分隐私。
本发明的安全性分析
本发明所述的边缘计算下指纹室内定位联邦学习动态隐私预算分配方法ADP-FLocEC基于联邦学习和(ε，δ-差分隐私技术，在保证服务质量前提下，同时保护了模型训练过程中用户数据隐私和模型参数隐私。在数据预处理时，利用PCC和(ε，δ)-差分隐私技术对转换后的灰度图像进行差分扰动，以保护用户自身数据隐私；在模型训练过程中，本发明利用RDP动态分析与度量每一阶段的隐私损失，实现了细粒度的噪声添加；在云服务器聚合参数的阶段，利用联邦平均优化算法更新全局共享模型参数，在这三个阶段，本发明整体满足(ε，δ)-差分隐私，攻击者很难利用恶意手段获得用户数据以及模型参数的隐私。针对边缘计算环境的高度复杂性与动态性，现有的隐私预算分配策略难以适用于边缘计算环境下的室内指纹定位隐私保护，本发明通过研究边缘计算环境下隐私预算动态分配与调整，提出边缘计算环境下支持动态隐私预算分配的室内定位联邦学习方法，实现用户数据隐私与模型参数隐私精细化保护，能够有效实现室内定位模型训练过程中的隐私预算精细化分配，在有效抵御差分分析、贝叶斯推理等攻击的同时，提高了室内指纹定位模型的性能。
如表4所示，分析了本发明与没有经过差分隐私的联邦学习方法No-DP在不同阶段时间开销比较，可以看出No-DP在模型训练阶段的时间开销远小于本方法，但是两种方法在模型测试过程中的时间几乎接近，均达到0.35s。本方法虽然在模型训练过程中增加了时间开销，但同时有效地保护了用户数据隐私及参数隐私，且对模型应用过程中的时间开销几乎无影响。
表4
Figure BDA0003984262910000131
如图3、图4所示，我们统计了没有经过差分隐私的联邦学习方法No-DP和本发明的训练精度、测试精度、训练损失、测试损失。可以看出，他们各自的模型训练精度、测试精度随着迭代次数的增加而逐渐上升，训练损失、测试损失随着迭代次数的增加而逐步下降。当迭代次数达到200轮时，No-DP方法的训练精度、测试精度、训练损失、测试损失分别达到了99.95％，99.45％，0.0021，0.0249，本发明的训练精度、测试精度、训练损失、测试损失分别为95.38％，94.84％，0.3085，0.4488。此外，虽然本发明在模型训练开始时添加了大量的噪声，使得模型的收敛速度比No-DP方法慢。但是，能够在牺牲4.5％模型精度的情况下，有效地抵御差分攻击、推理攻击以及模型反演攻击，实现用户及模型参数的隐私保护。
如图5、图6所示，我们计算了在模型训练过程中每轮最优RDP Order以及调整后的隐私预算。可以看出，随着迭代次数的增加，隐私预算逐渐上升，RDP Order逐渐下降。当迭代轮次分别为1，200时，隐私预算分别达到了0.35367，3.1357。当迭代次数为1时，由于参数梯度上添加了大量的噪声，降低了模型的拟合能力，随着迭代次数的增大，模型的拟合能力逐渐变强，此时，若再添加大量的噪声，将会严重影响模型的性能。因此，为了能够在模型性能、隐私保护强度之间取得有效的权衡，本发明随着迭代次数的增加动态调整隐私预算参数，细粒度控制每轮添加的噪声量，以获得高效室内定位性能。

Claims (5)

1.一种基于动态隐私预算的无线定位差分隐私联邦学习方法，其特征在于，具体按照以下步骤实施：
步骤A，数据预处理和差分扰动：终端设备将从室内区域获取的基于接收信号强度的Received Signal Strength，RSS指纹数据集进行数据预处理和差分扰动，然后将扰动后的RSS指纹数据发送至邻近的边缘服务器；数据预处理为利用皮尔逊相关系数PearsonCorrelation Coefficient，PCC剔除掉弱相关的RSS指纹数据，然后利用(ε，δ)-差分隐私技术对转换后的灰度图像进行差分扰动，最后将扰动后的灰度图像发送给边缘服务器；
步骤B，本地子模型训练：边缘服务器对接受的RSS指纹数据进行聚合，利用这些聚合数据进行本地定位子模型训练，利用Rényi差分隐私Rényi Differential Privacy，RDP技术动态计算隐私预算损失并进行隐私预算分配，自适应调整当前阶段对参数梯度的扰动程度，实现噪声数据的细粒度控制，并将训练好的本地子模型参数上传到云服务器；
步骤C，模型参数聚合：在每轮迭代过程中云服务器接收到来自各边缘服务器共享的模型参数，利用联邦平均优化算法更新全局共享模型参数，然后将聚合后的模型参数下发给各边缘服务器，使其进行下一步迭代训练，直至获得最优的训练模型。
2.根据权利要求1所述的一种基于动态隐私预算的无线定位差分隐私联邦学习方法，其特征在于，步骤A进一步包括：
A1、将室内区域分为N个均匀小区域，每个区域的标签为li，1≤i≤N，用户在室内区域中收集到的K条指纹数据记录R＝[r1，r2，...，rK]，其中rj＝[r1，r2，...，rm，li]，1≤j≤K表示用户在区域li中m个APs收集到的第j条RSS指纹数据；
A2、计算指纹数据标签LK＝[l1，l1，...，lK]与wn，1≤n≤m的PCC值c，其中wn为指纹数据集R的第n列数据；当|c|≤0.3时，表明APs信号强度不可用，因此，在该阶段，我们剔除了|c|≤0.3的指纹数据列；
A3、计算最新RSS指纹数据记录和c的哈达玛乘积Hadamard Product，HP，得到哈达玛矩HP；其中HP＝[HP1，HP2，...，HPK]，对HPi进行差分扰动后转换成灰度图像imgi，最后将得到扰动后的灰度图像[img1，img2，...，imgK]上传到边缘服务器。
3.根据权利要求1所述的一种基于动态隐私预算的无线定位差分隐私联邦学习方法，其特征在于，步骤B进一步包括：
边缘服务器在接收到来自附近终端设备ui扰动后的RSS指纹图片数据
Figure FDA0003984262900000021
后，对其进行聚合，形成模型训练所需数据集
Figure FDA0003984262900000022
Figure FDA0003984262900000023
N为聚合后的数据集大小，
Figure FDA0003984262900000024
表示
Figure FDA0003984262900000025
对应的标签，i≤j≤N，然后利用数据集
Figure FDA0003984262900000026
进行本地子模型训练，按照公式(1)对边缘服务器Ei的本地子模型进行优化：
Figure FDA0003984262900000027
其中，fe(·，·)表示模型的预测函数，
Figure FDA0003984262900000028
表示模型的优化目标，l(·，·)表示模型的优化函数，
Figure FDA0003984262900000029
表示边缘服务器Ei的模型参数。
4.根据权利要求3所述的一种边缘计算下支持动态隐私预算分配的差分隐私室内定位方法，其特征在于，步骤B中本地子模型训练过程进一步包括如下步骤：
B1、对参数梯度进行裁剪：将参数梯度g(imgi)按照公式(2)裁剪后得到g′(imgi)：
Figure FDA00039842629000000210
其中，C为梯度裁剪阈值，||g(imgi)||2为梯度g(imgi)的欧氏距离；
B2、添加可控的差分私有噪声：在梯度上按照公式(3)添加可控的差分私有噪声gGaussian(0，σ2C2)得到新的梯度gt：
Figure FDA00039842629000000211
其中，B为每次输入到模型中的数据个数，
Figure FDA00039842629000000212
为噪声尺度；
B3、参数更新：按照公式(4)利用扰动后的参数梯度对模型参数进行更新，使其进行下一步迭代训练：
Figure FDA0003984262900000031
其中，
Figure FDA0003984262900000032
为更新后的模型参数，
Figure FDA0003984262900000033
为当前阶段的模型参数，α为学习率。
5.根据权利要求1所述的一种基于动态隐私预算的无线定位差分隐私联邦学习方法，其特征在于，步骤C中云服务器接收到N个边缘服务器上传的模型参数后，按照公式(5)对其进行参数聚合后下发给各边缘服务器，使其进行下一次迭代训练：
Figure FDA0003984262900000034
其中，wglobal为聚合后的模型参数，
Figure FDA0003984262900000035
为边缘服务器Ei上传的模型参数。
CN202211559932.0A 2022-12-07 2022-12-07 一种基于动态隐私预算的无线定位差分隐私联邦学习方法 Pending CN115829063A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211559932.0A CN115829063A (zh) 2022-12-07 2022-12-07 一种基于动态隐私预算的无线定位差分隐私联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211559932.0A CN115829063A (zh) 2022-12-07 2022-12-07 一种基于动态隐私预算的无线定位差分隐私联邦学习方法

Publications (1)

Publication Number Publication Date
CN115829063A true CN115829063A (zh) 2023-03-21

Family

ID=85545283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211559932.0A Pending CN115829063A (zh) 2022-12-07 2022-12-07 一种基于动态隐私预算的无线定位差分隐私联邦学习方法

Country Status (1)

Country Link
CN (1) CN115829063A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341691A (zh) * 2023-05-12 2023-06-27 南京邮电大学 一种去中心化联邦学习系统、方法、存储介质及计算设备
CN117579215A (zh) * 2024-01-17 2024-02-20 杭州世平信息科技有限公司 基于标签共享的纵向联邦学习差分隐私保护方法及系统
CN118133939A (zh) * 2024-05-06 2024-06-04 深圳九有数据库有限公司 基于多模态数据的差分隐私化联邦学习方法及系统、设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116341691A (zh) * 2023-05-12 2023-06-27 南京邮电大学 一种去中心化联邦学习系统、方法、存储介质及计算设备
CN116341691B (zh) * 2023-05-12 2023-09-22 南京邮电大学 一种去中心化联邦学习系统、方法、存储介质及计算设备
CN117579215A (zh) * 2024-01-17 2024-02-20 杭州世平信息科技有限公司 基于标签共享的纵向联邦学习差分隐私保护方法及系统
CN117579215B (zh) * 2024-01-17 2024-03-29 杭州世平信息科技有限公司 基于标签共享的纵向联邦学习差分隐私保护方法及系统
CN118133939A (zh) * 2024-05-06 2024-06-04 深圳九有数据库有限公司 基于多模态数据的差分隐私化联邦学习方法及系统、设备

Similar Documents

Publication Publication Date Title
CN115829063A (zh) 一种基于动态隐私预算的无线定位差分隐私联邦学习方法
CN113902021B (zh) 一种高能效的聚类联邦边缘学习策略生成方法和装置
CN110968426B (zh) 一种基于在线学习的边云协同k均值聚类的模型优化方法
WO2021026944A1 (zh) 基于粒子群和神经网络的工业无线流媒体自适应传输方法
CN114841364B (zh) 一种满足个性化本地差分隐私需求的联邦学习方法
CN105989374B (zh) 一种在线训练模型的方法和设备
CN103700114A (zh) 一种基于可变高斯混合数的复杂背景建模方法
CN114741611B (zh) 联邦推荐模型训练方法以及系统
CN105469423B (zh) 一种基于连续吸引子神经网络的在线目标跟踪方法
Xiang et al. A new hybrid network traffic prediction method
CN111985650A (zh) 一种兼顾通用性与个性化的活动识别模型与系统
Xu et al. Resource allocation algorithm based on hybrid particle swarm optimization for multiuser cognitive OFDM network
CN115510482A (zh) 融合自适应差分隐私与联邦学习的群智感知数据隐私保护
CN114385376B (zh) 一种异构数据下边缘侧联邦学习的客户端选择方法
Hsu et al. An adaptive Wi-Fi indoor localisation scheme using deep learning
CN113778691A (zh) 一种任务迁移决策的方法、装置及系统
CN114565103A (zh) 基于梯度选择和自适应学习率的加权k异步联邦学习方法、系统及装置
CN111343006B (zh) 一种cdn峰值流量预测方法、装置及存储介质
Etiabi et al. Federated distillation based indoor localization for IoT networks
CN110426671B (zh) Wsn中基于模型概率实时修正的imm目标跟踪方法及装置
CN110300380B (zh) 移动wsn中平衡系统能耗与追踪精度的目标跟踪方法
CN116611535A (zh) 一种用于异构数据的边缘联邦学习训练方法及其系统
CN104794359B (zh) 一种迭代步长可变的多步q学习自适应方法
CN109886126A (zh) 一种基于动态采样机制与rbf神经网络的区域车辆密度估计方法
CN115358419A (zh) 一种基于联邦蒸馏的物联网室内定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination