CN115358419A - 一种基于联邦蒸馏的物联网室内定位方法 - Google Patents

一种基于联邦蒸馏的物联网室内定位方法 Download PDF

Info

Publication number
CN115358419A
CN115358419A CN202211023013.1A CN202211023013A CN115358419A CN 115358419 A CN115358419 A CN 115358419A CN 202211023013 A CN202211023013 A CN 202211023013A CN 115358419 A CN115358419 A CN 115358419A
Authority
CN
China
Prior art keywords
neural network
distillation
deep neural
federal
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211023013.1A
Other languages
English (en)
Inventor
李昊昕
鲍沁宇
史秀纺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211023013.1A priority Critical patent/CN115358419A/zh
Publication of CN115358419A publication Critical patent/CN115358419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/60—Positioning; Navigation

Abstract

一种基于联邦蒸馏的物联网室内定位方法，包括以下步骤：(1)各个本地部署联邦学习方案，独立训练深度神经网络模型；(2)对各个训练好的深度神经网络模型进行知识蒸馏，得到单个压缩的深度神经网络模型；(3)对得到的单个压缩的深度神经网络模型进行回归计算，提高模型参数的精度；(4)利用回归计算后的深度神经网络模型进行用户的位置估计；本发明提出了一个正确处理回归学习问题的联邦蒸馏框架，克服了联邦蒸馏算法都只设计用于分类任务，对回归任务的关注较少的问题；本发明在通信负载与精度之间表现出良好的折中。

Description

一种基于联邦蒸馏的物联网室内定位方法
技术领域
本发明涉及室内定位领域，具体涉及一种基于联邦蒸馏的物联网室内定位方法，应用于物联网室内定位的问题。
背景技术
近年来，基于位置的服务在一些应用中扮演着重要的角色，它根据个人或实体的地理位置实时或接近实时地提供有针对性的信息，通常通过无线通信网络。这些应用包括导航、个人跟踪、紧急服务、资产跟踪、物流规划、劳动力管理、基于位置的广告和社交网络。
今天，随着5G的到来，以及6G的前景，联网设备的数量将以前所未有的速度增长，导致物联网(IoT)基础设施的大规模部署。此外，6G还具有多感官扩展现实(XR)应用、连接机器人和自主系统等新应用，以及作为一项新服务提供传感和定位。所有这些转型应用驱动了对精确定位系统的需求，由于物联网设备的大规模部署，这需要大量的资源。除了range-free技术,如重心法和距离向量跳(DV跳)技术,典型的测距技术基于信道状态信息(CSI),到达角(AoA),到达时间(ToA),到达时差(辐射源脉冲),和无线电信号强度指示(RSSI)使用各种无线技术,如无线电频率识别(RFID),超宽的带宽(超宽频),WiFi,和蓝牙被提出用于室内定位。
所有这些技术都存在一些问题，包括精度低、计算复杂度高和不可靠，这是由于无线信道损伤，如室内环境下的非视线(NLOS)传播引起的多径效应，而大多数定位设备缺乏足够的计算能力。此外，这些技术需要建立经验模型，捕捉所有的信道影响，包括噪声、多径衰落、由于室内运动导致的信道变化，导致非常高的时间复杂度和对信道条件的高度依赖。
因此，由于难以推导出捕捉这些室内信道损伤的鲁棒模型，研究人员转向使用机器学习(ML)的基于数据的定位，它不需要经验模型，而是使用构建的数据集，捕捉室内环境的所有变化。在这些工作中，可以看到ML是一种非常有前途的、改变游戏规则的物联网本地化技术，因为它提供了鲁棒的和可伸缩的本地化系统，提高了准确性和相对较低的复杂性。
然而，基于ML的定位系统需要在中央服务器中收集物联网设备数据，导致与服务器进行大量的数据交换、隐私问题以及对服务器的高度依赖。因此，为了节省带宽和保护用户的数据隐私，引入了联邦学习。
联邦学习(federation learning,FL)是谷歌研究者首先提出的一种ML范式，使终端设备能够协作学习一个共享的预测模型，同时将所有训练数据保留在设备上，将进行ML的能力与在云中存储数据的需求分离开来。
在部署了大量传感器的物联网网络中，FL是不够的，因为在容量有限的通信链路上实现时，通信成本和延迟可能会严重限制FL的性能。因此，联邦蒸馏的提出能解决这些问题。事实上，联邦蒸馏(FD)是一种引人注目的分布式学习解决方案，它只交换维度通常比模型大小小得多的模型输出。
发明内容
本发明要克服现有技术的上述缺点，提出了一个基于联邦蒸馏框架的物联网本地化定位方法。这种定位方法适用于室内系统以及室外系统。这也是第一次在联邦蒸馏框架下解决本地化问题，该方法大大降低了在带宽受限的无线网络上的通信复杂性。
本发明是通过以下技术方案实现的：一种基于联邦蒸馏的物联网室内定位方法，包括以下步骤：
(1)各个本地部署联邦学习方案，独立训练深度神经网络模型。
(2)对各个训练好的深度神经网络模型进行知识蒸馏，得到单个压缩的深度神经网络模型。
(3)对得到的单个压缩的深度神经网络模型进行回归计算，提高模型参数的精度。
(4)利用回归计算后的深度神经网络模型进行用户的位置估计。
进一步地，步骤(1)具体包括：
使用通信效率高的联邦学习方案协作训练深度神经网络(DNN)模型。其中深度神经网络使用一个三层神经网络，包括输入层、隐藏层和输出层，分别具有Ni、Nh和No神经元。对于给定输入向量Xi，则目标yi的预测由
Figure BDA0003814773530000031
给出，其中FΘ是表示DNN的函数，Θ是DNN的权重集。
然后，对于独立训练深度神经网络模型，目标是最小化以后给出的损失函数：
Figure BDA0003814773530000032
其中
Figure BDA0003814773530000033
其中
Figure BDA0003814773530000034
是最后一个隐藏层的第mth个神经元的输出，σ(·)是非线性激活函数，Wm是第mth个神经的权重向量，输入Xi是一个向量，包含来自网络中所有接入点的RSSI测量值，目标变量yi是记录这些RSSI的位置的二维坐标。
进一步地，步骤(2)具体包括：
对各个训练好的深度神经网络模型进行知识蒸馏，每个学生通过添加一个关于其预测和教师预测之间差距的正则化项来学习其教师的知识，最终得到蒸馏后的单个压缩的深度神经网络模型。理想情况下，与分类上下文中的蒸馏类似，其蒸馏过程可以公式化为：
Figure BDA0003814773530000041
其中φm(Xi)是给定输入Xi的预训练教师mth输出的逻辑回归，λ是正则化系数，假设教师和学生可以访问相同的数据集。然而，这并不现实，因为数据隐私和异构性是联邦学习系统的基石。所以在所考虑的物联网网络中，假设物联网设备仅拥有自己的数据集。
进一步地，步骤(3)具体包括：
先对各个本地使用其私有数据集训练其局部模型，并局部存储每个段的平均估计。之后各个本地定期将其每个段的本地平均估计上传到服务器，服务器再通过平均所有客户端发送的每个段的所有局部平均估计来计算每个段的全局平均估计。各个本地再下载每个段的全局平均估计，并更新其损失函数。最后直到模型收敛，完成回归计算。
事实上，在这种配置中，与知识蒸馏相反的是，没有经过培训的教师模型。因此，学生和教师都在这个过程中学习，特别是因为给定学生的教师知识实际上是剩余学生的聚合知识。因此，在初始通信循环中，由于尚未进行任何预测，因此不可能获得损失函数的正则化项。
本发明具有如下优点：
1.本发明提出了一个正确处理回归学习问题的联邦蒸馏框架，解决了其他最先进的联邦蒸馏算法都只设计用于分类任务，对回归任务的关注较少的问题。
2.与基于联合学习(FL)的室内定位相比，本发明在通信负载与精度之间表现出良好的折中。
3.本发明所提出的框架比FL更具可扩展性，因此更有可能应对无线网络的扩展。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
参照图1，一种基于联邦蒸馏的物联网室内定位方法，包括以下实施步骤：
(1)各个本地部署联邦学习方案，独立训练深度神经网络模型。
(2)对各个训练好的深度神经网络模型进行知识蒸馏，得到单个压缩的深度神经网络模型。
(3)对得到的单个压缩的深度神经网络模型进行回归计算，提高模型参数的精度。
(4)利用回归计算后的深度神经网络模型进行用户的位置估计。
进一步地，步骤(1)具体包括：
使用通信效率高的联邦学习方案协作训练深度神经网络(DNN)模型。其中深度神经网络使用一个三层神经网络，包括输入层、隐藏层和输出层，分别具有Ni、Nh和No神经元。对于给定输入向量Xi，则目标yi的预测由
Figure BDA0003814773530000051
给出，其中FΘ是表示DNN的函数，Θ是DNN的权重集。
然后，对于独立训练深度神经网络模型，目标是最小化以后给出的损失函数：
Figure BDA0003814773530000052
其中
Figure BDA0003814773530000053
其中
Figure BDA0003814773530000061
是最后一个隐藏层的第mth个神经元的输出，σ(·)是非线性激活函数，Wm是第mth个神经的权重向量，输入Xi是一个向量，包含来自网络中所有接入点的RSSI测量值，目标变量yi是记录这些RSSI的位置的二维坐标。
进一步地，步骤(2)具体包括：
对各个训练好的深度神经网络模型进行知识蒸馏，每个学生通过添加一个关于其预测和教师预测之间差距的正则化项来学习其教师的知识，最终得到蒸馏后的单个压缩的深度神经网络模型。理想情况下，与分类上下文中的蒸馏类似，其蒸馏过程可以公式化为：
Figure BDA0003814773530000062
其中φm(Xi)是给定输入Xi的预训练教师mth输出的逻辑回归，λ是正则化系数，假设教师和学生可以访问相同的数据集。然而，这并不现实，因为数据隐私和异构性是联邦学习系统的基石。所以在所考虑的物联网网络中，假设物联网设备仅拥有自己的数据集。
进一步地，步骤(3)具体包括：
先对各个本地使用其私有数据集训练其局部模型，并局部存储每个段的平均估计。之后各个本地定期将其每个段的本地平均估计上传到服务器，服务器再通过平均所有客户端发送的每个段的所有局部平均估计来计算每个段的全局平均估计。各个本地再下载每个段的全局平均估计，并更新其损失函数。最后直到模型收敛，完成回归计算。
事实上，在这种配置中，与知识蒸馏相反的是，没有经过培训的教师模型。因此，学生和教师都在这个过程中学习，特别是因为给定学生的教师知识实际上是剩余学生的聚合知识。因此，在初始通信循环中，由于尚未进行任何预测，因此不可能获得损失函数的正则化项。
实施例：在仿真中，建立了一个由WiFi供电的物联网网络，该网络具有l×w＝20×20m2，M＝10个AP，其中数据从N＝100个RPs收集。根据实验测量，环境变量β和σ分别设置为3.23和2。重复次数设置为T＝10。为了使数据集可再现，生成RSSI值，随机种子设置为200。
目标是在定义的网络中训练用于位置估计的深度学习模型，在此定义了一组C＝5个客户端(工人或学生)，由服务器(也称为教师)联合。
下面是不同数据集上各个模型RMSE(m)的比较。
模型 UJIIndoorLoc Urban LoRa Diamonds Pricing
本发明 19.75(9.91) 483.42 178.46
Standalone Model 20.67(10.80) 484.48 206.76
FL Model 11.02(5.76) 438.44 46.99
Central Model 10.81(5.66) 440.35 40.51
Baseline Model 7.98(-) 398.40 462.62
从结果可见，所有学生的模型都收敛，并且他们的预测几乎相同，这意味着联邦学生有效地相互学习，以巩固他们的模型。为了分析该定位方法的性能，考虑了不同的学习场景，即联合学习、集中式学习(传统ML方法)和独立学习(学生独立训练其模型)。因此，选择每个参考位置的单个数据点来馈送训练模型，并将预测与地面真值标签进行比较。可以看到，与独立模型相比，联邦蒸馏模型提高了定位精度，因为学生们彼此共享知识。尽管如此，由于其操作模式的性质，它仍然不如联邦和集中式学习准确。重要的是要注意，这种精度降低是巨大通信增益的代价，这是本工作的主要目标。事实上，就通信复杂度而言，在比特分辨率R＝32、段数S＝10和输出维数No＝2且学生数C＝5的情况下，FD模型远优于FL模型，因为在FD中，每轮仅传输5×640＝3200比特，而FL为5×416064＝2080320比特，导致FD与FL的比率为0.15％，这意味着FD可以节省FL中使用的99.85％的传输能量，同时保持仅比FL低1.6倍的精度。

Claims (4)

1.一种基于联邦蒸馏的物联网室内定位方法，包括以下步骤：
(1)各个本地部署联邦学习方案，独立训练深度神经网络模型；
(2)对各个训练好的深度神经网络模型进行知识蒸馏，得到单个压缩的深度神经网络模型；
(3)对得到的单个压缩的深度神经网络模型进行回归计算，提高模型参数的精度；
(4)利用回归计算后的深度神经网络模型进行用户的位置估计。
2.如权利要求1所述的一种基于联邦蒸馏的物联网室内定位方法，其特征在于：步骤(1)具体包括：
使用通信效率高的联邦学习方案协作训练深度神经网络(DNN)模型；其中深度神经网络使用一个三层神经网络，包括输入层、隐藏层和输出层，分别具有Ni、Nh和No神经元；对于给定输入向量Xi，则目标yi的预测由
Figure FDA0003814773520000011
给出，其中FΘ是表示DNN的函数，Θ是DNN的权重集；
然后，对于独立训练深度神经网络模型，目标是最小化以后给出的损失函数：
Figure FDA0003814773520000012
其中
Figure FDA0003814773520000013
其中
Figure FDA0003814773520000014
是最后一个隐藏层的第mth个神经元的输出，σ(·)是非线性激活函数，Wm是第mth个神经的权重向量，输入Xi是一个向量，包含来自网络中所有接入点的RSSI测量值，目标变量yi是记录这些RSSI的位置的二维坐标。
3.如权利要求1所述的一种基于联邦蒸馏的物联网室内定位方法，其特征在于：步骤(2)具体包括：
对各个训练好的深度神经网络模型进行知识蒸馏，每个学生通过添加一个关于其预测和教师预测之间差距的正则化项来学习其教师的知识，最终得到蒸馏后的单个压缩的深度神经网络模型；理想情况下，与分类上下文中的蒸馏类似，其蒸馏过程可以公式化为：
Figure FDA0003814773520000021
其中φm(Xi)是给定输入Xi的预训练教师mth输出的逻辑回归，λ是正则化系数，假设教师和学生可以访问相同的数据集；然而，这并不现实，因为数据隐私和异构性是联邦学习系统的基石；所以在所考虑的物联网网络中，假设物联网设备仅拥有自己的数据集。
4.如权利要求1所述的一种基于联邦蒸馏的物联网室内定位方法，其特征在于：步骤(3)具体包括：
先对各个本地使用其私有数据集训练其局部模型，并局部存储每个段的平均估计；之后各个本地定期将其每个段的本地平均估计上传到服务器，服务器再通过平均所有客户端发送的每个段的所有局部平均估计来计算每个段的全局平均估计；各个本地再下载每个段的全局平均估计，并更新其损失函数；最后直到模型收敛，完成回归计算。
事实上，在这种配置中，与知识蒸馏相反的是，没有经过培训的教师模型；因此，学生和教师都在这个过程中学习，特别是因为给定学生的教师知识实际上是剩余学生的聚合知识；因此，在初始通信循环中，由于尚未进行任何预测，因此不可能获得损失函数的正则化项。
CN202211023013.1A 2022-08-25 2022-08-25 一种基于联邦蒸馏的物联网室内定位方法 Pending CN115358419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211023013.1A CN115358419A (zh) 2022-08-25 2022-08-25 一种基于联邦蒸馏的物联网室内定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211023013.1A CN115358419A (zh) 2022-08-25 2022-08-25 一种基于联邦蒸馏的物联网室内定位方法

Publications (1)

Publication Number Publication Date
CN115358419A true CN115358419A (zh) 2022-11-18

Family

ID=84004755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211023013.1A Pending CN115358419A (zh) 2022-08-25 2022-08-25 一种基于联邦蒸馏的物联网室内定位方法

Country Status (1)

Country Link
CN (1) CN115358419A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114148A (zh) * 2023-08-18 2023-11-24 湖南工商大学 一种轻量级联邦学习训练方法
CN117114148B (zh) * 2023-08-18 2024-04-09 湖南工商大学 一种轻量级联邦学习训练方法

Similar Documents

Publication Publication Date Title
Zhang et al. Wifi-based indoor robot positioning using deep fuzzy forests
Atia et al. Dynamic online-calibrated radio maps for indoor positioning in wireless local area networks
Ahmadi et al. An accurate prediction method for moving target localization and tracking in wireless sensor networks
CN103874118B (zh) WiFi室内定位中基于贝叶斯回归的Radio Map校正方法
CN107727095B (zh) 基于谱聚类和加权反向传播神经网络的3d室内定位方法
Esrafilian et al. Three-dimensional-map-based trajectory design in UAV-aided wireless localization systems
Caballero et al. A general gaussian-mixture approach for range-only mapping using multiple hypotheses
Aloor et al. Distributed wireless sensor network localization using stochastic proximity embedding
Peng et al. A predictive on-demand placement of UAV base stations using echo state network
Yadav et al. A systematic review of localization in WSN: Machine learning and optimization‐based approaches
Wang et al. An intelligent UAV based data aggregation algorithm for 5G-enabled internet of things
Tang et al. Multi-output Gaussian process-based data augmentation for multi-building and multi-floor indoor localization
Chen et al. An indoor location system based on neural network and genetic algorithm
Shit et al. AI-enabled fingerprinting and crowdsource-based vehicle localization for resilient and safe transportation systems
CN115358419A (zh) 一种基于联邦蒸馏的物联网室内定位方法
Etiabi et al. Federated distillation based indoor localization for IoT networks
CN109141420B (zh) 一种基于众包数据的室内定位方法
Zhu et al. Intelligent fingerprint-based localization scheme using CSI images for internet of things
Turukmane et al. Multispectral image analysis for monitoring by IoT based wireless communication using secure locations protocol and classification by deep learning techniques
Zhang et al. Learning to locate: Adaptive fingerprint-based localization with few-shot relation learning in dynamic indoor environments
Kumar et al. Sensor node tracking using semi-supervised Hidden Markov Models
Balico et al. On the performance of localization prediction methods for vehicular ad hoc networks
CN117241215A (zh) 一种基于图神经网络的无线传感器网络分布式节点协作定位方法
Cil et al. Fuzzy AHP-TOPSIS hybrid method for indoor positioning technology selection for shipyards
Sakr et al. Efficient Wi-Fi signal strength maps using sparse Gaussian process models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination