CN117119377A

CN117119377A - 基于滤波Transformer的室内指纹定位方法

Info

Publication number: CN117119377A
Application number: CN202310849721.9A
Authority: CN
Inventors: 裴福俊; 石铭杰; 孔翔飞
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2023-07-12
Filing date: 2023-07-12
Publication date: 2023-11-24

Abstract

本发明公开了基于滤波Transformer的室内指纹定位方法，考虑到移动设备的异质性会引起RSS差异，利用深度学习模块缓解信号差异，从而较准确的估计位置信息，增强指纹定位系统的稳定性；对于大场景下指纹信息为稀疏向量，利用attention模块有选择性地提取特征，同时采用频域滤波的方法，利用可学习滤波模块在频域提取特征并降低噪声干扰。这样有助于获取更加有效的提取指纹特征，从而获得更加准确的位置估计结果；由于位置信息序列具有内在联系，使用attention可学习模块来获取位置信息序列中各个元素之间的相关性，有效利用位置信息的内在联系。再分别计算位置信息序列中各个元素和指纹信息之间的相关性，实现进行紧耦合的位置估计，提高位置估计的准确性。

Description

基于滤波Transformer的室内指纹定位方法

技术领域

本发明中设计一种基于可学习滤波器和Transformer网络的室内WIFI指纹定位方法FTLoc。本方法通过attention模块和可学习频域滤波模块来根据指纹信息估计位置信息，按照结构特点可以将其划分为信号增强器和位置估计器两个部分。对需要估计位置信息的指纹信息，先采用由attention模块和可学习Filter模块组成的特征增强器进行特征提取和增强，形成增强特征信息。再利用attention模块获取指纹信息和位置信息相关性和位置序列的内在联系，以完成位置估计。本方法可应用于室内定位领域，能够较精确的获取位置信息，提高位置估计的精度。

背景技术

在室外的开阔环境下，全球定位系统(GPS)能够准确地获取位置。但在室内环境下，非视距问题(NLOS)的影响使其应用受到限制。许多研究者提出使用其它无线信号来实现室内定位，由于Wi-Fi自身高性价比的优势，使其成为最受欢迎和最可行的技术。基于无线信号的定位方法一般分为两种：几何测距法和指纹定位法。多数情况下，几何测距的方法对信号发射器和接收器的精度有很强的依赖性，会受到多径效应、非视距问题的影响，而Wi-Fi指纹定位法易实施、低成本、易推广。

Wi-Fi指纹定位法分为两个阶段：离线阶段和在线阶段。离线阶段，预先在室内定位区域设置参考节点(Reference Point，RP)，在RP上测量各个AP节点的RSS和位置信息并建立指纹数据库。在线阶段，用户把采集到的RSS向量与位置指纹库进行匹配或输入到由离线位置指纹库训练好的机器学习模型中，计算移动设备当前的位置信息。

基于Wi-Fi的指纹定位技术面临许多关键挑战，如设备异质性带来的信号差异、噪声干扰、位置信息的内在联系等。在大场景下，位置指纹会涉及到大量AP节点，有效的特征提取可以提高定位精度。利用自动编码器提取特征和降低维度是处理高维度指纹信息的常用技术之一，但是自动编码器仍然可能造成信息丢失。此外，物联网环境下指纹定位的离线阶段和在线阶段通常会使用不同设备，设备的异质性会带来信号差异问题，这会降低定位的精度。而且，大多定位方法在预测楼宇、楼层和位置坐标时会分别部署一个分类或回归模型，最终输出组合位置信息序列，忽略了位置序列的内在联系。

为了克服上述困难，本发明提出了一种基于attention和滤波模块的的指纹定位方法。采用自相关模块，能够有效缓解设备异质性引起的信号差异问题，增强定位系统的准确性和适应性。同时，引入可学习滤波器模块，将指纹数据滤波处理，从RSS数据中提取隐藏表征信息，减少噪声的影响，提高定位的精度。另一方面，利用attention模块计算位置信息序列的自相关性以及其与指纹数据的相关性，对位置信息序列化处理，利用上下文相关性和位置序列的层次性增强RSS指纹和位置信息的数据耦合性。

发明内容

本方法在利用WIFI信号强度信息RSS的基础上，设计了一种基于滤波Transformer的指纹定位方法，提高了系统的稳定性，增加了位置估计的准确性。本文在Transformer网络的基础上，认为指纹信息为序列化输入，利用attention模块分析序列中各个信息观测值及其上下文关系信息来提升指纹的区分度。加入可学习滤波器模块，将指纹序列变换到频域后进行数据处理，获取隐藏表征信息。此外，我们利用注意力机制设计了一个位置估计器。使用位置估计器学习获得每个位置序列的元素与WIFI指纹之间的映射关系，同时获取位置序列的内在联系，实现指纹信息和位置序列的紧耦合，充分利用数据特征，有效提升定位网络的准确性。

为了实现上述目的，本发明提供了如下方案：

一种基于Transformer和可学习滤波模块的室内指纹定位方法，所述方法包括：

步骤1：指纹数据预处理

步骤2：构建基于可学习滤波器和Transformer网络的指纹定位系统FTLoc

步骤3：训练所构建的网络

步骤4：利用训练完成的指纹定位系统FTLoc进行位置估计；

所述的数据预处理具体包括以下步骤：

所述数据预处理是指对移动设备中的传感器数据或者已有公开数据集进行预处理，具体过程为：网络模型以多个AP节点的RSS信息作为输入特征序列，以楼宇ID、楼层ID、平面坐标位置(经度、维度)做成的位置序列来作为目标序列。指纹表示为：

I＝{i₀，i₁，i₂......i_n-1}

其中，i_n表示各个AP节点的RSS信息，均为非负整数，n表示AP节点的个数，即特征序列的长度。目标序列也为非负整数，表示为：

Y＝{B，F，LO，LA}

其中，B表示楼宇ID，F表示楼层ID，LO表示经度，LA表示纬度，分别作为平面坐标中的横坐标和纵坐标。此外，平面坐标要进行平面分割，选用各个维度的最小值作为基准，以1m为基本单位将平面分割若干个基本单元(1m×1m的方格)。

所述的基于可学习滤波器和Transformer网络的指纹定位系统FTLoc的方法，具体包括如下模块：

模块1：embedding模块。使用Learned embedding将长度为n的输入标记转换成维度为d-model的向量(以下简称为d)。为了增强指纹信息的区分度，使用不同频率的sine和cosine functions为指纹信息中每个AP节点的RSS值添加绝对或相对位置信息最后获取编码信息矩阵/>

模块2：特征增强器。主要包含两个并行的子模块self-attention模块和可学习滤波模块，以及一个feedforward模块。

子模块1：指纹信息中的某一元素能够根据相关性(公式1)有选择性的获取其它元素的信息来补充特征信息，再通过正则化操作将指纹信息中的RSS信息转化为数据之间的相对关系，生成增强特征信息X^att。缓解因设备异质性所带来的信号灵敏度差异，信息缺失等问题。

在根据相关性增强信息的同时，还要提取指纹信息的频域特征。在指纹信息中，视距范围内的AP信号强度很容易作为特征信息被网络识别获取，虽然非视距范围内的AP信息为无效信息，但是这种无效信息也能作为指纹特征的重要组成部分，在原有的RSS序列中难以获取这种隐藏表征信息。但是，指纹信息中各个AP结点的RSS信息具有一定的规律性，于是将RSS序列变换到频域后再进行特征提取。

子模块2：可学习滤波器。首先说明一下如何将数据变换到频域，对于给定的RSS序列，通过公式2将序列转换到频域：

式中i是虚数单位，RSS序列中每个元素通过DFT转换为新的表示X_k，这是原始序列中所有元素带有“旋转因子”的和。这样，X_k表示序列{x_n}以频率为的频谱。DFT对RSS序列中的元素进行变换，同时也可以进行逆变换恢复为原始序列：

为了计算DFT，以往的工作中广泛使用快速傅立叶变换(FFT)，来提升系统的效率。经过可学习滤波模块，在频域内提取关键特征。

在系统运行时，对于特征增强器的输入或给定的第l个堆叠层的输入首先执行FFT将其转换到频域：

其中是一个复数张量，代表X^l的频谱。/>表示一维FFT，通过乘以一个可学习滤波器/>来调制频谱。⊙表示矩阵之间的逐元素相乘，通过可调节矩阵W来实现滤波层的可学习性，以ADAM优化来自适应的获取最优滤波方案。之后，通过逆FFT将调制的频谱变回时域并更新指纹信息。

其中表示FFT的逆变换，实现复数到实数的转化。使用跳跃连接，以层归一化和dropout来应对梯度消失和不稳定的问题。

子模块3：之后将并行处理得到的两组数据加和并送入到feedforward模块。主要由两个通过跳跃连接构成的线性模块组成。

F＝feedforward(X^filt+X^att)

模块3：位置估计器。其中包含两个子模块，self-attention模块和attention模块。

子模块1：self-attention模块，分析位置序列的内在联系。Self-attention中的Q，K，V均为位置估计器的输入，获取位置序列的上下文关系。

子模块2：attention模块，对增强指纹信息和自回归序列进行相关性分析。Attention模块中查询Q来自位置估计器的输入(位置序列/自回归序列)，K和V来自特征增强器的输出。这样，位置序列中的每个元素既能关注到指纹序列中的信息，也能够根据位置序列的相关性进行位置估计，实现紧耦合计算，而不是进行简单的数据传递。

其中L表示位置估计器输入的位置序列，F表示特征增强器的输出，Attention表示相关性运算，m表示位置序列和开始标识符的组合序列的长度。

模块4：输出模块，将模块2的输出传入到线性层，并通过softmax运算获取位置信息。输出表示为：

Y＝SoftMax(Line(T))

其中，W₁，b₁，W₂，b₂是可训练参数，ReLU是激活函数。

所述训练网络模型，具体包括以下步骤：

步骤1：将经过预处理的训练数据集输入给基于可学习滤波器和Transformer网络的指纹定位模型进行反向传播训练，该模型的学习参数包括权重和偏置项，并采用Adam优化器对学习率进行调整训练网络模型。

步骤2：在参数空间中引入交叉熵损失函数L_p，q：

其中：(p，q)指模型的预测值和真值，根据损失函数利用批量梯度下降法进行反向传播，更新模型的学习参数，包括权重和偏置项。

步骤3：重复步骤1和步骤2，不断迭代训练网络模型参数，以获得最优的网络模型。

利用训练完成的模型进行指纹定位测试。

有益效果：

本文提出了一种使用attention模块和滤波模块的WIFI指纹定位系统。在Transformer结构的基础上进行优化和设计，分为特征增强器和位置估计器两个模块。特征增强器可以对RSS数据进行特征增强，解决设备异构性引起的信号差异问题，同时在频域提取关键信息，有效提高指纹定位的准确性。位置估计器通过Attenton模块获取位置序列的内在联系，结合相关性进行紧耦合运算。有效提升了定位的精度，增强了模型的稳定性。在公开数据集UJIIndoor中，楼层识别率能达到94.7％，平均定位误差能降低到7.52m，平均定位误差达到当前的最好效果。

附图说明

图1是本发明提供的基于滤波Transformer的WIFI指纹定位方法的流程图和FTLoc的网络结构图；

图2是本发明提供的基于滤波Transformer的WIFI指纹定位方法中特征增强器的网络结构图；

图3是本发明提供的基于滤波Transformer的WIFI指纹定位方法中位置估计器的结构图。

具体实施方式

本发明的目的是提供一种基于滤波Transformer的WIFI指纹定位方法，可端对端的完成网络的训练，所有组件不需要单独训练。本发明的滤波Transformer的WIFI指纹定位方法不仅可以有效的从指纹信息中提取特征，缓解设备异质性带来的信号差异问题，还能够获取位置信息的内在联系，提高定位精度。

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

图1是本发明提供的指纹定位方法的网络结构图；图2是本发明提供的指纹定位方法中特征增强器的网络结构图；图3是本发明提供的指纹定位方法中位置估计器的网络结构图。

本发明提供的基于滤波Transformer的WIFI指纹定位方法具体包括：

步骤1：数据预处理

所述数据预处理包括数据集的预处理部分。其是将公开数据集中收集到的RSS信号强度信息和位置坐标进行变换，使其均成为正整数。

步骤2：构建指纹定位网络

本发明所构建的指纹定位网络，在结构上具体包括特征增强器、位置估计器两个部分。如图1右侧虚线框中的FTLoc结构所示。

如图2，对输入到特征增强器的指纹数据，首先进行embedding操作，获取embedding信息将embedding后的数据传入Self-attention和可学习滤波器两个子模块中，两个子模块对传入的数据并行处理。Self-attention模块，指纹信息中的某一元素能够根据相关性(公式)有选择性的获取其它元素的信息来补充特征信息，再通过正则化操作将指纹信息中的RSS信息转化为数据之间的相对关系，获得输出X^att。可学习滤波器。对于特征增强器的输入或给定的第l个堆叠层的输入/>首先执行FFT将其转换到频域，通过公式()获得/>经过可学习滤波器/>来调制频谱。之后，通过逆FFT将调制的频谱变回时域，获取信息/>通过归一化和dropout操作来应对梯度消失和不稳定的问题，获取可学习滤波器模块的输出X^filt。最后，特征增强器的输出由两个子模块的输出通过feedforward网络获取：

F＝feedforward(X^filt+X^att)

特征增强器处理完指纹信息后，将F输入到位置估计器中来获取位置序列。其中，位置估计器包括self-attention和attention两个子模块，如图3。

输入数据F首先经过self-attention模块，分析位置序列的内在联系，获取位置序列的上下文关系。在经过attention模块，对增强指纹信息和位置序列(自回归序列)进行相关性分析。通过公式3获取相关性分析输出T

再将T输入到输出模块的线性层，通过softmax运算获取位置信息。获取输出表示为：

Y＝SoftMax(Line(T))

步骤3：训练网络模型：

本发明的硬件环境是英特尔i5-9400处理器，内存16GB，GPU为1660；运行环境为Windows操作系统，CUDA11.3，PyTorch1.10.0和python3.8。

首先将公开数据集中经过预处理的训练数据作为输入，对构建指纹定位网络的模型进行前向传播训练以学习该网络的参数，学习率的取值为0.25，批量归一化的动量为0.9，最大迭代次数为50，批处理大小为4；采用Adam优化器进行反向传播训练，更新模型的权重和偏置项等学习参数。Adam在模型训练优化的过程中自适应的更新每个参数对应的学习率，既能提高参数优化的效率也能获取更加准确的参数值；最后通过迭代50次训练网络模型参数，以获得最优的指纹定位网络模型。然后将训练阶段的指纹定位网络的位置预测值和真值输入到交叉熵损失函数(9)中，利用批量梯度下降法进行反向传播。最后，采用warmup方法来更新学习率，以获得最优的检测网络模型。

步骤4：利用训练完成的指纹定位网络进行检测测试。

利用训练完成的语义线检测网络进行语义线检测测试。测试阶段与训练阶段的不同是位置估计器的输入，训练阶段位置估计器的输入为指纹信息对应的位置序列真值和开始标识符组成的序列{Start_Mark,B,F,LO,LA}；测试阶段位置估计器的输入为开始标识符和Mask标识符组成R＝{Start_Index,Mask,Mask,Mask,Mask}。在预测位置序列的每一个元素时，模型是自回归的。每生成一个位置信息，就替换掉一个Mask标识符。在生成下一个位置序列元素时，使用先前生成的位置信息作为附加输入使用。最后输出为Y。在测试阶段只需加载已经训练好的网络模型，不需要再次训练网络模型。流程如表1所示。

在位置预测时，位置估计器的估计次数与位置序列长度相同，自回归表示位置估计器的每次预测结果作为下次预测的输入信息。

表1

表2

实施详情

使用UJIIndoorLoc数据集，此数据库中的每个条目都以520个AP节点的RSS为特征，即指纹信息序列。数据库中每个条目有9个参数，我们在这项工作中使用了4个参数作为标签，即位置信息序列。

表3

从表3中可以看出，FTLoc模型的平均定位误差相对于CNNLoc、DNN、EA-CNN分别减少了3.39m,1.46m,0.69m，优于对比方案。Floor hate rate要比DNN提升3.43％，但是要略低于CNNLoc和EA-CNN。为了验证FTLoc网络结构的有效性，对FALoc进行了变形：FALoc-I表示只带有位置估计器的模型，FTLoc-II表示带有位置估计器的同时特征增强器只包含attention子层。在Floor hate rate上，FTLoc系列模型的表现相似。但是在平均定位误差上，FTLoc-I和FTLoc-II的表现要逊色于FTLoc，但是要优于CNNLoc和DNN，甚至FTLoc-II的平均定位误差要比EA-CNN低0.27m。而且，加入Filter层的FTLoc平均定位误差下降了0.42m。由此可见，使用特征增强器来提取特征并解决设备异质性带来的信号差异问题起到了显著作用，能够有效降低定位误差。利用attention机制来获取位置序列的内在联系，能够有效降低定位误差。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换和替代，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.基于滤波Transformer的室内指纹定位方法，其特征在于，所述方法包括：

步骤1：指纹数据预处理；将指纹数据集数据进行预处理并输入给基于可学习滤波器和Transformer网络的RSS指纹定位模型，所述指纹数据集数据采用网上公开数据集；

步骤2：构建基于可学习滤波器和Transformer网络的指纹定位系统FTLoc，指纹定位系统FTLoc为指纹定位网络模型；所述的指纹定位网络FTLoc包括特征增强器和位置估计器两部分；指纹信息先输入到特征增强器中，经过处理后再输入到位置估计器中，获取位置信息；

步骤3：将预处理后的训练数据输入到指纹定位网络模型中进行前向传播计算，得到最终的预测结果；然后，将输出的预测结果和真值输入到损失函数中，利用批量梯度下降法进行反方向传播；采用Adam优化器进行模型各个参数的更新优化器，学习参数包括权重和偏置项；

步骤4：利用训练完成的指纹定位系统FTLoc进行位置估计。

2.根据权利要求1所述的基于滤波Transformer的室内指纹定位方法，其特征在于，步骤2所述的指纹定位网络模型为序列到序列的位置估计方式，通过获取指纹序列和位置序列的上下文相关性提供准确位置估计。

3.根据权利要求1所述的基于滤波Transformer的室内指纹定位方法，其特征在于，步骤2所述的特征增强器的计算步骤如下：

对指纹序列进行编码，使用可学习embedding层将长度为n的RSS指纹序列转换成维度为d-model的向量使用不同频率的sine和cosine方法为指纹信息中每个AP节点的RSS值添加绝对或相对位置信息/>其中，/>表示实数集，角标n×d表示纬度；

相关性分析；指纹信息中的某一元素能够根据相关性有选择性的获取其它元素的信息来补充特征信息，再通过正则化操作将指纹信息中的RSS信息转化为数据之间的相对关系，获取增强信息X^att；

其中Q、K、V表示输入到attention网络中的RSS指纹向量，d_k表示编码的维度d-model，K^T表示矩阵的转置；

提取指纹信息的频域特征；对于给定的第l个堆叠层的输入首先执行FFT将其转换到频域：

其中是一个复数张量，代表X^l的频谱；/>表示一维FFT，通过乘以一个可学习滤波器来调制频谱，/>表示复数值域，n×d表示维度；⊙表示矩阵之间的逐元素相乘，通过可调节矩阵W来实现滤波层的可学习性；之后，通过逆FFT将调制的频谱变回时域并更新指纹信息；

其中表示FFT的逆变换，实现复数到实数的转化，进而减少噪声的干扰，并能获取隐藏特征信息；使用跳跃连接，以层归一化和dropout来应对梯度消失和不稳定的问题；

其中LayerNorm表示归一化，Drop表示深度学习中Drop操作。

4.根据权利要求1所述的基于滤波Transformer的室内指纹定位方法，其特征在于，步骤2所述的相关性分析，具体步骤如下：

分析位置序列的内在联系，并对增强指纹信息和位置序列进行相关性分析；

其中L表示位置估计器输入的位置序列，F表示特征增强器的输出，Attention表示相关性运算，m表示位置序列和开始标识符的组合序列的长度；输出表示为：

Y＝SoftMax(ReLU(FW₁+b₁)W₂+b₂)

F表示从RSS指纹中提取到的特征，W₁,W₂,b₁,b₂表示神经网络中线性层的可学习参数；ReLU表示神经网络中的激活函数，SoftMax表示SoftMax运算。