CN117395598A - 一种采用多头注意力机制神经网络进行室内定位的方法和装置 - Google Patents

一种采用多头注意力机制神经网络进行室内定位的方法和装置 Download PDF

Info

Publication number
CN117395598A
CN117395598A CN202311315050.4A CN202311315050A CN117395598A CN 117395598 A CN117395598 A CN 117395598A CN 202311315050 A CN202311315050 A CN 202311315050A CN 117395598 A CN117395598 A CN 117395598A
Authority
CN
China
Prior art keywords
head attention
neural network
indoor positioning
layer
attention mechanism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311315050.4A
Other languages
English (en)
Inventor
王斌
王微
刘德生
金帅
周宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Jingrui Suzhou Technology Co ltd
Original Assignee
Zhongke Jingrui Suzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Jingrui Suzhou Technology Co ltd filed Critical Zhongke Jingrui Suzhou Technology Co ltd
Priority to CN202311315050.4A priority Critical patent/CN117395598A/zh
Publication of CN117395598A publication Critical patent/CN117395598A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Electromagnetism (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

本发明公开了一种采用多头注意力机制神经网络进行室内定位的方法和装置，涉及室内定位技术领域，采用多头注意力机制神经网络进行室内定位的方法包括下述操作步骤：S1、WIFI AP；S2、RSSI指纹信息的采集；S3、指纹增强处理；S4、输入多头注意力层；S5、多头注意力层输出；S6、全连接层的输出。该采用多头注意力机制神经网络进行室内定位的方法和装置，多头注意力机制的引入以及Q、K、V的选择，并根据实际情况选择合适的超参数，实现性能和效果之间的平衡，由于实现对于小规模的室内定位，无需采用复杂网络，而且由于多头注意力层的引入，减少了设备的RSSI指纹差异变化带来的定位误差，从而提高定位精准度。

Description

一种采用多头注意力机制神经网络进行室内定位的方法和 装置
技术领域
本发明涉及室内定位技术领域，具体为一种采用多头注意力机制神经网络进行室内定位的方法和装置。
背景技术
一般来说，利用WiFi信号作为特征的室内定位有两个主要方法：基于模型和基于wifi指纹的方法，前者利用传播接收信号形式的无线信号模型强度(RSS-received signalstrength)、飞行时间(TOF-time of flight)到达角(AOA-angle of arrival)之类构建模型，进行预测，后者考虑物理WiFi的可测量属性，利用离散的空间点不同指纹(fingerprints)或签名(signatures)以区分位置，由于室内WiFi信号一般具有大幅波动，很难获得准确的传播模型，所以一般选用指纹识别的方法，相比其他室内定位需求，例如蓝牙、RFID等，wifi的构建简单，成本低，大部分智能设备也都有wifi模块，所以wifi技术比较适合用来进行室内定位。
当前，在指纹方法中，接收到的信号强度指示器(RSSI-received signalstrength indicator)被广泛用作本地化中的功能，因为RSSI可以从大多数WiFi接收器轻松获得，例如各种手机，但是RSSI的方法有一些明显的缺点，设备异质性，即RSSI信号的变化，在不同的智能设备(包括智能手机，IoT设备)的特征，在实际操作中，不同智能设备RSSI特征会有差异，传统室内定位解决方案可能无法应对由于设备差异导致的RSSI差异，从而会定位精度会降低，而且不同智能手机捕获的给定位置的感知RSSI值可能会有很大差异。
于是，有鉴于此，针对现有的结构及缺失予以研究改良，提出一种采用多头注意力机制神经网络进行室内定位的方法和装置。
发明内容
针对现有技术的不足，本发明提供了一种采用多头注意力机制神经网络进行室内定位的方法和装置，解决了上述背景技术中提出的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种采用多头注意力机制神经网络进行室内定位的方法，所述采用多头注意力机制神经网络进行室内定位的方法包括下述操作步骤：
S1、WIFI AP：
每个WIFI AP的RSSI有与之对应的RP，RP采用独热编码，其中RSSI的强度，需要进行归一化处理；
S2、RSSI指纹信息的采集：
对于需要定位的室内空间，采集不同RP的RSSI指纹信息，将其结构化保存在数据库中，其中所有采集的信息都录入数据库中，作为已知参照数据；
S3、指纹增强处理：
对输入的指纹信息进行增强处理，所用的增强处理在训练阶段和推理阶段必须一致；
S4、输入多头注意力层：
RSSI指纹作为Q和K，RP作为V，以此作为多头注意力层的输入，多头注意力层采用多头注意力公式，公式如下：
MultiHead(Q,K,V)＝Concat(h1,h2,h3…hn)Wo
其中dk是K向量的维度,
S5、多头注意力层输出：
多头注意力层的输出作为两个全连接层的输入，全连接层的输入和输出数量属于超参数，需根据实际情况选择，全连接层后的激活函数采用Relu即可；
S6、全连接层的输出：
两个全连接层输出后紧跟着进入池化层，然后进入softmax层进行分类输出，作为预测结果。
进一步的，所述步骤S1中，WIFI AP全称为Wifi Access point，WIFI AP是无线网络的核心即无线接入点。
进一步的，所述步骤S1中，独热编码又称一位有效编码，其方法如下：
使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位,并且在任意时候，其中只有一位有效，即只有一位是1,其余都是零值，其中1表示RSSI信号最强，最小为0表示没有RSSI信号。
进一步的，所述步骤S2中，RP全称为Reference point，RP为基准点用于辅助3D特征的创建，作为特征截面绘制的参照面、模型定位的参照面和控制点、装配用参照面。
进一步的，所述步骤S3中，增强处理采用随机增强或高斯噪音。
进一步的，所述步骤S4中，Q全称为Query，K全称为Key，V全称为and Value。
进一步的，所述步骤S4中，输入多头注意力层的信号都需要预先进行归一化处理。
进一步的，所述步骤S5中，全连接层共有两层，且第二层的节点数量要比第一层多。
进一步的，所述步骤S6中，两个全连接层的损失函数采用交叉熵，优化器采用Adam。
一种装置，该装置为智能手机，所述智能手机应用有如上所述的采用多头注意力机制神经网络进行室内定位的方法。
本发明提供了一种采用多头注意力机制神经网络进行室内定位的方法和装置，具备以下有益效果：
该采用多头注意力机制神经网络进行室内定位的方法和装置，多头注意力机制的引入以及Q、K、V的选择，并根据实际情况选择合适的超参数，实现性能和效果之间的平衡，由于实现对于小规模的室内定位，无需采用复杂网络，而且由于多头注意力层的引入，减少了设备的RSSI指纹差异变化带来的定位误差，从而提高定位精准度。
附图说明
图1为本发明一种采用多头注意力机制神经网络进行室内定位的方法的空间示意图；
图2为本发明一种采用多头注意力机制神经网络进行室内定位的方法的流程示意图；
图3为本发明一种采用多头注意力机制神经网络进行室内定位的方法的多头注意力层结构示意图。
具体实施方式
下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
如图1-图3所示，本发明提供技术方案：一种采用多头注意力机制神经网络进行室内定位的方法，采用多头注意力机制神经网络进行室内定位的方法包括下述操作步骤：
S1、WIFI AP：
每个WIFI AP的RSSI有与之对应的RP，RP采用独热编码，其中RSSI的强度，需要进行归一化处理，而独热编码又称一位有效编码，其方法如下：
使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位,并且在任意时候，其中只有一位有效，即只有一位是1,其余都是零值，其中1表示RSSI信号最强，最小为0表示没有RSSI信号；
其中，WIFI AP全称为Wifi Access point，WIFI AP是无线网络的核心即无线接入点；
S2、RSSI指纹信息的采集：
对于需要定位的室内空间，采集不同RP的RSSI指纹信息，将其结构化保存在数据库中，其中所有采集的信息都录入数据库中，作为已知参照数据；
其中，RP全称为Reference point，RP为基准点用于辅助3D特征的创建，作为特征截面绘制的参照面、模型定位的参照面和控制点、装配用参照面；
S3、指纹增强处理：
对输入的指纹信息进行增强处理，所用的增强处理在训练阶段和推理阶段必须一致，增强处理采用随机增强或高斯噪音；
S4、输入多头注意力层：
RSSI指纹作为Q和K，RP作为V，以此作为多头注意力层的输入，多头注意力层采用多头注意力公式，公式如下：
MultiHead(Q,K,V)＝Concat(h1,h2,h3…hn)Wo
其中dk是K向量的维度,
其中Q全称为Query，K全称为Key，V全称为and Value，输入多头注意力层的信号都需要预先进行归一化处理，而且多头注意力层的主要超参数包括注意力头的数量(NH)，注意力头大小(HS)，根据实际情况选择，超参数的选择需保持性能和效果之间的平衡，通过该步骤的操作，借由多头注意力层的引入，减少了设备的RSSI指纹差异变化带来的定位误差，从而提高定位精准度；
S5、多头注意力层输出：
多头注意力层的输出作为两个全连接层的输入，全连接层的输入和输出数量属于超参数，需根据实际情况选择并保持性能和效果之间的平衡，全连接层后的激活函数采用Relu即可，全连接层共有两层，且第二层的节点数量要比第一层多，第二层即相对处于下面位置的全连接层；
S6、全连接层的输出：
两个全连接层输出后紧跟着进入池化层，然后进入softmax层进行分类输出，作为预测结果；
其中，两个全连接层的损失函数采用交叉熵，优化器采用Adam。
一种装置，该装置为智能手机，所述智能手机应用有如上所述的采用多头注意力机制神经网络进行室内定位的方法。
综上，如图1-图3所示，该采用多头注意力机制神经网络进行室内定位的方法，使用时，首先每个WIFI AP的RSSI有与之对应的RP，RP采用独热编码，其中RSSI的强度，需要进行归一化处理，而独热编码又称一位有效编码，其方法如下：
使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位,并且在任意时候，其中只有一位有效，即只有一位是1,其余都是零值，其中1表示RSSI信号最强，最小为0表示没有RSSI信号；其中，WIFI AP全称为Wifi Access point，WIFI AP是无线网络的核心即无线接入点；
对于需要定位的室内空间，采集不同RP的RSSI指纹信息，将其结构化保存在数据库中，其中所有采集的信息都录入数据库中，作为已知参照数据；其中，RP全称为Referencepoint，RP为基准点用于辅助3D特征的创建，作为特征截面绘制的参照面、模型定位的参照面和控制点、装配用参照面；
对输入的指纹信息进行增强处理，所用的增强处理在训练阶段和推理阶段必须一致，增强处理采用随机增强或高斯噪音；
RSSI指纹作为Q和K，RP作为V，以此作为多头注意力层的输入，多头注意力层采用多头注意力公式，公式如下：
MultiHead(Q,K,V)＝Concat(h1,h2,h3…hn)Wo
其中dk是K向量的维度,
其中Q全称为Query，K全称为Key，V全称为and Value，输入多头注意力层的信号都需要预先进行归一化处理，而且多头注意力层的主要超参数包括注意力头的数量(NH)，注意力头大小(HS)，根据实际情况选择，超参数的选择需保持性能和效果之间的平衡，通过该步骤的操作，借由多头注意力层的引入，减少了设备的RSSI指纹差异变化带来的定位误差，从而提高定位精准度；多头注意力层的输出作为两个全连接层的输入，全连接层的输入和输出数量属于超参数，需根据实际情况选择并保持性能和效果之间的平衡，全连接层后的激活函数采用Relu即可，全连接层共有两层，且第二层的节点数量要比第一层多，第二层即相对处于下面位置的全连接层；
两个全连接层输出后紧跟着进入池化层，然后进入softmax层进行分类输出，作为预测结果；其中，两个全连接层的损失函数采用交叉熵，优化器采用Adam。
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述采用多头注意力机制神经网络进行室内定位的方法包括下述操作步骤：
S1、WIFI AP：
每个WIFI AP的RSSI有与之对应的RP，RP采用独热编码，其中RSSI的强度，需要进行归一化处理；
S2、RSSI指纹信息的采集：
对于需要定位的室内空间，采集不同RP的RSSI指纹信息，将其结构化保存在数据库中，其中所有采集的信息都录入数据库中，作为已知参照数据；
S3、指纹增强处理：
对输入的指纹信息进行增强处理，所用的增强处理在训练阶段和推理阶段必须一致；
S4、输入多头注意力层：
RSSI指纹作为Q和K，RP作为V，以此作为多头注意力层的输入，多头注意力层采用多头注意力公式，公式如下：
MultiHead(Q,K,V)＝Concat(h1,h2,h3…hn)Wo
其中dk是K向量的维度,hi＝Attention(QWi Q,KWi K,VWi V)；
S5、多头注意力层输出：
多头注意力层的输出作为两个全连接层的输入，全连接层的输入和输出数量属于超参数，需根据实际情况选择，全连接层后的激活函数采用Relu即可；
S6、全连接层的输出：
两个全连接层输出后紧跟着进入池化层，然后进入softmax层进行分类输出，作为预测结果。
2.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S1中，WIFIAP全称为WifiAccess point，WIFI AP是无线网络的核心即无线接入点。
3.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S1中，独热编码又称一位有效编码，其方法如下：
使用N位状态寄存器来对N个状态进行编码，每个状态都有它独立的寄存器位,并且在任意时候，其中只有一位有效，即只有一位是1,其余都是零值，其中1表示RSSI信号最强，最小为0表示没有RSSI信号。
4.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S2中，RP全称为Reference point，RP为基准点用于辅助3D特征的创建，作为特征截面绘制的参照面、模型定位的参照面和控制点、装配用参照面。
5.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S3中，增强处理采用随机增强或高斯噪音。
6.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S4中，Q全称为Query，K全称为Key，V全称为and Value。
7.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S4中，输入多头注意力层的信号都需要预先进行归一化处理。
8.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S5中，全连接层共有两层，且第二层的节点数量要比第一层多。
9.根据权利要求1所述的一种采用多头注意力机制神经网络进行室内定位的方法，其特征在于：所述步骤S6中，两个全连接层的损失函数采用交叉熵，优化器采用Adam。
10.一种装置，其特征在于：该装置为智能手机，所述智能手机应用有如权利要求1-9任意一项所述的采用多头注意力机制神经网络进行室内定位的方法。
CN202311315050.4A 2023-10-11 2023-10-11 一种采用多头注意力机制神经网络进行室内定位的方法和装置 Pending CN117395598A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311315050.4A CN117395598A (zh) 2023-10-11 2023-10-11 一种采用多头注意力机制神经网络进行室内定位的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311315050.4A CN117395598A (zh) 2023-10-11 2023-10-11 一种采用多头注意力机制神经网络进行室内定位的方法和装置

Publications (1)

Publication Number Publication Date
CN117395598A true CN117395598A (zh) 2024-01-12

Family

ID=89436610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311315050.4A Pending CN117395598A (zh) 2023-10-11 2023-10-11 一种采用多头注意力机制神经网络进行室内定位的方法和装置

Country Status (1)

Country Link
CN (1) CN117395598A (zh)

Similar Documents

Publication Publication Date Title
CN109639739B (zh) 一种基于自动编码器网络的异常流量检测方法
CN111160108B (zh) 一种无锚点的人脸检测方法及系统
CN110968845B (zh) 基于卷积神经网络生成的针对lsb隐写的检测方法
CN114239749B (zh) 基于残差收缩及双向长短期记忆网络的调制识别方法
CN108616471B (zh) 一种基于卷积神经网络的信号调制识别方法和装置
Chen et al. Image processing operations identification via convolutional neural network
CN107682103B (zh) 一种基于最大特征值和主特征向量的双特征频谱感知方法
CN116796250B (zh) 一种混叠无线信号智能识别与分离方法及系统
CN110188864B (zh) 基于分布表示和分布度量的小样本学习方法
CN115694692A (zh) Alpha噪声下基于Transformer多头注意力机制网络的频谱感知方法
CN109448039B (zh) 一种基于深度卷积神经网络的单目视觉深度估计方法
CN114727286A (zh) 一种无阈值多属性物理层认证方法及相关设备
CN117395598A (zh) 一种采用多头注意力机制神经网络进行室内定位的方法和装置
CN110830939B (zh) 基于改进的cpn-wlan指纹定位数据库的定位方法
CN113343868A (zh) 一种辐射源个体识别方法及装置、终端、存储介质
CN106487389A (zh) 一种基于压缩感知的顺序正交匹配追踪算法
CN116340750A (zh) 一种机电设备的故障诊断方法及系统
CN105574588A (zh) 一种基于遗传算法的天线结构设计方法
CN110650130A (zh) 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法
CN112529035B (zh) 识别不同电台个体种类的智能识别方法
CN117743946B (zh) 基于融合特征和组卷积ViT网络的信号类型识别方法及系统
CN111316326A (zh) 图像编码方法、设备及计算机可读存储介质
CN117938596A (zh) 一种基于解耦Hilbert-Schmidt信息瓶颈DHSIB的自动调制分类对抗防御方法
CN118211642A (zh) 一种元学习符号检测模型的训练方法、装置及计算机设备
CN103329198B (zh) 低复杂度目标矢量识别

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination