CN113099386A - 一种多楼层室内位置识别方法及其在博物馆导览中的应用 - Google Patents

一种多楼层室内位置识别方法及其在博物馆导览中的应用 Download PDF

Info

Publication number
CN113099386A
CN113099386A CN202110317087.5A CN202110317087A CN113099386A CN 113099386 A CN113099386 A CN 113099386A CN 202110317087 A CN202110317087 A CN 202110317087A CN 113099386 A CN113099386 A CN 113099386A
Authority
CN
China
Prior art keywords
floor
positioning
museum
indoor
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110317087.5A
Other languages
English (en)
Inventor
刘炜
孙鑫根
杨颜泽
甘文清
唐慧晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202110317087.5A priority Critical patent/CN113099386A/zh
Publication of CN113099386A publication Critical patent/CN113099386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/309Measuring or estimating channel quality parameters
    • H04B17/318Received signal strength
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/391Modelling the propagation channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明涉及一种多楼层室内位置识别方法及其在博物馆导览中的应用,该系统包括以下步骤:前期准备阶段,如绘制博物馆地图以及布置路由器;离线收集Wi‑Fi信号强度值并进行隐马尔科夫训练;进行楼层定位获取楼层信息;进行平面定位获取平面位置信息;综合以上两种信息进行智能讲解和语音导航服务。与现有技术相比,本发明在现有的定位技术中选择了较易实现的基于Wi‑Fi的室内定位,并对定位算法进行了改进,使其能够获取用户的楼层信息,定位更精确,并且能够根据用户的个性化需求,进行相关的应用扩展,帮助用户更智能地游览博物馆,提升了用户的体验度。

Description

一种多楼层室内位置识别方法及其在博物馆导览中的应用
技术领域
本发明涉及一种博物馆导览系统,尤其是涉及一种多楼层室内位置识别方法及其在博物馆导览中的应用。
背景技术
近年来,室内定位技术逐渐成为人们关注的焦点,Wi-Fi、射频识别、红外线、超声波等技术在室内定位中占领了主导地位。
超声波定位目前大多数采用反射式测距法,抗干扰性强,精度高。系统由一个主测距器和若干个电子标签组成,主测距器可放置于移动机器人本体上,各个电子标签放置于室内空间的固定位置。但是在传输过程衰弱明显影响其定位效果。
红外线是频率介于微波与可见光之间的电磁波,其室内定位技术有两种具体实现方法,一种是将定位对象附上一个会发射红外线的电子标签,通过测量信号源的距离或角度,从而计算对象所在的位置,另一种是红外织网,通过红外线网覆盖待测空间,直接对运动目标进行定位。但其在传输过程中易于受物体或墙体阻隔且传输距离较短,定位系统复杂度较高。
射频识别技术是一种操控简易,适用于自动控制领域的技术,它利用了电感和电磁耦合或雷达反射的传输特性,实现对被识别物体的自动识别。但是采集数据工作量大,而且为了达到较高的精度,固定点AP的位置测算设置比较繁琐。
Wi-Fi技术是一种无线网络通信技术,采用其定位能够弥补在室内环境下GPS技术无法定位或定位不准确的缺点,采用AP接入点的方式,改变了传统的通过基站来获取Wi-Fi位置信息的方式,使得信息的获取变得更加方便而且不受限制。
发明内容
为了克服上述现有技术的不足,本发明提供了一种多楼层室内位置识别方法及其在博物馆导览中的应用,该系统组成较为简单,且实用性强。
本发明所采用的技术方案是:一种多楼层室内位置识别方法及其在博物馆导览中的应用,包括以下步骤:
(1)前期准备阶段,绘制博物馆室内地图并布置路由器;
(2)离线阶段,离线收集Wi-Fi信号强度值并进行隐马尔科夫训练;
(3)在线阶段,进行楼层定位获取楼层信息;
(4)进行平面定位获取平面位置信息;
(5)综合以上两种信息进行智能讲解和语言导航服务。
上述多楼层室内位置识别方法及其在博物馆导览中的应用,所述步骤(1)的具体步骤为:
1-1)定位信标的选择与布置;
Wi-Fi采用IEEE 802.11标准,在室内环境传播距离可以达到70~130米,在室内定位方面,对比蓝牙等短距离传输技术更具有优势。结合Wi-Fi定位距离及环境影响,选择合适的位置进行信标AP的安放。
1-2)博物馆室内地图的测量与绘制;
对博物馆进行具体室内测量,尤其是展览品之间的距离以及关键点的信息,绘制出简要图后,进行CAD建模,封装后运用在程序中。
上述多楼层室内位置识别方法及其在博物馆导览中的应用,所述步骤(2)的具体步骤为:
2-1)采集无线接入点AP信号,并对信号进行标准化处理;
本步骤具体分为以下两个部分:
2-1-1)遍历博物馆,进行信号采集;
本步骤需要多位志愿者携带有Wi-Fi模块的智能移动设备遍历整个博物馆。智能移动设备中的后台程序每隔一定的时间间隔采集一次所有能够接受到的AP信号,其中每个AP信号包括AP的名称SSID、物理地址BSSID、网络接入性能capability、信号强度RSSI、热点频率 frequency。众多AP信号构成一个AP向量,其维度为当前能接收到的无线接入点信标的 BSSID个数。
2-1-2)上传AP信号至服务器,并对其进行预处理
将由不同设备收集到的AP向量上传至服务器。由于信号传播距离的限制,在收集信号时,有些距离较远的AP点无法收到,对于无法检测到的AP点RSSI值设经验最小值-120dbm。
2-1-3)对预处理后的AP信号进行标准化处理。
对不同楼层采集到的数据进行聚类需要有统一的量纲,所以需要由服务器进行标准化处理。记AP向量为fi(i=1,2,…,c),由m个AP信号组成,所有的AP向量fi构成了向量集合S:
Figure BDA0002991603260000021
标准化过程需获得向量集合S中各个分量的并集,经过标准化处理之后形成标准化向量
Figure BDA0002991603260000022
Figure BDA0002991603260000023
以及向量集合S′={g1,g2......gc}。
2-2)对AP向量进行聚类分组,得到若干集合。通过随机游走算法得到集合的观察序列;
本步骤具体分为以下两个部分:
2-2-1)对收集到的AP向量标准数据库进行聚类,得到与楼层对应的若干AP向量集合;
由于楼层层板阻隔导致信号在穿越楼层时出现显著的衰减,并且随着楼层的增加,信号强度衰减更明显。该现象使得同一个AP产生的信号强度在不同楼层之间离散分布,在同一楼层则较为连续,即出现了“离散-聚集”的特性。可以将这些信号进行聚类,聚类得到的集合个数应符合真实楼层的情况。通常使用层次聚类法进行聚类,层次聚类无须预先知道聚类的类别数,将距离阈值作为聚类数目的标准,每个样本首先自成一类,然后按照距离准则逐步合并,直至达到分类要求。
首先假设初始聚类簇数目为c,将AP集合S′={g1,g2......gc}中的各AP向量
Figure BDA0002991603260000031
Figure BDA0002991603260000032
各自作为一类,按照组间平均距离法计算各类之间的距离。将距离最近的两类 Si,Sj合并为一个类别从而形成c-1个类别,直到最终聚类为n类则结束算法,其中使用的组间平均距离计算公式如下:
Figure BDA0002991603260000033
其中,ni,nj分别为聚类簇Si,Sj中包含的数据点数目,dkl表示数据点xk,xl之间的欧式距离。
至此将原有的数据集合S′聚类成n个簇,对应实际的n个楼层V={v1,v2......vn}。
2-2-2)使用随机游走算法遍历聚类得到的集合。
人物在跨越楼层时的移动行为是连续的,仅与前一个楼层位置有关,这一特点与随机游走算法的原理较为相似。于是将由聚类生成的离散的集合通过随机游走算法关联起来,得到大量的集合序列。通过集合序列的马尔科夫学习能够得到集合与真实楼层间一一映射的关系。
2-3)构建隐马尔科夫模型,并进行前向-后向算法的学习,获得集合-楼层映射表;
最后对集合序列进行隐马尔科夫学习,最终获得集合与真实楼层的映射,从而确定人物的楼层归属。对应的隐马尔科夫模型参数λ=(F,V,A,B,π)分别为:
(1)n个楼层F={floor1,floor2......floorn}。即n个系统状态;
(2)n个聚类后的AP向量集合V={v1,v2......vn},即n个观察状态。
(3)状态转移矩阵A=[aijn×n,即用户在各个楼层间行走的转移概率;
(4)混淆矩阵B=[bj(k)]n×n,表示当前用户处于楼层floorj,当他走向其他楼层时,扫描到的AP向量属于集合vk的概率;
(5)初始状态分布序列π={π1,π2,π3,......πn},即用户最初处于某个楼层的概率,通过真实情况的大量数据统计规律可知其概率分布呈均匀分布。
建立马尔科夫模型以后,本步的目的是获得集合与楼层的一一对应关系,即需要求得模型参数中混淆矩阵的取值,因此明确了算法的输入和输出。一般采用前向-后向方法(forward-backward algorithm)进行迭代学习,该方法先用观察序列对隐马尔科夫模型生成一组不准确的参数值,根据后面给出的数据评估这些参数的准确性,反复迭代,并逐渐减少它们的误差,重新生成这些参数,它采用梯度下降的方式来获得错误度最小的参数值,使得最终的一组参数趋于一个稳定的精度。
第一步,给定模型参数λ、由产生的观察序列O={o1,o2,...,oT},并计算变量ξt(i,j)与γt(i);
(1)ξt(i,j)表示在已知模型参数λ、观察序列O的情况下,t时刻在楼层floori且t+1时刻在楼层floorj的概率,公式如下:
Figure BDA0002991603260000041
式中,αr(i)为前向变量,表示:己知模型参数λ以及截止到t时刻的观察序列o1,o2,...,ot,且t时刻对应的楼层为floori的概率。βt+1(j)为后向变量,表示:在已知模型参数λ,t时刻对应的楼层为floori的条件下,从t+1时刻到结束时刻T的观测序列为ot+1,ot+2,...,oT的概率。
(2)变量γt(i)表示在给定参数λ和观察序列O时,t时刻处于楼层floori的概率。
Figure BDA0002991603260000042
其中,
Figure BDA0002991603260000043
表示观察序列O中由楼层floori向其他楼层转换的概率,
Figure BDA0002991603260000044
表示观察序列O中由楼层floori向楼层floorj转换的概率。
第二步,随机选择λ=(A,B,π)中参数的初始值,需要满足
Figure BDA0002991603260000045
Figure BDA0002991603260000046
Figure BDA0002991603260000051
第三步,计算新的
Figure BDA0002991603260000052
参数值,若参数值已经收敛,则结束,否则从第二步继续迭代。
Figure BDA0002991603260000053
上述多楼层室内位置识别方法及其在博物馆导览中的应用,所述步骤(3)的具体步骤为:
3-1)对AP信号进行实时收集;
用户通过手持智能手机等具有Wi-Fi模块的设备,对AP信号进行收集,并上传至数据库,以AP向量的形式保存。
3-2)将实时收集到的AP向量与楼层集合的对应关系进行比对,得到楼层信息。首先判断收集到的AP向量属于哪一个集合,再根据楼层集合的对应关系得到用户的实时楼层信息。
上述多楼层室内位置识别方法及其在博物馆导览中的应用,所述步骤(4)的具体步骤为:
4-1)收集RSSI信号值并进行分类;
4-1-1)收集RSSI信号值RV;
信标节点周期性的向周围广播自身的位置坐标及ID信息,未知节点不断扫描区域中存在的信标节点并接收RV,所有节点接收完则停止此次扫描过程。
4-1-2)对采集的RSSI值进行数据分类处理。
将每个信标节点的RSSI值按照升序排列并计算平均值,排序前集合为P,排序后集合为 P′,RSSI均值集合为
Figure BDA0002991603260000054
如下所示:
P={(ID1,RV1.1,RV1.2,...,RV1.n),(ID2,RV2.1,RV2.2,...,RV2.n),......,(IDm,RVm.1,RVm.2,...,RVm.n)}
P′={(ID1,RV′1.1,RV′1.2,...,RV′1.n),(ID2,RV′2.1,RV′2.2,...,RV′2.n),...... ,(IDm,RV′m.1,RV′m.2,...,RV′m.n)}
Figure BDA0002991603260000055
式中,ID是信标节点的编号,
Figure BDA0002991603260000056
指各组RSSI信号的均值,m为信标节点数量。
4-2)对收集到的RSSI值进行卡尔曼滤波及线性插值处理,降低信号的噪声;
4-2-1)卡尔曼滤波主要采用信号与噪声的状态空间模型,利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计,求出现时刻的估计值。
卡尔曼滤波的流程如下:
第一步,构造一个由高斯白噪声序列驱动的一阶自递归过程,即状态方程和观测方程;
第二步,经过多次测试,设置好合适参数,构造状态噪声方差阵;
第三步,将状态方程和观测方程联立,设置初始值,进行时间更新和测量更新和测量更新。
4-2-2)对经卡尔曼滤波处理的RSSI信号值用线性插值方法来预测已知的多对点对之间的未知点的信号强度。线性插值函数如下:
Figure BDA0002991603260000061
其中(xstart,ystart)是起始坐标,(xend,yend)是最终坐标,xi属于[xstart,xend],yi是通过线性插值得到的对应的值。
4-3)计算加权因子d;
在发射节点的发射功率确定的情况下,根据接收节点接收的信号强度得出能量损耗与距离的关系,计算出信号发出点与接收点的距离,进而通过定位算法确定信号发出点的位置。采用的信号传播模型如下所示:
RV=A-10e*lg(d)
式中,e为信号衰减因子,范围一般为2~4;d为定位节点与参考节点之间的距离,单位为m;A为定位节点与参考节点之间的距离d为1m时测得的RV。
将RSSI均值集合
Figure BDA0002991603260000062
中的RSSI均值分别代入上述公式中求出对应的d1,d2,......,dm,d1,d2,......,dm即为不同信标节点的加权因子。
5-4)利用四边定位算法,选择d最小的四个参考节点用于定位。增加未知节点,根据圆的参数方程几何关系,代入d1,d2,......,dm,三三自由组合,求得交点坐标,对四组估计位置求质心得到更加精确的未知节点坐标,公式如下:
Figure BDA0002991603260000063
式中,已知无线传感器网络N个固定信标节点Bi的位置坐标(xi,yi),其中(1≤i≤N),未知节点的估计位置坐标为(x,y)。
4-4-1)对计算出的各个信标节点到未知节点的距离进行升序排序,选择距离未知节点最近的四个信标节点进行定位;
4-4-2)四边定位过程中先判断圆与圆之间是否存在公共点,即是否相交,若无交点,则使用距离修正方案,来对两圆半径进行修正优化,使之存在有效交感区域,求得交点坐标进行定位;
4-4-3)采用优化权值的加权质心算法,依靠计算得到的交点坐标,测算出未知节点的位置信息。
4-5)得到室内平面位置信息。
上述多楼层室内位置识别方法及其在博物馆导览中的应用,所述步骤(5)的具体步骤为:
5-1)对得到的室内平面位置信息进行分析,通过与博物馆室内地址相对比获得与之最相近的展品信息;
5-2)根据位置信息选择相应功能:若附近有相近展品,则播放展品信息;否则开启语音导航服务。
与现有技术相比,本发明的有益效果是:
1.实现了符合博物馆特点的室内定位技术
针对大型博物馆建筑结构复杂且展品距离较近,难以准确定位的问题,本发明在传统的室内定位技术的基础上,对其进行了优化和创新,并实现了楼层定位,以提高定位的精准度。
2.基于位置信息的智能语音讲解服务。
博物馆智能语音讲解系统支持近距离定位自动播放功能,当游客靠近某个展品时将自动播放其历史背景,实现全程自动语音导览。可以让游客获得全面、丰富的导览服务,实现“把导游装进手机里”,同时让手机成为博物馆内的“活地图”。
附图说明
为了让读者更清晰地了解本专利实施地方案,下面将对本专利具体实施方式中的附图作简单介绍:
图1为本发明的整体流程图。
图2为楼层定位离线阶段示意图。
图3为层次聚类流程图。
图4为前向-后向算法流程图。
图5为楼层定位部分整体示意图。
图6为RSSI数据包采集流程图。
图7为卡尔曼滤波器内部流程图。
图8为平面定位流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
如图1所示,一种多楼层室内位置识别方法及其在博物馆导览中的应用,包括以下步骤:
1)前期准备阶段,绘制博物馆室内地图并布置路由器;
1-1)定位信标的选择与布置;
Wi-Fi采用IEEE 802.11标准,在室内环境传播距离可以达到70~130米,在室内定位方面,对比蓝牙等短距离传输技术更具有优势。结合Wi-Fi定位距离及环境影响,选择合适的地方进行信标安放。
1-2)博物馆室内地图的测量与绘制;
在博物馆进行具体室内测量,尤其是墙壁之间的距离以及关键点的信息,画出简要图后,使用CAD进行建模,封装后运用在程序中。
2)离线阶段:收集Wi-Fi信号强度值并进行隐马尔科夫训练。如图2所示,具体步骤为:
2-1)采集无线接入点AP信号,并对信号进行标准化处理;
本步骤具体分为以下两个部分:
2-1-1)遍历博物馆,进行信号采集;
本步骤需要多位志愿者携带有Wi-Fi模块的智能移动设备遍历整个博物馆。智能移动设备中的后台程序每隔一定的时间间隔采集一次所有能够接受到的AP信号,其中每个AP信号包括AP的名称SSID、物理地址BSSID、网络接入性能capability、信号强度RSSI、热点频率 frequency。众多AP信号构成一个AP向量,其维度为当前能接收到的无线接入点信标的 BSSID个数。
2-1-2)上传AP信号至服务器,并对其进行预处理
将由不同设备收集到的AP向量上传至服务器。由于信号传播距离的限制,在收集信号时,有些距离较远的AP点无法收到,对于无法检测到的AP点RSSI值设经验最小值-120dbm。
2-1-3)对预处理后的AP信号进行标准化处理。
对不同楼层采集到的数据进行聚类需要有统一的量纲,所以需要由服务器进行标准化处理。记AP向量为fi(i=1,2,…,c),由m个AP信号组成,所有的AP向量fi构成了向量集合S:
Figure BDA0002991603260000081
标准化过程需获得向量集合S中各个分量的并集,经过标准化处理之后形成标准化向量
Figure BDA0002991603260000091
以及向量集合S′={g1,g2......gc}。
2-2)对AP向量进行聚类分组,得到若干集合。通过随机游走算法得到集合的观察序列;
本步骤具体分为以下两个部分:
2-2-1)对收集到的AP向量标准数据库进行聚类,得到与楼层对应的若干AP向量集合;
由于楼层层板阻隔导致信号在穿越楼层时出现显著的衰减,并且随着楼层的增加,信号强度衰减更明显。该现象使得同一个AP产生的信号强度在不同楼层之间离散分布,在同一楼层则较为连续,即出现了“离散-聚集”的特性。可以将这些信号进行聚类,聚类得到的集合个数应符合真实楼层的情况。通常使用层次聚类法进行聚类,层次聚类无须预先知道聚类的类别数,将距离阈值作为聚类数目的标准,每个样本首先自成一类,然后按照距离准则逐步合并,直至达到分类要求,层次聚类算法流程如图3所示。
首先假设初始聚类簇数目为c,将AP集合S′={g1,g2......gc}中的各AP向量gi
Figure BDA0002991603260000092
各自作为一类,按照组间平均距离法计算各类之间的距离。将距离最近的两类 Si,Sj合并为一个类别从而形成c-1个类别,直到最终聚类为n类则结束算法,其中使用的组间平均距离计算公式如下:
Figure BDA0002991603260000093
其中,ni,nj分别为聚类簇Si,Sj中包含的数据点数目,dkl表示数据点xk,xl之间的欧式距离。
至此将原有的数据集合S′聚类成n个簇,对应实际的n个楼层V={v1,v2......vn}。
2-2-2)使用随机游走算法遍历聚类得到的集合。
人物在跨越楼层时的移动行为是连续的,仅与前一个楼层位置有关,这一特点与随机游走算法的原理较为相似。于是将由聚类生成的离散的集合通过随机游走算法关联起来,得到大量的集合序列。通过集合序列的马尔科夫学习能够得到集合与真实楼层间一一映射的关系。
2-3)构建隐马尔科夫模型,并进行前向-后向算法的学习,获得集合-楼层映射表;
最后对集合序列进行隐马尔科夫学习,最终获得集合与真实楼层的映射,从而确定人物的楼层归属。对应的隐马尔科夫模型参数λ=(F,V,A,B,π)分别为:
(1)n个楼层F={floor1,floor2......floorn}。即n个系统状态;
(2)n个聚类后的AP向量集合V={v1,v2......vn},即n个观察状态。
(3)状态转移矩阵A=[aij]n×n,即用户在各个楼层间行走的转移概率;
(4)混淆矩阵B=[bj(k)]n×n,表示当前用户处于楼层floorj,当他走向其他楼层时,扫描到的AP向量属于集合vk的概率;
(5)初始状态分布π=(πi)=(P1,P2,P3,......Pn),即用户最初处于某个楼层的概率,通过真实情况的大量数据统计规律可知其概率呈均匀分布。
建立马尔科夫模型以后,本步的目的是获得集合与楼层的一一对应关系,即需要求得模型参数中混淆矩阵的取值,因此明确了算法的输入和输出。一般采用前向-后向方法(forward-backwardalgorithm)进行迭代学习,该方法先用观察序列对隐马尔科夫模型生成一组不准确的参数值,根据后面给出的数据评估这些参数的准确性,反复迭代,并逐渐减少它们的误差,重新生成这些参数,它采用梯度下降的方式来获得错误度最小的参数值,使得最终的一组参数趋于一个稳定的精度,流程如图4所示。
第一步,给定模型参数λ、由产生的观察序列O={o1,o2,...,oT},并计算变量ξt(i,j)与γr(i);
(1)ξt(i,j)表示在已知模型参数λ、观察序列O的情况下,t时刻在楼层floori且t+1时刻在楼层floorj的概率,公式如下:
Figure BDA0002991603260000101
式中,αt(i)为前向变量,表示:己知模型参数λ以及截止到t时刻的观察序列o1,o2,...,ot,且t时刻对应的楼层为floori的概率。βt+1(j)为后向变量,表示:在已知模型参数λ,t时刻对应的楼层为floori的条件下,从t+1时刻到结束时刻T的观测序列为ot+1,ot+2,...,oT的概率。
(2)变量γt(i)表示在给定参数λ和观察序列O时,t时刻处于楼层floori的概率。
Figure BDA0002991603260000102
其中,
Figure BDA0002991603260000103
表示观察序列O中由楼层floori向其他楼层转换的概率,
Figure BDA0002991603260000108
表示观察序列O中由楼层floori向楼层floorj转换的概率。
第二步,随机选择λ=(A,B,π)中参数的初始值,需要满足
Figure BDA0002991603260000104
Figure BDA0002991603260000105
Figure BDA0002991603260000106
第三步,计算新的
Figure BDA0002991603260000107
参数值,若参数值已经收敛,则结束,否则从第二步继续迭代。
Figure BDA0002991603260000111
3)在现阶段:进行楼层定位获取楼层信息,如图5所示
3-1)对AP信号进行实时收集;
用户通过手持智能手机等具有Wi-Fi模块的设备,对AP信号进行收集,并上传至数据库,以AP向量的形式保存。
3-2)将实时收集到的AP向量与楼层集合的对应关系进行比对,得到楼层信息。首先判断收集到的AP向量属于哪一个集合,再根据楼层集合的对应关系得到用户的实时楼层信息。
4)进行平面定位获取平面位置信息
4-1)收集RSSI信号值并进行分类;
4-1-1)收集RSSI信号值RV;
如图6所示,信标节点周期性的向周围广播自身的位置坐标及ID信息,未知节点不断扫描区域中存在的信标节点并接收RV,所有节点接收完则停止此次扫描过程。
4-1-2)对采集的RSSI值进行数据分类处理。
将每个信标节点的RSSI值按照升序排列并计算平均值,排序前集合为P,排序后集合为 P′,RSSI均值集合为
Figure BDA0002991603260000112
如下所示:
P={(ID1,RV1.1,RV1.2,...,RV1.n),(ID2,RV2.1,RV2.2,...,RV2.n),......,(IDm,RVm.1,RVm.2,...,RVm.n)}
P′={(ID1,RV′1.1,RV′1.2,...,RV′1.n),(ID2,RV′2.1,RV′2.2,...,RV′2.n),...... ,(IDm,RV′m.1,RV′m.2,...,RV′m.n)}
Figure BDA0002991603260000113
式中,ID是信标节点的编号,
Figure BDA0002991603260000114
指各组RSSI信号的均值,m为信标节点数量。
4-2)对收集到的RSSI值进行卡尔曼滤波及线性插值处理,降低信号的噪声;
4-2-1)如图7所示,卡尔曼滤波主要采用信号与噪声的状态空间模型,利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计,求出现时刻的估计值。
卡尔曼滤波的流程如下:
第一步,构造一个由高斯白噪声序列驱动的一阶自递归过程,即状态方程和观测方程;
第二步,经过多次测试,设置好合适参数,构造状态噪声方差阵;
第三步,将状态方程和观测方程联立,设置初始值,进行时间更新和测量更新和测量更新。
4-2-2)对经卡尔曼滤波处理的RSSI信号值用线性插值方法来预测已知的多对点对之间的未知点的信号强度。线性插值函数如下:
Figure BDA0002991603260000121
其中(xstart,ystart)是起始坐标,(xend,yend)是最终坐标,xi属于[xstart,xend],yi是通过线性插值得到的对应的值。
4-3)计算加权因子d;
在发射节点的发射功率确定的情况下,根据接收节点接收的信号强度得出能量损耗与距离的关系,计算出信号发出点与接收点的距离,进而通过定位算法确定信号发出点的位置。采用的信号传播模型如下所示:
RV=A-10e*lg(d)
式中,e为信号衰减因子,范围一般为2~4;d为定位节点与参考节点之间的距离,单位为m;A为定位节点与参考节点之间的距离d为1m时测得的RV。
将RSSI均值集合
Figure BDA0002991603260000122
中的RSSI均值分别代入上述公式中求出对应的d1,d2,......,dm,d1,d2,......,dm即为不同信标节点的加权因子。
4-4)如图8所示,得到室内平面位置信息。利用四边定位算法,选择d最小的四个参考节点用于定位。增加未知节点,根据圆的参数方程几何关系,代入d1,d2,......,dm,三三自由组合,求得交点坐标,对四组估计位置求质心得到更加精确的未知节点坐标,公式如下:
Figure BDA0002991603260000123
式中,已知无线传感器网络N个固定信标节点Bi的位置坐标(xi,yi),其中(1≤i≤N),未知节点的估计位置坐标为(x,y)。
4-4-1)对计算出的各个信标节点到未知节点的距离进行升序排序,选择距离未知节点最近的四个信标节点进行定位;
4-4-2)四边定位过程中先判断圆与圆之间是否存在公共点,即是否相交,若无交点,则使用距离修正方案,来对两圆半径进行修正优化,使之存在有效交感区域,求得交点坐标进行定位;
4-4-3)采用优化权值的加权质心算法,依靠计算得到的交点坐标,测算出未知节点的位置信息。
4-5)得到室内平面位置信息。
5)综合以上两种信息进行智能讲解和语言导航服务
5-1)对得到的室内平面位置信息进行分析,通过与博物馆室内地址相对比获得与之最相近的展品信息;
5-2)根据位置信息选择相应功能:若附近有相近展品,则播放展品信息;否则开启语音导航服务。

Claims (6)

1.一种基于室内定位技术的博物馆导览系统,包括以下步骤:
(1)前期准备阶段,绘制博物馆室内地图并布置路由器;
(2)离线阶段,离线收集Wi-Fi信号强度值并进行隐马尔科夫训练;
(3)在线阶段,进行楼层定位获取楼层信息;
(4)进行平面定位获取平面位置信息;
(5)综合以上两种位置信息进行智能讲解和语音导航服务。
2.上述基于室内定位技术的博物馆导览系统,所述步骤(1)的具体步骤为:
2-1)定位信标的选择与布置;
Wi-Fi采用IEEE 802.11标准,在室内环境传播距离可以达到70~130米,在室内定位方面,对比蓝牙等短距离传输技术更具有优势。结合Wi-Fi定位距离及环境影响,选择合适的位置进行信标AP的安放,计划安排m个信标点。
2-2)博物馆室内地图的测量与绘制;
对博物馆进行具体室内测量,尤其是展览品之间的距离以及关键点的信息,绘制出简要图后,进行CAD建模,封装后运用在程序中。
3.上述基于室内定位技术的博物馆导览系统,所述步骤(2)的具体步骤为:
3-1)采集无线接入点AP信号,并对信号进行标准化处理;
本步骤具体分为以下两个部分:
3-1-1)遍历博物馆,进行信号采集;
本步骤需要多位志愿者携带有Wi-Fi模块的智能移动设备遍历整个博物馆。智能移动设备中的后台程序每隔一定的时间间隔采集一次所有能够接受到的AP信号,其中每个AP信号包括AP的名称SSID、物理地址BSSID、网络接入性能capability、信号强度RSSI、热点频率frequency。众多AP信号构成一个AP向量,其维度为当前能接收到的无线接入点信标的BSSID个数。
3-1-2)上传AP信号至服务器,并对其进行预处理;
将由不同设备收集到的AP向量上传至服务器。由于信号传播距离的限制,在收集信号时,有些距离较远的AP点无法收到,对于无法检测到的AP点RSSI值设经验最小值-120dbm。
3-1-3)对预处理后的AP信号进行标准化处理。
对不同楼层采集到的数据进行聚类需要有统一的量纲,所以需要由服务器进行标准化处理。记AP向量为fi(i=1,2,...,c),由m个AP信号组成,所有的AP向量fi构成了向量集合S:
Figure FDA0002991603250000021
标准化过程需获得向量集合S中各个分量的并集,经过标准化处理之后形成标准化向量
Figure FDA0002991603250000026
Figure FDA0002991603250000022
以及向量集合S′={g1,g2......gc}。
3-2)对AP向量进行聚类分组,得到若干集合。通过随机游走算法得到集合的观察序列;
本步骤具体分为以下两个部分:
3-2-1)对收集到的AP向量标准数据库进行聚类,得到与楼层对应的若干AP向量集合;
由于楼层层板阻隔导致信号在穿越楼层时出现显著的衰减,并且随着楼层的增加,信号强度衰减更明显。该现象使得同一个AP产生的信号强度在不同楼层之间离散分布,在同一楼层则较为连续,即出现了“离散-聚集”的特性。可以将这些信号进行聚类,聚类得到的集合个数应符合真实楼层的情况。通常使用层次聚类法进行聚类,层次聚类无须预先知道聚类的类别数,每个样本首先自成一类,然后按照距离准则逐步合并,直至达到分类要求。
首先假设初始聚类簇数目为c,将AP集合S′={g1,g2......gc}中的各AP向量
Figure FDA0002991603250000023
Figure FDA0002991603250000024
各自作为一类,按照组间平均距离法计算各类之间的距离。将距离最近的两类Si,Sj合并为一个类别从而形成c-1个类别,直到最终聚类为n类则结束算法,其中使用的组间平均距离计算公式如下:
Figure FDA0002991603250000025
其中,ni,nj分别为聚类簇Si,Sj中包含的数据点数目,dkl表示数据点xk,xl之间的欧式距离。
至此将原有的数据集合S′聚类成n个簇,对应实际的n个楼层V={v1,v2......vn}。
3-2-2)使用随机游走算法遍历聚类得到的集合。
人物在跨越楼层时的移动行为是连续的,仅与前一个楼层位置有关,这一特点与随机游走算法的原理较为相似。于是将由聚类生成的离散的集合通过随机游走算法关联起来,得到大量的集合序列。通过集合序列的马尔科夫学习能够得到集合与真实楼层间一一映射的关系。
3-3)构建隐马尔科夫模型,并进行前向-后向算法的学习,获得集合-楼层映射表;
最后对集合序列进行隐马尔科夫学习,最终获得集合与真实楼层的映射,从而确定人物的楼层归属。对应的隐马尔科夫模型参数λ=(F,V,A,B,π)分别为:
(1)n个楼层F={floor1,floor2......floorn},即n个系统状态;
(2)n个聚类后的AP向量集合V={v1,v2......vn},即n个观察状态;
(3)状态转移矩阵A=[aij]n×n,即用户在各个楼层间行走的转移概率;
(4)混淆矩阵B=[bj(k)]n×n,表示当前用户处于楼层floorj,当他走向其他楼层时,扫描到的AP向量属于集合vk的概率;
(5)初始状态分布序列π={π1,π2,π3,......πn},即用户最初处于某个楼层的概率,通过真实情况的大量数据统计规律可知其概率分布呈均匀分布。
建立马尔科夫模型以后,本步的目的是获得集合与楼层的一一对应关系,即需要求得模型参数中混淆矩阵的取值,因此明确了算法的输入和输出。一般采用前向-后向算法(forward-backward algorithm)进行迭代学习,该方法先用观察序列对隐马尔科夫模型生成一组不准确的参数值,根据后面给出的数据评估这些参数的准确性,反复迭代,并逐渐减少它们的误差,重新生成这些参数,它采用梯度下降的方式来获得错误度最小的参数值,使得最终的一组参数趋于一个稳定的精度。
第一步,给定模型参数λ、观察序列O={o1,o2,...,oT},计算变量ξt(i,j)与γt(i);
(1)ξt(i,j)表示在已知模型参数λ、观察序列O的情况下,t时刻在楼层floori且t+1时刻在楼层floorj的概率,公式如下:
Figure FDA0002991603250000031
式中,αt(i)为前向变量,表示:己知模型参数λ以及截止到t时刻的观察序列o1,o2,...,ot,且t时刻对应的楼层为floori的概率。βt+1(j)为后向变量,表示:在已知模型参数λ,t时刻对应的楼层为floori的条件下,从t+1时刻到结束时刻T的观测序列为ot+1,or+2,...,oT的概率。
(2)变量γt(i)表示在给定参数λ和观察序列O时,t时刻处于楼层floori的概率。
Figure FDA0002991603250000032
其中,
Figure FDA0002991603250000033
表示观察序列O中由楼层floori向其他楼层转换的概率,
Figure FDA0002991603250000034
表示观察序列O中由楼层floori向楼层floorj转换的概率。
第二步,随机选择λ=(A,B,π)中参数的初始值,需要满足
Figure FDA0002991603250000035
Figure FDA0002991603250000041
Figure FDA0002991603250000042
第三步,计算新的参数值
Figure FDA0002991603250000043
若参数值已经收敛,则结束;否则从第二步继续迭代。
Figure FDA0002991603250000044
4.上述基于室内定位技术的博物馆导览系统,所述步骤(3)的具体步骤为
4-1)对AP信号进行实时收集;
用户通过手持智能手机等具有Wi-Fi模块的设备,对AP信号进行收集,并上传至数据库,以AP向量的形式保存。
4-2)将实时收集到的AP向量与楼层集合的对应关系进行比对,得到楼层信息。首先判断收集到的AP向量属于哪一个集合,再根据楼层集合的对应关系得到用户的实时楼层信息。
5.根据权利要求4所述的基于室内定位技术的博物馆导览系统,所述步骤(4)具体步骤为:
5-1)收集RSSI信号值并进行分类;
5-1-1)收集RSSI信号值RV;
信标节点周期性的向周围广播自身的位置坐标及ID信息,未知节点不断扫描区域中存在的信标节点并接收RV,所有节点接收完则停止此次扫描过程。
5-1-2)对采集的RSSI值进行数据分类处理。
将每个信标节点的RSSI值按照升序排列并计算平均值,排序前集合为P,排序后集合为P′,RSSI均值集合为
Figure FDA0002991603250000045
如下所示:
P={(ID1,RV1.1,RV1.2,...,RV1.n),(ID2,RV2.1,RV2.2,...,RV2.n),......,(IDm,RVm.1,RVm.2,...,RVm.n)}
P′={(ID1,RV′1.1,RV′1.2,...,RV′1.n),(ID2,RV′2.1,RV′2.2,...,RV′2.n),......,(IDm,RV′m.1,RV′m.2,...,RV′m.n)}
Figure FDA0002991603250000046
式中,ID是信标节点的编号,
Figure FDA0002991603250000047
指各组RSSI信号的均值,m为信标节点数量。
5-2)对收集到的RSSI值进行卡尔曼滤波及线性插值处理,降低信号的噪声;
5-2-1)卡尔曼滤波主要采用信号与噪声的状态空间模型,利用前一时刻的估计值和现时刻的观测值来更新对状态变量的估计,求出现时刻的估计值。
卡尔曼滤波的流程如下:
第一步,构造一个由高斯白噪声序列驱动的一阶自递归过程,即状态方程和观测方程;
第二步,经过多次测试,设置好合适参数,构造状态噪声方差阵;
第三步,将状态方程和观测方程联立,设置初始值,进行时间更新和测量更新和测量更新。
5-2-2)对经卡尔曼滤波处理的RSSI信号值用线性插值方法来预测已知的多对点对之间的未知点的信号强度。线性插值函数如下:
Figure FDA0002991603250000051
其中(xstart,ystart)是起始坐标,(xend,yend)是最终坐标,xi属于[xstart,xend],yi是通过线性插值得到的对应的值。
5-3)计算加权因子d;
在发射节点的发射功率确定的情况下,根据接收节点接收的信号强度得出能量损耗与距离的关系,计算出信号发出点与接收点的距离,进而通过定位算法确定信号发出点的位置。采用的信号传播模型如下所示:
RV=A-10e*lg(d)
式中,e为信号衰减因子,范围一般为2~4;d为定位节点与参考节点之间的距离,单位为m;A为定位节点与参考节点之间的距离d为1m时测得的RV。
将RSSI均值集合
Figure FDA0002991603250000052
中的RSSI均值分别代入上述公式中求出对应的d1,d2,......,dm,d1,d2,......,dm即为不同信标节点的加权因子。
5-4)利用四边定位算法,选择d最小的四个参考节点用于定位。增加未知节点,根据圆的参数方程几何关系,代入d1,d2,......,dm,三三自由组合,求得交点坐标,对四组估计位置求质心得到更加精确的未知节点坐标,公式如下:
Figure FDA0002991603250000053
式中,已知无线传感器网络N个固定信标节点Bi的位置坐标(xi,yi),其中(1≤i≤N),未知节点的估计位置坐标为(x,y)。
5-4-1)对计算出的各个信标节点到未知节点的距离进行升序排序,选择距离未知节点最近的四个信标节点进行定位;
5-4-2)四边定位过程中先判断圆与圆之间是否存在公共点,即是否相交,若无交点,则使用距离修正方案,来对两圆半径进行修正优化,使之存在有效交感区域,求得交点坐标进行定位;
5-4-3)采用优化权值的加权质心算法,依靠计算得到的交点坐标,测算出未知节点的位置信息。
5-5)得到室内平面位置信息。
6.根据权利要求5所述的基于室内定位技术的博物馆导览系统,所述步骤(5)具体步骤为:
6-1)对得到的室内平面位置信息进行分析,通过与博物馆室内地址相对比获得与之最相近的展品信息;
6-2)根据位置信息选择相应功能:若附近有相近展品,则播放展品信息;否则开启语音导航服务。
CN202110317087.5A 2021-03-25 2021-03-25 一种多楼层室内位置识别方法及其在博物馆导览中的应用 Pending CN113099386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110317087.5A CN113099386A (zh) 2021-03-25 2021-03-25 一种多楼层室内位置识别方法及其在博物馆导览中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110317087.5A CN113099386A (zh) 2021-03-25 2021-03-25 一种多楼层室内位置识别方法及其在博物馆导览中的应用

Publications (1)

Publication Number Publication Date
CN113099386A true CN113099386A (zh) 2021-07-09

Family

ID=76669549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110317087.5A Pending CN113099386A (zh) 2021-03-25 2021-03-25 一种多楼层室内位置识别方法及其在博物馆导览中的应用

Country Status (1)

Country Link
CN (1) CN113099386A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925789A (zh) * 2022-03-28 2022-08-19 安徽建筑大学 一种基于rfid和集成学习的资产设备智能感知方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150111598A1 (en) * 2013-10-21 2015-04-23 Yahoo Japan Corporation Position identification server and position identification method
US20150198443A1 (en) * 2014-01-10 2015-07-16 Alcatel-Lucent Usa Inc. Localization activity classification systems and methods
CN108521627A (zh) * 2018-03-14 2018-09-11 华南理工大学 基于HMM的wifi和地磁融合的室内定位系统及方法
CN108966131A (zh) * 2018-07-23 2018-12-07 广州都市圈网络科技有限公司 基于室内定位的融合楼层推断方法
CN109743680A (zh) * 2019-02-28 2019-05-10 电子科技大学 一种基于pdr结合隐马尔可夫模型的室内在线定位方法
CN110413655A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种基于改进隐马尔科夫模型的楼层识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150111598A1 (en) * 2013-10-21 2015-04-23 Yahoo Japan Corporation Position identification server and position identification method
US20150198443A1 (en) * 2014-01-10 2015-07-16 Alcatel-Lucent Usa Inc. Localization activity classification systems and methods
CN108521627A (zh) * 2018-03-14 2018-09-11 华南理工大学 基于HMM的wifi和地磁融合的室内定位系统及方法
CN108966131A (zh) * 2018-07-23 2018-12-07 广州都市圈网络科技有限公司 基于室内定位的融合楼层推断方法
CN109743680A (zh) * 2019-02-28 2019-05-10 电子科技大学 一种基于pdr结合隐马尔可夫模型的室内在线定位方法
CN110413655A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种基于改进隐马尔科夫模型的楼层识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BRANISLAV RUDIĆ: "A Geometry-Aware Hidden Markov Model for Indoor Positioning", 《2020 IEEE/ASME INTERNATIONAL CONFERENCE ON ADVANCED INTELLIGENT MECHATRONICS (AIM)》 *
QIAN LI: "A Layered Hidden Markov Model for Predicting Human Trajectories in a Multi-floor Building", 《2015 IEEE/WIC/ACM INTERNATIONAL CONFERENCE ON WEB INTELLIGENCE AND INTELLIGENT AGENT TECHNOLOGY (WI-IAT)》 *
REDA A. EL-KHORIBI: "Indoor localization and tracking using posterior state distribution of hidden markov model", 《2013 8TH INTERNATIONAL CONFERENCE ON COMMUNICATIONS AND NETWORKING IN CHINA (CHINACOM)》 *
程默: "基于机器学习的室内定位与数据融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邵剑飞等: "基于位置连续性的室内定位算法", 《福建师范大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114925789A (zh) * 2022-03-28 2022-08-19 安徽建筑大学 一种基于rfid和集成学习的资产设备智能感知方法及装置
CN114925789B (zh) * 2022-03-28 2023-07-04 安徽建筑大学 一种基于rfid和集成学习的资产设备智能感知方法及装置

Similar Documents

Publication Publication Date Title
Song et al. A novel convolutional neural network based indoor localization framework with WiFi fingerprinting
CN111836358B (zh) 定位方法、电子设备和计算机可读存储介质
CN109275095B (zh) 一种基于蓝牙的室内定位系统、定位设备和定位方法
CN111464938B (zh) 定位方法、装置、电子设备和计算机可读存储介质
CN112533163B (zh) 基于NB-IoT改进的融合超宽带和蓝牙的室内定位方法
CN102752855A (zh) 基于路径规则和预测的室内人员定位系统及方法
CN107270889B (zh) 一种基于地磁图谱的室内定位方法及定位系统
CN113064117A (zh) 一种基于深度学习的辐射源定位方法及装置
CN109379711B (zh) 一种定位方法
CN109348416B (zh) 基于二分k均值的指纹室内定位方法
CN109151750A (zh) 一种基于循环神经网络模型的lte室内定位楼层判别方法
CN108989986A (zh) 基于迭代分割空间法的Wi-Fi室内定位方法
CN110290455A (zh) 基于场景识别的目标场景确定方法及系统
CN111901749A (zh) 一种基于多源融合的高精度三维室内定位方法
CN110351660A (zh) 一种基于双步指纹匹配架构的蓝牙室内定位方法
CN112533144B (zh) 室内定位方法、装置、计算设备及计算机存储介质
CN102253365A (zh) 基于无线信号源参数估计的室内定位方法
CN113099386A (zh) 一种多楼层室内位置识别方法及其在博物馆导览中的应用
Jia et al. An indoor and outdoor seamless positioning system based on android platform
CN114173281B (zh) 室内nlos环境下基于toa的定位系统信标节点的优化布局方法
Suseenthiran et al. Indoor positioning utilizing bluetooth low energy RSSI on LoRa system
Huang et al. QSFDEW: a fingerprint positioning method based on quadtree search and fractal direction entropy weighting
KR20120048375A (ko) Knn과 gg방법을 이용한 pcm 군집화 기반의 혼합된 무선 실내 측위 방법
CN115942231A (zh) 一种基于rss的5g室外定位方法
CN111918211B (zh) 一种基于kd树和改进加权knn的室内指纹定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210709