CN113453148A - 联合深度学习与加权k邻近算法的室内位置指纹定位方法 - Google Patents

联合深度学习与加权k邻近算法的室内位置指纹定位方法 Download PDF

Info

Publication number
CN113453148A
CN113453148A CN202110710289.6A CN202110710289A CN113453148A CN 113453148 A CN113453148 A CN 113453148A CN 202110710289 A CN202110710289 A CN 202110710289A CN 113453148 A CN113453148 A CN 113453148A
Authority
CN
China
Prior art keywords
data packet
positioning
relay node
fingerprint
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110710289.6A
Other languages
English (en)
Other versions
CN113453148B (zh
Inventor
孙强
曹埔铭
张子涵
李翔宇
李良程
陈晓敏
黄勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Original Assignee
Nantong University
Nantong Research Institute for Advanced Communication Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University, Nantong Research Institute for Advanced Communication Technologies Co Ltd filed Critical Nantong University
Priority to CN202110710289.6A priority Critical patent/CN113453148B/zh
Publication of CN113453148A publication Critical patent/CN113453148A/zh
Application granted granted Critical
Publication of CN113453148B publication Critical patent/CN113453148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明公开了一种联合深度学习与加权K邻近算法的室内位置指纹定位方法,该方法首先在定位区域采集WLAN信号特征数据建立指纹库以训练卷积神经网络,之后基于该训练完成的CNN网络模型进行用户位置的初定位,然后根据用户初定位位置坐标确定用户在定位区域内的理论范围,并在局部蓝牙Mesh网络中应用加权K邻近算法进行用户精确位置定位,最后将用户精确位置坐标反馈给用户设备。本发明联合应用了深度学习模型与加权K邻近算法进行位置指纹定位算法的优化,提高了该算法的定位精度,同时联合应用了蓝牙Mesh与WiFi技术搭建主体网络,用户设备组网方便,可实现室内高精度定位。

Description

联合深度学习与加权K邻近算法的室内位置指纹定位方法
技术领域
本发明涉及无线通信与人工智能技术领域,具体为联合深度学习与加权K邻近算法的室内位置指纹定位方法。
背景技术
在无线通信技术持续发展的背景下,用户对于高精度位置定位服务的需求日益增加。位置指纹定位算法作为常用的室内定位算法,优势在于无需进行高精度时间同步的测距,但是其定位精度过于依赖指纹点的分布密度,当指纹点分布密度过低时,定位精度急剧下降。尽管于室内定位中应用深度学习能通过找出指纹特征与位置坐标之间的特征关系,在线定位时无需匹配指纹点即可得到较精确预测位置,有效地降低了位置指纹定位算法对指纹点分布密度的依赖。但由于室内环境复杂多变,多墙组的阻拦以及室内的噪声干扰会影响指纹点指纹特征的准确度,深度学习模型找出的特征关系会存在误差,导致定位精度降低。引入WiFi技术则是为了在较大的定位区域中为指纹点采集特征数据提供质量较好的信号。引入蓝牙Mesh技术,则是基于其组网方便、网络中节点功耗低的优势。故基于蓝牙Mesh与WiFi进行定位网络搭建,基于深度学习算法与加权K邻近算法进行位置指纹定位算法在线定位的优化,旨在高精度地进行室内位置指纹定位。
发明内容
本发明的目的在于提供联合深度学习与加权K邻近算法的室内位置指纹定位方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:联合深度学习与加权K邻近算法的室内位置指纹定位方法,包括室内位置指纹定位的离线采集、基于CNN定位网络的线上初定位、基于加权K邻近算法的线上精确定位;其中,室内位置指纹定位的离线采集采用WLAN信号收发数据包,包括如下步骤:
步骤S101:离线采集阶段,在定位区域内布置网络节点,其中锚节点布置于定位区域的各顶角,副中继节点布置于定位区域内房间的角落处或中心处,主中继节点布置于定位区域的中心区域;
步骤S102:在定位区域内部署一台带有WiFi模块的采集设备用于采集WLAN信号指纹特征,并向主中继节点发送入网请求数据包;
步骤S103:主中继节点接收到入网请求数据包,通过身份验证后,允许采集设备加入网络,向采集设备发送允许入网数据包;
步骤S104:采集设备接收到入网允许数据包后,准备测量该位置的信号接收强度值,向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标;
步骤S105:各锚节点接收到指纹测量数据包后,测量所收数据包信号的信号接收强度值RSSIc,RSSIc表示第c个锚节点信号接收强度值,并发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值与其对应的采集设备位置坐标;
步骤S106:主中继节点接收到测量响应数据包后,将所收的信号接收强度测量值组成采集设备信号接收强度集合{RSSI1,RSSI2,...,RSSIc,...},其中RSSIc表示第c个锚节点信号接收强度值,并将该集合与对应位置坐标合并成为一条指纹信息放入位置指纹库中;
步骤S107:主中继节点判断指纹库中存储的指纹信息数量,若存储的指纹信息数量达到N,则转至步骤S110,否则,转至步骤S108;
步骤S108:主中继节点发送继续指纹测量数据包至采集设备;
步骤S109:采集设备接收到继续指纹测量数据包后,改变设备位置并向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标,转至步骤S105;
步骤S110:主中继节点发送停止指纹测量数据包至采集设备;
步骤S111:采集设备接收到停止指纹测量数据包后,停止采集信号接收强度信息;
步骤S112:主中继节点将指纹库中的指纹信息作为CNN定位网络的输入进行神经网络模型的训练,其中各指纹信息的接收信号强度集合作为数据输入,各位置坐标作为标签输入,直至该网络模型训练完成,结束离线收集阶段;
基于CNN定位网络的线上初定位采用WLAN信号收发数据包,包括如下步骤:
步骤S201:在线定位阶段,在定位区域部署了一台安装有WiFi芯片与支持蓝牙Mesh的蓝牙BLE芯片的用户设备,例如智能手机;
步骤S202:用户设备向主中继节点发送入网请求数据包;
步骤S203:主中继节点收到入网请求数据包后,通过身份验证后,允许用户设备接入网络,并发送入网允许数据包至用户设备,该数据包中含有各锚节点的单播地址;
步骤S204:用户设备收到入网允许数据包后,准备进行定位,向各锚节点发送用户位置测量数据包;
步骤S205:各锚节点接收到用户位置信测量数据包,测量所收数据包信号的信号接收强度值RSSIc,其中RSSIc表示第c个锚节点信号接收强度值,发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值;
步骤S206:主中继节点收到各锚节点发送的测量响应数据包,将各信号接收强度值组成用户设备的信号接收强度集合{RSSI1,RSSI2,...,RSSIc,...},其中RSSIc表示第c个锚节点信号接收强度值,并将其输入训练完成的CNN定位网络中,得到用户初定位位置坐标(x0,y0);
基于加权K邻近算法的线上精确定位包括如下步骤:
步骤S301:主中继节点依据公式
Figure BDA0003133391560000031
计算出各副中继节点与用户初定位位置坐标间的理论距离值,其中di表示蓝牙Mesh网络中路由表中第i个副中继节点与用户初定位位置坐标间距离,(xi,yi)为蓝牙Mesh网络中路由表中第i个副中继节点位置坐标,(x0,y0)为用户初定位位置坐标;
步骤S302:主中继节点将各理论距离值从小到大进行排序,取前L个最小值,其中L>3,找出L个最近的副中继节点,该L个节点组成用户设备在定位区域内的理论范围。之后主中继节点基于蓝牙信号发送定位范围数据包至用户设备,该数据包中含L个最近的副中继节点的单播地址;
步骤S303:用户设备接收到定位范围数据包后,准备测量与这L个最近的副中继节点的实际距离,之后用户设备基于蓝牙信号发送给这L个最近的副中继节点距离探测数据包,该数据包中含L个最近的副中继节点的单播地址;
步骤S304:各最近的副中继节点接收到用户设备发送的距离探测数据包后,依据信号接收强度与距离间的公式
Figure BDA0003133391560000041
计算出各点与用户设备间的实际距离,其中Dj表示第j个最近的副中继节点与用户设备间的实际距离,Rj为第j个最近的副中继节点的信号接收强度测量值,P为自由空间中蓝牙Mesh网络内发送端节点与接收端节点相隔1m时的信号接收强度测量值,n为环境衰减因子。之后各最近的副中继节点基于蓝牙信号发送探测响应数据包至主中继节点,该数据包中含各最近的副中继节点与用户设备间的实际距离值;
步骤S305:主中继节点接收到各最近的副中继节点发送的探测响应数据包,基于加权K邻近算法进行用户精确位置坐标的定位,其中加权K邻近算法中K表示算法所取的实际距离值数量,K<L;
步骤S306:主中继节点得到用户精确位置坐标后,基于WLAN信号发送定位响应数据包至用户设备,该数据包中含所测用户精确位置坐标。
优选的,所述步骤S101中,该定位区域设为M×M的区域,C个锚节点布置于定位区域边缘的顶端以广播WLAN信号用于室内定位,副中继节点布置于定位区域内以作为精确定位的辅助节点,主中继节点布置于定位区域的中心区域;其中副中继节点为配备有支持蓝牙Mesh的蓝牙BLE芯片的路由节点;锚节点属于特殊的副中继节点,除了配备有支持蓝牙Mesh的蓝牙BLE芯片外还配备有WiFi芯片;主中继节点既是整个定位系统网络的网关,又是各种用户服务的接收跳转与处理反馈的主要控制节点,配备有支持蓝牙Mesh的蓝牙BLE芯片与WiFi芯片。
优选的,所述步骤S102、步骤S103、步骤S202、步骤S203中,入网请求数据包基于WLAN信号发送,该数据包中包含发送端节点的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S103、步骤S104、步骤S203、步骤S204中,入网允许数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端节点的单播地址参数;
所述步骤S104、步骤S105、步骤S109中,指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数与位置坐标参数、接收端锚节点的单播地址参数;
所述步骤S204、步骤S205中,用户位置测量数据包基于WLAN信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端锚节点的单播地址参数;
所述步骤S105、步骤S106、步骤S205、步骤S206中,测量响应数据包基于WLAN信号发送,该数据包中包含发送端锚节点的单播地址参数、所测信号的信号接收强度值参数点以及对应节点的位置坐标参数、接收端主中继节点的单播地址参数;
所述步骤S108、步骤S109中,继续指纹测量数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端采集设备的单播地址参数;
所述步骤S109、步骤S110中,停止指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S302、步骤S303中,定位范围数据包基于蓝牙信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、L个最近的副中继节点的单播地址参数;
所述步骤S303、步骤S304中,距离探测数据包基于蓝牙信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端各最近的副中继节点的单播地址参数;
所述步骤S304、步骤S305中,探测响应数据包基于蓝牙信号发送,该数据包中包含发送端各最近的副中继节点的单播地址参数、接收端主中继节点的单播地址参数、各最近的副中继节点与用户设备间的实际距离值参数;
所述步骤S306中,定位响应数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、用户精确位置坐标参数。
优选的,所述步骤S112、步骤S206中,CNN定位网络由13层组成,其中输入层用于接收1×4的基于信号接收强度信息的图像数据,其输出为1×4×1的图像;卷积层用于对输入数据进行特征提取,模型中卷积层1、2、3分别由32、64与128个神经元组成,卷积核大小设为1×2,步长设为1,不补零;激励层用于提取输入数据的非线性特征,模型中激励函数均使用Relu函数;池化层用于将输入特征降维输出,模型中采用最大池化即提取特征矩阵对应区域最大值,窗口大小设为1×2,步长设为1,不补零;全连接层用于进一步对输入进行降维与特征提取,模型中共4层全连接层,其中所含神经元个数依次为96、64、32、2,最后一层用于输出2维的位置坐标;输出层使用回归输出,回归函数为均方根误差函数,输出大小为1×2的位置坐标。
优选的,所述步骤S305中,主中继节点所用的加权K邻近算法,该算法首先将L个最近的副中继节点与用户设备的实际距离值按从小到大顺序排序,取前K个最小距离值及对应副中继节点的坐标位置基于公式
Figure BDA0003133391560000071
与公式
Figure BDA0003133391560000072
进行用户位置的预测,其中
Figure BDA0003133391560000073
为第j个副中继节点的权值系数,Dj表示第j个最近的副中继节点与用户设备间的实际距离,(mj,nj)表示第j个副中继节点的位置坐标,(m0,n0)表示最终预测的用户精确位置坐标。
与现有技术相比,本发明的有益效果是:
(1)本发明所组成的蓝牙Mesh与WiFi混合定位网络相较于传统的指纹定位网络,锚节点基于WLAN信号进行指纹点的WiFi指纹特征数据收集,能覆盖较大范围的区域,增强了网络的实用性。基础节点主要为基于蓝牙Mesh信号进行消息交互的蓝牙Mesh节点,其网络覆盖范围较小且节点功耗较低,适用于小范围的精确室内定位应用。故混合两者进行定位网络的搭建,能够在较低网络功耗下进行高精度的室内定位。
(2)本发明在线定位阶段联合应用深度学习与加权K邻近算法能有效提高定位精度,其中应用深度学习进行初定位,能够通过输入有限数量的指纹点信息训练深度学习模型,得出指纹点信号接收强度值与指纹点位置坐标的特征关系,降低了位置指纹算法对指纹点的分布数量与分布密度的依赖性。室内环境的干扰会对指纹点信号接收强度值的精确性产生影响,进而影响训练完成的深度学习网络的定位精度。使用加权K邻近算法进行精确定位,能够一定程度上降低环境干扰对定位精度的影响。
附图说明
图1为本发明所述的室内位置指纹定位算法的定位网络示意图;
图2为本发明所述的室内位置指纹定位算法的离线采集阶段流程图;
图3为本发明所述的室内位置指纹定位算法的基于CNN定位网络的线上初定位阶段流程图;
图4为本发明所述的室内位置指纹定位算法的基于加权K邻近算法的线上精确定位阶段流程图;
图5为本发明所述的室内位置指纹定位算法的CNN定位网络示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种联合深度学习与加权K邻近算法的室内位置指纹定位方法,在图1中,20m×20m的定位区域内,4个锚节点布置于定位区域边缘的顶端,副中继节点布置于定位区域内房间的角落处或中心处,主中继节点布置于整个定位区域的中心区域。当红色记号处用户开始进行定位时,首先发送WLAN信号给主中继节点进行初定位,之后用户设备收到初定位位置坐标消息,确定用户位置的定位范围,然后与附近的副中继节点通过蓝牙Mesh进行通信,基于加权K邻近算法最终得到用户精确位置坐标。
联合深度学习与加权K邻近算法的室内位置指纹定位方法,包括室内位置指纹定位的离线采集、基于CNN定位网络的线上初定位、基于加权K邻近算法的线上精确定位;其中,室内位置指纹定位的离线采集采用WLAN信号收发数据包,包括如下步骤:
步骤S101:离线采集阶段,在定位区域内布置网络节点,其中锚节点布置于定位区域的各顶角,副中继节点布置于定位区域内房间的角落处或中心处,主中继节点布置于定位区域的中心区域;
步骤S102:在定位区域内部署一台带有WiFi模块的采集设备用于采集WLAN信号指纹特征,并向主中继节点发送入网请求数据包;
步骤S103:主中继节点接收到入网请求数据包,通过身份验证后,允许采集设备加入网络,向采集设备发送允许入网数据包;
步骤S104:采集设备接收到入网允许数据包后,准备测量该位置的信号接收强度值,向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标;
步骤S105:各锚节点接收到指纹测量数据包后,测量所收数据包信号的信号接收强度值RSSIc,RSSIc表示第c个锚节点信号接收强度值,并发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值与其对应的采集设备位置坐标;
步骤S106:主中继节点接收到测量响应数据包后,将所收的信号接收强度测量值组成采集设备信号接收强度集合{RSSI1,RSSI2,...,RSSIc,...},其中RSSIc表示第c个锚节点信号接收强度值,并将该集合与对应位置坐标合并成为一条指纹信息放入位置指纹库中;
步骤S107:主中继节点判断指纹库中存储的指纹信息数量,若存储的指纹信息数量达到N,则转至步骤S110,否则,转至步骤S108;
步骤S108:主中继节点发送继续指纹测量数据包至采集设备;
步骤S109:采集设备接收到继续指纹测量数据包后,改变设备位置并向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标,转至步骤S105;
步骤S110:主中继节点发送停止指纹测量数据包至采集设备;
步骤S111:采集设备接收到停止指纹测量数据包后,停止采集信号接收强度信息;
步骤S112:主中继节点将指纹库中的指纹信息作为CNN定位网络的输入进行神经网络模型的训练,其中各指纹信息的接收信号强度集合作为数据输入,各位置坐标作为标签输入,直至该网络模型训练完成,结束离线收集阶段;
基于CNN定位网络的线上初定位采用WLAN信号收发数据包,包括如下步骤:
步骤S201:在线定位阶段,在定位区域部署了一台安装有WiFi芯片与支持蓝牙Mesh的蓝牙BLE芯片的用户设备,例如智能手机;
步骤S202:用户设备向主中继节点发送入网请求数据包;
步骤S203:主中继节点收到入网请求数据包后,通过身份验证后,允许用户设备接入网络,并发送入网允许数据包至用户设备,该数据包中含有各锚节点的单播地址;
步骤S204:用户设备收到入网允许数据包后,准备进行定位,向各锚节点发送用户位置测量数据包;
步骤S205:各锚节点接收到用户位置信测量数据包,测量所收数据包信号的信号接收强度值RSSIc,其中RSSIc表示第c个锚节点信号接收强度值,发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值;
步骤S206:主中继节点收到各锚节点发送的测量响应数据包,将各信号接收强度值组成用户设备的信号接收强度集合{RSSI1,RSSI2,...,RSSIc,...},其中RSSIc表示第c个锚节点信号接收强度值,并将其输入训练完成的CNN定位网络中,得到用户初定位位置坐标(x0,y0);
基于加权K邻近算法的线上精确定位包括如下步骤:
步骤S301:主中继节点依据公式
Figure BDA0003133391560000101
计算出各副中继节点与用户初定位位置坐标间的理论距离值,其中di表示蓝牙Mesh网络中路由表中第i个副中继节点与用户初定位位置坐标间距离,(xi,yi)为蓝牙Mesh网络中路由表中第i个副中继节点位置坐标,(x0,y0)为用户初定位位置坐标;
步骤S302:主中继节点将各理论距离值从小到大进行排序,取前L个最小值,其中L>3,找出L个最近的副中继节点,该L个节点组成用户设备在定位区域内的理论范围。之后主中继节点基于蓝牙信号发送定位范围数据包至用户设备,该数据包中含L个最近的副中继节点的单播地址;
步骤S303:用户设备接收到定位范围数据包后,准备测量与这L个最近的副中继节点的实际距离,之后用户设备基于蓝牙信号发送给这L个最近的副中继节点距离探测数据包,该数据包中含L个最近的副中继节点的单播地址;
步骤S304:各最近的副中继节点接收到用户设备发送的距离探测数据包后,依据信号接收强度与距离间的公式
Figure BDA0003133391560000111
计算出各点与用户设备间的实际距离,其中Dj表示第j个最近的副中继节点与用户设备间的实际距离,Rj为第j个最近的副中继节点的信号接收强度测量值,P为自由空间中蓝牙Mesh网络内发送端节点与接收端节点相隔1m时的信号接收强度测量值,n为环境衰减因子。之后各最近的副中继节点基于蓝牙信号发送探测响应数据包至主中继节点,该数据包中含各最近的副中继节点与用户设备间的实际距离值;
步骤S305:主中继节点接收到各最近的副中继节点发送的探测响应数据包,基于加权K邻近算法进行用户精确位置坐标的定位,其中加权K邻近算法中K表示算法所取的实际距离值数量,K<L;
步骤S306:主中继节点得到用户精确位置坐标后,基于WLAN信号发送定位响应数据包至用户设备,该数据包中含所测用户精确位置坐标。
本发明中,所述步骤S101中,该定位区域设为M×M的区域,C个锚节点布置于定位区域边缘的顶端以广播WLAN信号用于室内定位,副中继节点布置于定位区域内以作为精确定位的辅助节点,主中继节点布置于定位区域的中心区域;其中副中继节点为配备有支持蓝牙Mesh的蓝牙BLE芯片的路由节点;锚节点属于特殊的副中继节点,除了配备有支持蓝牙Mesh的蓝牙BLE芯片外还配备有WiFi芯片;主中继节点既是整个定位系统网络的网关,又是各种用户服务的接收跳转与处理反馈的主要控制节点,配备有支持蓝牙Mesh的蓝牙BLE芯片与WiFi芯片。
本发明中,所述步骤S102、步骤S103、步骤S202、步骤S203中,入网请求数据包基于WLAN信号发送,该数据包中包含发送端节点的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S103、步骤S104、步骤S203、步骤S204中,入网允许数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端节点的单播地址参数;
所述步骤S104、步骤S105、步骤S109中,指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数与位置坐标参数、接收端锚节点的单播地址参数;
所述步骤S204、步骤S205中,用户位置测量数据包基于WLAN信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端锚节点的单播地址参数;
所述步骤S105、步骤S106、步骤S205、步骤S206中,测量响应数据包基于WLAN信号发送,该数据包中包含发送端锚节点的单播地址参数、所测信号的信号接收强度值参数点以及对应节点的位置坐标参数、接收端主中继节点的单播地址参数;
所述步骤S108、步骤S109中,继续指纹测量数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端采集设备的单播地址参数;
所述步骤S109、步骤S110中,停止指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S302、步骤S303中,定位范围数据包基于蓝牙信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、L个最近的副中继节点的单播地址参数;
所述步骤S303、步骤S304中,距离探测数据包基于蓝牙信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端各最近的副中继节点的单播地址参数;
所述步骤S304、步骤S305中,探测响应数据包基于蓝牙信号发送,该数据包中包含发送端各最近的副中继节点的单播地址参数、接收端主中继节点的单播地址参数、各最近的副中继节点与用户设备间的实际距离值参数;
所述步骤S306中,定位响应数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、用户精确位置坐标参数。
本发明中,所述步骤S112、步骤S206中,CNN定位网络由13层组成,其中输入层用于接收1×4的基于信号接收强度信息的图像数据,其输出为1×4×1的图像;卷积层用于对输入数据进行特征提取,模型中卷积层1、2、3分别由32、64与128个神经元组成,卷积核大小设为1×2,步长设为1,不补零;激励层用于提取输入数据的非线性特征,模型中激励函数均使用Relu函数;池化层用于将输入特征降维输出,模型中采用最大池化即提取特征矩阵对应区域最大值,窗口大小设为1×2,步长设为1,不补零;全连接层用于进一步对输入进行降维与特征提取,模型中共4层全连接层,其中所含神经元个数依次为96、64、32、2,最后一层用于输出2维的位置坐标;输出层使用回归输出,回归函数为均方根误差函数,输出大小为1×2的位置坐标。
所述步骤S107中,指纹库中存储的指纹信息数量N为CNN定位网络数据集的数据个数,可基于室内区域的变化而变化,该变量值越大CNN定位网络的训练效果越好。
本发明中,所述步骤S305中,主中继节点所用的加权K邻近算法,该算法首先将L个最近的副中继节点与用户设备的实际距离值按从小到大顺序排序,取前K个最小距离值及对应副中继节点的坐标位置基于公式
Figure BDA0003133391560000141
与公式
Figure BDA0003133391560000142
进行用户位置的预测,其中
Figure BDA0003133391560000143
为第j个副中继节点的权值系数,Dj表示第j个最近的副中继节点与用户设备间的实际距离,(mj,nj)表示第j个副中继节点的位置坐标,(m0,n0)表示最终预测的用户精确位置坐标。
综上所述,本发明所组成的蓝牙Mesh与WiFi混合定位网络相较于传统的指纹定位网络,锚节点基于WLAN信号进行指纹点的WiFi指纹特征数据收集,能覆盖较大范围的区域,增强了网络的实用性。基础节点主要为基于蓝牙Mesh信号进行消息交互的蓝牙Mesh节点,其网络覆盖范围较小且节点功耗较低,适用于小范围的精确室内定位应用。故混合两者进行定位网络的搭建,能够在较低网络功耗下进行高精度的室内定位;本发明在线定位阶段联合应用深度学习与加权K邻近算法能有效提高定位精度,其中应用深度学习进行初定位,能够通过输入有限数量的指纹点信息训练深度学习模型,得出指纹点信号接收强度值与指纹点位置坐标的特征关系,降低了位置指纹算法对指纹点的分布数量与分布密度的依赖性。室内环境的干扰会对指纹点信号接收强度值的精确性产生影响,进而影响训练完成的深度学习网络的定位精度。使用加权K邻近算法进行精确定位,能够一定程度上降低环境干扰对定位精度的影响
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (5)

1.联合深度学习与加权K邻近算法的室内位置指纹定位方法,其特征在于:包括以下步骤:A、室内位置指纹定位的离线采集;B、基于CNN定位网络的线上初定位;C、基于加权K邻近算法的线上精确定位;其中,室内位置指纹定位的离线采集采用WLAN信号收发数据包,包括如下步骤:
步骤S101:离线采集阶段,在定位区域内布置网络节点,其中锚节点布置于定位区域的各顶角,副中继节点布置于定位区域内房间的角落处或中心处,主中继节点布置于定位区域的中心区域;
步骤S102:在定位区域内部署一台带有WiFi模块的采集设备用于采集WLAN信号指纹特征,并向主中继节点发送入网请求数据包;
步骤S103:主中继节点接收到入网请求数据包,通过身份验证后,允许采集设备加入网络,向采集设备发送允许入网数据包;
步骤S104:采集设备接收到入网允许数据包后,准备测量该位置的信号接收强度值,向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标;
步骤S105:各锚节点接收到指纹测量数据包后,测量所收数据包信号的信号接收强度值RSSIc,RSSIc表示第c个锚节点信号接收强度值,并发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值与其对应的采集设备位置坐标;
步骤S106:主中继节点接收到测量响应数据包后,将所收的信号接收强度测量值组成采集设备信号接收强度集合{RSSI1,RSSI2,…,RSSIc,…},其中RSSIc表示第c个锚节点信号接收强度值,并将该集合与对应位置坐标合并成为一条指纹信息放入位置指纹库中;
步骤S107:主中继节点判断指纹库中存储的指纹信息数量,若存储的指纹信息数量达到N,则转至步骤S110,否则,转至步骤S108;
步骤S108:主中继节点发送继续指纹测量数据包至采集设备;
步骤S109:采集设备接收到继续指纹测量数据包后,改变设备位置并向各锚节点发送指纹测量数据包,该数据包中含有采集设备的位置坐标,转至步骤S105;
步骤S110:主中继节点发送停止指纹测量数据包至采集设备;
步骤S111:采集设备接收到停止指纹测量数据包后,停止采集信号接收强度信息;
步骤S112:主中继节点将指纹库中的指纹信息作为CNN定位网络的输入进行神经网络模型的训练,其中各指纹信息的接收信号强度集合作为数据输入,各位置坐标作为标签输入,直至该网络模型训练完成,结束离线收集阶段;
基于CNN定位网络的线上初定位采用WLAN信号收发数据包,包括如下步骤:
步骤S201:在线定位阶段,在定位区域部署了一台安装有WiFi芯片与支持蓝牙Mesh的蓝牙BLE芯片的用户设备,例如智能手机;
步骤S202:用户设备向主中继节点发送入网请求数据包;
步骤S203:主中继节点收到入网请求数据包后,通过身份验证后,允许用户设备接入网络,并发送入网允许数据包至用户设备,该数据包中含有各锚节点的单播地址;
步骤S204:用户设备收到入网允许数据包后,准备进行定位,向各锚节点发送用户位置测量数据包;
步骤S205:各锚节点接收到用户位置信测量数据包,测量所收数据包信号的信号接收强度值RSSIc,其中RSSIc表示第c个锚节点信号接收强度值,发送测量响应数据包至主中继节点,该数据包中含有信号接收强度测量值;
步骤S206:主中继节点收到各锚节点发送的测量响应数据包,将各信号接收强度值组成用户设备的信号接收强度集合{RSSI1,RSSI2,...,RSSIc,...},其中RSSIc表示第c个锚节点信号接收强度值,并将其输入训练完成的CNN定位网络中,得到用户初定位位置坐标(x0,y0);
基于加权K邻近算法的线上精确定位包括如下步骤:
步骤S301:主中继节点依据公式
Figure RE-RE-FDA0003167928850000031
计算出各副中继节点与用户初定位位置坐标间的理论距离值,其中di表示蓝牙Mesh网络中路由表中第i个副中继节点与用户初定位位置坐标间距离,(xi,yi)为蓝牙Mesh网络中路由表中第i个副中继节点位置坐标,(x0,y0)为用户初定位位置坐标;
步骤S302:主中继节点将各理论距离值从小到大进行排序,取前L个最小值,其中L>3,找出L个最近的副中继节点,该L个节点组成用户设备在定位区域内的理论范围。之后主中继节点基于蓝牙信号发送定位范围数据包至用户设备,该数据包中含L个最近的副中继节点的单播地址;
步骤S303:用户设备接收到定位范围数据包后,准备测量与这L个最近的副中继节点的实际距离,之后用户设备基于蓝牙信号发送给这L个最近的副中继节点距离探测数据包,该数据包中含L个最近的副中继节点的单播地址;
步骤S304:各最近的副中继节点接收到用户设备发送的距离探测数据包后,依据信号接收强度与距离间的公式
Figure RE-RE-FDA0003167928850000041
计算出各点与用户设备间的实际距离,其中Dj表示第j个最近的副中继节点与用户设备间的实际距离,Rj为第j个最近的副中继节点的信号接收强度测量值,P为自由空间中蓝牙Mesh网络内发送端节点与接收端节点相隔1m时的信号接收强度测量值,n为环境衰减因子。之后各最近的副中继节点基于蓝牙信号发送探测响应数据包至主中继节点,该数据包中含各最近的副中继节点与用户设备间的实际距离值;
步骤S305:主中继节点接收到各最近的副中继节点发送的探测响应数据包,基于加权K邻近算法进行用户精确位置坐标的定位,其中加权K邻近算法中K表示算法所取的实际距离值数量,K<L;
步骤S306:主中继节点得到用户精确位置坐标后,基于WLAN信号发送定位响应数据包至用户设备,该数据包中含所测用户精确位置坐标。
2.根据权利要求1所述的联合深度学习与加权K邻近算法的室内位置指纹定位方法,其特征在于:所述步骤S101中,该定位区域设为M×M的区域,C个锚节点布置于定位区域边缘的顶端以广播WLAN信号用于室内定位,副中继节点布置于定位区域内以作为精确定位的辅助节点,主中继节点布置于定位区域的中心区域;其中副中继节点为配备有支持蓝牙Mesh的蓝牙BLE芯片的路由节点;锚节点属于特殊的副中继节点,除了配备有支持蓝牙Mesh的蓝牙BLE芯片外还配备有WiFi芯片;主中继节点既是整个定位系统网络的网关,又是各种用户服务的接收跳转与处理反馈的主要控制节点,配备有支持蓝牙Mesh的蓝牙BLE芯片与WiFi芯片。
3.根据权利要求1所述的联合深度学习与加权K邻近算法的室内位置指纹定位方法,其特征在于:所述步骤S102、步骤S103、步骤S202、步骤S203中,入网请求数据包基于WLAN信号发送,该数据包中包含发送端节点的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S103、步骤S104、步骤S203、步骤S204中,入网允许数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端节点的单播地址参数;
所述步骤S104、步骤S105、步骤S109中,指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数与位置坐标参数、接收端锚节点的单播地址参数;
所述步骤S204、步骤S205中,用户位置测量数据包基于WLAN信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端锚节点的单播地址参数;
所述步骤S105、步骤S106、步骤S205、步骤S206中,测量响应数据包基于WLAN信号发送,该数据包中包含发送端锚节点的单播地址参数、所测信号的信号接收强度值参数点以及对应节点的位置坐标参数、接收端主中继节点的单播地址参数;
所述步骤S108、步骤S109中,继续指纹测量数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端采集设备的单播地址参数;
所述步骤S109、步骤S110中,停止指纹测量数据包基于WLAN信号发送,该数据包中包含发送端采集设备的单播地址参数、接收端主中继节点的单播地址参数;
所述步骤S302、步骤S303中,定位范围数据包基于蓝牙信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、L个最近的副中继节点的单播地址参数;
所述步骤S303、步骤S304中,距离探测数据包基于蓝牙信号发送,该数据包中包含发送端用户设备的单播地址参数、接收端各最近的副中继节点的单播地址参数;
所述步骤S304、步骤S305中,探测响应数据包基于蓝牙信号发送,该数据包中包含发送端各最近的副中继节点的单播地址参数、接收端主中继节点的单播地址参数、各最近的副中继节点与用户设备间的实际距离值参数;
所述步骤S306中,定位响应数据包基于WLAN信号发送,该数据包中包含发送端主中继节点的单播地址参数、接收端用户设备的单播地址参数、用户精确位置坐标参数。
4.根据权利要求1所述的联合深度学习与加权K邻近算法的室内位置指纹定位方法,其特征在于:所述步骤S112、步骤S206中,CNN定位网络由13层组成,其中输入层用于接收1×4的基于信号接收强度信息的图像数据,其输出为1×4×1的图像;卷积层用于对输入数据进行特征提取,模型中卷积层1、2、3分别由32、64与128个神经元组成,卷积核大小设为1×2,步长设为1,不补零;激励层用于提取输入数据的非线性特征,模型中激励函数均使用Relu函数;池化层用于将输入特征降维输出,模型中采用最大池化即提取特征矩阵对应区域最大值,窗口大小设为1×2,步长设为1,不补零;全连接层用于进一步对输入进行降维与特征提取,模型中共4层全连接层,其中所含神经元个数依次为96、64、32、2,最后一层用于输出2维的位置坐标;输出层使用回归输出,回归函数为均方根误差函数,输出大小为1×2的位置坐标。
5.根据权利要求1所述的联合深度学习与加权K邻近算法的室内位置指纹定位方法,其特征在于:所述步骤S305中,主中继节点所用的加权K邻近算法,该算法首先将L个最近的副中继节点与用户设备的实际距离值按从小到大顺序排序,取前K个最小距离值及对应副中继节点的坐标位置基于公式
Figure RE-RE-FDA0003167928850000081
与公式
Figure RE-RE-FDA0003167928850000082
进行用户位置的预测,其中
Figure RE-RE-FDA0003167928850000083
为第j个副中继节点的权值系数,Dj表示第j个最近的副中继节点与用户设备间的实际距离,(mj,nj)表示第j个副中继节点的位置坐标,(m0,n0)表示最终预测的用户精确位置坐标。
CN202110710289.6A 2021-06-25 2021-06-25 联合深度学习与加权k邻近算法的室内位置指纹定位方法 Active CN113453148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110710289.6A CN113453148B (zh) 2021-06-25 2021-06-25 联合深度学习与加权k邻近算法的室内位置指纹定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110710289.6A CN113453148B (zh) 2021-06-25 2021-06-25 联合深度学习与加权k邻近算法的室内位置指纹定位方法

Publications (2)

Publication Number Publication Date
CN113453148A true CN113453148A (zh) 2021-09-28
CN113453148B CN113453148B (zh) 2022-05-13

Family

ID=77812725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110710289.6A Active CN113453148B (zh) 2021-06-25 2021-06-25 联合深度学习与加权k邻近算法的室内位置指纹定位方法

Country Status (1)

Country Link
CN (1) CN113453148B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115175306A (zh) * 2022-06-24 2022-10-11 国网河南省电力公司经济技术研究院 一种基于卷积神经网络的电力物联网室内定位方法
WO2023128867A3 (en) * 2021-12-29 2023-10-05 Grabtaxi Holdings Pte. Ltd. Method and device for determining a location of a mobile device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898692A (zh) * 2016-03-25 2016-08-24 北京智慧图科技有限责任公司 一种室内定位方法及装置
CN109061616A (zh) * 2018-08-31 2018-12-21 南通大学 一种移动目标定位方法
CN109089313A (zh) * 2018-09-12 2018-12-25 河南迈驰物联网有限公司 一种双指纹联合定位方法和装置
CN109151995A (zh) * 2018-09-04 2019-01-04 电子科技大学 一种基于信号强度的深度学习回归融合定位方法
CN110381440A (zh) * 2019-06-16 2019-10-25 西安电子科技大学 基于深度学习的联合rss与csi的指纹室内定位方法
CN111586605A (zh) * 2020-05-20 2020-08-25 南通大学 基于邻近加权自适应k值的KNN的室内目标定位方法
CN111970633A (zh) * 2020-08-24 2020-11-20 桂林电子科技大学 基于WiFi、蓝牙和步行者行航位推算融合的室内定位方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898692A (zh) * 2016-03-25 2016-08-24 北京智慧图科技有限责任公司 一种室内定位方法及装置
CN109061616A (zh) * 2018-08-31 2018-12-21 南通大学 一种移动目标定位方法
CN109151995A (zh) * 2018-09-04 2019-01-04 电子科技大学 一种基于信号强度的深度学习回归融合定位方法
CN109089313A (zh) * 2018-09-12 2018-12-25 河南迈驰物联网有限公司 一种双指纹联合定位方法和装置
CN110381440A (zh) * 2019-06-16 2019-10-25 西安电子科技大学 基于深度学习的联合rss与csi的指纹室内定位方法
CN111586605A (zh) * 2020-05-20 2020-08-25 南通大学 基于邻近加权自适应k值的KNN的室内目标定位方法
CN111970633A (zh) * 2020-08-24 2020-11-20 桂林电子科技大学 基于WiFi、蓝牙和步行者行航位推算融合的室内定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚阳等: "基于RBF神经网络的室内定位算法研究", 《电子测量技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128867A3 (en) * 2021-12-29 2023-10-05 Grabtaxi Holdings Pte. Ltd. Method and device for determining a location of a mobile device
CN115175306A (zh) * 2022-06-24 2022-10-11 国网河南省电力公司经济技术研究院 一种基于卷积神经网络的电力物联网室内定位方法
CN115175306B (zh) * 2022-06-24 2024-05-07 国网河南省电力公司经济技术研究院 一种基于卷积神经网络的电力物联网室内定位方法

Also Published As

Publication number Publication date
CN113453148B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Wang et al. A novel weighted KNN algorithm based on RSS similarity and position distance for Wi-Fi fingerprint positioning
CN106851573B (zh) 基于对数路径损耗模型的联合加权k近邻室内定位方法
CN106793082B (zh) 一种在wlan/蓝牙异构网络环境中的移动设备定位方法
CN113453148B (zh) 联合深度学习与加权k邻近算法的室内位置指纹定位方法
CN110557716B (zh) 一种基于对数正态模型的室内定位方法
CN103209478A (zh) 基于分类阈值及信号强度权重的室内定位方法
CN109151750B (zh) 一种基于循环神经网络模型的lte室内定位楼层判别方法
CN110035384A (zh) 一种融合多传感器信号滤波优化的室内定位方法
CN103415069A (zh) 一种基于传感网和蜂窝网融合的移动节点定位算法
CN105682048B (zh) 蜂窝网环境下基于pca的子空间匹配室内指纹定位方法
Lin et al. An indoor Wi-Fi localization algorithm using ranging model constructed with transformed RSSI and BP neural network
CN110351654A (zh) 一种定位方法、装置、存储介质及电子设备
CN109151839A (zh) 一种lpwa网络的网络规划方法
CN110351660A (zh) 一种基于双步指纹匹配架构的蓝牙室内定位方法
CN106954187A (zh) 一种基于异构网络的室内定位方法
CN108769910A (zh) 一种WiFi定位的方法
CN110611952B (zh) 指纹匹配定位方法
CN109541537B (zh) 一种基于测距的普适室内定位方法
CN113543026B (zh) 一种基于径向基函数网络的多楼层室内定位方法
Sun et al. A novel GCN based indoor localization system with multiple access points
CN110769499A (zh) 一种基于双射频混合rssi指纹定位方法
CN108680897A (zh) 一种室内定位方法、装置、电子设备及存储介质
CN106954186A (zh) 一种基于蜂窝网与Wi‑Fi技术融合的室内外无缝定位方法
Diao et al. Enhancing trilateration localization by adaptive selecting distances
Zhong et al. A wifi positioning algorithm based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant