CN113490137B - 一种基于WiFi与视觉融合室内定位方法 - Google Patents

Abstract

本发明提出一种WiFi和视觉融合的室内定位方法，包括如下步骤：在室内定位区域中设定指纹点，同时采集WiFi数据和图像数据，并构建离线指纹库；在室内定位区域内任意位置设定待测点，并同时采集该点的WiFi数据和图像数据；采用WiFi定位算法筛选出WiFi候选点集；将WiFi候选点集的结果作为限制范围，采用图像定位算法筛选出图像候选点集；采用融合定位算法将WiFi估计位置与图像估计位置进行融合，从而实现室内定位。

Description

一种基于WiFi与视觉融合室内定位方法

技术领域

本发明涉及室内定位技术领域，尤其涉及一种基于WiFi与视觉融合室内定位方法。

背景技术

21世纪，WiFi作为新型技术得到了迅猛的发展。在各种公共场所例如：超市，咖啡厅，图书馆等，WiFi信号随处可见且使用方便。现阶段，WiFi信号主要应用于数据传输及通讯，极少通过WiFi信号实现定位功能。然而WiFi几乎不存在部署成本，仅需要采用接收装置即可获取其信息；WiFi不属于视觉测量，从而不存在视觉混叠；WiFi信号对复杂的室内环境具有一定的包容性，因此WiFi信号应用于室内定位技术中存在极高的研究价值。但是仅采用WiFi信号所获取的室内环境信息缺乏丰富度，导致定位精度及定位稳定性有待加强。由于室内环境复杂且多变，环境中人为运动，湿度温度，多径传播等因素都会导致WiFi信号产生波动及变化，因此导致WiFi定位无法实现厘米级定位，单一的WiFi信号其定位精度大约在2-3米。

在WiFi定位技术流行之时，视觉定位也是实现室内定位的关键技术之一。视觉定位技术由于不需要对室内外部环境进行设备部署，设备成本低，获取的环境信息量丰富，定位精度高等优势，得到了广泛的关注且发展迅速。但是视觉定位存在着两个致命的缺点：视觉混叠和计算代价大。特别是在大型室内环境，例如：机场，图书馆，博物馆等对计算机的需求是一项巨大的挑战。为在大型室内环境中获得成本低，定位鲁棒性强，定位精度高，计算代价小的定位系统。

因此有必要提出一种基于WiFi与视觉融合的室内定位方法以解决上述问题。

名词解释：

AP：即无线接入点。

发明内容

本发明针对上述要解决的技术问题，提供一种高效的WiFi与视觉融合的室内定位方法。

本发明提供一种基于WiFi与视觉融合室内定位方法，包括如下步骤：

S1：在室内定位区域中建立网格指纹点，在指纹点处同时采集WiFi数据和图像数据并对WiFi数据和图像数据进行预处理，构建离线指纹库；

S2：在定位区域内的任意位置作为待测点，采集该点的WiFi数据和图像数据，同时记录待测点的真实位置；

S3：将待测点的WiFi数据与离线指纹库中WiFi进行匹配，筛选出若干个WiFi候选点；

S4：以WiFi候选点作为约束条件，将待测点图像与在约束条件内的离线图像数据进行匹配。在图像匹配前，将图像中的行人等移动障碍物进行剔除。随后采用图像定位算法筛选出图像候选点。

S5：对WiFi定位和图像定位分别赋予相应的权重值，随后对WiFi候选点以及图像候选点也赋予相应的权重值，通过双层联合权重值实现室内定位。

优选的，所述步骤S1包括如下步骤：

S11：在室内定位区域内设定估计大小间距的网格指纹点，设定室内定位区域一共有N_s个指纹点，N_AP个AP，在每个指纹点处同时采集M个WiFi数据和图像数据，图像数据来源于同一点的不同方向。因此室内指纹点集合可表示为，L＝{L₁,L₂,...,L_Ns}。每个指纹点可表示为L_i＝{RSS_i,I_i,o_i}(i＝1,2,...,N_s)。其中

和o_i＝{x_i,y_i}分别表示每个指纹点所包含的WiFi特征，图像特征以及真实位置信息。

表示所采集的第i个指纹点的第j个AP的WiFi特征。

表示所采集的第i个指纹点的第j张图像特征。x_i,y_i(i＝1,2,...,N_s)表示世界坐标系下位置。

S12：对采集的WiFi数据与图像数据进行处理，将WiFi数据中的坏值进行剔除，以及图像数据中相似度大的图像剔除。

S13：对预处理后的WiFi数据和图像数据转化为相应的特征进行表述，WiFi特征可以采用均值表述，图像特征可以采用视觉词袋技术进行表述，从而构建离线指纹数据库。同时将离线图像数据以及一些公共室内图像数据集进行训练从而实现目标检测，训练算法包括但不限于：R-CNN，fast R-CNN等。

优选的，所述步骤S2包括如下步骤：

在室内定位环境内任意位置设定待测点，可以是指纹点位置，也可以是非指纹点位置，同时采集若干个WiFi数据和图像数据，经过上述同样的预处理方式，得到待测点的WiFi数据和图像数据。待测点的真实数据也保留下来作为后续定位精度误差分析。

优选的，所述步骤S3具体为：

S31：将待测点的WiFi数据转化为WiFi特征，随后将待测点的WiFi特征与离线指纹库进行匹配

优选的，所述步骤S4具体为：

S41：将WiFi候选点作为约束条件进行图像候选点的筛选，约束条件如下，

|Lx_i-x_j|+|Ly_i-y_j|≤γ(i＝1,2,...,K,j＝1,2,...,N_s)

其中(Lx_i,Ly_i)和(x_j,y_j)分别表示WiFi候选点位置和指纹点位置，γ为条件阈值。

S42：由于室内定位经常存在人员流动的情况，因此在图像匹配前，将待测点的图像数据将室内人员进行识别及分割。

S43：识别分割后，将待测点的图像特征与被约束指纹点的图像特征进行匹配，筛选出相似度最大的前S个作为图像候选点。

优选的，所述步骤S5包括如下步骤：

S51：由于WiFi定位与视觉定位精度不相同，因此对WiFi定位结果与图像定位结果应赋予不同的权重值。采集N_T个待测点信息，分别采用WiFi定位算法与图像定位算法得到定位结果，设定WiFi定位结果为loc_w＝(X_W,Y_W)，图像定位结果为loc_p＝(X_P,Y_P)，WiFi权重值为W_w，图像权重值为W_p。并满足目标函数：

其约束条件为：

W_w+W_p＝1

其中locⁱ为待测点的真实位置，随后可采用多种方法获得WiFi和图像定位的权重值。

S52：随后对筛选出的K个WiFi候选点与S个图像候选点赋予相应权重值，即可采用无监督学习方法又可采用有监督学习方法，从而实现最终的定位结果。

与相关技术相比，本发明提供的基于WiFi与视觉融合的室内定位方法中应用深度学习对图像进行识别分割，将室内环境中人为的干扰进行有效处理，同时采用双层联合权重值将WiFi和视觉进行有效的融合实现最终定位。本发明在定位鲁棒性和定位精度上具备极强竞争力。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供了本发明提供一种基于WiFi与视觉融合的室内定位方法，包括如下步骤：

S1：在室内定位区域中建立网格指纹点，在指纹点处同时采集WiFi数据和图像数据并对WiFi数据和图像数据进行预处理，构建离线指纹库。

在室内定位区域设立网格指纹点，并采集各网格指纹点的WiFi数据和图像数据，采集过程采用旋转方式，这样采集的图像数据来自于该点的不同方向，并对数据进行相应的预处理，提高输入信号的质量。

所述步骤S1具体为：

S11：在室内定位区域内设定估计大小间距的网格指纹点，设定室内定位区域一共有N_s个指纹点，N_AP个AP，在每个指纹点处同时采集M个WiFi数据和图像数据，图像数据来源于同一点的不同方向。因此室内指纹点集合可表示为，L＝{L₁,L₂,...,L_Ns}。每个指纹点可表示为L_i＝{RSS_i,I_i,o_i}(i＝1,2,...,N_s)。其中

和o_i＝{x_i,y_i}分别表示每个指纹点所包含的WiFi特征，图像特征以及真实位置信息。

表示所采集的第i个指纹点的第j个AP的WiFi特征。

表示所采集的第i个指纹点的第j张图像特征。x_i,y_i(i＝1,2,...,N_s)表示世界坐标系下位置。

S12：对采集的WiFi数据与图像数据进行处理，将WiFi数据中的坏值进行剔除，以及图像数据中相似度大的图像剔除。

S13：对预处理后的WiFi数据和图像数据转化为相应的特征进行表述，WiFi特征可以采用均值表述，图像特征可以采用视觉词袋技术进行表述，从而构建离线指纹数据库。同时将离线图像数据以及一些公共室内图像数据集进行训练从而实现目标检测，训练算法包括但不限于：R-CNN，fast R-CNN等。

S2：在定位区域内的任意位置作为待测点，采集待测点的WiFi数据和图像数据，同时记录该点的真实位置。

需采集多个待测点的信息，其中一部分作为获取WiFi定位与图像定位权重值的训练集，另一部分作为测试集，测试本次实验方法的定位性能。

所述步骤S2具体为：

在室内定位环境内任意位置设定待测点，可以是指纹点位置，也可以是非指纹点位置，同时采集若干个WiFi数据和图像数据，经过上述同样的预处理方式，得到待测点的WiFi数据和图像数据。待测点的真实数据也保留下来作为后续定位精度误差分析。

S3：将待测点的WiFi数据与离线指纹库中WiFi进行匹配，筛选出若干个WiFi候选点。

WiFi定位阶段，一方面，WiFi定位计算代价较小，可作为图像定位的约束条件，减少图像定位的计算代价，缩短室内定位时间。另一方面，获取WiFi候选点，为后续融合定位提供条件。

所述步骤S3具体为：

S31：将待测点的WiFi数据转化为WiFi特征，随后将待测点的WiFi特征与离线指纹库进行匹配

S4：以WiFi候选点作为约束条件，将待测点图像与在约束条件内的离线图像数据进行匹配。在图像匹配前，将图像中的行人等移动障碍物进行剔除。随后采用图像定位算法筛选出图像候选点。

图像定位阶段，采用深度学习方法将室内定位中人为移动的干扰剔除，提高室内定位的鲁棒性，同时采用特征匹配算法，在被约束的WiFi候选点中筛选出图像候选点。

所述步骤S4包括如下步骤：

S41：将WiFi候选点作为约束条件进行图像候选点的筛选，约束条件如下，

|Lx_i-x_j|+|Ly_i-y_j|≤γ(i＝1,2,...,K,j＝1,2,...,N_s)

其中(Lx_i,Ly_i)和(x_j,y_j)分别表示WiFi候选点位置和指纹点位置，γ为条件阈值。

S42：由于室内定位经常存在人员流动的情况，因此在图像匹配前，将待测点的图像数据进行目标识别和分割，将室内人员进行识别及分割。

S43：识别分割后，将待测点的图像特征与被约束指纹点的图像特征进行匹配，筛选出相似度最大的前S个作为图像候选点。

S5：对WiFi定位和图像定位分别赋予相应的权重值，随后对WiFi候选点以及图像候选点也赋予相应的权重值，通过双层联合权重值实现室内定位。

将WiFi和图像候选点进行有效融合，提高室内定位精度。

所述步骤S5包括如下步骤：

S51：由于WiFi定位与视觉定位精度不相同，因此对WiFi定位结果与图像定位结果应赋予不同的权重值。采集N_T个待测点信息，分别采用WiFi定位算法与图像定位算法得到定位结果，设定WiFi定位结果为loc_w＝(X_W,Y_W)，图像定位结果为loc_p＝(X_P,Y_P)，WiFi权重值为W_w，图像权重值为W_p。并满足目标函数：

其约束条件为：

W_w+W_p＝1

其中locⁱ为待测点的真实位置，随后可采用多种方法获得WiFi和图像定位的权重值。

S52：随后对筛选出的K个WiFi候选点与S个图像候选点赋予相应权重值，即可采用无监督学习方法又可采用有监督学习方法，从而实现最终的定位结果。

与相关技术相比，本发明提供的基于WiFi与视觉融合的室内定位方法中应用深度学习对图像进行识别分割，将室内环境中人为的干扰进行有效处理，同时采用双层联合权重值将WiFi和视觉进行有效的融合实现最终定位。本发明在定位鲁棒性和定位精度上具备极强竞争力。

以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (4)

1.一种基于WiFi 与视觉融合室内定位方法，其特征在于，包括如下步骤：

S1：在室内定位区域中建立网格指纹点，在网格指纹点处同时采集WiFi 数据和图像数据并对WiFi 数据和图像数据进行预处理，构建离线指纹库；所述步骤S1包括如下步骤：

S11：在室内定位区域内设定估计大小间距的网格指纹点，设定室内定位区域一共有N_s个指纹点，N_AP个AP，在每个指纹点处同时采集M个WiFi 数据和图像数据，图像数据来源于同一点的不同方向；因此室内指纹点集合表示为，

每个指纹点表示为L_i＝{RSS_i,I_i,o_i}(i＝1,2,...,N_s)；其中

o_i＝{x_i,y_i}；RSS_i、I_i和o_i分别为每个指纹点所包含的WiFi 特征，图像特征以及真实位置信息；

表示所采集的第i个指纹点的第j个AP的WiFi 特征；

表示所采集的第i个指纹点的第j张图像特征；x_i,y_i(i＝1,2,...,N_s)分别表示世界坐标系下X轴和Y轴位置的坐标；

S12：对采集的WiFi 数据与图像数据进行预处理：将WiFi 数据中的坏值进行剔除，以及图像数据中相似度大于预设阈值的图像剔除；

S13：对预处理后的WiFi 数据和图像数据分别转化为WiFi 特征和图像特征，WiFi 特征采用均值表述，图像特征采用视觉词袋技术进行表述，使用WiFi 特征和图像特征构建离线指纹数据库；

S2：在定位区域内的任意位置作为待测点，采集待测点的WiFi 数据和图像数据，同时记录待测点的真实位置；

S3：将待测点的WiFi 数据与离线指纹库中WiFi 进行匹配，得到待测点的WiFi 数据相似度大于或等于预设阈值的若干个WiFi 候选点；

S4：以WiFi 候选点作为约束条件，将待测点图像与在约束条件内的离线图像数据进行匹配；在图像匹配前，将待测点图像中的移动障碍物进行剔除；随后采用图像定位算法筛选出图像候选点；

所述步骤S4具体为：

S41：将WiFi 候选点作为约束条件进行图像候选点的筛选，约束条件如下，

|Lx_j1-x_i|+|Ly_j1-y_i|≤γ(i＝1,2,...,N_s,j1＝1,2,...,K)

其中(Lx_j1,Ly_j1)和(x_i,y_i)分别表示WiFi 候选点位置和指纹点位置，γ为条件阈值；Lx_j1表示第j1个WiFi 候选点的X轴坐标，Ly_j1表示第j1个WiFi 候选点的Y轴坐标，x_i表示第i个指纹点的X轴坐标，y_i表示i个指纹点的Y轴坐标；

S42：将待测点的图像数据进行目标识别和分割，将移动障碍物进行识别及分割，去除待测点的图像数据中的移动障碍物；

S43：识别分割后，将待测点的图像特征与被约束指纹点的图像特征进行匹配，筛选出相似度最大的前S个作为图像候选点；

S5：对WiFi 定位和图像定位分别赋予相应的权重值，随后对WiFi 候选点以及图像候选点也赋予相应的权重值，通过双层联合权重值与WiFi 及图像候选点所映射的位置点最终得到室内定位结果：

S51：训练阶段，对WiFi 定位结果与图像定位结果应赋予不同的权重值：采集N_T个待测点信息，对每个待测点信息采用WiFi 定位算法得到WiFi 定位结果，WiFi 定位算法包括但不局限于：KNN算法，RF算法，SVM算法；同时对每个待测点信息采用图像定位算法得到图像定位结果，图像定位算法包括但不局限于：视觉词袋技术，特征匹配技术；设定第i个待测点的WiFi 定位结果为

图像定位结果为

WiFi 权重值为W_w，图像权重值为W_p；并满足目标函数：

约束条件为：

W_w+W_p＝1

其中locⁱ为第i个待测点的真实位置；R表示实数集合；得到W_w和W_p的值；

S52：在线定位阶段，对一个未知点位置采集WiFi 数据和图像数据，经过上述步骤S3和S4，K个WiFi 候选点与S个图像候选点，随后对所有候选点赋予不同的权重值，赋予权重值的方式包含但不局限于：基于相似度的权重值，基于无监督学习方法和基于有监督学习方法；通过WiFi 权重值W_w，图像权重值W_p，各候选点所对应的权重值，以及各候选点所映射的指纹位置共同决定室内定位结果。

2.根据权利要求1所述的一种基于WiFi 与视觉融合室内定位方法，其特征在于，所述WiFi 特征通过WiFi 数据进行均值表述得到；图像特征通过图像数据通过视觉词袋技术进行表述得到；所述移动障碍物包括室内人员。

3.根据权利要求1所述的一种基于WiFi 与视觉融合室内定位方法，其特征在于，所述步骤S2具体为：

在室内定位环境内任意位置设定待测点，在待测点采集若干个WiFi 数据和图像数据进行预处理，得到待测点的WiFi 数据和图像数据；保留待测点的真实数据进行后续定位精度误差分析。

4.根据权利要求1所述的一种基于WiFi 与视觉融合室内定位方法，其特征在于，所述步骤S3中，将待测点的WiFi 数据转化为WiFi 特征，随后将待测点的WiFi 特征与离线指纹库进行匹配，采用WiFi 定位算法设定筛选出K个WiFi 候选点，WiFi 定位算法包括但不局限于：KNN算法，RF算法，SVM算法。