CN110856112A - 一种群智感知的多源信息融合室内定位方法及系统 - Google Patents

Abstract

本发明涉及一种群智感知的多源信息融合室内定位方法及系统。首先基于群体感知构建指纹识别数据库，再将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。该方法及系统采用了一种基于群体感知的指纹识别技术，该技术效果显著。由于单个信息源的信号强度是不稳定的，因此本发明将这三种信息源进行融合来对目标的位置进行估计。本发明中的两个算法能够帮助目标快速确定所在室内的小区域范围或者确定目标所在的特殊位置以及帮助目标确定定位的准确性或者校准目标所在范围。

Description

一种群智感知的多源信息融合室内定位方法及系统

技术领域

本发明涉及定位领域，具体而言，涉及一种群智感知的多源信息融合室内定位方法及系统。

背景技术

由于在商场、停车场、大型办公楼和医院的医疗保健等多个场景中室内定位技术的重要性越来越凸显出来。用于定位的全球定位系统(GPS)在室外环境中能提供良好的覆盖和高精度，但在室内环境中GPS信号被严重遮挡，因为卫星信号会被墙壁和天花板阻挡，因而其定位精度难以满足室内定位要求。所以在室内定位系统中应采用所有可用信息，例如WiFi、蓝牙、地磁场以及视觉图像信息等，而不是GPS来对目标位置进行估计。

传统的室内定位和跟踪方法是利用信号传播模型等处理无线传感器或物联网设备中的无线信号以导出目标位置，例如，到达时间(TOA)、到达时间差(TDOA)、到达角度(AOA)方法。但是，这些方法需要室内具备额外的设施以及对已部署设备的精确了解。因此利用指纹识别的方法更适用室内定位与跟踪，因为它不依赖于任何特定的信号传播模型。然而，利用单一的信号源信息如蓝牙、WiFi、地磁等对目标进行定位与跟踪很难满足定位的精度要求，因为这些信息源信号受到噪声干扰是不稳定的。

目前室内定位的解决方案可以划分为两大类：一是基于模型的室内定位算法，二是基于指纹库的定位算法。基于模型的室内定位算法由于受到模型本身的好坏以及信号测量所带来的误差的限制，而基于指纹库的室内定位算法则可以避免这一问题。基于指纹库的定位算法主要分为两个部分：一是离线采样阶段，一是在线定位部分。离线采样阶段主要是采集室内用于定位的传感器的信息，例如地磁强度的信息、蓝牙、WiFi的信号强度值以及图像等信息，在线阶段主要是采集目标所在位置的地磁、蓝牙、WiFi以及图片等信息与之指纹库的信息进行匹配进而确定目标所在位置。但是在建立指纹库的过程中由于要确定多个采样点，所以要耗费极大的人力、物力和时间资源。此外室内WiFi、蓝牙等信息源的信号强度并不稳定，相对来说信号比较稳定的超带宽费用又较高。

因此，融合异构信息以增强位置估计是一种主要的有效性方法，即建立室内融合信息的指纹库进行定位。然而基于指纹信息融合的主要问题是需要收集大量数据来构建可靠的数据库，且建立这样的数据库消耗了大量的人力和时间。在这种情况下，人群感知(鼓励不同的移动用户共享其感知数据并上传到服务器)是数据库构建的有效方案。使用人群感知，移动用户可以从他们的智能手机共享与位置相关的不同信息，例如WiFi、地磁或视觉图像，使得定位系统可以基于这些信息导出准确的位置估计。一些视觉图像可以直接导致精确的位置，且地磁数据相当稳定，无论走路、跑步还是静止不动，WiFi数据也可以免费获取。

已有的室内定位算法有基于混合WiFi，地磁和航位推算(PDR)的智能手机室内导航方法，有基于指纹的室内定位的AP加权多重匹配最近邻法，有利用普遍存在的地磁和WiFi异常点进行定位的Magicol定位方法系统，有利用深度学习识别室内定位指纹库的定位方法，有使用地磁和图像传感器来定位的VMag系统，并对图像信息进行复杂的神经网络训练，还有只利用图像视觉进行定位的算法，该方法需要建立海量的图像指纹库信息并且与图像的每一帧特征相匹配因此耗时较多。

发明内容

本发明实施例提供了一种群智感知的多源信息融合室内定位方法及系统，以至少解决现有室内定位方法精确度低的技术问题。

根据本发明的一实施例，提供了一种群智感知的多源信息融合室内定位方法，包括以下步骤：

基于群体感知构建指纹识别数据库；

将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

进一步地，基于群体感知构建指纹识别数据库包括：构建图像指纹识别并使用动态轨迹收集方法构建指纹识别数据库，指纹识别数据库包含地磁强度和WiFi的RSS值。

进一步地，基于群体感知构建指纹识别数据库包括：

特征区域的视觉图像的建立：构建图像数据库并将每个图像与相关位置进行链接；目标试图自我校准时搜索视觉信息并将其与图像数据库进行匹配；

WiFi和地磁动态指纹库的建立：采用动态轨迹收集来构建WiFi的RSS和地磁强度数据库，用户将智能手机沿着预定的无障碍路径在室内行走并上传数据，其中每个位置WiFi的RSS数据和地磁强度是同步获取的；在构建整个室内的数据收集之后，形成室内动态路径图。

进一步地，将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位包括：

对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符；

基于图像的子区域匹配法IBSM将每个采样图像对应于在创建图像指纹时确定的指定区域；

基于采用加权K近邻方法WKNN评估移动终端收集的每个WiFi无线接入点AP的RSS值与指纹中采样点对应的每个AP的RSS之间的相似度，确定具有高相似度的多个采样点的位置，并使用加权平均值推导出用户的位置；

对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准，在评估在线阶段获得的地磁序列与指纹识别中的地磁序列之间的相似性之后，确定两个序列的匹配。

进一步地，对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符包括：

以关键点为中心，关键点周围的部分分为多个同心圆，从内到外分别有多种不同半径的同心圆，其半径分别为一个像素点、两个像素点直至多个像素点。

进一步地，对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符还包括：使用随机样本共识方法RANSAC来消除不匹配点。

进一步地，基于图像的子区域匹配法IBSM将每个采样图像对应于在创建图像指纹时确定的指定区域包括：当目标接近某个采样点时，子区域匹配法IBSM中将直接给出一个特殊的位置坐标或子区域范围，然后通过WKNN算法测量精确的初始位置。

进一步地，对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准包括：使用动态时间规整算法DTW将地磁强度序列视为连续波形，并在数据库中找到匹配点。

进一步地，对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准还包括：地磁序列是分段的，校准后位置将更新，然后开始新的匹配校准。

根据本发明的另一实施例，提供了一种群智感知的多源信息融合室内定位系统，包括：

指纹识别数据库构建单元，用于基于群体感知构建指纹识别数据库；

定位单元，用于将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

本发明实施例中的群智感知的多源信息融合室内定位方法及系统，采用了一种基于群体感知的指纹识别技术，该技术效果显著，特别是对于复杂的基础设施。此外为了减少定位成本并提高定位精度，本发明收集了室内的三种免费资源信息即地磁、WiFi和视觉图像，由于单个信息源的信号强度是不稳定的，因此本发明将这三种信息源进行融合来对目标的位置进行估计。在系统中本发明还提出了两个新的算法：基于图像的小区域确定算法(IBSM)和分段结构自适应算法(SSAC)，它们分别能够帮助目标快速确定所在室内的小区域范围或者确定目标所在的特殊位置以及帮助目标确定定位的准确性或者校准目标所在范围。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明群智感知的多源信息融合室内定位方法的流程图；

图2为本发明中Wimage系统框架图；

图3为本发明中室内图像采样点分布图；

图4为本发明中描述符的矢量图；

图5为本发明中在相同路径上以不同步行速度的地磁数据曲线图；

图6为本发明中在相同路径上以不同手机姿态的地磁数据曲线图；

图7为本发明Wimage系统中IBSM和SSAC的性能比较图；

图8为本发明中WiFi信号强度图；

图9为本发明地磁校正在SSAC中的性能比较图；

图10为本发明中Wimage系统在室内的跟踪图效果图；

图11为本发明群智感知的多源信息融合室内定位系统的模块图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明构建一个有效的框架Wimage，它结合了视觉图像、WiFi和地磁作为综合指纹数据库，根据它们的特性融合这些异构数据进而来推导目标位置。且图像视觉、地磁和WiFi信息在室内均是完全免费的，用户可以免费获取这些信息，并且不需要额外的设备布置。在Wimage内，视觉图像数据是一些参考图片，其指示与某些特定位置相关的一些关键特征，例如房间号、厨房和消防栓。这些采集的图像可以使用匹配算法尺度不变特征转换(SIFT)直接指示特殊位置或定位范围，有助于系统减少粗粒定位误差。同时通过人群感知来收集WiFi和地磁数据，并通过定位方法来定位目标位置，这些方法包含有加权k-最近邻(WKNN)和动态时间扭曲算法(DTW)。具体地，它使用基于WKNN算法的WiFi数据来估计目标位置，并且DTW算法的地磁数据用于通过分段地磁序列匹配进行校准和校正。在这种情况下，可以自动校正目标位置。该Wimage系统对一办公楼进行了评估，对于多个实验下，均方根误差主要在0.5m以下。

此外定位的准确性和及时性也是室内定位的关键需求。本发明所提出的Wimage系统利用人群感知的方法对定位指纹库进行构建并且融合了图像视觉、地磁和WiFi三种信息设计定位算法。

1.基于指纹的室内定位算法在建立指纹库时为了保证定位的精度，需要在室内多个采样点大量采集相关数据，其中采样点是根据室内整体环境和条件对室内区域进行网格划分等方式来确定，网格点的稀疏或者稠密很大情况下影响了室内定位的精度，同时对未采样点也需要运用插值算法来确定指纹信息，这不仅会带来信息的不准确性也会耗费大量的人力、物力和时间成本，因为在建立指纹库时需要工作人员在室内划分好的采样点逐个去采集相关信息。这在前期建立指纹库的过程当中需要付出非常大的工作量。

为了解决以上问题，本发明在Wimage系统当中采用了一种人群感知的方法鼓励不同的移动用户共享其感知数据并上传到服务器，这种方法能够在建立指纹库的时候利用不同用户不同设备检测到的信息建立室内指纹库，同时本发明采用了一种不同于传统的离散点建库的方法，而是采用了一种路线轨迹的采集方式，工作人员可以拿着智能手机沿着室内的可行性路线同步采集地磁和WiFi信息，这极大的减少了指纹库的建立时间，因为工作人员只需要沿着室内路线轨迹行走便可采集到室内的地磁和WiFi信息，这种方法建立的指纹库也不需要借助于其他的插值算法来计算未采样点的指纹库信息。

2.由于室内受到建筑物的遮挡以及室内环境的复杂性，所以全球定位系统(GPS)无法运用在室内环境中，因而要借助于其他的定位方法来进行定位，目前室内能借助的有红外线、蓝牙、图像、WiFi、超带宽、地磁等，但是红外线、蓝牙、超带宽等都需要额外对室内进行部署，并且也增加了室内定位的开销。

为了解决上述问题，本发明的Wimage系统借助于室内的WiFi、地磁以及图像三种资源进行定位。这三种室内资源用来定位不仅不需要对室内进行额外的部署而且是完全可行的。首先图像资源是随处都可获得的，且不同图片具有不同的特征，不同的图片特征可以针对不同的室内位置，这为利用图片进行定位提供了可能性。其次地球本身是一个巨大的磁场，因而地磁信息也是存在于室内各处的，而且不同的位置地磁场信息是不同的，所以可以利用不同的地磁信息来定位。最后，随着网络通信等的发展，WiFi在室内也越来越得到了普及，在办公楼、大型医院、大型会场基本都会有WiFi，且WiFi的信号强度随着与发射端口距离的远近其强度值是不同的，且某一位置会接收到不同的WiFi端口的不同WiFi信号强度(RSS)值，因此室内每个位置接收到的WiFi信息都是不同的，基于这种特征WiFi的RSS可以用来进行室内定位。

3.基于指纹的室内定位算法需要借助于某一定位技术如蓝牙、WiFi和红外线等，但是单一的信号源由于受到噪声或者障碍物等影响会存在信号波动不稳定的情况，因此使用单一的信号源进行定位很难精确的对目标位置进行估计。

本发明采用了图像、WiFi和地磁三种信息源进行定位，并且提出了可靠的定位算法，不仅能够快速的对目标进行初始位置的定位与跟踪还能够及时准确的对目标位置进行校正。具体做法是：利用室内特殊的图片用来具体确定目标所在位置或者范围，在这个过程中本发明采用了改进的SIFT算法进行图片的匹配，并且针对这整个过程设计提出了一种基于图片的小区域确定算法(IBSM)，然后根据WiFi信号强度RSSI利用加权K最近邻算法对目标的初始位置进行估计，在对目标进行跟踪的同时利用地磁信息的轨迹变化特征对目标所在位置进行阶段性的校正，这里用到的方法为动态时间规整算法(DTW),这里的阶段性校正是因为在一段路径中地磁的变化是有规律的，而在建立地磁指纹库的过程中根据不同的路径也是阶段性的。针对目标位置的校正的过程本发明设计提出了一种分段结构自适应校准(SSAC)算法，实验表明它能够有效提高定位精度。

综上所述，为了解决以上问题并提高定位精度，本发明提出一种Wimage定位系统。本发明的Wimage定位系统采用了一种基于群体感知的指纹识别技术，该技术效果显著，特别是对于复杂的基础设施。此外为了减少定位成本并提高定位精度，本发明收集了室内的三种免费资源信息即地磁、WiFi和视觉图像，由于单个信息源的信号强度是不稳定的，因此本发明将这三种信息源进行融合来对目标的位置进行估计。在Wimage系统中本发明还提出了两个新的算法：基于图像的小区域确定算法(IBSM)和分段结构自适应算法(SSAC)，它们分别能够帮助目标快速确定所在室内的小区域范围或者确定目标所在的特殊位置以及帮助目标确定定位的准确性或者校准目标所在范围。

本发明提供了利用室内免费资源进行位置估计的定位框架和算法的群智感知的多源信息融合室内定位方法及系统，该方法及系统中提出了使用人群感知的方法建立指纹库，在定位过程中提出了IBSM和SSAC算法，这能够有效减少定位成本以及人力物力资源的使用，并且能够有效提高室内定位精度，且具有较强的抗噪声抗干扰能力。

实施例1

根据本发明一实施例，提供了一种群智感知的多源信息融合室内定位方法，参见图1，包括以下步骤：

S101:基于群体感知构建指纹识别数据库；

S102:将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

本发明实施例中的群智感知的多源信息融合室内定位方法，采用了一种基于群体感知的指纹识别技术，该技术效果显著，特别是对于复杂的基础设施。此外为了减少定位成本并提高定位精度，本发明收集了室内的三种免费资源信息即地磁、WiFi和视觉图像，由于单个信息源的信号强度是不稳定的，因此本发明将这三种信息源进行融合来对目标的位置进行估计。在系统中本发明还提出了两个新的算法：基于图像的小区域确定算法(IBSM)和分段结构自适应算法(SSAC)，它们分别能够帮助目标快速确定所在室内的小区域范围或者确定目标所在的特殊位置以及帮助目标确定定位的准确性或者校准目标所在范围。

具体地，本发明提出了一套完整的室内定位系统Wimage，它包括有两个阶段，即人群感知阶段和目标跟踪阶段。

Wimage系统的框架如图2所示，在人群感知阶段，本发明构建图像指纹识别并使用动态轨迹收集方法构建指纹识别数据库包含地磁强度和WiFi的RSS值。在目标跟踪阶段，目标基于收集的图像、地磁测量和WiFi信号执行多数据融合定位。在该部分中，应用多种方法，包括用于通过图像匹配确定子区域的改进SIFT算法、WKNN和DTW算法来估计和自适应地校准目标位置。具体包括：

1)基于人群感知的数据库建立

A.特征区域的视觉图像

在人群感知阶段，用户拍摄的图像与某些特定位置或子区域高度相关。在这种情况下，本发明可以将这些项目作为特征区域的语义信息。此外，如果目标试图自我校准，它可以使用相机搜索视觉信息并将其与图像数据库匹配。因此，本发明构建图像数据库并将每个图像与相关位置链接。如图3所示，本发明给出了一个室内图片的采集点及其所在位置，这些图片分别是消防栓、休息间以及门牌号等。

B.WiFi和地磁动态指纹库的建立

与基于采样点收集数据样本的收集方式不同，Wimage系统采用动态轨迹收集来构建WiFi的RSS和地磁强度数据库。用户只需要将智能手机沿着预定的无障碍路径在室内行走并上传他们的数据，这使得对用户来说更加方便。另外，每个位置WiFi的RSS数据和地磁强度是同步获取的，因此它们的信息也是相互关联的。在构建整个室内的收集数据之后，形成室内动态路径图。

2)对目标的定位与追踪算法

A.典型的SIFT算法

基于图像的SIFT匹配算法是一种用于提取局部特征、搜索尺度空间中的极值点、空间尺度和旋转不变量的算法。SIFT算法适用于海量数据库中的快速准确匹配。图像匹配基于提取的SIFT特征，SIFT算法使用关键点来描述图像特征。关键点是浮动数字的向量，矢量的长度由描述符确定，描述符包含方向直方图阵列的方向和尺寸。

在典型的SIFT算法中，由4×4阵列和8个方向组成描述符的矢量，如图4所示，左图为典型SIFT算法的，右图为改进的SIFT算法的。假设R_i＝(r_i1,r_i2,...r_i128)是匹配图像的SIFT描述符向量。并且S_j＝(s_j1,s_j2,...s_j128)是作为提取N个关键点的被匹配图像的SIFT描述符矢量，并且j∈N。图像匹配实际上是根据欧几里德距离的测量来匹配的。假设本发明从R_i和S_m得到的min{Dis}为最近的欧几里德距离，R_i和S_t得到的SecMin{Dis}为次最近邻欧几里德距离，它们分别为：

通过最近邻距离与次近邻距离的比率的结果来查看它是否匹配。假设阈值T_Dis，如果比率小于阈值，则匹配成功。如果比率大于阈值，则匹配不成功。SIFT算法中建议在一般情况下阈值T_Dis为0.5。

B.改进的SIFT算法

改进的SIFT算法主要是为了降低计算成本，提高匹配速度。在典型的SIFT算法中，描述符的维数较高，在Wimage系统中的图片匹配任务中，它将在低维的描述符中表现更好。在Wimage系统中，指纹识别中的图像通常有很大差异。因此，在改进的SIFT中，本发明考虑减小描述符的向量维度以提高匹配速度，使用圆形来构造SIFT特征描述符。以关键点为中心，关键点周围的部分分为6个同心圆，从内到外分别有三种不同半径的同心圆，其半径分别为1个像素点，两个像素点和三个像素点，在图8中用不同符号线表示。在典型的SIFT中，矢量维数为4×4×8＝128，并在改进的SIFT中，矢量尺寸为6×8＝48，这消耗较低的计算成本。匹配图像和被匹配图像的SIFT描述符矢量分别是R_i＝(r_i1,r_i2,...r_i48)和S_j＝(s_j1,s_j2,...s_j48)。同理根据公式(1)、(2)和(3)进行匹配。最后本发明用随机样本共识(RANSAC)来消除不匹配点，以确保匹配准确性。

C.基于图像的子区域匹配

在Wimage系统中，每个采样图像对应于在创建图像指纹时确定的指定区域。每个采样图像P将对应于坐标范围[X,Y]，其中X表示[x,x']的范围，并且Y表示[y,y']的范围。图3显示了图片与子区域坐标之间的关系。图片匹配基于改进的SIFT特征，如果两个相似的图像P₀和P₁满足公式(3)阈值范围，那么目标的子区域将被快速锁定在与成功匹配的候选图像P₁相对应的范围[X₁,Y₁]中。本发明定义这种算法为基于图像的子区域匹配(IBSM)法。

在IBSM算法中，指纹识别中的图像包含与位置相关的详细语义信息。在图片匹配中，本发明使用改进的SIFT算法，该算法可行。目标可以使用图像匹配来确定定位子区域。当目标接近某个采样点时，它可以直接给出一个特殊的位置坐标或子区域范围，然后通过WKNN算法测量精确的初始位置。

D.WKNN算法

WiFi指纹数据库的匹配算法采用加权K近邻(WKNN)方法，该方法评估移动终端收集的每个WiFi无线接入点(AP)的RSS值与指纹中采样点对应的每个AP的RSS之间的相似度。(相似度的衡量一般采用欧氏距离)确定具有高相似度的k个采样点的位置，并使用加权平均值推导出用户的位置：

其中(x_i,y_i)是对应于第i个相邻参考点的坐标，(x,y)是估计的位置，并且w_i是第i个相邻点的权重。

对于动态指纹库的构建，本发明在构建轨迹数据库时进行多次采样，每个轨迹的指纹组成可写为：D＝[D¹,D²,...D^h]，其中h是轨迹指纹的样本大小。每个轨迹指纹数据库的组成是：

其中t是第h个采样轨道的长度。假设在第h次采样的轨迹中采样点j处收集的AP信号强度为

其中

是在第h次采样的轨迹处采样点j处收集的第n个AP的RSS值。然后，对于每次采样，在相同采样点相同的WiFi信号强度值会出现不一样的值，因此本发明可以计算它的方差值σ_j＝(σ_j1,σ_j2,...σ_jn)。方差反映了样本数据分布的分散。方差越大，rss值的波动越大，所以权重的表达式为：

E.分段结构自适应校准

为了提高定位精度，本发明采用地磁校准。在Wimage系统中，同步获取WiFi和地磁的指纹数据，为地磁校准提供了可行性。本发明采用动态轨迹收集来构建地磁指纹库。因此，地磁数据可以被认为是多个序列段。且本发明知道不同用户的步行速度不同，在相同路径收集的地磁波形状是相似的，如图5和图6所示。而动态时间规整算法(DTW)是一种测量不同长度的两个时间序列相似度的方法。它可以动态匹配两个相似波形的点。在目标跟踪阶段，DTW将地磁强度序列视为连续波形，并在数据库中找到匹配点。假设指纹库中的地磁路径序列是：Z＝{z₁,z₂,...z_m}，需要匹配的路径序列是：X＝{x₁,x₂,...x_n}。Z和X需要延伸或缩短以在形状上对齐。规划路径W表示这种映射关系：

W＝{w₁,w₂,w₃...w_k}(6)

其中max{m,n}≤k≤m+n，并且w₁＝(z₁,x₁)，w_k＝(z_m,x_n)。最低成本路径是：

根据动态规划，最小成本路径也可以表示：

D(Z,X)＝dist(z_i,x_j)+min[D(z_i-1,x_j),D(z_i,x_j-1),D(z_i-1,x_j-1)](8)

它是两个路径序列相似性的测量标准。在评估在线阶段获得的地磁序列与指纹识别中的地磁序列之间的相似性之后，可以确定两个序列的匹配。

地磁校准对于定位的准确性具有重要意义。它可以检查WiFi定位的结果，确认定位结果的准确性或纠正错误的定位。考虑到此功能，本发明在细分上匹配地磁数据。此外，虽然使用单个地磁数据进行定位会受到噪声的影响，但对于序列段匹配结果更可靠，定义这种方法称为分段结构自适应校准(SSAC)的算法。此外，地磁序列是分段的，校准后位置将更新，然后开始新的匹配校准，这也可以避免累积误差。

实施例2

根据本发明的另一实施例，提供了一种群智感知的多源信息融合室内定位系统，参见图11，包括：

指纹识别数据库构建单元100，用于基于群体感知构建指纹识别数据库；

定位单元200，用于将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

本发明实施例中的群智感知的多源信息融合室内定位系统，采用了一种基于群体感知的指纹识别技术，该技术效果显著，特别是对于复杂的基础设施。此外为了减少定位成本并提高定位精度，本发明收集了室内的三种免费资源信息即地磁、WiFi和视觉图像，由于单个信息源的信号强度是不稳定的，因此本发明将这三种信息源进行融合来对目标的位置进行估计。在系统中本发明还提出了两个新的算法：基于图像的小区域确定算法(IBSM)和分段结构自适应算法(SSAC)，它们分别能够帮助目标快速确定所在室内的小区域范围或者确定目标所在的特殊位置以及帮助目标确定定位的准确性或者校准目标所在范围。

具体地，本发明提出了一套完整的室内定位系统Wimage，它包括有两个阶段，即人群感知阶段和目标跟踪阶段。

Wimage系统的框架如图2所示，在人群感知阶段，本发明构建图像指纹识别并使用动态轨迹收集方法构建指纹识别数据库包含地磁强度和WiFi的RSS值。在目标跟踪阶段，目标基于收集的图像、地磁测量和WiFi信号执行多数据融合定位。在该部分中，应用多种方法，包括用于通过图像匹配确定子区域的改进SIFT算法、WKNN和DTW算法来估计和自适应地校准目标位置。具体包括：

1)指纹识别数据库构建单元100:基于人群感知的数据库建立

A.特征区域的视觉图像

在人群感知阶段，用户拍摄的图像与某些特定位置或子区域高度相关。在这种情况下，本发明可以将这些项目作为特征区域的语义信息。此外，如果目标试图自我校准，它可以使用相机搜索视觉信息并将其与图像数据库匹配。因此，本发明构建图像数据库并将每个图像与相关位置链接。如图3所示，本发明给出了一个室内图片的采集点及其所在位置，这些图片分别是消防栓、休息间以及门牌号等。

B.WiFi和地磁动态指纹库的建立

与基于采样点收集数据样本的收集方式不同，Wimage系统采用动态轨迹收集来构建WiFi的RSS和地磁强度数据库。用户只需要将智能手机沿着预定的无障碍路径在室内行走并上传他们的数据，这使得对用户来说更加方便。另外，每个位置WiFi的RSS数据和地磁强度是同步获取的，因此它们的信息也是相互关联的。在构建整个室内的收集数据之后，形成室内动态路径图。

2)定位单元200:对目标的定位与追踪算法

A.典型的SIFT算法

基于图像的SIFT匹配算法是一种用于提取局部特征、搜索尺度空间中的极值点、空间尺度和旋转不变量的算法。SIFT算法适用于海量数据库中的快速准确匹配。图像匹配基于提取的SIFT特征，SIFT算法使用关键点来描述图像特征。关键点是浮动数字的向量，矢量的长度由描述符确定，描述符包含方向直方图阵列的方向和尺寸。

在典型的SIFT算法中，由4×4阵列和8个方向组成描述符的矢量，如图4所示，左图为典型SIFT算法的，右图为改进的SIFT算法的。假设R_i＝(r_i1,r_i2,...r_i128)是匹配图像的SIFT描述符向量。并且S_j＝(s_j1,s_j2,...s_j128)是作为提取N个关键点的被匹配图像的SIFT描述符矢量，并且j∈N。图像匹配实际上是根据欧几里德距离的测量来匹配的。假设本发明从R_i和S_m得到的min{Dis}为最近的欧几里德距离，R_i和S_t得到的SecMin{Dis}为次最近邻欧几里德距离，它们分别为：

通过最近邻距离与次近邻距离的比率的结果来查看它是否匹配。假设阈值T_Dis，如果比率小于阈值，则匹配成功。如果比率大于阈值，则匹配不成功。SIFT算法中建议在一般情况下阈值T_Dis为0.5。

B.改进的SIFT算法

改进的SIFT算法主要是为了降低计算成本，提高匹配速度。在典型的SIFT算法中，描述符的维数较高，在Wimage系统中的图片匹配任务中，它将在低维的描述符中表现更好。在Wimage系统中，指纹识别中的图像通常有很大差异。因此，在改进的SIFT中，本发明考虑减小描述符的向量维度以提高匹配速度，使用圆形来构造SIFT特征描述符。以关键点为中心，关键点周围的部分分为6个同心圆，从内到外分别有三种不同半径的同心圆，其半径分别为1个像素点，两个像素点和三个像素点，在图8中用不同符号线表示。在典型的SIFT中，矢量维数为4×4×8＝128，并在改进的SIFT中，矢量尺寸为6×8＝48，这消耗较低的计算成本。匹配图像和被匹配图像的SIFT描述符矢量分别是R_i＝(r_i1,r_i2,...r_i48)和S_j＝(s_j1,s_j2,...s_j48)。同理根据公式(1)、(2)和(3)进行匹配。最后本发明用随机样本共识(RANSAC)来消除不匹配点，以确保匹配准确性。

C.基于图像的子区域匹配

在Wimage系统中，每个采样图像对应于在创建图像指纹时确定的指定区域。每个采样图像P将对应于坐标范围[X,Y]，其中X表示[x,x']的范围，并且Y表示[y,y']的范围。图3显示了图片与子区域坐标之间的关系。图片匹配基于改进的SIFT特征，如果两个相似的图像P₀和P₁满足公式(3)阈值范围，那么目标的子区域将被快速锁定在与成功匹配的候选图像P₁相对应的范围[X₁,Y₁]中。本发明定义这种算法为基于图像的子区域匹配(IBSM)法。

在IBSM算法中，指纹识别中的图像包含与位置相关的详细语义信息。在图片匹配中，本发明使用改进的SIFT算法，该算法可行。目标可以使用图像匹配来确定定位子区域。当目标接近某个采样点时，它可以直接给出一个特殊的位置坐标或子区域范围，然后通过WKNN算法测量精确的初始位置。

D.WKNN算法

WiFi指纹数据库的匹配算法采用加权K近邻(WKNN)方法，该方法评估移动终端收集的每个WiFi无线接入点(AP)的RSS值与指纹中采样点对应的每个AP的RSS之间的相似度。(相似度的衡量一般采用欧氏距离)确定具有高相似度的k个采样点的位置，并使用加权平均值推导出用户的位置：

其中(x_i,y_i)是对应于第i个相邻参考点的坐标，(x,y)是估计的位置，并且w_i是第i个相邻点的权重。

对于动态指纹库的构建，本发明在构建轨迹数据库时进行多次采样，每个轨迹的指纹组成可写为：D＝[D¹,D²,...D^h]，其中h是轨迹指纹的样本大小。每个轨迹指纹数据库的组成是：其中t是第h个采样轨道的长度。假设在第h次采样的轨迹中采样点j处收集的AP信号强度为

其中是在第h次采样的轨迹处采样点j处收集的第n个AP的RSS值。然后，对于每次采样，在相同采样点相同的WiFi信号强度值会出现不一样的值，因此本发明可以计算它的方差值σ_j＝(σ_j1,σ_j2,...σ_jn)。方差反映了样本数据分布的分散。方差越大，rss值的波动越大，所以权重的表达式为：

E.分段结构自适应校准

为了提高定位精度，本发明采用地磁校准。在Wimage系统中，同步获取WiFi和地磁的指纹数据，为地磁校准提供了可行性。本发明采用动态轨迹收集来构建地磁指纹库。因此，地磁数据可以被认为是多个序列段。且本发明知道不同用户的步行速度不同，在相同路径收集的地磁波形状是相似的，如图5和图6所示。而动态时间规整算法(DTW)是一种测量不同长度的两个时间序列相似度的方法。它可以动态匹配两个相似波形的点。在目标跟踪阶段，DTW将地磁强度序列视为连续波形，并在数据库中找到匹配点。假设指纹库中的地磁路径序列是：Z＝{z₁,z₂,...z_m}，需要匹配的路径序列是：X＝{x₁,x₂,...x_n}。Z和X需要延伸或缩短以在形状上对齐。规划路径W表示这种映射关系：

W＝{w₁,w₂,w₃...w_k}(6)

其中max{m,n}≤k≤m+n，并且w₁＝(z₁,x₁)，w_k＝(z_m,x_n)。最低成本路径是：

根据动态规划，最小成本路径也可以表示：

D(Z,X)＝dist(z_i,x_j)+min[D(z_i-1,x_j),D(z_i,x_j-1),D(z_i-1,x_j-1)](8)

它是两个路径序列相似性的测量标准。在评估在线阶段获得的地磁序列与指纹识别中的地磁序列之间的相似性之后，可以确定两个序列的匹配。

地磁校准对于定位的准确性具有重要意义。它可以检查WiFi定位的结果，确认定位结果的准确性或纠正错误的定位。考虑到此功能，本发明在细分上匹配地磁数据。此外，虽然使用单个地磁数据进行定位会受到噪声的影响，但对于序列段匹配结果更可靠，定义这种方法称为分段结构自适应校准(SSAC)的算法。此外，地磁序列是分段的，校准后位置将更新，然后开始新的匹配校准，这也可以避免累积误差。

本发明的创新点至少在于：

1)在本发明中提出的完整的室内定位系统Wimage；

2)在本发明中提出的利用动态轨迹同步采集地磁和WiFi信息的方法；

3)本发明中提出的基于图像的小区域定位算法(IBSM)；

4)在图像匹配中提出的改进的SIFT算法；

5)利用地磁信息进行的分段结构自适应校准算法(SSAM)。

本发明的优点至少在于：

优点一：在图像匹配时，本发明提出了改进的SIFT算法，改进的SIFT算法简化了图像的特征描述符，同时保证了图像匹配在Wimage系统中匹配的准确性，简化的特征描述符极大的降低了计算资源和成本，同时提高了图像匹配的效率；

优点二：本发明在定位时选取的多源信息分别是WiFi、地磁和图像，这三种信息在室内均是免费可以利用的；

优点三：在定位的离线建库阶段，本发明采用了人群感知的方法来节约工作人员建立指纹库的时间和物力资源，并且在采集指纹库的时候，本发明提出了利用轨迹规划的方式同步采集WiFi和地磁信息，这种方法只需沿着室内的路径行走便可获得室内WiFi信号强度和地磁的强度值，简化了建立指纹库的构建方式并且提高了指纹库的精确性；

优点四：本发明提出了利用地磁进行分段结构的自适应校准方案，这能够及时的为目标校正位置，并且极大的提高了定位精度。

本发明的实际实践如下：

A.实验设置

本发明提出的Wimage在综合实验中进行评估。构建了包含室内地标，RSS数据库和地磁强度数据库和可视化图像数据库。在人群感知阶段，所有RSS和地磁强度数据都是通过动态轨迹收集来收集的。本发明实验中的AP总数为26，WiFi的扫描周期设置为0.02s。

B.IBSM评估

IBSM在Wimage中的作用主要是减少初始定位中的定位范围并准确地将目标划分为小区域。确定采样点的位置或子区域主要是使用图像匹配。本发明采用改进的SIFT，在满足匹配精度时大大降低了计算成本。如图7所示，本发明可以从累计误差看出IBSM可以帮助目标提高定位精度。

C.SSAC评估

SSAC是Wimage的重要组成部分。WKNN算法使用WiFi数据来定位目标，但是由于环境影响，WiFi数据是非常不稳定的。本发明在一条路径上随机跟踪了三个WiFi端口的信号强度，图8反映了WiFi强度的波动。因此，定位的准确性将受到很大影响。本发明评估了地磁校准的性能，如图9所示，在SSAC算法中，地磁校准提高了定位精度。本发明使用Wimage系统跟踪办公楼中的一条路线，如图10所示，实线条代表实际路线，点虚线条代表估算路线。可以清楚地看到估算路线接近实际路线。另外，本发明在Wimage中测量IBSM和SSAC算法。本发明可以在图7中看到，对目标位置的准确性有很大影响。此外，校正地磁数据非常方便，因为地磁无处不在。

在本发明中的改进SIFT算法也可以直接利用SIFT算法进行图片的匹配，只是会增加计算资源和时间；本发明设计的方案不仅能够在办公楼中应用同时也能够在医院、大型会场以及商场等场景中应用。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的系统实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种群智感知的多源信息融合室内定位方法，其特征在于，包括以下步骤：

基于群体感知构建指纹识别数据库；

将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的所述指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

2.根据权利要求1所述的群智感知的多源信息融合室内定位方法，其特征在于，所述基于群体感知构建指纹识别数据库包括：构建图像指纹识别并使用动态轨迹收集方法构建指纹识别数据库，所述指纹识别数据库包含地磁强度和WiFi的RSS值。

3.根据权利要求2所述的群智感知的多源信息融合室内定位方法，其特征在于，所述基于群体感知构建指纹识别数据库包括：

特征区域的视觉图像的建立：构建图像数据库并将每个图像与相关位置进行链接；目标试图自我校准时搜索视觉信息并将其与图像数据库进行匹配；

WiFi和地磁动态指纹库的建立：采用动态轨迹收集来构建WiFi的RSS和地磁强度数据库，用户将智能手机沿着预定的无障碍路径在室内行走并上传数据，其中每个位置WiFi的RSS数据和地磁强度是同步获取的；在构建整个室内的数据收集之后，形成室内动态路径图。

4.根据权利要求1所述的群智感知的多源信息融合室内定位方法，其特征在于，所述将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的所述指纹识别数据库对目标位置进行定位包括：

对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符；

基于图像的子区域匹配法IBSM将每个采样图像对应于在创建图像指纹时确定的指定区域；

基于采用加权K近邻方法WKNN评估移动终端收集的每个WiFi无线接入点AP的RSS值与指纹中采样点对应的每个AP的RSS之间的相似度，确定具有高相似度的多个采样点的位置，并使用加权平均值推导出用户的位置；

对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准，在评估在线阶段获得的地磁序列与指纹识别中的地磁序列之间的相似性之后，确定两个序列的匹配。

5.根据权利要求4所述的群智感知的多源信息融合室内定位方法，其特征在于，所述对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符包括：

以关键点为中心，关键点周围的部分分为多个同心圆，从内到外分别有多种不同半径的同心圆，其半径分别为一个像素点、两个像素点直至多个像素点。

6.根据权利要求5所述的群智感知的多源信息融合室内定位方法，其特征在于，所述对典型的SIFT算法进行改进，使用圆形来构造SIFT特征描述符还包括：使用随机样本共识方法RANSAC来消除不匹配点。

7.根据权利要求4所述的群智感知的多源信息融合室内定位方法，其特征在于，所述基于图像的子区域匹配法IBSM将每个采样图像对应于在创建图像指纹时确定的指定区域包括：当目标接近某个采样点时，子区域匹配法IBSM中将直接给出一个特殊的位置坐标或子区域范围，然后通过WKNN算法测量精确的初始位置。

8.根据权利要求4所述的群智感知的多源信息融合室内定位方法，其特征在于，所述对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准包括：使用动态时间规整算法DTW将地磁强度序列视为连续波形，并在数据库中找到匹配点。

9.根据权利要求8所述的群智感知的多源信息融合室内定位方法，其特征在于，所述对同步获取到的WiFi和地磁的指纹数据进行分段结构自适应校准还包括：地磁序列是分段的，校准后位置将更新，然后开始新的匹配校准。

10.一种群智感知的多源信息融合室内定位系统，其特征在于，包括：

指纹识别数据库构建单元，用于基于群体感知构建指纹识别数据库；

定位单元，用于将采集到的地磁、WiFi和视觉图像信息进行融合并基于构建的所述指纹识别数据库对目标位置进行定位，其中在对目标位置进行定位中使用基于图像的小区域确定算法IBSM和分段结构自适应算法SSAC来估计和自适应地校准目标位置。

Images