CN106767810A - 一种基于移动终端的wifi和视觉信息的室内定位方法及系统 - Google Patents

Abstract

本发明公开了一种基于移动终端的WIFI和视觉信息的室内定位方法及系统，该方法包括以下步骤：S1、在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在平面地图中的坐标；S2、解析WIFI信息和图像信息，获取出口标志附近的WIFI信号地址及其信号强度，计算对应图像的SURF特征描述符，三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；S3、根据当前位置的信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置，结合对应位置地图图片的单应矩阵和定位误差经验值确定用户所在的具体位置。本发明无需增加信号基站，且室内定位精度高。

Description

一种基于移动终端的WIFI和视觉信息的室内定位方法及系统

技术领域

本发明涉及定位导航领域，尤其涉及一种基于移动终端的WIFI和视觉信息的室内定位方法及系统。

背景技术

随着数据业务的快速增加，人们对定位与导航的需求日益增大，尤其在复杂的室内环境，如机场大厅、展厅、仓库、超市、图书馆、地下停车场等环境中，常常需要确定移动终端或其持有者、设施与物品在室内的位置信息。

目前，有许多室内定位技术解决方案，如A-GPS定位技术、超声波定位技术、蓝牙技术、红外线技术、射频识别技术、超宽带技术、无线局域网络、光跟踪定位技术，以及图像分析、信标定位、计算机视觉定位技术等等。但是受定位时间、定位精度、设备成本以及复杂室内环境等条件的限制，上述定位技术尚不能完善解决室内定位问题。

因此，本领域技术人员需要解决的一个技术问题是：如何能够提出一种成本低、速度快、精度高室内定位系统与方法，以满足日益增长的室内定位需求。

发明内容

本发明要解决的技术问题在于针对现有技术中室内定位精度低，设备成本高的缺陷，提供一种基于移动终端的WIFI和视觉信息的室内定位方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于移动终端的WIFI和视觉信息的室内定位方法，包括以下步骤：

S1、在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在室内平面地图中的坐标；

S2、解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

S3、获取当前位置的信号强度列表，拍摄当前位置的消防安全出口标志的图像，并计算其SURF特征描述符和单应矩阵；根据信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置；结合匹配度最高位置的地图图片单应矩阵和定位误差经验值，得到当前位置的世界坐标系坐标，完成定位。

进一步地，本发明的步骤S2中的信号强度列表包括每个位置接收到的WIFI个数和强度，并滤除低强度的WIFI信号。

进一步地，本发明的滤除低强度的WIFI信号的方法为：

采集每个位置周围的WIFI信号的地址和RSSI值，滤除RSSI值小于-90dBm的WIFI信号。

进一步地，本发明的步骤S2中计算消防安全出口标志的图像的SURF特征描述符的方法为：

选取消防安全出口标志的图像的中心点作为图像的SURF特征点，在特征点周围取一个正方形框，框的边长为20s，s是所检测到该特征点所在的尺度把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，该haar小波特征为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，即每个子区域有4个值，计算完毕生成16*4＝64维的向量即为图像的SURF特征描述符。

进一步地，本发明的步骤S3中进行定位的方法为：

S31、将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

S32、将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位；

S33、根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。

进一步地，本发明的步骤S31中计算WIFI信号的匹配度M(x,y)的公式为：

其中，N为匹配到的WIFI信号的个数，x为地图数据库中的WIFI信号的RSSI值，y为定位时当前位置采集到的WIFI信号的RSSI值，λ和α为经验值，分别取0.5和120.1。

进一步地，本发明的步骤S32中进行SURF特征描述符匹配的方法为：

提取当前位置采集到的图像的SURF特征描述符，提取地图数据库中匹配度最大的位置对应的多幅图像的SURF特征描述符，通过KNN算法对两者进行匹配，得到匹配度最大的图像。

进一步地，本发明的步骤S33中结合对应地图图片的单应矩阵和定位误差经验值计算世界坐标系坐标的方法具体为：

设出口标志与地图图像之间的单应矩阵为H₁，采集图片所用的手机使用张正友棋盘格标定法标定手机相机的内参数K，根据单应矩阵H₁和内参数K计算采集图像时手机相机与标志之间的距离D₁；根据实验方法测定定位误差经验值Δd,则用户手机与出口标志之间的距离为D₁±Δd，结合出口标志在平面地图中的坐标，即可确定当前用户在平面地图中的坐标。

本发明提供一种基于移动终端的WIFI和视觉信息的室内定位系统，包括：

移动终端，用于在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在室内平面地图中的坐标；

制图单元，用于解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

定位单元，用于获取当前位置的信号强度列表，拍摄当前位置的消防安全出口标志的图像，并计算其SURF特征描述符和单应矩阵；根据信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置；结合匹配度最高位置地图图片的单应矩阵和定位误差经验值，得到当前位置的世界坐标系坐标，完成定位。

进一步地，本发明的定位单元包括：

WIFI定位单元，用于将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

特征描述符定位单元，用于将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位。结合匹配度最高位置对应的地图图片单应矩阵和定位误差经验值计算当前位置的世界坐标系坐标，完成最终定位。

本发明产生的有益效果是：本发明的基于移动终端的WIFI和视觉信息的室内定位方法，通过移动终端设备获取WIFI信号和消防安全出口标志的图像进行组合定位，与传统的室内定位方法相比，无需预设信号基站、无需用户佩戴额外设备、成本低、推广性好；通过WIFI信号、图像特征描述符和单应矩阵进行多次定位，能够大大提高室内定位的精度，定位效果好，并且不易受到外部信号的干扰。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的手机WI-VI指纹示意图；

图2是本发明实施例的制图阶段流程图；

图3是本发明实施例的定位阶段流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的基于移动终端的WIFI和视觉信息的室内定位方法，包括以下步骤：

S1、通过终端设备在室内的每个消防安全出口标志附近的位置，采集WIFI信号，并拍摄消防安全出口标志的图像；终端设备包括手机、平板电脑等。并测量出口标志在平面地图中的坐标。

S2、解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

信号强度列表包括每个位置接收到的WIFI个数和强度，并滤除低强度的WIFI信号。滤除低强度的WIFI信号的方法为：采集每个位置周围的WIFI信号的地址和RSSI值，滤除RSSI值小于-90dBm的WIFI信号。

计算消防安全出口标志的图像的SURF特征描述符的方法为：选取消防安全出口标志的图像的中心点作为图像的SURF特征点，在特征点周围取一个正方形框，框的边长为20s，s是所检测到该特征点所在的尺度把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，该haar小波特征为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，即每个子区域有4个值，计算完毕生成16*4＝64维的向量即为图像的SURF特征描述符。

S3、获取当前位置的信号强度列表，拍摄当前位置的消防安全出口标志的图像，并计算其SURF特征描述符和单应矩阵；根据信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置；结合匹配度最高位置对应的地图图片单应矩阵和定位误差经验值，得到当前位置的世界坐标系坐标，完成定位。

进行定位的方法为：

S31、将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

S32、将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位；

S33、根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。

本发明实施例的基于移动终端的WIFI和视觉信息的室内定位系统，包括：

移动终端，用于在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在室内平面地图中的坐标；

制图单元，用于解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

定位单元，用于获取当前位置的信号强度列表，拍摄当前位置的消防安全出口标志的图像，并计算其SURF特征描述符和单应矩阵；根据信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置；根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。

定位单元包括：

WIFI定位单元，用于将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

特征描述符定位单元，用于将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位；根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。

如图1所示，在本发明的另一个具体实施例中，针对目前定位技术的不足，提供了一种新的室内定位系统与方法，该方法融合WIFI信息与视觉(Vision)信息生成定位指纹，在本发明中称之为WI-VI指纹。

基于智能手机WI-VI指纹的高精度室内定位系统与方法以室内广泛存在的消防安全出口标志为视觉目标，在手机软件运行时会生成消防安全出口标志候选框，拍摄消防安全出口标志时需将出口标志至于候选框内。

该方法包括制图阶段和定位阶段。

如图2所示，制图阶段，在场所内的每一个消防安全出口标志附近，采集消防安全出口标志的WIFI信息和图像信息以及出口标志在平面地图中的坐标。对采集到的WIFI信号RSSI值进行降序排列，滤除其中小于-90dBm的值，保存其中RSSI值大于-90dBm的WIFI信号的地址和RSSI值。对采集到的图像，提取并保存图像中的SURF特征点，并测量图像中的消防安全出口标志4个顶点在空间中的三维坐标，以此求解单应矩阵，将以上数据存入制图数据库。

第一步，数据采集。

采集WIFI信息可以得到周围的WIFI信号的地址及其RSSI值，由于RSSI值小于-90dBm的WIFI信号过于微弱，不能用于定位，于是滤除RSSI值小于-90dBm的WIFI信号,保存其中RSSI值大于-90dBm的WIFI信号的地址和RSSI值。采集消防安全出口标志图像信息，并测量图像中的消防安全出口标志4个顶点在空间中的三维坐标。

第二步，数据处理。

1.提取采集到的图像的SURF特征点，并生成描述符。

选取消防安全出口标志的中心点作为图像的SURF特征点，在特征点周围取一个正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)。然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征。该haar小波特征为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，即每个子区域有4个值。计算完毕生成16*4＝64维的向量即为图像的SURF特征描述符。

2.单应矩阵计算。

设(u，v)为以像素为单位的图像坐标系的坐标，(X,Y,Z)为三维空间点在世界坐标系下的坐标，根据小孔成像原理：

λ[u v 1]^T＝K[R t][X Y Z 1]^T

其中，[u v 1]表示以像素为单位的图像坐标系的齐次坐标，λ为比例因子，K为摄像机的内参数矩阵，为已知，R为摄像机的外参数矩阵，R＝[R₁ R₂ R₃]为3×3正交单位矩阵，t为三维平移向量，[X Y Z 1]^T为空间点在世界坐标系的齐次坐标表示。

对于平面上的点，可令Z＝0,即：

λ[u v 1]^T＝K[R₁ R₂ R₃ t][X Y 0 1]^T

＝K[R₁ R₂ t][X Y 1]^T

单应矩阵H定义为：H＝K[R₁ R₂ t]

单应矩阵H为3×3，共有9个元素，可以展开H为：

于是，对于平面上的点，满足以下公式：

展开可得：

λ＝h₃X+h₆Y+h₉

λu＝h₁X+h₄Y+h₇

λv＝h₂X+h₅Y+h₈

再次变形得：

对于通过四对不共线的点求解单应矩阵时，可令h₉＝1归一化，然后再通过4对点，8组方程，求解H矩阵中剩余的8个未知量，即h₁～h₈。因此，可以通过消防安全出口标志4个不共线的顶点求得图像坐标系与世界坐标系之间的单应矩阵。

第三步，数据保存。

保存第一步和第二步中的RSSI值大于-90dBm的WIFI信号的地址和RSSI值、图像的SURF特征点和单应矩阵、对应消防安全出口标志顶点的世界坐标系坐标值。

如图3所示，定位阶段，在当前的消防安全出口标志附近，同样采集以上数据，将WIFI信号的RSSI值与地图中的RSSI数据库进行匹配，返回匹配距离最小的WIFI位置点，并返回与之相关的SURF全局特征点，将当前的图像SURF全局特征点与返回的地图SURF全局特征点进行匹配，找到匹配度最高的图像，即识别出当前图片在地图图片数据库中的位置，根据匹配度最大的图像对应的单应矩阵和定位误差经验值，结合地图图像中消防安全出口标志的坐标，即可完成精确的室内定位。

第一步，通过WIFI信号进行粗匹配。

定义WIFI信号匹配度M(x,y)为：

其中，N为匹配到地址的WIFI的个数，x为地图中的WIFI的RSSI值，y为定位阶段采集到的WIFI的RSSI值，λ和α为经验值，一般分别取0.5和120.1。

将当前采集的WIFI信号与数据库中的WIFI数据根据上述公式进行匹配，找到匹配度最大的WIFI，即完成粗定位。

第二步，将采集到的图像与匹配到的WIFI对应的数据库图像进行SURF特征点匹配，找到匹配度最大的图像，即完成进一步定位。

具体过程为：首先提取采集到的图像的SURF特征描述符，具体过程参照制图阶段第二步数据处理中的第一点，图像SURF特征描述符提取。然后，提取数据库中匹配到的WIFI对应的SURF特征描述符。最后，通过KNN算法对两者进行匹配，找出与当前采集的图像最匹配的数据库图像，即完成进一步定位。

第三步，根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。设步骤S2中计算的出口标志与地图图像之间的单应矩阵为H₁，采集图片所用的手机可以使用张正友棋盘格标定法标定手机相机的内参数K，根据单应矩阵H₁和内参数K可以计算采集图像时手机相机与标志之间的距离D₁。在通过程序设计保证采集图像分辨率和用户定位时的图像分辨率一致的情况下，根据实验方法测定定位误差经验值Δd,则用户手机与出口标志之间的距离为D₁±Δd，结合S1中测量的出口标志在平面地图中的坐标，即可确定当前用户在平面地图中的坐标。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，包括以下步骤：

S1、在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在室内平面地图中的坐标；

S2、解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

S3、根据当前位置的信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置，结合对应位置地图图片的单应矩阵和定位误差经验值确定用户所在的具体位置。

2.根据权利要求1所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S2中的信号强度列表包括每个位置接收到的WIFI个数和强度，并滤除低强度的WIFI信号。

3.根据权利要求2所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，滤除低强度的WIFI信号的方法为：

采集每个位置周围的WIFI信号的地址和RSSI值，滤除RSSI值小于-90dBm的WIFI信号。

4.根据权利要求1所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S2中计算消防安全出口标志的图像的SURF特征描述符的方法为：

选取消防安全出口标志的图像的中心点作为图像的SURF特征点，在特征点周围取一个正方形框，框的边长为20s，s是所检测到该特征点所在的尺度把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，该haar小波特征为水平方向值之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，即每个子区域有4个值，计算完毕生成16*4＝64维的向量即为图像的SURF特征描述符。

5.根据权利要求1所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S3中进行定位的方法为：

S31、将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

S32、将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位；

S33、根据匹配度最大的图像对应的单应矩阵和定位误差经验值完成最终定位。

6.根据权利要求5所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S31中计算WIFI信号的匹配度M(x,y)的公式为：

$M\left(x,y\right)=\underset{i=1}{\overset{N}{\mathrm{\Π}}}\left(1+\mathrm{\λ}\right)\exp \left(-{\left(\frac{x_i-y_i}{x_i-\mathrm{\α}}\right)}^2\right)={\left(1+\mathrm{\λ}\right)}^N\underset{i=1}{\overset{N}{\mathrm{\Π}}}\exp \left(-{\left(\frac{x_i-y_i}{x_i-\mathrm{\α}}\right)}^2\right)$

其中，N为匹配到的WIFI信号的个数，x为地图数据库中的WIFI信号的RSSI值，y为定位时当前位置采集到的WIFI信号的RSSI值，λ和α为经验值，分别取0.5和120.1。

7.根据权利要求5所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S32中进行SURF特征描述符匹配的方法为：

提取当前位置采集到的图像的SURF特征描述符，提取地图数据库中匹配度最大的位置对应的多幅图像的SURF特征描述符，通过KNN算法对两者进行匹配，得到匹配度最大的图像。

8.根据权利要求5所述的基于移动终端的WIFI和视觉信息的室内定位方法，其特征在于，步骤S33中计算世界坐标系坐标的方法具体为：

设出口标志与地图图像之间的单应矩阵为H₁，采集图片所用的手机使用张正友棋盘格标定法标定手机相机的内参数K，根据单应矩阵H₁和内参数K计算采集图像时手机相机与标志之间的距离D₁；根据实验方法测定定位误差经验值Δd,则用户手机与出口标志之间的距离为D₁±Δd，结合出口标志在平面地图中的坐标，即可确定当前用户在平面地图中的坐标。

9.一种基于移动终端的WIFI和视觉信息的室内定位系统，其特征在于,包括：

移动终端，用于在室内的每个消防安全出口标志附近的位置，采集WIFI信号，同时拍摄消防安全出口标志的图像，并测量出口标志在室内平面地图中的坐标；

制图单元，用于解析WIFI信号和图像信息，获取每个出口标志附近的WIFI信号地址及其信号强度，生成信号强度列表；计算每个出口标志对应图像的SURF特征描述符，以及三维坐标系与世界坐标系之间的单应矩阵；将每个位置的信号强度列表、SURF特征描述符和单应矩阵保存到地图数据库中；

定位单元，用于获取当前位置的信号强度列表，拍摄当前位置的消防安全出口标志的图像，并计算其SURF特征描述符和单应矩阵；根据信号强度列表和SURF特征描述符，找到地图数据库中匹配度最高的位置；结合对应地图图片的单应矩阵和定位误差经验值得到当前位置的世界坐标系坐标，完成定位。

10.根据权利要求9所述的基于移动终端的WIFI和视觉信息的室内定位系统，其特征在于，定位单元包括：

WIFI定位单元，用于将当前位置的WIFI信号与地图数据库中各个位置的WIFI信号的信号强度列表进行匹配，比较匹配的WIFI个数和强度，找到匹配度最大的位置；

特征描述符定位单元，用于将当前位置的图像与匹配度最大的位置的对应的多幅图像进行SURF特征描述符匹配，找到匹配度最大的图像，完成进一步定位，结合对应地图图片的单应矩阵和定位误差经验值完成最终定位。