CN114332232A - 基于空间点线面特征混合建模的智能手机室内定位方法 - Google Patents

Abstract

一种基于空间特征混合建模的智能手机室内定位方法，利用智能手机增强现实开发平台捕捉提取局部实景空间的点、线、面等多种特征，然后通过非规则的区域分割和全局坐标映射技术实现了多个局部点云和三维空间面线特征的全局拼接，生成三维实景空间的全局混合特征模型，进而再通过对实时扫描局部空间特征集合与全局特征模型的匹配，实现快速便捷且高精度的智能手机室内自主定位。基于手机实时定位结果，通过预先将室内可行进区域转化为有向图，可利用迪杰斯特拉算法寻找最短路径，实现室内导航。

Description

基于空间点线面特征混合建模的智能手机室内定位方法

技术领域

本发明涉及计算机视觉和室内定位导航领域，具体是一种基于空间点线面特征混合建模的智能手机室内定位方法。

背景技术

构建精确的空间模型是基于视觉方法的室内定位导航必不可少的基础前提。在过去的二十年里，精确的室内定位和跟踪因其在机场、超市和医院等大型室内环境中的广泛应用而引起了广泛的关注。一旦实时获得准确的位置信息，就可以提供各种实用的基于位置的服务，如室内导航服务、位置信息推送、广告市场服务等。不幸的是，与户外环境中常用的GPS技术相比，目前还缺乏一种能够广泛应用于室内环境的标准定位系统。由于GPS信号在室内环境中不能工作，人们广泛研究了各种使用信号频率或强度的无线电的方法，如利用Wi-Fi、蓝牙、UWB或RFID技术来实现室内定位。然而，由于在复杂的室内环境中无线电信号的变化，所有这些定位方法往往都有较大的波动，导致精度较差。此外，在室内环境中必须提前部署额外的基础设施，并且在用户方面还需要额外的信号接收设备。

随着技术的进步，智能手机上搭载的传感器类型越来越多，包括视觉传感器（各种高清摄像头）、距离传感器、重力传感器、加速度传感器、陀螺仪、指南针等，相应的设备性能参数也不断提升，从而使得在智能手机上实现各种增强现实应用服务成为可能，也导致了多个基于智能手机终端的增强现实开发平台的出现，比较典型的有Apple公司的ARKit、Google公司的ARCore等。这些平台提供高级的应用程序开发接口（API）进行世界追踪、空间建模、场景理解等，然而目前基于手机平台的室内自主定位导航仍未得到较好的解决。

专利申请（公开号：CN111508067A）公开了一种基于垂直平面和垂直线的轻量级室内建模方法，仅依靠空间的垂直平面和垂直线进行室内建模将导致模型的信息量太少，难以支撑鲁棒性强且精度高的室内定位实现。即时定位与地图构建技术（SimultaneousLocalization and Mapping，SLAM）是传统经典的空间点云建模方法，但计算复杂度高，难以在计算资源和存储资源都非常有限的手机平台上实现。更重要的问题是，无论是空间点云模型还是垂直平面和垂直线组成的空间线面模型，如何在手机平台上快速准确地实现基于模型匹配的室内定位，仍是室内定位领域的一大技术性难题。

发明内容

本发明提出一种基于空间点线面特征混合建模的智能手机室内定位方法，实现了室内自主定位与导航，解决了现有技术中存在的难题。

本发明的技术方案是这样实现的：一种基于空间点线面特征混合建模的智能手机室内定位方法，利用智能手机增强现实开发平台捕捉局部实景空间的点线面特征，通过基于非规则的区域分割和全局坐标映射的空间模型构建方法生成三维实景空间的全局混合特征模型，然后通过对实时扫描局部空间特征集合与全局特征模型的匹配进行室内定位，利用智能手机增强现实开发平台捕捉局部实景空间的点线面特征包括空间点云特征提取、空间平面特征提取以及空间垂直线特征提取。

进一步，空间点云特征提取方法为基于智能手机增强现实开发平台，自动识别和实时提取真实室内场景中的特征点，并通过运动跟踪来实时更新这些特征点的参数表示，将局部区域内的一组特征点集以特定的数据结构存储为一个实例对象，构建局部空间区域的一个局部点云模型；空间平面特征提取为基于智能手机增强现实开发平台自动检测提取室内空间的垂直平面，并将三维垂直平面投影到二维水平面上；提取室内的空间垂直线为基于手机增强现实开发平台实时运动追踪功能提供的摄像机旋转平移矩阵将当前帧图像校正为摄像机与水平面平行状态下的图像，对校正后图像进行边缘滤波并生成图像直方图，根据直方图局部峰值计算相应垂直线的空间位置；然后，利用动态时间规整算法对相邻帧之间的同名垂直线进行匹配，并通过增加边界约束、单调性约束和设置扭曲窗口来增加匹配的鲁棒性，最后，通过卡尔曼滤波对视频图像序列中的每一条垂直线进行动态跟踪和更新；在空间平面特征提取的基础上，进一步提取室内的空间垂直线，进而将空间垂直线融入平面模型，融合生成由空间平面和垂直线组成的空间线面模型。

进一步，非规则的区域分割要求每两个相邻区域的边界线都落在具有视觉特征的区域，所述视觉特征包括纹理和/或形状和/或颜色特征，在扫描构建实际场景模型时，要求每两个相邻区域之间需要存在一定的重叠。

进一步，基于区域分割和全局坐标映射的空间模型构建方法为将整个全局空间区域划分为多个局部区域，然后扫描每个局部区域生成一个个相应的局部模型，通过空间坐标映射将所有局部模型配准对齐到一个统一的世界坐标系中，从而生成一个完整物理空间的全局模型。

进一步，全局空间点云模型由若干个智能手机增强现实开发平台自动识别提取的局部点云模型组成，每个局部点云模型具有可存储和重新加载的功能特性，对应建模时分割的相应局部区域，每个局部区域在统一的世界坐标系中都有一个唯一的区域标识号和相应的旋转平移矩阵，用该旋转平移矩阵将局部坐标映射为统一的全局世界坐标。

进一步，根据智能手机实时扫描的局部场景进行室内定位的方法：利用初始化技术获得智能手机的当前初始位置，加载相应的局部点云模型和全局空间线面模型；分析智能手机实时扫描得到的局部场景视频图像信息，根据当前场景是否包含视觉特征以及是否检测到垂直平面或垂直线，进行自适应地判别执行混合模型匹配定位方法：如果当前场景包含视觉特征，则将当前场景特征点信息与加载的局部点云模型进行匹配计算，算得实时定位结果；如果否，则进一步判断是否检测到垂直平面或垂直线：如果检测到垂直平面或垂直线，则将当前场景检测得到的垂直平面及垂直线信息与全局空间线面模型进行匹配计算，算得实时定位结果；如果仍然否，则变换当前位置或调整手机拍摄方向，重新扫描局部场景，直至检测到视觉特征，或垂直平面或垂直线；利用滤波融合方法，对点云模型匹配得到的定位结果和线面模型得到的定位结果进行动态融合，实时更新当前所在位置；同时，根据每一次循环的实时定位结果，不断检测判断当前所在位置是否进入到了一个新的局部区域，如果进入，将立即加载相应的新的局部点云模型。

进一步，空间点云模型匹配就是将当前局部场景中捕捉的每一帧图像信息与已加载的局部点云模型进行匹配，实时检测判断当前图像帧中的特征点集能否与局部点云模型中的某一部分相匹配，从而实现在该局部区域的准确定位；空间线面模型匹配就是在投影后的二维平面空间，采用随机抽样一致性算法策略对当前检测到的空间垂直平面及垂直线与全局空间线面模型进行匹配。

进一步，空间点云模型匹配方法是利用现有智能手机增强现实开发平台对空间三维点云可存储和重新加载的功能特性，在加载相应的局部点云模型后，一旦发现当前图像帧的特征点集与点云模型中的某一部分相匹配，利用增强现实开发平台的高级应用程序开发接口支持，自动实现快速精确的局部匹配定位；然后，基于视觉惯性里程计技术实现智能手机平台的世界追踪功能，自动同步更新当前位置；最后，根据当前局部点云模型对应的旋转平移矩阵，将当前位置的局部坐标转换为统一的全局世界坐标，得到在全局室内空间的实时定位结果。

一种基于空间点线面特征混合建模的智能手机室内定位方法的室内自主导航的方法为：在室内空间二维平面图的基础上，预先标定好室内空间的可行进区域以及主要的行进路径和关键节点，将室内平面图转化为有向图结构；基于手机实时定位结果，寻找与当前位置最接近的关键节点，将该关键节点近似设定为导航起始点，然后利用迪杰斯特拉经典算法寻找当前起始点到目的地终点之间的最短路径，以语音播报或箭头在二维地图上标注方式，提示手机用户的实时行走路径，实现基于智能手机的室内自主导航。

本发明的有益效果为：本发明通过区域分割与全局坐标映射技术实现了多个局部点云地图的拼接，从而可以在较大的场景下进行定位与导航；通过空间平面及垂直线提取技术使用到了更多的实景空间特征信息，可以实现更高精度的匹配定位；通过在平面地图上选取关键节点，可以将模型转化为图结构，通过迪杰斯特拉算法可以实现导航的目的。

本发明综合运用智能手机增强现实开发平台的高级应用程序开发接口，快速便捷地实现空间点线面特征混合建模；提出一种场景自适应的混合模型匹配定位方法和流程，不仅算法复杂度低、执行效率高，而且匹配定位的精度也很高；在定位结果的基础上，实现基于智能手机的室内自主导航。

本发明基于智能手机AR平台提供的平面检测开发接口，自动检测提取室内空间的垂直平面，并将三维垂直平面投影到二维水平面上，即用二维投影平面上的一个线段代表一个三维垂直平面，从而实现轻量级的室内空间建模。

本发明提出基于区域分割的全局空间混合模型构建方法，将整个全局空间区域划分为多个局部区域，然后扫描每个局部区域生成一个个相应的局部模型，最后通过一个全局地理配准的过程将所有局部模型聚合为一个全局模型，也就是通过空间坐标变换将所有局部模型配准对齐到一个统一的世界坐标系中，从而生成一个完整物理空间的全局模型。

本发明提出一种非规则的区域分割方法，要求每两个相邻区域的边界线都落在一些具有视觉特征的区域，从而保证每次进入一个新的局部区域时，都能够很快找到一次正确的匹配，从而在新加载的局部地图模型中快速实现重定位。

本发明充分利用现有智能手机AR平台对空间三维点云可存储和重新加载的功能特性，在加载相应的局部点云模型后，一旦发现当前图像帧的特征点集与点云模型中的某一部分相匹配，利用AR平台高级API接口支持，自动实现快速精确的局部匹配定位。然后，基于视觉惯性里程计（VIO）技术实现的AR平台世界追踪（World Tracking）功能，自动同步更新当前位置。最后，根据当前局部点云模型对应的旋转平移矩阵，将当前位置的局部坐标转换为统一的全局世界坐标，得到在全局室内空间的实时定位结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为基于空间点线面特征混合建模的智能手机室内定位方法一个实施例的流程图；

图2为非规则的区域分割示意图；

图3为垂直平面提取与定位累积误差示意图（横纵坐标轴分别为将室内三维空间投影后的xoz二维平面空间的x轴和z轴）；

图4为基于RANSAC策略的空间线面模型匹配前的示意图（横纵坐标轴分别为将室内三维空间投影后的xoz二维平面空间的x轴和z轴）；

图5为为基于RANSAC策略的空间线面模型匹配后的示意图（横纵坐标轴分别为将室内三维空间投影后的xoz二维平面空间的x轴和z轴）；

图6为基于场景自适应的混合模型匹配定位方法实现流程框架图；

图7为基于手机实时定位结果的室内自主导航结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于空间特征混合建模的智能手机室内定位方法，利用智能手机AR平台捕捉提取局部实景空间的点、线、面等多种特征，然后通过全局坐标映射技术实现了多个局部点云和三维空间面线特征的全局拼接，生成三维实景空间的全局混合特征模型，进而再通过对实时扫描局部空间特征集合与全局特征模型的匹配，实现快速便捷且高精度的智能手机室内自主定位。基于手机实时定位结果，通过预先将室内可行进区域转化为有向图，可利用迪杰斯特拉算法寻找最短路径，实现室内导航。

本发明通过区域分割与全局坐标映射技术实现了多个局部点云地图的拼接，从而可以在较大的场景下进行导航；通过空间平面及垂直线提取技术使用到了更多的地图信息，可以实现更高精度的地图匹配；通过在平面地图上选取关键节点，可以将模型转化为图结构，通过迪杰斯特拉算法可以实现导航的目的。

一、空间点线面特征混合建模

（一）空间点云特征提取

由于目前各种智能手机的中央处理器（CPU）性能越来越高，且搭载的传感器类型也越来越多，包括各种高清摄像头以及加速度传感器、陀螺仪、指南针、距离传感器、深度传感器等，使得在智能手机上高效实现视觉惯性里程计技术（Visual-Inertial Odometry，VIO）成为可能。各种智能手机AR平台，如谷歌公司的Tango、ARCore以及苹果公司的ARKit等，均提供高级API接口支持实现基于VIO技术的空间点云特征提取和建模。

以苹果公司的ARKit平台为例，平台提供了一个强大的ARWorldMap开发接口类，一个ARWorldMap对象存储了当前所有扫描到的原始特征点，表征局部三维物理空间的一个映射。值得注意的是，生成一个有效的基于点云的局部区域地图的前提是，实际场景环境中必须具有大量的视觉特征，视觉特征包括纹理和/或形状和/或颜色特征，如门牌、海报、固定设施等。然后，这个局部区域地图被存储在一个ARWorldMap对象中，下一次能够被重新搜索到并加载，从而实现重定位。

本发明基于智能手机AR平台提供的VIO技术实现封装接口类，如ARKit平台的ARWorldMap类或ARCore平台的PointCloud类，自动识别和实时提取真实室内场景中的特征点，并通过运动跟踪来实时更新这些特征点的参数表示，将局部区域内的一组特征点集以特定的数据结构存储为一个实例对象，即构建映射为局部空间区域的一个局部点云模型。

（二）空间平面特征提取

在实际室内环境中，空间平面是很常见的，例如墙面、柱子、海报、门以及地面。室内空间的三维空间结构可以通过一组主要的空间平面进行表示。其中，空间垂直面对于室内定位来说又是非常关键的。通常来说，基于空间三维点云特征的提取结果，通过运行空间平面检测算法，可自动提取出三维空间平面。智能手机AR平台如谷歌公司的ARCore以及苹果公司的ARKit，都提供了在实际场景中自动检测空间水平平面和垂直平面的应用开发接口。

本发明基于智能手机AR平台提供的平面检测开发接口，自动检测提取室内空间的垂直平面，并将三维垂直平面投影到二维水平面上，即用二维投影平面上的一个线段代表一个三维垂直平面，从而实现轻量级的室内空间建模。

以基于ARKit平台的室内空间平面提取和建模为具体实施例：

首先，利用ARWorldTrackingConfiguration配置来打开垂直平面检测功能；

然后，将检测到的每一个垂直平面都存储在一个ARPlaneAnchor类对象中，根据该ARPlaneAnchor类对象的两个属性center和extent可得到平面的中心点坐标和长宽尺寸范围，进行可将该垂直平面投影到二维水平面中得到一个线段。通过计算并记录该线段的两个端点坐标，即可表示该空间垂直平面。如果用单精度浮点数float类型存储端点的坐标值，则每个垂直平面建模的数据量仅为2×2×4字节共16字节，从而实现轻量级的室内空间建模。

（三）空间垂直线特征提取

由于检测平面尺寸范围的不精确性，以及在某些缺乏视觉特征的区域很难检测出有效的空间垂直平面，例如纯色无纹理的墙面，从而导致基于平面的空间特征模型往往信息不足。

本发明在空间平面特征提取的基础上，进一步提取室内的空间垂直线（如门框的边缘、墙角的连接缝等），并结合平面模型计算垂直线在空间中的位置，进而将空间垂直线融入平面模型，融合生成由垂直平面和垂直线组成的空间混合模型。

具体来说：首先，基于AR平台实时运动追踪功能提供的摄像机旋转平移矩阵将当前帧图像校正为摄像机与水平面平行状态下的图像，对校正后图像进行边缘滤波并生成图像直方图，根据直方图局部峰值计算相应垂直线的空间位置；然后，利用动态时间规整（DTW）算法对相邻帧之间的同名垂直线进行匹配，并通过增加边界约束、单调性约束和设置扭曲窗口来增加匹配的鲁棒性；最后，通过卡尔曼滤波对视频图像序列中的每一条垂直线进行动态跟踪和更新。可通过设置阈值剔除视觉特征不明显、可靠性较低的提取直线，从而减小模型误差。

（四）基于区域分割的全局空间混合模型构建

由于空间三维点云模型的数据量较大，将一个面积较大的室内空间场景信息存储在单个基于空间点云的地图模型中是不太现实的，而且这样也会对后续匹配计算进行定位的算法效率带来很大的挑战。例如，苹果公司ARKit平台中的一个ARWorldMap对象能够存储的三维点云地图模型数据量仅有几个兆字节，而谷歌公司的ARCore平台能够存储的特征点最大数限制在61440个。另一方面，即使是轻量级的空间线面特征模型，如果在较大空间范围内连续进行空间垂直平面和垂直线的提取和定位，如图3所示，不断增长的累积漂移误差也会导致模型的精度非常低。因此，在空间线面特征建模时也需要通过区域分割对定位累积误差进行校正归零。

本发明提出基于区域分割的全局空间混合模型构建方法，首先如图2、3所示，将整个全局空间区域划分为多个局部区域，然后扫描每个局部区域生成一个个相应的局部模型，最后通过一个全局地理配准的过程将所有局部模型聚合为一个全局模型，也就是通过空间坐标变换将所有局部模型配准对齐到一个统一的世界坐标系中，从而生成一个完整物理空间的全局模型。

如图2所示，本发明提出一种非规则的区域分割方法，要求每两个相邻区域的边界线都落在一些具有视觉特征的区域，从而保证每次进入一个新的局部区域时，都能够很快找到一次正确的匹配，从而在新加载的局部地图模型中快速实现重定位。另外，为了实现平滑的局部区域切换，在扫描构建实际场景模型时，要求每两个相邻区域之间需要存在一定的重叠。

为计算局部模型与全局模型之间的地理配准变换关系，需要预先在全局室内空间范围内设置定位好若干个地标点，每一个地标点的精确物理位置需要在预先定义好的统一世界坐标系中精确测量得到。当扫描真实场景并建模局部区域时，记录下每个地标点在相应局部坐标系中的估计位置，然后基于这些地标点的精确全局坐标位置和局部坐标估计位置，计算每个局部坐标系与统一的世界坐标系之间的变换矩阵关系。具体地，本发明解决的室内定位问题被简化在一个三维空间投影后的xoz二维平面空间中，因此对于每个局部区域来说，仅需要两个地标点即可计算得到相应的旋转平移变换矩阵。

空间点线面特征混合模型的存储表示形式包括两个部分：

（1）空间点云模型：由若干个局部点云模型组成，每个局部点云模型对应建模时分割的相应局部区域，每个局部区域在统一的世界坐标系中都有一个唯一的区域标识号和相应的旋转平移矩阵，可以用该旋转平移矩阵将局部坐标映射为统一的全局世界坐标。

（2）空间线面模型：由于本发明解决的室内定位问题被简化在一个三维空间投影后的xoz二维平面空间中，因此每一个垂直平面在投影后的二维空间中就是一个线段，每一条垂直线投影后就是一个点，如图4所示，为基于RANSAC策略的空间线面模型匹配前的示意图，如图5所示，即为投影后的空间线面混合模型。

虽然建模时为避免累积误差的影响，需要分块进行逐个局部区域的垂直平面和垂直线建模，但在将所有的局部的线面模型进行全局映射后，由于每个垂直平面模型只需要存储投影后线段的两个端点坐标，每条垂直线投影后只需要存储相应的一个投影点坐标，因此用一个轻量级的全局模型就可以表示所有的空间垂直平面和垂直线。

二、基于空间特征混合模型匹配的室内定位

（一）场景自适应的混合模型匹配定位方法

基于上述预先构建好的空间点线面特征全局混合模型，在根据智能手机实时扫描的局部场景进行室内定位时，本发明提出一种基于场景自适应的混合模型匹配定位方法，实现流程框架如图6所示：

首先，需要利用初始化技术获得智能手机的当前初始位置，例如可以在室内环境如大楼的入口处通过GPS得到初始位置。这里，初始位置不需要非常精准，只需要一个粗略的位置来判断当前处在哪一个局部区域中，从而加载相应的局部点云模型。同时，加载全局空间线面模型。

然后，分析智能手机实时扫描得到的局部场景视频图像信息，根据当前场景是否包含视觉特征以及是否检测到若干显著的垂直平面或垂直线，进行自适应地判别执行混合模型匹配定位方法：如果当前场景包含视觉特征，则将当前场景特征点信息与加载的局部点云模型进行匹配计算，算得实时定位结果；如果否，则进一步判断是否检测到若干显著的垂直平面或垂直线：如果检测到垂直平面或垂直线，则将当前场景检测得到的垂直平面及垂直线信息与全局空间线面模型进行匹配计算，算得实时定位结果；如果仍然否，则变换当前位置或调整手机拍摄方向，重新扫描局部场景，直至检测到视觉特征，或垂直平面或垂直线。

最后，利用滤波融合方法（如卡尔曼滤波）对点云模型匹配得到的定位结果和线面模型得到的定位结果进行动态融合，实时更新当前所在位置。同时，根据每一次循环的实时定位结果，不断检测判断当前所在位置是否进入到了一个新的局部区域。如果进入，将立即加载相应的新的局部点云模型。

（二）基于智能手机AR平台的空间点云模型匹配

空间点云模型匹配就是将当前局部场景中捕捉的每一帧图像信息与已加载的局部点云模型进行匹配，实时检测判断当前图像帧中的特征点集能否与局部点云模型中的某一部分相匹配，从而实现在该局部区域的准确定位。

本发明充分利用现有智能手机AR平台对空间三维点云可存储和重新加载的功能特性，在加载相应的局部点云模型后，一旦发现当前图像帧的特征点集与点云模型中的某一部分相匹配，利用AR平台高级API接口支持，自动实现快速精确的局部匹配定位。然后，基于视觉惯性里程计（VIO）技术实现的AR平台世界追踪（World Tracking）功能，自动同步更新当前位置。最后，根据当前局部点云模型对应的旋转平移矩阵，将当前位置的局部坐标转换为统一的全局世界坐标，得到在全局室内空间的实时定位结果。

（三）基于RANSAC策略的空间线面模型匹配

本发明在投影后的二维平面空间，采用随机抽样一致性（RANSAC）算法策略对当前检测到的空间垂直平面及垂直线与全局空间线面模型进行匹配，具体算法流程如下：

1）在当前检测平面集合中随机选择两条线段

和

（代表两个垂直平面），判断这两条线段是否同时满足以下两个条件：①两条线段的方向角偏差足够大（例如，要求

）；②两条线段之间的距离限定在一定范围内。否则，重新选择。

2）在全局线面模型的一个子集中随机搜索选出两条线段

和

，这个子集是在当前估计位置附近的一个特定范围内筛选。这两条线段应同时满足以下两个条件：①这两条线段之间的方向角偏差与待匹配的当前检测两条线段

和

之间的方向角偏差接近（在较小的误差范围内，例如5度）；②

与

、

与

这两组线段之间的各自距离接近，在一定的误差范围内。然后，假设

与

、

与

这两组线段作为一组候选匹配。

3）根据

与

、

与

这两组线段的方向角偏差，以及

和

交点、

和

交点之间的偏移量，计算当前检测平面集合和全局平面模型子集之间的变换矩阵T。这里，我们将变换矩阵T简化近似为一个二维相似性变换。

4）将变换矩阵T应用于当前检测平面集合中的所有线段以及检测到的所有垂直线的对应投影点，然后获得相应的变换后的当前检测线面集合。

5）对于变换后的当前检测线面集合中的每条线段和每个投影点，在全局线面模型子集中找到最佳匹配线段和投影点，计算集合中每条线段和投影点的最高匹配分数，两条线段之间的匹配分数定义为：

其中，

是指两条线段之间的方向角偏差,

是指两条线段之间的距离。

两个投影点之间的匹配分数定义为两个投影点之间的欧氏距离。匹配分数越低，则匹配度越高。

6）如果上述匹配分数小于预先设定的一个阈值，则可将这两条线段视为一组潜在匹配，然后将这一组匹配临时标记为“内点”。计算当前候选匹配关系T的“内点”总数，并将每组潜在匹配的匹配分数相加求和。

7）重复上述步骤1）-6），然后选择具有最大“内点”总数的候选匹配作为当前检测平面集合和全局平面模型子集之间的最佳匹配。如果有两个候选匹配的“内点”总数相等，则选择其中匹配分数总和较低的一个作为最佳匹配。

8）当前位置在全局坐标系中的定位结果，则通过将原始的检测定位坐标乘以最佳匹配的旋转平移变换矩阵T计算得到。

三、基于手机实时定位结果的室内自主导航

如图7所示，本发明在室内空间二维平面图的基础上，预先标定好室内空间的可行进区域以及主要的行进路径和关键节点，从而将室内平面图转化为有向图结构。然后，基于手机实时定位结果，寻找与当前位置最接近的关键节点，将该关键节点近似设定为导航起始点，然后利用迪杰斯特拉（Dijkstra）经典算法寻找当前起始点到目的地终点之间的最短路径，以语音播报或箭头在二维地图上标注方式，提示手机用户的实时行走路径，从而实现基于智能手机的室内自主导航。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：利用智能手机增强现实开发平台捕捉局部实景空间的点线面特征，通过基于非规则的区域分割和全局坐标映射的空间模型构建方法生成三维实景空间的全局混合特征模型，然后通过对实时扫描局部空间特征集合与全局特征模型的匹配进行室内定位，利用智能手机增强现实开发平台捕捉局部实景空间的点线面特征包括空间点云特征提取、空间平面特征提取以及空间垂直线特征提取；非规则的区域分割要求每两个相邻区域的边界线都落在具有视觉特征的区域，所述视觉特征包括纹理和/或形状和/或颜色特征，在扫描构建实际场景模型时，要求每两个相邻区域之间需要存在一定的重叠。

2.如权利要求1所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：空间点云特征提取方法为基于智能手机增强现实开发平台，自动识别和实时提取真实室内场景中的特征点，并通过运动跟踪来实时更新这些特征点的参数表示，将局部区域内的一组特征点集以特定的数据结构存储为一个实例对象，构建局部空间区域的一个局部点云模型；空间平面特征提取为基于智能手机增强现实开发平台自动检测提取室内空间的垂直平面，并将三维垂直平面投影到二维水平面上；提取室内的空间垂直线为基于手机增强现实开发平台实时运动追踪功能提供的摄像机旋转平移矩阵将当前帧图像校正为摄像机与水平面平行状态下的图像，对校正后图像进行边缘滤波并生成图像直方图，根据直方图局部峰值计算相应垂直线的空间位置；然后，利用动态时间规整算法对相邻帧之间的同名垂直线进行匹配，并通过增加边界约束、单调性约束和设置扭曲窗口来增加匹配的鲁棒性，最后，通过卡尔曼滤波对视频图像序列中的每一条垂直线进行动态跟踪和更新；在空间平面特征提取的基础上，进一步提取室内的空间垂直线，进而将空间垂直线融入平面模型，融合生成由空间平面和垂直线组成的空间线面模型。

3.如权利要求2所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：基于区域分割和全局坐标映射的空间模型构建方法为将整个全局空间区域划分为多个局部区域，然后扫描每个局部区域生成一个个相应的局部模型，通过空间坐标映射将所有局部模型配准对齐到一个统一的世界坐标系中，从而生成一个完整物理空间的全局模型。

4.如权利要求2所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：全局空间点云模型由若干个智能手机增强现实开发平台自动识别提取的局部点云模型组成，每个局部点云模型具有可存储和重新加载的功能特性，对应建模时分割的相应局部区域，每个局部区域在统一的世界坐标系中都有一个唯一的区域标识号和相应的旋转平移矩阵，用该旋转平移矩阵将局部坐标映射为统一的全局世界坐标。

5.如权利要求2所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：根据智能手机实时扫描的局部场景进行室内定位的方法：利用初始化技术获得智能手机的当前初始位置，加载相应的局部点云模型和全局空间线面模型；分析智能手机实时扫描得到的局部场景视频图像信息，根据当前场景是否包含视觉特征以及是否检测到垂直平面或垂直线，进行自适应地判别执行混合模型匹配定位方法：如果当前场景包含视觉特征，则将当前场景特征点信息与加载的局部点云模型进行匹配计算，算得实时定位结果；如果否，则进一步判断是否检测到垂直平面或垂直线：如果检测到垂直平面或垂直线，则将当前场景检测得到的垂直平面及垂直线信息与全局空间线面模型进行匹配计算，算得实时定位结果；如果仍然否，则变换当前位置或调整手机拍摄方向，重新扫描局部场景，直至检测到视觉特征，或垂直平面或垂直线；利用滤波融合方法，对点云模型匹配得到的定位结果和线面模型得到的定位结果进行动态融合，实时更新当前所在位置；同时，根据每一次循环的实时定位结果，不断检测判断当前所在位置是否进入到了一个新的局部区域，如果进入，将立即加载相应的新的局部点云模型。

6.如权利要求5所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：空间点云模型匹配就是将当前局部场景中捕捉的每一帧图像信息与已加载的局部点云模型进行匹配，实时检测判断当前图像帧中的特征点集能否与局部点云模型中的某一部分相匹配，从而实现在该局部区域的准确定位；空间线面模型匹配就是在投影后的二维平面空间，采用随机抽样一致性算法策略对当前检测到的空间垂直平面及垂直线与全局空间线面模型进行匹配。

7.如权利要求6所述的基于空间点线面特征混合建模的智能手机室内定位方法，其特征在于：空间点云模型匹配方法是利用现有智能手机增强现实开发平台对空间三维点云可存储和重新加载的功能特性，在加载相应的局部点云模型后，一旦发现当前图像帧的特征点集与点云模型中的某一部分相匹配，利用增强现实开发平台的高级应用程序开发接口支持，自动实现快速精确的局部匹配定位；然后，基于视觉惯性里程计技术实现智能手机平台的世界追踪功能，自动同步更新当前位置；最后，根据当前局部点云模型对应的旋转平移矩阵，将当前位置的局部坐标转换为统一的全局世界坐标，得到在全局室内空间的实时定位结果。

8.一种基于如权利要求1-7任一所述的空间点线面特征混合建模的智能手机室内定位方法的室内自主导航的方法，其特征在于：在室内空间二维平面图的基础上，预先标定好室内空间的可行进区域以及主要的行进路径和关键节点，将室内平面图转化为有向图结构；基于手机实时定位结果，寻找与当前位置最接近的关键节点，将该关键节点近似设定为导航起始点，然后利用迪杰斯特拉经典算法寻找当前起始点到目的地终点之间的最短路径，以语音播报或箭头在二维地图上标注方式，提示手机用户的实时行走路径，实现基于智能手机的室内自主导航。

Images