CN110017841A - 视觉定位方法及其导航方法 - Google Patents

Abstract

本发明提供了一种视觉定位方法，包括以下步骤：S1：预先获取需定位环境内的标志物的图像，并建立包含所述标志物的图像的标志物数据库；S2：通过智能设备采集需定位环境内标志物的待识别图像，将所述待识别图像与标志物数据库内的图像进行图像匹配，根据匹配到的图像中已知的几何特征计算得到当前位置；S3：将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。本发明提供了一种视觉定位导航方法，通过上述视觉定位方法进行定位以进行导航。

Description

视觉定位方法及其导航方法

技术领域

本发明涉及定位技术领域，特别涉及一种视觉定位方法及其导航方法。

背景技术

基于位置服务(Location Based Service，LBS)行业正在日益兴起，该服务是通过电信移动运营商的无线通信网络或外部定位方式(如GPS)获取移动终端的位置，为用户提供近距离的服务需求。在室外环境下，GPS定位能够解决大部分的定位需求。

在某些情况下，卫星信号到达地面时较弱、不能穿透建筑物，需要采用室内定位技术作为定位的手段以解决定位物体在室内所处的位置。由于目前民用GPS的定位精度在十米左右，在某些室外的情况下，这个精度也不够，例如，在用手机打车时，根据GPS的定位可能无法正确判断用户在马路的哪一边。

目前除了GPS定位技术以外，很多的其它定位技术被开发出来，用于解决室内定位和室外的较高精度的定位。这些定位技术主要包括无线通讯的基站定位、惯性导航定位、地球磁场、基于图片(视频)的计算机视觉定位等。

常见的无线通讯基站定位主要有通讯网络的蜂窝定位技术、Wi-Fi、蓝牙、红外线、超宽带、RFID、ZigBee和超声波等。这些定位技术都需要布置无线基站，利用现有基站的，例如通讯网络的蜂窝定位技术，定位精度不高。需要实现高精度的情况下，实施起来成本比较高，目前没有得到普遍的推广应用。

惯性定位技术，它无需任何额外的基础设施或网络，以无线方式实时输出人员的行走距离与方向信息，可以实现在各种复杂环境中人员的准确定位，可以用于应急救援。但是惯性导航的信号随着时间误差会不断积累，在人行进过程中，手机中的惯导元件比较差的精度和姿态随意性，会导致积分快速发散，精度完全不可用，所以这个方法往往不会单独使用，而是和其他技术一起进行融合。

地球磁场定位的理论是依据是每一个具体位置的磁场信息都不一样。由于室内环境复杂多变，通常各个不同的位置点的地磁场强度也不一样。使用这种技术进行导航比较麻烦，首先用户需要上传建筑平面图，然后还需要拿着智能设备绕室内一圈，记录下各个位置的地磁信号特征，在行走道路上对磁场变化轨迹进行匹配。

基于图片(视频)的计算机视觉定位，其中SLAM(simultaneous localization andmapping),即时定位与地图构建，是目前非常热门的技术。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图。SLAM技术可以实现很高的定位精度，但是由于其技术复杂程度高和成本高，目前SLAM技术不能用于手持的智能设备。另外一种，基于计算机视觉的定位方法，主要是在环境中放置定位标记(一般是二维码)，同时记录定位标记的位置，用摄像机拍摄定位标记的图像，获得摄像机的位置。这种方法在工业环境中已经得到了应用。但是在民用环境，特别是商业环境中，也许由于这种定位标记对环境美观的影响，无法得到广泛的应用。

发明内容

本发明方法利用环境中已经存在的为人制作的各种识别标志(导向标志，店铺门面、地标性物体(例如雕塑、喷泉、花坛等))作为定位标志物。本方法通过选用标志物，解决了视觉定位中的路标选择的问题。考虑到公共场所的导向标志设置的原则就是要覆盖所有的公共区域，因此，采用导向标志，再加上店铺门面和地标物，这样的标志物的选择能够构成充分的分布，能够提供足够的信息支持室内导航任务的实现，而且与人的使用习惯是完全一致。智能设备识别这些标志物，并且根据这些标志物计算出当前位置，类似于人识别当前位置的标志物并且给出向目标位置移动的路径的过程。通过这样的方式把当前环境的知识赋予一个不熟悉环境的人。通过建立标志物数据库，采用机器视觉中的图像识别技术,在标志物数据库中搜索匹配当前图片中的标志物。类似于人进入一个商场，寻找导向标志或店铺招牌等来定位自己。这种方法既符合人的习惯，又使得本来开放性的有无数多种选择的图像识别问题变成了一个有限范围内的搜索匹配问题。

本发明的目的在于提供一种视觉定位方法及其导航方法，以解决现有的定位技术所存在的定位精度高与低成本无法兼顾的问题。

为实现上述目的，本发明提供了一种视觉定位方法，包括以下步骤：

S1：预先获取需定位环境内的标志物的图像，并建立包含所述标志物的图像的标志物数据库；

S2：通过智能设备采集需定位环境内标志物的待识别图像，将所述待识别图像与标志物数据库内的图像进行图像匹配，根据匹配到的图像中已有的标志物坐标计算得到当前位置；

S3：将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。

较佳地，所述步骤S1中，在所述标志物的图像上选择若干几何特征(点、直线或二次曲线)，将其空间坐标系中的三维描述记录下来，然后将所述标志物的图像及几何特征的在图像坐标系中的二维描述和在空间坐标系中的三维描述存储至所述标志物数据库中。点的二维描述和三维描述还是点坐标，直线和二次曲线的二维描述和三维描述还包括方程的参数。

较佳地，所述步骤S1中，选取所述标志物的图像中的部分区域作为特征识别信息，其他部分作为包围盒，然后将所述特征识别信息存储至所述标志物数据库中；所述步骤S2中：将待识别图像与标志物数据库中的特征识别信息进行特征匹配。

较佳地，所述特征识别信息包括：指示图标、店铺招牌及其他供人识别理解的特殊设计的图案信息，区别于需要借助计算机软件理解的信息例如二维码。特征标识信息是标志物中特征最明显的部分。

较佳地，所述步骤S1中，提取所述标志物的图像中的文字作为标签，然后，将所述标签存储在所述标志物数据库中。

较佳地，所述步骤S1包括：拍摄不同角度及/或不同光照条件中的标志物，以获取不同角度及/或不同亮度标志物的图像。

较佳地，所述步骤S2包括：在存在其他定位方式时，使用其他定位方式进行粗定位，得到粗定位位置，然后根据所述粗定位位置对所述标志物数据库进行过滤以缩小匹配范围，得到过滤后的标志物数据库，再将所述待识别图像与过滤后的标志物数据库中的图像进行图像匹配。

较佳地，所述步骤S2包括：采集需定位环境内标志物的待识别图像后，首先提取待识别图像中的文字信息，然后根据所述文字信息对所述标志物数据库进行过滤，以缩小搜索范围，再将所述待识别图像在过滤后的标志物数据库中进行图像匹配。

较佳地，所述步骤S2包括：图像匹配时，首先在标志物数据库内匹配待识别图像中对应的标志物，然后将匹配到的标志物图像与待识别图像中对应的标志物的图像进行几何特征的匹配，从待识别图像中获得几何特征在图像坐标系中的二维描述，最后根据所述几何特征在标志物数据库内存储的空间坐标系的三维描述，采用基于模型的单目视觉定位计算方法，计算得到智能设备的位置坐标及姿态。

本发明还提供了一种视觉定位导航方法，导航过程中采用如上所述的视觉定位方法进行定位，具体包括以下步骤：

获得需要定位环境的电子地图；

获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；

在所述电子地图上规划所述起点至终点的路径；

提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终点；

其中，图片输入终点的方式包括：系统在标志物数据库中匹配相应的标志物，并按照所述视觉方法定位，然后设为目的地；图像输入起点的方式包括：从环境中选取任意一个标志物，用摄像机拍摄图像以按所述视觉定位方法确定当前位置。

较佳地，导航过程中的任意时刻，通过WiFi、惯性导航、GPS、地磁定位、RFID、蓝牙、超宽带或根据需要采集标志物的图像进行视觉定位，然后根据最新定位的结果调整所述路径，并进行提示信息的更新。

本发明还提供了一种视觉定位导航方法，导航过程中采用如上所述的视觉定位方法进行定位，具体包括以下步骤：

获得需要定位环境的电子地图；

获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；

在所述电子地图上规划所述起点至终点的路径；

提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终点；

其中，导航过程中，利用惯性导航的结果调整所述路径，惯性导航时采用所述视觉定位方法为惯性导航提供位置和姿态信息并进行惯性导航器件累积误差的修正。

本发明方法具有以下有益效果：

1.本发明方法利用环境已有的标志物，不必在环境中设置标志(例如二维码)，无需布置基站，对现有环境改造的成本极低；

2.本发明方法实现的定位精度高，超过了wifi，蓝牙(以iBeacon为典型)的定位精度；

3.本发明方法无需采用额外传感器，完全基于目前主流手机现有的硬件；

4.本发明方法采用的导航方法,符合人的定位习惯,使用方便；

5.本发明方法实用性强,可以用于可穿戴设备,例如智能眼镜,也可以用于车载摄像机,实现车辆的定位或导航辅助，也可以用于机器人的室内导航；

6.本发明方法维护简单，当环境中的标志物产生变化时，无需专业人士，即可对标志物的变化进行更新。(对比wifi，蓝牙等定位系统中某个基站发生改变后需要专业人士进行更新的维护方式)

附图说明

图1为本发明优选实施例预存的标志物特征点提取示意图；

图2为本发明优选实施例定位时采集的标志物图像示意图；

图3A为本发明优选实施例定位时图像匹配过程示意图；

图3B为本发明优选实施例定位整体流程图；

图4为本发明优选实施例定位场景电子地图的示意图；

图5为本发明第二优选实施例定位时图像匹配过程示意图；

图6为本发明第三优选实施例定位时图像匹配过程示意图；

图7为本发明优选实施例的立体标志物信息提取过程示意图；

图8A为本发明优选实施例的立体标志物一侧的特征点提取示意图；

图8B为本发明优选实施例的立体标志物另一侧的特征点提取示意图；

图9为本发明优选实施例的图像匹配过程示意图；

图10为本发明优选实施例的PnP方法计算摄像机外参数过程示意图；

图11为本发明优选实施例的导航过程示意图。

具体实施方式

以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述和讨论，显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。

本实施例提供了一种视觉定位方法，包括以下步骤：

S1：预先获取需定位环境内的标志物的图像，并建立包含所述标志物的图像的标志物数据库；

S2：通过智能设备采集需定位环境内标志物的待识别图像，将所述待识别图像与标志物数据库内的图像进行图像匹配，根据匹配到的图像中已知的几何特征计算得到当前位置；

S3：将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。

这里的标志物是指环境中设置或自然存在的，人类无需借助计算机便能识别和理解的物体，例如店铺门面、导向标志、地标物等。

其中，步骤S1中，首先，在标志物上选择若干几何特征，将其在空间坐标系中的三维描述记录下来，并将几何特征在图像坐标系中的二维描述记录下来，然后将上述的标志物的图像及几何特征在图像坐标系中的二维描述和在空间坐标系中的三维描述存储至标志物数据库中。

进一步优选地，通过选取标志物的图像中的部分区域作为特征识别信息，其他部分作为包围盒，然后将标志物的图像及对应的特征识别信息存储至标志物数据库中。则此时的步骤S2中，还包括：将待识别图像与标志物数据库中的特征识别信息进行图像匹配。

进一步优选地，步骤S1中，提取标志物的图像中的文字作为标签，然后，将标签存储在标志物数据库中。

步骤S1中首先选取标志物，并建立标志物数据库。标志物的选择，就是选择人到达一个新的环境中最先注意到的标志，是环境中明显区别于周围环境的标志，且相对固定的，例如导向标志、店铺门面、地标等。在标志物上选择若干几何特征，几何特征可以是点、直线、二次曲线等，将其在空间坐标系中的三维描述记录下来，并且在标志物的图像上的几何特征在图像坐标系中的二维描述记录下来。根据这些信息就可以建立标志物数据库。优化地，建立标志物数据库时，可以增加以下信息，以提高计算效率：(1)特征识别信息，特征标识信息是标志物中特征最明显的部分，在图像匹配时只匹配特征识别信息，可以提高计算效率；而标志物的其它部分作为包围盒是为了增大定位计算时用于计算的区域的面积，可以实现更高的位置计算精度。(2)标志物中包含的文字作为其标签，例如招牌中的店名的文字。在图像匹配之前先根据文字标签检索，可以提高计算效率。本实施例中上述标志物数据库可以全部或部分存储在用于定位的智能设备上或存储在服务器上。

具体地，参考图1，本实施例这里需要识别的标志物101是一个商店大门，其中，选取的特征识别信息102即为商店牌匾的文字区域“SHOP”。这里提取与该商店有关的多个特征点，分别为标志物101上的特征点103-110，特征的坐标内容111包括在图片上的二维坐标和对应点在空间坐标系的三维坐标。112是存储在标志物数据库中的图片，113是相应的位置坐标，坐标内容包括xp,yp,Xw,Yw,Zw，xp,yp代表着特征点在照片上的位置，Xw,Yw,Zw为这个点在环境全局坐标系中的三维位置。

定位时通过智能设备采集需定位环境内标志物的待识别图像，参考图2所示，为本实施例定位过程中用户所处位置处的标志物实景201。其中，用户通过智能设备上能够看到的是标志物画面202，而摄像机采集到的为标志物图像203。参考图3A所示，智能设备完成标志物图像采集后，获得包含了特征标识信息的照片301(待识别图像)，然后将照片301与标志物数据库内的所有特征信息进行匹配，最终确定了照片中所含的特征标识信息，并根据匹配到的图像中已有的标志物坐标计算得到当前位置。进一步参考图3B，该视觉定位总体流程可以总结为开始——拍摄图像——图像识别——基于模型的单目视觉定位(例如PnP计算)——智能设备外参数——结束。

本实施例这里的视觉定位方法所采用的特征识别信息为文字区域，在其他优选实施例中，特征识别信息还可以包括但不限于：指示图标、店铺招牌(也包括其中的文字、商标)及其他特殊设计的图案。当然，特征识别信息也可以为这些图案中的一种或多种的组合。标志物一般为当前场景下具有独特性，能够帮助用户在定位时，无歧义地确定位置和方向。

其中，上述的步骤S1进一步包括：拍摄不同角度及/或不同光照条件中的标志物，以获取不同角度及/或不同亮度的多个标志物的图像。当标志物为平面时，可以根据需要拍摄标志物的正面或反面，获取正/反面的图形作为标志物数据库使用的图形。

而当标志物为立体物体时，则需要拍摄多个角度的照片，以便标志物数据库的图像能够适应定位时用户自行拍摄的不同角度的立体物体图像。参考图7所示，对于立体的地标(例如雕塑)，提取的特征标识信息应不限于一个角度，避免遗漏。因此，为了获得立体标志物的特征信息，需要拍摄能够体现其不同角度特征的多幅照片。参考图8A所示，对于一个立体的标志物，获得立体标志物的多个特征点分别为801-809，而拍摄的照片上具有对应的特征点801’-809’。

此外，由于不同的标志物在不同光照条件下拍摄的图像特征也有所区别，例如商店的牌匾在白天时仅靠自然光可以体现其文字及图案等，而晚上牌匾一般会亮起背光灯或彩色灯图案，因此，拍摄标志物时，也需要根据需要在不同的光照(亮度)条件下，获取多幅照片。通过获取标志物不同角度及/或不同亮度的图像，可以有效地提高数据库的丰富性和完整性，使其适用于不同场合下的定位。

在第二优选实施例中，上述的步骤S2包括：在存在其他定位方式时，使用其他定位方式进行粗定位，得到粗定位位置。然后根据粗定位位置对标志物数据库进行过滤以缩小匹配范围，得到过滤后的标志物数据集，再将待识别图像与过滤后的标志物数据集中的图像进行图像匹配。这里的其他定位方式包括但不限于：wifi(在公共场所普遍存在，且覆盖率高)、惯性导航、GPS、地磁定位、蓝牙、RFID、超宽带。用其进行粗定位，然后需匹配的标志物图像(优选地，特征识别信息)限制为该位置周围的标志物图像(优选地，特征识别信息)，该范围由该定位方法的确定，覆盖可能产生该位置的所有范围。例如我们根据wifi确定当前的位置是(Xc，Yc，Zc)，假设wifi的定位精度为10m，那么，我们只需要搜索以(Xc，Yc，Zc)为圆心，半径为10m内的所有标志物即可。

本实施例的定位环境进一步参考图4，图4中包括电子地图401，环境中设置的导向信息402，根据导向信息的设计原则，它们应该覆盖所有的区域。403是店铺的招牌等显眼和固定的标志。404是地标，例如雕塑、喷泉、花坛等。405的中心是一个粗定位的位置坐标，405的虚线圆框是一个根据粗定位确定的可能的位置的范围，采用圆框是一个简单快捷的方法，实践中，可以根据其它条件，例如墙壁等障碍物，进一步缩小范围。在搜索特征标识信息时，可以只搜索虚线圆框的标志物图像(优选地，特征标识信息)，以缩小搜索范围，加快搜索速度。

本实施例的定位过程参考图5，其实施过程与上面实施例图3A所示的过程类似，但需首先进行粗定位，然后根据环境内已有的粗定位位置，用这个位置附近的范围过滤标志物数据库，获得了一个更小的标志物数据库，图像识别算法将这张照片与缩小了的标志物数据库中的所有标志物(优选地，特征识别信息)进行匹配，最终确定了照片中所含的标志物。由于标志物数据库缩小了，因此搜索速度加快。

在第三优选实施例中，上述的步骤S2还可以根据需要设置为包括：采集需定位环境内标志物的待识别图像后，首先提取待识别图像中的文字信息，然后根据文字信息对标志物数据库进行过滤，以缩小搜索范围，并将文字信息作为标签在标志物数据库中进行匹配。这是因为大多数的标志物(例如导向标志和店铺招牌)中都包含文字，如果可以先识别图像中的文字，根据该文字先过滤所有的特征识别信息，可有效地以缩小搜索范围，将需匹配的特征识别信息限制为包含同样文字标签的特征识别信息。例如查找到当前的环境内有包含“KFC”的关键词，则在标志物数据库中查找具有同样文字标签的标志物，进行匹配即可。

本实施例的定位过程参考图6，其实施过程也与上面实施例图3A所示的过程类似，但需首先将获得的图像做光学字符识别，识别出其中的文字。然后根据这些文字，过滤标志物数据库(预先存入了每个特征标识信息的文字标签)，获得了一个更小的标志物数据库，图像识别算法将这张照片与缩小了的标志物数据库中的所有标志物图像(优选地，特征识别信息)进行匹配，最终确定了照片中所含的特征标识信息。由于标志物数据库缩小，因此搜索速度加快。

上述的通过其他定位方式将需匹配的标志物图像(优选地，特征识别信息)限制为该位置周围的标志物图像(优选地，特征识别信息)进行匹配的方式，以及通过文字信息进行过滤的方式，可以有效地提高匹配效率和速度。特别是对于一个特定的室内或室外环境中，本身标志物的数目就有限，如果说利用以上两点限制，进一步缩小了图像搜索的范围，使得该定位方法中的图像匹配实时性或及时性得到了保障。

上述各实施例的步骤S2中，在进行几何特征匹配时，首先在标志物数据库内的图像中找到与待识别图像中对应的标志物，然后将匹配到的图像中的标志物与待识别图像中对应的标志物的图像进行几何特征的匹配，最后根据几何特征在标志物数据库内的图像坐标系中的二维描述和在空间坐标系中的三维描述，采用基于模型的单目视觉定位(例如PnP计算方法)，计算得到智能设备的位置坐标及姿态。这个计算过程可以在智能设备上完成，也可以将图片传输到服务器，在服务器上计算完成，然后将结果传送回智能设备。

具体地，参考图9所示，定位时采用图像匹配算法将标志物数据库中存储的特征标识信息与所获取的图像进行匹配，包括：摄像机所获取的图像901，标志物数据库中存储的特征标识信息902。特征点903和905是两个匹配好的特征点，通过特征点903和905间的映射关系904即可对应找到匹配的图像。

本实施例采用的PnP的方法计算摄像机的外参数过程参考图10，计算时可以不局限于特征标识信息，可以利用整个标志物计算，从而完成坐标转换，方便在完成图像匹配后的位置计算。简单起见，给出了一个P3P计算的示意图。基本的计算原理是摄像头光心和图像上的特征点的连线，也通过标志物上对应的点，根据此关系建立方程并求解。

具体地，智能设备进行位置计算时，主要是基于智能设备的位置与摄像头之间的固定关系，通过是摄像头的外参数计算可以获得智能设备的位置和方向。因此，待识别图像对应的标志物确定以后，这里采用特征提取算法(例如Harris、MOPS、SIFT和Surf等算法)提取图像特征点。将待识别图像与对应的标志物图像中的特征点进行配对，对异常的配对点进行筛选(例如采用RANSC(random sample consensus)或仿射关系)。对大于4个以上的匹配点进行计算，可以获得摄像机的外参数。所谓外参数，指的是摄像机在世界坐标系中的位姿，由摄像机与世界坐标系的相对位姿关系决定。其参数有：旋转向量R(大小为1x3的矢量或旋转矩阵3x3)和平移向量T(Tx,Ty,Tz))。

在几何特征为点的情况下，求解外参数的计算过程可以被描述为一个PnP(pespective-n-point)问题，就是已知的n个空间3D点与图像2D点对应的点对，计算摄像机位姿、或者物体位姿，二者是等价的。此求解过程需要摄像机的内参数。所谓内参数，由摄像机本身决定，只与摄像机本身有关。其参数有：参数矩阵(fx,fy,cx,cy)和畸变系数(三个径向k1,k2,k3；两个切向p1,p2)。实际应用中，也可以简化内参数的个数。

求取摄像机外参数的问题，其实就是经典的PnP问题。Horaud在1989年给出了位姿估计的PnP问题的定义：“在目标坐标系中，给定一系列点的坐标以及其在图像平面上的投影，并假定摄像机内部参数已知，求取目标坐标系与摄像机坐标系之间的变换矩阵，即包含3个旋转参数和3个平移参数的摄像机外参数矩阵。对于PnP问题已经有以下结论：P3P问题最多有四个解，且解的上限可以达到。对于P4P问题，当四个控制点共面时，问题有唯一解，当四个控制点不共面时，最多有五个解，且解的上限可以达到。对于P5P问题，当五个控制点中任意三点不共线时，P5P问题最多有两个解，且解的上限可以达到。当特征点的个数大于5时，PnP问题是可以线性求解的。当n>5时，可以线性求解摄像机的外参数。

从理论上讲，在摄像机内参数已经标定的情况下，最少需要四个点(满足任意三点不在一条直线上)才能唯一确定摄像机的外参数。实践中为了提高运算效率和精度，推荐对摄像机进行内参数标定，这个过程可以由摄像头厂家完成并提供，智能设备厂家也可以进行标定，也可以售后由用户标定。

更广义地讲，求取摄像机外参数的问题是一个基于模型的单目视觉定位计算问题：给定一组特征(点、直线、二次曲线)在物体坐标系下的描述，给定这组特征(点、直线、二次曲线)在图像上的投影，并给定一个投影模型和模型的参数来确定物体坐标系和摄像机坐标系之间的的刚体变换关系。为了图像处理和图像理解的方便，通常用来构成模型的都是一些比较简单的几何特征，如点、直线、二次曲线等。根据目前的研究成果，根据已知三条直线或三条二次曲线在空间坐标系的三维描述和在图像坐标系中的二维描述，也可以确定摄像机的外参数。(秦丽娟等，计算机单目视觉定位，国防工业出版社，2016)。在本方法中，考虑到实用性，主要采用点和直线作为几何特征。对于直线和二次曲线，建立标志物数据库要同时存储直线和二次曲线的方程。

进一步的，在上述步骤S3中，可以根据需要将当前位置直接标记在电子地图上对应的位置处进行显示，当然也可以输出当前位置至预设应用中，如社交应用软件、外卖服务软件等具有地图功能且需要对人员进行定位的软件中。本定位方法可以有效地提高定位精度。

本方法对于标志物的识别，需要从一个有限的图像集合中搜索出一个已经在图像集合中的图像，这个图像的变化主要为拍摄角度和光线的变化。因此，对于具体的图像匹配方法，本领域技术人员可根据需要选用下述三种方法：

(1)基于全局特征的图像匹配

从图像中分析提取底层视觉特征，例如，颜色、纹理、形状、空间信息等。这些图像特征或其组合可以用来建立对图像内容的描述。标志物的图像特征的描述，通常可以表示为多维向量，被提取出来并存储在一个特征库里。图像检索的过程是图像特征相似性匹配的过程，输出为所有与待检索图像相近的图像，按相似度排列。第一步是对待识别图像进行特征提取，得到其特征描述。采用相似性度量方法计算它与所有标志物的相似性。常用的相似性度量方法都是基于向量空间模型，将视觉特征看作向量空间中的点，通过计算两个点之间的距离来衡量图像特征间的相似度。最为相似的图像就作为图像匹配的结果。

(2)基于局部特征匹配的图像匹配：图像的局部特征描述了图像的局部信息。与传统的图像全局特征相比，图像的局部特征具有更好的唯一性、不变性和鲁棒性，能更好的适应图像背景混杂、局部遮挡、光线变化等情况。现有的图像点特征检测算法众多，例如，Harris角点、MOPS(Multi-scale oriented patches)、SIFT(Scale Invariant FeatureTransform)和Surf(Speeded Up Robust Features)等。这种图像检索方法首先对标志物数据库中的图像进行预处理，提取局部特征例如SIFT特征向量，保存为相应的特征向量文件，进而生成对应的特征向量文件库。当输入一幅待匹配图像时，算法首先对待检索图提取SIFT特征向量，然后搜索特征向量文件库，找到满足要求的特征向量文件后，就可以从原始的图像数据中匹配对应的图像了。

(3)基于深度学习的图像匹配：深度学习与上述的传统图像检索方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。当需要对一幅待检索图像进行检索时，直接将该图像输入到训练好的模型中，其输出就是识别的结果。用于实物检测的模型有很多，例如VGG，GoogleNet，ResNet，SSD，YOLO3等。

本发明还提供了一种视觉定位导航方法，导航过程中采用上述的视觉定位方法进行定位，具体包括以下步骤：

获得需要定位环境的电子地图；

获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；

在所述电子地图上规划所述起点至终点的路径；

提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终端。

参考图11所示，使用者进入需要导航的环境后，设定目标，摄像机拍摄导向标志，然后沿着规划的路径前进，在途中可以拍摄其它标志物，例如店铺招牌等获得方向指引。

其中，人工输入终点及起点的方式包括：文字、语音、手势及/或触摸屏上点选；图片输入终点的方式包括：给出目的地的图片，系统在标志物数据库中匹配相应的标志物，并按照所述的视觉方法定位，然后设为目的地；图像输入起点的方式包括：从环境中选取任意一个标志物，用摄像机拍摄图像以按上述的视觉定位方法确定当前位置。

该方法在导航过程中的任意时刻，通过WiFi、惯性导航、GPS、地磁定位或根据需要采集标志物的图像进行联合使用完成视觉定位，然后根据最新定位的结果调整所述路径，并进行提示信息的更新。

在另一优选实施例中，提供了一种视觉定位导航方法，导航过程中采用如上所述的视觉定位方法进行定位同时采用惯性导航的结果进行路径调整，具体包括以下步骤：获得需要定位环境的电子地图；获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；在所述电子地图上规划所述起点至终点的路径；提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终端；其中，导航过程中，利用惯性导航的结果调整路径，惯性导航时采用视觉定位方法为惯性导航提供位置和姿态信息并进行惯性导航器件累积误差的修正。本实施例基于惯性测量单元(IMU)和视觉定位融合的室内导航方法，在视觉定位与IMU联合使用使用时，可以带来以下优点：

(1)实现IMU的相对姿态校准：在利用IMU进行室内定位之前，先要确定智能设备的初始姿态，再利用旋转矩阵，将不同姿态下的智能设备所采集到的三轴传感器数据匹配计算到环境的三维空间中。在利用智能设备进行定位时，在很多情况下(例如手机)，由于不能将智能设备的位置固定，所以智能设备的三个坐标轴一直变化的，姿态未知。初始姿态的偏差会导致后续的计算误差很大。目前其它的定位方法(wifi、蓝牙、UWB等)都无法解决这一问题。本发明提出的方法给出了一个计算姿态的解决方案。

(2)消除累积误差：目前的IMU，受限于集成的微传感器本身的性能，随着定位时间的不断增加或其它大功率电子设备的干扰，累积误差不断地增大，最终会严重影响定位精度。而前面所述的视觉定位原理，可以间隔性地提供IMU重新校准的机会，从而消除IMU的累积误差。

综上所述，本实施例中的视觉定位技术和IMU两者结合，可以实现一种既方便又准确的室内导航方法。

本方法适用于商场、医院、学校、博物馆、写字楼等场所的室内定位，也可以适用于旅游景区。

本方法也适用于人工搭建的游戏、表演、教学、展示、比赛等场景(例如小区景区模型，缩微工厂模型，模型汽车、机器人等的比赛场地等)。

本方法也可以作为现有导航定位方法的补充，例如，在室外采用GPS定位时，在一些复杂的路口，用户可以拍摄周围的路牌、店铺名称等标志物，采用本方法实现更精确的定位和提供行进方向的指示。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何本领域的技术人员在本发明揭露的技术范围内，对本发明所做的变形或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述的权利要求的保护范围为准。

Claims (12)

1.一种视觉定位方法，其特征在于，包括以下步骤：

S1：预先获取需定位环境内的标志物的图像，并建立包含所述标志物的图像的标志物数据库；

S2：通过智能设备采集需定位环境内标志物的待识别图像，将所述待识别图像与标志物数据库内的图像进行图像匹配，根据匹配到的图像中已有的几何特征计算得到当前位置；

S3：将当前位置标记在电子地图上对应的位置处或输出当前位置至预设应用中。

2.根据权利要求1所述的视觉定位方法，其特征在于，所述步骤S1中，在所述标志物的图像上选择若干几何特征，将其空间坐标系中的三维描述记录下来，然后将所述标志物的图像及几何特征的在图像坐标系中的二维描述和在空间坐标系中的三维描述存储至所述标志物数据库中。

3.根据权利要求1或2所述的视觉定位方法，其特征在于，所述步骤S1中，选取所述标志物的图像中的部分区域作为特征识别信息，然后将所述特征识别信息存储至所述标志物数据库中；所述步骤S2中：将待识别图像与标志物数据库中的特征识别信息进行特征匹配。

4.根据权利要求3所述的视觉定位方法，其特征在于，所述特征识别信息包括：指示图标、店铺招牌及其他特殊设计的图案。

5.根据权利要求1所述的视觉定位方法，其特征在于，所述步骤S1中，提取所述标志物的图像中的文字作为标签，然后，将所述标签存储在所述标志物数据库中。

6.根据权利要求1或2或5所述的视觉定位方法，其特征在于，所述步骤S1包括：拍摄不同角度及/或不同光照条件中的标志物，以获取不同角度及/或不同亮度标志物的图像。

7.根据权利要求1所述的视觉定位方法，其特征在于，所述步骤S2包括：在存在其他定位方式时，使用其他定位方式进行粗定位，得到粗定位位置，然后根据所述粗定位位置对所述标志物数据库进行过滤以缩小匹配范围，得到过滤后的标志物数据库，再将所述待识别图像在过滤后的标志物数据库中进行图像匹配。

8.根据权利要求1所述的视觉定位方法，其特征在于，所述步骤S2包括：采集需定位环境内标志物的待识别图像后，首先提取待识别图像中的文字信息，然后根据所述文字信息对所述标志物数据库进行过滤，以缩小搜索范围，再将所述待识别图像在过滤后的标志物数据库中进行图像匹配。

9.根据权利要求1所述的视觉定位方法，其特征在于，所述步骤S2包括：图像匹配时，首先在标志物数据库内匹配与待识别图像中对应的标志物，然后将匹配到的标志物图像与待识别图像中对应的标志物图像进行几何特征的匹配，最后根据所述几何特征在待识别图像的在图像坐标系中的二维描述和在空间坐标系中的三维描述，采用基于模型的单目视觉定位的计算方法，计算得到智能设备的位置坐标及姿态。

10.一种视觉定位导航方法，其特征在于，导航过程中采用如权利要求1至9任意一项所述的视觉定位方法进行定位，具体包括以下步骤：

获得需要定位环境的电子地图；

获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；

在所述电子地图上规划所述起点至终点的路径；

提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终点；

其中，图片输入终点的方式包括：给出目的地的图片，系统在标志物数据库中匹配相应的标志物，并按照所述视觉方法定位，然后设为目的地；图像输入起点的方式包括：从环境中选取任意一个标志物，用摄像机拍摄图像以按所述视觉定位方法确定当前位置。

11.根据权利要求10所述的视觉定位导航方法，其特征在于，导航过程中的任意时刻，通过WiFi、惯性导航、GPS、地磁定位、蓝牙、RFID、超宽带或根据需要采集标志物的图像进行视觉定位，然后根据最新定位的结果调整所述路径，并进行提示信息的更新。

12.一种视觉定位导航方法，其特征在于，导航过程中采用如权利要求1至9任意一项所述的视觉定位方法进行定位，具体包括以下步骤：

获得需要定位环境的电子地图；

获取人工或图片输入的终点，以及获取人工或拍摄包含标志物的图像输入的起点；

在所述电子地图上规划所述起点至终点的路径；

提供与所述路径对应的提示信息至智能设备以进行导航，直至当前定位的位置到达所述终点；

其中，导航过程中，利用惯性导航的结果调整所述路径，惯性导航时采用所述视觉定位方法为惯性导航提供位置和姿态信息并进行惯性导航器件累积误差的修正。