CN112614162B - 基于空间优化策略的室内视觉快速匹配定位方法及系统 - Google Patents

基于空间优化策略的室内视觉快速匹配定位方法及系统 Download PDF

Info

Publication number
CN112614162B
CN112614162B CN202011606965.7A CN202011606965A CN112614162B CN 112614162 B CN112614162 B CN 112614162B CN 202011606965 A CN202011606965 A CN 202011606965A CN 112614162 B CN112614162 B CN 112614162B
Authority
CN
China
Prior art keywords
image
matching
geotag
images
geographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011606965.7A
Other languages
English (en)
Other versions
CN112614162A (zh
Inventor
张星
李清泉
林静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011606965.7A priority Critical patent/CN112614162B/zh
Publication of CN112614162A publication Critical patent/CN112614162A/zh
Application granted granted Critical
Publication of CN112614162B publication Critical patent/CN112614162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明公开了一种基于空间优化策略的室内视觉快速匹配定位方法及系统，通过将图像匹配定位技术、基于运动恢复结构的航向角估计算法以及行人航迹推算算法相结合，即解决了行人航迹推算算法中航向角累计误差大的缺陷，同时还解决了图像匹配定位技术中由于用于匹配的地理标记图像为离散点而导致产生的用户位置更新频率较低的问题，从而实现室内视觉快速匹配定位。

Description

基于空间优化策略的室内视觉快速匹配定位方法及系统
技术领域
本发明涉及室内外被动定位技术领域，尤其涉及的是一种基于空间优化策略的室内视觉快速匹配定位方法及系统。
背景技术
目前，通过相机视觉信息与环境视觉特征的匹配实现位置计算的视觉定位技术，由于其具有定位精度高、成本低、不依赖于任何额外的设备或基础设施等优点而受到广泛关注。然而视觉匹配所需计算量非常大，已有视觉定位方法主要以离散点的非连续定位方式为主，主要支持单点视觉匹配和位置查询，难以支持室内连续视觉在线定位。对于视觉数据稀疏的环境，单纯依靠视觉匹配也难以实现连续的轨迹定位，需要与其它方法(如惯性导航)结合进行协同定位。然而由于惯性导航系统的漂移噪声的存在，导致惯性定位的位置和方向误差会随着工作时间增加而快速累积，明显限制室内定位系统的应用。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于空间优化策略的室内视觉快速匹配定位方法及系统，旨在视觉匹配难以实现连续的轨迹定位，以及惯性定位的位置和方向误差会随着工作时间增加而快速累积的问题。
本发明解决问题所采用的技术方案如下：
第一方面，本发明实施例提供一种基于空间优化策略的室内视觉快速匹配定位方法，其中，所述方法包括：
对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库；
获取查询图像，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配出的地理标记图像作为所述查询图像对应的目标地理标记图像；
根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法对行人航迹推算算法中使用的航向角数据进行修正，并通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
在一种实施方式中，所述对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库包括：
对目标室内环境设置视觉采样点，在所述视觉采样点处进行视觉图像采集，将采集到的图像作为待标记的地理标记图像；
对所述待标记的地理标记图像进行地理位置标注，标注完毕后得到地理标记图像，通过所述地理标记图像构建室内地理标记图像数据库。
在一种实施方式中，所述对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库还包括：
对所述室内地理标记图像数据库中的所有地理标记图像执行多约束图像匹配操作，根据匹配操作的结果得到所有地理标记图像的空间相似性评价数据；
根据所述空间相似性评价数据对所述目标室内环境进行划分，根据划分结果生成若干个子空间；所述子空间内包含相似性达到预设阈值的若干个地理标记图像；
对所有子空间以及所有地理标记图像建立空间索引数据；
检测所有子空间的空间邻接关系，根据所述空间邻接关系建立空间邻接关系图。
在一种实施方式中，所述多约束图像匹配操作包括：
通过预设的图像特征提取算法对需要匹配的两张图像分别进行图像特征点的提取操作；
获取预设的约束条件，在满足所述预设的约束条件的情况下，将提取出的两张图像的图像特征点进行配对，通过配对成功的特征点对的数量生成空间相似性评价数据；
所述预设的约束条件包括以下的一种或者多种：比率约束、对称性约束以及随机抽样一致性约束。
在一种实施方式中，所述获取查询图像，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配出的地理标记图像作为所述查询图像对应的目标地理标记图像包括：
获取基于用户的当前位置信息以及前一次在目标室内环境中进行定位得到的用户的位置信息计算出的距离值；
将所述距离值与预设阈值进行比较；
当所述距离值小于所述预设阈值时，获取查询图像，通过局部匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
当首次在所述目标室内环境中进行定位或者所述距离值大于或者等于所述预设阈值时，通过全局匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像。
在一种实施方式中，所述局部匹配方法包括：
查询前一次在目标室内环境中进行定位得到的用户的位置信息对应的子空间中的所有地理标记图像，并将查询得到的图像作为候选匹配图像；
将所述候选匹配图像按预设优先级顺序与所述查询图像执行所述多约束图像匹配操作，将匹配得到的地理标记图像作为目标地理标记图像。
在一种实施方式中，所述全局匹配方法包括：
通过所述空间索引数据查询并获取每一个子空间中的代表地理标记图像；所述代表地理标记图像与自身所在的子空间中的所有地理标记图像执行所述多约束图像匹配操作时相似性最高；
将所述查询图像分别与所有代表地理标记图像执行所述多约束图像匹配操作，根据匹配操作的结果确定与所述查询图像相似性最高的代表地理标记图像，将确定出的代表地理标记图像对应的子空间作为目标子空间；
将所述查询图像分别与所述目标子空间中的所有地理标记图像执行所述多约束图像匹配操作，根据匹配操作的结果确定与所述查询图像相似性最高的所述目标子空间中的地理标记图像，将确定出的地理标记图像作为目标地理标记图像。
在一种实施方式中，当所述局部匹配方法失败时，根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作；
若匹配成功，则将匹配成功的地理标记图像作为目标地理标记图像；
若匹配失败，则将所述相邻的子空间作为当前子空间，重新执行根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作，直至匹配成功，将匹配成功的地理标记图像作为目标地理标记图像。
在一种实施方式中，所述根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法对行人航迹推算算法中使用的航向角数据进行修正，并通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息包括：
获取所述目标地理标记图像对应的方向角数据；
根据所述方向角数据以及基于运动恢复结构的航向角估计算法确定用户的实时航向角数据；
根据所述实时航向角数据对基于行人航迹推算算法中使用的航向角数据进行修正；
通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
第二方面，本发明实施例还提供一种基于空间优化策略的室内视觉快速匹配定位系统，其特征在于，所述系统包括：
构建模块，用于对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库；
匹配模块，用于获取查询图像，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配出的地理标记图像作为所述查询图像对应的目标地理标记图像；
修正模块，用于根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法对行人航迹推算算法中使用的航向角数据进行修正，并通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
本发明的有益效果：本发明实施例通过将图像匹配定位技术、基于运动恢复结构的航向角估计算法以及行人航迹推算算法相结合，即解决了行人航迹推算算法中航向角累计误差大的缺陷，同时还解决了图像匹配定位技术中由于用于匹配的地理标记图像为离散点而导致产生的用户位置更新频率较低的问题，从而实现室内视觉快速匹配定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于空间优化策略的室内视觉快速匹配定位方法的步骤流程示意图。
图2是本发明实施例提供的构建室内地理标记图像数据库的流程示意图。
图3是本发明实施例提供的获取目标地理标记图像的流程示意图。
图4是本发明实施例提供的输出用户的实时定位信息的流程示意图。
图5是本发明实施例提供的目标室内环境对应的空间进行划分的示意图。
图6是本发明实施例提供的空间索引数据的示意图。
图7是本发明实施例提供的由五个不同的子空间组成的目标室内环境对应的空间的示意图。
图8是本发明实施例提供的空间邻接关系图的示意图。
图9是本发明实施例提供的全局匹配方法的示意图。
图10是本发明实施例提供的局部匹配方法失败时采用的方法策略的示意图。
图11是本发明实施例提供的基于运动恢复结构的航向角估计方法示意图。
图12是本发明实施例提供的空间优化策略的室内视觉快速匹配定位的象形图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
大型室内及地下环境(如轨道交通枢纽、商业综合体、超市、医院等)中的移动对象定位(如行人、车辆、机器人、移动资产等)已经成为众多工业、商业及社会服务领域的共性问题。由于障碍物(如建筑物)的屏蔽因素，卫星定位系统在室内及地下场景无法获取准确的定位结果。近十年来，各种室内定位技术得到了快速发展，如Wi-Fi、蓝牙、超声波、射频识别(RFID)、超宽带(UWB)和地磁等。其中，WiFi、蓝牙、RFID、地磁等技术能够实现米级定位，但需要安装或铺设大量的信号发射设备或基础设施，普及难度大。超宽带和超声波等技术定位精度高，但需要专业设备支持，普及难度大，不适应大众化定位应用。
视觉定位主要通过相机视觉信息与环境视觉特征的匹配实现位置计算，具有定位精度高、成本低、不依赖于任何额外的设备或基础设施等优点。然而视觉匹配所需计算量非常大，已有视觉定位方法主要以离散点的非连续定位方式为主，主要支持单点视觉匹配和位置查询，难以支持室内连续视觉在线定位。对于视觉数据稀疏的环境，单纯依靠视觉匹配也难以实现连续的轨迹定位，需要与其它方法(如惯性导航)结合进行协同定位。然而由于惯性导航系统的漂移噪声的存在，导致惯性定位的位置和方向误差会随着工作时间增加而快速累积，明显限制室内定位系统的应用。简言之，现有技术中存在视觉匹配难以实现连续的轨迹定位，以及惯性定位的位置和方向误差会随着工作时间增加而快速累积的问题。
针对现有技术的上述缺陷，本发明提供了一种基于空间优化策略的室内视觉快速匹配定位方法。概括地讲，如图12所示，本发明通过将图像匹配定位技术、基于运动恢复结构的航向角估计算法以及行人航迹推算算法相结合，即解决了行人航迹推算算法中航向角累计误差大的缺陷，同时还解决了图像匹配定位技术中由于用于匹配的地理标记图像为离散点而导致产生的用户位置更新频率较低的问题，从而实现室内视觉快速匹配定位。
如图1所示，本实施例提供一种基于空间优化策略的室内视觉快速匹配定位方法，所述方法包括如下步骤：
步骤S100、对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库。
具体地，由于本实施例在进行室内视觉快速匹配定位时需要采用图像匹配技术，因此需要预先设置用于进行图像匹配的地理标记图像，这些地理标记图像均包含有准确的地理位置信息，可以用于后续准确地指示用户的当前地理位置。因此，本实施例首先需要对进行室内视觉快速匹配定位的目标室内环境进行视觉图像采集，通过所述视觉图像采集过程得到的图像构建室内地理标记图像数据库。
在一种实现方式中，如图2所示，所述步骤S100具体包括如下步骤：
步骤S110、对目标室内环境设置视觉采样点，在所述视觉采样点处进行视觉图像采集，将采集到的图像作为待标记的地理标记图像；
步骤S120、对所述待标记的地理标记图像进行地理位置标注，标注完毕后得到地理标记图像，通过所述地理标记图像构建室内地理标记图像数据库。
具体地，本实施例首先对目标室内环境设置视觉采样点，例如可以在目标室内环境中按照均匀的空间密度设置视觉采样点(例如2m)，然后对采集到的视觉图像进行地理位置信息标记，将标记完毕以后的视觉图像作为地理标记图像，并通过所有得到的地理标记图像构建室内地理标记图像数据库。
为了提高后续图像匹配定位的效率，在一种实现方式中，可以对所述室内地理标记图像数据库中的所有地理标记图像执行多约束图像匹配操作，根据匹配操作的结果得到所有地理标记图像的空间相似性评价数据。具体地，所述多约束图像匹配操作为：通过预设的图像特征提取算法对需要匹配的两张图像分别进行图像特征点的提取操作(例如，可以选择SIFT(scale-invariant feature transform)算法提取两张图像的图像特征点)，然后获取预设的约束条件，在满足所述预设的约束条件的情况下，将提取出的两张图像的图像特征点进行配对，通过配对成功的特征点对的数量生成空间相似性评价数据。在一种实现方式中，所述预设的约束条件包括以下的一种或者多种：比率约束、对称性约束以及随机抽样一致性约束。
其中，比率约束为：假设需要进行图像匹配的两张图像分别为图像a与图像b，则所述图像a中的特征点P0与其在图像b最佳匹配点的距离可以定义为：
其中，v是特征点P0的描述向量，v′是图像b中特征点Pi的描述向量，j是特征向量的维数，di是特征向量之间的欧氏距离。如果特征向量间的最小距离与第二小距离之比率高于阈值r，则匹配的特征点对vj和v'j将被剔除。
对称性约束为：需要进行匹配的两张图像的特征点进行双向特征匹配，只有两次计算过程中都匹配成功的特征点对才会被保留。
随机抽样一致性约束(RANSAC约束)为：首先随机从样本数据集中抽选一个随机样本，即4个匹配点对；根据4个匹配点对计算单应性矩阵M用于描述坐标变换信息；最后利用矩阵和匹配点坐标，迭代计算直至得到内点数最多的单应矩阵，得到坐标转换误差和异常值，剔除异常值从而提高匹配效率。
然后根据基于所述多约束图像匹配操作生成的所述空间相似性评价数据对所述目标室内环境进行划分，根据划分结果生成若干个子空间，所述子空间内包含相似性达到预设阈值的若干个地理标记图像。之后，对所有子空间以及所有地理标记图像建立空间索引数据。此外，还需要检测所有子空间的空间邻接关系，根据所述空间邻接关系建立空间邻接关系图。
简单来说，本实施例首先基于所有地理标记图像彼此之间的相似程度，对所有地理标记图像进行分类，将相似度较高的若干个地理标记图像归属于一个子空间，分类完毕以后即等同于将所述目标室内环境划分为具有最佳空间距离大小的若干个子空间，所述子空间即包含一系列属于自身空间范围的地理标记图像。在后续进行室内视觉快速匹配定位的时候，则首先确定可能包含需要查询图像的子空间，然后再将所述查询图像与该子空间内的所有地理标记图像进行匹配。由于本实施例无需将查询图像与室内地理标记图像数据库中的所有地理标记图像进行一一匹配，因此可以极大地提高图匹配的效率以及减小计算机的资源消耗。举例说明，如图5所示，整个目标室内环境对应的空间主要由四个子空间组成。每个子空间内包含一系列的地理标记图像(点所示)。如果需要查询的相机图像(三角形所示)当前位于子空间B中，则子空间B中的地理标记图像将用于与所述需要查询的相机图像进行匹配。此外，基于对所述目标室内环境对应的空间进行划分，可以生成地理标记图像的空间索引数据，如图6所示，所述目标室内环境对应的空间由一系列具有相应子空间ID的子空间组成。每个子空间都与属于其空间范围内的地理标记图像的ID列表相关联。每个地理标记图像只能属于一个子空间。其中地理标记图像的属性包括其坐标信息、方向信息、视觉特征和子空间ID。然后，本实施例通过建立一个空间邻接关系图用于表示子空间之间的空间邻接关系。具体地，首先需要检测所有子空间的空间邻接关系，然后基于检测出来的所述空间邻接关系建立空间邻接关系图。举例说明，如图7所示，假设所述目标室内环境对应的空间由五个不同的子空间组成，则基于这五个子空间的空间邻接关系可以生成如图8所示的空间邻接关系图，该图上包括节点集合S和边集合E，其中，S中的每个节点指子空间，并且两个节点之间的边表示两个节点在空间上相邻。本实施例通过建立空间索引数据和空间邻接关系图，为后续进行图像匹配和查询工节约了大量的时间成本。
建立完毕室内地理标记图像数据库以后，则可以实施室内视觉快速匹配定位方法，如图1所示，所述方法还包括如下步骤：
步骤S200、获取查询图像，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配出的地理标记图像作为所述查询图像对应的目标地理标记图像。
具体地，在实际实施过程中，首先需要获取查询图像，所述查询图像可以为用户通过智能手机拍摄的相机图像，然后将所述查询图像与室内地理标记图像数据库中的地理标记图像进行匹配，若存在匹配成功的图像，则将匹配出来的地理标记图像作为所述查询图像对应的目标地理标记图像，所述目标地理标记图像即作为后续对航向角信息以及用户的位置信息进行修正时采用的基础数据。
在一种实现方式中，如图3所示，所述步骤S200具体包括如下步骤：
步骤S210、获取基于用户的当前位置信息以及前一次在目标室内环境中进行定位得到的用户的位置信息计算出的距离值；
步骤S220、将所述距离值与预设阈值进行比较；
步骤S230、当所述距离值小于所述预设阈值时，获取查询图像，通过局部匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
步骤S240、当首次在所述目标室内环境中进行定位或者所述距离值大于或者等于所述预设阈值时，通过全局匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像。
具体地，基于图像匹配的视觉定位方法是通过将所述查询图像与室内地理标记图像数据库中的图像进行匹配以实现定位用户的位置，该方法需要同时兼顾精度和计算效率，因此本实施例利用空间约束信息，即基于用户的当前位置信息以及前一次在目标室内环境中进行定位得到的用户的位置信息计算出的距离值作为空间约束来减少图像匹配的检索空间，从而实现在图像匹配过程中，对空间上更接近当前图像的地理标记图像给与更高的优先级进行匹配。并且本实施例还提供了两种不同的图像检索策略，分别为局部匹配方法以及全局匹配方法。
在一种实现方式中，所述局部匹配方法为：通过所述空间索引数据，查询前一次在目标室内环境中进行定位得到的用户的位置信息对应的子空间中的所有地理标记图像，并将查询得到的图像作为候选匹配图像。然后，将所述候选匹配图像按预设优先级顺序与所述查询图像执行所述多约束图像匹配操作，将匹配得到的地理标记图像作为目标地理标记图像。
具体地，当用户的当前位置信息与前一次在目标室内环境中进行定位得到的用户的位置信息之间的距离小于预设的阈值，可以判断用户还停留在前一次定位的子空间内，为了提高图像匹配的效率，可以率先将前一次定位到的子空间内的地理标记图像与所述查询图像进行多约束图像匹配。
举例说明，当用户的当前位置和前一次在目标室内环境中进行定位得到的用户的位置信息之间的距离值小于阈值D0时，使用局部匹配方法。并且，局部匹配方法只将在前一次在目标室内环境中进行定位得到的用户的位置信息对应的子空间内的地理标记图像作为候选匹配图像。在一种实现方式中考虑到子空间的大小，将该阈值D0设置为5m。在这种情况下，用户的当前位置的精度置信度相对较高,因此不需要将查询图像与室内地理标记图像数据库中的所有地理标记图像进行多约束图像匹配操作，而是将用户的当前位置信息对应的子空间中的所有地理标记图像作为局部匹配方法的候选匹配图像，对所述查询图像与所述候选匹配图像执行多约束图像匹配操作，将匹配得到的地理标记图像作为目标地理标记图像。
在一种实现方式中还可以将所述候选匹配图像按变量C(i)进行排序以后，再按排序得到的顺序与所述查询图像执行所述多约束图像匹配操作，所述变量C(i)的定义如下：
其中，C(i)表示当前图像与地理标记图像i之间的空间差异性，Ac表示当前图像的方位角(惯性数据中获得)，Ai表示地理标记图像i的方位角，Di表示行人当前位置与地理标记图像i的位置之间的距离。在局部匹配过程中，具有较低C(i)值的图像将被给予较高的匹配优先级，本实施例将会优先将查询图像与具有较高优先级的候选匹配图像进行匹配，从而提高图像匹配效率，以实现更快地匹配到所述查询图像对应的目标地理标记图像。
在一种实现方式中，所述全局匹配方法为：通过所述空间索引数据查询并获取每一个子空间中的代表地理标记图像。所述代表地理标记图像与自身所在的子空间中的所有地理标记图像执行所述多约束图像匹配操作时相似性最高。然后，根据所述查询图像与所有子空间的代表地理标记图像执行所述多约束图像匹配操作，根据匹配操作的结果确定与所述查询图像相似性最高的代表地理标记图像，将确定出的代表地理标记图像对应的子空间作为目标子空间。最后将所述查询图像分别与所述目标子空间中的所有地理标记图像执行所述多约束图像匹配操作，然后根据匹配操作的结果确定与所述查询图像相似性最高的所述目标子空间中的地理标记图像，将确定出的地理标记图像作为目标地理标记图像。
具体地，当用户的当前位置信息与前一次在目标室内环境中进行定位得到的用户的位置信息之间的距离值大于预设阈值的时候，则用户有可能已经离开了上次定位到的子空间，因此不能直接将查询图像与上次定位的子空间中的所有地理标记图像进行匹配，而是要采用全局匹配方法。此外，当用户首次使用所述基于空间优化策略的室内视觉快速匹配定位方法的时候，由于不存在上次定位的子空间的信息，因此也需要采用全局匹配方法。
举例说明，当用户的当前位置信息未知(例如，当首次进行视觉定位刚开始时，此时假设初始位置未知)，或者用户的当前位置信息与前一次在目标室内环境中进行定位得到的用户的位置信息之间的距离值大于预设阈值D0时，将使用全局匹配方法(如图9所示)。具体地，首先将所述查询图像与来自每个子空间的一张代表地理标记影像进行匹配，所述代表地理标记图像已经与该图像所在的子空间中的其他地理标记图像进行多约束图像匹配，且匹配后该代表地理标记图像与其所在的子空间中的其他地理标记图像的相似性最高。当所述查询图像与某张代表地理标记图像进行多约束图像匹配操作以后，与该代表地理标记图像匹配成功的点对数量超过阈值(假设阈值为15个点对)，则该代表地理标记图像所处的子空间即为所述查询图像最有可能所在的子空间，则继续将查询图像分别与该子空间中的所有地理标记图像进行多约束图像匹配操作，以找到与查询图像最匹配的地理标记图像，并将与查询图像相似度最高的地理标记图像作为最匹配的地理标记图像，从而得到目标地理标记图像。
在一种实现方式中，当所述局部匹配方法失败以后，则根据采用全局匹配方法的思路进行匹配。具体地，根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作。若匹配成功，则将匹配成功的地理标记图像作为目标地理标记图像；若匹配失败，则将所述相邻的子空间作为当前子空间，重新执行根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作，直至匹配成功，将匹配成功的地理标记图像作为目标地理标记图像。
举例说明，当所述局部匹配方法失败时，如图10所示，将从当前进行局部匹配方法失败的子空间的相邻的子空间，即邻域子空间开始重新匹配，将所述邻域子空间中的所有地理标记图像与所述查询图像进行多约束图像匹配方法，若匹配成功，则停止匹配并将匹配成功的地理标记图像作为目标地理标记图像；若匹配失败，则如图所示一步步转到该匹配失败的子空间的邻域子空间中进行重新匹配，直至找到一个成功匹配的地理标记图像。
为了实现室内视觉快速匹配定位，如图1所示，所述方法还包括如下步骤：
步骤S300、根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法对行人航迹推算算法中使用的航向角数据进行修正，并通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
具体地，由于地理标记图像为空间离散点，过高的采集密度会极大增加数据采集成本和匹配计算时间。因此，在合理的图像采样密度条件下，对于相邻的两张地理标记图像匹配对应的空间位置之间的行进距离，基于行人航迹推算方法进行连续定位，从而提高定位算法的位置更新频率。由于行人航迹推算方法需要依靠惯性航位推算的方法，而惯性航位推算航向角估计误差累积速度快，因此需要对惯性航位推算航向角进行修正，才能提高行人航迹推算方法输出的定位信息可靠性。
在一种实现方式中，所述步骤S300具体包括如下步骤：
步骤S310、获取所述目标地理标记图像对应的方向角数据；
步骤S320、根据所述方向角数据以及基于运动恢复结构的航向角估计算法确定用户的实时航向角数据；
步骤S330、根据所述实时航向角数据对基于行人航迹推算算法中使用的航向角数据进行修正；
步骤S340、通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
具体地，根据所述目标地理标记图像对应的方向角数据以及基于运动恢复结构的航向角估计算法(基于SFM的航向角估计算法)确定用户的实时航向角数据的示意图(如图11所示)。灰色方块和白色方块分别表示两个匹配的地理标记图像和用户拍摄的视频帧。利用张正友标定法对智能手机相机进行标定，估算出相机内参数矩阵参数。将视频中的相邻帧进行图像匹配，其基本矩阵F可以通过这两张图像匹配得到的关键点对来计算：
其中：mi(ui,vi,1)T,mi'(ui',vi',1)T是匹配特征点集{mi,m'i|i＝1,2,...n}的关键点对。在给定8对或8对以上匹配关键点的情况下，线性求解F矩阵，得到基本矩阵后，计算本质矩阵E，分解E矩阵估计摄像机姿态。本质矩阵和基本矩阵之间的关系可以描述如下：
E＝KTFK
其中：K是智能手机摄像头的固有矩阵。利用E的奇异值分解(SVD)，计算旋转矩阵R和平移向量T。具体地，奇异值分解(Singular Value Decomposition，SVD)是线性代数中一种经典的矩阵分解方法，基本形式为A＝USDT.其中A、U、D为正交矩阵，S为A的对角阵。调用计算机编程语言中的相关函数，可以实现将一个矩阵分解A为三个矩阵相乘的形式。然后根据旋转矩阵R，航向角变化可以表示为：
其中，Δθ为智能手机在t时的航向角变化，为智能手机在t时的俯仰角变化，若初始航向角为θ0，则智能手机在t时的航向角可计算为：
其中，θt为智能手机在t时刻的航向角。
虽然基于运动恢复结构的航向角估计算法可以提高行人航迹推算算法的航向估计性能，但随着行走时间的增加，航向误差仍在累积。为了解决这一问题，本实施例还利用地理标记图像来消除航向角的累积误差。将基于用户拍摄的影像得到的视频帧作为查询图像与地理标记图像成功匹配后，可以通过下述公式，使用地理标记图像的方向角来校正智能手机的方向角：
其中，θt为t时智能手机的航向角，θt-1为t-1时的航向角，Δθ(t-1，t)为t-1时到t时的航向角变化，θg(t)为t时成功匹配的地理标记图像的航向角，Δθg(t)为t时的图像与地理标记影像之间的航向角变化。Δθg(t)可以通过计算两幅图像的旋转矩阵R估计。
根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法得到的实时航向角数据对行人航迹推算算法中使用的航向角进行修正，通过航向角修正后的行人航迹推算算法可以连续估计用户的当前位置。其中，行人航迹推算算法假定初始位置未知，因此其估计结果是移动终端的相对坐标。当将用户拍摄的视频帧作为查询图像与地理标记图像成功匹配后，可以通过下述公式得到地理标记图像的位置信息：
其中，(xt,yt)为t时刻智能手机的坐标，(xg(t),yg(t))为t时刻之前最近匹配的地理标记图像的坐标，θi为i时刻智能手机的航向角，di为用户的智能手机在t-1时刻与t时刻的位置之间的距离。这样，当手机拍摄的视频帧作为查询图像与地理标记影像成功匹配时，手机的坐标可以由此得到校正。将校正后得到的坐标信息作为输出的用户的实时定位信息。
基于上述实施例，本发明还提供一种基于空间优化策略的室内视觉快速匹配定位系统，所述系统包括：
构建模块，用于对目标室内环境进行视觉图像采集，通过所述视觉图像采集的得到的图像构建室内地理标记图像数据库；
匹配模块，用于获取查询图像，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配出的地理标记图像作为所述查询图像对应的目标地理标记图像；
修正模块，用于根据所述目标地理标记图像和基于运动恢复结构的航向角估计算法对行人航迹推算算法中使用的航向角数据进行修正，并通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
综上所述，本发明公开了一种基于空间优化策略的室内视觉快速匹配定位方法，通过将图像匹配定位技术、基于运动恢复结构的航向角估计算法以及行人航迹推算算法相结合，即解决了行人航迹推算算法中航向角累计误差大的缺陷，同时还解决了图像匹配定位技术中由于用于匹配的地理标记图像为离散点而导致产生的用户位置更新频率较低的问题，从而实现室内视觉快速匹配定位。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于空间优化策略的室内视觉快速匹配定位方法，其特征在于，所述方法包括：
对目标室内环境设置视觉采样点，在所述视觉采样点处进行视觉图像采集，将采集到的图像作为待标记的地理标记图像；
对所述待标记的地理标记图像进行地理位置标注，标注完毕后得到地理标记图像，通过所述地理标记图像构建室内地理标记图像数据库；
对所述室内地理标记图像数据库中的所有地理标记图像执行多约束图像匹配操作，根据匹配操作的结果得到所有地理标记图像的空间相似性评价数据；
根据所述空间相似性评价数据对所述目标室内环境进行划分，根据划分结果生成若干个子空间；所述子空间内包含相似性达到预设阈值的若干个地理标记图像；
对所有子空间以及所有地理标记图像建立空间索引数据；
检测所有子空间的空间邻接关系，根据所述空间邻接关系建立空间邻接关系图；
获取基于用户的当前位置信息以及前一次在目标室内环境中进行定位得到的用户的位置信息计算出的距离值；
将所述距离值与预设阈值进行比较；
当所述距离值小于所述预设阈值时，获取查询图像，通过局部匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
当首次在所述目标室内环境中进行定位或者所述距离值大于或者等于所述预设阈值时，通过全局匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
获取所述目标地理标记图像对应的方向角数据，根据所述方向角数据以及基于运动恢复结构的航向角估计算法确定用户的实时航向角数据；
根据所述实时航向角数据对基于行人航迹推算算法中使用的航向角数据进行修正；
通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
2.根据权利要求1所述的基于空间优化策略的室内视觉快速匹配定位方法，其特征在于，所述多约束图像匹配操作包括：
通过预设的图像特征提取算法对需要匹配的两张图像分别进行图像特征点的提取操作；
获取预设的约束条件，在满足所述预设的约束条件的情况下，将提取出的两张图像的图像特征点进行配对，通过配对成功的特征点对的数量生成空间相似性评价数据；
所述预设的约束条件包括以下的一种或者多种：比率约束、对称性约束以及随机抽样一致性约束。
3.根据权利要求1所述的基于空间优化策略的室内视觉快速匹配定位方法，其特征在于，所述局部匹配方法包括：
查询前一次在目标室内环境中进行定位得到的用户的位置信息对应的子空间中的所有地理标记图像，并将查询得到的图像作为候选匹配图像；
将所述候选匹配图像按预设优先级顺序与所述查询图像执行所述多约束图像匹配操作，将匹配得到的地理标记图像作为目标地理标记图像。
4.根据权利要求1所述的基于空间优化策略的室内视觉快速匹配定位方法，其特征在于，所述全局匹配方法包括：
通过所述空间索引数据查询并获取每一个子空间中的代表地理标记图像；所述代表地理标记图像与自身所在的子空间中的所有地理标记图像执行所述多约束图像匹配操作时相似性最高；
将所述查询图像分别与所有代表地理标记图像执行所述多约束图像匹配操作，根据匹配操作的结果确定与所述查询图像相似性最高的代表地理标记图像，将确定出的代表地理标记图像对应的子空间作为目标子空间；
将所述查询图像分别与所述目标子空间中的所有地理标记图像执行所述多约束图像匹配操作，根据匹配操作的结果确定与所述查询图像相似性最高的所述目标子空间中的地理标记图像，将确定出的地理标记图像作为目标地理标记图像。
5.根据权利要求3所述的基于空间优化策略的室内视觉快速匹配定位方法，其特征在于，当所述局部匹配方法失败时，根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作；
若匹配成功，则将匹配成功的地理标记图像作为目标地理标记图像；
若匹配失败，则将所述相邻的子空间作为当前子空间，重新执行根据所述空间邻接关系图确定与当前子空间相邻的子空间，并将所述查询图像分别与所述相邻的子空间中的地理标记图像执行所述多约束图像匹配操作，直至匹配成功，将匹配成功的地理标记图像作为目标地理标记图像。
6.一种基于空间优化策略的室内视觉快速匹配定位系统，其特征在于，所述系统包括：
构建模块，用于对目标室内环境设置视觉采样点，在所述视觉采样点处进行视觉图像采集，将采集到的图像作为待标记的地理标记图像；
对所述待标记的地理标记图像进行地理位置标注，标注完毕后得到地理标记图像，通过所述地理标记图像构建室内地理标记图像数据库；
对所述室内地理标记图像数据库中的所有地理标记图像执行多约束图像匹配操作，根据匹配操作的结果得到所有地理标记图像的空间相似性评价数据；
根据所述空间相似性评价数据对所述目标室内环境进行划分，根据划分结果生成若干个子空间；所述子空间内包含相似性达到预设阈值的若干个地理标记图像；
对所有子空间以及所有地理标记图像建立空间索引数据；
检测所有子空间的空间邻接关系，根据所述空间邻接关系建立空间邻接关系图；
匹配模块，用于获取基于用户的当前位置信息以及前一次在目标室内环境中进行定位得到的用户的位置信息计算出的距离值；
将所述距离值与预设阈值进行比较；
当所述距离值小于所述预设阈值时，获取查询图像，通过局部匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
当首次在所述目标室内环境中进行定位或者所述距离值大于或者等于所述预设阈值时，通过全局匹配方法，将所述查询图像与所述室内地理标记图像数据库中的地理标记图像进行匹配，将匹配得到的地理标记图像作为目标地理标记图像；
修正模块，用于获取所述目标地理标记图像对应的方向角数据；
根据所述方向角数据以及基于运动恢复结构的航向角估计算法确定用户的实时航向角数据；
根据所述实时航向角数据对基于行人航迹推算算法中使用的航向角数据进行修正；
通过基于所述目标地理标记图像确定的用户位置信息以及航向角数据进行修正以后的行人航迹推算算法确定的用户位置信息，输出用户的实时定位信息。
CN202011606965.7A 2020-12-28 2020-12-28 基于空间优化策略的室内视觉快速匹配定位方法及系统 Active CN112614162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011606965.7A CN112614162B (zh) 2020-12-28 2020-12-28 基于空间优化策略的室内视觉快速匹配定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011606965.7A CN112614162B (zh) 2020-12-28 2020-12-28 基于空间优化策略的室内视觉快速匹配定位方法及系统

Publications (2)

Publication Number Publication Date
CN112614162A CN112614162A (zh) 2021-04-06
CN112614162B true CN112614162B (zh) 2023-10-31

Family

ID=75249392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011606965.7A Active CN112614162B (zh) 2020-12-28 2020-12-28 基于空间优化策略的室内视觉快速匹配定位方法及系统

Country Status (1)

Country Link
CN (1) CN112614162B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690840B (zh) * 2009-06-24 2013-07-31 中国科学院自动化研究所 无人机视觉辅助导航方法及系统
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及系统
CN105371847A (zh) * 2015-10-27 2016-03-02 深圳大学 一种室内实景导航方法及系统
CN109405850A (zh) * 2018-10-31 2019-03-01 张维玲 一种基于视觉和先验知识的惯性导航定位校准方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690840B (zh) * 2009-06-24 2013-07-31 中国科学院自动化研究所 无人机视觉辅助导航方法及系统
CN103292804A (zh) * 2013-05-27 2013-09-11 浙江大学 一种单目自然视觉路标辅助的移动机器人定位方法
CN105246039A (zh) * 2015-10-20 2016-01-13 深圳大学 一种基于图像处理的室内定位方法及系统
CN105371847A (zh) * 2015-10-27 2016-03-02 深圳大学 一种室内实景导航方法及系统
CN109405850A (zh) * 2018-10-31 2019-03-01 张维玲 一种基于视觉和先验知识的惯性导航定位校准方法及其系统

Also Published As

Publication number Publication date
CN112614162A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
US10867189B2 (en) Systems and methods for lane-marker detection
CN107907124B (zh) 基于场景重识的定位方法、电子设备、存储介质、系统
US9152882B2 (en) Location-aided recognition
CN109141442B (zh) 基于uwb定位与图像特征匹配的导航方法和移动终端
KR102441053B1 (ko) 차량의 주행차로 추정 장치 및 방법
WO2012086821A1 (ja) 測位装置、測位方法
CN103440318A (zh) 移动终端的景观识别系统
CN114111774B (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
Piciarelli Visual indoor localization in known environments
Feng et al. Visual map construction using RGB-D sensors for image-based localization in indoor environments
CN114119659A (zh) 一种多传感器融合的目标跟踪方法
CN114264297B (zh) Uwb和视觉slam融合算法的定位建图方法及系统
CN111308420A (zh) 一种基于声信号时延估计及到达频率的室内非视距定位方法
CN114187418A (zh) 回环检测方法、点云地图构建方法、电子设备及存储介质
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
Lu et al. A lightweight real-time 3D LiDAR SLAM for autonomous vehicles in large-scale urban environment
Ma et al. RoLM: Radar on LiDAR map localization
CN115267724B (zh) 一种基于激光雷达可估位姿的移动机器人位置重识别方法
CN112614162B (zh) 基于空间优化策略的室内视觉快速匹配定位方法及系统
CN116358547B (zh) 一种基于光流估计获取agv位置的方法
Wang et al. Indoor position algorithm based on the fusion of wifi and image
WO2022252482A1 (zh) 机器人及其环境地图构建方法和装置
CN113850864B (zh) 一种面向室外移动机器人的gnss/lidar回环检测方法
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Mount et al. Automatic coverage selection for surface-based visual localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant