CN113570663A - 基于单线激光雷达和顶视摄像头融合的室内定位方法 - Google Patents

Abstract

本发明公开了基于单线激光雷达和顶视摄像头融合的室内定位方法，包括：利用顶视相机获取天花板图像信息，得到序列影像并提取关键帧；利用单线激光雷达获取移动过程中的室内场景的轮廓信息，得到顶视相机的任一帧的序列影像对应的初始位姿；采用模板匹配和特征匹配对关键帧进行逐帧的匹配，求得相邻关键帧的序列影像的相对坐标和姿态转换关系；根据起始的两相邻关键帧的序列影像并采用相对定向算法构建起始的天花板的点云模型，并采用PnP算法对n个关键帧的序列影像进行分批匹配，得到任一关键帧下的顶视相机的位姿；结合移动设备的移动轨迹，并利用核线密集匹配算法构建天花板像素级模型，以实现移动设备的室内定位。

Description

基于单线激光雷达和顶视摄像头融合的室内定位方法

技术领域

本发明涉及定位技术领域，尤其是基于单线激光雷达和顶视摄像头融合的室内定位方法。

背景技术

室内定位是指在建筑物的室内环境中实现位置的定位，其通过多种技术手段和方式，均可以初步实现室内定位，确定人员、物体在室内空间中的位置。目前现有技术中常用的设备有相机、激光雷达、超声波、WIFI、蓝牙、超带宽和RFID等等。室内是人员日常活动的最主要场所，室内定位有着广泛的应用空间和潜在需求，但是在实际的使用中，由于室内环境复杂，干扰较多，所以现有定位的精度和准度都不够高。

目前，现有技术中主流定位方法包括基于激光雷达的点云匹配定位方法和基于影像匹配的视觉定位方法。其中，基于激光雷达的定位方法通过发射和获取大量激光点获取点云，记录每点测距信息，通过两帧点云数据的匹配获得相邻时刻相对位姿；如专利申请号为“201611006340.0”、名称为“一种基于深度相机与激光雷达的定位与导航方法”的中国发明专利。另外，基于视觉的定位方法是通过相邻时刻两帧影像的精确匹配，根据摄影测量方法得到两次拍摄相机的相对位姿，进而实现机器人的相对定位，通常包括特征提取，影像匹配，相对定向位姿解算等步骤。例如专利申请号为“201410831889.8”、名称为“一种基于三维环境模型匹配的室内定位方法”的中国发明专利，其利用基于计算机视觉测程原理的算法对数据采集装置在不同时刻收集到的信息进行相对位置估计，从而获得三维环境中每一个位置的三维坐标。

上述方法的定位过程都可以分为相对定位和绝对定位。相对定位是估计机器人相邻时刻的相对位姿，获得机器人相对于上一时刻的位姿变换。绝对定位是将机器人定位到已有地图上。

目前，基于激光雷达的点云匹配定位方法和基于视觉的定位方法基本上都会水平设置的激光雷达和水平放置的前视、侧视、后视相机进行的定位。上述方法在一些室内场景中可以取得不错的定位效果，但是依然在很多的室内场景中无法很好的使用。在复杂的室内环境中，如商场、地下停车场、图书馆、超市和餐厅中，室内定位常常面临场景高动态的问题，由于人流密集和室内车辆、桌椅等物体的移动，在水平方向形成了许多遮挡，水平的激光雷达和水平的相机都会受到大量的遮挡，获得很多的无效信息，使得真正能够用于定位的室内场景的结构化信息被掩盖，导致定位精度下降，甚至定位的完全失败。

因此，急需要提出一种逻辑简单、定位准确的基于单线激光雷达和顶视摄像头融合的室内定位方法。

发明内容

针对上述问题，本发明的目的在于提供基于单线激光雷达和顶视摄像头融合的室内定位方法，本发明采用的技术方案如下：

基于单线激光雷达和顶视摄像头融合的室内定位方法，所述室内的天花板上设置有吊顶；所述吊顶设置有网格图形，包括以下步骤：

在移动设备的顶部设置拍摄角朝向室内的天花板的顶视相机，并在移动设备上水平设置一单线激光雷达；

利用顶视相机获取天花板图像信息，并得到移动过程中的序列影像，提取序列影像中的关键帧；同时，利用单线激光雷达获取移动过程中的室内场景的轮廓信息，并得到顶视相机的任一帧的序列影像对应的初始位姿；

采用模板匹配和特征匹配对关键帧进行逐帧的匹配，求得相邻关键帧的序列影像的相对坐标和姿态转换关系；

根据起始的两相邻关键帧的序列影像并采用相对定向算法构建起始的天花板的点云模型，并采用PnP算法对n个关键帧的序列影像进行分批匹配，得到任一关键帧下的顶视相机的位姿，以得到移动设备的移动轨迹；所述n为大于2的整数；

结合移动设备的移动轨迹，并利用核线密集匹配算法构建天花板像素级模型，以实现移动设备的室内定位。

进一步地，所述单线激光雷达获取顶视相机的序列影像初始的位姿，包括以下步骤：

利用单线激光雷达获取室内水平场景的轮廓信息；

累计间隔t时间的单线激光雷达采集的轮廓信息，并构建得到栅格结构的数个子地图；所述t大于0的自然数。

在关键帧中加入点云模型的点云数据，并重复更新任一栅格结构，以保留子地图中稳定的点云；

任一子地图中，若关键帧中加入点云与更新前的子地图中稳定的点云相同，则添加回环的约束；

对数个子地图进行点云匹配。得到全局的点云地图；采用图优化算法对任一子地图进行误差分配，对任一子地图全局最优的位姿求解；

将全局最优的位姿作为顶视相机的序列影像初始的位姿。

与现有技术相比，本发明具有以下有益效果：

(1)本发明巧妙地采用单线激光雷达和顶视相机的组合，其通过单线水平激光雷达建模提供可靠的初始数据，对序列天花板影像进行多种特征的匹配，在图像识别的基础上，进一步引入摄影测量的思想和方法，有效提高了室内定位的精度，实时获得相机的位置和姿态信息。最终在人流密集和室内环境多变的室内场景下，实现机器人可靠的实时定位。本发明能够应用于多种不同室内环境的应用场景；

(2)本发明通过顶视相机的设置，获取天花板的结构化信息进行室内定位，避免了室内高动态场景下物体移动和人流遮挡导致的定位精度下降和定位失败的问题；

(3)本发明充分利用了天花板的多种结构化信息，对于天花板的格网信息，特征点，边缘信息等直接提取，实现定位，无需预设控制点，降低了成本；

(4)本发明采用的单线激光雷达和顶视相机的硬件成本较低，算法对于计算机算力要求不高，综合成本受控；

综上所述，本发明具有逻辑简单、定位准确等优点，在室内定位计算领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的顶视相机的逻辑流程图。

图2为本发明的水平激光雷达的逻辑流程图。

图3为本发明的室内定位逻辑流程图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图3所示，本实施例提供了基于单线激光雷达和顶视摄像头融合的室内定位方法，其包括以下步骤：

第一部分：单线激光雷达定位流程：

在步骤4001中，启动水平激光雷达定位的系统，以起始点为初始坐标系。

在步骤4002中，水平的单线激光雷达扫描室内环境，获得水平方向的点云数据。即连续的水平单线点云帧。

在步骤4003中，将单线激光雷达实时获取的每帧点云与之前的每帧点云进行匹配，检测是否相似。如果相似程度高于阈值，则说明室内机器人回到了之前的位置，轨迹构成了回环。

步骤4004中，如果当前帧的点云没有与之前任意一帧的点云满足相似条件，不能构成回环，则将这一帧点云直接加入构建的子地图中。子地图由一小段时间内的所有帧的点云构成。

步骤4005中，如果当前帧与之前的某一帧点云满足相似条件，则在全局地图中增加一个回环约束的条件。之后，依然将这一帧点云直接加入构建的子地图中。子地图由一小段时间内的所有帧的点云构成。

步骤4006中，每当有一个子地图完成构建之后，将这个子地图匹配至全局地图当中，如果这是第一个子地图，则将这个子地图作为全局地图。

步骤4007中，每当有一个子地图构建完成，就加入全局地图，这时，全局地图进行更新，增加新的子地图的范围。在加入的新子地图构建的过程中，如果有新的回环检测的约束条件产生，那么在构建和产生新的全局地图的过程中，对所有的子地图添加回环约束重新进行优化，得到新的全局地图。

步骤4008中，在由一定帧数累计构建子地图的过程中，计算出每帧点云相对于子地图位姿的坐标转换关系。

步骤4009中，在由子地图构建全局地图的过程中，计算出每个子地图相对于全局地图的坐标转换关系。

步骤4010，由步骤4008和步骤4009两步中得到的每帧点云相对于子地图位姿的坐标转换关系和每个子地图相对于全局地图的坐标转换关系计算出每帧点云相对于全局地图的坐标转换关系。实时输出每帧点云相对于全局地图的坐标和姿态。

第二部分，顶视摄像头定位流程：

在步骤4101中，顶视摄像头拍摄室内环境网格状天花板影像，在水平方向存在大量移动障碍物的情况下，根据时间或者距离获得具有一定重叠区域的稳定的左右相邻关键帧，例如每隔0.3米获得一对关键帧，然后执行步骤4102；

在步骤4102中，对获得影像执行多层级影像匹配，具体分为两级，包括步骤4103,4104,4105，该步骤也可以添加更多匹配层级提高稳定性；

在步骤4103中，由单线激光雷达提供的机器人的位置和姿态，作为影响匹配的初值。

在步骤4104中，以其中一幅影像为模板，例如以右影像为模板，对相邻关键帧进行模板匹配，获得相邻帧在影像像素坐标系下的坐标变换参数，然后执行步骤4105；

在步骤4105中，在左右影像上提取特征点，对图像进行分块处理，利用harris算子提取每块内的极大值响应点，得到均匀分布的特征点，根据步骤4104得到的坐标变换关系辅助完成左右影像公共特征点的匹配，然后执行步骤4106；

在步骤4106中，如果是第一对相邻帧，则执行步骤4107，如果是后续得到的相邻帧，则执行步骤4108；

在步骤4107中，根据步骤4105得到的稀疏同名像点完成初始两张相邻帧的相对定向，由相机基线或者机器人里程测量值固定基线，以第一张影像像空间坐标系为基准建立全局空间坐标系，然后执行步骤4109；

在步骤4108中，根据步骤4105得到的匹配点和左影像对应匹配点的空间坐标，由PnP方法解算右影像的摄像机位姿和非公共特征点空间坐标，然后执行步骤4109；

在步骤4109中，根据机器人里程测量值或者影像相对位姿运动距离判断摄像机是否运动足够距离，或者根据影像匹配判断是否产生局部回环，如果是，则执行步骤4110，如果不是，则执行步骤4101；

在步骤4110中，对上述步骤得到的序列相机位姿和影像提取的特征点形成的稀疏点云进行光束法平差，优化相机位姿和稀疏点云坐标，然后执行步骤4101；

上述步骤为在线定位处理模式，在数据采集之后，可以由得到的序列影像和稀疏特征点坐标进一步生成密集点云，用于后续机器人定位，具体包括以下两个步骤：

在步骤4111中，对相邻影像进行密集核线匹配，得到稠密匹配点，然后执行步骤4112；

在步骤4112中，对步骤4111得到的相邻影像密集匹配点实施前方交会，得到密集点云。

第三部分，单线激光雷达和定时摄像头融合方法的流程：

在步骤4201中，启动室内定位系统，水平单线激光雷达和顶视相机开始同时工作。

在步骤4202中，顶视相机模块进行定位工作，具体流程如4101至4112所示；

在步骤4203中，顶视相机输出基于天花板影像的室内定位结果；

在步骤4204中，水平的单线激光雷达进行定位工作，具体流程如4001至4010所示；

在步骤4205中，水平单线激光雷达输出基于水平点云信息的室内定位结果；

在步骤4206中，顶视相机和水平激光雷达互为备份，水平激光雷达可以为顶视相机提供影像拼接的初值，当其中一种方式定位丢失之后，可以使用另一种方式及时进行补充，一般情况下，顶视相机和水平设置的激光雷达可以进行联合的室内定位，有效提高定位的精度和稳定性。

在步骤4207中，室内定位系统输出定时摄像头和水平单线激光雷达融合的室内定位结果。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (2)

1.基于单线激光雷达和顶视摄像头融合的室内定位方法，所述室内的天花板上设置有吊顶；所述吊顶设置有网格图形，其特征在于，包括以下步骤：

在移动设备的顶部设置拍摄角朝向室内的天花板的顶视相机，并在移动设备上水平设置一单线激光雷达；

利用顶视相机获取天花板图像信息，并得到移动过程中的序列影像，提取序列影像中的关键帧；同时，利用单线激光雷达获取移动过程中的室内场景的轮廓信息，并得到顶视相机的任一帧的序列影像对应的初始位姿；

采用模板匹配和特征匹配对关键帧进行逐帧的匹配，求得相邻关键帧的序列影像的相对坐标和姿态转换关系；

根据起始的两相邻关键帧的序列影像并采用相对定向算法构建起始的天花板的点云模型，并采用PnP算法对n个关键帧的序列影像进行分批匹配，得到任一关键帧下的顶视相机的位姿，以得到移动设备的移动轨迹；所述n为大于2的整数；

结合移动设备的移动轨迹，并利用核线密集匹配算法构建天花板像素级模型，以实现移动设备的室内定位。

2.根据权利要求1所述的基于单线激光雷达和顶视摄像头融合的室内定位方法，其特征在于，所述单线激光雷达获取顶视相机的序列影像初始的位姿，包括以下步骤：

利用单线激光雷达获取室内水平场景的轮廓信息；

累计间隔t时间的单线激光雷达采集的轮廓信息，并构建得到栅格结构的数个子地图；所述t为大于0的自然数；

在关键帧中加入点云模型的点云数据，并重复更新任一栅格结构，以保留子地图中稳定的点云；

任一子地图中，若关键帧中加入点云与更新前的子地图中稳定的点云相同，则添加回环的约束；

对数个子地图进行点云匹配。得到全局的点云地图；采用图优化算法对任一子地图进行误差分配，对任一子地图全局最优的位姿求解；

将全局最优的位姿作为顶视相机的序列影像初始的位姿。

Images