CN110866497A

CN110866497A - 基于点线特征融合的机器人定位与建图方法和装置

Info

Publication number: CN110866497A
Application number: CN201911114284.6A
Authority: CN
Inventors: 方宝富; 王浩; 杨静; 詹志强; 王乐; 韩修萌
Original assignee: Hefei University of Technology
Current assignee: Hefei University of Technology
Priority date: 2019-11-14
Filing date: 2019-11-14
Publication date: 2020-03-06
Anticipated expiration: 2039-11-14
Also published as: CN110866497B

Abstract

本申请涉及一种基于点线特征融合的机器人定位与建图方法、装置、计算机设备及存储介质，所述方法包括：通过使用RGB‑D相机进行周边环境探测，采集得到RGB图像和深度图像，并确定连续的图像帧，再从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征，进而采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿，最后采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点，并基于所述帧间位姿及所述地图点，生成局部地图，实现通过点线特征的融合来提高跟踪的鲁棒性，避免低纹理和运动模糊等场景下跟踪失败的问题，有效提高机器人定位与建图的精确度。

Description

基于点线特征融合的机器人定位与建图方法和装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于点线特征融合的机器人定位与建图方法、装置、计算机设备及存储介质。

背景技术

近年来，无人驾驶、机器人、无人机和AR/VR等技术得到飞速发展，同时定位与地图构建也成为了研究的热点问题，被认为是这些领域的关键基础技术。这是因为在未知环境中，机器人的准确定位需要精确地环境地图，而想要构建精确地环境地图，机器人也要知道自己在环境中的准确位置。而 SLAM(Simultaneous Localization and Mapping)技术使就是让机器人等载体在未知环境中的未知地点出发，利用自身所搭载的一系列传感器(激光雷达、GPS、 IMU、相机等)来观测所处的环境特征，进而计算出机器人移动的位姿，根据自身的姿态和位置增量式的构建未知环境地图。最终可以构建一个完整的全局一致的环境地图，以便为后期的导航、避障、路径规划等应用提供必要的支持。

在SLAM技术所应用的诸多传感器中，相比基于激光雷达搭建的激光 SLAM，视觉传感器(单目、双目、RGB-D相机)不仅更便宜，还可以提供更多更丰富的环境信息。其中，RGB-D相机可以同时提供RGB图像和对应的深度图，可以节省大量的计算资源。因此，在室内的定位建图中，利用RGB-D 相机实现视觉SLAM越来越受欢迎。

在现有的利用RGB-D相机实现视觉SLAM中，采用ORB-SLAM、 PL-SLAM和PTAM(Parallel Tracking and Mapping)等多种方案实现了并行跟踪和建图的过程，并使用非线性优化来进行后端优化，满足了视觉SLAM 的实时性要求，但在实现本申请过程中，发明人发现现有技术至少存在如下问题：在低纹理、运动模糊等场景中下，采用上述方式实现视觉SLAM重定位容易导致跟踪失败，使得定位不精确甚至无法定法，因而，在低纹理、运动模糊等场景下，如何准确进行机器人定位与建图成了一个亟待解决的难题。

发明内容

本申请实施例的目的在于提出一种基于点线特征融合的机器人定位与建图方法、装置、计算机设备及存储介质，以提高在低纹理、运动模糊等场景时机器人重定位的准确率。

为了解决上述技术问题，本申请实施例提供一种基于点线特征融合的机器人定位与建图方法，包括：

使用RGB-D相机进行周边环境探测，采集得到RGB图像和深度图像，并基于所述RGB图像和深度图像，确定连续的图像帧；

从所述连续的图像帧中提取点特征，并通过自适应的线段检测方法，从所述连续的图像帧中提取线特征；

采用特征匹配算法和筛选机制，对所述线特征进行特征匹配，得到帧间初始位姿；

采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点帧间初始位姿，并基于所述帧间位姿及所述地图点，生成局部地图。

进一步地，所述基于所述RGB图像和深度图像，确定连续的图像帧包括：

提取每个所述RGB图像的ORB特征；

根据所述RGB图像对应的深度图像计算出空间坐标；

基于所述ORB特征和所述空间坐标，得到所述图像帧。

进一步地，所述通过自适应的线段检测方法，从所述连续的图像帧中提取线特征包括：

基于所述连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值；

采用所述响应值阈值和改进的LSD算法，对所述连续的图像帧进行线段提取，得到所述线特征。

进一步地，所述基于所述连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值包括：

基于所述连续的图像帧中图像的长、宽和所提取线段的长度，采用如下公式计算响应值阈值：

其中，Response_l为响应值阈值，sPoint_l和ePoint_l为所提取线段的两端点，l为线段的标识，Length和Width分别为图像帧的长和宽。

进一步地，所述采用特征匹配算法和筛选机制，对所述线特征进行特征匹配，得到帧间初始位姿包括：

对所述连续的图像帧中，分别取相邻的图像帧对应的所述线特征l₁和l₂；

确定l₁在二维平面上的方向角

和l₂在二维平面上的方向角

若

和

的差值的绝对值小于预设角度变化阈值，则确认匹配成功；

确定l₁在二维平面上的线段长度

和l₂在二维平面上的线段长度

若

和

满足

则确定匹配成功，其中， λ为预设的阈值；

根据匹配成功的线特征，计算所述帧间初始位姿。

进一步地，采用特征匹配算法和筛选机制，对所述线特征进行特征匹配，得到帧间初始位姿，还包括：

若检测到所述线特征进行特征匹配失败，则对所述连续的图像帧中，分别取相邻的图像帧对应的ORB特征点；

将所述相邻帧图像对应的ORB特征点进行匹配，得到匹配数量；

若所述匹配数量小于预设特征点数量阈值，则对所述相邻的图像帧中的上一帧图像进行a×a的高斯模糊处理，对所述相邻的图像帧中的下一帧图像进行b×b的高斯模糊处理，得到处理后的上一帧图像和处理后的下一帧图像，其中，a和b为正整数，且a小于b；

采用所述处理后的上一帧图像和所述处理后的下一帧图像进行ORB特征点进行匹配。

为了解决上述技术问题，本申请实施例还提供一种基于点线特征融合的机器人定位与建图装置，包括：

帧图像获取模块，使用RGB-D相机进行周边环境探测，采集得到RGB 图像和深度图像，并基于所述RGB图像和深度图像，确定连续的图像帧；

点线特征提取模块，用于从所述连续的图像帧中提取点特征，并通过自适应的线段检测方法，从所述连续的图像帧中提取线特征；

点线特征匹配模块，用于采用特征匹配算法和筛选机制，对所述线特征进行特征匹配，得到帧间初始位姿；

定位模块，用于采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点，并基于所述帧间位姿及所述地图点，生成局部地图。

进一步地，帧图像获取模块包括：

特征提取单元，用于提取每个所述RGB图像的ORB特征；

坐标计算单元，用于根据所述RGB图像对应的深度图像计算出空间坐标；

图像重绘单元，用于基于所述ORB特征和所述空间坐标，得到所述图像帧。

进一步地，所述点线特征提取模块包括：

阈值确定单元，用于基于所述连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值；

线段提取单元，用于采用所述响应值阈值和改进的LSD算法，对所述连续的图像帧进行线段提取，得到所述线特征。

进一步地，所述阈值确定单元包括：

计算子单元，用于基于所述连续的图像帧中图像的长、宽和所提取线段的长度，采用如下公式计算响应值阈值：

进一步地，所述点线特征匹配模块包括：

线特征提取单元，用于对所述连续的图像帧中，分别取相邻的图像帧对应的所述线特征l₁和l₂；

方向角确定单元，用于确定l₁在二维平面上的方向角

和l₂在二维平面上的方向角

角度变化匹配单元，用于若

和

的差值的绝对值小于预设角度变化阈值，则确认匹配成功；

长度确定单元，用于确定l₁在二维平面上的线段长度

和l₂在二维平面上的线段长度

长度变化匹配单元，用于若

和

满足

则确定匹配成功，其中，λ为预设的阈值；

目标特征选取单元，用于根据匹配成功的线特征，计算所述帧间初始位姿。

进一步地，所述特征匹配模块还包括：

特征点选取单元，用于若检测到所述线特征进行特征匹配失败，则对所述连续的图像帧中，分别取相邻的图像帧对应的ORB特征点；

特征点匹配单元，用于将所述相邻帧图像对应的ORB特征点进行匹配，得到匹配数量；

高斯模糊单元，用于若所述匹配数量小于预设特征点数量阈值，则对所述相邻的图像帧中的上一帧图像进行a×a的高斯模糊处理，对所述相邻的图像帧中的下一帧图像进行b×b的高斯模糊处理，得到处理后的上一帧图像和处理后的下一帧图像，其中，a和b为正整数，且a小于b；

迭代匹配单元，用于采用所述处理后的上一帧图像和所述处理后的下一帧图像进行ORB特征点进行匹配。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于点线特征融合的机器人定位与建图方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于点线特征融合的机器人定位与建图方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

通过使用RGB-D相机进行周边环境探测，采集得到RGB图像和深度图像，并基于RGB图像和深度图像，确定连续的图像帧，再从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征，进而采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿，最后采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到优化后的帧间位姿及地图点帧间初始位姿，并基于所述帧间位姿及所述地图点，生成局部地图，实现通过点线特征的融合来提高特征的鲁棒性，避免低纹理和运动模糊场景下跟踪失败的问题，有效提高机器人重定位的精确度。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的基于点线特征融合的机器人定位与建图方法的一个实施例的流程图；

图3是根据本申请的基于点线特征融合的机器人定位与建图装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104 和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器 (Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPicture E界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、 103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的机器人重定位方法由服务器执行，相应地，基于点线特征融合的机器人定位与建图装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请继续参考图2，示出了根据本申请的界面显示的方法的一个实施例的流程图。该机器人重定位方法，包括以下步骤：

S201：使用RGB-D相机进行周边环境探测，采集得到RGB图像和深度图像，并基于RGB图像和深度图像，确定连续的图像帧。

具体地，使用RGB-D相机进行周边环境探测，每次采集得到一组图像，包括一个RGB图像和一个深度图像，并对每组RGB图像和深度图像进行转化整合处理，得到统一空间坐标体系的图像帧，按照时间点的先后顺序，得到连续的图像帧。

其中，深度图像(depth image)是一种具有深度图的图像，深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道，其类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。

其中，RGB-D相机是在RGB普通摄像头的功能上添加了一个深度测量的拍摄设备。

S202：从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征。

具体地，从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征。

其中，自适应的线段检测方法具体可以通过改进LSD算法来实现，传统 LSD算法在进行局部直线提取时长线段被遮挡、局部模糊等原因经常割裂为多条直线，在本实施例中，采用动态生成响应值阈值的方式，来对LSD算法进行改进，以增强线特征的可靠性，具体实现过程可参考后续实施例的描述，为避免重复，此处不再赘述。

需要说明的是，在得到线特征后，还可以根据实际需要，采用重投影误差的方式，对线特征进行优化。

S203：采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿。

具体地，在得到线特征之后，需要进一步对线特征进行特征匹配，过滤掉一些无效的线特征，减少后续定位的计算量，同时有利于提高后续定位的精准度。

其中，特征匹配算法和筛选机制具体包括但不限于：BFM(Brute Force Match)算法和FLANN(Fast Library for Approximate Nearest Neighbors)算法等，优选地，本实施例采用BFM算法进行特征匹配。

值得说明的是，相对比点特征的匹配，BFM算法在进行线特征的匹配时，相同线特征在每帧图像中的位置经常会出现不准确的情况，因而，本实施例在通过BFM进行特征匹配后，对不准确的匹配结果进行进一步地过滤，确保得到的帧间初始位姿的可靠性。具体过滤过程可参考后续实施例的描述，为避免重复，此处不再赘述。

S204：采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点帧间初始位姿，并基于所述帧间位姿及所述地图点，生成局部地图。

具体地，采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点，并基于所述帧间位姿及所述地图点，生成局部地图。

本实施例中，通过使用RGB-D相机进行周边环境探测，采集得到RGB 图像和深度图像，并基于RGB图像和深度图像，确定连续的图像帧，再从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征，进而采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿，最后采用点线误差模型对所述帧间初始位姿进行最小化误差处理，得到优化后的帧间位姿及地图点，并基于所述帧间位姿及所述地图点，生成局部地图，实现通过点线特征的融合来提高特征的鲁棒性，避免低纹理和运动模糊场景下跟踪失败的问题，有效提高机器人重定位的精确度。

在本实施例的一些可选的实现方式中，步骤S201中，基于RGB图像和深度图像，确定连续的图像帧包括：

提取每个RGB图像的ORB特征；

根据RGB图像对应的深度图像计算出空间坐标；

基于ORB特征和空间坐标，得到图像帧。

具体地，摄像设备或者传感器在获取图像时会进行移动和转动，因而得到的图像是具有不同的角度和空间位置，为方便后续进行精确地机器人重定位，需要根据深度图像计算每个图像的空间坐标，使得得到的各个帧图像处于同一世界坐标体系，有利于提高后续机器人定位的精度。

其中，ORB(Oriented FAST and Rotated BRIEF)特征是存在于图像中比较显著的区域，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等，可通过FAST(features fromaccelerated segment test)算法来检测特征点，其主要原理就是找出那些卓尔不群的点，即拿一个点跟它周围的点比较，如果它和其中大部分的点都不一样就可以认为它是一个特征点。。

本实施例中，提取每个RGB图像的ORB特征，并根据RGB图像对应的深度图像计算出空间坐标，再基于ORB特征和空间坐标，得到图像帧。实现将摄像设备或传感器捕捉到的图像转化为统一坐标系，且具有先后时间关系的图像帧，后续通过图像帧进行机器人定位，有利于提高定位的准确度。

在本实施例的一些可选的实现方式中，步骤S202中，通过自适应的线段检测方法，从连续的图像帧中提取线特征包括包括：

基于连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值；

采用响应值阈值和改进的LSD算法，对连续的图像帧进行线段提取，得到线特征。

其中，LSD(Large-Scale Direct)算法是一种局部提取直线的算法，速度比Hough要快，但是由于由于局部检测算法自增长的特点，对于长线段被遮挡、局部模糊等原因经常割裂为多条直线。

具体地，本实施例通过连续的图像帧中图像的长、宽和所提取线段的长度，动态进行响应值阈值的确定，避免传统LSD算法在进行局部直线提取时长线段被遮挡、局部模糊等原因经常割裂为多条直线的问题，增强线段特征的可靠性。

基于连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值具体实现过程可参考后续实施例的描述，为避免重复，此处不再赘述。

本实施例中，通过基于连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值，进而采用响应值阈值和改进的LSD算法，对连续的图像帧进行线段提取，得到线特征，提高了线特征的可靠性。

在本实施例的一些可选的实现方式中，基于连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值包括：

基于连续的图像帧中图像的长、宽和所提取线段的长度，采用如下公式计算响应值阈值：

具体地，通过提取线段的两段点，确定线段的长度，并获取图像帧的长和宽中最大值，进而将该线段长度与该最大值的比值，作为响应值阈值，使得得到的响应值阈值与线段自身长度，以及图片的长宽具有关联，以及，随着线段长度和图像的长宽自动调整，使得得到的响应值阈值更为可靠。

在本实施例中，根据连续的图像帧中图像的长和宽，动态生成响应值阈值，使得得到的响应值阈值与该图像帧的契合度更高，有利于提高后续进行线特征提取的精确性。

在本实施例的一些可选的实现方式中，步骤S203中，采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿包括：

对连续的图像帧中，分别取相邻的图像帧对应的线特征l₁和l₂；

确定l₁在二维平面上的方向角

和l₂在二维平面上的方向角

若

和

的差值的绝对值小于预设角度变化阈值，则确认匹配成功；

确定l₁在二维平面上的线段长度

和l₂在二维平面上的线段长度

若

和

满足

则确定线段长度匹配成功，其中，λ为预设的长度变化阈值；

根据匹配成功的线特征，计算帧间初始位姿。

需要说明的是，考虑到边缘的线特征经常会部分缺失，因而，本实施例中，对边缘线特征进行判定，并对确定的边缘线特征不进行匹配，边缘线特征具体可以通过将图片帧的周围狭小区域划分为边缘区域，当线匹配对端点落入该区域时，将该类特征归为边缘特征来确定。

在本实施例中，对连续的图像帧中，分别取相邻的图像帧对应的线特征，并获取线特征在二维平面上的方向角和线段长度，针对相邻的图像帧对应的线特征，分别进行方向角匹配和线段长度匹配，并将两种匹配均匹配成功的初始线特征计算帧间初始位姿，提高了帧间初始位姿选取的精准性，后续通过帧间初始位姿进行定位，有利于提高定位的精确度。

在本实施例的一些可选的实现方式中，步骤S203中，采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿，还包括：

若检测到线特征进行特征匹配失败，则对连续的图像帧中，分别取相邻的图像帧对应的ORB特征点；

将相邻帧图像对应的ORB特征点进行匹配，得到匹配数量；

若匹配数量小于预设特征点数量阈值，则对相邻的图像帧中的上一帧图像进行a×a的高斯模糊处理，对相邻的图像帧中的下一帧图像进行b×b的高斯模糊处理，得到处理后的上一帧图像和处理后的下一帧图像，其中，a和b 为正整数，且a小于b；

采用处理后的上一帧图像和处理后的下一帧图像进行ORB特征点进行匹配。

具体地，在跟踪过程中，摄像设备或者传感器经常会发生快速抖动现象，导致相邻图像帧之间模糊程度有很大差别，由此极易导致特征匹配的失败，最终使得跟踪丢失，需要重定位来调整，如果在丢失后无法重定位成功，将会导致跟踪的彻底失败。导致跟踪丢失的主要原因是由于纹理特征不明显，或者由于运动模糊导致的相邻两帧图像所提取的特征差异过大，导致无法正确匹配，因而，在检测到线特征进行特征匹配失败时，本实施例针对这种由于运动模糊导致的跟踪，进行ORB特征点的预匹配，并根据特征点匹配成功的数量，对相邻的图像帧的上一帧和下一帧进行不同级别的高斯模糊，尽可能将两者特征差异缩小，增强纹理特征。

其中，a和b的数值可根据实际需要进行选取，作为一种优选方式，本实施例中，a的取值为3，b的取值为3。

其中，预设特征点数量阈值可根据实际场景需要进行设定，此处不做限定。

本实施例中，对特征匹配失败时进行特征点匹配，并根据特征点匹配成功的数量，采取相应的应对策略，缩小相邻图像帧之间的特征差异，增强纹理特征。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于点线特征融合的机器人定位与建图装置的一个实施例，该装置实施例与图2 所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的基于点线特征融合的机器人定位与建图装置包括：图像帧获取模块31、点线特征提取模块32、点线特征匹配模块33 以及定位模块34。其中：

图像帧获取模块31，使用RGB-D相机进行周边环境探测，采集得到RGB 图像和深度图像，并基于RGB图像和深度图像，确定连续的图像帧；

点线特征提取模块32，用于从连续的图像帧中提取点特征，并通过自适应的线段检测方法，从连续的图像帧中提取线特征；

点线特征匹配模块33，用于采用特征匹配算法和筛选机制，对线特征进行特征匹配，得到帧间初始位姿；

定位模块34，用于采用点线误差模型对帧间初始位姿进行最小化误差处理，得到帧间位姿及地图点帧间初始位姿，并基于帧间位姿及地图，生成局部地图。

进一步地，图像帧获取模块31包括：

特征提取单元，用于提取每个RGB图像的ORB特征；

坐标计算单元，用于根据RGB图像对应的深度图像计算出空间坐标；

图像重绘单元，用于基于ORB特征和空间坐标，得到图像帧。

进一步地，点线特征提取模块32包括：

阈值确定单元，用于基于连续的图像帧中图像的长、宽和所提取线段的长度，动态确定响应值阈值；

线段提取单元，用于采用响应值阈值和改进的LSD算法，对连续的图像帧进行线段提取，得到线特征。

进一步地，阈值确定单元包括：

计算子单元，用于基于连续的图像帧中图像的长、宽和所提取线段的长度，采用如下公式计算响应值阈值：

进一步地，点线特征匹配模块33包括：

线特征提取单元，用于对连续的图像帧中，分别取相邻的图像帧对应的线特征l₁和l₂；

方向角确定单元，用于确定l₁在二维平面上的方向角

和l₂在二维平面上的方向角

角度变化匹配单元，用于若

和

的差值的绝对值小于预设角度变化阈值，则确认匹配成功；

长度确定单元，用于确定l₁在二维平面上的线段长度

和l₂在二维平面上的线段长度

长度变化匹配单元，用于若

和

满足

则确定匹配成功，其中，λ为预设的长度变化阈值；

目标特征选取单元，用于根据匹配成功的线特征，计算帧间初始位姿。

进一步地，点线特征匹配模块33还包括：

特征点选取单元，用于若检测到线特征进行特征匹配失败，则对连续的图像帧中，分别取相邻的图像帧对应的ORB特征点；

特征点匹配单元，用于将相邻帧图像对应的ORB特征点进行匹配，得到匹配数量；

高斯模糊单元，用于若匹配数量小于预设特征点数量阈值，则对相邻的图像帧中的上一帧图像进行a×a的高斯模糊处理，对相邻的图像帧中的下一帧图像进行b×b的高斯模糊处理，得到处理后的上一帧图像和处理后的下一帧图像，其中，a和b为正整数，且a小于b；

迭代匹配单元，用于采用处理后的上一帧图像和处理后的下一帧图像进行ORB特征点进行匹配。

关于上述实施例中基于点线特征融合的机器人定位与建图装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器 42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－ Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41 还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于点线特征融合的机器人定位与建图方法的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42 通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行所述机器人重定位方法的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43 通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的机器人重定位方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。