CN109341694A

CN109341694A - 一种移动探测机器人的自主定位导航方法

Info

Publication number: CN109341694A
Application number: CN201811337748.5A
Authority: CN
Inventors: 何召兰; 何乃超; 张庆洋; 姚徐; 丁淑培
Original assignee: Harbin University of Science and Technology
Current assignee: Harbin University of Science and Technology
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2019-02-15

Abstract

一种移动探测机器人的自主定位导航方法，属于机器人视觉导航领域。现有的机器人定位前期多采用传统小波变换方法提取目标图像的特征，存在易受噪声影响，影响机器人定位准确性的问题。本发明方法，通过传感器读取图像信息，之后对图像信息进行预处理，预处理后的信息传递至V‑SLAM系统中；通过改进的RCNN网络预测出相邻两帧图像的变换矩阵并估计相机运动的位姿信息和构建环境局部模型；传递给后端并进行优化，得到精确的相机运动轨迹和地图；通过收取的传感器信息、视觉里程计和局部的后端信息，判断机器人是否在之前曾经到达过某一位置；当检测到正确的回环，则将校正信息传递给后端进行优化和计算；建立地图，以使建立的地图要与任务要求相对应。

Description

一种移动探测机器人的自主定位导航方法

技术领域

本发明涉及一种移动探测机器人的自主定位导航方法。

背景技术

机器人的位姿估计是指通过自身安装的各种传感器来实时获得当前的位置和姿态的过程。当前主流的位姿估计算法主要有：全球导航卫星系统(Global NavigationSatellite System, GNSS)、惯性导航系统（Inertial Navigation System)、激光雷达导航、视觉导航等。这些导航方法，均可以独立完成位姿计算、提取与估计。比较传统的GNSS卫星惯导组合进行位姿估计的方法在室外巡检机器人或小型无人机上应用的最多，技术也相对比较成熟，位姿估计的精度较高。然而，GPS星信号易受到环境的影响，在室内或者室外有遮挡的环境中出现通讯失调的情况，这会极大的影响机器人的正常工作。对于激光雷达来说，其环境适用范围广，适合室内、室外环境信息的采集，同时具有精度高，占用资源小的特点，但它的体积相对较大且价格昂贵，且激光雷达在机器人上的安装位置也会对机器人产生影响。另外，单纯使用惯性传感器实现姿态估计，由于惯性传感器本身具有计算频率高，累积误差大的特点，长时间工作会导致位姿估计精度过低，因此不适合长时间独立工作。相反，基于视觉传感器的导航系统，具有频率低，消耗资源相对大，但位姿估计相对准确的特性。进入 21 世纪以后，以视觉传感器为中心的 V-SLAM 技术，无论理论深度还是实践效果都有着明显的转变与突破。对于在陌生环境中的机器人来说，由于缺乏先验知识和周围物体的不确定性，有必要去辨识当前位置是否来到过。考虑到视觉传感器虽然成本不高，但是包含丰富的环境信息并且适用于多种类型的机器人定位，研究者们已经提出大量的 V-SLAM 解决方案。但前期多采用传统小波变换方法提取目标图像的特征，易受噪声影响，后期判断结果不准确，影响机器人定位准确性。

基于深度学习的自主导航模型中，一般以短时间内的图像序列作为网络的输入。这种方式只能提供一个时间窗口内的轨迹和地图，由于不可避免的误差累积，轨迹和地图在长时间内就会出现非常大的偏差。

发明内容

本发明的目的是为了解决现有的机器人定位前期多采用传统小波变换方法提取目标图像的特征，存在易受噪声影响，影响机器人定位准确性的问题，而提出一种移动探测机器人的自主定位导航方法。

一种移动探测机器人的自主定位导航方法，实现移动探测机器人的自主导航，包括移动机器人的自主定位与地图构建，而基于视觉传感器的导航系统，具有频率低，消耗资源相对较小，但位姿估计相对准确的特性，因此本发明采用Kinect v2.0作为本发明的的视觉传感器，Kinect可以根据Time of Flight(ToF)原理直接获得带有深度信息的RGB-D真彩图像，为提高自主定位与地图构建的精度，本发明引入了图像的语义分割技术，语义分割（Image Semantic Segmentation）是计算机视觉领域中一个研究热点，顾名思义就是将图像分割成若干具有特定语义标签的区域，结合语义信息的不仅为移动机器人提供了环境理解的能力，还能帮助机器人导航系统提高定位与建图的精度。为实现对环境进行标记，需要设计算法将单帧RGB-D数据中的物体和背景区分开。这也是计算机视觉领域中的目标检测、识别与分割的目的。所述方法通过以下步骤实现：

步骤一、传感器读取图像信息，之后对图像信息进行预处理，预处理后的信息传递至V-SLAM系统中；其中，视觉SLAM系统（visual SLAM）是指，以图像作为主要环境感知信息源的即时定位与地图构建系统，可应用于无人驾驶、增强现实等应用领域，是近年来的热门研究方向；V-SLAM系统是指基于视觉传感器的SLAM；通过相机在运动过程中得到的一系列连续变化的图像，进行定位和地图构建；

步骤二、视觉里程计的估算过程：

通过计算预处理后的相邻两帧图像的变换矩阵估计相机运动的位姿信息和构建环境局部模型；

步骤三、判断图像采集是否结束；

若否，返回步骤一继续进行图像信息的的读取；

若是，则后端优化过程：

将不同时刻视觉里程计估算出来的相机位姿信息以及闭环检测提供的信息，传递给后端并进行优化，得到精确的相机运动轨迹和地图；

步骤四、闭环检测过程：

通过收取的传感器信息、视觉里程计和局部的后端信息，判断机器人是否在之前曾经到达过某一位置；当检测到正确的回环，则将校正信息传递给后端进行优化和计算；

步骤五、地图构建过程：

根据估计出来的轨迹与相机运动信息，按照应用场合所需要的地图模型建立地图，以使建立的地图要与任务要求相对应。

本发明的有益效果为：

本发明在短序列预测的基础上，还构建一个尺度、规模更大的闭环检测优化问题，以考虑长时间内的最优轨迹和地图。本发明利用传统的图优化方法对预测的位姿变换结果作进一步的优化，并且利用得到的位姿结果结合深度信息和语义信息建立地图。

本发明利用卷积神经网络对机器人自主定位与构图算法建模，依靠众多的网络参数来拟合传统方法上视觉里程计与后端优化模块过程，以端到端的方式代替复杂的优化过程，深度网络的学习过程是一个以数据驱动的过程，可以减少传统方法中人工设计特征的局限性，从而泛化到各种未知的区域和不同的环境，增加移动机器人对各种环境的适应性和鲁棒性。结合语义信息可以提高机器人导航系统的定位精度，且深度学习在图像内容的理解上有优势。因此将语义分割与SLAM相结合一方面是利用深度学习卓越的图像理解能力，提高移动机器人的导航性能，另一方面促使一直基于图像低层特征的自主定位与构图和图像高层次的语义内容相结合，增加机器人对环境的认知能力。

本发明是根据SLAM框架图可知，SLAM需要研究的主要问题有：图像特征检测与提取，机器人位姿估计，后端优化以及闭环检测。随着近些年来深度学习在计算机视觉领域的成功与推广，我们知道深度学习在图像特征提取与非线性优化方面也有很大的优势，因此本发明将使用深度学习的方法对SLAM的闭环检测部分加以重点研究。检测闭环的关键点在于决定观察到的相似性，大部分视觉闭环检测算法是将当前位置图像与先前位置图像进行配准，深度学习技术的目的是从可用于分类的原始数据中学习表示数据的方法，闭环检测本质上来说很像一个分类问题，这为典型的闭环检测问题带来了新的方法。

本发明把深度置信网络引入图像识别,以平面图像为研究对象,并且对在目标图像的识别过程中特征的提取进行了一定的研究,分析了用传统小波变换方法提取目标图像的特征,并且进一步提出了用改进型小波分析来提取目标图像特征的方法,将用两种方法提取图像的特征值分别输入经过训练的动量自适应人工神经网络识别系统,实验结果表明,由于改进后的小波变换与深度置信网络求得的是图像的全局特征,容易受噪声影响,而小波矩不变量不但可以求得图像的全局特征,而且可以求得图像的局部特征。本发明研究工作的重点是图像处理的方法和相关算法的研究。在每一种方法的研究中，都详细介绍了理论基础和改进后算法的思想，做了大量的实验并对每种方法都做了详细的分析。提出的计算阈值的方法虽然在图像去噪、图像增强和边缘检测等方面效果不错，有一定的合理性，但各个参数是否最合理，或者有没有更好的计算阈值的方法，还有待进一步的探讨目前，国内外对图像处理技术的研究虽然进行了很多，还提出了一些比较好的理论，如小波理论、神经元理论、形态学理论、模糊理论、粗糙集理论等，这些理论有的已经比较成熟、有的还有待发展、有的实验效果不好、有的运算速度太慢，要把它们应用到实际工程上，还需做大量深入、细致的研究工作。在这方面的研究也只是对已有的算法在速度或效果上进行改进和提高，其中仍有许多需要进一步研究和探讨的问题。

附图说明

附图1为本发明的流程图；

图2a为相邻图像间的相机运动前的图示；

图2b为相邻图像间的相机运动后的图示。

具体实施方式

具体实施方式一：

本实施方式的一种移动探测机器人的自主定位导航方法，如图1所示，所述方法通过以下步骤实现：

步骤二、视觉里程计的估算过程，也叫感知前端：

步骤三、判断图像采集是否结束；

若否，返回步骤一继续进行图像信息的的读取；

若是，则后端优化过程：

将来自不同时刻视觉里程计估算出来的相机位姿信息以及闭环检测提供的信息，传递给后端并进行优化，得到精确的相机运动轨迹和地图；

步骤四、闭环检测过程，也叫回环检测：

步骤五、地图构建过程：

具体实施方式二：

与具体实施方式一不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，步骤二所述的视觉里程计的估算过程具体为：要解决的核心问题是相邻图像间的相机运动，如图2a-图2b所示，显然是图2a向左旋转得到了图2b，这是人眼的直接反映。换做是相机，可以从图中看出来，图2b图像左侧中央部分更多的出现在右图中，即远处的柜子更多的出现在图片中；而图2b相对应位置的柜子有一部分从图片中消失，由以上这些信息可以感性的断定相机的运动趋势：相机在拍到图2b的位置向左旋转后就可以拍摄得到图2b。

但是这也只是能感性的感知相机的运动方向，如果想得到相机的具体量化的运动信息(旋转多少度，前进多长距离等)，那么就需要对相机模型进行介绍。主要的相机模型可以分为三种：针孔相机(单目)模型、双目相机模型、RGBD 相机模型。通过研究相机与空间点的几何关系，可以知道要实现一个视觉里程计，关键在于估计相机的外参数。视觉里程计通过相邻图像估计出相机运动，连续的相机运动串联在一起就形成了机器人的运动轨迹，也就是机器人定位问题得以解决；同时，根据视觉里程计得到的相机位置，后续将各像素与对应空间点的位置计算出来，从而得到环境地图。视觉里程计是 SLAM 系统的关键，但是仅通过这一个模块估计相机轨迹，会无法处理累计误差(漂移)。这是由于视觉里程计每一次估计都会引入误差，而没有一个校正机制消除误差，先前的误差将会累积到下一时刻，随着时间的累积，对相机轨迹的估计将越来越不准确。

具体实施方式三：

与具体实施方式一或二不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，步骤三所述的后端优化过程具体为：从一般意义上讲，后端的主要任务是优化 SLAM过程中的噪声数据。物理上讲，只要有测量就会有误差，所以再精确的传感器得到的数据也会带有误差，一些低成本的传感器则误差更大。后端优化主要解决的问题是从带有噪声的传感器数据中估计系统的整体状态：包括机器人自身的轨迹、周围环境的地图，以及从上述状态估计中得到的结果具有多大不确定性，也被称之为的最大后验概率估计；

视觉里程计也称为视觉 SLAM 前端，主要任务是给后端提供含有噪声的数据，同时还有上述数据的初始值；后端优化的主要任务是对整个系统的优化，接收到的多数情况下只有数据。在 V-SLAM 中，视觉前端往往与计算机视觉研究领域存在更多交叉，比如图像特征提取与匹配等，视觉后端研究的问题多属于优化算法的研究范畴。

具体实施方式四：

与具体实施方式三不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，步骤四所述的闭环检测过程具体为：闭环检测，又被称为回环检测，主要任务是解决移动机器人位姿估计随时间的累计误差问题。闭环检测与定位和地图构建二者都有密切关系，为了实现闭环检测，机器人需具备识别过去场景的能力。比较简单的做法是在周围环境中放置标志物，只要检测到标志物，便知道自己运动到了哪里。但是实际生活应用中，这是不太现实也不方便的，更希望机器人通过自身携带的传感器来解决闭环问题。比较主流的方法是判断图像间的相似性，如果两幅图像非常相似，那么就很有可能是同一位置。如果闭环检测成功，算法便会把这一信息传递给后端，后端做出相应的优化与计算，把之前估计的相机轨迹和构建的环境地图校正成符合闭环检测的结果。如果正确闭环检测的数据足够多且准确，那么累计误差会得以消除，得到全局一致的轨迹和地图。视觉闭环检测原理上是一种机器人通过自身携带的传感器，对两幅非常相似的图像计算图像相似性的度量值，通过图像携带的信息，完成闭环检测，且闭环检测算法成功的可能性很高。

具体实施方式五：

与具体实施方式四不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，步骤五所述的地图构建过程具体为：通过移动机器人自主导航的原理对RCNN网络进行改进，改进后的RCNN网络从RGB-D传感器传输的视频中学习图像对应的深度图和相机的自我运动，其中，改进后的RCNN网络包括用于预测深度图的DepthCNN子网和用于预测图像帧与帧之间的位姿变换的PoseCNN子网；具体为：

步骤五一、利用PoseCNN子网络对相邻两帧图像的移动机器人位姿进行预测，得到预测的位姿变换量，卷积神经网络的子网PoseNet包括卷积层和全局平均池化层（Globalaverage pooling,GAP）之后，根据网络预测的位姿变换量和真实值之间的最小二乘值来修改网络权重；

步骤五二、在PoseNet的基础上，利用自主定位与地图构建的直接法的思想，增加深度信息辅助位姿的学习；具体实现过程：

在原来的网络框架上，增加额外的深度估计的网络分支，同时在损失函数中将直接输出每个相邻帧与当前帧之间的位姿变换量。

步骤五三、引入语义信息来对直接法作用的图像像素进行筛选，建立地图：

引入语义信息来对直接法作用的图像像素进行筛选的过程为：利用语义信息作为先验，直接排除动态目标（如车辆、行人等）的像素区域，并给特征明显的像素区域（如建筑物、交通标志等）增加权重；

步骤五四、通过稠密地图进行导航任务。

其中，CNN为卷积神经网络（CNN，Convolutional Neural Network)，是一种深度前馈神经网络，在实践中其对于图像理解有出色表现，被认为具有更好的泛化能力及迁移能力。RCNN（Regions with Convolutional Neural Network Features）是指目标区域检测的卷积神经网络，是将CNN应用到目标检测问题上的里程碑，RCNN通过Selective Search方法（—种Region Proposal方法，即穷举所有尺度的候选区域）实现目标区域检测问题的转化。RCNN算法主要分为四步：１）产生目标候选区域；２）归一化候选区域；３）CNN特征提取；４）分类与边界回归。首先采用SelectiveSearch方法从原始图片中选取数千个区域候选框；其次区域大小归一化把所有候选框缩放成固定大小；然后用ＣＮＮ对这些区域进行特征提取；最后用SVM分类器识别，用线性回归来微调边框位置与大小。

具体实施方式六：

与具体实施方式五不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，采用小波变换的Matlab仿真图像处理过程。

具体实施方式七：

与具体实施方式六不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，所述的改进后的RCNN网络从RGB-D传感器传输的视频中学习图像对应的深度图和相机的自我运动的过程中，进后的RCNN网络的输入设定为连续5帧三通道彩色图像，以通道数为轴将5张图像堆叠起来，构成一个高*宽*通道数*5的张量作为输入。相比于只输入前后两帧图像，这样的方式使网络的学习更倾向于连续多帧的图像变化，有效地利用了图像的时序关系。

具体实施方式八：

与具体实施方式七不同的是，本实施方式的一种移动探测机器人的自主定位导航方法，采用型号为Kinect v2.0的RGB-D相机作为视觉传感器，根据飞行时间技术Time ofFlight(ToF)原理直接获得带有深度信息的RGB-D真彩图像，提高自主定位与地图构建的精度。

Claims

1.一种移动探测机器人的自主定位导航方法，其特征在于：所述方法通过以下步骤实现：

步骤一、传感器读取图像信息，之后对图像信息进行预处理，预处理后的信息传递至V-SLAM系统中；其中，视觉SLAM系统是指，以图像作为主要环境感知信息源的即时定位与地图构建系统；V-SLAM系统是指基于视觉传感器的SLAM；通过相机在运动过程中得到的一系列连续变化的图像，进行定位和地图构建；

步骤二、视觉里程计的估算过程：

步骤三、判断图像采集是否结束；

若否，返回步骤一继续进行图像信息的的读取；

若是，则后端优化过程：

步骤四、闭环检测过程：

步骤五、地图构建过程：

2.根据权利要求1所述的一种移动探测机器人的自主定位导航方法，其特征在于：步骤二所述的视觉里程计的估算过程具体为：通过相邻图像估计出相机运动，连续的相机运动串联在一起就形成了机器人的运动轨迹；同时，根据视觉里程计得到的相机位置，后续将各像素与对应空间点的位置计算出来，从而得到环境地图。

3.根据权利要求1或2所述的一种移动探测机器人的自主定位导航方法，其特征在于：

步骤三所述的后端优化过程具体为：从带有噪声的传感器数据中估计系统的整体状态，优化 SLAM 过程中的噪声数据，包括机器人自身的轨迹、周围环境的地图，以及从上述状态估计中的最大后验概率估计。

4.根据权利要求3所述的一种移动探测机器人的自主定位导航方法，其特征在于：步骤四所述的闭环检测过程具体为：机器人通过自身携带的传感器，对两幅非常相似的图像计算图像相似性的度量值，通过图像携带的信息，完成闭环检测。

5.根据权利要求4所述的一种移动探测机器人的自主定位导航方法，其特征在于：步骤五所述的地图构建过程具体为：通过移动机器人自主导航的原理对RCNN网络进行改进，改进后的RCNN网络从RGB-D传感器传输的视频中学习图像对应的深度图和相机的自我运动，其中，改进后的RCNN网络包括用于预测深度图的DepthCNN子网和用于预测图像帧与帧之间的位姿变换的PoseCNN子网；具体为：

步骤五一、利用PoseCNN子网络对相邻两帧图像的移动机器人位姿进行预测，得到预测的位姿变换量，卷积神经网络的子网PoseNet包括卷积层和全局平均池化层，之后，根据网络预测的位姿变换量和真实值之间的最小二乘值来修改网络权重；

在原来的网络框架上，增加额外的深度估计的网络分支，同时在损失函数中将直接输出每个相邻帧与当前帧之间的位姿变换量；

引入语义信息来对直接法作用的图像像素进行筛选的过程为：利用语义信息作为先验，直接排除动态目标的像素区域，并给特征明显的像素区域增加权重；

步骤五四、通过稠密地图进行导航任务；其中，CNN为卷积神经网络，是一种深度前馈神经网络；RCNN是指目标区域检测的卷积神经网络，是将CNN应用到目标检测问题上的里程碑，RCNN通过Selective Search方法实现目标区域检测问题的转化。

6.根据权利要求5所述的一种移动探测机器人的自主定位导航方法，其特征在于：所述的改进后的RCNN网络从RGB-D传感器传输的视频中学习图像对应的深度图和相机的自我运动的过程中，改进后的RCNN网络的输入设定为连续5帧三通道彩色图像，以通道数为轴将5张图像堆叠起来，构成一个高*宽*通道数*5的张量作为输入。

7.根据权利要求6所述的一种移动探测机器人的自主定位导航方法，其特征在于：采用型号为Kinect v2.0的RGB-D相机作为视觉传感器，根据飞行时间技术原理直接获得带有深度信息的RGB-D真彩图像。