CN109900272B - 视觉定位与建图方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种视觉定位与建图方法、装置及电子设备，涉及智能定位的技术领域，该方法包括：获取地图信息；地图信息包括地图点及地图点的坐标信息；根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度；根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动；接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位，本发明可以提高定位与建图的准确性和稳定性。

Description

视觉定位与建图方法、装置及电子设备

技术领域

本发明涉及智能定位技术领域，尤其是涉及一视觉定位与建图方法、装置及设备。

背景技术

同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)是指：将一个机器人放入未知环境中的未知位置，实时求解机器人的位置与姿态并同时构建环境地图的技术。视觉SLAM以相机作为主要传感器获取信息，以求解机器人的位置与姿态，但是往往存在一些问题，比如在纹理单一场景表现较差。所谓纹理单一场景即相机画面中白墙、地砖等元素较多的场景。比如，雪地、浓雾天气、白色调室内环境、强反光地面等场景，都有可能导致视觉SLAM失效，从而影响机器人定位的精准度。而目前，尚未有方案能够克服视觉SLAM在纹理单一场景失效的问题。

发明内容

有鉴于此，本发明的目的在于提供一种视觉定位与建图方法、装置及设备，能够增加视觉SLAM的适用场景，减少其失效次数，从而提高定位的准确性和稳定性。

第一方面，本发明实施例提供了一种视觉定位与建图方法、装置及设备，该方法包括：获取地图信息；地图信息包括地图点及地图点的坐标信息；根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度；根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动；接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度的步骤，包括：根据地图信息确定地图点的数量分布最多的方向；将数量分布最多的方向作为最优的观测方向；根据最优的观测方向计算相机的旋转角度。

结合第一方面及其第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据地图信息确定地图点的数量分布最多的方向的步骤，包括：获取坐标信息；将坐标信息投影到二维平面，得到投影信息；根据投影信息确定地图点的数量分布最多的方向。

结合第一方面及其第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，将坐标信息投影到二维平面，得到投影信息的步骤，包括：将坐标信息投影到目标球面；根据目标球面得到二维平面，并生成投影信息。

结合第一方面或其任一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位的步骤，包括：接收转动后的相机采集的图像；根据转动后的相机采集的图像和地图信息生成当前定位，并将相对地图信息中新增的图像的信息添加至地图信息。

第二方面，本发明实施例还提供一种视觉定位与建图装置，包括：信息获取模块，用于获取地图信息；地图信息包括地图点及地图点的坐标信息；注意力转移模块，用于根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度；控制模块，用于根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动；定位建图模块，用于接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，注意力转移模块，还用于：根据地图信息确定地图点的数量分布最多的方向；将数量分布最多的方向作为最优的观测方向；根据最优的观测方向计算相机的旋转角度。

结合第二方面及其第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，注意力转移模块还用于：获取坐标信息；将坐标信息投影到二维平面，得到投影信息；根据投影信息确定地图点的数量分布最多的方向。

结合第二方面或其任一种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，定位建图模块，还用于：接收转动后的相机采集的图像；根据转动后的相机采集的图像和地图信息生成当前定位，并将相对地图信息中新增的图像的信息添加至地图信息。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面任一种所述的方法的步骤。

本发明实施例带来了以下有益效果：本发明实施例提供了一种视觉定位与建图方法、装置及设备，获取地图信息中的地图点及其坐标信息，并根据获得的上述地图信息和预设的评价规则确定最优的观测方向，从而可以根据最优的观测方向计算得到相机的旋转角度，进而根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动，接收转动后的相机采集的图像，并根据图像更新地图信息，最终根据更新后的地图信息生成当前定位。本发明实施例可以提高定位与建图的准确性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的视觉定位与建图方法流程图；

图2为本发明实施例提供的视觉定位与建图方法实施流程示意图；

图3为本发明实施例提供的视觉SLAM构建的稀疏地图；

图4为本发明实施例提供的视觉定位与建图方法与现有方法性能对比图；

图5为本发明实施例提供的视觉定位与建图装置结构示意框图；

图6为本发明实施例提供的电子设备结构示意框图。

图标：

51-信息获取模块；52-注意力转移模块；53-控制模块；54-定位建图模块；61-存储器；62-处理器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

移动机器人是集计算机技术、传感器技术、信息处理、电子工程、自动化控制工程以及人工智能于一体的复杂系统，是目前最活跃的领域之一。自20世纪90年代以来，移动机器人广泛应用于各个领域，同时它也象征着一个国家的科技与工业水平，其重要性不言而喻。现在，移动机器人的研究范围越来越广，人们已经不局限于让机器人去完成一些简单的、高重复性的工作，而是致力于使移动机器人智能化、自主化，以达到自主完成复杂的、高操作性的任务的目标。移动机器人自主在环境中移动的时候，需要不断问自己三个亘古不变的问题：我在哪？我周围的环境怎么样？我要到哪去？

我在哪？就是移动机器人的定位问题，即以一种准确的方式去描述机器人在当前环境中的位姿。传统的GPS定位方法一般只能用于室外的开阔地带，在室内、水下和室外的一些被遮挡的区域，不能获得定位信息。所以，在这些情况下，机器人就要采取其他的措施进行定位，目前较为流行的有激光雷达、单目或多目相机等。

我周围的环境怎么样？就是移动机器人的建图问题，即将当前观测到的局部环境整合为一个单一连贯的地图模型。建图是路径规划的基础，同时也能促进定位。我要到哪去？就是移动机器人的路径规划问题，即在当前的环境中为机器人规划出一条最佳的路径。比如，可以规划一条距离最短的路径、能源效率最高路径、定位效果最好路径等。要想在环境中精确的定位，必须要有正确的环境地图，同时，环境地图是在机器人精确定位的基础上构建的。所以，这两个问题被合并为实时定位与建图问题，即SLAM问题。

视觉SLAM技术，也就是以相机为主要传感器的实时定位与地图构建技术。视觉SLAM技术能够求解高精度的机器人位置与姿态，广泛应用于机器人无人机导航、无人驾驶、无人仓储物流等领域。视觉SLAM以相机作为主要传感器获取信息，但是往往存在一些问题，比如在纹理单一场景表现较差。比如人在浓雾天气往往会迷失方向，那么机器人更加如此。针对这一缺陷，其实也可以用激光雷达这种传感器克服，但是激光雷达具有功耗大、重量重的缺点。

基于此，本发明实施例提供的一种视觉定位与建图方法、装置及设备，可以视觉定位，从而使机器人获得更加精准的定位。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种视觉定位与建图方法进行详细介绍。

实施例1

本发明实施例1提供了一种视觉定位与建图方法，参见图1所示的视觉定位与建图方法流程图，该方法包括以下步骤：

步骤S102，获取地图信息；该地图信息包括地图点及地图点的坐标信息。

地图信息可以包括稀疏地图的信息和稠密地图的信息，可以通过传统的视觉SLAM构建得到，参见图3所示的视觉SLAM构建的稀疏地图，稀疏地图是由地图点组成的，其中，地图点是通过采集到的图像中任意两条线的角点得到。地图信息还包括各个地图点的坐标信息。

步骤S104，根据上述地图信息和预设的评价规则确定最优的观测方向，并根据上述最优的观测方向计算相机的旋转角度。

地图信息可以是预先在离线情况下构建的地图点及地图点的坐标信息。地图信息也可以是在当前视角下实时构建的地图点及地图点的坐标信息，考虑到不论使用哪种构建地图的方式，当前视角具有一定的局限性，为了获得更全面更多角度的地图点，可以按照预设的评价规则确定一个最优的观测方向。评价规则可以根据实际需要和经验确定，例如，评价规则可以是：将地图点数量较多、空间分布较均匀的方向作为最优观测方向。评价规则还可以是：通过调整当前观测点与地图点间的距离确定最优观测方向。评价规则还可以是：通过在观测方向上投影面最大的点云确定最优观测方向。具体的最优观测方向根据实际需求确定，本发明实施例不做具体限定。在确定了最优的观测方向之后，根据最优的观测方向计算相机转向该角度需要的旋转角度。

需要说明的是，确定最优的观测方向的步骤可以看做一个搜索问题，可以使用遍历搜索算法、启发式搜索算法等多种搜索算法来确定最优的观测方向。

步骤S106，根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动。

相机可以为双目相机、单目相机或RGBD(Red Green Blue Depth，红绿蓝深度)相机等，相机可以设置在云台上，从而通过云台控制相机的朝向。云台可以与控制模块进行串口通信，将控制指令发送至控制模块，进而控制云台使相机转动需要的旋转角度。

这里需要说明的是，可以通过控制指令控制相机转动需要的旋转角度，也可以通过控制指令控制相机所在的竖直方向的高度，调高或调低相机所在的位置，可以使相机获得更多的图像。

步骤S108，接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位。

相机按照旋转角度转动后，由于视角的变化，能够采集的图像也相应的包括了新视角中的图像，可以根据新采集到的图像信息对地图信息进行更新。

对于一些纹理单一场景，例如，雪地、浓雾天气、白色调室内环境或强反光地面等场景，更新后的地图信息相比于更新前的地图信息包括更多角度的图像信息，可以将新获取的图像信息添加到地图信息中，以使地图信息得到更新。由于转动后的相机采集的图像相比转动前相机采集的图像中信息的位置或大小会有变动，可以得到变动信息，从而根据变动信息得到当前定位。

定位与建图同时进行，本发明实施例可以减少因纹理单一而导致建图或定位失败的情况，提高定位与建图的稳定性和准确性。

本发明实施例提供了一种视觉定位与建图方法，获取地图信息中的地图点及其坐标信息，并根据获得的上述地图信息和预设的评价规则确定最优的观测方向，从而可以根据最优的观测方向计算得到相机的旋转角度，进而根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动，接收转动后的相机采集的图像，并根据图像更新地图信息，最终根据更新后的地图信息生成当前定位。本发明实施例可以提高定位与建图的准确性和稳定性。

为了得到更优的观测角度，需要对预设的评价规则进行确定，因此，根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度的步骤，包括以下步骤：

(1)根据地图信息确定地图点的数量分布最多的方向。

在获取到地图信息后，根据地图点的分布情况，计算地图点的数量，确定地图点的分布数量最多的方向。

(2)将数量分布最多的方向作为最优的观测方向。

预设的评价规则可以设置为：将数量分布最多的方向作为最优的观测方向，也可以设置为将数量分布多且均匀的方向作为最优的观测方向，具体根据实际需要和经验数据确定。

(3)根据最优的观测方向计算相机的旋转角度。

计算最优的观测方向与当前相机方向之间的角度差，可以将角度差作为相机的旋转角度。

为了降低计算的复杂度，保证计算的实时性，根据地图信息确定地图点的数量分布最多的方向的步骤，包括：获取坐标信息；将坐标信息投影到二维平面，得到投影信息；根据投影信息确定地图点的数量分布最多的方向。

获取坐标信息可以包括：从地图信息中提取所有地图点的形如(x，y，z)的三维坐标信息。将坐标信息投影到二维平面，得到投影信息，从而可以在二维平面上确定地图点的数量分布最多的方向。

为便于寻找特征丰富的区域，需要得到更完整的二维平面上的投影信息，因此，将坐标信息投影到二维平面，得到投影信息的步骤，包括：将坐标信息投影到目标球面；根据目标球面得到二维平面，并生成投影信息。

可以将当前时刻相机所在的位置为原点，确定一个相应的半径，得到一个目标球面，将坐标信息都投影到这个目标球面，再将目标球面展开可以得到二维平面，从而可以生成所有地图点在二维平面的投影信息。

为了能够更准确的进行定位，需要实时对地图信息进行更新，因此，接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位的步骤，包括：接收转动后的相机采集的图像；根据转动后的相机采集的图像和地图信息生成当前定位，并将相对地图信息中新增的图像的信息添加至地图信息。

将相机按照旋转角度进行调整后，相机更新了采集图像的视角，从而能够基于新的视角采集到之前视角不能采集到的图像，将新增的图像的信息添加至地图信息，以使地图信息更新。通过改变相机采集图像的角度，可以获取在原采集角度采集不到的更多图像信息，增加建图的准确性。

在接收转动后的相机采集的图像之后，可以对该图像进行特征提取，另外，对转动前相机采集的图像进行特征提取，对二者的特征进行对比，得到区别信息，根据区别信息可以推算出转动后相机所在位置相对于转动前相机所在位置的位移，得到当前定位。随着地图信息的不断更新，可促进定位的准确性，从而可以减少定位或建图失败的次数。

本发明实施例提供了一种视觉定位与建图方法，参见图2所示的视觉定位与建图方法实施流程示意图，该方法通过获取视觉SLAM的地图信息，包括地图点及其坐标信息，结合预设的评价规则，确定最优的观测方向，以计算出旋转角度，并根据旋转角度生成控制指令，再将控制指令发送至控制模块，从而控制与控制模块通信连接的云台，进而控制相机转向，通过转向后的相机获取到更多环境的图像信息，例如，相机可以转向纹理丰富区域(纹理丰富区域有助于定位)，从而补充和更新视觉SLAM的地图信息，根据更新的地图信息提高定位的准确性和鲁棒性。根据更新的地图信息可以调整机器人的位置与姿态，再获取更多的环境信息，从而提高建图的准确性。

参见图4所示的视觉定位与建图方法与现有方法性能对比图，图中，左图是在使用本发明方法实现机器人的定位时获取的机器人轨迹，右图是使用现有建图算法实现机器人的定位时获取的机器人运动轨迹，轨迹中均包含实际轨迹曲线和估计轨迹曲线，其中，实际轨迹是期望机器人实际的运动轨迹，图中由实线表示，估计轨迹是机器人执行算法得到的运动轨迹，图中由虚线表示。可以看出，左图中二者的偏差较小，因此，可以得出，本发明提供的方法中，实际轨迹与估计轨迹之间的差异较小，精度较高。

参见表1中示出的RMSE(Root Mean Squared Error，均方根误差)值，可知本方法的精度较高。

	现有方法	本方法
			RMSE(m)	0.081	0.032

表1

实施例2

本发明实施例2提供了一种视觉定位与建图装置，参见图5所示的视觉定位与建图装置结构示意框图，该装置包括：

信息获取模块51，用于获取地图信息；地图信息包括地图点及地图点的坐标信息；注意力转移模块52，用于根据地图信息和预设的评价规则确定最优的观测方向，并根据最优的观测方向计算相机的旋转角度；控制模块53，用于根据旋转角度生成控制指令，并将控制指令发送至控制模块，以使控制模块控制相机转动；定位建图模块54，用于接收转动后的相机采集的图像，根据图像更新地图信息并生成当前定位。

注意力转移模块，还用于：根据地图信息确定地图点的数量分布最多的方向；将数量分布最多的方向作为最优的观测方向；根据最优的观测方向计算相机的旋转角度。

注意力转移模块，还用于：获取坐标信息；将坐标信息投影到二维平面，得到投影信息；根据投影信息确定地图点的数量分布最多的方向。

定位建图模块，还用于：接收转动后的相机采集的图像；根据转动后的相机采集的图像和所述地图信息生成当前定位，并将相对所述地图信息中新增的图像的信息添加至所述地图信息。

本发明实施例所提供的视觉定位与建图装置，其实现原理及产生的技术效果和前述视觉定位与建图方法实施例相同，为简要描述，视觉定位与建图装置实施例部分未提及之处，可参考前述视觉定位与建图方法实施例中相应内容。

实施例3

本发明实施例3提供了一种电子设备，参见图6所示的电子设备结构示意框图，该设备包括：

存储器61、处理器62，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例1中任一种方法的步骤。

本发明实施例提供的电子设备，与上述实施例提供的视觉定位与建图方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述视觉定位与建图方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种视觉定位与建图方法，其特征在于，包括：

获取地图信息；所述地图信息包括地图点及所述地图点的坐标信息；

根据所述地图信息和预设的评价规则确定最优的观测方向，并根据所述最优的观测方向计算相机的旋转角度；

根据所述旋转角度生成控制指令，并将所述控制指令发送至控制模块，以使所述控制模块控制所述相机转动；

接收转动后的相机采集的图像，根据所述图像更新所述地图信息并生成当前定位；

其中，所述根据所述地图信息和预设的评价规则确定最优的观测方向，并根据所述最优的观测方向计算相机的旋转角度的步骤，包括：

根据所述地图信息确定所述地图点的数量分布最多的方向；

将所述数量分布最多的方向作为最优的观测方向；

根据所述最优的观测方向计算相机的旋转角度；

其中，所述根据所述地图信息确定所述地图点的数量分布最多的方向的步骤，包括：

获取所述坐标信息；

将所述坐标信息投影到二维平面，得到投影信息；

根据所述投影信息确定所述地图点的数量分布最多的方向。

2.根据权利要求1所述的视觉定位与建图方法，其特征在于，所述将所述坐标信息投影到二维平面，得到投影信息的步骤，包括：

将所述坐标信息投影到目标球面；

根据所述目标球面得到二维平面，并生成投影信息。

3.根据权利要求1-2任一项所述的视觉定位与建图方法，其特征在于，所述接收转动后的相机采集的图像，根据所述图像更新所述地图信息并生成当前定位的步骤，包括：

接收转动后的相机采集的图像；

根据转动后的相机采集的图像和所述地图信息生成当前定位，并将相对所述地图信息中新增的图像的信息添加至所述地图信息。

4.一种视觉定位与建图装置，其特征在于，包括：

信息获取模块，用于获取地图信息；所述地图信息包括地图点及所述地图点的坐标信息；

注意力转移模块，用于根据所述地图信息和预设的评价规则确定最优的观测方向，并根据所述最优的观测方向计算相机的旋转角度；

控制模块，用于根据所述旋转角度生成控制指令，并将所述控制指令发送至控制模块，以使所述控制模块控制所述相机转动；

定位建图模块，用于接收转动后的相机采集的图像，根据所述图像更新所述地图信息并生成当前定位；

其中，所述注意力转移模块，具体用于：

根据所述地图信息确定所述地图点的数量分布最多的方向；

将所述数量分布最多的方向作为最优的观测方向；

根据所述最优的观测方向计算相机的旋转角度；

其中，所述注意力转移模块，具体用于：

获取所述坐标信息；

将所述坐标信息投影到二维平面，得到投影信息；

根据所述投影信息确定所述地图点的数量分布最多的方向。

5.根据权利要求4所述的视觉定位与建图装置，其特征在于，所述定位建图模块，具体用于：

接收转动后的相机采集的图像；

根据转动后的相机采集的图像和所述地图信息生成当前定位，并将相对所述地图信息中新增的图像的信息添加至所述地图信息。

6.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至3任一项所述的方法的步骤。

Images