CN108319976B - 建图方法及装置 - Google Patents

Abstract

本申请提供一种建图方法、装置及移动终端，方法包括：获取激光传感器采集的激光帧数据；获取视觉传感器采集的图像帧数据；根据所述激光帧数据确定激光传感器的运动轨迹；基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图；将基于所述激光帧数据建立的激光地图和所述视觉地图进行融合。本申请的技术方案可以实现激光和视觉结合的定位和制图，而且激光SLAM建图和视觉SLAM建图采用同样的运动信息，因此最终生成的激光地图和视觉地图拥有相同的空间信息，鲁棒性高。

Description

建图方法及装置

技术领域

本申请涉及信息技术领域，尤其涉及一种建图方法及装置。

背景技术

通过移动机器人同时定位与建图(Simultaneous Localization and Mapping，简称为SLAM)技术是当前移动机器人研究的热点，激光传感器是SLAM中应用最广泛的传感器。但是基于激光传感器的SLAM采用算法本身产生的位姿估计，容易存在累计误差的问题，而位姿估计的累计误差很容易导致移动机器人建图失败。

发明内容

有鉴于此，本申请提供一种新的技术方案，可以通过激光数据和视觉数据的融合提高SLAM的鲁棒性，实现激光与视觉结合的定位与制图。

为实现上述目的，本申请提供技术方案如下：

根据本申请的第一方面，提出了一种建图方法，包括：

获取激光传感器采集的激光帧数据；

获取视觉传感器采集的图像帧数据；

根据所述激光帧数据确定所述激光传感器的运动轨迹；

基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图；

将基于所述激光帧数据建立的激光地图和所述视觉地图进行融合。

根据本申请的第二方面，提出了一种建图装置，包括：

第一获取模块，用于获取激光传感器采集的激光帧数据；

第二获取模块，用于获取视觉传感器采集的图像帧数据；

轨迹确定模块，用于根据所述激光帧数据确定所述激光传感器的运动轨迹；

视觉地图建立模块，用于基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图；

融合模块，用于将基于所述激光帧数据建立的激光地图和所述视觉地图进行融合。

根据本申请的第三方面，提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一方面所描述的建图方法。

根据本申请的第三方面，提出了一种移动机器人，所述移动机器人包括：

处理器；用于存储所述处理器可执行指令的存储器；用于采集激光帧数据的激光传感器；用于采集图像帧数据的视觉传感器；

其中，所述处理器，用于执行上述第一方面所描述的建图方法。

由以上技术方案可见，本申请在基于激光帧数据建立激光地图的过程中同时确定并记录激光传感器的运动轨迹，并且基于激光传感器的运动轨迹和基于图像帧数据提取出的图像特征点建立视觉地图，融合激光地图和视觉地图，由此，实现了激光和视觉结合的定位和制图，而且激光SLAM建图和视觉SLAM建图采用了同样的运动信息，最终生成的激光地图和视觉地图拥有相同的空间信息，因此鲁棒性高。

附图说明

图1是本申请一示例性实施例示出的一种建图方法的流程图；

图2是本申请另一示例性实施例示出的一种建图方法的流程图；

图3是本申请又一示例性实施例示出的一种建图方法的流程图；

图4是本申请一示例性实施例示出的一种建图装置的结构图；

图5是本申请另一示例性实施例示出的一种建图装置的结构图；

图6是本申请另一示例性实施例示出的一种移动机器人的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与/或本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语第三等来描述各种信息，但这些信息不应限于这些术语。

图1是本申请一示例性实施例示出的一种建图方法的流程图；该建图方法可应用在移动机器人上，如图1所示，包括如下步骤：

在步骤101中，获取激光传感器采集的激光帧数据。

在一实施例中，激光传感器可以为激光雷达传感器，所采集的激光帧数据包括激光传感器的位姿数据，可以包括激光传感器在指定坐标系，如世界坐标系中的位置坐标和角度朝向。在一实施例中，激光传感器采集激光帧数据的频率可以为10Hz，也即，1秒钟采集10个帧数据。

在步骤102中，获取视觉传感器采集的图像帧数据。

在一实施例中，视觉传感器可以理解为摄像机等用来采集图像数据的摄像装置。在一实施例中，图像传感器采集图像帧数据的频率可以为

30Hz～60Hz，也即，1秒钟采集30～60个帧数据。

在一实施例中，步骤101和步骤102可以同时执行；在一实施例中，可以先执行步骤101，后执行步骤102，如图1所示；在一实施例中，也可以先执行步骤102，后执行步骤101。本申请不对步骤101和步骤102的执行顺序进行限定，也即，图1所示的步骤101和步骤102的先后顺序只是一种示例。

在步骤103中，根据激光帧数据确定激光传感器的运动轨迹。

在一实施例中，可以使用激光SLAM算法对激光帧数据进行处理，得到激光地图，这里不详述。

在一实施例中，通过对激光帧数据进行连续帧匹配和全局优化处理，得到激光地图，可以在一定程度上减少匹配误差。

在一实施例中，在使用激光SLAM算法建立激光地图的过程中，可基于每一个激光帧数据的采集时间点，以及每一个激光帧数据对应的激光传感器的位姿确定激光传感器的运动轨迹。

在一实施例中，步骤103发生在步骤101之后，但是步骤103不一定发生在步骤102之后，也即步骤101、步骤102、步骤103之间的执行顺序可以为步骤101→步骤102→步骤103，或者为步骤101→步骤103→步骤102，或者为102→步骤101→步骤103。

在步骤104中，基于激光传感器的运动轨迹以及图像帧数据，建立视觉地图。

在一实施例中，基于激光传感器的运动轨迹可以确定出激光传感器在采集每一个激光帧数据时的位姿，而激光传感器和视觉传感器存在固定的相对位置关系，由此可以基于激光传感器的运动轨迹以及激光传感器和视觉传感器之间的相对位置关系确定出视觉传感器在采集每一个图像帧数据时的位姿。

在一实施例中，可以从图像帧数据中提取出多个关键的图像特征点，并且计算出图像特征点相对于视觉传感器的位置，例如，基于一个图像帧数据，提取出3个图像特征点，图像特征点1在视觉传感器的正前方5米左右，图像特征点2在视觉传感器的右前方3米，图像特征点3在视觉传感器的左前方4米的位置，基于图像帧数据中图像特征点相对于视觉传感器的位置，以及视觉传感器在采集图像帧数据时的位姿，即可确定出图像特征点在空间的分布，进而得到视觉地图。

在步骤105中，将基于激光帧数据建立的激光地图和视觉地图进行融合。

在一实施例中，由于建立视觉地图时采用的是基于激光传感器的运动轨迹得到的视觉传感器的运动信息，因此视觉地图和激光地图的空间信息是完全吻合的，因此可将激光地图和视觉地图进行叠加融合，通过输出激光地图和视觉地图可以实现后续的激光定位和视觉定位。

本实施例中，在基于激光帧数据建立激光地图的过程中同时确定并记录激光传感器的运动轨迹，并且基于激光传感器的运动轨迹和基于图像帧数据提取出的图像特征点建立视觉地图，输出激光地图和视觉地图，由此，实现了激光和视觉结合的定位和制图，而且激光SLAM建图和视觉SLAM建图采用了同样的运动信息，最终生成的激光地图和视觉地图拥有相同的空间信息，鲁棒性高。

图2是本申请另一示例性实施例示出的一种建图方法的流程图；如图2所示，包括如下步骤：

在步骤201中，获取激光传感器采集的激光帧数据。

在步骤202中，获取视觉传感器采集的图像帧数据，执行步骤203和步骤204。

在步骤203中，基于激光帧数据建立激光地图，并且确定激光传感器的运动轨迹，执行步骤205。

在一实施例中，步骤201和步骤202的描述可参见图1所示实施例，这里不再详述。

在步骤204中，从图像帧数据中提取出图像特征点，并且计算图像特征点相对于视觉传感器的位置。

在一实施例中，视觉传感器计算图像帧数据中图像特征点相对于视觉传感器的位置的方法描述可参见图1所示实施例，这里不详述。

在步骤205中，基于激光传感器的运动轨迹和激光传感器与视觉传感器之间的位置关系，确定出图像帧数据对应的视觉传感器的位姿。

在一实施例中，激光传感器的运动轨迹记录了激光帧数据对应的采集时间点和激光传感器的位姿，而激光传感器和视觉传感器之间存在固定的位置关系，例如，视觉传感器位于激光传感器前方30厘米，因此可首先计算出激光传感器的位姿，然后基于激光帧数据对应的采集时间点和激光传感器的位姿对应计算出在激光帧数据的采集时间点上，视觉传感器采集图像帧数据时的相对视觉位姿，通过将相对视觉位姿按照激光传感器和视觉传感器之间的位置关系进行平移和/或旋转，即可得到视觉传感器在激光传感器的采集时间点上的位姿。

在一实施例中，由于激光传感器和视觉传感器的数据采集频率通常不相同，因此激光帧数据和图像帧数据的采集时间点通常不相同，因此在获取到视觉传感器在激光传感器采集时间点上的位姿之后，还需要基于激光传感器和视觉传感器对应的数据采集时间点，将视觉传感器在激光传感器采集时间点上的位姿转换为视觉传感器在视觉传感器采集时间点上的位姿，具体转换实现方式可参见图3所示实施例，这里先不详述。

在步骤206中，基于图像帧数据对应的图像特征点相对于视觉传感器的位置，以及对应的视觉传感器的位姿，建立视觉地图。

在一实施例中，基于在图像帧数据对应的视觉传感器的位姿以及图像特征点相对于视觉传感器的位置，即可得到图像帧数据下图像特征点的空间位置，由此可构建出所有图像特征点组成的视觉地图。

在步骤207中，将激光地图和视觉地图进行叠加融合并输出。

本实施例中，通过激光传感器的运动轨迹可以转换出视觉传感器的运动轨迹，并且进一步确定出图像帧数据中提取出的图像特征点的空间位置，由此可建立出视觉地图，由于视觉地图和激光地图拥有相同的空间信息，因此视觉地图和激光地图的融合性比较好，匹配度比较高。

图3是本申请又一示例性实施例示出的一种建图方法的流程图，如图3所示，包括如下步骤：

在步骤301中，获取激光传感器采集的激光帧数据。

在步骤302中，获取视觉传感器采集的图像帧数据，执行步骤303和步骤304。

在步骤303中，基于激光帧数据建立激光地图，并且记录激光传感器的运动轨迹，执行步骤305。

在步骤304中，从图像帧数据中提取出图像特征点，并且计算图像特征点相对于视觉传感器的位置，执行步骤307。

在一实施例中，步骤301-步骤304的描述可参见图2所示实施例的步骤201-步骤204的描述，这里不再详述。

在步骤305中，基于激光传感器的运动轨迹，确定图像帧数据对应的相对视觉位姿。

在一实施例中，对于图像帧数据，若在对应的采集时间点，激光传感器也采集有激光帧数据，则可将激光传感器在该采集时间点的位姿确定为图像帧数据对应的相对视觉位姿。

在一实施例中，对于图像帧数据，若在对应的采集时间点，激光传感器没有采集激光帧数据，则在时间轴上取与图像帧数据的采集时间点最接近的两个激光帧数据对应的激光传感器的位姿的线性插值，得到图像帧数据对应的相对视觉位姿。

在一实施例中，图像帧数据对应的相对视觉位姿可以理解为在图像帧数据对应的采集时间点，激光传感器可能的位姿。

在一实施例中，通常图像帧数据的采集频率高于激光帧数据的采集频率，因此图像帧数据的采集时间点可能不同于任意一个激光帧数据的采集时间点，例如，激光传感器在1.1秒和1.2秒的时间连续采集了两个激光帧数据，而视频传感器在1.12秒采集了一个图像帧数据，则可与该图像帧数据的采集时间点最接近的两个激光帧数据，也即分别为1.1秒和1.2秒采集的激光帧数据，假设1.1秒采集的激光帧数据对应的激光传感器的位姿为1，而1.2秒采集的激光帧数据对应的激光传感器的位姿为2，而1.12秒这个时间1.1秒和1.2秒之间的1/5处，图像帧数据对应的相对视觉位姿可以为1.2。

在一实施例中，图像帧数据的采集时间点也可能与一个激光帧数据的采集时间点相同，例如，激光传感器在1.1秒一个激光帧数据，而视频传感器也在1.1秒采集了一个图像帧数据，则该图像帧数据对应的相对视觉位姿可以为激光传感器在1.1秒的位姿。

在步骤306中，将相对视觉位姿按照激光传感器与视觉传感器之间的位置关系进行平移和/或旋转，得到图像帧数据对应的视觉传感器的位姿，执行步骤308。

在一实施例中，而激光传感器和视觉传感器之间存在固定的位置关系，例如，视觉传感器在激光传感器前方30厘米，因此将图像帧数据对应的相对视觉位姿按照激光传感器和视觉传感器之间的位置关系进行平移和/或旋转，即可得到视觉传感器在采集该图像帧数据时的位姿。

在步骤307中，基于图像帧数据对应的图像特征点相对于视觉传感器的位置，以及对应的视觉传感器的位姿，建立视觉地图。

在一实施例中，基于在图像帧数据对应的视觉传感器的位姿以及图像特征点相对于视觉传感器的位置，即可得到图像帧数据下图像特征点的空间位置，由此可构建出所有图像特征点组成的视觉地图。

在步骤308中，将激光地图和视觉地图进行叠加融合并输出。

本实施例中，基于激光帧数据的运动轨迹、激光帧数据和图像帧数据的采集时间点、激光传感器和图像传感器的相对位置关系，可以确定出图像帧数据对应的视觉传感器的位姿，进而结合图像帧数据中图像特征点相对于视觉传感器的位置，得到视觉地图，本实施例实现了视觉地图采用激光帧数据得到的视觉传感器的位姿数据，解决了现有技术中视觉建图时因特征点跟踪丢失而导致无法继续的问题。

与前述建图方法的实施例相对应，本申请还提供了建图装置的实施例。

图4是本申请一示例性实施例示出的一种建图装置的结构图，如图4所示，建图装置包括：

第一获取模块41，用于获取激光传感器采集的激光帧数据；

第二获取模块42，用于获取视觉传感器采集的图像帧数据。

轨迹确定模块43，用于根据激光帧数据确定激光传感器的运动轨迹；

视觉地图建立模块44，用于基于激光传感器的运动轨迹以及图像帧数据，建立视觉地图；

融合模块45，用于将基于激光帧数据建立的激光地图和视觉地图进行融合。

图5是本申请另一示例性实施例示出的一种建图装置的结构图，如图5所示，在上述图4所示实施例的基础上，视觉地图建立模块44包括：

位置计算单元441，用于从图像帧数据中提取出图像特征点，计算图像特征点相对于视觉传感器的位置；并且

位姿确定单元442，用于基于激光传感器的运动轨迹和激光传感器与视觉传感器之间的位置关系，确定出图像帧数据对应的视觉传感器的位姿；

地图建立单元443，用于基于图像帧数据对应的图像特征点相对于视觉传感器的位置，以及对应的视觉传感器的位姿，建立视觉地图。

在一实施例中，位姿确定单元442具体用于：

基于激光传感器的运动轨迹，确定图像帧数据对应的相对视觉位姿；

将相对视觉位姿按照激光传感器与视觉传感器之间的位置关系进行平移和/或旋转，得到图像帧数据对应的视觉传感器的位姿。

在一实施例中，位姿确定单元442具体用于：

对于图像帧数据，若在对应的采集时间点，激光传感器也采集有激光帧数据，则可将激光传感器在该采集时间点的位姿确定为图像帧数据对应的相对视觉位姿；

对于图像帧数据，若在对应的采集时间点，激光传感器没有采集激光帧数据，则在时间轴上取与图像帧数据的采集时间点最接近的两个激光帧数据对应的激光传感器的位姿的线性插值，得到图像帧数据对应的相对视觉位姿

在一实施例中，装置还包括：

激光地图获取模块46，用于使用激光SLAM算法对激光帧数据进行连续帧匹配和全局优化处理，得到激光地图。

在一实施例中，轨迹确定模块43，具体用于基于激光帧数据的采集时间点，以及激光帧数据对应的激光传感器的位姿确定激光传感器的运动轨迹。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

在示例性实施例中，本申请还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序用于执行上述建图方法，其中，计算机可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光数据存储设备等。

图6是本申请另一示例性实施例示出的一种移动机器人的结构图；对应于上述图1-图3任一实施例提供的建图方法，如图6所示，在硬件层面，该移动终端包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件，例如，激光传感器、视觉传感器(激光传感器和视觉传感器在图6中并未示出)。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述图4或图5所示实施例提供的建图装置。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以上处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种建图方法，其特征在于，所述方法包括：

获取激光传感器采集的激光帧数据；

获取视觉传感器采集的图像帧数据；

根据所述激光帧数据确定所述激光传感器的运动轨迹；

基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图；

将基于所述激光帧数据建立的激光地图和所述视觉地图进行融合；

所述基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图，包括：

从所述图像帧数据中提取出图像特征点，计算所述图像特征点相对于所述视觉传感器的位置；并且

基于所述激光传感器的运动轨迹和所述激光传感器与所述视觉传感器之间的位置关系，确定出所述图像帧数据对应的视觉传感器的位姿；

基于所述图像帧数据对应的图像特征点相对于所述视觉传感器的位置，以及对应的视觉传感器的位姿，建立所述视觉地图。

2.根据权利要求1所述的方法，其特征在于，所述基于所述激光传感器的运动轨迹和所述激光传感器与所述视觉传感器之间的位置关系，确定出所述图像帧数据对应的视觉传感器的位姿，包括：

基于所述激光传感器的运动轨迹，确定所述图像帧数据对应的相对视觉位姿；

将所述相对视觉位姿按照所述激光传感器与所述视觉传感器之间的位置关系进行平移和/或旋转，得到所述图像帧数据对应的视觉传感器的位姿。

3.根据权利要求2所述的方法，其特征在于，所述基于所述激光传感器的运动轨迹，确定所述图像帧数据对应的相对视觉位姿，包括：

对于所述图像帧数据，若在对应的采集时间点，所述激光传感器也采集有激光帧数据，则可将激光传感器在该采集时间点的位姿确定为所述图像帧数据对应的相对视觉位姿；

对于所述图像帧数据，若在对应的采集时间点，所述激光传感器没有采集激光帧数据，则在时间轴上取与所述图像帧数据的采集时间点最接近的两个激光帧数据对应的激光传感器的位姿的线性插值，得到所述图像帧数据对应的相对视觉位姿。

4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：

使用激光SLAM算法对激光帧数据进行连续帧匹配和全局优化处理，得到所述激光地图。

5.根据权利要求4所述的方法，其特征在于，所述根据所述激光帧数据确定所述激光传感器的运动轨迹，包括：

基于所述激光帧数据的采集时间点，以及所述激光帧数据对应的所述激光传感器的位姿确定所述激光传感器的运动轨迹。

6.一种建图装置，其特征在于，所述装置包括：

第一获取模块，用于获取激光传感器采集的激光帧数据；

第二获取模块，用于获取视觉传感器采集的图像帧数据；

轨迹确定模块，用于根据所述激光帧数据确定所述激光传感器的运动轨迹；

视觉地图建立模块，用于基于所述激光传感器的运动轨迹以及所述图像帧数据，建立视觉地图；

融合模块，用于将基于所述激光帧数据建立的激光地图和所述视觉地图进行融合；

所述视觉地图建立模块包括：

位置计算单元，用于从所述图像帧数据中提取出图像特征点，计算所述图像特征点相对于所述视觉传感器的位置；并且

位姿确定单元，用于基于所述激光传感器的运动轨迹和所述激光传感器与所述视觉传感器之间的位置关系，确定出所述图像帧数据对应的视觉传感器的位姿；

地图建立单元，用于基于所述图像帧数据对应的图像特征点相对于所述视觉传感器的位置，以及对应的视觉传感器的位姿，建立所述视觉地图。

7.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-5任一所述的建图方法。

8.一种移动机器人，其特征在于，所述移动机器人包括：

处理器；用于存储所述处理器可执行指令的存储器；用于采集激光帧数据的激光传感器；用于采集图像帧数据的视觉传感器；

其中，所述处理器，用于执行上述权利要求1-5任一所述的建图方法。