CN107808123A - 图像可行域检测方法、电子设备、存储介质、检测系统 - Google Patents

Abstract

本发明提供图像可行域检测方法，包括求取机器人历史移动轨迹集合、标签标识，标签包括可行域、障碍域，将所有历史移动轨迹集合投影至采集的图像上并标识为可行域；将激光数据投影至采集的图像上并标识为障碍域；可行域训练，将图像与标签作为训练样本，训练得到训练模型，并根据所述训练模型得到图像中单像素的对应的标签。本发明还涉及电子设备、存储介质、检测系统。本发明通过建立一个在全局坐标下的激光地图，融合不同时间下机器人的轨迹信息，从而扩大可行域，提高导航效率；并且过程无需人为干预，快速生成大量样本，便于在不同环境下的部署。

Description

图像可行域检测方法、电子设备、存储介质、检测系统

技术领域

本发明涉及移动机器人可行域检测，尤其涉及图像可行域检测方法、电子设备、存储介质、检测系统。

背景技术

近年来，随着对室外移动机器人感知技术研究的不断深入，用于机器人导航的可行域检测越来越重要。现有方法即基于有监督语义分割神经网络的可行域检测方法，由于需要大量手工标记的数据，耗费大量人力物力；尤其是不同环境下图像的分布不同，用某个地方得到的有限的标签数据训练出来的神经网络很难扩展到其他地方，提高了算法实际部署的难度。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种图像可行域检测方法、电子设备、存储介质、检测系统，采用无监督标记方法，解决现有技术需要大量手工标记的数据，耗费大量人力物力；尤其是不同环境下图像的分布不同，用某个地方得到的有限的标签数据训练出来的神经网络顺利扩展到其他地方，降低算法实际部署的难度。

本发明提供图像可行域检测方法，包括以下步骤：

求取机器人历史移动轨迹集合，利用所述激光数据，求得在所述全局激光地图下的机器人历史移动轨迹集合；

标签标识，所述标签包括可行域、障碍域，将所有所述历史移动轨迹集合投影至采集的图像上并标识为可行域；将所述激光数据投影至采集的图像上并标识为障碍域；

可行域训练，将所述图像与所述标签作为训练样本，训练得到训练模型，并根据所述训练模型得到所述图像中单像素的对应的标签。

进一步地，所述标签还包括未知域，所述图像中即非可行域又非障碍域的区域标记为未知域。

进一步地，所述步骤标签标识还包括：可行域融合，对所有历史移动轨迹投影得到若干可行域，对若干所述可行域进行并集处理得到融合后的可行域。

进一步地，步骤标签标识还包括：地面剔除，对每一帧激光数据进行平面拟合，在标识障碍域中剔除位于平面阈值内的所述激光数据。

进一步地，步骤标签标识还包括：障碍域填补，对每一所述激光数据的投影点标识为障碍域，并对若干障碍域进行图形学膨胀用以填补空洞。

进一步地，所述障碍域的优先级高于所述可行域。

进一步地，步骤标签标识还包括：图像筛选，对采集的图像进行筛选，并对筛选后的图像进行标识。

进一步地，步骤图像筛选包括：

距离滤波，按等间距选取图像序列作为进行识别的图像；

转角滤波，根据所述历史移动轨迹集合求取所述图像对应的历史移动轨迹的转弯平均角度，然后对所有所述转弯平均角度求取直方图，并在所述直方图中均匀采样。

进一步地，所述步骤可行域训练采用像素级别的语义分割神经网络方法进行训练。

进一步地，所述步骤可行域训练具体为：

训练阶段，对所述图像进行卷积，得到预测标签，对比预测标签与真实标签，得到标签误差；利用后向传播算法与更新所述语义分割神经网络参数，逐步减小标签误差，得到训练模型；

部署阶段，输入待预测图像至所述训练模型，得到所述图像中单像素的标签标识。

一种电子设备，包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行图像可行域检测方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行图像可行域检测方法。

图像可行域检测系统，包括处理终端、激光测量装置、图像采集装置、定位装置；

所述激光测量装置用于采集机器人移动过程中的激光数据，所述激光数据为三维点数据；

所述图像采集装置用于采集机器人移动过程中的图像；

所述定位装置用于实时获取机器人的位姿，所述位姿包括机器人位置与机器人姿态；

所述处理终端用于获取所述激光数据、所述图像、所述位姿，标记所述图像中的可行域。

相比现有技术，本发明的有益效果在于：

本发明提供图像可行域检测方法，包括求取机器人历史移动轨迹集合，利用激光数据，求得在全局激光地图下的机器人历史移动轨迹集合；标签标识，标签包括可行域、障碍域，将所有历史移动轨迹集合投影至采集的图像上并标识为可行域；将激光数据投影至采集的图像上并标识为障碍域；可行域训练，将图像与标签作为训练样本，训练得到训练模型，并根据训练模型得到图像中单像素的对应的标签。本发明还涉及电子设备、存储介质、检测系统。本发明通过建立一个在全局坐标下的激光地图，融合不同时间下机器人的轨迹信息，从而扩大可行域，提高导航效率；并且过程无需人为干预，快速生成大量样本，便于在不同环境下的部署。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的图像可行域检测方法流程图；

图2为本发明的图像可行域检测系统组织结构图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

图像可行域检测方法，如图1所示，包括以下步骤：

全局激光地图建立，利用采集的激光数据，建立机器人全局激光地图；其中，由空间中的一系列三维点构成的集合来构建全局激光地图，将所有激光数据全部统一在此全局激光地图下。在一实施例中，全局激光地图建立为事先建立，无需实时进行全局激光地图状态更新，节约计算量同时增快响应速度。

求取机器人历史移动轨迹集合，利用激光数据，求得在全局激光地图下的机器人历史移动轨迹集合；具体的，利用全局激光地图求取机器人历史移动轨迹，求取不同时间不同条件下采集得到的激光数据在全局激光地图下的位姿；通过迭代最近点法，求取某个时刻的激光数据在全局激光地图下的位姿T^j；其中，位姿包括位置(平移)与姿态(旋转)。在一实施例中，机器人历史移动轨迹主要为车轮轨迹，指机器人某次运行中左右轮位置的序列：

其中和分别是左轮和右轮在j时刻的位置。

不同时刻车轮位置具体为：

其中T^j是上述j时刻激光数据在全局激光地图下的位姿；w_{l,r}是左右轮在激光设备坐标系下的位置，该位置是固定的，可以通过装配图或实物测量得到；；通过上式将左右轮位置对应至全局激光地图下j时刻的位置

标签标识，标签包括可行域、障碍域，将所有历史移动轨迹集合投影至采集的图像上并标识为可行域；将所有历史移动轨迹集合投影到图像上，指的是利用相机模型，将机器人某次运行中的车轮位姿投影到图像平面上，具体为：

其中K是相机的内参矩阵，是车轮位置在图像平面上的投影；历史移动轨迹在图像上投影点的像素点标识为可行域。

将激光数据投影至采集的图像上并标识为障碍域；具体为，将激光数据投影到图像上，指将图像对应的激光数据中的三维点p^j投影到图像上：

其中是激光在相机坐标系下的位姿，由标定得到；可行域指的是图像上算法认为机器人可以通行的部分；障碍域指的是图像上算法认为机器人不可通行的部分；具体的，将下述顶点构成的多边形围成的区域标识为可行域：

在一实施例中，步骤标签标识还包括：可行域融合，对图像运行若干次得到若干可行域，对若干可行域进行并集处理得到融合后的可行域，将所有历史移动轨迹投影到图像上，即将不同时刻的历史移动轨迹投影到图像平面上的多边形区域融合：

P＝∪P_s

其中∪并集(Union)操作符，即对于图像上某个位置，如果它落在某个可行域多边形内，即认为该点属于可行域。

将激光数据投影到图像上并标识为障碍域，指将每个激光数据的在图像上的投影点v^j的像素点全部标识为障碍域。障碍域的优先级大于可行域，即如果某个点同时被标识为障碍域和可行域，则认为该点是障碍域。此外，图像中即非可行域又非障碍域的区域标记为未知域，指的是既没有被标识为可行域，也没有被标识为障碍域，这些区域将被标识为未知区域。

可行域训练，将图像与标签作为训练样本，训练得到训练模型，并根据所述训练模型得到图像中单像素的标签标识。具体的，将上述可行域、障碍域、未知区域组织成像素级别的标签数据；将图像采集装置得到的图像和上述标签作为训练样本，训练可行域分类器。在一实施例中，上述将可行域、障碍域、未知区域组织成像素级别的标签数据，指在与图像大小相同的单通道图像上，将可行域对应像素置为1，障碍域对应像素置为2，未知区域像素置为0，作为标签。相机得到的每张图像对应一个标签；将得到的图像作为输入，上述标签作为目标，训练一个像素级别的语义分割卷积神经网络。

在一实施例中，还包括步骤数据采集，利用激光测距装置采集机器人移动过程中激光数据，利用图像采集装置采集机器人移动过程中图像；具体的，采集不同时间段激光数据和图像，利用带有激光测量装置和图像采集装置的移动机器人在同一条路线上多次运行，采集不同时间里不同条件下的激光数据和图像。

在一实施例中，步骤全局坐标系建立具体为结合定位装置采用SLAM算法计算每一帧激光数据对应的机器人位姿，将每一帧位姿拼接得到全局坐标系。取其中一次得到的激光数据，利用3D激光SLAM算法计算出每一帧激光数据对应的机器人位姿。3D激光SLAM算法已有较多成熟的实例，这里不多加赘述。在激光SLAM算法运行结束后，将每一帧数据按相应位姿拼接成完整的全局激光地图。

在一实施例中，步骤求取机器人历史移动轨迹集合具体为利用激光数据，通过迭代最近点法求取每一帧激光数据在全局坐标系下的位姿。；迭代最近点法已有较多成熟的实例，这里不多加赘述。一般的，对于某次运行中的某张图像，按照欧式距离求取每次运行中离该激光位姿最近的激光位姿。对于这些位姿，取其往后一定距离的轨迹作为机器人在该图像上的移动轨迹；实际实现中，距离取为60m米。因此，每次运行对应一条移动轨迹。优选地，对于每次移动，得到移动轨迹后，得到左右轮的轨迹。并利用全局激光地图，得到车轮在图像上的位置。车轮在图像上的轨迹围成的多边形被标识为可行域。因此，本发明定义的可行域是机器人车身覆盖过的部分。优选地，对于一张图像，多次运行后可以得到多个可行域。本发明取这些可行域的并集作为融合后的可行域。融合后的可行域实际上是多次运行中机器人车身覆盖过的路面。

图像的障碍域定义为有激光点返回的部分，即激光点在图像上的投影属于障碍域。在一实施例中，由于激光会检测到地面，为了避免将地面标识为障碍域，首先要进行剔除地面。剔除地面的方法为：对一帧激光进行平面拟合，距离平面阈值范围内的的点认为是地面，具体的，以拟合得到的平面为基准，平面上方0.25米以下的点视为地面，予以剔除。平面拟合采用随机抽样一致算法，由于该算法比较成熟，有较多实现方法，在此不赘述。优选地，对于剔除地面后的激光，由于激光数据比图像稀疏，投影到图像上的点间隔较大，将每个激光投影点上方的像素全部标识为障碍域，并对得到障碍域区域进行图形学膨胀，以填补空洞。

由于机器人走过的路面可能有动态物体经过导致的，导致的障碍域与可行域可能存在重合的情况。为了保证机器人安全运行，本发明将障碍域的优先级设置为高于可行域，即如果某个像素点被同时表示为可行域和障碍域，则认为该像素点属于障碍域。此外，由于存在即没有激光点也没有被机器人经过的像素点，这些像素点被标识为未知区域。对于每张图片，求得精确到每个像素点的标签，该标签有三种取值，对应可行域、障碍域和未知区域。

为了避免图像重复，增加图像多样性，在一实施例中，并不会标识每张图像，而是筛选出特定图像进行标识。具体为：

按距离滤波，即选取两两间距离一定的图像序列，具体为每隔1米选取一张图像；

对于上述图像，根据历史轨迹求取它们转弯程度，具体为，求图像对应取历史轨迹的转弯平均角度，然后对上述所有图像的转弯平均角度求取直方图，在直方图中均匀采样，保证最终图像中不同转角的数量相近。

在一实施例中，步骤可行域训练采用像素级别的语义分割神经网络方法进行训练，具体的，在提供一张图像的情况下，输出一个预测标签，该标签与任务有关。优选地，像素级别的语义分割神经网络分为训练和部署两个阶段。训练阶段，图像经过一系列卷积等操作后，得到预测标签，通过预测标签与真实标签对比，得到预测标签的标签误差。利用后向传播算法，更新像素级别的语义分割神经网络参数，使标签误差逐步减小，预测标签接近真实标签。通过多次更新网络参数，达到不断优化预测标签的效果，直到输出稳定。在部署阶段，只需要输入待预测图像，就可以得到预测标签，即所需要的可行域、障碍域和未知区域。由于像素级别的语义分割神经网络已经有较多公开的实现，在此不赘述

本发明还涉及一种电子设备，包括：处理器；存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行图像可行域检测方法。本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行图像可行域检测方法。

如图2所示，图像可行域检测系统，包括处理终端、激光测量装置、图像采集装置、定位装置；其中图像可行域检测系统搭载在移动机器人上，移动机器人上包括移动装置，在一实施例中，移动装置包括若干带有驱动装置的左右轮。

激光测量装置用于采集机器人移动过程中的激光数据，激光数据为三维点数据；激光测量装置发射激光经物体反射后通过激光传感器捕捉，测得物体对应的三维坐标。

图像采集装置用于采集机器人移动过程中的图像；在一实施例中，图像采集装置具体为立体相机。

定位装置用于实时获取机器人的位姿，位姿包括机器人位置与机器人姿态；定位装置包括差分GPS，差分GPS的数量为至少两个。

处理终端用于获取激光数据、图像、位姿，标记图像中的可行域；一般的处理终端为带有存储与处理功能的计算机。

本发明提供图像可行域检测方法，包括求取机器人历史移动轨迹集合，利用激光数据，求得在全局激光地图下的机器人历史移动轨迹集合；标签标识，标签包括可行域、障碍域，将所有历史移动轨迹集合投影至采集的图像上并标识为可行域；将激光数据投影至采集的图像上并标识为障碍域；可行域训练，将图像与标签作为训练样本，训练得到训练模型，并根据训练模型得到图像中单像素的标签标识。本发明还涉及电子设备、存储介质、检测系统。本发明通过建立一个在全局坐标下的激光地图，融合不同时间下机器人的轨迹信息，从而扩大可行域，提高导航效率；并且过程无需人为干预，快速生成大量样本，便于在不同环境下的部署。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。

Claims (13)

1.图像可行域检测方法，其特征在于，包括以下步骤：

求取机器人历史移动轨迹集合，利用所述激光数据，求得在所述全局激光地图下的机器人历史移动轨迹集合；

标签标识，所述标签包括可行域、障碍域，将所有所述历史移动轨迹集合投影至采集的图像上并标识为可行域；将所述激光数据投影至采集的图像上并标识为障碍域；

可行域训练，将所述图像与所述标签作为训练样本，训练得到训练模型，并根据所述训练模型得到所述图像中单像素对应的标签。

2.如权利要求1所述的图像可行域检测方法，其特征在于：所述标签还包括未知域，所述图像中即非可行域又非障碍域的区域标记为未知域。

3.如权利要求1所述的图像可行域检测方法，其特征在于，所述步骤标签标识还包括：可行域融合，对所有历史移动轨迹投影得到若干可行域，对若干所述可行域进行并集处理得到融合后的可行域。

4.如权利要求1所述的图像可行域检测方法，其特征在于，步骤标签标识还包括：地面剔除，对每一帧激光数据进行平面拟合，在障碍域中剔除位于平面阈值内的所述激光数据。

5.如权利要求4所述的图像可行域检测方法，其特征在于，步骤标签标识还包括：障碍域填补，对每一所述激光数据的投影点标识为障碍域，并对若干障碍域进行图形学膨胀用以填补空洞。

6.如权利要求1所述的图像可行域检测方法，其特征在于：所述障碍域的优先级高于所述可行域。

7.如权利要求1所述的图像可行域检测方法，其特征在于，步骤标签标识还包括：图像筛选，对采集的图像进行筛选，并对筛选后的图像进行标识。

8.如权利要求7所述的图像可行域检测方法，其特征在于，步骤图像筛选包括：

距离滤波，按等间距选取图像序列作为进行识别的图像；

转角滤波，根据所述历史移动轨迹集合求取所述图像对应的历史移动轨迹的转弯平均角度，然后对所有所述转弯平均角度求取直方图，并在所述直方图中均匀采样。

9.如权利要求1所述的图像可行域检测方法，其特征在于，所述步骤可行域训练采用像素级别的语义分割神经网络方法进行训练。

10.如权利要求9所述的图像可行域检测方法，其特征在于，所述步骤可行域训练具体为：

训练阶段，对所述图像进行卷积，得到预测标签，对比预测标签与真实标签，得到标签误差；利用后向传播算法与更新所述语义分割神经网络参数，逐步减小标签误差，得到训练模型；

部署阶段，输入待预测图像至所述训练模型，得到所述图像中单像素的标签。

11.一种电子设备，其特征在于包括：处理器；存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行如权利要求1所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行如权利要求1所述的方法。

13.图像可行域检测系统，其特征在于：包括处理终端、激光测量装置、图像采集装置、定位装置；

所述激光测量装置用于采集机器人移动过程中的激光数据，所述激光数据为三维点数据；

所述图像采集装置用于采集机器人移动过程中的图像；

所述定位装置用于实时获取机器人的位姿，所述位姿包括机器人位置与机器人姿态；

所述处理终端用于获取所述激光数据、所述图像、所述位姿，标记所述图像中的可行域。