CN114266960A - 一种点云信息与深度学习相结合的障碍物检测方法 - Google Patents

Abstract

本发明提供了一种点云信息与深度学习相结合的障碍物检测方法，获取包含深度信息的点云图像；对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；对所述点云信息中的地面信息进行提取，并滤除；基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型；本发明可以解决目前机器人障碍物检测方式单一，不能全面感知障碍物的的缺陷，实时有效的检测室内巡检机器人遇到的各类障碍物，保证设备的运行安全。

Description

一种点云信息与深度学习相结合的障碍物检测方法

技术领域

本发明属于障碍物检测技术领域，具体涉及一种点云信息与深度学习相结合的障碍物检测方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

室内巡检机器人是在变电站二次设备保护室或通信机房内监控设备状态的专用机器人，障碍物检测技术是保证机器人日常运行安全的关键技术。目前障碍物检测常用的传感器有激光传感器、超声波传感器和视觉传感器。激光传感器精度高，但只能获取到障碍物的位置信息和轮廓信息，无法帮助机器人全面认知障碍物类型，且硬件成本高。超声波传感器成本低，但对于障碍物的反射面、空气湿度都有一定要求，导致其感知精度不高。视觉传感器的数据处理规模大，对计算机处理能力要求比较高。

例如，中国专利第201922340792.8号发明专利公开了一种基于激光传感器的机器人检测障碍物的方法，该专利通过激光传感器发射激光，利用光的反射原理来进行简单的障碍物检测。该方案可以实现简单理想场景无方向约束的障碍物检测，但这种检测只能进行简单的避绕障，应用比较局限，仅应用于扫地机器人等简单场景。

中国专利第201410182735.0号发明专利公开了一种基于视觉的移动机器人障碍物检测方法，通过视觉传感器采集的移动机器人所处环境的图像信息；利用同时构图和定位算法对接收的图像信息进行计算，得到计算结果；根据计算结果，检测移动机器人所处环境中的障碍物。该方案实现了通过视觉传感器进行避绕障；但在机器人导航的可靠性和复用性上有一定的缺陷。

发明内容

本发明为了解决上述问题，提出一种点云信息与深度学习相结合的障碍物检测方法，本发明可以解决目前机器人障碍物检测方式单一，不能全面感知障碍物的的缺陷，实时有效的检测室内巡检机器人遇到的各类障碍物，保证设备的运行安全。

根据一些实施例，本发明采用如下技术方案：

一种点云信息与深度学习相结合的障碍物检测方法，包括以下步骤：

获取包含深度信息的点云图像；

对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；

对所述点云信息中的地面信息进行提取，并滤除；

基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；

利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。

作为可选择的实施方式，对所述图像进行滤波的过程包括：根据机器人宽高尺寸以及障碍物检测距离需要，确定保留的图像尺寸和深度范围，依照上述参数，进行直通滤波。

作为可选择的实施方式，去除分布边缘的离群点的具体过程包括：计算每个点到K个临近点的平均距离，假设得到的结果服从高斯分布，计算距离均值和方差，计算点邻域距离的概率密度函数，依照概率密度函数，利用高斯分布去除分布边缘的离群点。

作为可选择的实施方式，利用随机采样一致性算法对所述点云信息中的地面信息进行提取和滤除。

作为可选择的实施方式，基于剩余的点云信息，进行初步障碍物检测的具体过程包括：地面滤除后剩余点云为障碍物点云，通过栅格法将点云投影的x,y二维坐标，将满足条件的栅格标记为障碍物栅格，即栅格存在障碍物。

作为进一步的限定，所述满足条件的栅格为，格栅中点的个数大于设定阈值，且z方向坐标的方差小于预定阈值的格栅。

作为可选择的实施方式，所述深度学习模型为yolov3-tiny模型。

作为可选择的实施方式，对初步检测的障碍物进行判别，确定障碍物的类型的具体过程包括：将深度学习检测到识别框坐标投影到栅格图中，通过栅格图障碍物栅格区域信息与深度学习检测到的矩形框信息做感兴趣区域交集，如果交并比参数大于设定值,认为则将点云检测的障碍物为对应物体信息。

作为可选择的实施方式，将深度学习检测到识别框坐标投影到栅格图中的具体过程为：将颜色通道图像和对应的深度图像进行坐标对齐。

一种点云信息与深度学习相结合的障碍物检测系统，包括：

图像获取模块，被配置为获取包含深度信息的点云图像；

预处理模块，被配置为对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；

地面信息提取模块，被配置为对所述点云信息中的地面信息进行提取，并滤除；

初步检测模块，被配置为基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；

判定分类模块，被配置为利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述方法的步骤。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述方法的步骤。

一种机器人，采用上述障碍物检测方法，或包括上述检测系统。

与现有技术相比，本发明的有益效果为：

本发明提出一种预处理过程，通过滤波、去除分布边缘的离群点，有效降低了数据处理规模，且最大限度保留障碍物点云信息，防止漏检。

本发明提出一种二次检测判断过程，初步利用格栅法确定障碍物所在区域，再通过深度学习技术对障碍物所在区域进行处理，减少了数据处理规模，且能够有效检测障碍物类型，以便于后期对不同障碍物采取不同避障策略，提高机器人的智能性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明至少一个实施例的障碍物检测流程示意图；

图2为本发明至少一个实施例的红外双目测距原理图；

图3为本发明至少一个实施例的Realsense D435相机获取到的RGB图和深度图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一：

一种点云信息与深度学习相结合的障碍物检测方法，如图1所示，包括以下步骤：

采用双目视觉的方案进行障碍检测，获取检测图像。

在本实施例中，双目视觉相机的具体选型为Intel的Realsense D435深度相机，相机正面从左往右依次是左红外相机，红外增强发射器、右红外相机和可见光相机。

相机采用USB3.0的方式供电和数据传输，系统接入方便。并且随着Realsense相机与深度学习技术的融合，使得Realsense相机在3D目标检测、肢体行为分析、机器人视觉导航与避障、虚拟现实等方面得到广泛的应用。在检测到障碍物的同时，对障碍物的类别进行分类，为后续绕障流程提供依据。

Realsense测距范围为0.2-10m，测距原理是基于红外双目的三角测距，如图2所示。

当然，在其他实施例中，可以选用其他型号或类型的相机，只要能够获取包含深度信息的点云图像即可，这为本领域技术人员容易想到的常规替换，在此不再赘述。

获取到的深度图像由于光照条件、设备精度等因素，会使得图像中存在噪声点，并且如果对信息直接处理，会增加后续处理信息量，难以满足障碍物检测的实时性，因此要对深度图像信息进行滤波处理，保留有用信息，减少后续处理的点云数量。

本实施例采用分步处理的方式对获取的深度图像进行预处理。

首先根据机器人宽高尺寸以及障碍物检测距离需要，采用直通滤波的方式保留宽高为40cm*80cm,深度范围为0.2～1m的图像信息。

当然，在其他实施例中，可以根据具体需求，调整上述参数。

接着在直通滤波的基础上根据点邻域分析去除深度图上的离散点。计算每个点到K个临近点的平均距离，假设得到的结果服从高斯分布，计算距离均值μ和方差δ，则点邻域距离的概率密度函数：

可以根据高斯分布去除分布边缘的离群点。

为减少后续数据处理量，本实施例采用了随机采样一致性(Ransac)算法对点云中的地面进行了提取和滤除。

假设待拟合的数据的分布可以通过某个数学模型来描述，而整个数据集会同时包含局内点和局外点，局内点是符合该模型的点，而局外点是不符合该模型的点，对于任意给定一个数据集，我们会假设这个数据集中的所有数据都是局内点，随机选择可以确定这个模型的最小规模的点作为局内点，通过最小方差估计生成模型参数，然后利用这个模型去评估其他的点，如果其他样本与模型的偏差在一定范围内，则认定该样本是局内点，否则认为是局外点，保存当前模型的局内点个数。

通过迭代对模型进行不断优化，每次迭代都会保存当前局内点个数最多的参数模型以及对应的局内点个数，通过如下公式来确定模型最终迭代次数k，并选择内点个数最多的模型最为最终模型：

其中w表示每次从数据集中选取一个样本为局内点的概率，P为获取正确模型的置信度参数，本实施例选择为0.95，n是估计模型需要选取的最小样本个数，本实施例需要拟合平面，因此参数选择为3，平面拟合的样本评估时使用的阈值范围选取为0.05。

同样的，在其他实施例中，可以调整上述参数。

地面滤除后剩余点云就是障碍物点云，通过栅格法将点云投影的x,y二维坐标，统计每个栅格中点的个数n，及z方向坐标的方差δ，将满足

两个条件的栅格记为障碍物栅格。

n_thre为单个栅格中点个数的阈值，n_δ为投影到栅格内点z方向方差的阈值，当δ较大时，说明栅格中存在离散点或干扰点，不作为障碍物判断依据。

本实施例考虑到目标物检测的实时性，选用yolov3-tiny模型作为深度学习检测器用以判断点云检测的障碍物是否为特定障碍物。当然，对于检测器的训练、测试选用现有方法即可，其具体过程在此不再赘述。

本实施例中选择了人员、猫、狗、三角梯、屏柜门、椅子等六类障碍物作为深度学习模型检测对象。当然，在其他实施例中，可以根据实际检测环境，将其他物体也作为待检测对象或模版。

使用Realsense相机可以将RGB图像和对应的深度图像进行坐标对齐，据此可将深度学习检测到识别框坐标投影到栅格图中，通过栅格图障碍物栅格区域信息与深度学习检测到的矩形框信息做roi交集，如果IOU>0.5,认为则将点云检测的障碍物label为对应信息，如图3所示。

实施例二：

一种点云信息与深度学习相结合的障碍物检测系统，包括：

图像获取模块，被配置为获取包含深度信息的点云图像；

预处理模块，被配置为对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；

地面信息提取模块，被配置为对所述点云信息中的地面信息进行提取，并滤除；

初步检测模块，被配置为基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；

判定分类模块，被配置为利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。

实施例三：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一所提供的方法的步骤。

实施例四：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行实施例一所提供的方法的步骤。

实施例五：

一种室内巡检机器人，采用实施例一所提供的方法或包括实施例二的系统，以实现对室内巡检机器人行进道路上障碍物的检测和分类。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (13)

1.一种点云信息与深度学习相结合的障碍物检测方法，其特征是：包括以下步骤：

获取包含深度信息的点云图像；

对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；

对所述点云信息中的地面信息进行提取，并滤除；

基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；

利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。

2.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：对所述图像进行滤波的过程包括：根据机器人宽高尺寸以及障碍物检测距离需要，确定保留的图像尺寸和深度范围，依照上述参数，进行直通滤波。

3.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：去除分布边缘的离群点的具体过程包括：计算每个点到多个临近点的平均距离，假设得到的结果服从高斯分布，计算距离均值和方差，计算点邻域距离的概率密度函数，依照概率密度函数，利用高斯分布去除分布边缘的离群点。

4.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：利用随机采样一致性算法对所述点云信息中的地面信息进行提取和滤除。

5.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：基于剩余的点云信息，进行初步障碍物检测的具体过程包括：地面滤除后剩余点云为障碍物点云，通过栅格法将点云投影的x,y二维坐标，将满足条件的栅格标记为障碍物栅格，即栅格存在障碍物。

6.如权利要求5所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：所述满足条件的栅格为，格栅中点的个数大于设定阈值，且z方向坐标的方差小于预定阈值的格栅。

7.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：所述深度学习模型为yolov3-tiny模型。

8.如权利要求1所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：对初步检测的障碍物进行判别，确定障碍物的类型的具体过程包括：将深度学习检测到识别框坐标投影到栅格图中，通过栅格图障碍物栅格区域信息与深度学习检测到的矩形框信息做感兴趣区域交集，如果交并比参数大于设定值,认为则将点云检测的障碍物为对应物体信息。

9.如权利要求8所述的一种点云信息与深度学习相结合的障碍物检测方法，其特征是：将深度学习检测到识别框坐标投影到栅格图中的具体过程为：将颜色通道图像和对应的深度图像进行坐标对齐。

10.一种点云信息与深度学习相结合的障碍物检测系统，其特征是：包括：

图像获取模块，被配置为获取包含深度信息的点云图像；

预处理模块，被配置为对所述图像进行滤波、去除分布边缘的离群点的处理，得到预处理后的点云信息；

地面信息提取模块，被配置为对所述点云信息中的地面信息进行提取，并滤除；

初步检测模块，被配置为基于剩余的点云信息，进行初步障碍物检测，确定障碍物所在格栅；

判定分类模块，被配置为利用预训练的深度学习模型对初步检测的障碍物进行判别，确定障碍物的类型。

11.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-9中任一项所述的方法的步骤。

12.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-9中任一项所述的方法的步骤。

13.一种机器人，其特征是：采用权利要求1-9中任一项所述的障碍物检测方法，或包括权利要求10所述的检测系统。

Images