CN114091515A - 障碍物检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种障碍物检测方法、装置、电子设备和存储介质。用于精准的识别障碍物的类别和运动状态，进而实现策略性避障。本申请实施例中，首先获取包含目标场景的连续多帧图像的障碍物对应的目标点云；然后针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；最后将确定的距离中选择最短的距离与预设距离进行比较，根据比较结果，确定障碍物的状态，其中状态包括动态和静态。

Description

障碍物检测方法、装置、电子设备和存储介质

技术领域

本申请涉及智能机器人技术领域，尤其涉及一种障碍物检测方法、装置、电子设备和存储介质。

背景技术

随着科技的发展，近年来智能移动机器人在生活中越来越普及，比较典型的有无人驾驶汽车、物流机器人、服务机器人以及家庭扫地清洁机器人等。复杂环境下的自主避障能力是移动机器人智能化的重要体现，而对周围环境的障碍物检测则是实现自主避障的基础。障碍物检测是指基于摄像头、激光雷达等获取环境的数据，经算法对该数据进行处理然后获取潜在障碍物的信息。但是相关技术中，无法精准的识别障碍物的类别和运动状态，进而无法实现策略性避障。

发明内容

本申请的目的是提供一种障碍物检测方法、装置、电子设备和存储介质，用于精准的识别障碍物的类别和运动状态。

第一方面，本申请实施例提供了一种障碍物检测方法，包括：

获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云；其中，所述障碍物的点云簇是通过对所述连续多帧图像进行语义分割得到的；

针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定所述障碍物的状态，其中所述状态包括动态和静态。

在本申请实施例中，由于动态障碍物在目标场景中处于移动状态所以在每一帧中的位置不同，导致前后两帧图像中同一动态障碍物之间的距离不同，因此通过比较前后两帧障碍物的距离，确定障碍物的运动状态，使得智能移动机器人可以确定当前障碍物处于静态还是移动状态。进而可以控制智能移动机器人根据障碍物的运动状态进行策略性避障，提高了智能移动机器人对障碍物识别的准确性。

在一个可能的实施例中，所述获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云，包括：

基于连续多帧图像，通过语义分割方式得到分割结果，所述分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；所述点云簇包括所述每个障碍物对应的第一点云和所述每个障碍物的类别；

基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合，其中所述中间点云是基于所述连续多帧图像通过预处理方式得到的；

对所述点云集合进行聚类分析，得到多个聚类结果，其中所述聚类结果包括每个障碍物对应的第二点云；

将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云。

本申请中采用语义分割的方法获得第一点云，充分利用了语义分割可以满足实时性的优点吗，而且同时采用结果更加准确的聚类分析的方法，使得本申请中获取的点云即可满足实时性，又具有较高的准确性。

在一个可能的实施例中，所述将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云，包括：

针对任意一个第二点云，将所述任意一个第二点云依次和每个所述障碍物对应的第一点云进行比较，确定与所述第二点云相似度最高的第一点云；

将所述第二点云中与相似度最高的所述第一点云中坐标相同的点标记为与所述相似度最高的第一点云相同的类别，将与相似度最高的所述第一点云中坐标不同的点标记为通用类别。

本申请中根据第一点云和第二点云的比较结果进一步的提高了每个障碍物对应的点云的准确性。

在一个可能的实施例中，所述将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云之后，所述方法还包括：

对所述障碍物对应的点云进行筛选，去除所述障碍物对应的点云中点的数量小于预设值的障碍物对应的点云。

通过根据点云中点的数量来对点云进行筛选可以过滤掉点云中点的数量较少的干扰项，减少了后续计算的难度。

在一个可能的实施例中，所述基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合之前，所述方法还包括：

获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；

对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云；

所述基于连续多帧图像，通过语义分割方式得到分割结果，包括：

将所述连续多帧图像包括的所述彩色图像和所述深度图像输入语义分割模型，以得到分割结果。

对目标场景的不同图像进行不同的处理，相较于仅选用一种图像进行处理的方法而言，可以提高准确性，且使得本申请更具有普适性。

在一个可能的实施例中，所述对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云，包括：

将深度图像转换为目标坐标系下的点云信息；

对所述点云信息进行体素下采样，得到采样后的点云信息；

确定所述采样后的点云信息中在各个维度坐标为极值的点作为目标点；所述极值包括最大值和最小值；

对所述目标点确定的区域进行去噪处理，得到所述连续多帧图像的障碍物对应的中间点云。

在本申请实施例中，通过对点云信息进行体素下采样的方法减少了计算量，避免了资源的浪费；且通过去噪的方式，避免了噪声对障碍物识别的影响。

在一个可能的实施例中，确定所述障碍物的状态之后，所述方法还包括：

对所述动态的障碍物进行运动估计，得到所述动态的障碍物的运动速度。

在本申请实施例中，通过对动态的障碍物记性运动估计，可以精准的确定障碍物的速度，使得智能移动机器人进行策略性避障时更加的准确。

在一个可能的实施例中，针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的点云和前一帧图像的每个障碍物对应的点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离之后，所述方法还包括：

根据所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；所述相似距离矩阵中每一列为所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

计算所述相似距离矩阵中的每一列的最小值；

将所述最小值作为所述最短的距离。

本申请实施例中，通过构建相似距离矩阵的方式，可以快速的得出前后两帧图像中障碍物之间的最短距离，减少了计算量。

在一些可能的实施例中，所述根据比较结果，确定所述障碍物的状态，包括：

若所述比较结果显示所述最短的距离小于等于所述预设距离，则所述障碍物的状态为静态；

若所述比较结果显示所述最短的距离大于所述预设距离，则所述障碍物的状态为动态。

第二方面本申请还提供了一种障碍物检测装置，所述装置包括：

获取模块，用于获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云；其中，所述障碍物的点云簇是通过对所述连续多帧图像进行语义分割得到的；

距离确定模块，用于针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

比较模块，用于将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定所述障碍物的状态，其中所述状态包括动态和静态。

在一个实施例中，所述获取模块执行获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云时，被配置为：

基于连续多帧图像，通过语义分割方式得到分割结果，所述分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；所述点云簇包括所述每个障碍物对应的第一点云和所述每个障碍物的类别；

基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合，其中所述中间点云是基于所述连续多帧图像通过预处理方式得到的；

对所述点云集合进行聚类分析，得到多个聚类结果，其中所述聚类结果包括每个障碍物对应的第二点云；

将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云。

在一个实施例中，所述获取模块执行将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云时，被配置为：

针对任意一个第二点云，将所述任意一个第二点云依次和每个所述障碍物对应的第一点云进行比较，确定与所述第二点云相似度最高的第一点云；

将所述第二点云中与相似度最高的所述第一点云中坐标相同的点标记为与所述相似度最高的第一点云相同的类别，将与相似度最高的所述第一点云中坐标不同的点标记为通用类别。

在一个实施例中，所述获取模块执行将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云之后，所述货物模块还被配置为：

对所述障碍物对应的目标点云进行筛选，去除所述障碍物对应的目标点云中点的数量小于预设值的障碍物对应的目标点云。

在一个实施例中，所述获取模块执行基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合之前，所述获取模块还被配置为：

获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；

对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云；

所述基于连续多帧图像，通过语义分割方式得到分割结果，包括：

将所述连续多帧图像包括的所述彩色图像和所述深度图像输入语义分割模型，以得到分割结果。

在一个实施例中，所述获取模块执行对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云时，被配置为：

将深度图像转换为目标坐标系下的点云信息；

对所述点云信息进行体素下采样，得到采样后的点云信息；

确定所述采样后的点云信息中在各个维度坐标为极值的点作为目标点；所述极值包括最大值和最小值；

对所述目标点确定的区域进行去噪处理，得到所述连续多帧图像的障碍物对应的中间点云。

在一个实施例中，在比较模块执行确定所述障碍物的状态之后，所述装置还包括：

速度确定模块，被配置为对所述动态的障碍物进行运动估计，得到所述动态的障碍物的运动速度。

在一个实施例中，所述距离确定模块执行针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的点云和前一帧图像的每个障碍物对应的点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离之后，所述装置还包括：

最短的距离确定模块，被配置为根据所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；所述相似距离矩阵中每一列为所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

计算所述相似距离矩阵中的每一列的最小值；

将所述最小值作为所述最短的距离。

在一个实施例中，所述比较模块执行根据比较结果，确定所述障碍物的状态，包括：

若所述比较结果显示所述最短的距离小于等于所述预设距离，则所述障碍物的状态为静态；

若所述比较结果显示所述最短的距离大于所述预设距离，则所述障碍物的状态为动态。

第三方面，本申请另一实施例还提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例提供的任一方法。

第四方面，本申请另一实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使计算机执行本申请第一方面实施例提供的任一方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的障碍物检测方法的应用场景图；

图2为本申请实施例提供的障碍物检测方法的整体流程图；

图3为本申请实施例提供的障碍物检测方法的获取目标点云的流程图；

图4为本申请实施例提供的障碍物检测方法的体素下采样的示意图；

图5为本申请实施例提供的障碍物检测方法的相似距离矩阵示意图；

图6为本申请实施例提供的障碍物检测方法的整体流程图；

图7为本申请实施例提供的障碍物检测方法的装置示意图；

图8为本申请实施例提供的障碍物检测方法的电子设备示意图。

具体实施方式

为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

发明人研究发现，随着科技的发展，近年来智能移动机器人在生活中越来越普及，比较典型的有无人驾驶汽车、物流机器人、服务机器人以及家庭扫地清洁机器人等。复杂环境下的自主避障能力是移动机器人智能化的重要体现，而对周围环境的障碍物检测则是实现自主避障的基础。障碍物检测是指基于摄像头、激光雷达等获取环境的数据，经算法对该数据进行处理然后获取潜在障碍物的信息。但是相关技术中，无法精准的识别障碍物的类别和运动状态，进而无法实现策略性避障。

有鉴于此，本申请提出了一种障碍物检测方法、装置、电子设备和存储介质，用于解决上述问题。本申请的发明构思可概括为：首先获取包含目标场景的连续多帧图像的障碍物对应的目标点云；然后针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；最后将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定障碍物的状态，其中状态包括动态和静态。

如图1所示，为本申请实施例中的障碍物检测方法的应用场景图。图中包括：终端设备10、服务器20、存储器30；其中：

服务器20可以同时对终端设备101、终端设备102、终端设备103……获取的包含目标场景的连续多帧图像进行处理，得到该连续多帧图像的障碍物对应的目标点云，然后针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；最后将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定障碍物的状态，其中状态包括动态和静态。

其中，对识别目标场景中的障碍物后，可以将障碍物的状态保存在存储器中，以供后续使用。

本申请中的描述中仅就单个服务器或终端设备加以详述，但是本领域技术人员应当理解的是，示出的终端设备10、服务器20和存储器30旨在表示本申请的技术方案涉及的终端设备、服务器以及存储器的操作。对单个服务器和存储器加以详述至少为了说明方便，而非暗示对终端设备和服务器的数量、类型或是位置等具有限制。应当注意，如果向图示环境中添加附加模块或从其中去除个别模块，不会改变本申请的示例实施例的底层概念。另外，虽然为了方便说明而在图1中示出了从存储器30到服务器20的双向箭头，但本领域技术人员可以理解的是，上述数据的收发也是需要通过网络实现的。

需要说明的是，本申请实施例中的存储器例如可以是缓存系统、也可以是硬盘存储、内存存储等等。此外，本申请提出的障碍物检测方法不仅适用于图1所示的应用场景，还适用于任何有障碍物检测需求的装置。

为了便于理解本申请提出的障碍物检测方法，下面结合附图对本申请实施例提供的障碍物检测方法进行详细说明。

如图2所示，本申请实施例提供的障碍物检测方法包括下列步骤：

步骤201：获取包含目标场景的连续多帧图像，根据连续多帧图像中障碍物的点云簇进行聚类分析，得到障碍物对应的目标点云；其中，障碍物的点云簇是通过对连续多帧图像进行语义分割得到的；

步骤202：针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；

步骤203：将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定障碍物的状态，其中状态包括动态和静态。静态即为在目标场景中处于静止状态的障碍物；动态即在目标场景中处于运动状态的障碍物。

在一些实施例中，获取包含目标场景的连续多帧图像的障碍物对应的目标点云，具体可实施为如图3所示的步骤：

在步骤301中：基于连续多帧图像，通过语义分割方式得到分割结果，分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；点云簇包括每个障碍物对应的第一点云和每个障碍物的类别；

在一个实施例中，首先获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；将彩色图像和深度图像输入语义分割模型，以得到分割结果。在本申请实施例中，语义分割模型可以为以下深度学习网络中的任一种：分离聚合语义分割网络(Separation-and-Aggregation Gate RGB-D Convolutional Neural Network，SA-GateNet)、可扩展的2.5D语义分割网络(Malleable 2.5DConvolutional Neural Network，2.5D CNN)等。在本申请中，为了使得语义分割模型的运行速度更快，所以优选轻量级网络应用于移动视觉设备的高效卷积神经网络(Efficient Convolutional Neural Networks for Mobile VisionApplications，MobileNet)为用于深度卷积特征提取的基准网络，以满足实时性需求。

由于本申请中的语义分割模型为预先用标记了障碍物类别的障碍物集合作为样本进行训练的，所以将包含目标场景的连续多帧图像输入该语义分割模型后输出的分割结果中包含了地面对应的点云簇、每个障碍物对应的点云簇；点云簇包括每个障碍物对应的第一点云和每个障碍物的类别。其中，障碍物的类别可以包括：桌子、椅子、垃圾桶等在目标场景中识别的所有物体均为障碍物。

在步骤302中：基于中间点云中与第一点云的坐标相同的点云，得到点云集合，其中，中间点云是基于连续多帧图像通过预处理方式得到的；

在一个实施例中，获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；对连续多帧图像包括的深度图像进行预处理，得到中间点云。其中，预处理可实施为：首先将深度图像转换为目标坐标系下的点云信息；为了避免处理的点云过于稠密，导致运算量大，运算速度慢，所以对点云信息进行体素下采样，得到采样后的点云信息；其中，体素下采样为根据输入的点云创建一个三维体素栅格，针对每个体素，用体素中所有点的重心表示该体素；如图4所示，设定体素下采样的分辨率为L，即将点云分割成n个L*L*L的立方体，针对每个立方体，将该立方体内的全部点用该立方体的重心表示，由此得到中间点云。

确定采样后的点云信息中在各个维度坐标为极值的点作为目标点；极值包括最大值和最小值；在本申请实施例中，点云信息中的点的坐标为三维坐标，目标点即在x轴上坐标最大和最小的点，在y轴上坐标最大和最小的点，在z轴上坐标最大和最小的点。在一个实施例中，可能存在，在x轴上坐标最大的点有两个点A坐标为X和B坐标为X，则此时比较点A和点B在y轴和z轴上的坐标的大小，若点A在y轴的坐标Y1大于点B在y轴的坐标Y2，点A在z轴的坐标Z1小于点B的坐标Z2，则此时在x轴最大的点的坐标为(X，Y1，Z2)。

对目标点确定的区域进行去噪处理，得到连续多帧图像的障碍物对应的点云。在本申请实施例中，为了减少障碍物边缘的噪声，采用对该区域进行邻域半径滤波，具体实施为：以当前点为圆心，lr为半径，当半径范围内点云数量小于预设点数，则将当前点滤除，反之则保留。需要知道的是，其他可去除噪声点的方法同样适用于本申请。在此不在赘述。

在一个实施例中，在满足实时性的前提下为了进一步提高识别障碍物的效率，所以在本申请实施例中，可以通过在步骤303中：对点云集合进行聚类分析，得到多个聚类结果，其中聚类结果包括每个障碍物对应的第二点云；

在步骤304中：将第二点云和每个第一点云进行比较，根据比较结果确定每个障碍物对应的目标点云。

在一些实施例中，针对任意一个第二点云，将任意一个第二点云依次和每个障碍物对应的第一点云进行比较，确定与第二点云相似度最高的第一点云；将第二点云中与相似度最高的第一点云中坐标相同的点标记为与相似度最高的第一点云相同的类别，将与相似度最高的第一点云中坐标不同的点标记为通用类别。例如：每个障碍物对应的第一点云为C1(类别1)，C2(类别2)，C3(类别3)……；每个障碍物对应的第二点云为P1，P2，P3……；则针对P1，P2，P3……中任意一个，以P1为例，将P1依次与C1，C2，C3……进行比较，确定与P1相似度最高的第一点云为C2，则将C2中与P1进行比较，将P1中与C2中坐标相同的点标记为类别2，记为O1；将P1中与C2中坐标不同的点标记为通用类别；然后针对P2，将P2依次与C1，C2，C3……进行比较，确定与P2相似度最高的第一点云为C1，则将C1中与P2进行比较，将P2中与C1中坐标相同的点标记为类别1，记为O2，将P2中与C1中坐标不同的点也标记为通用类别。最后可得到每个障碍物对应的目标点云O1，O2，O3……。

在一些实施例中，为了减少计算资源的浪费，使得计算结果更加准确，所以在本申请实施例中，得到每个障碍物对应的目标点云O1，O2，O3……后，可对障碍物对应的目标点云进行筛选，去除障碍物对应的目标点云中点的数量小于预设值的障碍物对应的目标点云。例如：如图3所示，O1中有20个点，O1中有28个点，O3中有4个点，预设值为10，则O3被去除。通过该方法避免了参考价值较低的点云对检测结果的影响。

在本申请实施例中，针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离之后，为了快速确定障碍物的状态，所以在本申请实施例中，可采用构建相似距离矩阵的方法来确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的最短的距离。具体可实施为：

根据后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；相似距离矩阵中每一列为后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；计算相似距离矩阵中的每一列的最小值；将最小值作为最短的距离。例如：针对后一帧中的障碍物A、B、C，假设前一帧中有障碍物E、F、G；则计算A和E、F、G之间的距离，然后计算B和E、F、G之间的距离；再计算C和E、F、G之间的距离；计算结果构成矩阵D，如图5所示；针对图5中的每一列，计算每一列的最小值，即为最短距离。将该最短距离与预设距离进行比较，若最短距离小于或等于该预设距离，则为静态障碍物，否则为动态障碍物。

在确定障碍物的状态后，为了更精准的识别障碍物的速度，所以要对动态的障碍物进行运动估计，进而确定障碍物的速度。在本申请实施例中采用卡尔曼滤波的方式对障碍物进行运动估计，得到障碍物的速度，需要知道的是，其他可以实现对运动进行估计的方法也均适用于本申请，在此不在赘述。

为了便于理解，下面对本申请提出的障碍物检测方法的整体流程进行详细说明，如图6所示：

在步骤601中：获取目标场景的彩色图和深度图；

在步骤602中：将深度图像转换为目标坐标系下的点云信息；

在步骤603中：对点云信息进行体素下采样，得到采样后的点云信息；

在步骤604中：确定采样后的点云信息中在各个维度坐标为极值的点作为目标点；

在步骤605中：对目标点确定的区域进行去噪处理，得到连续多帧图像的障碍物对应的点云，即中间点云；

在步骤606中：连续多帧图像包括的彩色图像和深度图像输入语义分割模型，以得到分割结果；分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；点云簇包括每个障碍物对应的第一点云和每个障碍物的类别；

在步骤607中：基于中间点云中与第一点云的坐标相同的点云，得到点云集合；

在步骤608中：对点云集合进行聚类分析，得到多个聚类结果，其中聚类结果包括每个障碍物对应的第二点云；

在步骤609中：针对任意一个第二点云，将任意一个第二点云依次和每个障碍物对应的第一点云进行比较，确定与第二点云相似度最高的第一点云；

在步骤610中：将第二点云中与相似度最高的第一点云中坐标相同的点标记为与相似度最高的第一点云相同的类别，将与相似度最高的第一点云中坐标不同的点标记为通用类别；标记后的点云为目标点云；

在步骤611中：对障碍物对应的目标点云进行筛选，去除障碍物对应的目标点云中点的数量小于预设值的障碍物对应的目标点云；

在步骤612中：针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的障碍物对应的点云和前一帧图像的每个障碍物对应的点云，确定后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；

在步骤613中：根据后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；相似距离矩阵中每一列为后一帧图像的障碍物与前一帧图像的每个障碍物之间的距离；

在步骤614中：计算相似距离矩阵中的每一列的最小值，将最小值作为最短的距离；

在步骤615中：将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定障碍物的状态；

在步骤616中：对动态的障碍物进行运动估计，得到动态的障碍物的运动速度。

如图7所示，基于相同的发明构思，提出一种障碍物检测装置700，包括：

获取模块7001，用于获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云；其中，所述障碍物的点云簇是通过对所述连续多帧图像进行语义分割得到的；

距离确定模块7002，用于针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

比较模块7003，用于将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定所述障碍物的状态，其中所述状态包括动态和静态。

在一个实施例中，所述获取模块7001执行获取包含目标场景的连续多帧图像的障碍物对应的目标点云时，被配置为：

基于连续多帧图像，通过语义分割方式得到分割结果，所述分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；所述点云簇包括所述每个障碍物对应的第一点云和所述每个障碍物的类别；

基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合，其中所述中间点云是基于所述连续多帧图像通过预处理方式得到的；

对所述点云集合进行聚类分析，得到多个聚类结果，其中所述聚类结果包括每个障碍物对应的第二点云；

将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云。

在一个实施例中，所述获取模块7001执行将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云时，被配置为：

针对任意一个第二点云，将所述任意一个第二点云依次和每个所述障碍物对应的第一点云进行比较，确定与所述第二点云相似度最高的第一点云；

将所述第二点云中与相似度最高的所述第一点云中坐标相同的点标记为与所述相似度最高的第一点云相同的类别，将与相似度最高的所述第一点云中坐标不同的点标记为通用类别。

在一个实施例中，所述获取模块7001执行将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云之后，所述货物模块还被配置为：

对所述障碍物对应的目标点云进行筛选，去除所述障碍物对应的目标点云中点的数量小于预设值的障碍物对应的目标点云。

在一个实施例中，所述获取模块7001执行基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合之前，所述获取模块7001还被配置为：

获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；

对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云；

所述基于连续多帧图像，通过语义分割方式得到分割结果，包括：

将所述连续多帧图像包括的所述彩色图像和所述深度图像输入语义分割模型，以得到分割结果。

在一个实施例中，所述获取模块7001执行对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云时，被配置为：

将深度图像转换为目标坐标系下的点云信息；

对所述点云信息进行体素下采样，得到采样后的点云信息；

确定所述采样后的点云信息中在各个维度坐标为极值的点作为目标点；所述极值包括最大值和最小值；

对所述目标点确定的区域进行去噪处理，得到所述连续多帧图像的障碍物对应的中间点云。

在一个实施例中，在比较模块7003执行确定所述障碍物的状态之后，所述装置还包括：

速度确定模块，被配置为对所述动态的障碍物进行运动估计，得到所述动态的障碍物的运动速度。

在一个实施例中，所述距离确定模块7002执行针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的点云和前一帧图像的每个障碍物对应的点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离之后，所述装置还包括：

最短的距离确定模块7002，被配置为根据所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；所述相似距离矩阵中每一列为所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

计算所述相似距离矩阵中的每一列的最小值；

将所述最小值作为所述最短的距离。

在一个实施例中，所述比较模块7003执行所述根据比较结果，确定所述障碍物的状态时，被配置为：

若所述比较结果显示所述最短的距离小于等于所述预设距离，则所述障碍物的状态为静态；

若所述比较结果显示所述最短的距离大于所述预设距离，则所述障碍物的状态为动态。

在介绍了本申请示例性实施方式的障碍物检测方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请的电子设备可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本申请各种示例性实施方式的障碍物检测方法中的步骤。

下面参照图8来描述根据本申请的这种实施方式的电子设备130。图8显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：至少一个处理器131、至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。其中，处理器131被配置为执行本申请实施例提出的障碍物检测方法，存储器132用于存储检测到的障碍物。

总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。

存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。需要知道的是，上述各个电子设备130被配置为对障碍物进行检测时，可根据具体实施情况不连接网络适配器。上述各个电子器件均可根据具体的实施情况进行适当的增加或删除。

在一些可能的实施方式中，本申请提供的一种其中，障碍物检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的一种障碍物检测方法中的步骤。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请的实施方式的用于障碍物检测的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务端上执行。在涉及远程电子设备的情形中，远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备，或者，可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种障碍物检测方法，其特征在于，所述方法包括：

获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云；其中，所述障碍物的点云簇是通过对所述连续多帧图像进行语义分割得到的；

针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定所述障碍物的状态，其中所述状态包括动态和静态。

2.根据权利要求1所述的方法，其特征在于，所述获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云，包括：

基于连续多帧图像，通过语义分割方式得到分割结果，所述分割结果包括地面对应的点云簇、每个障碍物对应的点云簇；所述点云簇包括所述每个障碍物对应的第一点云和所述每个障碍物的类别；

基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合，其中所述中间点云是基于所述连续多帧图像通过预处理方式得到的；

对所述点云集合进行聚类分析，得到多个聚类结果，其中所述聚类结果包括每个障碍物对应的第二点云；

将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云。

3.根据权利要求2所述的方法，其特征在于，所述将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云，包括：

针对任意一个第二点云，将所述任意一个第二点云依次和每个所述障碍物对应的第一点云进行比较，确定与所述第二点云相似度最高的第一点云；

将所述第二点云中与相似度最高的所述第一点云中坐标相同的点标记为与所述相似度最高的第一点云相同的类别，将与相似度最高的所述第一点云中坐标不同的点标记为通用类别。

4.根据权利要求2所述的方法，其特征在于，所述将所述第二点云和每个所述第一点云进行比较，根据比较结果确定所述每个障碍物对应的目标点云之后，所述方法还包括：

对所述障碍物对应的目标点云进行筛选，去除所述障碍物对应的目标点云中点的数量小于预设值的障碍物对应的目标点云。

5.根据权利要求2所述的方法，其特征在于，所述基于中间点云中与所述第一点云的坐标相同的点云，得到所述点云集合之前，所述方法还包括：

获取连续多帧图像，其中每帧图像包括彩色图像和深度图像；

对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云；

所述基于连续多帧图像，通过语义分割方式得到分割结果，包括：

将所述连续多帧图像包括的所述彩色图像和所述深度图像输入语义分割模型，以得到分割结果。

6.根据权利要求5所述的方法，其特征在于，所述对所述连续多帧图像包括的所述深度图像进行预处理，得到中间点云，包括：

将深度图像转换为目标坐标系下的点云信息；

对所述点云信息进行体素下采样，得到采样后的点云信息；

确定所述采样后的点云信息中在各个维度坐标为极值的点作为目标点；所述极值包括最大值和最小值；

对所述目标点确定的区域进行去噪处理，得到所述连续多帧图像的障碍物对应的中间点云。

7.根据权利要求1所述的方法，其特征在于，确定所述障碍物的状态之后，所述方法还包括：

对所述动态的障碍物进行运动估计，得到所述动态的障碍物的运动速度。

8.根据权利要求1所述的方法，其特征在于，针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的点云和前一帧图像的每个障碍物对应的点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离之后，所述方法还包括：

根据所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离构建相似距离矩阵；所述相似距离矩阵中每一列为所述后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

计算所述相似距离矩阵中的每一列的最小值；

将所述最小值作为所述最短的距离。

9.根据权利要求1所述的方法，其特征在于，所述根据比较结果，确定所述障碍物的状态，包括：

若所述比较结果显示所述最短的距离小于等于所述预设距离，则所述障碍物的状态为静态；

若所述比较结果显示所述最短的距离大于所述预设距离，则所述障碍物的状态为动态。

10.一种障碍物检测装置，其特征在于，所述装置包括：

获取模块，用于获取包含目标场景的连续多帧图像，根据所述连续多帧图像中障碍物的点云簇进行聚类分析，得到所述障碍物对应的目标点云；其中，所述障碍物的点云簇是通过对所述连续多帧图像进行语义分割得到的；

距离确定模块，用于针对任一相邻两帧图像中后一帧图像的每个障碍物，基于后一帧图像的所述障碍物对应的目标点云和前一帧图像的每个障碍物对应的目标点云，确定后一帧图像的所述障碍物与前一帧图像的每个障碍物之间的距离；

比较模块，用于将确定的距离中最短的距离与预设距离进行比较，根据比较结果，确定所述障碍物的状态，其中所述状态包括动态和静态。

11.一种电子设备，其特征在于，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任何一项所述的方法。

12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序用于使计算机执行权利要求1-9任何一项所述的方法。

Images