CN114675295A - 一种障碍物判定的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种障碍物判定的方法、装置、设备及存储介质，属于车辆驾驶技术领域，可应用于港口、物流等封闭园区、或城市交通、或高速等场景，该方法为：将激光雷达和其他目标传感器对行驶空间的探测结果运用深度学习的方式进行融合，以实现对障碍物的确认，实施过程中，针对激光雷达获取到的激光点云，不仅从点云级别进行是否为噪点的判定，还从全局级别来确定行驶空间的形态特征，并进行点位是否符合障碍物时序特征的判别，通过目标传感器确定行驶空间中是否有障碍物的感知特征，通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物，提升了判定行驶空间中是否有障碍物的准确性。

Description

一种障碍物判定的方法、装置、设备及存储介质

技术领域

本申请涉及车辆驾驶技术领域，提供了一种障碍物判定的方法、装置、设备及存储介质。

背景技术

目前，激光雷达在自动驾驶领域有着非常广泛的应用，很多的无人驾驶系统都配备了激光雷达。在车辆的行驶过程中，激光雷达输出的是3D空间物体的点的位置以及强度等反馈信息，而3D空间中准确的障碍物位置反馈信息对于无人驾驶系统起着至关重要的作用，所以无人驾驶系统对激光雷达的依赖很大。

但是，行驶过程中可能会遇到的雨、雪、雾等可以忽略的障碍物会在激光雷达返回的激光点云中形成噪点(即对行驶过程来说可以忽略的障碍物)，车辆在行驶过程中可能也会将该噪点误判为一种障碍物，并控制行车系统紧急刹车等，进而给乘客带来不适的体验。

目前，对行车过程中的上述噪点进行处理的方法一般有两种：一种是对激光噪点进行过滤，即根据激光雷达返回来的数据波长、强度等信息，在激光雷达内部进行噪点过滤，并进一步对点云进行逐点级别的分类过滤；另一种是分析点云的空间形态，根据局部的点云信息，对点云进行分类过滤。显然，上述对噪点进行处理的过程仅是分析的激光点云的局部信息，因此，容易将噪点等判定为真实的障碍物，进而影响车辆的正常行驶。

发明内容

本申请实施例提供一种障碍物判定的方法、装置、设备及存储介质，用以提升对行驶空间的障碍物进行判定的准确性。

本申请提供的具体技术方案如下：

第一方面，本申请实施例提供了一种障碍物判定的方法，包括：

基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的；

基于激光点云中位于地面外的点位，确定行驶空间的形态特征；

若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征；

基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，目标传感器为装载在车辆上的传感器；

通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物。

可选地，基于点云特征模型，确定激光点云中的点位为噪点的判定特征，包括：

针对激光点云中的每一个点位，利用点云特征模型对点位为噪点的概率进行判断，若点位为噪点的概率小于历史概率，则判定点位不是噪点；若点位为噪点的概率不小于历史概率，则判定点位为噪点，将点位判定为噪点的结果作为判定特征；

其中，点云特征模型是根据历史样本数据训练得到的，历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

可选地，基于激光点云中位于地面外的点位，确定行驶空间的形态特征，包括：

基于各个点位在激光点云中的位置信息，从激光点云中提取位于地面外的点位；

对提取出来的地面外的点位进行聚类，得到未知障碍物，并将聚类得到的未知障碍物作为行驶空间的形态特征。

可选地，若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征，包括：

确定判定特征对应的第一时序，其中，第一时序包括点位判定为噪点的判定时刻；

确定行驶空间的形态特征对应的第二时序，以及，基于判定为噪点的点位的点位标识确定行驶空间的形态特征对应的跟踪特征，其中，第一时序与第二时序部分重叠，且，第二时序的时长大于第一时序的时长；

若在第一时序对应的连续时长内，判定特征对应的判定时刻符合预设的障碍物时序特征，且，在第二时序对应的连续时长内，行驶空间的形态特征符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位基于在激光点云中的位置进行整合，得到行驶空间的动态特征，其中，连续时长是基于点位对应的判定时刻与预设的时间波动阈值确定的，每一个时刻对应的预设的障碍物时序特征包括跟踪特征。

可选地，基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，包括：

获取装载在车辆上的目标传感器的类别信息；

针对每一种类别信息的目标传感器执行：获取目标传感器对行驶空间进行感知后的结果数据，若结果数据大于或者等于目标传感器的置信度，则确定行驶空间中有障碍物；若结果数据小于目标传感器的置信度，则确定行驶空间中没有障碍物，其中，置信度是基于目标传感器对行驶空间进行感知后的先验数据与目标传感器的类别信息确定的。

可选地，通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物之前，还包括：

将样本数据中的原始行驶空间的动态特征和感知特征输入到原始深度学习模型中，以确定原始行驶空间中是否存在障碍物，若本次确定的原始行驶空间中是否存在障碍物的训练结果与预期结果不同，则对原始深度学习模型的参数进行调整，并继续将样本数据中的行驶空间的动态特征和感知特征输入到参数调整后的原始深度学习模型中，直到得到的原始行驶空间中是否存在障碍物的训练结果与预期结果相同，将训练结果与预期结果相同的原始深度学习模型作为深度学习模型；

其中，行驶空间的动态特征携带激光雷达的类型信息，感知特征携带对应的目标传感器的类别信息，原始深度学习模型是基于类型信息的激光雷达预先获取的动态特征与至少一种类别信息的目标传感器预先获取的感知特征进行训练的。

第二方面，本申请实施例还提供了一种障碍物判定的装置，包括：

噪点确定单元，用于基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的；

形态确定单元，用于基于激光点云中位于地面外的点位，确定行驶空间的形态特征；

时序判别单元，用于若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征；

传感器确定单元，用于基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，目标传感器为装载在车辆上的传感器；

障碍物确定单元，用于通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物。

可选地，基于点云特征模型，确定激光点云中的点位为噪点的判定特征，噪点确定单元用于：

针对激光点云中的每一个点位，利用点云特征模型对点位为噪点的概率进行判断，若点位为噪点的概率小于历史概率，则判定点位不是噪点；若点位为噪点的概率不小于历史概率，则判定点位为噪点，将点位判定为噪点的结果作为判定特征；

其中，点云特征模型是根据历史样本数据训练得到的，历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

可选地，基于激光点云中位于地面外的点位，确定行驶空间的形态特征，形态确定单元用于：

基于各个点位在激光点云中的位置信息，从激光点云中提取位于地面外的点位；

对提取出来的地面外的点位进行聚类，得到未知障碍物，并将聚类得到的未知障碍物作为行驶空间的形态特征。

可选地，若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征，时序判别单元用于：

确定判定特征对应的第一时序，其中，第一时序包括点位判定为噪点的判定时刻；

确定行驶空间的形态特征对应的第二时序，以及，基于判定为噪点的点位的点位标识确定行驶空间的形态特征对应的跟踪特征，其中，第一时序与第二时序部分重叠，且，第二时序的时长大于第一时序的时长；

若在第一时序对应的连续时长内，判定特征对应的判定时刻符合预设的障碍物时序特征，且，在第二时序对应的连续时长内，行驶空间的形态特征符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位基于在激光点云中的位置进行整合，得到行驶空间的动态特征，其中，连续时长是基于点位对应的判定时刻与预设的时间波动阈值确定的，每一个时刻对应的预设的障碍物时序特征包括跟踪特征。

可选地，基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，传感器确定单元用于：

获取装载在车辆上的目标传感器的类别信息；

针对每一种类别信息的目标传感器执行：获取目标传感器对行驶空间进行感知后的结果数据，若结果数据大于或者等于目标传感器的置信度，则确定行驶空间中有障碍物；若结果数据小于目标传感器的置信度，则确定行驶空间中没有障碍物，其中，置信度是基于目标传感器对行驶空间进行感知后的先验数据与目标传感器的类别信息确定的。

可选地，通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物之前，还包括：

将样本数据中的原始行驶空间的动态特征和感知特征输入到原始深度学习模型中，以确定原始行驶空间中是否存在障碍物，若本次确定的原始行驶空间中是否存在障碍物的训练结果与预期结果不同，则对原始深度学习模型的参数进行调整，并继续将样本数据中的行驶空间的动态特征和感知特征输入到参数调整后的原始深度学习模型中，直到得到的原始行驶空间中是否存在障碍物的训练结果与预期结果相同，将训练结果与预期结果相同的原始深度学习模型作为深度学习模型；

其中，行驶空间的动态特征携带激光雷达的类型信息，感知特征携带对应的目标传感器的类别信息，原始深度学习模型是基于类型信息的激光雷达预先获取的动态特征与至少一种类别信息的目标传感器预先获取的感知特征进行训练的。

第三方面，一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行存储器中存储的可执行指令，以实现如第一方面任一项的方法。

第四方面，一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。

综上，本申请实施例中，提供的一种障碍物判定的方法、装置、设备及存储介质，该方法包括：将激光雷达和其他至少一种目标传感器对行驶空间的探测结果运用深度学习的方式进行融合，以实现对行驶空间中是否有障碍物的确认，具体实施过程中，针对激光雷达获取到的激光点云，不仅从点云级别进行是否为噪点的判定，还会从全局级别来确定行驶空间的形态特征，上述激光点云的处理结果会进行点位是否符合障碍物时序特征的判别，同时，通过目标传感器确定行驶空间中是否有障碍物的感知特征，以及，通过对行驶空间的动态特征和至少一种感知特征进行判别，来最终确定行驶空间中是否存在障碍物，上述将激光雷达和目标传感器对行驶空间的探测结果进行融合的方式，提升了判定行驶空间中是否有障碍物的准确性。

附图说明

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种障碍物判定方法的整体流程示意图；

图3为本申请实施例提供的基于地面外的点位确定行驶空间的形态特征的流程示意图；

图4为本申请实施例提供的确定行驶空间的动态特征的流程示意图；

图5为本申请实施例提供的基于目标传感器确定行驶空间是否有障碍物的流程示意图；

图6为本申请实施例提供的一种障碍物判定的装置的逻辑架构示意图；

图7为本申请实施例提供的一种电子设备的实体架构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。

本申请实施例中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多，本申请实施例不做限制。

本申请技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。

下面先对本申请实施例中涉及的部分概念进行介绍。

1、激光雷达：是向目标发射探测信号，并将接收到的从目标反射回来的信号与发射信号进行比较，从而获得目标的有关信息，例如，目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别。

2、摄像头：是一种视频输入设备，具有视频摄像和静态图像捕捉等基本功能，镜头采集图像后，由摄像头内的感光组件及控制组件对图像进行处理，并进一步转换成电脑所能识别的数字信号，经由并行端口或通用串行总线(Universal Serial BUS，USB)等连接输入到电脑后由软件再进行图像还原。

3、毫米波雷达：是工作在毫米波波段探测的雷达，具有体积小、质量轻和空间分辨率高的特点。毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。另外，毫米波雷达能识别很小的目标，而且能同时识别多个目标，具有成像能力强、体积小、机动性和隐蔽性好等特点。

4、声呐传感器：利用超声波的特性研制而成的传感器，工作过程中向外发出声波信号，当遇到物体后上述声波信号会反射回来相应的信号，依据反射时间及波型去计算目标物体的距离及位置。

5、随机森林：指的是利用多棵树对样本进行训练并预测的一种分类器，在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

6、XGBoost：是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。XGBoost在训练之前会根据特征对数据进行排序，然后保存到块结构中，并在每个块结构中都采用了稀疏矩阵存储格式进行存储，后面的训练过程中会重复地使用块结构，从而大大减小了计算量。

7、随机抽样一致算法：采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数，在该算法中，假设数据中包含正确数据和异常数据。正确数据记为内点，异常数据记为外点。同时该算法也假设给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

前文已提及，在车辆的行驶过程中，雨、雪、雾等会在激光雷达获取的激光点云中形成噪点，在上述噪点被判定为是障碍物的情况下，会触发车辆紧急刹车等的操作，其他对噪点进行处理的方式包括在激光雷达内部进行噪点过滤和根据局部的点云信息进行分类过滤。然而，上述对噪点进行处理的方式，容易将噪点这一可忽略的障碍物判定为真实的障碍物，从而影响车辆的正常行驶。

为解决上述问题，本申请实施例提供一种障碍物判定的方法，结合激光雷达和其他传感器(即至少一种目标传感器)来综合判定行驶空间中是否存在障碍物，具体的，对激光雷达获取的激光点云从点级别和形态级别两个方面来进行是否存在障碍物的分析，从而得到行驶空间的动态特征，进一步的，将上述动态特征和目标传感器的感知特征进行判别，以最终确定行驶空间中是否存在障碍物。

参阅图1所示，为本申请一个实施例对应的应用场景示意图。

如图1所示，该应用场景中可以包括一辆行驶在道路上的车辆，该车辆上安装有激光雷达和至少一个目标传感器，其中，上述目标传感器可以是摄像头、毫米波雷达、激光雷达、声呐传感器中的一种或几种。在车辆的行驶过程中，行驶空间用于表征车辆在行驶过程中视野对应的区域(即在任一方向上通过上述传感器中的一种或多种对道路进行感知获得的空间)，在车辆的行驶过程中随时可能出现障碍物，这里的障碍物包括但不限于道路中的其他车辆、物体以及道路两侧的可能会影响车辆行驶的物体。

在图1示出的应用场景中，车辆可能会受到特殊天气(例如，扬尘、雨、雾等)的影响，在应用激光雷达进行探测的情况下，上述特殊天气可能会相应的在激光点云中形成噪点。通常情况下，上述噪点对于车辆的行驶而言是一种可忽略的障碍物，但若仅依靠激光雷达获取的激光点云所显示的结果，则很可能将上述噪点判定为真实影响车辆行驶的阻挡物(即障碍物)，进而引发车辆紧急刹车等的操作，为此，本申请实施例中，结合车辆上安装的激光雷达和至少一个目标传感器的探测结果来进行是否为障碍物的综合判定，下面进行具体介绍。

参阅图2所示，本申请实施例中，障碍物判定的具体流程如下：

由于，在车辆上装载有激光雷达，在车辆的行驶过程中，激光雷达会对行驶空间进行探测，并得到返回的探测结果即激光点云。本申请实施例中分别从点级别和全局级别对激光雷达得到的激光点云进行处理。

步骤201：基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的。

需要说明的是，在对激光点云进行点级别的处理之前，需要在激光雷达内部设置点云特征模型。其中，点云特征模型是根据历史样本数据训练得到的，历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

即在对上述点云特征模型进行训练的过程中，输入历史样本数据，上述历史样本数据为通过激光雷达获得的激光点云，并且，上述历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，例如，点位A判定为噪点的历史概率为X1，点位B判定为噪点的历史概率为X2等等。

在从点级别对激光雷达得到的激光点云进行处理的过程中，为了使点云特征模型在使用过程中获得更加准确的判定特征，第一，训练过程中激光点云中的各个点位的点位特征与使用过程中的点位特征一致，例如，点位的分布形状、点位的密集程度等；第二，训练过程中使用的激光雷达的类型与使用过程中的激光雷达的类型一致。通常，上述历史概率的数值大小与各个点位的点位特征和激光雷达的类型信息相关。

具体的，点云特征模型可以为上述随机森林或者XGBoost中的任意一种。

实施过程中，针对激光点云中的每一个点位，利用点云特征模型对点位为噪点的概率进行判断，若点位为噪点的概率小于历史概率，则判定点位不是噪点。若点位为噪点的概率不小于历史概率，则判定点位为噪点，将点位判定为噪点的结果作为判定特征。

例如，当上述点云特征模型为随机森林时，随机森林以决策树的形式对激光点云中的每一个点位是否为噪点的概率进行判断，例如，针对A点位，通过随机森林计算出该点位为噪点的概率为a％，进一步比较上述概率a％是否小于历史概率b％，若a％小于b％，则判定点位A不是噪点；若a％不小于b％，则判定点位A是噪点，并将上述判定为噪点的结果(即点位A，a％)作为判定特征。

又例如，当上述点云特征模型为XGBoost时，会以分布式梯度增强库的形式对激光点云中的每一个点位是否为噪点的概率进行判断，例如，针对C点位，通过随机森林计算出该点位为噪点的概率为c％，进一步比较上述概率c％是否小于历史概率d％，若c％小于d％，则判定点位C不是噪点；若c％不小于d％，则判定点位C是噪点，并将上述判定为噪点的结果(即点位C，c％)作为判定特征。

步骤202：基于激光点云中位于地面外的点位，确定行驶空间的形态特征。

下面介绍从全局级别对激光雷达得到的激光点云进行处理的过程，在车辆的行驶过程中，若激光点云中的点位均落在地面上，即所有点位的显示高度均为零，则说明行驶空间中没有障碍物，当前的行驶空间中仅存在供车辆行驶的路面。

本申请实施例中，基于激光点云中位于地面外的点位，确定行驶空间的形态特征，参阅图3所示，具体包括：

步骤2021：基于各个点位在激光点云中的位置信息，从激光点云中提取位于地面外的点位。

实施过程中，确定激光点云中的各个点位的位置信息。例如，可采用方式(1)先获取激光点云中的某一个点位的实际位置信息，然后，获取其他点位与上述某一个点位之间的相对位置信息，并根据上述实际位置信息与相对位置信息来确定各个点位的位置信息；或者方式(2)获取某一个参考面的真实位置信息，例如，地面，然后确定激光点云中的各个点位相对于该参考面的比较位置信息，通过上述方式(1)、方式(2)或者其他方式来确定各个点位在激光点云中的位置信息。

在确定了各个点位的位置信息后，将各个位置信息与地面表征的位置进行比对，若某个点位的位置信息超出了地面表征的位置，则从激光点云中提取出该位于地面外的点位。或者，可采用上述法向量法或者随机抽样一致算法来提取激光点云中位于地面上的点位，这样，激光点云中剩余的点位即为地面外的点位。

步骤2022：对提取出来的地面外的点位进行聚类，得到未知障碍物，并将聚类得到的未知障碍物作为行驶空间的形态特征。

由于，行驶空间中即将降落到车窗的雨滴、行驶空间中的位于地面上的路标等等都会在上述处理过程中被提取出来作为地面外的点位。因此，在提取到位于地面外的所有点位后，继续对点位进行聚类，即获取上述所有点位表征的障碍物类别，由点位聚类的过程得到未知障碍物，进一步将聚类得到的未知障碍物作为行驶空间的形态特征。

需要补充说明的是，上述行驶空间的形态特征只是针对激光点云的当前获取时刻存在的，在下一个激光点云的获取时刻还需要采用上述方法重新提取并聚类地面外的点位。

步骤203：若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征。

考虑到雨滴、扬尘等因素形成的噪点可能仅会持续一小段时间，即这种噪点对车辆行驶来讲是可忽略的障碍物，而上述步骤获得的点位为噪点的判定特征和基于地面外的点位确定的形态特征都不具备时序性。为此，在实施过程中，可以引入跟踪滤波器，进而根据跟踪滤波器的时序特征对上述判定特征和形态特征进行进一步的判定，即利用跟踪滤波器对判定特征和行驶空间的形态特征进行时序判别，具体步骤参阅图4所示。

步骤2031：定判定特征对应的第一时序，其中，第一时序包括点位判定为噪点的判定时刻。

为了衡量点级别的噪点是否具备时序持续性，相应的在实施过程中，采用例如跟踪滤波器来确定判定特征对应的第一时序，通常，上述第一时序是一段连续的时间，并且，在该第一时序中包括点位判定为噪点的判定时刻，即上述第一时序是包括噪点判定时刻的一段时间。

例如，在点位E判定为噪点的判定时刻是8:20的情况下，跟踪滤波器Z可根据预配置将上述第一时序设定为8:00-8:40。

需要说明的是，常见的跟踪滤波器为卡尔曼滤波器、扩展卡尔曼滤波器或者无迹卡尔曼滤波器中的一种。

步骤2032：确定行驶空间的形态特征对应的第二时序，以及，基于判定为噪点的点位的点位标识确定行驶空间的形态特征对应的跟踪特征，其中，第一时序与第二时序部分重叠，且，第二时序的时长大于第一时序的时长。

相应的，为了衡量全局级别的行驶空间的形态特征是否具备时序持续性，在实施过程中，可以利用与前文提及的同一个跟踪滤波器，或者，与前文提及的跟踪滤波器相同型号的跟踪滤波器来确定行驶空间的形态特征对应的第二时序。同样的，上述第二时序也是一段连续的时间，即通过跟踪滤波器确定地面外的点位聚类成未知障碍物的持续时长。例如，地面外的点位A、N和M聚类成未知障碍物的第二时序为8:00-9:00。

为了将激光点位进行点级别和全局级别的对应，该跟踪滤波器会提取判定为噪点的点位的点位标识，并进一步根据该点位标识来确定行驶空间的形态特征对应的跟踪特征，通常，该跟踪特征包括形态特征的轮廓及其对应的出现时刻等等。

同样的，为了将激光点位进行点级别和全局级别的对应，上述第一时序与该第二时序部分重叠，并且，考虑到全局级别的点位处理过程较繁琐，这里的第二时序的时长大于上述第一时序的时长。

步骤2033：若在第一时序对应的连续时长内，判定特征对应的判定时刻符合预设的障碍物时序特征，且，在第二时序对应的连续时长内，行驶空间的形态特征符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位基于在激光点云中的位置进行整合，得到行驶空间的动态特征，其中，连续时长是基于点位对应的判定时刻与预设的时间波动阈值确定的，每一个时刻对应的预设的障碍物时序特征包括跟踪特征。

需要说明的是，在进行动态特征的判定过程中，会预设障碍物时序特征，例如，障碍物的出现时长超过1分钟以及障碍物的形态在30秒内没有变化等特征。实施过程中，在第一时序和第二时序各自对应的连续时长内分别针对判定特征和形态特征进行判定。上述第一时序和第二时序对应的连续时长的具体数值都是根据点位对应的判定时刻与预设的时间波动阈值确定的，即第一时序和第二时序的具体起始时刻是由判定时刻与预设的时间波动阈值共同决定的，上述时间波动阈值的数值可根据使用场景进行灵活设定。

实施过程中，只有在第一时序对应的连续时长内上述判定特征对应的判定时刻符合预设的障碍物时序特征，并且，在第二时序对应的连续时长内上述行驶空间的形态特征也符合预设的障碍物时序特征的情况下，才会去获得行驶空间的动态特征，即将判定特征对应的点位和形态特征对应的点位基于在激光点云中的位置进行整合，具体的，若在激光点云中的同一个位置处存在判定特征对应的点位和形态特征对应的点位，则将其中的任意一个点位去掉即可；若在激光点云中的同一个位置处，判定特征对应的点位和形态特征对应的点位部分重合，则取判定特征对应的点位和形态特征对应的点位的并集；若判定特征对应的点位和形态特征对应的点位在预设的整合范围内，但不重叠，则保留判定特征对应的点位和形态特征对应的点位；若判定特征对应的点位和形态特征对应的点位不在预设的整合范围内，则删除判定特征对应的点位和形态特征对应的点位。

例如，预设的障碍物时序特征为障碍物的出现时长超过20秒以及障碍物的形态在10秒内没有变化，则在第一时序对应的连续时长(假设为60秒)内，检测判定特征连续出现的时长是否超过20秒，若判定特征对应的判定时刻为8:20:10到8:20:40，即存在超过20秒的情况，则分别获取8:20:10对应的判定特征对应的点位和8:20:40对应的判定特征对应的点位。若行驶空间的形态特征符合在10秒内没有变化的规则，则获取形态特征对应的点位，假设，形态特征对应的点位对应的时长为8:20:10到8:20:21，假设，在8:20:10到8:20:21这段时间内，判定特征对应的点位和形态特征对应的点位重合，则以去掉上述判定特征对应的点位的方式进行整合，将形态特征对应的点位作为行驶空间的动态特征。

步骤204：基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，目标传感器为装载在车辆上的传感器。

需要说明的是，在车辆上还装载有至少一种目标传感器，具体的目标传感器可以为上述摄像头、毫米波雷达和声呐传感器中的一种或者几种。

参阅图5所示，通过目标传感器确定行驶空间中是否有障碍物的步骤，具体包括：

步骤2041：获取装载在车辆上的目标传感器的类别信息。

考虑到实际装载在车辆上的目标传感器的类别不确定，为了准确获得行驶空间是否有障碍物的结果，实施过程中，先要获取装载在车辆上的目标传感器的类别信息，即确定目标传感器是上述摄像头、毫米波雷达和声呐传感器中的哪一种。

步骤2042：针对每一种类别信息的目标传感器执行：获取目标传感器对行驶空间进行感知后的结果数据，若结果数据大于或者等于目标传感器的置信度，则确定行驶空间中有障碍物。若结果数据小于目标传感器的置信度，则确定行驶空间中没有障碍物，其中，置信度是基于目标传感器对行驶空间进行感知后的先验数据与目标传感器的类别信息确定的。

在确定了装载在车辆上的目标传感器的类别信息后，预先获取该类别信息的目标传感器的置信度，该置信度用于表征目标传感器确定行驶空间有障碍物的概率，通常不同类别信息的目标传感器对应的置信度也不同，置信度的获取是分别采用不同类别信息的目标传感器预先对行驶空间进行感知得到先验数据，在先验数据的基础上获得与类别信息相匹配的判定为障碍物的概率值。

针对每一种类别信息的目标传感器都执行以下操作：在车辆的行驶过程中，通过目标传感器对行驶空间进行感知并获得结果数据，结果数据具体包括：通过摄像头获取行驶空间的图像数据、通过毫米波雷达探测行驶空间的目标数据、通过声呐传感器发出的声波信号获取行驶空间的目标物体等等。

在得到结果数据之后，将该结果数据与同种类别信息的目标传感器的置信度进行比对，如果结果数据大于或者等于目标传感器的置信度，即目标传感器对行驶空间进行感知后的结果数据大于确定有障碍物的概率，则确定行驶空间中有障碍物，若结果数据小于目标传感器的置信度，即目标传感器对行驶空间进行感知后的结果数据小于确定有障碍物的概率，则确定行驶空间中没有障碍物。

步骤205：通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物。

实施过程中，在通过激光雷达得到行驶空间的动态特征，以及，通过目标传感器得到至少一种感知特征后，将上述动态特征和感知特征进行判别，以确定行驶空间中是否存在障碍物。优选地，将上述动态特征和感知特征输入到深度学习模型中进行判别。

实施过程中，在通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物之前，还包括：将样本数据中的原始行驶空间的动态特征和感知特征输入到原始深度学习模型中，以确定原始行驶空间中是否存在障碍物，若本次确定的原始行驶空间中是否存在障碍物的训练结果与预期结果不同，则对原始深度学习模型的参数进行调整，并继续将样本数据中的行驶空间的动态特征和感知特征输入到参数调整后的原始深度学习模型中，直到得到的原始行驶空间中是否存在障碍物的训练结果与预期结果相同，将训练结果与预期结果相同的原始深度学习模型作为深度学习模型。

显然，本申请实施例中，原始深度学习模型的训练过程是以样本数据中的原始行驶空间的动态特征和感知特征为输入的，在此基础上，比较障碍物的训练结果与预期结果是否相同，相同则继续训练，不同则调整模型的参数后继续训练，直到最新得到的训练结果与预期结果相同后停止训练，并将原始深度学习模型作为深度学习模型。

需要说明的是，虽然会通过激光雷达对行驶空间进行探测获得激光点云，以及通过目标传感器获得对行驶空间进行感知后的原始感知数据，但上述激光点云和结果数据这些原始数据不会直接输入到深度学习模型中进行训练和学习。而是，由激光雷达对激光点云进行初步处理获得动态特征这一中间结果，以及，由目标传感器对上述原始感知数据进行初步处理后获得是否有障碍物的感知特征这一中间结果，再将上述中间结果即动态特征和感知特征输入到深度学习模型中进行判别。

另外，行驶空间的动态特征携带激光雷达的类型信息，感知特征携带对应的目标传感器的类别信息，原始深度学习模型是基于类型信息的激光雷达预先获取的动态特征与至少一种类别信息的目标传感器预先获取的感知特征进行训练的。

即为了保证判定结果的准确性，深度学习模型在训练过程与使用过程中，所对应的激光雷达的类型信息一致，所对应的目标传感器的类别信息也一致。这样，在实施过程中，将实时获取到的行驶空间的动态特征和至少一种感知特征输入到深度学习模型中进行判别，若判别结果与预期结果相同，则确定行驶空间中存在障碍物；若判别结果与预期结果不同，则确定行驶空间中不存在障碍物。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

参阅图6所示，本申请实施例中提供一种障碍物判定的装置，包括：

噪点确定单元601，用于基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的；

形态确定单元602，用于基于激光点云中位于地面外的点位，确定行驶空间的形态特征；

时序判别单元603，用于若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征；

传感器确定单元604，用于基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，目标传感器为装载在车辆上的传感器；

障碍物确定单元605，用于通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物。

可选地，基于点云特征模型，确定激光点云中的点位为噪点的判定特征，噪点确定单元601用于：

针对激光点云中的每一个点位，利用点云特征模型对点位为噪点的概率进行判断，若点位为噪点的概率小于历史概率，则判定点位不是噪点；若点位为噪点的概率不小于历史概率，则判定点位为噪点，将点位判定为噪点的结果作为判定特征；

其中，点云特征模型是根据历史样本数据训练得到的，历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

可选地，基于激光点云中位于地面外的点位，确定行驶空间的形态特征，形态确定单元602用于：

基于各个点位在激光点云中的位置信息，从激光点云中提取位于地面外的点位；

对提取出来的地面外的点位进行聚类，得到未知障碍物，并将聚类得到的未知障碍物作为行驶空间的形态特征。

可选地，若判定特征和行驶空间的形态特征均符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位进行整合，得到行驶空间的动态特征，时序判别单元603用于：

确定判定特征对应的第一时序，其中，第一时序包括点位判定为噪点的判定时刻；

确定行驶空间的形态特征对应的第二时序，以及，基于判定为噪点的点位的点位标识确定行驶空间的形态特征对应的跟踪特征，其中，第一时序与第二时序部分重叠，且，第二时序的时长大于第一时序的时长；

若在第一时序对应的连续时长内，判定特征对应的判定时刻符合预设的障碍物时序特征，且，在第二时序对应的连续时长内，行驶空间的形态特征符合预设的障碍物时序特征，则将判定特征对应的点位和形态特征对应的点位基于在激光点云中的位置进行整合，得到行驶空间的动态特征，其中，连续时长是基于点位对应的判定时刻与预设的时间波动阈值确定的，每一个时刻对应的预设的障碍物时序特征包括跟踪特征。

可选地，基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，传感器确定单元604用于：

获取装载在车辆上的目标传感器的类别信息；

针对每一种类别信息的目标传感器执行：获取目标传感器对行驶空间进行感知后的结果数据，若结果数据大于或者等于目标传感器的置信度，则确定行驶空间中有障碍物；若结果数据小于目标传感器的置信度，则确定行驶空间中没有障碍物，其中，置信度是基于目标传感器对行驶空间进行感知后的先验数据与目标传感器的类别信息确定的。

可选地，通过对行驶空间的动态特征和至少一种感知特征进行判别，确定行驶空间中是否存在障碍物之前，还包括：

将样本数据中的原始行驶空间的动态特征和感知特征输入到原始深度学习模型中，以确定原始行驶空间中是否存在障碍物，若本次确定的原始行驶空间中是否存在障碍物的训练结果与预期结果不同，则对原始深度学习模型的参数进行调整，并继续将样本数据中的行驶空间的动态特征和感知特征输入到参数调整后的原始深度学习模型中，直到得到的原始行驶空间中是否存在障碍物的训练结果与预期结果相同，将训练结果与预期结果相同的原始深度学习模型作为深度学习模型；

其中，行驶空间的动态特征携带激光雷达的类型信息，感知特征携带对应的目标传感器的类别信息，原始深度学习模型是基于类型信息的激光雷达预先获取的动态特征与至少一种类别信息的目标传感器预先获取的感知特征进行训练的。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

参阅图7所示，本申请实施例提供一种电子设备，包括：存储器701，用于存储可执行指令；处理器702，用于读取并执行存储器中存储的可执行指令，并执行上述第一方面的任意一种方法。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面任一项所述的方法。

综上所述，本申请实施例中，提供的一种障碍物判定的方法、装置、设备及存储介质，该方法包括：将激光雷达和其他至少一种目标传感器对行驶空间的探测结果运用深度学习的方式进行融合，以实现对行驶空间中是否有障碍物的确认，具体实施过程中，针对激光雷达获取到的激光点云，不仅从点云级别进行是否为噪点的判定，还会从全局级别来确定行驶空间的形态特征，上述激光点云的处理结果会进行点位是否符合障碍物时序特征的判别，同时，通过目标传感器确定行驶空间中是否有障碍物的感知特征，以及，通过对行驶空间的动态特征和至少一种感知特征进行判别，来最终确定行驶空间中是否存在障碍物，上述运用深度学习模型将激光雷达和目标传感器对行驶空间的探测结果进行融合的方式，提升了判定行驶空间中是否有障碍物的准确性。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品系统。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品系统的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品系统的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种障碍物判定的方法，其特征在于，所述方法包括：

基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，所述激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的，所述行驶空间用于表征车辆在行驶过程中视野对应的区域；

基于所述激光点云中位于地面外的点位，确定行驶空间的形态特征；

若所述判定特征和所述行驶空间的形态特征均符合预设的障碍物时序特征，则将所述判定特征对应的点位和所述形态特征对应的点位进行整合，得到行驶空间的动态特征；

基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，所述目标传感器为装载在车辆上的传感器；

通过对所述行驶空间的动态特征和至少一种所述感知特征进行判别，确定所述行驶空间中是否存在障碍物。

2.如权利要求1所述的方法，其特征在于，所述基于点云特征模型，确定激光点云中的点位为噪点的判定特征，包括：

针对所述激光点云中的每一个点位，利用点云特征模型对所述点位为噪点的概率进行判断，若所述点位为噪点的概率小于历史概率，则判定所述点位不是噪点；若所述点位为噪点的概率不小于历史概率，则判定所述点位为噪点，将所述点位判定为噪点的结果作为所述判定特征；

其中，所述点云特征模型是根据历史样本数据训练得到的，所述历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，所述历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

3.如权利要求1所述的方法，其特征在于，所述基于所述激光点云中位于地面外的点位，确定行驶空间的形态特征，包括：

基于各个所述点位在所述激光点云中的位置信息，从所述激光点云中提取位于地面外的点位；

对提取出来的所述地面外的点位进行聚类，得到未知障碍物，并将聚类得到的所述未知障碍物作为所述行驶空间的形态特征。

4.如权利要求1所述的方法，其特征在于，所述若所述判定特征和所述行驶空间的形态特征均符合预设的障碍物时序特征，则将所述判定特征对应的点位和所述形态特征对应的点位进行整合，得到行驶空间的动态特征，包括：

确定所述判定特征对应的第一时序，其中，所述第一时序包括所述点位判定为噪点的判定时刻；

确定所述行驶空间的形态特征对应的第二时序，以及，基于判定为噪点的所述点位的点位标识确定所述行驶空间的形态特征对应的跟踪特征，其中，所述第一时序与所述第二时序部分重叠，且，所述第二时序的时长大于所述第一时序的时长；

若在所述第一时序对应的连续时长内，所述判定特征对应的所述判定时刻符合预设的障碍物时序特征，且，在所述第二时序对应的连续时长内，所述行驶空间的形态特征符合预设的障碍物时序特征，则将所述判定特征对应的点位和所述形态特征对应的点位基于在所述激光点云中的位置进行整合，得到所述行驶空间的动态特征，其中，所述连续时长是基于所述点位对应的判定时刻与预设的时间波动阈值确定的，每一个时刻对应的所述预设的障碍物时序特征包括所述跟踪特征。

5.如权利要求1所述的方法，其特征在于，所述基于至少一种目标传感器确定所述行驶空间中是否有障碍物的感知特征，包括：

获取装载在车辆上的目标传感器的类别信息；

针对每一种类别信息的所述目标传感器执行：获取所述目标传感器对行驶空间进行感知后的结果数据，若所述结果数据大于或者等于所述目标传感器的置信度，则确定所述行驶空间中有障碍物；若所述结果数据小于所述目标传感器的置信度，则确定所述行驶空间中没有障碍物，其中，所述置信度是基于所述目标传感器对行驶空间进行感知后的先验数据与所述目标传感器的所述类别信息确定的。

6.如权利要求1所述的方法，其特征在于，所述通过对所述行驶空间的动态特征和至少一种所述感知特征进行判别，确定所述行驶空间中是否存在障碍物之前，还包括：

将样本数据中的原始行驶空间的动态特征和感知特征输入到原始深度学习模型中，以确定原始行驶空间中是否存在障碍物，若本次确定的原始行驶空间中是否存在障碍物的训练结果与预期结果不同，则对所述原始深度学习模型的参数进行调整，并继续将所述样本数据中的行驶空间的动态特征和感知特征输入到参数调整后的原始深度学习模型中，直到得到的原始行驶空间中是否存在障碍物的训练结果与预期结果相同，将训练结果与预期结果相同的所述原始深度学习模型作为所述深度学习模型；

其中，所述行驶空间的动态特征携带激光雷达的类型信息，所述感知特征携带对应的所述目标传感器的类别信息，所述原始深度学习模型是基于所述类型信息的激光雷达预先获取的动态特征与至少一种类别信息的目标传感器预先获取的感知特征进行训练的。

7.一种障碍物判定的装置，其特征在于，包括：

噪点确定单元，用于基于点云特征模型，确定激光点云中的点位为噪点的判定特征，其中，所述激光点云是装载在车辆上的激光雷达对行驶空间进行探测得到的，所述行驶空间用于表征车辆在行驶过程中视野对应的区域；

形态确定单元，用于基于所述激光点云中位于地面外的点位，确定行驶空间的形态特征；

时序判别单元，用于若所述判定特征和所述行驶空间的形态特征均符合预设的障碍物时序特征，则将所述判定特征对应的点位和所述形态特征对应的点位进行整合，得到行驶空间的动态特征；

传感器确定单元，用于基于至少一种目标传感器确定行驶空间中是否有障碍物的感知特征，其中，所述目标传感器为装载在车辆上的传感器；

障碍物确定单元，用于通过对所述行驶空间的动态特征和至少一种所述感知特征进行判别，确定所述行驶空间中是否存在障碍物。

8.如权利要求7所述的装置，其特征在于，所述基于点云特征模型，确定激光点云中的点位为噪点的判定特征，噪点确定单元用于：

针对所述激光点云中的每一个点位，利用点云特征模型对所述点位为噪点的概率进行判断，若所述点位为噪点的概率小于历史概率，则判定所述点位不是噪点；若所述点位为噪点的概率不小于历史概率，则判定所述点位为噪点，将所述点位判定为噪点的结果作为所述判定特征；

其中，所述点云特征模型是根据历史样本数据训练得到的，所述历史样本数据携带行驶空间在各个点位判定为噪点的历史概率，所述历史概率是基于各个点位的点位特征和激光雷达的类型信息确定的。

9.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于读取并执行所述存储器中存储的可执行指令，以实现如权利要求1-6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行如权利要求1-6任一项所述的方法。

Images