CN111191600B - 障碍物检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种障碍物检测方法、装置、计算机设备和存储介质。所述方法包括：获取无人车所在行车区域的现场数据；现场数据包括行车区域现场图像以及深度点云图像；提取行车区域现场图像中的图像特征和深度点云图像中的雷达特征；对图像特征以及雷达特征进行特征融合，得到融合特征；基于融合特征进行行车区域内的障碍物检测。采用本方法能够提升障碍物检测的准确性。

Description

障碍物检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种障碍物检测方法、装置、计算机设备和存储介质。

背景技术

在自动驾驶中，无人驾驶的车辆会自动进行障碍物检测，通过障碍物检测，可以获得无人车周围的障碍物的具体位置、形状大小以及移动方向等信息，从而可以帮助无人车确定避障策略。

目前，主要通过安装在无人车上的不同传感器对障碍物进行识别检测，但是仅基于单一的传感器难以获取全面的检测数据，从而导致对障碍物的检测不全面不精确。

发明内容

基于此，有必要针对现有单一检测传感器获取障碍物信息不全面不精确的问题，提供一种能够提升障碍物检测准确性的障碍物检测方法、装置、计算机设备和存储介质。

一种障碍物检测方法，所述方法包括：

获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；

提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对所述图像特征以及雷达特征进行特征融合，得到融合特征；

基于所述融合特征进行所述行车区域内的障碍物检测。

在其中一个实施例中，所述图像特征以及雷达特征均包括障碍物的轮廓特征以及障碍物周围的周围环境特征；所述方法还包括：

判断所述障碍物的轮廓特征是否完整；

若否，基于所述周围环境特征对所述轮廓特征进行弥补，得到完整的轮廓特征。

在其中一个实施例中，所述方法还包括：

基于所述弥补后的轮廓特征进行特征融和，得到融合特征。

在其中一个实施例中，所述对所述图像特征以及雷达特征进行融合，得到融合特征包括：

将所述深度点云图像投射至所述行车区域现场图像，形成雷达投射图；

获取所述雷达投射图中每一像素所对应的图像特征以及雷达特征；

融合每一像素所对应图像特征及所述雷达特征，得到融合特征。

在其中一个实施例中，所述行车区域现场图像是基于图像采集设备针对所述行车区域采集的图像帧；所述深度点云图像是基于毫米波雷达针对所述行车区域内的障碍物采集的雷达三维点；所述将所述深度点云图投射至所述行车区域现场图像，形成雷达投射图包括：

确定所述毫米波雷达的空间坐标系，以及所述图像采集设备的相机坐标系；

将基于所述空间坐标系采集的深度点云图像与基于所述相机坐标系采集的行车区域现场图像转换至同一坐标系中；

将所述深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

在其中一个实施例中，所述融合特征包括障碍物的轮廓特征、空间位置特征以及速度特征；所述基于所述融合特征对所述障碍物进行目标检测包括：

基于所述障碍物的轮廓特征确定所述行车区域内的至少一个障碍物的障碍物类型；

当所述障碍物类型为目标障碍物类型时，基于所述空间位置特征以及速度特征，确定与所述目标障碍物类型对应的障碍物的空间坐标以及运动速度。

在其中一个实施例中，所述方法还包括：

根据所述障碍物的空间坐标以及运动速度生成对应的避障指令；

将所述避障策略下发至所述无人车，以使所述无人车基于所述避障指令对应行驶。

一种障碍物检测装置，所述装置包括：

特征提取模块，用于获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

特征融合模块，用于对所述图像特征以及雷达特征进行特征融合，得到融合特征；

障碍物检测模块，用于基于所述融合特征进行所述行车区域内的障碍物检测。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；

提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对所述图像特征以及雷达特征进行特征融合，得到融合特征；

基于所述融合特征进行所述行车区域内的障碍物检测。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；

提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对所述图像特征以及雷达特征进行特征融合，得到融合特征；

基于所述融合特征进行所述行车区域内的障碍物检测。

上述障碍物检测方法、装置、计算机设备和存储介质，通过获取行车区域现场图像以及深度点云图像，可以基于行车区域现场图像以及深度点云图像提取出不同层面的特征信息；通过将不同层面的特征信息进行特征融合，可以得到全面的融合特征，从而可以根据全面的融合特征对行车区域内的障碍物进行全面、精准地识别。

附图说明

图1为一个实施例中障碍物检测方法的应用场景图；

图2为一个实施例中障碍物检测方法的流程示意图；

图3为一个实施例中空间坐标系示意图；

图4为一个实施例中雷达投射示意图；

图5为一个实施例中相机坐标系示意图；

图6为一个实施例中障碍物检测装置的结构框图；

图7为另一个实施例中障碍物检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中障碍物检测方法的应用环境图。参照图1，该障碍物检测方法应用于障碍物检测系统。其中，无人车110通过网络与服务器120相连。无人车110中内置一个障碍物检测模块，或将障碍物检测模块集成于服务器120中，因此障碍物检测方法可以在终端110完成，也可以在服务器120完成。当需要进行障碍物检测时，终端110可以通过图像采集装置采集行车区域内的行车区域现场图像，以及通过毫米波雷达对行车区域进行扫描得到深度点云图像，之后根据采集到的行车区域现场图像和深度点云图像进行障碍物检测。或者终端110采集行车区域现场图像和深度点云图像后，通过网络将行车区域现场图像和深度点云图像发送至服务器120，服务器120采用上述障碍物检测方法对障碍物进行检测。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种障碍物检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：

S202，获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像。

其中，行车区域现场图像为架设在无人车上的图像采集设备采集得到的现实场景图像；深度点云图像为架设在无人车上的毫米波雷达针对行车区域进行扫描得到的深度图；深度图为毫米波雷达通过毫米波扫描的方式得到的行车区域内的障碍物的三维空间坐标数据集。

具体地，可以预先在无人车上架设图像采集设备，图像采集设备实时扫描摄像视野中的现实场景，并按照预设时间频率实时地生成图像帧，时间频率是指单位时间内所需拍摄现场图像的帧数，如5帧/秒。在对现实场景进行实时拍摄之后，图像采集设备将采集到的全部行车区域现场图像发送至障碍物检测模块进行障碍物检测。

可以预先在无人车上架设毫米波雷达传感器，毫米波雷达传感器按照预设时间频率向行车区域发射毫米波，并记录各个扫描点的毫米波从毫米波雷达传输至行车区域内的障碍物，随后经障碍物反射回毫米波雷达时所需要的时间段，根据时间段推算出障碍物表面与毫米波雷达之间的相隔距离。之后，毫米波雷达获取自身所在空间坐标系中的空间坐标，根据空间坐标以及与障碍物表面之间的相隔距离推算出障碍物所在空间坐标系中的空间坐标，并根据障碍物的空间坐标生成对应的深度点云图像。其中，空间坐标系为如图3所示的坐标系。图3为一个实施例中空间坐标系示意图。空间坐标系以毫米波雷达的中心点为原点，以与毫米波雷达水平的水平面为基准面(即为xoy平面)，以处于基准面中、经过原点并与原点纵向垂直的轴线为Y轴；以处于基准面中、经过原点并与原点横向垂直的轴线为X轴；以经过原点并与垂直基准面的轴线为Z轴。

在一个实施例中，行车区域可以划分为多个行车子区域，通过在无人车上架设多个图像采集设备，使得不同图像采集设备采集不同行车子区域的现场图像，之后，障碍物检测模块将每个图像采集设备采集的图像帧进行拼接，得到完整的行车区域现场图像。

在一个实施例中，架设毫米波雷达时，将与毫米波雷达水平的水平面和与无人车水平的水平面相互平行，从而经毫米波雷达检测出的障碍物的空间坐标值更接近真实世界中的坐标值。

S204，提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征。

其中，图像特征是指针对行车区域内的障碍物提取出的障碍物轮廓信息、障碍物周围环境信息以及障碍物颜色信息等；雷达特征是指针对行车区域内的障碍物提取出的障碍物轮廓信息、障碍物运行速度信息以及障碍物空间位置信息等。

具体地，障碍物检测模块识别行车区域现场图像中具有障碍物的障碍物区域，并根据预设的图像特征提取策略从相应区域提取如障碍物的轮廓特征、周围环境特征以及障碍物颜色特征等图像特征。其中，周围环境特征为位于障碍物预设范围内的环境信息，如当障碍物为处于花坛边的行人时，此时周围环境特征可以为花坛边沿的护花栏。预设的图像特征提取策略可以是预设的图像特征提取算法或者预先训练完成的图像特征提取机器学习模型等。图像特征提取机器学习模型可通过样本学习具备障碍物特征提取能力。机器学习模型可采用神经网络模型以及支持向量机或者逻辑回归模型等。

障碍物检测模块根据预设的点云特征提取策略从深度点云图像中提取如障碍物轮廓信息、障碍物运行速度信息以及障碍物空间位置信息等的雷达特征。其中，预设的点云特征提取策略可以是预设的雷达特征提取算法或者预先训练完成的点云特征提取机器学习模型等。

通过预训练的机器学习模型可以准确地提取行车区域现场图像中的图像特征以及深度点云图像中的雷达特征，从而后续障碍物检测模块可以基于有效的图像特征以及雷达特征进行准确地障碍物识别。

在一个实施例中，图像特征提取模型以及点云特征提取模型可以基于特定场景对已经训练完成的通用的机器学习模型进行进一步训练和优化。障碍物检测模块可以提取通用机器学习模型的模型结构和参数，并根据行车区域现场图像的图像特点以及深度点云图像的图像特点对通用机器学习模型的模型结构和参数进行改进，使得改进后的机器学习模型能够更准确地提取出图像特征以及雷达特征。

在一个实施例中，图像特征提取模型或点云特征提取模型可以是由多个子模型相互串联而形成的复杂网络模型。每个子模型都有对应的模型参数，每个子模型通过对输入的图像数据进行运算，得到运算结果。每个子模型接收上一个子模型的运算结果，并跟根据运算结果调整模型参数，直至最后一顺序的子模型完成训练。

S206，对所述图像特征以及雷达特征进行特征融合，得到融合特征。

其中，融合特征为即包含图像特征，又包含雷达特征的特征集。

具体地，障碍物识别模型将三维的深度点云图像中每一个像素对应投影至二维行车区域现场图像中，得到如图4所示的雷达投射图。图4为一个实施例中雷达投射示意图。障碍物检测模块提取雷达投射图中每一像素所对应的图像特征以及雷达特征，并将每一像素中的图像特征以及雷达特征线性叠加，得到融合特征。

例如，行车区域现场图像中具有一个针对障碍车右顶点的采集的图像像素A，深度点云图像中具有一个针对障碍车右顶点采集的点云像素B，图像特征提取模型针对图像像素点A提取出一个64维的图像特征向量，点云特征提取模型针对点云像素B提取出一个128维的雷达特征向量，之后，障碍物检测模块将基于图像像素A提取出的64维图像特征向量以基于点云像素B提取出的128维雷达特征向量进行线性叠加，得到基于障碍车右顶点确定的192维的融合特征向量。

在一个实施例中，障碍物检测模块将深度点云图像投影至基于图像特征构成的特征图像中，并将投影后的特征图像确定为雷达投射图。

在一个实施例中，障碍物检测模块可以根据图像特征与雷达特征之间的相对重要程度，将雷达投射图中每一像素所对应的图像特征以及雷达特征进行加权得加，得到融合特征。

S208，基于所述融合特征进行所述行车区域内的障碍物检测。

具体地，障碍物检测模块将融合特征以及雷达投射图输入预训练的障碍物识别模型中，障碍物识别模型对融合特征中的轮廓特征进行聚类，得到行车区域内不同障碍物的轮廓特征。障碍物识别模型根据不同障碍物的轮廓特征对障碍物进行识别，得到障碍物类型。障碍物识别模型从雷达投射图中确定包含轮廓特征的每一个像素，并根据每一个像素所所对应的空间坐标推算出障碍物距无人车之间的相隔距离。

在一个实施例中，当障碍物相对于无人车移动时，架设于无人车上的毫米波雷达传感器发射的毫米波相对于接收到的毫米波具有一定的角度偏移，点云特征提取模型可以根据偏移角度确定障碍物运行速度特征，从而障碍物识别模型可以根据障碍物运行速度特征、障碍物轮廓特征以及障碍物空间坐标对障碍物进行全面地识别。

在一个实施例中，障碍物识别模型可以为基于特定场景对已经训练完成的通用的机器学习模型进行进一步训练和优化得到的神经网络模型。

上述障碍物检测方法中，通过获取行车区域现场图像以及深度点云图像，可以基于行车区域现场图像以及深度点云图像提取出不同层面的特征信息；通过将不同层面的特征信息进行特征融合，可以得到全面的融合特征，从而可以根据全面的融合特征对行车区域内的障碍物进行全面、精准地识别。

在一个实施例中，上述障碍物识别方法还包括：判断障碍物的轮廓特征是否完整；若否，基于周围环境特征对轮廓特征进行弥补，得到完整的轮廓特征。

具体地，当特征提取模型对行车区域现场图像或深度点云图像进行卷积运算时，会对障碍物的轮廓特征以及障碍物周围的环境特征进行提取。其中，特征提取模型包括图像特征提取模型或点云特征提取模型，基于图像特征图形，可以从行车区域现场图像中提取出图像特征；基于点云特征提取模型可以从深度点云图像中提取雷达特征。

障碍物检测模块预存有多种障碍物的完整轮廓特征。障碍物检测模块对轮廓特征进行聚类，得到行车区域内针对同一个障碍物的多个特征向量。障碍物检测模块将同一障碍物的多个特征向量分别与存储的多种障碍物的完整轮廓特征记性对比，从而确定提取出的障碍物轮廓是否完整。当不完整时，障碍物检测模块可以认为此时障碍物被部分遮挡。障碍物检测模块确定被遮挡部位的区域位置，并根据区域位置获取被遮挡部位周围的周围环境特征，根据周围环境特征推算出对被遮挡区域的障碍物的轮廓特征，基于推算出的轮廓特对缺失轮廓特征进行弥补，得到完成的轮廓特征。

在另一个实施例中，特征提取模型的训练过程包括：计算机设备将训练特征提取模型时所使用的携带有标注标签的行车区域现场图像或深度点云图像输入待训练的特征提取模型中。其中标注标签为人工对行车区域现场图像或深度点云图像中的障碍物所设置的标识。比如，当行车区域现场图像中距无人车前方10米处具有一辆障碍车时，此时现场图像的标注标签可以为[车，10米]。待训练的特征提取模型根据标注标签进行模型参数调整，直至基于调整后的模型参数提取出的图像特征或雷达特征的准确率大于预设阈值。通过对特征提取模型进行训练，使得训练后的特征提取模型可以准确地提取行车区域现场图像中的图像特征以及深度点云图像中的雷达特征，从而后续障碍物检测模块可以基于有效的图像特征以及雷达特征进行准确地障碍物识别。

本实施例中，经过特征提取网络提取出的高维度的特征实际上可以感受到更大的区域，因此对于遮挡的情况，通过在提取障碍物轮廓特征的同时提取障碍物周围的环境特征，可以根据预先提取出的周围环境特征对缺损的轮廓特征进行弥补，进而后续障碍物检测模块可以根据修补后的轮廓特征对障碍物进行准确地识别。

在一个实施例中，对所述图像特征以及雷达特征进行特征融合，得到融合特征包括：基于弥补后的轮廓特征进行特征融和，得到融合特征。

具体地，获取从行车区域现场图像中提取出的弥补后的轮廓特征以及从深度点云图像中提取出的弥补后的轮廓特征，将属于同一障碍物的轮廓特征进行融合，得到融合特征。例如，将从行车区域现场图像中提取出的弥补后的轮廓特征与从行车区域现场图像中提取出的弥补后的轮廓特征进行叠加，得到融合特征。

在另一个实施例中，当因图像特征中的周围环境特征缺失而未能有效地对轮廓特征进行弥补时，可以够通过弥补后的雷达特征中的轮廓特征对缺失的图像特征中的轮廓特征进行弥补，从而得到完成的轮廓特征。

本实施例中，通过对弥补后的障碍物轮廓特征进行特征融合，使得后续障碍物检测模块能够根据完整的综合特征对障碍物进行识别，从而可以提升障碍物识别的准确性。此外，由于单目图像距离估计不准的特性，可以通过毫米波的深度距离信息进行补偿，从而达到更加精确的物体空间定位的效果。

在一个实施例中，对图像特征以及雷达特征进行融合，得到融合特征包：将深度点云图像投射至行车区域现场图像，形成雷达投射图；获取雷达投射图中每一像素所对应的图像特征以及雷达特征；融合每一像素所对应图像特征及雷达特征，得到融合特征。

具体地，障碍物检测模块确定图像采集设备的相机坐标系以及毫米波雷达传感器的空间坐标系，并对基于空间坐标系采集的深度点云图像进行坐标转换，将其从空间坐标系转换为相机坐标系。其中，如图5所示，相机坐标系为以相机聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。图5为一个实施例中相机坐标系示意图。

障碍物检测模块获取坐标转换后的深度点云图像中每一个像素的坐标数据，并在行车区域现场图像中查询具有相同平面坐标点的图像像素点，即在行车区域现场图像中查询具有相同的(X，Y)坐标的图像像素点，之后，障碍物识别模型将点云图像中每一个像素对应投影至具有相同平面坐标的图像像素中，得到雷达投射图。障碍物检测模块提取雷达投射图中每一像素所对应的图像特征以及雷达特征，并将每一像素中的图像特征以及雷达特征线性叠加，得到融合特征。

例如，行车区域现场图像中具有一个图像像素点A，像素点A在相机坐标系中的坐标为(x1，y1)；深度点云图像中具有一个点云像素B，点云像素B在空间坐标系中的空间坐标为(X2,Y2,Z2)。图像特征提取模型针对图像像素点A提取出一个64维的图像特征向量，点云特征提取模型针对点云像素B提取出一个128维的雷达特征向量。之后，障碍物检测模块将深度点云图像进行坐标转换，使深度点云图像与行车区域现场图像为同一坐标系的图像，此时经坐标转换后的点云像素B的坐标变更为(x1,y1,Z2)。障碍物检测模块根据点云像素的坐标值以及图像像素的坐标值将点云像素B投射至图像像素A中，并将基于图像像素A提取出的64维图像特征向量以基于点云像素B提取出的128维雷达特征向量进行线性叠加，得到192维的融合特征向量。

本实施例中，采用简单的特征叠加的方式实现对不同种传感器所采集的现场数据进行数据融合，使得融合速度更快，从而后续可以减少整个障碍物检测模块的延迟，进而提升障碍物检测效率。

在一个实施例中，将深度点云图投射至行车区域现场图像，形成雷达投射图包括：确定毫米波雷达的空间坐标系，以及图像采集设备的相机坐标系；将基于空间坐标系采集的深度点云图像与基于相机坐标系采集的行车区域现场图像转换至同一坐标系中；将深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

具体地，计算机设备可以预先对图像采集装置进行相机标定，如采用棋盘格标定板以及张正右标定法，通过获取的多张具有不同角度位置的标定板图像确定图像采集设备的内参矩阵。计算机设备根据图像采集设备在空间坐标系中的位置信息，确定空间坐标系与相机坐标系之间的相对旋转矩阵以及相对位移向量。例如相对旋转矩阵可以为一个三行三列的旋转矩阵，相对位移向量为一个三行一列的矩阵，此时，计算机设备将旋转矩阵与相对位移向量组合形成的三行四列矩阵作为外参矩阵，并将内参矩阵以及外参矩阵输入障碍物检测模型。

进一步地，障碍物检测模型将内参矩阵乘以外参矩阵，得到投影矩阵，并将深度点云图中每一个像素的空间坐标乘以投影矩阵，从而将基于空间坐标系采集的深度点云图转换为基于相机坐标系采集的深度点云图，即得到雷达投射图中每一个像素的相机坐标。

在另一个实施例中，障碍物检测模块可以对基于相机坐标系采集的行车区域现场图像进行坐标转，将其从相机坐标系转换为空间坐标系，之后将空间坐标系中的深度点云图像投射至坐标转换后的行车区域现场图像中。

在另一个实施例中，当无人车上架设有多个图像采集装置时，计算机设备将多个图像采集装置中的一个图像采集装置作为初始图像采集装置。计算机设备确定除原始图像采集装置之外的每个其余图像采集装置与原始图像采集装置之间的旋转角度和平移距离，根据旋转角度以及平移距离得到平面旋转矩阵，并将平面旋转矩阵发送至障碍物检测模块。障碍物检测模块将平面旋转矩阵乘以内参矩阵以及外参矩阵，得到投影矩阵。

本实施例中，通过将基于空间坐标系采集的深度点云图像与基于相机坐标系采集的行车区域现场图像转换至同一坐标系中，使得深度点云图像的每一个像素均能准确地查找到对应的行车区域现场图像中的图像像素点，从而实现精准投影。

在一个实施例中，基于融合特征对障碍物进行目标检测包括：基于障碍物的轮廓特征确定行车区域内的至少一个障碍物的障碍物类型；当障碍物类型为目标障碍物类型时，基于空间位置特征以及速度特征，确定与目标障碍物类型对应的障碍物的空间坐标以及运动速度。

具体地，当障碍物检测模块获取到融合特征后，障碍物检测模块从融合特征中提取出图像特征中的轮廓特征以及雷达特征中的轮廓特征，并根据图像特征中的轮廓特征以及雷达特征中的轮廓特征进行综合识别，得到行车区域内至少一个障碍物的障碍物形状。障碍物检测模块将每个障碍物形状与预设的目标障碍物形状进行对比，当匹配成功时，可以认为识别得到的障碍物类型为目标障碍物类型。比如，目标障碍物形状为车辆轮廓形状，障碍物检测模块将识别得到的障碍物轮廓与车辆轮廓进行匹配，当匹配值大于阈值时，将识别得到的障碍物确定为车辆障碍物。

进一步地，当识别得到的障碍物类型为目标障碍物类型时(为了描述方便，下述将为目标障碍物类型的障碍物称为目标障碍物)，障碍物检测模块确定雷达投射图中构成目标障碍物的像素点。障碍物检测模块获取构成目标障碍物的每一个像素点所对应的融合特征，并从对应的融合特征中提取出空间位置特征以及速度特征，根据空间位置特征以及速度特征确定目标障碍物的尺寸大小、在空间坐标系中的空间坐标和相对于无人车的相对速度。其中，空间位置特征为障碍物在空间坐标系中的坐标值。

本实施例中，由于融合特征中既包括基于行车区域现场图像确定的障碍物轮廓特征，又包含基于深度点云图像确定的空间位置特征和速度特征，使得障碍物检测模块可以根据融合特征全面地对障碍物进行检测识别。

在一个实施例中，上述障碍物检测方法还包括：根据障碍物的空间坐标以及运动速度生成对应的避障指令；将避障策略下发至无人车，以使无人车基于避障指令对应行驶。

具体地，障碍物检测模块根据障碍物的空间坐标确定目标障碍物是否与无人车处于同一车道，若目标障碍物与无人车处于同一车道，障碍物检测模块获取目标障碍物与无人车之间的间隔距离，并根据无人车当前速度、最大制动减速度以及间隔距离计算得到无人车与目标障碍物的碰撞概率。当碰撞概率大于阈值时，障碍物检测模块对应生成变道指令，并将变道指令下发至无人车，以使无人车根据变道指令进行变道处理；若碰撞概率小于阈值时，障碍物检测模块对应生成减速指令，并将减速指令下发至无人车，以使无人车减速行驶。

本实施例中，由于障碍物检测模块是综合目标障碍物的空间坐标、运动速度以及当前车速生成避障指令的，使得无人车可以根据实际情况对应行驶，从而减少了无人车与目标障碍物发生碰撞的概率，进而提升了无人驾驶的安全性。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图6所示，提供了一种障碍物检测装置600，包括：特征提取模块602、特征检测模块604和障碍物检测模块606，其中：

特征提取模块602，用于获取无人车所在行车区域的现场数据；现场数据包括行车区域现场图像以及深度点云图像；提取行车区域现场图像中的图像特征和深度点云图像中的雷达特征。

特征融合模块604，用于对图像特征以及雷达特征进行特征融合，得到融合特征。

障碍物检测模块606，用于基于融合特征进行行车区域内的障碍物检测。

在一个实施例中，如图7所示，特征提取模块602还包括特征弥补模块6021，用于基于特征提取模型提取障碍物的轮廓特征及周围环境特征；判断障碍物的轮廓特征是否完整；若否，基于周围环境特征对轮廓特征进行弥补，得到完整的轮廓特征。

在一个实施例中，特征弥补模块6021还用于基于弥补后的轮廓特征进行特征融和，得到融合特征；根据融合特征进行行车区域内的障碍物检测。

在一个实施例中，特征融合模块604还包括投射模块6041，用于将深度点云图像投射至行车区域现场图像，形成雷达投射图；获取雷达投射图中每一像素所对应的图像特征以及雷达特征；融合每一像素所对应图像特征及雷达特征，得到融合特征。

在一个实施例中，投射模块6041还用于确定毫米波雷达的空间坐标系，以及图像采集设备的相机坐标系；将基于空间坐标系采集的深度点云图像与基于相机坐标系采集的行车区域现场图像转换至同一坐标系中；将深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

在一个实施例中，障碍物检测模块606还用于基于障碍物的轮廓特征确定行车区域内的至少一个障碍物的障碍物类型；当障碍物类型为目标障碍物类型时，基于空间位置特征以及速度特征，确定与目标障碍物类型对应的障碍物的空间坐标以及运动速度。

在一个实施例中，障碍物检测模块606还包括避障模块6061，用于根据障碍物的空间坐标以及运动速度生成对应的避障指令；将避障策略下发至无人车，以使无人车基于避障指令对应行驶。

关于障碍物检测装置的具体限定可以参见上文中对于障碍物检测方法的限定，在此不再赘述。上述障碍物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种障碍物检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取无人车所在行车区域的现场数据；现场数据包括行车区域现场图像以及深度点云图像；

提取行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对图像特征以及雷达特征进行特征融合，得到融合特征；

基于融合特征进行行车区域内的障碍物检测。

在一个实施例中，图像特征以及雷达特征均包括障碍物的轮廓特征以及障碍物周围的周围环境特征；处理器执行计算机程序时还实现以下步骤：

判断障碍物的轮廓特征是否完整；

若否，基于周围环境特征对轮廓特征进行弥补，得到完整的轮廓特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

基于所述弥补后的轮廓特征进行特征融和，得到融合特征。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将深度点云图像投射至行车区域现场图像，形成雷达投射图；

获取雷达投射图中每一像素所对应的图像特征以及雷达特征；

融合每一像素所对应图像特征及雷达特征，得到融合特征。

在一个实施例中，行车区域现场图像是基于图像采集设备针对行车区域采集的图像帧；深度点云图像是基于毫米波雷达针对行车区域内的障碍物采集的点云数据；处理器执行计算机程序时还实现以下步骤：

确定毫米波雷达的空间坐标系，以及图像采集设备的相机坐标系；

将基于空间坐标系采集的深度点云图像与基于相机坐标系采集的行车区域现场图像转换至同一坐标系中；

将深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

在一个实施例中，融合特征包括障碍物的轮廓特征、空间位置特征以及速度特征；处理器执行计算机程序时还实现以下步骤：

基于障碍物的轮廓特征确定行车区域内的至少一个障碍物的障碍物类型；

当障碍物类型为目标障碍物类型时，基于空间位置特征以及速度特征，确定与目标障碍物类型对应的障碍物的空间坐标以及运动速度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据障碍物的空间坐标以及运动速度生成对应的避障指令；

将避障策略下发至无人车，以使无人车基于避障指令对应行驶。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时还实现以下步骤：

获取无人车所在行车区域的现场数据；现场数据包括行车区域现场图像以及深度点云图像；

提取行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对图像特征以及雷达特征进行特征融合，得到融合特征；

基于融合特征进行行车区域内的障碍物检测。

在一个实施例中，图像特征以及雷达特征均包括障碍物的轮廓特征以及障碍物周围的周围环境特征；计算机程序被处理器执行时还实现以下步骤：

判断障碍物的轮廓特征是否完整；

若否，基于周围环境特征对轮廓特征进行弥补，得到完整的轮廓特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于所述弥补后的轮廓特征进行特征融和，得到融合特征。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将深度点云图像投射至行车区域现场图像，形成雷达投射图；

获取雷达投射图中每一像素所对应的图像特征以及雷达特征；

融合每一像素所对应图像特征及雷达特征，得到融合特征。

在一个实施例中，行车区域现场图像是基于图像采集设备针对行车区域采集的图像帧；深度点云图像是基于毫米波雷达针对行车区域内的障碍物采集的点云数据；计算机程序被处理器执行时还实现以下步骤：

确定毫米波雷达的空间坐标系，以及图像采集设备的相机坐标系；

将基于空间坐标系采集的深度点云图像与基于相机坐标系采集的行车区域现场图像转换至同一坐标系中；

将深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

在一个实施例中，融合特征包括障碍物的轮廓特征、空间位置特征以及速度特征；计算机程序被处理器执行时还实现以下步骤：

基于障碍物的轮廓特征确定行车区域内的至少一个障碍物的障碍物类型；

当障碍物类型为目标障碍物类型时，基于空间位置特征以及速度特征，确定与目标障碍物类型对应的障碍物的空间坐标以及运动速度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据障碍物的空间坐标以及运动速度生成对应的避障指令；

将避障策略下发至无人车，以使无人车基于避障指令对应行驶。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种障碍物检测方法，所述方法包括：

获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；

提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

对所述图像特征以及雷达特征进行特征融合，得到融合特征；

基于所述融合特征进行所述行车区域内的障碍物检测；

所述对所述图像特征以及雷达特征进行特征融合，得到融合特征，包括：

将所述深度点云图像投射至所述行车区域现场图像，形成雷达投射图；

获取所述雷达投射图中每一像素所对应的图像特征以及雷达特征；

融合每一像素所对应图像特征及所述雷达特征，得到融合特征。

2.根据权利要求1所述的方法，其特征在于，图像特征以及雷达特征均包括障碍物的轮廓特征以及周围环境特征；所述方法还包括：

判断所述障碍物的轮廓特征是否完整；

若否，基于所述周围环境特征对所述轮廓特征进行弥补，得到完整的轮廓特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述图像特征以及雷达特征进行特征融合，得到融合特征包括：

基于所述弥补后的轮廓特征进行特征融和，得到融合特征。

4.根据权利要求1所述的方法，其特征在于，所述图像特征包括针对所述行车区域内的障碍物提取出的障碍物轮廓信息、障碍物周围环境信息以及障碍物颜色。

5.根据权利要求4所述的方法，其特征在于，所述行车区域现场图像是基于图像采集设备针对所述行车区域采集的图像帧；所述深度点云图像是基于毫米波雷达针对所述行车区域内的障碍物采集的雷达三维点；所述将所述深度点云图投射至所述行车区域现场图像，形成雷达投射图包括：

确定所述毫米波雷达的空间坐标系，以及所述图像采集设备的相机坐标系；

将基于所述空间坐标系采集的深度点云图像与基于所述相机坐标系采集的行车区域现场图像转换至同一坐标系中；

将所述深度点云图投射至同一坐标系中的现场图像，得到雷达投射图。

6.根据权利要求1所述的方法，其特征在于，所述融合特征包括障碍物的轮廓特征、空间位置特征以及速度特征；所述基于所述融合特征对所述障碍物进行目标检测包括：

基于所述障碍物的轮廓特征确定所述行车区域内的至少一个障碍物的障碍物类型；

当所述障碍物类型为目标障碍物类型时，基于所述空间位置特征以及速度特征，确定与所述目标障碍物类型对应的障碍物的空间坐标以及运动速度。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述障碍物的空间坐标以及运动速度生成对应的避障指令；

将避障策略下发至所述无人车，以使所述无人车基于所述避障指令对应行驶。

8.一种障碍物检测装置，其特征在于，所述装置包括：

特征提取模块，用于获取无人车所在行车区域的现场数据；所述现场数据包括行车区域现场图像以及深度点云图像；提取所述行车区域现场图像中的图像特征和深度点云图像中的雷达特征；

特征融合模块，用于对所述图像特征以及雷达特征进行特征融合，得到融合特征；所述对所述图像特征以及雷达特征进行特征融合，得到融合特征，包括：将所述深度点云图像投射至所述行车区域现场图像，形成雷达投射图；获取所述雷达投射图中每一像素所对应的图像特征以及雷达特征；融合每一像素所对应图像特征及所述雷达特征，得到融合特征；

障碍物检测模块，用于基于所述融合特征进行所述行车区域内的障碍物检测。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images