CN113537161B - 一种障碍物的识别方法、系统及装置 - Google Patents

Abstract

本发明公开了一种障碍物的识别方法、系统及装置，其中，所述方法包括：获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域；识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度；根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物。本发明提供的技术方案，能够减少障碍物识别过程中所投入的成本。

Description

一种障碍物的识别方法、系统及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种障碍物的识别方法、系统及装置。

背景技术

随着自动驾驶技术的不断发展，车辆传感器的配置也逐步向轻量化、低成本演变，并对相关自动算法的性能提出了更高要求。目前常见的车载传感器为车载相机、超声波雷达、毫米波雷达等。其中，车载相机凭借其丰富的图像信息以及低廉的成本，被越来越多地安装于车体上，以提供自动驾驶环境中的感知信息。

在车辆辅助或自动泊车的过程中，需要车体传感器充分感知车体周围的路况环境，现有技术通常借助深度传感器（如超声波雷达、毫米波雷达、激光雷达等）探测车体周围的障碍物，再结合车载相机提供的图像信息进行语义建图，最后将建图结果输出给车控模块进行路径规划。可见，现有技术中的这种障碍物识别算法，往往需要多种不同的传感器协同运作才能实现，这无疑会提高障碍物识别算法的成本。

发明内容

有鉴于此，本发明实施方式提供了一种障碍物的识别方法、系统及装置，能够减少障碍物识别过程中所投入的成本。

本发明一方面提供了一种障碍物的识别方法，所述方法包括：获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域；识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度；根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物。

在一个实施方式中，获取障碍物识别图像包括：对各路车载相机进行参数标定，并根据标定后的内外参数对所述各路车载相机拍摄的相机图像进行欧拉角校正；对经过欧拉角校正的相机图像进行语义分割，得到语义分割图像，并将所述语义分割图像投影至地平面所在的平面上，生成地平面分割图像；在所述地平面分割图像中识别障碍物对应的连通域，并将包含障碍物的连通域的图像作为障碍物识别图像。

在一个实施方式中，根据标定后的内外参数对所述各路车载相机拍摄的相机图像进行欧拉角校正包括：针对任意一路车载相机，设置所述车载相机的相机标准姿态，以生成从车体坐标系到相机标准坐标系的标准变换矩阵；生成所述车载相机拍摄的相机图像的像素坐标阵列，并将所述像素坐标阵列转换为所述相机标准坐标系下的齐次坐标阵列；根据所述齐次坐标阵列和从所述相机标准坐标系到相机原始坐标系的变换矩阵，生成所述相机原始坐标系下的空间坐标阵列；将所述空间坐标阵列投影至图像坐标系中，以生成欧拉角校正后的像素坐标阵列，并基于所述欧拉角校正后的像素坐标阵列生成欧拉角校正后的相机图像。

在一个实施方式中，设置所述车载相机的相机标准姿态包括：在所述车载相机的相机原始坐标系的位置建立相机标准坐标系，其中，所述相机原始坐标系和所述相机标准坐标系的原点重合，并且设置所述车载相机的偏航角和滚转角为0°，并基于所述车载相机在车体中所处的位置，设置所述车载相机的俯仰角。

在一个实施方式中，生成地平面分割图像包括：在车体的预设范围内生成地平面的阵列点，并将所述地平面的阵列点投影至所述相机标准坐标系下，以及将所述相机标准坐标系下投影的阵列点投影至图像坐标系的图像平面中；在所述图像平面中识别阵列点对应的语义分割结果，并在不同车载相机的共视区域内取语义分割结果的并集，以生成地平面分割图像。

在一个实施方式中，在所述地平面分割图像中识别障碍物对应的连通域包括：在所述地平面分割图像中，将连通域面积小于指定面积阈值的连通域去除，并将剩余的连通域作为识别出的障碍物对应的连通域。

在一个实施方式中，确定所述提议区域的高度包括：从所述径向起始点开始，向所述提议区域的中心点作射线，并确定所述射线与所述提议区域的第一交点和第二交点；确定从所述径向起始点到所述第一交点的第一距离，以及确定从所述径向起始点到所述第二交点的第二距离；按照以下公式计算所述提议区域的高度h：

其中，H表示所述车载相机距离地平面的高度，

表示所述第一距离，

表示 所述第二距离。

在一个实施方式中，所述方法还包括：若与所述连通域相关联的车载相机的数量为至少两个，针对每个车载相机分别确定所述提议区域的候选高度，并将候选高度的最大值作为所述提议区域的高度。

在一个实施方式中，根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物包括：将高度大于指定高度阈值的提议区域中的障碍物作为有效障碍物。

在一个实施方式中，所述方法还包括：获取相邻的两帧障碍物识别图像，并根据所述相邻的两帧障碍物识别图像中各个提议区域之间的重叠度，生成代价矩阵；基于所述代价矩阵，在所述相邻的两帧障碍物识别图像中确定相匹配的提议区域；对相匹配的提议区域进行单目标卡尔曼滤波，以追踪所述相匹配的提议区域，并在后续的多帧障碍物识别图像中识别所述相匹配的提议区域的轨迹；在识别的所述轨迹中统计所述相匹配的提议区域的高度集合，并根据所述高度集合识别所述相匹配的提议区域对应的障碍物是否为有效障碍物。

本发明另一方面还提供了一种障碍物的识别系统，所述系统包括：提议区域生成单元，用于获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域；高度确定单元，用于识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度；障碍物识别单元，用于根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物。

本发明另一方面还提供了一种障碍物的识别装置，所述障碍物的识别装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的障碍物的识别方法。

本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的障碍物的识别方法。

本申请提供的技术方案，利用相机投影关系可以推算出提议区域的高度，该提议区域的高度可以作为判别障碍物有效与否的依据。可见，本申请的技术方案仅通过车载相机便能够实现障碍物的识别过程，相比于现有技术中需要融合多种传感器的传感结果来识别障碍物，显然具备更低的投入成本。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了本发明一个实施方式中车体系统的示意图；

图2示出了本发明一个实施方式中障碍物的识别方法步骤图；

图3示出了本发明一个实施方式中俯仰角的调节依据示意图；

图4示出了本发明一个实施方式中提议区域的高度计算过程示意图；

图5示出了本发明一个实施方式中障碍物的识别系统的功能模块示意图；

图6示出了本发明一个实施方式中障碍物的识别装置的结构示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本申请提供的障碍物的识别方法，可以应用于图1所示的系统中。在图1中，矩形框表示车体，在车体的前后左右可以各安装一路超广角鱼眼车载相机（圆形所示）。当然，在实际应用中，根据车体配置的不同，也可以安装更多路的车载相机，本申请对此并不做限定，下文仅以四个车载相机为例进行阐述本申请的技术方案，更多路的车载相机对应的技术方案可以类推。

在图1所示的系统中，可以先定义各个不同的坐标系。这些坐标系可以包括车体坐 标系、相机原始坐标系和图像坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐 标系

的原点为车体中心垂直投影至地面的投影点，z轴垂直于地面指向天空方向，x轴指 向车体行进方向的右侧，y轴指向车体行进方向。相机原始坐标系

的原点为车载相机的 光心，z轴指向车载相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面 且指向地面。其中，对于每个车载相机而言，都可以具备自身的相机原始坐标系，因此在图1 中，会存在四个不同的相机原始坐标系。

中的下标i可以表示第i路车载相机。图像坐标 系

的原点是图像左上角，x轴平行于图像平面且指向图像右侧，y轴平行于图像平面且指 向图像下侧。

请参阅图2，本申请一个实施方式提供的障碍物的识别方法，可以包括以下多个步骤。

S1：获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域。

在本实施方式中，障碍物识别图像可以是基于车载相机拍摄的相机图像进行处理后得到的。具体地，可以先对各路车载相机进行参数标定。标定的过程可以根据标定板或者标定布来实现。在完成参数标定后，可以得到每路车载相机的内参（Intrinsicparameters）和外参（extrinsic parameters）。其中，内参可以是由焦距和图像中像素点的像素值构成的矩阵。外参则可以包含旋转矩阵和平移向量。在实际应用中，外参可以表示为从车体坐标系变换至各路相机原始坐标系的变换矩阵，其中，下标i可以表示第i路车载相机。

在本实施方式中，在对各路车载相机进行参数标定后，可以根据标定后的内外参 数对各路车载相机拍摄的相机图像进行欧拉角校正。以任意一路车载相机为例，在对车载 相机拍摄的相机图像进行欧拉角校正时，可以设置车载相机的相机标准姿态。具体地，可以 在所述车载相机的相机原始坐标系

的位置建立相机标准坐标系

，其中，所述相机原 始坐标系和所述相机标准坐标系的原点重合，并且可以设置所述车载相机的偏航角和滚转 角为0°。对于车载相机的俯仰角，可以基于所述车载相机在车体中所处的位置灵活设置。例 如，对于前后两个方向的车载相机而言，俯仰角可以设置为0°，而对于左右两个车载相机而 言，可以通过调节俯仰角，直至确保车体周围没有视野盲区。

在一个具体应用示例中，请参阅图3，通过调节俯仰角，可以将图3中箭头所示的距离变短，但需要保证俯仰角始终小于或者等于0°，并且箭头所示的距离小于等于图像整体高度的10%。通过这样的方式，便可以调节得到合适的俯仰角。

在本实施方式中，通过建立相机标准坐标系，并设置各个车载相机的偏航角、滚转 角和俯仰角，从而能够得到车体坐标系

到相机标准坐标系

的标准变换矩阵

。

在得到上述的标准变换矩阵后，可以根据该标准变换矩阵和标定后的相机外参

对相机图像进行欧拉角校正。

具体地，在对相机图像进行欧拉角校正时，可以按照参数标定时的图像分辨率，生 成所述车载相机拍摄的相机图像的像素坐标阵列

，该像素坐标阵列

的维度可以是H* W*2，其中，H和W分别表示相机图像的高和宽，2表示图像坐标系中x和y轴的坐标维度。根据 相机内参，可以将所述像素坐标阵列转换为相机标准坐标系

下的齐次坐标阵列

。其 中，齐次坐标阵列

的维度可以是H*W*4，其中，H和W分别表示相机图像的高和宽，4表示齐 次坐标系中的坐标维度。在实际应用中，为了避免将像素坐标阵列中的坐标点投影至无穷 远点，可以将齐次坐标阵列的深度值统一设置为1。

在本实施方式中，可以根据齐次坐标阵列和从所述相机标准坐标系

到相机原 始坐标系

的变换矩阵，生成所述相机原始坐标系

下的空间坐标阵列

。该过程可以 表示为：

其中，

表示从相机标准坐标系

到相机原始坐标系

的变换矩阵。

在本实施方式中，在得到空间坐标阵列后，可以将所述空间坐标阵列投影至图像 坐标系中，从而生成欧拉角校正后的像素坐标阵列

。后续，可以基于所述欧拉角校正后 的像素坐标阵列

生成欧拉角校正后的相机图像

。例如，可以对该欧拉角校正后的像 素坐标阵列

进行双线性插值，从而得到欧拉角校正后的相机图像

。

在本实施方式中，得到欧拉角校正后的相机图像后，可采用深度神经网络对经过欧拉角校正的相机图像进行语义分割，从而得到语义分割图像。例如，可以采用maskrcnn、solov2、deepmask等语义分割网络，对相机图像进行处理，从而得到对应的语义分割图像。该语义分割图像可以是一个二值图，在该二值图中，表示障碍物的区域可以通过第一像素值表示，除障碍物以外的区域可以通过第二像素值表示。例如，第一像素值可以是表征黑色的像素值，而第二像素值可以是表征白色的像素值。

在本实施方式中，每个车载相机都可以生成对应的语义分割图像，通过将各个语义分割图像投影至地平面所在的平面上，从而能够生成地平面分割图像。在该地平面分割图像中，可以将各个车载相机的语义分割图像进行整合，从而得到车体周围的各个障碍物。

具体地，可以在车体的预设范围内生成地平面的阵列点，该预设范围例如可以是以车体的外轮廓为边界，向外延展一定距离的范围。在生成地平面的阵列点后，可以利用标定后的外参，将所述地平面的阵列点投影至相机标准坐标系下，然后可以再利用标定后的内参，将所述相机标准坐标系下投影的阵列点投影至图像坐标系的图像平面中。这样，便实现了从车体坐标系到相机标准坐标系，再到图像坐标系的转换。

在本实施方式中，在图像平面中，可以将阵列点的位置与语义分割结果的位置进行对比，从而识别出阵列点对应的语义分割结果。对于不同的车载相机而言，可能会存在部分共视区域，该共视区域可以表示为能够同时被多个不同的车载相机观察到的区域。针对共视区域内不同车载相机对应的语义分割结果，可以取语义分割结果的并集，从而生成地平面分割图像。在该地平面分割图像中，语义分割结果的并集可以构成各个障碍物的连通域，通过识别地平面分割图像中的各个连通域，便可以识别出地平面分割图像中包含的各个障碍物。包含障碍物的连通域的图像，便可以作为上述的障碍物识别图像。

在一个实施方式中，考虑到面积较小的连通域对车体的行驶过程可能不会造成影响，因此可以在所述地平面分割图像中，可以将连通域面积小于指定面积阈值的连通域去除，并将剩余的连通域作为识别出的障碍物对应的连通域。其中，指定面积阈值可以根据实际应用场景灵活设置，这里就不再赘述。

在本实施方式中，请参阅图4，在获取到障碍物识别图像后，可以生成其中各个连通域的提议区域（proposal）。具体地，可以通过计算各个连通域的轴对齐包围盒（AABB，Axis-Aligned Bounding Box）或者方向包围盒（OBB，Oriented Bounding Box）的方式，来生成对应的提议区域。其中，轴对齐包围盒可以具备较高的计算效率，而方向包围盒可以具备较高的精度，在实际应用中可以根据需求灵活选择。

S3：识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度。

在本实施方式中，对于同一个连通域而言，该连通域可能会位于多个车载相机的共视区域内。那么在对该连通域进行处理时，需要针对各个车载相机都执行相同的处理方式。如果某个连通域位于多个车载相机的共视区域内，那么这些车载相机都可以作为该连通域相关联的车载相机。

请参阅图4，在识别出与连通域相关联的车载相机后，针对每个车载相机，可以将车载相机在地平面的投影作为径向起始点，然后从所述径向起始点开始，向所述提议区域的中心点作射线，并确定所述射线与所述提议区域的第一交点和第二交点。然后可以确定从所述径向起始点到所述第一交点的第一距离，以及确定从所述径向起始点到所述第二交点的第二距离。这两个距离的差值可以作为该车载相机计算得到的提议区域的直径。当然，对于不同的车载相机而言，计算得到的直径可以不同。最终，可以按照以下公式计算所述提议区域的高度h：

其中，H表示所述车载相机距离地平面的高度，

表示所述第一距离，

表示 所述第二距离。

同样地，对于不同的车载相机而言，计算得到的提议区域的高度也可能是不同的。

S5：根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物。

在本实施方式中，各个车载相机在计算出提议区域的高度后，可以将这些高度作为候选高度，然后可以将候选高度的最大值作为提议区域的实际高度。也就是说，若与所述连通域相关联的车载相机的数量为至少两个，针对每个车载相机分别确定所述提议区域的候选高度，并将候选高度的最大值作为所述提议区域的高度。如果与连通域相关联的车载相机只有一个，那么就直接将该车载相机计算得到的高度作为提议区域的实际高度。

在本实施方式中，在确定出提议区域的实际高度后，该实际高度便可以作为提议区域对应的障碍物的高度。通常而言，如果某个障碍物的高度没有高于汽车的底盘，那么该障碍物可以判定为无效的障碍物。只有高度高于汽车底盘的障碍物才会被判定为有效障碍物，该有效障碍物需要被车体规避。鉴于此，可以将高度大于指定高度阈值的提议区域中的障碍物作为有效障碍物，该指定高度阈值可以根据大量车辆的底盘高度统计得到。

对于障碍物识别图像中的每个连通域，都可以按照上述的方式进行处理，最终可以确定出障碍物识别图像中的各个有效障碍物。

在一个实施方式中，考虑到仅根据一帧障碍物识别图像中的结果来对障碍物进行识别，可能鲁棒性不够高。鉴于此，在本实施方式中，可以通过采集多帧障碍物识别图像，然后对多帧障碍物识别图像中的提议区域进行追踪，并根据追踪结果来最终确定有效障碍物。

具体地，可以先获取相邻的两帧障碍物识别图像，每帧障碍物识别图像中都可以包含一个或者多个提议区域。通过统计两帧障碍物识别图像中所有提议区域的重叠度，从而可以根据统计的重叠度生成对应的代价矩阵。其中，提议区域的重叠度可以通过交并比（Intersection over Union，IOU）来表示。

在得到前后两帧图像的代价矩阵后，可以对代价矩阵应用二分图最优匹配算法（例如KM算法、JVC算法或者Auction算法），求解出相邻两帧中所有提议区域的匹配关系，这样就可以在相邻的两帧障碍物识别图像中确定相匹配的提议区域。

在本实施方式中，针对相匹配的提议区域，可以进行单目标卡尔曼滤波。在单目标卡尔曼滤波过程中，可以将状态变量设置为提议区域的中心点、提议区域的平面宽高以及提议区域对应的高度，观测变量可以与状态变量相同，即状态能观。运动模型可以设置为车辆2D阿克曼运动模型，可依据车身CAN（Controller Area Network，控制器局域网络）信息解析出车轮速以及车体角速度，从而推算出提议区域的中心点的运动轨迹并对轨迹进行更新，而提议区域的平面宽高与计算出的高度不进行更新。这样，通过对相匹配的提议区域进行单目标卡尔曼滤波，可以追踪该相匹配的提议区域。

在本实施方式中，在后续的多帧障碍物识别图像中可以继续对该相匹配的提议区域进行追踪，从而识别出该提议区域的轨迹。在后续的多帧障碍物识别图像中，可以存在新的提议区域，新的提议区域在出现时，可以先被放入新生轨迹池中，如果在后续连续的多帧（例如3帧）中均能稳定识别出该新的提议区域，就可以将该新的提议区域放入稳定轨迹池中，并对轨迹进行追踪和更新。而对于稳定轨迹池中的提议区域，如果在后续的多帧（例如3帧）中不存在最优匹配的提议区域，那么可以认为该提议区域已经远离车体，此时可以不对其进行追踪，将其从稳定轨迹池中删除。

在本实施方式中，在轨迹存在的期间内，可以在识别的轨迹中统计提议区域的高度集合。其中，提议区域在每帧障碍物识别图像中都可以对应一个高度，那么多帧障碍物识别图像就会对应多个高度，这些高度可以构成高度集合。针对高度集合中的高度，可以进行多帧（例如3帧）的中值滤波，再将中值滤波后的高度与指定高度阈值进行对比，从而判定提议区域对应的障碍物是否为有效障碍物。也就是说，根据高度集合，可以识别所述相匹配的提议区域对应的障碍物是否为有效障碍物。

需要说明的是，上述过程可以假设障碍物为垂直于地面的细杆状障碍物，但是在实际泊车环境中该假设一般不会精确满足，通常会有具备一定体积的障碍物存在，如路锥、地锁与禁停牌等。当该假设不满足时，除了计算障碍物的实际物理高度，还需要计算障碍物的地面垂心到近车点的距离，该距离通常由障碍物的底面最长直径决定。考虑到在实际的泊车环境中，在障碍物由远及近的过程中，当实际的高度偏差相较于障碍物垂心到车载相机的径向距离较小时，引起的高度计算偏差可忽略不计。

本申请提供的技术方案，利用相机投影关系可以推算出提议区域的高度，该提议区域的高度可以作为判别障碍物有效与否的依据。可见，本申请的技术方案仅通过车载相机便能够实现障碍物的识别过程，相比于现有技术中需要融合多种传感器的传感结果来识别障碍物，显然具备更低的投入成本。

请参阅图5，本申请一个实施方式还提供一种障碍物的识别系统，所述系统包括：

提议区域生成单元，用于获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域；

高度确定单元，用于识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度；

障碍物识别单元，用于根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物。

请参阅图6，本申请一个实施方式还提供一种障碍物的识别装置，所述障碍物的识别装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的障碍物的识别方法。

其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的障碍物的识别方法。

本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random AccessMemory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (11)

1.一种障碍物的识别方法，其特征在于，所述方法包括：

获取障碍物识别图像，所述障碍物识别图像中包括表征障碍物的连通域，并生成所述连通域的提议区域；

识别与所述连通域相关联的车载相机，将所述车载相机在地平面的投影作为径向起始点，并根据所述径向起始点到所述提议区域的距离，和所述车载相机距离地平面的高度，确定所述提议区域的高度；

根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物；

所述方法还包括：

获取相邻的两帧障碍物识别图像，并根据所述相邻的两帧障碍物识别图像中各个提议区域之间的重叠度，生成代价矩阵；

基于所述代价矩阵，在所述相邻的两帧障碍物识别图像中确定相匹配的提议区域；

对相匹配的提议区域进行单目标卡尔曼滤波，以追踪所述相匹配的提议区域，并在后续的多帧障碍物识别图像中识别所述相匹配的提议区域的轨迹；

在识别的所述轨迹中统计所述相匹配的提议区域的高度集合，并根据所述高度集合识别所述相匹配的提议区域对应的障碍物是否为有效障碍物。

2.根据权利要求1所述的方法，其特征在于，获取障碍物识别图像包括：

对各路车载相机进行参数标定，并根据标定后的内外参数对所述各路车载相机拍摄的相机图像进行欧拉角校正；

对经过欧拉角校正的相机图像进行语义分割，得到语义分割图像，并将所述语义分割图像投影至地平面所在的平面上，生成地平面分割图像；

在所述地平面分割图像中识别障碍物对应的连通域，并将包含障碍物的连通域的图像作为障碍物识别图像。

3.根据权利要求2所述的方法，其特征在于，根据标定后的内外参数对所述各路车载相机拍摄的相机图像进行欧拉角校正包括：

针对任意一路车载相机，设置所述车载相机的相机标准姿态，以生成从车体坐标系到相机标准坐标系的标准变换矩阵；

生成所述车载相机拍摄的相机图像的像素坐标阵列，并将所述像素坐标阵列转换为所述相机标准坐标系下的齐次坐标阵列；

根据所述齐次坐标阵列和从所述相机标准坐标系到相机原始坐标系的变换矩阵，生成所述相机原始坐标系下的空间坐标阵列；

将所述空间坐标阵列投影至图像坐标系中，以生成欧拉角校正后的像素坐标阵列，并基于所述欧拉角校正后的像素坐标阵列生成欧拉角校正后的相机图像。

4.根据权利要求3所述的方法，其特征在于，设置所述车载相机的相机标准姿态包括：

在所述车载相机的相机原始坐标系的位置建立相机标准坐标系，其中，所述相机原始坐标系和所述相机标准坐标系的原点重合，并且设置所述车载相机的偏航角和滚转角为0°，并基于所述车载相机在车体中所处的位置，设置所述车载相机的俯仰角。

5.根据权利要求2所述的方法，其特征在于，生成地平面分割图像包括：

在车体的预设范围内生成地平面的阵列点，并将所述地平面的阵列点投影至相机标准坐标系下，以及将所述相机标准坐标系下投影的阵列点投影至图像坐标系的图像平面中；

在所述图像平面中识别阵列点对应的语义分割结果，并在不同车载相机的共视区域内取语义分割结果的并集，以生成地平面分割图像。

6.根据权利要求2或5所述的方法，其特征在于，在所述地平面分割图像中识别障碍物对应的连通域包括：

在所述地平面分割图像中，将连通域面积小于指定面积阈值的连通域去除，并将剩余的连通域作为识别出的障碍物对应的连通域。

7.根据权利要求1所述的方法，其特征在于，确定所述提议区域的高度包括：

从所述径向起始点开始，向所述提议区域的中心点作射线，并确定所述射线与所述提议区域的第一交点和第二交点；

确定从所述径向起始点到所述第一交点的第一距离，以及确定从所述径向起始点到所述第二交点的第二距离；

按照以下公式计算所述提议区域的高度h：

其中，H表示所述车载相机距离地平面的高度，

表示所述第一距离，

表示所述第二距离。

8.根据权利要求1或7所述的方法，其特征在于，所述方法还包括：

若与所述连通域相关联的车载相机的数量为至少两个，针对每个车载相机分别确定所述提议区域的候选高度，并将候选高度的最大值作为所述提议区域的高度。

9.根据权利要求1所述的方法，其特征在于，根据所述提议区域的高度识别所述提议区域对应的障碍物是否为有效障碍物包括：

将高度大于指定高度阈值的提议区域中的障碍物作为有效障碍物。

10.一种障碍物的识别装置，其特征在于，所述障碍物的识别装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至9中任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至9中任一所述的方法。

Images