CN110988912B - 自动驾驶车辆的道路目标与距离检测方法、系统、装置 - Google Patents

Abstract

本发明属于自动驾驶技术领域，具体涉及了一种自动驾驶车辆的道路目标与距离检测方法、系统、装置，旨在解决现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高的问题。本发明方法包括：获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；通过目标检测网络获取目标的类别标签信息和2D包围边界框信息；将道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；通过目标检测获取目标点云，将目标点云质心的距离作为当前目标的距离。本发明方法能够计算目标的实际距离，不易受复杂天气及地理环境的影响，仅需处理2D检测框的点云数据，速度快、精度高。

Description

自动驾驶车辆的道路目标与距离检测方法、系统、装置

技术领域

本发明属于自动驾驶技术领域，具体涉及了一种自动驾驶车辆的道路目标与距离检测方法、系统、装置。

背景技术

自动驾驶车辆也可以称之为轮式自动机器人，其主要依靠车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标。自动驾驶车辆是集自动控制、视觉计算、体系结构等众多技术于一体的高度发展的产物。环境感知、精确定位、路径规划、线控执行等是自动驾驶的核心技术，其中，环境感知直接决定后续的路侧规划决策是否准确，因此其至关重要。在环境感知中，如果能实时获取车周目标的类别、距离等信息，那么可以使辅助车辆预先进行决策，进一步提高了车辆的安全性能。

目前，测量车周目标距离的方法主要为以下方向：1)基于光学原理测距[1]，在车周四周安装激光器，通过对比收发信号的时间差来获取目标距离，但是这种方法只能获取车周这四点处的目标距离，检测距离很局限。2)基于单目或双目摄像头的深度估计方法[2]，基于视差跟目标距离相机的深度的立体几何关系来进行数据分析。其存在的问题为：一方面，由于双目视觉的检测距离较短、标定较难等问题，限制了双目相机在自动驾驶的应用；另一方面，基于深度网络的单目估计网络，通过视差得到是目标的相对深度，无法获取其真实距离，且相对深度信息精度较低。3)基于混合传感器融合的数据测距[3]，首先，求解激光雷达数据中每个点的深度值且将深度值进行分类；然后，将分类结果作为热红外采集的图像的像素类别标签，再然后对图片采用深度卷积和反卷积进行处理后得到近似语义分割的结果图，最后将该图中每个像素点对应的类别对应回激光雷达的深度类别，获取该像素的深度。其存在的问题为：一方面，将连续的深度信息量化为离散的深度类别信息，会显著降低精度，最后得到的像素深度只是一个大概的距离范围；另一方面，深度信息量化后本身数据已经不够精确，尤其是处于分类边界的点的深度类别信息。将不准确的数据作为标签数据放入深度网络数据训练，也会再次降低网络的分类结果精度等。

总的来说，现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高。

以下文献是与本发明相关的技术背景资料：

[1]楼英、唐瑒、周宏禹，自动驾驶测距系统及自动驾驶系统，201901.

[2]陈雪锦、吴枫、王超群，一种单目深度估计方法及系统，201908.

[3]姚广顺、孙韶媛、叶国林、高凯珺，基于红外图像和雷达数据的夜间无人车场景深度估计方法，201707.

发明内容

为了解决现有技术中的上述问题，即现有技术在实现自动驾驶车辆的道路目标与距离检测时速度不够快、精度不够高的问题，本发明提供了一种自动驾驶车辆的道路目标与距离检测方法，该目标与距离检测方法包括：

步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；

步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；

步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。

在一些优选的实施例中，该目标与距离检测方法还包括：

步骤S50，基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。

在一些优选的实施例中，所述目标检测网络基于深度目标检测模型构建，并通过图像目标检测数据集进行训练。

在一些优选的实施例中，步骤S30中“结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和目标点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云”，其方法为：

步骤S31，基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定，并将目标点云数据映射到道路目标图像；

步骤S32，将所述映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云。

在一些优选的实施例中，步骤S31中“基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定”，其方法为：

步骤S311，获取道路目标图像采集相机和目标点云数据采集激光雷达的内部参数；

步骤S322，通过所述相机与激光雷达采集同一场景数据，并采用关键点匹配法确定相机和激光雷达的位姿关系，标定外部参数，完成相机和激光雷达的联合标定。

在一些优选的实施例中，所述相机内部参数包括：

相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数。

在一些优选的实施例中，步骤S40中“对所述带有图像标签信息的点云进行目标检测，获取目标点云”，其方法为：

采用聚类、面拟合等方法对所述带有图像标签信息的点云进行处理，选取簇中点数最多的簇作为目标点云。

本发明的另一方面，提出了一种自动驾驶车辆的道路目标与距离检测系统，该目标与距离检测系统包括数据采集模块、图像目标检测模块、融合模块、距离计算模块；

所述数据采集模块，配置为获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；

所述图像目标检测模块，配置为基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

所述融合模块，配置为结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；

所述距离计算模块，配置为对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。

本发明的有益效果：

(1)本发明自动驾驶车辆的道路目标与距离检测方法，由于只需要处理图像的目标检测输出的2D检测框范围里的点云数据，显著降低了需进行计算处理的数据量，省去了传统的激光雷达点云预处理操作，算法计算速度快。

(2)传统基于激光雷达进行目标检测进而获取目标距离时，需要首先滤除地面点，算法较耗时。此外，对于非结构化道路，例如矿山等环境下，道路起伏严重，地面滤除算法精度受限，得到的最终检测目标精度下降。而本发明方法，由于地面点映射到图像上时，只有较少的凸起地面点会投影到图像的目标区域内，那么，对这部分区域里的原始点云采用聚类等处理方法，很容易把这些地面杂点滤除，算法精度高。

(3)本发明自动驾驶车辆的道路目标与距离检测方法，由于是基于点云数据获取到实际距离，而不是仅基于图像的只能获取到相对深度信息的方法，因此通过本发明方法能够获取到的距离是目标的实际距离。

(4)激光雷达很容易受扬尘、雨雪的影响，这种情况下采集到的点云数据噪点较多，基于传统激光雷达目标检测的方法很容易出现误检。而本发明方法只需要处理图像的目标检测输出的2D检测框范围里的点云数据，在小范围进行点云检测时，灰尘等噪点信息显著减小，进一步提升检测结果精度。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明自动驾驶车辆的道路目标与距离检测方法的流程示意图；

图2是本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的系统结构框图；

图3是本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的距离检测结果示意图；

图4是本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的点云数据示意图；

图5是本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的点云数据聚类结果示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明的一种自动驾驶车辆的道路目标与距离检测方法，该目标与距离检测方法包括：

步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；

步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；

步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。

为了更清晰地对本发明自动驾驶车辆的道路目标与距离检测方法进行说明，下面结合图1对本发明方法实施例中各步骤展开详述。

本发明一种实施例的自动驾驶车辆的道路目标与距离检测方法，包括步骤S10-步骤S40，各步骤详细描述如下：

步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理。

首先，同步相机和激光点云数据。在进行预处理时，图像的预处理包括但不仅限于：降采样、插值压缩等操作，以此加速后续目标检测速度。点云的预处理包括但不仅限于：设置检测ROI(Region of Interest)区域，背景过滤、滤噪、聚类等操作。通过预处理操作，可以去除大量无关点云数据，提升后续数据处理的速度。

由于本发明实施例可以采集任何位置的图像数据和点云数据，因此检测距离不受限制，可以根据需求在车辆上安装采集装置进而获取目标距离。

步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；所述目标检测网络基于深度目标检测模型构建，并通过图像目标检测数据集进行训练。

本发明一个实施例中，采用视觉目标检测方法来对预处理后的图像数据进行目标检测，将图片实时输入预先构建的目标检测模型中进行预测，输出目标的类别和2D的边界框信息。该目标检测模型为利用图像目标检测数据集对搭建的深度目标检测网络进行模型训练得到的。

步骤S30，结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云。

步骤S31，基于获取的道路目标图像和目标点云数据对应的采集装置进行联合标定，并将目标点云数据映射到道路目标图像。

步骤S311，获取道路目标图像采集相机和目标点云数据采集激光雷达的内部参数。

相机内部参数包括：

相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数。

基于图像采集装置和点云数据采集装置进行联合标定的结果，将点云数据映射到图像内。根据该技术原理，可以得到如式(1)所示的映射表达式，通过该表达式将点云数据映射到图像内：

其中，u、v表示像素坐标；f_u、f_v、u₀和v₀表示相机内部参数，其中f_u表示相机焦距、f_v表示畸变参数、u₀和v₀表示相机坐标系到像素坐标系转换的几何模型参数；R、t表示相机和激光雷达的位姿关系的RT矩阵；x、y、z表示点云坐标。

步骤S322，通过所述相机与激光雷达采集同一场景数据，并采用关键点匹配法确定相机和激光雷达的位姿关系，标定外部参数，完成相机和激光雷达的联合标定。

相机和雷达联合标定，首先，需要确定相机、激光雷达的内外参数。相机内部参数包括：相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数等。可以通过棋盘法的角点检测来获取相机的内部参数。相机的外部参数，主要是获取相机在世界坐标系下的位姿信息。为了获取相机的位姿信息，可以联合激光雷达进行标定。固定激光雷达和相机后，可以拍摄同一场景的信息，匹配图像和点云数据中的相同关键点，获取激光雷达到相机的位置转换关系矩阵，综合以上参数，可以将点云数据投影到图片内。为了扩大感知范围，可以配置多个激光雷达、多个相机。在联合标定时，可以先选定1个激光雷达(标记为P)，获取其余激光雷达与P的位姿关系；选定1个相机(标记为C)，获取其余相机与C的位姿关系；然后联合标定P和C即可。

步骤S32，将所述映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云。

在进行映射处理后，判断投影后的点云是否在2D检测框(2D包围边界框)内。如果在2D检测框内，那么把这部分点云数据增加标签信息，将带标签信息的点云称为“带有图像标签信息的点云”。

由于通过该步骤得到的点云数据只是2D检测框范围里的点云数据，因此显著降低需计算处理的数据量。传统的基于激光雷达进行目标检测进而获取目标距离时，需要首先滤除地面点，算法较耗时，而本方法省去了传统的激光雷达点云预处理操作。

步骤S40，对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。

“对所述带有图像标签信息的点云进行目标检测，获取目标点云”，其方法为：

采用聚类、面拟合等方法对所述带有图像标签信息的点云进行处理，选取簇中点数最多的簇作为目标点云。

考虑到相机的成像特性(平行光轴的不同位置的目标，映射到相机平面后将在一样的位置)，激光雷达扫射到的远近不同但是在车辆行驶前方接近的，投影到相机的成像平面后发生重合。此外，在雨雪、扬沙等天气下，点云数据中除了目标的点云信息，还会有这些灰尘等微粒的点云数据。所以，需要对带标签的点云数据进行进一步处理来过滤掉这些无关点云信息。这一过滤过程，相当于在一个有限的范围内(目标的2D框内范围的点云)，进行点云的目标检测。可以采用多种聚类方法，例如DBSCAN(Density-Based SpatialClustering of Applications with Noise)密度聚类、KD-tree欧式距离聚类等；通过聚类，选中簇中点数最多的簇作为当前的目标，有效避免杂点的干扰。

对于非结构化道路，例如矿山等环境下，道路起伏严重，地面滤除算法精度受限，得到的最终检测目标精度下降。但是，基于本发明的方法，由于地面点映射到图像上时，只有较少的凸起地面点会投影到图像的目标区域内，那么，对这部分区域里的原始点云采用聚类等处理方法，很容易把这些地面杂点滤除，算法精度也进一步提高了。

激光雷达很容易受扬尘、雨雪的影响，这种情况下采集到的点云数据噪点较多，基于传统激光雷达目标检测的方法很容易出现误检，但基于本发明实施例的方法，只需要处理图像的目标检测输出的2D检测框范围里的点云数据，在小范围进行点云检测时，灰尘等噪点信息显著减小，提升检测结果精度。

在获取目标点云簇后，求解簇的质心，将质心的距离作为该目标的距离。如果环境简单，也可以直接把步骤S30输出的带有图像标签信息的点云全部点的距离的中值作为该目标的距离。由于本发明是基于点云数据的处理来获取距离，而不是基于图像的只能获取到相对深度信息的方法，因此，利用本发明的方法获取的距离为目标的实际距离。

在本发明的一个实施例中，可以采用FCOS(FCOS，Fully Convolutional One-Stage Object Detection)深度网络模型进行目标检测。在KITTI数据集上，将点云数据映射到图片上，在图片的FCOS模型预测出的类别框内，获取到框内的带标签点云，然后对点云进行聚类，求取其质心，获得目标的距离。如图3所示，为本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的距离检测结果示意图，前方小汽车为目标物，方框为目标物2D包围边界框，Car代表目标物类别，Depth：5.6m代表目标物的距离为5.6米。如图4所示，为本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的点云数据示意图，如图5所示，为本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的点云数据聚类结果示意图，采用上述方法，无需进行传统点云处理时的地面滤除等操作，即可获取目标的类别和距离信息。当然，除了此方法以外，基于本发明的原理还可以选择其他的目标检测方法，本发明对此不做限定。

该目标与距离检测方法还包括：

步骤S50，基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。

基于目标点云的质心、目标点云数据和目标类别，通过对点云的聚类以拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。在拟合针对输出的目标点云簇，可采用最小包围框的方法拟合出目标的3D包围框。

综上所述，本发明实施例的自动驾驶车辆的道路目标与距离检测方法，通过融合相机和激光雷达数据实时获取道路环境下的目标类别、距离、3D信息等，可以获取目标的实际距离，且能够应对诸如扬尘、雨雪等激光雷达易受干扰的困难环境。另外，本发明相比现有技术具有计算速度快、精度高的优点。

本发明第二实施例的自动驾驶车辆的道路目标与距离检测系统，该目标与距离检测系统包括数据采集模块、图像目标检测模块、融合模块、距离计算模块；

所述数据采集模块，配置为获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；

所述图像目标检测模块，配置为基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

所述融合模块，配置为结合所述目标的类别标签信息和2D包围边界框信息，将预处理后的道路目标图像和点云数据进行融合处理，得到2D包围边界框里的带有图像标签信息的点云；

所述距离计算模块，配置为对所述带有图像标签信息的点云进行目标检测，获取目标点云，将所述目标点云质心的距离作为当前目标的距离。

如图2所示，为本发明自动驾驶车辆的道路目标与距离检测方法一种实施例的系统结构框图，下面参考图2来说明该系统的构成和功能。

如图2所示，该系统设置于自动驾驶车辆上，系统包括数据采集模块10、数据处理模块20和数据输出模块30。数据采集模块10，用于采集道路目标图像和点云数据，并对采集到的道路目标图像和点云数据分别进行预处理。具体如图2所示，该数据采集模块10包括采集图像数据的相机10a(作为图像采集装置的一个实施例)、采集点云数据的激光雷达10b(作为点云数据采集装置的一个实施例)和执行预处理操作的预处理单元10c。

数据处理模块20，用于接收来自数据采集模块10传输的数据，并对接收到的数据进行处理得到目标距离。具体如图2所示，该数据处理模块20包括图像目标检测模块20a、融合模块20b、距离计算模块20c、联合标定模块20d和3D目标检测模块20e。其中，图像目标检测模块20a，采用视觉目标检测方法对预处理后的图像数据进行目标检测，获取目标的类别标签和2D包围边界框信息。融合模块20b，结合获取的目标的类别标签信息和2D包围边界框信息，将预处理后的点云数据和图像数据进行融合处理，得到2D包围边界框里的带有图像标签信息的原始点云数据(可称“带有图像标签信息的点云”)。具体来说，融合模块20b在进行融合处理时，基于联合标定模块20d的联合标定结果(主要是获得的相机10a和激光雷达10b之间的位姿关系)，将点云数据投影到图像上，输出2D包围边界框里的带有标签信息的点云数据。距离计算模块20c，用于将对融合模块20b输出的带标签点云数据进行进一步目标检测，获取目标质心，将质心的距离作为当前目标的距离。通过以上模块即可完成本发明道路目标与距离检测。

进一步地，该系统中的3D目标检测模块20e，可以从距离计算模块20c中获取目标点云的质心、目标点云数据、目标类别等信息，那么通过对点云的聚类即可拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置，为自动驾驶车辆的决策规划层提供了更加详细的环境信息。

数据输出模块30，用于输出激光雷达10b和相机10a的融合感知结果，可以采用多种通信形式，输出检测到的目标类别、距离、3D位置信息等。

系统中的联合标定模块20d，用于对相机10a和激光雷达10b进行联合标定。首先分别标定相机10a和激光雷达10b的内部参数，然后获取激光雷达10b和相机10a采集同一场景的数据，通过关键点匹配等方法确定激光雷达10b和相机10a之间的位姿关系。在自动驾驶系统中，可以继续求解激光雷达与高精度GPS/IMU的位姿关系，获取到检测结果在世界坐标系的位置。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的自动驾驶车辆的道路目标与距离检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。

本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的自动驾驶车辆的道路目标与距离检测方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种自动驾驶车辆的道路目标与距离检测方法，其特征在于，该目标与距离检测方法包括：

步骤S10，获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；所述图像和点云数据，其采集位置为自动驾驶车辆的任意位置，检测距离不受限制；

步骤S20，基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

步骤S30，获取道路目标图像采集相机和目标点云数据采集激光雷达的内部参数，通过所述相机与激光雷达采集同一场景数据，并采用关键点匹配法确定相机和激光雷达的位姿关系，标定外部参数，完成相机和激光雷达的联合标定，将映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云；

步骤S30a，若环境复杂度低于设定阈值，则将所述2D包围边界框里的带有图像标签信息的点云的全部点的距离的中值作为目标的距离；否则，跳转步骤S40；

步骤S40，采用聚类、面拟合方法对所述带有图像标签信息的点云进行处理，选取簇中点数最多的簇作为目标点云，将所述目标点云质心的距离作为当前目标的距离；

步骤S50，基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。

2.根据权利要求1所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，所述目标检测网络基于深度目标检测模型构建，并通过图像目标检测数据集进行训练。

3.根据权利要求1所述的自动驾驶车辆的道路目标与距离检测方法，其特征在于，所述相机内部参数包括：

相机焦距、畸变参数、相机坐标系到像素坐标系转换的几何模型参数。

4.一种自动驾驶车辆的道路目标与距离检测系统，其特征在于，该目标与距离检测系统包括数据采集模块、图像目标检测模块、融合模块、环境复杂度判断模块、第一距离计算模块、第二距离计算模块和目标位置获取模块；

所述数据采集模块，配置为获取自动驾驶车辆道路目标图像和点云数据，并分别对道路目标图像和点云数据进行预处理；所述图像和点云数据，其采集位置为自动驾驶车辆的任意位置，检测距离不受限制；

所述图像目标检测模块，配置为基于所述预处理后的道路目标图像，通过预先构建的目标检测网络获取目标的类别标签信息和2D包围边界框信息；

所述融合模块，配置为获取道路目标图像采集相机和目标点云数据采集激光雷达的内部参数，通过所述相机与激光雷达采集同一场景数据，并采用关键点匹配法确定相机和激光雷达的位姿关系，标定外部参数，完成相机和激光雷达的联合标定，将映射到道路目标图像的目标点云数据中处于所述2D包围边界框内的目标点云数据增加标签信息，得到2D包围边界框里的带有图像标签信息的点云；

所述环境复杂度判断模块，配置为若环境复杂度低于设定阈值，则跳转第一距离计算模块；否则，跳转第二距离计算模块；

所述第一距离计算模块，配置为将所述2D包围边界框里的带有图像标签信息的点云的全部点的距离的中值作为目标的距离；

所述第二距离计算模块，配置为采用聚类、面拟合方法对所述带有图像标签信息的点云进行处理，选取簇中点数最多的簇作为目标点云，将所述目标点云质心的距离作为当前目标的距离；

所述目标位置获取模块，配置为基于所述目标点云的质心、点云数据和目标类别，通过对点云的聚类来拟合目标的3D边界框，获取该目标在世界坐标系下的3D位置。

5.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-3任一项所述的自动驾驶车辆的道路目标与距离检测方法。

6.一种处理装置，包括

处理器，适于执行各条程序；以及

存储装置，适于存储多条程序；

其特征在于，所述程序适于由处理器加载并执行以实现：

权利要求1-3任一项所述的自动驾驶车辆的道路目标与距离检测方法。

Images