CN112766135B - 目标检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请实施例中提供了一种目标检测方法、装置、电子设备和存储介质，首先将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得点云前视投影图；并对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；再将深度图、反射率图与对应的时间戳的RGB图像数据融合获得融合数据特征图；将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。本申请通过将雷达采集到的数据与相机采集到的图像进行融合，从而获得更加丰富的数据，并基于融合数据特征图进行目标检测，以提高目标检测结果的准确度。

Description

目标检测方法、装置、电子设备和存储介质

技术领域

本申请涉及自动驾驶技术，具体地，涉及一种目标检测方法、装置、电子设备和存储介质。

背景技术

目前，随着车载传感器(如固态雷达、毫米波雷达和全景相机等)的量产和人工智能算法的普及，自动驾驶技术的发展也越来越迅速。

但单一的车载传感器具有自身的感知缺陷，例如相机不具备精确测距能力，而激光雷达的采集结果较为稀疏，且毫米波的块状点云粗糙，无法未目标检测提供有效的语义特征，若通过单一传感器采集到的信息进行目标检测，会导致目标检测结果的准确度较低，从而无法将该目标检测结果应用于自动驾驶技术。

因此，如何融合不同的车载传感器的优势，提高车载传感器的感知系统性能及目标检测结果的准确度成为一个研究挑战。

发明内容

本申请实施例中提供了一种目标检测方法、装置、电子设备和存储介质，以增强现有技术中的单一传感器的目标检测结果检测稳定性弱、准确度较低的问题。

根据本申请实施例的第一个方面，提供了一种目标检测方法，所述方法包括：

将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图；

对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；

将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图；

将所述融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。

在一种可选的实施方式中，在将至少一个雷达采集到的当前时间戳的点云数据投影到相机视场中之前，所述方法包括：

对相机图像和所述雷达采集到的点云数据进行联合标定，获得所述雷达的投影矩阵。

在一种可选的实施方式中，所述对相机图像和所述雷达采集到的点云数据进行联合标定，获得所述雷达的投影矩阵，包括：

获取相机的二维成像空间的坐标系；

通过棋盘标定板进行角点检测，获取相机采集到的图像数据的标定板边缘和标定板角点信息；

通过棋盘标定板进行角点检测，获取雷达采集到的点云数据的标定板边缘和标定板角点信息；

计算所述点云数据的标定板角点信息与所述图像数据的标定板角点信息之间的偏移距离和姿态角；

根据所述偏移距离和姿态角获得雷达投影到所述相机对应的投影矩阵。

在一种可选的实施方式中，对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图，包括：

采用双边滤波算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；

采用德劳内三角插值算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图。

在一种可选的实施方式中，将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图，包括：

选择所述第一深度图、所述第一反射率图、所述第二深度图和所述第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；

将所述雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

在一种可选的实施方式中，所述方法还包括对所述目标检测网络进行训练的步骤，所述步骤包括：

获取多个所述融合数据特征图作为训练样本，并对每个所述训练样本进行标定；

随机选择两个训练样本进行叠加组合，获得组合后的训练样本，组合后样本包含随机选择的两个训练样本中的全部待检测目标信息；

将所述组合后的训练样本输入至所述目标检测网络进行目标检测运算，获得实际输出的目标检测结果；

根据所述实际输出的目标检测结果及标定的目标检测结果计算所述当前目标检测网络的模型误差；

以目标误差函数最小化为目标，调整所述目标检测网络的各层神经元权重参数，通过参数调整后的目标检测网络对多个所述训练样本进行迭代训练，并计算调整后的目标检测网络的模型误差；

重复上述步骤，直至所述目标检测网络的模型误差小于预设阈值或迭代次数到的预设值，将达到预设阈值的检测准确度对应的网络参数作为所述目标检测网络的参数，获得训练好的目标检测网络。

在一种可选的实施方式中，所述将多个所述训练样本进行随机组合，获得组合后的训练样本，包括：

将多个所述训练样本中的每两个任意的样本的透明通道值设为预设值，将所述每两个任意的样本中的数据进行叠加，从而获得多个组合后的训练样本。

根据本申请实施例的第二个方面，提供了一种目标检测装置，所述装置包括：

投影模块，用于将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图；

上采样模块，用于对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；

融合模块，用于将所述点云深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图；

检测模块，用于将所述融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。

在一种可选的实施方式中，所述上采样模块包括：

双边滤波子模块，用于采用双边滤波算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；

德劳内三角插值子模块，用于采用德劳内三角插值算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图。

在一种可选的实施方式中，所述融合模块具体用于：

选择所述第一深度图、所述第一反射率图、所述第二深度图和所述第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；

将所述雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的目标检测方法。

根据本申请实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的目标检测方法。

本申请实施例中提供了一种目标检测方法、装置、电子设备和存储介质，首先将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得投影图；并对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；再将深度图、反射率图与对应的时间戳的RGB图像数据融合获得融合数据特征图；将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。本申请通过将雷达采集到的数据与相机采集到的图像进行融合，从而获得更加丰富的数据，并基于融合数据特征图进行目标检测，以提高目标检测结果的准确度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的电子设备的结构示意图；

图2为本申请实施例提供的目标检测方法的流程图之一；

图3为本申请实施例提供目标检测方法的流程图之二；

图4为本申请实施例提供的步骤S105的子步骤流程图；

图5为本申请实施例提供的相机拍摄图像；

图6为本申请实施例提供的雷达的点云数据图；

图7为本申请实施例提供的基于双边滤波算法获得的第一深度图和第一反射率图；

图8为进行双边滤波算法时未减少和减少雷达视野采集距离后的上采样结果对比图；

图9为双边滤波算法时在每个滑动窗口未采用和采用中值滤波插值的上采样结果对比图；

图10为本申请实施例提供的基于德劳内三角插值算法获得的第二深度图和第二反射率图；

图11为本申请实施例提供的训练样本组合的示意图；

图12为本申请实施例提供的目标检测网络的模型结构示意图；

图13为本申请实施例提供的Saccade融合目标检测网络的架构示意图；

图14为本申请实施例提供的目标检测装置的功能模块图。

图标：10-电子设备；11-处理器；12-存储器；13-总线；110-目标检测装置；1101-投影模块；1102-上采样模块；1103-融合模块；1104-检测模块。

具体实施方式

在实现本申请的过程中，发明人发现，自动驾驶技术目前可以应用在封闭或半封闭场景下取代繁重复杂的人工作业，例如在环境恶劣的矿区、在需要不间断作业的港口或在医院之间进行药物配送。而道路环境中的目标检测任务是在自动驾驶任务中最关键的模块之一，可以为后续的目标跟踪、轨迹预测、路径规划等问题提供关键的基础感知信息。但目前都是将单一传感器采集到的数据直接输入至目标检测算法中进行检测，在某些情况下检测结果的准确性较低，从而无法为自动驾驶技术后续的目标跟踪、轨迹预测、路径规划等问题提供关键的基础感知信息。

针对上述问题，本申请实施例中提供了一种目标检测方法、装置、电子设备和存储介质，首先将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得投影图；并对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；再将深度图、反射率图与对应的时间戳的RGB图像数据融合获得融合数据特征图；将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。本申请通过将雷达采集到的数据与相机采集到的图像进行融合，从而获得更加丰富的数据，并基于融合数据特征图进行目标检测，以提高目标检测结果的准确度。

本申请实施例中的方案可以采用各种计算机语言实现，例如python、c语言或c++语言，也可通过程序库函数封装后被其它语言调用。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本实施例中，目标检测方法应用于图1中的电子设备10，图1为本申请实施例提供的电子设备10的结构示意图。该电子设备10与车载摄像设备(相机)及雷达传感器连接，用于获取车载摄像设备拍摄的图像以及雷达采集到的点云数据，并针对获取到的图像及点云数据进行数据处理及目标检测。

可选地，在本实施例中，车载摄像设备和雷达可以设置于无人驾驶车辆的前挡风玻璃处，且电子设备10可以通过以太网接口或USB接口等连接方式与车载摄像设备连接，车载摄像设备通过以太网接口或USB接口等连接方式与雷达连接。

在图1中，电子设备10包括：处理器11、存储器12和总线13，存储器12存储有处理器11可执行的机器可读指令，当电子设备10运行时，11处理器与存储器12之间通过总线13通信，机器可读指令被处理器11执行时执行本申请实施例提供的目标检测方法。

下面结合附图对本申请实施例提供的目标检测方法进行进一步说明。

请参照图2，图2为本申请实施例提供的目标检测方法的流程图之一。该方法应用于图1中的电子设备10，包括以下步骤：

步骤S101，将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图。

步骤S102，对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图。

步骤S103，将深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图。

步骤S104，将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。

在上述步骤中，当无人驾驶汽车启动后，汽车上安装的传感器(例如雷达和相机)及电子设备10通电自启，雷达及相机将采集到的数据或图像发送至电子设备10进行处理。其中，电子设备10中设置有预先训练好的目标检测模块。

本申请实施例在进行目标检测时，首先将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得投影图；并对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；再将深度图、反射率图与对应的时间戳的RGB图像数据融合获得融合数据特征图；将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。通过将雷达采集到的数据与相机采集到的图像进行融合，获得更加丰富的融合数据特征图，并基于融合数据特征图进行目标检测，以提高目标检测结果的准确度。

可选地，请参照图3，图3为本申请实施例提供目标检测方法的流程图之二。在本实施例中，在步骤S101之前，目标检测方法还包括：

步骤S105，对相机采集的图像和所述雷达采集到的点云数据进行联合标定，获得雷达的投影矩阵。

在一种可行的实施方式中，无人驾驶汽车上可能设置有至少一个雷达以及至少一个相机，在进行雷达和相机的联合标定时，需要同时对所以的雷达及相机均进行视场角的标定，以获得每个雷达的投影矩阵，从而可以根据投影矩阵将雷达采集到的点云数据投影到相机视场中。

可选地，在本实施例中，在将雷达采集到的点云数据进行投影时，可以将无人驾驶汽车上的所有雷达传感器采集到的点云数据投影到同一个相机视场中，也可以将部分雷达传感器采集到的点云数据投影到同一个相机视场中，另一部分雷达传感器采集到的点云数据则投影到其他的相机视场中。

进一步地，请参照图4，图4为本申请实施例提供的步骤S105的子步骤流程图。在本实施例中，步骤S105包括以下子步骤：

子步骤S1051，获取相机的二维成像空间的坐标系。

子步骤S1052，通过棋盘标定板进行角点检测，获取相机采集到的图像数据的标定板边缘和标定板角点信息。

子步骤S1053，通过棋盘标定板进行角点检测，获取雷达采集到的点云数据的标定板边缘和标定板角点信息。

子步骤S1054，计算所述点云数据的标定板角点信息与所述图像数据的标定板角点信息之间的偏移距离和姿态角。

子步骤S1055，根据偏移距离和姿态角获得雷达投影到相机对应的投影矩阵。

在上述子步骤中，首先获取相机的二维成像空间的坐标系(例如xy坐标系)，再通过棋盘标定板对雷达的角点进行标定检测，从而获取到雷达采集到的点云数据的标定板边缘和角点信息。根据点云数据的标定板边缘和角点信息，通过点到面(Point-to-Plane)原理，计算雷达与相机之间的偏移距离(X、Y、Z距离)和姿态角(横滚角，俯仰角，偏航角)数据，并基于偏移距离及姿态角数据计算雷达的投影矩阵。

在获得投影矩阵之后，可以根据投影矩阵对雷达采集到的数据进行裁剪并投影，从而可以将雷达的点云数据投影到相机视场中，获得投影图。

例如，结合参照图5及图6，图5为本申请实施例提供的相机拍摄图像，图6为本申请实施例提供的雷达的点云数据图。在进行投影时，需要根据投影矩阵将图6中的点云数据图投影到图5中的相机拍摄的图像(即相机视场)中，以将点云数据和图像数据结合。

可选地，上述步骤可以视为对雷达采集到的某一时刻的点云数据进行投影，在投影时，将该时刻的点云数据投影到相应时刻的相机视场中。在实际应用过程中，可以实时采集雷达的点云数据，并针对每一个时刻的点云数据均进行上述步骤描述的操作，从而可以将雷达的点云数据实时投影到相机视场中。

由于雷达采集到的初始点云数据较为稀疏，为了进一步提升目标检测的准确度，可以对雷达采集到的初始点云数据进行上采样，获得稠密点云数据。具体地，步骤S102包括：

采用双边滤波算法分别对投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；采用德劳内三角插值算法分别对投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图。

在上述子步骤中，点云数据包括深度数据和反射率数据，在对点云数据进行上采样时，需要分别对深度数据和反射数据分别进行上采样。上采样的算法可以包括双边滤波算法和德劳内三角插值算法。

通过双边滤波算法分别对点云数据的深度数据和反射数据进行上采样，以获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图。如图7所示，图7为本申请实施例提供的基于双边滤波算法获得的第一深度图和第一反射率图。

可选地，在通过双边滤波算法分别对点云数据的深度数据和反射数据进行上采样时，可以通过公式1和公式2平滑在每个滑动窗口Ω内的所有点的值作为目标点x的值，在所有需要进行上采样的点上通过上述公式执行上采样步骤，从而得到需要的第一深度图和第一反射率图。

公式1为：

公式2为：

其中x是目前进行上采样处理像素坐标，Ω是滑动窗口的大小，表示反射率与坐标的平滑函数，表示使用欧式距离计算像素之间的距离，Wp是归一化模块。针对双边滤波算法，结合参照图8和图9，其中，图8为进行双边滤波算法时未减少和减少雷达视野采集距离后的上采样结果对比图，图9为双边滤波算法时在每个滑动窗口未采用和采用中值滤波插值的上采样结果对比图。在图8中，上图为进行双边滤波算法时未减少雷达视野采集距离的上采样结果图，下图为进行双边滤波算法时减少了雷达视野采集距离的上采样结果图；在图9中，上图为双边滤波算法时在每个滑动窗口未采用中值滤波插值的上采样结果图，下图为双边滤波算法时在每个滑动窗口采用了中值滤波插值的上采样结果图。

根据图8和图9所示，本申请实施例通过减少雷达视野采集距离和中值插值，保留远处和处在前视图边缘的目标以更稳定显著的表现目标物体。

通过德劳内三角插值算法分别对投影图中的点云数据的深度数据和反射率数据进行上采样，以获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图。在上采样时，首先根据德劳内三角化为投影图中的稀疏点云数据中的所有点建立三角区域，然后根据每个点的顶点值(深度数据或反射率数据)对三角形内的空像素进行插值。插值算法可以选择如最近邻插值方法或线性插值方法等。如图10所示，图10为本申请实施例提供的基于德劳内三角插值算法获得的第二深度图和第二反射率图。

在通过上述两种算法对投影图中的点云数据进行上采样后，即可获得稠密化点云的深度图和反射率图。

可选地，在本实施例中，当通过前述步骤获得第一深度图、第一反射率图、第二深度图和第二反射率图之后，还需要将获得的图像进行融合，获得融合特征图。

在一种可选的实施方式中，步骤S103，将深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图，包括：

选择第一深度图、第一反射率图、第二深度图和第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；

将雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

在具体的实施方式中，在上采样之后，能够获得点云数据的基于双边滤波算法获得的第一深度图和第一反射率图，基于德劳内三角插值算法获得的第二深度图和第二反射率图，在进行图像融合时，首先将第一深度图、第一反射率图、第二深度图和第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图。

例如，可以将第一深度图和第二深度图融合获得雷达的多通道特征图，也可以将第一深度图和第一反射率图融合获得雷达的多通道特征图，还可以将第一深度图、第二深度图和第二反射率图进行融合，获得雷达的多通道特征图。

上述仅为对融合获得雷达的多通道特征图的组合方式的举例说明，在其他实施方式中，可以任意组合第一深度图、第一反射率图、第二深度图和第二反射率图中的至少两个图像，在此不作具体限定。

在获得雷达的多通道特征图之后，再将与雷达的多通道特征图的时间戳对应的RGB图像与该多通道特征图融合，获得一个多通道的融合数据特征图。

将融合数据特征图输入至训练好的目标检测网络中进行目标检测，能够获得更多细节特征，从而能够提高目标检测结果的准确度。

请继续参照图3，在本实施例中，目标检测方法还包括：步骤S106，对目标检测网络进行训练。

进一步地，在本实施例中，对目标检测网络进行训练的步骤包括：

获取多个融合数据特征图作为训练样本，并对每个训练样本进行标定；将多个训练样本进行随机组合，获得组合后的训练样本；将组合后的训练样本输入至目标检测网络进行目标检测运算，获得实际输出的目标检测结果；根据实际输出的目标检测结果及标定的目标检测结果计算目标检测网络的模型误差，即计算误差(Loss)函数；以误差函数最小化为目标，通过随机梯度下降的方式调整目标检测网络的各层神经元权重参数，通过调整后的目标检测网络对多个训练样本进行迭代训练，并继续计算调整后的目标检测网络的模型误差。

重复上述步骤，直至目标检测网络的模型误差小于预设阈值或迭代次数到的预设值，将达到预设阈值的检测准确度对应的网络参数作为目标检测网络的参数，获得训练好的目标检测网络。

在上述步骤中，首先需要获取多个训练样本，并对每个训练样本进行标定。在获取训练样本时，通过相机和雷达分别采集多帧连续的图像数据和点云数据，再根据前述步骤中描述的方法将点云数据投影到相机视场中，并对点云数据进行上采样，将上采样后的点云数据和对应时间戳的RGB图像融合，获得融合数据特征图，该融合数据特征图即为训练样本。

通过相同的方法，对采集到的每一帧图像数据和点云数据进行处理，获得多个训练样本，再对训练样本中的各个目标进行标定，例如将训练样本中的行人、汽车、骑行者、货车等不同的目标使用不同的类别进行标定。

标定完成后，将标定好的多个训练样本进行随机组合，获得组合后的训练样本。通过随机组合的方式，可以将多帧样本中的标定的目标进行叠加，从而丰富训练样本中的被标定的目标，同时也丰富了图像的细节特征。将组合后的训练样本输入至目标检测网络中进行训练，能够使网络获得更多的图像细节，提升目标检测结果的准确度。

在通过目标检测网络获得实际输出的目标检测结果后，将实际输出的目标检测结果与预先标定的目标检测结果进行比对，并计算此时的目标检测网络的检测结果的准确度。

随后调整目标检测网络的网络参数，通过调整后的目标检测网络再次对多个训练样本进行目标检测，并计算调整后的目标检测网络的检测准确度。

重复调整目标检测网络的网络参数的步骤，直到目标检测网络最终Loss函数收敛或者达到预设迭代次数，训练结束。

将对应训练完成的网络参数作为目标检测网络的最终参数，获得训练好的目标检测网络。

将雷达和相机的融合数据特征图输入至训练好的目标检测网络进行目标检测，能够提升检测结果的准确度，同时对应检测目标区域内的点云能够通过投影矩阵反向计算获得目标的真实距离信息。

可选地，在本实施例中，将多个训练样本进行随机组合，获得组合后的训练样本的步骤包括：

将多个所述训练样本中的每两个任意的样本的阿尔法通道值设为预设值(其中，预设值的和为1)，从而获得多个组合后的训练样本。

在上述步骤中，在通过雷达和相机采集到多帧点云数据和图像数据之后，将点云数据和图像数据进行融合处理获得多帧的融合数据特征图。

例如，若通过雷达和相机分别采集到1000帧点云数据和1000帧图像数据，对1000帧点云数据和1000帧图像数据进行融合处理，获得1000帧的融合数据特征图作为训练样本。在组合训练样本时，可以将1000帧融合数据特征图中的任意两帧图像进行组合，根据不同的排列组合方法可以获得多帧组合后的图像。

再组合训练样本时，可以先将1000帧图像中数据的阿尔法(Alpha)通道值(即透明度值)分别设为预设值(例如0.5)，再将任意两帧图像组合为一个训练样本，从而获得多帧组合后的训练样本。如图11所示，图11为本申请实施例提供的训练样本组合的示意图。通过将任意两帧图像将阿尔法(Alpha)通道值设置为0.5再将两帧图像进行组合，从而能够在不增加总体数据量的前提下，增加样本的组合分布情况，从而提升目标检测网络的训练泛化能力，最终提升目标检测网络的检测结果的准确度。

为了进一步描述上述实施例，请结合参照图12，图12为本申请实施例提供的目标检测网络的模型结构示意图。在图12中，目标检测网络由两个主要模块组成，一个是用于进行卷积特征提取的主干网(即图12中的Hourglass网络)，另一个是采用并行空洞卷积结构的基于锚点的目标检测层。

对于用于进行卷积特征提取的主干网，采用了Saccade结构(一种高效的基于关键点的目标检测主干网络结构)及CNN框架，其结构如图13所示，Saccade结构包含多个递归子模块，每个子模块由Up1、Low1、Low2、Low3、Up2和Merge层组成，每个子模块的组成方式可参照表1，表1中对每个网络层包含的结构进行了详细说明，且对每个结构层的参数也进行了说明：

表1

其中，Conv表示卷积层，Shortcut意为“直连”或“捷径”，是CNN模型中的一种非常有效的结构层，Upsample为上采样层，将当前特征图长宽各扩展一倍。在表1中，网络层Up1包含两个卷积层和一个Shortcut层，其中，卷积层的卷积核为3*3，步长为1，Shortcut层的参数则为-3(为连接到当前层的向前第三层)。

在图13中，Saccade网络的输入X由两个卷积操作并行处理(即第一层的两条路径Up1和Low1)，Up1支路不改变特征图的尺寸，直接将输出结果输入Merge层。而对于Low1的支路，在第一层的网络结构中，Low1层的输出即为Low2层的输入，Low2层的输出则为第二层的网络结构的输入X，第二层网络结构对于输入的X同样由两个卷积操作并行处理(即第二层的两条路径Up1和Low1)，第二层中的Up1的输出结果为第二层中的Merge层输入，第二层中的Merge层的输出将回送至第一层中的Low2层，此时Low2层的总输出具有更丰富的深层卷积特征，同时Low2层进行了stride＝2的下采样处理将结果送至Low3，Low3的结果送至Up2，在Up2层进行参数为2的上采样操作，使Up1与Up2具有相同的尺寸，最终第一层的Merge层简单地将第一层的Up1和第二层的Up2的输出结果结合在一起获得最终输出值，并将最终输出值输入到后续的网络中去。

本申请实施例通过采用Saccade结构(一种高效的基于关键点的目标检测主干网络结构)及CNN框架解决了构造特征金字塔过程中的随机性，可以更好的融合深层特征与浅层信息。

值得说明的是，为了减少计算负担，本申请实施例采用了一个Hourglass网络模块，而不是将多个Hourglass网络模块进行堆叠。但在本申请实施例的其它实施方式中，也可以依据所部署的硬件性能将多个Hourglass网络模块进行堆叠。

而对于目标检测网络中的并行空洞卷积结构的基于锚点的目标检测层，则使用两个不共享权重的空洞卷积模块(空洞卷积率分别为1、2)，每个空洞卷积模块包含三个残差模块，同时，将部分卷积层的ReLU函数替换为Swish函数作为激活函数残差模块的激活函数。例如，残差模块的一种网络结构可参考

表2。

表2

其中，Conv表示卷积层，Shortcut意为“直连”或“捷径”。在表2中，残差模块包含三个卷积层和一个Shortcut层，其中，卷积层的卷积核为3*3及1*1大小，步长为1，Shortcut层的参数则为-4。

在每个空洞卷积模块得到的特征图上，使用基于锚点的目标检测层，能够实时得到每个融合数据特征图中所有待检测目标的位置在原始图像中的角点信息[xmax，ymax，xmin，ymin]，最终实现整个目标检测的过程。

值得说明的是，为了减少计算负担，本申请实施例采用了两个并行空洞卷积模块在两种不同尺度的目标上进行检测。但在本申请实施例的其它实施方式中，也可以依据所需检测目标的尺度分布设计多个不同尺度的并行空洞卷积模块进行并行检测，以适应多尺度目标。

综上所述，本申请实施例中提供了一种目标检测方法，首先将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得投影图；并对当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；再将深度图、反射率图与对应的时间戳的RGB图像数据融合获得融合数据特征图；将融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。本申请通过将雷达采集到的数据与相机采集到的图像进行融合，从而获得更加丰富的数据，并基于融合数据特征图进行目标检测，以提高目标检测结果的准确度。

同时，对目标检测网络的网络结构进行了改进，使得该目标检测网络的体积更小，检测结果更准确，能够在车载平台上进行部署。

请参照图14，图14为本申请实施例提供的目标检测装置110的功能模块图，应用于图1中的电子设备10，该装置包括：

投影模块1101，用于将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图；

上采样模块1102，用于对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；

融合模块1103，用于将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图；

检测模块1104，用于将所述融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果。

在一种可选的实施方式中，上采样模块1102包括：

双边滤波子模块，用于采用双边滤波算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；

德劳内三角插值子模块，用于采用德劳内三角插值算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图。

在一种可选的实施方式中，融合模块1103具体用于：

选择所述第一深度图、所述第一反射率图、所述第二深度图和所述第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；将所述雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

可选地，本申请实施例还提供了一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的目标检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种目标检测方法，其特征在于，所述方法包括：

将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图；

对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；

将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图；

将所述融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果；

对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图，包括：

采用双边滤波算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；

采用德劳内三角插值算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图；

将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图，包括：

选择所述第一深度图、所述第一反射率图、所述第二深度图和所述第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；

将所述雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

2.根据权利要求1所述的方法，其特征在于，在将至少一个雷达采集到的当前时间戳的点云数据投影到相机视场中之前，所述方法还包括：

对相机采集的图像和所述雷达采集到的点云数据进行联合标定，获得所述雷达的投影矩阵。

3.根据权利要求2所述的方法，其特征在于，所述对相机采集的图像和所述雷达采集到的点云数据进行联合标定，获得所述雷达的投影矩阵，包括：

获取相机的二维成像空间的坐标系；

通过棋盘标定板进行角点检测，获取相机采集到的图像数据的标定板边缘和标定板角点信息；

通过棋盘标定板进行角点检测，获取雷达采集到的点云数据的标定板边缘和标定板角点信息；

计算所述点云数据的标定板角点信息与所述图像数据的标定板角点信息之间的偏移距离和姿态角；

根据所述偏移距离和姿态角获得雷达投影到所述相机对应的投影矩阵。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括对所述目标检测网络进行训练的步骤，所述步骤包括：

获取多个所述融合数据特征图作为训练样本，并对每个所述训练样本进行标定；

随机选择两个训练样本进行叠加组合，获得组合后的训练样本，组合后样本包含随机选择的两个训练样本中的全部待检测目标信息；

将所述组合后的训练样本输入至所述目标检测网络进行目标检测运算，获得实际输出的目标检测结果；

根据所述实际输出的目标检测结果及标定的目标检测结果计算当前目标检测网络的模型误差；

以目标误差函数最小化为目标，调整所述目标检测网络的各层神经元权重参数，通过参数调整后的目标检测网络对多个所述训练样本进行迭代训练，并计算调整后的目标检测网络的的模型误差；

重复上述步骤，直至所述目标检测网络的模型误差小于预设阈值或迭代次数到的预设值，将达到预设阈值的检测准确度对应的网络参数作为所述目标检测网络的参数，获得训练好的目标检测网络。

5.根据权利要求4所述的方法，其特征在于，将多个训练样本进行随机组合，获得组合后的训练样本，包括：

将多个训练样本中的每两个任意的样本的透明通道值设为预设值，对每两个任意的样本的数据进行叠加，从而获得多个组合后的训练样本。

6.一种目标检测装置，其特征在于，所述装置包括：

投影模块，用于将雷达采集到的当前时间戳的点云数据投影到相机视场中，获得当前时间戳的投影图；

上采样模块，用于对所述当前时间戳的投影图中的点云数据进行上采样，获得点云的深度图和点云的反射率图；

融合模块，用于将所述深度图、反射率图与对应时间戳的RGB图像数据融合获得融合数据特征图；

检测模块，用于将所述融合数据特征图输入训练好的目标检测网络进行目标检测，获得目标检测结果；

所述上采样模块包括：

双边滤波子模块，用于采用双边滤波算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于双边滤波算法的第一深度图和基于双边滤波算法的第一反射率图；

德劳内三角插值子模块，用于采用德劳内三角插值算法分别对所述投影图中的点云数据的深度数据和反射率数据进行上采样，获得基于德劳内三角插值算法的第二深度图和基于德劳内三角插值算法的第二反射率图；

所述融合模块具体用于：

选择所述第一深度图、所述第一反射率图、所述第二深度图和所述第二反射率图中的至少两个图像进行融合，获得雷达的多通道特征图；

将所述雷达的多通道特征图与对应时间戳的RGB彩色图像融合，获得融合数据特征图。

7.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-5任一项所述的方法。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-5任一项所述的方法。