CN113762001A - 一种目标检测方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种目标检测方法、装置、电子设备和存储介质，该方法包括：获取针对应用场景采集的彩色图像和雷达数据；将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型用于：基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测；根据预设检测网络模型的输出，确定应用场景中的目标物体信息。通过本发明实施例的技术方案，可以在保证检测速度的同时，提高检测准确度。

Description

一种目标检测方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种目标检测方法、装置、电子设备和存储介质。

背景技术

随着计算机技术的快速发展，可以对应用场景中的目标物体进行目标检测，以便获得应用场景中的目标物体位置信息等。例如，在无人驾驶场景中，可以对无人驾驶车辆周围环境中的目标物体进行检测。

目前，现有的目标检测方式是基于针对应用场景采集的彩色图像进行目标检测，或者是基于针对应用场景采集的雷达数据进行目标检测。

然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在基于彩色图像进行目标检测的方式中，由于彩色图像无法获取具体的深度信息，从而会存在目标检测不准确的情况，降低了检测准确度。在基于雷达数据进行目标检测的方式中，由于雷达数据是通过发射激光束照射目标物体后返回的信号获得的，从而在照射具有黑色表面的目标物体(比如黑色车漆的汽车、黑色衣服的行人等)时会影响激光束返回的信号，所以也会存在目标检测不准确的情况，降低了检测准确度。

发明内容

本发明实施例提供了一种目标检测方法、装置、电子设备和存储介质，以在保证检测速度的同时，提高检测准确度。

第一方面，本发明实施例提供了一种目标检测方法，包括：

获取针对应用场景采集的彩色图像和雷达数据；

将所述彩色图像和所述雷达数据输入至预设检测网络模型中，其中，所述预设检测网络模型用于：基于特征点映射方式对所述彩色图像和所述雷达数据进行特征融合，并基于融合后的目标特征信息对所述应用场景中的目标物体进行检测；

根据所述预设检测网络模型的输出，确定所述应用场景中的目标物体信息。

第二方面，本发明实施例还提供了一种目标检测装置，包括：

数据获取模块，用于获取针对应用场景采集的彩色图像和雷达数据；

数据输入模块，用于将所述彩色图像和所述雷达数据输入至预设检测网络模型中，其中，所述预设检测网络模型用于：基于特征点映射方式对所述彩色图像和所述雷达数据进行特征融合，并基于融合后的目标特征信息对所述应用场景中的目标物体进行检测；

目标物体信息确定模块，用于根据所述预设检测网络模型的输出，确定所述应用场景中的目标物体信息。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的目标检测方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的目标检测方法。

上述发明中的实施例具有如下优点或有益效果：

通过将针对应用场景采集的彩色图像和雷达数据均输入至预设检测网络模型中，使得预设检测网络模型可以同时基于彩色图像和雷达数据进行目标检测，从而可以提高检测准确度。而且，预设检测网络模型是基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测，使得预设检测网络模型在特征融合过程中并没有涉及图像切割、双线性插值等费时操作，从而可以快速地检测出应用场景中的目标物体信息，进而保证了检测速度。

附图说明

图1是本发明实施例一提供的一种目标检测方法的流程图；

图2是本发明实施例一所涉及的一种预设检测网络模型的示例；

图3是本发明实施例一所涉及的一种第一特征提取子模型的示例；

图4是本发明实施例二提供的一种目标检测方法的流程图；

图5是本发明实施例二所涉及的一种预设检测网络模型的示例；

图6是本发明实施例三提供的一种目标检测装置的结构示意图；

图7是本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种目标检测方法的流程图，本实施例可适用于对应用场景中的目标物体进行检测的情况，尤其是可以用于对自动驾驶场景中的目标物体进行检测的情况，同时也可以用于其他需要检测目标的应用场景中。该方法可以由目标检测装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中，比如该设备可以搭载在自动驾驶车辆中。如图1所示，该方法具体包括以下步骤：

S110、获取针对应用场景采集的彩色图像和雷达数据。

其中，彩色图像可以是指每个像素由R(Red，红色)、G(Green，黄色)、B(Blue，蓝色)分量构成的图像，其可以利用RGB摄像头采集获得。例如，彩色图像可以为图像分辨率为300×300且通道数为3的RGB图像，即彩色图像的输入维度为：300×300×3。彩色图像的数量可以为一张或多张。雷达数据可以包括多个位置点的三维坐标信息。例如，采集的雷达数据可以包括600×600个点的三维坐标信息，即雷达数据的输入维度为：600×600×3。应用场景可以是指任意一种需要检测目标物体的业务场景，比如，机器人场景、无人驾驶场景等。

具体地，可以预先利用布置在应用场景中的摄像头采集彩色图像，以及布置在应用场景中的雷达探测器采集雷达数据，以便获得彩色图像和雷达数据。

示例性地，S110可以包括：在无人驾驶场景中，获取无人驾驶车辆上安装的摄像头所采集的彩色图像，以及无人驾驶车辆上安装的雷达探测器所采集的雷达数据。例如，可以利用在无人驾驶车辆上预先安装的摄像头采集彩色图像，以及利用预先安装的雷达探测器采集雷达数据，以便基于采集的彩色图像和雷达数据，对无人驾驶车辆周围的目标物体进行检测。

需要说明的是，雷达探测器可以采集360°范围内的雷达数据。由于摄像头拍摄视角的限制，从而可以利用多个摄像头全方位地采集应用场景的彩色图像，以便基于采集的多张彩色图像进行目标检测，进一步提高目标检测的准确性。

S120、将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型用于：基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测。

其中，预设检测网络模型可以是预先设置的，用于基于彩色图像和雷达数据进行目标检测的深度神经网络模型。本实施例中的预设检测网络模型可以是预先基于样本数据进行训练后获得的。特征点映射方式可以是将彩色图像中的特征点与雷达数据中的特征点进行一一映射的方式。例如，雷达数据中的特征点可以映射到彩色图像中的对应特征点。目标特征信息可以是指将彩色图像中的特征信息与雷达数据中的特征信息进行融合后获得的结合特征信息。目标物体可以是指应用场景中的待检测物体。目标物体可以是二维物体，也可以是三维物体。目标物体的数量可以为一个或多个。例如，在无人驾驶场景中，可以将车辆和行人作为目标物体进行检测。

具体地，将采集的彩色图像和雷达数据同时输入至预先训练好的预设检测网络模型中，以使预设检测网络模型通过特征点映射方式对输入的彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测，从而可以同时利用彩色图像和雷达数据的优势，即同时保证具有黑色表面的目标物体可以进行正常检测，以及获得具体的深度信息，进而提高了目标检测准确度。而且，预设检测网络模型是基于特征点映射方式进行特征融合的，整个融合过程中并没有涉及图像切割、双线性插值等费时操作，从而可以快速地进行目标检测，进而在提高检测准确度的同时保证了检测速度。

S130、根据预设检测网络模型的输出，确定应用场景中的目标物体信息。

具体地，预设检测网络模型可以将检测到的目标物体信息进行输出，从而基于预设检测网络模型的输出，可以获得应用场景中的目标物体信息，使得获得的目标物体信息更加准确。

示例性地，S130可以包括：根据预设检测网络模型的输出，确定应用场景中的三维目标物体所在包围体的长度、宽度、高度、旋转角度和中心点位置。其中，包围体可以是将目标物体完全包容起来的一个封闭空间。例如，可以将复杂的目标物体封装在简单的包围体中，从而可以更加便捷地表征物体所在位置。例如，在检测应用场景中的三维目标物体时，获得的三维目标物体信息可以包括三维目标物体所在包围盒的长度、宽度、高度、旋转角度和中心点位置等，从而可以更加准确地获知目标物体所在位置和形态，进一步提高了目标检测的准确度。

本实施例的技术方案，通过将针对应用场景采集的彩色图像和雷达数据均输入至预设检测网络模型中，使得预设检测网络模型可以同时基于彩色图像和雷达数据进行目标检测，从而可以提高检测准确度。而且，预设检测网络模型是基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测，使得预设检测网络模型在特征融合过程中并没有涉及图像切割、双线性插值等费时操作，从而可以快速地检测出应用场景中的目标物体信息，进而保证了检测速度。

在上述技术方案的基础上，预设检测网络模型可以包括：特征提取子模型、特征融合子模型和目标检测子模型。

其中，特征提取子模型用于：对输入的彩色图像和雷达数据进行特征提取，获得彩色图像对应的第一图像特征信息以及雷达数据对应的雷达特征信息，并将第一图像特征信息和雷达数据输入至特征融合子模型中；特征融合子模型用于：基于预设旋转矩阵和预设高度，将输入的雷达特征信息中的雷达特征点与第一图像特征信息中的彩色特征点进行映射，确定在预设高度下各个雷达特征点对应的第二图像特征信息，并将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，并将目标特征信息输入至目标检测子模型中；目标检测子模型用于：根据输入的目标特征信息确定应用场景中的目标物体信息，并将目标物体信息进行输出。

具体地，预设检测网络模型中的目标检测过程可以为：当彩色图像和雷达数据输入至预设检测网络模型中的特征提取子模型中进行特征提取，获得彩色图像对应的第一图像特征信息以及雷达数据对应的雷达特征信息，并将第一图像特征信息和雷达特征信息输入至特征融合子模型中进行特征点映射和特征融合，获得融合后的目标特征信息，并将目标特征信息输入至目标检测子模型中进行目标检测，获得目标物体信息，并将目标物体信息进行输出，从而可以基于预设检测网络模型的输出获得应用场景中的目标物体信息。

对于特征提取子模型而言，彩色图像对应的第一图像特征信息可以包括彩色图像中的每个特征点对应的特征响应值，其可以利用特征图的形式进行表征，例如，第一图像特征信息为第一彩色特征图(RGB feature map)。雷达数据对应的雷达特征信息可以包括雷达数据中的每个特征点对应的特征响应值，其也可以利用特征图的形式进行表征，例如，雷达特征信息为基于BEV(Bird’s Eye View，俯视)表征的雷达特征图(BEV feature map)。

具体地，图2给出了一种预设检测网络模型的示例。如图2所示，特征提取子模型可以包括第一特征提取子模型和第二特征提取子模型，以便利用两个特征提取子模型分别对彩色图像和雷达数据进行特征提取。示例性地，第一特征提取子模型用于：对输入的彩色图像进行特征提取，获得彩色图像对应的第一图像特征信息，并将第一图像特征信息输入至特征融合子模型中；第二特征提取子模型用于：对输入的雷达数据进行特征提取，获得雷达数据对应的雷达特征信息，并将雷达特征信息输入至特征融合子模型中。其中，第一特征提取子模型和第二特征提取子模型可以是网络结构相同的两个特征提取子模型，也可以是网络结构不同的两个用于提取特征的现有子模型。例如，第一特征提取子模型和第二特征提取模型均可以是用于提取图像特征的深度学习网络。图3给出了一种第一特征提取子模型的示例。如图3所示，input可以表示输入的彩色图像；Conv表示二维卷积；3×3Conv表示卷积核的长宽均为3的二维卷积；Filter concat表示将多个宽高相同的特征图进行连接的结果，例如，若特征图1的大小为80×80×50，特征图2的大小为80×80×50，则通过Filterconcat连接后的结果为：大小为80×80×100的特征图。本实施例中的第一特征提取子模型可以先通过steam模块提取输入的彩色图像中的基础特征，通过5个Inception-resnet模块进行卷积操作，通过Reduction模块提取抽象特征，再通过10个Inception-resnet模块进行卷积操作，然后再通过Reduction模块提取抽象特征，最后通过10个Inception-resnet模块进行卷积操作，从而获得提取出的第一图像特征信息。其中，Inception-resnet模块可以是指由多个卷积层并联的卷积模块。

对于特征融合子模型而言，预设旋转矩阵可以用于表征彩色图像中的特征点与雷达数据中的特征点之间的对应关系，其可以基于摄像头与雷达探测器的安装位置关系进行确定。通过预设旋转矩阵，可以将雷达中的三维位置点映射到彩色图像中的对应点，以便将彩色特征图(RGB feature map)中的特征点与雷达特征图(BEV feature map)中的特征点进行一一对应。预设高度可以是指应用场景中的实际高度，其可以将地面视为高度0米。预设高度可以基于待检测的目标物体的实际高度进行确定。预设高度的数量可以为一个或多个。例如，若需要检测应用场景中的汽车，汽车的实际高度为2米，则可以将预设高度设置为2米。若需要检测应用场景中的行人和汽车，则可以预设高度设置为0米、1米和2米，以便检测高度2米内的目标物体。第二图像特征信息可以包括每个雷达特征点对应的彩色特征点的特征响应值，其也可以利用特征图的形式进行表征，例如，第二图像特征信息为第二彩色特征图。目标特征信息可以包括每个雷达特征点对应的融合彩色特征和雷达特征后获得的特征响应值，其也可以利用特征图的形式进行表征，例如，目标特征信息为指雷达特征图与第二彩色特征图结合后获得的目标特征图。

示例性地，特征融合子模型中的特征点映射过程可以具体为：基于输入的雷达特征信息中的每个雷达特征点对应的像素位置信息和预设高度，确定每个雷达特征点对应的三维位置信息；基于预设旋转矩阵和每个雷达特征点对应的三维位置信息，将每个雷达特征点映射到彩色图像对应的彩色特征图上，确定每个雷达特征点对应的彩色特征点；基于每个雷达特征点对应的彩色特征点，从输入的第一图像特征信息中确定每个雷达特征点对应的第一彩色特征点信息，并基于各个第一彩色特征点信息生成在预设高度下各个雷达特征点对应的第二图像特征信息。

其中，雷达特征点可以是指雷达特征信息对应的雷达特征图中的特征点。彩色特征点可以是指第一图像特征信息对应的第一彩色特征图中的特征点。具体地，可以从雷达特征信息中获得每个雷达特征点对应的像素位置信息，即雷达特征点对应的长度和宽度，并将预设高度作为每个雷达特征点的高度，从而获得在预设高度下，每个雷达特征点对应的三维位置信息。例如，若在雷达数据中的某个雷达特征点表示为(20,40,0)，则表示该三维点在长度为20，宽度为50和高度为0米的位置上。对于长度相同、宽度相同但高度不同的雷达特征点通过预设旋转矩阵可以映射到不同的彩色特征点上。具体地，可以通过将预设旋转矩阵与每个雷达特征点对应的三维位置信息进行相乘，相乘结果即为每个雷达特征点所映射到的第一彩色特征图上的彩色特征点，从而可以映射后的每个雷达特征点对应的彩色特征点。基于雷达特征点与彩色特征点之间的映射关系，从包含每个彩色特征点对应的第一彩色特征点信息中可以获得每个雷达特征点对应的第一彩色特征点信息。将获得的各个第一彩色特征点信息按照各个雷达特征点的位置关系进行组合，可以生成雷达特征图对应的第二图像特征信息，比如第二彩色特征图，从而预设高度的第一图像特征信息(比如第一彩色特征图)通过预设旋转矩阵可以映射为第二图像特征信息(比如第二彩色特征图)。

示例性地，本实施例是将雷达特征图中的每个雷达特征点进行映射的，从而获得的第二图像特征信息对应的图像特征图分辨率与雷达特征信息对应的雷达特征图分辨率相等。针对于此，特征融合子模型中的特征融合过程可以具体为：针对同一位置特征点，将第二图像特征信息与雷达特征信息进行连接处理，确定连接处理后的目标特征信息。具体地，分别从第二图像特征信息和雷达特征信息中，获得同一位置特征点对应的第二彩色特征点信息和雷达特征点信息，并将同一位置特征点对应的第二彩色特征点信息与雷达特征点信息进行拼接，从而获得目标特征信息，比如目标特征图。例如，若第一图像特征信息是：分辨率为75×75且通道数为96的第一彩色特征图；雷达特征信息是：分辨率为150×150且通道数为96的雷达特征图，则获得的第二图像特征信息是：分辨率为150×150且通道数为96的第二彩色特征图。通过连接处理获得的目标特征信息是：分辨率为150×150且通道数为198的目标特征图。

需要说明的是，若输入多张彩色图像，则特征融合子模型可以基于每张彩色图像对应的第一图像特征信息，确定出每张彩色图像在预设高度下对应的第二图像特征信息，并将各个第二图像特征信息与雷达特征信息进行融合处理，以使融合后的目标特征信息可以包含各张彩色图像中的特征信息，以便基于该目标特征信息可以更加准确地进行目标检测，进一步提高了检测准确度。

对于目标检测子模型而言，目标检测子模型可以是基于提取出的特征信息进行目标检测的网络结构的深度神经网络。示例性地，目标检测子模型的网络结构可以包括2层卷积核的长宽均为3的二维卷积操作。例如，将输入的目标特征信息通过2层卷积核的长宽均为3的二维卷积操作后，可以快速地生成最终的目标物体信息，整个目标检测过程中并不会涉及全连接、图像切割、双线性插值等费时操作，从而可以进一步提高目标检测速度。

在上述技术方案的基础上，特征融合子模型中的“将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息”，可以包括：若存在至少两个预设高度，则获取每个预设高度对应的第二图像特征信息，并将各个第二图像特征信息进行融合处理，获得融合后的第四图像特征信息；将第四图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息。

具体地，可以基于待检测的目标物体的实际高度可以设置一个或多个预设高度。当存在至少两个预设高度时，对于每个预设高度，可以基于上述描述的特征点映射方式，生成在每个预设高度下各个雷达特征点对应的第二图像特征信息，即每个预设高度对应的第二彩色特征图。可以通过连接的方式对各个第二图像特征信息进行融合处理，即可以针对同一位置特征点，将各个第二图像特征信息进行连接处理，获得连接处理后的第四图像特征信息，即各个预设高度下的第二彩色特征图融合后的第四彩色特征图。通过设置多个预设高度，可以将不同高度的图像特征信息进行融合，以便可以准确地检测出不同高度的目标物体，进一步提高目标检测的准确度。

示例性地，如图2所示，存在3个预设高度，分别为高度0米、高度1米和高度2米。第一图像特征信息是：分辨率为75×75且通道数为96的第一彩色特征图；雷达特征信息是：分辨率为150×150且通道数为96的雷达特征图；通过上述映射方式，可以分别将高度为0米、1米和2米的第一彩色特征图通过预设旋转矩阵映射为三个分辨率均为150×150且通道数为96的第二彩色特征图，如图2的特征融合子模型中的三个灰色立方体。通过对这三个第二彩色特征图进行融合处理，比如连接处理，可以获得一个分辨率均为150×150且通道数为288的第四彩色特征图。通过将第四彩色特征图与雷达特征图进行融合处理，可以将不同高度下的图像特征信息均与雷达特征信息进行融合，以便检测出不同高度下的目标物体，进一步提高目标检测的准确度。

实施例二

图4为本发明实施例二提供的一种目标检测方法的流程图，本实施例在上述各实施例的基础上，对特征融合子模型中的特征融合过程进行进一步优化，其中与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图4，本实施例提供的目标检测方法具体包括以下步骤：

S410、获取针对应用场景采集的彩色图像和雷达数据。

S420、将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型中的特征融合子模型还用于：在确定在预设高度下各个雷达特征点对应的第二图像特征信息之后，对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息；将第三图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息。

其中，第三图像特征信息可以是由筛选后的有用特征信息组成。有用特征信息可以是指特征响应值为非零的彩色图像特征信息。

具体地，特征融合子模型在确定出预设高度下对应的第二图像特征信息之后，可以通过全连接的方式筛选出第二图像特征信息中的有用特征信息，去除无用的彩色图像特征信息，从而获得有用的第三图像特征信息。通过将第三图像特征信息与雷达特征信息进行融合处理，使得融合后的目标特征信息仅包含有用的彩色图像特征信息，不会涉及无用的彩色图像特征信息，从而基于目标特征信息可以更加快速地进行目标检测，进一步提高了目标检测效率。

需要说明的是，若存在至少两个预设高度，则在将每个预设高度对应的第二图像特征信息进行融合处理，获得融合后的第四图像特征信息之后，可以对第四图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息，并将第三图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，以便对不同高度下的彩色图像特征信息进行筛选，获得有用的彩色图像特征信息，进一步提高目标检测效率。

示例性地，对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息，可以包括：通过卷积核长宽均为1的二维卷积操作，对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息。具体地，可以通过卷积核长宽均为1的二维卷积操作对彩色图像特征信息进行快速筛选，无需使用全连接的费时操作，进一步提高目标检测速度。

例如，图5给出了一种预设检测网络模型的示例。如图5所示，特征融合子模型在对三个分辨率均为150×150且通道数为96的第二彩色特征图进行连接处理，获得一个分辨率均为150×150且通道数为288的第四彩色特征图之后，可以将第四彩色特征图通过卷积核长宽均为1的二维卷积操作，产生分辨率均为150×150且通道数为160的第三彩色特征图，即第三图像特征信息，并将有用的第三图像特征信息与雷达特征信息进行融合处理，以便提高目标检测速度。

S430、根据预设检测网络模型的输出，确定应用场景中的目标物体信息。

本实施例的技术方案中，预设检测网络模型中的特征融合子模型通过在确定出预设高度下对应的第二图像特征信息之后，筛选出第二图像特征信息中的有用特征信息，去除无用的彩色图像特征信息，并将有用的第三图像特征信息与雷达特征信息进行融合处理，使得融合后的目标特征信息不会涉及无用的彩色图像特征信息，从而基于目标特征信息可以更加快速地进行目标检测，进一步提高了目标检测速度。

以下是本发明实施例提供的目标检测装置的实施例，该装置与上述各实施例的目标检测方法属于同一个发明构思，在目标检测装置的实施例中未详尽描述的细节内容，可以参考上述目标检测方法的实施例。

实施例三

图6为本发明实施例三提供的一种目标检测装置的结构示意图，本实施例可适用于对应用场景中的目标物体进行检测的情况。该装置可以具体包括：数据获取模块610、数据输入模块620和目标物体信息确定模块630。

其中，数据获取模块610，用于获取针对应用场景采集的彩色图像和雷达数据；数据输入模块620，用于将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型用于：基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测；目标物体信息确定模块630，用于根据预设检测网络模型的输出，确定应用场景中的目标物体信息。

可选地，预设检测网络模型包括：特征提取子模型、特征融合子模型和目标检测子模型；其中，

特征提取子模型用于：对输入的彩色图像和雷达数据进行特征提取，获得彩色图像对应的第一图像特征信息以及雷达数据对应的雷达特征信息，并将第一图像特征信息和雷达数据输入至特征融合子模型中；

特征融合子模型用于：基于预设旋转矩阵和预设高度，将输入的雷达特征信息中的雷达特征点与第一图像特征信息中的彩色特征点进行映射，确定在预设高度下各个雷达特征点对应的第二图像特征信息，并将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，并将目标特征信息输入至目标检测子模型中；

目标检测子模型用于：根据输入的目标特征信息确定应用场景中的目标物体信息，并将目标物体信息进行输出。

可选地，基于预设旋转矩阵和预设高度，将输入的雷达特征信息中的雷达特征点与第一图像特征信息中的彩色特征点进行映射，确定在预设高度下各个雷达特征点对应的第二图像特征信息，包括：

基于输入的雷达特征信息中的每个雷达特征点对应的像素位置信息和预设高度，确定每个雷达特征点对应的三维位置信息；基于预设旋转矩阵和每个雷达特征点对应的三维位置信息，将每个雷达特征点映射到彩色图像对应的彩色特征图上，确定每个雷达特征点对应的彩色特征点；基于每个雷达特征点对应的彩色特征点，从输入的第一图像特征信息中确定每个雷达特征点对应的第一彩色特征点信息，并基于各个第一彩色特征点信息生成在预设高度下各个雷达特征点对应的第二图像特征信息。

可选地，第二图像特征信息对应的图像特征图分辨率与雷达特征信息对应的雷达特征图分辨率相等；将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：针对同一位置特征点，将第二图像特征信息与雷达特征信息进行连接处理，确定连接处理后的目标特征信息。

可选地，将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息；将第三图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息。

可选地，对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息，包括：通过卷积核长宽均为1的二维卷积操作，对第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息。

可选地，将第二图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：若存在至少两个预设高度，则获取每个预设高度对应的第二图像特征信息，并将各个第二图像特征信息进行融合处理，获得融合后的第四图像特征信息；将第四图像特征信息与雷达特征信息进行融合处理，确定融合后的目标特征信息。

可选地，数据获取模块610，具体用于：在无人驾驶场景中，获取无人驾驶车辆上安装的摄像头所采集的彩色图像，以及无人驾驶车辆上安装的雷达探测器所采集的雷达数据。

可选地，目标物体信息确定模块630，具体用于：根据预设检测网络模型的输出，确定应用场景中的三维目标物体所在包围体的长度、宽度、高度、旋转角度和中心点位置。

本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行目标检测方法相应的功能模块和有益效果。

值得注意的是，上述目标检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图7为本发明实施例四提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图7显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种目标检测方法步骤，该方法包括：

获取针对应用场景采集的彩色图像和雷达数据；

将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型用于：基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测；

根据预设检测网络模型的输出，确定应用场景中的目标物体信息。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的目标检测方法的技术方案。

实施例五

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的目标检测方法步骤，该方法包括：

获取针对应用场景采集的彩色图像和雷达数据；

将彩色图像和雷达数据输入至预设检测网络模型中，其中，预设检测网络模型用于：基于特征点映射方式对彩色图像和雷达数据进行特征融合，并基于融合后的目标特征信息对应用场景中的目标物体进行检测；

根据预设检测网络模型的输出，确定应用场景中的目标物体信息。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种目标检测方法，其特征在于，包括：

获取针对应用场景采集的彩色图像和雷达数据；

将所述彩色图像和所述雷达数据输入至预设检测网络模型中，其中，所述预设检测网络模型用于：基于特征点映射方式对所述彩色图像和所述雷达数据进行特征融合，并基于融合后的目标特征信息对所述应用场景中的目标物体进行检测；

根据所述预设检测网络模型的输出，确定所述应用场景中的目标物体信息。

2.根据权利要求1所述的方法，其特征在于，所述预设检测网络模型包括：特征提取子模型、特征融合子模型和目标检测子模型；其中，

所述特征提取子模型用于：对输入的所述彩色图像和所述雷达数据进行特征提取，获得所述彩色图像对应的第一图像特征信息以及所述雷达数据对应的雷达特征信息，并将所述第一图像特征信息和所述雷达数据输入至所述特征融合子模型中；

所述特征融合子模型用于：基于预设旋转矩阵和预设高度，将输入的所述雷达特征信息中的雷达特征点与所述第一图像特征信息中的彩色特征点进行映射，确定在所述预设高度下各个雷达特征点对应的第二图像特征信息，并将所述第二图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息，并将所述目标特征信息输入至所述目标检测子模型中；

所述目标检测子模型用于：根据输入的所述目标特征信息确定所述应用场景中的目标物体信息，并将所述目标物体信息进行输出。

3.根据权利要求2所述的方法，其特征在于，基于预设旋转矩阵和预设高度，将输入的所述雷达特征信息中的雷达特征点与所述第一图像特征信息中的彩色特征点进行映射，确定在所述预设高度下各个雷达特征点对应的第二图像特征信息，包括：

基于输入的所述雷达特征信息中的每个雷达特征点对应的像素位置信息和预设高度，确定每个雷达特征点对应的三维位置信息；

基于所述预设旋转矩阵和每个雷达特征点对应的三维位置信息，将每个雷达特征点映射到所述彩色图像对应的彩色特征图上，确定每个雷达特征点对应的彩色特征点；

基于每个雷达特征点对应的彩色特征点，从输入的所述第一图像特征信息中确定每个雷达特征点对应的第一彩色特征点信息，并基于各个第一彩色特征点信息生成在所述预设高度下各个雷达特征点对应的第二图像特征信息。

4.根据权利要求2所述的方法，其特征在于，所述第二图像特征信息对应的图像特征图分辨率与所述雷达特征信息对应的雷达特征图分辨率相等；

所述将所述第二图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：

针对同一位置特征点，将所述第二图像特征信息与所述雷达特征信息进行连接处理，确定连接处理后的目标特征信息。

5.根据权利要求2所述的方法，其特征在于，所述将所述第二图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：

对所述第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息；

将所述第三图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息。

6.根据权利要求5所述的方法，其特征在于，所述对所述第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息，包括：

通过卷积核长宽均为1的二维卷积操作，对所述第二图像特征信息中的有用特征信息进行筛选，获得筛选后的第三图像特征信息。

7.根据权利要求2所述的方法，其特征在于，所述将所述第二图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息，包括：

若存在至少两个预设高度，则获取每个预设高度对应的第二图像特征信息，并将各个所述第二图像特征信息进行融合处理，获得融合后的第四图像特征信息；

将所述第四图像特征信息与所述雷达特征信息进行融合处理，确定融合后的目标特征信息。

8.根据权利要求1所述的方法，其特征在于，获取针对应用场景采集的彩色图像和雷达数据，包括：

在无人驾驶场景中，获取无人驾驶车辆上安装的摄像头所采集的彩色图像，以及所述无人驾驶车辆上安装的雷达探测器所采集的雷达数据。

9.根据权利要求1-8任一所述的方法，其特征在于，根据所述预设检测网络模型的输出，确定所述应用场景中的目标物体信息，包括：

根据所述预设检测网络模型的输出，确定所述应用场景中的三维目标物体所在包围体的长度、宽度、高度、旋转角度和中心点位置。

10.一种目标检测装置，其特征在于，包括：

数据获取模块，用于获取针对应用场景采集的彩色图像和雷达数据；

数据输入模块，用于将所述彩色图像和所述雷达数据输入至预设检测网络模型中，其中，所述预设检测网络模型用于：基于特征点映射方式对所述彩色图像和所述雷达数据进行特征融合，并基于融合后的目标特征信息对所述应用场景中的目标物体进行检测；

目标物体信息确定模块，用于根据所述预设检测网络模型的输出，确定所述应用场景中的目标物体信息。

11.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的目标检测方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的目标检测方法。

Images