CN112200851B - 一种基于点云的目标检测方法、装置及其电子设备 - Google Patents

Abstract

本申请公开了一种基于点云的目标检测方法、装置及其电子设备，用于解决现有技术中二维图片中的目标检测得到三维空间中的位置信息不够稳定且准确较低的问题。所述方法包括：获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正。

Description

一种基于点云的目标检测方法、装置及其电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于点云的目标检测方法、装置及其电子设备。

背景技术

目前，物体检测是指利用计算机技术检测与识别出图像或视频中感兴趣目标(如车辆、行人、障碍物等)的类别与位置信息，是计算机视觉领域中的重要研究领域之一。

传统的二维目标检测方法是通过车载相机获取行车过程中的实时道路场景，将其输入到已有算法中，通过训练好的检测模型实现对二维图像中的目标进行检测，并输出其位置与类别信息给控制端的决策层，再对车辆如何行驶进行规划。但其中存在一个问题就是该方法利用单目相机获取到的检测目标所在的三维空间位置信息并不稳定，会因诸多影响因素导致其准确度下降。

因此，如何准确实现对二维图片中的目标检测得到三维空间中的位置信息仍然需要提供进一步的解决方案。

发明内容

本申请实施例提供了一种基于点云的目标检测方法、装置及其电子设备，以解决现有技术中二维图片中的目标检测得到三维空间中的位置信息不够稳定且准确较低的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出了一种基于点云的目标检测方法，包括：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

第二方面，提出了一种基于点云的目标检测装置，包括：

二维图像标注模块，用于获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

目标区域获取模块，用于从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

包围盒获取模块，用于从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

目标校正模块，用于基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

第三方面，提出了一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

本申请实施例采用上述技术方案至少可以达到下述技术效果：

在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书一个实施例提供的一种基于点云的目标检测方法的实现流程示意图；

图2为本说明书一个实施例提供的基于点云的目标检测方法应用于实际场景中的包围盒的示意图；

图3为本说明书一个实施例提供的一种基于点云的目标检测装置的结构示意图；

图4为本说明书一个实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

为解决现有技术中二维图片中的目标检测得到三维空间中的位置信息不够稳定且准确较低的问题，本说明书实施例提供一种基于点云的目标检测方法。在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

本说明书实施例提供的基于点云的目标检测方法的执行主体可以但不限于服务器等能够被配置为执行本发明实施例提供的该方法装置中的至少一种。

为便于描述，下文以该方法的执行主体为能够执行该方法的服务器为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为服务器只是一种示例性的说明，并不应理解为对该方法的限定。

具体地，本说明书一个或多个实施例提供的一种基于点云的目标检测方法的实现流程示意图如图1所示，包括：

步骤101，获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

其中，多个二维图像由对应的多个固态相机拍摄得到，这多个二维图像可以是设置在同一场景的多个不同角度上的多个固态相机拍摄得到，每个固态相机拍摄的区域范围不同。这多个二维图像中的目标可通过人工进行标注，也可通过训练好的人工智能模型对所感兴趣的目标进行标注，这多个二维图像中的目标可以是图像中的人、车辆等目标。上述标注可以是将二维图像中的目标通过方框的形式框出来。

步骤102，从点云数据中获取与多个二维图像中的图像标识相对应的目标区域；

上述每个二维图像中都携带有一个唯一的图像标识，该唯一的图像标识在由激光雷达拍摄得到的点云数据中也有对应的唯一的图像标识，基于此，可从激光雷达拍摄得到的点云数据中分别获取到与多个二维图像中的图像标识相对应的目标区域。

步骤103，从目标区域中获取与目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；

其中，包围盒是三维空间中的规则的立方体，所得到的与目标相匹配的包围盒可以将二维图像中的目标完整地包围进行，该包围盒是以包围盒在三维空间中的中心点坐标和长宽高的数据形式得到。如图2所示，为本说明书实施例提供的三维空间中的一个包围盒的示意图。

可选地，为便于对应不同角度拍摄得到的二维图像，本说明书实施例还可对多个二维图像中的目标进行排序，具体地，从目标区域中获取与目标相匹配的包围盒，包括：

按照多个二维图像的图像标识，对多个二维图像中的目标进行排序；

从目标区域中获取与排序后的目标相匹配的包围盒。

可选地，按照多个二维图像的图像标识，对多个二维图像中的目标进行排序，包括：

按照多个二维图像的图像标识，通过k-d树算法对多个二维图像中的目标进行排序。

其中，k-d树是每个节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分割成两个半空间。节点左边的子树代表在超平面左边的点，节点右边的子树代表在超平面右边的点。选择超平面的方法如下：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。本说明书实施例基于k-d树算法的这一特点，将相互临近的目标进行排序，以对应不同角度的固态相机拍摄得到的二维图像。

步骤104，基于与目标相匹配的包围盒，对多个二维图像中的目标在点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。

可选地，可基于二维图像中的目标在点云数据中的三维投影坐标，得到多个二维图像中的目标在点云数据中的三维空间位置信息，具体地，基于与目标相匹配的包围盒，对多个二维图像中的目标在点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息，包括：

获取多个二维图像中的目标在点云数据中的三维投影坐标；

基于与目标相匹配的包围盒，对多个二维图像中的目标在点云数据中的三维投影坐标进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。

可选地，在实际应用中可利用张正友棋盘标定法，来获取多个二维图像中的目标在所述点云数据中的三维投影坐标，具体地，获取多个二维图像中的目标在所述点云数据中的三维投影坐标，包括：

基于拍摄多个二维图像的相机内参、拍摄点云数据的雷达外参和多个二维图像的图片畸变参数，获取多个二维图像中的目标在点云数据中的三维投影坐标。

可选地，基于与目标相匹配的包围盒，对多个二维图像中的所述目标在点云数据中的三维投影坐标进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息，包括：

如果多个二维图像中存在至少两个目标在点云数据中的三维投影坐标落在同一包围盒中，则对至少两个目标在点云数据中的三维投影坐标进行合并，得到多个二维图像中的目标在点云数据中的三维空间位置信息。

应理解，同一场景中的多个固态相机拍摄的图片肯定有重合的部分，就得根据相邻的图片，看能不能还原到三维空间中的完整目标，还原的不准，就有个校正的过程，如果在点云数据中的投影的比包围盒大，就会不准，在实际应用中设置一个合理阈值，来确定是否需要对多个二维图像中的目标在点云数据中的三维投影坐标进行校正。

可选地，基于与目标相匹配的包围盒，对多个二维图像中的目标在点云数据中的三维投影坐标进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息，包括：

如果多个二维图像中存在目标在点云数据中的三维投影坐标落在与目标相匹配的包围盒的空间外，则基于与目标相匹配的包围盒，对多个二维图像中的目标在点云数据中的三维投影坐标进行校正，以使得多个二维图像中的目标在点云数据中的三维投影坐标落在与目标相匹配的包围盒的空间内，得到多个二维图像中的目标在点云数据中的三维空间位置信息。

在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

图3为本发明实施例提供的基于点云的目标检测装置300的结构示意图。请参考图3，在一种软件实施方式中，基于点云的目标检测装置300可包括二维图像标注模块301、目标区域获取模块302、包围盒获取模块303和目标校正模块304，其中：

二维图像标注模块301，用于获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

目标区域获取模块302，用于从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

包围盒获取模块303，用于从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

目标校正模块304，用于基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

可选地，在一种实施方式中，所述目标校正模块304，用于：

获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

可选地，在一种实施方式中，所述目标校正模块304，用于：

基于拍摄所述多个二维图像的相机内参、拍摄所述点云数据的雷达外参和所述多个二维图像的图片畸变参数，获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标。

可选地，在一种实施方式中，所述目标校正模块304，用于：

如果所述多个二维图像中存在至少两个所述目标在所述点云数据中的三维投影坐标落在同一包围盒中，则对所述至少两个目标在所述点云数据中的三维投影坐标进行合并，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

可选地，在一种实施方式中，所述目标校正模块304，用于：

如果所述多个二维图像中存在所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间外，则基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，以使得所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间内，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

可选地，在一种实施方式中，包围盒获取模块303，用于：

按照所述多个二维图像的图像标识，对所述多个二维图像中的目标进行排序；

从所述目标区域中获取与所述排序后的目标相匹配的包围盒。

可选地，在一种实施方式中，包围盒获取模块303，用于：

按照所述多个二维图像的图像标识，通过k-d树算法对所述多个二维图像中的目标进行排序。

基于点云的目标检测装置300能够实现图1和图2的方法实施例的基于点云的目标检测方法，具体可参考图1和图2所示实施例的基于点云的目标检测方法，不再赘述。

图4是本说明书的一个实施例提供的电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成基于点云的目标检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

上述如本说明书图1所示实施例揭示的基于点云的目标检测方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1中的基于点云的目标检测方法，本说明书在此不再赘述。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

采用本说明书实施例提供的计算机可读存储介质可知道，在对二维图像中的目标进行检测过程中，能够获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像；再从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；然后从目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与目标相匹配的包围盒中；最后基于与目标相匹配的包围盒，对多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到多个二维图像中的目标在点云数据中的三维空间位置信息。利用激光雷达所获得的点云数据能够较为准确的获取到目标的深度信息，通过空间投影变化便能够准确地得到目标的三维空间位置信息。

总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (7)

1.一种基于点云的目标检测方法，其特征在于，包括：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像，所述多个二维图像均包括重合的部分；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

其中，基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息，具体包括：

获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标；

如果所述多个二维图像中存在至少两个所述目标在所述点云数据中的三维投影坐标落在同一包围盒中，则对所述至少两个所述目标在所述点云数据中的三维投影坐标进行合并，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

如果所述多个二维图像中存在所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间外，则基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，以使得所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间内，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

2.如权利要求1所述的方法，其特征在于，获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标，包括：

基于拍摄所述多个二维图像的相机内参、拍摄所述点云数据的雷达外参和所述多个二维图像的图片畸变参数，获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标。

3.如权利要求1所述的方法，从所述目标区域中获取与所述目标相匹配的包围盒，包括：

按照所述多个二维图像的图像标识，对所述多个二维图像中的目标进行排序；

从所述目标区域中获取与所述排序后的目标相匹配的包围盒。

4.如权利要求3所述的方法，按照所述多个二维图像的图像标识，对所述多个二维图像中的目标进行排序，包括：

按照所述多个二维图像的图像标识，通过k-d树算法对所述多个二维图像中的目标进行排序。

5.一种基于点云的目标检测装置，其特征在于，包括：

二维图像标注模块，用于获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像，所述多个二维图像均包括重合的部分；

目标区域获取模块，用于从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

包围盒获取模块，用于从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

目标校正模块，用于基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

其中，所述目标校正模块，具体用于：

获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标；

如果所述多个二维图像中存在至少两个所述目标在所述点云数据中的三维投影坐标落在同一包围盒中，则对所述至少两个所述目标在所述点云数据中的三维投影坐标进行合并，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

如果所述多个二维图像中存在所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间外，则基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，以使得所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间内，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

6.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像，所述多个二维图像均包括重合的部分；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

其中，基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息，具体包括：

获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标；

如果所述多个二维图像中存在至少两个所述目标在所述点云数据中的三维投影坐标落在同一包围盒中，则对所述至少两个所述目标在所述点云数据中的三维投影坐标进行合并，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

如果所述多个二维图像中存在所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间外，则基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，以使得所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间内，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取标注过目标的多个二维图像，每个二维图像携带有图像标识，所述多个二维图像为针对同一场景拍摄的多个不同角度的二维图像，所述多个二维图像均包括重合的部分；

从点云数据中获取与所述多个二维图像中的图像标识相对应的目标区域；

从所述目标区域中获取与所述目标相匹配的包围盒，所述目标的三维坐标位于与所述目标相匹配的包围盒中；

基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

其中，基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的投影进行校正，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息，具体包括：

获取所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标；

如果所述多个二维图像中存在至少两个所述目标在所述点云数据中的三维投影坐标落在同一包围盒中，则对所述至少两个所述目标在所述点云数据中的三维投影坐标进行合并，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息；

如果所述多个二维图像中存在所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间外，则基于与所述目标相匹配的包围盒，对所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标进行校正，以使得所述多个二维图像中的所述目标在所述点云数据中的三维投影坐标落在与所述目标相匹配的所述包围盒的空间内，得到所述多个二维图像中的所述目标在所述点云数据中的三维空间位置信息。

Images