CN110197148A - 目标物体的标注方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了目标物体的标注方法、装置、电子设备和存储介质。所述方法包括：获取目标环境的采集数据；其中，所述采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系；在所述图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。该技术方案的有益效果在于，利用了点云数据能够准确获取三维信息，以及图像数据分辨率高、纹理色彩丰富的优点，并且是先在图像数据中标注，再在点云数据中标注，能够对小目标以及远处的目标进行有效的检测，若以此作为训练数据则训练出来的目标检测模型的效果更显著。

Description

目标物体的标注方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及目标物体的标注方法、装置、电子设备和存储介质。

背景技术

3D目标检测是自动驾驶等领域的核心技术之一，举例来说，自动驾驶的汽车需要实时检测周围所有的交通参与者，包括机动车、非机动车、行人、路障等，并准确地检测出各个目标的位置、大小和朝向。

现有技术中，实现3D目标检测的方式有激光雷达和摄像头两种，但是都存在一些缺点：激光雷达采集的点云数据比较稀疏，且距离越远点云越稀疏，因而难以检测远处的目标或小目标，另外点云数据缺乏纹理信息，难以辨别目标的类别；摄像头采集的图像数据由于丢失了深度信息，无法准确估计三维几何信息。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的目标物体的标注方法、装置、电子设备和存储介质。

依据本申请的一个方面，提供了一种目标物体的标注方法，通过点云数据和图像数据进行联合标注，包括：

获取目标环境的采集数据；其中，所述采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系；

在所述图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；

根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。

可选地，所述在所述图像数据中标注出第一类目标物体包括：

在所述图像数据中标注出第一类目标物体轮廓的封闭曲线；

所述根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：

将所述封闭曲线上的点经过相机反投影至对应的点云数据中，得到一组射线；

沿所述射线从对应的点云数据中搜索出目标点，根据搜索出的目标点确定第一类目标物体的3D包围盒BBox。

可选地，所述方法还包括：

在点云数据中标注出第二类目标物体，得到该第二类目标物体在对应的点云数据中的标注信息；

根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息。

可选地，所述在点云数据中标注出第二类目标物体包括：

在点云数据中标注出第二类目标物体的3D BBox；

所述根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息包括：

将点云数据中标注出的第二类目标物体的3D BBox的各角点通过相机投影到对应的图像数据上，得到与各角点对应的投影角点，根据投影角点确定初始2D BBox；

对所述初始2D BBox进行修正，在图像数据中标注出与第二类目标物体对应的2DBBox。

可选地，所述在所述图像数据中标注出第一类目标物体包括：

在所述图像数据中标注出第一类目标物体的2D BBox；

所述根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：

将标注出的第一类目标物体的2D BBox的各角点通过相机投影回对应的点云数据中，得到相应的视锥；

在所述视锥中搜索并标注出第一类目标物体的3D BBox。

可选地，所述在所述视锥中搜索并标注出第一类目标物体的3D BBox包括：

根据图像数据确定第一类目标物体和第二类目标物体的空间位置关系；

根据所述空间位置关系以及第二类目标物体在对应的点云数据中的标注信息在所述视锥中搜索并标注出第一类目标物体的3D BBox。

可选地，所述方法还包括：

根据目标物体的标注信息生成3D目标检测模型的训练数据。

依据本申请的另一方面，提供了一种目标物体的标注装置，通过点云数据和图像数据进行联合标注，包括：

获取单元，用于获取目标环境的采集数据；其中，所述采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系；

标注单元，用于在所述图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；以及根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。

可选地，所述标注单元，用于在所述图像数据中标注出第一类目标物体轮廓的封闭曲线；将所述封闭曲线上的点经过相机反投影至对应的点云数据中，得到一组射线；沿所述射线从对应的点云数据中搜索出目标点，根据搜索出的目标点确定第一类目标物体的3D包围盒BBox。

可选地，所述标注单元，还用于在点云数据中标注出第二类目标物体，得到该第二类目标物体在对应的点云数据中的标注信息；根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息。

可选地，所述标注单元，用于在点云数据中标注出第二类目标物体的3D BBox；将点云数据中标注出的第二类目标物体的3D BBox的各角点通过相机投影到对应的图像数据上，得到与各角点对应的投影角点，根据投影角点确定初始2D BBox；对所述初始2D BBox进行修正，在图像数据中标注出与第二类目标物体对应的2D BBox。

可选地，所述标注单元，用于在所述图像数据中标注出第一类目标物体的2DBBox；将标注出的第一类目标物体的2D BBox的各角点通过相机投影回对应的点云数据中，得到相应的视锥；在所述视锥中搜索并标注出第一类目标物体的3D BBox。

可选地，所述标注单元，用于根据图像数据确定第一类目标物体和第二类目标物体的空间位置关系；根据所述空间位置关系以及第二类目标物体在对应的点云数据中的标注信息在所述视锥中搜索并标注出第一类目标物体的3D BBox。

可选地，所述装置还包括：

训练数据生成单元，用于根据目标物体的标注信息生成3D目标检测模型的训练数据。

依据本申请的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。

依据本申请的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。

由上述可知，本申请的技术方案，通过点云数据和图像数据进行联合标注，具体地，获取目标环境的采集数据，包括图像数据和点云数据，且图像数据和点云数据具有对应关系；在图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。该技术方案的有益效果在于，利用了点云数据能够准确获取三维信息，以及图像数据分辨率高、纹理色彩丰富的优点，并且是先在图像数据中标注，再在点云数据中标注，能够对小目标以及远处的目标进行有效的检测，若以此作为训练数据则训练出来的目标检测模型的效果更显著。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的一种目标物体的标注方法的流程示意图；

图2示出了根据本申请一个实施例的一种目标物体的标注装置的结构示意图；

图3示出了根据本申请一个实施例的电子设备的结构示意图；

图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图；

图5a示出了根据本申请一个实施例的标注了第二类目标物体的3D BBox的点云帧示意图；

图5b示出了根据图5a中3D BBox的各角点在相应图像中的投影角点得到初始2DBBox的示意图；

图5c示出了对图5c中初始2D BBox进行修正得到2D BBox的示意图；

图5d示出了在相应图像中标注出第一类目标物体的2D BBox的示意图；

图5e示出了图5d与图5c与标注出的第一类目标物体的2D BBox对应的区别部分；

图5f示出了将标注出的第一类目标物体的2D BBox的各角点通过相机投影回对应的点云数据中得到相应的视锥的示意图；

图5g示出了标注了第一类目标物体的3D BBox的点云帧示意图。

具体实施方式

虽然利用点云数据和图像数据分别进行目标检测，都存在一定的缺点，但是这两种方式也同样有着突出的优点，例如，靠激光雷达采集的点云数据进行3D目标检测，能准确获取三维几何信息；依靠摄像头采集的图像数据进行3D目标检测，图像分辨率高，带有丰富的颜色、纹理信息，容易辨别目标的类别及相对远近、大小关系。

因此本申请提出的技术方案的设计思路在于将二者如何进行有机结合，达到更好的效果。一种方式是先在点云中标注3D目标，然后通过预先标定好的投影矩阵投影到相应图像上获取2D目标的方法。但是较小的目标、远处的目标在点云中展现往往不明显，点数极少，极容易漏标，这样也就不会在图像中标注出来，若以此得到的标注数据进行训练，得到的目标检测模型也无法对远处的目标以及较小的目标进行良好的识别。为解决这一问题，本申请的技术方案提出了通过点云数据和图像数据进行联合标注，先在图像中标注、再回到点云中寻找相应目标进行标注的方式，效果显著。

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

图1示出了根据本申请一个实施例的一种目标物体的标注方法的流程示意图，该方法通过点云数据和图像数据进行联合标注，包括：

步骤S110，获取目标环境的采集数据；其中，采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系。

具体地，图像数据可以是通过摄像头采集的，点云数据可以是通过激光雷达采集的。点云是指空间点的集合，在本申请中特指三维空间点的集合。图像数据和点云数据具有对应关系可以理解为，对于一帧点云，在同一时刻对同一场景进行拍摄所形成的图像与其具有对应关系。

步骤S120，在图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息。这里，可以利用图像数据分辨率高、颜色、纹理信息丰富的优点，重点将利用点云数据难以直接标注的远、小、难的目标物体在图像数据中标注出，得到相应的标注信息。

步骤S130，根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。

可见，图1所示的方法，利用了点云数据能够准确获取三维信息，以及图像数据分辨率高、纹理色彩丰富的优点，并且是先在图像数据中标注，再在点云数据中标注，能够对小目标以及远处的目标进行有效的检测，若以此作为训练数据则训练出来的目标检测模型的效果更显著。

在本申请的一个实施例中，上述方法中，在图像数据中标注出第一类目标物体包括：在图像数据中标注出第一类目标物体轮廓的封闭曲线；根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：将封闭曲线上的点经过相机反投影至对应的点云数据中，得到一组射线；沿射线从对应的点云数据中搜索出目标点，根据搜索出的目标点确定第一类目标物体的3D包围盒BBox。

标注封闭曲线是一种精度较高，但是复杂度也相对较高的方式，具体地，可以精细地标注出第一类目标物体无遮挡部分的轮廓的封闭曲线及类别。相机反投影是指将二维相机平面上的点对应到三维空间中一条射线的过程，通过一组射线从点云数据中搜索相应的目标点，最终确定3D BBox，即三维空间中的空心立方体，用于包围感兴趣的三维物体，表示此物体的3D标注。

在本申请的一个实施例中，上述方法还包括：在点云数据中标注出第二类目标物体，得到该第二类目标物体在对应的点云数据中的标注信息；根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息。

上述过程可以在第一类目标物体的标注前实施，即先在点云数据中标注出那些较为明显的第二类目标物体，再在图像数据中完成标注，同样是一种基于点云数据和图像数据的联合标注。

在本申请的一个实施例中，上述方法中，在点云数据中标注出第二类目标物体包括：在点云数据中标注出第二类目标物体的3D BBox；根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息包括：将点云数据中标注出的第二类目标物体的3D BBox的各角点通过相机投影到对应的图像数据上，得到与各角点对应的投影角点，根据投影角点确定初始2D BBox；对初始2D BBox进行修正，在图像数据中标注出与第二类目标物体对应的2D BBox。

图5a示出了根据本申请一个实施例的标注了第二类目标物体的3D BBox的点云帧示意图，如图5a所示，其中的各长方体分别对应一个3D BBox。通过相机投影，即将三维空间中的点投影到二维相机平面上的点的过程，能够得到与3D BBox的各角点对应的投影角点，如图5b所示。具体地，对一个3D BBox的各角点对应的投影角点，可以通过取最大、最小值计算出粗略的初始2D BBox。这样的初始2D BBox是不够精细的，因此再进一步对其进行修正，效果如图5c所示。

在本申请的一个实施例中，上述方法中，在图像数据中标注出第一类目标物体包括：在图像数据中标注出第一类目标物体的2D BBox；根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：将标注出的第一类目标物体的2DBBox的各角点通过相机投影回对应的点云数据中，得到相应的视锥；在视锥中搜索并标注出第一类目标物体的3D BBox。

图5d示出了在相应图像中标注出第一类目标物体的2D BBox的示意图，图5e示出了图5d与图5c与标注出的第一类目标物体的2D BBox对应的区别部分。

对一个2D BBox的4个角点通过相机反投影回点云中，得到4条射线形成的视锥，即场景中通过透视投影到对应相机平面可见的一个锥体区域，之后在视锥中搜索并标注出第一类目标物体的3D BBox，一个视锥的示例如图5f所示。搜索并标注出的第一类目标物体的3D BBox在图5g中示出，与图5a形成了对比。

图5b、图5c、图5d及图5e中，P代表标注出的行人(pedestrian)、C代表识别标注出的车辆(Car)。图中的图例B代表标注的骑车的人(cyclist)，图中并没有标注出这样的目标。

在本申请的一个实施例中，上述方法中，在视锥中搜索并标注出第一类目标物体的3D BBox包括：根据图像数据确定第一类目标物体和第二类目标物体的空间位置关系；根据空间位置关系以及第二类目标物体在对应的点云数据中的标注信息在视锥中搜索并标注出第一类目标物体的3D BBox。

在标注第一类目标物体的3D BBox的过程中，为了提高效率，可以通预先标注的第二类目标物体，以及第一类目标物体和第二类目标物体的空间位置关系，通过相互参照的方式来实现，从而能够在视锥中快速定位第一类物体。具体的第二类目标物体在对应的点云数据中的标注信息可以参照前述实施例来实现。

在本申请的一个实施例中，上述方法还包括：根据目标物体的标注信息生成3D目标检测模型的训练数据。这样训练得到的3D目标检测模型由于训练数据中包含了对例如远、小、难的目标物体的标注信息，从而检测范围更广。

图2示出了根据本申请一个实施例的一种目标物体的标注装置的结构示意图。目标物体的标注装置200通过点云数据和图像数据进行联合标注，包括：

获取单元210，用于获取目标环境的采集数据；其中，采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系。

具体地，图像数据可以是通过摄像头采集的，点云数据可以是通过激光雷达采集的。点云是指空间点的集合，在本申请中特指三维空间点的集合。图像数据和点云数据具有对应关系可以理解为，对于一帧点云，在同一时刻对同一场景进行拍摄所形成的图像与其具有对应关系。

标注单元220，用于在图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；以及根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。这里，可以利用图像数据分辨率高、颜色、纹理信息丰富的优点，重点将利用点云数据难以直接标注的远、小、难的目标物体在图像数据中标注出，得到相应的标注信息。

可见，图2所示的装置，通过各单元的相互配合，利用了点云数据能够准确获取三维信息，以及图像数据分辨率高、纹理色彩丰富的优点，并且是先在图像数据中标注，再在点云数据中标注，能够对小目标以及远处的目标进行有效的检测，若以此作为训练数据则训练出来的目标检测模型的效果更显著。

在本申请的一个实施例中，上述装置中，标注单元220，用于在图像数据中标注出第一类目标物体轮廓的封闭曲线；将封闭曲线上的点经过相机反投影至对应的点云数据中，得到一组射线；沿射线从对应的点云数据中搜索出目标点，根据搜索出的目标点确定第一类目标物体的3D包围盒BBox。

在本申请的一个实施例中，上述装置中，标注单元220，还用于在点云数据中标注出第二类目标物体，得到该第二类目标物体在对应的点云数据中的标注信息；根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息。

在本申请的一个实施例中，上述装置中，标注单元220，用于在点云数据中标注出第二类目标物体的3D BBox；将点云数据中标注出的第二类目标物体的3D BBox的各角点通过相机投影到对应的图像数据上，得到与各角点对应的投影角点，根据投影角点确定初始2D BBox；对初始2D BBox进行修正，在图像数据中标注出与第二类目标物体对应的2DBBox。

在本申请的一个实施例中，上述装置中，标注单元220，用于在图像数据中标注出第一类目标物体的2D BBox；将标注出的第一类目标物体的2D BBox的各角点通过相机投影回对应的点云数据中，得到相应的视锥；在视锥中搜索并标注出第一类目标物体的3DBBox。

在本申请的一个实施例中，上述装置中，标注单元220，用于根据图像数据确定第一类目标物体和第二类目标物体的空间位置关系；根据空间位置关系以及第二类目标物体在对应的点云数据中的标注信息在视锥中搜索并标注出第一类目标物体的3D BBox。

在本申请的一个实施例中，上述装置还包括：训练数据生成单元，用于根据目标物体的标注信息生成3D目标检测模型的训练数据。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案，通过点云数据和图像数据进行联合标注，具体地，获取目标环境的采集数据，包括图像数据和点云数据，且图像数据和点云数据具有对应关系；在图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。该技术方案的有益效果在于，利用了点云数据能够准确获取三维信息，以及图像数据分辨率高、纹理色彩丰富的优点，并且是先在图像数据中标注，再在点云数据中标注，能够对小目标以及远处的目标进行有效的检测，若以此作为训练数据则训练出来的目标检测模型的效果更显著。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的目标物体的标注装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331，可以被电子设备300的处理器310读取，当计算机可读程序代码331由电子设备300运行时，导致该电子设备300执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种目标物体的标注方法，其特征在于，通过点云数据和图像数据进行联合标注，包括：

获取目标环境的采集数据；其中，所述采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系；

在所述图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；

根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。

2.如权利要求1所述的方法，其特征在于，所述在所述图像数据中标注出第一类目标物体包括：

在所述图像数据中标注出第一类目标物体轮廓的封闭曲线；

所述根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：

将所述封闭曲线上的点经过相机反投影至对应的点云数据中，得到一组射线；

沿所述射线从对应的点云数据中搜索出目标点，根据搜索出的目标点确定第一类目标物体的3D包围盒BBox。

3.如权利要求1所述的方法，其特征在于，还包括：

在点云数据中标注出第二类目标物体，得到该第二类目标物体在对应的点云数据中的标注信息；

根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息。

4.如权利要求3所述的方法，其特征在于，所述在点云数据中标注出第二类目标物体包括：

在点云数据中标注出第二类目标物体的3D BBox；

所述根据标注出的第二类目标物体得到该第二类目标物体在对应的图像数据中的标注信息包括：

将点云数据中标注出的第二类目标物体的3D BBox的各角点通过相机投影到对应的图像数据上，得到与各角点对应的投影角点，根据投影角点确定初始2D BBox；

对所述初始2D BBox进行修正，在图像数据中标注出与第二类目标物体对应的2DBBox。

5.如权利要求1所述的方法，其特征在于，所述在所述图像数据中标注出第一类目标物体包括：

在所述图像数据中标注出第一类目标物体的2D BBox；

所述根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息包括：

将标注出的第一类目标物体的2D BBox的各角点通过相机投影回对应的点云数据中，得到相应的视锥；

在所述视锥中搜索并标注出第一类目标物体的3D BBox。

6.如权利要求5所述的方法，其特征在于，所述在所述视锥中搜索并标注出第一类目标物体的3D BBox包括：

根据图像数据确定第一类目标物体和第二类目标物体的空间位置关系；

根据所述空间位置关系以及第二类目标物体在对应的点云数据中的标注信息在所述视锥中搜索并标注出第一类目标物体的3D BBox。

7.如权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括：

根据目标物体的标注信息生成3D目标检测模型的训练数据。

8.一种目标物体的标注装置，其特征在于，通过点云数据和图像数据进行联合标注，包括：

获取单元，用于获取目标环境的采集数据；其中，所述采集数据包括图像数据和点云数据，图像数据和点云数据具有对应关系；

标注单元，用于在所述图像数据中标注出第一类目标物体，得到该第一类目标物体在对应的图像数据中的标注信息；以及根据标注出的第一类目标物体得到该第一类目标物体在对应的点云数据中的标注信息。

9.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-7中任一项所述的方法。