CN116385528A - 标注信息的生成方法、装置、电子设备、车辆及存储介质 - Google Patents

Abstract

本公开涉及自动驾驶领域中的一种标注信息的生成方法、装置、电子设备、车辆及存储介质，该方法包括：通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图，确定视觉俯视图中各个像素点在图像平面中的标注坐标，根据激光点云图，确定待标注区域中的实际基准平面，根据实际基准平面和标注坐标，生成各个像素点在三维空间中的标注位置信息。从而结合图像数据和激光点云数据的优势，通过多传感器联合的标注投影方式，针对路面标识等具有像素级精度要求的感知任务，输出精确的三维标注信息。采用相机投影来还原标注点在三维空间中的真实位置，为自动驾驶车辆提供了准确、丰富的环境感知信息。

Description

标注信息的生成方法、装置、电子设备、车辆及存储介质

技术领域

本公开涉及自动驾驶技术领域，尤其涉及一种标注信息的生成方法、装置、电子设备、车辆及存储介质。

背景技术

相关技术中，视觉感知任务是自动驾驶领域中的重点任务，主要依赖的传感器是相机与激光雷达。通过激光雷达感知得到的点云数据，定位物体在三维空间中的精确位置。但是由于点云数据缺乏细致的纹理信息且具有一定的稀疏性，视觉感知任务难以在点云上直接完成精确度要求较高的标注。若直接在环视图像上进行数据标注，又难以获得准确的深度信息，即无法得到实际场景中定位物体的真实3D位置。

发明内容

为克服相关技术中存在的问题，本公开提供一种标注信息的生成方法、装置、电子设备、车辆及存储介质。

根据本公开实施例的第一方面，提供一种注信息的生成方法，包括：

通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图；

确定所述视觉俯视图中各个像素点在图像平面中的标注坐标；

根据所述激光点云图，确定所述待标注区域中的实际基准平面；

根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息。

可选地，所述根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息，包括：

根据图像采集装置和所述实际基准平面，确定所述各个像素点在所述实际基准平面中的实际位置；

根据所述实际位置和所述标注坐标，生成所述各个像素点的所述标注位置信息。

可选地，所述根据所述实际位置和所述标注坐标，生成所述各个像素点的所述标注位置信息，包括：

根据所述图像采集装置在所述三维空间中的预设位置坐标，确定所述图像采集装置和所述各个像素点的连线与所述图像平面之间的空间夹角；

根据所述预设位置坐标和所述实际位置确定实际点云距离，以及根据所述预设位置坐标和所述标注坐标确定图像射线距离；

根据所述实际点云距离、所述图像射线距离、所述标注坐标和所述空间夹角，生成所述标注位置信息。

可选地，所述根据所述激光点云图，确定所述待标注区域中的实际基准平面，包括：

通过RANSAC算法，从所述激光点云图中确定多个有效激光点云；

根据所述多个有效激光点云，确定所述实际基准平面。

可选地，所述通过RANSAC算法，从所述激光点云图中确定多个有效激光点云，包括：

通过所述RANSAC算法，从所述激光点云图中随机选取预设数量的多组初始激光点云；

根据所述多组初始激光点云，生成多个初始平面模型；

对于任一初始平面模型，从所述激光点云图中确定满足所述初始平面模型的激光点云数量；

从所述多个初始平面模型中确定所述激光点云数量最多的模型为目标平面模型；

从所述激光点云图中确定满足所述目标平面模型激光点云为所述多个有效激光点云。

可选地，所述从所述激光点云图中确定满足所述初始平面模型的激光点云数量，包括：

根据所述初始平面模型和预设误差阈值，确定目标空间范围；

根据所述目标空间范围和所述激光点云图，确定所述激光点云数量。

可选地，所述通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图，包括：

根据设置于车辆四周的多个图像采集装置，对所述车辆的环视区域进行图像采集，生成多帧视觉俯视子图像和多帧激光点云子图像；

根据图像拼接算法对所述多帧视觉俯视子图像进行拼接，生成所述视觉俯视图，以及根据所述多帧激光点云子图像，生成所述激光点云图。

根据本公开实施例的第二方面，提供一种标注信息的生成装置，包括：

获取模块，被配置为通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图；

第一确定模块，被配置为确定所述视觉俯视图中各个像素点在图像平面中的标注坐标；

第二确定模块，被配置为根据所述激光点云图，确定所述待标注区域中的实际基准平面；

生成模块，被配置为根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息。

根据本公开实施例的第三方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面中任一项所述标注信息的生成方法的步骤。

根据本公开实施例的第四方面提供一种车辆，包括本公开第三方面中的电子设备或与本公开第三方面中的电子设备连接。

根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的标注信息的生成方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

通过上述方式，通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图，确定视觉俯视图中各个像素点在图像平面中的标注坐标，根据激光点云图，确定待标注区域中的实际基准平面，根据实际基准平面和标注坐标，生成各个像素点在三维空间中的标注位置信息。从而结合图像数据和激光点云数据的优势，通过多传感器联合的标注投影方式，针对路面标识等具有像素级精度要求的感知任务，输出精确的三维标注信息。采用相机投影来还原标注点在三维空间中的真实位置，为自动驾驶车辆提供了准确、丰富的环境感知信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种标注信息的生成方法的流程图。

图2是根据一示例性实施例示出的另一种标注信息的生成方法的流程图。

图3是根据一示例性实施例示出的一种基准平面的生成方法的流程图。

图4是根据一示例性实施例示出的再一种标注信息的生成方法的示意图。

图5是根据一示例性实施例示出的一种标注信息的生成装置的框图。

图6是根据一示例性实施例示出的一种电子设备的框图。

图7是根据一示例性实施例示出的一种车辆的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

图1是根据一示例性实施例示出的一种标注信息的生成方法的流程图，如图1所示，该方法用于车辆终端中，包括以下步骤。

在步骤S101中，通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图。

示例的，本实施例应用于车辆终端中，该车辆终端装载在自动驾驶车辆上，用于通过车辆终端对车辆中的环境进行标注检测，以便车辆终端识别当前驾驶环境，从而实现车辆的自动驾驶。其中，该自动驾驶车辆上配置有图像采集装置，通过图像采集装置采集车辆驾驶过程中的周围环境图像，将获取到的图像发送至车辆终端中，以完成高精度的视觉感知任务。值得一提的是，本实施例中图像采集装置设置于自动驾驶车辆的固定位置上，用于在车辆驾驶过程中采集固定待标注区域内的图像数据，示例的，该待标注区域可以是车辆设定范围内的水平方向上的平视区域，车辆通过对该待标注区域进行视觉感知，以实现百米级的物体感知，辅助车辆躲避障碍物完成自动驾驶；该待标注区域还可以是车辆设定范围内车辆行驶道路上的俯视区域，车辆通过对该待标注区域进行视觉感知，可以感知待标注区域内的车位标识线、交通标识线等，从而辅助车辆根据道路辅助标识线按照预设交通规则实现自动驾驶。对于待标注区域的定义，用户可以根据车辆自动驾驶过程中视觉感知任务的用途进行设定，本实施例中不做限定。

值得一提的是，本实施例中图像采集装置设置于车辆上，根据不同的视觉感知任务，设置于车辆的不同位置上，示例的，若视觉感知任务为对车辆的地面进行感知，则图像采集装置可以设置与车门外侧和保险杠外侧，用于对车辆行驶过程中的地面进行图像采集；若视觉感知认为为对车辆平视图像进行感知，则图像采集装置可以设置于驾驶室内对应行车记录仪的位置。图像采集装置具有像素级图像采集功能，在自动驾驶过程中实时对待标注区域进行图像采集生成对应方向上的视觉俯视图；同时图像采集装置还具有激光点云图像的采集功能，通过激光雷达向待标注区域发射激光光束，根据待标注区域内反馈回的激光点云，生成待标注区域的激光点云图。

可选地，在一种实施方式中，上述步骤S101，包括：

根据设置于车辆四周的多个图像采集装置，对车辆的环视区域进行图像采集，生成多帧视觉俯视子图像和多帧激光点云子图像；

根据图像拼接算法对多帧视觉俯视子图像进行拼接，生成视觉俯视图，以及根据多帧激光点云子图像，生成激光点云图。

值得一提的是，本实施例中视觉感知任务用于对车辆行驶过程中的地面进行感知，在车辆的四周设置有多个图像采集装置，用于对车辆各个方向的环视区域内进行图像采集，生成多帧视觉俯视子图像和多帧激光点云子图像。根据车辆环视图像的拼接算法，对多帧视觉俯视子图像进行拼接，生成视觉俯视图，对多帧激光点云子图像进行拼接，生成激光点云图。其中该图像拼接算法可以是BEV(Bird's Eye View，鸟瞰图)拼接算法，以视觉为中心的BEV感知是基于多个视角的图像序列，算法需要将这些透视图转换为BEV特征并进行感知，根据感知结果对多帧俯视子图像进行拼接，从而生成车辆的环视图像。

在步骤S102中，确定视觉俯视图中各个像素点在图像平面中的标注坐标。

值得一提的是，本实施例中通过上述步骤，应用图像采集装置生成待标注区域的视觉俯视图为图像采集装置视角上的平面俯视图，因此，该视觉俯视图中各个像素点在水平面上的标注坐标为各个像素点与自动驾驶车辆在水平方向上的真实坐标。因此，可以建立水平方向上的直角坐标系，根据各个像素点与图像采集装置之间的距离，以及图像采集装置与坐标原点之间的距离，确定各个像素点在水平方向上与坐标原点之间的位置关系，进而生成各个像素点在图像平面中的标注坐标。示例的，通过调整图像采集装置的拍摄视角，使图像采集装置始终垂直向下进行拍摄，则图像采集装置的图像平面为水平面，设定车辆重心投影到水平面中的位置为该图像平面的坐标原点，通过图像采集装置在车辆中的预设位置，以及生成的视觉俯视图中各个像素点在该图像数据中的位置，确定各个像素点在图像平面中相对坐标原点的标注坐标(X，Y，0)。

在步骤S103中，根据激光点云图，确定待标注区域中的实际基准平面。

值得一提的是，本实施例中图像采集装置在拍摄激光点云图时，向待标注区域发射激光，当激光在待标注区域内遇到障碍物时，返回激光点云至图像采集装置，图像采集装置通过收集待标注区域内返回的激光点云，生成激光点云图。因此，激光点云图是待标注区域内各个障碍物于图像采集装置在三维空间中的距离体现，图像采集装置通过收集激光遇到障碍物后返回的激光点云，确定障碍物所在的实际基准平面。示例的，以视觉感知任务为对车辆驾驶过程中的地面进行感知，则图像采集装置的图像采集方向为竖直向下，对应的实际基准平面，为车辆驾驶过程中的实际路面；以视觉感知认为为对车辆驾驶过程中的平视环境进行感知，则图像采集装置的图像采集方向为水平视角方向，对应的实际基准平面可以是车辆驾驶过程中遇到的立柱平面。

在步骤S104中，根据实际基准平面和标注坐标，生成各个像素点在三维空间中的标注位置信息。

值得一提的是，本实施例中根据预设三维坐标原点，以及图像采集装置相对该预设三维坐标原点之间的距离，通过车辆终端构建三维空间，并在该三维空间中标注该图像采集装置的位置。通过上述步骤确定车辆在实际驾驶过程中的实际基准平面后，在该三维空间中构建实际基准平面。根据各个像素点在图像平面中的标注坐标，确定各个像素点在该三维空间坐标系中的视觉坐标点。从图像采集装置向该视觉坐标点发出射线，并穿过该视觉坐标点落在实际基准平面上的点位各个像素点在实际三维空间中的真实位置点位，根据该真实位置点位在三维空间坐标系中的位置，生成对应的标注位置信息。

通过上述方式，通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图，确定视觉俯视图中各个像素点在图像平面中的标注坐标，根据激光点云图，确定待标注区域中的实际基准平面，根据实际基准平面和标注坐标，生成各个像素点在三维空间中的标注位置信息。从而结合图像数据和激光点云数据的优势，通过多传感器联合的标注投影方式，针对路面标识等具有像素级精度要求的感知任务，输出精确的三维标注信息。采用相机投影来还原标注点在三维空间中的真实位置，为自动驾驶车辆提供了准确、丰富的环境感知信息。

图2是根据一示例性实施例示出的另一种标注信息的生成方法的流程图，如图2所示，上述步骤S104，包括以下步骤。

在步骤S201中，根据图像采集装置和实际基准平面，确定各个像素点在实际基准平面中的实际位置。

示例的，本实施例中以车辆在真实三维空间中的位置构建三维坐标系，其中车辆的重心为该三维坐标系的坐标原点。可以根据车辆上图像采集装置的设置位置确定图像采集装置在该三维坐标系中的位置。值得一提的是，实际基准平面是激光点云相对图像采集装置构建的，用于反映实际基准平面上各个像素点相对图像采集装置的方向和实际距离。因此，可以根据图像采集装置在三维坐标系中的位置，在该三维坐标系中构建该实际基准平面，从而确定各个像素点在三维坐标系中的实际位置。

在步骤S202中，根据实际位置和标注坐标，生成各个像素点的标注位置信息。

示例的，通过上述步骤确定实际位置后，需要将该实际位置与各个像素点进行对应，从而确定各个像素点在三维坐标系中的标注位置信息。本实施例中通过各个像素在图像平面中的标注坐标，在三维坐标系的水平基准面上构建该各个像素点，以图像采集装置为启点向水平基准面上发射摄像，并将各条摄像穿过各个像素点后，落在实际基准平面上的点，为各个像素点在三维空间中的实际坐标点。值得一提的是，本实施例中图像采集装置在三维坐标系中的位置坐标固定，图像采集装置射向各个像素点，并穿过各个像素点落在实际基准面上的射线长度可以根据激光点云图确定，因此可以根据上述步骤中确定的各个像素点的激光点云图，确定从图像采集装置射向各个像素点在图像平面中的标注坐标，并穿过该标注坐标落在实际基准平面上的射线长度。通过该摄像长度、实际基准平面、标注坐标等参数，应用三角函数确定各个像素点在三维空间中的标注位置信息。

可选地，在一种实施方式中，上述步骤S202，包括：

根据图像采集装置在三维空间中的预设位置坐标，确定图像采集装置和各个像素点的连线与图像平面之间的空间夹角；

根据预设位置坐标和实际位置确定实际点云距离，以及根据预设位置坐标和标注坐标确定图像射线距离；

根据实际点云距离、图像射线距离、标注坐标和空间夹角，生成标注位置信息。

示例的，本实施例中在三维空间中构建三维坐标系，确定车辆的重心为坐标原点，根据图像采集装置相对该车辆重心的位置确定图像采集装置在三维空间中的预设位置坐标，对于图像数据中的任一像素点，通过上述步骤确定各个像素点的标注坐标后，根据标注坐标将各个像素点标注在三维坐标系的水平面内，并根据图像采集装置在三维坐标系中的位置，确定图像采集装置和各个像素点的连线与图像平面之间的空间夹角，其中该图像平面可以是三维坐标系中的(X，Y，0)平面。根据图像采集装置在三维空间中的预设位置坐标以及激光点云图，确定图像采集装置与实际位置之间实际点云距离，根据图像采集装置的预设位置坐标和各个像素点在(X，Y，0)平面的标注坐标，确定图像采集装置至标注坐标之间的图像射线距离。将实际点云距离与图像摄像距离作差，并根据差值、空间夹角，和标注坐标，应用三角函数生成标注位置的位置坐标信息。

通过上述方式，通过图像采集装置与标注坐标之间的距离，以及实际点位之间的距离，应用三角函数确定各个像素点在三维空间中的真实坐标，根据该真实坐标生成标注位置信息。从而能够准确确定各个像素点在三维空间中的位置，使车辆完成视觉感知任务。

图3是根据一示例性实施例示出的一种基准平面的生成方法的流程图，如图3所示，上述步骤S103，包括以下步骤。

在步骤S301中，通过RANSAC算法，从激光点云图中确定多个有效激光点云。

值得一提的是，本实施例中图像采集装置在应用激光生成激光点云图的过程中，因真实环境中存在噪点导致返回的部分激光点云不能实际反映实际基准平面对应障碍物在三维空间中的真实位置，例如，环境中存在较大的粉尘颗粒时，通过图像采集装置射向实际基准平面的激光光束被改粉尘颗粒干扰，导致该激光光束未到达实际基准平面而生成返回激光返回至图像采集装置中。因此，需要对激光点云图进行筛选，确定其中的有效激光点云。本实施例中通过RANSAC算法，来确定激光点云图中的有效激光点云。其中，RANSAC算法可以从一组包含“局外点”的激光点云数据中，通过迭代方式估计数学模型的参数，从中确定概率最高的激光点云为有效激光点云。

可选地，在一种实施方式中，上述步骤S301，包括：

通过RANSAC算法，从激光点云图中随机选取预设数量的多组初始激光点云。

根据多组初始激光点云，生成多个初始平面模型。

对于任一初始平面模型，从激光点云图中确定满足初始平面模型的激光点云数量。

从多个初始平面模型中确定激光点云数量最多的模型为目标平面模型。

从激光点云图中确定满足目标平面模型激光点云为多个有效激光点云。

值得一提的是，RANSAC算法为在包含噪点样本中进行随机取样，获取其中概率最高的样本组合为目标样本的数学模型。本实施例中采用RANSAC算法，从激光点云图中随机选取预设数量的多组初始激光点云。因为本实施例中需要获得的有效激光点云置于同一平面内，根据3个基准点构成一个平面的构建规则，确定该预设数量为3个。在应用RANSAC算法进行一次迭代取样的过程中，在激光点云中随机选取3个初始激光点云，并根据该组初始激光点云，生成初始平面模型。本实施例中通过RANSAC算法进行多次迭代取样，从而基于多组初始激光点云生成多个初始平面模型。对于任一初始平面模型，以该平面模型为基准确定三维空间中激光点云图中落在该初始平面模型上的激光点云数量。从而激光点云图中落在该初始平面模型上的激光点云数量，确定激光点云数量最多的模型为目标平面模型。

可选地，在另一种实施方式中，上述“从激光点云图中确定满足初始平面模型的激光点云数量”的步骤，包括：

根据初始平面模型和预设误差阈值，确定目标空间范围；

根据目标空间范围和激光点云图，确定激光点云数量。

示例的，本实施例中RANSAC算法存在一定的误差范围，因此通过上述步骤生成初始平面模型后，根据初始平面模型在三维空间中的范围以及预设误差阈值，确定各个初始平面模型在三维空间中的目标空间范围。示例的，该预设误差阈值为以初始平面模型为基准，在该初始平面模型的竖直方向上衍生[-1cm，1cm]的距离构成的空间为目标空间范围。根据激光点云图确定各个激光点云在三维空间中的位置，将该位置与目标空间范围进行比较，确定激光点云图中位于该目标空间范围内的激光点云数量。

在步骤S302中，根据多个有效激光点云，确定实际基准平面。

示例的，本实施例中通过上述步骤从激光点云图中筛选出多个有效激光点云后，各个激光点云位于三维空间中的同一平面内，根据各个激光点云在三维空间中的位置，从而确定实际基准平面。

通过上述方式，应用RANSAC算法从激光点云图中筛选出有效的激光点云，根据有效激光点云构成的平面构建实际基准平面。从而在三维空间中构建出实际基准平面的位置，以实现车辆的视觉感知，辅助车辆进行自动驾驶。

图4是根据一示例性实施例示出的再一种标注信息的生成方法的示意图，如图4所示，该方法包括以下步骤。

第一步：将多相机输出的环视图像，基于地平面假设拼接成鸟瞰图(BEV，Bird'sEye View)，随后基于预设坐标原点，在该图像中完成对各个像素点的初始标注。此时的地平面为图像平面，实际上的地平面可能并不是完全平整，因此需要结合同一时刻的点云数据，将各个像素点拟合到真实的地平面上。

第二步：根据图像采集装置获取到的点云打到地平面上无障碍物位置的点，通过RANSAC的方式拟合出真实的地平面在三维空间中的位置。

第三步：此时根据相机位置+标注出的2D像素点的位置(X，Y，0)得到相机看向各个像素点的射线；而该射线与真实地平面相交的点，即为该角点的真实3D位置(X1，Y1，Z1)，根据该真实位置坐标(X1，Y1，Z1)对各个像素点进行批注，生成各个像素点三维空间中的标注位置信息。

通过上述方式，结合图像和点云数据的优势，通过多传感器联合的标注投影方式，可以针对路面标识等具有像素级精度要求的地平面感知任务，输出精确的3D标注信息。既利用了图像丰富细腻的纹理信息，又利用了点云准确的3D位置信息；可用于为各类感知任务提供准确的3D标注位置。部分视觉感知任务会因为点云过于稀疏，或者因为被标注对象不具有明显形状信息而不能直接基于点云进行标注。该方案可以针对此类感知任务，通过多传感器融合的方式，采用相机投影来还原标注点在三维空间的真实位置，从而对像素位置进行标注。

图5是根据一示例性实施例示出的一种标注信息的生成装置的框图，如图5所示，该装置100包括：获取模块110、第一确定模块120、第二确定模130和生成模块140。

获取模块110，被配置为通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图；

第一确定模块120，被配置为确定视觉俯视图中各个像素点在图像平面中的标注坐标；

第二确定模块130，被配置为根据激光点云图，确定待标注区域中的实际基准平面；

生成模块140，被配置为根据实际基准平面和标注坐标，生成各个像素点在三维空间中的标注位置信息。

可选地，该生成模块140，包括：

第一确定子模块，被配置为根据图像采集装置和实际基准平面，确定各个像素点在实际基准平面中的实际位置；

生成子模块，被配置为根据实际位置和标注坐标，生成各个像素点的标注位置信息。

可选地，该生成子模块，被配置为：

根据图像采集装置在三维空间中的预设位置坐标，确定图像采集装置和各个像素点的连线与图像平面之间的空间夹角；

根据预设位置坐标和实际位置确定实际点云距离，以及根据预设位置坐标和标注坐标确定图像射线距离；

根据实际点云距离、图像射线距离、标注坐标和空间夹角，生成标注位置信息。

可选地，该第二确定模块130，包括：

第二确定子模块，被配置为通过RANSAC算法，从激光点云图中确定多个有效激光点云；

第三确定子模块，被配置为根据多个有效激光点云，确定实际基准平面。

可选地，该第二确定子模块，包括：

选取单元，被配置为通过RANSAC算法，从激光点云图中随机选取预设数量的多组初始激光点云；

生成单元，被配置为根据多组初始激光点云，生成多个初始平面模型；

第一确定单元，被配置为对于任一初始平面模型，从激光点云图中确定满足初始平面模型的激光点云数量；

第二确定单元，被配置为从多个初始平面模型中确定激光点云数量最多的模型为目标平面模型；

第三确定单元，被配置为从激光点云图中确定满足目标平面模型激光点云为多个有效激光点云。

可选地，第一确定单元，被配置为：

根据初始平面模型和预设误差阈值，确定目标空间范围；

根据目标空间范围和激光点云图，确定激光点云数量。

可选地，获取模块110，被配置为：

根据设置于车辆四周的多个图像采集装置，对车辆的环视区域进行图像采集，生成多帧视觉俯视子图像和多帧激光点云子图像；

根据图像拼接算法对多帧视觉俯视子图像进行拼接，生成视觉俯视图，以及根据多帧激光点云子图像，生成激光点云图。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的标注信息的生成方法的步骤。

图6是根据一示例性实施例示出的一种电子设备的框图。例如，设备600可以是车载终端，计算机，数字广播终端，消息收发设备，游戏控制台，医疗设备，个人数字助理等。

参照图6，设备600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件607，音频组件610，输入/输出接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的色散伪像的确定方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件607和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。

多媒体组件607包括在所述设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件607包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

输入/输出接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如所述组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述标注信息的生成方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述标注信息的生成方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是根据一示例性实施例示出的一种车辆700的框图。例如，车辆700可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆700可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。

参照图7，车辆700可包括各种子系统，例如，信息娱乐系统710、感知系统720、决策控制系统730、驱动系统740以及计算平台750。其中，车辆700还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆700的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。

在一些实施例中，信息娱乐系统710可以包括通信系统，娱乐系统以及导航系统等。

感知系统720可以包括若干种传感器，用于感测车辆700周边的环境的信息。例如，感知系统720可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。

决策控制系统730可以包括计算系统、整车控制器、转向系统、油门以及制动系统。

驱动系统740可以包括为车辆700提供动力运动的组件。在一个实施例中，驱动系统740可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。

车辆700的部分或所有功能受计算平台750控制。计算平台750可包括至少一个处理器751和存储器752，处理器751可以执行存储在存储器752中的指令753。

处理器751可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(Field ProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。

存储器752可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

除了指令753以外，存储器752还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器752存储的数据可以被计算平台750使用。

在本公开实施例中，处理器751可以执行指令753，以完成上述的标注信息的生成方法的全部或部分步骤。

在另一示例性实施例中，该车辆包括本公开上述实施例中的电子设备或与本公开上述实施例中的电子设备连接。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的标注信息的生成方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种标注信息的生成方法，其特征在于，包括：

通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图；

确定所述视觉俯视图中各个像素点在图像平面中的标注坐标；

根据所述激光点云图，确定所述待标注区域中的实际基准平面；

根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息。

2.根据权利要求1所述的生成方法，其特征在于，所述根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息，包括：

根据图像采集装置和所述实际基准平面，确定所述各个像素点在所述实际基准平面中的实际位置；

根据所述实际位置和所述标注坐标，生成所述各个像素点的所述标注位置信息。

3.根据权利要求2所述的生成方法，其特征在于，所述根据所述实际位置和所述标注坐标，生成所述各个像素点的所述标注位置信息，包括：

根据所述图像采集装置在所述三维空间中的预设位置坐标，确定所述图像采集装置和所述各个像素点的连线与所述图像平面之间的空间夹角；

根据所述预设位置坐标和所述实际位置确定实际点云距离，以及根据所述预设位置坐标和所述标注坐标确定图像射线距离；

根据所述实际点云距离、所述图像射线距离、所述标注坐标和所述空间夹角，生成所述标注位置信息。

4.根据权利要求1所述的生成方法，其特征在于，所述根据所述激光点云图，确定所述待标注区域中的实际基准平面，包括：

通过RANSAC算法，从所述激光点云图中确定多个有效激光点云；

根据所述多个有效激光点云，确定所述实际基准平面。

5.根据权利要求4所述的生成方法，其特征在于，所述通过RANSAC算法，从所述激光点云图中确定多个有效激光点云，包括：

通过所述RANSAC算法，从所述激光点云图中随机选取预设数量的多组初始激光点云；

根据所述多组初始激光点云，生成多个初始平面模型；

对于任一初始平面模型，从所述激光点云图中确定满足所述初始平面模型的激光点云数量；

从所述多个初始平面模型中确定所述激光点云数量最多的模型为目标平面模型；

从所述激光点云图中确定满足所述目标平面模型激光点云为所述多个有效激光点云。

6.根据权利要求5所述的生成方法，其特征在于，所述从所述激光点云图中确定满足所述初始平面模型的激光点云数量，包括：

根据所述初始平面模型和预设误差阈值，确定目标空间范围；

根据所述目标空间范围和所述激光点云图，确定所述激光点云数量。

7.根据权利要求1所述的生成方法，其特征在于，所述通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图，包括：

根据设置于车辆四周的多个图像采集装置，对所述车辆的环视区域进行图像采集，生成多帧视觉俯视子图像和多帧激光点云子图像；

根据图像拼接算法对所述多帧视觉俯视子图像进行拼接，生成所述视觉俯视图，以及根据所述多帧激光点云子图像，生成所述激光点云图。

8.一种标注信息的生成装置，其特征在于，包括：

获取模块，被配置为通过图像采集装置，获取待标注区域的视觉俯视图和激光点云图；

第一确定模块，被配置为确定所述视觉俯视图中各个像素点在图像平面中的标注坐标；

第二确定模块，被配置为根据所述激光点云图，确定所述待标注区域中的实际基准平面；

生成模块，被配置为根据所述实际基准平面和所述标注坐标，生成所述各个像素点在三维空间中的标注位置信息。

9.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

10.一种车辆，其特征在于，包括如权利要求9所述的电子设备或与权利要求9所述的电子设备连接。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

Images