CN112735253A - 红绿灯自动标注方法及计算机设备 - Google Patents

Abstract

本发明提供了一种红绿灯自动标注方法。该红绿灯自动标注方法包括：获取图像数据和点云数据，点云数据包括多个点数据；识别出图像数据中的红绿灯区域；在图像数据中构建红绿灯区域的二维边框；根据二维边框确定点云数据中与二维边框对应区域中的点数据；给点数据添加标签；统计点数据在预设时间段内的第一标签的数量；以及将第一标签的数量达到预设值的点数据设置为红绿灯点数据；多个红绿灯点数据组成红绿灯点云数据；根据红绿灯点云数据构建点云数据中的三维边框。本发明还提供了一种应用上述方法的计算机设备。上述方法可以根据图像数据和点云数据自动识别出红绿灯，并为红绿灯构建三维边框，提升红绿灯识别的效率和准确率，减少人工成本。

Description

红绿灯自动标注方法及计算机设备

技术领域

本发明涉及自动驾驶领域，尤其涉及一种红绿灯自动标注方法及计算机设备。

背景技术

随着科学技术的进步和发展，自动驾驶车辆已经基本具备自动操作和行驶能力，自动驾驶技术主要利用车载传感器(如相机、激光雷达等)来感知车辆周围环境，并根据感知所获得的道路、车辆位置、交通标志和障碍物等信息，控制车辆的转向和速度，其中对红绿灯及时、准确地识别是车辆能够安全、可靠地在道路上行驶的一个重要前提条件。

高清地图的元素中，与其他地面上的元素，如车道线，可以通过俯视的角度看的2D视角不同，L4/L5级别自动驾驶车辆需要将红绿灯的三维空间位置以三维坐标的形式准确地标注出来。目前，自动驾驶技术对红绿灯进行识别的方案通常是通过在三维空间显示三维地图的点云数据，然后用鼠标圈住红绿灯的点云数据进行标注。这种方式不仅需要大量人工，而且在三维空间操作，难度也非常大，耗时耗精力，容易出错。为了提高红绿灯的标注效率以及准确率，提供一种快速的红绿灯标注的方法已成为亟待解决的问题。

发明内容

本发明提供一种红绿灯自动标注方法，应用于自动驾驶领域。

第一方面，本发明实施例提供一种红绿灯自动标注方法，所述方法包括：

获取图像数据和点云数据，所述点云数据包括多个点数据；

识别出所述图像数据中的红绿灯区域；

在所述图像数据中构建所述红绿灯区域的二维边框；

根据所述二维边框确定所述点云数据中与所述二维边框对应区域中的点数据；

给所述点数据添加标签，所述标签包括第一标签；

统计所述点数据在预设时间段内的所述第一标签的数量；以及

将所述第一标签的数量达到预设值的所述点数据设置为红绿灯点数据；

多个所述红绿灯点数据组成红绿灯点云数据；

根据所述红绿灯点云数据构建所述点云数据中的三维边框。

第二方面，本发明实施例提供一种计算机设备，所述计算机设备包括：

存储器，用于存储程序指令；以及

处理器，用于执行所述程序指令以使所述计算机设备实现如权利要求1～9任意一项所述的应用于自动驾驶领域的红绿灯自动标注方法。

上述应用于自动驾驶领域的红绿灯自动标注方法，通过图像数据与点云数据结合的方式，将图像数据中的二维信息与点云数据中的三维信息融合，从而更快更准确地标注出红绿灯的三维信息，解决了三维空间中红绿灯三维信息标注过程复杂，准确率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1A为发明实施例提供的红绿灯自动标注方法流程图。

图1B为发明实施例提供的点数据与点云数据关系示意图。

图2为发明实施例提供的图像数据和点云数据获取流程图。

图3A为发明实施例提供的图像数据和点云数据获取子流程图。

图3B为发明实施例提供的各坐标系空间位置示意图。

图4为发明实施例提供的筛选红绿灯区域流程图。

图5A为发明实施例提供的点数据筛选流程图。

图5B为发明实施例提供的平面与世界坐标系对应关系示意图。

图5C为发明实施例提供的二维边框筛选点数据示意图。

图6为发明实施例提供的第一标签标注流程图。

图7为发明实施例提供的点数据添加第一标签流程图。

图8为发明实施例提供的点数据添加第一标签子流程图。

图9A-9B为发明实施例提供的第一标签校验流程图。

图10为发明实施例提供的计算机设备的结构示意图。

图中各元件标号

100 点数据 110 点云数据

300 自动驾驶车辆 310 激光雷达

320 摄像机 330 世界坐标系

500 平面 510 法线

530 点云数据投影 531 点数据投影

520 二维边框 1000 计算机设备

1001 存储器 1002 处理器

1003 总线 1004 显示组件

1005 通信组件

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”，、“右”、“竖直”、“水平”、“顶、“底“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连；可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为使得对本发明的内容有更清楚及更准确的理解，现将结合附图详细说明。说明书附图示出本发明的实施例的示例，其中，相同的标号表示相同的元件。可以理解的是，说明书附图示出的比例并非本发明实际实施的比例，其仅为示意说明为目的，并非依照原尺寸作图。

请结合参看图1A，其为发明实施例提供的红绿灯自动标注方法流程图。红绿灯自动标注方法的步骤如下。

步骤S101，获取图像数据和点云数据，点云数据包括多个点数据。具体地，图像数据是由自动驾驶车辆的图像传感器获取的数据。点云数据是自动驾驶车辆的激光雷达获取的数据。点云数据中包含了三维坐标，颜色信息等。点云数据是由海量的点数据构成的数据。点数据是由激光雷达扫描得到的。

如图1B所示，在三维空间中存在由激光雷达获取的点数据100，点数据100中包含了三维坐标，颜色信息。海量的点数据100共同构成了点云数据110。

步骤S103，识别出图像数据中的红绿灯区域。具体地，将图像数据中的每一个通道数据(R，G，B)进行直方图均衡化，再将三个通道数据合并为一个三通道图像。通过对三通道图像的颜色分割获取可能是红绿灯的感兴趣区域，感兴趣区域包括基本的几何特征，比如长度，宽度，长宽比，面积(即像素个数)。

根据红绿灯的特有特征参数从感兴趣区域识别出待定红绿灯区域。在本实施例中，使用了3个参数：红绿灯面积；红绿灯形状；红绿灯的黑色边框。其中，在本实施例中，红绿灯面积设置的上下限是10，200；红绿灯形状设置为圆形；红绿灯的黑色边框通过SVM分类器训练一些红绿灯的黑色边框样本，获取红绿灯的黑色边框样本的参数，并将该参数作为筛选红绿灯的黑色边框的条件。SVM分类器是机器学习中用来训练模型，获取相关参数的一种算法。本实施例的所有参数可根据实际情况进行设定，这里仅作为说明该实施例所列举的例子，并不做限定。设定相应参数从待定红绿灯区域中筛选出真正的红绿灯区域。

步骤S105，在图像数据中构建红绿灯区域的二维边框。具体地，在识别出红绿灯区域后，在红绿灯区域外指定像素距离的位置沿红绿灯区域为红绿灯构建二维边框。这里设定的参数是50个像素。本实施例的所有参数可根据实际情况进行设定，这里仅作为说明该实施例所列举的例子，并不做限定。

步骤S107，根据二维边框确定点云数据中与二维边框对应区域中的点数据。具体地，点数据的投影落在二维边框所在的平面上，将落在二维边框范围内的点数据筛选出来。

步骤S109，给点数据添加标签，标签包括第一标签。具体地，点数据上的标签包括第一标签和第二标签。第一标签为“是”，第二标签为“否”。

步骤S111，统计点数据在预设时间段内的第一标签的数量。具体地，在预设的时间段内，本实施例选取了10分钟内包含的所有帧的数据。10分钟包含600帧数据。统计每一帧中同一个点数据的第一标签的数量。这里的数值仅为说明该实施例的设定标准，标准具体时间根据实际需要设定，这里不做限定。

步骤S113，将第一标签的数量达到预设值的点数据设置为红绿灯点数据。具体地，设定600帧数据中大于等于有400帧数据中同一个点数据标有第一标签，那么这个点数据就是红绿灯点数据。这里的数值仅为说明该实施例的设定标准，标准数值根据实际需要设定，这里不做限定。

步骤S115，多个红绿灯点数据组成红绿灯点云数据。具体地，所有被筛选出来的红绿灯点数据共同构成红绿灯点云数据。红绿灯点云数据中不仅包含了所有红绿灯点数据的数据信息，还包含了红绿灯在三维空间中的三维空间信息。

步骤S117，根据红绿灯点云数据构建点云数据中的三维边框。具体地，红绿灯点云数据在三维空间中占据了一定的空间，根据红绿灯点云数据构建包含所有红绿灯点云数据的三维边框。

上述实施例，通过了交通灯自动标注的方法，实现了自动驾驶领域中交通灯的快速标注，使得红绿灯的标注变得更为快捷和准确。自动驾驶车辆能够快速获取更多的关于红绿灯的相关的位置信息。

请结合参看图2，其为发明实施例提供的图像数据和点云数据获取流程图。图像数据和点云数据获取步骤如下。

步骤S201，通过第一传感器和第二传感器获取第一图像数据和第一点云数据。具体地，第一传感器为摄像机，第二传感器为激光雷达。第一图像数据是摄像机获取的，以摄像机坐标为基准的数据，第一点云数据是激光雷达获取的，以激光雷达坐标为基准的数据。

S203，第一图像数据和第一点云数据经过坐标转化得到图像数据和点云数据。具体地，图像数据是第一图像数据在世界坐标系中数据；点云数据是第一点云数据在世界坐标系中数据。

上述实施例中，通过利用图像数据和点云数据中包含的信息对红绿灯进行识别，提升了红绿灯识别的准确率。

请结合参看图3A，其为发明实施例提供的图像数据和点云数据获取子流程图。图像数据和点云数据获取子流程步骤如下。

步骤S301，获取第一图像数据的第一坐标系和第一点云数据的第二坐标系。具体地，第一坐标系是摄像机坐标系，摄像机坐标系是摄像机本身固有的坐标系；第二坐标系是激光雷达坐标系，激光雷达坐标系是激光雷达本身固有的坐标系。

步骤S303，计算第一坐标系和第二坐标系与世界坐标系之间的转化关系。具体地，请结合参看图3B，自动驾驶车辆300上安装了摄像机320和激光雷达310。摄像机320自身的坐标系对应第一坐标系，激光雷达310自身的坐标系对应第二坐标系。第一坐标系和第二坐标系的坐标系原点为第一原点和第二原点，是世界坐标系330上的两个点。计算第一原点和第二原点与世界坐标系原点之间的第一对应关系与第二对应关系。该第一对应关系就是第一坐标系与世界坐标系之间的转化关系。该第二对应关系就是第二坐标系与世界坐标系之间的转化关系。

步骤S305，根据转化关系将第一图像数据和第一点云数据转化为图像数据和点云数据。具体地，结合上述步骤，根据第一对应关系将第一图像数据转化为图像数据，根据第二对应关系将第一点云数据转化为点云数据。

上述实施例中，通过传感器坐标系与世界坐标系之间的对应关系得到图像数据与点云数据之间的关系，为点云数据与图像数据之间的融合提供了基础，使得图像数据和点云数据能够共同判断红绿灯。

请结合参看图4，其为发明实施例提供的筛选红绿灯区域流程图。筛选红绿灯区域步骤如下。

步骤S401，通过预设算法计算出图像数据中的待定红绿灯区域和待定红绿灯区域的可信度参数，预设算法是计算出待定红绿灯区域和可信度参数的算法。具体地，本实施例基于SLAM算法获取红绿灯样本的参数，并将该参数作为筛选红绿灯的可信度参数。计算待定红绿灯区域的算法详情请参看步骤S105，这里不再赘述。SLAM算法(SimultaneousLocalization and Mapping)，又称“同时定位与地图构建”指搭载特定传感器的主体，在没有环境先验知识的情况下，根据传感器获取的数据建立指定的对象的模型，并输出该模型的相关参数的算法。

步骤S403，设置可信度参数的筛选阈值，从待定红绿灯区域筛选出红绿灯区域。具体地，可信度参数的数值越低筛选出红绿灯区域越多，例如，在100帧包含待定红绿灯区域的图像数据中，将可信度参数为0.1时，会从中筛选出90帧图像数据作为包含红绿灯区域的图像数据。

上述实施例中，通过预设的的算法从待定红绿灯区域中筛选出红绿灯区域，提高了红绿灯筛选的精确性。

请结合参看图5A，其为发明实施例提供的点数据筛选流程图。点数据筛选的步骤如下。

步骤S501，根据二维边框构建世界坐标系中二维边框所在的平面。具体地，根据第一对应关系计算出二维边框在世界坐标系中的四个二维边框定点坐标，根据四个二维边框定点坐标的坐标值延伸出一个在世界坐标系中的平面，该平面包含了二维边框。如图5B所示，在世界坐标系330中构建了平面500。该图仅为示例，不做限定。

步骤S503，根据平面获得平面的法线。具体地，计算出与平面500呈90°的法线510。平面500与法线510的位置关系如图5B所示。

步骤S505，点云数据沿法线的方向投影到平面。具体地，请结合参看图5C，点云数据沿法线510投影在平面500上得到点云数据投影530，点云数据投影530分布在平面500上。点云数据投影530包含了多个点数据投影531。

步骤S507，筛选出投影点落在二维边框范围内的点数据。具体地，请结合参看图5C，将点数据投影531落在二维边框520中的点数据筛选出来。

上述实施例中，通过二维边框筛选出点数据，实现图像数据与点云数据的融合，提升红绿灯识别的准确率。

请结合参看图6，其为发明实施例提供的第一标签标注流程图。第一标签标注的步骤如下。

步骤S601，根据二维边框添加点数据的图像标签，图像标签包括图像第一标签，图像第二标签。具体地，请结合参看图5C，落在二维边框520范围内的点数据投影531，添加图像第一标签；未落在二维边框520范围内的点数据投影531，添加图像第二标签。

步骤S603，根据三维特征识别算法获取点数据识别结果。具体地，三维特征识别算法对点数据构成的点云数据的三维特征进行识别，识别结果包括是红绿灯和不是红绿灯。

步骤S605，根据识别结果给点数据添加点标签，点标签包括点第一标签，点第二标签。具体地，识别结果是红绿灯的点云数据，给其中的点数据添加点第一标签，识别结果不是红绿灯的点云数据，给其中的点数据添加点第二标签。

步骤S607，根据图像标签和点标签给点数据标注第一标签。图像第一标签，图像第二标签，点第一标签和点第二标签都有预设的对应分数，并预设第一标签所需的标准分数。计算每个点数据所对应的图像第一标签分数，图像第二标签分数，点第一标签分数和点第二标签分数的总分数，若所述总分数大于等于标准分数，则给该点数据添加第一标签。

上述实施例中，通过标注图像第一标签，图像第二标签，点第一标签和点第二标签，实现图像数据与点云数据的融合，简化了红绿灯识别的步骤，提升红绿灯识别的效率。

请结合参看图7，其为发明实施例提供的点数据添加第一标签流程图。点数据添加第一标签的步骤如下。

步骤S701，判断点数据的投影点是否落在二维边框所在的范围。具体地，请结合参看图5C，点数据投影531在平面500上，判断点数据投影是否落在二维边框520范围内。

步骤S703，若投影点落在范围内，给点数据添加图像第一标签。具体地，给点数据投影531投影落在二维边框520范围内的点数据添加图像第一标签。

步骤S705，若投影点未落在范围内，给点数据添加图像第二标签。具体地，给点数据投影531投影位落在二维边框520范围内的点数据添加图像第二标签。

上述实施例中，通过标注图像第一标签，图像第二标签，简化了红绿灯识别的步骤，提升红绿灯识别的效率。

请结合参看图8，其为发明实施例提供的点数据添加第一标签子流程图。

步骤S801，预先设定标注第一标签所需的标准分数。具体地，标注第一标签所需的分数根据实际需要设定。该实施例设定第一标签所需的标准分数为5。这里的数值仅为说明该实施例的设定标准，标准分数根据实际需要设定，这里不做限定。

步骤S803，预先设定图像第一标签，图像第二标签，点第一标签和点第二标签所代表的分数。图像第一标签，图像第二标签，点第一标签和点第二标签的分数可以相同也可以不同，根据实际的需求设定。在该实施例中图像第一标签的分数为5，图像第二标签的分数为-5，点第一标签的分数为5和点第二标签的分数为-5。这里的数值仅为说明该实施例的设定标准，标准分数根据实际需要设定，这里不做限定。

步骤S805，计算点数据的总分数。具体地，若点数据的图像第一标签的分数为5，点第一标签的分数为5。该点数据的总分数为10。

步骤S807，判断总分数是否大于或等于标准分数。具体地，该实施例中10大于5。

步骤S809，若总分数大于或等于标准分数，给点数据添加第一标签。具体地，给该总分数大于5的点数据添加第一标签。

上述实施例中，通过给图像第一标签，图像第二标签，点第一标签和点第二标设定分数以及设定第一标签标准分数，简化了红绿灯识别的步骤，提升红绿灯识别的效率与准确率。

请结合参看图9A，其为发明实施例提供的第一标签校验流程图。

步骤S901，三维边框生成后，将三维边框添加到每一帧点云数据中，三维边框与红绿灯点云数据一一对应。具体地，三维边框带有红绿灯的全部三维属性，构成三维边框的每一个点的三维坐标，三维边框所包围空间的体积。将三维边框添加到预定时长内的点云数据中，三维边框中的空间对应了点云数据中三维坐标对应的点云数据。也就是将用三维边框框住了指定空间中的点云数据。但是，三维边框框住的点云数据不一定是红绿灯点云，所以需要标注员对三维边框框住的点云数据进行校验，确认三维边框框住的点云数据是否是真正的红绿灯点云数据。

步骤S903，获取标注员对三维边框的检测结果。具体地，计算机设备获取标注员输入的对三维边框框住的点云数据的校验结果，结果包括是或者否。

步骤S905，根据检测结果对第一标签进行校验处理。具体地，根据获取的标注员的校验结果修改三维边框框住的点云数据，如果三维边框框住的点云数据不是红绿灯数据，那么将被三维边框误框的点云数据删除。

请结合参看图9B，其为发明实施例提供的第一标签校验流程图。

步骤S902，三维边框生成后，将三维边框和与三维边框对应的红绿灯点云数据添加到每一帧图片数据中。三维边框生成后，将三维边框添加到每一帧图像数据中，三维边框与红绿灯区域一一对应。具体地，三维边框带有红绿灯的全部三维属性，构成三维边框的每一个点的三维坐标，三维边框所包围空间的体积。将三维边框添加到预定时长内的图像数据中，三维边框中的空间包含了图像数据中二维图像数据。也就是将用三维边框框住了指定区域的图像数据。但是，三维边框框住的图像数据不一定是红绿灯区域，所以需要标注员对三维边框框住的图像数据进行校验，确认三维边框框住的图像数据是否是真正的红绿灯区域。

步骤S904，获取标注员对三维边框的检测结果。具体地，计算机设备获取标注员输入的对三维边框框住的图像数据的校验结果，结果包括是或者否。

步骤S906，根据检测结果对第一标签进行校验处理。根据检测结果对第一标签进行校验处理。具体地，根据获取的标注员的校验结果修改三维边框框住的图像数据，如果三维边框框住的点云数据不是红绿灯区域，那么将被三维边框误框的图像数据删除。

上述实施例中，通过三维边框与图像数据融合，校验图像数据中选中的所有红绿灯区域是否准确；三维边框与点云数据融合校验图像数据中选中的所有红绿灯点云是否准确。提升了红绿灯标注的准确性。

请结合参看图10，期本发明施例提供的计算机设备1000的内部结构示意图。计算机设备1000包括存储器1001、处理器1002和总线1003。

其中，存储器1001至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器1001在一些实施例中可以是计算机设备1000的内部存储单元，例如计算机设备1000的硬盘。存储器1001在另一些实施例中也可以是的外部计算机设备1000存储设备，例如计算机设备1000上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字卡(SecureDigital，SD)，闪存卡(Flash Card)等。进一步地，存储器1001还可以既包括计算机设备1000的内部存储单元也包括外部存储设备。存储器1001不仅可以用于存储安装于计算机设备1000的操作系统以及应用软件，还可以用于暂时地存储已经输出或者将要输出的数据。

总线1003可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，计算机设备1000还可以包括显示组件1004。显示组件1004可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示组件1004也可以适当的称为显示装置或显示单元。

进一步地，计算机设备1000还可以包括通信组件1005，通信组件1005可选的可以包括有线通信组件和/或无线通信组件(如WI-FI通信组件、蓝牙通信组件等)，通常用于在计算机设备1000与其他计算机设备之间建立通信连接。

处理器1002在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器1001中存储的程序代码或处理数据。具体地，处理器1002执行一种红绿灯自动标注方法。

图10仅示出了具有组件1001-1005以及实现一种红绿灯自动标注方法的计算机设备1000，本领域技术人员可以理解的是，图10示出的结构并不构成对计算机设备1000的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

该红绿灯自动标注方法包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。该计算机设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该红绿灯自动标注方法存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、流动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

上述实施例中，利用摄像机获取的图像数据与激光雷达获取的点云数据进行融合，用两种数据所包含识别信息识别出图像数据与点云数据中的红绿灯从而完成红绿灯的自动识别。不仅提高了自动驾驶领域中红绿灯标注的效率，也提升了自动驾驶领域中红绿灯标注的准确率。

在一些可行的实施例中，该方法获取的三维边框可用于高精地图的构建。利用该方法得到的三维边框包含了位置信息，空间信息，颜色信息。该三维边框在高精地图中不仅能够显示红绿灯的地理位置信息，还能够显示红绿灯所占的空间信息以及颜色信息。提升高精地图的构建效率。

在另一些可行的实施例中，该方法可以直接应用于自动驾驶车辆的红绿灯识别。该方法使用图像数据与点云数据的共同进行红绿灯的标注，比传统的只使用一种传感器进行标注的方法更加准确，提升自动驾驶车辆的安全性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。

Claims (10)

1.一种红绿灯自动标注方法，其特征在于，所述方法包括：

获取图像数据和点云数据，所述点云数据包括多个点数据；

识别出所述图像数据中的红绿灯区域；

在所述图像数据中构建所述红绿灯区域的二维边框；

根据所述二维边框确定所述点云数据中与所述二维边框对应区域中的所述点数据；

给所述点数据添加标签，所述标签包括第一标签；

统计所述点数据在预设时间段内的所述第一标签的数量；以及

将所述第一标签的数量达到预设值的所述点数据设置为红绿灯点数据；

多个所述红绿灯点数据组成红绿灯点云数据；

根据所述红绿灯点云数据构建所述点云数据中的三维边框。

2.如权利要求1所述的红绿灯自动标注方法，其特征在于，获取图像数据和点云数据，具体包括：

通过第一传感器和第二传感器获取第一图像数据和第一点云数据；

所述第一图像数据和所述第一点云数据经过坐标转化得到所述图像数据和所述点云数据。

3.如权利要求2所述的一种红绿灯自动标注方法，其特征在于，所述第一图像数据和所述第一点云数据经过坐标转化得到所述图像数据和所述点云数据，具体包括：

获取所述第一图像数据的第一坐标系和所述第一点云数据的第二坐标系；

计算所述第一坐标系和所述第二坐标系与世界坐标系之间的转化关系；

根据所述转化关系将所述第一图像数据和所述第一点云数据转化为所述图像数据和所述点云数据。

4.如权利要求1所述的一种红绿灯自动标注方法，其特征在于，识别出所述图像数据中的红绿灯区域，具体包括：

通过预设算法计算出所述图像数据中的待定红绿灯区域和所述待定红绿灯区域的可信度参数，所述预设算法是计算出所述待定红绿灯区域和所述可信度参数的算法；

设置所述可信度参数的筛选阈值，从所述待定红绿灯区域筛选出所述红绿灯区域。

5.如权利要求1所述的一种红绿灯自动标注方法，其特征在于，根据所述二维边框确定所述点云数据中与所述二维边框对应区域中的所述点数据，具体包括：

根据所述二维边框构建所述世界坐标系中所述二维边框所在的平面；

根据所述平面获得所述平面的法线；

所述点云数据沿所述法线的方向投影到所述平面；

筛选出所述投影点落在所述二维边框范围内的所述点数据。

6.如权利要求5所述的一种红绿灯自动标注方法，其特征在于，给所述点数据添加标签，具体包括：

根据所述二维边框添加所述点数据的图像标签，所述图像标签包括图像第一标签，图像第二标签；

根据三维特征识别算法获取所述点数据的识别结果；

根据所述识别结果给所述点数据添加点标签，所述点标签包括点第一标签，点第二标签；

根据所述图像标签和所述点标签给所述点数据标注所述第一标签。

7.如权利要求6所述的一种红绿灯自动标注方法，其特征在于，根据所述二维边框添加所述点数据的图像标签，具体包括：

判断所述点数据的所述投影点是否落在所述二维边框所在的范围；

若所述投影点落在所述范围内，给所述点数据添加所述图像第一标签；或者

若所述投影点未落在所述范围内，给所述点数据添加所述图像第二标签。

8.如权利要求6所述的一种红绿灯自动标注方法，其特征在于，根据所述图像标签和所述点标签给所述点数据标注所述第一标签，具体包括：

预先设定标注所述第一标签所需的标准分数；

预先设定所述图像第一标签，所述图像第二标签，所述点第一标签和所述点第二标签所代表的分数；

计算所述点数据的总分数；

判断所述总分数是否大于或等于所述标准分数；

若所述总分数大于或等于所述标准分数，给所述点数据添加所述第一标签。

9.如权利要求1所述的一种红绿灯自动标注方法，其特征在于，所述的红绿灯自动标注方法还包括：

所述三维边框生成后，将所述三维边框添加到每一帧所述点云数据中，所述三维边框与所述红绿灯点云数据一一对应；

获取标注员对三维边框的检测结果；以及

根据所述检测结果对所述第一标签进行校验处理；

或者

所述三维边框生成后，将所述三维边框和与所述三维边框对应的所述红绿灯点云数据添加到每一帧图片数据中；

获取标注员对三维边框的检测结果；以及

根据所述检测结果对所述第一标签进行校验处理。

10.一种计算机设备，其特征在于，所述计算机设备包括：

存储器，用于存储程序指令；以及

处理器，用于执行所述程序指令以使所述计算机设备实现如权利要求1～9任意一项所述的应用于自动驾驶领域的红绿灯自动标注方法。

Images