CN109635640A

CN109635640A - 基于点云的交通灯识别方法、装置、设备及存储介质

Info

Publication number: CN109635640A
Application number: CN201811291882.6A
Authority: CN
Inventors: 卢维欣; 宋适宇; 董芳芳
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Apollo Intelligent Technology Beijing Co Ltd
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2019-04-16
Anticipated expiration: 2038-10-31
Also published as: CN109635640B

Abstract

本申请实施例提供一种基于点云的交通灯识别方法、装置、设备及存储介质，通过获取点云数据；基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云；基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量；基于所述交通灯的方向向量对所述交通灯的点云进行框选，确定所述交通灯等框所在的位置。本申请实施例提供的方案能够提高识别交通灯的效率和可靠性。

Description

基于点云的交通灯识别方法、装置、设备及存储介质

技术领域

本申请实施例涉及自动驾驶技术领域，尤其涉及一种基于点云的交通灯识别方法、装置、设备及存储介质。

背景技术

自动驾驶技术需要依赖高精地图，车辆可以基于高精地图中的道路信息行驶，因此，高精地图中的道路信息需要非常准确，才能够保证无人驾驶车辆安全行驶。

而制作高精地图需要采集道路元素，如红绿灯等，并在高精地图中准确的标注出红绿灯位置。现有技术中，红绿灯的标注主要依赖人工从点云中提取出对应的红绿灯灯框，但由于点云只包含反射值和三维坐标，人眼识别有一定的难度并且对标注工具的交互要求也很高，标注的效率较低可靠性较差。

发明内容

本申请实施例提供一种基于点云的交通灯识别方法、装置、设备及存储介质，用以提高识别交通灯的效率和可靠性。

本申请实施例第一方面提供一种基于点云的交通灯识别方法，包括：

获取点云数据；

基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云；

基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量；

基于所述交通灯的方向向量对所述交通灯的点云进行框选，确定所述交通灯等框所在的位置。

本申请实施例第二方面提供一种交通灯识别装置，包括：

获取模块，用于获取点云数据；

处理模块，用于基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云；

第一确定模块，用于基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量；

第二确定模块，用于基于所述交通灯的方向向量对所述交通灯的点云进行框选，确定所述交通灯等框所在的位置。

本申请实施例第三方面提供一种计算机设备，包括：

一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。

基于以上各方面，本申请实施例通过获取点云数据，基于预设模型从点云数据中识别获得杆状物的点云以及杆状物上附属的交通灯的点云，基于杆状物的点云确定杆状物的方向向量，基于杆状物的方向向量确定所述交通灯的方向向量，从而基于交通灯的方向向量对交通灯的点云进行框选，得到交通灯等框所在的位置。由于本申请实施例提供的技术方案在不需要人工识别的前提下就能够自动从点云中识别出交通灯的位置，因而能够解决由人工识别所导致的效率低下，准确率低的问题。

应当理解，上述发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本公申请的其它特征将通过以下的描述变得容易理解。

附图说明

图1是本申请实施例提供的一种场景示意图；

图2是本申请实施例提供的一种基于点云的交通灯识别方法的流程图；

图3是本申请实施例提供的一种杆状物的示意图；

图4是本申请实施例提供的一种基于点云的交通灯识别方法的流程；

图5是本申请实施例提供的一种点云识别的场景示意图；

图6是本申请实施例提供的一种交通灯识别装置的结构示意图；

图7是本申请实施例提供的一种交通灯识别装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。

本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本申请实施例提供的一种场景示意图，在图1中包括激光扫描仪11和杆状物12安设在杆状物12上的交通灯13，其中该激光扫描仪11可以搭载在自动驾驶汽车或其他设备上。如图1所示，在图1所示的场景中激光扫描仪11对周围的场景进行扫描获得周围环境中包括杆状物12和交通灯13在内的所有物体的点云数据。

在基于点云数据对交通灯执行识别操作时，现有技术通常采用人眼识别的方式从点云数据中人为的识别出交通灯的位置，并对交通灯的位置进行标定。这种方式效率较低，可靠性较差。

针对现有技术存在的上述问题，本申请实施例提供一种基于点云的交通灯识别方法，该方法主要是通过预设模型从点云中识别出杆状物的点云以及杆状物上附属的交通灯的点云，基于杆状物的点云确定杆状物的方向向量，基于杆状物的方向向量确定交通灯的方向向量，从而根据交通灯的方向对交通灯的点云进行框选，得到交通灯等框所在的位置。由于在本申请提供的方案中不需要任何的人工参与就能够识别出交通灯的位置，因而解决了由人工识别所导致的效率低，可靠性差的问题。

以下将结合附图来具体描述本申请实施例的技术方案。

图2是本申请实施例提供的一种基于点云的交通灯识别方法的流程图，该方法可以由一种交通灯识别装置来执行。参见图2，该方法包括步骤S11-S14：

S11、获取点云数据。

本实施例中涉及的点云数据包括杆状物的点云数据以及附属于杆状物的交通灯的点云数据。

本实施例中点云数据可以通过如下方式获得：示例的，在一种可能的获取方式中，可以通过激光扫描仪在特定的场景中扫描获得点云数据，其中该场景中包括杆状物以及设置在杆状物上的交通灯。在另一种可能的获取方式中，可以通过双目摄像头拍摄获得的影像来获得特定场景的点云数据。当然上述两种方式仅是举例说明而不是对本申请的唯一限定。

S12、基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云。

本实施例中的预设模型可以是一个模型也可以是多个模型。以一个模型为例，在执行本实施例方法之前可以先获得预设数量的训练样本，每个训练样本中均包括杆状物的点云以及交通灯的点云，并且杆状物的点云以及交通灯的点云在训练样本中预先标注好，将训练样本输入模型，进过多次训练收敛后，得到能够用于识别杆状物点云和交通灯点云的模型。

或者当预设模型为多个模型时，可以预选分别训练用于识别杆状物点云的模型和用于识别交通灯点云的模型，通过将获取到的点运数据分别数据该两个模型后即可从点云数据中识别出杆状物的点云和交通灯的点云。

当然上述两种方式仅为示例说明而不是对本申请的唯一限定。

S13、基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量。

示例的，图3是本申请实施例提供的一种杆状物的示意图，如图3所示，杆状物包括第一杆体31和第二杆体32，其中，第一杆体31垂直于地面，第二杆体32与第一杆体成第一角度(这里以第二杆体平行于地面为例)，交通灯33安装在第二杆体32上。在图3所示的杆状物中，首先从识别获得的杆状物的点云中识别出第一杆体的点云，以及第二杆体的点云，进一步再基于第一杆体的点云计算获得第一杆体朝向地面的第一方向向量，基于第二杆体的点云计算第二杆体背离第一杆体的第二方向向量，将垂直于第一方向向量和第二方向向量的第三方向向量确定为交通灯的方向向量，从而第三方向向量的朝向即为交通灯的朝向。

当然上述仅是以图3为例的示例说明而不是对本申请的唯一限定。

S14、基于所述交通灯的方向向量对所述交通灯的点云进行框选，确定所述交通灯等框所在的位置。

本实施例中在基于杆状物的方向向量得到交通灯的方向向量后，将交通灯方向向量的方向确定为交通灯的朝向，进一步的，基于该朝向对交通灯的点云进行框选，并将包括交通灯点云数量最多的框选平面所在的位置，确定为交通灯所在的位置。或者在其他设计中也可以根据其他预设规则在对交通灯的点云进行框选，本实施例不对具体的框选规则做限定。

本实施例通过获取点云数据，基于预设模型从点云数据中识别获得杆状物的点云以及杆状物上附属的交通灯的点云，基于杆状物的点云确定杆状物的方向向量，基于杆状物的方向向量确定所述交通灯的方向向量，从而基于交通灯的方向向量对交通灯的点云进行框选，得到交通灯等框所在的位置。由于本实施例提供的技术方案在不需要人工识别的前提下就能够自动从点云中识别出交通灯的位置，因而能够解决由人工识别所导致的效率低下，准确率低的问题。

下面结合附图对上述实施例进行进一步的优化和扩展。

图4是本申请实施例提供的一种基于点云的交通灯识别方法的流程图，如图4所示，在图2实施例的基础上，步骤S12包括步骤S21-S23.

S21、基于预设的第一模型从所述点云数据中分离出地面点云，得到非地面点云。

S22、基于预设的第二模型从所述非地面点云中分离出杆状物及其附属物的点云。

S23、基于预设的第三模型从所述杆状物及其附属物的点云中是识别出交通灯的点云。

示例的，图5是本申请实施例提供的一种点云识别的场景示意图，在图5中第一模型被具体为随机森林模型、第二模型为具体为语义分割模型、第三模型包括过滤模型。其中随机森林模型被训练用于从点云数据中分离出地面点云，语义分割模型被训练用于从非地面点云中识别出杆状物及其附属物的点云，过滤模型被训练用于从杆状物及其附属物的点云中识别出交通灯的点云，甚至还可以对交通灯的颜色进行识别。

具体的，在获得点云数据后先将点云数据输入随机森林模型，通过随机森林模型将地面点云从点云数据中分离出去，得到点云数据中的非地面点云。此时杆状物的点云和交通灯的点云包含在非地面点云中。进一步的，将非地面点云输入预设的语义分割模型中，使得语义分割模型从杆状物及其附属物的点云中分离出杆状物朝向地面的第一杆体的点云，以及杆状物上与第一杆体成第一角度的第二杆体的点云，然后将杆状物及其附属物的点云输入预设的过滤模型中，使得过滤模型识别出交通灯的的点云。

当然上述仅为示例说明，而不是对本申请的唯一限定。实际上本实施例中的第一模型、第二模型和第三模型可以不局限于随机森林模型、语义分割模型和过滤模型，还可以是其他模型。

图6是本申请实施例提供的一种交通灯识别装置的结构示意图，如图6所示，该装置40包括：

获取模块41，用于获取点云数据；

处理模块42，用于基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云；

第一确定模块43，用于基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量；

第二确定模块44，用于基于所述交通灯的方向向量对所述交通灯的点云进行框选，确定所述交通灯等框所在的位置。

在一种可能的设计中，所述第一确定模块43，包括：

第一确定子模块，用于基于所述第一杆体的点云确定所述第一杆体朝向地面的第一方向向量；

第二确定子模块，用于基于所述第二杆体的点云确定所述第二杆体背离所述第一杆体的第二方向向量；

第三确定子模块，用于基于所述第一方向向量和所述第二方向向量，确定所述交通灯的方向向量。

在一种可能的设计中，所述获取模块41，包括：

第一获取子模块，用于获取激光扫描仪扫描获得的激光点云数据。

本实施例提供的装置能够用于执行图2所示的方法，其执行方式和有益效果类似，在这里不再赘述。

图7是本申请实施例提供的一种交通灯识别装置的结构示意图，如图7所示，在图6实施例的基础上，处理模块42，包括：

第一处理子模块421，用于基于预设的第一模型从所述点云数据中分离出地面点云，得到非地面点云；

第二处理子模块422，用于基于预设的第二模型从所述非地面点云中分离出杆状物及其附属物的点云；

第三处理子模块423，用于基于预设的第三模型从所述杆状物及其附属物的点云中是识别出交通灯的点云。

在一种可能的设计中，所述第二处理子模块422，具体用于：

基于预设的第二模型从所述非地面点云中分离出杆状物朝向地面的第一杆体的点云，以及所述杆状物上与所述第一杆体成第一角度的第二杆体的点云。

在一种可能的设计中，所述第一模型包括随机森林模型，所述第二模型包括语义分割模型，所述第三模型包括过滤模型。

本实施例提供的装置能够用于执行图4所示的方法，其执行方式和有益效果类似，在这里不再赘述。

本申请实施例还提供一种计算机设备，包括：一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

本申请实施例还提供在一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述的方法。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种基于点云的交通灯识别方法，其特征在于，包括：

获取点云数据；

2.根据权利要求1所述的方法，其特征在于，所述基于预设模型从所述点云数据中识别获得杆状物的点云以及所述杆状物上附属的交通灯的点云，包括：

基于预设的第一模型从所述点云数据中分离出地面点云，得到非地面点云；

基于预设的第二模型从所述非地面点云中分离出杆状物及其附属物的点云；

基于预设的第三模型从所述杆状物及其附属物的点云中是识别出交通灯的点云。

3.根据权利要求2所述的方法，其特征在于，基于预设的第二模型从所述非地面点云中分离出杆状物，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述杆状物的点云确定所述杆状物的方向向量，并基于所述杆状物的方向向量确定所述交通灯的方向向量，包括：

基于所述第一杆体的点云确定所述第一杆体朝向地面的第一方向向量；

基于所述第二杆体的点云确定所述第二杆体背离所述第一杆体的第二方向向量；

基于所述第一方向向量和所述第二方向向量，确定所述交通灯的方向向量。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述第一模型包括随机森林模型，所述第二模型包括语义分割模型，所述第三模型包括过滤模型。

6.根据权利要求2-4中任一项所述的方法，其特征在于，所述获取点云数据，包括：

获取激光扫描仪扫描获得的激光点云数据。

7.一种交通灯识别装置，其特征在于，包括：

获取模块，用于获取点云数据；

8.根据权利要求7所述的装置，其特征在于，所述处理模块，包括：

第一处理子模块，用于基于预设的第一模型从所述点云数据中分离出地面点云，得到非地面点云；

第二处理子模块，用于基于预设的第二模型从所述非地面点云中分离出杆状物及其附属物的点云；

第三处理子模块，用于基于预设的第三模型从所述杆状物及其附属物的点云中是识别出交通灯的点云。

9.根据权利要求8所述的装置，其特征在于，所述第二处理子模块，具体用于：

10.根据权利要求9所述的装置，其特征在于，所述第一确定模块，包括：

11.根据权利要求8-10中任一项所述的装置，其特征在于，所述第一模型包括随机森林模型，所述第二模型包括语义分割模型，所述第三模型包括过滤模型。

12.根据权利要求8-10中任一项所述的装置，其特征在于，所述获取模块，包括：

13.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。