CN110175498B

CN110175498B - 向导航度量地图提供富信息的地图语义

Info

Publication number: CN110175498B
Application number: CN201910117753.3A
Authority: CN
Inventors: 刘翰思; F·白; 曾树青
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-02-20
Filing date: 2019-02-15
Publication date: 2023-07-07
Anticipated expiration: 2039-02-15
Also published as: US10671860B2; CN110175498A; DE102019104217A1; US20190258876A1

Abstract

一种操作车辆的系统和方法。该系统包括二维成像器、三维成像器和至少一个处理器。该二维成像器获得车辆周围环境的二维图像，其中环境包括对象。三维成像器获得环境的三维(3D)点云。至少一个处理器从2D图像识别对象并将对象的标识分配给3D点云的所选择的点。

Description

向导航度量地图提供富信息的地图语义

引言

本公开涉及自主或半自主车辆的系统和方法，其集成了车辆的环境周围的两个不同地图以辅助车辆的操作。

自主或半自主车辆包括各种传感器，其提供关于车辆环境周围的对象的多种形式的数据。一组数据可以用于提供环境的三维点云。另一组数据可以用于从二维图像执行环境的语义分割，允许车辆识别环境中的对象。这些不同的数据组通常单独用于自主驱动目的，但是不在三维空间中提供语义地图。因此，期望提供一种将从二维图像获得的数据与从三维点云获得的数据进行组合的方法，以生成车辆的环境的增强知识。

发明内容

在一个示例性实施例中，公开了一种操作车辆的方法。该方法包括：在处理器处获得车辆周围环境的二维(2D)图像，其中环境包括对象；在处理器处获得环境的三维(3D)点云；由处理器从2D图像中识别对象；以及由处理器将对象的标识分配给3D点云的所选择的点。

除了本文描述的特征中的一个或多个之外，该方法进一步包括从2D图像确定对象的边界框，并将边界框提供给3D点云，以便将边界分配给所选择的点。该方法进一步包括对2D图像执行语义分割，以对边界框内的对象进行分类，并将对象的分类提供给所选择的点。该方法进一步包括使用第一模块从3D点云的一个或多个点确定对象的模板，其中一个或多个点包括所选择的点；从第一模块发送模板的坐标到第二模块，其中第二模块确定一个或多个边界框；将包括坐标的边界框从第二模块发送到第一模块；并将边界框与第一模块处的所选择的点相关联。

从2D图像确定对象的标识进一步包括从车辆向远程处理器提供初始标识，以及从远程处理器接收对象的集体标识，其中集体标识是基于在远程处理器处从多个车辆接收的初始标识的标识。对于半动态对象，该方法确定半动态对象的状态。基于所选择点的标识来导航车辆。

在另一示例性实施例中，公开了一种用于操作车辆的系统。该系统包括二维成像器、三维成像器和至少一个处理器，该二维成像器被配置为获得围绕车辆的环境的二维图像，其中环境包括对象，该三维成像器被配置为获得环境的三维(3D)点云。该至少一个处理器被配置以从2D图像识别对象并将对象的标识分配给3D点云的所选择的点。

除了本文描述的特征中的一个或多个之外，该至少一个处理器进一步被配置为从2D图像确定对象的边界框，并将边界框提供给3D点云，以便于将边界框分配给所选择的点。该至少一个处理器进一步被配置以对2D图像执行语义分割以对边界框内的对象进行分类并将对象的分类提供给所选择的点。在实施例中，该至少一个处理器进一步包括第一处理器和第二处理器，第一处理器被配置为使用第一模块从3D点云中的一个或多个点确定对象的模板，其中一个或多个点包括所选择的点，第二处理器从2D图像确定边界框，其中第一处理器向第二处理器发送模板的坐标，第二处理器向第一处理器发送包括该坐标的边界框，并且第一处理器将所选择的点分配给边界框。

在一个实施例中，至少一个处理器被配置为通过从车辆向远程处理器提供初始标识并从远程处理器接收对象的集合标识来从2D图像确定对象的集合标识，其中集合标识是基于在远程处理器处从多个车辆接收的初始标识的标识。对于半动态对象，该至少一个处理器进一步被配置为确定半动态对象的状态。该至少一个处理器被配置以基于所选择的点的标识来导航车辆。

在又一示例性实施例中，公开了一种车辆。该车辆包括二维成像器、三维成像器和至少一个处理器，该二维成像器被配置为获得围绕车辆的环境的二维图像，其中环境包括对象，该三维成像器被配置为获得环境的三维(3D)点云。该至少一个处理器被配置以从2D图像识别对象，将对象的标识分配给3D点云的所选择的点，并且基于所选择的点的标识来导航车辆。

除了本文描述的特征中的一个或多个之外，该至少一个处理器进一步被配置为从2D图像确定对象的边界框，并将边界框提供给3D点云，以便于将边界框分配给所选择的点。

该至少一个处理器进一步被配置以对2D图像执行语义分割以对边界框内的对象进行分类并将对象的分类提供给所选择的点。在实施例中，该至少一个处理器进一步包括第一处理器和第二处理器，第一处理器被配置为使用第一模块从3D点云中的一个或多个点确定对象的模板，其中一个或多个点包括所选择的点，第二处理器从2D图像确定边界框，其中第一处理器向第二处理器发送模板的坐标，第二处理器向第一处理器发送包括该坐标的边界框，并且第一处理器将所选择的点分配给边界框。

在一个实施例中，至少一个处理器被配置为通过从车辆向远程处理器提供初始标识并从远程处理器接收对象的集合标识来从2D图像确定对象的集合标识，其中集合标识是基于在远程处理器处从多个车辆接收的初始标识的标识。对于作为半动态对象的对象，该至少一个处理器被配置为确定该半动态对象的状态。

从以下结合附图的详细描述中，本公开的上述特征和优点以及其它特征和优点是显而易见的。

附图说明

其他特征、优点以及细节仅通过示例出现在以下详细描述中，该详细描述参考附图，其中：

图1示出了包括根据各种实施例的相关联的轨迹规划系统的车辆；

图2示出概述用于获得具有语义分类的持久三维点云的过程的示意图；

图3示出了用于从数码摄像机图像确定目标对象的示意图；

图4示出了使用立体摄像机确定三维点云的方法；

图5示意性地示出了用于将包括边界框和语义分类的二维标识组合到三维点云以将区域的语义地图扩展到三维的系统；

图6示出了说明将从二维图像确定的数据地图集成到三维点云的数据地图的方法的流程图；

图7示出了用于使用来自各种车辆的对象的初始标识来获得对象的协同标识的处理系统；和

图8示出了说明用于确定诸如交通灯之类的半动态对象的当前状态的方法的流程图。

具体实施方式

以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解的是，在所有附图中，相应的附图标记表示相同或相应的部分和特征。

根据示例性实施例，图1示出了根据各种实施例的车辆10，其具有在100处所描绘的相关联的轨迹规划系统。通常，轨迹规划系统100确定用于车辆100的自动驾驶的轨迹规划。车辆10通常包括底盘12、车身14、前轮16和后轮18。车体14布置在底盘12上并且基本上包围车辆10的部件。车体14和底盘12可以共同形成框架。轮16-18各自在车体14的相应角附近旋转地耦合到底盘12。

在各种实施例中，车辆10是自主车辆，并且轨迹规划系统100被结合到自主车辆10(后文称为自主车辆10)中。自主车辆10是例如自动控制以将乘客从一个位置运送到另一位置的车辆。车辆10在示出的实施例中被描述为客车，但是应当理解的是，也可以使用任何其他交通工具，包括摩托车、卡车、运动型多功能车辆(SUV)、休闲车(RV)、船舶、飞机等。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高自动化”，指的是由动态驾驶任务的所有方面的自动驾驶系统的驾驶模式特定性能，即使人类驾驶员没有适当地响应干预的请求。五级系统表示“完全自动化”，指的是在可以由人类驾驶员管理的所有道路和环境条件下，动态驾驶任务的所有方面的自动驾驶系统的完全时间性能。

如图所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动器系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电动机的电机和/或燃料电池推进系统。变速器系统22被配置成根据可选择的速比将动力从推进系统20传输到车轮16和18。根据各种实施例，变速器系统22可以包括有级自动变速器、无级变速器或其他适当的变速器。制动器系统26被配置成向车轮16和18提供制动扭矩。在各种实施例中，制动器系统26可以包括摩擦制动器、电线制动器、诸如电机的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮16和18的位置。虽然为了说明的目的被描绘为包括转向盘，但是在本公开的范围内预期的一些实施例中，转向系统24可以不包括转向盘。

传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测设备40a-40n。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学摄像机、热摄像机、超声传感器和/或其他传感器。摄像机可以包括彼此间隔所选择的距离的两个或多个数码摄像机，其中两个或多个数码摄像机用于获得周围环境的立体图像，以便于获得三维图像。致动器系统30包括控制一个或多个车辆特征的一个或多个致动器设备42a-42n，例如但不限于推进系统20、变速器系统22、转向系统24和制动器系统26。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征，诸如但不限于门、行李箱和诸如空气、音乐、照明等(未编号)的舱室特征。

控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或可商购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器当中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、宏处理器、它们的任何组合或或者通常用于执行指令的任何设备。例如，计算机可读存储设备或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是持久或非易失性存储器，其可以用于在处理器44断电时存储各种操作变量。计算机可读存储设备或介质46可以使用许多已知存储设备中的任何一个来实施，诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储由控制器34在控制自主车辆10中使用的数据(其中一些代表可执行指令)的任何其他电、磁、光或组合存储器设备。

指令可以包括一个或多个分离的程序，程序中的每一个包括用于实施逻辑功能的可执行指令的有序列表。这些指令在由处理器44执行时接收和处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器系统30生成控制信号，以基于逻辑、计算、方法和/或算法来自动控制自主车辆10的部件。尽管在图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信，并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制自主车辆10的特征。

在各种实施例中，控制器34的一个或多个指令被实现在轨迹规划系统100中，并且当由处理器44执行时，生成解决环境的运动约束和动态约束的轨迹输出。例如，指令接收作为输入过程传感器和地图数据。指令执行具有定制成本函数的基于图形的方法，以处理城市道路和公路两者中的不同道路场景。

通信系统36被配置为向和从其他实体48无线通信信息，诸如但不限于其他车辆(V2V通信)、基础设施(V2I通信)、远程系统和/或个人设备(关于图2更详细地描述)。在示例性实施例中，通信系统36是被配置为使用IEEE 802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，诸如专用程离通信(dDSRC)信道的附加或替换的通信方法也被认为在本公开的范围内。DSRC信道指的是专门设计用于汽车使用的单向或双向短程到中程无线通信信道和相应的一组协议和标准。

轨迹规划系统100包括用于基于车辆环境内的对象的三维确定来导航车辆10的处理器。轨迹规划系统包括用于获得环境的立体图像的第一摄像机系统。第一摄像机系统能够产生周围环境的三维点云。三维点云的点的位置受环境中对象的影响。第一摄像机系统或第二摄像机系统可以用于获得环境的二维图像。三维点和二维图像可以被提供给一个或多个处理器。一个或多个处理器可以对二维图像执行操作以从二维图像获得环境中的对象的边界框，并且对二维图像执行语义分割以识别和分类对象。一个或多个处理器还可以识别三维点云中的对象。边界框可以与三维点云中的点集群组合以将点分组为单个实体。语义分割还可以与这些分组点相关联，以将语义分类扩展到三维。

图2示出概述用于获得具有语义分类的持久三维点云的过程的示意图200。图200包括两个分支。第一分支(包括框202、204、206和208)包括用于检测和分类从车辆的数码摄像机获得的二维图像中的对象的方法。第二支路(包括框210、212、214和216)包括用于获得周围环境的三维点云的方法。点云中的点的坐标由第二分支的环境中的对象或目标的位置确定。

在第一分支中，框202包括被提供来训练卷积神经网络(CNN)的训练组图像。一旦被训练，在框204中，CNN可以被用于在车辆处获得的二维图像，以执行从二维图像的特征提取，以便于识别二维图像中的对象。使用在框204处确定的特征，可以通过确定图像中的对象的边界框，在框206处执行对象检测。在框204处确定的特征还可以用于在框208处执行数字图像的语义分割，以便于对2-D数字图像中的对象进行分类。

在第二分支中，在框210中，从各种传感器接收3D点云，这些传感器可以包括数码摄像机、布置用于立体成像的一对数码摄像机、激光雷达、雷达等。传感器进一步可以提供视频数据或时间上分离的图像。在框210中，选择点云的区域。在框212中，处理器从所选择的点云提取各种特征。在框214中，将所提取的特征与对象的模板进行比较，以便于将所提取的特征与所选择的模板相匹配。例如，可以从3D点云确定形成八边形形状的所选择的一组点，并且八边形形状可以与STOP标志的模板相匹配，以便于识别标记。在框216中，执行单应性计算，其中所识别的对象可以从任何选择的视角观看。识别对象中的点通常具有三个相关联坐标(x，y，z)。

在框220处，分别从框206和208获得的对象检测和语义分割可以与点云的点(从框216)组合，以便在三维中提供对象的标识和分类。该标识的结果可以被提供给远程处理器，诸如远程服务器或服务器云230。可替换地，远程处理器230可以用于帮助二维地图和三维地图的组合。此外，远程处理器230可以从多个车辆获得数据，以便于组合该数据并基于该多个数据提供协同输出。协同输出可以帮助识别对象或帮助分类或边界框确定。

图3示出了用于从数码摄像机图像确定目标对象的示意图300。从数码摄像机接收数字图像302。数字图像302根据N×N个网格被分割。通过从数字图像302的左上角开始通过数字图像302绘制上下文区域304来扫描数字图像302。上下文区域304以光栅图案从数字图像302的左向右和从顶部向底部扫描，直到处理完整个数字图像302。由上下文区域304包围的像素被发送到卷积神经网络306，卷积神经网络306为上下文区域304的每个位置从上下文区域304提取一组特征地图308。在框310处，特征地图308可以用于确定对象的边界框。每个边界框由(x，y，h，wc)的5×1张量参数化，其中(x，y)表示边界框的像素坐标，(h，w)表示边界框的高度和宽度，以及c是置信度分数。置信度分数表示在框310处目标车辆或目标车辆的一部分在边界框内被找到的可能性如何。因此，处理器输出具有维度N×N×(M×5+C)的2-D图像的输出张量，其中M是边界框的数目，C是相应的概率。在框312处，特征地图还可以用于执行二维图像中的对象的语义分割。语义分割根据诸如道路、车辆、交通灯等分离的类别对图像的像素进行分组。语义分割使得能够对图像中的对象进行分类，并且还将对象的分类与相关的边界框相关联。在一个实施例中，卷积神经网络(CNN)同时预测对象的边界框310及其类别概率312。

边界框310和类概率312可以被提供给远程处理器或服务器用于协同处理。协同处理允许使用来自多个车辆的观察来标识对象。每个车辆在其经过该区域时获得所选择的区域的图像。多个观察可以用于获得在该区域中的对象的一致性观察或协同标识。另外，协同处理减少了由单个车辆感测的误差。这种协同处理将参考图7进一步讨论。参见图3，由于区域中动态对象的暂时性，这种协同标识通常识别区域中的静态对象。因此，远程服务器可以提供区域中静态对象的地图，从而提供区分区域中静态对象和动态对象的能力。

图4示出了使用立体摄像机400确定三维点云的方法。如图4中示出的，立体摄像机的左透镜O_L和右透镜O_R的估计位置可以被看作是来自它们各自的透镜位置O_L和O_R的通过各自的关键点X_L和X_R的两条射线。真实世界点X的位置通过由关键点X_L和X_R表示的两条射线的交点给出。通过对检测到的关键点应用三角测量，可以获得立体图像对的3D点云信息。使用极线几何形状，X_L和X_R是真实世界点X的图像中的两个相应关键点。O_L和O_R分别代表立体摄像机的左透镜和右透镜的位置。两个外延极e_L和e_R是原点O_L、O_R和它们各自的图像平面402和404之间的线段之间的交点。仅从左侧视图(在图像平面402处)，真实世界点X总是位于射线O_LX_L上。射线O_LX_L也通过点X₁、X₂和X₃，使得仅使用左侧视图难以确定X的精确三维位置。然而，右侧视图在右图像平面404中提供了相应的关键点X_R，使得可以从X_L和X_R确定点X的三维位置。

图5示意性地示出了用于将包括边界框和语义分类的二维标识组合到三维点云以将区域的语义地图扩展到三维的系统500。系统500包括用于对三维点云执行操作的第一模块502和用于对二维图像执行操作的第二模块504。在各种实施例中，第一模块502在第一处理器上执行，第二模块504在第二处理器上执行。第一处理器和第二处理器可以经由一个或多个套接字接口进行通信，使得第一处理器和第二处理器可以通过TCP协议进行通信。第二处理器可以被设置为服务器，以及第一处理器被设置为客户机。用于处理三维点云的操作通常运行得比用于处理二维图像的操作慢，从而允许第二处理器周期性地在第一处理器上检查，以便于确定第一处理器和第二处理器在同一图像或图像组上操作。在一个实施例中，第二处理器可以是车辆的处理器，并且第一处理器可以是远程处理器，诸如云服务器的处理器。可替换地，第一处理器可以是车辆的处理器，以及第二处理器可以是远程处理器。

第一模块502从立体摄像机或其它三维成像器接收三维点云。如图5中示出的，第一模块获得多个时间间隔的帧，诸如视频或电影的帧，并且确定多个帧中的每一个帧内的3D点云。对于所选择的时间步骤，第一模块502将先前帧506内的点与当前帧508内的点进行比较。

当前帧508进一步经由箭头509提供给第二模块504。第二模块504确定当前帧508中的对象的边界框，并且对当前帧508执行语义分割，以便于提供当前帧508内的对象的分类。

返回到第一模块502，第一模块将与先前帧506的点与当前帧508内的点进行比较，以便于确定点或点集群的共同移动。这种通常移动的点可以用于确定3D点云内的对象的3-D模板。帧510表示来自其他车辆的帧。如由帧510示出的，来自不同车辆的多个当前和先前帧可以协同使用以确定点集群。这种与其他车辆的协作降低了系统误差。一旦识别出点集群，就可以将该集群的代表性坐标512提供给第二模块504。第二模块504接收代表性坐标512并向第一模块504提供边界框514，边界框514包括代表性坐标或与代表性坐标相关联。第一模块502接收边界框514并将边界框514应用于3D点云。结果，点515的集群用三维边界框517标识、与三维边界框517相关联或分配给三维边界框517。

第二模块504还可以基于来自第一模块502的请求向第一模块502提供由语义分割确定的类预测。来自第一模块502的请求可以包括集群的代表性坐标512。

图6示出了流程图600，该流程图600示出了将从二维图像确定的数据地图集成到三维点云的数据地图的方法。在框602中，第一模块识别三维云的一个或多个点的集群。在一个实施例中，可以用三维模板来识别集群。第一模块可以在第一处理器上操作。在框604中，从第一模块向第二模块提供集群的代表性坐标。第二模块可以在第二处理器上操作。第二模块计算和/或存储与来自二维图像的对象有关的边界框和语义类。通常，对象对应于3-D点云中的点集群。在框606中，第二模块向第一模块发送包括代表坐标或与代表坐标相关联的边界框。在框608中，第一模块将边界框关联或分配给点集群的一个或多个所选择的点，以便于将边界框扩展到3-D点云的点。语义分类可以类似地扩展到3-D点云的点。

图7示出了用于使用来自各种车辆的对象的初始标识来获得对象的协同标识的处理系统700。远程处理器(230，图2)被示出为与车辆702、704和706通信。每个车辆向远程处理器203提供数据。为了说明的目的，车辆702提供表示由车辆702记录和分类的对象(例如STOP标记)的初始标识的数据O_i。车辆702和704类似地提供数据O_j和数据O_k。远程处理器230接收数据O_i、O_j和O_k，并使用该数据确定对象的协同标识

协同标识/>

可以被提供给车辆702、704和706。使用多个数据有助于减少识别对象时的系统误差。从来自车辆702的协同标识/>

和初始标识O_i，可以确定用于提供与协同数据一致的数据的车辆702的信誉

然后可以在对象的未来协同确定期间考虑车辆702的信誉。协同标识可以是边界框的协同确定、语义类的协同确定、点集群的协同确定等。

应当理解的是，任何位置将具有在长时间段内存在的静态对象或长期对象。这样的对象可以包括交通标记、房屋和建筑物、路缘石、树木等。该位置还将具有动态对象，诸如车辆、行人，它们仅在短时间内处于该位置。显然，图7中的协同标识的方法最好用于静态对象，因为动态对象在第一车辆通过该位置的第一时间和第二车辆通过该位置的第二时间之间变化。

环境还可以具有半动态对象，诸如交通灯，其在位置处的存在是长期的并且可以被认为是永久的，但是其状态可以被认为是临时的，因为交通灯在预定的时间表上在红色、绿色和黄色之间连续切换。

图8示出了说明用于确定诸如交通灯之类的半动态对象的当前状态的方法的流程图800。该方法使用边界框，该边界框使用参考图3讨论的方法确定。可以在交通灯的各种圆形指示灯周围绘制一个边界框。颜色阈值可以应用于边界框。颜色阈值允许处理器对由颜色阈值定义的边界框内的轮廓的数目进行计数。因此，当红光接通时，光的红色将指示可由处理器或网络识别的红色轮廓。

在流程图800中，在框802处接收图像，并且在框804中围绕交通灯确定边界框。从框804，该方法可以前进到框806或框810。为了说明的目的，我们前进到框806，框806对交通灯的边界框内的多个红色轮廓(由红色的阈值定义的轮廓)进行计数。从框806，该方法前进到框808。在框808处，处理器基于已经计数了多少红色轮廓做出决定。如果已经计数了一个或多个红色轮廓(R>＝1)，则在框820处，处理器前进到指示交通灯正在显示红光。如果红色轮廓的数目小于1(R<1)，则方法前进到框810。在框810处，计数多个绿色轮廓(由绿色的阈值定义的轮廓)。在框812处，处理器基于所计数的绿色轮廓的数目做出决定。如果绿色轮廓的数目大于或等于1(G>＝1)，则该方法在框824处指示绿色光。然而，如果绿色轮廓的数目小于1(因此G<1且R<1)，则处理器断定交通灯是黄色的(在框824处)或处理器不确定交通灯的颜色。

返回到框804，此时我们采取到框810的路径。此时通过流程图的逻辑进程由虚线表示。在框810处，处理器对交通灯的边界框内的多个绿色轮廓进行计数。在框812处，处理器基于所计数的绿色轮廓的数目做出决定。如果绿色轮廓的数量是一个或多个(G>＝1)，则处理器在框822处确定交通灯当前正在显示绿色光。否则，如果绿色轮廓的数目小于1(G<1)，则处理器前进到框806。在框806处，处理器计数多个红色轮廓。在框808处，处理器基于所计数的红色轮廓的数目做出决定。如果红色轮廓的数目大于或等于1(R>＝1)，则处理器在框820处确定交通灯显示红色。然而，如果红色轮廓的数目小于1(因此R<1且G<1)，则处理器断定交通灯是黄色的(在框824处)，或者处理器不确定交通灯的颜色。

一旦确定了交通灯颜色，就可以将该信息提供给远程处理器230。提供给远程处理器230的信息可以包括光的定时周期，车辆的位置和观察时间，以及边界框和光颜色的置信水平。

虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员应当理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替换其元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims

1.一种操作车辆的方法，包括：

在处理器处获得所述车辆周围环境的二维图像，其中所述环境包括对象；

在所述处理器处获得所述环境的三维点云；

由所述处理器从所述二维图像识别所述对象；和

由所述处理器将所述对象的标识分配给所述三维点云的所选择的点；

从所述二维图像确定所述对象的边界框；

向所述三维点云提供所述边界框，以便于将所述边界框分配给所述所选择的点；

对所述二维图像执行语义分割，以对所述边界框内的所述对象进行分类；和

将所述对象的所述分类提供给所述所选择的点。

2.如权利要求1所述的方法，进一步包括：

使用第一模块从所述三维点云的一个或多个点确定所述对象的模板，其中所述一个或多个点包括所述所选择的点；

从所述第一模块向第二模块发送所述模板的坐标，其中所述第二模块确定一个或多个边界框；

从所述第二模块向所述第一模块发送包括所述坐标的边界框；和

在所述第一模块处将所述边界框与所述所选择的点相关联。

3.如权利要求1所述的方法，其中，从所述二维图像确定所述对象的所述标识进一步包括：从所述车辆向远程处理器提供初始标识，并且从所述远程处理器接收所述对象的集合标识，其中，所述集合标识是基于在所述远程处理器处从多个车辆接收的初始标识的标识。

4.如权利要求1所述的方法，其中所述对象是半动态对象，进一步包括确定所述半动态对象的状态。

5.一种用于操作车辆的系统，包括：

二维成像器，所述二维成像器被配置以获得所述车辆周围的环境的二维图像，其中所述环境包括对象；

三维成像器，所述三维成像器被配置以获得所述环境的三维点云；和

至少一个处理器，所述至少一个处理器配置以：

从所述二维图像识别所述对象，并且

将所述对象的标识分配给所述三维点云的所选择的点；

从所述二维图像确定所述对象的边界框；

对所述二维图像执行语义分割，以对所述边界框内的所述对象进行分类；并且

将所述对象的所述分类提供给所述所选择的点。

6.如权利要求5所述的系统，其中所述至少一个处理器进一步包括：

第一处理器，所述第一处理器被配置以使用第一模块从所述三维点云的一个或多个点确定所述对象的模板，其中所述一个或多个点包括所述所选择的点；以及

第二处理器，所述第二处理器从所述二维图像确定边界框；

其中，所述第一处理器向所述第二处理器发送所述模板的坐标，所述第二处理器向所述第一处理器发送包括所述坐标的边界框，并且所述第一处理器向所述边界框分配所述所选择的点。

7.如权利要求5所述的系统，其中所述至少一个处理器进一步被配置以通过从所述车辆向远程处理器提供初始标识并从所述远程处理器接收所述对象的集合标识来从所述二维图像确定所述对象的集合标识，其中所述集合标识是基于在所述远程处理器处从多个车辆接收的初始标识的标识。

8.如权利要求5所述的系统，其中所述对象是半动态对象，所述至少一个处理器进一步被配置以确定所述半动态对象的状态。