CN108693876A - 目标跟踪 - Google Patents

Abstract

提供了用于跟踪目标的方法和系统。该系统包括数据接收模块，该数据接收模块接收包括目标的二维成像数据以及关联地面高度和位置的高度图数据。二维到三维变换模块基于二维成像数据和高度图数据确定目标在三维空间中的位置。跟踪模块使用目标的位置跟踪目标。

Description

目标跟踪

引言

本公开总体涉及自动车辆，并且更具体地涉及用于目标跟踪的系统和方法，并且又更具体地涉及自主车辆控制中的目标跟踪。

背景技术

自主车辆是一种能够感测其环境并以很少的用户输入或不需要用户输入进行导航的车辆。自主车辆使用诸如雷达、激光雷达、图像传感器等感测设备来感测其环境。自主车辆系统进一步使用来自包括全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驱动系统的定位系统的信息来导航车辆。

已经将车辆自动化分类为从零到五的数字等级，其中零级相当于全手动控制的无自动化，五级相当于无人为控制的全自动化。诸如巡航控制、自适应巡航控制和停车辅助系统等的各种自动驾驶员辅助系统对应于较低的自动化等级，而真正的“无人驾驶”车辆对应于较高的自动化等级。

作为自主车辆的控制的一部分，例如识别和跟踪目标以允许基于此的车辆制动控制、车辆转向控制和车辆加速控制。

因此，希望能够准确地跟踪目标。另外，希望能够准确地确定周围目标的数量、大小和尺寸。此外，根据本发明的随后的详细描述和所附权利要求书，结合附图和本发明的背景，本发明的其他期望的特征和特性将变得显而易见。

发明内容

提供了一种用于跟踪目标的系统。该系统包括接收二维成像数据的数据接收模块，该二维成像数据包括关联地面高度和位置的目标和高度图数据。二维到三维变换模块基于二维成像数据和高度图数据确定目标在三维空间中的位置。跟踪模块使用目标的位置跟踪目标。

在实施例中，二维到三维变换模块将二维成像数据的目标投影到高度图数据中以确定目标的地面交叉点。基于地面交叉点以及高度图数据中地面高度和位置的相关性，二维到三维变换模块确定目标的位置。

在实施例中，从摄像头接收二维成像数据。数据接收模块接收摄像头的真实世界位置。二维到三维变换模块基于摄像头的真实世界位置将摄像头定位在高度图数据中，并将二维成像数据的目标投影到的高度图数据中，根据高度图数据中的摄像头位置来确定目标在三维空间中的位置。

在实施例中，从摄像头接收二维成像数据。数据接收模块接收包括摄像头姿态数据的校准数据。二维到三维变换模块确定高度图数据中的摄像头姿态，并将二维成像数据的目标投影到的高度图数据中，根据高度图数据中的摄像头姿态来确定目标在三维空间中的位置。

在实施例中，目标识别模块划分目标以获得二维目标数据。二维到三维变换模块基于二维成像数据、高度图数据和二维目标数据确定目标在三维空间中的位置。

在实施例中，目标识别模块确定边界框作为二维目标数据。

在实施例中，二维到三维变换模块将边界框的尽头变换为高度图数据中的地面交叉点，来确定目标在三维空间中的位置。

在实施例中，视觉分类模块运行神经网络来对目标进行分类并且基于分类确定目标的尺寸。跟踪模块使用目标的位置和目标的尺寸来跟踪目标。

在实施例中，目标识别模块划分目标以获得边界框。视觉分类模块使用神经网络对边界框进行边界框回归以获得回归边界框。二维到三维变换模块基于二维成像数据、高度图数据和回归边界框确定目标在三维空间中的位置。

在实施例中，跟踪模块使用目标的位置来跟踪目标并且相应地输出跟踪数据。车辆控制模块部分地基于跟踪数据执行自主车辆控制。

在实施例中，数据接收模块接收包括另一目标的三维成像数据。跟踪模块基于二维成像数据跟踪目标，并且基于三维成像数据跟踪另一目标。

提供了一种自主车辆。一种传感器系统包括用于获得二维成像数据的摄像头。数据接收模块接收包括目标的二维成像数据并接收关联地面高度和位置的高度图数据。二维到三维变换模块基于二维成像数据、高度图数据确定目标在三维空间中的位置。跟踪模块使用目标的位置跟踪目标并且相应地输出跟踪数据。自主车辆控制模块部分地基于跟踪数据执行自主车辆控制。

在实施例中，传感器系统包括定位系统，其包括配置为提供GPS数据的全球定位系统(GPS)接收器，用于估计自主车辆的位置。数据接收模块接收包括空间上与自主车辆和摄像头相关的摄像头姿态数据的校准数据。二维到三维变换模块基于自主车辆的位置和摄像头姿态数据来确定高度图数据中的摄像头姿态。二维到三维变换模块将二维成像数据的目标射线跟踪到高度图数据中，根据高度图数据中的摄像头姿态来确定目标在三维空间中的位置。

在实施例中，二维到三维变换模块在二维成像数据中将目标的高度变换成高度图数据中的地面交叉点，来确定目标在三维空间中的位置。

在实施例中，目标识别模块划分目标以获得边界框。视觉分类模块配置为使用神经网络对边界框进行边界框回归以获得回归边界框。二维到三维变换模块基于二维成像数据、高度图数据和回归边界框确定目标在三维空间中的位置。

在实施例中，二维到三维变换模块将边界框的尽头变换为高度图数据中的地面交叉点，来确定目标在三维空间中的位置。

提供了一种跟踪目标的方法。该方法包括经由处理器接收包括目标的二维成像数据并接收关联地面高度和真实世界位置的高度图数据。该方法包括基于二维成像数据和高度图数据经由处理器确定三维空间中的目标的真实世界位置。该方法包括经由处理器使用目标的位置跟踪目标。

在实施例中，跟踪步骤包括提供输出跟踪数据，并且该方法包括部分基于跟踪数据来执行自主车辆控制。

在实施例中，该方法包括接收包括用于获得二维成像数据的摄像头的自主车辆的真实世界位置。该方法包括经由处理器接收包括空间上与自主车辆和摄像头相关的摄像头姿态数据的校准数据。该方法包括经由处理器基于车辆的位置和摄像头姿态数据来确定高度图数据中的摄像头姿态。该方法包括将二维成像数据的目标射线跟踪到高度图数据中，根据高度图数据中的摄像头姿态来确定目标在三维空间中的位置。

在实施例中，该方法包括经由处理器基于二维成像数据中的目标确定高度图数据中的地面交叉点，来确定目标在三维空间中的位置。

附图说明

下面将结合以下附图描述本发明，其中相同的附图标记表示相同的元件，并且

图1是示出了根据各种实施例的具有目标跟踪系统的自主车辆的功能框图；

图2是示出了根据各种实施例的具有图1的一个或多个自主车辆的运输系统的功能框图；

图3是示出了根据各种实施例的包括自主车辆的目标跟踪系统的自主驾驶系统的数据流图；

图4是根据各种实施例的自主车辆的目标跟踪系统的模块和其他实体以及它们之间的数据流的图；

图5是示出了根据各种实施例的用于基于目标跟踪来控制自主车辆的控制方法的流程图；并且

图6是示出了根据各种实施例的用于识别的目标的二维到三维变换处理的流程图。

具体实施方式

以下详细描述本质上仅仅是示例性的，并不旨在限制应用和用途。此外，不旨在受到在前述技术领域、背景技术、简要发明内容或以下具体实施方式中呈现的任何表达或暗示的理论的束缚。如本文所用，术语“模块”是指单独或为任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器设备，包括但不限于：专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或集群的)和存储器、组合逻辑电路，和/或提供所述功能的其他合适的部件。

本文可以根据功能和/或逻辑块部件以及各种处理步骤来描述本公开的实施例。应当理解，这些块部件可以由配置为执行特定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可以采用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备控制下执行各种功能。另外，本领域技术人员将会理解，可以结合任何数量的系统来实践本公开的实施例，并且本文所述的系统仅仅是本公开的示例性实施例。

为了简洁起见，与系统(和系统的单独操作部件)的信号处理、数据传输、信令、控制和其他功能方面相关的常规技术可能在此不再详细描述。此外，本文包含的各个附图中示出的连接线旨在表示各个元件之间的示例功能关系和/或物理耦接。应该注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。

参考图1，根据各种实施例，总体以10示出的目标跟踪系统与车辆1010相关联。通常，目标跟踪系统10识别三维中的目标或二维成像数据，基于二维成像数据改善目标的尺寸大小、位置和/或数量，并输出表示目标的尺寸和位置的三维数据。目标跟踪系统10基于其智能地控制车辆1010。

如图1中所示，车辆1010通常包括底盘1012、车身1014、前轮1016，以及后轮1018。车身1014布置在底盘1012上并且基本上包围车辆1010的部件。车身1014和底盘1012可以共同形成框架。车轮1016-1018各自在车身1014的相应角附近旋转地耦接到底盘1012。

在各种实施例中，车辆1010是自主车辆并且将目标跟踪系统10并入自主车辆1010中(在下文中称为自主车辆1010)。例如，自主车辆1010是被自动控制来将乘客从一个位置运送到另一个位置的车辆。在所示实施例中将车辆1010描绘为轿车，但是应该理解也可以使用包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海洋船只、飞行器等的任何其他车辆。在示例性实施例中，自主车辆1010是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，指的是自动驾驶系统即使在驾驶员对干预要求没有做出合适的响应的情况下的对动态驾驶任务的所有方面的驾驶模式特定性能。五级系统表示“全自动化”，指的是自动驾驶系统在驾驶员可以完成的所有道路和环境条件下的对动态驾驶任务的所有方面的全时性能。

如图所示，自主车辆1010通常包括推进系统1020、传动系统1022、转向系统1024、制动系统1026、传感器系统1028、致动器系统1030、至少一个数据存储设备1032、至少一个控制器1034，以及通信系统1036。在各种实施例中，推进系统1020可以包括内燃机，诸如牵引电机的电动机和/或燃料电池推进系统。传动系统1022配置成根据可选择的速度比将来自推进系统1020的动力传输到车轮1016-1018。根据各种实施例，传动系统1022可以包括步进比自动变速器、无级变速器或其他合适的变速器。制动系统1026配置为向车轮1016-1018提供制动转矩。在各种实施例中，制动系统1026可以包括摩擦制动器、线控制动、再生制动系统(诸如电动机)，和/或其他合适的制动系统。转向系统1024影响车轮1016-1018的位置。虽然为了说明的目的描绘为包括方向盘，但是在本公开的范围内设想的一些实施例中，转向系统1024可以不包括方向盘。

传感器系统1028包括感测自主车辆10的外部环境和/或内部环境的可观测状况的一个或多个感测设备1040a-40n。感测设备1040a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学摄像头、热像仪、超声波传感器和/或其他传感器。致动器系统1030包括控制一个或多个车辆特征(诸如但不限于推进系统20、传动系统22、转向系统24和制动系统26)的一个或多个致动器设备42a-42n。在各种实施例中，车辆特征可以进一步包括内部和/或外部车辆特征(诸如但不限于门、后备箱)以及诸如空气、音乐、照明等(未标号)的客舱特征。

通信系统1036配置为与其他实体1048无线地通信信息，诸如但不限于其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人设备(关于图2更详细地描述)。在示例性实施例中，通信系统1036是配置为使用IEEE802.11标准或通过使用蜂窝数据通信经由无线局域网(WLAN)进行通信的无线通信系统。然而，诸如专用短程通信(DSRC)信道的附加或替代的通信方法也考虑在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短距到中距无线通信信道，以及相应的一套协议和标准。

数据存储设备1032存储用于自动控制自主车辆1010的数据。在各种实施例中，数据存储设备1032存储可导航环境的定义图。在各种实施例中，定义图可以由远程系统预定义并且从远程系统获得(关于图2进一步详细描述)。例如，定义图可以由远程系统组合并且通信到(以无线方式和/或有线方式)自主车辆1010并且存储在数据存储设备32中。可以理解的是，数据存储设备1032可以是控制器1034的一部分、与控制器1034分离，或者是控制器1034的一部分和单独系统的一部分。

控制器1034包括至少一个处理器1044和计算机可读存储设备或介质1046。处理器1044可以是任何定制的或商业可购的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器1034相关联的若干处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组形式)、宏处理器、它们的任何组合，或者通常用于执行指令的任何设备。例如，计算机可读存储设备或介质1046可以包括在只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是可用于在处理器1044断电时存储各种操作变量的永久性或非易失性存储器。计算机可读存储设备或介质1046可以使用许多已知存储设备中的任意来实现，诸如PROM(可编程只读存储器)、EPROM(电可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存，或者任何其他能够存储数据(其中一些数据代表由控制器1034用于控制自主车辆1010的可执行指令)的电、磁、光或组合存储设备。

指令可以包括一个或多个单独程序，每个程序包含用于实现逻辑功能的可执行指令的有序列表。这些指令在由处理器1034执行时接收并处理来自传感器系统1028的信号，执行用于自动控制自主车辆1010的部件的逻辑、计算、方法和/或算法，并且给致动器系统1030产生控制信号来基于逻辑、计算、方法和/或算法自动控制自主车辆1010的部件。尽管在图1中仅示出了一个控制器1034，自主车辆1010的实施例可以包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制自主车辆1010的特征的任何数量的控制器1034。

在各种实施例中，控制器1034的一个或多个指令在目标跟踪系统10中实施，并且当由处理器1044执行时，实现用于跟踪目标的如关于图4描述的模块和关于图5和图6描述的方法步骤。

现在参考图2，在各种实施例中，关于图1描述的自主车辆1010可以适用于在特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或班车系统的情况下使用或可以仅由远程系统进行管理。例如，自主车辆1010可以与基于远程运输系统的自主车辆相关联。图2示出了总体上以1050示出的操作环境的示例性实施例，其包括基于远程运输系统1052的自主车辆，该系统与如关于图1描述的一个或多个自主车辆10a-10n相关联。在各种实施例中，操作环境1050进一步包括经由通信网络1056与自主车辆1010和/或远程运输系统1052通信的一个或多个用户设备1054。

通信网络1056根据需要在由操作环境1050支持的设备、系统和部件之间(例如，经由有形通信链路和/或无线通信链路)支持通信。例如，通信网络1056可以包括无线载波系统1060，诸如包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)，以及任何将无线载波系统1060与陆地通信系统连接起来所需的其他网络部件的蜂窝电话系统。每个蜂窝塔包括发送和接收天线以及基站，来自不同蜂窝塔的基站直接或经由中间设备(诸如基站控制器)连接到MSC。无线载波系统1060可以实现任何合适的通信技术，包括例如诸如CDMA(例如CDMA2000)、LTE(例如，4GLTE或5GLTE)、GSM/GPRS的数字技术，或者其他当前或新兴的无线技术。其他蜂窝塔/基站/MSC的布置是可能的并且可以与无线载波系统1060一起使用。例如，基站和蜂窝塔可以位于同一地点，或者它们可以彼此远离，每个基站可以负责单个蜂窝塔或者单个基站可以服务各种蜂窝塔，或者各种基站可以耦接到单个MSC，仅举几种可能的布置。

除了包括无线载波系统1060之外，可以包括卫星通信系统1064形式的第二无线载波系统以提供与自主车辆1010a-1010n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可以包括例如卫星无线电服务，其中节目内容(新闻、音乐等)由发送站接收，打包上传，然后发送到卫星，卫星将节目广播给订户。双向通信可以包括例如使用卫星来中继车辆1010和站之间的电话通信的卫星电话服务。卫星电话可以用作除无线载波系统1060外的补充或替代无线载波系统1060。

可以进一步包括陆地通信系统1062，其是连接到一个或多个陆线电话并且将无线载波系统1060连接到远程运输系统1052的传统的基于陆地的电信网络。例如，陆地通信系统1062可以包括诸如用于提供硬连线电话、分组交换数据通信和因特网基础设施的公共交换电话网络(PSTN)。陆地通信系统1062的一个或多个分段可以通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、其他无线网络(诸如无线局域网(WLAN))，或提供宽带无线接入(BWA)的网络，或者它们的任何组合来实现。此外，远程运输系统1052不需要经由陆地通信系统1062连接，而是可以包括无线电话设备，使得其可以直接与无线网络(诸如无线载波系统1060)通信。

尽管在图2中仅示出了一个用户设备1054，操作环境1050的实施例可以支持任意数量的用户设备1054，包括由一个人拥有、操作或以别的方式使用的多个用户设备1054。由操作环境1050支持的每个用户设备1054可以使用任何合适的硬件平台来实现。就这一点而言，用户设备1054可以以任何常见形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板电脑、笔记本电脑或上网本电脑)；智能手机；电子游戏设备；数字媒体播放器；家庭娱乐设备；数码相机或视频摄像机；可穿戴计算设备(例如，智能手表、智能眼镜、智能服装)等等。由操作环境1050支持的每个用户设备1054实现为具有执行本文所述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的或基于计算机的设备。例如，用户设备1054包括可编程设备形式的微处理器，其包括存储在内部存储器结构中的一个或多个指令并且应用来接收二进制输入以创建二进制输出。在一些实施例中，用户设备1054包括能够接收GPS卫星信号并基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户设备1054包括蜂窝通信功能，使得设备使用一个或多个蜂窝通信协议在通信网络1056上执行语音和/或数据通信，如本文所讨论的。在各种实施例中，用户设备1054包括可视显示器，诸如触摸屏图形显示器或其他显示器。

远程运输系统1052包括一个或多个后端服务器系统，其可以是基于云的、基于网络的或驻存在由远程运输系统1052服务的特定园区或地理位置处。远程运输系统1052可以配备有现场顾问或自动顾问，或者两者的组合。远程运输系统1052可以与用户设备1054和自主车辆1010a-1010n通信以安排乘车、调度自主车辆1010a-1010n等。在各种实施例中，远程运输系统1052存储诸如订户认证信息、车辆标识符、简档记录、行为模式和其他相关订户信息的账户信息。

根据典型的用例工作流程，远程运输系统1052的注册用户可以经由用户设备1054创建乘车请求。乘车请求通常将指示乘客期望的接客位置(或当前GPS位置)、期望的目的地位置(其可以识别预定的车辆停靠站和/或用户指定的乘客目的地)，以及接客时间。远程运输系统1052接收乘车请求，处理该请求，并且调度自主车辆10a-10n中的选定的一辆(当一辆可用时)在指定的接客地点并且在适当的时间接走乘客。远程运输系统1052还可以生成并向用户设备1054发送适当配置的确认消息或通知，以让乘客知道车辆正在路上。

可以理解的是，本文公开的主题提供了可以认为是标准的或基准的自主车辆1010和/或基于远程运输系统1052的自主车辆的某些增强特征和功能。为此，可以对自主车辆和基于远程运输系统的自主车辆进行修改、增强或以其他方式补充以提供下面更详细描述的附加特征。

根据各种实施例，控制器1034实现如图3中所示的自主驾驶系统(ADS)1070。即，利用控制器1034(例如，处理器1044和计算机可读存储设备1046)的合适的软件和/或硬件部件来提供与车辆1010结合使用的自主驾驶系统1070。

在各种实施例中，自主驾驶系统1070的指令可以由功能或系统组织。例如，如图3中所示，自主驾驶系统1070可以包括传感器融合系统1074、定位系统1076、引导系统1078和车辆控制系统1080。如可以理解的，在各种实施例中，由于本公开不限于本示例，因此可以将指令组织成任何数量的系统(例如，组合、进一步分割等)。

在各种实施例中，传感器融合系统1074合成并处理传感器数据并预测车辆1010的环境的特征和目标的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统1074可并入来自多个传感器的信息，包括但不限于摄像头、激光雷达、雷达和/或任何数量的其他类型的传感器。

定位系统1076处理传感器数据以及其他数据以确定车辆1010相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统1078处理传感器数据以及其他数据以确定车辆1010遵循的路径。车辆控制系统1080根据确定的路径产生用于控制车辆1010的控制信号。

在各种实施例中，控制器1034实现机器学习技术以辅助控制器1034的功能，诸如特征检测/分类、减轻阻塞、路线穿越、制图、传感器集成、地面实况确定等。

车辆控制系统1080配置为将车辆控制输出通信到致动器系统1030。在示例性实施例中，致动器1042包括转向控制、换挡控制、油门控制和制动控制。例如，转向控制可以控制如图1中所示的转向系统1024。例如，换挡控制可以控制如图1中所示的传动系统1022。例如，油门控制可以控制如图1中所示的推进系统1020。例如，制动控制可以控制如图1中所示的制动系统1026。

如上面简要提及的，例如，图1和图4的目标跟踪系统10包括在自主驾驶系统1070内，作为定位系统1076的一部分。本公开的各种实施例的目标跟踪系统10允许使用二维成像数据(例如，摄像头数据)来提高三维成像数据(例如，激光雷达)的目标检测。通过目标跟踪系统10，作为定位系统1076的一部分，可以识别、定位目标并确定其尺寸。可以至少部分地通过目标跟踪系统10来确定控制数据，该系统部分地有助于来自车辆控制系统的车辆控制输出。

例如，如关于图4更详细地示出的并且继续参考图3的那样，目标跟踪系统10包括多个模块和其他系统零件，用于基于三维和二维成像数据来跟踪目标的位置和尺寸。

在示例性实施例中，目标跟踪系统10通过传感器系统1028的传感器设备(至少包括雷达、激光雷达和摄像头数据捕捉设备12a、12b、12c)接收传感器数据。激光雷达数据捕捉设备12a可以认为是三维成像设备，因为它捕捉关于从激光雷达数据捕捉设备12a到反射目标的距离的数据，用于在与远离设备12a的方向的距离正交的平面中的大量数据点。尽管本文举例了激光雷达数据捕捉设备12a来获得三维成像数据，但也可以利用其他测距扫描仪，诸如雷达。激光雷达设备12a可以安装到车辆上，诸如车顶上。摄像头12c通常包含分布在车辆周围的多个摄像头12c。摄像头12c可以充分分布，以拥有360°环绕视野。

在示例性实施例中，激光雷达数据捕捉设备12a包括成对的激光发射设备和激光感测设备，用于通过测量激光脉冲从发射设备行进到目标并返回到感测设备所需的飞行时间(TOF)，用已知光速计算距离，来测量距离。激光雷达捕捉设备12a可以将多个激光器/探测器对(例如多达64个)组合到一个传感器中并且可以在千赫兹范围内发出脉冲来使得能够每秒测量数百万个数据点。通过旋转激光器/探测器对(诸如以高达每秒20次的旋转速度)，例如可以实现30°到40°的垂直视场覆盖，和360°全景水平视场。除了每个距离测量之外，激光雷达捕捉设备12a还配置为测量校准的反射率，其使得能够更容易检测诸如路牌、牌照和车道标记之类的后向反射物。

摄像头12c配置为测量从目标反射到摄像头12c中的光。图像通常是彩色的，并显示周围的视觉图像。与激光雷达数据捕捉设备12a和其他测距扫描仪不同，摄像头图像不能测量三维距离。来自摄像头12c的图像可以由视频数据的各个帧形成。来自摄像头12c的图像是二维的。

已经发现，激光雷达成像可以剪切、合并、分割或丢失目标。在非反射或低反射目标(诸如黑色汽车)时，或者当光束射入浅入射角的目标时，可能会发生这种情况。而且，激光束可以在离开激光雷达设备12a的特定阈值的距离处发散并且充分展开，使得可能丢失目标。但是，摄像头图像数据不会存在这些问题。摄像头图像更密集，所以可以看得更远。进一步地，摄像头图像不依赖于反射的激光束，因此对于低反射率目标具有较少的问题。相比之下，摄像头图像导出距离数据的效果较差。因此，本公开提供了组合使用诸如来自激光雷达和雷达设备12a、12b的三维成像数据和诸如来自摄像头12c的二维成像数据的系统和方法。特别地，激光雷达图像被用于提供二维摄像头图像中的感兴趣目标的位置和尺寸的第一估计，并且二维摄像头图像被用于改进我们对目标几何形状(例如，位置和尺寸)的估计。本公开额外地或替代地允许通过从二维成像数据14b导出目标的三维位置数据(目标姿态)来完全或部分地跟踪在三维成像数据14a中丢失的目标。

在示例性实施例中，目标跟踪系统10包括数据接收模块16，其配置为可选地经由传感器融合系统1076从传感器系统1028接收成像数据14。这样，数据接收模块16包含输入数据接口和输出数据接口，以及执行指令的处理器以根据需要将成像数据14引导到其他模块。处理器可以是上述的至少一个处理器1044。特别地，数据接收模块16配置为从传感器系统1028接收三维成像数据14a和二维成像数据14b。成像数据14可以在二维和三维上覆盖绕车辆延伸的垂直平面。数据接收模块16可接收这样的成像数据14的连续帧。

在示例性实施例中，目标跟踪系统10包括目标识别模块18，其配置为识别和划分成像数据14中的目标。特别地，目标跟踪系统10包括三维目标识别模块18a和二维目标识别模块18b，它们配置为分别对三维成像数据18a和二维成像数据18b进行操作。目标识别模块18操作目标识别分析，该分析可以包括背景去除和分割图像处理中的至少一个。该分析可以包括至少一个图像过滤操作。用于识别目标的图像处理对于本领域技术人员是可用的。目标识别模块14进一步配置为确定成像数据中每个识别的目标的边界框。通过操作图像处理指令的处理器执行用于识别目标和用于为识别的目标建立边界框20a、20b的图像处理。

在示例性实施例中，对三维成像数据14a(例如，激光雷达数据)进行操作的目标识别模块18a配置成为识别的目标建立三维边界框20a。边界框20a可以由包括真实世界(相对于图像空间)中的三维位置坐标，例如相对于车辆或激光雷达设备12a的x、y和z坐标(x是水平位置、y是垂直位置、z是远离车辆或激光雷达设备12a的距离)，以及用于边界框的三维尺寸诸如长度、宽度和高度的数据结构构成。边界框20a的位置数据可以定位边界框20a的中心。从二维成像数据14b导出的边界框20b可以由识别边界框20b的位置和尺寸的数据结构构成。例如，可以通过相对于真实空间和高度和宽度尺寸的x和y坐标(x是水平位置、y是垂直位置)中的中心点位置来识别边界框20b。

在示例性实施例中，目标跟踪系统10包括配准子模块24、三维到二维(3D到2D)变换模块26、视觉分类子模块32，以及作为调整模块50的一部分的第一和第二2D到3D子模块36、38。调整模块50配置为接收为三维和二维形式的边界框20a、20b作为区域提议，并且基于从摄像头12c获得的二维成像数据14b调整为第一边界框20a、20b的形式的区域提议的位置和/或尺寸。特别地，调整模块50配置为接收边界框20a、20b，以运行使用二维成像数据14b的神经网络处理引擎，以便执行边界框回归，从而对于二维成像数据14b中的目标的尺寸和位置更准确地表示边界框20a、20b的大小和尺寸。在一个实施例中，目标跟踪系统10包括已经针对车辆感兴趣的目标训练的神经网络引擎，其包括训练数据、计算机程序指令形式的训练过程，以及用于执行那些指令的处理器。这些构成神经网络引擎训练一部分的感兴趣目标包括行人、路牌、车辆、建筑物、街道照明等。进一步地，计算机程序指令可操作以执行边界框回归过程。

对于三维边界框20a，调整模块50配置为基于二维成像数据14b调整划分的三维目标20a并输出调整后的三维目标40a。划分的三维目标30a和调整的二维目标由调整模块50操作的目标数据20a、30a表示，具体地作为实施例中的边界框数据。在实施例中，调整模块50配置为执行将三维边界框20a变换成二维边界框30a的投影过程，从而在此后通过神经网络执行边界框回归以基于二维成像数据14b获得调整的二维边界框30a，并然后执行反投影过程来将调整的二维边界框转换为调整的三维边界框40a。

可能出现捕捉的三维数据14a(例如，来自激光雷达设备12a)具有关于目标的部分信息的情况。例如，当实际上只有一个目标时，3D目标识别模块18a可能通过返回两个边界框20a来错误地确定目标是两个目标。可能由于汽车为黑色而发生这种情况，一种可能的情况，当激光雷达设备12a没有接收到来自汽车中部的反射而只接收到侧面的反射时，使得激光雷达数据14a指示汽车被分成两部分。通过基于二维成像数据14b通过调整模块50执行对划分的目标数据20a的调整，可以确定校正的目标数据34a、40a，其中单独的目标数据20a或边界框20a重新形成为调整的目标数据34a、40a中的组合目标。在另一场景中，通过目标识别模块18a的激光雷达数据和随后的目标识别过程可将多个目标分解为单个目标。例如，由目标识别模块18a运行的分割过程可以将多个人组合为单个目标。调整模块50能够基于二维成像数据14b检测实际上存在多个不同的人，并且因此输出校正的目标数据34a。因此，在实施例中，调整模块50能够通过基于二维成像数据14b对从调整模块50获得的目标数据20a进行改进来调整由目标识别模块18a确定的目标的尺寸、位置和数量。

也可能发生激光雷达数据14a丢失目标的情况。由于雷达光束发散或当目标实际上对激光雷达光束没有反射时，可能在远距离范围内发生这种情况。在这种情况下，来自摄像头12c的二维成像数据14b。为此，本公开提出仅纯粹基于二维成像数据14b来运行目标识别、边界框回归和2D到3D变换处理。以这种方式，在一些实施例中，可以使用二维成像数据14b来改进源自三维成像数据14a的目标数据20a。在另外的或替代的实施例中，可以直接从二维成像数据14b导出用于目标跟踪的三维目标数据40b，这在激光雷达数据不可用或丢失目标时特别有用。本文参考2D目标识别模块、视觉分类子模块和第二2D到3D变换子模块38来描述将二维成像数据14b加工为用于目标跟踪的三维目标数据的方式。

在图4的示例性实施例中，为了便于解释，调整模块50分为多个子模块。存在与校准数据22通信的配准子模块24，其配置为确定成像数据14b的二维空间中的边界框的位置。校准数据22可以存储在数据存储设备1032中。配准子模块24输出与三维图像和二维图像的配准或空间相关的配准数据，从而允许三维成像数据20a在二维图像空间中的投影在正确位置。配准子模块24利用下面进一步描述的内在和外在校准数据22来执行3D到2D图像配准。

校准数据22包括外在和内在校准数据。外在校准数据描述了摄像头12c相对于激光雷达设备12a或车辆1010的姿态的姿态。已经通过将每个摄像头12c与激光雷达12a校准的外在校准过程确定外在校准数据。外在校准过程允许在激光雷达成像数据14a中的点与摄像头图像14b中的点之间确定空间对应关系，并且还允许激光雷达成像数据14a和摄像头成像数据14b之间的时间同步。内在校准数据解决了摄像头失真和其他内在图像校正过程。

3D到2D变换子模块26配置为使用内在和外在校准数据22将三维边界框20a的尺寸投影到二维图像空间中。因此，配准子模块和3D到2D变换子模块26一起操作以使用外在和内在校准数据22将三维边界框20a的位置和尺寸投影到二维边界框30a的位置和尺寸中。配准子模块24和3D到2D变换模块26包括处理器和配置为执行所需配准和变换过程的计算机可读指令。配准子模块和3D到2D变换模块26配置为输出二维边界框30a作为用于上述后续边界框回归过程的区域提议。应当理解，3D到2D变换子模块26和配准子模块24在本文中已经描述为单独模块，但是可以提供单个模块来在一个集成模块中执行配准和投影过程。

在图4的示例性实施例中，包括了视觉分类子模块32，其配置为从配准和3D到2D变换子模块24、26接收来自二维目标识别模块18b和边界框30a的二维边界框20b。二维边界框20a已经从在二维成像数据14b上执行的目标识别和划分处理中导出，因此可以称为“2D图像初始边界框”。相反地，已经从三维成像数据14a导出二维边界框30a并投影到二维图像空间中，因此可以称为“3D图像初始边界框”。视觉分类子模块32配置为在分别由2D和3D成像初始边界框20b、30a构成的区域提议上运行神经网络以获得分类和边界框回归。该分类对于其他过程是有用的，但与本公开不直接相关。边界框回归过程的目的在于利用神经网络基于输入的二维成像数据14b与由区域提议提供的粗略估计对比获得目标的更真实的尺寸。这样，由视觉分类子模块32(特别是上述的神经网络引擎)执行的边界框回归能够更好地将边界框20b、30a拟合到对应的目标。以这种方式，从调整模块50(特别是其视觉分类子模块32)输出对应于调整的划分目标的调整的边界框34a、34b。

由视觉分类子模块执行的边界框回归配置为在二维成像数据14b内接收二维成像数据14b和边界框30a、30b。边界框回归在二维成像数据14b内的边界框30a、30b上运行神经网络。神经网络输出更紧密地拟合分类的目标的几何形状的分类和改进的边界框。例如，获取远方汽车(作为示例性目标)的保险杠的激光雷达图像，目标跟踪系统10通过配准子模块24和3D到2D变换子模块26能够确定作为区域提议30a的保险杠的位置和尺寸。然而，区域提议30a实际上比实际的保险杠小一个或多个尺寸，可能是因为激光雷达入射角、反射率差等原因。通过将比较粗略的区域提议30a提供给视觉分类子模块32，神经网络分析二维图像数据14b并且能够确定图像中保险杠的更真实的尺寸，例如其更宽和更高。视觉分类子模块32配置为输出具有调整的尺寸的调整的边界框34a。不仅可以基于二维成像数据14b更加真实地确定目标尺寸，而且可以校正基于三维成像数据14a确定的不正确划分的目标。在两个目标实际上应该是一个的情况下，由3D图像初始边界框30a表示的一个或两个所有目标的边界框回归可以回退为目标的实际几何结构，由此将多个边界框30a合并为一个或多个调整的边界框34a。

在边界框30a基于三维成像数据14a合并多个目标的情况下，边界框回归能够分割边界框以从单个3D图像初始边界框30a确定多个回归的边界框34。

在三维成像数据14a部分或全部丢失目标的情况下，可以使用2D图像初始边界框20a来填充丢失的目标数据。边界框回归20a仍然可以作为区域提议在边界框20a上运行，从而来获得用于确定调整的二维边界框34b的更真实的尺寸。

在实施例中，由视觉分类子模块32执行的边界框回归的输出表示二维图像空间中的更真实的尺寸。然而在实施例中，跟踪系统42配置为在真实的三维空间中执行目标跟踪。因此，第一2D到3D变换子模块36配置为将源自三维成像数据14a的调整的二维边界框34a变换到三维边界框40a。第一2D到3D变换子模块36配置为得到从三维边界框数据20a(其z坐标)确定的来自激光雷达设备12a的目标的输入距离数据。进一步地，摄像头12c的内在和外在校准数据22可以用作进一步的输入。根据距离数据和校准数据，可以执行反向投影变换。即，通过配准和3D到2D子模块24、26执行的变换，从而三维中的目标跟踪数据20a转换为二维图像空间中的坐标和尺寸，是颠倒的。即，第一2D到3D变换子模块36配置为将包括校正的或调整的尺寸的调整的或校正的目标数据34a变换成包括位置和/或尺寸(诸如目标在三维空间中的高度和/或宽度和/或长度)的校正的目标数据40a。目标几何结构的校正的数据40a作为反馈输出到跟踪系统42以更新其感兴趣的目标的信息。跟踪系统42可以是以上关于图3描述的分类和分割模块1076的一部分。第一2D到3D变换子模块36包括处理器和计算机可读指令，用于执行维度变换过程，以及引导接收二维目标数据34a并输出三维目标数据34a。

由于使用三维数据的反投影不可用，所以第一2D到3D变换子模块36不能够变换源自二维数据14a的调整的边界框34b。相反地，目标跟踪系统10包括第二2D到3D变换子模块38，其对源自二维成像数据14b的调整的目标数据34b进行操作。不同于三维成像数据14a，二维成像数据14b不包括距离测量结果。这样，第二2D到3D变换子模块38配置为使用几何分析并基于高度图数据从二维成像数据14b导出距离数据。第二2D到3D变换子模块38配置为输出在实施例中由三维边界框40b构成的三维目标数据40a。第二2D到3D变换子模块38包括处理器和软件指令，它们可由处理器操作以执行所需的几何分析并引导调整的二维目标数据34b的接收并引导调整的三维目标数据40b的输出。

第二2D到3D变换子模块38配置为接收在实施例中由边界框34b构成的二维调整的目标数据34b，并且将二维调整的目标数据34b变换成三维调整的目标数据40b，例如三维调整的边界框40b。第二2D到3D变换子模块38配置为使用训练的神经网络估计二维调整的目标数据34b的姿态，该训练的神经网络可以是与上面参考视觉分类子模块32描述的相同的神经网络，从而确定三维边界框40b的三维尺寸。第二2D到3D变换子模块38进一步配置为基于高度图数据52(其将在下面进一步详细讨论)以及调整的边界框34b在二维图像14b的二维领域中的高度来估计三维位置。即，根据下面(特别是关于图6)进一步描述的系统和方法，基于二维图像数据14b和预定高度图数据52来确定目标的三维位置。对于距离，2D到3D变换模块38配置为使用预制的高度图数据52来实现几何计算。基于二维调整的边界框34b，高度图数据52使得能够估计远离车辆的距离。

更详细地，高度图数据52将高度信息与GPS或其他位置数据相关联。高度图数据52可以存储在数据存储设备1032上。GPS位置数据可以是差分GPS位置数据以提高准确度。以这种方式，高度图数据52能够将勘察的GPS或其他位置数据点与地面高度，特别是道路高度相关联。因此，三维高度图52是预先构建的并且可供系统10使用。高度图数据52可以根据由地图绘制车辆收集的激光雷达数据进行后处理得到。高度图数据52可以包括包含每个拼图位置处地面的高度的地图拼图(例如10cm×10cm)，其中每个位置可以是参考GPS的。

更详细地，并且在一个示例中，第二2D到3D变换子模块38配置为确定捕捉相对于高度图数据52的二维成像数据12c的至少一个摄像头12c的位置。即，确定高度图数据52中的摄像头12c的位置或姿态。例如，可以基于车辆1010在高度图数据52中的姿态，使用车辆的GPS或其他定位数据、高度图数据52中的相应GPS或其他定位数据，以及关于车辆和摄像头12c的尺寸和相对位置的预定信息(其可以从校准数据22确定)来确定摄像头12c的姿态。

第二2D到3D变换子模块38配置为在二维图像数据14b中它们的相对位置处将边界框34b的至少一部分投影到高度图数据52的三维图像空间中。第二2D到3D变换子模块38配置为基于高度图数据52确定投影与地面的交点。从相交的高度图数据52(例如，其拼图)能够估计边界框34b的三维位置，并且因此能够估计对应的目标。在示例性实施例中，投影边界框34b的竖直尽头以找到高度图数据52中的对应点，从而使得能够确定来自摄像头12c的三维空间中的近似距离。由第二2D到3D变换子模块38执行的投影可以利用射线跟踪算法。进一步地，为了将二维数据准确地投影到三维高度图数据中，不仅基于GPS或其他定位数据和预定的尺寸信息使用车辆和摄像头姿态，而且还使用关于摄像头12c(其提供视野信息)的内在和外在校准的校准数据22。可以从预定摄像头姿态数据54确定摄像头姿态，该数据可以存储在数据存储设备1032上并且可以结合到校准数据22中。投影算法(例如基于射线跟踪)使用摄像头姿态数据54和摄像头校准数据22将来自摄像头图像数据14b中的边界框34b的射线与高度图数据52相交。基于该投影，第二2D到3D变换子模块38计算车辆与由边界框34b表示的检测目标之间的相对距离。

第二2D到3D变换子模块38配置为组合可从视觉分类子模块32获得的边界框34b的三维姿态数据和如上所述获得的估计的三维位置数据以产生三维调整的边界框40b。已经从二维成像数据14b结合预定的三维高度图数据52获得三维的调整的边界框40b。

第二2D到3D变换子模块38以及由此操作的算法利用了这样的事实，即在摄像头成像数据14b中(假定地面平坦)较近目标的尽头或代表它们的边界框34b将在图像中较低并离地平线更远。但是，当地面不平坦时，这种假设是错误的。在一个示例性实施例中，本公开利用高度图数据52来补偿丘陵地形。

可以是分类和分割模块1076的一部分的跟踪系统42配置为基于调整的边界框数据40a、40b以三维和实时的方式跟踪车辆1010周围的目标。考虑源自三维成像数据14a的调整的目标数据40a，如源自二维成像数据14b的调整目标数据40b一样。跟踪系统42配置为通过处理器对调整的目标数据40a、40b执行已知的跟踪算法，并且适当地配置计算机可读指令以确定控制命令44。控制命令44通过自主驾驶系统1070来操作以协助控制车辆1010。

图4的目标跟踪系统10的示例性实施例包括在自主驾驶系统1070中。自主驾驶系统1070配置为执行转向和速度控制操纵(在其他可能的自主驾驶可能性中)以避免碰撞并且部分基于控制命令44与跟踪目标协同移动。自主驾驶系统1070部分基于控制数据44通过处理器操作已知的自主车辆控制计算机指令，如以上关于图3所述的。

图5示出了描述用于跟踪目标的本公开的示例性方法和系统的方面的流程图。可以由存储在由处理器(诸如至少一个处理器1044)执行的计算机可读介质上的计算机程序指令来实现图5的流程图的步骤。可以由关于图4描述的模块和子模块来执行这些步骤，例如，并且还可以采用关于图4描述的自主驾驶系统1070的进一步方面。

该流程图描述了跟踪目标的示例性方法60。该方法包括接收三维成像数据的步骤62和接收二维成像数据的步骤64。在示例性实施例中，由激光雷达设备12a捕捉三维成像数据14a并且由视觉摄像头12c捕捉二维成像数据14b。在实施例中，车辆周围的二维和三维数据图像可以是360°环绕成像。通过数据接收模块16接收数据。三维数据14a可能由于反射率问题而裁剪目标的尺寸，或者三维数据14a可能部分或全部丢失目标。本文描述的方法和系统提出了图像处理技术以使用二维成像数据14b来完成或校正三维数据。

在实施例中，方法60包括通过3D目标识别模块18a执行的基于三维成像数据14a估计目标的三维几何形状的步骤66。在一个实施例中，步骤66包括识别和划分三维成像数据14a中的一个或多个目标。步骤66可以涉及滤除背景和分割图像分析过程以划分一个或多个目标。在一个实施例中，步骤66确定并输出用于三维成像数据14a中的每个识别的目标的三维边界框20a。每个边界框20a包括三维位置和三维维度目标数据。

作为步骤66的补充或替代，方法60包括通过2D目标识别模块18b执行的基于二维成像数据14b估计目标的二维几何形状的步骤68。在一个实施例中，步骤68包括识别和划分二维成像数据14b中的一个或多个目标。步骤66可以涉及滤除背景和分割图像分析过程以划分一个或多个目标。在一个实施例中，步骤68确定并输出用于二维成像数据14b中的每个识别的目标的二维边界框20b。每个边界框20b包括二维位置和二维维度目标数据。

方法60包括通过配准和3D到2D变换子模块24、26执行的第一调整步骤70，基于二维成像数据14b调整一个或多个目标的估计的三维几何形状。即，步骤70对从步骤66输出的目标数据执行图像处理，以基于二维成像数据14b中的一个或多个目标的几何形状来调整或校正每个识别的和划分的目标的几何形状。在一个实施例中，步骤70包括将来自步骤66的三维边界框20a投影到配准在二维成像数据中的二维边界框30a中的子步骤70a。更具体地，使用内在和外在校准数据22来将来自步骤66的一个或多个三维边界框20a定位和定尺寸到二维图像空间中。因此，投影子步骤70a输出一个或多个边界框30a，其包括根据使得能够在三维成像数据14a和二维成像数据14b之间进行配准的校准数据22定位的二维位置数据和二维维度数据。

第一调整步骤70包括通过视觉分类子模块32执行边界框回归的子步骤70b。在一个或多个二维边界框30a上执行边界框回归。二维边界框30a作为区域提议并且与二维成像数据14b一起经过神经网络运行。基于二维成像数据14b，边界框回归子步骤70b能够校正或调整一个或多个边界框30a的位置和/或尺寸，以输出其调整的二维版本34a。边界框回归子步骤使用来自三维成像数据初始边界框30a的区域提议，确定二维成像数据初始边界框20b中的相应目标，并且基于从初始二维数据20b获得的更精确的图像数据对三维成像数据初始边界框30a进行优化，从而产生调整的边界框34a。

在实施例中，第一调整步骤70包括将调整的二维边界框34a变换成三维调整的边界框40a的子步骤70c。变换子步骤70c基于与二维图像捕捉设备12c和三维图像捕捉设备12a相关的校准数据22并且基于可从三维成像数据14a中的划分的目标20a导出的范围数据来反转投影步骤70a。

第一调整步骤70获取三维目标数据或边界框20a，并基于二维成像数据12c校正诸如目标的尺寸、数量和/或位置等的方面。第一调整步骤70输出校正的或调整的三维目标数据或边界框34b。第一调整步骤70能够划分、合并或改变来自估计步骤66的目标数据20a的大小和/或位置。

作为第一调整步骤70的补充或替代，方法60可以进一步包括第二调整步骤72，其对从估计步骤68获得的二维目标数据20b进行操作以确定调整的三维目标数据40b。在实施例中，第二调整步骤72包括执行边界框回归的子步骤72a。该子步骤复制上述子步骤70b。即，包括二维位置和尺寸数据的估计的二维边界框20b通过视觉分类子模块32运行以执行边界框回归。边界框回归子步骤72使用神经网络和二维成像数据14b来改进边界框20b的位置、数量和/或尺寸以确定调整的二维边界框34b。

在实施例中，第二调整步骤72包括将由一个或多个二维边界框34b构成的调整的二维目标数据34b变换成三维目标数据或边界框40b的子步骤72b。执行三维变换的子步骤72b不能复制上述变换步骤70c，因为范围数据不适用于步骤68和72操作的二维成像数据14b。因此，变换子步骤72b利用高度图数据52，如以下关于图6详细描述的。即，图6详细描述根据子步骤72b的一个实施方式将源自二维成像数据的二维边界框34b变换成三维成像数据的示例性方法。

在图6的示例性2D到3D变换方法中，在步骤62中接收高度图数据52。高度图数据52关联位置(例如，GPS位置)和地面高度。高度图数据52可以是从诸如激光雷达设备的测距设备获得的处理数据。

在步骤82中，相对于高度图数据52估计摄像头姿态。即，获取关于车辆和摄像头的尺寸的预定姿态数据54，并从包括GPS传感器12d的定位系统1076获得GPS或其他定位数据。组合这些数据以确定相对于高度图数据的摄像头姿态(例如，位置和尺寸)。

在步骤86中，基于来自步骤82的摄像头姿态，相对于高度图数据52投影二维成像数据14b中的二维目标数据34b。即，从摄像头12c为二维目标数据34b执行到高度图数据52中的射线跟踪。摄像头12c的校准数据22被用于配准二维成像数据14b和高度图数据52。可以获取二维目标数据34b的一部分，特别是每个边界框34b的尽头。

在步骤88中，确定来自步骤86的投影或射线跟踪的地面交叉点。

在步骤90中，使用高度图数据52来基于来自步骤88的地面交叉点至少估计距离摄像头12c和/或车辆的距离，使得可以为目标数据34b获得距离数据，可选地在另外两个空间维度中补充三维位置。根据距离数据，并且可选地还根据从步骤88的地面交叉点获得的其他维度空间信息构建的目标数据34b的三维位置数据。

在步骤92中，如前所述，从视觉分类子模块32接收与目标数据34b对应的目标的三维维度。来自视觉分类子模块的这些维度是从对二维目标数据20b的神经网络分类过程导出的。

在步骤94中，从第二调整步骤72输出三维位置和尺寸以用于随后的步骤。

在图6的方法中，目标数据可以是如本文进一步描述导出的边界框。

因此，图5的方法使得能够基于通过GPS传感器12d和定位系统1076的其他部分确定的车辆位置以及来自识别的目标34b的摄像头图像14b的方位(投影)来导出由目标数据34b表示的目标的位置。高度图数据52的几何形状用于找出由目标数据34b表示的目标的三维位置。具体地，从摄像头12d画出假想线(代表图像14b的识别的目标34b的方位)，以找出该假想线与高度图数据52相交的位置。交叉点可以使用高度图数据52中的信息与识别的目标34b的三维位置相关。

当三维成像数据14a不可用或不完整时，第二调整步骤72能够基于二维成像数据14b确定通常由一个或多个边界框构成的三维目标数据40b。如关于步骤66和70所述的或替代它们的，第二调整步骤72通常平行于三维和二维成像数据14a、14b上的组合操作运行。由步骤68和72描述的在二维成像数据上的操作对于用于一定距离的目标跟踪可能特别有用，来自激光雷达设备12a的激光束在该距离太过发散而使得可能丢失目标。

方法60进一步包括使用目标的调整的三维几何形状来跟踪目标的步骤70。即，第一调整步骤70输出表示三维目标的几何形状的目标数据40a，其中目标数据40a通常由三维边界框40a构成。进一步地，第二调整步骤72输出表示另一个三维目标的几何形状的目标数据40b，其中目标数据40b通常由三维边界框40b构成。基于过去的三维目标数据和当前三维目标数据40a、40b在真实空间中跟踪一个或两个所有目标。可以从跟踪中导出各种参数，包括跟踪的一个或多个目标的速度和加速度。基于从跟踪步骤74导出的参数，可以生成控制数据44以通过自主驾驶系统1200执行诸如自主车辆1010的自动机器的控制功能。

方法60包括控制自动机器的步骤76，在示例性实施例中该自动机器是自主车辆1010。例如，基于控制数据44来控制机器1010的移动。即，可以基于控制数据44来实施转向和速度控制。特别地，通过自主驾驶系统1070并部分地基于控制数据44来执行自主车辆控制。

尽管在本发明的前述详细描述中已经呈现了至少一个示例性方面，但应当认识到，存在着大量的变体。还应当理解的是，示例性方面仅是示例，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反地，前面的详细描述将为本领域技术人员提供用于实现本发明的示例性方面的便利的路线图。应当理解，可以对在示例性方面中描述的元件的功能和布置做出各种改变，而不偏离如所附权利要求书中阐述的本发明的范围。

Claims (10)

1.一种目标跟踪系统，包含：

数据接收模块，其配置为由处理器接收包括至少一个目标的二维成像数据并且接收关联地面高度和位置的高度图数据；

二维到三维变换模块，其配置为由处理器基于所述二维成像数据和所述高度图数据确定所述至少一个目标在三维空间中的位置；以及

跟踪模块，其配置为由处理器使用所述至少一个目标的所述位置跟踪至少一个目标。

2.根据权利要求1所述的目标跟踪系统，其中所述二维到三维变换模块配置为将所述二维成像数据的所述至少一个目标投影到所述高度图数据中以确定所述至少一个目标的地面交叉点，并且基于所述地面交叉点以及所述高度图数据中的地面高度和位置的相关性来确定所述至少一个目标的所述位置。

3.根据权利要求1所述的目标跟踪系统，其中所述二维成像数据是从至少一个摄像头接收的，其中所述数据接收模块配置为接收所述至少一个摄像头的真实世界位置，并且其中所述二维到三维变换模块配置为基于所述至少一个摄像头的所述真实世界位置将所述至少一个摄像头定位在所述高度图数据中，并且将所述二维成像数据的所述至少一个目标投影到所述高度图数据中，根据所述高度图数据中的所述至少一个摄像头位置来确定所述至少一个目标在三维空间中的位置。

4.根据权利要求1所述的目标跟踪系统，其中所述二维成像数据是从至少一个摄像头接收的，并且其中所述数据接收模块配置为接收包括摄像头姿态数据的校准数据，并且其中所述二维到三维变换模块配置为确定所述高度图数据中的摄像头姿态，并且将所述二维成像数据的所述至少一个目标投影到所述高度图数据中，据所述高度图数据中的所述摄像头姿态来确定所述至少一个目标在三维空间中的位置。

5.根据权利要求1所述的目标跟踪系统，包含目标识别模块，其配置为划分所述至少一个目标以获得二维目标数据，并且其中所述二维到三维变换模块配置为基于所述二维成像数据、所述高度图数据和所述二维目标数据确定所述至少一个目标在三维空间中的所述位置。

6.根据权利要求1所述的目标跟踪系统，包含视觉分类模块，其配置为运行神经网络以对所述至少一个目标进行分类并且基于所述分类来确定所述至少一个目标的尺寸，其中所述跟踪模块配置为使用所述至少一个目标的所述位置和所述至少一个目标的所述尺寸来跟踪至少一个目标。

7.根据权利要求6所述的目标跟踪系统，包含目标识别模块，其配置为划分所述至少一个目标以获得至少一个边界框，其中所述视觉分类模块配置为使用所述神经网络对所述至少一个边界框执行边界框回归来获得至少一个回归边界框，并且其中所述二维到三维变换模块配置为基于所述二维成像数据、所述高度图数据和所述至少一个回归边界框来确定所述至少一个目标在三维空间中的所述位置。

8.根据权利要求1所述的目标跟踪系统，其中所述跟踪模块配置为使用所述至少一个目标的所述位置来跟踪所述至少一个目标并相应地输出跟踪数据，其中所述系统包含配置为部分基于所述跟踪数据执行自主车辆控制车辆控制模块。

9.根据权利要求1所述的目标跟踪系统，其中所述数据接收模块配置为接收包括至少一个其他目标的三维成像数据，其中所述跟踪模块配置为基于所述二维成像数据跟踪所述至少一个目标并且基于所述三维成像数据跟踪所述至少一个其他目标。

10.一种跟踪至少一个目标的方法，包含：

经由处理器接收包括至少一个目标的二维成像数据并且接收将地面高度和真实世界位置相关联的高度图数据；

经由处理器基于所述二维成像数据和所述高度图数据确定所述至少一个目标在三维空间中的真实世界位置；

经由处理器使用所述至少一个目标的所述位置跟踪所述至少一个目标以用于自主车辆控制。