CN108327724B - 通过无监督学习的对象跟踪 - Google Patents

Abstract

车辆中的计算设备可以通过基于第一3D数据点的联合概率确定以对象为中心的第一矩形边界来确定对象，然后通过基于由第一矩形边界决定第二3D数据点的联合贝叶斯概率确定以对象为中心的第二矩形边界来确定对象，以及基于确定的对象驾驶车辆。

Description

通过无监督学习的对象跟踪

技术领域

本公开总体涉及车辆驾驶系统，并且更具体地，涉及通过无监督学习的对象跟踪。

背景技术

车辆可以配备在自主和乘员驾驶模式下操作。车辆可以配备计算设备、网络、传感器和控制器以驾驶车辆并协助乘员驾驶车辆。计算设备可以经由传感器监测车辆的真实世界环境，以帮助计算设备驾驶车辆。

发明内容

根据本发明，提供一种方法，包括：

通过基于联合概率确定以对象为中心的第一矩形边界，来基于多个第一3D数据点确定所述对象；

通过基于所述第一矩形边界和联合概率确定以所述对象为中心的第二矩形边界，来确定多个第二3D数据点中的所述对象；以及

基于所述对象驾驶车辆。

根据本发明的一个实施例，其中所述3D数据点由激光雷达确定。

根据本发明的一个实施例，其中确定所述对象包括确定所述第一矩形边界和所述第二矩形边界的位置、姿势和尺寸。

根据本发明的一个实施例，其中确定所述对象包括将所述第一3D数据点与先前获取的3D数据点进行比较以确定对象数据点和背景数据点。

根据本发明的一个实施例，其中所述第一矩形边界和所述第二矩形边界是通过使所述对象数据点相对于所述背景数据点的联合概率最大化来确定的。

根据本发明的一个实施例，其中最大化所述联合概率确定以所述对象数据点为中心的3×3网格，其中所述3×3网格的中心网格包括一个或多个对象数据点并且不包括背景数据点。

根据本发明的一个实施例，其中所述第一矩形边界被定义为所述3×3网格的中心网格，并且被用作基于所述联合概率确定所述第二矩形边界的起始点。

根据本发明的一个实施例，其中所述联合概率是贝叶斯概率，其中对象数据点属于所述对象的概率由所述对象数据点在先前时间步长属于所述对象的概率来决定。

根据本发明的一个实施例，其中所述联合概率是通过使所述联合概率的自然对数最大化来确定的。

根据本发明的一个实施例，其中通过确定每个所述联合概率的自然对数的梯度来使所述联合概率最大化。

根据本发明，提供一种装置，包括：

处理器；

存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：

通过基于联合概率确定以对象为中心的第一矩形边界，来基于多个第一3D数据点确定所述对象；

通过基于所述第一矩形边界和联合概率确定以所述对象为中心的第二矩形边界，来确定多个第二3D数据点中的所述对象；以及

基于所述对象驾驶车辆。

根据本发明的一个实施例，其中所述3D数据点由激光雷达确定。

根据本发明的一个实施例，其中确定所述对象包括确定第一矩形边界和第二矩形边界的位置、姿势和尺寸。

根据本发明的一个实施例，其中确定对象包括将第一3D数据点与先前获取的3D数据点进行比较以确定对象数据点和背景数据点。

根据本发明的一个实施例，其中通过最大化对象数据点相对于背景数据点的联合概率来确定第一矩形边界和第二矩形边界。

根据本发明的一个实施例，其中最大化联合概率确定以对象数据点为中心的3×3网格，其中所述3×3网格的中心网格包括一个或多个对象数据点并且不包括背景数据点。

根据本发明的一个实施例，其中第一矩形边界被定义为3×3网格的中心网格，并被用作基于联合概率确定第二矩形边界的起始点。

根据本发明的一个实施例，其中联合概率是贝叶斯概率，其中对象数据点属于对象的概率由对象数据点在先前时间步长属于对象的概率来决定。

根据本发明的一个实施例，其中联合概率是通过最大化联合概率的自然对数来确定。

根据本发明的一个实施例，其中通过确定联合概率中的每一个的自然对数的梯度来最大化联合概率。

附图说明

图1是示例车辆的框图；

图2是激光雷达传感器和3D数据点的图；

图3是激光雷达传感器和3D数据点的图；

图4是激光雷达传感器和3D数据点的图；

图5是激光雷达传感器和3D数据点的图；

图6是用于驾驶车辆的示例过程的流程图；

图7是用于驾驶车辆的示例过程的流程图；

图8是封闭矩形的图。

具体实施方式

车辆可以配备为在自主和乘员驾驶模式下操作。通过半自主或完全自主的模式，我们是指其中车辆可以由作为具有传感器和控制器的车辆信息系统的一部分的计算设备来驾驶的操作模式。车辆可以被占用或不被占用，但是在任何情况下都可以在没有乘员帮助的情况下驾驶车辆。为了本公开的目的，自主模式被定义为其中车辆推进(例如经由包括内燃机和/或电动马达的动力传动系统)、制动和转向中的每一个由一个或多个车辆计算机控制的模式；在半自主模式下，车辆计算机(一个或多个)控制车辆推进、制动和转向中的一个或两个。

车辆可以配备有计算设备、网络、传感器和控制器来驾驶车辆并且确定包括道路等特征的周围现实世界的地图。可以驾驶车辆，并且可以基于在周围现实世界中定位和识别道路标志来确定地图。通过驾驶我们指的是指挥车辆的移动，以便沿着道路或路径的其他部分移动车辆。

图1是车辆信息系统100的示意图，根据公开的实施方式，该车辆信息系统100包括可以在自主(“自主”本身在本公开内容中意指“完全自主”的)和乘员驾驶(也被称为非自主)模式下操作的车辆110。车辆110还包括一个或多个计算设备115，其用于在自主操作期间执行用于驾驶车辆110的计算。计算设备115可以从传感器116接收关于车辆操作的信息。

计算设备115包括处理器和诸如已知的存储器。此外，存储器包括一种或多种形式的计算机可读介质，并且存储由处理器执行的用于执行各种操作的指令，包括如本文所公开的。例如，计算设备115可以包括用于操作车辆制动器、推进器(例如通过控制内燃机、电动马达、混合发动机等中的一个或多个来控制车辆110中的加速度)、转向装置、气候控制装置、内部和/或外部灯等中的一个或多个的程序设计，以及确定是否以及何时由计算设备115而非人类操作者来控制这样的操作的程序设计。

计算设备115可以包括多于一个计算设备或诸如经由下面进一步描述的车辆通信总线通信地连接到多于一个计算设备，例如包括在车辆110中的用于监控和/或控制的各种车辆部件的控制器等，诸如动力传动系统控制器112、制动控制器113、转向控制器114等。计算设备115通常被布置用于在诸如车辆110中的总线的车辆通信网络(诸如控制器局域网(CAN)等)上进行通信；车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。

经由车辆网络，计算设备115可以向车辆中的各种设备发送消息和/或从各种设备接收消息，各种设备例如为包括传感器116的控制器、驱动器、传感器等。或者或另外，在计算设备115实际上包括多个设备的情况下，车辆通信网络可以用于在本公开中表示为计算设备115的设备之间的通信。此外，如下所述，各种控制器或感测元件可以经由车辆通信网络向计算设备115提供数据。

另外，计算设备115可以被配置为经由网络130与远程服务器计算机120(例如云服务器)通过车对基础设施(V-I)接口111进行通信，如下所述，网络130可以利用各种有线和/或无线联网技术，例如蜂窝、

和有线和/或无线分组网络。计算设备115还包括诸如已知的非易失性存储器。计算设备115可以通过将信息存储在非易失性存储器中来记录信息，以供稍后检索和经由车辆通信网络和V-I接口111发送到服务器计算机120或用户移动设备160。

如已经提到的，通常包括在存储在存储器的指令中并且由计算设备115的处理器执行的是用于在没有人类操作者的干预的情况下操作一个或多个车辆110部件(例如制动器、转向装置、推进器等)的程序设计。使用在计算设备115中接收的数据，例如来自传感器116、服务器计算机120等的传感器数据，计算设备115可以进行各种确定和/或控制各种车辆110部件和/或操作，而无需驾驶员来操作车辆110。例如，计算设备115可以包括用于调节车辆110的例如速度、加速度、减速度、转向等操作行为以及诸如车辆之间的距离和/或车辆之间的时间量、车辆之间的车道变换最小间隙、左转穿过路径最小值(left-turn-across-path minimum)、到达特定位置的时间和穿过十字路口的十字路口(无信号)最短抵达时间的战术行为的程序设计。

这里使用的术语“控制器”包括通常被编程为控制特定车辆子系统的计算设备。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可以是诸如已知的电子控制单元(ECU)，可能包括如本文所述的附加程序设计。控制器可以通信地连接到计算设备115并且接收来自计算设备115的指令，以根据该指令来驱动子系统。例如，制动控制器113可以从计算设备115接收指令以操作车辆110的制动器。

用于车辆110的一个或多个控制器112、113、114可以包括已知的电子控制单元(ECU)等，其包括作为非限制性示例的一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可以包括相应的处理器和存储器以及一个或多个驱动器。控制器112、113、114可以被编程并连接到诸如控制器局域网(CAN)总线或局部互连网络(LIN)总线的车辆110通信总线，以从计算机115接收指令并基于该指令控制驱动器。

传感器116可以包括已知经由车辆通信总线提供数据的各种设备。例如，固定到车辆110的前保险杠(未示出)的雷达可以提供从车辆110到车辆110前方的下一个车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可以提供车辆110的地理坐标。由雷达提供的距离或由GPS传感器提供的地理坐标可以被计算设备115使用以自主地或半自主地操作车辆110。

车辆110通常是具有三个或更多个车轮的陆上自主车辆110，例如乘用车、轻型卡车等。车辆110包括一个或多个传感器116、V-I接口111、计算设备115和一个或多个控制器112、113、114。

传感器116可以被编程为收集与车辆110以及车辆110正在操作所处的环境相关的数据。作为示例而非限制，传感器116可以包括例如高度计、摄像机、激光雷达、雷达、超声波传感器、红外传感器、压力传感器、加速计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、诸如开关的机械传感器等。传感器116可用于感测车辆110正在操作所处的环境，例如天气条件、道路坡度、道路或邻近车辆110的位置。传感器116还可以用于收集与车辆110的操作相关的动态车辆110数据，例如速度、横摆率、转向角、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、部件之间的连接性以及车辆110的电气和逻辑健康性。

图2是交通场景200的图，其中具有激光雷达传感器202的车辆110中的计算设备115引导激光雷达传感器202来获取3D数据点204、206。3D数据点204、206分为两组；背景3D数据点204(实心圆)和对象3D数据点206(空心圆)。可以使用众所周知的机器视觉技术将3D数据点204、206自动标记为背景3D数据点204或对象3D数据点206。例如，可以获取表示静态或静止背景的3D数据点的先前地图。在该时间之后获得的匹配静态背景的任何3D数据点204、206可以被标记为“背景”3D数据点204，并且与静态背景不匹配的任何3D数据点被标记为“对象”3D数据点206。

在交通场景200中，计算设备115已经基于对象3D数据点206确定了第一估计的封闭矩形208(灰色虚线)。可以如图8所示地定义封闭矩形800。图8是相对于XY坐标轴802由两组平行线804、806、808、810的交点限定的封闭矩形800的图。例如，XY坐标轴802可以被限定在与道路的可驾驶表面平行的平面中。例如，XY坐标轴802可以被定义为与地理方向对齐指向，其中一个轴指向北。在另一种情况下，例如，可以将XY坐标轴802定义为与车辆110的姿势对齐指向，其中一个轴指向车辆110的行驶方向。在任一情况下，封闭矩形800可以由正交的平行线对804、806、808、810的位置、尺寸和姿势来限定。

封闭矩形800的位置可以被定义为顶点814的XY坐标(x₁,y₁)，例如相对于XY坐标轴802的原点820的XY坐标(x₀,y₀)定义的。原点820可以与车辆110上的预定位置(例如质心)相关联，并且因此当车辆110在道路上移动时，原点820将在XY平面中平移。封闭矩形800的尺寸和姿势可以基于顶点812、814的XY坐标(x₁,y₁)，(x₂,y₂)确定，例如长度(图8中的L)和宽度(图8中的W)的尺寸可以被确定为：

W＝x₂-x₁ (1)

L＝y₂-y₁ (2)

以及定义为相对于XY坐标轴802的角度(图8中的Θ)的姿势被定义为：

返回到图2，计算设备115基于由激光雷达传感器202获取的真实但是对于计算设备115未知的对象封闭矩形210(左对角阴影线)的对象3D数据点206，通过使用通过首先选择第一封闭矩形208的起始姿势来确定第一封闭矩形208的参数的基于规则的方法，来估计封闭矩形208(灰色虚线)。例如，起始姿势可以使第一封闭矩形208的边分别平行于XY坐标轴802。然后，例如，计算设备115迭代地将正交的平行线对调整到封闭最大数量的对象3D数据点206同时不封闭背景3D数据点204所需的最小尺寸。

起始姿势可以用来自第一激光雷达扫描的启发式框尺寸(heuristic box size)来初始化，或者可以通过如下面题为“边界框估计”的部分所述的为先前的封闭矩形分配模型参数的“漫射”或均匀分布来确定边界框，从而初始化起始姿势。以这种方式，边界框估计算法可以被告知我们没有关于边界框的任何信息，但是允许边界框估计算法从通过第一激光雷达扫描获得的3D数据点中找到最佳的条件拟合。

计算设备115已知的关于在通过第一激光雷达扫描获取3D数据点时的边界框尺寸的先前信息可用于调整边界框估计。例如，已知行车道上的对象很少超过车道宽度并且可以与车道对齐。关于模型参数的初始先验分布的信息可被编码到第一边界框估计算法迭代中。

图3是在包括激光雷达传感器202的车辆110已经移动的新时间步长发生的交通场景300的图。激光雷达传感器202已经为计算设备115提供了新的背景3D数据点304(实心六边形)和对象3D数据点306(空心六边形)的样本。计算设备115已经在新的时间步长中基于对象3D数据点306和第一估计的封闭矩形208通过联合贝叶斯推断形成了真实但未知的对象封闭矩形210(左对角阴影线)的第二估计的封闭矩形308(虚线)，第一估计的封闭矩形208如在下文的标题为“边界框估计”的部分中所讨论的。

标题为“边界框估计”的下面部分是对使用贝叶斯推断执行边界框估计所需的计算的推导，其通过由随机变量Z _1:k的向量表示的当前和先前观察通过以下公式决定概率分布p来实现，Z _1:k表示与封闭框相关联的参数：

也如下面的方程(7)所示，其中p(Z _k|B,C _k,Θ_k,Z _1:k-1)表示在时间步长k处的测量似然，p(B|Z _1:k-1)表示先前时间步长的框尺寸以及

表示随机过程模型，该模型在时间步骤k和k-1处，根据与先前时间步长的封闭框相关联的框参数，对3D数据点B(位置)以及封闭框参数C _k,Θ_k(尺寸和姿势)的联合贝叶斯概率进行建模。这些因子通过除以p(Z _k)(在时间步长k的封闭框数据的边际概率)来归一化。附录A通过计算对数似然函数的梯度并由此使测量似然最大化来显示以联合贝叶斯概率分布的形式的p(Z _k|B,C _k,Θ_k,Z _1:k-1)(测量似然)的解。

基于对象3D数据点306和第一估计的封闭矩形208，最大化联合贝叶斯概率分布确定第二估计的封闭矩形308。注意，当来自交通场景300的3D数据点304、306与第一估计的封闭矩形208组合时，第二估计的封闭矩形308表示对真实但对计算设备115未知的对象封闭矩形210的改进的估计。还要注意，在这种情况下，第二估计的封闭矩形308的姿势不从第一估计的封闭矩形208的姿势改变。如果第一估计的封闭矩形208的姿势没有恰巧与真实但未知的封闭矩形210的姿势匹配，则不一定如此。在这种情况下，第二估计的封闭矩形308的姿势将比第一估计的封闭矩形208的姿势更接近真实但未知的封闭矩形210的姿势。

图4是在另一新的时间步长发生的交通场景400的图，其中车辆110已经再次移动，车辆包括激光雷达传感器202。激光雷达传感器202已经为计算设备115提供了新的背景3D数据点404(实心圆)和对象3D数据点406(空心圆)的样本。计算设备115已经基于对象3D数据点406和第二估计的封闭矩形308通过在新的时间步长处最大化以上关于图3和标记为“边界框估计”的部分所讨论的联合贝叶斯概率分布形成了真实但未知的对象封闭矩形210(左对角阴影线)的第三估计的封闭矩形408(虚线)。

再次注意，当来自交通场景400的3D数据点404、406与先前估计的封闭矩形308组合时，估计的封闭矩形408表示对真实但未知的对象封闭矩形210的改进的估计。例如，如果第二估计的封闭矩形308的姿势没有恰巧与真实但未知的对象封闭矩形210的姿势的匹配，则第三估计的封闭矩形408的姿势可以比第二估计的封闭矩形308的姿势更接近真实但未知的对象封闭矩形210的姿势。

图5是在另一个新的时间步长发生的包括激光雷达传感器202的车辆110已经再次移动的交通场景500的图。激光雷达传感器202已经为计算设备115提供了新的背景3D数据点504(实心圆)和对象3D数据点506(空心圆)的样本。计算设备115已经基于对象3D数据点406和第三估计的封闭矩形406通过在新的时间步长处最大化以上关于图3和标记为“边界框估计”的部分所讨论的联合贝叶斯概率分布形成了真实但未知的对象封闭矩形210(左对角阴影线)的第四估计的封闭矩形508(灰色虚线)。

再次注意，当来自交通场景500的3D数据点504、506与先前估计的封闭矩形408组合时，第四估计的封闭矩形508再次表示对真实但未知的对象封闭矩形210的改进的估计。如果第三估计的封闭矩形408的姿势没有恰巧与真实但未知的对象封闭矩形210的姿势的匹配，则第四估计的封闭矩形508的姿势可以比第三估计的封闭矩形408的姿势更接近真实但未知的对象封闭矩形210的姿势。

图6是关于图1-5描述的用于基于确定的对象驾驶车辆110(例如如上所述)的过程600的流程图的图。例如，过程600可以由计算设备115的处理器实现，处理器从传感器116获取输入信息，并且执行指令和经由控制器112、113、114发送控制信号。过程600包括以所公开的顺序采取的多个步骤。过程600还包括包含更少步骤的实施方式或者可以包括以不同顺序采取的步骤。

过程600从步骤602开始，其中计算设备115基于多个第一对象3D数据点206确定第一对象。可以使用基于规则的方法，通过确定第一估计的封闭矩形208的参数来确定第一对象，该方法通过首先选择第一封闭矩形208的起始姿势并且然后迭代地将正交线对调整到在不封闭背景3D数据点204的同时封闭最大数目的对象3D数据点206所需的最小尺寸来确定第一封闭矩形208的参数，如以上关于图2所讨论的。计算设备115还可以通过预先确定用于第一次迭代的模型参数来确定起始姿势，如以上关于图2所讨论的。

在步骤604，计算设备115通过基于根据如上关于图3以及标记为“边界框估计”的部分所讨论的多个第二对象3D数据点306和第一估计的封闭矩形208最大化联合贝叶斯概率分布确定第二估计的封闭矩形308的参数，来确定第二对象。

在步骤606处，计算设备115基于在步骤604中确定的第二对象来驾驶车辆110。计算设备可以通过使用共同未决申请XX/XXX,XXX(题为“通过无监督学习的对象跟踪”，并且其具有相同的发明人并被转让给与本申请相同的受让人)中讨论的技术来最大化联合贝叶斯概率分布，来确定激光雷达传感器202的视场中的多个对象，该申请的全部内容通过引用并入本文。计算设备115可以通过预测激光雷达传感器202的视场中的对象的路径然后规划车辆110到达预定位置同时避开对象的路径，来驾驶车辆110。

总之，过程600描述了一个过程，通过该过程：计算设备115可以使用激光雷达传感器202获取第一对象3D数据点206、基于第一对象3D数据点确定第一对象、使用激光雷达传感器202获取第二对象3D数据点306、并且基于第一对象和第二对象3D数据点确定激光雷达传感器202的视场中的第二对象、并且基于所确定的第二对象驾驶车辆110到达预定位置同时避开对象。

图7是关于图1-5描述的用于基于3D数据点和先前估计的封闭矩形(例如如上所述)确定估计的封闭矩形的过程700的流程图的图。例如，过程700可以由计算设备115的处理器实现，处理器从传感器116获取输入信息，并且执行指令和经由控制器112、113、114发送控制信号。过程700包括以所公开的顺序采取的多个步骤。过程700还包括包含更少步骤的实施方式或者可以包括以不同顺序采取的步骤。

过程700在步骤702开始，其中计算设备115将获取的3D数据点与之前获取的3D数据点进行比较，以确定背景3D数据点和对象3D数据点，如以上关于图2所讨论的。在步骤704处，计算设备形成由每个对象的每个对象3D数据点决定的联合贝叶斯概率分布，所述每个对象3D数据点由先前时间步长的结果决定，如上面关于图3和附录A所讨论的。

在步骤706处，计算设备形成3×3网格，其与在先前时间步长处估计的封闭矩形对齐，如标记为“边界框估计”的部分的表1中所示，其中根据概率分类法计算对象3D数据点的联合贝叶斯概率分布，其中估计的封闭矩形内的对象3D数据点在类别1中，并且在估计的封闭矩形外部出现的对象3D数据点在类别2-9中。

例如，在步骤708，通过根据如在标记为“边界框估计”的部分讨论的3×3网格上的概率分类法，最大化由先前估计的矩形边界决定的对象3D数据点的联合贝叶斯概率分布来确定所估计的矩形边界，并且在步骤710中，计算设备115可以将估计的矩形边界输出到例如过程600的过程以驾驶车辆110。过程700在框708之后结束。

总之，过程700是用于将3D数据点与先前获取的点进行比较以确定对象3D数据点、基于对象3D数据点以及根据3×3网格上的先前估计的封闭矩形来形成联合贝叶斯概率分布、以及基于对象3D数据点以及先前估计的封闭矩形估计新的封闭矩形、以及输出新的估计的封闭矩形的过程。

边界框估计

随机变量B、C _k和随机变量Θ_k的矢量的概率分布p可以使用由随机变量Z _1:k的矢量表示的当前和之前观察值来决定概率分布p的贝叶斯推断来通过以下公式估计，随机变量B、C _k表示将时间步长k处的3D数据点与封闭框相关联的参数，随机变量Θ_k表示在时间步长k处与封闭框相关联的参数，以及随机变量Z _1:k表示与封闭框相关联的参数：

其中p(Z _k|B,C _k,Θ_k,Z _1:k-1)表示时间步长k处的测量似然，p(B|Z _1:k-1)表示先前时间步长的框尺寸以及

表示随机过程模型，该模型模拟3D数据点B和在时间步长k和k-1处的封闭框参数C _k、Θ_k的联合贝叶斯概率，由框尺寸和来自先前时间步长的与封闭框相关联的参数决定。这些因子通过除以p(Z _k)(在时间步长k的封闭框数据的边际概率)来归一化。

关注测量似然，我们首先假设每个数据点是独立的，按照等式：

其中符号||表示“统计独立”，这意味着模型的最大似然可以计算为：

其中

算子表示在3D数据点l从1到n_Z(3D数据点的数量)的情况下的“贝叶斯概率分布的乘积”。为了简化，省略时间步长标记(_k)，分别查看每个3D数据点，从分类角度接近每个3D数据点，其中作为边界框正交排列的两组平行线(边界1、边界2和边界3、边界4)形成如表1所示的网格：

表1边界框类别和边界

在局部坐标系中，类别1的边界条件是：

其中：

并且其中数组(A7)的第1行

＝边界1左侧，数组(A7)的第2行

＝边界2的右侧，数组(A7)的第3行

＝边界3下方，数组(A7)的第4行

＝边界4上方。这些类别可以用下面的等式来定义其边界：

其中：

以及

其中9×2矩阵的行分别表示从上到下的类别1-9。

使用逻辑/softmax函数可以确定“柔性”边界：

其中：

以及

现在，假设softmax函数精确地标记对象(例如类别1)或没有精确地标记(例如类别2-9)。这促使形成一个“超类”，等于所有大于1的类别的联合。

回到模型最大似然计算并代入得出：

在这一点上，有两个选择来解决最大似然计算：

1.以EKF(扩展卡尔曼滤波)预测为p(C _k,Θ_k|B,Z _1:k-1)。请注意，在这种情况下，C _k和Θ_k的边际后验概率分布不能用于EKF作为观察，因为它是狭隘的。

2.假设C _k和Θ_k的均匀/非信息/扩散先验边际后验概率分布。那么我们可以使用边际后验概率分布作为EKF计算中的观察值。

假设选项2：

将聚类(对象)标记添加到表示法中：

注意

使用这个表示法重述方程式20：

取自然对数：

现在计算梯度。首先，使：

以及

其中

取决于极性的形式，可以设置为使其可能与其在先前时间步长时“一样大”。

继续推导：

代入：

其中：

然后，经由商法则：

以及经由链式法则：

以及

其中

以及

将33代入31，并将结果代入29并且简化结果：

并且代入f_j：

代入对数似然梯度并取消Φ_l：

其中：

Θ′可以按以下公式计算：

其中：

并且差值

计算为：

总之，要被最大化的对数似然函数是：

L＝ln[p(B|Z _1:k-1)]+∑_l∈INln(Φ_l)+∑_l∈OUTln(1-Φ_l) (60)

以及它的梯度为：

其中：

以及：

现在，λ是与softmax函数的“锐度”成正比的调谐参数，其中：

Φ_l＝一个点确实来自一个对象的测量概率，

1-Φ_l＝一个点不是源自对象的测量概率，以及

＝在内/在外的对象的点的概率比。

通过找到Hessian(海赛函数)，梯度可以被用来最大化对数似然函数：

其中：

使用乘积法则以分母格式表示

现在使用商法则：

代回到(66)：

以及

其通过商法则等于：

其中：

其可以代入(71)：

并且

其中：

其可以代回到(74)：

并且代回到(70)：

结果：

这是希望的Hessian形式。

可以计算为：

诸如这里讨论的那些计算设备通常各自包括可由一个或多个计算设备(诸如上述那些)执行以及用于执行上述过程的框或步骤的指令。例如，上面讨论的过程框可以被实现为计算机可执行指令。

计算机可执行指令可以由计算机程序编译或解释，计算机程序采用多种编程语言和/或技术创建，这些编程语言和/或技术包括但并不限于单独地或组合的Java^TM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此完成一个或多个程序，包括这里所描述的一个或多个程序。这样的指令或其他数据可以存储在文件中和采用各种计算机可读介质发送。计算设备中的文件通常是存储在诸如存储介质、随机存取存储器等的计算机可读介质上的数据的集合。

计算机可读介质包括任何参与提供数据(例如指令)的介质，该数据可以由计算机(例如计算机处理器)读取。这样的介质可以采用多种形式，包括但不限于非易失性介质和易失性介质等。非易失性介质可以包括例如光盘或磁盘或其他永久性存储器。易失性介质可以包括典型地构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常规形式包括，如软盘、柔性盘、硬盘、磁盘、任何其他磁性介质、CD-ROM(只读光盘驱动器)、DVD(数字化视频光盘)、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、RAM(随机存取存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、FLASHEEPROM(闪速电可擦除可编程只读存储器)、任何其他存储器芯片或盒，或者任何其他计算机可读取的介质。

在权利要求中所使用的所有术语旨在给予其最宽泛的合理的解释以及应被本领域的技术人员理解为其最常用的意思，除非在这里做出了明确的相反的指示。特别地，单数冠词“一”、“该”、“所述”等的使用应该理解为表述一个或多个所示元件，除非做出了与此相反的明确限制。

术语“示例性”在本文中用于表示示例的意义，例如，对“示例性小部件”的指代应该被解读为仅仅指代小部件的示例。

修饰值或结果的副词“近似”意味着形状、结构、测量、值、确定、计算等可能偏离精确描述的几何、距离、测量、值、确定、计算等，因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等方面存在缺陷。

在附图中，相同的附图标记表示相同的元件。而且，这些元件中的一些或全部都可以改变。关于这里所述的介质、过程、系统、方法等，应理解的是虽然这样的过程等的步骤描述为按照一定的顺序排列发生，但这样的过程可以采用以这里描述的顺序之外的顺序完成的描述的步骤实施操作。进一步应该理解的是，某些步骤可以同时执行，可以添加其他步骤，或者可以省略这里所述的某些步骤。换言之，这里的程序的描述提供用于说明某些实施例的目的，并且不应该以任何方式解释为限制要求保护的发明。

Claims (14)

1.一种用于车辆的方法，包括：

获取多个第一3D数据点和多个第二3D数据点；

根据所述多个第一3D数据点确定以对象为中心的第一矩形边界；

基于所述第一矩形边界和所述多个第二3D数据点通过联合概率确定以所述对象为中心的第二矩形边界；以及

基于所述对象驾驶车辆，

其中，所述对象通过随机变量Z _1:k的联合贝叶斯概率分布p(B,C _k,Θ_k|Z _1:k)来建模，所述联合贝叶斯概率分布p(B,C _k,Θ_k|Z _1:k)由以下方程确定：

2.根据权利要求1所述的方法，其中所述3D数据点由激光雷达确定。

3.根据权利要求1所述的方法，其中确定所述对象包括确定所述第一矩形边界和所述第二矩形边界的位置、姿势和尺寸。

4.根据权利要求1所述的方法，其中确定所述对象包括将所述第一3D数据点与先前获取的3D数据点进行比较以确定对象数据点和背景数据点。

5.根据权利要求4所述的方法，其中所述第一矩形边界和所述第二矩形边界是通过使所述对象数据点相对于所述背景数据点的联合概率最大化来确定的。

6.根据权利要求5所述的方法，其中最大化所述联合概率确定以所述对象数据点为中心的3×3网格，其中所述3×3网格的中心网格包括一个或多个对象点并且不包括背景数据点。

7.根据权利要求6所述的方法，其中所述第一矩形边界被定义为所述3×3网格的中心网格，并且被用作基于所述联合概率确定所述第二矩形边界的起始点。

8.根据权利要求7所述的方法，其中所述联合概率是贝叶斯概率，其中对象数据点属于所述对象的概率由所述对象数据点在先前时间步长中属于所述对象的概率来决定。

9.根据权利要求8所述的方法，其中联合概率最大化是通过使所述联合概率的自然对数最大化来确定的。

10.根据权利要求9所述的方法，其中通过确定每个所述联合概率的自然对数的梯度来使所述联合概率最大化。

11.根据权利要求3所述的方法，其中所述矩形边界是由两点和一个角定义的矩形。

12.根据权利要求1所述的方法，其中p(Z _k|B,C _k,Θ_k,Z _1:k-1)是在时间步长k处的测量似然，p(B|Z _1:k-1)表示先前的时间步长的框尺寸，并且

表示模拟时间步长k和k-1处的3D数据点B(位置)以及封闭框参数C _k、Θ_k(尺寸和姿势)的所述联合贝叶斯概率的随机过程模型。

13.一种用于车辆的系统，包括被编程为执行权利要求1-12中任一项的方法的计算机。

14.一种用于车辆的装置，包括：

处理器；

存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：

获取多个第一3D数据点和多个第二3D数据点；

根据所述多个第一3D数据点确定以对象为中心的第一矩形边界；基于所述第一矩形边界和所述多个第二3D数据点通过联合概率确定以所述对象为中心的第二矩形边界；以及

基于所述对象驾驶车辆，

其中，所述对象通过随机变量Z _1:k的联合贝叶斯概率分布p(B,C _k,Θ_k|Z _1:k)来建模，所述联合贝叶斯概率分布p(B,C _k,Θ_k|Z _1:k)由以下方程确定：

Images