CN114450735A - 一种联合预测运动对象轨迹的系统和方法 - Google Patents

Abstract

本说明书实施例提供一种用于联合预测至少两个运动对象的运动轨迹的方法和系统，该系统包括一种通信接口，被配置为接收至少两个运动对象运动区域的地图以及与至少两个运动对象相关联的传感器数据；以及至少一个处理器，被配置为：将至少两个运动对象在地图中定位；基于传感器数据确定每个运动对象的对象特征，对象特征表征各个运动对象的运动；确定运动对象的规则特征，规则特征表征运动对象需要遵守的交通规则；以及基于对象特征和规则特征，使用机器学习模型联合预测至少两个运动对象的运动轨迹。

Description

一种联合预测运动对象轨迹的系统和方法

交叉引用相关申请

本申请与[ADD INVENTOR]题为[ADD TITLE]的国际申请、[ADD INVENTOR]题为[ADD TITLE]的国际申请和[ADD INVENTOR]题为[ADD TITLE]的国际申请有关，均属于同时提交。所有上述申请的全部内容通过引用并入本文。

技术领域

本说明书涉及自动驾驶领域，特别涉及一种联合预测运动对象轨迹的系统和方法。

背景技术

车辆与其他车辆、自行车、行人和其他对象(如交通标志、路障、围栏等)共用道路。因此，驾驶员需要不断调整驾驶，以避免与各类障碍物碰撞。虽然有些障碍物通常是静态的，因此很容易避开，但有些障碍物可能是运动的。对于运动的障碍物，驾驶员不仅要观察其当前位置，而且还要预测其运动轨迹，以便确定其将来的位置。例如，车辆附近的行人可能穿过车辆前方的道路，也可能沿着与车辆行驶方向平行的方向前进，或者停下来。驾驶员通常基于观察，例如，行人的行进速度、行人的朝向、以及行人提供的任何手势信号等，来预测其位置。

当多个运动对象出现在一个区域时，这些对象的运动可能会进一步受到彼此的影响。例如，当车辆、自行车和行人在同一个十字路口时，他们的运动轨迹会进一步受到当时拥有通行权的人或车辆的影响。因此，在预测多个运动对象的运动轨迹时，靠近多个运动对象的驾驶员不仅需要考虑每个运动对象的状态信息，还需要考虑这些对象之间可能的相互影响。

自动驾驶车辆需要做出类似的决定来避免障碍物。因此，自动驾驶技术严重依赖于对其他运动障碍物的轨迹的自动化预测。然而，现有的预测系统和方法受到车辆“观察”(例如，收集相关数据)的能力、处理数据的能力以及基于数据做出准确预测的能力的限制。预测同时存在的多个运动对象的轨迹特别具有挑战性。因此，自动驾驶车辆可以受益于对现有预测系统和方法的改进。

本说明书的实施例通过提供用于使用从地图和传感器数据中提取的对象特征和规则特征联合预测多个运动对象的运动轨迹的系统和方法，改进了现有的自动驾驶预测系统和方法。

发明内容

本说明书一个或多个实施例提供一种用于联合预测至少两个运动对象的运动轨迹的系统。所述用于联合预测至少两个运动对象的运动轨迹的系统包括：一种通信接口，被配置为接收所述至少两个运动对象移动区域的地图以及与所述至少两个运动对象相关联的传感器数据；以及至少一个处理器，被配置为：将所述至少两个运动对象在所述地图中定位；基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个运动对象的运动；确定所述运动对象的规则特征，所述规则特征表征运动对象需要遵守的交通规则；以及基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

本说明书实施例之一提供一种用于联合预测至少两个运动对象的运动轨迹的方法。所述用于联合预测至少两个运动对象的运动轨迹的方法包括：通过通信接口接收所述至少两个运动对象运动区域的地图以及与所述至少两个运动对象相关联的传感器数据；通过至少一个处理器定位所述地图中的所述至少两个运动对象；由所述至少一个处理器基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个运动对象的运动；由所述至少一个处理器确定所述运动对象的规则特征，所述规则特征表征所述运动对象需要遵守的交通规则；以及由所述至少一个处理器基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

本说明书一个或多个实施例提供一种非暂时性计算机可读介质存储有指令，当所述指令由至少一个处理器执行时，使所述至少一个处理器执行包括以下操作的操作：接收至少两个运动对象运动区域的地图和与所述至少两个运动对象相关联的传感器数据；在地图中定位所述至少两个运动对象；基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个所述运动对象的运动；确定所述运动对象的规则特征，所述规则特征表征所述运动对象需要遵守的交通规则；以及基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

应当理解的是，上述发明内容和以下详细描述仅仅是示例性的说明，这些实施例是非限制性的。

附图说明

图1是根据本说明书的实施例所示的包括多个运动对象的示例性十字路口的场景示意图；

图2A是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的系统的场景示意图；

图2B是根据本说明书的实施例所示的多个运动对象的候选轨迹的场景示意图；

图3是根据本说明书的实施例所示的配备传感器的车辆的示意图；

图4是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的服务器的示例性模块图；

图5是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的方法的示例性流程图。

具体实施方式

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。在这些实施例中，相同的编号表示相同的结构。

图1是根据本说明书的实施例所示的包括多个运动对象的示例性十字路口的场景示意图。图1示出了包括多个运动对象(例如，车辆120和车辆130、自行车140和行人150)的示例性十字路100的示意图。如图1所示，十字路100包括两条道路，一条在垂直方向上(称为“道路A”)，另一条在水平方向上(称为“道路B”)，两条道路彼此交叉，十字路100还包括交通信号灯160和162。为了便于描述，图中道路A在南北方向上延伸，道路B在东西方向上延伸。可以想象，道路A和B可以向任何其他方向延伸，并且不一定相互垂直。

道路A和B均可以为双向道路。例如，道路B包括第一方向车道102和104以及第二方向车道108和110。第一和第二方向可以彼此相反，并由分隔物分隔。可以想象，其中一条或两条道路可能是单向的和/或有更多或更少的车道。

多辆车辆可能会在两个方向的道路上行驶。例如，车辆120可能在第一方向车道102上向东行驶，车辆130可能在第二方向车道103上向西行驶。在一些实施例中，车辆120和130可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。在一些实施例中，车辆120可以是自动驾驶车辆或半自动驾驶车辆。

如图1所示，多辆自行车可以在十字路100上行进，例如，车道104。例如，骑行者可以骑着自行车140在车道104上向东行驶。与本说明书一致，自行车可以是机械自行车、电动自行车、踏板车、电动滑板车或不是电动车辆的任何运输工具。在一些实施例中，车道104可以使用车道标记以指示它是自行车道。在一些实施例中，自行车可以与车辆共享车道104。在一些其他实施例中，车道104可以是与机动车道分离的专用自行车道(例如，车道102)。例如，自行车道可以通过线标记、护栏、围栏、植物或无入口区域与机动车道分离。在一些实施例中，可以标记“自行车道”字样，和/或在自行车道上标记指向预期交通方向的方向箭头，如图1所示。在另一个例子中，可在自行车道上标记自行车图标替代物或附加文字。

此外，行人可能在十字路口100处行走。例如，行人150可能在车道106上向北行走。在一些实施例中，行人可以与机动车和/或自行车共享车道106。在另一些实施例中，车道106可以是与机动车道分离的行人的专用人行道。例如，人行道可以通过线标记，护栏，围栏，植物条或空入口区域与机动车道分离。在一些实施例中，人行道可以用道路标记进行标记，如图1所示的字“行”。在另一个例子中，人行道上可以标记一个行人图标替代或附加的文字。

在一些实施例中，行人150可以在人行横道170上穿过道路。在一些实施例中，人行横道170可以使用路面上的白色条带(称为斑马线)进行标记。人行横道的交通方向垂直于条带。例如，人行横道170包含东西方向延伸的条带，以及再人行横道170上向北或向南穿过道路的行人150。在人行横道上行走的行人拥有优先通行权，其他交通工具将停止并向行人让行，直到行人过街。尽管图1仅示出了一个人行横道170，但可以想象，可能存在延伸不同方向的附加人行横道。还可以想象的是，人行横道170不必位于有交通信号灯的十字路口。在一些实施例中，人行横道可以存在于道路段的中间。

可以想象的是，自行车140和行人150可在不受交通信号灯管制和/或没有人行横道的地方常规通行。例如，自行车140和/或行人150可以左转以进入道路左侧的小径。在这种情况下，骑车人通常会在进入车道前向车辆做出手势。例如，骑自行车的人可能会将左臂指向左侧，发出左转信号；抬起左臂或将右臂指向右侧表示右转，或将左臂指向下方或将右手放在腰间表示他计划停车。同样，行人有时可能在进入车道前向车辆做出手势。例如，行人可能会举起手掌示意车辆停车或指向他打算行走的方向。

十字路口100处的车辆、自行车和行人的交通可由交通信号灯160和行人交通信号灯162进行规范。例如，交通信号灯160可以规范车辆交通，行人交通信号灯162可以规范自行车和行人的通行。在一些实施例中，交通信号灯160可包括三种颜色的灯：红色、黄色和绿色，以指示十字路口的通行权。在一些实施例中，交通信号灯160还可包括转向保护灯，以指示车辆左转、右转和/或掉头。例如，左转保护灯可以允许某些车道(通常是最左边的车道)的车辆左转，而不必向相反方向直行的车辆让路。

行人交通信号灯162可以在两种模式之间切换：“步行”模式和“请勿行走”模式。根据设计，行人交通信号灯可能会显示不同的文字或图标来指示模式。例如，当允许行人和自行车通过时，行人交通信号灯可以显示行人图标，当不允许行人和自行车通过时，行人交通信号灯可以显示手形图标。在一些实施例中，行人交通信号灯162可以使用其他不同的颜色、声音(例如，“哔”声)和/或闪烁来指示多种模式。例如，“步行”模式可以用绿色显示，“请勿行走”模式可以用红色显示。

在一些实施例中，十字路口100处的交通可由警察180进一步指挥。警察180可在特殊情况下(例如，例如交通信号灯故障、道路施工或道路上导致严重交通堵塞的事故时)使用手势指挥交通。警察180的指挥可以取代其他规定。

在一些实施例中，车辆120可配备轨迹预测系统(例如，图2A中所示的系统200)或与之通信，来联合预测道路上其他运动对象(例如，车辆130、自行车140和行人150。)的轨迹。在联合预测这些轨迹的同时，车辆120考虑了各个对象的运动特性即对象特征和各个对象都必须遵守的交通规则即规则特征。然后，基于这些对象的预测轨迹，车辆120做出自主控制决策，以避免在其自身行驶路径中出现这些对象。

图2B是根据本说明书的实施例所示的多个运动对象的候选轨迹的场景示意图。如图2B所示，车辆130可能在四条候选轨迹中行驶：右转的候选轨迹131、直行的候选轨迹132、左转的候选轨迹133和掉头的候选轨迹134。向东行驶的自行车140可能遵循四条候选轨迹：直线行驶的候选轨迹141、左转的候选轨迹142、转向并向西行驶的候选轨迹143，以及停车的候选轨迹144。朝北的行人150可能会遵循四条候选轨迹：一条候选轨迹151为穿过道路向北行走，一条候选轨迹152为左转向西行走，一条候选轨迹153为右转向东行走，以及一条候选轨迹154为停下。可以想象，图2B中所示的这些候选轨迹只是示例性的。

与本发明的实施例一致，轨迹预测系统可以“观察”(例如，通过各种传感器)运动对象，如车辆130和自行车140、行人150，以及周围的交通规则指示对象，如交通信号灯160、行人交通信号灯162、人行横道170、，警察180和十字路口100的交通标志等。然后，轨迹预测系统基于这些观察结果预测候选轨迹车辆130可能遵循的轨迹。在一些实施例中，可以使用机器学习模型(例如神经网络)来执行预测。在一些实施例中，可以确定各个候选轨迹151-154的概率。

与本发明的实施例一致，轨迹预测系统可以对运动对象和周围交通规则指示对象进行“观察”(例如，通过各种传感器)。基于在十字路口100上检测到的运动对象的类型和周围交通规则指示对象的状态，轨迹预测系统可以进一步检索或确定控制这些运动对象在十字路口100上的运动的交通规则。例如，车辆需要让行人以及人行横道170上的行人优先通行，以及所有运动对象都需要遵守警察180的指挥。然后，轨迹预测系统根据这些观察结果对运动对象可能分别遵循的候选轨迹进行联合预测。在一些实施例中，可以使用机器学习模型(例如，神经网络)来执行预测。在一些实施例中，可以为候选轨迹131-134、141-144和151-154的各自组合确定分数(例如，概率和排名)。

图2A是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的系统200的场景示意图。在一些实施例中，系统200可包括轨迹预测服务器210(为简单起见，也称为服务器210)。服务器210可以是配置或编程为联合预测多个运动对象的运动轨迹的通用服务器，或者是专门设计用于预测道路上各种对象的运动轨迹的专有设备。可以想象，服务器210可以是独立服务器或独立服务器的集成组件。在一些实施例中，服务器210可以集成到车辆上的系统中，例如车辆120中。

如图2A所示，服务器210可以接收和分析由各种数据源收集的数据。例如，数据可以由沿道路安装的传感器220(例如，包括传感器220)和/或安装在通过车道102行驶的车辆120上的一个或多个传感器230连续地、定期地或间歇性地采集。传感器220和230可包括雷达、激光雷达(LIDAR)、摄像机(例如监控摄像机、单目/双目摄像机、摄像机)、速度计或任何其他合适的传感器，以从采集表征运动对象的数据，例如车辆130、自行车140和行人150，以及运动对象周围的交通规则指示对象，例如人行横道160，交通信号灯162、人行横道170和警察180。例如，传感器220可包括采集这些对象的图像的一个或多个监控摄像机。

在一些实施例中，传感器230可包括测量车辆120和运动对象之间距离的激光雷达，并确定行人150在三维地图中的位置。在一些实施例中，传感器230还可以包括GPS和IMU(惯性测量单元)传感器，以采集车辆120的位置/姿势数据。在一些实施例中，传感器230还可以包括用于采集运动对象和周围交通规则指示对象管对象的图像的摄像机。由于传感器220和传感器230采集的图像来自不同角度，因此它们可以相互补充，以提供运动对象和周围交通规则指示对象的更详细信息。在一些实施例中，传感器220和230可获取跟踪运动对象(例如车辆、自行车、行人等)轨迹的数据。

在一些实施例中，传感器230可以安装在车辆120上，从而与车辆120一起行驶。例如，根据本发明的实施例，图3示出了配有传感器340-360的示例性车辆120。车辆120可具有车身310，其可以是任何车身类型，例如跑车、双门轿跑车、轿车、皮卡车、旅行车、运动型多用途车(SUV)、小型货车或改装货车。在一些实施例中，车辆120可包括一对前轮和一对后轮320，如图3所示。然而，可以想象，车辆120可以有更少的车轮或使车辆120能够四处移动的等效结构。车辆120可以被配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆120可以被配置为自动驾驶或半自动驾驶车辆。

图3是根据本说明书的实施例所示的配备传感器的车辆的示意图。如图3所示，根据本发明的实施例，传感器230可以包括各种类型的传感器340、350和360。传感器340可以通过安装结构330安装到车身310上。安装结构330可以是一个机电设备安装或连接到车辆120的车身310。在一些实施例中，安装结构330可使用螺钉、粘合剂或其他安装机构。车辆120还可以使用任何合适的安装机构，在车身310内部或外部配备传感器350和360。可以想象，传感器340-360可以安装在车辆120上的方式不受图3所示示例的限制，并且可以根据传感器340-360和/或车辆120的类型进行修改，以实现理想的传感性能。

与一些实施例一致，传感器340可以是通过用脉冲激光照亮目标并测量反射脉冲来测量到目标距离的激光雷达。激光返回时间和波长的差异可以用来制作目标的数字三维表示。例如，传感器340可测量车辆120与另一对象之间的距离。用于激光雷达扫描的光可以是紫外线、可见光或近红外光。因为激光束可以以非常高的分辨率绘制物理特征，所以激光雷达扫描仪特别适合在三维地图中定位对象。例如，激光雷达扫描仪可采集点云数据，其可用于定位车辆120和/或其他对象。

在一些实施例中，传感器350可包括安装在车身310上的一个或多个摄像头。尽管图3显示传感器350安装在车辆120的前部，但可以想象传感器350可以安装或安装在车辆120的其他位置，例如侧面、后视镜后方、挡风玻璃上、机架上或后部。传感器350可以被配置为采集车辆120附近对象的图像，例如道路上的车辆130、自行车140和行人150、交通信号灯(例如140和142)、人行横道170、警察180和/或交通标志。在一些实施例中，相机可以是单目或双目相机。双目照相机可以获取指示对象深度的数据(即，对象与照相机的距离)。在一些实施例中，相机可以是随时间采集图像帧的摄像机，从而记录对象的运动。

如图3所示，车辆120可另外配备传感器360，其可包括导航单元中使用的传感器，例如GPS接收器和一个或多个IMU传感器。GPS是向GPS接收器提供地理位置和时间信息的全球导航卫星系统。IMU是一种电子设备，使用各种惯性传感器(如加速计和陀螺仪，有时还包括磁强计)测量并提供车辆的特定力、角速率，有时还测量并提供车辆周围的磁场。通过结合GPS接收器和IMU传感器，传感器360可以在车辆120行驶时提供车辆120的实时姿势信息，包括车辆120在每个时间点的位置和方向(例如，欧拉角)。

与本发明一致，传感器340-360可以通过网络与服务器210通信，以连续、定期或间歇地传输传感器数据。在一些实施例中，任何合适的网络可用于通信，例如无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如，蓝牙Bluetooth^TM)。

回到图2A，系统200还可以包括三维地图数据库240。三维地图数据库240可以存储三维地图。三维地图可以包括覆盖不同地区的地图。例如，三维地图(或地图部分)可以覆盖十字路口100的区域。在一些实施例中，服务器210可以与三维地图数据库240通信，以基于车辆120的位置检索相关的三维地图(或地图部分)。例如，可以检索包含车辆120及其周围区域的GPS位置的地图数据。在一些实施例中，三维地图数据库240可以是服务器210的内部组件。例如，三维地图可以存储在服务器210的存储器中。在一些实施例中，三维地图数据库240可以在服务器210的外部，三维地图数据库240和服务器210之间的通信可以通过网络实现，例如上述各种网络。

服务器210可以被配置为分析从传感器230(例如，传感器340-360)接收的传感器数据和从三维地图数据库240接收的地图数据，以预测运动对象(例如，车辆130、自行车140和行人150)的轨迹。图4是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的服务器的示例性模块图。服务器210可以包括通信接口402、处理器404、记忆体406和存储器408。在一些实施例中，服务器210可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))或具有专用功能的单独设备。服务器210的组件可以位于集成设备中，或者分布在不同的位置，但是可以通过网络(图中未示出)彼此通信。

通信接口402可经由直接通信链路、无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络和/或本地无线网络(例如蓝牙Bluetooth^TM或WiFi)或其他沟通方式向传感器220和230等组件发送数据和从其接收数据。在一些实施例中，通信接口402可以是综合业务数字网(ISDN)卡、电缆调制解调器、卫星调制解调器或提供数据通信连接的调制解调器。作为另一示例，通信接口402可以是局域网(LAN)卡，以提供到兼容LAN的数据通信连接。无线链路也可以由通信接口402实现。在这样的实现中，通信接口402可以经由网络发送和接收携带代表各种类型信息的数字数据流的电、电磁或光信号。

与一些实施例一致，通信接口402可以接收由传感器220和/或230获取的传感器数据401，以及由三维地图数据库240提供的地图数据403，并将接收到的信息提供给记忆体406和/或存储器408以供存储，或提供给处理器404以供处理。传感器数据401可以包括采集各种运动对象(例如车辆130、自行车140和行人150)和其他周围对象(例如交通规则指示对象管对象)的信息。传感器数据401可以包含随时间采集的数据，这些数据表征了运动对象的运动。在一些实施例中，地图数据403可以包括点云数据。

通信接口402还可以接收机器学习模型405。在一些实施例中，机器学习模型405可由处理器404运行，机器学习模型405可以基于从传感器数据401和地图数据403提取的特征来联合预测各种运动对象的运动轨迹。在一些实施例中，机器学习模型405可以是预测模型，例如决策树学习模型、逻辑回归模型、强化学习模型或深度学习模型，例如卷积神经网络(CNN)。其他合适的机器学习模型也可以用作机器学习模型405。

决策树使用对项目的观察(以分支表示)来预测项目的目标值(以叶子表示)。例如，决策树模型可以预测多个假设结果的概率，例如，运动对象的候选轨迹的概率。在一些实施例中，梯度增强可与决策树学习模型相结合，以形成作为决策树集合的预测模型。例如，机器学习模型405可以成为由阶段决策树形成的梯度增强决策树模型。

在一些实施例中，机器学习模型405可以是预测离散变量值的逻辑回归模型。例如，逻辑回归模型可用于对几个假设结果进行排名，例如，对运动对象的候选轨迹进行排名。在一些实施例中，机器学习模型405可以是深度机器学习模型，例如包括多层的卷积神经网络。多个层可以包括一个或多个卷积层或全卷积层、非线性算子层、池或子采样层、全连接层和/或最终损失层。CNN模型的每一层生成一个或多个特征图。CNN模型通常适用于图像识别、视频分析和图像分类等任务，例如从图像或视频数据中识别对象。

在一些实施例中，可以使用运动对象的已知运动轨迹及其各自的样本特征(包括表征运动对象的对象特征和规定运动对象必须遵守的规则的规则特征)来训练机器学习模型405。在一些实施例中，对象特征可包括语义特征，例如每个运动对象的运动速度、每个运动对象的方向(即，对象面对的方向)、行人或骑自行车者的手势、人行横道的标记等。样本特征还可以包括从描述运动对象的数据中提取的非语义特征。在一些实施例中，规则特征可包括交通规则，其规定了各种运动对象之间的通行权、交通信号灯和行人交通信号灯的状态、警察的手势等。通行权规定了各种运动对象可能占据道路某一部分的顺序。例如，当行人想要穿过人行横道时，其他运动对象(例如车辆和自行车)必须让行。通行权可以由其他交通规则指示对象(例如，交通信号灯和警察)修改或以其他方式定义。例如，如果一个十字路口由行人交通信号灯控制，则面对处于“步行”模式的交通信号灯的行人拥有优先通行权。当一名警察在特殊情况下(例如，发生事故或路障)管理交通时，他可以通过手势向运动对象发出信号来规定通行权。

在一些实施例中，机器学习模型405可以由服务器210或另一计算机/服务器提前训练。如本文所用，机器学习模型的训练指确定机器学习模型中至少一层的一个或多个参数。例如，CNN模型的卷积层可包括至少一个滤波器或内核。至少一个滤波器的一个或多个参数，例如核权重、大小、形状和结构，可以通过例如基于反向传播的训练过程来确定。机器学习模型405经过训练，使得当它将样本特征作为输入时，它将为基本上接近其已知轨迹的各种运动对象提供预测运动轨迹的组合。

处理器404可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器404可以被配置为专用于联合预测多个运动对象的运动轨迹的单独处理器模块。或者，处理器404可以被配置为共享处理器模块，用于执行与轨迹预测相关或无关的其他功能。或者，处理器404可以被配置为共享处理器模块，用于执行与轨迹预测相关或无关的其他功能。

如图4所示，处理器404可以包括多个模块，例如定位单元440、对象识别单元442、特征提取单元444、轨迹预测单元446等。这些模块(以及任何相应的子模块或子单元)可以是处理器404的硬件单元(例如，集成电路的部分)，设计用于与其他组件一起使用或执行程序的一部分。该程序可以存储在计算机可读介质(例如，记忆体406和/或存储器408)上，并且当由处理器404执行时，它可以执行一个或多个功能。尽管图4示出了单元440-446都在一个处理器404内，但是可以想象，这些单元可以分布在彼此靠近或远程的多个处理器之间。

定位单元440可以被配置为定位运动对象(例如，车辆130、自行车140、行人150)，其轨迹在地图数据403中被预测。在一些实施例中，传感器数据401可以包含采集到的运动对象的各种数据，以帮助定位。例如，由安装在车辆120上的传感器340采集的激光雷达数据可以揭示运动对象在点云数据中的位置。在一些实施例中，采集到的运动对象的点云数据可以与地图数据403匹配以确定其位置。在一些实施例中，诸如同时定位和映射(SLAM)之类的定位方法可用于定位运动对象。

在一些实施例中，可以在地图数据403上标记运动对象(例如，车辆130、自行车140、行人150)的位置。例如，点云数据P1的子集在时间T1标记为对应于行人150，点云数据P2的子集在时间T2标记为对应于行人150，点云数据P3的子集在时间T3标记为对应于行人150，等等。标记的子集表示行人的现有运动轨迹和运动速度。

对象识别单元442可以识别运动对象(例如，车辆130、自行车140、行人150)和行人周围的交通规则指示对象。这些周围的交通规则指示对象可能包括，例如，交通信号灯160、行人交通信号灯162、人行横道170、警察180和其他车辆等。在一些实施例中，可以应用各种图像处理方法，例如图像分割、分类和识别方法，以识别运动对象和周围的交通规则指示对象。在一些实施例中，机器学习技术，例如CNN模型，也可用于识别。

特征提取单元444可以被配置为从传感器数据401和地图数据403中提取指示行人未来轨迹的特征。提取的特征可以包括对象特征和规则特征。提取的特征可以包括对象特征和规则特征。规则特征可能与规则特征对象有关，例如通行权、人行横道的方向、人行道的车道标记、交通信号灯的状态、行人交通信号灯、行人或骑自行车的手势以及警察的手势等。

可以使用各种特征提取工具，例如面部识别、手势检测、运动检测、步态识别等。例如，特征提取单元444可以执行面部识别以识别行人的面部。行人的面部提供了行人要去哪里的重要信息。作为另一示例，特征提取单元444还可以执行手势检测方法，以检测行人手势或警察手势。行人手势可能表示行人打算去哪里。

此外，可以根据颜色和/或对比度信息从传感器数据中检测车道标线和人行横道标线，因为标线通常为白色，路面通常为黑色或灰色。当颜色信息可用时，可以根据其独特的颜色(例如白色)识别标记。当灰度信息可用时，可以根据与背景(例如，常规道路路面的深灰色)不同的阴影(例如，浅灰色)来识别标记。人行横道的方向可以根据人行横道延伸的方向来确定。作为另一个示例，可以通过检测图像像素强度中的变化(例如，由于闪烁、闪光或颜色变化)来检测交通信号灯信号。在一些实施例中，还可以应用机器学习技术来提取特征。

轨迹预测单元446可以使用提取的对象特征和规则特征联合预测各种运动对象的运动轨迹。在一些实施例中，轨迹预测单元446可以为每个运动对象确定多个候选轨迹。例如，轨迹预测单元446可以确定车辆130的候选轨迹131-134、自行车140的候选轨迹141-144、行人150的候选轨迹151-154(如图2B所示)。

在一些实施例中，轨迹预测单元446可将机器学习模型405应用于联合预测。例如，机器学习模型405可以基于提取的特征确定每个候选轨迹的分数。在一些实施例中，分数可以指示各个运动对象遵循候选轨迹运动的概率。在一些其他实施例中，分数可以是分配给相应轨迹的排名号。在一些实施例中，具有最高组合分数(例如，最高集体概率或排名)的运动对象的候选轨迹的组合可以被识别为运动对象的预测运动轨迹。

在一些实施例中，在应用机器学习模型405之前，轨迹预测单元446可以首先基于规则特征确定一个或多个冲突候选轨迹，并删除包括冲突候选轨迹的候选轨迹组。例如，候选轨迹141和151的组合可能被消除，因为这将与行人150和自行车140之间的通行权冲突。作为另一个示例，如果行人交通信号灯162-A处于“请勿行走”模式，则可以消除包括候选轨迹151的候选轨迹的任何组合。通过移除候选轨迹的某些组合，轨迹预测单元446简化了预测任务并节省了处理器404的处理能力。

在一些实施例中，轨迹预测单元446可以将预测的候选轨迹的不同集合的组合分数(例如，概率)与阈值进行比较。如果没有得分超过阈值，则轨迹预测单元446可以确定预测不是足够可靠的，并且需要附加的“观察”来改善预测。在一些实施例中，轨迹预测单元446可以确定可以获取哪些附加传感器数据，并生成要发送到传感器220和/或230以采集附加数据的控制信号。例如，可以确定激光雷达应以不同的角度倾斜，或者相机应调整其焦点。控制信号可经由通信接口402提供给传感器220和/或230。

记忆体406和存储器408可以包括提供用于存储处理器404可能需要操作的任何类型的信息的任何适当类型的大容量存储器。记忆体406和存储器408可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。记忆体406和/或存储器408可以配置为存储一个或多个计算机程序，这些程序可以由处理器404执行，以执行本说明书中的轨迹预测功能。例如，记忆体406和/或存储器408可以被配置为存储可由处理器404执行的程序，以基于对象特征和规则特征联合预测各种运动对象的运动轨迹。

记忆体406和/或存储器408可进一步配置为存储处理器404使用的信息和数据。例如，记忆体406和/或存储器408可以被配置为存储传感器220和/或230采集的传感器数据401、从三维地图数据库240接收的地图数据403以及机器学习模型405。记忆体406和/或存储器408还可以配置为存储处理器404在特征提取和轨迹预测期间生成的中间数据，例如对象特征和规则特征、候选轨迹、候选轨迹的分数以及候选轨迹集的组合分数。多种类型的数据可以永久存储、定期删除，或者在处理每个数据帧后立即被忽略。

图5是根据本说明书的实施例所示的用于联合预测多个运动对象轨迹的方法的示例性流程图。方法500可以由系统200实现，系统200可以包括服务器210和传感器220和230。然而，方法500不限于该示例性实施例。方法500可包括如下所述的步骤S502-S522。应当理解，一些步骤可以是可选的，以执行本文提供的本说明书中的内容。此外，一些步骤可以同时执行，或者以不同于图5所示的顺序执行。出于描述目的，方法500将被描述为联合预测各种运动对象的运动轨迹的组合，以帮助车辆120的自动驾驶决策(如图1所示)。然而，方法500可应用于其他可受益于运动轨迹精确预测的应用。

在步骤S502中，服务器210接收运动对象(例如，车辆130、自行车140、行人150)运动区域的地图。在一些实施例中，服务器210可以基于例如由传感器360收集的GPS数据来确定车辆120的位置，并识别该位置周围的地图区域。例如，地图可以是十字路100的地图。服务器210可以从三维地图数据库240接收相关的三维地图数据，例如地图数据403。

在步骤S504中，服务器210接收采集运动对象(例如，车辆130、自行车140、行人150)和周围对象(例如，交通信号灯160、行人交通信号灯162、人行横道170和人员180)的传感器数据。在一些实施例中，传感器数据可由各种传感器采集，例如沿道路安装的传感器220和/或车辆120上配备的传感器230(包括例如传感器340-360)。传感器数据可能包括速度计采集的行人速度、摄像头采集的图像(包括视频图像)、激光雷达采集的点云数据等。在一些实施例中，为了跟踪运动对象和周围对象的运动，传感器数据可以随着时间被采集。传感器可经由网络与服务器210通信，以连续、定期或间歇地传输传感器数据，例如传感器数据401。

在步骤S506中，其中服务器210在地图中定位运动对象(例如，车辆130、自行车140和行人150)。在一些实施例中，例如由传感器340采集的运动对象的点云数据可以与地图数据403匹配，以确定它们在地图中的位置。在一些实施例中，可以使用诸如SLAM之类的定位方法来定位运动对象。在一些实施例中，可以在地图数据403上标记运动对象在不同时间点的位置，以跟踪其先前的轨迹和运动速度。点云数据的标记可由服务器210自动或在人的协助下执行。

在步骤S508中，服务器210识别运动对象周围的其他对象。在一些实施例中，周围对象包括指挥运动对象的交通规则指示对象。例如，这些对象可能包括，例如，交通信号灯160、行人交通信号灯162、人行横道170、警察180、交通标志和车道标记等。周围对象的特征可以为预测运动对象的运动轨迹提供有用的信息。在一些实施例中，可以实现各种图像处理方法和机器学习方法(例如，CNN)来识别周围的对象。

在步骤S510中，服务器210从传感器数据401和地图数据403提取运动对象和周围对象的对象特征。在一些实施例中，提取的对象特征可以包括指示运动对象的未来轨迹的语义或非语义特征。例如，对象特征可能包括，例如，每个运动对象的运动速度、运动对象面对的方向、行人或骑车人的任何手势信号等。在一些实施例中，可以实现包括图像处理方法和机器学习方法的各种特征提取方法。

在步骤S512中，服务器210确定运动对象必须遵守的规则特征。规则特征可能与规则特征对象有关，如通行权、人行横道的方向、人行道的车道标记、交通信号灯和行人交通信号灯的状态、行人或骑自行车的人的手势以及警察的手势等。类似地，可以实现包括图像处理方法和机器学习方法的各种特征提取方法。

在步骤S516中，服务器210可以确定每个运动对象的若干候选轨迹。在图2B的示例中，可以为车辆130确定候选轨迹131-134，分别对应于车辆130右转、直行、左转和U形转弯。可以为向东行驶的自行车140确定候选轨迹141-144，分别对应于自行车140直行、左转、转向向西行驶和停车。可以确定面向北方的行人150的候选轨迹151-154，分别对应于行人穿过道路向北行走、左转往西行走、右转往东行走和停下。

在步骤S518中，服务器210可以移除包括冲突候选轨迹的候选轨迹的组合。候选轨迹的组合包括每个运动对象的候选轨迹。例如，车辆130、自行车140和行人150的候选轨迹131、141和151可分别形成组合理论上，如果m个运动对象分别有N₁、N₂、...N_m条候选轨迹，则总共可以有多达N₁*N₂*...*N_m种可能的组合。将机器学习应用于所有这些潜在的组合可能需要大量计算。

在一些实施例中，服务器210可以首先基于规则特征确定冲突的候选轨迹。然后，可以从进一步考虑中移除包括冲突候选轨迹的候选轨迹的组合。例如，候选轨迹141和151可以被确定为冲突的候选轨迹，因为通行权规则自行车140让行人150优先通行。因此，可以移除同时包括候选轨迹141和151的候选轨迹的任何组合。作为另一个示例，如果行人交通信号灯162-A处于“请勿行走”模式，则可以移除包括候选轨迹151的候选轨迹的任何组合。同样，警察180可通过指示运动对象仅以特定方式运动，并命令其他运动对象停止运动来指挥交通。例如，警察180可以使用手势指示车辆130只直行或右转，而不能左转或掉头。因此，可以移除包括候选轨迹133或134的任何组合。

在步骤S518中，服务器210可以联合确定运动对象的候选轨迹的每个组合的分数。例如，服务器210可以为三个运动对象(车辆130、自行车140和行人150)的候选轨迹131、141和151的组合确定一组分数(S1、S2、S3)。在一些实施例中，分数可以是运动对象将遵循相应候选轨迹的概率或分配给候选轨迹的排名数字。在一些实施例中，服务器210可以应用机器学习模型405来联合预测每个组合的分数集。在一些实施例中，机器学习模型405可以是预测模型，例如决策树学习模型、逻辑回归模型或深度学习模型。例如，机器学习模型405可以是梯度增强决策树模型。在一些实施例中，可以使用已知的运动轨迹及其各自的样本特征来训练机器学习模型405。

例如，在步骤S518中，可以应用机器学习模型405来基于提取的对象特征和规则特征来确定每个组合中候选轨迹的一组概率。例如，在候选轨迹131、141和151的组合中，可以确定车辆130跟随候选轨迹131的概率为80％，自行车跟随候选轨迹141的概率为20％，行人150跟随候选轨迹151的概率为60％。

在一些实施例中，服务器210可以确定组合的各个分数的组合分数。例如，综合得分可以是S＝S1+S2+S3。可以想象，可以使用不同的数学公式而不仅仅是算术加法来确定综合分数。在一些替代实施例中，服务器210可以使用机器学习模型405直接确定组合的一个分数，而不是确定组合中候选轨迹的单个分数。例如，分数可以表明候选轨迹的组合可能是运动对象随改轨迹运动的总体概率。

在步骤S520中，服务器210可以识别具有最高组合分数或总分的运动轨迹的组合。例如，当候选轨迹131、142和154的组合具有最高的组合概率时，可以选择候选轨迹131、142和154的组合作为运动对象的预测轨迹。在一些其他实施例中，当在步骤S518中，服务器210中对候选轨迹进行排序而不是计算概率时，方法500可以在步骤S520中选择具有最高组合排名的组合。

方法500提供的预测结果可提供给车辆120，并用于帮助车辆控制或驾驶员做出驾驶决策。例如，自动驾驶车辆可以基于运动对象的预测轨迹做出自动控制决策，以避免撞向这些运动对象。该预测还可用于帮助提醒驾驶员调整其预期行驶路径和/或速度，以避免发生事故。例如，可以提供诸如“哔”声之类的音频警报来警告驾驶员和/或骑自行车的人以及行人。

本说明书的另一方面涉及存储指令的非暂时性计算机可读介质，其在执行时使一个或多个处理器执行上述方法。计算机可读介质可以包括易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的计算机可读介质或计算机可读存储设备。例如，计算机可读介质可以是存储有计算机指令的存储设备或存储模块。在一些实施例中，计算机可读介质可以是存储有计算机指令的磁盘或闪存驱动器。

显然，对于本领域技术人员来说，可以对说明书中的系统和相关方法进行各种修改和变化。考虑到说明书中系统和方法的规范和实践，本领域技术人员可以容易地想到其他替代的实施例。

本说明书实施例仅被视为示例性，其真实范围由权利要求及其等同物表示。

Claims (20)

1.一种用于联合预测至少两个运动对象的运动轨迹的系统，包括：

一种通信接口，被配置为接收所述至少两个运动对象运动区域的地图以及与所述至少两个运动对象相关联的传感器数据；以及

至少一个处理器，被配置为：

将所述至少两个运动对象在所述地图中定位；

基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个运动对象的运动；

确定所述运动对象的规则特征，所述规则特征表征运动对象需要遵守的交通规则；以及

基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

2.根据权利要求1所述的系统，其中，为了联合预测所述至少两个运动对象的轨迹，所述至少一个处理器还被配置为：

确定所述每个运动对象的至少两个候选轨迹；

基于所述对象特征和所述规则特征，使用机器学习模型确定所述每个候选轨迹的分数；以及

基于所述分数识别所述至少两个运动对象的预测运动轨迹。

3.根据权利要求2所述的系统，其中，所述至少一个处理器还被配置为：

根据所述规则特征确定冲突候选轨迹；以及

删除包含所述冲突候选轨迹的候选轨迹组。

4.根据权利要求2所述的系统，其中，所述分数是所述运动对象将遵循相应的候选轨迹的概率。

5.根据权利要求2所述的系统，其中，所述至少一个处理器进一步配置为将具有最高综合分数的所述运动对象的所述候选轨迹识别为所述运动对象的预测运动轨迹。

6.如权利要求1所述的系统，其中，所述机器学习模型是决策树模型、逻辑回归模型、增强学习模型或深度学习模型。

7.根据权利要求1所述的系统，其中，所述传感器数据包括由激光雷达获取的点云数据和由相机获取的图像。

8.根据权利要求1所述的系统，其中，所述至少两个运动对象是从车辆、自行车和行人中选出。

9.根据权利要求1所述的系统，其中，所述规则特征包括交通规则，所述交通规则规定了所述至少两个运动对象之间的通行权。

10.根据权利要求1所述的系统，其中，所述规则特征包括规范所述各个运动对象的交通信号灯的状态。

11.根据权利要求1所述的系统，其中，为了提取对象特征，所述至少一个处理器还被配置为提取每个运动对象的先前运动轨迹。

12.根据权利要求1所述的系统，其中，所述传感器数据由至少一个传感器获取，所述传感器安装在行驶在所述运动对象正在移动的区域内的车辆上，其中所述通信接口进一步被配置为向所述车辆提供所述运动对象的所述预测运动轨迹。

13.一种用于联合预测至少两个运动对象的运动轨迹的方法，包括：

通过通信接口接收所述至少两个运动对象运动区域的地图以及与所述至少两个运动对象相关联的传感器数据；

通过至少一个处理器定位所述地图中的所述至少两个运动对象；

由所述至少一个处理器基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个运动对象的运动；

由所述至少一个处理器确定所述运动对象的规则特征，所述规则特征表征所述运动对象需要遵守的交通规则；以及

由所述至少一个处理器基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

14.根据权利要求13所述的方法，其中，联合预测所述至少两个运动对象的轨迹还包括：

确定每个所述运动对象的至少两个候选轨迹；

基于所述对象特征和所述规则特征，使用机器学习模型确定每个所述候选轨迹的分数；以及

基于所述分数识别所述至少两个运动对象的预测运动轨迹。

15.如权利要求14所述的方法，还包括：

基于所述规则特征确定冲突候选轨迹；以及

删除包括所述冲突候选轨迹的候选轨迹组。

16.根据权利要求14所述的方法，其中，识别所述轨迹还包括识别具有最高组合分数的各个运动对象的候选轨迹作为所述运动对象的预测运动轨迹。

17.如权利要求13所述的方法，其中，所述机器学习模型是决策树模型、逻辑回归模型、强化学习模型或深度学习模型。

18.根据权利要求13所述的方法，其中，所述规则特征包括规定所述至少两个运动对象之间的通行权的交通规则，以及指挥各个运动对象的交通信号灯的状态。

19.根据权利要求13所述的方法，其中，所述传感器数据由至少一个传感器获取，该传感器安装在所述运动对象正在运动的区域内行驶的车辆上，其中，所述方法还包括向所述车辆提供所述运动对象的预测运动轨迹。

20.一种非暂时性计算机可读介质存储有指令，当所述指令由至少一个处理器执行时，使所述至少一个处理器执行包括以下操作的操作：

接收至少两个运动对象运动区域的地图和与所述至少两个运动对象相关联的传感器数据；

在地图中定位所述至少两个运动对象；

基于所述传感器数据确定每个所述运动对象的对象特征，所述对象特征表征各个所述运动对象的运动；

确定所述运动对象的规则特征，所述规则特征表征所述运动对象需要遵守的交通规则；以及

基于所述对象特征和所述规则特征，使用机器学习模型联合预测所述至少两个运动对象的运动轨迹。

Images