CN114450703A - 预测行人的移动轨迹的系统和方法 - Google Patents

预测行人的移动轨迹的系统和方法 Download PDF

Info

Publication number
CN114450703A
CN114450703A CN201980100948.5A CN201980100948A CN114450703A CN 114450703 A CN114450703 A CN 114450703A CN 201980100948 A CN201980100948 A CN 201980100948A CN 114450703 A CN114450703 A CN 114450703A
Authority
CN
China
Prior art keywords
pedestrian
trajectory
processor
features
sensor data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980100948.5A
Other languages
English (en)
Inventor
李培
李游
关健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN114450703A publication Critical patent/CN114450703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/45—Pedestrian sidewalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请的实施例提供了一种用于预测行人的移动轨迹的方法和系统。该系统包括通信接口，所述通信接口用于接收行人正在行走的区域的地图以及与行人相关联的传感器数据。该系统包括至少一个处理器，所述处理器用于在地图中定位行人，并从传感器数据中提取行人特征。所述至少一个处理器还用于基于行人的定位来识别围绕行人的一个或多个物体，并从传感器数据中提取一个或多个物体的物体特征。所述至少一个处理器还用于基于提取的行人特征和物体特征，使用学习模型来预测行人的移动轨迹和移动速度。

Description

预测行人的移动轨迹的系统和方法
相关申请交叉引用
本申请涉及由[增加发明人]提出的名为[增加标题]的国际申请、[增加发明人]提出的名为[增加标题]的国际申请以及由[增加发明人]提出的名为[增加标题]的国际申请，所有这些申请均同时提交。所有上述申请的全部内容通过引用并入本文。
技术领域
本申请涉及一种用于预测行人的移动轨迹和移动速度的系统和方法，更具体地，涉及基于从地图和传感器数据提取的特征来预测行人的移动轨迹和移动速度的系统和方法。
背景技术
车辆会与其他车辆、行人和物体(如交通标志、路障、围栏等)共用道路。因此，驾驶员需要不断调整驾驶操作，以避免与此类障碍物碰撞。一些易于避开的障碍物通常都是静态的，但有些障碍物能够移动。对于移动的障碍物，驾驶员不仅要观察其当前位置，而且要预测其移动轨迹，以便确定其之后的位置。例如，车辆附近的行人可以穿过车辆前面的道路，沿着与车辆的行驶方向平行的方向行走，或停下。驾驶员通常要根据观察结果进行预测，例如，根据行人的行走速度、行人面向的方向以及行人提供的任何手势信号等进行预测。
自动驾驶车辆需要做出类似的决定以避免碰撞障碍物。因此，自动驾驶技术在很大程度上依赖于对其他运动的障碍物的移动轨迹的自动预测。然而，现有预测系统和方法受到车辆“观察”(如收集相关数据)能力、处理数据能力以及基于数据做出准确预测能力的限制。因此，对现有预测系统和方法的改进可以有利于自动驾驶车辆的发展。
本申请实施例的基于从地图和传感器数据中提取的特征来预测行人移动轨迹和移动速度的系统和方法，改善了自动驾驶中现有的预测系统和方法。
发明内容
本申请的实施例提供了一种用于预测行人的移动轨迹的系统。所述系统包括通信接口，所述通信接口用于接收行人正在行走的区域的地图以及获取与所述行人相关联的传感器数据。所述系统包括至少一个处理器，所述至少一个处理器用于在所述地图上定位所述行人，并从所述传感器数据中提取行人特征。所述至少一个处理器还用于基于所述行人的定位来识别围绕所述行人的一个或多个物体，并从所述传感器数据中提取一个或多个物体的物体特征。所述至少一个处理器还用于基于提取的所述行人特征和所述物体特征，使用学习模型预测所述行人的移动轨迹和移动速度。
本申请的实施例还提供了一种用于预测行人的移动轨迹的方法。所述方法包括通过通信接口接收行人正在行走的区域的地图以及与所述行人相关联的传感器数据。所述方法还包括在所述地图上定位所述行人，并通过至少一个处理器从所述传感器数据中提取行人特征。所述方法还包括基于所述行人的定位来识别围绕所述行人的一个或多个物体；并通过所述至少一个处理器从所述传感器数据中提取所述一个或多个物体的物体特征。所述方法还包括通过至少一个处理器基于提取的所述行人特征和所述物体特征，使用学习模型预测所述行人的移动轨迹和移动速度。
本申请的实施例还提供一种非暂时性的计算机可读介质，其用于储存指令，当由至少一个处理器执行所示指令时，所述指令使至少一个处理器执行上述操作。所述操作包括接收行人正在行走的区域的地图以及获取与所述行人相关的传感器数据。所述操作还包括在地图上定位所述行人中并从所述传感器数据中提取行人特征。所述操作还包括基于所述行人的定位来识别围绕所述行人的一个或多个物体；并从传感器数据中提取所述一个或多个物体的物体特征。所述操作还包括基于提取的所述行人特征和所述物体特征，使用机器学习模型预测行人的移动轨迹和移动速度。
如本申请所述，前述一般描述和以下详细描述仅是示例性的以及用于说明的，并不能限制本发明。
附图说明
图1是根据本申请实施例的包括车道旁边的人行道和人行横道的示例性的道路路段示意图。
图2是根据本申请实施例的用于预测行人的移动轨迹的示例性的系统示意图。
图3是根据本申请实施例的具有轮上的传感器的示例性的车辆示意图。
图4是根据本申请实施例的用于预测行人的移动轨迹的示例性的服务器框图。
图5是根据本申请实施例的用于预测行人的移动轨迹的示例性的方法流程图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。在整个附图中使用相同的附图标记，以引用相同或相似的部件。
图1是根据本申请实施例的示例性的道路路段100示意图，该道路路段100包括靠近车道102和104的人行道106和人行横道110。如图1所示，路段100向东延伸，朝向位于十字路口的交通灯140。可以设想，道路路段100可以在任何其他方向上延伸，并且不一定与交通灯相邻。
道路路段100可以是单向道路或双向道路的一部分。为了便于说明，图1中仅显示了单个方向上的两条车道。然而，可以预期地，道路路段100可以包括更多或更少的车道，并且车道可以在两个方向上彼此相对，并由隔离带分隔。如图1所示，道路路段100包括车道102和104，以及车道右侧的人行道106。在一些实施例中，人行道106可通过分隔带108与车道104隔开，分隔带108可以是例如护栏、栅栏、树木、灌木丛或者禁入区等。在一些实施例中，人行道106可以不与车道104分隔，或者仅通过标记线分隔。
各种车辆可以在车道102和104上行驶。例如，车辆101可以在车道104上向东行驶。在一些实施例中，车辆101可以是电动车辆、燃料电池车辆、混合动力车辆或传统的内燃机车辆。在一些实施例中，车辆101可以是自动或半自动车辆。
行人可以沿人行道106上的一个方向或两个方向行走。例如，行人130可以在人行道106上向东或向西行走。在一些实施例中，人行道106可以用道路标记来指示它是人行道。例如，“行”字可以在人行道106上标记，如图1所示。又例如，可在人行道106上标记行人图标或附加文字说明。
道路路段100上的车辆和行人的交通通行可以由交通灯140和行人交通灯142(例如，包括行人交通灯142-A和142-B)调度。例如，交通灯140可以调度车辆的交通通行，行人交通灯142可以调度行人的交通通行。在一些实施例中，交通灯140可以包括三种颜色的灯：红色灯、黄色灯和绿色灯，以指示十字路口是否能够通行。在一些实施例中，交通灯140还可包括转向保护灯，以调度左转、右转和/或掉头的车辆。例如，左转保护灯可允许某些车道(通常是最左侧车道)的车辆左转，而不必给相反方向直行的车辆让路。
行人交通灯142-A和142-B可以位于交叉路的不同角落，面向各个方向的行走的行人。例如，行人交通灯142-A可能面对东行的行人，行人交通灯142-B可能面对北行的行人。行人交通灯可以在两种模式之间切换：“通行”模式和“禁止通行”模式。根据设计，行人交通灯可以显示不同的文字或图标来指示不同的模式。例如，当允许行人和行人交叉通行时，行人交通灯可以显示行人图标；并且可以显示手形图标来阻止行人的通行。在一些实施例中，行人交通信号灯142可以另外使用不同的颜色、声音(例如，哔声)和/或闪烁来指示不同模式。例如，“通行”模式可以以绿色显示，“禁止通行”模式可以以红色显示。
在一些实施例中，行人130可以从人行横道110上穿过道路。在一些实施例中，人行横道110可以使用路面上的白色条纹(称为斑马线)标记。人行横道的通行方向垂直于条纹。例如，人行横道110包含东西向延伸的条纹，行人130可以在人行横道110上向北或向南行走以穿过道路。在人行横道上行走的行人拥有优先通行权，其他交通工具将停止并向行人让行，直到行人走过人行横道。尽管图1仅示出了一个人行横道110，但可以预期地，可能存在向不同方向延伸的更多人行横道。人行横道110不必位于有交通灯的十字路口。在一些实施例中，人行横道可能存在于道路路段的中间。
行人130可以在不受交通灯监管和/或没有人行横道等地方横穿。例如，行人130可以穿过道路以进入道路另一侧的小路。在这种情况下，行人有时可能在进入车道前向车辆发出手势信号。例如，行人可能会抬起他的手掌，以发出车辆停止的信号或指向他打算行走的方向的信号。
在一些实施例中，车辆101上可配备行人轨迹预测系统(例如，图2中所示的系统200)或与之通信，以预测行人(例如，行人130)的移动轨迹，以便做出决策而避免行人出现在车辆的行驶路径中。例如，在图1的设置中，朝北的行人130可能遵循四条候选轨迹：穿过道路北行的候选轨迹151、向左转弯并向西行走的候选轨迹152、向右转弯并向东行走的候选轨迹153以及停止的候选轨迹154。
与本发明的实施例一致，行人轨迹预测系统可对行人130和围绕行人的物体(如交通灯140、行人交通灯142、人行横道110和沿道路路段100的任何交通标志)进行“观察”(例如，通过各种传感器)。然后，行人轨迹预测系统基于这些观察结果预测行人130可能遵循的候选行走轨迹。在一些实施例中，可使用诸如神经网络模型的学习模型来执行预测。
在一些实施例中，可以针对各个候选轨迹151-154或161-164确定分数(例如，概率和排序)。
图2是根据本申请的实施例的用于预测行人的移动轨迹的示例性的系统200示意图。
在一些实施例中，系统200可包括行人轨迹预测服务器210(为简单起见，也称为服务器210)。服务器210可以是配置或编程有用于预测行人的移动轨迹的功能的通用服务器，或者是专门设计用于预测行人的移动轨迹的专有设备。可以设想地，服务器210可以是独立服务器或独立服务器的集成组件。在一些实施例中，服务器210可以集成到车辆上的系统中，例如，车辆101的系统中。
如图2所示，服务器210可以接收和分析由各种来源收集的数据。例如，数据可以由沿道路安装的传感器220(例如，包括传感器220-A和220-B)和/或在车道104行驶的车辆101上安装的一个或多个传感器230来连续、定期或间歇地获取。传感器220和230可包括雷达、激光雷达、相机(例如监控摄像头、单目/双目相机、摄像机)、速度计或任何其他合适的传感器，以获取表征行人130和围绕行人130的物体的数据，围绕行人130的物体例如可以是交通灯140、行人交通灯142和人行横道110。仅作为示例，传感器220可以包括一个或多个监控摄像头，以获取行人130、交通灯140、行人交通灯142和人行横道110的图像。
在一些实施例中，传感器230可包括测量车辆101和行人130之间距离的激光雷达，激光雷达还可以确定行人130在三维地图中的位置。在一些实施例中，传感器230还可以包括用于获取车辆101的位置/姿态数据的GPS/IMU(惯性测量单元)传感器。在一些实施例中，传感器230还可以包括用于获取行人130和围绕行人130的物体的图像的相机。由于传感器220和传感器230获取的图像来自不同的角度，因此它们可以彼此补充以提供行人130和围绕行人的物体的更详细信息。在一些实施例中，传感器220和230可以获取跟踪运动物体轨迹的数据，运动物体例如可以是车辆、自行车、行人等。
在一些实施例中，传感器230可以安装在车辆101上，从而与车辆101一起行驶。例如，根据本发明的实施例，图3示出了配备有传感器340-360的示例性车辆101。车辆101可具有车身310，其可为任何车身类型，例如跑车、双门轿跑车、轿车、皮卡车、旅行车、运动型多用途车(SUV)、小型货车或改装货车。在一些实施例中，如图3所示，车辆101可包括一对前轮和一对后轮320。车辆101可以具有更少的轮子或使车辆101能够行驶的等同结构。车辆101可配置为全轮驱动(AWD)、前轮驱动(FWR)或后轮驱动(RWD)。在一些实施例中，车辆101可以是自动或半自动车辆。
如图3所示，图2的传感器230可以包括根据本申请的实施例的各种传感器340、350和360。传感器340可以经由安装结构330安装到主体310上。安装结构330可以是安装或以其他方式连接到车辆101的主体310的机电装置。在一些实施例中，安装结构330可以包括螺钉、粘合剂或其他安装结构。使用任何合适的安装结构，车辆101可以另外配备有传感器350和360或外部主体310。可以理解地，传感器340-360安装在车辆101上的方式不受图3所示示例的限制，并且可以根据传感器340-360和/或车辆101的类型进行修改，以实现理想的传感性能。
在一些实施例中，传感器340可以是通过使用脉冲激光照射目标并检测反射脉冲而测量目标距离的激光雷达。激光返回时间和波长的差异可以用于制作目标的数字三维描绘。例如，传感器340可以测量车辆101与行人130或车辆101与其他物体之间的距离。用于激光雷达扫描的光可以是紫外线、可见光或近红外线。因为窄激光束可以以非常高的分辨率绘制物理特征图，所以激光雷达扫描仪特别适合在三维地图中定位物体。例如，激光雷达扫描仪可捕获点云数据，点云数据可用于定位车辆101、行人130和/或其他物体。
在一些实施例中，传感器350可以包括安装在车辆101的主体310上的一个或多个相机。尽管图3显示传感器350安装在车辆101的前部，但传感器350可以安装在车辆101的其他位置，例如侧面、后视镜后面、挡风玻璃上、机架上或后部。传感器350可以用于获取车辆101周围的物体的图像，车辆101周围的物体例如可以是在道路上的行人130、交通灯(例如，140和142)、人行横道110和/或交通标志。在一些实施例中，相机可以是单目或双目相机。双目相机可以获取指示物体深度(即物体与照相机的距离)的数据。在一些实施例中，相机可以是随时间捕获图像帧的摄像机，从而记录物体的运动。
如图3所示，车辆101可另外配备传感器360，其可包括导航单元中使用的传感器，例如，GPS接收器和一个或多个IMU传感器。GPS是一个为GPS接收器提供地理位置和时间信息的全球导航卫星系统。IMU是一种电子设备，其能够使用各种惯性传感器(如加速计和陀螺仪，有时还包括磁力计)测量并提供车辆的特定力、角速率，有时还测量并提供车辆周围的磁场数据。通过组合GPS接收器和IMU传感器，传感器360可以在车辆101行驶时提供车辆101的实时姿势信息，包括车辆101在每个时间点的位置和方向(例如，欧拉角)。
传感器340-360可以经由网络与服务器210通信，以连续地、经常地或间歇地发送传感器数据。在一些实施例中，任何合适的网络可用于通信，例如无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络、卫星通信网络和/或本地或短程无线网络(例如，BluetoothTM)。
如图2所示，系统200还可以包括三维地图数据库240。三维地图数据库240可以存储三维地图。三维地图可能包括覆盖不同区域的地图。例如，一张三维地图(或地图的一部分)可以覆盖包括十字道路路段100的区域。在一些实施例中，服务器210可以与三维地图数据库240通信以基于车辆101的位置检索相关的三维地图(或地图的一部分)。例如，可以检索包含车辆101的GPS位置及其周围区域的地图数据。在一些实施例中，三维地图数据库240可以是服务器210的内部组件。例如，三维地图可以存储在服务器210的存储器中。在一些实施例中，三维地图数据库240可以位于服务器210的外部，并且三维地图数据库240和服务器210之间的通信可以经由网络(例如上述各种网络)进行。
服务器210可以用于分析从传感器230(例如，传感器340-360)接收的传感器数据和从三维地图数据库240接收的地图数据以预测行人(例如行人130)的移动轨迹。图4是根据本申请的实施例的用于预测行人的移动轨迹的示例性的服务器210框图。服务器210可以包括通信接口402、处理器404、内存406和存储器408。在一些实施例中，服务器210可以在单个设备中具有不同的模块，例如集成电路(IC)芯片(实现为专用集成电路(ASIC)或现场可编程门阵列(FPGA))或具有专用功能的单独设备。服务器210的组件可以是集成的设备，或者在不同位置分布但是通过网络(未示出)彼此通信的设备。
通信接口402可以通过直接通信链路、无线局域网(WLAN)、广域网(WAN)、使用无线电波的无线通信网络、蜂窝网络和/或本地无线网络(例如BluetoothTM或WiFi)向诸如传感器220和230之类的组件发送数据和接收数据，或者也可以是通过其他通信方法实现通信。在一些实施例中，通信接口402可以是集成的服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供数据通信连接。又例如，通信接口402可以是局域网(LAN)卡，以提供与兼容LAN的数据通信连接。无线链路也可以由通信接口402实现。在这样的实现方式中，通信接口402可以通过网络发送和接收电信号、电磁信号或光信号，这些信号中携带有表征各种类型信息的数字数据流。
在一些实施例中，通信接口402可以接收由传感器220和/或230获取的传感器数据401以及由三维地图数据库240提供的地图数据403，并将接收到的数据提供给内存406和/或存储器408以供存储，或提供给处理器404以供处理。传感器数据401可以包括获取的行人(例如行人130)和围绕行人的其他物体的信息。传感器数据401可以包括随时间获取的表征物体运动的数据。在一些实施例中，地图数据403可以包括点云数据。
通信接口402还可以接收学习模型405。在一些实施例中，学习模型405可由处理器404应用，并基于从传感器数据401和地图数据403提取的特征来预测行人的移动轨迹。在一些实施例中，学习模型405可以是预测模型，例如决策树学习模型、逻辑回归模型或卷积神经网络(CNN)模型。其他合适的机器学习模型也可以用作学习模型405。
决策树使用项目的观察值(以分支表示)来预测项目的目标值(以叶子表示)。例如，决策树模型可预测若干假设结果的概率，例如，行人130的候选轨迹的概率。在一些实施例中，梯度增强可与决策树学习模型组合以形成作为决策树集合的预测模型。例如，学习模型405可以包括由阶段决策树形成的梯度增强决策树模型。
在一些实施例中，学习模型405可以是预测离散变量的值的逻辑回归模型。例如，逻辑回归模型可用于对几个假设结果进行排名，例如，对行人130的候选轨迹进行排名。在一些实施例中，学习模型405可以是卷积神经网络(CNN)模型，其包括多个层，例如一个或多个卷积层或全卷积层、非线性算子层、池或子采样层、全连接层和/或最终损失层。卷积神经网络模型的每层都产生一个或多个特征映射。卷积神经网络模型通常适用于图像识别、视频分析和图像分类等任务，例如，从图像或视频数据中识别物体。
在一些实施例中，学习模型405可以使用已知的行人的移动轨迹及其各自的样本特征进行训练，例如语义特征，其包括行人速度、行人方向(即，行人面向的方向)、行人的手势、人行横道的标记、行人交通灯的状态以及人行道与车道之间的分隔带类型等。样本特征还可以包括从描述行人运动的数据中提取的非语义特征。在一些实施例中，学习模型405可以通过服务器210或另一计算机/服务器提前训练。
“训练”学习模型是指在学习模型中确定至少一层的一个或多个参数。例如，卷积神经网络模型的卷积层可以包括至少一个滤波器或内核。至少一个滤波器的一个或多个参数(例如核权重、大小、形状和结构)可以通过例如基于反向传播的训练过程来确定。训练学习模型405，使得当它需要样品特征作为输入时，它将提供基本上接近已知轨迹的行人移动轨迹的预测结构。
处理器404可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器404可以包括专用于预测行人的移动轨迹的单独处理器模块。或者，处理器404可以被配置为共享处理器模块，用于执行与行人轨迹预测相关或无关的其他功能。例如，共享处理器可进一步基于预测的行人移动轨迹做出自动驾驶决策。
如图4所示，处理器404可以包括多个模块，例如定位单元440、物体识别单元442、特征提取单元444、轨迹预测单元446等。这些模块(以及任何相应的子模块或子单元)可以是用于与其他组件一起使用的处理器404的硬件单元(例如，集成电路的部分)，或者执行程序的一部分。程序可以存储在计算机可读介质(例如，内存406和/或存储器408)上，并且当由处理器404执行时，处理器404可以执行一个或多个功能。尽管图4示出了单元440-446全部位于一个处理器404内，但是，可以理解地，这些单元可以分布在彼此相邻布置或远程布置的多个处理器之间。
定位单元440可被配置为在地图数据403中定位正被预测的行人(例如，行人130)的轨迹。在一些实施例中，传感器数据401可以包含获取的行人的各种数据，以辅助定位。例如，由安装在车辆101上的传感器340获取的激光雷达数据可揭示行人130在点云数据中的位置。在一些实施例中，对行人130获取的点云数据可以与地图数据401匹配以确定行人的位置。在一些实施例中，诸如同时定位和映射(SLAM)的定位方法可用于定位行人。
在一些实施例中，可以在地图数据401上标记行人(例如，行人130)的位置。例如，点云数据P1的子集在时间T1标记为对应于行人130，点云数据P2的子集在时间T2标记为对应于行人130，点云数据P3的子集在时间T3标记为对应于行人130，等等。标记的子集表示行人现有的移动轨迹和移动速度。
物体识别单元442可以识别行人130和围绕行人的物体。围绕行人的物体可以包括例如交通灯140、行人交通灯142、人行横道110、交通标志、车道标记、分隔带108和其他车辆等。在一些实施例中，可以应用诸如图像分割、图像分类和图像识别的各种图像处理方法来识别行人和围绕行人的物体。在一些实施例中，还可以应用于诸如卷积神经网络模型的机器学习技术来识别行人和围绕行人的物体。
特征提取单元444可被配置为从传感器数据401和地图数据403提取指示行人未来轨迹的特征。提取的特征可以包括行人特征和物体特征。行人特征可以与行人130相关联的，例如，行人速度、行人面向的方向、行人的运动和动作等。物体特征可能与周围物体有关，例如人行横道的方向、人行道的车道标记、行人交通灯的状态、行人手势信号以及人行道和车道之间的分隔线类型等。
可以使用各种特征提取工具来提取特征，例如面部识别、手势检测、移动检测、步态识别等。例如，特征提取单元444可以执行面部识别以识别行人的面部。行人的脸提供了行人要去哪里的重要信息。又例如，特征提取单元444还可以执行手势检测方法，以检测行人手臂和腿部的运动。行人手势可能表征行人打算去哪里。又例如，特征提取单元444可以进行步态识别以提取指示行人如何行走的特征，例如人体位移、人体力学以及肌肉的活动的特征。这种步态特征提供了行人的运动的信息，例如，行人行走、跑步、慢跑、跳跃、跛行或借助辅助工具移动。行人的运动可能代表他的移动能力。例如，借助拐杖行走的人的移动能力较差。在一些实施例中，面部特征还可以帮助确定行人的性别和年龄，从而进一步帮助确定行人的移动能力。
此外，可根据颜色和/或对比度信息从传感器数据中检测车道标线和人行横道标线，因为标线通常为白色，路面通常为黑色或灰色。当颜色信息可用时，可以基于颜色信息中不同的颜色(例如，白色)来识别标记。当灰度信息可用时，可根据与背景(例如，常规道路路面为深灰色)不同的阴影(例如，浅灰色)来识别标记。人行横道的方向可以根据人行横道的标记延伸的方向来确定。作为另一示例，可以通过检测图像像素中的强度变化(例如，由闪烁、闪光或颜色变化引起的变化)来检测交通灯信号。在一些实施例中，还可以应用机器学习技术来提取特征。
这些周围物体的特征还可以提供对行人轨迹预测有用的额外信息。例如，如果控制行人交通的行人交通灯指示不通行，行人可能不会立即移动。又例如，如果行人站在人行横道上，这表明行人计划过马路。
轨迹预测单元446可以使用提取的行人特征和物体特征预测行人的移动轨迹。在一些实施例中，轨迹预测单元446可以确定至少两个候选轨迹。在一些实施例中，候选轨迹可以基于行人面向的方向来确定。例如，如果检测到行人面对北方，则轨迹预测单元446可以为行人130确定候选轨迹151-154(如图1所示)。也就是说，行人130可以在人行横道110上横穿道路(候选轨迹151)、左转进入人行道106(候选轨迹152)、右转进入人行道106(候选轨迹153)或停止(候选轨迹154)。又例如，如果检测到行人面向东部，则轨迹预测单元446可以确定行人130的候选轨迹161-164(如图1所示)。也就是说，行人130可以沿着人行道106直行(候选轨迹161)、左转并在人行横道110上横穿马路(候选轨迹162)、在人行道106上掉头并向西行走(候选轨迹163)或者停止(候选轨迹164)。
在一些实施例中，轨迹预测单元446可以应用用于预测的学习模型405。例如，学习模型405可以基于提取的特征确定每个候选轨迹的分数。在一些实施例中，分数可以指示行人遵循候选轨迹行走的概率。在一些其他实施例中，分数可以是分配给各个轨迹的排名编号。在一些实施例中，可以将具有最高分数(例如，最高概率或最高排名)的候选轨迹作为预测的行人的移动轨迹。
在一些实施例中，在应用学习模型405之前，轨迹预测单元446可以首先删除与任何特征冲突的一个或多个候选轨迹。例如，候选轨迹163可以被消除，因为面向东的行人将掉头并向西行走的概率非常低。又例如，如果行人交通灯142-B处于“禁止通行”模式，则可以消除候选轨迹151。通过删除某些候选轨迹，轨迹预测单元446可以简化预测任务并节省处理器404的处理能力。
在一些实施例中，轨迹预测单元446可以将各个候选轨迹的确定分数(例如，概率)与阈值进行比较。如果候选轨迹中没有一条候选轨迹的分数超过阈值，则轨迹预测单元446可以确定预测不够可靠，并且需要额外的“观察”来改进预测。在一些实施例中，轨迹预测单元446可以确定获取哪些附加传感器数据，并生成要发送到传感器220和/或230而用于获取附加数据的控制信号。例如，可以确定激光雷达应以不同角度倾斜，或者确定相机应调整其焦点。可以通过通信接口402向传感器220和/或230提供控制信号。
除了预测移动轨迹之外，轨迹预测单元446还可以预测行人的移动速度。在一些实施例中，行人的当前速度以及运动和移动能力信息可用于估计行人的未来移动速度。例如，一个正在奔跑的行人可能会以很快的速度穿过马路，而一个拄拐行走的人可能会走得很慢。
内存406和存储器408可以包括任何适当类型的大容量存储器，这些大容量存储器用于存储处理器404可能需要操作的任何类型的信息。内存406和存储器408可以是易失性或非易失性、磁性、半导体、磁带、光学、可移动、不可移动或其他类型的存储设备或有形(即非暂时性)计算机可读介质，包括但不限于ROM、闪存、动态RAM和静态RAM。内存406和/或存储器408可被配置为存储一个或多个计算机程序，这些程序可由处理器404执行，以实现本说明书公开的行人的运动轨迹预测功能。例如，内存406和/或存储器408可配置为存储可由处理器404执行的程序，以基于从各种传感器220和/或230获取的传感器数据401和地图数据403中提取的特征来预测行人的移动轨迹。
内存406和/或存储器408还可以被配置为存储处理器404使用的信息和数据。例如，存储器406和/或存储器408可被配置为存储由传感器220和/或230获取的传感器数据401、从三维地图数据库240接收的地图数据403以及学习模型405。内存406和/或存储器408还可以被配置为在特征提取和移动轨迹预测期间存储由处理器404生成的中间数据，例如行人特征、物体特征、候选轨迹以及候选轨迹的分数。在处理每个数据帧之后，可以永久存储、定期删除或立即忽略各种类型的数据。
图5是根据本申请实施例的用于预测行人的移动轨迹的示例性的方法500流程图。例如，方法500可以由系统200实现，该系统200包括服务器210和传感器220和230。然而，方法500不限于该示例性实施例。方法500可以包括如下所述的步骤S502-S522。应当理解，一些步骤可以是可选的，以执行本说明书提供的本申请的公开内容。此外，一些步骤可以同时执行，或者以与图5所示不同的顺序执行。方法500将被描述为预测行人130的移动轨迹以帮助车辆101的自主驾驶决策(如图1所示)。然而，方法500可用于其他应用，这些应用可受益于行人的移动轨迹的准确预测。
在步骤S502中，服务器210接收行人130正在行走的区域的地图。在一些实施例中，服务器210可基于例如由传感器360收集的GPS数据来确定车辆101的位置，并识别该位置周围的地图区域。服务器210可以从三维地图数据库240接收相关的三维映射数据，例如，地图数据403。
在步骤S504中，服务器210接收传感器数据获取的行人130和围绕行人的物体的信息。在一些实施例中，传感器数据可由各种传感器获取，例如沿道路安装的传感器220和/或车辆101上配备的传感器230(包括例如传感器340-360)。传感器数据可包括速度计采集的行人速度、摄像机采集的图像(包括视频图像)、激光雷达采集的点云数据等。在一些实施例中，可以随时间获取传感器数据以跟踪行人130和围绕行人的物体的移动。传感器可通过网络与服务器210通信，以连续地、定期地或间歇地传输传感器数据，例如传感器数据401。
方法500进行到步骤S506，其中服务器210在地图中定位行人130。在一些实施例中，行人130的点云数据(例如由传感器340获取的)可与地图数据403匹配，以确定行人在地图中的位置。在一些实施例中，诸如SLAM(同步定位与建图)的定位方法可用于定位行人130。在一些实施例中，可以在地图数据403上标记行人130在不同时间点的位置，以跟踪行人的先前轨迹和移动速度。点云数据的标记可由服务器210自动执行或在人的协助下执行。
在步骤S508中，服务器210识别行人130和围绕行人130的其他物体。例如，这些物体可包括交通灯140、行人交通灯142、人行横道110、人行道106、分隔带108、交通标志和车道标记等。行人的特征和围绕行人的物体的特征可以提供用于预测行人130的移动轨迹的信息。在一些实施例中，可以使用各种图像处理方法和机器学习方法(例如，卷积神经网络)，以识别行人和围绕行人的物体。
在步骤S510中，服务器210从传感器数据401和地图数据403提取行人130的行人特征和围绕行人的物体的物体特征。在一些实施例中，提取的特征可以包括语义或非语义的，其指示行人未来的行走轨迹。例如，行人特征可能包括，例如，行人速度、行人面向的方向、行人的运动和移动能力、行人的任何手势信号等。围绕行人的物体的物体特征可能包括，例如，人行道的车道标线、条状标线和人行横道的方向、行人交通灯的状态、人行道和车道之间的分隔带类型以及交通标志的信息。在一些实施例中，可以使用包括图像处理方法和机器学习方法的各种特征提取方法。
在步骤S512中，服务器210确定行人130面向的方向。例如，可执行面部识别以识别行人的面部及其所面向的方向。在步骤S514中，服务器210基于行人130面向的方向确定行人130的多个候选轨迹。候选轨迹是行人130可能行动的轨迹。例如，朝北的行人130可能沿着四条候选轨迹151-154(如图1所示)之一行走，即穿过路段100北行，左转进入人行道106，右转进入人行道106或停止。类似地，朝东的行人130可以沿着四条候选轨迹161-164中的一条行走，即，在人行道106上继续向东行走、在人行横道110上左转横穿马路、在人行道106上掉头并向西行走或者停止。
在一些实施例中，服务器210可以删除与任何特征冲突的一个或多个候选轨迹。例如，对于朝东的行人130，候选轨迹163可以被删除，因为行人掉头并向西行走的可能性非常低。该可选过滤步骤可帮助简化预测任务并减小服务器210的数据处理量。
方法500进行到步骤S516以确定每个候选轨迹的分数。在一些实施例中，分数可以是行人将遵循相应候选轨迹行走的概率或分配给候选轨迹的排名。在一些实施例中，服务器210可将学习模型405应用于预测。在一些实施例中，学习模型405可以是预测模型，例如决策树学习模型、逻辑回归模型或卷积神经网络模型。例如，学习模型405可以是梯度增强决策树模型。在一些实施例中，可以使用已知的行人的移动轨迹及其各自的样本特征来训练学习模型405。
例如，在步骤S516中，可以应用学习模型405基于提取的行人特征和物体特征来确定每个候选轨迹的概率。例如，可以确定行人130沿着候选轨迹151行走的概率为60％，沿着候选轨迹152行走的概率为20％，沿着候选轨迹153行走的概率为5％，以及沿着候选轨迹154行走的概率为15％。
在步骤S518中，服务器210可以将分数(例如，概率)与预定阈值进行比较。在一些实施方案中，预定阈值可以是高于50％的百分比，例如60％，70％，80％或90％。如果没有概率高于阈值(S516：否)，则可以认为预测不可靠。在一些实施例中，方法500可返回到步骤S504以接收额外的传感器数据以改进预测。在一些实施例中，服务器210可以确定可以获取哪些附加传感器数据，并生成控制信号以指示传感器220和/或230在步骤S504中获取这些附加传感器数据。
如果最高分数高于阈值(S518：是)，则服务器210可以在步骤S520中通过从候选轨迹中选择相应的候选轨迹来预测行人的移动轨迹。在一些实施例中，具有最高概率的候选轨迹可被识别为预测的行人的移动轨迹。例如，当候选轨迹152具有最高概率时，可选择其作为预测的行人130的移动轨迹。在其他一些实施例中，在步骤S518中，当服务器210对候选轨迹进行排序而不是计算概率时，方法500可跳过步骤S518并在步骤S520中选择具有最高排序的候选轨迹。
在步骤S522中，服务器210进一步预测行人的移动速度。在一些实施例中，行人的当前速度以及运动和移动能力信息可用于估计行人的未来移动速度。例如，一个跑步的行人可能会以较快的速度过马路，而一个拄拐的行人可能会走的很慢。
方法500提供的预测结果可提供给车辆101，并用于帮助驾驶员控制车辆或进行驾驶决策。例如，自动驾驶车辆可根据预测的行人的移动轨迹做出自动控制决策，以避免撞倒行人。该预测还可用于帮助提醒驾驶员调整其预期行驶路径和/或速度，以避免发生事故。例如，可以提供诸如“哔哔”声的音频警报来警告驾驶员和/或行人。
本发明的另一方面涉及用于存储指令的非暂时性计算机可读介质，其通过一个或多个处理器执行上述方法。计算机可读介质可包括挥发性、非易失性、磁、半导体、带、光学、可移动、不可移除或其他类型的计算机可读介质或计算机可读存储装置。例如，计算机可读介质可以是具有存储在其上的计算机指令的存储设备或存储器模块。在一些实施例中，计算机可读介质可以是盘或具有存储在其上的计算机指令的闪存驱动器。
对于本领域技术人员而言，可能对所公开的系统和相关方法进行各种修改和变化。考虑本发明所公开的系统和相关方法的规范和实践的考虑，本领域技术人员显然能够想到其他实施例。
本说明书和示例旨在仅被认为是示例性的，具体范围由权利要求及其等同内容表示。

Claims (20)

1.一种预测行人的移动轨迹的系统，其特征在于，包括：
通信接口，用于接收行人正在行走的区域的地图以及获取与所述行人相关联的传感器数据；以及
至少一个处理器，所述至少一个处理器用于：
在所述地图上定位所述行人；
从所述传感器数据中提取行人特征；
基于所述行人的定位识别围绕所述行人的一个或多个物体；
从所述传感器数据中提取所述一个或多个物体的物体特征；以及
基于提取的所述行人特征和所述物体特征，使用学习模型预测所述行人的移动轨迹和移动速度。
2.根据权利要求1所述的系统，其特征在于，为了预测所述行人的所述移动轨迹，所述至少一个处理器还用于：
确定至少两个候选轨迹；
基于提取的所述行人特征和所述物体特征，使用所述学习模型确定每个所述候选轨迹的分数；以及
将具有最高分数的所述候选轨迹作为预测的所述行人的所述移动轨迹。
3.根据权利要求2所述的系统，其特征在于，所述至少一个处理器还用于：
基于所述传感器数据确定所述行人面向的方向；
以及基于所述方向确定所述至少两个候选轨迹。
4.根据权利要求2所述的系统，其特征在于，所述分数是所述行人遵循相应的所述候选轨迹行走的概率。
5.根据权利要求1所述的系统，其特征在于，所述学习模型是决策树模型、逻辑回归模型或卷积神经网络模型。
6.根据权利要求1所述的系统，其特征在于，所述传感器数据包括由激光雷达获取的点云数据和由相机获取的图像数据。
7.根据权利要求1所述的系统，其特征在于，为了提取所述行人特征，所述至少一个处理器还用于检测所述行人的所述移动轨迹。
8.根据权利要求1所述的系统，其中，为了提取所述行人特征，所述至少一个处理器还用于检测所述行人的移动能力。
9.根据权利要求1所述的系统，其中，为了提取所述行人特征，所述至少一个处理器还用于获取所述行人的先前移动轨迹。
10.根据权利要求1所述的系统，其特征在于，所述一个或多个物体包括所述行人面对的行人交通灯，其中，为了提取所述一个或多个物体的所述物体特征，所述至少一个处理器还用于检测所述行人交通灯的状态。
11.根据权利要求1所述的系统，其特征在于，所述一个或多个物体包括所述行人行走的人行横道，其中，为了提取所述一个或多个物体的所述物体特征，所述至少一个处理器还用于检测所述人行横道的通行方向。
12.根据权利要求1所述的系统，其特征在于，所述传感器数据由至少一个传感器获取，所述传感器安装在所述行人正在行走的区域内行驶的车辆上，其中，所述通信接口还用于向所述车辆提供预测的所述行人的所述移动轨迹和所述移动速度。
13.一种预测行人的移动轨迹的方法，其特征在于，包括：
通过通信接口接收所述行人正在行走的区域的地图以及与所述行人相关联的传感器数据；
通过至少一个处理器在所述地图上定位所述行人；
通过所述至少一个处理器从所述传感器数据中提取行人特征；
通过所述至少一个处理器基于所述行人的定位识别围绕所述行人的一个或多个物体；
通过所述至少一个处理器从所述传感器数据中提取所述一个或多个物体的物体特征；以及
通过所述至少一个处理器，基于提取的所述行人特征和所述物体特征，使用学习模型预测所述行人的移动轨迹和移动速度。
14.根据权利要求13所述的方法，其特征在于，所述预测所述行人的所述移动轨迹还包括：
确定至少两个候选轨迹；
基于提取的所述行人特征和所述物体特征，使用所述学习模型确定每个所述候选轨迹的分数；以及
将具有最高分数的所述候选轨迹作为预测所述行人的所述移动轨迹。
15.如权利要求13所述的方法，其特征在于，所述学习模型是决策树模型、逻辑回归模型或卷积神经网络模型。
16.如权利要求13所述的方法，其特征在于，提取所述行人特征还包括：
检测所述行人面向的方向；
检测所述行人的运动；
检测所述行人的移动能力；
以及确定所述行人的先前移动轨迹。
17.如权利要求13所述的方法，其特征在于，提取所述物体特征还包括：
检测所述行人面对的行人交通灯的状态；以及
检测所述行人行走的人行横道的通行方向。
18.根据权利要求13所述的方法，其特征在于，所述传感器数据由所述至少一个传感器获取，所述至少一个传感器安装在所述行人正在行走的区域内行驶的车辆上，其中，所述方法还包括向所述车辆提供预测的所述行人的所述移动轨迹和所述移动速度。
19.一种非暂时性的计算机可读介质，其特征在于，其上存储有指令，当由至少一个处理器执行所述指令时，所述指令使所述至少一个处理器执行以下操作：
接收行人正在行走的区域的地图以及获取与所述行人相关联的传感器数据；
在所述地图上定位所述行人；
从所述传感器数据中提取行人特征；
基于所述行人定位识别围绕所述行人的一个或多个物体；
从所述传感器数据中提取所述一个或多个物体的物体特征；以及
基于提取的所述行人特征和所述物体特征，使用学习模型预测所述行人的移动轨迹和移动速度。
20.根据权利要求19所述的计算机可读介质，其特征在于，所述预测所述行人的移动轨迹还包括：
确定至少两个候选轨迹；
基于提取的所述行人特征和所述物体特征，使用所述学习模型确定每个所述候选轨迹的分数；以及
将具有最高分数的所述候选轨迹作为预测的所述行人的所述移动轨迹。
CN201980100948.5A 2019-09-30 2019-09-30 预测行人的移动轨迹的系统和方法 Pending CN114450703A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/109352 WO2021062595A1 (en) 2019-09-30 2019-09-30 Systems and methods for predicting a pedestrian movement trajectory

Publications (1)

Publication Number Publication Date
CN114450703A true CN114450703A (zh) 2022-05-06

Family

ID=75337595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980100948.5A Pending CN114450703A (zh) 2019-09-30 2019-09-30 预测行人的移动轨迹的系统和方法

Country Status (3)

Country Link
US (1) US20220171065A1 (zh)
CN (1) CN114450703A (zh)
WO (1) WO2021062595A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US11710352B1 (en) * 2020-05-21 2023-07-25 Zoox, Inc. Machine-learned model training for pedestrian attribute and gesture detection
CN113177470B (zh) * 2021-04-28 2022-11-01 华中科技大学 行人轨迹预测方法、装置、设备及存储介质
US20230001953A1 (en) * 2021-06-17 2023-01-05 Toyota Research Institute, Inc. Planning-aware prediction for control-aware autonomous driving modules
US11904906B2 (en) 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
EP4131180A1 (en) * 2021-08-05 2023-02-08 Argo AI, LLC Methods and system for predicting trajectories of actors with respect to a drivable area
US20230056390A1 (en) * 2021-08-19 2023-02-23 Qualcomm Incorporated Vehicle-to-pedestrian (v2p) communication and data association for pedestrian position determination and collision avoidance
CN114067552A (zh) * 2021-11-08 2022-02-18 山东高速建设管理集团有限公司 一种基于路侧激光雷达的行人过街轨迹追踪与预测方法
CN114312829B (zh) * 2021-12-06 2024-04-23 广州文远知行科技有限公司 一种行人轨迹预测方法和装置、电子设备及存储介质
CN114379587A (zh) * 2021-12-28 2022-04-22 阿波罗智联(北京)科技有限公司 自动驾驶中避让行人的方法与装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105216792A (zh) * 2014-06-12 2016-01-06 株式会社日立制作所 对周围环境中的障碍物目标进行识别跟踪的方法和设备
CN109969172B (zh) * 2017-12-26 2020-12-01 华为技术有限公司 车辆控制方法、设备及计算机存储介质
CN108417089A (zh) * 2018-03-14 2018-08-17 杭州分数科技有限公司 行车安全预警方法、装置及系统

Also Published As

Publication number Publication date
US20220171065A1 (en) 2022-06-02
WO2021062595A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
US20220171065A1 (en) Systems and methods for predicting a pedestrian movement trajectory
US10691962B2 (en) Systems and methods for rear signal identification using machine learning
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
CN108196535B (zh) 基于增强学习和多传感器融合的自动驾驶系统
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
KR101847833B1 (ko) 교통량 예측 시스템, 차량용 표시 장치, 차량 및 교통량 예측 방법
EP2574958B1 (en) Road-terrain detection method and system for driver assistance systems
Bertozzi et al. Vision-based intelligent vehicles: State of the art and perspectives
US20220169263A1 (en) Systems and methods for predicting a vehicle trajectory
CN113313154A (zh) 一体化融合多传感器自动驾驶智能感知装置
GB2621722A (en) Systems and methods for vehicle navigation
US10885776B2 (en) System and method for roadway context learning by infrastructure sensors
CN109116846B (zh) 一种自动驾驶方法、装置、计算机设备和存储介质
US20220171066A1 (en) Systems and methods for jointly predicting trajectories of multiple moving objects
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
Tümen et al. Intersections and crosswalk detection using deep learning and image processing techniques
US10546202B2 (en) Proving hypotheses for a vehicle using optimal experiment design
DE112020002592T5 (de) Systeme und verfahren zur fahrzeugnavigation basierend auf bildanalyse
CN110356412A (zh) 用于自主驾驶的自动规则学习的方法和设备
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
Asmika et al. Deep learning for vision and decision making in self driving cars-challenges with ethical decision making
US20220172607A1 (en) Systems and methods for predicting a bicycle trajectory
US11878684B2 (en) System and method for trajectory prediction using a predicted endpoint conditioned network
DE102022100413A1 (de) Objekterkennung unter verwendung von radar-und-lidar-zusammenführung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination