CN111278707A - 用于自主车辆的行人行为预测 - Google Patents

用于自主车辆的行人行为预测 Download PDF

Info

Publication number
CN111278707A
CN111278707A CN201880069419.9A CN201880069419A CN111278707A CN 111278707 A CN111278707 A CN 111278707A CN 201880069419 A CN201880069419 A CN 201880069419A CN 111278707 A CN111278707 A CN 111278707A
Authority
CN
China
Prior art keywords
vehicle
cells
contour
grid
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069419.9A
Other languages
English (en)
Other versions
CN111278707B (zh
Inventor
J.S.拉塞尔
K.丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Publication of CN111278707A publication Critical patent/CN111278707A/zh
Application granted granted Critical
Publication of CN111278707B publication Critical patent/CN111278707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/84—Wheelchairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Walking Sticks, Umbrellas, And Fans (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

该技术涉及以自动驾驶模式控制车辆100。例如，可以接收识别车辆的环境中的对象的传感器数据。包括多个单元格的网格780、782、784可以被投射在对象周围。对于多个单元格中的每个给定单元格，预测对象将在未来一段时间内进入给定单元格的可能性。基于预测的可能性生成轮廓1280‑1284。然后，以自动驾驶模式控制车辆，以便避开轮廓内的区域。

Description

用于自主车辆的行人行为预测
相关申请的交叉引用
本申请是2017年10月24日提交的美国专利申请第15/791,602号的延续，其公开内容通过引用结合于此。
背景技术
自主车辆，诸如不需要人类驾驶员的车辆，可以用于帮助将乘客或物品从一个位置运输到另一位置。这样的车辆可以在完全自主的模式下操作，其中乘客可以提供一些初始输入，诸如接载或目的地位置，并且车辆将自身操纵到(maneuver)该位置。
为了确定如何通过环境与其他独立参与者(actor)(诸如车辆、自行车和行人)一起操纵无人驾驶车辆，对于无人驾驶车辆的计算设备而言，检测此类参与者并做出关于那些参与者未来运动的预测至关重要。典型的预测系统可以使用基于学习的轨迹建议的行为模型来基于先前观察到的运动来评估对象将遵循给定轨迹的可能性。在进行这种预测时，某些轨迹模型甚至可能考虑其他参与者的相对位置和移动。当来自车辆的感知系统的数据质量很高并且给定参与者的可行路径的数量相对较少时，这种轨迹建模可能是一种实用且有用的方法。
发明内容
本公开的一个方面提供了一种控制具有自动驾驶模式的车辆的方法。该方法包括：由车辆的一个或多个处理器接收识别车辆的环境中的对象的传感器数据；由一个或多个处理器围绕对象投射(project)包括多个单元格(cell)的网格(grid)；对于多个单元格中的每个给定单元格，由一个或多个处理器预测在未来一段时间内对象将进入给定的一个单元格的可能性；由一个或多个处理器基于预测的可能性生成轮廓(contour)；以及由一个或多个处理器以自动驾驶模式控制车辆，以便避开轮廓内的区域。
在一个示例中，传感器数据将对象识别为行人对象类型，并且投射网格还基于行人对象类型。在另一示例中，该方法还包括选择对象上的点，并且投射网格包括将该点放置在网格的中心。在另一示例中，该方法还包括提供围绕轮廓的缓冲距离，并且控制车辆包括避开在围绕轮廓的缓冲距离内的区域。在另一示例中，时间段是2秒或更短。在另一示例中，该方法还包括使用阈值和所预测的可能性丢弃多个单元格中的单元格，并且使用多个单元格中的任何其余单元格来生成轮廓。在该示例中，该方法还包括基于在传感器数据中识别的对象来选择阈值。在此示例中，选择阈值是基于传感器数据中识别的行人数量。附加地或替代地，选择阈值是基于车辆避开网格的区域的可行性。在另一示例中，预测所预测的可能性提供了热图。
本公开的另一方面提供了一种用于控制具有自动驾驶模式的车辆的系统，该系统包括一个或多个处理器，被配置为：接收识别车辆的环境中的对象的传感器数据；围绕对象投射包括多个单元格的网格；对于多个单元格中的每个给定单元格，预测在未来一段时间内对象将进入给定单元格的可能性；基于所预测的可能性生成轮廓；以及在自动驾驶模式下控制车辆，以便避开轮廓内的区域。
在一个示例中，传感器数据将对象识别为行人对象类型，并且投射网格还基于行人对象类型。在另一示例中，该方法还包括选择对象上的点，并且投射网格包括将点放置在网格的中心。在该示例中，该方法还包括提供围绕轮廓的缓冲距离，并且控制车辆包括避开轮廓周围的缓冲距离内的区域。在另一示例中，该方法还包括使用阈值和所预测的可能性丢弃多个单元格中的单元格，并且使用多个单元格中的任何其余单元格来生成轮廓。在该示例中，该方法还包括基于在传感器数据中识别的对象来选择阈值。在此示例中，选择阈值是基于传感器数据中识别的行人数量。附加地或替代地，选择阈值是基于在传感器数据中是否识别出轮椅。在另一示例中，预测所预测的可能性提供了热图。在另一示例中，系统还包括车辆。
附图说明
图1是根据本公开的方面的示例性车辆的功能图。
图2是根据本公开的方面的详细地图信息的示例表示。
图3A-3D是根据本公开的方面的车辆的示例性外部视图。
图4是根据本公开的方面的行车道的截面图。
图5是根据本公开的方面的行车道和传感器数据的截面图。
图6是根据本公开的方面的行车道、传感器数据和预测的轨迹的截面图。
图7A-7C是根据本公开的方面的示例网格投射。
图8是根据本公开的方面的行车道、传感器数据、预测的轨迹和网格投射的截面图。
图9A-9C是根据本公开的方面的示例概率分布。
图10A-10B是根据本公开的方面的示例概率分布。
图11A-11C是根据本公开的方面的示例过滤的概率分布。
图12A-12C是根据本公开的方面的示例轮廓区域。
图13是根据本公开的方面的行车道、传感器数据、预测的轨迹和轮廓区域的截面图。
图14是根据本公开的方面的流程图。
具体实施方式
概述
如上所述，当来自车辆的感知系统的数据质量很高并且给定参与者的可行路径的数量相对较小时，这种轨迹建模可能是一种实用且有用的方法。然而，在某些情况下，数据质量可能会低于最优，并且参与者的行为难以预测。对于无限多样、非刚性、经常被部分遮挡、能够快速改变方向并穿越各种地形的行人，情况尤其如此。这可能使得难以使用轨迹建模检测、分类、跟踪和特别是预测行人。
为了解决这些障碍，代替轨迹建模预测或除了轨迹建模预测之外，可以使用行人在未来短时间内的可能未来位置的基于网格的预测。例如，对于由车辆的感知系统检测到的每个行人，都可以在行人周围投射一个网格。网格的大小可以对应于行人在短时间内能够移动多远的向外边界(outward boundary)。
可以投射网格，使得行人上的任何点或给定点处于网格的中心。使用观察到的行人速度、移动方向和朝向，可以为每个单元格确定一个值，该值指示行人在短时段内可能进入该单元格的可能性。在某些情况下，预测也可以基于环境因素。
因此，每个网格单元格将代表行人在短时间段内进入该单元格的概率。就这一点而言，可以将网格视为热图(heat map)，该热图识别行人在短时间段内或多或少可能处于的区域。热图可以帮助将感知不确定性传播为可用于路径规划的形式。
如果行人将不会进入给定单元格的概率很高，则可以丢弃该单元格。换句话说，不满足阈值的单元格可以被丢弃。可以在其余的网格单元格周围绘制轮廓。然后可以将该轮廓用于路径规划。
除了上面和下面讨论的益处之外，使用这种基于网格的预测还允许车辆在对行人做出响应时或在车辆的感知系统无法可靠地识别对象类型的任何情况下更加谨慎。这种预测形式还可以允许人类观察者识别对位置、朝向、速度、加速度和轮廓影响预期运动的感知的不确定性。实际上，可以从预测性递归神经网络(predictive recurrent neuralnetwork)以相当直接的方式获得热图，而基于提议的轨迹则很难以这种方式来表达。同时，由于这种基于网格的预测可以在很短的时间范围内预测参与者的未来位置和动作，因此所需的实际“地面实况(ground truth)”训练数据非常小。换句话说，在做出可靠的预测之前，感知系统只需要观察十分之一秒的时间即可。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，然而该车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公共汽车、休闲车等。该车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常在通用计算设备中存在的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120运行或以其他方式使用的指令132和数据134。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算设备可读介质或其他存储可以借助电子设备读取的数据的介质，所述电子设备诸如硬盘、存储器卡、ROM、RAM、DVD或其他光盘，以及其他具有写和只读功能的存储器。系统和方法可以包括前述的不同组合，从而指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是将由处理器直接运行(诸如机器代码)或间接运行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以对象代码格式存储以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的脚本或集合。指令的功能、方法和例程将在下面更详细地说明。
数据134可以由处理器120根据指令132检索、存储或修改。一个或多个处理器120可以是任何常规处理器，诸如市售(commercially available)CPU。替代地，一个或多个处理器可以是专用设备，诸如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，然而本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可能或可能不存储在同一物理外壳内的多个处理器、计算设备或存储器。作为示例，内部电子显示器152可以由具有其自己的处理器或中央处理单元(CPU)、存储器等的专用计算设备控制，该专用计算设备可以经由高带宽或其他网络连接与计算设备110对接。在一些示例中，计算设备可以是可以与用户的客户端设备通信的用户接口计算设备。类似地，存储器可以是位于不同于计算设备110的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可能或可能不并行运行的处理器或计算设备或存储器的集合的引用。
计算设备110可以是通常与计算设备(诸如上述处理器和存储器)以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)结合使用的所有组件，以及各种电子显示器(例如，具有屏幕的监视器或可用于显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154以提供信息或视听体验。就这一点而言，内部电子显示器152可以位于车辆100的舱室(cabin)内，并且可以由计算设备110用来向车辆100内的乘客提供信息。除了内部扬声器之外，一个或多个扬声器154可以包括布置在车辆上的各个位置的外部扬声器，以便向车辆100外部的对象提供听觉通知。
在一个示例中，计算设备110可以是结合到车辆100中的自动驾驶计算系统。自动驾驶计算系统可以能够与车辆的各种组件进行通信。例如，返回图1，计算设备110可以与车辆100的各种系统进行通信，诸如减速系统160(用于控制车辆的制动)、加速系统162(用于控制车辆的加速)、转向系统164(用于控制车轮的朝向和车辆的方向)、信号系统166(用于控制转向信号)、导航系统168(用于将车辆导航到某个位置或对象周围)、定位系统170(用于确定车辆的位置)、感知系统172(用于检测车辆外部环境中的对象)以及动力系统174(例如，电池和/或汽油或柴油动力发动机)以便在不需求或不需要来自车辆的乘客的连续或周期性输入的自动驾驶模式下，根据存储器130的指令132控制车辆100的移动、速度等。同样，尽管这些系统显示为在计算设备110外部，但实际上，这些系统也可以并入计算设备110中，再次作为用于控制车辆100的自动驾驶计算系统。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。当需要安全到达位置时，计算设备110可以使用定位系统170来确定车辆的位置并且使用感知系统172来检测和对对象做出响应。为了做到这一点，计算设备110可以使车辆加速(例如，通过增加由加速系统162提供给发动机的燃料或其他能量)、减速(例如，通过减少提供给发动机的燃料、改变档位和/或通过减速系统160施加制动)、改变方向(例如，通过转向系统164旋转车辆100的前轮或后轮)以及发信号通知这样的变化(例如，通过点亮信号系统166的转向信号)。因此，加速系统162和减速系统160可以是传动系统的一部分，该传动系统包括在车辆的发动机和车辆的车轮之间的各种组件。同样，通过控制这些系统，计算设备110也可以控制车辆的传动系统，以便自主地操纵车辆。
作为示例，计算设备110可以与减速系统160和加速系统162交互以便控制车辆的速度。类似地，转向系统164可以由计算设备110使用以便控制车辆100的方向。例如，如果车辆100配置为在道路上使用，诸如轿车或卡车，则转向系统可以包括用于控制车轮的角度以使车辆转向的组件。信号系统166可以由计算设备110使用，以便例如在需要时通过点亮转向信号灯或刹车灯向其他驾驶员或车辆发信号通知车辆的意图。
计算设备110可以使用导航系统168，以便确定并遵循到达某个位置的路线。就这一点而言，导航系统168和/或数据134可以存储详细的地图信息，例如，高度详细的地图，其标识道路、车道线、十字路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植被或其他此类对象和信息。换句话说，该详细的地图信息可以定义车辆预期环境的几何形状，包括道路以及这些道路的速度限制(合法速度限制)。
图2是针对包括十字路口202和204的一段道路的地图信息200的示例。在此示例中，地图信息200包括标识车道线210、212、214、交通信号灯220、222、人行横道230、人行道240、停车标志250、252和让路标志(yield sign)260的形状、位置和其他特性的信息。车辆可以行驶的区域可与一条或多条轨道270、272和274相关联，其指示地图信息中的位置和车辆通常应在各个位置处行驶的方向。例如，当在车道线210和212之间的车道中行驶时，车辆可以遵循轨道270，并且可以过渡到轨道272以便在十字路口204处右转。此后，车辆可以遵循轨道274。为了简化和易于理解，在地图信息200中仅示出了一些轨道的数量和性质。
尽管详细地图信息在本文中被描述为基于图像的地图，然而该地图信息不必完全基于图像(例如，网格)。例如，详细的地图信息可以包括一个或多个路图(roadgraphs)或信息的图形网络，所述信息诸如道路、行车道、十字路口以及这些特征之间的连接。每个特征都可以存储为图形数据，并且可以与诸如地理位置及其是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和十字路口等。在一些示例中，相关联的数据可以包括路图的基于网格的索引，以允许高效地查找某些路图特征。
感知系统172还包括一个或多个组件，用于检测车辆外部的对象，诸如其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括一个或多个LIDAR传感器、声纳设备、雷达单元、相机和/或记录可由计算设备110处理的传感器数据的任何其他检测设备。感知系统的传感器可以检测对象及其特性，诸如位置、方向、大小、形状、类型(例如，车辆、行人、骑自行车的人等)、前进方向和移动速度等。来自传感器的原始数据和/或上述特性可以被量化或安排为描述性功能、矢量和/或边界框，并如由感知系统172生成那样被定期地和连续地作为传感器数据发送用于进一步处理。如下面更详细地讨论的，在需要安全到达位置时，计算设备110可以使用定位系统170来确定车辆的位置并且使用感知系统172来检测并响应对象。
图3A-3D是车辆100的外部视图的示例。可以看出，车辆100包括典型车辆的许多特征，诸如前灯302、挡风玻璃303、尾灯/转向信号灯304、后挡风玻璃305、门306、侧视镜308、轮胎和车轮310以及转向信号/停车灯312。前灯302、尾灯/转向信号灯304和转向信号/停车灯312可以与信号系统166相关联。灯条(light bar)307也可以与信号系统166相关联。外壳314可以容纳一个或多个传感器，诸如感知系统172的LIDAR传感器、声纳设备、雷达单元、相机等，尽管这些传感器也可以被并入到车辆的其他区域中。
示例方法
除了上述和附图中示出的操作之外，现在将描述各种操作。应当理解，不必以下面描述的精确顺序执行以下操作。而是，可以以不同的顺序或同时地处理各个步骤，并且还可以添加或省略步骤。
计算设备110可以将车辆100操纵到目的地位置，例如，以运输货物和/或一个或多个乘客。就这一点而言，计算设备110可以启动必要的系统以沿着到目的地位置的路线自主地控制车辆。例如，导航系统168可以使用数据134的地图信息来确定到达目的地位置的路径或路线，该路径或路线遵循地图信息200的一组连接的轨道。计算设备110然后可以如上文所述自主地操纵车辆(或以自动驾驶模式)沿着到达目的地的路线。
例如，图4描绘了在包括对应于地图信息200的十字路口402和404的一段道路400上操纵的车辆100。在该示例中，十字路口402和404分别对应于地图信息200的十字路口202和204。在该示例中，车道线410、412和414分别对应于车道线210、212和214的形状、位置和其他特性。类似地，人行横道430分别对应于人行横道230的形状、位置和其他特性；人行道440对应于人行道240；交通信号灯420、422分别对应于交通信号灯220、222；停车标志450、452分别对应于停车标志250、252；以及让路标志460对应于让路标志260。此外，各种行人480-484和车辆490、492被布置在道路400周围的不同位置。
当车辆100在其环境中移动时，车辆的感知系统172可以向计算设备提供传感器数据，该传感器数据包括关于车辆的环境的信息。如上所述，该传感器数据可以包括位置、前进方向、速度、类型和其他特性，诸如地图信息的特征以及其他“道路使用者”(包括诸如车辆、行人和骑自行车的人的对象)的特性。例如，图5描绘了图4的车辆100的环境的特征(为了便于理解而去除了交通信号灯)，其边界框580、582和590、592代表行人480-484和车辆490、492的一般形状和位置，如由感知系统172提供给计算设备110的。在此示例中，导航系统168使用地图信息200确定车辆100遵循以便到达目的地(未显示)的路线570，并且如进一步讨论的，计算设备110可以确定车辆在接下来的几秒钟内要跟踪的轨迹以便遵循路线。
对于与其他道路使用者相对应的每个对象，计算设备110可以预测该对象的未来行为。如上所述，这可以包括基于该对象的位置、朝向、速度、位置变化、朝向变化、信号(转向信号)等、诸如交通信号灯的状态、停车标志的位置、速度限制、交通规则(单向街道、转弯车道等)和其他信息的上下文信息、以及对于该对象的预测行为模型的先前观察来估计该对象的未来轨迹，该未来轨迹描述连接在一起以形成该轨迹的几何形状的一系列预测的未来位置。仅作为示例，箭头680-684和690、692代表行人480-484和车辆490、492的估计的轨迹，这可能表示这些其他道路使用者在未来一段时间(诸如2秒或更多或更少)内可能会采用的最可能路径。
对于对应于行人对象类型的其他道路用户对象或仅是行人，代替轨迹模型预测或除了轨迹建模预测之外，还可以使用在未来短时间内行人的可能的未来的位置的基于网格的预测。例如，对于由车辆的感知系统检测到的每个行人，都可以在行人周围投射一个网格。例如，可以为行人480-484中的每一个预测网格。图7A是针对行人480的示例网格投射780，图7B是针对行人482的示例网格投射782，图7C是针对行人484的示例网格投射784。图8描绘了这些网格投射覆盖在图5的示例上以供参考。
网格的大小可以对应于行人在未来一段时间内将能够移动多远的向外边界。例如，如果时间段是2秒或更短(诸如1.5秒)，则网格可能是5米×5米，带有0.5米的单元格。当然，为了解决计算资源(时间和精力)和预测精度之间的折衷(tradeoff)，大小选择可以更大或更小。在某些情况下，如果行人移动非常快，则可能会增加网格大小。
如图6A和6B所示，可以投射网格使得行人上的任何点或给定点都位于网格的中心。作为示例，给定点可能是估计的重心、躯干上的点、行人头部上的点等。
使用观察到的行人速度、移动方向和朝向，可以为每个单元格确定一个值，该值指示行人在短时间段内进入该单元格的可能性。例如，行人比行人后面的网格单元格更可能向前移动并覆盖左前或右前的网格单元格(这将要求行人将方向改变180度)。
在某些情况下，预测也可以基于环境因素。例如，这可以包括：行人和其他路图特征(诸如十字路口、人行横道、路缘、中位线、停车标志、施工区等)之间的距离、行人的行进方向与到达路图特征的最短路径(例如，这可以包括指示行人是否面对路图特征的测量(measurement))之间的差(difference)、单元格的区域是否在道路特征中或占据道路特征、行人和任何周围对象(诸如车辆或其他较大的障碍物)之间的距离、单元格当前是否被某些其他对象(诸如车辆、行人、骑自行车的人、碎石堆或其他对象等)占据。
作为示例，行人相对于道路位于何处可以使行人或多或少地可能进入某些单元格。例如，如果行人正离开道路，则他或她不太可能会改变方向并移回道路(使得行人后面的单元格的可能性更低)。在这方面，行人480和484分别朝人行横道和道路的边缘移动。因此，与改变方向相比，他们更有可能继续这样做。此外，由于行人484不在人行横道中，因此当行人480在人行横道中时，行人484可能倾向于比行人480更快地通过十字路口402。类似地，如果行人正在接近道路的边缘，诸如正在接近道路边缘486的行人482(如图4所示)，则他或她可能会减速而不是以当前速度继续。这样，在短时间段内行人482到达行人前方一米左右以上的网格单元格的可能性较小。
因此，每个网格单元格将代表行人在短时间段内将进入该单元格的概率。图9A-9C分别描绘了针对图7A-7C的每个网格投射780-784的示例概率分布980-984。这些网格的俯视图提供了一个热图，所述热图带有区域，所述区域具有行人将穿过靠近行人的网格单元格的较高可能性(例如，较暗的阴影区域)，以及基于预测从行人向外移动的可能性(以及阴影)衰减。
在一个示例中，如果车辆的计算设备对行人所面对的道路不确信(或不够确信)，则所生成的热图可以在行人周围的所有方向上更加均匀，诸如在图10A的网格投射1010的示例中。在另一示例中，如果车辆的计算设备非常有信心行人正对前方，则结果将是指向更加直接的热图，诸如在图10B的网格投射1020的示例中。就这一点而言，热图可以帮助将感知不确定性传播为可用于路径规划的形式，如下文进一步讨论的。
如果行人不会进入给定单元格的可能性很高，则该单元格可以被丢弃或过滤。换句话说，不满足阈值或特定置信度阈值的单元格可以被丢弃。作为示例，将丢弃具有95％的概率未占用或5％的概率占用的单元格。返回到图9A-9C的示例，图11A-11C描绘了与概率分布980-984相对应的经过滤的概率分布1180-1184，其中去除了具有低概率的单元格(空或非阴影单元格)。
可以基于情况调整阈值。例如，如果在该区域中至少有预定数量的行人、是否有孩子、是否有坐轮椅的人等，则可以增加或减小阈值以增加车辆的谨慎性。例如，可以根据阈值的类型将阈值从95％调整为98％或从5％降低为2％。作为另一个示例，另一个对象的“通行权”可用于调整阈值。例如，当行人位于人行横道内时，与行人在人行道中时相比，车辆可能会更加谨慎或使用更高的阈值。作为又一个示例，可以使用避免网格的单元格是否可行来调整阈值。例如，如果转向或制动以避开所有单元格在运动学上不可行，则可以降低阈值，以便能够规划对于车辆和行人仍然安全的可行轨迹。换句话说，在某些情况下，如果车辆采取非常保守的方法并使用较高的阈值，则车辆将无法及时转向或制动以完全避免与某些低可能性单元格发生碰撞。然而，车辆可能能够以略高的可能性避免通过单元格区域。因此，可以将阈值从非常保守的较高阈值调整为较低阈值，同时在实际意义上仍保持安全，以便使阈值可行地满足。在这方面，基于网格的预测甚至可以更加动态并响应不断变化的情况。
可以在其余的网格单元格周围绘制轮廓。图12A-12C是针对概率分布1180-1184的示例轮廓区域1280-1284。这些轮廓可以被计算设备用于路径规划。例如，路径规划涉及使用轮廓来定义在短时间段内不允许车辆通过的区域。
计算设备110可以生成避免这些轮廓区域中的任何轮廓区域的轨迹。例如，图13描绘了具有示例轮廓区域1280-1284的图6的示例。在该示例中，计算设备110可以生成轨迹1370，该轨迹1370调整车辆的位置并放慢车辆的速度，以便避开轮廓区域1282以及车辆494的轨迹694，同时仍遵循路线570行驶。
在某些情况下，还可以施加轮廓周围的缓冲距离或区域，以确保车辆不会太靠近行人。例如，可以选择该数字以确保行人和乘客的“舒适”通过余量，诸如1米或更多或更少。
此外，由于所得到的轮廓代表了较短的时间范围，因此该轮廓可以以与时间无关的方式(例如，被当作静态对象对待)用于路径规划，这使得与如果行人被认为是移动的对象相比，避免行人成为更容易解决的问题。就这一点而言，当确定一段时间内的车辆轨迹时，计算设备110可以简单地将轮廓区域1280-1284中的每一个视为计算设备110必须避免的单独的较大的静止对象。
图14是可以由一个或多个处理器(诸如计算设备110的一个或多个处理器120)执行以便在自动驾驶模式下控制车辆的流程图1400。在该示例中，在框1402处，接收识别车辆的环境中的对象的传感器数据。在框1404处，围绕该对象投射包括多个单元格的网格。在框1406处，对于多个单元格中的每个给定单元格，预测对象将在未来的一段时间内进入给定单元格的可能性。在框1408处，基于预测的可能性生成轮廓。然后，在框1410处，以自动驾驶模式控制车辆，以便避开轮廓内的区域。
除非另有说明，否则前述替代示例不是互相排斥的，而是可以以各种组合实现以取得独特的优点。由于可以在不背离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施方式的前述描述应通过说明的方式而不是通过限定由权利要求定义的主题的方式进行。另外，在此描述的示例的提供以及用短语表达为“诸如”、“包括”等的用语不应被解释为将权利要求的主题限制于特定示例；相反，这些示例仅旨在说明许多可能的实施例之一。此外，在不同附图中的相同附图标记可以标识相同或相似的元件。

Claims (20)

1.一种控制具有自动驾驶模式的车辆的方法，所述方法包括：
由所述车辆的一个或多个处理器接收识别所述车辆的环境中的对象的传感器数据；
由所述一个或多个处理器围绕所述对象投射包括多个单元格的网格；
对于所述多个单元格中的每个给定单元格，由所述一个或多个处理器预测所述对象在未来时间段内将进入给定单元格的可能性；
由所述一个或多个处理器基于所预测的可能性生成轮廓；以及
由所述一个或多个处理器在所述自动驾驶模式下控制所述车辆，以便避开所述轮廓内的区域。
2.根据权利要求1所述的方法，其中，所述传感器数据将所述对象识别为行人对象类型，并且投射所述网格还基于所述行人对象类型。
3.根据权利要求1所述的方法，还包括选择所述对象上的点，并且其中投射所述网格包括将所述点放置在所述网格的中心。
4.根据权利要求1所述的方法，还包括提供围绕所述轮廓的缓冲距离，并且其中控制所述车辆包括避开围绕所述轮廓的所述缓冲距离内的区域。
5.根据权利要求1所述的方法，其中所述时间段是2秒或更短。
6.根据权利要求1所述的方法，还包括使用阈值和所预测的可能性丢弃所述多个单元格中的单元格，并且其中使用所述多个单元格中的任何其余单元格来生成所述轮廓。
7.根据权利要求6所述的方法，还包括基于在所述传感器数据中识别的对象来选择所述阈值。
8.根据权利要求7所述的方法，其中，选择所述阈值是基于在所述传感器数据中识别的行人的数量。
9.根据权利要求7所述的方法，其中，选择所述阈值是基于所述车辆避开所述网格的区域的可行性。
10.根据权利要求1所述的方法，其中，对所预测的可能性进行预测提供了热图。
11.一种用于控制具有自动驾驶模式的车辆的系统，所述系统包括一个或多个处理器，被配置为：
接收识别所述车辆的环境中的对象的传感器数据；
围绕所述对象投射包括多个单元格的网格；
对于所述多个单元格中的每个给定单元格，预测所述对象在未来时间段内将进入给定单元格的可能性；
基于所预测的可能性生成轮廓；以及
在所述自动驾驶模式下控制所述车辆，以便避开所述轮廓内的区域。
12.根据权利要求11所述的系统，其中，所述传感器数据将所述对象识别为行人对象类型，并且投射所述网格还基于所述行人对象类型。
13.根据权利要求11所述的系统，还包括选择所述对象上的点，并且其中投射所述网格包括将所述点放置在所述网格的中心。
14.根据权利要求11所述的系统，还包括提供围绕所述轮廓的缓冲距离，并且其中控制所述车辆包括避开围绕所述轮廓的所述缓冲距离内的区域。
15.根据权利要求11所述的系统，还包括使用阈值和所预测的可能性丢弃所述多个单元格中的单元格，并且其中使用所述多个单元格中的任何其余单元格来生成所述轮廓。
16.根据权利要求15所述的系统，还包括基于在所述传感器数据中识别的对象来选择所述阈值。
17.根据权利要求16所述的系统，其中，选择所述阈值是基于在所述传感器数据中识别的行人的数量。
18.根据权利要求16所述的系统，其中，选择所述阈值是基于是否在所述传感器数据中识别到轮椅。
19.根据权利要求11所述的系统，其中，对所预测的可能性进行预测提供了热图。
20.根据权利要求11所述的系统，还包括所述车辆。
CN201880069419.9A 2017-10-24 2018-10-23 控制具有自动驾驶模式的车辆的方法和系统 Active CN111278707B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/791,602 2017-10-24
US15/791,602 US11048927B2 (en) 2017-10-24 2017-10-24 Pedestrian behavior predictions for autonomous vehicles
PCT/US2018/057071 WO2019083978A1 (en) 2017-10-24 2018-10-23 PREDICTIONS OF PEDESTRIAN BEHAVIOR FOR AUTONOMOUS VEHICLES

Publications (2)

Publication Number Publication Date
CN111278707A true CN111278707A (zh) 2020-06-12
CN111278707B CN111278707B (zh) 2023-09-12

Family

ID=66171094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069419.9A Active CN111278707B (zh) 2017-10-24 2018-10-23 控制具有自动驾驶模式的车辆的方法和系统

Country Status (7)

Country Link
US (2) US11048927B2 (zh)
EP (1) EP3678911B1 (zh)
JP (1) JP7153071B2 (zh)
KR (2) KR102308924B1 (zh)
CN (1) CN111278707B (zh)
IL (1) IL273953B2 (zh)
WO (1) WO2019083978A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496091B1 (en) * 2016-08-17 2019-12-03 Waymo Llc Behavior and intent estimations of road users for autonomous vehicles
US11195410B2 (en) * 2018-01-09 2021-12-07 Continental Automotive Systems, Inc. System and method for generating a traffic heat map
GB2572127B (en) * 2018-01-10 2022-09-14 Xihelm Ltd Method and system for agriculture
DE102018200944A1 (de) * 2018-01-22 2019-07-25 Ford Global Technologies, Llc Cross Traffic Alert mit Blinkerkennung
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019156222A (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US20190337511A1 (en) * 2018-05-02 2019-11-07 GM Global Technology Operations LLC System and Method for Controlling an Autonomous Vehicle
US10860025B2 (en) * 2018-05-15 2020-12-08 Toyota Research Institute, Inc. Modeling graph of interactions between agents
US10678245B2 (en) * 2018-07-27 2020-06-09 GM Global Technology Operations LLC Systems and methods for predicting entity behavior
US11520346B2 (en) 2019-01-30 2022-12-06 Perceptive Automata, Inc. Navigating autonomous vehicles based on modulation of a world model representing traffic entities
WO2020157530A1 (en) * 2019-02-01 2020-08-06 Carit Automotive GmbH & Co. KG Vehicle park assist systems
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
KR20200099264A (ko) * 2019-02-14 2020-08-24 한화디펜스 주식회사 장애물 지도 생성 방법 및 그 장치
US20220172490A1 (en) * 2019-03-26 2022-06-02 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
US20220169245A1 (en) * 2019-03-29 2022-06-02 Sony Group Corporation Information processing apparatus, information processing method, computer program, and mobile body device
CN110689719B (zh) * 2019-05-31 2021-01-19 北京嘀嘀无限科技发展有限公司 用于识别封闭路段的系统和方法
CN110298122B (zh) * 2019-07-03 2021-04-27 北京理工大学 基于冲突消解的无人驾驶车辆城市交叉口左转决策方法
CN112242069B (zh) 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
RU2745804C1 (ru) 2019-11-06 2021-04-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и процессор для управления перемещением в полосе движения автономного транспортного средства
US10981507B1 (en) * 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
RU2744012C1 (ru) 2019-12-24 2021-03-02 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
CN114930124A (zh) * 2020-01-08 2022-08-19 索尼集团公司 信息处理装置、信息处理方法和程序
JP7276181B2 (ja) * 2020-01-29 2023-05-18 トヨタ自動車株式会社 運転支援システム
US11467580B2 (en) * 2020-02-14 2022-10-11 Uatc, Llc Systems and methods for detecting surprise movements of an actor with respect to an autonomous vehicle
US11708071B2 (en) * 2020-03-30 2023-07-25 Denso Corporation Target-orientated navigation system for a vehicle using a generic navigation system and related method
US11577759B2 (en) 2020-05-26 2023-02-14 Toyota Research Institute, Inc. Systems and methods for hybrid prediction framework with inductive bias
CN111907520B (zh) * 2020-07-31 2022-03-15 东软睿驰汽车技术（沈阳）有限公司 行人姿态识别方法、装置及无人驾驶汽车
US20220105955A1 (en) * 2020-10-01 2022-04-07 Uatc, Llc Metrics for Evaluating Autonomous Vehicle Performance
US11841704B2 (en) * 2020-11-04 2023-12-12 Waymo Llc Behavior prediction for railway agents for autonomous driving system
JP7409346B2 (ja) * 2021-03-31 2024-01-09 トヨタ自動車株式会社 制御装置、システム、車両、及び制御方法
SE2100097A1 (en) * 2021-06-09 2022-12-10 Saab Ab Method and Device for object tracking
US20220410882A1 (en) * 2021-06-28 2022-12-29 GM Global Technology Operations LLC Intersection collision mitigation risk assessment model
US20230043601A1 (en) * 2021-08-05 2023-02-09 Argo AI, LLC Methods And System For Predicting Trajectories Of Actors With Respect To A Drivable Area
EP4131180A1 (en) * 2021-08-05 2023-02-08 Argo AI, LLC Methods and system for predicting trajectories of actors with respect to a drivable area
US11904906B2 (en) 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
US20230159060A1 (en) * 2021-11-24 2023-05-25 Zoox, Inc. Focusing prediction distribution output for efficient sampling
US20230213945A1 (en) * 2021-12-30 2023-07-06 Nvidia Corporation Obstacle to path assignment for autonomous systems and applications
US20230264716A1 (en) * 2022-02-22 2023-08-24 Waymo Llc Inferring Good User Pickup Locations From Detected Walking Paths

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288133A1 (en) * 2006-06-13 2007-12-13 Nissan Motor Co., Ltd. Obstacle avoidance path computing apparatus, obstacle avoidance path computing method, and obstacle avoidance control system equipped with obstacle avoidance path computing system
US20100305858A1 (en) * 2009-06-01 2010-12-02 Raytheon Company Non-kinematic behavioral mapping
US20130179382A1 (en) * 2012-01-11 2013-07-11 Honda Research Institute Europe Gmbh Vehicle with computing means for monitoring and predicting traffic participant objects
CN104802796A (zh) * 2014-01-27 2015-07-29 罗伯特·博世有限公司 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统
CN105389855A (zh) * 2014-08-26 2016-03-09 三星电子株式会社 对对象进行建模的方法和设备
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
GB201712075D0 (en) * 2017-07-27 2017-09-13 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for motion planning in (un-)structured environments with pedestrians and use of probabilistic manifolds
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3717283A1 (de) 1987-05-22 1988-12-01 Ruetgerswerke Ag Verfluessigungsmittel fuer mineralische bindemittel
DE19641261C1 (de) * 1996-10-07 1998-02-12 Siemens Ag Verfahren zur Bewertung der Meßqualität eines Entfernungsmeßsensors an einem autonomen mobilen System
JP4747863B2 (ja) * 2006-02-08 2011-08-17 トヨタ自動車株式会社 運転支援装置
JP4254844B2 (ja) * 2006-11-01 2009-04-15 トヨタ自動車株式会社 走行制御計画評価装置
US8554478B2 (en) 2007-02-23 2013-10-08 Honeywell International Inc. Correlation position determination
JP2009150722A (ja) 2007-12-19 2009-07-09 Toyota Motor Corp 位置検出装置
JP5278776B2 (ja) * 2008-12-09 2013-09-04 トヨタ自動車株式会社 物体検出装置および物体検出方法
JP5206452B2 (ja) 2009-02-02 2013-06-12 日産自動車株式会社 車両走行支援装置及び車両走行支援方法
KR101105325B1 (ko) 2009-09-08 2012-01-16 부산대학교 산학협력단 실제 로봇의 다중 경로계획 방법
KR101096592B1 (ko) 2010-09-29 2011-12-20 국방과학연구소 장애물격자지도를 활용하는 무인차량의 자율주행성능 향상 장치 및 방법
US9472097B2 (en) 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
WO2013128852A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
EP2881030A4 (en) 2012-12-26 2016-03-09 Olympus Corp IMAGE RECORDING DEVICE AND IMAGE RECORDING METHOD
DE102013203239A1 (de) 2013-02-27 2014-08-28 Bayerische Motoren Werke Aktiengesellschaft Gridbasierte Vorhersage der Position eines Objektes
JP6467798B2 (ja) 2013-07-25 2019-02-13 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム
US9786178B1 (en) * 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
FR3022049B1 (fr) 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
JP6289284B2 (ja) 2014-06-20 2018-03-07 ルネサスエレクトロニクス株式会社 半導体装置及び制御方法
KR20160048530A (ko) 2014-10-24 2016-05-04 국방과학연구소 자율 이동 차량의 경로 생성 방법 및 경로 생성 장치
WO2016156236A1 (en) 2015-03-31 2016-10-06 Sony Corporation Method and electronic device
JP6481520B2 (ja) 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
US10086699B2 (en) 2015-06-24 2018-10-02 Nissan North America, Inc. Vehicle operation assistance information management for autonomous vehicle control operation
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US10229363B2 (en) 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
US9878664B2 (en) * 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
JP6625419B2 (ja) * 2015-12-07 2019-12-25 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
JP6795379B2 (ja) 2016-03-10 2020-12-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 運転制御装置、運転制御方法及び運転制御プログラム
CN107179767B (zh) 2016-03-10 2021-10-08 松下电器（美国）知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
JP6622148B2 (ja) * 2016-06-17 2019-12-18 日立オートモティブシステムズ株式会社 周辺環境認識装置
US20180217603A1 (en) 2017-01-31 2018-08-02 GM Global Technology Operations LLC Efficient situational awareness from perception streams in autonomous driving systems
US10195992B2 (en) * 2017-04-03 2019-02-05 Ford Global Technologies, Llc Obstacle detection systems and methods
US10969789B2 (en) * 2018-11-09 2021-04-06 Waymo Llc Verifying predicted trajectories using a grid-based approach
US11215997B2 (en) * 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288133A1 (en) * 2006-06-13 2007-12-13 Nissan Motor Co., Ltd. Obstacle avoidance path computing apparatus, obstacle avoidance path computing method, and obstacle avoidance control system equipped with obstacle avoidance path computing system
US20100305858A1 (en) * 2009-06-01 2010-12-02 Raytheon Company Non-kinematic behavioral mapping
US20130179382A1 (en) * 2012-01-11 2013-07-11 Honda Research Institute Europe Gmbh Vehicle with computing means for monitoring and predicting traffic participant objects
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
CN104802796A (zh) * 2014-01-27 2015-07-29 罗伯特·博世有限公司 用于运行驾驶员辅助系统的方法以及驾驶员辅助系统
CN105389855A (zh) * 2014-08-26 2016-03-09 三星电子株式会社 对对象进行建模的方法和设备
CN107220581A (zh) * 2016-03-21 2017-09-29 福特全球技术公司 通过后置摄像机的行人检测和运动预测
GB201712075D0 (en) * 2017-07-27 2017-09-13 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for motion planning in (un-)structured environments with pedestrians and use of probabilistic manifolds

Also Published As

Publication number Publication date
EP3678911A1 (en) 2020-07-15
JP7153071B2 (ja) 2022-10-13
IL273953B2 (en) 2023-12-01
KR20210124502A (ko) 2021-10-14
EP3678911A4 (en) 2021-05-05
IL273953A (en) 2020-05-31
EP3678911B1 (en) 2023-08-23
US20190122037A1 (en) 2019-04-25
US20210286985A1 (en) 2021-09-16
IL273953B1 (en) 2023-08-01
WO2019083978A1 (en) 2019-05-02
CN111278707B (zh) 2023-09-12
JP2021500652A (ja) 2021-01-07
US11783614B2 (en) 2023-10-10
KR102382577B1 (ko) 2022-04-08
US11048927B2 (en) 2021-06-29
KR102308924B1 (ko) 2021-10-05
KR20200047740A (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
US11970168B2 (en) Vehicle trajectory modification for following
EP3908493B1 (en) Occlusion prediction and trajectory evaluation
US11126180B1 (en) Predicting an occupancy associated with occluded region
US10059334B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
US20220187834A1 (en) Generating trajectories for autonomous vehicles
US10303178B1 (en) Collision mitigation static occupancy grid
CN114245885A (zh) 基于动作数据的自上而下场景预测
EP4018364A1 (en) Yield behavior modeling and prediction
EP3857264A1 (en) Radar spatial estimation
CN112789481A (zh) 对自上而下场景的轨迹预测
US11513519B1 (en) Sharing occlusion data
WO2020081565A2 (en) Responsive vehicle control
CN111213100A (zh) 用于自动车辆路径规划的速度相关所需的侧向间隙
CN111295628A (zh) 用于自主车辆决策的语义对象聚类
US20230391375A1 (en) Detecting potentially occluded objects for autonomous vehicles
CN116547495A (zh) 协作车辆路径生成
US20240174256A1 (en) Vehicle trajectory tree search for off-route driving maneuvers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant