CN111295628A - 用于自主车辆决策的语义对象聚类 - Google Patents

用于自主车辆决策的语义对象聚类 Download PDF

Info

Publication number
CN111295628A
CN111295628A CN201880070807.9A CN201880070807A CN111295628A CN 111295628 A CN111295628 A CN 111295628A CN 201880070807 A CN201880070807 A CN 201880070807A CN 111295628 A CN111295628 A CN 111295628A
Authority
CN
China
Prior art keywords
objects
identified
vehicle
pairs
processors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880070807.9A
Other languages
English (en)
Other versions
CN111295628B (zh
Inventor
J.S.拉塞尔
F.达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority claimed from PCT/US2018/057992 external-priority patent/WO2019089455A1/en
Publication of CN111295628A publication Critical patent/CN111295628A/zh
Application granted granted Critical
Publication of CN111295628B publication Critical patent/CN111295628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/81—Handing over between on-board automatic and on-board manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096811—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed offboard
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827—Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本技术涉及在自主驾驶模式下控制车辆(100)。例如，可以接收识别多个对象的传感器数据。可以识别多个对象中的对象对。可以针对多个对象中的每个识别的对象对确定相似性值，该相似性值指示该识别的对象对中的对象是否能够作为组被车辆响应。可以基于相似性得分将识别的对象对之一的对象聚类在一起。可以通过以相同的方式响应聚类(610、620、710、740、760)中的每个对象来在自主模式下控制车辆。

Description

用于自主车辆决策的语义对象聚类
相关申请的交叉引用
本申请是于2017年10月31日提交的第15/798,881号申请的继续申请，并且其全部公开内容通过引用结合于本文。本申请也是于2017年10月31日提交的第15/798,926号申请的继续申请，并且其全部公开内容通过引用结合于本文。
背景技术
自主(autonomous)车辆，诸如不需要人类驾驶员的车辆，可以用来协助乘客或物品从一个位置到另一位置的运送。这种车辆可以在完全自主模式下操作，在这种模式下，乘客可以提供一些初始输入，诸如接载或目的地位置，并且车辆操纵自己到该位置。
为了给在自主驾驶模式下操作的自动驾驶(self-driving)车辆或无人驾驶车辆提供安全和舒适的轨迹(trajectory)，在车辆的环境中确定对任何对象或介质(agent)(诸如其他车辆、骑自行车者、行人等)的适当反应类型是必要的。通常，对给定对象存在有限数量的反应，诸如经过对象的左边、经过右边、停在对象的前面、保持在对象的后面等。然而，当存在多个对象时，可能的反应的数量可以呈指数增长。
对人来说，对这个问题的简单方案是将某些对象“组合”在一起，并对这些对象做出响应，就像这些对象是单个实体一样。当人在决定对该组做出反应时会基于接近度、对象类型、相对运动等使用多种线索。此外，人可能认识到，当孤立地看任何给定对象时，对象组有时带有不一定明显的语义。例如，一群小孩在一个或多个成年人的陪同下，可能促动不同于单个小孩在成年人陪同下的反应，以及具有闪光灯的一排缓慢移动的车辆可能是葬礼队伍。
发明内容
本公开的一个方面提供了一种在自主驾驶模式下控制车辆的方法。该方法包括由一个或多个处理器接收识别多个对象的传感器数据；识别所述多个对象中的对象对(pairsof objects)；由一个或多个处理器针对所述多个对象中的每个识别的对象对确定相似性值，该相似性值指示该识别的对象对中的对象是否能够作为组被车辆响应；由一个或多个处理器基于相似性得分对识别的对象对之一的对象进行聚类；以及由一个或多个处理器通过以相同的方式响应聚类中的每个对象来在自主驾驶模式下控制车辆。
在一个示例中，聚类还基于识别的对象对之一的对象之间的距离。在另一示例中，聚类还基于识别的对象对之一的对象的对象类型之间的相似性。在另一示例中，聚类还基于识别的对象对之一的对象的过去运动和当前运动之间的相似性。在另一示例中，还基于识别的对象对之一的对象的预测的未来运动之间的相似性来确定相似性值。在另一示例中，聚类还基于识别的对象对之一的对象对于环境中的特征的相对位置。在本示例中，特征是人行横道。替选地，该特征是自行车道。在另一示例中，聚类还基于每个识别的对象对中的一个对象是否表现出正在跟随该识别的对象对中的另一对象。在另一示例中，聚类还基于每个识别的对象对中的对象是否被识别为属于预定语义组。
本公开的另一方面提供了一种用于在自主驾驶模式下控制车辆的系统。该系统包括一个或多个处理器，其被配置为接收识别多个对象的传感器数据；识别多个对象中的对象对；针对多个对象中的每个识别的对象对，确定相似性值，该相似性值指示该识别的对象对中的对象是否能够作为组被车辆响应；基于相似性得分对识别的对象对之一的对象进行聚类；以及通过以相同的方式响应聚类中的每个对象来在自主驾驶模式下控制车辆。
在一个示例中，一个或多个处理器还被配置为还基于识别的对象对之一的对象之间的距离来对识别的对象对之一的对象进行聚类。在另一示例中，一个或多个处理器还被配置为基于识别的对象对之一的对象的对象类型之间的相似性来对识别的对象对之一的对象进行聚类。在另一示例中，一个或多个处理器还被配置为还基于每个识别的对象对中的对象的过去运动和当前运动之间的相似性来对识别的对象对之一的对象进行聚类。在另一示例中，一个或多个处理器还被配置为还基于识别的对象对之一的对象的预测的未来运动之间的相似性来对识别的对象对之一的对象进行聚类。在另一示例中，一个或多个处理器还被配置为还基于识别的对象对之一的对象对于环境中的特征的相对位置来对识别的对象对之一的对象进行聚类。在本示例中，特征是人行横道。替选地，一个或多个处理器还被配置为还基于识别的对象对之一的对象中的一个对象是否表现出正在跟随识别的对象对之一的对象中的另一对象，来对识别的对象对之一的对象进行聚类。在另一示例中，一个或多个处理器还被配置为还基于识别的对象对之一的对象是否被识别为属于预定语义组来对识别的对象对之一的对象进行聚类。在另一示例中，该系统还包括车辆。
附图说明
图1是根据本公开的各方面的示例车辆的功能图。
图2是根据本公开的各方面的详细的地图信息的示例表示。
图3A-图3D是根据本公开的各方面的车辆的示例外部视图。
图4是根据本公开的各方面的一段道路的视图。
图5是根据本公开的各方面的一段道路和传感器数据的视图。
图6是根据本公开的各方面的一段道路和传感器数据的视图。
图7是根据本公开的各方面的一段道路和传感器数据的视图。
图8是根据本公开的各方面的流程图。
具体实施方式
概述
自主车辆也可以受益于将对象组合在一起。这将允许车辆的计算设备为整个对象组做出决策而不是为每个对象单独地做出决策。这进而可以节省大量的处理能力，同时允许车辆安全有效地响应多种不同的情况，并且还提供用以确保车辆不选择在运动学上可行并且遵守道路规则但由于环境(context)而不合适(discourteous)的规划的机制。然而，自主车辆不具备像人那样识别合适的对象组或对象聚类的功能能力。因此，为了将对象聚类在一起，车辆的计算设备必须做出关于对象的相似性的估计，并确定哪些对象可以在逻辑上聚类在一起。
因此，给定世界上检测到的对象的集合、它们当前位置和运动状态的测量以及它们的移动的时间历史，车辆的计算设备定义对象对之间的相似性测量或得分。该相似性测量可以考虑多个不同的因素。每个因素可以增加或减少两个对象之间的相似性测量。
当相似性测量满足预定阈值时，对象可以聚类在一起。阈值可以基于语义聚类的精确率(precision)和召回率(recall)。最初可以选择高的召回率或较低的阈值来进行聚类。然而，如果有其他可用的计算资源，也可以探索更高的精确率或更高的阈值。
可以使用并查集(union-find)算法来实现聚类。这可以帮助施行(enforce)车辆对聚类中的每个对象的反应是相同的。换句话说，车辆的计算设备可以通过预先假定聚类的对象是单个对象来确定如何操纵通过环境。
每当存在对对象的新的观察时，可以重新评估聚类。在这方面，对象可以快速地聚类在一起并且快速地彼此分离。然而，为了允许一致的车辆行为并简化情况的处理，当在不清楚哪个更好的两个反应之间进行选择时，可以使用基于对象是否与另一对象聚类在一起的先前确定来在反应之间进行选择。
除了削减需要的对评估的反应的数量以及由此削减不必要的计算之外，这种方法还提供了额外的好处。例如，该方法提供了框架，其用于对对象聚类的语义类做出反应，诸如有陪同的孩子、葬礼队伍等。该方法还提供了用于解决来自机载感知系统的对象分割问题的工具。分割、或区分两个感知的对象，很少是完美的，因为感知工程师通常必须在欠分割(有时认为两个不同但邻近的对象是相同的)和过分割(认为一个对象替代地是两个不同的邻近对象)之间进行调整。在后一种情况下，这些对象最终会出现在同一个语义聚类中，并且车辆的计算设备会生成相同的轨迹，就好像分割实际上是完美的一样。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储由一个或多个处理器120可访问的信息，包括可由处理器120执行或使用的指令132和数据134。存储器130可以是能够存储由处理器可访问的信息的任何类型，包括计算设备可读介质，或者存储可以借助电子设备读取的数据的其他介质，诸如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令132可以是由处理器直接(例如机器代码)或间接(例如脚本)执行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储，以供处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的集合(collection)或脚本。下面更详细地解释指令的例程、方法和功能。
处理器120可以根据指令132来检索、存储或修改数据134。一个或多个处理器120可以是任何传统处理器，例如商用CPU。替选地，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器可以实际上包括可以存放在同一物理外壳内或可以不存放在同一物理外壳内的多个处理器、计算设备或存储器。作为示例，内部电子显示器152可以由具有其自己的处理器或中央处理单元(CPU)、存储器等的专用计算设备来控制，其可以经由高带宽或其他网络连接与计算设备110对接(interface)。在一些示例中，计算设备可以是能够与用户的客户端设备通信的用户接口计算设备。类似地，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以是通常与诸如上述处理器和存储器的计算设备以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电学设备)结合使用的所有组件。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的驾驶室内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。除了内部扬声器之外，一个或多个扬声器154可以包括布置在车辆上各个位置处的外部扬声器，以便向车辆100外部的对象提供可听通知。
在一个示例中，计算设备110可以是并入车辆100中的自主驾驶计算系统。自主驾驶计算系统能够与车辆的各种组件通信。例如，回到图1，计算设备110可以与车辆100的各种系统(例如，减速系统160(用于控制车辆的制动)、加速系统162(用于控制车辆的加速)、转向系统164(用于控制车轮的朝向和车辆的方向)、信号系统166(用于控制转弯信号)、导航系统168(用于将车辆导航到一个位置或对象周围)、定位系统170(用于确定车辆的位置)、感知系统172(用于检测车辆的外部环境中的对象)和动力系统174(例如，电池和/或汽油或者柴油动力发动机))通信，以便在自主驾驶模式下根据存储器130的指令132控制车辆100的移动、速度等，该自主驾驶模式不要求或不需要来自车辆的乘客的连续的或周期性的输入。再者，尽管这些系统被示为在计算设备110的外部，但是实际上，这些系统也可以并入到计算设备110中，再次作为用于控制车辆100的自主驾驶计算系统。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。通过示例，计算设备110可以使用来自地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置，以及在需要时使用感知系统172来检测对象并对对象做出响应，以安全到达该位置。为了这样做，计算设备110可以使车辆加速(例如，通过由加速系统162增加提供给发动机的燃料或其他能量)、减速(例如，通过减少供应给发动机的燃料、改变档位和/或通过由减速系统160施加制动)、改变方向(例如，通过由转向系统164转动车辆100的前轮或后轮)，并且发信号通知这种改变(例如，通过点亮信号系统166的转弯信号)。因此，加速系统162和减速系统160可以是包括车辆的发动机和车辆的车轮之间的各种组件的传动系统(drivetrain)的一部分。再者，通过控制这些系统，计算设备110也可以控制车辆的传动系统，以便自主地操纵车辆。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，计算设备110可以使用转向系统164以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，诸如小汽车或卡车，则转向系统可以包括控制车轮的角度以使车辆转弯的组件。计算设备110可以使用信号系统166以便向其他驾驶员或车辆发信号通知车辆的意图，例如，在需要时通过点亮转弯信号或刹车灯。
计算设备110可以使用导航系统168，以便确定并遵循到达位置的路线。在这方面，导航系统168和/或数据134可以存储详细的地图信息，例如，识别道路的形状和高度(elevation)、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、植物或其他这种对象和信息的高度详细的地图。换句话说，该详细的地图信息可以定义包括道路以及这些道路的速度限制(法定限速)的车辆的预期的环境的几何形状。
图2是针对一段道路的地图信息200的示例。地图信息200包括识别各种道路特征的形状、位置和其他特性的信息。在该示例中，地图信息包括由路缘220、车道线222、224、226和路缘228界定的三条车道212、214、216。车道212和214具有相同的交通流方向(向东方向)，而车道216具有不同的交通流(向西方向)。此外，例如，车道212明显地宽于车道214，以允许车辆在路缘220附近停车。尽管地图信息的示例仅包括几个道路特征，例如，路缘、车道线和车道，但是给定道路的性质，地图信息200还可以识别各种其他道路特征，诸如交通信号灯、人行横道、人行道、停车标志、让行标志、限速标志、道路标志等。虽然未示出，但是详细的地图信息还可以包括识别限速和其他法定交通要求的信息，以及识别在各个日期和时间的典型和历史交通状况的历史信息。
尽管详细的地图信息在本文被描绘为基于图像的地图，但是地图信息不需要是完全基于图像(例如，栅格)的。例如，详细的地图信息可以包括一个或多个道路图(roadgraph)或信息的图形网络，诸如道路、车道、交叉路口、以及这些特征之间的连接。每个特征可以被存储为图形数据，并且可以与诸如地理位置以及其是否链接到其他相关特征(例如，停车标志可以链接到道路和交叉路口等)的信息相关联。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许某些道路图特征的有效查找。
感知系统172还包括一个或多个组件，用于检测车辆外部的对象，诸如其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括一个或多个LIDAR传感器、声纳设备、雷达单元、相机和/或记录可由计算设备110处理的传感器数据的任何其他检测设备。感知系统的传感器可以检测对象及其特性，诸如位置、朝向、大小、形状、类型(例如，车辆、行人、骑自行车者等)、走向和移动的速度等。来自传感器的原始数据和/或前述特性可以被量化或布置为描述性函数、向量和/或边界框，并在由感知系统172生成时作为传感器数据被周期性地和连续地发送给计算设备110以用于进一步处理。如下面进一步详细讨论的，计算设备110可以使用定位系统170来确定车辆的位置，以及在需要时使用感知系统172来检测对象并对对象做出响应，以安全地到达该位置。
图3A-图3D是车辆100的外部视图的示例。可以看出，车辆100包括典型车辆的许多特征，例如前灯302、挡风玻璃303、尾灯/转弯信号灯304、后挡风玻璃305、车门306、侧视镜308、轮胎和车轮310、以及转弯信号/停车灯312。前灯302、尾灯/转弯信号灯304和转弯信号/停车灯312可以与信号系统166相关联。灯条307也可以与信号系统166相关联。外壳314可以容纳感知系统172的一个或多个传感器，诸如LIDAR传感器、声纳设备、雷达单元、相机等，尽管这种传感器也可以结合到车辆的其他区域。
示例方法
除了上述和附图中所示的操作之外，现在将描述各种操作。应理解，不必以下面描述的精确顺序执行以下操作。反而，可以以不同的顺序或同时处理各种步骤，并且也可以添加或省略步骤。
计算设备110可以操纵车辆100到目的地位置，例如，运送货物和/或一个或多个乘客。在这方面，计算设备110可以启动必要的系统来沿着到目的地位置的路线自主地控制车辆。例如，导航系统168可以使用数据134的地图信息以使用地图信息200确定到目的地位置的路径或路线。然后，计算设备110可以如上所述沿着路线朝向目的地自主地(或在自主驾驶模式下)操纵车辆。
图4是车辆100沿着对应于图2的地图信息200的道路400驾驶的示例视图。在这方面，车道412、414、416对应于车道212、214、216的形状和位置，路缘420、428对应于路缘220和路缘228的形状和位置，并且车道线422、424、426对应于车道线222、224、226的形状和位置。在该示例中，车辆100在车道412中行驶。
在车辆沿着车道412移动时，感知系统172向计算设备提供关于对象的形状和位置的传感器数据，诸如路缘420、428、车道线422、424、424、标志450以及锥形交通路标A-R。图5描绘了当车辆100处于图4所描绘的情况下时，由感知系统172的各种传感器感知的传感器数据结合计算设备110可用的其他信息。在该示例中，车辆440、442、444由感知系统172提供给计算设备110的边界框540、542、544表示。锥形交通路标A-R由边界框5A-5R表示，并且标志450由边界框550表示。当然，这些边界框仅表示对应于对象的数据点至少近似地被定界在其中的空间的体积。此外，车辆100的实际走向(heading)和边界框540和542的估计走向分别由箭头570、560和562表示。在边界框544表现出非常缓慢地移动或者根本不移动时，计算设备110可以确定由该边界框表示的对象在路缘428附近是静止的。
如上所述，车辆100可以尝试将对象分组或聚类在一起。为了这样做，计算设备110必须关于对象的相似性做出估计，并确定哪些对象可以在逻辑上聚类在一起。例如，给定由感知系统172检测到的对象集合以及那些对象的特性和那些特性随时间的改变，计算设备可以定义对象对之间的相似性测量或得分。
该对象集合可以包括还没有与地图信息中的对应特征相关联的任何对象。例如，车道线、路缘、建筑物等可能会被忽略。然而，对象(诸如行人、其他车辆、骑自行车者、施工对象(诸如标志、障碍物、锥形交通路标等)、碎片等)可以包括在该对象集合中。例如，回到图4，该对象集合可以包括标志450(由边界框550表示)、锥形交通路标A-R(由边界框5A-5R表示)以及车辆440-444(由边界框540-544表示)中的全部或一些。
该集合中的每个对象可以与该集合中的每个其他对象配对。例如，静态对象可以与其他静态对象(诸如锥形交通路标、标志、碎片、停放的车辆等)配对。类似地，移动对象可以与其他移动对象配对。替选地，每个对象可以与所有其他对象配对，或者可以使用其他类型的配对。在这方面，标志450可以与每个锥形交通路标A-R和每个车辆440-444配对。类似地，锥形交通路标A可以与标志450、每个锥形交通路标B-R以及车辆440-444配对。
对于这些配对中的每一个，可以确定相似性测量。可以基于由感知系统172提供给计算设备110的信息(诸如对于给定对象，对象的位置、朝向、走向和对象类型(行人、骑自行车者、车辆、锥形交通路标、交通标志等))以及由感知系统确定的该信息随时间的任何改变来确定相似性得分。
针对给定对象对的这种相似性测量或值可以考虑多个不同的因素，包括例如以下因素中的一个或多个：
·对象之间的距离。该值可以被反转(invert)并归一化到[0,1]，其中0指示对象非常远(例如，间距>10米)，而1指示它们非常接近(例如，在一米以内)。
·对象类型分布之间的相似性。该值可以表明不同的对象类型有多相似。例如，停车锥标可能更类似于交通标志而不是行人，以及车辆可能更类似于骑自行车者而不是锥形交通路标。该值可以归一化到[0,1]，其中1指示精确的对象类型匹配，而0指示互斥的对象类别。
·最近、当前和预测的未来运动的相似性。该值可以是动态时间卷曲(warping)或基于编辑距离(edit-distance)的轨迹相似性测量，其提供容易归一化到[0,1]标度的值，其中1指示最近、当前和预测的未来运动的高相似性，而0指示最近、当前和预测的未来运动的无相似性。考虑到最近、当前或预测的未来运动中的一个或多个，这些值可以是单个组合值，或者是最近、当前和预测的未来运动中的每一个的单独值。
·对象相对于环境中的特征的位置。这些其他特征可以包括地图信息中包括的静态特征，诸如人行横道或自行车道。例如，该因素可以考虑对象是否都在人行横道的预定距离中或内(诸如2英尺或者更大或更小)，或者对象是否都在自行车道的预定距离中或内(诸如2英尺或者更大或更小)。该值可以归一化到[0,1]，其中1指示两个对象都在同一特征的预定距离中或内，而0指示两个对象都不在同一特征的预定距离中或内。
·每个对象的“相关联的特征”向量的相似性。在这方面，将为每一个对象定义特征向量，其指示从对象到地图信息的特定特征(例如像人行横道、自行车道、道路边缘等)的距离。可以基于两个特征向量之间的编辑距离来确定相似性得分。在本示例中，0将指示特征向量之间的无匹配，而1将指示特征向量之间的完全匹配(total match)。
·观察到的对象之间的关系。该值可以指示给定对象对之一是否表现出正在跟随另一个。不同的语义关系可以在[0,1]标度上被分配权重，其中1指示给定对象对之一表现出正在跟随另一个，而0指示两个对象都没有跟随另一对象。
·对象是否属于由计算设备110的任何场景理解模块检测到的同一特殊语义组。例如，两个对象是否都是由葬礼队伍检测器提供的葬礼队伍、两个对象是否都是由锥形交通路标检测器提供的锥形交通路标、两个对象是否都是由停放车辆检测提供的停放的车辆等。
尽管前述每一个都被描述为归一化到在[0,1]的标度上，但是也可以使用其他不同的标度和值，并且在一些情况下，这些值实际上不需要归一化到该标度或者根本不需要归一化。
上述每一个因素可能增加或减少给定对象对之间的相似性测量。例如，可以组合每个因素的值，以便确定给定对象对的相似性测量。作为一个示例，总得分可以被计算为每个因素的加权线性总和。每一个因素的权重可以由人类操作员调整和/或使用机器学习工具来学习。在一些情况下，相似性测量也可以归一化到[0,1]标度，其中1指示高相似性，而0指示无相似性。
当对象对之间的相似性测量满足预定阈值时，这些对象可以聚类在一起。所使用的阈值可以基于语义聚类的精确率和召回率。可以评估相似性得分与对象未来继续以相同的方式移动的真实可能性之间的关联，例如通过人标记或者通过检查在确定得分的点之后数据中发生了什么。从这种关系中，计算设备可以选择定义给定精确率与召回率折衷的操作点或阈值。最初可以选择高的精确率或较低的阈值来进行聚类。然而，如果有其他可用的计算资源，也可以探索更高的精确率或更高的阈值。
回到图4和5的示例，锥形交通路标A和B以及B和C可以具有非常高的相似性测量，或者更接近1(如0.95)的相似性测量(如果在[0,1]标度上归一化的话)。这可能是因为每一个锥形交通路标A和B以及B和C之间的距离，所有这些停车锥标都是静止的事实，以及因为这些对象中的每一个对应于相同的对象类型。如果阈值是0.8，则锥形交通路标A和B可以被识别为一个聚类，而锥形交通路标B和C可以被识别为另一聚类。
作为另一示例，车辆440和442可以具有较低的相似性测量，或者更接近0(如0.15)的相似性测量(如果在[0,1]标度上归一化的话)。这可能是因为虽然两个辆车属于同一对象类型并且彼此靠近，但它们在相反的方向上移动，而不是相互跟随的。这样，如果阈值为0.8，则这些车辆不会聚类在一起。
作为替选，可以使用序列(sequential)(非迭代的)方法将配对的对象聚类在一起。在这方面，为了对对象对进行聚类，该对象对必须满足对应于上述因素的必要条件的序列(sequence)或系列(series)。遵循系列的序列，可以针对每个因素生成相似性测量或值。然后，每个给定相似性测量可以与针对给定相似性测量的因素的对应阈值相似性值进行比较。
例如，参考上面讨论的距离因素，可以针对对象对中的对象之间的距离确定相似性测量。例如，如果两个对象间隔5米，这可以被转换为[0,1]标度的值，其中0指示对象非常远(例如，间距>10米)，而1指示它们非常接近(例如，在一米以内)。在这种情况下，针对距离因素的相似性测量可以是0.8。这可以与针对距离因素的对应阈值(例如0.5)进行比较。由于为0.8大于0.5，所以该对中的对象满足针对距离因素的对应阈值。可以针对上述每一个其他因素做出类似的分析。
如果相似性测量满足对应阈值，则针对系列中的下一个因素确定另一相似性测量，并将其与针对该因素的对应阈值相似性值进行比较。这持续下去直到针对给定因素的相似性测量不满足针对该给定因素的对应阈值相似性值，或者直到确定该对象对满足针对该系列中的所有因素的所有对应阈值。如果该对象对满足针对该系列中的所有因素的所有对应阈值相似性值，则该对象对可以聚类在一起。如果不是，则该对象对可能不会聚类在一起(至少在这个时间点，如下面进一步讨论的)。
例如，作为系列中的第一因素，对象对在类型上必须足够相似，例如满足类型的阈值。如果不满足，则对象将不会被聚类。如果满足，则可以考虑该系列中的下一个因素。例如，下一个因素可能是该对中的对象在距离上必须彼此足够接近，例如，满足距离的阈值。如果不满足，则对象将不会被聚类。如果满足，则对象在运动上必须足够相似，例如满足运动的阈值相似性值。如果不满足，对象将不会被聚类。如果满足，则该过程将继续通过每一个因素，并且使用对应阈值来确定是否应对对象进行聚类。
如果聚类包括公共对象，则聚类可以被“合并(merge)”。在这方面，可以使用并查集算法来实现这种额外的聚类和合并。例如，锥形交通路标A和B的聚类可以与锥形交通路标B和C的聚类合并，从而产生包括锥形交通路标A、B和C的聚类。
一旦完成了所有可能的合并，计算设备110可以容易地将产生的对象的聚类识别为不同的聚类。例如，如图6所示，锥形交通路标A-N被识别为聚类610，锥形交通路标Q-O被识别为聚类620。锥形交通路标R(由边界框5R表示)不包括在任何聚类中。
然后，计算设备110可以使用聚类来确定如何操纵通过车辆的环境，并且此外，可以帮助施行车辆对聚类中每个对象的反应是相同的。换句话说，车辆的计算设备可以通过预先假定聚类的对象是单个对象来确定如何操纵通过环境。例如，每一个聚类610和620中的对象可以被视为单个对象，使得车辆100将绕过它们驾驶，而不是在它们之间驾驶。
尽管图4-图6的示例涉及聚类静态对象，但是其他对象(诸如行人、骑自行车者、车辆等)也可以被聚类。作为示例，图7描绘了车辆100在道路700上驾驶的另一示例。该示例演示了各种其他类型的聚类。如图所示，接近人行横道716的多个行人710-714被识别为聚类720，多个停放的车辆730-734被识别为聚类740，“堆叠的车辆”对750、752(例如，在交叉路口754等待转弯的车辆)被识别为聚类760。这些聚类中的每一个可以使用上述相似性测量或序列方法来识别。
此外，尽管上述示例涉及对相同或相似类型的对象进行聚类，但是不同类型的对象，诸如车辆444和锥形交通路标R(如图4所示)也可以取决于上述相似性测量或序列方法的结果被聚类在一起。
在一些情况下，车辆应如何操纵通过其环境可以首先通过使用聚类来确定，随后不使用聚类来确定。这可以允许车辆的计算设备探索违反聚类的反应，但是将在服从聚类的一组反应之后优先化这些反应。换句话说，车辆的计算设备可以考虑几种不同的替选方案，并且在一些情况下，可以实际提供关于聚类何时实际上不合适或危险的信息。当然，这可能需要额外的时间和计算资源来处理这种情况两次，并且可能并不总是合适的或有帮助的。
每当存在对该集合中的任何对象的新的观察时，可以重新评估聚类。在这方面，对象可以快速地聚类在一起并且快速地彼此分离。然而，为了允许一致的车辆行为并简化情况的处理，当在不清楚哪个更好的两个反应之间进行选择时，可以使用基于对象是否与另一对象聚类在一起的先前确定来在反应之间进行选择。例如，当不清楚是经过对象的右边还是经过对象的左边时，而当对象先前包括在聚类中时，确定的反应是经过聚类的左边，这个先前的确定可以用来对经过对象的左边(尽管现在不包括在聚类中)给出优先。通常，这仅将从一个迭代延续到下一个迭代，但是如果相同的行为再次被确定，它将会再次延续等。
除了削减需要的对评估的反应的数量以及由此削减不必要的计算之外，这种方法还提供了额外的好处。例如，该方法提供了框架，其用于对对象聚类的语义类做出反应，诸如有陪同的孩子、葬礼队伍等。该方法还提供了用于解决来自机载感知系统的对象分割问题的工具。分割、或区分两个感知的对象，很少是完美的，因为感知工程师通常必须在欠分割(有时认为两个不同但邻近的对象是相同的)和过分割(认为一个对象替代地是两个不同的邻近对象)之间进行调整。在后一种情况下，这些对象最终会出现在同一个语义聚类中，并且车辆的计算设备会生成相同的轨迹，就好像分割实际上是完美的一样。
图8是流程图800，其可以由一个或多个处理器(诸如计算设备110的一个或多个处理器120)执行，以便在自主驾驶模式下控制车辆。在该示例中，在框802，接收识别多个对象的传感器数据。在框804，识别多个对象中的对象对。在框806，针对多个对象中的每个识别的对象对确定相似性值，该相似性值指示该识别的对象对中的对象是否能够作为组被车辆响应。在框808，基于相似性值对识别的对象对之一的对象进行聚类。在框810，通过以相同的方式响应聚类中的每个对象来在自主模式下控制车辆。
除非另有说明，前述替选示例并不相互排斥，而是可以以各种组合来实现，以获得独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以实施例的前述描述应当作为说明而不是作为对由权利要求所限定的主题的限制。此外，本文描述的示例以及表述为“诸如”、“包括”等的分句的提供不应被解释为将权利要求的主题限制于特定示例；反而，这些示例旨在仅示出许多可能的实施例之一。此外，不同附图中相同的附图标记可以识别相同或相似的元件。

Claims (20)

1.一种在自主驾驶模式下控制车辆的方法，所述方法包括：
由一个或多个处理器接收识别多个对象的传感器数据；
识别所述多个对象中的对象对；
由所述一个或多个处理器针对所述多个对象中的每个识别的对象对确定相似性值，该相似性值指示该识别的对象对中的对象是否能够作为组被所述车辆响应；
由所述一个或多个处理器基于相似性得分对所述识别的对象对之一的对象进行聚类；以及
由所述一个或多个处理器通过以相同的方式响应聚类中的每个对象来在自主驾驶模式下控制所述车辆。
2.根据权利要求1所述的方法，其中，所述聚类还基于所述识别的对象对之一的对象之间的距离。
3.根据权利要求1所述的方法，其中，所述聚类还基于所述识别的对象对之一的对象的对象类型之间的相似性。
4.根据权利要求1所述的方法，其中，所述聚类还基于所述识别的对象对之一的对象的过去运动和当前运动之间的相似性。
5.根据权利要求1所述的方法，其中，所述相似性值还基于所述识别的对象对之一的对象的预测的未来运动之间的相似性来确定。
6.根据权利要求1所述的方法，其中，所述聚类还基于所述识别的对象对之一的对象对于环境中的特征的相对位置。
7.根据权利要求6所述的方法，其中，所述特征是人行横道。
8.根据权利要求6所述的方法，其中，所述特征是自行车道。
9.根据权利要求1所述的方法，其中，所述聚类还基于每个识别的对象对中的一个对象是否表现出正在跟随该识别的对象对中的另一对象。
10.根据权利要求1所述的方法，其中，所述聚类还基于每个识别的对象对中的对象是否被识别为属于预定语义组。
11.一种用于在自主驾驶模式下控制车辆的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为：
接收识别多个对象的传感器数据；
识别所述多个对象中的对象对；
针对所述多个对象中的每个识别的对象对确定相似性值，所述相似性值指示所述识别的对象对中的对象是否能够作为组被所述车辆响应；
基于相似性得分对所述识别的对象对之一的对象进行聚类；以及
通过以相同的方式响应聚类中的每个对象来在自主驾驶模式下控制所述车辆。
12.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于所述识别的对象对之一的对象之间的距离来对所述识别的对象对之一的对象进行聚类。
13.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为基于所述识别的对象对之一的对象的对象类型之间的相似性来对所述识别的对象对之一的对象进行聚类。
14.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于每个识别的对象对中的对象的过去运动和当前运动之间的相似性来对所述识别的对象对之一的对象进行聚类。
15.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于所述识别的对象对之一的对象的预测的未来运动之间的相似性来对所述识别的对象对之一的对象进行聚类。
16.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于所述识别的对象对之一的对象对于环境中的特征的相对位置来对所述识别的对象对之一的对象进行聚类。
17.根据权利要求16所述的系统，其中，所述特征是人行横道。
18.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于所述识别的对象对之一的对象中的一个对象是否表现出正在跟随所述识别的对象对之一的对象中的另一对象来对所述识别的对象对之一的对象进行聚类。
19.根据权利要求11所述的系统，其中，所述一个或多个处理器还被配置为还基于所述识别的对象对之一的对象是否被识别为属于预定语义组来对所述识别的对象对之一的对象进行聚类。
20.根据权利要求11所述的系统，还包括所述车辆。
CN201880070807.9A 2017-10-31 2018-10-29 在自主驾驶模式下控制车辆的方法和系统 Active CN111295628B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/798,926 2017-10-31
US15/798,926 US10401862B2 (en) 2017-10-31 2017-10-31 Semantic object clustering for autonomous vehicle decision making
PCT/US2018/057992 WO2019089455A1 (en) 2017-10-31 2018-10-29 Semantic object clustering for autonomous vehicle decision making

Publications (2)

Publication Number Publication Date
CN111295628A true CN111295628A (zh) 2020-06-16
CN111295628B CN111295628B (zh) 2023-08-22

Family

ID=66243874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070807.9A Active CN111295628B (zh) 2017-10-31 2018-10-29 在自主驾驶模式下控制车辆的方法和系统

Country Status (8)

Country Link
US (3) US10401862B2 (zh)
EP (1) EP3688542A4 (zh)
JP (1) JP7080314B2 (zh)
KR (1) KR102524859B1 (zh)
CN (1) CN111295628B (zh)
CA (1) CA3081391A1 (zh)
IL (1) IL274076A (zh)
SG (1) SG11202003366SA (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997943A (zh) * 2021-10-28 2022-02-01 山东新一代信息产业技术研究院有限公司 一种基于语义聚类的自动驾驶车辆控制方法、设备及介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990096B2 (en) * 2018-04-27 2021-04-27 Honda Motor Co., Ltd. Reinforcement learning on autonomous vehicles
US10795362B2 (en) 2018-08-20 2020-10-06 Waymo Llc Detecting and responding to processions for autonomous vehicles
AT521724A1 (de) * 2018-09-24 2020-04-15 Avl List Gmbh Verfahren und Vorrichtung zur Analyse eines Sensordatenstroms sowie Verfahren zum Führen eines Fahrzeugs
US12060065B2 (en) * 2018-12-07 2024-08-13 Hitachi Astemo, Ltd. Vehicle control system
US11560159B2 (en) * 2020-03-25 2023-01-24 Baidu Usa Llc Group and combine obstacles for autonomous driving vehicles
US11727726B2 (en) * 2021-03-11 2023-08-15 Kemtai Ltd. Evaluating movements of a person
US12093048B2 (en) * 2021-11-11 2024-09-17 Aptiv Technologies AG Clustering track pairs for multi-sensor track association
US20230419678A1 (en) * 2022-06-22 2023-12-28 Waymo Llc Joint Detection and Grouping of Road Objects Using Machine Learning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
US20140029852A1 (en) * 2012-07-26 2014-01-30 Infosys Limited Systems and methods for multi-dimensional object detection
CN106103232A (zh) * 2014-04-09 2016-11-09 日立汽车系统株式会社 行驶控制装置、车载用显示装置和行驶控制系统
US20170024875A1 (en) * 2015-07-21 2017-01-26 Denso Corporation Object detection apparatus method
US20170212518A1 (en) * 2014-07-25 2017-07-27 Hitachi, Ltd. Autonomous moving device
CN107004363A (zh) * 2014-12-10 2017-08-01 三菱电机株式会社 图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
DE19916967C1 (de) 1999-04-15 2000-11-30 Daimler Chrysler Ag Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung
DE60316327T2 (de) 2003-07-17 2008-01-03 Harman Becker Automotive Systems Gmbh Routenberechnung um verkehrshindernisse herum unter verwendung markierter umleitungen
US7689348B2 (en) 2006-04-18 2010-03-30 International Business Machines Corporation Intelligent redirection of vehicular traffic due to congestion and real-time performance metrics
JP4793094B2 (ja) 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
US8085140B2 (en) 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
US7880621B2 (en) 2006-12-22 2011-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Distraction estimator
JP5236631B2 (ja) * 2007-05-09 2013-07-17 パナソニック株式会社 表示装置、表示方法、表示プログラム
JP2010003157A (ja) 2008-06-20 2010-01-07 Toyota Motor Corp 走行支援装置
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8818702B2 (en) 2010-11-09 2014-08-26 GM Global Technology Operations LLC System and method for tracking objects
US20120294540A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Rank order-based image clustering
US8498448B2 (en) 2011-07-15 2013-07-30 International Business Machines Corporation Multi-view object detection using appearance model transfer from similar scenes
US8880272B1 (en) 2012-03-16 2014-11-04 Google Inc. Approach for estimating the geometry of roads and lanes by using vehicle trajectories
US9002060B2 (en) 2012-06-28 2015-04-07 International Business Machines Corporation Object retrieval in video data using complementary detectors
US20140003706A1 (en) 2012-07-02 2014-01-02 Sony Pictures Technologies Inc. Method and system for ensuring stereo alignment during pipeline processing
KR101949294B1 (ko) 2012-07-24 2019-02-18 삼성전자주식회사 영상의 히스토그램 축적 계산 장치 및 방법
US8996286B1 (en) 2012-08-03 2015-03-31 Google Inc. Method for analyzing traffic patterns to provide solutions for alleviating traffic problems
US9355562B1 (en) 2012-08-14 2016-05-31 Google Inc. Using other vehicle trajectories to aid autonomous vehicles driving through partially known areas
US9221461B2 (en) 2012-09-05 2015-12-29 Google Inc. Construction zone detection using a plurality of information sources
US9195914B2 (en) 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
US8996228B1 (en) 2012-09-05 2015-03-31 Google Inc. Construction zone object detection using light detection and ranging
US9600768B1 (en) 2013-04-16 2017-03-21 Google Inc. Using behavior of objects to infer changes in a driving environment
US9110163B2 (en) 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US8825259B1 (en) 2013-06-21 2014-09-02 Google Inc. Detecting lane closures and lane shifts by an autonomous vehicle
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9335178B2 (en) 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US9547989B2 (en) 2014-03-04 2017-01-17 Google Inc. Reporting road event data and sharing with other vehicles
US10002396B2 (en) 2014-03-31 2018-06-19 Monticello Enterprises LLC System and method for transitioning from a first site to a second site
US9734583B2 (en) * 2014-06-30 2017-08-15 Collin Walker Systems and methods for controlling vehicle position and orientation
JP6340957B2 (ja) 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
CN107111742B (zh) 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
JP6417191B2 (ja) 2014-11-06 2018-10-31 キヤノン株式会社 画像処理装置及び画像処理方法
US9892296B2 (en) 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
KR101621649B1 (ko) 2015-01-28 2016-05-16 한양대학교 산학협력단 동적 장애물에 대한 위치 분포 정보 생성 방법, 위치 분포 정보를 이용한 차량 제어 방법 및 시스템
US9676386B2 (en) 2015-06-03 2017-06-13 Ford Global Technologies, Llc System and method for controlling vehicle components based on camera-obtained image information
US9764736B2 (en) 2015-08-14 2017-09-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation relative to unexpected dynamic objects
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
US9503860B1 (en) * 2015-09-10 2016-11-22 Ca, Inc. Intelligent pursuit detection
US9576185B1 (en) 2015-09-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Classifying objects detected by 3D sensors for autonomous vehicle operation
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
JP6798779B2 (ja) 2015-11-04 2020-12-09 トヨタ自動車株式会社 地図更新判定システム
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US10551201B2 (en) 2016-02-25 2020-02-04 Hitachi, Ltd. Moving body control method, moving body, and moving body control system
JP6583185B2 (ja) 2016-08-10 2019-10-02 トヨタ自動車株式会社 自動運転システム及び自動運転車両
US10515543B2 (en) 2016-08-29 2019-12-24 Allstate Insurance Company Electrical data processing system for determining status of traffic device and vehicle movement
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
DE102016218876B4 (de) 2016-09-29 2022-05-19 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs, Kraftfahrzeug sowie Verfahren zur Ermittlung einer Soll-Trajektorieinformation
CN206300797U (zh) 2016-11-18 2017-07-04 特路（北京）科技有限公司 自动驾驶车辆的静态障碍物响应性能测试场
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
JP6895634B2 (ja) 2016-12-16 2021-06-30 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US10296812B2 (en) * 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
CN106940933B (zh) 2017-03-08 2019-05-24 北京理工大学 一种基于智能交通系统的智能车辆决策换道方法
US11009875B2 (en) * 2017-03-09 2021-05-18 Waymo Llc Preparing autonomous vehicles for turns
US10389432B2 (en) 2017-06-22 2019-08-20 At&T Intellectual Property I, L.P. Maintaining network connectivity of aerial devices during unmanned flight
CN107272687A (zh) 2017-06-29 2017-10-20 深圳市海梁科技有限公司 一种自动驾驶公交车辆的驾驶行为决策系统
US10558217B2 (en) * 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle
US10867510B2 (en) * 2018-04-05 2020-12-15 Toyota Jidosha Kabushiki Kaisha Real-time traffic monitoring with connected cars

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
US20140029852A1 (en) * 2012-07-26 2014-01-30 Infosys Limited Systems and methods for multi-dimensional object detection
CN106103232A (zh) * 2014-04-09 2016-11-09 日立汽车系统株式会社 行驶控制装置、车载用显示装置和行驶控制系统
US20170212518A1 (en) * 2014-07-25 2017-07-27 Hitachi, Ltd. Autonomous moving device
CN107004363A (zh) * 2014-12-10 2017-08-01 三菱电机株式会社 图像处理装置及车载显示系统及显示装置及图像处理方法及图像处理程序
US20170024875A1 (en) * 2015-07-21 2017-01-26 Denso Corporation Object detection apparatus method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113997943A (zh) * 2021-10-28 2022-02-01 山东新一代信息产业技术研究院有限公司 一种基于语义聚类的自动驾驶车辆控制方法、设备及介质

Also Published As

Publication number Publication date
EP3688542A4 (en) 2021-09-29
EP3688542A1 (en) 2020-08-05
CA3081391A1 (en) 2019-05-09
US11951991B2 (en) 2024-04-09
US20220326713A1 (en) 2022-10-13
US20190129432A1 (en) 2019-05-02
IL274076A (en) 2020-06-30
US11402843B2 (en) 2022-08-02
CN111295628B (zh) 2023-08-22
US10401862B2 (en) 2019-09-03
KR20200047796A (ko) 2020-05-07
JP2021501396A (ja) 2021-01-14
JP7080314B2 (ja) 2022-06-03
US20200004256A1 (en) 2020-01-02
KR102524859B1 (ko) 2023-04-24
SG11202003366SA (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
US11878683B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
US11636362B1 (en) Predicting trajectory intersection by another road user
CN111295628B (zh) 在自主驾驶模式下控制车辆的方法和系统
KR102029638B1 (ko) 자율 주행 차량들을 위한 물체들의 주행 가능성 결정하기
CN111213100B (zh) 用于自动车辆路径规划的速度相关所需的侧向间隙
US11256260B2 (en) Generating trajectories for autonomous vehicles
CN114286774B (zh) 针对自主车辆检测潜在被遮挡对象
CN115339437A (zh) 自主车辆的远程对象检测、定位、跟踪和分类
US11226626B1 (en) Detecting and responding to people directing traffic for autonomous vehicles
AU2018358932B2 (en) Semantic object clustering for autonomous vehicle decision making
EP4080164A1 (en) Identifying parkable areas for autonomous vehicles
US12124263B2 (en) Generating trajectories for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant