CN104470781A - 基于替代数据推断交通信号状态和车辆环境的其他方面 - Google Patents

基于替代数据推断交通信号状态和车辆环境的其他方面 Download PDF

Info

Publication number
CN104470781A
CN104470781A CN201380037622.5A CN201380037622A CN104470781A CN 104470781 A CN104470781 A CN 104470781A CN 201380037622 A CN201380037622 A CN 201380037622A CN 104470781 A CN104470781 A CN 104470781A
Authority
CN
China
Prior art keywords
vehicle
environment
sensor
control
described vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380037622.5A
Other languages
English (en)
Other versions
CN104470781B (zh
Inventor
P.隆布罗佐
E.特勒
B.坦普尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giant Holdings
Waymo LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201710864891.9A priority Critical patent/CN107628027B/zh
Publication of CN104470781A publication Critical patent/CN104470781A/zh
Application granted granted Critical
Publication of CN104470781B publication Critical patent/CN104470781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18159Traversing an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/20Static objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406Traffic density
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/18Propelling the vehicle
    • B60Y2300/18008Propelling the vehicle related to particular drive situations
    • B60Y2300/18166Overtaking, changing lanes

Abstract

被配置为在自主模式中操作的车辆可从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。可基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。可基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。

Description

基于替代数据推断交通信号状态和车辆环境的其他方面
背景技术
除非本文另外指出,否则本部分中描述的材料并不是本申请中的权利要求的现有技术,并且并不因为被包括在本部分中就被承认为是现有技术。
一些车辆被配置为在自主模式中操作,其中车辆在只有很少或者没有来自驾驶员的输入的情况下导航经过一环境。这种车辆通常包括被配置为感测关于环境的信息的一个或多个传感器。车辆可使用感测到的信息来导航经过该环境。例如,如果传感器感测到车辆正接近障碍物,则车辆可导航绕过该障碍物。
发明内容
在第一方面中,提供了一种方法。该方法包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。该方法还包括利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。该方法还包括基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。
在第二方面中,提供了一种车辆。该车辆包括一个或多个传感器、推断系统和控制系统。一个或多个传感器被配置为获取传感器数据。传感器数据涉及由一个或多个传感器观察到的车辆的环境的一个或多个方面。车辆被配置为在自主模式中操作。推断系统被配置为基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。控制系统被配置为基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。
在第三方面中,提供了一种存储有指令的非暂态计算机可读介质。指令可被计算机系统执行来使得该计算机系统执行功能。功能包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。功能还包括基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。功能还包括基于车辆的环境的至少一个所推断方面来在自主模式中控制车辆。
在第四方面中,提供了一种方法。该方法包括从观察车辆的环境中的至少一个光源的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联,并且利用一个或多个传感器不可直接观察进行控制的交通信号的状态。车辆被配置为在自主模式中操作。该方法还包括利用推断系统基于传感器数据来推断进行控制的交通信号的推断状态。该方法还包括基于进行控制的交通信号的推断状态来在自主模式中控制车辆。
前述总结只是说明性的,而并不打算以任何方式进行限定。除了以上描述的说明性方面、实施例和特征以外,通过参考附图和以下详细描述,另外的方面、实施例和特征将变得清楚。
附图说明
图1是根据示例实施例图示出车辆的功能框图。
图2根据示例实施例示出了车辆。
图3A是根据示例实施例的自主车辆操作场景的顶视图。
图3B是根据示例实施例的图3A的自主车辆操作场景的后视图。
图3C是根据示例实施例的自主车辆操作场景的顶视图。
图3D是根据示例实施例的自主车辆操作场景的顶视图。
图4A根据示例实施例示出了一种方法。
图4B根据示例实施例示出了一种方法。
图5是根据示例实施例的计算机程序产品的示意图。
具体实施方式
本文描述了示例方法和系统。本文描述的任何示例实施例或特征不一定要被解释为比其他实施例或特征更优选或有利。本文描述的示例实施例不欲进行限定。容易理解,公开的系统和方法的某些方面可按许多种不同的配置来布置和组合,所有这些在这里都已设想到。
另外,附图中示出的特定布置不应当被视为限制性的。应当理解,其他实施例可包括更多或更少的给定附图中示出的每种元素。另外,一些图示的元素可被组合或省略。此外,示例实施例可包括附图中没有图示的元素。
1.概述
本文公开的示例实施例涉及从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据,利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面,并且基于车辆的环境的所推断的至少一个方面来控制车辆。
在本公开的情境内,车辆可在各种操作模式中操作。在一些实施例中,这种操作模式可包括手动、半自主和自主模式。在自主模式中,车辆可以在只有很少或者没有用户交互的情况下被驾驶。在手动和半自主模式中,车辆分别可以完全和部分地被用户驾驶。
本文公开的一些方法可以部分或完全由被配置为在自主模式中操作的车辆在有或没有外部交互(例如,比如来自车辆的用户的外部交互)的情况下执行。在一个这种示例中,车辆可从与车辆操作性关联的一个或多个传感器获得传感器数据。传感器可位于车辆本身上,或者传感器可以在别处。可以完全或部分位于车辆本身上的推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。在示例实施例中,车辆的环境的未被一个或多个传感器观察到的至少一个方面可与交通流量(例如,前方观察不到的事故)和/或交通规则(例如,观察不到的交通灯的状态、车辆在四向停车处继续前进的顺序,等等)有关。车辆的环境的未被一个或多个传感器观察到的其他方面是可能的。推断系统可包括例如计算机系统(例如,处理器和存储器)。可基于车辆的环境的至少一个所推断的方面来控制车辆。
本文公开的其他方法可部分或完全由服务器来执行。在示例实施例中,服务器可从观察车辆的环境的一个或多个方面的一个或多个传感器接收传感器数据。在一些实施例中,可利用无线通信系统将传感器数据发送到服务器。服务器可包括推断系统。推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。在示例实施例中,服务器可包括预定场景的数据存储库。如果传感器数据基本上匹配预定场景中的至少一个,则推断系统可推断出车辆的环境的未被一个或多个传感器观察到的至少一个方面。在自主模式中操作的车辆与服务器之间的其他交互在本公开的情境内是可能的。
在本公开中还描述了车辆。车辆可包括诸如一个或多个传感器、推断系统和控制系统之类的元件。一个或多个传感器被配置为获取传感器数据。传感器数据涉及一个或多个传感器观察到的车辆的环境的一个或多个方面。
一个或多个传感器可包括以下之一或者其组合:相机、RADAR系统、LIDAR系统、声传感器、测距仪或者另外类型的传感器。
推断系统可被配置为基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。推断系统可被配置为使用一个或多个算法来确定该推断。算法可包括例如贝叶斯网络、隐式马尔可夫模型和决策树中的一个或多个。其他类型的推断系统在本公开的情境内是可能的。
控制系统可被配置为基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。控制系统可操作来控制车辆加速、减速、调整前进方向、变更路线和采取躲避动作,以及许多其他可能性。
在一些实施例中,推断系统和控制系统可由车辆中的计算机系统提供。在其他实施例中,推断系统和/或控制系统可由一个或多个服务器或者车辆外部的其他计算机系统提供。
本文还公开了存储有指令的非暂态计算机可读介质。这些指令可由计算设备执行来使得计算设备执行与上述方法中公开的那些类似的功能。
有许多不同的具体方法和系统可用于从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。推断系统可用于基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。可基于车辆的环境的至少一个所推断的方面来控制车辆。这些具体方法和系统中的每一个在这里已设想到,并且若干个示例实施例在下文描述。
2.示例系统
现在将更详细描述本公开的范围内的示例系统。一般地,示例系统可实现在车辆中或者可采取车辆的形式。然而,示例系统也可实现在其他车辆中或采取其他车辆的形式,例如轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、挖土机、船、雪地机动车、飞行器、休旅车、游乐园车辆、农场设备、施工设备、有轨电车、高尔夫球车、火车以及电车。其他车辆也是可能的。
图1是根据示例实施例示出车辆100的功能框图。车辆100可被配置为完全或部分地在自主模式中操作。例如,车辆100可以在处于自主模式中的同时控制自身,并且可操作来确定车辆及其环境的当前状态,确定环境中的至少一个其他车辆的预测行为,确定可与至少一个其他车辆执行预测行为的可能性相对应的置信水平,并且基于所确定的信息来控制车辆100。在处于自主模式中时,车辆100可被配置为在没有人类交互的情况下操作。
车辆100可包括各种子系统,例如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。车辆100可包括更多或更少的子系统,并且每个子系统可包括多个元件。另外,车辆100的每个子系统和元件可被互连。从而,车辆100的描述的功能中的一个或多个可被分割成额外的功能组件或物理组件,或者组合成更少的功能组件或物理组件。在一些另外的示例中,可向图1所示的示例添加额外的功能组件和/或物理组件。
推进系统102可包括可操作来为车辆100提供动力运动的组件。在示例实施例中,推进系统102可包括引擎/发动机118、能量源119、传动装置120和车轮/轮胎121。引擎/发动机118可以是内燃引擎、电动机、蒸汽机、斯特林引擎或其他类型的引擎和/或发动机的任何组合。在一些实施例中,引擎/发动机118可被配置为将能量源119转换成机械能量。在一些实施例中,推进系统102可包括多种类型的引擎和/或发动机。例如,气电混合动力车可包括汽油引擎和电动机。其他示例是可能的。
能量源119可表示可以完全或部分地为引擎/发动机118提供动力的能量源。也就是说,引擎/发动机118可被配置为将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。(一个或多个)能量源119可以额外地或替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。能量源119也可以为车辆100的其他系统提供能量。
传动装置120可包括可操作来把来自引擎/发动机118的机械动力传送到车轮/轮胎121的元件。为此,传动装置120可包括变速箱、离合器、差速器和驱动轴。传动装置120可包括其他元件。驱动轴可包括可耦合到一个或多个车轮/轮胎121的一个或多个轴。
车辆100的车轮/轮胎121可配置为各种形式,包括单轮车、双轮车/摩托车、三轮车或者轿车/卡车四轮形式。其他车轮/轮胎几何结构是可能的,例如包括六个或更多个车轮的那些。车辆100的车轮/轮胎121的任何组合可操作来相对于其他车轮/轮胎121差速地旋转。车轮/轮胎121可表示固定地附着到传动装置120的至少一个车轮和耦合到车轮的边缘的可与驱动面发生接触的至少一个轮胎。车轮/轮胎121可包括金属和橡胶的任何组合,或者另外的材料组合。
传感器系统104可包括被配置为感测关于车辆100的环境的信息的若干个传感器。例如,传感器系统104可包括全球定位系统(Global PositioningSystem,GPS)122、惯性测量单元(inertial measurement unit,IMU)124、RADAR单元126、激光测距仪/LIDAR单元128以及相机130。传感器系统104还可包括被配置为监视车辆100的内部系统的传感器(例如,O2监视器、燃油量表、机油温度)。其他传感器也是可能的。
传感器系统104中包括的传感器中的一个或多个可被配置为被单独和/或集体地促动以便修改一个或多个传感器的位置和/或朝向。
GPS 122可以是被配置为估计车辆100的地理位置的任何传感器。为此,GPS 122可包括可操作来提供关于车辆100相对于地球的位置的信息的收发器。
IMU 124可包括被配置为基于惯性加速度来感测车辆100的位置和朝向变化的传感器(例如,加速度计和陀螺仪)的任何组合。
RADAR单元126可表示利用无线电信号来感测车辆100的本地环境内的物体的系统。在一些实施例中,除了感测物体以外,RADAR单元126还可额外地被配置为感测物体的速度和/或前进方向。
类似地,激光测距仪或LIDAR单元128可以是被配置为利用激光来感测车辆100所位于的环境中的物体的任何传感器。在示例实施例中,激光测距仪/LIDAR单元128可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。激光测距仪/LIDAR单元128可被配置为在相干(例如,利用外差检测)或非相干检测模式中操作。
相机130可包括被配置为捕捉车辆100的环境的多个图像的一个或多个设备。相机130可以是静态相机或视频相机。
控制系统106可被配置为控制车辆100及其组件的操作。因此,控制系统106可包括各种元件,其中包括转向单元132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路线控制系统142以及障碍物避免系统144。
转向单元132可表示可操作来调整车辆100的前进方向的机构的任何组合。
油门134可被配置为控制例如引擎/发动机118的操作速度并进而控制车辆100的速度。
制动单元136可包括被配置为将车辆100减速的机构的任何组合。制动单元136可使用摩擦力来减慢车轮/轮胎121。在其他实施例中,制动单元136可将车轮/轮胎121的动能转换为电流。制动单元136也可采取其他形式。
传感器融合算法138可以是被配置为接受来自传感器系统104的数据作为输入的算法(或者存储算法的计算机程序产品)。该数据可包括例如表示在传感器系统104的传感器处感测的信息的数据。传感器融合算法138可包括例如卡尔曼滤波器、贝叶斯网络或者其他算法。传感器融合算法138还可基于来自传感器系统104的数据来提供各种评价。在示例实施例中,评价可包括对车辆100的环境中的个体物体和/或特征的评估、对特定情形的评估和/或基于特定情形对可能影响的评估。其他评价也是可能的。
计算机视觉系统140可以是可操作来处理和分析由相机130捕捉的图像以便识别车辆100的环境中的物体和/或特征的任何系统,所述物体和/或特征可包括交通信号、道路边界和障碍物。计算机视觉系统140可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉系统140可以额外地被配置成为环境绘制地图、跟踪物体、估计物体的速度,等等。
导航和路线控制系统142可以是被配置为确定车辆100的行驶路线的任何系统。导航和路线控制系统142可以额外地被配置为在车辆100处于操作中的同时动态地更新行驶路线。在一些实施例中,导航和路线控制系统142可被配置为结合来自传感器融合算法138、GPS 122和一个或多个预定地图的数据以为车辆100确定行驶路线。
障碍物避免系统144可表示被配置为识别、评估和避免或者以其他方式越过车辆100的环境中的潜在障碍物的控制系统。
控制系统106可以额外地或替换地包括除了所示出和描述的那些以外的组件。
外围设备108可被配置为允许车辆100与外部传感器、其他车辆、其他计算机系统和/或用户之间的交互。例如,外围设备108可包括无线通信系统146、触摸屏148、麦克风150和/或扬声器152。
在示例实施例中,外围设备108可提供例如供车辆100的用户与用户接口116交互的手段。为此,触摸屏148可向车辆100的用户提供信息。用户接口116还可操作来来经由触摸屏148接受来自用户的输入。触摸屏148可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一个。触摸屏148可能够感测在与触摸屏表面平行或共面的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动,并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏148可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏148也可采取其他形式。
在其他情况中,外围设备108可提供用于车辆100与其环境内的设备通信的手段。麦克风150可被配置为从车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可被配置为向车辆100的用户输出音频。
在一个示例中,无线通信系统146可以被配置为直接地或者经由通信网络来与一个或多个设备无线地通信。例如,无线通信系统146可使用3G蜂窝通信,例如CDMA、EVDO、GSM/GPRS,或者4G蜂窝通信,例如WiMAX或LTE。或者,无线通信系统146可例如利用WiFi与无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信系统146可例如利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,在本公开的情境内是可能的。例如,无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源110可向车辆100的各种组件提供电力,并且可表示例如可再充电锂离子或铅酸电池。在一些实施例中,这种电池的一个或多个电池组可被配置为提供电力。其他电源材料和配置是可能的。在一些实施例中,电源110和能量源119可一起实现,如一些全电动车中那样。
车辆100的许多或所有功能可受计算机系统112控制。计算机系统112可包括至少一个处理器113(其可包括至少一个微处理器),处理器113执行存储在例如数据存储装置114这样的非暂态计算机可读介质中的指令115。计算机系统112还可表示用来以分布式方式控制车辆100的个体组件或子系统的多个计算设备。
在一些实施例中,数据存储装置114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行车辆100的各种功能,包括以上联系图1描述的那些。数据存储装置114也可包含额外的指令,包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令115以外,数据存储装置114还可存储数据,例如道路地图、路线信息,以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。
车辆100可包括用户接口116,用于向车辆100的用户提供信息或从其接收信息。用户接口116可控制可在触摸屏148上显示的交互式图像的内容和/或布局或使能对其的控制。另外,用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备,例如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可基于从各种子系统(例如,推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可利用来自控制系统106的输入以便控制转向单元132来避免由传感器系统104和障碍物避免系统144检测到的障碍物。在示例实施例中,计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。
虽然图1示出了车辆100的各种组件,即无线通信系统146、计算机系统112、数据存储装置114和用户接口116,被集成到车辆100中,但这些组件中的一个或多个可与车辆100分开安装或关联。例如,数据存储装置114可以部分或完全地与车辆100分开存在。从而,可以按位置可分开或在一起的设备元件的形式来提供车辆100。构成车辆100的设备元件可以按有线和/或无线方式来通信地耦合在一起。
图2示出了可与参考图1描述的车辆100相似或相同的车辆200。虽然车辆200在图2中被示为轿车,但其他实施例是可能的。例如,车辆200可表示卡车、厢式货车、半挂卡车、摩托车、高尔夫球车、越野车或者农场车辆,以及其他示例。
在一些实施例中,车辆200可包括传感器单元202、无线通信系统204、LIDAR单元206、激光测距仪单元208和相机210。车辆200的元件可包括对于图1描述的元件中的一些或全部。
传感器单元202可包括被配置为捕捉关于车辆200的环境的信息的一个或多个不同的传感器。例如,传感器单元202可包括相机、RADAR、LIDAR、测距仪和声学传感器的任何组合。其他类型的传感器是可能的。在示例实施例中,传感器单元202可包括可操作来调整传感器单元202中的一个或多个传感器的朝向的一个或多个可移动底座。在一个实施例中,可移动底座可包括旋转平台,该旋转平台可扫描传感器以获得来自车辆200周围的每个方向的信息。在另一实施例中,传感器单元202的可移动底座可在特定的角度和/或方位范围内以扫描方式移动。传感器单元202可例如被安装在轿车的顶盖上,然而其他安装位置也是可能的。此外,传感器单元202的传感器可分布在不同位置中并且不需要共同位于单个位置中。一些可能的传感器类型和安装位置包括LIDAR单元206和激光测距仪单元208。另外,传感器单元202的每个传感器可被配置为独立于传感器单元202的其他传感器被移动或扫描。
无线通信系统204可如图2所示位于车辆200的顶盖上。或者,无线通信系统204可以完全或部分地位于别处。无线通信系统204可包括可被配置为与车辆200外部或内部的设备通信的无线发送器和接收器。具体而言,无线通信系统204可包括被配置为与其他车辆和/或例如在车辆通信系统或道路台站中的计算设备通信的收发器。这种车辆通信系统的示例包括专用短程通信(DSRC)、射频识别(radio frequency identification,RFID)和针对智能交通系统的其他提出的通信标准。
相机210可以是被配置为捕捉车辆200的环境的多个图像的任何相机(例如,静态相机、视频相机,等等)。为此,相机210可被配置为检测可见光,或者可被配置为检测来自光谱的其他部分的光,例如红外或紫外光。其他类型的相机也是可能的。
相机210可以是二维检测器,或者可具有三维空间范围。在一些实施例中,相机210可以例如是测距器,其被配置为生成指示出从相机210到环境中的若干个点的距离的二维图像。为此,相机210可使用一个或多个测距技术。例如,相机210可使用结构化光技术,其中车辆200利用预定的光图案——例如网格或棋盘格图案——来照射环境中的物体,并且使用相机210来检测该预定光图案从该物体的反射。基于反射的光图案中的失真,车辆200可确定到该物体上的点的距离。预定的光图案可包括红外光,或者另一波长的光。作为另一示例,相机210可使用激光扫描技术,其中车辆200发射激光并且扫描环境中的物体上的若干个点。在扫描物体的同时,车辆200使用相机210来对于每个点检测激光从物体的反射。基于激光在每个点处从物体反射所花的时间长度,车辆200可确定到物体上的这些点的距离。作为另一示例,相机210可使用飞行时间技术,其中车辆200发射光脉冲并且使用相机210来检测在物体上的若干个点处光脉冲从物体的反射。具体地,相机210可包括若干个像素,并且每个像素可检测光脉冲从物体上的一点的反射。基于光脉冲在每个点处从物体反射所花的时间长度,车辆200可确定到物体上的这些点的距离。光脉冲可以是激光脉冲。其他测距技术也是可能的,包括立体三角测量、片光三角测量、干涉法以及编码孔径技术,等等。相机210也可采取其他形式。
相机210可安装在车辆200的前挡风玻璃内部。具体而言,如图所示,相机210可捕捉来自相对于车辆200的前看视野的图像。相机210的其他安装位置和视角是可能的,它们在车辆200内部或外部。
相机210可具有关联的光学器件,这些光学器件可操作来提供可调整的视野。另外,相机210可利用可移动底座来安装到车辆200,该可移动底座可操作来改变相机210的指向角度。
在本公开的情境内,车辆100和/或车辆200的组件可被配置为与其各自系统内部或外部的其他组件以互连方式工作。例如,在示例实施例中,相机130可捕捉多个图像,这些图像可表示与在自主模式中操作的车辆100的环境有关的传感器数据。环境可包括另一车辆阻挡位于车辆100前方的已知交通信号位置。基于多个图像,推断系统(其可包括计算机系统112、传感器系统104和控制系统106)可基于来自环境的其他方面的传感器数据(例如指示出该阻挡车辆的刹车灯开启的图像)推断出观察不到的交通信号是红灯。基于该推断,计算机系统112和推进系统102可采取行动来控制车辆100。下面将论述更详细的示例实现方式。
3.示例实现方式
现在在本文中将描述若干个示例实现方式。要理解,有许多种方式来实现本文公开的设备、系统和方法。因此,以下示例并不打算限制本公开的范围。
图3A和图3B分别图示出自主车辆操作场景300的顶视图和后视图。在场景300中,可在自主模式中操作的车辆306在大卡车304后方停止。车辆306可与如参考图1和图2描述的车辆100和车辆200相似或相同。车辆306可包括传感器系统310。大卡车304可能遮蔽着交通信号302,使得传感器系统310可能不能够直接感测到交通信号302的状态。换言之,在场景300中,由于大卡车304的存在,传感器系统310中的传感器可能没有一个能够观察、成像、转换或以其他方式检测交通信号302的状态。
在这种情况下,传感器系统310可操作来获得关于车辆306的环境的其他方面的传感器数据,以尝试确定交通信号302的状态或者其环境的任何其他相关的观察不到的方面。在示例实施例中,与传感器系统310相关联的相机可捕捉多个图像。多个图像可包括关于大卡车304的一个或多个刹车灯308的信息。多个图像可以是到推断系统的输入。
推断系统可从这些图像判定大卡车304的一个或多个刹车灯308被点亮。推断系统也可包括可确认大卡车304被停止的其他传感器数据。例如,推断系统可从RADAR和/或LIDAR传感器系统获得关于车辆306的环境的信息。
推断系统可将传感器数据与一组预定的场景相比较以尝试将当前传感器数据与特定的预定场景相匹配。预定场景可被保存在车辆自身上的数据存储装置中。或者,预定场景可被存储在别处,例如存储在服务器网络中。
如果在特定的预定场景与当前传感器数据之间存在实质性匹配,则可以作出关于未看到的交通信号302的可能状态的推断。例如,在场景300中,推断可以是交通信号302的状态为“红灯”(因为大卡车304由于遵守交通信号302而被停止)。
在本公开的情境内,可以基于以下各项中的任何一个或者其组合来作出实质性匹配:停止的车辆的相似布置、相似的道路、相似的位置/路口、相似的路线、相似的时段或者车辆306的环境任何其他相似的方面。
推断系统可基于其他算法来作出推断。例如,可基于贝叶斯网络、隐式马尔可夫模型和/或决策树来作出推断。可以单独或组合使用其他算法来推断关于环境的一方面。
基于车辆306的环境的所推断的方面,车辆306可被控制来执行动作。在场景300中,该动作可以是继续保持停止,直到大卡车304再次开始移动为止。
在一些场景中,如果环境中的状况变化,或者如果环境中的状况保持相同,则推断系统可以作出一个或多个后续的推断。例如,在场景300中,如果车辆306保持停止在大卡车304后方的时间长于预期的交通信号延迟时间,则车辆306可作出如下的后续推断:大卡车304是由于发生故障而不是由于遵守交通信号302而被停止的。响应于该后续推断,车辆306可采取动作,例如移动到相邻车道中以便绕过大卡车304。后续推断可以持续地作出、按特定的预定间隔作出、或者在感测到特定的触发事件——例如依场景而定的传感器数据——时作出。其他后续推断在本公开的情境内是可能的。
图3C图示了自主车辆操作场景320的顶视图。与场景300类似,大卡车324可能阻挡着车辆322对北行方向的交通信号326的查看,车辆322可能在自主模式中操作。这样,可能阻碍了车辆322的传感器系统323直接观察或以其他方式感测北行方向交通信号326的状态。车辆322可与如参考图1和图2描述的车辆100和车辆200相似或相同。
为了推断北行方向交通信号326的状态,车辆322可使用来自环境的可观察方面的传感器数据。例如,传感器系统323可使用其关联传感器(例如,相机、RADAR、LIDAR、声传感器、超声传感器,等等)之一或者这些传感器的组合来观察可用作推断系统的输入的其他交通或非交通指示物。
在场景320中,与传感器系统323相关联的一个或多个传感器可观察到轿车328右转到南行方向道路上并且卡车332在西行方向道路上继续行进。与轿车328和卡车332的动作有关的传感器数据可用作推断系统的输入。基于该传感器数据,推断系统可推断出交通信号326的状态对于北行和南行方向交通是“红灯”,并且交通信号334的状态对于东行和西行方向交通是“绿灯”。如上所述,推断系统可将传感器数据和其他数据与一组预定场景相比较。如果在传感器数据/其他数据与特定的预定场景之间存在实质性匹配,则可以基于在该特定的预定场景的情境内最有可能的结果来作出推断。
基于该推断,例如北行方向交通信号326是“红灯”,车辆322可被控制为采取保持停止在大卡车324后方这种形式的动作。
图3D图示了自主车辆操作场景340的顶视图。在场景340中,车辆342可能被停止在四向停车路口,遵守北行方向停车标志344。车辆342可能正在自主模式中操作。车辆342可与参考图1和图2描述的车辆100和车辆200相似或相同。卡车346也可由于东行方向停车标志348而被停止在该路口处。在这种场景中,车辆342可能想要确定四向停车路口的交通进展的状态。然而,交通进展的这种状态可能是观察不到的。换言之,车辆342可能不确定接下来哪个车辆应当前进通过路口,并且可能没有直接可观察的信号(例如,交通信号)来指示前进顺序。
传感器系统343可操作来感测车辆343的环境的其他可观察部分,这些部分可提供关于四向停车路口中的交通进展的状态的信息。例如,传感器系统343可使用一个或多个关联的传感器来观察轿车350向南移动经过路口。传感器数据可被推断系统获得。
基于传感器数据,推断系统可推断关于四向停车路口中的交通进展的状态。在此情况下,推断系统可判定向北前进经过路口为时已晚并且推断出接下来卡车346应当向前移动经过路口。
基于该推断,车辆342可被控制为在前进经过路口之前等待卡车346空出路口。
4.示例方法
提供了一种方法400,用于从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。该方法还包括使用推断系统来基于传感器数据推断车辆的环境的未被一个或多个传感器观察到的至少一个方面,并且基于车辆的环境的至少一个所推断的方面来控制车辆。该方法可利用图1和2所示和以上描述的任何装置来执行,然而也可使用其他配置。图4A图示了示例方法中的步骤,然而,要理解,在其他实施例中,这些步骤可按不同的顺序出现并且可以添加或减除步骤。
步骤402包括从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据。一个或多个传感器与车辆操作性地关联。车辆被配置为在自主模式中操作。此方法中描述的车辆可以是如分别参考图1和2图示和描述的车辆100和/或车辆200。
获得传感器数据可包括使用相机、雷达系统、激光雷达系统和声感测系统中的一个或多个。其他传感器和传感器系统在本公开的情境中是可能的。可通过有线和/或无线信号从上述传感器接收传感器数据。在一些实施例中,传感器数据可由服务器网络获得并被传输给车辆。替换地或额外地,传感器数据可由包含在车辆中的计算机系统获得。
步骤404包括利用推断系统基于传感器数据来推断车辆的环境的未被一个或多个传感器观察到的至少一个方面。推断系统可由参考图1示出和描述的计算机系统112提供。在其他实施例中,推断系统可以部分或完全地由在车辆外部——例如在服务器网络中——的一个或多个计算机系统提供。
推断系统可操作来作出关于车辆的环境的未被与车辆相关联的一个或多个传感器直接观察到的任意数目的方面的推断。例如,推断系统可作出关于看不见的交通信号或四向停车处的状态的推断。在其他实施例中,推断系统可作出关于道路上的交通密度、速度限制、道路状况、另一车辆的行为、道路路线和/或阻碍道路的事故或障碍物的推断。可以推断环境的其他方面。
推断系统可基于来自与车辆操作性地关联的传感器中的一者或者任何组合的传感器数据来作出推断。传感器可位于车辆本身上。或者,一些传感器可位于与车辆分离处。
推断系统作出的推断可基于传感器可观察的车辆的环境的任何方面。在示例实施例中,可从关于其他车辆的传感器数据作出推断。传感器数据可例如涉及其他车辆的速度、前进方向和/或位置。例如,当接近具有被遮挡的交通信号的路口时,可基于其他车辆的加速度和/或减速度(有或没有刹车灯)来作出推断。其他车辆的减速度可暗示“红灯”交通信号,而加速度可暗示“绿灯”交通信号。关于使用基于其他车辆的传感器数据的其他示例是可能的。
也可基于感测到的障碍物的位置、观察到的道路与已知地图相比的变化、道路的状况等等来作出推断。另外,来自多于一个传感器的传感器数据可被推断系统用于作出推断。
推断系统可包括人工智能和/或学习算法。在这种情况下,推断系统可基于所获得的传感器数据来推断关于车辆的环境的方面。可将传感器数据与一组代表性传感器输入场景或者预定场景相比较,这些场景能够代表具有一组可能结果的一组类似场景。也就是说,对于给定的一组传感器输入,一组可能的结果可与该给定的一组传感器输入相关联。与给定的一组传感器输入相关联的每个可能结果可与概率相关联。概率可涉及可能的结果实际发生。
推断系统作出的推断可涉及对于结果的“最佳猜测”,其可包括可能的结果之一。如果推断得到确认(例如,“最佳猜测”是正确的),则该组代表性传感器输入场景内的可能结果可通过例如增大该可能结果将会发生的概率来得到加强。如果判定推断不正确,则对于该组代表性传感器输入场景或预定场景之中的该给定可能结果可减小概率。其他类型的学习算法是可能的。
每个预定场景或推断可包括基于推断系统对于预测的结果可以有多确信的关联置信水平。置信水平可以与或不与每个预定场景中的最可能结果各自的概率直接相关。置信水平可基于例如随着一个或多个先前推断之后的一个或多个实际结果。在这种示例中,如果先前推断不正确地预测了实际结果,则该预定场景的置信水平随后可被减小。相反,如果先前推断正确地预测了实际结果,则该预定场景的置信水平可被增大。
在本公开的情境内,可利用故障-安全方法来作出推断。换言之,推断系统可作出可能是环境的不可观察的方面的正确或非正确表示的推断。在故障-安全方法中,不正确的推断(例如,在交通灯实际为“绿灯”时推断其为“红灯”)可在安全车辆操作的情境内执行以避免不安全的操作。
例如,推断系统可以使用或修改各种交通规则以尝试提供故障-安全操作。实际的交通规则可以是:“除非你知道交通信号是绿灯,否则不要前进经过路口”。推断系统可使用该规则的修改后版本,例如:“除非你直接观察到交通信号是绿灯或者除非你的车道中的其他车辆正在前进经过路口,否则不要前进经过该路口”。推断系统还可对各种动作添加额外的限制以便进行更安全的操作。这种额外的限制可包括冗余传感器数据检查(以便车辆不会基于传感器小偏差而移动)、异种传感器检查(例如,雷达和光学传感器输入应当一致)、额外的等待时间等等。可以添加额外的限制来提供车辆在自主模式中时的更可靠且安全的操作。
在一些场景中,推断系统可请求车辆驾驶员/乘坐者输入来确认或拒绝推断。例如,当接近交通信号在闪烁红灯的路口时,推断系统可以推断该交通信号未正常工作并且可以请求来自车辆的乘坐者的输入。推断系统可以问:“这个交通灯看起来坏了,能请您确认吗?”车辆乘坐者可响应:“是的,它看起来坏了”,或者“不,我认为它通常就是闪烁红灯的”。来自车辆乘坐者的这种输入可被单独使用或与传感器数据结合使用来作出关于环境的该方面的进一步推断和/或控制车辆。推断系统与车辆乘坐者之间的交互可利用语音、文本或其他形式的通信来执行。
在另一示例实施例中,在接近路口的同时,对于车辆传感器系统,交通信号可能被遮挡。车辆可在该路口处停止。在等待交通灯的至少一个循环时间并且未能接收到其他适当的传感器数据来前进经过路口之后,推断系统可以问车辆乘坐者:“前进经过这个路口安全吗?”车辆乘坐者可响应以“前进”或“别前进”。可基于来自车辆乘坐者的响应来控制车辆。在其他实施例中,车辆乘坐者可采取对车辆的手动控制来越过该路口。推断系统与车辆乘坐者之间的其他交互是可能的。
在一些实施例中,推断可被发送到被配置为在自主模式中操作的一个或多个其他车辆。例如,关于交通信号的状态的推断可被发送到作出推断的车辆后方的车辆,作为“提早警告”来避免突然刹车或其他紧急状况。
推断也可以以查询形式被发送到附近的自主车辆,这些附近的自主车辆可操作来支持或反驳该推断。例如,停止在可能阻挡着交通信号的大卡车后方的车辆可推断该大卡车是由于交通信号的状态为“红灯”而停止的。在一些实施例中,该车辆可广播该推断,以尝试获得关于该交通信号的状态的进一步信息。作为响应,其他车辆可以用其他信息来响应以支持或反驳该推断。
基于由推断系统作出的推断,一控制指令或一组控制指令可被推断系统生成并被发送或以其他方式传输到车辆或可操作来控制车辆的部分或全部功能的另一计算机系统。
步骤406包括基于车辆的环境的至少一个所推断的方面来在自主模式中控制车辆。控制车辆可表示车辆遵循(一个或多个)控制指令以便执行以下各项中的一个或多个:车辆加速、减速、改变前进方向、改变车道、在车道内偏移位置、提供警告通知(例如,车辆到车辆通信消息、喇叭信号、光信号等等)以及改变到不同的驾驶模式(例如,半自动或手动模式)。涉及控制车辆的其他动作在本公开的情境内是可能的。
可至少部分基于推断或预定场景的置信水平来控制车辆。
车辆和任何车载计算机系统可在自主模式中控制车辆。或者,例如服务器网络这样的计算机系统可用于控制自主模式中的车辆的一些或全部功能。
本文公开的方法和装置可应用到在自主模式中操作的车辆接近高速公路调控灯(metering light)(例如,在公路入口匝道处)的情形。在示例情形中,在车辆被停止在调控灯旁边的同时,相机的视野可能不足以直接观察该调控灯。车辆可接收关于该特定调控灯的信息(例如,来自公路管理员或其他道路信息服务)。接收到的信息可包括在该特定调控灯处调控是否在进行以及当前调控间隔。可经由无线通信接口来接收该信息。这样,在车辆可能不能够直接观察到调控灯的情形中,车辆可以有若干种方式来推断调控灯的恰当间隔时间和/或状态以便从该调控灯前进。
例如,车辆可观察其他车并从其他车辆的移动来推断出间隔时间。在这种示例中,车辆可观察到其他车辆按一定速率前进(例如,大致每五秒一辆)。基于对其他车辆的观察,车辆可推断出间隔是大致五秒并且在等待所推断的间隔时间之后从该调控灯前进。
如果间隔信息已知(例如,基于先前历史数据或接收到的信息),则车辆可基于该间隔信息来推断出恰当的调控间隔。例如,公路官方机构可向车辆提供调控间隔信息(例如,当前调控灯处的间隔是七秒)。基于该间隔信息,车辆可推断出间隔是七秒,并且在先前车辆出发后等待七秒之后从该调控灯前进。然而,如果车辆观察到其他车辆等待的时间远长于(或远短于)间隔信息所指示的,则可基于实时观察来推断出新的间隔。
在包括两车道调控灯的场景中,车辆可观察到其他车辆以交替方式从该调控灯前进(例如,右车道、左车道、右车道……)。基于出发间隔,车辆可推断在该调控灯处等待的适当时间。另外,基于出发间隔和车辆的当前车道,车辆可推断从该调控灯出发的恰当顺序。
在另一示例实施例中,车辆可基于对调控灯的先前观察来作出关于调控灯的状态的推断。例如,随着车辆正在接近调控灯,其可观察调控灯的状态。然而,对该调控灯的查看可能变得被另一车辆所遮挡或者该调控灯可能在相机视野之外。在这种情形中,车辆可基于先前观察到的该调控灯的状态来推断该调控灯的当前状态。具体地,车辆可在朝着调控灯移动的同时观察到调控灯的转变(例如,红灯到绿灯或绿灯到红灯),调控灯随后可变得观察不到。如果间隔信息是车辆已知的,则车辆可基于该间隔信息和从先前观察到的转变起逝去的时间来作出关于调控灯的当前状态的推断。
在调控正在进行时车辆可故意缓慢地接近调控灯以确保在车辆进入观察不到调控灯的位置之前观察到一个完整的调控周期(或者至少一个调控灯转变)。从而,车辆可能够作出关于调控灯的当前状态的更确信的推断。
在另一实施例中,车辆可接近一观察不到的调控灯,而没有其他车辆在该调控灯处等待或前进经过该调控灯。如果车辆具有调控正在进行的信息以及关于调控灯的间隔的信息,则车辆可以就在该调控灯处等待该间隔的持续时间。从而,尽管没有直接观察到调控灯,车辆仍可作出关于调控灯的推断并且控制车辆以尝试保持安全并且也符合交通法规的精神。
提供了一种方法410,其中,当进行控制的交通信号的状态不可直接观察时,可从观察车辆的环境中的至少一个光源的至少一个传感器获得传感器数据。基于该传感器数据,推断系统可推断出进行控制的交通信号的推断状态。可基于进行控制的交通信号的推断状态来控制车辆。该方法可利用图1和2所示和以上描述的任何装置来执行,然而也可使用其他配置。图4B图示了示例方法中的步骤,然而,要理解,在其他实施例中,这些步骤可按不同的顺序出现并且可以添加或减除步骤。
步骤412包括在利用一个或多个传感器不可直接观察进行控制的交通信号的状态时,从观察车辆的环境中的至少一个光源的该一个或多个传感器获得传感器数据。车辆可被配置为在自主模式中操作并且该一个或多个传感器可与车辆操作性地关联。
一个或多个传感器可包括如本公开别处所述的任何类型的传感器。一个或多个传感器可附着到车辆或者可位于别处。
至少一个光源可包括另一车辆的一个或多个刹车灯。其他光源是可能的。
进行控制的交通信号可代表任何交通规制设备,例如交通灯、停车标志或者调控灯。例如,车辆可能正在接近一路口。在这种情况下,进行控制的交通信号可以是规制经过该路口的交通流量的交通灯。其他类型的进行控制的交通信号是可能的。在示例实施例中,进行控制的交通信号可被另一车辆、建筑物、树木或者任何其他类型的障碍所阻挡,使得利用车辆的一个或多个传感器不可直接观察该进行控制的交通信号。在其他实施例中,进行控制的交通信号可在车辆的一个或多个传感器的可观察范围之外。
步骤414包括利用推断系统来基于传感器数据推断进行控制的交通信号的推断状态。在示例实施例中,推断系统可以是与车辆相关联的计算机系统,例如参考图1描述的计算机系统112。在其他实施例中,推断系统可以完全或部分地与另一计算机系统(例如,服务器网络)相关联。
如本公开中别处所述,推断系统可操作来基于传感器数据作出推断。在一些实施例中,推断系统可作出关于进行控制的交通信号的不可观察的状态的推断。例如,车辆可能正接近具有进行控制的交通信号的路口。在这种情况中,一卡车可阻止与该车辆相关联的一个或多个传感器直接观察该进行控制的交通信号的状态。车辆可获取与车辆的环境中的一个或多个光源——例如其他车辆的刹车灯——有关的传感器数据。如果其他车辆的刹车灯开启,则推断系统可推断进行控制的交通信号的状态是红灯或者“停止”。如果其他车辆的刹车灯未开启,则推断系统可推断进行控制的交通信号的状态是绿灯或者“前进”。其他类型的推断是可能的。
步骤416包括基于进行控制的交通信号的推断状态来控制自主模式中的车辆。在示例实施例中,如果进行控制的交通信号的推断状态是绿灯或“前进”,则可以控制车辆“通过路口”或者“小心前进”。如果进行控制的交通信号的推断状态是红灯或“停止”,则可以控制车辆停止。在一些实施例中,可以控制车辆提醒驾驶员和/或进入半自动或手动模式。基于进行控制的交通信号的推断状态来控制自主模式中的车辆的其他方式是可能的。
示例方法,例如图4A的方法400和图4B的方法410,可以完全或部分地由车辆及其子系统来执行。因此,示例方法在本文中可作为示例被描述为由车辆实现。然而,应当理解,示例方法可以完全或部分地由其他计算设备来实现。例如,示例方法可以完全或部分地由从诸如与车辆关联的设备之类的设备接收数据的服务器系统来实现。可实现示例方法的计算设备或计算设备的组合的其他示例是可能的。
在一些实施例中,公开的方法可实现为以机器可读格式编码在非暂态计算机可读存储介质上或者其他非暂态介质或制品上的计算机程序指令。图5是图示出根据本文给出的至少一些实施例布置的包括用于在计算机系统上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意图。
在一个实施例中,利用信号承载介质500来提供示例计算机程序产品502。信号承载介质502可包括一个或多个编程指令504,这些编程指令504在被一个或多个处理器执行时可提供以上参考图1-4描述的功能或功能的部分。在一些示例中,信号承载介质502可包含计算机可读介质506,例如——但不限于——硬盘驱动器、致密盘(Compact Disc,CD)、数字视频盘(DigitalVideo Disk,DVD)、数字磁带、存储器,等等。在一些实现方式中,信号承载介质502可包含计算机可记录介质508,例如——但不限于——存储器、读/写(R/W)CD、R/W DVD,等等。在一些实现方式中,信号承载介质502可包含通信介质510,例如——但不限于——数字和/或模拟通信介质(例如,光缆、波导、有线通信链路、无线通信链路,等等)。从而,例如,信号承载介质502可由无线形式的通信介质510来传达。
一个或多个编程指令504可以例如是计算机可执行和/或逻辑实现的指令。在一些示例中,例如图1的计算机系统112那样的计算设备可被配置为响应于由计算机可读介质506、计算机可记录介质508和/或通信介质510中的一个或多个传达到计算机系统112的编程指令504而提供各种操作、功能或动作。
非暂态计算机可读介质也可分布在多个数据存储元件之间,这些数据存储元件的位置可以彼此远离。执行存储的指令中的一些或全部的计算设备可以是车辆,例如图2所示的车辆200。或者,执行存储的指令中的一些或全部的计算设备可以是另一计算设备,例如服务器。
以上详细描述参考附图对公开的系统、设备和方法的各种特征和功能进行了描述。虽然本文已公开了各种方面和实施例,但其他方面和实施例是可能的。本文公开的各种方面和实施例是为了例示,而并不打算进行限定,真实的范围和精神由所附权利要求指示。

Claims (28)

1.一种方法,包括:
从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据,其中所述一个或多个传感器与所述车辆操作性地关联,并且其中所述车辆被配置为在自主模式中操作;
利用推断系统基于所述传感器数据来推断所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面;以及
基于所述车辆的环境的至少一个所推断方面来在自主模式中控制所述车辆。
2.如权利要求1所述的方法,其中,所述一个或多个传感器包括至少两个传感器,并且其中,所述车辆的环境的至少一个所推断方面是基于来自所述至少两个传感器的传感器数据的。
3.如权利要求1所述的方法,其中,获得传感器数据包括利用以下各项中的至少一者:相机、雷达系统、声学感测系统、超声感测系统、以及激光雷达系统。
4.如权利要求1所述的方法,其中,所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面包括以下各项中的至少一者:交通灯、速度限制、道路状况、障碍物、另一车辆的行为、以及道路路线。
5.如权利要求1所述的方法,还包括确定置信水平,其中所述置信水平是基于所述车辆的环境的至少一个所推断方面、至少一个先前推断以及至少一个先前结果的,并且所述方法还包括还基于所述置信水平来在自主模式中控制所述车辆。
6.如权利要求5所述的方法,还包括将所述车辆的环境的至少一个所推断方面和所述置信水平发送到至少一个其他车辆,其中所述至少一个其他车辆被配置为在自主模式中操作。
7.如权利要求1所述的方法,其中,利用推断系统包括利用以下各项中的至少一者:贝叶斯网络、隐式马尔可夫模型、以及决策树。
8.如权利要求1所述的方法,其中,控制车辆包括以下各项中的至少一者:控制所述车辆加速、控制所述车辆减速、控制所述车辆改变前进方向、控制所述车辆改变车道、控制所述车辆在当前车道内偏移、以及控制所述车辆提供警告通知。
9.如权利要求8所述的方法,其中,所述警告通知包括以下各项中的至少一者:喇叭信号、光信号、以及车辆到车辆通信消息。
10.一种车辆,包括:
一个或多个传感器,其中所述一个或多个传感器被配置为获取传感器数据,其中所述传感器数据涉及由所述一个或多个传感器观察到的车辆的环境的一个或多个方面,并且其中所述车辆被配置为在自主模式中操作;
推断系统,其中所述推断系统被配置为基于所述传感器数据来推断所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面;以及
控制系统,其中所述控制系统被配置为基于所述车辆的环境的至少一个所推断方面来在自主模式中控制所述车辆。
11.如权利要求10所述的车辆,其中,所述一个或多个传感器包括以下各项中的至少一者:相机、雷达系统、声学感测系统、超声感测系统、以及激光雷达系统。
12.如权利要求10所述的车辆,其中,所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面包括以下各项中的至少一者:交通灯、速度限制、道路状况、障碍物、另一车辆的行为、以及道路路线。
13.如权利要求10所述的车辆,其中,所述推断系统还被配置为确定置信水平,其中所述置信水平是基于所述车辆的环境的至少一个所推断方面、至少一个先前推断以及至少一个先前结果的,并且其中所述计算机系统还被配置为还基于所述置信水平来在自主模式中控制所述车辆。
14.如权利要求13所述的车辆,其中,所述推断系统还被配置为将所述车辆的环境的至少一个所推断方面和所述置信水平发送到至少一个其他车辆,其中所述至少一个其他车辆被配置为在自主模式中操作。
15.如权利要求10所述的车辆,其中,所述推断系统被配置为使用以下各项中的至少一者:贝叶斯网络、隐式马尔可夫模型、以及决策树。
16.如权利要求10所述的车辆,其中,所述控制系统还被配置为执行以下各项中的至少一者:控制所述车辆加速、控制所述车辆减速、控制所述车辆改变前进方向、控制所述车辆改变车道、控制所述车辆在当前车道内偏移、以及控制所述车辆提供警告通知。
17.如权利要求16所述的车辆,其中,所述警告通知包括以下各项中的至少一者:喇叭信号、光信号、以及车辆到车辆通信消息。
18.一种非暂态计算机可读介质,其中存储有指令,所述指令可被计算机系统执行来使得该计算机系统执行功能,所述功能包括:
从观察车辆的环境的一个或多个方面的一个或多个传感器获得传感器数据,其中所述一个或多个传感器与所述车辆操作性地关联,并且其中所述车辆被配置为在自主模式中操作;
基于所述传感器数据来推断所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面;以及
基于所述车辆的环境的至少一个所推断方面来在自主模式中控制所述车辆。
19.如权利要求18所述的非暂态计算机可读介质,其中,获得传感器数据包括利用以下各项中的至少一者:相机、雷达系统、声学感测系统、超声感测系统、以及激光雷达系统。
20.如权利要求18所述的非暂态计算机可读介质,其中,所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面包括以下各项中的至少一者:交通灯、速度限制、道路状况、障碍物、另一车辆的行为、以及道路路线。
21.如权利要求18所述的非暂态计算机可读介质,其中,所述功能还包括确定置信水平,其中所述置信水平是基于所述车辆的环境的至少一个所推断方面、至少一个先前推断以及至少一个先前结果的,并且所述功能还包括进一步基于所述置信水平来在自主模式中控制所述车辆。
22.如权利要求21所述的非暂态计算机可读介质,其中,所述功能还包括将所述车辆的环境的至少一个所推断方面和所述置信水平发送到至少一个其他车辆,其中所述至少一个其他车辆被配置为在自主模式中操作。
23.如权利要求18所述的非暂态计算机可读介质,其中,推断所述车辆的环境的未被所述一个或多个传感器观察到的至少一个方面包括利用以下各项中的至少一者:贝叶斯网络、隐式马尔可夫模型、以及决策树。
24.如权利要求18所述的非暂态计算机可读介质,其中,控制车辆包括以下各项中的至少一者:控制所述车辆加速、控制所述车辆减速、控制所述车辆改变前进方向、控制所述车辆改变车道、控制所述车辆在当前车道内偏移、以及控制所述车辆提供警告通知。
25.如权利要求24所述的非暂态计算机可读介质,其中,所述警告通知包括以下各项中的至少一者:喇叭信号、光信号、以及车辆到车辆通信消息。
26.一种方法,包括:
从观察车辆的环境中的至少一个光源的一个或多个传感器获得传感器数据,其中所述一个或多个传感器与所述车辆操作性地关联,其中利用所述一个或多个传感器不可直接观察进行控制的交通信号的状态,其中所述车辆被配置为在自主模式中操作;
利用推断系统基于所述传感器数据推断所述进行控制的交通信号的推断状态;以及
基于所述进行控制的交通信号的推断状态来在自主模式中控制所述车辆。
27.如权利要求26所述的方法,其中,所述至少一个光源包括另一车辆的至少一个刹车灯。
28.如权利要求26所述的方法,其中,获得传感器数据包括利用以下各项中的至少一者:相机、雷达系统、声学感测系统、超声感测系统、以及激光雷达系统。
CN201380037622.5A 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面 Active CN104470781B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710864891.9A CN107628027B (zh) 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/486,886 2012-06-01
US13/486,886 US8793046B2 (en) 2012-06-01 2012-06-01 Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
PCT/US2013/030120 WO2013180787A1 (en) 2012-06-01 2013-03-11 Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710864891.9A Division CN107628027B (zh) 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面

Publications (2)

Publication Number Publication Date
CN104470781A true CN104470781A (zh) 2015-03-25
CN104470781B CN104470781B (zh) 2017-10-24

Family

ID=49671236

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380037622.5A Active CN104470781B (zh) 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面
CN201710864891.9A Expired - Fee Related CN107628027B (zh) 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710864891.9A Expired - Fee Related CN107628027B (zh) 2012-06-01 2013-03-11 基于替代数据推断交通信号状态和车辆环境的其他方面

Country Status (7)

Country Link
US (8) US8793046B2 (zh)
EP (2) EP3792126A1 (zh)
JP (1) JP6018705B2 (zh)
KR (1) KR101705961B1 (zh)
CN (2) CN104470781B (zh)
ES (1) ES2848868T3 (zh)
WO (1) WO2013180787A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256642A (zh) * 2015-06-03 2016-12-28 福特全球技术公司 基于摄像机获取的图像信息控制车辆部件的系统和方法
CN106681328A (zh) * 2017-01-13 2017-05-17 深圳市元征科技股份有限公司 基于智能穿戴设备的自动驾驶方法及智能穿戴设备
CN107310550A (zh) * 2016-04-27 2017-11-03 腾讯科技(深圳)有限公司 道路交通工具行驶控制方法和装置
CN107391098A (zh) * 2016-05-17 2017-11-24 谷歌公司 管理车辆中的消息
CN107463170A (zh) * 2016-06-06 2017-12-12 通用汽车环球科技运作有限责任公司 用于自主车辆导航的交通控制设备与通车车道基于传感器的关联性
CN107657821A (zh) * 2016-07-26 2018-02-02 奥迪股份公司 用于车辆的电子控制装置和方法
CN107851373A (zh) * 2015-07-21 2018-03-27 日产自动车株式会社 场景评估装置、行驶辅助装置、场景评估方法
CN107924613A (zh) * 2015-08-26 2018-04-17 福特全球技术公司 使用同步和平衡v2v通信的设备
CN108407797A (zh) * 2018-01-19 2018-08-17 洛阳中科龙网创新科技有限公司 一种基于深度学习的实现农机自动换挡的方法
CN108694843A (zh) * 2017-04-12 2018-10-23 通用汽车环球科技运作有限责任公司 用于交通控制设备检测优化的方法和装置
CN109835349A (zh) * 2017-11-28 2019-06-04 丰田自动车株式会社 故障车辆推断系统及其推断方法、以及非临时性存储介质
CN110325928A (zh) * 2017-02-10 2019-10-11 日产北美公司 自主车辆运行管理
CN110371018A (zh) * 2018-04-13 2019-10-25 通用汽车环球科技运作有限责任公司 使用其他车辆车灯的信息改善车辆行为
CN110691985A (zh) * 2017-06-30 2020-01-14 维宁尔瑞典公司 用于增强的对象追踪的系统
CN110831832A (zh) * 2017-06-30 2020-02-21 德尔福技术有限公司 自动车辆的移动交通灯检测系统
CN111599166A (zh) * 2019-02-20 2020-08-28 通用汽车环球科技运作有限责任公司 用于解释交通信号和协商信号化的交叉路口的方法和系统
CN112033425A (zh) * 2019-06-04 2020-12-04 长沙智能驾驶研究院有限公司 车辆辅助驾驶方法、装置、计算机设备和存储介质
CN112071064A (zh) * 2020-09-17 2020-12-11 苏州交驰人工智能研究院有限公司 基于相反规则车道进行交通信号状态推测的方法及装置
CN112313134A (zh) * 2018-07-03 2021-02-02 黑拉有限责任两合公司 用于检测和处理被车辆驶过的车道的车道情况的方法
CN112918488A (zh) * 2021-03-11 2021-06-08 知行汽车科技(苏州)有限公司 车辆控制方法、装置及存储介质
CN113525409A (zh) * 2020-03-31 2021-10-22 本田技研工业株式会社 移动体控制装置、移动体控制方法及存储介质
CN113655471A (zh) * 2015-10-06 2021-11-16 谷歌有限责任公司 用于支持雷达的传感器融合的方法、装置和片上系统
CN114120691A (zh) * 2020-08-27 2022-03-01 伟摩有限责任公司 使用远程辅助逐渐调整车辆传感器视角的方法和系统

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0781697B1 (en) 1995-12-26 2002-06-12 Denso Corporation Brake control apparatus for vehicle
DE102011088130B4 (de) * 2011-12-09 2023-03-02 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung einer Bremssituation
US9760092B2 (en) * 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
DE102012212065A1 (de) * 2012-07-11 2014-01-16 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems für ein Fahrzeug und Fahrerassistenzsystem für ein Fahrzeug
DE102012018212A1 (de) * 2012-09-14 2014-03-20 Audi Ag Erfassen von Verkehrs- und Unfalldaten an Knotenpunkten im Straßenverkehr
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
DE102013215098A1 (de) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Umfeldmodelle für Fahrzeuge
WO2015085032A1 (en) * 2013-12-05 2015-06-11 United Safety Towers, Llc Traffic signaling apparatus
DE102013226267A1 (de) * 2013-12-17 2015-07-02 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Schnittstelle und System zur Fernsteuerung eines Kraftfahrzeugs
US9406177B2 (en) * 2013-12-20 2016-08-02 Ford Global Technologies, Llc Fault handling in an autonomous vehicle
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9550498B2 (en) 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
CN103996312B (zh) * 2014-05-23 2015-12-09 北京理工大学 具有社会行为交互的无人驾驶汽车控制系统
US9365218B2 (en) 2014-07-14 2016-06-14 Ford Global Technologies, Llc Selectable autonomous driving modes
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9187088B1 (en) 2014-08-15 2015-11-17 Google Inc. Distribution decision trees
US9168882B1 (en) * 2014-09-30 2015-10-27 Verizon Patent And Licensing Inc. Method and apparatus for providing vehicle sensor data access and storage
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
US9493157B2 (en) * 2015-01-29 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in obstructed occupant view and sensor detection environments
US9555736B2 (en) 2015-04-03 2017-01-31 Magna Electronics Inc. Vehicle headlamp control using sensing and communication systems
JP6282246B2 (ja) * 2015-04-24 2018-02-21 オムロンオートモーティブエレクトロニクス株式会社 車載用距離計測装置
WO2017010264A1 (ja) * 2015-07-10 2017-01-19 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
WO2017013747A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 シーン評価装置、走行支援装置、シーン評価方法
WO2017013749A1 (ja) * 2015-07-21 2017-01-26 日産自動車株式会社 運転計画装置、走行支援装置、運転計画方法
CA2992967A1 (en) * 2015-07-21 2017-01-26 Nissan Motor Co., Ltd. Scene determination device, travel assistance apparatus, and scene determination method
KR102005203B1 (ko) * 2015-07-21 2019-07-29 닛산 지도우샤 가부시키가이샤 운전 계획 장치, 주행 지원 장치, 운전 계획 방법
KR20170015114A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
WO2017018842A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량을 제어하는 장치 및 방법
WO2017018852A1 (ko) * 2015-07-30 2017-02-02 삼성전자 주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
US9869560B2 (en) 2015-07-31 2018-01-16 International Business Machines Corporation Self-driving vehicle's response to a proximate emergency vehicle
US9785145B2 (en) 2015-08-07 2017-10-10 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9483948B1 (en) 2015-08-07 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and pedestrians
US9721397B2 (en) 2015-08-11 2017-08-01 International Business Machines Corporation Automatic toll booth interaction with self-driving vehicles
US9718471B2 (en) 2015-08-18 2017-08-01 International Business Machines Corporation Automated spatial separation of self-driving vehicles from manually operated vehicles
US9481366B1 (en) 2015-08-19 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9896100B2 (en) 2015-08-24 2018-02-20 International Business Machines Corporation Automated spatial separation of self-driving vehicles from other vehicles based on occupant preferences
JP6686327B2 (ja) * 2015-08-26 2020-04-22 三菱自動車工業株式会社 運転支援装置
US9731726B2 (en) 2015-09-02 2017-08-15 International Business Machines Corporation Redirecting self-driving vehicles to a product provider based on physiological states of occupants of the self-driving vehicles
US9513632B1 (en) * 2015-09-16 2016-12-06 International Business Machines Corporation Driving mode alerts from self-driving vehicles
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9481367B1 (en) 2015-10-14 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9834224B2 (en) 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US9751532B2 (en) 2015-10-27 2017-09-05 International Business Machines Corporation Controlling spacing of self-driving vehicles based on social network relationships
US9944291B2 (en) 2015-10-27 2018-04-17 International Business Machines Corporation Controlling driving modes of self-driving vehicles
EP3371772A4 (en) * 2015-11-04 2019-05-01 Zoox, Inc. SOFTWARE APPLICATION FOR REQUEST AND CONTROL OF A SERVICE OF AUTONOMOUS VEHICLES
US10176525B2 (en) 2015-11-09 2019-01-08 International Business Machines Corporation Dynamically adjusting insurance policy parameters for a self-driving vehicle
US9791861B2 (en) 2015-11-12 2017-10-17 International Business Machines Corporation Autonomously servicing self-driving vehicles
US10061326B2 (en) 2015-12-09 2018-08-28 International Business Machines Corporation Mishap amelioration based on second-order sensing by a self-driving vehicle
US10029682B2 (en) 2016-01-22 2018-07-24 Toyota Motor Engineering & Manufacturing North America, Inc. Surrounding vehicle classification and path prediction
US10938655B2 (en) * 2016-01-26 2021-03-02 International Business Machines Corporation Enterprise cloud garbage collector
US9836973B2 (en) 2016-01-27 2017-12-05 International Business Machines Corporation Selectively controlling a self-driving vehicle's access to a roadway
KR101951035B1 (ko) 2016-01-29 2019-05-10 한국전자통신연구원 차량의 자율 주행 시스템 및 그 방법
KR101826408B1 (ko) 2016-03-03 2018-03-22 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
US9898008B2 (en) * 2016-03-22 2018-02-20 Delphi Technologies, Inc. Scenario aware perception system for an automated vehicle
US10685247B2 (en) * 2016-03-29 2020-06-16 Aptiv Technologies Limited Infrastructure-device status-verification system for automated vehicles
CA3016523A1 (en) * 2016-03-30 2017-10-05 Oceaneering International, Inc. Rider-controlled trackless ride system
US10037696B2 (en) * 2016-03-31 2018-07-31 Delphi Technologies, Inc. Cooperative automated vehicle system
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US10077050B2 (en) * 2016-05-24 2018-09-18 GM Global Technology Operations LLC Automated driving system for evaluating lane cut-out and method of using the same
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
JP2018018389A (ja) * 2016-07-29 2018-02-01 パナソニックIpマネジメント株式会社 自動運転車輌の制御装置、及び制御プログラム
DE102016215501B4 (de) * 2016-08-18 2019-03-07 Robert Bosch Gmbh Verfahren und Vorrichtung zur Hinderniserkennung durch Landmarken
DE102016216520A1 (de) * 2016-09-01 2018-03-01 Robert Bosch Gmbh Verfahren und System zum Betrieb eines Fahrzeugs
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US20180150083A1 (en) * 2016-11-29 2018-05-31 Waymo Llc Pod connection for Autonomous Vehicle Sensors
KR102592139B1 (ko) 2017-03-13 2023-10-23 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
CN111094095B (zh) * 2017-04-18 2021-09-07 动态Ad有限责任公司 自动地感知行驶信号的方法、装置及运载工具
US10643084B2 (en) 2017-04-18 2020-05-05 nuTonomy Inc. Automatically perceiving travel signals
US11086013B2 (en) 2017-05-15 2021-08-10 Ouster, Inc. Micro-optics for imaging module with multiple converging lenses per channel
US10504368B2 (en) 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects
US10585180B2 (en) 2017-06-21 2020-03-10 International Business Machines Corporation Management of mobile objects
US10535266B2 (en) 2017-06-21 2020-01-14 International Business Machines Corporation Management of mobile objects
US10540895B2 (en) 2017-06-21 2020-01-21 International Business Machines Corporation Management of mobile objects
US10600322B2 (en) 2017-06-21 2020-03-24 International Business Machines Corporation Management of mobile objects
US10546488B2 (en) 2017-06-21 2020-01-28 International Business Machines Corporation Management of mobile objects
KR102218679B1 (ko) 2017-07-28 2021-02-23 옵시스 테크 엘티디 작은 각도 발산을 갖는 vcsel 어레이 lidar 송신기
US10558224B1 (en) * 2017-08-10 2020-02-11 Zoox, Inc. Shared vehicle obstacle data
US10928832B2 (en) 2017-09-29 2021-02-23 Huawei Technologies Co., Ltd. Impedance-based motion control for autonomous vehicles
JP7388720B2 (ja) 2017-11-15 2023-11-29 オプシス テック リミテッド ノイズ適応ソリッドステートlidarシステム
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
WO2019111309A1 (ja) * 2017-12-05 2019-06-13 日産自動車株式会社 車両の制御方法及び制御装置
JP6802391B2 (ja) * 2017-12-25 2020-12-16 日立オートモティブシステムズ株式会社 車両制御装置および電子制御システム
JP7067067B2 (ja) 2018-01-11 2022-05-16 トヨタ自動車株式会社 信号機認識装置、及び自動運転システム
US20210046953A1 (en) * 2018-03-06 2021-02-18 Technion Research & Development Foundation Limited Efficient inference update using belief space planning
EP3776125A4 (en) * 2018-03-26 2021-12-15 HRL Laboratories, LLC SYSTEM AND PROCEDURE FOR ASSESSING THE UNCERTAINTY OF DECISIONS TAKEN BY A SUPERVISED MACHINE LEARNING
CN111919137A (zh) 2018-04-01 2020-11-10 欧普赛斯技术有限公司 噪声自适应固态lidar系统
JP7077726B2 (ja) * 2018-04-02 2022-05-31 株式会社デンソー 車両システム、空間領域推測方法及び空間領域推測装置
US10699565B2 (en) 2018-04-04 2020-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for inferring lane obstructions
CN108674412B (zh) * 2018-04-04 2020-01-24 江苏大学 一种采用传感器融合的车辆主动避撞方法
WO2019203022A1 (ja) * 2018-04-20 2019-10-24 ソニー株式会社 移動体、情報処理装置、情報処理方法、及びプログラム
US10331128B1 (en) * 2018-04-20 2019-06-25 Lyft, Inc. Control redundancy
FR3080344B1 (fr) * 2018-04-20 2022-01-21 Psa Automobiles Sa Detection fiabilisee d’un objet par un vehicule
FR3080345A1 (fr) * 2018-04-20 2019-10-25 Psa Automobiles Sa Amelioration de la detection par le suivi d’un vehicule eclaireur
US10649459B2 (en) 2018-04-26 2020-05-12 Zoox, Inc. Data segmentation using masks
JP7110729B2 (ja) * 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
CN110859043A (zh) * 2018-06-22 2020-03-03 北京嘀嘀无限科技发展有限公司 一种更新高度自动化驾驶地图的系统和方法
US10884410B2 (en) * 2018-06-29 2021-01-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining whether a vehicle is capable of navigating an intersection in an autonomous driving mode
US11017671B2 (en) * 2018-07-02 2021-05-25 Nio Usa, Inc. Precautionary visual perception by detection of rear stop light of vehicle that is two vehicles ahead
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10650678B2 (en) 2018-08-21 2020-05-12 International Business Machines Corporation Cognitive traffic light pattern analysis and notification
CZ308605B6 (cs) * 2018-10-01 2020-12-30 Roboauto s.r.o. Senzorický systém s rychlou skupinovou fúzí pro získání modelu objektů v jeho okolí
CN109785655B (zh) * 2018-12-11 2020-09-29 北京百度网讯科技有限公司 车辆控制方法、装置、设备、无人驾驶车辆及存储介质
US11208111B2 (en) * 2018-12-11 2021-12-28 Waymo Llc Redundant hardware system for autonomous vehicles
KR102505717B1 (ko) 2019-01-29 2023-03-02 모셔널 에이디 엘엘씨 교통 신호등 추정
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
JP7278578B2 (ja) * 2019-04-05 2023-05-22 株式会社Liberaware 飛行体
JP2022526998A (ja) 2019-04-09 2022-05-27 オプシス テック リミテッド レーザ制御を伴うソリッドステートlidar送光機
EP3977159A4 (en) 2019-05-30 2023-03-01 Opsys Tech Ltd. EYE-SAFE LONG-RANGE LIDAR SYSTEM WITH ACTUATOR
CN113924506A (zh) 2019-06-10 2022-01-11 欧普赛斯技术有限公司 眼睛安全的长范围固态lidar系统
US20200408908A1 (en) * 2019-06-25 2020-12-31 OPSYS Tech Ltd. Adaptive Multiple-Pulse LIDAR System
CN110606085B (zh) * 2019-08-29 2020-08-28 江苏大学 智能驾驶辅助系统下预防车辆在交叉口误闯交通灯的方法
CN114728657A (zh) * 2019-11-15 2022-07-08 日产自动车株式会社 车辆控制方法及车辆控制装置
FR3103219B1 (fr) * 2019-11-19 2021-10-08 Vitesco Technologies Procédé de gestion des anomalies sporadiques d’un système de motorisation d’un véhicule automobile
CN111002980B (zh) * 2019-12-10 2021-04-30 苏州智加科技有限公司 基于深度学习的道路障碍物轨迹预测方法和系统
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11938939B1 (en) * 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
IT202000017158A1 (it) 2020-07-15 2022-01-15 Ecologia E Servizi Italia S R L Sistema di rilevamento dati stradali e ambientali per automezzi di servizio pubblico di igiene urbana
CN112061133A (zh) * 2020-09-15 2020-12-11 苏州交驰人工智能研究院有限公司 交通信号状态推测方法、车辆控制方法、车辆及存储介质
DE102021103732A1 (de) 2021-02-17 2022-08-18 Cariad Se Fahrerassistenzsystem, Kraftfahrzeug und Verfahren zur automatischen Längsführung eines Kraftfahrzeugs
US11932260B2 (en) 2021-03-30 2024-03-19 Motional Ad Llc Selecting testing scenarios for evaluating the performance of autonomous vehicles
CN112799412A (zh) * 2021-04-12 2021-05-14 北京三快在线科技有限公司 一种无人驾驶设备的控制方法及控制装置
KR102331807B1 (ko) 2021-04-16 2021-12-02 국방과학연구소 차량의 주행을 위한 전자 장치 및 그의 동작 방법
CN112859884B (zh) * 2021-04-25 2021-07-30 北京三快在线科技有限公司 一种控制无人驾驶设备的方法及装置
KR20230031730A (ko) * 2021-08-27 2023-03-07 현대자동차주식회사 신호등 판단 장치, 그를 포함한 시스템 및 그 방법
CN116767224B (zh) * 2023-07-03 2024-01-23 小米汽车科技有限公司 确定可行驶区域的方法、装置、车辆、及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177760B2 (en) * 2003-08-21 2007-02-13 Fuji Jukagyo Kabushiki Kaisha Driving control device for vehicle
US20080189040A1 (en) * 2007-02-01 2008-08-07 Hitachi, Ltd. Collision Avoidance System
US20090174573A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
EP2096612A1 (en) * 2006-11-20 2009-09-02 Toyota Jidosha Kabushiki Kaisha Travel control plan generation system and computer program
WO2009155228A1 (en) * 2008-06-20 2009-12-23 Gm Global Technology Operations, Inc. Path generation algorithm for automated lane centering and lane changing control system
CN102428505A (zh) * 2009-05-18 2012-04-25 丰田自动车株式会社 车辆环境估计装置
US8571743B1 (en) * 2012-04-09 2013-10-29 Google Inc. Control of vehicles based on auditory signals

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0312799A (ja) * 1989-06-12 1991-01-21 Akio Kato 車載用運転操作支援報知装置
JPH08263784A (ja) 1995-03-23 1996-10-11 Honda Motor Co Ltd 道路状況認識装置
JPH10129438A (ja) * 1996-11-06 1998-05-19 Toyota Motor Corp 自動制動制御装置
US7979172B2 (en) 1997-10-22 2011-07-12 Intelligent Technologies International, Inc. Autonomous vehicle travel control systems and methods
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JPH11306498A (ja) 1998-04-16 1999-11-05 Matsushita Electric Ind Co Ltd 車載カメラシステム
JP2001228740A (ja) 2000-02-16 2001-08-24 Konica Corp 画像形成装置の定着装置
JP3646605B2 (ja) 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
WO2001095141A1 (en) * 2000-06-09 2001-12-13 Automotive Systems Laboratory, Inc. Situation awareness processor
US7102496B1 (en) * 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
JP4019854B2 (ja) * 2002-08-12 2007-12-12 日産自動車株式会社 走行経路生成装置
JP3985748B2 (ja) 2003-07-08 2007-10-03 日産自動車株式会社 車載用障害物検出装置
JP2005202922A (ja) * 2003-12-18 2005-07-28 Nissan Motor Co Ltd 運転支援装置及び運転支援プログラム
JP2006316644A (ja) 2005-05-10 2006-11-24 Toyota Motor Corp エンジン制御装置
JP4692073B2 (ja) * 2005-05-19 2011-06-01 トヨタ自動車株式会社 運転支援装置
DE102005049458A1 (de) * 2005-10-15 2007-04-26 Daimlerchrysler Ag Verfahren und Vorrichtung zur Verbrauchsreduzierung in einem Fahrzeug
JP4771365B2 (ja) 2005-11-30 2011-09-14 アイシン・エィ・ダブリュ株式会社 経路案内システム、経路案内方法及びプログラム
JP4400584B2 (ja) * 2006-03-01 2010-01-20 トヨタ自動車株式会社 障害物検出方法及び障害物検出装置
DE102006017177A1 (de) * 2006-04-12 2007-10-18 Robert Bosch Gmbh Fahrerassistenzsystem mit Anfahrhinweisfunktion
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
DE102006057277A1 (de) * 2006-12-05 2008-06-12 Robert Bosch Gmbh Verfahren zum Betrieb eines Radarsystems bei möglicher Zielobjektverdeckung sowie Radarsystem zur Durchführung des Verfahrens
JP5082433B2 (ja) * 2006-12-26 2012-11-28 トヨタ自動車株式会社 移動体周囲危険度判定方法、装置、およびプログラム
US9302678B2 (en) 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
FR2916893A1 (fr) * 2007-05-30 2008-12-05 Eurolum Soc Par Actions Simpli Procede et dispositif d'assistance a la conduite pour un vehicule destine a parcourir un trajet defini entre un premier point et un deuxieme point
US9043138B2 (en) * 2007-09-07 2015-05-26 Green Driver, Inc. System and method for automated updating of map information
FR2923016B1 (fr) 2007-10-31 2009-11-20 Valeo Vision Procede de detection d'un phenomene perturbateur de visibilite pour un vehicule.
DE102007058192A1 (de) * 2007-12-04 2009-06-10 Continental Teves Ag & Co. Ohg Zentrales Steuergerät für mehrere in einem Kraftfahrzeug vorgesehene Assistenzsysteme und Kraftfahrzeug (Wegen nicht zuerkannter Prio)
JP5419390B2 (ja) 2008-06-13 2014-02-19 富士通テン株式会社 ドライブレコーダ及びシステム
CN102089178B (zh) * 2008-07-08 2013-04-17 西门子公司 用于给车辆充能量的适配器装置和方法
KR101338058B1 (ko) * 2008-09-23 2013-12-06 현대자동차주식회사 차량의 전방 영상을 이용하는 도로상 요철 검출 시스템
EP2620928B1 (en) * 2008-10-08 2017-01-11 Toyota Jidosha Kabushiki Kaisha Drive assist device and method
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
JP5262986B2 (ja) * 2009-03-05 2013-08-14 日産自動車株式会社 走行経路生成装置、走行経路生成方法、及び運転操作支援装置
JP5278378B2 (ja) * 2009-07-30 2013-09-04 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
US8482431B2 (en) 2009-10-23 2013-07-09 Fuji Jukogyo Kabushiki Kaisha Driving support apparatus
JP5407764B2 (ja) 2009-10-30 2014-02-05 トヨタ自動車株式会社 運転支援装置
US8559673B2 (en) 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
DE102010002300B4 (de) * 2010-02-24 2022-09-01 Robert Bosch Gmbh Verfahren zum Ermitteln eines Fahrverhaltens
JP2011192177A (ja) 2010-03-16 2011-09-29 Toyota Motor Corp 前方状況予測装置
KR101735050B1 (ko) 2010-09-10 2017-05-12 현대모비스 주식회사 차량의 지능형 순항 제어 시스템 및 그 제어방법
DE102010049214A1 (de) * 2010-10-21 2011-07-28 Daimler AG, 70327 Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102011004425A1 (de) * 2011-02-18 2012-08-23 Bayerische Motoren Werke Aktiengesellschaft Schätzen des Status einer Ampelanlage
US8675909B2 (en) * 2011-07-22 2014-03-18 American Megatrends, Inc. Traffic signal connected digital electronic display and method of controlling the same
CN103857550B (zh) * 2011-08-03 2017-02-15 大陆-特韦斯贸易合伙股份公司及两合公司 用于适应式控制距离和速度并且用于机动车停车的方法和系统以及借此运行的机动车
US8793046B2 (en) 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177760B2 (en) * 2003-08-21 2007-02-13 Fuji Jukagyo Kabushiki Kaisha Driving control device for vehicle
EP2096612A1 (en) * 2006-11-20 2009-09-02 Toyota Jidosha Kabushiki Kaisha Travel control plan generation system and computer program
US20080189040A1 (en) * 2007-02-01 2008-08-07 Hitachi, Ltd. Collision Avoidance System
US20090174573A1 (en) * 2008-01-04 2009-07-09 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
WO2009155228A1 (en) * 2008-06-20 2009-12-23 Gm Global Technology Operations, Inc. Path generation algorithm for automated lane centering and lane changing control system
CN102428505A (zh) * 2009-05-18 2012-04-25 丰田自动车株式会社 车辆环境估计装置
US8571743B1 (en) * 2012-04-09 2013-10-29 Google Inc. Control of vehicles based on auditory signals

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256642A (zh) * 2015-06-03 2016-12-28 福特全球技术公司 基于摄像机获取的图像信息控制车辆部件的系统和方法
CN107851373A (zh) * 2015-07-21 2018-03-27 日产自动车株式会社 场景评估装置、行驶辅助装置、场景评估方法
CN107924613A (zh) * 2015-08-26 2018-04-17 福特全球技术公司 使用同步和平衡v2v通信的设备
CN107924613B (zh) * 2015-08-26 2021-03-16 福特全球技术公司 使用同步和平衡v2v通信的设备
CN113655471A (zh) * 2015-10-06 2021-11-16 谷歌有限责任公司 用于支持雷达的传感器融合的方法、装置和片上系统
CN113655471B (zh) * 2015-10-06 2024-03-29 谷歌有限责任公司 用于支持雷达的传感器融合的方法、装置和片上系统
CN107310550A (zh) * 2016-04-27 2017-11-03 腾讯科技(深圳)有限公司 道路交通工具行驶控制方法和装置
CN107391098A (zh) * 2016-05-17 2017-11-24 谷歌公司 管理车辆中的消息
CN107463170A (zh) * 2016-06-06 2017-12-12 通用汽车环球科技运作有限责任公司 用于自主车辆导航的交通控制设备与通车车道基于传感器的关联性
CN107657821A (zh) * 2016-07-26 2018-02-02 奥迪股份公司 用于车辆的电子控制装置和方法
CN106681328A (zh) * 2017-01-13 2017-05-17 深圳市元征科技股份有限公司 基于智能穿戴设备的自动驾驶方法及智能穿戴设备
CN110325928A (zh) * 2017-02-10 2019-10-11 日产北美公司 自主车辆运行管理
CN108694843A (zh) * 2017-04-12 2018-10-23 通用汽车环球科技运作有限责任公司 用于交通控制设备检测优化的方法和装置
CN110831832A (zh) * 2017-06-30 2020-02-21 德尔福技术有限公司 自动车辆的移动交通灯检测系统
CN110691985A (zh) * 2017-06-30 2020-01-14 维宁尔瑞典公司 用于增强的对象追踪的系统
CN110691985B (zh) * 2017-06-30 2023-04-21 维宁尔瑞典公司 用于增强的对象追踪的系统
CN109835349A (zh) * 2017-11-28 2019-06-04 丰田自动车株式会社 故障车辆推断系统及其推断方法、以及非临时性存储介质
CN108407797A (zh) * 2018-01-19 2018-08-17 洛阳中科龙网创新科技有限公司 一种基于深度学习的实现农机自动换挡的方法
CN110371018A (zh) * 2018-04-13 2019-10-25 通用汽车环球科技运作有限责任公司 使用其他车辆车灯的信息改善车辆行为
CN110371018B (zh) * 2018-04-13 2022-11-08 通用汽车环球科技运作有限责任公司 使用其他车辆车灯的信息改善车辆行为
CN112313134A (zh) * 2018-07-03 2021-02-02 黑拉有限责任两合公司 用于检测和处理被车辆驶过的车道的车道情况的方法
CN111599166B (zh) * 2019-02-20 2022-06-17 通用汽车环球科技运作有限责任公司 用于解释交通信号和协商信号化的交叉路口的方法和系统
CN111599166A (zh) * 2019-02-20 2020-08-28 通用汽车环球科技运作有限责任公司 用于解释交通信号和协商信号化的交叉路口的方法和系统
CN112033425B (zh) * 2019-06-04 2023-06-13 长沙智能驾驶研究院有限公司 车辆辅助驾驶方法、装置、计算机设备和存储介质
CN112033425A (zh) * 2019-06-04 2020-12-04 长沙智能驾驶研究院有限公司 车辆辅助驾驶方法、装置、计算机设备和存储介质
CN113525409A (zh) * 2020-03-31 2021-10-22 本田技研工业株式会社 移动体控制装置、移动体控制方法及存储介质
CN114120691A (zh) * 2020-08-27 2022-03-01 伟摩有限责任公司 使用远程辅助逐渐调整车辆传感器视角的方法和系统
CN112071064A (zh) * 2020-09-17 2020-12-11 苏州交驰人工智能研究院有限公司 基于相反规则车道进行交通信号状态推测的方法及装置
CN112918488A (zh) * 2021-03-11 2021-06-08 知行汽车科技(苏州)有限公司 车辆控制方法、装置及存储介质

Also Published As

Publication number Publication date
US9327734B2 (en) 2016-05-03
ES2848868T3 (es) 2021-08-12
JP2015524762A (ja) 2015-08-27
CN107628027A (zh) 2018-01-26
US20160209844A1 (en) 2016-07-21
US9804601B2 (en) 2017-10-31
US20130325241A1 (en) 2013-12-05
KR101705961B1 (ko) 2017-02-10
US20240075961A1 (en) 2024-03-07
EP3792126A1 (en) 2021-03-17
EP2855225A4 (en) 2016-06-29
JP6018705B2 (ja) 2016-11-02
US20230004159A1 (en) 2023-01-05
US10331133B2 (en) 2019-06-25
WO2013180787A1 (en) 2013-12-05
US20180032076A1 (en) 2018-02-01
CN107628027B (zh) 2021-07-30
US20210018920A1 (en) 2021-01-21
US11845472B2 (en) 2023-12-19
US11474520B2 (en) 2022-10-18
EP2855225B1 (en) 2021-01-20
US20190271983A1 (en) 2019-09-05
EP2855225A1 (en) 2015-04-08
KR20150016381A (ko) 2015-02-11
US20140303829A1 (en) 2014-10-09
CN104470781B (zh) 2017-10-24
US8793046B2 (en) 2014-07-29
US10831196B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
US11474520B2 (en) Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US11815903B2 (en) Assisted perception for autonomous vehicles
US11016482B2 (en) Remote assistance for autonomous vehicles in predetermined situations
CN104271420A (zh) 基于其他车辆的预测行为修改自主车辆的行为

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20171110

Address after: California, USA

Patentee after: Weimo Co.,Ltd.

Address before: California, USA

Patentee before: Giant Holdings

Effective date of registration: 20171110

Address after: California, USA

Patentee after: Giant Holdings

Address before: California, USA

Patentee before: Google Inc.

TR01 Transfer of patent right