CN109155107B - 用于自动化车辆场景感知的感知系统 - Google Patents

用于自动化车辆场景感知的感知系统 Download PDF

Info

Publication number
CN109155107B
CN109155107B CN201780030997.7A CN201780030997A CN109155107B CN 109155107 B CN109155107 B CN 109155107B CN 201780030997 A CN201780030997 A CN 201780030997A CN 109155107 B CN109155107 B CN 109155107B
Authority
CN
China
Prior art keywords
autonomous vehicle
traffic scene
object recognition
current traffic
recognition algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780030997.7A
Other languages
English (en)
Other versions
CN109155107A (zh
Inventor
许闻达
J·M·施奈德
韦峻青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN109155107A publication Critical patent/CN109155107A/zh
Application granted granted Critical
Publication of CN109155107B publication Critical patent/CN109155107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种适于在自动化车辆上使用的场景感知的感知系统(10)包括交通场景检测器(14)、物体检测设备(24)和控制器(32)。场景检测器(14)用于检测主车辆(12)所经历的当前场景(16)。物体检测设备(24)用于检测主车辆(12)附近的物体(26)。控制器(32)与交通场景检测器(14)以及物体检测设备(24)通信。控制器(32)被配置成确定用于识别物体(26)的优选算法(36)。优选算法(36)是基于当前场景(16)确定的。

Description

用于自动化车辆场景感知的感知系统
技术领域
本公开总体上涉及场景感知的感知系统，并且更具体地涉及基于当前场景确定或选择用于识别物体的优选算法的系统。
背景技术
已知使自动化车辆配备各种传感器以检测各种物体来控制主车辆的转向和致动，各种传感器诸如，相机、雷达单元和/或激光雷达单元，各种物体诸如，其他车辆和道路特征。然而，其他车辆可能以未知的定向来将其自身呈现给传感器，这使得对来自传感器的信号的信号处理更加困难。
发明内容
如果已知或预期了另一车辆的定向或视图(例如，后视图与侧视图与前视图)，则可以克服上述问题。如果已知其他车辆的预期视角，则将简化可靠地将物体作识别为其他车辆所必需的信号处理。本文描述的是用于操作自动化车辆(例如，主车辆)的情境或场景感知的感知系统，该系统使用来自交通场景检测器的信息以将主车辆的当前交通状况或当前场景识别为或分类为各种先前识别的可能的场景之一，该交通场景检测器可包括一个或多个传感器(例如，相机，雷达和/或激光雷达)和/或数字地图。例如，系统可以通过从预定列表或与主车辆经历的当前场景最匹配的多个可能的场景中进行选择来对当前场景进行分类。
然后，系统选择用于处理来自物体检测设备的信号的优选算法，该物体检测设备可以使用与交通场景检测器相同的一些传感器，其中选定的优选算法先前已对于当前交通状况或当前场景被优化。换句话说，系统从先前定义的优化算法列表中选择优选算法，并且选定的优选算法是对于当前场景进行了优化的算法。
可以使用一个或多个传感器和/或地图数据来确定当前场景。通过示例而非限制的方式，当前场景可以基于来自第一传感器(诸如，雷达单元)的第一信号来确定，但是优选算法被应用于来自的第二传感器(诸如，相机)的第二信号。作为进一步的示例，选定的优选算法可能已经对以下各项进行了优化：可以使用传感器检测到的可能的目标(例如，其他车辆)的预期运动、或者使用传感器或其他传感器已经检测到的被检测的目标的预期运动，或者当前正在使用传感器跟踪的被检测的目标的预期运动。
预期运动可以基于由道路几何形状和/或即将到来的车辆操纵引起的传感器的预期运动来确定。可以使用传感器和/或其他传感器和/或地图数据来确定道路几何形状。即将到来的车辆操纵的示例包括：改变车道、绕过迎面而来的车辆转向，以及在弯道上跟随另一辆车。如果正将雷达单元用作传感器，则系统可以基于地图数据选择正对主车辆附近的道路系统的特征进行优化的雷达信号处理模式。
作为进一步的示例，系统可以选择信号处理算法来处理来自物体检测设备的信号，其中该算法对其他车辆的预期行驶方向进行优化，该预期行驶方向是基于来自由位置指示器确定的地图位置处的数字地图的地图数据而确定的。系统可以基于其他车辆的预期视角(例如，其他车辆的侧视图与后视图)来选择用于图像处理的算法，以基于地图数据(其他主车辆可能行驶的方向)对其他车辆目标进行分类。系统可以使用激光雷达来检测物体的侧面何时被暴露，因此相机图像处理可以忽略图像信息的部分，并且可更可靠地确定物体是另一主车辆。选择优化算法的益处是改善了安全性，因为花费更少的时间来寻找不太可能的图像匹配。
作为进一步的示例，第一种场景是当另一车辆在与主车辆的车道相邻的车道中行驶，且该另一车辆改变车道并且移动到主车辆前方的位置，即该另一车辆切入。由于选择了优化算法来跟踪其他车辆，因此系统能够更快且更可靠地识别和跟踪切入的其他车辆。通过使用地图信息选择优选算法，因此相邻车道的相对位置是已知的。系统然后跟踪在相邻车道上的引领主车辆的其他车辆中的最近车辆，并且计算它们的横向速度。响应于检测到其他车辆正在切入，主车辆相对于切入的其他车辆开始执行距离保持。
第二种场景是当主车辆正在道路的行驶车道中行驶而在匝道上的其他车辆正并入该行驶车道时。选择优选算法来识别和跟踪并入的其他车辆。地图数据用于确定匝道的存在。然后系统跟踪匝道上的、距并入点最近的其他车辆。基于该其他车辆的速度和加速度，系统计算主车辆和并入的其他车辆的到达并入点的到达时间。主车辆可以根据并入点的相对位置和/或到达时间来选择减速或加速。
根据一个实施例，提供了适于在自动化车辆上使用的场景感知的感知系统。系统包括交通场景检测器，物体检测设备和控制器。交通场景检测器用于检测主车辆所经历的当前场景。物体检测设备用于检测主车辆附近的物体。控制器与交通场景检测器和物体检测设备通信。控制器被配置成确定用于识别物体的优选算法。优选算法是基于当前场景确定的。
阅读以下对优选实施例的详细描述，进一步的特征和优点将更清楚地呈现，优选实施例通过参考附图仅作为非限制性示例给出。
附图说明
现在将参照附图通过示例的方式描述本发明，其中：
图1是根据一个实施例的场景感知的感知系统的示图；
图2是根据一个实施例的图1的系统所遇到的交通场景；以及
图3是根据一个实施例的图1系统所遇到的交通场景。
具体实施方式
图1示出了通常适于在自动化车辆12(下文称为主车辆12)上使用的场景感知的感知系统10(下文称为系统10)的非限制性示例。系统10包括交通场景检测器14，用于确定或检测当前场景16，即，当前正由主车辆12经历的交通场景。如本文中所使用，当前场景16可以由主车辆12附近的道路18的配置来表征。通过示例而非限制的方式，当前场景16可以被表征为多车道高速公路(图2)、具有入口匝道的双车道道路(图3)、具有以一定角度(不限于直角)定向的交叉的双车道道路的四向停车的交叉路口、两侧有通往个人住宅的车道的住宅区道路，以及具有以各种角度连接到环岛(round-about)的多条道路的环岛型交叉路口。
交通场景检测器14可以是或可以包括但不限于相机、雷达单元、激光雷达单元或对于表征或确定主车辆12的当前场景16可能有用的任何组合，其中基于来自交通场景检测器14的信号来确定当前场景16。另外，或作为替代，交通场景检测器14可以包括位置指示器20，该位置指示器20例如确定主车辆12的全局坐标，因此系统10可以通过查阅数字地图22来确定当前场景16，该数字地图22例如指示道路18的车道数量、入口或出口匝道的存在、交叉路口控件(例如，交通信号或停车标志)等。即，交通场景检测器14可以包括位置指示器20，并且可以基于如有位置指示器20所指示的数字地图22上的主车辆12的地图位置40来确定当前场景16。
系统10还包括用于检测主车辆12附近的物体26的物体检测设备24。物体检测设备24可以是或可以包括但不限于对于识别物体26或对物体26进行分类可能有用的相机、雷达单元，激光雷达单元或其任何组合。物体26可以是但不限于，道路18、限定道路18的边界的特征、其他车辆28、固定物体30(诸如，交通障碍物、建筑物、标志、树)或可以是固定物体30的物体26的任何其他实例。
系统10还包括与交通场景检测器14和物体检测设备24通信的控制器32。控制器32可包括处理器34或其他控制电路，该处理器34诸如微控制器，该其他控制电路诸如用于处理数据的包括专用集成电路(ASIC)的模拟和/或数字控制电路，如对于本领域内技术人员应当显而易见的那些元件。控制器32可包括存储器42，该存储器包括非易失性存储器，诸如，用于存储一个或多个例程、阈值以及捕获的数据的电可擦除可编程只读存储器(EEPROM)。可能的场景44和/或优化算法46的一个或多个实例可以由处理器使用以执行确定用于识别或确定物体26的物体识别38的优选算法36的步骤，其中优选算法36基于当前场景16来确定，如下文中将更详细地所描述。因此，控制器32可以被配置成从存储在存储器42中的多个可能的场景44中选择当前场景16。
图2示出了当前场景16的非限制性示例，该当前场景16可以被表征为多车道高速公路，其中其他车辆正在与主车辆12的行驶车道52相邻或接近的相邻车道50中行驶。控制器32可能正在使用物体检测设备24跟踪其他车辆28。来自交通场景检测器14的信息指示当前场景16是多车道高速公路，该信息诸如来自数字地图22的数据和/或来自相机的图像。从优化算法46中选择的优选算法36被优化以沿着与主车辆12的行驶方向56平行从主车辆12的行驶方向56偏移的期望方向54跟踪其他车辆28。因此，控制器32被配置成基于由当前场景指示的物体26相对于主车辆12的运动的期望方向54来进一步确定或选择优选算法36。
优选算法36可被选择用于处理来自相机或雷达单元的信号，因为其他车辆28的视角正偏离主车辆12。即，其他车辆的图像或来自其他车辆的雷达反射将可能包括对应于该其他车辆的尾端和左侧的数据点。作为进一步的示例，处理器34可以尝试将来自相机的当前图像与多个先前存储的图像中的一个匹配，或者将雷达反射与预定的反射图案匹配。
优选算法36也可以被选择或优化以检测其他车辆28的横向运动，如果其他车辆28执行车道变换58，即，移动到主车辆12的前方位置或“切入”到行驶车道52，则将发生这种横向运动。因为选择优化算法来监测横向运动，所以系统能够更快且更可靠地识别和跟踪其他车辆28的切入。由于相邻车道50的相对位置是已知的，因此也可以通过使用数字地图22来选择优选算法。系统然后跟踪在邻近车道上的引领主车辆12的最近的其他车辆，并且计算它们的横向速度。响应于检测到其他车辆28正在切入，主车辆12可以在该切入事件之后相对于该其他车辆开始执行距离保持。
图3示出了可被表征为具有将会将其他车辆并入到行驶车道52中的入口匝道62的双车道道路60的当前场景16的非限制性示例。可以基于来自位置指示器20的信息从数字地图22确定入口匝道62的存在。优选算法36可从优化算法46中选择，作为被优化以跟踪行驶在主车辆12旁边但不一定与主车辆12平行的车辆的一种算法，以及作为可以容易地确定其他车辆28相对于主车辆12的相对速度的一种算法。基于相对于主车辆12的其他车辆28的相对速度和加速度，系统10计算到达主车辆12和其他车辆28的并入点64的到达时间，并且确定是否可能发生冲突。主车辆12可以根据并入点64的位置和/或相对到达时间来选择减速或加速。
因此，提供了场景感知的感知系统(系统10)，用于系统10的控制器32，以及操作该系统10的方法。用于处理来自物体检测设备24的信号的优选算法是基于正由主车辆12经历的当前场景16来选择的。通过选择已经对当前场景进行优化的算法，改善了跟踪物体26(例如其他车辆28)的可靠性。
尽管已经根据本发明的优选实施例对本发明进行了描述，然而本发明并不旨在受限于此，而是仅受所附权利要求书中所阐述的范围限制。
以下涉及本申请进一步的实施例。
示例1是一种适于在自动化车辆上使用的场景感知的感知系统(10)，所述系统(10)包括：
交通场景检测器(14)，所述交通场景检测器(14)用于检测主车辆(12)所经历的当前场景(16)；
物体检测设备(24)，所述物体检测设备(24)用于检测所述主车辆(12)附近的物体(26)；以及
控制器(32)，所述控制器(32)与所述交通场景检测器(14)以及所述物体检测设备(24)通信，所述控制器(32)被配置成确定用于识别所述物体(26)的优选算法(36)，其中所述优选算法(36)是基于所述当前场景(16)确定的。
示例2：根据示例1所述的系统(10)，其特征在于，所述交通场景检测器(14)包括位置指示器(20)，并且所述当前场景(16)基于由所述位置指示器(20)指示的数字地图(22)上的主车辆(12)的地图位置(40)来确定。
示例3：根据示例1所述的系统(10)，其特征在于，所述交通场景检测器(14)包括相机，激光雷达单元和雷达传感器中的一个或多个，并且所述当前场景(16)基于来自所述交通场景检测器(14)的信号来确定。
示例4：根据示例1所述的系统(10)，其特征在于，所述系统(10)包括存储器(42)，并且所述控制器(32)被配置成从存储在所述存储器(42)中的多个可能的场景(44)中选择所述当前场景(16)。
示例5：根据示例1所述的系统(10)，其特征在于，所述物体检测设备(24)包括相机、激光雷达单元和雷达传感器中的一个或多个，并且所述物体(26)基于来自所述物体检测设备(24)的信号被检测。
示例6：根据示例1所述的系统(10)，其特征在于，所述控制器(32)被配置成基于由所述当前场景(16)指示的所述物体(26)相对于所述主车辆(12)的运动的期望方向(54)来进一步确定所述优选算法(36)。
示例7：根据示例1所述的系统(10)，其特征在于，所述系统(10)包括存储器(42)，并且用于处理来自所述物体检测设备(24)的信号的所述优选算法(36)从存储在所述存储器(42)中的多个优化算法(46)中选出。

Claims (14)

1.一种用于控制自主车辆的方法，包括：
从所述自主车辆的多个可能的交通场景中确定当前交通场景，其中每个可能的交通场景由道路的配置表征；
从存储器中存储的多个进行了优化的物体识别算法中选择针对所述当前交通场景进行了优化的相应的物体识别算法，其中，选定的物体识别算法识别在所述当前交通场景中在预期行驶方向上移动的目标物体；
使用所述选定的物体识别算法来识别所述自主车辆附近的一个或多个目标物体；以及
根据所述预期行驶方向来识别所述一个或多个目标物体的运动。
2.如权利要求1所述的方法，其特征在于，使用所述选定的物体识别算法识别所述自主车辆附近的一个或多个目标物体包括：
接收所述一个或多个目标物体的雷达反射图案；
将所述一个或多个目标物体的雷达反射图案与同所述选定的物体识别算法相关联的多个存储的反射图案进行比较；以及
基于所述比较来识别所述一个或多个目标物体。
3.如权利要求1所述的方法，其特征在于，确定所述自主车辆的所述当前交通场景包括：
接收限定所述自主车辆的位置的坐标；
使用地图数据基于所述自主车辆的所述位置来确定所述当前交通场景。
4.如权利要求1所述的方法，其特征在于，确定所述自主车辆的所述当前交通场景包括：
使用传感器数据来确定所述当前交通场景。
5.如权利要求1所述的方法，其特征在于，所述当前交通场景是四向停车的交叉路口、住宅区道路或环岛。
6.如权利要求1所述的方法，其特征在于，所述交通场景是多车道高速公路，并且其中所述选定的物体识别算法跟踪与所述自主车辆的行驶方向平行且从所述自主车辆的行驶方向偏移的目标车辆。
7.如权利要求1所述的方法，其特征在于，所述交通场景是具有入口匝道的双车道道路，并且其中所述选定的物体识别算法跟踪在所述自主车辆旁边但与所述自主车辆的行驶方向不平行的目标车辆。
8.一种自主车辆，包括：
交通场景检测器，所述交通场景检测器被配置成从所述自主车辆的多个可能的交通场景中确定当前交通场景，其中每个可能的交通场景由道路的配置表征；
控制器，所述控制器被配置成从存储器中存储的多个进行了优化的物体识别算法中选择针对所述当前交通场景进行了优化的相应的物体识别算法，其中，选定的物体识别算法识别在所述当前交通场景中在预期行驶方向上移动的目标物体；以及
物体检测装置，所述物体检测装置被配置成检测所述自主车辆附近的一个或多个目标物体，
其中，所述控制器包括处理器，所述处理器被配置为使用所述选定的物体识别算法来识别所述自主车辆附近的所述一个或多个目标物体，以及根据所述预期行驶方向来识别所述一个或多个目标物体的运动。
9.如权利要求8所述的自主车辆，其特征在于，使用所述选定的物体识别算法识别所述自主车辆附近的一个或多个目标物体包括：
接收所述一个或多个目标物体的雷达反射图案；
将所述一个或多个目标物体的雷达反射图案与同所述选定的物体识别算法相关联的多个所存储的反射图案进行比较；以及
基于所述比较来识别所述一个或多个目标物体。
10.如权利要求8所述的自主车辆，其特征在于，由所述交通场景检测器确定所述自主车辆的所述当前交通场景包括：
接收限定所述自主车辆的位置的坐标；
使用地图数据基于所述自主车辆的所述位置来确定所述当前交通场景。
11.如权利要求8所述的自主车辆，其特征在于，由所述交通场景检测器确定所述自主车辆的所述当前交通场景包括：
使用传感器数据来确定所述当前交通场景。
12.如权利要求8所述的自主车辆，其特征在于，所述当前交通场景是四向停车的交叉路口、住宅区道路或环岛。
13.如权利要求8所述的自主车辆，其特征在于，所述交通场景是多车道高速公路，并且其中所述选定的物体识别算法用于跟踪与所述自主车辆的行驶方向平行且从所述自主车辆的行驶方向偏移的目标车辆。
14.如权利要求8所述的自主车辆，其特征在于，所述交通场景是具有入口匝道的双车道道路，并且其中所述选定的物体识别算法用于跟踪在所述自主车辆旁边但与所述自主车辆的行驶方向不平行的目标车辆。
CN201780030997.7A 2016-03-22 2017-02-02 用于自动化车辆场景感知的感知系统 Active CN109155107B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/076,951 US9898008B2 (en) 2016-03-22 2016-03-22 Scenario aware perception system for an automated vehicle
US15/076,951 2016-03-22
PCT/US2017/016154 WO2017164991A1 (en) 2016-03-22 2017-02-02 Scenario aware perception system for an automated vehicle

Publications (2)

Publication Number Publication Date
CN109155107A CN109155107A (zh) 2019-01-04
CN109155107B true CN109155107B (zh) 2022-06-17

Family

ID=59897896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030997.7A Active CN109155107B (zh) 2016-03-22 2017-02-02 用于自动化车辆场景感知的感知系统

Country Status (5)

Country Link
US (3) US9898008B2 (zh)
EP (1) EP3433845A4 (zh)
KR (1) KR102131760B1 (zh)
CN (1) CN109155107B (zh)
WO (1) WO2017164991A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898008B2 (en) 2016-03-22 2018-02-20 Delphi Technologies, Inc. Scenario aware perception system for an automated vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
DE102017203838B4 (de) * 2017-03-08 2022-03-17 Audi Ag Verfahren und System zur Umfelderfassung
KR102310378B1 (ko) * 2017-04-18 2021-10-12 현대자동차주식회사 차량 주행제어 장치 및 방법
US10657811B2 (en) * 2017-10-04 2020-05-19 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
US10668922B2 (en) * 2017-10-04 2020-06-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel lane identification without road curvature data
KR102665894B1 (ko) 2017-10-13 2024-05-16 로베르트 보쉬 게엠베하 교통 참가자의 방향을 추정하기 위한 시스템 및 방법
US10755579B2 (en) * 2017-11-03 2020-08-25 Cisco Technology, Inc. Autonomous vehicle control
WO2020052344A1 (zh) * 2018-09-12 2020-03-19 华为技术有限公司 一种智能驾驶方法及智能驾驶系统
CN110893858B (zh) * 2018-09-12 2021-11-09 华为技术有限公司 一种智能驾驶方法及智能驾驶系统
US11740628B2 (en) * 2020-03-18 2023-08-29 Baidu Usa Llc Scenario based control of autonomous driving vehicle
CN111599217B (zh) * 2020-06-04 2023-06-13 纵目科技（上海）股份有限公司 一种自主泊车系统架构、架构实现方法、终端和存储介质
US11938941B2 (en) 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
FR3115913B1 (fr) 2020-11-04 2023-05-05 Transdev Group Innovation Procédé et système de génération automatique et d’utilisation de scénarios de trafic routier
WO2022147785A1 (zh) * 2021-01-08 2022-07-14 华为技术有限公司 车辆驾驶场景识别方法及装置
KR102568969B1 (ko) * 2021-03-31 2023-08-23 주식회사 한국디지털트윈연구소 디지털트윈 기술을 이용한 자율주행시험용 주행환경 시나리오 발생장치
CN113487874B (zh) * 2021-05-27 2022-07-01 中汽研（天津）汽车工程研究院有限公司 一种跟驰行为场景数据采集、识别、分类提取系统及方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3439592B2 (ja) * 1996-02-07 2003-08-25 沖電気工業株式会社 識別方法及び識別装置
DE102005002719A1 (de) * 2005-01-20 2006-08-03 Robert Bosch Gmbh Verfahren zur Kursprädiktion in Fahrerassistenzsystemen für Kraftfahrzeuge
JP2007145095A (ja) * 2005-11-24 2007-06-14 Pioneer Electronic Corp 走行制御装置、走行制御方法、走行制御プログラムおよび記録媒体
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8364334B2 (en) * 2008-10-30 2013-01-29 Honeywell International Inc. System and method for navigating an autonomous vehicle using laser detection and ranging
EP2214121B1 (en) * 2009-01-30 2012-05-02 Autoliv Development AB Safety system for a motor vehicle
US8145376B2 (en) * 2009-02-16 2012-03-27 Toyota Motor Engineering & Manufacturing North America, Inc. System for producing an adaptive driving strategy based on emission optimization
WO2010140239A1 (ja) * 2009-06-04 2010-12-09 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視方法
CN101872546B (zh) * 2010-05-06 2013-03-13 复旦大学 一种基于视频的过境车辆快速检测方法
GB201010180D0 (en) * 2010-06-17 2010-07-21 Skymeter Corp Tracking method
CN102044152B (zh) * 2010-11-19 2013-10-30 杭州海康威视系统技术有限公司 一种昼夜视频检测方法及装置
DE102010052128A1 (de) * 2010-11-22 2012-05-24 GM Global Technology Operations LLC Verfahren zum Betreiben eines Kraftfahrzeugs und Kraftfahrzeug
JP6176028B2 (ja) * 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
JP5877208B2 (ja) * 2011-12-27 2016-03-02 本田技研工業株式会社 運転支援システム
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9195914B2 (en) * 2012-09-05 2015-11-24 Google Inc. Construction zone sign detection
EP2709066A1 (en) * 2012-09-17 2014-03-19 Lakeside Labs GmbH Concept for detecting a motion of a moving object
US9031776B2 (en) * 2012-11-29 2015-05-12 Nissan North America, Inc. Vehicle intersection monitoring system and method
CN103208008B (zh) * 2013-03-21 2015-11-18 北京工业大学 基于机器视觉的交通视频监控目标检测快速适应方法
CN103247186B (zh) * 2013-04-26 2015-04-29 广州通易科技有限公司 一种基于场景的辅助驾驶系统实现方法
CN103489317A (zh) * 2013-10-10 2014-01-01 扬州瑞控汽车电子有限公司 一种不同场景下的车辆检测方法
KR102038712B1 (ko) * 2013-10-14 2019-10-30 주식회사 포스코아이씨티 에너지 관리 시스템 및 에너지 관리 방법
US20150166069A1 (en) 2013-12-18 2015-06-18 Ford Global Technologies, Llc Autonomous driving style learning
JP5949803B2 (ja) * 2014-02-07 2016-07-13 トヨタ自動車株式会社 衝突検出装置
DE102014207666A1 (de) 2014-04-23 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Autonomes Fahren bei einer Gefahrensituation
JP6011577B2 (ja) * 2014-04-28 2016-10-19 トヨタ自動車株式会社 運転支援装置
JP6561431B2 (ja) * 2014-05-14 2019-08-21 株式会社デンソー 境界線認識装置および境界線認識プログラム
EP2955077B1 (en) 2014-06-10 2022-08-17 Volvo Car Corporation Overtake assessment system and autonomous vehicle with an overtake assessment arrangement
KR101590787B1 (ko) * 2014-09-23 2016-02-04 현대자동차주식회사 차량 및 그 제어방법
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
KR20160115448A (ko) * 2015-03-27 2016-10-06 주식회사 만도 차량의 운전 보조 시스템 및 운전 보조 방법
DE102015216979A1 (de) * 2015-08-07 2017-02-09 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs, Steuergerät und Fahrzeug
US9898008B2 (en) 2016-03-22 2018-02-20 Delphi Technologies, Inc. Scenario aware perception system for an automated vehicle

Also Published As

Publication number Publication date
US10895879B2 (en) 2021-01-19
US20170277188A1 (en) 2017-09-28
KR20180117207A (ko) 2018-10-26
US9898008B2 (en) 2018-02-20
US20190025835A1 (en) 2019-01-24
EP3433845A4 (en) 2019-03-27
US11604474B2 (en) 2023-03-14
KR102131760B1 (ko) 2020-07-09
EP3433845A1 (en) 2019-01-30
CN109155107A (zh) 2019-01-04
WO2017164991A1 (en) 2017-09-28
US20210116921A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN109155107B (zh) 用于自动化车辆场景感知的感知系统
US11993290B2 (en) Predicting and responding to cut in vehicles and altruistic responses
US11834040B2 (en) Recognition and prediction of lane constraints and construction areas in navigation
CN112498365B (zh) 基于置信度水平和距离、响应于障碍物的自动驾驶车辆的延迟决策
CN109891194B (zh) 用于导航车道合并和车道分离的系统和方法
CN107444400B (zh) 车辆避撞
JP6566132B2 (ja) 物体検出方法及び物体検出装置
CN108001457B (zh) 自动车辆传感器控制系统
US20170066445A1 (en) Vehicle control apparatus
WO2015116950A1 (en) Systems and methods for lane end recognition
CN104925055A (zh) 用于检测车辆周围区域中的移动物体的方法和装置
CN108734081B (zh) 车辆车道方向检测
US10325163B2 (en) Vehicle vision
CN108974007B (zh) 确定主动巡航控制的兴趣物体
CN108010385B (zh) 自动车辆十字交通检测系统
EP3211618A1 (en) Adjacent lane verification for an automated vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190314

Address after: Babado J San Michaele

Applicant after: Delphi Technologies, Inc.

Address before: michigan

Applicant before: DELPHI TECHNOLOGIES, Inc.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201126

Address after: Massachusetts, USA

Applicant after: Motional AD LLC

Address before: Babado J San Michaele

Applicant before: Delphi Technologies, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant