CN109891194B - 用于导航车道合并和车道分离的系统和方法 - Google Patents

用于导航车道合并和车道分离的系统和方法 Download PDF

Info

Publication number
CN109891194B
CN109891194B CN201780067421.8A CN201780067421A CN109891194B CN 109891194 B CN109891194 B CN 109891194B CN 201780067421 A CN201780067421 A CN 201780067421A CN 109891194 B CN109891194 B CN 109891194B
Authority
CN
China
Prior art keywords
lane
vehicle
lane marker
target vehicle
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780067421.8A
Other languages
English (en)
Other versions
CN109891194A (zh
Inventor
D.恩格尔伯格
G.斯坦
Y.泰埃布
Y.达尔雅胡
O.弗里德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN202410026459.2A priority Critical patent/CN118010048A/zh
Publication of CN109891194A publication Critical patent/CN109891194A/zh
Application granted granted Critical
Publication of CN109891194B publication Critical patent/CN109891194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80—Arrangements for reacting to or preventing system or operator failure
    • G05D1/81—Handing over between on-board automatic and on-board manual control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)

Abstract

提供了用于导航自主车辆的系统和方法。在一个实施方式中，系统包括处理设备，该处理设备被编程为接收表示主车辆的环境的多个图像。该环境包括主车辆正在行驶的道路。至少一个处理设备还被编程为分析该图像以识别行驶在该道路的、与该主车辆正在行驶的车道不同的车道中的目标车辆；分析该图像以识别与目标车辆正在行驶的车道相关联的车道标记；检测所识别出的车道标记的车道标记特性；使用检测到的车道标记特性来确定所识别出的车道标记的类型；确定目标车辆的特性；以及基于所确定的车道标记类型和所确定的目标车辆的特性来确定主车辆的导航动作。

Description

用于导航车道合并和车道分离的系统和方法
相关申请的交叉引用
本申请要求2016年10月31日提交的美国临时专利申请第62/415,135号的优先权权益。上述申请通过引用整体并入本文。
技术领域
本公开总体涉及自主车辆导航。此外，本公开涉及用于识别车道标记、确定车道标记类型以及导航车道合并(merge)和车道分离(split)的系统和方法。
背景技术
随着技术的不断进步，能够在车行道上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达期望的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕捉的信息)，从雷达或激光雷达的信息，并且也可能使用从其它源(例如，从GPS设备、速度传感器、加速计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆还可能需要标识其在特定车行道内(例如，在多车道道路内的特定车道)的地点、沿着其它车辆旁边导航、避开障碍和行人、观察交通信号和标志、在适当的交叉路口或交汇处从一条道路行进到另一条道路，并对车辆运行期间发生或进展的任何其他情况作出反应。此外，自主车辆可能还需要考虑道路特性，诸如不同类型的车道标记。
在导航时，自主车辆通常可以在包括各种类型的车道的道路上行驶。例如，自主车辆正在行驶的车道可以与相邻车道合并。在一些情况下，在自主车辆的范围内的另一车辆可以正在邻近车道中行驶，该邻近车道在自主车辆的前方结束并且可以在自主车辆的前方合并。作为另一示例，自主车辆正在行驶的车道可以分离以形成额外的相邻车道，诸如出口车道。在一些情况下，自主车辆前方的另一车辆可能改变车道或驶出道路并且不再位于自主车辆的前方。在这些情况中的每一种情况下，自主车辆可能需要在导航时考虑这些车道改变(lane change)以及邻近车辆鉴于该车道改变而可能做出的任何潜在的操控。并且，当发生这些车道改变时，自主车辆可能需要对其导航路径或速度进行调整以安全且准确地行驶。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括一个、两个、或更多监测车辆的环境的相机。所公开的系统可以基于，例如对由一个或多个相机捕捉的图像的分析来确定一个或多个车辆的导航动作。一个或多个导航动作还可以考虑其它数据，包括：例如，全球位置系统(global positioning system，GPS)数据、传感器数据(来自加速器、速度传感器、悬架传感器等)和/或其它地图数据。
在一个实施例中，公开了用于导航主车辆的系统。该系统可包括至少一个处理设备，所述处理设备被编程为从图像捕捉设备接收表示主车辆的环境的多个图像。该环境包括主车辆正在行驶的道路。该至少一个处理设备还被编程为分析多个图像中的至少一个，以识别行驶在该道路的、与主车辆正在行驶的车道不同的车道中的目标车辆；分析多个图像中的至少一个，以识别与目标车辆正在行驶的车道相关联的至少一个车道标记；检测至少一个识别出的车道标记的一个或多个车道标记特性；使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型；确定目标车辆的至少一个特性；以及基于所确定的车道标记类型和目标车辆的所确定的特性来确定主车辆的导航动作。
在另一实施例中，公开了一种用于导航主车辆的系统。该系统可以包括至少一个处理设备，该处理设备被编程为从图像捕捉设备接收表示主车辆的环境的多个图像。该环境包括主车辆正在行驶的道路。至少一个处理设备还被编程为分析多个图像中的至少一个，以识别行驶在该道路的、主车辆正在行驶的车道中的目标车辆；分析多个图像中的至少一个，以识别与该车道相关联的至少一个车道标记；检测至少一个识别出的车道标记的一个或多个特性；使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型；确定目标车辆的至少一个特性；以及基于所确定的车道标记类型和所确定的目标车辆的特性来确定主车辆的导航动作。
在另一实施例中，公开了一种用于导航主车辆的方法。该方法包括从图像捕捉设备接收表示主车辆的环境的多个图像，该环境包括主车辆正在行驶的道路；由至少一个处理设备分析多个图像中的至少一个，以识别行驶在该道路的、与主车辆正在行驶的车道不同的车道中的目标车辆；分析多个图像中的至少一个，以识别与目标车辆正在行驶的车道相关联的至少一个车道标记；检测至少一个识别出的车道标记的一个或多个车道标记特性；使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型；确定目标车辆的至少一个特性；基于所确定的车道标记类型和目标车辆的所确定的特性来确定主车辆的导航动作。
在又一实施例中，公开了一种用于导航主车辆的方法。该方法包括从图像捕捉设备接收表示主车辆的环境的多个图像，该环境包括主车辆正在行驶的道路；由至少一个处理设备分析多个图像中的至少一个，以识别行驶在该道路的、主车辆正在行驶的道路的车道中的目标车辆；分析多个图像中的至少一个，以识别与该车道相关联的至少一个车道标记；检测至少一个识别出的车道标记的一个或多个特性；使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型；确定目标车辆的至少一个特性；基于所确定的车道标记类型和目标车辆的所确定的特性来确定主车辆的导航动作。
与其它公开的实施例一致，非暂时性计算机可读存储介质可以存储由至少一个处理设备执行并且执行本文所描述的任何方法的程序指令。
前述的一般描述和下面的详细描述仅仅是示例性和说明性的，并且不限制权利要求。
附图说明
并入本公开中并构成本公开的一部分的附图示出所公开的各种实施例。在附图中：
图1是与所公开的实施例一致的示例系统的图示性表示。
图2A是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
图2B是与所公开的实施例一致的图2A中所示的车辆和系统的图示性顶视图表示。
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的、包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
图3C是与所公开的实施例一致的图3B中所示的相机安装从不同的视角的图示。
图3D是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆风挡的相机安装的示例的图示。
图4是与所公开的实施例一致的、配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理的流程图。
图5B是示出与所公开的实施例一致的、用于在一组图像中检测一个或多个车辆和/或行人的示例处理的流程图。
图5C是示出与所公开的实施例一致的、用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
图5D是示出与所公开的实施例一致的、用于在一组图像中检测交通灯的示例处理的流程图。
图5E是示出与所公开的实施例一致的、用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
图5F是示出与所公开的实施例一致的、用于确定前方车辆是否正在改变车道的示例处理的流程图。
图6是示出与所公开的实施例一致的、用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
图7是示出与所公开的实施例一致的、用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
图8A是与所公开的实施例一致的、车行道上的示例性车道合并的图示。
图8B是与所公开的实施例一致的、车行道上的示例性车道分离的图示。
图9是示出与所公开的实施例一致的、用于基于车道改变分析来确定一个或多个导航动作的示例性处理的流程图。
图10A是与所公开的实施例一致的、具有车道合并的车行道上的自主车辆的俯视图。
图10B是与所公开的实施例一致的、对车道合并的示例性车道改变分析的图示。
图11是示出与所公开的实施例一致的、用于基于车道改变分析来确定一个或多个导航动作的另一示例性处理的流程图。
图12A是与所公开的实施例一致的、具有车道分离的车行道上的自主车辆的俯视图。
图12B是与所公开的实施例一致的、对车道分离的示例性车道改变分析的图示。
图13是示出与所公开实施例一致的、基于车道改变分析确定一个或多个导航动作的另一示例性处理的流程图。
图14A-14C是与所公开的实施例一致的、对车道合并的示例性车道改变分析的图示。
图15A-15C是与所公开的实施例一致的、对车道分离的示例性车道改变分析的图示。
具体实施方式
以下的详细描述参考附图。只要可能，在附图和以下的描述中使用相同的参考标号来指代相同或相似的部分。虽然本文描述了数个说明性实施例，但是修改、改编和其他实现方式是可能的。例如，可以对附图中图示的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文所描述的说明性方法进行修改。因此，以下的详细描述并不限于所公开的实施例和示例。代替地，适当的范围由所附权利要求限定。
自主车辆概览
如贯穿本公开所使用的，术语“自主车辆”是指在没有驾驶员输入的情况下能够实施至少一个导航改变的车辆。“导航改变”是指车辆的转向(steer)、制动、或加速/减速中的一个或多个。所谓自主，是指车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作，且在其他时间段期间无需驾驶员控制而操作那些车辆。自主车辆还可以包括仅控制车辆导航的一些方面，诸如转向(例如，在车辆车道约束之间保持车辆路线)或在某些情况下(但并非在所有情况下)的某些转向操作，但可以将其它方面交给驾驶员(例如，制动或在某些情况下的制动)的车辆。在一些情况下，自主车辆可以处理车辆的制动、速率控制和/或转向的一些或全部方面。
由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此而建造了交通基础设施，其中车道标记、交通标志和交通灯被设计为向驾驶员提供可视信息。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕捉的可视信息的处理单元。可视信息可以包括，例如表示可由驾驶员观察到的交通基础设施(例如，车道标记、交通标志、交通灯等)的组件以及其它障碍(例如，其它车辆、行人、碎屑等)的图像。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆的环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如，来自加速计、速率传感器、悬架传感器等)和/或其它地图数据，以在车辆正在行驶的同时提供与其环境有关的信息，并且该车辆(以及其它车辆)可以使用该信息在模型上对其自身定位。一些车辆也能够在车辆之间进行通信、共享信息、改变同伴(peer)车辆的危险或车辆周围的变化等。
系统概览
图1是根据所公开的示例实施例的系统100的框图表示。取决于特定实施方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉设备(例如，相机、电荷耦合器件(CCD)或任意其他类型的图像传感器)，诸如图像捕捉设备122、图像捕捉设备124和图像捕捉设备126。系统100还可以包括将处理单元110通信地连接到图像获取单元120的数据接口128。例如，数据接口128可以包括用于将由图像获取单元120获取的图像数据传输到处理单元110的任何有线和/或无线的链路或多个链路。
无线收发器172可以包括被配置为通过使用射频、红外频率、磁场、或电场通过空中接口来交换传输到一个或多个网络(例如，蜂窝、因特网等)的一个或多个设备。无线收发器172可以使用任何熟知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙智能、802.15.4、ZigBee等)。这种传输可以包括从主车辆到一个或多个远程定位的服务器的通信。这种传输还可以包括主车辆与在主车辆的环境中的一个或多个目标车辆之间的(单向或双向的)通信(例如，为了便于考虑到或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至向发送车辆附近的未指定的接收者的广播传输。
应用处理器180和图像处理器190两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其它类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、/>等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何EyeQ系列处理器芯片。这些处理器设计均包括具有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，/>使用在332兆赫兹下操作的90纳米-微米技术。/>架构由两个浮点式超线程32位RISC CPU(/>核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器/>丹那利(Denali)64位移动DDR控制器、128位内部声能互连(Sonics Interconnect)、双16位视频输入和18位视频输出控制器、16通道DMA和若干外围设备构成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34KCPU和多通道DMA以及其它外围设备。这五个VCE、三个/>和MIPS34K CPU可以执行多功能捆绑应用所需要的密集视觉计算。在另一实例中，作为第三代处理器并且比/>强六倍的/>可以在所公开的实施例中使用。在其他示例中，可以在所公开的实施例中使用/>和/或/>当然，任何更新的或未来的EyeQ处理设备也可以与所公开的实施例一起使用。
任何本文所公开的处理设备可以被配置为执行某些功能。配置处理设备(诸如任何所描述的EyeQ处理器或其它控制器或微处理器)以执行某些功能可以包括对计算机可执行指令的编程，并使处理设备在其操作期间可获得这些指令以用于执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备编程。在其它实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备在操作期间可以访问该存储器以获得并执行所存储的指令。在任一情况下，被配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主车辆的多个基于硬件的组件的专用的基于硬件的系统。
尽管图1描绘了包含在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由两个以上的处理设备执行。另外，在一些实施例中，系统100可以包括处理单元110中的一个或多个，而不包括诸如图像获取单元120的其它组件。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。辅助电路可以是任何数量的本领域公知的电路，包括高速缓存、电力供给、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。这些存储器单元可以包括各种数据库和图像处理软件。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和/或任何其它类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的地点的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以包括诸如用于测量车辆200的速率的速率传感器(例如，速率计)的组件。系统100还可以包括用于测量车辆200沿一个或多个轴的加速度的一个或多个加速度计(单轴或多轴的)。
存储器单元140、150可以包括数据库，或以任何其他形式组织的、指示已知地标的地点的数据。可以与位置信息(诸如GPS坐标、车辆的自我运动等)一起处理环境的传感信息(诸如来自激光雷达或两个或更多个图像的立体处理的图像、雷达信号、深度信息)，以确定车辆相对于已知地标的当前地点，并且改进车辆地点。这项技术的某些方面包含于称为REMTM的定位技术中，该技术由本申请的受让人销售。
用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪转轮、相机、旋钮、按钮等。利用这种输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其它适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个处理设备，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这种处理设备可以执行指令以辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或任何其它用于向用户提供输出信息的设备。
地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的地点，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其它部件物理上位置在一起。替代或附加地，地图数据库160或其一部分可以相对于系统100的其它组件(例如，处理单元110)远程地定位。在这种实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)而下载。在一些情况下，地图数据库160可以存储稀疏数据模型，所述稀疏数据模型包括某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。地图数据库160还可以包括已存储的各种辨识出的地标的表示，该地标的表示可用于确定或更新主车辆相对于目标轨迹的已知位置。地标表示可以包括数据字段，诸如地标类型、地标地点以及其他潜在标识符。
图像捕捉设备122、124和126每个可以包括任何类型的适用于从环境捕捉至少一个图像的设备。此外，可以使用任何数量的图像捕捉设备来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉设备，而其它实施例可以包括两个、三个、或甚至四个、或更多个图像捕捉设备。以下将参考图2B至图2E进一步描述图像捕捉设备122、124和126。
一个或多个相机(例如，图像捕捉设备122、124和126)可以是包括在车辆上的感测块的一部分。感测块中可以包括各种其他传感器，并且可以依靠任何或全部传感器，以形成车辆的感测的导航状态。除了相机(前方、侧方、后方等)之外，其他传感器(诸如雷达、激光雷达和声学传感器)可被包含在感测块中。另外，感测块可以包括一个或多个组件，所述组件被配置为传送和发送/接收与车辆的环境有关的信息。例如，这种组件可以包括无线收发器(RF等)，其可以从相对于主车辆远程位置的源接收基于传感器的信息或与主车辆的环境有关的任何其他类型的信息。这种信息可以包括从主车辆以外的车辆系统接收的传感器输出信息或相关信息。在一些实施例中，这种信息可以包括从远程计算设备、中央服务器等接收的信息。此外，相机可以采用许多不同的配置：单个相机单元、多个相机、相机群、长FOV、短FOV、宽角度、鱼眼等。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有如上关于图1描述的系统100的处理单元110和任何其它组件。在一些实施例中，车辆200可以仅配备有单个图像捕捉设备(例如，相机)，而在其它实施例中，诸如结合图2B至图2E所讨论的那些，可以使用多个图像捕捉设备。例如，图2A中所示的车辆200的图像捕捉设备122和124中的任一个可以是ADAS(Advanced Driver Assistance System，高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分的、被包括在车辆200上的图像捕捉设备，可以被置于任何合适的地点。在一些实施例中，如图2A至图2E，以及图3A至图3C中所示，图像捕捉设备122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员相似的视线，这可以辅助确定对驾驶员而言什么是可视和不可视的。图像捕捉设备122可以被置于靠近后视镜的任何地点，而将图像捕捉设备122放置在镜子的驾驶员侧还可以辅助获得表示驾驶员的视场和/或视线的图像。
还可以使用图像获取单元120的图像捕捉设备的其它地点。例如，图像捕捉设备124可以位于车辆200的保险杠上或保险杠中。这种地点尤其可以适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉设备和驾驶员可能不总是看到相同的对象。图像捕捉设备(例如，图像捕捉设备122、124和126)还可以位于其它地点中。例如，图像捕捉设备可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上、安装在车辆200的任何车窗上、置于车辆200的任何车窗的后面、或置于在任何车窗的前面、以及安装在车辆200的前部和/或后部上的照明设备中或附近。
除了图像捕捉设备，车辆200还可以包括系统100的各种其它组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine control unit，ECU)集成或分离。车辆200还可以配备有诸如GPS接收器的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、因特网等)和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收，例如对存储在地图数据库160、存储器140和/或存储器150中存储的数据的周期性更新或按需求更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕捉的图像、由位置传感器130或其它传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设置，以规定或限制发送到服务器的、可以唯一地标识车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这种设置可以由用户经由例如无线收发器172来设置、可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设定了设置的情况下，系统100可以传输数据(例如，与路途有关的地点信息、捕捉的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，VIN)或车辆的驾驶员或所有者的名字，而可以代替传输数据(诸如，捕捉的图像和/或与路途有关的受限的地点信息)。
也考虑了其它隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的额外信息，诸如车辆的型号和/或模型和/或车辆类型(例如载客车辆、运动型多用途车辆、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置下，系统100可以上传数据，并且包括足以唯一地标识特定车辆、所有者/驾驶员和/或车辆行驶过的部分或整个路途的信息。这种“低”隐私等级数据可以包括以下中的一个或多个：例如VIN、驾驶员/所有者姓名、出发之前车辆的源点、车辆的期望目的地、车辆的型号和/或模型、车辆类型等。
图2A是根据所公开的实施例的示例车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图例示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其车体中包括系统100，该系统100具有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉设备122、位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕捉设备124、以及处理单元110。
如图2C所示，图像捕捉设备122和124两者可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2B和图2C示出了两个图像捕捉设备122和124，应理解的是，其它实施例可以包括两个以上的图像捕捉设备。例如，在图2D和图2E中所示的实施例中，第一图像捕捉设备122、第二图像捕捉设备124和第三图像捕捉设备126被包括在车辆200的系统100中。
如图2D所示，图像捕捉设备122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉设备124和126可以位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2E所示，图像捕捉设备122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉设备的任何特定数量和配置，并且图像捕捉设备可以位于车辆200内或车辆200上的任何合适的地点中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其它情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其它类型的车辆。
第一图像捕捉设备122可以包括任何合适类型的图像捕捉设备。图像捕捉设备122可以包括光轴。在一个实例中，图像捕捉设备122可以包括具有全局快门的Aptina M9V024WVGA传感器。在其它实施例中，图像捕捉设备122可以提供1280×960像素的分辨率，并且可以包括滚动快门。图像捕捉设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕捉设备提供期望的焦距和视场。在一些实施例中，图像捕捉设备122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕捉设备122可以配置为捕捉具有期望的视场(FOV)202的图像。例如，图像捕捉设备122可以配置为具有常规FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的FOV。可替代地，图像捕捉设备122可以配置为具有在23至40度的范围内的窄FOV，诸如28度FOV或36度FOV。此外，图像捕捉设备122可以配置为具有在100至180度的范围内的宽FOV。在一些实施例中，图像捕捉设备122可以包括广角保险杠相机或者具有高达180度的FOV的相机。在一些实施例中，图像捕捉设备122可以是具有约2：1的高宽比(例如，H×V＝3800×1900像素)、具有约100度水平FOV的7.2M(百万)像素图像捕捉设备。这种图像捕捉设备可以被用来替代三个图像捕捉设备配置。由于显著的镜头失真，在图像捕捉设备使用径向对称镜头的实施方式中，这种图像捕捉设备的垂直FOV可以显著地小于50度。例如，这种镜头可以不是径向对称的，这将允许在100度水平FOV情况下垂直FOV大于50度。
第一图像捕捉设备122可以获取关于与车辆200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
第一图像捕捉设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指，图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
图像捕捉设备122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，可以采用CMOS图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描在逐行的基础上继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
在一些实施例中，本文公开的图像捕捉设备中的一个或多个(例如，图像捕捉设备122、124和126)可以构成高分辨率成像器，并且可以具有大于5M像素、7M像素、10M像素或更大像素的分辨率。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其它图像伪像。另一方面，当图像捕捉设备122配置为利用全局或同步快门操作时，所有像素可以以相同量的时间并且在共同曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在一特定时间的整个FOV(诸如FOV 202)的快照。与之相比，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉设备中，移动对象可能出现失真。将在下面更详细地描述这种现象。
第二图像捕捉设备124和第三图像捕捉设备126可以是任何类型的图像捕捉设备。类似于第一图像捕捉设备122，图像捕捉设备124和126中的每一个可以包括光轴。在一个实施例中，图像捕捉设备124和126中的每一个可以包括具有全局快门的Aptina M9V024 WVGA传感器。可替代地，图像捕捉设备124和126中的每一个可以包括滚动快门。类似于图像捕捉设备122，图像捕捉设备124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉设备124和126相关联的镜头可以提供FOV(诸如FOV 204和206)，其等于或窄于与图像捕捉设备122相关联的FOV(诸如FOV 202)。例如，图像捕捉设备124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕捉设备124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。该多个第二图像和第三图像中的每一个可以作为第二系列和第三系列的图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉设备124和126可以具有与被包含在第二系列和第三系列中的每个图像扫描线的获取相关联的第二扫描速率和第三扫描速率。
每个图像捕捉设备122、124和126可以放置在相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉设备122、124和126的相对位置以帮助将从图像捕捉设备获取的信息融合在一起。例如，在一些实施例中，与图像捕捉设备124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕捉设备122相关联的FOV(例如FOV 202)以及与图像捕捉设备126相关联的FOV(例如FOV 206)重叠。
图像捕捉设备122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉设备122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕捉设备122和124在不同的高度处。例如，在图像捕捉设备122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2C和图2D所示，横向位移的差异可以通过dx表示。在一些实施例中，图像捕捉设备122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉设备122可以位于图像捕捉设备124和/或图像捕捉设备126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉设备之一能够覆盖其它(一个或多个)图像捕捉设备的潜在盲点。
图像捕捉设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉设备122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕捉设备124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉设备122和/或图像捕捉设备124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其它合适的分辨率。
帧速率(例如，在该速率下，图像捕捉设备获取一个图像帧的一组像素数据，然后继续捕捉与下一个图像帧相关联的像素数据)可以是可控的。与图像捕捉设备122相关联的帧速率可以比与图像捕捉设备124和126相关联的帧速率更高、更低或与之相同。与图像捕捉设备122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉设备122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该设备的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。另外，在包括滚动快门的实施例中，图像捕捉设备122、124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕捉设备122、124和126中的一个或多个图像可以包括可选择的垂直消隐时段，其在获取与图像捕捉设备122、124和126的图像帧相关联的图像数据之前或之后施加。
这些定时控制可以使能与图像捕捉设备122、124和126相关联的帧速率的同步，即便每个的线扫描率速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其它因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉设备122的FOV与图像捕捉设备124和126中的一个或多个FOV重叠的区域的图像捕捉的同步，即便图像捕捉设备122的视场不同于图像捕捉设备124和126的FOV。
图像捕捉设备122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个设备，线扫描速率类似，如果一个设备包括具有640×480的分辨率的图像传感器，并且另一设备包括具有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可能影响图像捕捉设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉设备122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定设备的最大线扫描速率有关。提供较高的最大线扫描速率的设备具有提供比具有较低的最大线扫描速率的设备更高的帧速率的潜力。在一些实施例中，图像捕捉设备124和126中的一个或多个可以具有高于与图像捕捉设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉设备124和/或126的最大线扫描速率可以是图像捕捉设备122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一实施例中，图像捕捉设备122、124和126可以具有相同的最大线扫描速率，但图像捕捉设备122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉设备124和126中的一个或多个以等于图像捕捉设备122的线扫描速度的线扫描速率操作。在其它实例中，该系统可以配置为使得图像捕捉设备124和/或图像捕捉设备126的线扫描速率可以是图像捕捉设备122的线扫描速度的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕捉设备122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(FOV)和焦距的相机。例如，图像捕捉设备122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉设备122、124和126中的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕捉设备122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个设备在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉设备122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉设备122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉设备122、124和126的焦距可以被选择以使得一个图像捕捉设备(例如，图像捕捉设备122)可以获取相对靠近车辆(例如，在10米内或20米内的)对象的图像，而其它图像捕捉设备(例如，图像捕捉设备124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕捉设备122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于捕捉车辆200附近的区域的图像的图像捕捉设备122、124和126。例如，图像捕捉设备122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这种实施例中，可能期望图像捕捉设备122具有宽FOV(例如，至少140度)。
与每个图像捕捉设备122、124和126相关联的FOV可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
图像捕捉设备122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉设备122可以具有46度的水平FOV，图像捕捉设备124可以具有23度的水平FOV，并且图像捕捉设备126可以具有在23度和46度之间的水平FOV。在另一实例中，图像捕捉设备122可以具有52度的水平FOV，图像捕捉设备124可以具有26度的水平FOV，并且图像捕捉设备126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕捉设备122的FOV与图像捕捉设备124和/或图像捕捉设备126的FOV的比率可以从1.5到2.0变化。在其它实施例中，该比率可以在1.25与2.25之间变化。
系统100可以配置为使得图像捕捉设备122的视场至少部分地或完全地与图像捕捉设备124和/或图像捕捉设备126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉设备124和126的视场例如落入(例如，窄于)图像捕捉设备122的视场并且与图像捕捉设备122的视场共享共同的中心。在其它实施例中，图像捕捉设备122、124和126可以捕捉相邻的FOV，或者可以在它们FOV中具有部分重叠。在一些实施例中，图像捕捉设备122、124和126的视场可以对齐，以使得较窄FOV图像捕捉设备124和/或126的中心可以位于较宽FOV设备122的视场的下半部分中。
图2F是根据所公开的实施例的示例车辆控制系统的图示性表示。如图2F所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以经过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉设备122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240中的一个或多个接收指示车辆200的运行条件(例如，速度、车辆200是否正在制动和/或转向等)的输入。以下结合图4至图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉设备122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B至图3D是根据所公开的实施例的配置为位于后视镜(例如，后视镜310)后面并与车辆风挡相对的示例相机安装370的例示。如图3B所示，相机安装370可以包括图像捕捉设备122、124和126。图像捕捉设备124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆风挡齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得其相对于具有匹配斜面的车辆的风挡对齐。在一些实施例中，图像捕捉设备122、124和126的每个可以位于遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕捉设备122、124和126、相机安装370和遮光板380的任何特定配置。图3C是图3B所示的相机安装370从前面视角的例示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS地点信息)、地图数据、速度数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
前向多成像系统
如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆的前方的一个或多个相机。在其它实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕捉设备122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。其他相机配置与所公开的实施例一致，并且本文公开的配置是示例。例如，系统100可以包括任何数量的相机的配置(例如，一个、两个、三个、四个、五个、六个、七个、八个等)。此外，系统100可以包括相机“群集(cluster)”。例如，相机群集(包括任何适当数量的相机，例如一个、四个、八个等)可以相对于车辆是前向的，或者可以面向任何其他方向(例如，后向、侧向、成角度的等)。因此，系统100可以包括多个相机群集，其中每个群集以特定方向定向，以从车辆的环境的特定区域捕捉图像。
第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以执行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以执行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧方的变化距离处的对象得到的信息做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉图像：从两个或多个不同的位置、从不同的视场、使用不同的焦距、与视差信息一起等捕捉的图像。
例如，在一个实施例中，系统100可以使用图像捕捉设备122至126实现三相机配置。在这种配置中，图像捕捉设备122可以提供窄视场(例如，34度或从约20度至45度的范围选择的其它值等)，图像捕捉设备124可以提供宽视场(例如，150度或从约100度至约180度的范围选择的其它值)，并且图像捕捉设备126可以提供中间的视场(例如，46度或从约35度至约60度的范围选择的其它值)。在一些实施例中，图像捕捉设备126可以作为主相机或基本相机。图像捕捉设备122至126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉设备122至126中的一个或多个可以被安装在与车辆200的风挡齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉设备122至126的影响。
在另一实施例中，如以上结合图3B和3C所讨论的，宽视场相机(例如，上述示例中的图像捕捉设备124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的风挡，并且在相机上可以包括偏振器以衰减(damp)反射光。
三相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理设备专用于处理由图像捕捉设备122至126中的一个或多个捕捉的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并且执行对窄FOV相机的视觉处理，例如以检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。另外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3D重建。然后第一处理设备可以组合3D重建与3D地图数据、或组合3D重建与基于来自另一相机的信息计算出的3D信息。
第二处理设备可以从主相机接收图像，并执行视觉处理以检测其它车辆、行人、车道标记、交通标志、交通灯和其它道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于3D重建的运动恢复结构发送到第一处理设备以与立体3D图像进行组合。
第三处理设备可以从宽FOV相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其它道路对象。第三处理设备还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉设备和从该设备处理的图像来验证和/或补充通过从至少第二图像捕捉设备捕捉和处理图像信息而获得的信息。
在一些实施例中，系统100将两个图像捕捉设备(例如，图像捕捉设备122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉设备(例如，图像捕捉设备126)来提供冗余并验证对从其它两个图像捕捉设备接收到的数据的分析。例如，在这种配置中，图像捕捉设备122和124可以提供用于通过系统100进行立体分析的图像以导航车辆200，而图像捕捉设备126可以提供用于通过系统100进行单目分析的图像以提供对基于从图像捕捉设备122和/或图像捕捉设备124捕捉的图像而获得的信息的冗余和验证。即，图像捕捉设备126(和对应的处理设备)可以被视为提供用于提供对从图像捕捉设备122和124得到的分析的检查的冗余子系统(例如，以提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可以基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器，从车辆外部的一个或多个收发器接收的信息等)来补充接收到的数据的冗余和验证。
本领域的技术人员将认识到，上述相机配置、相机放置、相机数量、相机地点等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其它组件可以被组装并且在各种不同的配置中使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是存储器140和/或存储器150的示例性功能性框图，其可以被存储/用指令编程以用于执行与本公开实施例一致的一个或多个操作。虽然下面指代存储器140，但是本领域技术人员将认识到指令可以被存储在存储器140和/或存储器150中。
如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402至408中所存储的指令。本领域的技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理设备来执行。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合确定导航响应所讨论的。
在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉设备122、124和126中选择的图像捕捉设备的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉设备124获取的第一组图像和由图像捕捉设备126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，所述特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电设备收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来计算车辆200的目标速度。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速度、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如油门调节系统220、制动系统230和/或转向系统240的输入来计算车辆200的目标速度。基于计算的目标速度，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电子信号，例如通过物理地压下制动器或松开车辆200的加速器，来触发速度和/或加速度的变化。
在一个实施例中，导航响应模块408可以存储可由处理单元110执行以基于从单目图像分析模块402和/或立体声图像分析模块404的执行而得到的数据来确定期望的导航响应的软件。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体声图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统、诸如车辆200的油门调节系统220、制动系统230和转向系统240的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，用于计算车辆200的速度的改变。
此外，本文公开的任何模块(例如，模块402、404和406)可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图5A是示出根据所公开的实施例的用于基于单目图像分析引起一个或多个导航响应的示例过程500A的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕捉设备122)可以捕捉车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并经过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传输到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5B至5D进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
在步骤520，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这种危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测路面、以及存在于路面上的危险。
在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200转换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200制动同时转换车道。
图5B是示出根据所公开的实施例的用于在一组图像中检测一个或多个的车辆和/或行人的示例过程500B的流程图。处理单元110可以执行单目图像分析模块402来实现过程500B。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的地点。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以将低的相似性的阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，尺寸、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546，处理单元110可以对于检测到的对象构建一组测量。这种测量可以包括例如与检测到的对象相关联的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的、诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过执行步骤540至546，处理单元110可以识别在该组捕捉图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速度、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指，例如在一个或多个图像中分析相对于车辆200的、与其它车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出根据所公开的实施例的用于在一组图像中检测道路标记和/或车道几何信息的示例过程500C的流程图。处理单元110可以执行单目图像分析模块402来实现处理500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其它相关的道路标记的区段(segments)，处理单元110可以过滤该组对象以排除那些被确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的区段分组在一起。基于该分组，处理单元110可以建立表示所检测到的区段的模型，诸如数学模型。
在步骤554，处理单元110可以构建与所检测的区段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的区段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)和滚转(roll)速率。此外，处理单元110可以通过分析出现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰和滚转速率。
在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的区段并累积与检测到的区段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信水平相关联。因此，通过执行步骤550至556，处理单元110可以识别在该组捕捉图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558，处理单元110可以考虑额外的信息源，以进一步产生车辆200的在其周围的环境中的安全模型。处理单元110可以使用该安全模型来定义系统100可以在其中以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其它车辆的位置和运动、所检测的道路边缘和障碍物、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余，并增加系统100的可靠性。
图5D是示出了根据所公开的实施例的用于在一组图像中检测交通灯的示例过程500D的流程图。处理单元110可以执行单目图像分析模块402来实现处理500D。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的地点处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
在步骤562，处理单元110可以分析交叉口的几何形状。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单目分析模块402的执行得到的信息进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何形状和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量比较可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560至564，处理单元110可以识别出现在该组捕捉图像内的交通灯，并分析交叉口几何形状信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出了根据所公开的实施例的用于基于车辆路径引起车辆中的一个或多个导航响应的示例过程500E的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道变换)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道变换)。
在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量S(即，基于表示车辆路径的该组点)。
在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xi,zi))。处理单元110可以从累积距离向量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速度和前视时间的乘积。例如，随着车辆200的速度下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xi/zi)来确定航向误差。处理单元110可以将横摆角率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2×车辆200的速度/前视距离)。
图5F是示出了根据所公开的实施例的用于确定前方车辆是否正在改变车道的示例过程500F的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速度)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前方车辆所采取的路径的一组点)。
在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其它车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其它车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在该特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪路径的期望曲率相比较，来分析该追踪轨迹的几何形状。期望曲率半径可以根据公式确定：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变车道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。此外，在一些实施例中，所述分析可以利用经训练的系统(例如，机器学习或深度学习系统)，其可以例如基于在当前地点处捕捉的图像来估计在车辆当前地点前方的未来路径。
图6是示出了根据所公开的实施例的用于基于立体图像分析引起一个或多个导航响应的示例过程600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕捉设备122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5A-图5D描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标志、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉图像的两个流中的其它数据子集)的差异。作为另一示例，处理单元110可以通过观察候选对象在多个图像的一个中出现而未在另一个中出现，或相对于可能相对于出现在两个图像流中的对象而存在的其它差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
图7是示出了根据所公开的实施例的用于基于三组图像的分析来引起一个或多个导航响应的示例过程700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕捉设备122、124和126)可以捕捉在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多数据接口接收第一、第二和第三多个图像。例如，图像捕捉设备122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来执行。例如，处理单元110可以对第一、第二和第三多个图像的每个执行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5A-图5D所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉设备122、124和126—包括它们各自的地点和视场202、204和206—的配置可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取设备122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、实际出现在帧中的一个或多个感兴趣的对象的程度(例如，其中出现有对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其它图像源得到的信息的相一致的程度，选择从第一、第二和第三多个图像中的两个得到的信息。例如，处理单元110可以将从图像捕捉设备122、124和126的每个得到的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉设备122、124和126的每个捕捉到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其地点和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于相一致和不一致的信息的确定，来选择从第一、第二和第三多个图像的两个得到的信息。
导航响应可以包括例如转弯、车道变换、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
导航车道合并和车道分离
在一个实施例中，自主车辆(例如，车辆200)在导航时可能遇到不同类型的车道。例如，自主车辆正在行驶的车道可能与相邻车道合并。当遇到车道合并情形时，另一车辆可能行驶在正在结束的并且该车辆可能在自主车辆前方并入的邻近车道中。考虑到另一车辆的一个或多个特性，自主车辆可以因此减慢和/或调整其路线。例如，如果另一车辆快速移动过来并且没有在其间留下太多空间，则自主车辆可能需要调整其速度和/或改变车道。作为另一示例，自主车辆正在行驶的车道可以分离以形成额外的相邻车道，诸如出口(exit)车道。
当遇到车道分离情形时，自主车辆前方的另一车辆可能改变车道或驶出道路并且不再位于该车道中的自主车辆前方。自主车辆可以因此在预期到其他车辆从该车道驶离时，维持或增加其加速率。然而，如果该车辆被预测留在与经过分离车道的自主车辆相同的车道上，则自主车辆可以维持或降低其加速率。
所公开的实施例包括用于导航自主车辆以在导航时考虑到前述的车道改变情形以及其他邻近车辆鉴于该车道改变而可能作出的任何潜在转向的系统和方法。
例如，在一个实施例中，用于导航主车辆(例如，自主车辆)的系统可包括图像捕捉设备和至少一个处理设备。至少一个处理设备可以被编程为从图像捕捉设备接收表示主车辆的环境的多个图像。该环境可以包括主车辆正在行驶的道路和目标车辆。该目标车辆可以是主车辆附近的另一车辆，并且由主车辆的导航系统识别。
在典型的车道合并情形中，目标车辆可以行驶在该道路的、与主车辆正在行驶的车道不同的车道中。也就是说，目标车辆可以行驶在与主车辆正在行驶的车道正在合并的相邻车道中。另一方面，在典型的车道分离情形中，目标车辆可以行驶在该道路的主车辆正在行驶的车道中。也就是说，目标车辆可以行驶在主车辆的前方并且行驶在与主车辆相同的车道中。
至少一个处理设备可进一步被编程为分析多个图像中的至少一个以识别目标车辆，以及分析多个图像中的至少一个以识别与目标车辆正在行驶车道相关联的至少一个车道标记。车道标记可以是例如描绘道路的车道的涂漆标记或指示、或描绘道路上的车道的物理对象。这种物理对象可能包括障碍物(barrier)、分隔栏(divider)、中央分隔带(median)等。
至少一个处理设备还可以被编程为检测至少一个识别出的车道标记的一个或多个车道标记特性，并使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型。例如，车道标记特性可以指示车道标记的特征，系统可以使用该车道标记的特征来确定车道标记的类型(例如，车道标记是合并车道标记还是分离车道标记)。
附加地，至少一个处理设备还可以被编程为确定目标车辆的至少一个特性。例如，目标车辆的特性可以包括目标车辆在道路上的位置。基于所确定的车道标记类型和所确定的目标车辆的特性，至少一个处理设备还可以被编程为确定主车辆的导航动作。导航动作可以包括改变或维持主车辆的转向、制动或加速/减速中的一个或多个。
图8A是与所公开的实施例一致的、车行道上的示例性车道合并的图示。如图8A所示，一些车道合并可以采取“合并式(merge)”车道合并800的形式。在“合并式”车道合并中，主车辆200正在行驶的车道(即“主”车道)可以与相邻车道合并，要求主车辆200和相邻车道中的目标车辆802合并在一起。
车道合并的另一个示例是“并入到式(merge to)”车道合并。在“并入到式”车道合并804中，主车辆200正在行驶的“主”车道可以并入到相邻车道中，如图所示，使得主车辆将“并入到”到相邻车道并与相邻车道中的目标车辆802合并。如果相邻车道在主车辆的左侧，如图所示，车道合并可以是“并入到左侧式”车道合并，而如果相邻车道在主车辆的右侧，则车道合并可以是“并入到右侧式”车道合并。
车道合并的又一个示例是“并自于式(merge from)”车道合并806。在“并自于式”车道合并中，相邻车道可以并入到主车辆200正在行驶的“主”车道中，使得目标相邻车道中的车辆802将“并自于”相邻车道而进入到主车辆200正在行驶的“主”车道中。如果相邻车道在主车辆200的右侧，如图所示，使得目标车辆802将“并自于”右侧，则车道合并可以是“并自于右侧式”车道合并，而如果相邻车道在主车辆200的左侧，使得目标车辆802将“并自于”左侧，车道合并可以是“并自于左侧式”车道合并。
其他车道改变可以采用车道分离的形式。图8B是与所公开的实施例一致的、车行道上的示例性车道分离的图示。例如，在“分离式(split)”车道分离808中，主车辆200正在行驶的“主”车道可以分离成两个车道，使得主车辆200将选择要在其中行驶的车道。在“分离式”车道分离的一些实例中，目标车辆(未在图8B中“分离式”车道分离的示例中示出)可以行驶在主车辆的前方。目标车辆可以类似地选择要在其中行驶的车道。
车道分离的另一示例是“车道开通式”车道分离810。在“车道开通式(lane open)”车道分离810中，主车辆200正在行驶的“主”车道可以保持不变，但是新的车道可以相邻于主车辆200正在行驶的“主”车道出现。新的相邻车道可以是例如出口车道。如果新的相邻车道位于主车辆200正在行驶的“主”车道的右侧，如图所示，车道分离可以是“右侧车道开通式”车道分离，而如果新的相邻车道是在主车辆200正在行驶的“主”车道的左侧，车道分离可以是“左侧车道开通式”车道分离。在“车道开通式”车道分离的一些情况下，目标车辆(未在图8B中“车道开通式”车道分离的示例中示出)可以行驶在主车辆的前方。目标车辆可以继续行驶在相同车道中或者行驶到新的车道。
车道分离的又一个示例是“车道扩展式”车道分离812。在“车道扩展式”车道分离812中，主车辆200正在行驶的“主”车道可以扩展以形成新的相邻车道。新的相邻车道可以是例如出口车道。如果新的相邻车道位于主车辆200正在行驶的“主”车道的右侧，如图所示，车道分离可以是“右侧车道扩展式”车道分离，而如果新的相邻车道是在主车辆200正在行驶的“主”车道的左侧，车道分离可以是“左侧车道扩展式”车道分离。在“车道开通式”车道分离的一些情况下，目标车辆802可以行驶在主车辆前方。目标车辆802可以继续行驶在相同车道中或者行驶到新的车道。
图9是示出与所公开的实施例一致的、用于基于车道改变分析来确定一个或多个导航动作的示例性处理的流程图。例如，处理900可以由上述处理单元110执行。出于说明的目的，将参照图10A和图10B描述处理900，图10A是与所公开的实施例一致的、具有车道合并的车行道上的自主车辆(例如，车辆200)的俯视图，图10B是与所公开的实施例一致的、对车道合并的示例性车道改变分析的图示。在以下讨论中，自主车辆被称为主车辆(例如，车辆200)，并且可以包括如上文结合图1所讨论的系统100的任何一个或多个部件。
在步骤902，处理单元110可以从图像捕捉设备接收表示主车辆的环境的多个图像。环境包括主车辆正在行驶的道路。例如，如图10A所示，图像捕捉设备122可以捕捉表示主车辆200的环境1000的至少一个图像。环境1000可以包括主车辆200正在行驶的道路1002。
图像捕捉设备122可以采用以上对于图像捕捉设备122、图像捕捉设备124和/或图像捕捉设备126描述的任何形式。虽然主车辆200被示为在特定位置具有一个图像捕捉设备122，但是将理解，除了图10A中描绘的以外也是可能的，主车辆200可以包括附加的图像捕捉设备122和/或图像捕捉设备122的附加或替代的位置(例如，如前述任何附图中所示)。
如图所示，除了道路1002之外，环境1000还包括目标车辆802。附加地，如图所示，主车辆200正在道路1002上的车道中行驶，并且目标车辆802正行驶在道路1002上的与主车辆200正在行驶的车道不同的车道中。虽然单个目标车辆802被示出在道路1002上的特定位置，但是将理解，附加的目标车辆802(或多个目标车辆802)和/或目标车辆802的附加或替代的位置是可能的。此外，虽然道路1002被示为包括在特定配置下的两个车道，但是将理解，道路1002可以包括在任何配置下的任何数量的车道。
道路1002包括车道标记1004A-1004D。虽然车道标记1004A-1004D被示为在道路1002上的二维标记(例如，喷漆、贴标(decal)等)，但在一些实施例中，车道标记1004A-1004D可以是三维标记，诸如障碍物、分隔栏等。其它车道标记1004A-1004D也是可能的。并且虽然车道标记1004A-1004D被示为在特定位置并具有特定配置，但是将理解，预期具有更多或更少的车道标记1004A-1004D和/或具有替代的位置和/或配置的车道标记1004A-1004D。
如上所述，一个或多个图像捕捉设备(例如，图像捕捉设备122)可以捕捉表示环境1000的至少一个图像。在一些实施例中，由图像捕捉设备122捕捉的图像可以包括道路1002、目标车辆802和/或道路1002上的车道标记1004A-1004D中的一个或多个的表示。图像可以采用例如灰度或彩色图像的形式。在一些实施例中，图像可以不是全分辨率图像。可替代地或附加地，如下所述，分辨率可以根据需要在图像内变化以识别和/或标注车道标记。例如，在图像中，包括道路区域和地平线的水平条带可以具有比表示天空和/或主车辆的引擎盖的水平条带更高的分辨率。作为另一示例，图像的表示地平线的水平条带可以具有比表示更靠近主车辆的道路的水平条带更高的分辨率，因为更靠近地平线的车道标记可能更小并且更难以识别。在一些实施例中，可以根据需要对图像的各部分进行下采样或上采样以调整分辨率。
返回到图9，在步骤904，处理单元110可以分析多个图像中的至少一个，以识别行驶在该道路的、与主车辆正在行驶的车道不同的车道中的目标车辆。例如，如图10A所示，由图像捕捉单元122捕捉的图像可以包括目标车辆802的表示，该目标车辆802行驶在道路1002的与主车辆200正在行驶的车道不同的车道中。目标车辆802的车道可以包括主车辆200正在行驶的车道的邻近和/或相邻车道。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404，来分析捕捉图像中的一个或多个以识别目标车辆802。
返回到图9，在步骤906，处理单元110可以分析多个图像中的至少一个，以识别与目标车辆正在行驶的车道相关联的至少一个车道标记。例如，如图10A所示，由图像捕捉单元122捕捉的图像可以包括道路1002上的车道标记1004C和1004D的表示。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404来分析图像，以识别车道标记1004C和1004D。可替代地或附加地，在一些实施例中，处理单元110可以以类似于Stein的专利(美国专利号为7,151,996)中描述的方式来识别车道标记1004C和1004D，该专利的内容通过引用整体并入。在一些实施例中，处理单元110可以以上述的任何方式，来识别车道标记1004A和1004B中的一个或两者。
返回图9，在步骤908，处理单元110可以检测至少一个识别出的标记的一个或多个车道标记特性。检测到的车道标记特性(或多个车道标记特性)可以包括例如至少一个识别出的车道标记到参考点的距离。参考点可以包括例如标志、灯柱、交通信号、路缘或其他道路特征。替代地或另外地，参考点可以包括另一个地标(例如，树、建筑物、桥梁、立交桥、停放的车辆、水体等)。此外，参考点可以包括道路上的另一个车道标记。例如，参考图10A，检测到的车道标记特性(或多个车道标记特性)可以包括车道标记1004A与1004C之间或车道标记1004B与1004C之间的距离。作为另一示例，检测到的车道标记特性(或多个车道标记特性)可以包括至少一个识别出的车道标记与道路的至少一个其他车道标记的交叉点。参考图10A，检测到的车道标记特性(或多个车道标记特性)可以包括车道标记1004B与1004C的交叉点。作为又一示例，检测到的车道标记特性(或多个车道标记特性)可以包括至少一个识别出的车道标记与道路1002的至少一个其他车道标记之间的横向距离的改变。例如，参考图10A，检测到的车道标记特性(或多个车道标记特性)可以包括车道标记1004A与1004C之间或车道标记1004B与1004C之间的横向距离的改变。
返回图9，在步骤910，处理单元110可以使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型。在一些实施例中，诸如图10A中描绘的示例，车道标记的类型可以是合并车道。合并车道可以包括“合并式”合并车道、“并入到式”合并车道、或“并自于式”合并车道，如上面结合图8A所述。可替代地，在一些实施例中，车道标记的类型可以是分离车道，诸如“分离式”分离车道、“车道开通式”分离车道、或“车道扩展式”分离车道，如上面结合图8B所述，以及下面结合图11所讨论的。
在检测到的车道标记特性(或多个车道标记特性)包括例如至少一个识别出的车道标记到参考点(例如道路上的另一标记)的距离的实施例中，使用检测到的车道标记特性(或多个车道标记特性)来确定所识别出的车道标记(或多个车道标记)的类型可以涉及确定所识别出的车道标记(或多个车道标记)与参考点之间的距离是否随着距主车辆的距离增加(例如，在沿着主车辆前方的道路的距离上)而增加、减小或保持恒定。例如，参考图10A，如果检测到的车道标记特性(或多个车道标记特性)包括车道标记1004A与1004C之间和/或车道标记1004B与1004C之间的距离，则车道标记之间的距离减小可以指示车道标记1004C的车道标记类型是合并车道。相反，如果车道标记1004A与1004C之间和/或车道标记1004B与1004C之间的距离增加，则处理单元110可以确定车道标记1004C的车道标记类型是分离车道。
可替代地或附加地，在检测到的车道标记特性(或多个车道标记特性)包括例如所识别出的车道标记(或多个车道标记)与道路上的至少一个其他车道标记的交叉点的实施例中，使用检测到的车道标记特性(或多个车道标记特性)来确定所识别出的车道标记(或多个车道标记)的类型可以涉及确定该交叉点指示车道标记类型是合并车道。例如，参考图10A，如果检测到的车道标记特性(或多个车道标记特性)包括车道标记1004B与1004C的交叉点，则处理单元110可以确定车道标记1004C的车道标记类型是合并车道。
另外可替代地或附加地，如果检测到的车道标记特性(或多个车道标记特性)包括至少一个识别出的车道标记(或多个车道标记)与道路1002的至少一个其他车道标记之间的横向距离的改变，则使用检测到的车道标记特性(或多个车道标记特性)来确定所识别出的车道标记(或多个车道标记)的类型可以涉及确定所识别出的车道标记(或多个车道标记)与其他车道标记(或多个其他车道标记)之间的横向距离是否随着距主车辆的距离增加而增加、减小或保持恒定。
例如，确定沿着主车辆前方的道路的距离上的车道标记之间的横向距离可以包括：确定在主车辆前方的参考点A处的第一车道标记与第二车道标记之间的横向距离A，以及确定在参考点A前方的参考点B处的第一车道标记与第二车道标记之间的横向距离B。比较横向距离A与横向距离B可以指示车道标记之间的横向距离是增加还是减小。如果横向距离A大于横向距离B，则第一车道标记与第二车道标记之间的横向距离可能正在减小。车道标记之间的横向距离随着主车辆前方的距离增加而减小可以指示：车道标记是合并车道标记。如果横向距离A小于横向距离B，则第一车道标记与第二车道标记之间的横向距离可能正在增加。车道标记之间的横向距离随着主车辆前方的距离增加而增加可以指示：车道标记是分离车道标记。预期其他比较并且与所公开的实施例一致。例如，车道标记类型的确定可以包括计算横向距离A和横向距离B之间的差，或反之亦然。例如，如果横向距离A与横向距离B之间的差(即，A减B)为正值，那么在主车辆前方的距离上的车道标记之间的横向距离可能正在减小，其可以指示合并车道标记。然而，如果横向距离A与横向距离B(即，A减B)之间的差为负值，那么在主车辆前方的距离上的车道标记之间的横向距离可能正在增加，其可以指示车道标记是分离车道标记。
例如，参考图10A，如果检测到的车道标记特性(或多个车道标记特性)包括车道标记1004A与1004C之间和/或车道标记1004B与1004C之间的横向距离，则主车辆前方的距离上的车道标记之间的横向距离减小可以指示车道标记1004C的车道标记类型是合并车道。相反，如果车道标记1004A与1004C之间和/或车道标记1004B与1004C之间的横向距离在主车辆前方的距离上增加，则处理单元110可以确定车道标记1004C的车道标记类型是分离车道。
预期其他车道标记特性并且与所公开的实施例一致。例如，车道标记特性可以包括车道标记的尺寸、形状和颜色中的一个或多个。此外，在一些实施例中，车道标记特性可以包括车道标记与另一车道标记之间的位置关系。例如，车道标记可以邻接(例如，紧挨或相接)另一车道标记，或者车道标记可以相对于另一车道标记在特定方向(例如，以特定角度)定向。
返回图9，在步骤912，处理单元110可以确定目标车辆的至少一个特性。在一些实施例中，确定目标车辆的特性(或多个特性)可以涉及分析多个图像，如上文结合步骤904和906所述。在一些实施例中，确定目标车辆的特性(或多个特性)可以涉及分析来自主车辆的一个或多个传感器和/或设备(例如，图像传感器、激光雷达、雷达、GPS设备、速度传感器、加速度计、悬架传感器、声学传感器等)的数据。
在一些实施例中，所确定的目标车辆的特性(或多个特性)可以包括目标车辆在道路上在主车辆前方的位置。例如，参考图10A，所确定的目标车辆的特性(或多个特性)可以包括目标车辆802在道路1002上的位置。该位置可以是相对于主车辆200、车道标记1004A-1004D中的一个或多个、和/或道路1002上的另一参考点的位置，或者可以是位置数据(例如，GPS位置数据)，如上面结合图1所述。可替代地或附加地，在一些实施例中，所确定的目标车辆的特性(或多个特性)可以包括检测到的目标车辆相对于所识别出的车道标记(或多个车道标记)的横向运动。例如，参考图10A，所确定的目标车辆的特性(或多个特性)可以包括检测到的目标车辆802相对于车道标记1004C的横向运动。另外可替代地或附加地，在一些实施例中，所确定的目标车辆的特性(或多个特性)可以包括目标车辆相对于主车辆的速度。例如，参考图10A，所确定的目标车辆802的特性(或多个特性)可以包括目标车辆802相对于主车辆200的速度。可替代地或附加地，在一些实施例中，所确定的目标车辆的特性(或多个特性)可以包括目标车辆的预测轨迹。例如，参考图10A，所确定的目标车辆的特性(或多个特性)可以包括目标车辆802的预测轨迹。处理单元110可以基于例如对步骤902中捕捉的多个图像中的至少两个的分析来预测目标车辆802的轨迹。
返回图9，在步骤914，处理单元110可以基于所确定的车道标记类型和所确定的目标车辆的特性来确定主车辆的导航动作。导航动作可以包括改变或保持主车辆的转向、制动或加速/减速中的一个或多个。在一些实施例中，可以使用上面结合图2F和4描述的油门调节系统系统220、制动系统230、转向系统240、速度和加速度模块406以及导航响应模块408中的一个或多个，来执行导航动作。例如，导航动作可以是增加、维持或减小主车辆的加速率。作为另一示例，导航动作可以是主车辆的转向，诸如向左或向右转向。
虽然步骤914考虑了基于所确定的车道标记类型和所确定的目标车辆的特性两者来确定主车辆的导航动作，但是应理解，在一些实施例中，可以仅基于所确定的车道标记类型或仅基于所确定的目标车辆的特性来确定导航动作。例如，虽然图10A示出了目标车辆802，但是在一些实施例中，可以不存在目标车辆802，并且可以仅基于所确定的车道标记类型来确定导航动作。
所确定的主车辆的导航动作可以基于所确定的车道标记类型。例如，如果所确定的车道标记类型是车道合并，则可以确定主车辆的导航动作以便于与目标车辆的安全并道。这可能涉及例如主车辆的加速或减速，以避免与目标车辆的碰撞。在一些情况下，为了安全地与目标车辆并道，导航动作可以包括使主车辆转向到相邻车道。作为另一示例，如果所确定的车道标记类型是车道分离，则可以确定主车辆的导航动作以便于主车辆在适当车道中的行驶。这可能涉及例如使主车辆转向以保持与适当车道对齐。
所确定的主车辆的导航动作可以还基于所确定的目标车辆的特性。例如，如果所确定的目标车辆的特性(或多个特性)包括目标车辆在道路上在主车辆前方的位置，则可以确定主车辆的导航动作以避免与目标车辆的碰撞，例如，通过主车辆的加速或减速。作为另一示例，如果所确定的目标车辆的特性(或多个特性)包括检测到的目标车辆相对于所识别出的车道标记(或多个车道标记)的横向运动，则可以确定主车辆的导航动作以便于与主车辆的安全并道。例如，参考图10A，处理单元110可以使用检测到的目标车辆802相对于车道标记1004C的横向运动，来确定目标车辆802是否以合理的速度移动和/或维持距主车辆200的安全距离。例如，当目标车辆802维持与车道标记1004C平行或基本平行的位置，或者目标车辆802以接近90度的角度移动过车道标记1004C时，目标车辆802很可能正在以合理的速度移动过来，其与主车辆200之间具有足够的距离。然而，如果目标车辆802正在移动使得其轨迹与车道标记1004C以一定角度(例如，小于90度的小的角度)相交，则目标车辆802很可能正在快速地移动过来并将靠近于主车辆200并道。导航动作可以是主车辆200的加速度的改变，以适应目标车辆802的横向移动。作为又一个示例，如果所确定的目标车辆的特性(或多个特性)包括目标车辆相对于主车辆的速度，则主车辆的导航动作可以包括维持距目标车辆的安全距离，例如通过加速或减速。并且作为另一示例，如果所确定的目标车辆的特性(或多个特性)可以包括目标车辆的预测轨迹，则主车辆的导航动作可以包括避开目标车辆的轨迹，例如通过主车辆的转向和/或加速或减速。
作为又一示例，如果确定的车道标记类型是车道分离，并且目标车辆在主车辆前方但在车道分离之前，则取决于所确定的目标车辆的特性，主车辆的导航动作可以包括主车辆的加速或减速。例如，所确定的目标车辆的特性可以指示目标车辆正在改变(或将改变)车道或正在驶出(或将驶出道路)并且不再位于主车辆的前方。主车辆可以因此在预期到目标车辆从车道驶离时，维持或增加其加速率。作为另一示例，如果所确定的目标车辆的特性指示目标车辆正在保持在(或将保持在)与主车辆经过分离车道相同的车道中，则主车辆可以维持或降低其加速率。在这些实施例中，确定主车辆的导航动作可以包括考虑目标车辆的一个或多个预测的导航动作，如下所述。
例如，除了确定主车辆的导航动作之外或作为确定主车辆的导航动作的一部分，处理单元110可以预测目标车辆的导航动作。处理单元110可以基于目标车辆正在行驶的车道的类型来预测目标车辆的导航动作。例如，如果目标车辆正行驶在合并车道中，则处理单元110可以预测目标车辆将改变车道。作为另一示例，如果目标车辆正在行驶在分离车道中，则处理单元110可预测目标车辆将驶出道路。
作为另一示例，参考图10A，处理单元110可以识别目标车辆802相对于车道标记1004C的位置，该车道标记1004C是车道合并车道标记，以便确定目标车辆802是否将并入到主车辆200正在行驶的车道。例如，如果目标车辆802与车道标记1004C之间的横向距离恒定或减小，则处理单元110可以确定目标车辆802将并入到主车辆200正在行驶的车道中。以这种方式，处理单元110可以确定目标车辆802是否正在跟踪车道标记1004C，并且相应地，甚至在目标车辆802越过车道标记1204B进入出口车道之前，确定目标车辆802是否将并入到主车辆200正在行驶的车道中。在一些实施例中，可以基于目标车辆的预测轨迹来确定目标车辆的预测导航动作。例如，如果预测目标车辆802将并入到主车辆200正在行驶的车道中，则主车辆200可以减速、加速、改变车道或使用喇叭以便于安全并道。目标车辆的这种预测导航动作可以基于对主车辆的图像捕捉设备捕捉的至少两个图像的分析。在其他实施例中，这种预测导航动作可以基于对来自主车辆的一个或多个传感器和/或设备(例如，图像传感器、激光雷达、雷达、GPS设备、速度传感器、加速度计、悬架传感器、声学传感器等)的数据的分析。
在一些实施例中，除了识别任何车道标记1004A-100D之外，处理单元110还可以标注(label)车道标记1004A-1004D中的任何一个。例如，处理单元110可以识别由图像处理单元122捕捉的图像中的车道标记1004A-1004D，并为每个识别出的车道标记1004A-1004D生成标签。标签可以采用例如二进制图(map)的形式。可替代地，标签可以采用数据结构的形式，诸如图像片段坐标的列表。
在一些实施例中，生成标签可以涉及将图像(或多个图像)馈送到经训练的系统，该系统可以采用上面结合图4描述的任何神经网络和/或卷积神经网络的形式。可以使用与一个或多个图像相关联地存储的标注图像和/或车道标记标识符来训练神经网络。与标签和/或车道标记标识符相关联的标注图像或图像可以由神经网络从各种资源(例如一个或多个数据库)接收。一个或多个数据库可以位于本地(例如，包括在系统100中)和/或远程(例如，通过诸如蜂窝网络和/或因特网等网络可利用的)并且经由例如系统100的无线收发器172接收。通过例如存储与识别出的车道标记相关联的标签(例如，合并或分离标签)来完成所存储图像的标注。在一些实施例中，可以不标注每个识别出的车道标记；相反，标注可以仅限于与检测车道改变和确定车道类型相关的那些车道标记，如下所述。最终，神经网络可以变得能够自动地识别并标注车道标记。
在一些实施例中，神经网络可以输出标注图像，其中图像中表示车道标记1004A-1004D的像素被标注为车道标记的部分。在一些实施例中，仅表示车道标记1004A-1004D的像素可以被标注和/或与标签或车道标记类型标识符相关联。可替代地，在一些实施例中，可以标注每个像素，甚至是那些不表示车道标记1004A-1004D的像素，并且标注图像可以和二进制图进行“与(and)”运算，以隔离车道标记1004A-1004D的标签。
在一些实施例中，标注图像可能不是全分辨率图像。替代地或另外地，标注图像可以不具有与图像捕捉单元122捕捉的图像和/或二进制图相同的分辨率。在一些实施例中，由图像捕捉单元122捕捉的图像可以具有比标注图像更高的分辨率，因为较高分辨率可以帮助处理单元110识别车道标记，而较低分辨率可能足以指示标注的车道标记。例如，对于标注图像，可以将所识别出的车道标记下采样到较低分辨率，和/或对于所识别出的车道标记，可以将标注的车道标记上采样到较高的分辨率。
示例性标注的车道标记在图10B中示出，其示出了在第一图像1006中捕捉的道路1002的部分。例如，处理单元110可以识别第一图像1006中的车道标记1004C和1004D。可替代地或附加地，处理单元110可以识别车道标记1004A和1004B。一旦被识别，处理单元110可以标注车道标记1004A、1004B、1004C和1004D，和/或为所述车道标记中的一个或多个生成车道标记标识符。
在一些实施例中，车道标记可以被标注为“常规”车道标记或“车道改变”车道标记。例如，在第一图像1006中，车道标记1004A和1004D可以被标注为“常规”车道标记，而车道标记1004B和1004C可以被标注为“车道改变”车道标记。在一些实施例中，“车道改变”车道标记可以被存储为已知的地标，如上面结合图1所述。例如，车道合并或车道分离的粗略定位可以是从一个或多个“车道改变”车道标记的交叉点和/或相对位置而确定的。这种“车道改变”地标可以改进在地图创建中使用的定位技术，例如REMTM。在一些实施例中，定位技术可以依赖于由行驶在相同道路上的大量车辆所识别的“车道改变”车道标记，以确定哪些车道标记能被融合而哪些不能融合。例如，基于所识别的“车道改变”车道标记，定位技术可以辨别出在分离之前的车道标记的许多标识可以被融合到一致的模型中，而在分离之后的车道标记的许多标识则不能。作为另一示例，基于所识别的“车道改变”车道标记，定位技术可以辨别出合并之后的车道标记的许多标识可以被融合到一致模型中，而在分离之前的车道标记的许多标识则不能。
在一些实施例中，处理单元110还可以对于一个或多个识别出的车道标记，确定车道标记与主车辆200的关系。例如，车道标记1004A可以被标注为“主道左侧”车道标记，其指示主车辆200正在行驶的“主”车道的左侧。作为另一示例，车道标记1004B可以被标注为“主道右侧”车道标记，其指示主车辆200正在行驶的“主”车道的右侧。车道标记1004D可以被标注为“下一右道右侧”车道标记，其指示主车辆200的“下一右侧”车道的右侧。
如图10B所示，处理单元110可以附加地对于第二图像1008中的车道标记，识别并标注车道标记和/或生成车道标记标识符。第二图像1008可以是比第一图像1006更晚的时间捕捉的和/或比第一图像1006沿道路1002更远的位置处捕捉的。在一些实施例中，第一图像1006和第二图像1008可以允许处理单元110识别并标注道路1002上前方距离中的车道标记。图像之间的距离可以是例如25米至75米的距离。其他距离也是可能的。
如图所示，可以在第二图像1008中识别车道标记1004A和1004D。处理单元110可以用“主道左侧”车道标记来标注车道标记1004A，其再次指示主车辆200正在行驶的车道的左侧。然而，车道标记1004D可以在第二图像1008中被标注为“主道右侧”车道标记，其指示主车辆200正在行驶的车道的右侧。
在一些实施例中，在步骤910中确定所识别出的车道标记(或多个车道标记)的类型可以涉及确定图像之间车道标记标签和/或车道标记标识的变化。这种确定可以允许处理单元110进一步确定什么类型的合并车道(例如，“合并式”合并车道、“并入到式”合并车道、或“并自于式”合并车道)或者什么类型的分离通道(例如，“分离式”分离车道、“车道开通式”分离车道、或“车道扩展式”分离车道)正出现在道路1002上。例如，参考图10B，处理单元110可以确定第一图像1006包括“主道左侧”车道标记(示为车道标记1004A并标注为“HL”)、“主道右侧”车道标记(示为车道标记1004B并标注为“HR”)，以及“下一右道右侧”车道标记(示为车道标记1004并标注为“NRR”)，如上所述。处理单元110可以进一步确定第二图像1008仍包括“主道左侧”车道标记(标注为“HL”)和“主道右侧”车道标记(标注为“HR”)，但不包括第一图像1006中的“下一右道右侧”车道标记。基于这些车道标记标签，处理单元110可以确定部分地由第一图像1006中的“下一右道右侧”车道标记所描绘的“下一右侧”车道将并入到主车辆200正在行驶的“主”车道中。因此，处理单元110可以确定目标车辆802正行驶在“并自于式”合并车道中，这意味着主车辆200可以为目标车辆802从其车道(“下一右侧”车道)并入到主车辆200正在行驶的“主”车道中进行准备。
作为另一示例，处理单元110可以确定第一图像1006包括“主道左侧”车道标记、“主道右侧”车道标记，以及“下一右道右侧”车道标记。处理单元110可以进一步确定，在第二图像1008中，“主道右侧”车道标记已经变为“主道左侧”车道标记，并且“下一右道右侧”车道标记已经变为“主道右侧”车道标记。第二图像1008可以不包括“主道左侧”车道标记。基于这些车道标记标签，处理单元110可以确定由第一图像1006中的“主道右侧”和“主道左侧”车道标记所描绘的“主”车道将并入到部分地由“下一右道右侧”车道标记所描绘的、目标车辆802正在其中行驶的“下一右侧”车道中。因此，处理单元110可以确定目标车辆802正行驶在“并入到式”合并车道中，这意味着主车辆200可以准备从“主”车道并入到目标车辆802正在行驶的“下一右道右侧”车道中。
虽然图10B预期到了目标车辆802，但是应理解，在一些实施例中，即使不存在目标车辆，车道标记标签也可以用于确定主车辆200的导航动作。例如，在一些实施例中，如上所述，被馈送了标注图像的神经网络可以被配置为基于标注的车道标记来识别车道合并，如图10B所示，并且主车辆200可以采取导航动作以适应车道合并。
图11是示出与所公开的实施例一致的、用于基于车道改变分析来确定一个或多个导航动作的另一示例性处理的流程图。处理1100可以例如由上述处理单元110执行。出于说明的目的，将参照图12A和图12B描述处理1100，图12A是与所公开的实施例一致的、具有车道分离的车行道上的自主车辆(例如，车辆200)的俯视图，图12B是与所公开的实施例一致的、对车道分离的示例性车道改变分析的图示。在下面的讨论中，自主车辆被称为主车辆(例如，车辆200)，并且可以包括如上面结合图1所讨论的系统100的任何一个或多个部件。
在步骤1102，处理单元110可以从图像捕捉设备接收表示主车辆的环境的多个图像。环境包括主车辆正在行驶的道路。例如，如图12A所示，图像捕捉设备122可以捕捉表示主车辆200的环境1200的多个图像。环境1200可以包括主车辆200正在行驶的道路1202，并且道路1202可以包括车道标记1204A-1204D。图像捕捉设备122、道路1202和车道标记1204A-1204D可以采用上面对于图10的图像捕捉设备122、道路1002和车道标记1004A-1004D描述的任何形式。
如上所述，一个或多个图像捕捉设备(例如，图像捕捉设备122)可以捕捉表示环境1200的多个图像。在一些实施例中，由图像捕捉设备122捕捉的图像可以包括道路1202，和/或在道路1202上的一个或多个车道标记1204A-1204D的表示。图像可以采用上面结合图9对于图像(或多个图像)描述的任何形式。
在步骤1104，处理单元110可以分析多个图像中的至少一个，以识别行驶在该道路的、主车辆正在行驶的车道中的目标车辆。也就是说，在分离车道情形中，在分离之前，目标车辆可以行驶在主车辆的前方并且行驶在与主车辆相同的车道中。例如，如图12A所示，由图像捕捉单元122捕捉的图像(或多个图像)可以包括在主车辆200正在行驶的道路1202的车道中、在主车辆100前方行驶的目标车辆802的表示。处理单元110可以使用例如以上结合图4描述的单眼图像分析模块402和/或立体图像分析模块404来分析图像(或多个图像)，以识别目标车辆802。
在步骤1106，处理单元110可以分析多个图像中的至少一个以识别与该车道相关联的多个车道标记。例如，如图12A所示，由图像捕捉单元122捕捉的图像(或多个图像)可以包括道路1202上的车道标记1204A和1204B的表示。在一些实施例中，图像(或多个图像)可以附加地包括车道标记1204C和1204D。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404和/或以上述的任何方式来分析图像(或多个图像)，以识别车道标记1204A-1204D。
在步骤1108，处理单元110可以检测至少一个识别出的车道标记的一个或多个特性。检测到的车道标记特性(或多个车道标记特性)可以包括，例如，至少一个识别出的车道标记到诸如道路上的另一个标记之类的参考点的距离。例如，参考图12A，检测到的车道标记特性(或多个车道标记特性)可以包括车道标记1204A与1204C之间或车道标记1204B与1204D之间的距离。作为另一示例，所检测到的车道标记特性可以包括至少一个识别出的车道标记到另一个车道标记的分离。例如，参考图12A，所检测到的车道标记特性(或多个车道标记特性)可以包括车道标记1204B到车道标记1204C的分离。作为又一个示例，所检测到的车道标记特性(或多个车道标记特性)可以包括至少一个识别出的车道标记与道路的至少一个其他车道标记之间的横向距离的改变。例如，参考图10A，所检测到的车道标记特性(或多个车道标记特性)可以包括在主车辆前方的距离上车道标记1204A与1204C之间或车道标记1204B与1204C之间的横向距离的改变。可以如上所讨论的，包括例如结合图9，来确定横向距离的这种改变。
在步骤1110，处理单元110可以使用一个或多个检测到的车道标记特性来确定至少一个识别出的车道标记的类型。在图12A所示的示例中，所确定的车道标记的类型可以是分离车道。分离车道可以包括“分离式”分离车道、“车道开通式”分离车道、或“车道扩展式”分离车道，如上文结合图8B所述。在一些情况下，分离车道可以包括出口车道(例如，道路或诸如州际公路的高速公路的出口车道)。
在检测到的车道标记特性(或多个车道标记特性)包括例如至少一个识别出的车道标记到诸如道路上的另一标记之类的参考点的距离的实施例中，使用检测到的车道标记特性(或多个车道标记特性)来确定所识别出的车道标记(或多个车道标记)的类型可以涉及：确定所识别出的车道标记(或多个车道标记)与参考点之间的距离是否随着距主车辆的距离增加(例如，在沿着主车辆前方的道路的距离上)而增加、减小或保持恒定。例如，参考图12A，如果检测到的车道标记特性(或多个车道标记特性)包括车道标记1204A与1204C之间和/或车道标记1204B与1204D之间的距离，则车道标记之间的距离增加可以指示车道标记类型是分离车道。
可替代地或另外地，在一些实施例中，检测到的车道标记特性可以包括对所识别出的车道标记(或多个车道标记)到另一车道标记的分离的识别。例如，参考图12A，如果检测到的车道标记特性包括车道标记1204B到车道标记1204B和车道标记1204C的分离，则处理单元110可以确定车道标记类型是分离车道。
另外可替代地或附加地，如果检测到的车道标记特性(或多个车道标记特性)包括至少一个识别出的车道标记与道路的至少一个其他车道标记之间的横向距离的改变，则使用检测到的车道标记特性(或多个车道标记特性)来确定所识别出的车道标记(或多个车道标记)的类型可以涉及：确定所识别出的车道标记(或多个车道标记)与其他车道标记(或多个其他车道标记)之间的横向距离是否随着距主车辆的距离增加(例如，在沿着主车辆前方的道路的距离上)而增加、减小或保持恒定。例如，参考图12A，如果检测到的车道标记特性(或多个车道标记特性)包括车道标记1204A与1204C之间和/或车道标记1204B与1204D之间的横向距离，则车道标记之间的横向距离增加可以指示车道标记类型是分离车道。可以如上所讨论的，包括例如结合图9，来确定在沿着主车辆前方的道路的距离上的车道标记之间的横向距离的这种改变。
返回图11，在步骤1112，处理单元110可以确定目标车辆的至少一个特性。在一些实施例中，确定目标车辆的特性(或多个特性)可以涉及分析多个图像，如上面结合步骤1104和1106所描述的。所确定的目标车辆的特性(或多个特性)可以采用上面结合步骤912所描述的任何形式。
在步骤1114，处理单元110可以基于所确定的车道标记类型和所确定的目标车辆的特性来确定主车辆的导航动作。导航动作可以采用上述任何形式，包括例如结合图9的步骤914。
尽管步骤1114预期了基于所确定的车道标记类型和所确定的目标车辆的特性两者来确定主车辆的导航动作，但是应理解，在一些实施例中，可以仅基于所确定的导航动作或者仅基于所确定的目标车辆的特性来确定导航动作。例如，虽然图12A示出了目标车辆802，但是在一些实施例中，可以不存在目标车辆802，并且可以仅基于所确定的车道标记类型来确定导航动作。
例如，如果所确定的目标车辆的特性(或多个特性)包括目标车辆相对于所识别出的车道标记(或多个车道标记)的检测到的横向运动，则可以确定主车辆的导航动作以适应目标车辆从道路驶出。例如，参考图12A，处理单元110可以使用目标车辆802相对于车道标记1204B的检测到的横向运动，来确定目标车辆802是否将留在主车辆802正在行驶的车道中或是将驶出道路1202。例如，如果目标车辆802在行驶时继续平行于车道标记1204B，则目标车辆802更可能将留在主车辆200正在行驶的车道中，并且主车辆200可以维持安全的跟随距离并且不加速。另一方面，如果横向距离指示目标车辆远离车道标记1204B(或朝向例如车道标记1204C)的轻微移动，则主车辆200可以预期目标车辆802将驶出道路1202，并且主车辆802可以加速或继续维持其速度。
在一些实施例中，导航动作还可以取决于目标车辆的预测轨迹。作为示例，参考图12A，如果预测轨迹指示目标车辆802将驶出道路1202，则主车辆200可以加速，以使主车辆200与目标车辆800之间的车头间距(headway)靠近和/或可以在左侧超过目标车辆802。作为另一示例，如果预测轨迹指示目标车辆802将保持在道路1202上，则主车辆200可减速以维持主车辆200与目标车辆802之间的安全距离。
在一些实施例中，所确定的主车辆的导航动作可以涉及主车辆的横向控制。例如，如图12A所示，道路1202分离以形成出口车道，并且主车辆200可以保持在道路1202上以到达其预期目的地，而不是使用出口车道驶出道路1202。因此，处理单元110可以识别车道标记1204A(例如，经由对一个或多个图像捕捉设备的一个或多个捕捉图像的分析)，该车道标记1204A是描绘“主车道”左边缘的“主道左侧”车道标记，并且处理单元110可以确定主车辆在经过出口车道时应当维持横向控制。具体地，由处理单元110确定的导航动作可以包括将主车辆200维持在距车道标记1204A恒定的横向距离处，以便保持在道路1202上。可替代地，如果主车辆200可以使用出口车道驶出道路1202以便到达其预期目的地，则处理单元110可以识别车道标记1204D(例如，经由对一个或多个图像捕捉设备的一个或多个捕捉图像的分析)，该车道标记1204D是描绘出口车道的右边缘的“近右道右侧”车道标记，并且处理单元110可以确定主车辆在驶出道路1202时应当维持横向控制。具体地，由处理单元110确定的导航动作可以包括将主车辆200维持在距车道标记1204D恒定的横向距离处，以便驶出道路1202。
可替代地或另外地，所确定的主车辆的导航动作可以涉及沿着道路的曲率使主车辆转向。例如，如图12A所示，如果道路1202分离以形成出口车道，并且主车辆200要保持在道路1202上，则处理单元110可以识别作为描绘“主车道”的左边缘的“主道左侧”车道标记的车道标记1204A，以估计道路1202的曲率，同时忽略使用作为描绘出口车道的右边缘的“近右道右侧”车道标记的车道标记1204D。
在一些实施例中，除了确定主车辆的导航动作之外或作为确定主车辆的导航动作的一部分，处理单元110还可以预测目标车辆的导航动作。例如，处理单元110可以基于目标车辆正在行驶的车道的类型，来预测目标车辆的导航动作。如果目标车辆行驶在分离车道中，则处理单元110可以预测目标车辆将驶出道路。
例如，参考图12A，处理单元110可以识别目标车辆802相对于车道标记1204C(其是分离车道标记)的位置，以便确定目标车辆802是否将驶出道路1202。例如，如果目标车辆802与车道标记1204C之间的横向距离恒定或减小，则处理单元110可以确定目标车辆802将驶出道路1202。另一方面，如果处理单元110确定目标车辆802与车道标记1204C之间的横向距离增加，则处理单元110可以确定目标车辆802将不会驶出道路1202。以这种方式，处理单元110可以确定目标车辆802是否正在跟踪出口车道，并且相应地，甚至在目标车辆802越过车道标记1204B进入出口车道之前，确定目标车辆802是否将驶出道路1202。在一些实施例中，可以基于预测轨迹，来确定目标车辆的导航动作。例如，如果预测到目标车辆802将驶出道路1202，则主车辆200可以加速或继续维持其速度。
在一些实施例中，除了识别任何车道标记1204A-1204D之外，处理单元110还可以标注任何车道标记1204A-1204D。所确定的车道标记标签(或多个车道标记标签)可以识别目标车辆和主车辆正在行驶的车道的类型。在一些实施例中，所确定的车道标记标签(或多个车道标记标签)可以将车道的类型识别为合并车道，诸如“合并式”合并车道、“并入到式”合并车道、或“并自于式”合并车道，如上面结合图8A所述。可替代地，在一些实施例中，所确定的车道标记标签(或多个车道标记标签)可以将车道的类型识别为分离车道，例如“分离式”分离车道、“车道开通式”分离车道、或“车道扩展式”分离车道，如上面结合图8B所述。生成标签可以涉及将图像馈送到神经网络，如上面结合图9所述。此外，标注图像可以采用上面结合图9描述的任何形式。
标注的车道标记的示例在图12B中示出。如图所示，处理单元110可以识别并标注第一图像1206中的标记。例如，车道标记1204A可被标注为“主道左侧”车道标记(标注为“HL”)，其指示主车辆200正在行驶的“主”车道的左侧。车道标记1204B可以被标注为“主道右侧”车道标记(标注为“HR”)，其指示主车辆200正在行驶的“主”车道的右侧。
如图12B所示，处理单元110可以附加地识别并标注第二图像1208中的车道标记。如图所示，可以在第二图像1208中识别车道标记1204A、1204B和1204D。处理单元110可以再次用“主道左侧”车道标记来标注车道标记1204A，并且可以再次用“主道右侧”车道标记来标注车道标记1204B。没有出现在第一图像1206中的车道标记1204D可以在第二图像1208中被标注为“下一右道右侧”车道标记，其指示主车辆200正在行驶的车道右边的车道的右侧。
尽管图12B预期了目标车辆802，但是应理解，在一些实施例中，即使不存在目标车辆，车道标记标签可以用于确定主车辆200的导航动作。例如，在一些实施例中，如上所述，被馈送了标注图像的神经网络可以被配置为基于标注的车道标记来识别如图12B所示的车道分离，并且主车辆200可以采取导航动作以适应该车道分离。
如上所述，所确定的车道标记标签(或多个车道标记标签)可以识别目标车辆和主车辆正在行驶的车道的类型。因此，处理单元110可以基于所识别出的车道标记和/或车道标签，来确定目标车辆正在行驶的车道的类型。
在一些实施例中，确定目标车辆正在行驶的车道的类型可以涉及确定所识别出的车道标记中的至少两个之间的横向距离的改变。例如，如果至少两个识别出的车道标记之间的横向距离的改变增加，则处理单元110可以确定目标车辆正在行驶的车道是分离车道。例如，参考图12B，至少两个识别出的车道标记可以是车道标记1204B和1204D。处理单元110可以确定车道标记1204B与1204D之间的横向距离的改变，以便确定目标车辆802正在行驶的车道的类型。如图所示，车道标记1204B与1204D之间的横向距离正在增加。也就是说，在靠近主车辆200的距离处，车道标记1204B与1204D之间的横向距离小于距离主车辆200更远处的车道标记1204B与1204D之间的横向距离。因此，处理单元110可以确定目标车辆802正行驶在分离车道中。在一些实施例中，处理单元110可以使用地图数据(例如，来自地图数据库160)来验证所确定的车道类型。
可替代地或另外地，在一些实施例中，确定目标车辆正在行驶的车道的类型可以涉及确定图像之间的车道标记标签的变化或特定图像中的车道标记之间的变化。这种确定可以允许处理单元110进一步确定什么类型的合并车道(例如，“合并式”合并车道、“并入到式”合并车道、或“并自于式”合并车道)或什么类型的分离通道(例如，“分离式”分离车道、“车道开通式”分离车道、或“车道扩展式”分离车道)正出现在道路1202上。例如，参考图12B，处理单元110可以确定第一图像1206包括“主道左侧”车道标记(标注为“HL”)和“主道右侧”标记(标注为“HR”)，如上所述。处理单元110可以进一步确定第二图像1208仍包括“主道左侧”车道标记(标注为“HL”)和“主道右侧”车道标记(标注为“HR”)，但还包括“下一右道右侧”车道标记(标注为“NRR”)。基于这些车道标记标签，处理单元110可以确定至少部分地由第二图像1206中的“下一右道右侧”车道标记所描绘的“下一右侧”车道将从主车辆200正在行驶的“主”车道扩展。相应地，处理单元110可以确定目标车辆802正行驶在“车道扩展式”分离车道中。由于“车道扩展式”分离车道位于道路1202的右侧，因此处理单元110可以确定其类似于目标车辆802正在行驶的“下一右侧”车道是出口车道，这意味着主车辆200可以为目标车辆802从道路1202驶出进行准备。
图13是示出与所公开实施例一致的、基于车道改变分析确定一个或多个导航动作的另一示例性处理的流程图。处理1300可以例如由上述处理单元110执行。出于说明的目的，将参考图14A-14C以及图15A-15C来描述处理1300，图14A-14C是与所公开的实施例一致的、对车道合并的示例性车道改变分析的图示，以及图15A-15C是与所公开的实施例一致的、对车道分离的示例性车道改变分析的图示。在下面的讨论中，自主车辆被称为主车辆(例如，车辆200)，并且可以包括如上面结合图1所讨论的系统100的任何一个或多个部件。
如图所示，处理1300开始于步骤1302，从图像捕捉设备接收表示主车辆的环境的多个图像。环境包括主车辆正在行驶的道路。图像捕捉设备122和图像可以分别采用上面结合图19对于图像捕捉设备122和图像(或多个图像)描述的任何形式。
由图像捕捉设备122捕捉并且表示具有车道合并的道路1402的示例图像1400在图14A中示出。如图14A所示，图像1400可以表示主车辆200的环境。例如，图像1400可以包括主车辆200正在其上行驶的道路1402以及道路1402上的车道标记1404A-1404E的表示。道路1402和车道标记1404A-1404E可以采用上面结合图10对于道路1002和车道标记1004A-1004D描述的任何形式。
由图像捕捉设备122捕捉并且表示具有车道分离的道路1502的另一示例图像1500在图15A中示出。如图15A所示，图像1500可以表示主车辆200的环境。例如，图像1500可以包括主车辆200正在其上行驶的道路1502以及车道标记1504A-1504E的表示。道路1502和车道标记1504A-1504E可以采用上面结合图10对于道路1002和车道标记1004A-1004D描述的任何形式。
返回图13，在步骤1304，处理单元110可分析多个图像中的至少一个以识别目标车辆。如前所述，目标车辆可以行驶在与主车辆正在行驶的车道相同的车道中，或者可以行驶在与主车辆正在行驶的车道不同的车道中。例如，如图14A所示，在一些实施例中，在主车辆200和目标车辆802接近车道合并时，目标车辆802可以在与主车辆200正在行驶的车道不同的车道中行驶在主车辆200前方。作为另一示例，如图15A所示，在一些实施例中，在主车辆200和目标车辆802接近车道分离时，目标车辆802可以在与主车辆200正在行驶的车道相同的车道中行驶在主车辆200的前方。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404，来分析捕捉图像中的一个或多个以识别目标车辆802。
在步骤1306，处理单元110可以分析多个图像中的至少一个，以识别与目标车辆正在行驶的车道相关联的多个车道标记。例如，如图14A所示，处理单元可以分析图像1400，以识别一个或多个车道标记1404A-1404E。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404和/或以上面讨论的任何方式，来分析图像1400以识别车道标记1404A-1404E。作为另一示例，如图15A所示，处理单元可以分析图像1500以识别一个或多个车道标记1504A-1504E。处理单元110可以使用例如上面结合图4描述的单眼图像分析模块402和/或立体图像分析模块404和/或以上面讨论的任何方式，来分析图像1500以识别车道标记1504A-1504E。
返回图13，在步骤1308，处理单元110可以确定所识别出的车道标记中的至少一个的车道标记标签。在一些实施例中，确定标签可以涉及将图像(或多个图像)馈送到神经网络，诸如上面结合图4描述的神经网络和/或卷积神经网络。可以使用与一个或多个图像相关联地存储的标注图像和/或车道标记标识符来训练神经网络。与标签和/或车道标记标识符相关联的标注图像或图像可以由神经网络从各种资源(诸如一个或多个数据库)接收。该一个或多个数据库可以位于本地(例如，包括在系统100中)和/或远程(例如，通过诸如蜂窝网络和/或因特网等网络可利用的)并且经由例如系统100的无线收发器172接收。通过例如存储与识别出的车道标记相关联的标签(例如，合并或分离标签)，来完成对所存储图像的标注。在一些实施例中，可以不对每个识别出的车道标记进行标注；相反，标注可以仅限于与检测车道改变和确定车道类型相关的那些车道标记，如下所述。最终，神经网络可以变得能够自动地识别并标注车道标记。
供例如神经网络使用的标注图像1406的示例在图14B中示出。如图所示，标注图像1406包括具有车道合并的道路1402的表示，并且车道标记1404A-1404E已被标注，如不同的线条样式所示。例如，车道标记1404A、1404B和1404E上的点划线可以指示“常规”车道标记，其不形成车道合并的一部分，车道标记1404C上的小虚线可以指示合并车道的内部部分，以及车道标记1404D上的实线可以指示合并车道的外部部分。供神经网络使用的标注图像1506的另一示例在图15B中示出。如图所示，标注图像1506包括具有车道分离的道路1502的表示，并且车道标记1504A-1504E已被标注，如不同的线条样式所示。例如，车道标记1504A、1504B和1504C上的点划线可以指示“常规”车道标记，其不形成车道分离的一部分，车道标记1504D上的小虚线可以指示分离车道的内部部分，以及车道标记1504E上的实线可以指示分离车道的外部部分。虽然图14B和15B描绘了不同线条样式形式的标签，但是在一些实施例中，标签可以替代地或另外地采用着色、字母和/或数字标记或与标注的车道标记相关联的其他指示符的形式。通过例如机器学习，该神经网络可以使用标注图像1406和/或1506来改进车道标记标注。
在一些实施例中，可以对于车道标记与主车辆200的关系，来标注车道标记。例如，参考图14C和标注图像1410，车道标记1404B可以标注为“主道左侧”(“HL”，如图所示)车道标记，其指示主车辆200正在行驶的“主”车道的左侧，并且车道标记1404C可以标注为“主道右侧”(“HR”，如图所示)车道标记，其指示“主”车道的右侧。附加地，如图所示，车道标记1404A可以被标注为“下一左道左侧”(“NLL”，如图所示)车道标记，其指示紧邻“主车道”的左侧的“下一左侧”车道的左侧。除了“主道左侧”车道标记之外，车道标记1404B可以被标注为“下一左道右侧”(“NLR”，如图所示)车道标记，其指示紧邻“主车道”的左侧的“下一左侧”车道的右侧。车道标记1404E可以被标注为“下一右道右侧”(“NRR”，如图所示)车道标记，其指示紧邻“主”车道的右侧的“下一右侧”车道的右侧。如图所示，形成车道合并的车道标记1404C和1404D可以被标注为“内部”和“外部”车道合并标记：车道标记1404C可以被标注为“内部车道合并”(“ILM”，如图所示)车道标记，而车道标记1404D可以被标注为“外部车道合并”(“OLM”，如图所示)车道标记。
作为另一示例，参考图15C和标注图像1510，车道标记1504B可以被标注为“主道左侧”(“HL”，如图所示)车道标记，其指示主车辆200正在行驶的“主”车道的左侧，并且车道标记1504C可以被标注为“主道右侧”(“HR”，如图所示)车道标记，其指示“主车道”的右侧。附加地，如图所示，车道标记1504A可以被标注为“下一左道左侧”(“NLL”，如图所示)车道标记，其指示紧邻“主车道”的左侧的“下一左侧”车道的左侧。除了“主道左侧”车道标记之外，车道标记1504B可以被标注为“下一左道右侧”(“NLR”，如图所示)车道标记，其指示紧邻“主车道”的左侧的“下一左侧”车道的右侧。如图所示，形成车道分离的车道标记1504D和1504E可以被标注为“内部”和“外部”车道分离标记：车道标记1504D可以被标注为“内部车道分离”(“ILS”，如图所示)车道标记，而车道标记1504E可以被标注为“外部车道分离”(“OLS”，如图所示)车道标记。
在一些实施例中，车道标记的标签可以被存储在数据库(例如，关系数据库)中。例如，车道标记的标识符(例如，对应于车道标记标注和/或车道标记类型的标识符)可以与车道标记的标识符和/或车道标记位置(例如，地理坐标)相关联地存储在数据库中。在一些实施例中，车道标记的标识符和/或车道标记位置的数据库可以被包含在例如系统100的存储器(例如，存储器150)和/或可由系统100的处理单元110通过网络访问的远程服务器的存储器中。
返回图13，在步骤1310，处理单元110可以确定目标车辆的预测轨迹。例如，处理单元110可以基于对来自主车辆的一个或多个传感器和/或设备(例如，图像传感器、激光雷达、雷达、GPS设备、速度传感器、加速度计、悬架传感器、声学传感器等)的数据的分析，来确定目标车辆的预测轨迹。
在一些实施例中，处理单元110可以基于对由主车辆的至少一个图像捕捉设备捕捉的多个图像中的至少两个图像的分析，来确定目标车辆的预测轨迹。例如，对图像的分析可以采用上文(例如，步骤1304中)描述的任何形式。在一些实施例中，处理单元110可以基于例如目标车辆正在行驶的车道的车道标记(或多个车道标记)标签，来确定目标车辆的预测轨迹。例如，参考图14C，处理单元110可以确定标记1404C和1404D分别被标注为“内部车道合并”和“外部车道合并”，其指示目标车辆802正行驶在将在主车辆200前方与主车辆200正在行驶的车道并道的车道中。因此，处理单元110可以确定目标车辆802的预测轨迹要并入到主车辆200正在行驶的车道。在一些实施例中，通过使用车道标记标签预测目标车辆802的轨迹，处理单元110可以甚至在目标车辆802越过车道标记1404C进入该车道之前，确定目标车辆802是否将并入到主车辆200正在行驶的车道中。作为另一示例，参考图15C，处理单元110可以确定标记1504D和1504E分别被标注为“内部车道分离”和“外部车道分离”，其指示目标车辆802正行驶在将在主车辆200前方分离以形成出口车道的车道中。因此，处理单元110可以确定目标车辆802的预测轨迹可能是要驶出到出口车道，从而离开主车辆200正在行驶的车道。在一些实施例中，通过使用车道标记标签预测目标车辆802的轨迹，处理单元110可以甚至在目标车辆802越过车道标记1504D进入出口车道之前，确定目标车辆802是否将驶出到出口车道。
可替代地或另外地，为了确定目标车辆802的预测轨迹，处理单元110可以识别目标车辆802相对于一个或多个车道标记的位置。参考图14C，例如，如果目标车辆802与车道标记1404E之间的横向距离恒定或增加，则处理单元110可以确定目标车辆802将并入到主车辆200正在行驶的车道中。以这种方式，可以确定目标车辆802是否正在跟踪合并车道，并且相应地，甚至可以在目标车辆802越过车道标记1404C进入该车道之前，确定目标车辆802是否将并入到主车辆200正在行驶的车道中。
作为另一示例，参考图15C，如果目标车辆802与车道标记1504E之间的横向距离恒定或减小，则处理单元110可以确定目标车辆802将通过分离到新形成的出口车道而驶出道路1502。以这种方式，可以确定目标车辆802是否正在跟踪出口车道，并且相应地，可以甚至在目标车辆802越过车道标记1504D进入出口车道之前，确定目标车辆802是否将驶出道路1502。
返回图13，在步骤1312，处理单元110可以确定主车辆的导航动作。在一些实施例中，处理单元110可以基于所确定的车道标记标签或目标车辆的预测轨迹，来确定主车辆的导航动作。在一些实施例中，处理单元110可以基于所确定的车道标记标签和目标车辆的预测轨迹，来确定主车辆的导航动作。
例如，参考图14C，如果车道标记标注1404C和1404D指示目标车辆802正行驶在合并车道中和/或所预测的轨迹指示目标车辆802将并入到主车辆200正在行驶的车道中，则主车辆200可以减速以维持主车辆200与目标车辆802之间的安全距离。作为另一示例，参考图15C，如果车道标记标签1504D和1404E指示目标车辆802正行驶在出口车道中和/或所预测的轨迹指示目标车辆802将驶出道路1502，则主车辆200可以加速以使主车辆200与目标车辆802之间的车头间距靠近和/或可以在左侧超过目标车辆802。
已经出于说明的目的呈现了前面的描述。其并非详尽无遗，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，修改和调整对于本领域技术人员而言将是显而易见的。另外，尽管所公开的实施例的各方面被描述为存储在存储器中，但是本领域技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储设备，例如，硬盘或CD ROM，或其他形式的RAM或ROM、USB介质、DVD、蓝光、4K超高清蓝光或其他光驱介质。
基于书面描述和公开的方法的计算机程序在有经验的开发者的技能范围内。可以使用本领域技术人员已知的任何技术来创建各种程序或程序模块，或者可以结合现有软件来设计各种程序或程序模块。例如，程序部分或程序模块可以在.Net Framework、.NetCompact Framework(以及相关语言，如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML中设计或通过它们设计。
此外，虽然本文已经描述了说明性实施例，但是具有等效的元件、修改、省略、组合(例如，跨各种实施例的方面)、调整和/或改变的任何和所有实施例的范围，如本领域技术人员基于本公开的技术将理解的。权利要求中的限制将基于权利要求中采用的语言广泛地解释，并且不限于本说明书中或在申请的审查期间描述的示例。这些示例应被解释为非排他性的。此外，可以以任何方式修改所公开方法的步骤，包括通过重新排序步骤和/或插入或删除步骤。因此，其意图是说明书和示例仅被认为是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围表示。

Claims (23)

1.一种用于导航主车辆的系统，所述系统包括：
至少一个处理设备，其被编程为：
从图像捕捉设备接收表示所述主车辆的环境的多个图像，所述环境包括所述主车辆正在行驶的道路；
分析所述多个图像中的至少一个，以识别行驶在该道路的、与所述主车辆正在行驶的车道不同的车道中的目标车辆；
分析所述多个图像中的至少一个，以识别与所述目标车辆正在行驶的车道相关联的至少一个车道标记；
检测至少一个识别出的车道标记的一个或多个车道标记特性；
使用一个或多个检测到的车道标记特性来确定所述至少一个识别出的车道标记的类型；
基于所述多个图像中的至少一个来确定所述目标车辆的至少一个特性，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆相对于所述至少一个识别出的车道标记的检测到的横向运动和所述目标车辆的预测轨迹；以及
基于所确定的车道标记类型和所述目标车辆的所确定的特性来确定所述主车辆的导航动作，
其中，所确定的车道标记类型包括合并车道。
2.如权利要求1所述的系统，其中，所述一个或多个检测到的车道标记特性包括所述至少一个识别出的车道标记到参考点的距离。
3.如权利要求2所述的系统，其中，所述参考点包括所述道路的至少一个其他车道标记。
4.如权利要求1所述的系统，其中，所述一个或多个检测到的车道标记特性包括所述至少一个识别出的车道标记与所述道路的至少一个其他车道标记的交叉点。
5.如权利要求1所述的系统，其中，所述一个或多个检测到的车道标记特性包括所述至少一个识别出的车道标记与所述道路的至少一个其他车道标记之间的横向距离的改变。
6.如权利要求1所述的系统，其中，确定所述目标车辆的至少一个特性包括分析所述多个图像中的至少一个。
7.如权利要求1所述的系统，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆在所述道路上在所述主车辆前方的位置。
8.如权利要求1所述的系统，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆相对于所述主车辆的速度。
9.如权利要求1所述的系统，其中，所述主车辆的所确定的导航动作包括改变加速率。
10.如权利要求1所述的系统，其中，所述主车辆的所确定的导航动作包括主车辆的转向动作。
11.如权利要求1所述的系统，其中，所述至少一个处理设备还被编程为基于所确定的车道标记类型来预测所述目标车辆的导航动作。
12.如权利要求11所述的系统，其中，所述目标车辆的所预测的导航动作包括车道合并。
13.一种用于导航主车辆的系统，所述系统包括：
至少一个处理设备，其被编程为：
从图像捕捉设备接收表示所述主车辆的环境的多个图像，所述环境包括所述主车辆正在行驶的道路；
分析所述多个图像中的至少一个，以识别行驶在该道路的、所述主车辆正在行驶的车道中的目标车辆；
分析所述多个图像中的至少一个，以识别与所述车道相关联的至少一个车道标记；
检测至少一个识别出的车道标记的一个或多个特性；
使用一个或多个检测到的车道标记特性来确定所述至少一个识别出的车道标记的类型；
基于所述多个图像中的至少一个来确定所述目标车辆的至少一个特性，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆相对于所述至少一个识别出的车道标记的检测到的横向运动和所述目标车辆的预测轨迹；以及
基于所确定的车道标记类型和所述目标车辆的所确定的特性来确定所述主车辆的导航动作，
其中，所确定的车道标记类型包括分离车道。
14.如权利要求13所述的系统，其中，所述一个或多个检测到的车道标记特性包括所述至少一个识别出的车道标记到参考点的距离。
15.如权利要求14所述的系统，其中，所述参考点包括所述道路的至少一个其他车道标记。
16.如权利要求13所述的系统，其中，所述一个或多个检测到的车道标记特性包括至少识别出的车道标记到另一个车道标记的分离。
17.如权利要求13所述的系统，其中，所述一个或多个检测到的车道标记特性包括所述至少一个识别出的车道标记与所述道路的至少一个其他车道标记之间的横向距离的改变。
18.如权利要求13所述的系统，其中，确定所述目标车辆的至少一个特性包括分析所述多个图像中的至少两个。
19.如权利要求13所述的系统，其中，所述主车辆的所确定的导航动作包括维持或增加加速率。
20.如权利要求13所述的系统，其中，所述至少一个处理设备还被编程为基于所确定的车道标记类型来预测所述目标车辆的导航动作。
21.如权利要求20所述的系统，其中，所述目标车辆的所预测的导航动作包括车道改变或驶出所述道路。
22.一种用于导航主车辆的方法，所述方法包括：
从图像捕捉设备接收表示所述主车辆的环境的多个图像，所述环境包括所述主车辆正在行驶的道路；
由至少一个处理设备分析所述多个图像中的至少一个，以识别行驶在该道路的、与所述主车辆正在行驶的车道不同的车道中的目标车辆；
分析所述多个图像中的至少一个，以识别与所述目标车辆正在行驶的车道相关联的至少一个车道标记；
检测至少一个识别出的车道标记的一个或多个车道标记特性；
使用一个或多个检测到的车道标记特性来确定所述至少一个识别出的车道标记的类型；
基于所述多个图像中的至少一个来确定所述目标车辆的至少一个特性，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆相对于所述至少一个识别出的车道标记的检测到的横向运动和所述目标车辆的预测轨迹；以及
基于所确定的车道标记类型和所述目标车辆的所确定的特性来确定所述主车辆的导航动作，
其中，所确定的车道标记类型包括合并车道。
23.一种用于导航主车辆的方法，所述方法包括：
从图像捕捉设备接收表示所述主车辆的环境的多个图像，所述环境包括所述主车辆正在行驶的道路；
由至少一个处理设备分析所述多个图像中的至少一个，以识别行驶在该道路的、所述主车辆正在行驶的车道中的目标车辆；
分析所述多个图像中的至少一个，以识别与所述车道相关联的至少一个车道标记；
检测至少一个识别出的车道标记的一个或多个特性；
使用一个或多个检测到的车道标记特性来确定所述至少一个识别出的车道标记的类型；
基于所述多个图像中的至少一个来确定所述目标车辆的至少一个特性，其中，所述目标车辆的至少一个所确定的特性包括所述目标车辆相对于所述至少一个识别出的车道标记的检测到的横向运动和所述目标车辆的预测轨迹；以及
基于所确定的车道标记类型和所述目标车辆的所确定的特性来确定所述主车辆的导航动作，
其中，所确定的车道标记类型包括分离车道。
CN201780067421.8A 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法 Active CN109891194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410026459.2A CN118010048A (zh) 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662415135P 2016-10-31 2016-10-31
US62/415,135 2016-10-31
PCT/US2017/059327 WO2018081807A2 (en) 2016-10-31 2017-10-31 Systems and methods for navigating lane merges and lane splits

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202410026459.2A Division CN118010048A (zh) 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法

Publications (2)

Publication Number Publication Date
CN109891194A CN109891194A (zh) 2019-06-14
CN109891194B true CN109891194B (zh) 2024-01-26

Family

ID=60515800

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202410026459.2A Pending CN118010048A (zh) 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法
CN201780067421.8A Active CN109891194B (zh) 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202410026459.2A Pending CN118010048A (zh) 2016-10-31 2017-10-31 用于导航车道合并和车道分离的系统和方法

Country Status (5)

Country Link
US (4) US10739782B2 (zh)
EP (3) EP3832263B1 (zh)
KR (2) KR20230054911A (zh)
CN (2) CN118010048A (zh)
WO (1) WO2018081807A2 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9321461B1 (en) * 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US11235777B2 (en) * 2015-10-15 2022-02-01 Harman International Industries, Incorporated Vehicle path prediction and target classification for autonomous vehicle operation
EP3400419A2 (en) * 2016-01-05 2018-11-14 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US10460600B2 (en) 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10829116B2 (en) 2016-07-01 2020-11-10 nuTonomy Inc. Affecting functions of a vehicle based on function-related information about its environment
EP3491358A4 (en) 2016-07-31 2019-07-31 Netradyne, Inc. DETERMINING THE CAUSES OF TRANSPORT EVENTS AND PROMOTING GOOD DRIVING BEHAVIOR
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10234864B2 (en) * 2017-03-07 2019-03-19 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10281920B2 (en) 2017-03-07 2019-05-07 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10095234B2 (en) 2017-03-07 2018-10-09 nuTonomy Inc. Planning for unknown objects by an autonomous vehicle
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US10331960B2 (en) * 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US10377377B2 (en) * 2017-06-08 2019-08-13 GM Global Technology Operations LLC Active lane positioning for blind zone mitigation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10373003B2 (en) * 2017-08-22 2019-08-06 TuSimple Deep module and fitting module system and method for motion-based lane detection with multiple sensors
CN107792073B (zh) * 2017-09-29 2019-10-25 东软集团股份有限公司 一种车辆换道控制方法、装置及相关设备
EP3687863A4 (en) 2017-09-29 2020-12-02 Netradyne, Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
EP4283575A3 (en) 2017-10-12 2024-02-28 Netradyne, Inc. Detection of driving actions that mitigate risk
JP2019075008A (ja) * 2017-10-18 2019-05-16 トヨタ自動車株式会社 車両制御装置
CN108229386B (zh) * 2017-12-29 2021-12-14 百度在线网络技术（北京）有限公司 用于检测车道线的方法、装置和介质
US10795367B2 (en) 2018-01-11 2020-10-06 Uatc, Llc Mapped driving paths for autonomous vehicle
US10737717B2 (en) * 2018-02-14 2020-08-11 GM Global Technology Operations LLC Trajectory tracking for vehicle lateral control using neural network
US10614717B2 (en) * 2018-05-17 2020-04-07 Zoox, Inc. Drive envelope determination
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US10663963B2 (en) * 2018-08-03 2020-05-26 Here Global B.V. Method and apparatus for visualizing future events for passengers of autonomous vehicles
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
US11126186B2 (en) 2018-09-15 2021-09-21 Toyota Research Institute, Inc. Systems and methods for predicting the trajectory of a road agent external to a vehicle
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11054834B2 (en) * 2018-10-19 2021-07-06 Waymo Llc Controlling vehicles through multi-lane turns
CN109533154B (zh) * 2018-12-07 2020-10-16 纳恩博（北京）科技有限公司 滑板车
CN113243029B (zh) * 2018-12-11 2022-07-05 日产自动车株式会社 其他车辆动作预测方法及其他车辆动作预测装置
US10803741B2 (en) * 2018-12-14 2020-10-13 Bendix Commercial Vehicle Systems Llc System and method for recording an image sequence
RU2763452C1 (ru) * 2018-12-28 2021-12-29 Ниссан Мотор Ко., Лтд. Способ помощи при вождении и устройство помощи при вождении
US20200307590A1 (en) * 2019-03-29 2020-10-01 Robert Bosch Gmbh Highway exit detection and line mirroring for vehicle trajectory determination
JP7303667B2 (ja) * 2019-05-31 2023-07-05 株式会社Subaru 自動運転支援装置
JP7201550B2 (ja) * 2019-07-29 2023-01-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11235804B2 (en) * 2019-08-06 2022-02-01 Fca Us Llc Automated vehicle lane change control techniques
JP7078021B2 (ja) * 2019-08-08 2022-05-31 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7140092B2 (ja) * 2019-11-07 2022-09-21 トヨタ自動車株式会社 運転支援装置
FR3104111B1 (fr) * 2019-12-10 2022-01-07 Psa Automobiles Sa Procédé et système pour détecter, à bord d’un véhicule automobile, l’apparition et/ou la disparition d’une voie de circulation sur une chaussée qu’emprunte le véhicule
FR3104110B1 (fr) * 2019-12-10 2022-01-07 Psa Automobiles Sa Procédé et système pour détecter, à bord d’un véhicule automobile, l’apparition et/ou la disparition d’une voie de circulation sur une chaussée en utilisant la signalisation routière horizontale
FR3104112B1 (fr) * 2019-12-10 2021-11-26 Psa Automobiles Sa Procédé et système pour déterminer, à bord d’un véhicule automobile, une trajectoire suivie par le véhicule sur une chaussée sur laquelle une voie de circulation apparaît et/ou disparaît
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
US12017681B2 (en) * 2020-03-13 2024-06-25 Baidu Usa Llc Obstacle prediction system for autonomous driving vehicles
US11468774B2 (en) 2020-03-17 2022-10-11 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
US11400934B2 (en) * 2020-03-17 2022-08-02 Honda Motor Co., Ltd. Systems and methods for cooperative ramp merge
KR102305673B1 (ko) * 2020-05-12 2021-09-28 한양대학교 산학협력단 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법
KR102443401B1 (ko) * 2020-06-29 2022-09-15 주식회사 라이드플럭스 자율주행 차량을 위한 로드 네트워크 데이터 생성 방법, 장치 및 컴퓨터프로그램
US20220048503A1 (en) 2020-08-12 2022-02-17 Argo AI, LLC Path-conditioned motion forecasting for vehicle motion planning
US11673548B2 (en) * 2020-09-10 2023-06-13 Ford Global Technologies, Llc Vehicle detection and response
KR20220078208A (ko) * 2020-12-03 2022-06-10 현대모비스 주식회사 차량의 분기 도로 주행 제어방법 및 장치
US11733054B2 (en) 2020-12-11 2023-08-22 Motional Ad Llc Systems and methods for implementing occlusion representations over road features
CN112580571A (zh) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 车辆行驶的控制方法、装置及电子设备
JP2022121103A (ja) * 2021-02-08 2022-08-19 パナソニックＩｐマネジメント株式会社 合流支援装置、合流支援システム、及び合流支援方法
US11708075B2 (en) * 2021-04-08 2023-07-25 Ford Global Technologies, Llc Enhanced adaptive cruise control
US11887381B2 (en) * 2021-04-30 2024-01-30 New Eagle, Llc Use of HCNN to predict lane lines types
US12110026B2 (en) 2021-06-02 2024-10-08 Fca Us Llc Lane split decision techniques for vehicle lateral control path planning
FR3123864A1 (fr) * 2021-06-09 2022-12-16 Psa Automobiles Sa Sélection d’un objet cible pour l’assistance à la conduite d’un véhicule
CN113327423B (zh) * 2021-06-18 2022-05-06 苏州智加科技有限公司 基于行为树的车道检测方法、装置和服务器
US20230068703A1 (en) * 2021-08-24 2023-03-02 Waymo Llc Planning system for autonomously navigating around lane-sharing road agents
US20230162597A1 (en) * 2021-11-19 2023-05-25 Qualcomm Incorporated Managing Vehicle Behavior Based On Predicted Behavior Of Other Vehicles
FR3130230B1 (fr) * 2021-12-10 2023-11-03 Renault Sas Procédé d’aide au maintien d’un véhicule sur la route lors d’un rétrécissement ou d’un élargissement de voie
KR102485099B1 (ko) * 2021-12-21 2023-01-05 주식회사 인피닉 메타 데이터를 이용한 데이터 정제 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103158705A (zh) * 2011-12-09 2013-06-19 通用汽车环球科技运作有限责任公司 用于控制本车的方法和系统
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
CN105008200A (zh) * 2013-02-21 2015-10-28 谷歌公司 用于检测附近的攻击性司机并调整驾驶模式的方法
CN105300401A (zh) * 2014-06-17 2016-02-03 星克跃尔株式会社 电子装置及其控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001253619A1 (en) 2000-04-14 2001-10-30 Mobileye, Inc. Generating a model of the path of a roadway from an image recorded by a camera
DE10323915A1 (de) * 2003-05-23 2005-02-03 Daimlerchrysler Ag Kamerabasierte Positionserkennung für ein Straßenfahrzeug
JP3925474B2 (ja) * 2003-07-18 2007-06-06 日産自動車株式会社 車線変更支援装置
US7444241B2 (en) * 2005-12-09 2008-10-28 Gm Global Technology Operations, Inc. Method for detecting or predicting vehicle cut-ins
JP5375752B2 (ja) * 2009-07-15 2013-12-25 日産自動車株式会社 車両運転支援装置
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
US8788134B1 (en) * 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US9738280B2 (en) * 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
EP3092599B1 (en) * 2013-12-04 2019-03-06 Mobileye Vision Technologies Ltd. Systems and methods for mimicking a leading vehicle
EP3154835A1 (en) 2014-06-10 2017-04-19 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
US9830517B2 (en) * 2014-06-19 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Road branch detection and path selection for lane centering
CN107111742B (zh) * 2014-08-18 2021-04-02 无比视视觉技术有限公司 在导航中对车道限制和施工区域的识别和预测
US9892296B2 (en) * 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
JP6485328B2 (ja) * 2015-11-09 2019-03-20 株式会社デンソー 車両の運転支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103158705A (zh) * 2011-12-09 2013-06-19 通用汽车环球科技运作有限责任公司 用于控制本车的方法和系统
CN104870288A (zh) * 2012-11-06 2015-08-26 谷歌公司 辅助自主车辆行驶经过车道合并的方法和系统
CN105008200A (zh) * 2013-02-21 2015-10-28 谷歌公司 用于检测附近的攻击性司机并调整驾驶模式的方法
CN105300401A (zh) * 2014-06-17 2016-02-03 星克跃尔株式会社 电子装置及其控制方法

Also Published As

Publication number Publication date
US20210072765A1 (en) 2021-03-11
US20240345593A1 (en) 2024-10-17
US10739782B2 (en) 2020-08-11
KR20190080885A (ko) 2019-07-08
EP3532801B1 (en) 2020-12-16
EP3532801A2 (en) 2019-09-04
CN118010048A (zh) 2024-05-10
US20220283591A1 (en) 2022-09-08
WO2018081807A3 (en) 2018-06-28
US20180120859A1 (en) 2018-05-03
EP3832263C0 (en) 2024-05-01
US11392135B2 (en) 2022-07-19
CN109891194A (zh) 2019-06-14
EP3832263B1 (en) 2024-05-01
KR20230054911A (ko) 2023-04-25
EP4414661A1 (en) 2024-08-14
EP3832263A1 (en) 2021-06-09
KR102524851B1 (ko) 2023-04-25
WO2018081807A2 (en) 2018-05-03
US11960293B2 (en) 2024-04-16

Similar Documents

Publication Publication Date Title
CN109891194B (zh) 用于导航车道合并和车道分离的系统和方法
US11029699B2 (en) Navigating a vehicle based on a detected barrier
US11993290B2 (en) Predicting and responding to cut in vehicles and altruistic responses
EP3548845B1 (en) Navigation based on vehicle activity
EP3854646B1 (en) Systems and methods for navigating with safe distances
CN111902694B (zh) 用于确定导航参数的系统和方法
EP3614106B1 (en) Controlling host vehicle based on detected parked vehicle characteristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant