CN110235026A - 基于对齐的图像和激光雷达信息的车辆导航 - Google Patents

基于对齐的图像和激光雷达信息的车辆导航 Download PDF

Info

Publication number
CN110235026A
CN110235026A CN201880008067.6A CN201880008067A CN110235026A CN 110235026 A CN110235026 A CN 110235026A CN 201880008067 A CN201880008067 A CN 201880008067A CN 110235026 A CN110235026 A CN 110235026A
Authority
CN
China
Prior art keywords
image
laser radar
vehicle
road
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880008067.6A
Other languages
English (en)
Inventor
E.托莱达诺
K.罗森布卢姆
E.达甘
A.齐夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Royal Vision Technology Co Ltd
Mobileye Vision Technologies Ltd
Original Assignee
Royal Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Royal Vision Technology Co Ltd filed Critical Royal Vision Technology Co Ltd
Publication of CN110235026A publication Critical patent/CN110235026A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G05D1/2435—
    • G05D1/247—
    • G05D1/646—

Abstract

提供了用于导航自主车辆的系统和方法。在一个实施方式中，用于主车辆的导航系统可以包括至少一个处理器，该至少一个处理器被编程为：接收由主车辆上的相机捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境；以及接收主车辆上的激光雷达的输出，其中激光雷达的输出表示来自主车辆周围的环境的至少一部分的多个激光反射。该至少一个处理器还可以被配置为确定激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与主车辆相关联的至少一个导航特性。

Description

基于对齐的图像和激光雷达信息的车辆导航
相关申请的交叉引用
本申请要求2017年1月26日提交的第62/450,750号美国临时专利申请和2017年7月31日提交的第62/538,925号美国临时专利申请的优先权权益。前述申请通过引用整体并入本文。
技术领域
本公开总体涉及自主车辆导航。此外，本公开涉及用于将激光雷达(LIDAR)系统输出(例如，特定的激光反射)与车辆上的相机捕捉的一个或多个图像中识别的对象相关(correlating)的系统和方法。
背景技术
随着技术的不断进步，能够在车行道上导航的完全自主车辆的目标即将出现。自主车辆可能需要考虑各种各样的因素，并且基于那些因素做出适当的决定，以安全和准确地到达期望的目的地。例如，自主车辆可能需要处理和解释可视信息(例如，从相机捕捉的信息)、来自雷达或激光雷达的信息，并且也可能使用从其它源(例如，从GPS设备、速度传感器、加速度计、悬架传感器等)获得的信息。同时，为了导航到目的地，自主车辆还可能需要识别其在特定车行道内(例如，在多车道道路内的特定车道)的地点、沿着其它车辆旁边导航、避开障碍和行人、观察交通信号和标志、在适当的交叉路口或交汇处从一条道路行进到另一条道路，并对车辆运行期间发生或进展的任何其他情况作出响应。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括一个、两个或更多个监测车辆的环境的相机。所公开的系统可以基于例如对由一个或多个相机捕捉的图像的分析来提供导航响应。导航响应还可以考虑其他数据，包括例如全球定位系统(global positioning system，GPS)数据、传感器数据(例如，来自加速度计、速度传感器、悬架传感器等)、和/或其他地图数据。
提供了用于导航自主车辆的系统和方法。在一个实施方式中，用于主车辆的导航系统可以包括至少一个处理器，该至少一个处理器被编程为：接收由主车辆上的相机捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境；以及接收主车辆上的激光雷达的输出，其中激光雷达的输出表示来自主车辆周围的环境的至少一部分的多个激光反射。该至少一个处理器还可以被配置为确定激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给(attribute)在至少一个图像中识别的一个或多个对象；以及使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与主车辆相关联的至少一个导航特性。
所公开的实施例还可以包括一种车辆，该车辆包括主体、耦接到主体的相机、耦接到主体的激光雷达、以及至少一个处理器，该至少一个处理器被编程为：接收由相机捕捉的图像的流，其中捕捉的图像表示车辆周围的环境；接收激光雷达的输出，其中激光雷达的输出表示来自车辆周围的环境的至少一部分的多个激光反射；确定激光雷达的输出和相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与车辆的环境中的道路相关联的标高(elevation)或车辆的速率中的至少一个。
所公开的实施例还可以包括自主导航主车辆的方法。该方法可以包括：接收由主车辆上的相机捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境；接收主车辆上的激光雷达的输出，其中激光雷达的输出表示来自主车辆周围的环境的至少一部分的多个激光反射；确定激光雷达的输出和相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与主车辆相关联的至少一个导航特性。
与其他公开的实施例一致，非暂时性计算机可读存储介质可以存储程序指令，这些程序指令由至少一个处理设备执行并执行本文描述的任何方法。
前面的一般描述和下面的详细描述仅仅是示例性和解释性的，而不是对权利要求的限制。
附图说明
并入本公开中并构成本公开的一部分的附图示出所公开的各种实施例。在附图中：
图1是与所公开的实施例一致的示例系统的图示性表示。
图2A是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
图2B是与所公开的实施例一致的图2A中所示的车辆和系统的图示性顶视图表示。
图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的图示性顶视图表示。
图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的图示性顶视图表示。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。
图3A是与所公开的实施例一致的、包括后视镜和用于车辆成像系统的用户界面的车辆的内部的图示性表示。
图3B是与所公开的实施例一致的、配置为位置在后视镜之后并抵靠车辆挡风玻璃的相机安装的示例的图示。
图3C是与所公开的实施例一致的图3B中所示的相机安装从不同的视角的图示。
图3D是与所公开的实施例一致的、配置为位于后视镜之后并抵靠车辆挡风玻璃的相机安装的示例的图示。
图4是与所公开的实施例一致的、配置为存储用于执行一个或多个操作的指令的存储器的示例框图。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理的流程图。
图5B是示出与所公开的实施例一致的、用于在一组图像中检测一个或多个车辆和/或行人的示例处理的流程图。
图5C是示出与所公开的实施例一致的、用于在一组图像中检测道路标记和/或车道几何信息的示例处理的流程图。
图5D是示出与所公开的实施例一致的、用于在一组图像中检测交通灯的示例处理的流程图。
图5E是示出与所公开的实施例一致的、用于基于车辆路径引起一个或多个导航响应的示例处理的流程图。
图5F是示出与所公开的实施例一致的、用于确定前方车辆是否正在改变车道的示例处理的流程图。
图6是示出与所公开的实施例一致的、用于基于立体图像分析引起一个或多个导航响应的示例处理的流程图。
图7是示出与所公开的实施例一致的、用于基于三组图像的分析引起一个或多个导航响应的示例处理的流程图。
图8是与所公开的实施例一致的示例系统的图示。
图9是包括与所公开的实施例一致的系统的示例车辆的图示性侧视图表示。
图10提供了表示与示例性公开的实施例一致的图像和激光雷达输出信息的对齐的概念性图示。
图11示出了与示例性公开的实施例一致的、用于确定到目标车辆或对象的距离的基于图像的技术。
图12示出了与示例性公开的实施例一致的、用于基于经对齐的图像和激光雷达信息来确定道路标高的技术。
具体实施方式
接下来的详细描述参考附图。只要可能，在附图和接下来的描述中使用相同的附图标记来指代相同或相似的部分。尽管本文描述了若干示例性实施例，但是修改、调整和其它实施方式是可能的。例如，可以对附图中示出的组件做出替换、添加或修改，并且可以通过对所公开的方法进行步骤的替换、重新排序、移除或添加，来对本文描述的示例性方法进行修改。因此，接下来的详细描述并不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。
自主车辆概览
如贯穿本公开所使用的，术语“自主车辆”是指在没有驾驶员输入的情况下能够实现至少一个导航改变的车辆。“导航改变”是指车辆的转向、制动、或加速/减速中的一个或多个。所谓自主，是指车辆不需要是完全自动的(例如，在没有驾驶员或没有驾驶员输入的情况下完全可操作的)。相反，自主车辆包括能够在某些时间段期间在驾驶员的控制下操作，且能够在其他时间段期间无需驾驶员控制而操作的那些车辆。自主车辆还可以包括仅控制车辆导航的某些方面(诸如转向(例如，在车辆车道约束之间维持车辆路线)或在某些情况下(但并非在所有情况下)的某些转向操作)，但可以将其它方面交给驾驶员(例如，制动或在某些情况下的制动)的车辆。在一些情况下，自主车辆可以处理车辆的制动、速率控制和/或转向的某些或全部方面。
由于人类驾驶员通常依赖于可视线索和观察以便控制车辆，因此而建造了交通基础设施，其带有被设计为向驾驶员提供可视信息的车道标记、交通标志和交通灯。鉴于交通基础设施的这些设计特性，自主车辆可以包括相机以及分析从车辆的环境捕捉的可视信息的处理单元。可视信息可以包括，例如表示可由驾驶员观察到的交通基础设施的组件(例如，车道标记、交通标志、交通灯等)以及其它障碍物(例如，其它车辆、行人、碎片等)的图像。此外，自主车辆还可以使用存储的信息，诸如在导航时提供车辆环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如，来自加速计、速度传感器、悬架传感器等)和/或其它地图数据，以在车辆正在行驶的同时提供与其环境有关的信息，并且该车辆(以及其它车辆)可以使用该信息在模型上对其自身定位。一些车辆也能够在车辆之间进行通信、共享信息、改变同伴车辆的危险或车辆周围的变化等。
系统概览
图1是与所公开的示例实施例一致的系统100的框图表示。取决于特定实施方式的要求，系统100可以包括各种组件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其它合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任意数量的图像获取设备和组件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕捉设备(例如，相机、电荷耦合器件(CCD)或任意其他类型的图像传感器)，诸如图像捕捉设备122、图像捕捉设备124和图像捕捉设备126。系统100还可以包括将处理单元110通信地连接到图像获取单元120的数据接口128。例如，数据接口128可以包括用于将由图像获取单元120获取的图像数据传输到处理单元110的任何有线和/或无线的一个或多个链路。
无线收发器172可以包括被配置为通过使用射频、红外频率、磁场、或电场来交换通过空中接口到一个或多个网络(例如，蜂窝、因特网等)的传输的一个或多个设备。无线收发器172可以使用任何熟知的标准来发送和/或接收数据(例如，Wi-Fi、蓝牙智能、802.15.4、ZigBee等)。这样的传输可以包括从主车辆到一个或多个远程定位的服务器的通信。这样的传输还可以包括主车辆与在主车辆的环境中的一个或多个目标车辆之间的(单向或双向的)通信(例如，为了便于考虑到或连同在主车辆的环境中的目标车辆来协调主车辆的导航)，或者甚至向发送车辆附近的未指定的接收者的广播传输。
应用处理器180和图像处理器190两者都可以包括各种类型的基于硬件的处理设备。例如，应用处理器180和图像处理器190中的任一者或两者可以包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或适用于运行应用和适用于图像处理和分析的任何其它类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，包括例如可从诸如等制造商获得的处理器，并且可以包括各种架构(例如，x86处理器、等)。
在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何EyeQ系列处理器芯片。这些处理器设计均包括带有本地存储器和指令集的多个处理单元。这样的处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，使用在332兆赫兹下操作的90纳米-微米技术。架构由两个浮点式超线程32位RISC CPU(核)、五个视觉计算引擎(VCE)、三个矢量微代码处理器丹那利(Denali)64位移动DDR控制器、128位内部声能互连(Sonics Interconnect)、双16位视频输入和18位视频输出控制器、16通道DMA和若干外围设备构成。MIPS34K CPU管理这五个VCE、三个VMPTM和DMA、第二MIPS34KCPU和多通道DMA以及其它外围设备。这五个VCE、三个和MIPS34K CPU可以执行多功能捆绑应用所需要的密集视觉计算。在另一示例中，作为第三代处理器并且比强六倍的可以在所公开的实施例中使用。在其他示例中，可以在所公开的实施例中使用和/或当然，任何更新的或未来的EyeQ处理设备也可以与所公开的实施例一起使用。
任何本文所公开的处理设备可以被配置为执行某些功能。配置处理设备(诸如任何所描述的EyeQ处理器或其它控制器或微处理器)以执行某些功能可以包括对计算机可执行指令的编程，并使处理设备在其操作期间可获得这些指令以用于执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备编程。在其它实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备在操作期间可以访问该存储器以获得并执行所存储的指令。在任一情况下，被配置为执行本文公开的感测、图像分析和/或导航功能的处理设备表示控制主车辆的多个基于硬件的组件的专用的基于硬件的系统。
尽管图1描绘了包含在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，可以使用单个处理设备完成应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可以由两个以上的处理设备执行。另外，在一些实施例中，系统100可以包括一个或多个处理单元110，而不包括诸如图像获取单元120之类的其它组件。
处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，诸如控制器、图像预处理器、中央处理单元(CPU)、辅助电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的设备。图像预处理器可以包括用于捕捉、数字化和处理来自图像传感器的影像的视频处理器。CPU可以包括任何数量的微控制器或微处理器。辅助电路可以是任何数量的本领域公知的电路，包括高速缓存、电力供给、时钟和输入输出电路。存储器可以存储软件，该软件在由处理器执行时控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和其它类型的存储。在一个实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以被集成到处理单元110中。
每个存储器140、150可以包括软件指令，该软件指令在由处理器(例如，应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作。例如，这些存储器单元可以包括各种数据库和图像处理软件，以及训练的系统，诸如神经网络和深度神经网络。存储器单元可以包括随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光存储、磁带存储、可移动存储和/或任何其它类型的存储。在一些实施例中，存储器单元140、150可以与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储器单元可以被集成到应用处理器180和/或图像处理器190中。
位置传感器130可以包括适用于确定与系统100的至少一个组件相关联的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。可以使得来自位置传感器130的位置信息对于应用处理器180和/或图像处理器190可用。
在一些实施例中，系统100可以包括诸如用于测量车辆200的速率的速度传感器(例如，速度计)之类的组件。系统100还可以包括用于测量车辆200沿一个或多个轴的加速度的一个或多个加速度计(单轴或多轴的)。
存储器单元140、150可以包括数据库，或以任何其他形式组织的、指示已知地标的位置的数据。环境的传感信息(诸如来自激光雷达或两个或更多个图像的立体处理的图像、雷达信号、深度信息)可以与位置信息(诸如GPS坐标、车辆的自我运动等)一起处理，以确定车辆相对于已知地标的当前位置，并且改进车辆位置。这项技术的某些方面包含于被称为REMTM的定位技术中，该技术由本申请的受让人销售。
用户界面170可以包括适用于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、跟踪转轮、相机、旋钮、按钮等。利用这样的输入设备，用户能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪能力在屏幕上选择菜单选项、或通过任何其它适用于向系统100传送信息的技术来向系统100提供信息输入或命令。
用户界面170可以配备有一个或多个处理设备，其配置为向用户提供和从用户接收信息，并处理该信息以由例如应用处理器180使用。在一些实施例中，这样的处理设备可以执行指令以辨识和跟踪眼睛运动、接收和解释语音命令、辨识和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或任何其它用于向用户提供输出信息的设备。
地图数据库160可以包括任何类型的用于存储对系统100有用的地图数据的数据库。在一些实施例中，地图数据库160可以包括与各种项目在参考坐标系统中的位置有关的数据，各种项目包括道路、水特征、地理特征、商业区、感兴趣的点、餐馆、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，包括例如与任何所存储的特征相关联的名称。在一些实施例中，地图数据库160可以与系统100的其它部件在物理上位于一起。替代或附加地，地图数据库160或其一部分可以相对于系统100的其它组件(例如，处理单元110)位于远处。在这种实施例中，来自地图数据库160的信息可以通过与网络的有线或无线数据连接(例如，通过蜂窝网络和/或因特网等)而下载。在一些情况下，地图数据库160可以存储稀疏数据模型，该稀疏数据模型包括某些道路特征(例如，车道标记)或主车辆的目标轨迹的多项式表示。地图数据库160还可以包括已存储的各种辨识出的地标的表示，该地标的表示可用于确定或更新主车辆相对于目标轨迹的已知位置。地标表示可以包括数据字段，诸如地标类型、地标位置以及其他潜在标识符。
图像捕捉设备122、124和126均可以包括任何类型的适用于从环境捕捉至少一个图像的设备。此外，可以使用任何数量的图像捕捉设备来获取用于输入到图像处理器的图像。一些实施例可以仅包括单个图像捕捉设备，而其它实施例可以包括两个、三个、或甚至四个、或更多个图像捕捉设备。以下将参考图2B至图2E进一步描述图像捕捉设备122、124和126。
一个或多个相机(例如，图像捕捉设备122、124和126)可以是包括在车辆上的感测块的一部分。感测块中可以包括各种其他传感器，并且可以依靠这些传感器中的任何或全部，以形成车辆的感测的导航状态。除了相机(前方、侧方、后方等)之外，其他传感器(诸如雷达、激光雷达和声学传感器)可被包含在感测块中。另外，感测块可以包括一个或多个组件，该组件被配置为传送和发送/接收与车辆的环境有关的信息。例如，这种组件可以包括无线收发器(RF等)，其可以从相对于主车辆位于远处的源接收基于传感器的信息或与主车辆的环境有关的任何其他类型的信息。这些信息可以包括从主车辆以外的车辆系统接收的传感器输出信息或相关信息。在一些实施例中，这些信息可以包括从远程计算设备、中央服务器等接收的信息。此外，相机可以采用许多不同的配置：单个相机单元、多个相机、相机群、长FOV、短FOV、广角、鱼眼等。
系统100或其各种组件可以合并到各种不同的平台中。在一些实施例中，系统100可以被包括在车辆200上，如图2A所示。例如，车辆200可以配备有如上关于图1描述的系统100的处理单元110和任何其它组件。在一些实施例中，车辆200可以仅配备有单个图像捕捉设备(例如，相机)，而在其它实施例中，诸如结合图2B至图2E所讨论的那些实施例，可以使用多个图像捕捉设备。例如，图2A中所示的车辆200的图像捕捉设备122和124中的任一个可以是ADAS(Advanced Driver Assistance System，高级驾驶员辅助系统)成像集的一部分。
作为图像获取单元120的一部分的、被包括在车辆200上的图像捕捉设备，可以被置于任何合适的位置。在一些实施例中，如图2A至图2E，以及图3A至图3C中所示，图像捕捉设备122可以位于后视镜的附近。此位置可以提供与车辆200的驾驶员的视线相似的视线，这可以辅助确定对驾驶员而言什么是可视和不可视的。图像捕捉设备122可以被置于靠近后视镜的任何位置，而将图像捕捉设备122放置在镜子的驾驶员侧还可以辅助获得表示驾驶员的视场和/或视线的图像。
还可以使用图像获取单元120的图像捕捉设备的其它位置。例如，图像捕捉设备124可以位于车辆200的保险杠上或保险杠中。这种位置尤其可以适用于具有宽视场的图像捕捉设备。位于保险杠的图像捕捉设备的视线可以与驾驶员的视线不同，并且因此，保险杠图像捕捉设备和驾驶员可能不总是看到相同的对象。图像捕捉设备(例如，图像捕捉设备122、124和126)还可以位于其它位置中。例如，图像捕捉设备可以位于车辆200的侧视镜中的一者或两者之上或之中、车辆200的车顶上、车辆200的引擎盖上、车辆200的后备箱上、车辆200的侧面上、安装在车辆200的任何车窗上、置于车辆200的任何车窗的后面、或置于任何车窗的前面、以及安装在车辆200的前部和/或后部上的照明设备中或附近。
除了图像捕捉设备，车辆200还可以包括系统100的各种其它组件。例如，处理单元110可以被包括在车辆200上，与车辆的引擎控制单元(engine control unit，ECU)集成或分离。车辆200还可以配备有诸如GPS接收器之类的位置传感器130，并且还可以包括地图数据库160以及存储器单元140和150。
如早先讨论的，无线收发器172可以通过一个或多个网络(例如，蜂窝网络、因特网等)和/或接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且从一个或多个服务器下载数据。经由无线收发器172，系统100可以接收，例如对存储在地图数据库160、存储器140和/或存储器150中存储的数据的周期性更新或按需求更新。类似地，无线收发器172可以将来自系统100的任何数据(例如，由图像获取单元120捕捉的图像、由位置传感器130或其它传感器、车辆控制系统接收的数据等)和/或由处理单元110处理的任何数据上传到一个或多个服务器。
系统100可以基于隐私等级设置将数据上传到服务器(例如，上传到云)。例如，系统100可以实施隐私等级设置，以规定或限制发送到服务器的、可以唯一地标识车辆和/或车辆的驾驶员/所有者的数据(包括元数据)的类型。这些设置可以由用户经由例如无线收发器172来设置、可以由出厂默认设置、或由无线收发器172接收的数据来初始化。
在一些实施例中，系统100可以根据“高”隐私等级上传数据，并且在设定了设置的情况下，系统100可以传输数据(例如，与路途有关的位置信息、捕捉的图像等)，而不带有任何关于特定车辆和/或驾驶员/所有者的细节。例如，当根据“高”隐私设置来上传数据时，系统100可以不包括车辆标识编号(vehicle identification number，VIN)或车辆的驾驶员或所有者的名字，并且可以代替地传输数据(诸如，捕捉的图像和/或与路途有关的受限的位置信息)。
也可以考虑其它隐私等级。例如，系统100可以根据“中间”隐私等级向服务器传输数据，并且可以包括在“高”隐私等级下不包括的额外信息，诸如车辆的型号和/或模型和/或车辆类型(例如载客车辆、运动型多用途车辆、卡车等)。在一些实施例中，系统100可以根据“低”隐私等级上传数据。在“低”隐私等级设置下，系统100可以上传数据，并且包括足以唯一地标识特定车辆、所有者/驾驶员和/或车辆行驶过的部分路途或整个路途的信息。例如，这些“低”隐私等级数据可以包括以下中的一个或多个：VIN、驾驶员/所有者姓名、出发之前车辆的源点、车辆的期望目的地、车辆的型号和/或模型、车辆类型等。
图2A是与所公开的实施例一致的、示例车辆成像系统的图示性侧视图表示。图2B是图2A中所示的实施例的图示性顶视图例示。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其车体中包括系统100，该系统100带有位于车辆200的后视镜附近和/或靠近驾驶员的第一图像捕捉设备122、位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中的第二图像捕捉设备124、以及处理单元110。
如图2C所示，图像捕捉设备122和124两者可以都位于车辆200的后视镜附近和/或靠近驾驶员。此外，尽管图2B和图2C示出了两个图像捕捉设备122和124，应理解的是，其它实施例可以包括两个以上的图像捕捉设备。例如，在图2D和图2E中所示的实施例中，第一图像捕捉设备122、第二图像捕捉设备124和第三图像捕捉设备126被包括在车辆200的系统100中。
如图2D所示，图像捕捉设备122可以位于车辆200的后视镜附近和/或靠近驾驶员，并且图像捕捉设备124和126可以位于车辆200的保险杠区域(例如，保险杠区域210中的一个)之上或之中。并且如图2E所示，图像捕捉设备122、124和126可以位于车辆200的后视镜附近和/或靠近驾驶席。所公开的实施例不限于图像捕捉设备的任何特定数量和配置，并且图像捕捉设备可以位于车辆200内或车辆200上的任何合适的位置中。
应理解的是，所公开的实施例不限于车辆，并且可以被应用在其它情景中。还应理解，所公开的实施例不限于车辆200的特定类型，并且可以适用于所有类型的车辆，包括汽车、卡车、拖车和其它类型的车辆。
第一图像捕捉设备122可以包括任何合适类型的图像捕捉设备。图像捕捉设备122可以包括光轴。在一个实例中，图像捕捉设备122可以包括带有全局快门的AptinaM9V024WVGA传感器。在其它实施例中，图像捕捉设备122可以提供1280×960像素的分辨率，并且可以包括滚动快门。图像捕捉设备122可以包括各种光学元件。在一些实施例中，可以包括一个或多个镜头，例如用于为图像捕捉设备提供期望的焦距和视场。在一些实施例中，图像捕捉设备122可以与6毫米镜头或12毫米镜头相关联。在一些实施例中，如图2D所示，图像捕捉设备122可以配置为捕捉具有期望的视场(FOV)202的图像。例如，图像捕捉设备122可以配置为具有常规FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV，或更大的FOV。可替代地，图像捕捉设备122可以配置为具有在23至40度的范围内的窄FOV，诸如28度FOV或36度FOV。此外，图像捕捉设备122可以配置为具有在100至180度的范围内的宽FOV。在一些实施例中，图像捕捉设备122可以包括广角保险杠相机或者带有高达180度的FOV的相机。在一些实施例中，图像捕捉设备122可以是带有大约2：1的高宽比(例如，H×V＝3800×1900像素)、带有大约100度水平FOV的7.2M(百万)像素图像捕捉设备。这种图像捕捉设备可以被用来替代三个图像捕捉设备配置。由于显著的镜头失真，在图像捕捉设备使用径向对称镜头的实施方式中，这种图像捕捉设备的垂直FOV可以显著地小于50度。例如，这种镜头可以不是径向对称的，这将允许在100度水平FOV情况下垂直FOV大于50度。
第一图像捕捉设备122可以获取关于与车辆200相关联的场景的多个第一图像。多个第一图像中的每一个可以作为一系列的图像扫描线而被获取，其可使用滚动快门来捕捉。每个扫描线可以包括多个像素。
第一图像捕捉设备122可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指，图像传感器可以以该扫描速率获取与包含在特定扫描线中的每个像素相关联的图像数据。
图像捕捉设备122、124和126可以包含任何合适的类型和数量的图像传感器，例如，包括CCD传感器或CMOS传感器等。在一个实施例中，可以采用CMOS图像传感器以及滚动快门，以使得一行中的每个像素一次被读取一个，并且各行的扫描在逐行的基础上继续进行，直到已经捕捉了整个图像帧。在一些实施例中，可以相对于帧从顶部到底部顺序地捕捉各行。
在一些实施例中，本文公开的图像捕捉设备(例如，图像捕捉设备122、124和126)中的一个或多个可以构成高分辨率成像器，并且可以具有大于5M像素、7M像素、10M像素或更大像素的分辨率。
滚动快门的使用可能导致不同行中的像素在不同的时间被曝光和捕捉，这可能引起所捕捉的图像帧中的扭曲和其它图像伪像。另一方面，当图像捕捉设备122配置为利用全局或同步快门操作时，所有像素可以以相同的时间量并且在共同的曝光时段期间被曝光。其结果是，在从采用全局快门的系统收集的帧中的图像数据表示在一特定时间的整个FOV(诸如FOV 202)的快照。与之相比，在滚动快门应用中，在不同的时间，帧中的每行被曝光并且数据被捕捉。因此，在具有滚动快门的图像捕捉设备中，移动对象可能出现失真。将在下面更详细地描述这种现象。
第二图像捕捉设备124和第三图像捕捉设备126可以是任何类型的图像捕捉设备。类似于第一图像捕捉设备122，图像捕捉设备124和126中的每一个可以包括光轴。在一个实施例中，图像捕捉设备124和126中的每一个可以包括带有全局快门的Aptina M9V024WVGA传感器。可替代地，图像捕捉设备124和126中的每一个可以包括滚动快门。类似于图像捕捉设备122，图像捕捉设备124和126可以配置为包括各种镜头和光学元件。在一些实施例中，与图像捕捉设备124和126相关联的镜头可以提供FOV(诸如FOV204和206)，其等于或窄于与图像捕捉设备122相关联的FOV(诸如FOV202)。例如，图像捕捉设备124和126可以具有40度、30度、26度、23度、20度或更小的FOV。
图像捕捉设备124和126可以获取关于与车辆200相关联的场景的多个第二图像和第三图像。该多个第二图像和第三图像中的每一个可以作为第二系列图像扫描线和第三系列图像扫描线而被获取，这可以使用滚动快门进行捕捉。每个扫描线或行可以具有多个像素。图像捕捉设备124和126可以具有与被包含在第二系列和第三系列中的每个图像扫描线的获取相关联的第二扫描速率和第三扫描速率。
每个图像捕捉设备122、124和126可以放置在相对于车辆200的任何合适的位置和方向处。可以选择图像捕捉设备122、124和126的相对位置以帮助将从图像捕捉设备获取的信息融合在一起。例如，在一些实施例中，与图像捕捉设备124相关联的FOV(诸如FOV 204)可能部分地或完全地和与图像捕捉设备122相关联的FOV(诸如FOV 202)以及与图像捕捉设备126相关联的FOV(诸如FOV 206)重叠。
图像捕捉设备122、124和126可以位于车辆200上的任何合适的相对高度处。在一个实例中，在图像捕捉设备122、124和126之间可以存在高度差，其可以提供足够的视差信息以使能立体分析。例如，如图2A所示，两个图像捕捉设备122和124在不同的高度处。例如，在图像捕捉设备122、124和126之间还可以存在横向位移差，为处理单元110的立体分析给出了额外的视差信息。如图2C和图2D所示，横向位移的差异可以通过dx表示。在一些实施例中，图像捕捉设备122、124和126之间可能存在前向或后向位移(例如，范围位移)。例如，图像捕捉设备122可以位于图像捕捉设备124和/或图像捕捉设备126之后0.5到2米或以上。这种类型的位移可以使得图像捕捉设备之一能够覆盖其它(一个或多个)图像捕捉设备的潜在盲点。
图像捕捉设备122可以具有任何合适的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕捉设备122相关联的(一个或多个)图像传感器的分辨率可以比与图像捕捉设备124和126相关联的(一个或多个)图像传感器的分辨率更高、更低、或者与之相同。在一些实施例中，与图像捕捉设备122和/或图像捕捉设备124和126相关联的(一个或多个)图像传感器可以具有640×480、1024×768、1280×960的分辨率，或任何其它合适的分辨率。
帧速率(例如，在该速率下，图像捕捉设备获取一个图像帧的一组像素数据，然后继续捕捉与下一个图像帧相关联的像素数据)可以是可控的。与图像捕捉设备122相关联的帧速率可以比与图像捕捉设备124和126相关联的帧速率更高、更低或与之相同。与图像捕捉设备122、124和126相关联的帧速率可以取决于可能影响帧速率的定时的各种因素。例如，图像捕捉设备122、124和126中的一个或多个可以包括可选择的像素延迟时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一个或多个像素相关联的图像数据之前或之后施加。通常，可以根据用于该设备的时钟速率来获取对应于每个像素的图像数据(例如，每个时钟周期一个像素)。另外，在包括滚动快门的实施例中，图像捕捉设备122、124和126中的一个或多个可以包括可选择的水平消隐时段，其在获取与图像捕捉设备122、124和/或126中的图像传感器的一行像素相关联的图像数据之前或之后施加。此外，图像捕捉设备122、124和126中的一个或多个可以包括可选择的垂直消隐时段，其在获取与图像捕捉设备122、124和126的图像帧相关联的图像数据之前或之后施加。
这些定时控制可以使能与图像捕捉设备122、124和126相关联的帧速率的同步，即便每个的线扫描速率不同。此外，如将在下面更详细地讨论的，这些可选择的定时控制以及其它因素(例如，图像传感器分辨率、最大线扫描速率等)可以使能从图像捕捉设备122的FOV与图像捕捉设备124和126的一个或多个FOV重叠的区域的图像捕捉的同步，即便图像捕捉设备122的视场不同于图像捕捉设备124和126的FOV。
图像捕捉设备122、124和126中的帧速率定时可以取决于相关联的图像传感器的分辨率。例如，假定对于两个设备，线扫描速率类似，如果一个设备包括具有640×480的分辨率的图像传感器，并且另一设备包括带有1280×960的分辨率的图像传感器，则需要更多的时间来从具有更高分辨率的传感器获取一帧图像数据。
可能影响图像捕捉设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从被包含在图像捕捉设备122、124和126中的图像传感器获取一行图像数据将需要某个最低时间量。假定没有添加像素延迟时段，则用于获取一行图像数据的此最低时间量将与用于特定设备的最大线扫描速率有关。提供较高的最大线扫描速率的设备具有提供比带有较低的最大线扫描速率的设备更高的帧速率的潜力。在一些实施例中，图像捕捉设备124和126中的一个或多个可以具有高于与图像捕捉设备122相关联的最大线扫描速率的最大线扫描速率。在一些实施例中，图像捕捉设备124和/或126的最大线扫描速率可以是图像捕捉设备122的最大线扫描速率的1.25、1.5、1.75或2倍或更多倍。
在另一实施例中，图像捕捉设备122、124和126可以具有相同的最大线扫描速率，但图像捕捉设备122可以以小于或等于其最大扫描速率的扫描速率而操作。该系统可以配置为使得图像捕捉设备124和126中的一个或多个以等于图像捕捉设备122的线扫描速率的线扫描速率而操作。在其它实例中，该系统可以配置为使得图像捕捉设备124和/或图像捕捉设备126的线扫描速率可以是图像捕捉设备122的线扫描速率的1.25、1.5、1.75、或2倍或更多倍。
在一些实施例中，图像捕捉设备122、124和126可以是不对称的。也就是说，它们可包括具有不同视场(FOV)和焦距的相机。例如，图像捕捉设备122、124和126的视场可以包括关于车辆200的环境的任何期望的区域。在一些实施例中，图像捕捉设备122、124和126中的一个或多个可以配置为从在车辆200前面、车辆200后面、车辆200的侧面、或其组合的环境获取图像数据。
此外，与每个图像捕捉设备122、124和/或126相关联的焦距可以是可选择的(例如，通过包括适当的镜头等)，使得每个设备在相对于车辆200的期望的距离范围处获取对象的图像。例如，在一些实施例中，图像捕捉设备122、124和126可以获取离车辆几米之内的接近对象的图像。图像捕捉设备122、124和126还可以配置为获取离车辆更远的范围处(例如，25米、50米、100米、150米或更远)的对象的图像。此外，图像捕捉设备122、124和126的焦距可以被选择以使得一个图像捕捉设备(例如，图像捕捉设备122)可以获取相对靠近车辆的(例如，在10米内或20米内的)对象的图像，而其它图像捕捉设备(例如，图像捕捉设备124和126)可以获取离车辆200较远的(例如，大于20米、50米、100米、150米等的)对象的图像。
根据一些实施例，一个或多个图像捕捉设备122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，尤其是对于可以被用于捕捉车辆200附近的区域的图像的图像捕捉设备122、124和126。例如，图像捕捉设备122可以被用来捕捉车辆200的右侧或左侧的区域的图像，并且在这些实施例中，可能期望图像捕捉设备122具有宽FOV(例如，至少140度)。
与图像捕捉设备122、124和126中的每一个相关联的视场可以取决于各自的焦距。例如，随着焦距增加，对应的视场减小。
图像捕捉设备122、124和126可以配置为具有任何合适的视场。在一个特定示例中，图像捕捉设备122可以具有46度的水平FOV，图像捕捉设备124可以具有23度的水平FOV，并且图像捕捉设备126可以具有在23度和46度之间的水平FOV。在另一实例中，图像捕捉设备122可以具有52度的水平FOV，图像捕捉设备124可以具有26度的水平FOV，并且图像捕捉设备126可以具有在26度和52度之间的水平FOV。在一些实施例中，图像捕捉设备122的FOV与图像捕捉设备124和/或图像捕捉设备126的FOV的比率可以从1.5到2.0变化。在其它实施例中，该比率可以在1.25与2.25之间变化。
系统100可以配置为使得图像捕捉设备122的视场至少部分地或完全地与图像捕捉设备124和/或图像捕捉设备126的视场重叠。在一些实施例中，系统100可以配置为使得图像捕捉设备124和126的视场例如落入(例如，窄于)图像捕捉设备122的视场并且与图像捕捉设备122的视场共享共同的中心。在其它实施例中，图像捕捉设备122、124和126可以捕捉相邻的FOV，或者可以在它们的FOV中具有部分重叠。在一些实施例中，图像捕捉设备122、124和126的视场可以对齐，以使得较窄FOV图像捕捉设备124和/或126的中心可以位于较宽FOV设备122的视场的下半部分中。
图2F是与所公开的实施例一致的示例车辆控制系统的图示性表示。如图2F所指示的，车辆200可以包括油门调节系统220、制动系统230和转向系统240。系统100可以通过一个或多个数据链路(例如，任何用于传输数据的有线和/或无线链路)向油门调节系统220、制动系统230和转向系统240中的一个或多个提供输入(例如，控制信号)。例如，基于对由图像捕捉设备122、124和/或126获取的图像的分析，系统100可以向油门调节系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如，通过引起加速、转向、车道变换等)。此外，系统100可以从油门调节系统220、制动系统230和转向系统240中的一个或多个接收指示车辆200的运行条件(例如，速率、车辆200是否正在制动和/或转向等)的输入。以下结合图4至图7提供进一步的细节。
如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客进行交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，位于车辆200的转向杆上或附近，包括例如转向信号手柄)、按钮(例如，位于车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可以位于与后视镜310相邻。类似地，在一些实施例中，图像捕捉设备122可以位于靠近后视镜310。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如，警报)。
图3B至图3D是与所公开的实施例一致的配置为位于后视镜(例如，后视镜310)后面并与车辆挡风玻璃相对的示例相机安装370的例示。如图3B所示，相机安装370可以包括图像捕捉设备122、124和126。图像捕捉设备124和126可以位于遮光板380的后面，其中遮光板380可以相对于车辆挡风玻璃齐平(flush)并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置为使得它相对于具有匹配斜面的车辆的挡风玻璃对齐。在一些实施例中，图像捕捉设备122、124和126中的每个可以位于遮光板380的后面，例如在图3D中所描绘的。所公开的实施例不限于图像捕捉设备122、124和126、相机安装370和遮光板380的任何特定配置。图3C是图3B所示的相机安装370从前面视角的例示。
如受益于本公开的本领域技术人员将理解的，可以对前述所公开的实施例做出许多变型和/或修改。例如，并非所有组件对于系统100的操作是必要的。此外，任何组件可以位于系统100的任何适当的部件中并且组件可以被重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例性的，并且不管上述讨论的配置如何，系统100都可以提供广阔范围的功能以分析车辆200的周围并响应于该分析而导航车辆200。
如在下面更详细讨论的并且根据各种所公开的实施例，系统100可以提供各种关于自主驾驶和/或驾驶员辅助技术的特征。例如，系统100可以分析图像数据、位置数据(例如，GPS位置信息)、地图数据、速率数据和/或来自包含在车辆200中的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130以及其它传感器收集数据用于分析。此外，系统100可以分析所收集的数据以确定车辆200是否应该采取某个动作，然后无需人工干预而自动采取所确定的动作。例如，当车辆200无需人工干预而导航时，系统100可以自动地控制车辆200的制动、加速、和/或转向(例如，通过向油门调节系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据，并基于对所收集的数据的分析向车辆乘员发出警告和/或警报。下面提供关于系统100提供的各种实施例的额外的细节。
前向多成像系统
如上所讨论的，系统100可以提供使用多相机系统的驾驶辅助功能。多相机系统可以使用面向车辆的前方的一个或多个相机。在其它实施例中，多相机系统可以包括面向车辆的侧方或面向车辆的后方的一个或多个相机。在一个实施例中，例如系统100可以使用双相机成像系统，其中，第一相机和第二相机(例如，图像捕捉设备122和124)可以位于车辆(例如，车辆200)的前面和/或侧面处。其他相机配置与所公开的实施例一致，并且本文公开的配置是示例性的。例如，系统100可以包括任何数量的相机的配置(例如，一个、两个、三个、四个、五个、六个、七个、八个等)。此外，系统100可以包括相机“群集”。例如，相机群集(包括任何适当数量的相机，例如一个、四个、八个等)可以相对于车辆是前向的，或者可以面向任何其他方向(例如，后向、侧向、成角度的等)。因此，系统100可以包括多个相机群集，其中每个群集以特定方向定向，以从车辆环境的特定区域捕捉图像。
第一相机可以具有大于、小于、或部分重叠于第二相机的视场的视场。此外，第一相机可以连接到第一图像处理器以执行对由第一相机提供的图像的单目图像分析，并且第二相机可以连接到第二图像处理器以执行对由第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理后的信息)可以被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧方的变化距离处的对象得到的信息做出决定。对单目图像分析的参考可以参考基于从单个视点(例如，从单个相机)捕捉的图像执行图像分析的实例。立体图像分析可以参考基于利用图像捕捉参数的一个或多个变化而捕捉的两个或更多个图像执行图像分析的实例。例如，捕捉到的适用于执行立体图像分析的图像可以包括以下捕捉的图像：从两个或更多个不同的位置、从不同的视场、使用不同的焦距、与视差信息一起等捕捉的图像。
例如，在一个实施例中，系统100可以使用图像捕捉设备122至126实现三相机配置。在这种配置中，图像捕捉设备122可以提供窄视场(例如，34度或从大约20度至45度的范围选择的其它值等)，图像捕捉设备124可以提供宽视场(例如，150度或从大约100度至大约180度的范围选择的其它值)，并且图像捕捉设备126可以提供中间视场(例如，46度或从大约35度至大约60度的范围选择的其它值)。在一些实施例中，图像捕捉设备126可以作为主相机或基本相机。图像捕捉设备122至126可以位于后视镜310的后面并且基本上并排(例如，相距6厘米)。此外，在一些实施例中，如以上所讨论的，图像捕捉设备122至126中的一个或多个可以被安装在与车辆200的挡风玻璃齐平的遮光板380的后面。这种遮挡可以作用以减少任何来自车内的反射对图像捕捉设备122至126的影响。
在另一实施例中，如以上结合图3B和3C所讨论的，宽视场相机(例如，上述示例中的图像捕捉设备124)可以被安装得低于窄视场相机和主视场相机(例如，上述的示例中的图像捕捉设备122和126)。这种配置可以提供来自宽视场相机的自由视线。为减少反射，相机可以被安装得靠近车辆200的挡风玻璃，并且在相机上可以包括偏振器以衰减(damp)反射光。
三相机系统可以提供某些性能特性。例如，一些实施例可以包括通过一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可以包括例如三个处理设备(例如，三个如以上所讨论的EyeQ系列处理器芯片)，其中每个处理设备专用于处理由图像捕捉设备122至126中的一个或多个捕捉的图像。
在三相机系统中，第一处理设备可以从主相机和窄视场相机两者接收图像，并且执行对窄FOV相机的视觉处理，以例如检测其它车辆、行人、车道标记、交通标志、交通灯以及其它道路对象。另外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并且创建车辆200的环境的3D重建。然后第一处理设备可以组合3D重建与3D地图数据、或组合3D重建与基于来自另一相机的信息计算出的3D信息。
第二处理设备可以从主相机接收图像，并执行视觉处理以检测其它车辆、行人、车道标记、交通标志、交通灯和其它道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移计算连续图像之间的像素的视差，并创建场景的3D重建(例如，运动恢复结构(structure from motion))。第二处理设备可以将基于3D重建的运动恢复结构发送到第一处理设备以与立体3D图像进行组合。
第三处理设备可以从宽FOV相机接收图像，并处理该图像以检测车辆、行人、车道标记、交通标志、交通灯和其它道路对象。第三处理设备还可以执行额外的处理指令来分析图像，以识别图像中移动的对象，诸如正改变车道的车辆、行人等。
在一些实施例中，使得基于图像的信息的流被独立地捕捉和处理可以提供用于在系统中提供冗余的机会。这种冗余可以包括例如使用第一图像捕捉设备和从该设备处理的图像来验证和/或补充通过从至少第二图像捕捉设备捕捉和处理图像信息而获得的信息。
在一些实施例中，系统100将两个图像捕捉设备(例如，图像捕捉设备122和124)用在为车辆200提供导航辅助中，并使用第三图像捕捉设备(例如，图像捕捉设备126)来提供冗余并验证对从其它两个图像捕捉设备接收到的数据的分析。例如，在这种配置中，图像捕捉设备122和124可以提供用于通过系统100进行立体分析的图像以导航车辆200，而图像捕捉设备126可以提供用于通过系统100进行单目分析的图像以提供对基于从图像捕捉设备122和/或图像捕捉设备124捕捉的图像而获得的信息的冗余和验证。即，图像捕捉设备126(和对应的处理设备)可以被视为提供用于提供对从图像捕捉设备122和124得到的分析的检查的冗余子系统(例如，以提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可基于从一个或多个传感器接收的信息(例如，雷达、激光雷达、声学传感器，从车辆外部的一个或多个收发器接收的信息等)来补充接收到的数据的冗余和验证。
本领域的技术人员将认识到，上述相机配置、相机放置、相机数量、相机位置等仅为示例。在不脱离所公开的实施例的范围下，这些组件和关于整个系统描述的其它组件可以被组装并且在各种不同的配置中使用。关于使用多相机系统以提供驾驶员辅助和/或自主车辆功能的进一步的细节如下。
图4是可以存储/编程有用于执行与本公开实施例一致的一个或多个操作的指令的存储器140和/或存储器150的示范性功能性框图。虽然下面指代存储器140，但是本领域技术人员将认识到指令可以被存储在存储器140和/或存储器150中。
如图4所示，存储器140可以存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。所公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行在被包含在存储器140中的任何模块402至408中所存储的指令。本领域技术人员将理解，在下面的讨论中，对处理单元110的参考可以单独地或统一地指代应用处理器180和图像处理器190。因此，任何以下处理的步骤可以由一个或多个处理设备来执行。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126中的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。
在一个实施例中，单目图像分析模块402可以存储指令(诸如计算机视觉软件)，该指令在由处理单元110执行时，执行对由图像捕捉设备122、124和126中的一个获取的一组图像的单目图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与额外的传感信息(例如，来自雷达、激光雷达等的信息)组合以执行单目图像分析。如以下结合图5A至图5D所描述的，单目图像分析模块402可以包括用于在该组图像内检测一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象以及任何其它与车辆的环境相关联的特征。基于该分析，系统100(例如，经由处理单元110)可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合确定导航响应所讨论的。
在一个实施例中，立体图像分析模块404可以存储指令(诸如，计算机视觉软件)，该指令在由处理单元110执行时，执行对由从任意图像捕捉设备122、124和126中选择的图像捕捉设备的组合而获取的第一组和第二组图像的立体图像分析。在一些实施例中，处理单元110可以将来自第一组和第二组图像的信息与额外的传感信息(例如，来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕捉设备124获取的第一组图像和由图像捕捉设备126获取的第二组图像执行立体图像分析的指令。如下面结合图6所描述的，立体图像分析模块404可以包括用于检测第一组和第二组图像内的一组特征的指令，该特征诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、危险对象等。基于该分析，处理单元110可以引起车辆200中的一个或多个导航响应，诸如转向、车道变换、加速度的改变等，如以下结合导航响应模块408所讨论的。此外，在一些实施例中，立体图像分析模块404可实施与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
在一个实施例中，速度和加速度模块406可以存储被配置为对从车辆200中配置为引起车辆200的速度和/或加速度的改变的一个或多个计算和机电设备接收到的数据进行分析的软件。例如，处理单元110可以执行与速度和加速度模块406相关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来计算车辆200的目标速率。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速率、车辆200相对于道路的车道标记等的位置信息等。此外，处理单元110可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如油门调节系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速率。基于计算的目标速率，处理单元110可以向车辆200的油门调节系统220、制动系统230和/或转向系统的240传输电子信号，例如通过物理地压下制动器或松开车辆200的加速器，来触发速度和/或加速度的变化。
在一个实施例中，导航响应模块408可以存储软件，该软件可由处理单元110执行以基于从单目图像分析模块402和/或立体图像分析模块404的执行而得到的数据来确定期望的导航响应。这种数据可以包括与附近的车辆、行人和道路对象相关联的位置和速率信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或完全地)基于地图数据、车辆200的预定位置、和/或车辆200与从单目图像分析模块402和/或立体图像分析模块404的执行检测到的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于传感输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的油门调节系统220、制动系统230和转向系统240)的输入确定期望的导航响应。基于期望的导航响应，处理单元110可以向车辆200的油门调节系统220、制动系统230和转向系统240传输电子信号以触发期望的导航响应，例如通过转动车辆200的方向盘以实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如，期望的导航响应)作为对速度和加速度模块406的执行的输入，以用于计算车辆200的速率的改变。
此外，本文公开的任何模块(例如，模块402、404和406)可以实现与经训练的系统(诸如神经网络或深度神经网络)或未经训练的系统相关联的技术。
图5A是示出与所公开的实施例一致的、用于基于单目图像分析引起一个或多个导航响应的示例处理500A的流程图。在步骤510，处理单元110可以经由在处理单元110和图像获取单元120之间的数据接口128接收多个图像。例如，包含在图像获取单元120中的相机(诸如具有视场202的图像捕捉设备122)可以捕捉车辆200的前方(例如，或者车辆的侧方或后方)区域的多个图像并经过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传输到处理单元110。在步骤520，处理单元110可以执行单目图像分析模块402来分析该多个图像，如以下结合图5B至5D进一步详细描述的。通过执行该分析，处理单元110可以在该组图像内检测一组特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯等。
在步骤520，处理单元110还可以执行单目图像分析模块402来检测各种道路危险，诸如例如卡车轮胎的部件、倒下的道路标志、松散货物、小动物等。道路危险可能在结构、形状、大小和颜色上变化，这可能使这些危险的检测更加困难。在一些实施例中，处理单元110可以执行单目图像分析模块402来对该多个图像执行多帧分析以检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素中的视差来构建道路的3D地图。然后，处理单元110可以使用该3D地图来检测路面、以及存在于路面上的危险。
在步骤530，处理单元110可以执行导航响应模块408以基于在步骤520中执行的分析和如以上结合图4描述的技术引起一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起一个或多个导航响应。此外，多个导航响应可能同时地、按照顺序地或以其任意组合而发生。例如，处理单元110可以通过例如按照顺序地向车辆200的转向系统240和油门调节系统220传输控制信号，使得车辆200变换一个车道然后加速。可替代地，处理单元110可以通过例如同时向车辆200的制动系统230和转向系统240传输控制信号，使得车辆200制动同时变换车道。
图5B是示出与所公开的实施例一致的用于在一组图像中检测一个或多个的车辆和/或行人的示例处理500B的流程图。处理单元110可以执行单目图像分析模块402来实现处理500B。在步骤540，处理单元110可以确定表示可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将该图像与一个或多个预定模式比较，并且在每个图像内识别可能包含感兴趣的对象(例如，车辆、行人或其部分)的可能的位置。预定模式可以以实现高“伪命中”率和低“漏掉”率的这种方式来设计。例如，处理单元110可以将低的相似性的阈值用在预定模式以将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少漏掉(例如，未识别出)表示车辆或行人的候选对象的可能性。
在步骤542，处理单元110可以基于分类标准过滤该组候选对象以排除某些候选(例如，不相关或较不相关的对象)。这种标准可以从与存储在数据库(例如，存储在存储器140中的数据库)中的对象类型相关联的各种属性得到。属性可以包括对象形状、尺寸、纹理、位置(例如，相对于车辆200)等。因此，处理单元110可以使用一组或多组标准来从该组候选对象中拒绝伪候选。
在步骤544，处理单元110可以分析多帧图像，以确定在该组候选对象中的对象是否表示车辆和/或行人。例如，处理单元110可以跨连续帧来跟踪检测到的候选对象并累积与检测到的对象相关联的逐帧数据(例如，大小、相对于车辆200的位置等)。此外，处理单元110可以估计检测到的对象的参数并将该对象的逐帧位置数据与预测的位置比较。
在步骤546，处理单元110可以对于检测到的对象构建一组测量。这种测量可以包括例如与检测到的对象相关联的(相对于车辆200的)位置、速度和加速度值。在一些实施例中，处理单元110可以基于使用一系列基于时间的观察的、诸如卡尔曼滤波器或线性二次估计(LQE)的估计技术和/或基于对于不同对象类型(例如，汽车、卡车、行人、自行车、道路标志等)可用的建模数据，来构建该测量。卡尔曼滤波器可以基于对象的比例的测量，其中该比例测量与要碰撞的时间(例如，车辆200到达对象的时间量)成比例。因此，通过执行步骤540至546，处理单元110可以识别在该组捕捉图像内出现的车辆和行人，并得到与该车辆和行人相关联的信息(例如，位置、速率、大小)。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤548，处理单元110可以执行对一个或多个图像的光流分析，以减少检测到“伪命中”和漏掉表示车辆或行人的候选对象的可能性。光流分析可以指，例如在一个或多个图像中分析相对于车辆200的、与其它车辆和行人相关联的并且区别于路面运动的运动模式。处理单元110可以通过跨越在不同时间捕捉到的多个图像帧观察对象的不同位置，来计算候选对象的运动。处理单元110可以使用该位置和时间值作为对用于计算候选对象的运动的数学模型的输入。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540至546执行光流分析，以提供检测车辆和行人的冗余，并提高系统100的可靠性。
图5C是示出与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何信息的示例处理500C的流程图。处理单元110可以执行单目图像分析模块402来实现处理500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息以及其它相关的道路标记的分段(segment)，处理单元110可以过滤该组对象以排除那些被确定为不相关的(例如，小坑洼、小石块等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同的道路标记或车道标记的分段分组在一起。基于该分组，处理单元110可以产生表示所检测到的分段的模型，诸如数学模型。
在步骤554，处理单元110可以构建与所检测的分段相关联的一组测量。在一些实施例中，处理单元110可以创建所检测的分段从图像平面到现实世界平面上的投影。该投影可以使用具有与诸如所检测的道路的位置、斜率、曲率和曲率导数之类的物理属性对应的系数的三次多项式来表征。在产生该投影中，处理单元110可以考虑路面的变化、以及与车辆200相关联的俯仰(pitch)率和滚转(roll)率。此外，处理单元110可以通过分析出现在路面上的位置和运动线索来对道路标高进行建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关联的俯仰率和滚转率。
在步骤556，处理单元110可以通过例如跨连续图像帧跟踪所检测到的分段并累积与检测到的分段相关联的逐帧数据来执行多帧分析。由于处理单元110执行多帧分析，在步骤554中构建的该组测量可以变得更可靠并且与越来越高的置信度水平相关联。因此，通过执行步骤550至556，处理单元110可以识别在该组捕捉图像中出现的道路标记并得到车道几何信息。基于该识别和所得到的信息，处理单元110可以引起车辆200中的一个或多个导航响应，如以上结合图5A所描述的。
在步骤558，处理单元110可以考虑额外的信息源，以进一步产生车辆200在其周围的环境中的安全模型。处理单元110可以使用该安全模型来定义系统100可以在其中以安全的方式执行车辆200的自主控制的环境。为产生该安全模型，在一些实施例中，处理单元110可以考虑其它车辆的位置和运动、所检测的路缘和护栏、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑额外的信息源，处理单元110可以提供用于检测道路标记和车道几何结构的冗余，并增加系统100的可靠性。
图5D是示出了与所公开的实施例一致的用于在一组图像中检测交通灯的示例处理500D的流程图。处理单元110可以执行单目图像分析模块402来实现处理500D。在步骤560，处理单元110可以扫描该组图像，并识别出现在图像中的可能包含交通灯的位置处的对象。例如，处理单元110可以过滤所识别的对象来构造一组候选对象，排除不可能对应于交通灯的那些对象。过滤可以基于与交通灯相关联的诸如形状、尺寸、纹理、位置(例如，相对于车辆200)等之类的各种属性来进行。这种属性可以基于交通灯和交通控制信号的多个示例并存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通灯的该组候选对象执行多帧分析。例如，处理单元110可以跨连续图像帧跟踪候选对象，估计候选对象的现实世界位置，并过滤掉那些移动的对象(其不可能是交通灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析，并识别出现在可能的交通灯内的所检测到的颜色的相对位置。
在步骤562，处理单元110可以分析交叉口的几何形状。该分析可以基于以下的任意组合：(i)在车辆200的任一侧检测到的车道的数量、(ii)在道路上检测到的标记(如箭头标记)、和(iii)从地图数据(例如，来自地图数据库160的数据)提取的交叉口的描述。处理单元110可以使用从单目分析模块402的执行得到的信息来进行分析。此外，处理单元110可以确定在步骤560中检测到的交通灯和在车辆200附近出现的车道之间的对应性。
在步骤564，随着车辆200接近交叉口，处理单元110可以更新与所分析的交叉口几何形状和所检测到的交通灯相关联的置信度水平。例如，被估计为出现在交叉口处的交通灯的数量与实际出现在交叉口处的交通灯的数量比较可能影响置信度水平。因此，基于该置信度水平，处理单元110可以将控制委托给车辆200的驾驶员以便改进安全条件。通过执行步骤560至564，处理单元110可以识别出现在该组捕捉图像内的交通灯，并分析交叉口几何形状信息。基于该识别和分析，处理单元110可以引起车辆200中一个或多个导航响应，如以上结合图5A所描述的。
图5E是示出了与所公开的实施例一致的、用于基于车辆路径引起车辆中的一个或多个导航响应的示例处理500E的流程图。在步骤570，处理单元110可以构建与车辆200相关联的初始车辆路径。车辆路径可以使用以坐标(x,z)表达的一组点来表示，并且该组点中两个点之间的距离di可以落入1至5米的范围中。在一个实施例中，处理单元110可以使用诸如左道路多项式和右道路多项式的两个多项式来构建初始车辆路径。处理单元110可以计算该两个多项式之间的几何中点，并且将被包含在得到的车辆路径中的每个点偏移预定的偏移(例如，智能车道偏移)，如果有的话(零偏移可以对应于在车道的中间行驶)。该偏移可以在垂直于在车辆路径中的任何两点之间的线段的方向上。在另一个实施例中，处理单元110可以使用一个多项式和估计的车道宽度，来将车辆路径的每个点偏移估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572，处理单元110可以更新在步骤570构建的车辆路径。处理单元110可以使用更高的分辨率来重建在步骤570构建的车辆路径，以使得表示车辆路径的该组点中两个点之间的距离dk小于上述距离di。例如，该距离dk可以落入0.1至0.3米的范围中。处理单元110可以使用抛物线样条算法(parabolic spline algorithm)重建车辆路径，这可以产生对应于车辆路径的总长度的累积距离向量S(即，基于表示车辆路径的该组点)。
在步骤574，处理单元110可以基于在步骤572构建的更新的车辆路径来确定前视点(look-ahead point)(以坐标表达为(xl,zl))。处理单元110可以从累积距离向量S提取前视点，并且该前视点可以与前视距离和前视时间相关联。前视距离可以具有范围为从10米至20米的下限，可以被计算为车辆200的速率和前视时间的乘积。例如，随着车辆200的速率下降，前视距离也可以减小(例如，直到它到达下限)。前视时间的范围可以从0.5到1.5秒，可以与关联于引起车辆200中的导航响应的诸如航向误差(heading error)跟踪控制环路的一个或多个控制环路的增益成反比。例如，该航向误差跟踪控制环路的增益可以取决于横摆角速率环路、转向致动器环路、汽车横向动力学等的带宽。因此，航向误差跟踪控制环路的增益越高，前视时间越短。
在步骤576，处理单元110可以基于在步骤574中确定的前视点来确定航向误差和横摆角速率命令。处理单元110可以通过计算前视点的反正切，例如arctan(xl,zl)来确定航向误差。处理单元110可以将横摆角速率命令确定为航向误差和高水平控制增益的乘积。如果前视距离不在下限处，则高水平控制增益可以等于：(2/前视时间)。否则，高水平控制增益可以等于：(2×车辆200的速率/前视距离)。
图5F是示出了与所公开的实施例一致的用于确定前方车辆是否正在改变车道的示例处理500F的流程图。在步骤580，处理单元110可以确定与前方车辆(例如，在车辆200前方行驶的车辆)相关联的导航信息。例如，处理单元110可以使用以上结合图5A和图5B所描述的技术来确定前方车辆的位置、速度(例如，方向和速率)和/或加速度。处理单元110还可以使用以上结合图5E所描述的技术来确定一个或多个道路多项式、前视点(与车辆200相关联)和/或追踪轨迹(snail trail)(例如，描述前方车辆所采取的路径的一组点)。
在步骤582，处理单元110可以分析在步骤580中确定的导航信息。在一个实施例中，处理单元110可以计算追踪轨迹和道路多项式之间的距离(例如，沿着该轨迹)。如果沿着该轨迹的这个距离的变化(variance)超过预定的阈值(例如，在直路上0.1至0.2米，在适度弯曲道路上0.3至0.4米，以及在急转弯道路上0.5至0.6米)，则处理单元110可以确定前方车辆很可能正在改变车道。在检测到多个车辆在车辆200前方行驶的情形中，处理单元110可以比较与每个车辆相关联的追踪轨迹。基于该比较，处理单元110可以确定追踪轨迹与其它车辆的追踪轨迹不匹配的车辆很可能正在改变车道。处理单元110可以额外地将(与前方车辆相关联的)追踪轨迹的曲率与前方车辆正在其中行驶的道路段的期望曲率相比较。该期望曲率可以从地图数据(例如，来自地图数据库160的数据)、从道路多项式、从其它车辆的追踪轨迹、从关于道路现有知识等提取。如果追踪轨迹的曲率和道路段的期望曲率的差异超过预定的阈值，则处理单元110可以确定前方车辆很可能正在改变车道。
在另一个实施例中，处理单元110可以在特定时间段(例如，0.5至1.5秒)将前方车辆的瞬时位置与(与车辆200相关联的)前视点相比较。如果前方车辆的瞬时位置与前视点之间的距离在该特定时间段期间变化，并且变化的累积总和超过预定阈值(例如，直路上0.3至0.4米，适度弯曲道路上0.7至0.8米，以及急转弯道路上1.3至1.7米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着追踪轨迹行驶的横向距离与该追踪轨迹的期望曲率相比较，来分析该追踪轨迹的几何形状。期望曲率半径可以根据公式确定：(δz 2+δx 2)/2/(δx)，其中δx表示行驶的横向距离以及δz表示的行驶的纵向距离。如果行驶的横向距离和期望曲率之间的差异超过预定阈值(例如，500至700米)，则处理单元110可以确定前方车辆很可能正在改变车道。在另一个实施例中，处理单元110可以分析前方车辆的位置。如果前方车辆的位置遮挡了道路多项式(例如，前车覆盖在道路多项式的上方)，则处理单元110可以确定前方车辆很可能正在改变车道。在前方车辆的位置是使得在前方车辆的前方检测到另一车辆并且这两个车辆的追踪轨迹不平行的情况下，处理单元110可以确定(较近的)前方车辆很可能正在改变车道。
在步骤584，处理单元110可以基于在步骤582进行的分析确定前方车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均来做出该确定。在这种方案下，例如，由处理单元110基于特定类型的分析做出的前方车辆很可能正在改变通道的决定可以被分配值“1”(以及“0”用来表示前方车辆不太可能正在改变车道的确定)。在步骤582中执行的不同分析可以被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。此外，在一些实施例中，所述分析可以利用经训练的系统(例如，机器学习或深度学习系统)，其可以例如基于在当前位置处捕捉的图像来估计在车辆当前位置前方的未来路径。
图6是示出了与所公开的实施例一致的用于基于立体图像分析引起一个或多个导航响应的示例处理600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202和204的图像捕捉设备122和124)可以捕捉在车辆200前方的区域的第一和第二多个图像，并经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或更多个数据接口接收该第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤620，处理单元110可以执行立体图像分析模块404来执行对第一和第二多个图像的立体图像分析，以创建在车辆前方的道路的3D地图并检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。立体图像分析可以以类似于以上结合图5A-图5D描述的步骤的方式来执行。例如，处理单元110可以执行立体图像分析模块404以在第一和第二多个图像内检测候选对象(例如，车辆、行人、道路标记、交通灯、道路危险等)，基于各种标准过滤掉候选对象的子集，并对剩余的候选对象执行多帧分析、构建测量、并确定置信度水平。在执行上述步骤中，处理单元110可以考虑来自第一和第二多个图像二者的信息，而不是来自单独一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像二者中的候选对象的像素级数据(或来自捕捉图像的两个流中的其它数据子集)的差异。作为另一示例，处理单元110可以通过观察候选对象在多个图像的一个中出现而未在另一个中出现，或相对于可能相对于出现在两个图像流中的对象而存在的其它差异，来估计候选对象(例如，相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流中的一个或两者中的对象相关联的轨迹、位置、移动特性等特征，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630中，处理单元110可以执行导航响应模块408，以基于在步骤620中执行的分析和如以上结合图4所描述的技术而引起车辆200中的一个或多个导航响应。导航响应可以包括例如转向、车道变换、加速度的改变、速度的改变、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行得到的数据来引起该一个或多个导航响应。此外，多个导航响应可以同时地、按照顺序地、或以其任意组合而发生。
图7是示出了与所公开的实施例一致的用于基于对三组图像的分析来引起一个或多个导航响应的示例处理700的流程图。在步骤710中，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，被包含在图像获取单元120的相机(诸如具有视场202、204和206的图像捕捉设备122、124和126)可以捕捉在车辆200前方和/或侧方的区域的第一、第二和第三多个图像，并且经过数字连接(例如，USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕捉设备122、124、126的每个可以具有用于向处理单元110传送数据的相关联的数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。
在步骤720，处理单元110可以分析该第一、第二和第三多个图像以检测图像内的特征，诸如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通灯、道路危险等。该分析可以以类似于以上结合图5A-图5D和图6所描述的步骤的方式来执行。例如，处理单元110可以对第一、第二和第三多个图像的每个执行单目图像分析(例如，经由单目图像分析模块402的执行以及基于以上结合图5A-图5D所描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像、和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行以及基于以上结合图6所描述的步骤)。与对第一、第二和/或第三多个图像的分析相对应的处理后的信息可以进行组合。在一些实施例中，处理单元110可以执行单目和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的执行)。图像捕捉设备122、124和126的配置—包括它们各自的位置和视场202、204和206—可以影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕捉设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可以基于在步骤710和720所获取和分析的图像对系统100执行测试。这种测试可以提供对于图像获取设备122、124和126的某些配置的系统100的整体性能的指示符。例如，处理单元110可以确定“伪命中”(例如，系统100不正确地确定车辆或行人的存在的情况)和“漏掉”的比例。
在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个得到的信息引起车辆200中的一个或多个导航响应。对第一、第二和第三多个图像中的两个的选择可以取决于各种因素，诸如例如在多个图像的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕捉的帧的数量、一个或多个感兴趣的对象实际出现在帧中的程度(例如，其中出现有对象的帧的百分比、出现在每个这种帧中的对象的比例)等进行选择。
在一些实施例中，处理单元110可以通过确定从一个图像源得到的信息与从其它图像源得到的信息的相一致的程度，对从第一、第二和第三多个图像中的两个得到的信息进行选择。例如，处理单元110可以将从图像捕捉设备122、124和126的每个得到的处理后的信息组合(无论通过单目分析、立体分析、还是两者的任意组合)，并确定在从图像捕捉设备122、124和126的每个捕捉到的图像之间相一致的视觉指示符(例如，车道标记、检测到的车辆及其位置和/或路径、检测到的交通灯等)。处理单元110还可以排除在捕捉到的图像之间不一致的信息(例如，正改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于对相一致和不一致的信息的确定，来选择从第一、第二和第三多个图像的两个得到的信息。
导航响应可以包括例如转向、车道变换、加速度的改变等。处理单元110可以基于在步骤720所执行的分析和如以上结合图4所描述的技术引起一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406的执行得到的数据引起一个或多个导航响应。在一些实施例中，处理单元110可以基于在车辆200与在第一、第二和第三多个图像的任一者内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时地、按顺序地或以其任意组合而发生。
激光雷达和图像对齐
图8是与示例性公开的实施例一致的系统800的框图表示。取决于特定实施方式的要求，系统800可以包括各种组件。在一些实施例中，系统800可以包括在以上部分描述的处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160、用户界面170和无线收发器172。另外，系统800可以包括激光雷达系统810，激光雷达系统810包括一个或多个激光雷达单元812、814和816。
虽然在激光雷达系统810中示出了三个激光雷达单元，但是取决于特定应用的要求，可以使用更多或更少的激光雷达单元。此外，激光雷达系统810中的激光雷达单元812、814和816中的任何一个、或者任何其他可用的激光雷达单元可以位于车辆上的任何合适位置。例如，如图9的示例实施例所示，车辆900可以包括在以上部分中描述的图像捕捉设备122和124(例如，相机)。车辆900还可以配备有包括激光雷达单元812和/或激光雷达单元814的激光雷达系统810。类似于图像捕捉设备122和124，激光雷达单元812和814提供的输出可以直接或间接提供给处理单元110。如图所示，激光雷达单元812可以位于主车辆900的车顶。这种单元可以包括旋转单元，该旋转单元被配置为在车辆900周围的360度视场内或从360度视场的任何子区段(例如，一个或多个FOV，每个FOV表示小于360度)收集激光雷达反射信息。在一些实施例中，激光雷达单元814可以位于车辆900的前方位置(例如，前灯附近、前格栅中、雾灯附近、前保险杠中或任何其他合适的位置)。在一些情况下，安装在车辆900前方部分的激光雷达单元可以从车辆900前方环境中的视场收集反射信息。虽然未示出，但是其他激光雷达单元可以部署在车辆900上。例如，一个或多个激光雷达单元可以放置在车辆900的侧面，以从邻近车辆900侧面的区域收集反射信息。可替代地或附加地，一个或多个激光雷达单元可以放置在车辆900的后部(例如，后保险杠中、尾灯附近等)以从主车辆900后面的区域收集反射信息。
主车辆900上可以包括任何合适类型的激光雷达单元。在一些情况下，激光雷达系统810可以包括用单个激光脉冲来照明整个激光雷达视场(FOV)的一个或多个闪光激光雷达单元(例如，3D闪光激光雷达)、以及包含像素行和像素列以记录返回的光强和飞行时间/深度信息的传感器。这种闪光系统可以每秒多次照明一个场景并收集激光雷达“图像”。也可以采用扫描激光雷达单元。这种扫描激光雷达单元可以依靠一种或多种技术以将激光束分散在特定的FOV上。在一些情况下，扫描激光雷达单元可以包括扫描镜，该扫描镜使激光束偏转并将其朝FOV内的对象引导。扫描镜可以旋转整个360度，或者可以沿着单个轴或多个轴旋转小于360度，以将激光朝预定的FOV引导。在一些情况下，激光雷达单元可以扫描一条水平线。在其他情况下，激光雷达单元可以扫描FOV内的多条水平线，有效地每秒多次光栅化(raster)特定的FOV。
激光雷达系统810中的激光雷达单元可以包括任何合适的激光源。在一些实施例中，激光雷达单元可以采用连续激光。在其他情况下，激光雷达单元可以依赖脉冲激光发射。此外，可以采用任何合适的激光波长。在一些情况下，可以使用约600纳米至约1000纳米之间的波长。
激光雷达系统810中的激光雷达单元还可以包括任何合适类型的传感器，并提供任何合适类型的输出。在一些情况下，激光雷达单元的传感器可以包括固态光电探测器，诸如一个或多个光电二极管或光电倍增器。传感器还可以包括一个或多个包含任意数量像素的CMOS或CCD器件。这些传感器可以对从激光雷达FOV内的场景反射的激光敏感。传感器可以实现从激光雷达单元的各种类型的输出。在一些情况下，激光雷达单元可以输出表示在每个传感器或特定传感器的每个像素或子组件处收集的反射激光的原始(raw)光强值和飞行时间信息。附加地或替代地，激光雷达单元可以输出点云(例如，3D点云)，该点云可以包括相对于每个收集的点的光强和深度/距离信息。激光雷达单元还可以输出各种类型的深度图，这些深度图表示光反射幅度和到视场内的点的距离。激光雷达单元可以通过记录来自激光雷达的光源的光最初被投射向FOV的时间并记录入射激光被激光雷达单元中的传感器接收的时间，来提供相对于FOV内特定点的深度或距离信息。该时间差可以表示飞行时间，其可以直接与入射激光从激光源行进到反射对象并返回激光雷达单元的往返距离相关。监测与激光雷达FOV的个体激光点或小区段相关联的飞行时间信息可以为FOV内的多个点提供准确的距离信息(例如，映射到FOV内的对象的甚至非常小的特征)。在一些情况下，激光雷达单元可以输出更复杂的信息，诸如将一个或多个激光反射与从其获取到该激光反射的对象的类型相关(correlate)的分类信息。
来自激光雷达系统810的输出可以被提供给与主车辆900相关联的一个或多个处理单元。例如，如图8所示，来自激光雷达单元812、814和816中的任何一个的输出可以被提供给处理单元110。在一些情况下，激光雷达单元的输出可以被提供给应用处理器180，用于执行以下部分中描述的功能。可替代地或附加地，激光雷达单元的输出可以被提供给图像处理器190，用于执行以下部分中描述的功能。
图像获取单元120和激光雷达系统810都有长处。例如，至少在某些条件下，对于从相机获取的图像，可以比从激光雷达信息更容易地执行对象识别和分类。另一方面，基于相机的图像缺乏直接确定的距离信息。因此，在一些情况下，基于对基于相机的图像的分析的距离确定或估计可能取决于对缩放、图像之间的光流等的观察。在一些激光雷达系统中，对象分类或识别可能不像基于从相机获取的图像而执行那样容易地被执行。然而，激光雷达单元可以提供相对于位于主车辆环境中的对象的甚至细微特征的准确距离信息。
将基于相机的图像技术的对象识别和分类能力与激光雷达系统的深度测量能力相结合，可以在广泛的应用(包括，例如自主车辆的导航和操作)中提供增加的功能的潜力。然而，结合基于图像的和激光雷达系统的这些能力或其他方面，可能需要各种系统的输出的相关(correlation)。例如，如果在从基于相机的系统获取的图像中不能定位或识别特定对象，那么相对于激光雷达FOV中的特定对象的深度信息在一些应用中可能没有用。即使来自重叠区域或FOV的所获取图像和激光雷达系统输出之间有小程度的未对齐，也会显著影响所获取图像以及激光雷达系统输出的适用性或有用性。
许多致力于自主车辆开发的汽车制造商已经采取了这样的想法，即安装在车辆上的传感器的任何配置都应该除激光雷达系统之外还包括相机系统。因此，需要校准这些不同的传感器，以便实现组合系统可以提供的潜力。所公开的实施例可以包括被设计成校准重叠的相机和激光雷达传感器(例如，具有至少部分彼此重叠的FOV的那些相机和传感器)的特征和功能。在许多情况下，可能希望系统在操作期间(例如，在驾驶期间的不受控环境中)重新校准或验证先前校准的有效性。
解决这一任务的一个挑战可能是由于难以关联、相关和/或对齐来自不同模态的两个传感器的读数或输出。例如，给定特定的激光雷达反射，可能难以在获取的图像中确定包括环境中的从其获得了该激光雷达反射的相同位置的特定像素。一种有效地将获取的图像信息与激光雷达反射信息对齐的潜在方法可以包括激光雷达输出与一个或多个获取的图像之间的对齐。在一些情况下，这种对齐可以包括每种输出类型的实际特征的对齐(例如，一个或多个图像中的像素区域与包含在激光雷达输出(诸如点云、深度图或任何其他类型的激光雷达输出)中的相应激光雷达反射信息的对齐)。在其他情况下，对齐可以更复杂，并且可以包括例如激光雷达输出(诸如从道路获得的反射)与基于一个或多个获取的图像或使用例如运动恢复结构技术的图像而导出的道路平面估计的对齐。
在一些情况下，一个或多个获取的图像和激光雷达的输出之间的对齐可以在图像空间(image space)中执行。也就是说，在从至少部分与激光雷达FOV重叠的FOV获取图像的情况下，二维获取的图像可以与激光雷达输出的相应区域对齐。图像空间中的这种对齐可以涉及两个自由度，包括旋转和平移。因此，至少一个获取的图像和激光雷达输出可以相对于彼此旋转和/或平移，使得两者中的相应区域重叠。该技术可以涉及确定导致至少一个图像与激光雷达输出对齐的一个或多个变换操作。用正式术语来说，可以确定旋转矩阵和平移矩阵，将获取的图像中的区域与激光雷达输出中的相应区域对齐。
现在将描述用于确定对齐矩阵R(旋转)和T(平移)的示例技术。如果假设p是激光雷达坐标系中的3D点，目标是找到校准矩阵R、T，使得是相机坐标系中的同一点。现在如果假设从道路上反射，这意味着位于道路平面上(在使用测程法与基于表观的自我运动将道路平面与激光雷达抓取时间对齐后)。用(n，d)定义道路平面会得出以下方程：
为了确定某点是否已经从道路反射，可以假设已经实现了粗略校准，并且可以使用基于图像的技术来确定可驾驶区域(例如，通过图像分析来识别主车辆环境中的可驾驶自由空间)。裕量(margin)可用于应对(account for)校准误差。
方程nT(Rp+T)＝d是单个观察的结果。为了计算旋转和平移变换矩阵R和T，可以使用最小二乘法。在这种技术中，该方程可以重新整理为的形式。这种重新整理可以如下进行：
这得出：
b＝d-nTp
对于一批m个观察，可以与m×1矩阵b＝(b1…bm)T一起构建m×3矩阵(A＝(a1│…│am)T)，并且目标(objective)可以被定义为：
优化输出是然后可以将其分解成：
为了从输出向量w重构旋转矩阵，可以使用以下过程：
θ＝||ω||
旋转是一种非线性变换，因此，基本问题是非线性。然而，上述最小二乘优化目标是线性的。差异的原因是对旋转使用了线性近似。一旦使用(I+[w]x)，这个问题就变成了线性的，(I+[w]x)是绕轴以角度θ＝||ω||的3D旋转的一阶泰勒近似。
该问题的线性化可能会引起精度损失。为了克服这种潜在损失，上述过程可以以迭代的方式重复几次。每次迭代可以用先前确定的矩阵初始化，并且新的结果可以用于如下更新校准矩阵：
R(t+1)＝RR(t)
T(t+1)＝RT(t)+T
在一些实施例中，可以拒绝计算中的异常值(outliers)。为了在实践中拒绝异常值，可以在每次迭代中采用IRLS(Iterative-Reweighted-Least-Squares，迭代重加权最小二乘)方法来代替上述最小二乘优化过程。
在一些实施例中，可以使用其他方法来计算旋转和平移矩阵或获取的图像中的区域与激光雷达输出中的相应区域之间的任何其他变换。此外，在一些实施例中，可以使用无需使用旋转和/或平移矩阵其他技术，例如使用一种或多种处理技术。
R矩阵和T矩阵的确定可以使得在图像空间中将一个或多个获取的图像与激光雷达单元的输出对齐。结果，可以将可从激光雷达输出获得的深度或距离信息与出现在一个或多个图像中的对象相关。这种相关和由此产生的图像信息的丰富可以使得能够确定与主车辆相关联的多个不同导航特性。如下文将更详细讨论的，这种导航特性可以包括确定与沿着车行道的各个点相关联的标高(elevation)值、确定主车辆速率、确定相对于主车辆的道路平面位置(沿着直的(straight)、倾斜的(banked)或弯曲的(curved)道路等)，以及其他潜在用途。
在实践中，R矩阵和T矩阵、或者获取的图像和激光雷达的输出之间的任何其他合适的变换可以由车辆900上的至少一个处理器(例如，处理器单元110)来确定。该至少一个处理器可以接收由主车辆上的一个或多个相机(例如，相机122、124)捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境。该至少一个处理器还可以接收主车辆上的激光雷达单元(例如，激光雷达单元812或814)的输出。激光雷达的输出可以表示来自主车辆周围的环境的至少一部分的多个激光反射。该至少一个处理器可以确定在图像空间中激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的至少一个指示符。在一些情况下，如上所述，激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的至少一个指示符包括图像空间中的平移变换(例如，平移矩阵T)。在一些情况下，激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的至少一个指示符可以包括图像空间中的旋转变换(例如，旋转矩阵R)。
使用所确定的对齐，该至少一个处理器可以基于激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象。并且，可以将所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象用于确定与主车辆相关联的至少一个导航特性(例如，道路标高、车辆速率等)。
图10提供了上述对齐技术的简化的概念性示例。例如，图10示出了单个特征，包括虚线高速公路车道标记1001，其可以作为从主车辆的环境捕捉的一个或多个相机图像的一部分来获取。图10还包括同一虚线高速公路车道标记的激光雷达表示1003。作为获取相机呈现出与反射捕捉激光雷达单元至少一些程度的未对齐的结果，相机获取的车道标记1001最初可能没有与激光雷达获取的车道标记1003在图像空间中对齐。虽然任何程度的未对齐都是可能的，但是为了概念清楚，图10所示的未对齐程度可能比正常操作条件下预期的更显著。在当前未对齐状态下，激光雷达输出可能不如两个输出对齐时有用。例如，由激光雷达单元获得的点P’的深度信息将不对应于获取的图像中点P的位置，而是“看起来”对应于远离点P的、在图像空间中平移的另一个点。作为这种不匹配的结果，激光雷达的深度信息对于增强基于车道标记1001的获取的图像的任何分析几乎没有帮助。
然而，通过实施上述技术，激光雷达输出可以与获取的图像信息对齐或相关。例如，可以在图像空间中确定一变换，该变换将导致激光雷达获取的车道标记1003的部分与其相应的相机获取的车道标记1001的对应部分重叠。在一些情况下，如上所述，可以确定旋转矩阵R和平移矩阵T，使得通过一些旋转1010和/或平移1012移动例如激光雷达获取的车道标记1003将导致点P’和点P之间的重叠。在一些情况下，通过所确定的变换的操作，激光雷达获取的车道标记1003上的大多数或所有其他点将与他们在相机获取的车道标记1001上的对应点重叠。
在一个示例中，可以使用仅用相机的方法来检测路面。这种方法可以包括使用跨多个图像的运动流。在相机图像中可以观察到各种特征，并且可以基于图像来确定特征的光流。从该分析中，可以在三维中获得观察对象的位置，并且可以确定表示道路的平面的计算/估计。从激光雷达单元输出，可以获得一系列点反射。如上所述，通过将相机图像与激光雷达输出对齐，可以减少或消除旋转和平移误差。在这样的过程中，可以假设基于相机图像数据和相关联的道路平面方程而确定的道路平面将适用于激光雷达输出(其中来自与道路相关联的区域的点反射也将位于所计算的道路平面上)。如果平面方程与激光雷达点不一致，可以确定旋转和/或平移参数值，这些参数值减少、最小化或者甚至消除激光雷达点和相机图像点之间的误差。如在上述方法中，旋转可以通过线性运算来近似，如果旋转差异是小的(这是应该的)，其是准确的。然后可以使用最小二乘法或任何其他合适的方法迭代地确定旋转变换，并且可以拒绝异常值。可以使用类似的方法来确定用于在图像空间中提供对齐的平移参数值。然而，平移问题已经是线性的，因此在使用拟合技术之前可能不需要线性化。
在一些实施例中，当激光雷达的输出和相机捕捉的至少一个图像之间的相对对齐随时间的变化指示误差时，可以检测到误差。例如，这样的时间段可以包括短时间段(例如，1微秒或更多微秒、1秒、2秒等)，在此期间相机-激光雷达被重新校准几次。
当然，因为变换确定方法依赖于诸如最小二乘拟合、迭代估计等估计技术，该变换可能不会导致每个点的完美重叠。然而，该变换可以提供足够的对齐和相关，然而，经由激光雷达单元获得的对于激光雷达获取的车道标记1003上的各个点的深度或距离信息可以与相机获取的车道标记1001上观察到的点或特征相关或一起使用。此外，通过与激光雷达检测到的对象在一个或多个对齐的基于相机的图像中的对应部分进行比较，该对齐可以实现或帮助对激光雷达检测到的对象的分类。基于相机的图像分析可能例如在确定什么是道路和什么是非道路方面比激光雷达更好。在许多情况下，来自相机获取的图像的丰富可视信息可以被用于增强基于激光雷达系统输出可用的信息。
所确定的激光雷达的输出与由相机捕捉的至少一个图像之间的相对对齐的指示符(例如，在一些情况下为变换矩阵)可以不止用于激光雷达和相机信息的对齐。例如，在一些实施例中，这种相对对齐的指示符可以用于检测车载相机和/或激光雷达单元的操作误差。如果所确定的相对对齐的指示符与表明落在预期范围之外的相对对齐的变化相关联，则处理器单元110例如可以确定获取相机或获取激光雷达单元已经经历了误差。这种误差可包括与主车辆的完全或部分机械解耦、相机或激光雷达单元的非预期移动(例如，俯仰、滚转或横摆)、与相机或激光雷达相关联的一个或多个光学组件的故障等。
相机和激光雷达之间的相对对齐的指示符也可以指相机和激光雷达单元在物理空间中的相对对齐。例如，相机可以包括从相机光学器件延伸到主车辆环境中的光轴。类似地，激光雷达单元也可以与类似的中心轴相关联。在某些情况下，相机的光轴和激光雷达的中心轴可以延伸穿过它们各自视场的中心。相机和激光雷达之间的对齐变化可能导致俯仰(例如，相机的光轴和激光雷达的中心轴之间的上下变化)和横摆(例如，相机的光轴和激光雷达的中心轴之间的左右变化)的差异。相机和激光雷达之间的对齐变化还可以包括滚转角度的差异(例如，各自设备绕其光轴/中心轴的旋转导致各自FOV中的角差异、旋转差异)。
对物理空间中对齐差异的理解可以为获得激光雷达输出和一个或多个相机图像之间的相关提供基础。例如，俯仰、滚转和横摆对齐值可以被确定为，如果被应用，则导致获取的图像和激光雷达输出的对应特征之间的最大重叠。在实践中，第一步可以是检查在获取的图像和激光雷达输出之间提供最接近的对齐(在特定时间处或在一段时间内)的俯仰和滚转变换。作为下一步，处理器110可以评估横摆变换，以细化仅基于俯仰和滚转变换而获得的对齐。在该过程的结尾，处理器110可以具有一组俯仰、滚转和横摆变换，这些变换有效地将获取的相机图像与对应的激光雷达输出对齐。
上述过程可以作为初始校准过程的一部分来执行，其中系统在操作期间可以依赖该初始校准过程来将图像和激光雷达信息相关。然而，在主车辆运行期间，各种条件可能导致相机和激光雷达单元之间的相对对齐的改变。例如，由于温度改变、冲击、振动等，可能会发生物理对齐的这种改变。因此，可能希望在主车辆运行期间重复所公开的实施例的对齐校准过程。例如，系统可以根据需要在车辆运行期间周期性地或以预定间隔(例如，每分钟一次、每10秒、每1秒或每秒多次)执行上述校准过程(例如，以确定激光雷达和相机之间或它们各自的输出之间的相对对齐)。
除了激光雷达和相机之间的对齐的空间变化之外，激光雷达/相机校准技术还可以考虑时间变化。例如，在相机采用滚动快门的情况下，数据线(data line)并非都是同时从图像传感器捕捉的。当将激光雷达校准到相机时，可以考虑图像传感器捕捉数据线的时间。例如，在定义为捕捉图像的中心行的时间的特定时间处，为了计算当时的道路帧参数，系统可以考虑在中心线以上捕捉的线以及在中心线以下捕捉的线的滚动快门捕捉时间。在一些实施例中，在确定表示激光雷达和相机之间的对齐变换的矩阵时，系统甚至可以考虑激光雷达扫描速率/扫描时间与相机扫描速率之间的差异。
相机和激光雷达之间的对齐信息可以帮助主车辆的导航。例如，在某些情况下，相机和激光雷达之间的经校准的对齐可以帮助沿着弯曲道路、倾斜道路或障碍物遮挡了部分车行道的道路进行导航。在这种情况下，获得相对于道路的基于相机的图像信息可能更加困难，或者获得的基于相机的图像信息可能不如例如相机获得平直车行道的图像(其可以仅基于图像来实现准确的道路平面确定)的情况有用。在这种预对齐的情况下，系统可以使用激光雷达输出来补充经由相机获得的信息，并且导航可以基于激光雷达信息继续进行，即使是在相机图像本身对于某些类型的导航可能提供不充分的信息的情况之下。这样的过程流程可以如下进行。可以依靠相机来检测道路平面，并且可以基于所确定的道路平面来确定激光雷达系统相对于相机的对齐(例如，通过上述任何过程)。然后，在仅基于相机图像数据更难以检测道路平面的情况下(例如，弯曲或倾斜道路)，可以更加依赖经校准的激光雷达输出来帮助确定道路平面。例如，至少一个处理器110可以基于归属给道路的激光雷达反射信息，来确定与主车辆在其上行驶的道路相关联的道路平面的位置。该确定还可以基于由在车载相机获取的一个或多个图像中识别的道路的至少一部分。这样的过程可以帮助确定到道路平面上的对象的距离，即使是在基于图像的道路平面不太可辨别的情况之下。例如，在一些实施例中，归属给弯曲道路的激光雷达信息可用于帮助确定与弯曲道路相关联的道路平面的位置，并且基于在至少一个图像中识别的弯曲道路的至少一部分。从弯曲道路获取的激光雷达信息可以包括来自沿着弯曲道路的一个或多个车道标记的反射，并且该信息可以用于在真实世界坐标中定位车道标记(仅基于相机图像分析可能具有挑战性)。
还可以利用基于激光雷达单元输出而获得的信息来丰富通过相机图像的分析而获得的信息。例如，在一些实施例中，至少一个处理器110通过对由车载相机获取的一个或多个图像的分析，可以确定与主车辆在其上行驶的道路相关联的第一多个点。这可以通过例如在图像中识别一个或多个可跟踪特征，并计算多个图像上的光流来实现。在这一过程中，路面将保持静止，然后可以在三维世界坐标中推断其位置。可以将三维世界点的列表分配给基于基于相机的图像分析而确定的路面。一个或多个激光雷达单元的经对齐的输出可以包括对应于在基于相机的图像中观察到的相同路面的反射点。这些反射点可以包括相对于观察到的路面上的点的深度/距离信息，可以用于丰富相机图像导出的三维点。例如，在一些实施例中，至少一个处理器110可以确定与在至少一个图像中识别的道路的至少一部分相关联的第一多个点(例如，通过图像分析获得的三维世界点)，并且可以将第一多个点与从激光雷达反射信息导出的第二多个点交织(interleave)。第二多个点可以指示主车辆(或激光雷达单元，其可以相对于主车辆具有已知位置)与道路上的多个位置之间的距离。
在一些情况下，经对齐的激光雷达和相机输出可用于确定主车辆的速率。例如，激光雷达能够测量到对象的绝对距离。在经对齐的系统中，激光雷达输出可以提供到特定对象(例如，真实世界坐标中的静止对象)的距离读数，该特定对象在由车载相机收集的一个或多个图像中是可识别的。通过监测距离测量和图像收集的速率的改变，可以确定到可观察对象的距离的改变速率，这可以指示主车辆速率。这种速率确定在各种导航情况下都是有用的。在许多情况下，准确的车辆速率对于导航锚点(例如，存储在地图中的已识别地标)之间的航位推算(dead-reckoning)和遵循预定路径(例如，表示沿着路段的优选轨迹的样条)来说可能是重要的。作为特定示例，这种信息例如在REM地图生成和沿着REM道路模型(例如，表示主车辆沿着特定路段或路段的车道的目标轨迹的三维样条)的导航中可能是有用的。使用激光雷达和相机来确定车辆速率可以提供对例如车辆速度计更准确的替代，在某些情况下，车辆速度计可能受到诸如轮胎压力、轮胎尺寸等因素的影响。
在一个示例过程中，处理器110可以分析来自车载相机的至少一个图像，以检测该至少一个图像中的对象(例如，固定在世界坐标中的对象)的表示。基于与相机输出对齐的激光雷达输出，可以确定到检测到的对象的距离。通过监测来自激光雷达输出的距离信息如何随时间改变(例如，以相机的图像捕捉速率，其可以是24fps、30fps等)，处理器110可以确定检测到的对象的速率，该检测到的对象看起来正在以该速率接近车辆。该速率可以对应于车辆速率(或者可以提供用于计算车辆速率的基础)。一旦基于经对齐的激光雷达/相机输出确定了主车辆速率，主车辆速率也可以用于确定主车辆和例如在由相机获取的图像中检测到的其他对象之间的相对速率。
经对齐的相机和激光雷达输出也可用于确定路面在特定点处的标高。在平路上，可以确定到道路上的、观察到(例如，在相机获取的图像中)对象接触道路的点的距离。当相机和激光雷达输出对齐时，这种技术还可以实现确定道路标高。
首先，将描述仅基于图像分析来确定距离的示例过程。如果仅使用单个相机，可以基于视角线索来确定到特定点的范围。例如，可以使用两个线索。这些可以包括在获取的图像中观察到的目标车辆的尺寸和图像中目标车辆的底部的位置。因为未知类型车辆(汽车、货车、卡车等)的宽度可以在1.5米到3米之间的任何范围变化，仅基于宽度的范围估计可能只有大约30％的准度。虽然这种估计可能适合粗略检查(或可能检查校准的水平)，但它可能不适合车辆致动控制。
使用道路几何形状和获取的图像中的观察到目标车辆接触道路的点，可以实现更好的估计。在图11所示的示例中，可以假设路面是平坦的，并且相机在安装在主车辆1101上的点P处，该点位于路面上方的高度H处，使得相机的光轴平行于路面。在该示例中，到目标车辆1105和到目标车辆1111的距离可以基于目标车辆1105和1111接触道路平面的观察点1121和1123来确定。例如，在相机前方距离Z处的道路上的一个点将在高度y处投影到图像平面I，其中y由以下方程给出：
其中，H是相机高度，单位为米。在图11的示例中，点P处的相机具有f的焦距。在这种情况下，目标车辆1105与道路相交的点1121距相机距离(Z1)。目标车辆1105和道路之间的接触点1121在位置y1处投影到图像平面I上。上面的方程可以根据三角形的相似性推导出来：yf＝HZ。更远的目标车辆1111和道路之间的接触点1123在小于(y1)的位置(y2)处投影到图像平面I上。
相机电子器件可以将图像坐标从毫米转换成像素，并将图像反转回直立位置进行处理。为了确定到主车辆前方的目标车辆的距离，假设是平路，可以在获取的图像中检测目标车辆和道路之间的接触点(例如，轮胎接触道路的地方)。然后，到接触点的距离可以计算为：
仅基于图像分析来确定到目标车辆的距离的技术可能在道路不平的情况下受到限制。在这种情况下，经对齐的激光雷达和相机输出不仅可以帮助确定到目标车辆的距离，还可以帮助确定其他特性，诸如道路标高。例如，在图12所示的情况下，目标车辆1201沿着道路在目标车辆1203后面行驶。然而，在这个示例中，道路不是平的。相反，相对于主车辆1201，目标车辆已经行驶到道路1205上的斜坡上，该斜坡相对于主车辆1201行驶的路面在标高上高了d的量。如果基于在获取的图像中检测目标车辆1203的轮胎接触道路1205的点1210来估计到目标车辆1203的距离，则这可能导致不准确的距离，因为该点在图像平面I上的投影y可能看起来类似于如果目标车辆1203位于沿着平路的更远位置(例如，在图12所示的车辆1203’的图示位置)处所创建的投影。
依靠经对齐的激光雷达输出可以通过解决仅基于图像分析存在的比例模糊性，来提供对这个问题的解决。例如，可以基于被确定为与点1210的相机图像表示对齐的激光雷达反射，来确定到接触点1210的距离。因此，在例如路面包括标高、倾斜、曲率等变化的情况下，可以为点1210确定准确的距离信息。在一些情况下，所依赖的激光雷达输出可以包括来自不同于接触点1210的位置的一个或多个反射。例如，特别是在对应于接触点1210可能没有可用的准确的激光雷达反射的情况下，可以将从目标车辆1203的后部(或从目标车辆1203的任何其他激光雷达反射表面)获取的一个或多个激光雷达反射用于确定到接触点1210的距离。例如，如果从目标车辆1203的后表面获得激光雷达反射，该激光雷达反射可以提供激光雷达单元和目标车辆1203的后表面之间的距离，则可以向所确定的距离添加适当的偏移，以考虑目标车辆1203的后表面与接触点1210之间的距离的差异。例如，可以基于对包括目标车辆1203的表示的一个或多个观察到的图像的分析(例如，基于观察到的相对比例等)，来确定该偏移。
在一些情况下，使用经对齐的激光雷达和相机输出可以用于确定道路1205在接触点1210处的标高d。例如，基于上述技术，可以基于相机焦距、相机高度和投影y(例如，在图像平面I上由目标车辆1203的至少一部分所占据的像素数量)，来确定视距Zimage。可以从对齐的激光雷达输出中确定到接触点1210的实际距离。并且使用几何形状和相似三角形，可以确定道路1205在接触点1210处的标高d。这种信息不仅对于导航主车辆是有用的，而且对于生成、增强和/或验证目标车辆经过的路段的地图信息(例如，REM地图和道路模型生成)也是特别有用的。
在一些实施例中，系统可以使用多于一个相机(例如，1至3个相机、至少3个相机、3至8个相机、至少8个相机、9至12个相机、1至12个相机、至少12个相机等)，并且可替代地或附加地，系统可以使用多于一个激光雷达(例如，1至3个激光雷达、至少3个激光雷达、3至8个激光雷达、至少8个激光雷达、9至12个激光雷达、1至12个激光雷达、至少12个激光雷达等)。在这样的实施例中，相机和/或激光雷达的视场(FOV)中可能存在一些冗余(例如，一个或多个重叠的相机FOV和/或一个或多个重叠的激光雷达FOV)。例如，在存在两个或更多个传感器(激光雷达和/或相机)覆盖真实空间中的某一点的情况下，可以使用多数投票系统。此外，在一些实施例中，可以为两个或更多个传感器(例如，相机和激光雷达对，诸如，例如一个相机和一个激光雷达、两个相机和单个激光雷达、两个相机和两个激光雷达等)中的每一个解决相对对齐。
因此，在一些实施例中，至少一个处理器被进一步编程为接收由主车辆上的多个相机捕捉的图像的流。可替代地或附加地，至少一个处理器可以被编程为接收主车辆上的多个激光雷达的输出。此外，在这样的实施例中，多个相机和多个激光雷达中的至少两个具有至少部分重叠的视场。
已经出于说明的目的呈现了前面的描述。其并非详尽无遗，并且不限于所公开的精确形式或实施例。考虑到所公开实施例的说明书和实践，修改和调整对于本领域技术人员而言将是显而易见的。另外，尽管所公开的实施例的各方面被描述为存储在存储器中，但是本领域技术人员将理解，这些方面也可以存储在其他类型的计算机可读介质上，诸如辅助存储设备，例如，硬盘或CD ROM，或其他形式的RAM或ROM、USB介质、DVD、蓝光、4K超高清蓝光或其他光驱介质。
基于书面描述和公开的方法的计算机程序在有经验的开发者的技能范围内。可以使用本领域技术人员已知的任何技术来创建各种程序或程序模块，或者可以结合现有软件来设计各种程序或程序模块。例如，程序部分或程序模块可以在.Net Framework、.NetCompact Framework(以及相关语言，如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML或包含Java小程序的HTML中设计或通过它们设计。
此外，虽然本文已经描述了说明性实施例，但是具有等效的元件、修改、省略、组合(例如，跨各种实施例的方面)、调整和/或改变的任何和所有实施例的范围，如本领域技术人员基于本公开的技术将理解的。权利要求中的限制将基于权利要求中采用的语言广泛地解释，并且不限于本说明书中或在申请的审查期间描述的示例。这些示例应被解释为非排他性的。此外，可以以任何方式修改所公开方法的步骤，包括通过重新排序步骤和/或插入或删除步骤。因此，其意图是说明书和示例仅被认为是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围表示。

Claims (25)

1.一种用于主车辆的导航系统，所述系统包括：
至少一个处理器，被编程为：
接收由主车辆上的相机捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境；
接收主车辆上的激光雷达的输出，其中激光雷达的输出表示来自主车辆周围的环境的至少一部分的多个激光反射；
确定激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；
基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及
使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与主车辆相关联的至少一个导航特性。
2.根据权利要求1所述的导航系统，其中在所述至少一个图像中识别的一个或多个对象包括真实世界坐标中的静止对象的表示，其中归属给所述静止对象的激光雷达反射信息指示主车辆与所述静止对象之间的距离，其中所述至少一个导航特性包括主车辆的速率，并且其中所述至少一个处理器被进一步编程为：
通过监测归属给在所述至少一个图像中识别的静止对象的激光雷达反射信息所指示的所述主车辆与所述静止对象之间的距离随时间的改变，来确定主车辆的速率。
3.根据权利要求1所述的导航系统，其中在所述至少一个图像中识别的一个或多个对象包括主车辆的环境中的道路上的对象的表示，其中归属给所述道路上的对象的激光雷达反射信息指示主车辆与所述对象接触所述道路的区域之间的距离，其中所述至少一个导航特性包括所述道路的标高，并且其中所述至少一个处理器被进一步编程为：
基于归属给所述道路上的对象的激光雷达反射信息和主车辆上的相机的至少一个特性，来确定所述道路的标高。
4.根据权利要求3所述的导航系统，其中，所述相机的至少一个特性包括所述相机的焦距或所述相机在道路上方的高度中的至少一个。
5.根据权利要求3所述的导航系统，其中，所述至少一个处理器还被编程为还基于所述对象的图像表示的至少一部分在至少一个捕捉的图像中所占据的像素数量，来确定所述道路的标高。
6.根据权利要求3所述的导航系统，其中，所述至少一个处理器还被编程为通过向相对于所述道路上的对象的至少一个激光雷达确定的距离添加偏移，来确定主车辆与所述对象接触所述道路的区域之间的距离。
7.根据权利要求3所述的导航系统，其中，所述对象包括主车辆的环境中的目标车辆。
8.根据权利要求1所述的导航系统，其中在所述至少一个图像中识别的一个或多个对象包括主车辆的环境中的道路的至少一部分的表示，其中归属给所述道路的激光雷达反射信息指示主车辆与所述道路上的多个位置之间的距离，并且其中所述至少一个处理器被进一步编程为：
基于归属给所述道路的激光雷达反射信息并基于在所述至少一个图像中识别的道路的至少一部分，确定与所述道路相关联的道路平面的位置。
9.根据权利要求8所述的导航系统，其中，所述至少一个处理器还被编程为确定与在所述至少一个图像中识别的道路的至少一部分相关联的第一多个点，并且将所述第一多个点与从指示主车辆与道路上的多个位置之间的距离的激光雷达反射信息导出的第二多个点交织。
10.根据权利要求1所述的导航系统，其中在所述至少一个图像中识别的一个或多个对象包括主车辆的环境中的弯曲道路的至少一部分的表示，并且其中归属给所述弯曲道路的激光雷达反射信息指示主车辆与所述弯曲道路上的多个点之间的距离，并且其中所述至少一个处理器被进一步编程为：
基于归属给所述弯曲道路的激光雷达反射信息并基于在所述至少一个图像中识别的弯曲道路的至少一部分，确定与所述弯曲道路相关联的道路平面的位置。
11.根据权利要求10所述的导航系统，其中在所述至少一个图像中识别的弯曲道路的至少一部分包括沿着所述弯曲道路的一个或多个车道标记。
12.根据权利要求1所述的导航系统，其中所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符基于所述激光雷达的输出与所述相机捕捉的至少一个图像之间在图像空间中的对齐。
13.根据权利要求1所述的导航系统，其中所述至少一个处理器被进一步编程为使用所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，来确定所述相机和所述激光雷达在真实世界坐标中的对齐变化。
14.根据权利要求13所述的导航系统，其中，根据所述相机和所述激光雷达之间的俯仰、滚转或横摆变化中的至少一个，来确定所述相机和所述激光雷达之间在真实世界坐标中的对齐变化。
15.根据权利要求12所述的导航系统，其中所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符包括图像空间中的平移变换。
16.根据权利要求12所述的导航系统，其中所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符包括图像空间中的旋转变换。
17.根据权利要求1所述的导航系统，其中，所述至少一个处理器被进一步编程为，如果所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符与预期范围之外的变化相关联，则确定所述相机或所述激光雷达中的至少一个正经历操作误差。
18.根据权利要求1所述的导航系统，其中，对所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符的确定随时间周期性地执行。
19.根据权利要求1所述的导航系统，其中，对所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符的确定每秒至少执行一次。
20.根据权利要求1所述的导航系统，其中所述相机包括滚动快门，并且对所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符的确定考虑与所述滚动快门相关联的扫描定时。
21.根据权利要求1所述的导航系统，其中所述激光雷达与扫描速率相关联，并且对所述激光雷达的输出与所述相机捕捉的至少一个图像之间的相对对齐的至少一个指示符的确定考虑所述激光雷达的扫描速率。
22.根据权利要求1所述的导航系统，其中，所述至少一个处理器被进一步编程为：
接收由主车辆上的多个相机捕捉的图像的流；以及
接收主车辆上的多个激光雷达的输出。
23.根据权利要求22所述的导航系统，其中，所述多个相机和所述多个激光雷达中的至少两个具有至少部分重叠的视场。
24.一种车辆，包括：
主体；
耦接到所述主体的相机；
耦接到所述主体的激光雷达；以及
至少一个处理器，被编程为：
接收由相机捕捉的图像的流，其中捕捉的图像表示车辆周围的环境；
接收激光雷达的输出，其中激光雷达的输出表示来自车辆周围的环境的至少一部分的多个激光反射；
确定激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；
基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及
使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与车辆的环境中的道路相关联的标高或车辆的速率中的至少一个。
25.一种自主导航主车辆的方法，所述方法包括：
接收由主车辆上的相机捕捉的图像的流，其中捕捉的图像表示主车辆周围的环境；
接收主车辆上的激光雷达的输出，其中激光雷达的输出表示来自主车辆周围的环境的至少一部分的多个激光反射；
确定激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符；
基于激光雷达的输出与相机捕捉的至少一个图像之间的相对对齐的至少一个指示符，将激光雷达反射信息归属给在至少一个图像中识别的一个或多个对象；以及
使用所归属的激光雷达反射信息和在至少一个图像中识别的一个或多个对象，来确定与主车辆相关联的至少一个导航特性。
CN201880008067.6A 2017-01-26 2018-01-25 基于对齐的图像和激光雷达信息的车辆导航 Pending CN110235026A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762450750P 2017-01-26 2017-01-26
US62/450,750 2017-01-26
US201762538925P 2017-07-31 2017-07-31
US62/538,925 2017-07-31
PCT/IB2018/000141 WO2018138584A1 (en) 2017-01-26 2018-01-25 Vehicle navigation based on aligned image and lidar information

Publications (1)

Publication Number Publication Date
CN110235026A true CN110235026A (zh) 2019-09-13

Family

ID=61526836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008067.6A Pending CN110235026A (zh) 2017-01-26 2018-01-25 基于对齐的图像和激光雷达信息的车辆导航

Country Status (5)

Country Link
US (1) US11953599B2 (zh)
EP (1) EP3545337A1 (zh)
JP (2) JP7157054B2 (zh)
CN (1) CN110235026A (zh)
WO (1) WO2018138584A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
CN112840232A (zh) * 2019-09-23 2021-05-25 北京嘀嘀无限科技发展有限公司 用于标定相机和激光雷达的系统和方法
CN114402377A (zh) * 2019-09-17 2022-04-26 御眼视觉技术有限公司 用于监测交通车道拥塞的系统和方法
CN114782447A (zh) * 2022-06-22 2022-07-22 小米汽车科技有限公司 路面检测方法、装置、车辆、存储介质及芯片

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD858381S1 (en) 2017-04-28 2019-09-03 Waymo Llc Fender sensor housing
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
GB201714978D0 (en) * 2017-09-18 2017-11-01 Trw Ltd Detecting misalignment
US10816666B2 (en) * 2017-11-21 2020-10-27 Magna Electronics Inc. Vehicle sensing system with calibration/fusion of point cloud partitions
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
WO2019172118A1 (ja) * 2018-03-05 2019-09-12 株式会社小糸製作所 センサシステム、センサモジュール、およびランプ装置
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
JP7141242B2 (ja) * 2018-05-18 2022-09-22 株式会社小糸製作所 センサシステム
JP2021532382A (ja) * 2018-07-30 2021-11-25 ポニー エーアイ インコーポレイテッド 車載型車両カメラを較正するシステムおよび方法
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10551485B1 (en) 2018-08-06 2020-02-04 Luminar Technologies, Inc. Fitting points to a surface
CN109215135B (zh) 2018-09-07 2019-11-08 百度在线网络技术（北京）有限公司 一种基于统计的障碍物位置仿真方法、装置以及终端
CN109143242B (zh) 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 障碍物绝对速度估计方法、系统、计算机设备和存储介质
KR20200028648A (ko) * 2018-09-07 2020-03-17 삼성전자주식회사 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치
CN109255181B (zh) * 2018-09-07 2019-12-24 百度在线网络技术（北京）有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
KR102647929B1 (ko) * 2019-01-03 2024-03-15 현대모비스 주식회사 차량용 카메라 및 라이다 센서의 캘리브레이션 장치 및 방법
JPWO2020170678A1 (ja) * 2019-02-18 2021-12-23 株式会社小糸製作所 車両用センシングシステム及び車両
CN109703568B (zh) 2019-02-19 2020-08-18 百度在线网络技术（北京）有限公司 自动驾驶车辆行驶策略实时学习的方法、装置和服务器
USD950404S1 (en) 2019-05-01 2022-05-03 Waymo Llc Roof pod housing
USD957968S1 (en) 2019-02-20 2022-07-19 Waymo Llc Sensor housing
USD902756S1 (en) 2019-02-20 2020-11-24 Waymo Llc Sensor assembly
USD915913S1 (en) 2019-05-01 2021-04-13 Waymo Llc Roof pod housing
CN109712421B (zh) 2019-02-22 2021-06-04 百度在线网络技术（北京）有限公司 自动驾驶车辆的速度规划方法、装置和存储介质
JP7118911B2 (ja) * 2019-03-08 2022-08-16 株式会社東芝 画像処理装置
CN110082739B (zh) * 2019-03-20 2022-04-12 深圳市速腾聚创科技有限公司 数据同步方法和设备
USD964908S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD927998S1 (en) 2019-04-25 2021-08-17 Waymo Llc Front sensor housing
USD956585S1 (en) 2019-04-25 2022-07-05 Waymo Llc Rear sensor housing
USD928639S1 (en) 2019-04-25 2021-08-24 Waymo Llc Rear sensor housing
USD964249S1 (en) 2019-04-25 2022-09-20 Waymo Llc Perimeter sensor housing
USD954571S1 (en) 2019-04-25 2022-06-14 Waymo Llc Front sensor housing
USD965498S1 (en) 2019-04-25 2022-10-04 Waymo Llc Perimeter sensor housing
USD964909S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
EP3757611A1 (en) * 2019-06-27 2020-12-30 Aptiv Technologies Limited Vertical road profile estimation
US10775175B1 (en) * 2019-06-28 2020-09-15 Rockwell Collins, Inc. Wearable dead reckoning system for GPS-denied navigation
US10841483B1 (en) * 2019-07-11 2020-11-17 Denso International America, Inc. System and method for calibrating at least one camera and a light detection and ranging sensor
US20210025738A1 (en) * 2019-07-24 2021-01-28 EMC IP Holding Company LLC System and method for device operation monitoring
JP2022548645A (ja) * 2019-09-17 2022-11-21 カーボン オートノマス ロボティック システムズ， インコーポレイテッド 自律レーザ雑草根絶
WO2021113147A1 (en) * 2019-12-04 2021-06-10 Waymo Llc Efficient algorithm for projecting world points to a rolling shutter image
GB2594111B (en) * 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system
US20220003855A1 (en) * 2020-07-01 2022-01-06 Baidu Usa Llc Point clouds based lidar recalibration system for autonomous vehicles
EP4185924A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Beam-steering device particularly for lidar systems
EP4185894A1 (en) 2020-07-21 2023-05-31 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CA3125618C (en) 2020-07-21 2023-05-23 Leddartech Inc. Beam-steering device particularly for lidar systems
US11940568B2 (en) 2020-08-17 2024-03-26 Argo AI, LLC Enhanced multispectral sensor calibration
CN112184768B (zh) * 2020-09-24 2023-10-31 杭州易现先进科技有限公司 基于激光雷达的sfm重建方法、装置和计算机设备
GB2599380A (en) * 2020-09-30 2022-04-06 Roadmetric Ltd Measuring vehicle speeds with an uncalibrated camera
US20220180541A1 (en) * 2020-12-07 2022-06-09 Faro Technologies, Inc. Three-dimensional coordinate scanner
US20220236409A1 (en) * 2021-01-25 2022-07-28 GM Global Technology Operations LLC Ambiguity mitigation based on common field of view of radar systems
US20220269281A1 (en) * 2021-02-23 2022-08-25 Ran Cheng Method and system for generating a topological graph map
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113281617B (zh) * 2021-06-08 2022-09-27 中国民航大学 一种飞机线缆微弱故障诊断方法
US11555928B2 (en) * 2021-06-21 2023-01-17 Cyngn, Inc. Three-dimensional object detection with ground removal intelligence
WO2023283468A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Flexible multi-channel fusion perception
WO2023283469A1 (en) * 2021-07-08 2023-01-12 Cyngn, Inc. Multi-channel object matching
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
US11845439B2 (en) * 2021-09-29 2023-12-19 Canoo Technologies Inc. Prediction of target object's behavior based on world and image frames
WO2023067385A2 (en) * 2021-10-18 2023-04-27 Mobileye Vision Technologies Ltd. Radar-camera fusion for vehicle navigation
WO2023070147A1 (en) * 2021-10-25 2023-05-04 Commonwealth Scientific And Industrial Research Organisation Multi-sensor navigation
US20230202473A1 (en) * 2021-12-29 2023-06-29 Mobileye Vision Technologies Ltd. Calculating vehicle speed for a road curve
KR20230139560A (ko) * 2022-03-28 2023-10-05 현대자동차주식회사 차량 및 그 제어방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
US20120081544A1 (en) * 2010-10-01 2012-04-05 Jay Young Wee Image Acquisition Unit, Acquisition Method, and Associated Control Unit
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN105818763A (zh) * 2016-03-09 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种确定车辆周围物体距离的方法、装置及系统

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202776B2 (en) * 1997-10-22 2007-04-10 Intelligent Technologies International, Inc. Method and system for detecting objects external to a vehicle
JP3969984B2 (ja) 2001-09-25 2007-09-05 ダイハツ工業株式会社 移動物体の認識方法
JP2005258941A (ja) 2004-03-12 2005-09-22 Toyota Central Res & Dev Lab Inc 障害物検出装置
JP4918676B2 (ja) 2006-02-16 2012-04-18 国立大学法人 熊本大学 校正装置および校正方法
JP2007303842A (ja) 2006-05-08 2007-11-22 Toyota Central Res & Dev Lab Inc 車両位置推定装置及び地図情報作成装置
US8855848B2 (en) * 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US8244469B2 (en) 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP2010060299A (ja) 2008-09-01 2010-03-18 Omron Corp 物体検出装置
US8284250B2 (en) * 2009-01-16 2012-10-09 Microsoft Corporation Determining trigger rate for a digital camera
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8988276B2 (en) * 2010-03-17 2015-03-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
WO2013084317A1 (ja) 2011-12-07 2013-06-13 トヨタ自動車株式会社 表示制御装置
JP5746996B2 (ja) 2012-03-21 2015-07-08 日立オートモティブシステムズ株式会社 道路環境認識装置
DE112012006147B8 (de) 2012-03-29 2018-09-06 Toyota Jidosha Kabushiki Kaisha Straßenoberflächen-Zustands-Bestimmungsvorrichtung
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
EP2914975B1 (en) * 2012-11-05 2019-03-06 The Chancellor, Masters and Scholars of The University of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
US9207323B2 (en) * 2013-04-11 2015-12-08 Google Inc. Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
JP2016034810A (ja) 2014-08-04 2016-03-17 株式会社デンソーアイティーラボラトリ 車両制御装置
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US20160209211A1 (en) 2015-01-16 2016-07-21 GM Global Technology Operations LLC Method for determining misalignment of an object sensor
WO2016130719A2 (en) 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
JP2016212630A (ja) 2015-05-08 2016-12-15 トヨタ自動車株式会社 走行制御装置
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10282591B2 (en) * 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US10137904B2 (en) * 2015-10-14 2018-11-27 Magna Electronics Inc. Driver assistance system with sensor offset correction
US9916703B2 (en) * 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US10582121B2 (en) 2016-01-12 2020-03-03 Mitsubishi Electric Research Laboratories, Inc. System and method for fusing outputs of sensors having different resolutions
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
US20180067494A1 (en) * 2016-09-02 2018-03-08 Delphi Technologies, Inc. Automated-vehicle 3d road-model and lane-marking definition system
US10652333B2 (en) * 2016-12-27 2020-05-12 Intel Corporation Normalization of sensors
US10838067B2 (en) * 2017-01-17 2020-11-17 Aptiv Technologies Limited Object detection system
US10754035B2 (en) * 2017-01-17 2020-08-25 Aptiv Technologies Limited Ground classifier system for automated vehicles
JP2020522002A (ja) * 2017-06-02 2020-07-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 移動ターゲットを認識、追跡、および合焦するための方法及びシステム
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US11062461B2 (en) * 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101698303A (zh) * 2009-09-11 2010-04-28 大连理工大学 一种三维激光和单目视觉间的自动标定方法
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
US20120081544A1 (en) * 2010-10-01 2012-04-05 Jay Young Wee Image Acquisition Unit, Acquisition Method, and Associated Control Unit
CN104035071A (zh) * 2012-03-15 2014-09-10 通用汽车环球科技运作有限责任公司 融合雷达/摄像机物体数据和LiDAR扫描点的方法和装置
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN103559791A (zh) * 2013-10-31 2014-02-05 北京联合大学 一种融合雷达和ccd摄像机信号的车辆检测方法
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN105818763A (zh) * 2016-03-09 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种确定车辆周围物体距离的方法、装置及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110573901A (zh) * 2017-04-28 2019-12-13 深圳市大疆创新科技有限公司 激光传感器和视觉传感器的校准
CN114402377A (zh) * 2019-09-17 2022-04-26 御眼视觉技术有限公司 用于监测交通车道拥塞的系统和方法
CN112840232A (zh) * 2019-09-23 2021-05-25 北京嘀嘀无限科技发展有限公司 用于标定相机和激光雷达的系统和方法
CN112840232B (zh) * 2019-09-23 2024-03-22 北京航迹科技有限公司 用于标定相机和激光雷达的系统和方法
CN114782447A (zh) * 2022-06-22 2022-07-22 小米汽车科技有限公司 路面检测方法、装置、车辆、存储介质及芯片
CN114782447B (zh) * 2022-06-22 2022-09-09 小米汽车科技有限公司 路面检测方法、装置、车辆、存储介质及芯片

Also Published As

Publication number Publication date
JP7157054B2 (ja) 2022-10-19
JP2020507829A (ja) 2020-03-12
US20190353784A1 (en) 2019-11-21
WO2018138584A1 (en) 2018-08-02
JP2022185089A (ja) 2022-12-13
EP3545337A1 (en) 2019-10-02
US11953599B2 (en) 2024-04-09

Similar Documents

Publication Publication Date Title
CN110235026A (zh) 基于对齐的图像和激光雷达信息的车辆导航
JP7020728B2 (ja) システム、方法およびプログラム
US11669102B2 (en) Navigating a vehicle based on a detected barrier
EP3818339B1 (en) Systems and methods for vehicle navigation
US10696227B2 (en) Determining a road surface characteristic
US10962982B2 (en) Crowdsourcing the collection of road surface information
EP3598074B1 (en) Controlling host vehicle based on the detection of a vehicle moving towards the host vehicle's lane.
CN109891194A (zh) 用于导航车道合并和车道分离的系统和方法
CN106461774B (zh) 基于雷达提示视觉成像的高级驾驶员辅助系统
JP2024045389A (ja) レーンマッピング及びナビゲーション
CN114514411A (zh) 用于交通工具导航的系统和方法
CN106663193A (zh) 用于路缘检测和行人危险评估的系统和方法
CN115950440A (zh) 用于车辆导航的系统和方法
CN107111742A (zh) 在导航中对车道限制和施工区域的识别和预测
CN116783455A (zh) 用于检测打开的门的系统和方法
CN115735168A (zh) 用于对交通工具进行导航的控制回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination