CN110612431B - 自主车辆系统的交叉视场 - Google Patents

Abstract

提供了一种用于车辆的成像系统。在一实施方式中，成像系统包括成像模块、联接到成像模块的第一相机、联接到成像模块的第二相机以及安装组件，其配置成将成像模块附接到车辆，使得第一和第二相机相对于车辆面向外部。第一相机具有第一视场和第一光轴，第二相机具有第二视场和第二光轴。第一光轴在交叉平面的至少一个交叉点与第二光轴交叉。第一相机在超过交叉平面的交叉点的第一水平距离聚焦，第二相机在超过交叉平面的交叉点的第二水平距离聚焦。

Description

自主车辆系统的交叉视场

相关申请的交叉引用

本申请要求于2017年5月10日提交的美国临时专利申请第62/504504号的优先权，该申请的全部内容通过引用合并于此。

技术领域

本公开总体上涉及自主车辆的相机系统。在另一方面，本公开总体上涉及具有交叉视场的相机系统。

背景技术

自主车辆可能需要考虑多种因素，并基于这些因素做出适当的决策，以安全准确地到达预定目的地。例如，为了导航到目的地，自主车辆可能还需要识别其在道路内的位置(例如，在多车道道路内的特定车道)，与其他车辆并排导航，避开障碍物和行人，观察交通信号和标志，以及在适当的十字路口或交汇处从一条道路行驶到另一条道路。在车辆行驶到其目的地时，利用和解释自主车辆收集的大量信息提出了许多设计挑战。自主车辆可能需要分析、访问和/或存储的大量数据(例如，捕获的图像数据、地图数据、GPS数据、传感器数据等)提出了可能实际上限制甚至不利地影响自主导航的挑战。例如，作为收集的数据的一部分，自主车辆可能需要处理和解释视觉信息(例如，从位于车辆上的离散位置处的多个相机捕获的信息)。每个相机会具有特定的视场。在一起使用多个相机的情况下，相机的视场在某些情况下可能会重叠和/或冗余。

发明内容

与本公开一致的实施例提供了用于自主车辆导航的系统和方法。所公开的实施例可以使用相机来提供自主车辆导航特征。例如，与所公开的实施例一致，所公开的系统可以包括监视车辆环境的一个、两个、三个或更多个相机。每个相机的视场可能与另一个相机甚至多个相机重叠。所公开的系统可以基于例如对由一个或多个相机捕获的图像的分析来提供导航响应。导航响应还可以考虑其他数据，包括例如全球定位系统(GPS)数据、传感器数据(例如，来自加速度计、速度传感器、悬架传感器等)和/或其他地图数据。

在一实施例中，提供了一种用于车辆的成像系统。成像系统可以包括成像模块和联接到成像模块的第一相机。第一相机可以具有第一视场和第一光轴。成像系统还可包括联接到成像模块的第二相机。第二相机可以具有第二视场和第二光轴。成像系统还可包括安装组件，其配置成将成像模块附接到车辆，使得第一相机和第二相机相对于车辆面向外部。另外，第一光轴可以在交叉平面的至少一个交叉点与第二光轴交叉。此外，第一相机可以在超过交叉平面的交叉点的第一水平距离处聚焦，第二相机可以聚焦在超过交叉平面的交叉点的第二水平距离处聚焦；并且，第一视场和第二视场可以形成组合视场。

在一实施例中，提供了一种用于车辆的成像系统。成像系统可以包括成像模块和联接到成像模块的第一相机。第一相机可以具有第一视场和第一光轴。成像系统还可包括联接到成像模块的第二相机。第二相机可以具有第二视场和第二光轴。成像系统还可以包括联接到成像模块的第三相机。第三相机可以具有第三视场和第三光轴。成像系统还可包括安装组件，其配置成将成像模块附接到车辆的内部窗户，使得第一相机、第二相机和第三相机相对于车辆面向外部。另外，第一光轴可以在第一交叉平面的至少一个第一交叉点与第二光轴交叉，第一光轴可以在第二交叉平面的至少一个第二交叉点与第三光轴交叉，并且第二光轴可以在第三交叉平面的至少一个第三交叉点与第三光轴交叉。此外，第一视场、第二视场和第三视场可以形成组合视场。

在一实施例中，提供一种用于车辆的成像系统。成像系统可以包括成像模块，其配置成沿着半圆弧布置多个相机。多个相机可以朝向半圆的半径定向。成像系统还可包括安装组件，其配置成将成像模块附接到车辆的内部窗户，使得多个相机相对于车辆面向外部。另外，多个相机中的每个相应的相机可以具有相应的视场和从单个相对较小且透明开口向外伸出的相应的光轴。此外，每个相应的视场至少部分地与半圆的半径重叠，并且半圆的半径位于单个相对较小且透明开口的中心位置。此外，每个相应的光轴在相应交叉平面的至少一个相应交叉点与每个其他相应的光轴交叉，并且所有相应的视场形成组合视场。

前面的一般描述和下面的详细描述仅是示例性和说明性的，并不限制权利要求。

附图说明

附图并入本公开并构成本公开一部分，其示出了各个公开的实施例。在图中：

图1是与所公开的实施例一致的示例性系统的示意性表示。

图2A是包括与所公开的实施例一致的系统的示例性车辆的示意性侧视图表示。

图2B是与所公开的实施例一致的图2A所示的车辆和系统的示意性俯视图表示。

图2C是包括与所公开的实施例一致的系统的车辆的另一实施例的示意性俯视图表示。

图2D是包括与所公开的实施例一致的系统的车辆的又一实施例的示意性俯视图表示。

图2E是包括与所公开的实施例一致的系统的车辆的又一实施例的示意性俯视图表示。

图2F是与所公开的实施例一致的示例性车辆控制系统的示意性表示。

图3A是与所公开的实施例一致的包括后视镜和用于车辆成像系统的用户界面的车辆的内部的示意性表示。

图3B是与所公开的实施例一致的配置成定位在后视镜后面并且紧靠车辆挡风玻璃的相机安装座的示例的图示。

图3C是与所公开的实施例一致的从不同角度观看的图3B所示的相机安装座的图示。

图3D是与所公开的实施例一致的配置成定位在后视镜后面并且紧靠车辆挡风玻璃的相机安装座的示例的图示。

图4是与所公开的实施例一致的配置成存储用于执行一个或多个操作的指令的存储器的示例性框图。

图5A是示出了与所公开的实施例一致的用于基于单眼图像分析来引起一个或多个导航响应的示例性过程的流程图。

图5B是示出了与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程的流程图。

图5C是示出了与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何形状信息的示例性过程的流程图。

图5D是示出了与所公开的实施例一致的用于在一组图像中检测交通信号灯的示例性过程的流程图。

图5E是示出了与所公开的实施例一致的用于基于车辆路径来引起一个或多个导航响应的示例性过程的流程图。

图5F是示出了与所公开的实施例一致的用于确定领先车辆是否正在改变车道的示例性过程的流程图。

图6是示出了与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程的流程图。

图7是示出了与所公开的实施例一致的基于三组图像的分析来引起一个或多个导航响应的示例性过程的流程图。

图8是与所公开的实施例一致的成像系统的实施例的示意性表示。

图9是单个相机宽视场成像系统的示意图。

图10是与所公开的实施例一致的成像系统的另一实施例的示意性表示。

图11A是与所公开的实施例一致的具有组合视场的示例性成像系统的示意性平面视图表示。

图11B是与所公开的实施例一致的具有组合视场的示例性成像系统的示意性平面视图表示。

图12A是与所公开的实施例一致的具有组合视场的另一示例性成像系统的示意性平面视图表示。

图12B是与所公开的实施例一致的具有组合视场的另一示例性成像系统的示意性平面视图表示。

图13是与所公开的实施例一致的具有组合视场的另一示例性成像系统的透视图表示。

图14是与所公开的实施例一致的具有组合视场的另一示例性成像系统的透视图表示。

图15是与所公开的实施例一致的具有组合视场的另一示例性成像系统的透视图表示。

图16是与所公开的实施例一致的图15的成像系统的透视图表示。

图17是与所公开的实施例一致的具有组合视场的另一示例性成像系统的透视图表示。

图18是与所公开的实施例一致的图17的成像系统的透视图表示。

图19是与所公开的实施例一致的具有组合视场的另一示例性成像系统的示意性平面视图表示。

图20是与所公开的实施例一致的具有组合视场的另一示例性成像系统的示意性平面视图表示。

图21是与所公开的实施例一致的另一示例性成像系统的正视图表示。

图22是包括与所公开的实施例一致的成像系统的示例性车辆的透视图。

图23是包括与所公开的实施例一致的成像系统的示例性车辆的侧视图。

图24是与所公开的实施例一致的图23的示意性平面视图表示。

图25是与所公开的实施例一致的成像系统的示意性平面视图表示。

具体实施方式

以下详细描述参考附图。在可能的情况下，在附图和以下描述中使用相同的附图标记指代相同或相似的部件。尽管这里描述了多个说明性实施例，但是修改、改变及其他实施方式也是可能的。例如，可以对附图中示出的部件进行替换、添加或修改，并且可以通过替代、重新排序、移除或添加所公开的方法的步骤来修改本文描述的说明性方法。因此，以下详细描述不限于所公开的实施例和示例。相反，适当的范围由所附权利要求限定。

自主车辆概述

如在整个本公开中所使用，术语“自主车辆”是指能够在没有驾驶员输入的情况下实施至少一个导航变化的车辆。“导航变化”是指车辆的转向、制动或加速中的一个或多个的变化。为了实现自主，车辆不需要是全自动的(例如在没有驾驶员或没有驾驶员输入的情况下完全操作)。相反，自主车辆包括可以在某些时间段内在驾驶员控制下操作而在其他时间段内没有驾驶员控制的那些车辆。自主车辆还可以包括仅控制车辆导航的某些方面比如转向(例如以在车辆车道约束之间维持车辆路线)的车辆，但是可以将其他方面留给驾驶员(例如制动)。在某些情况下，自主车辆可以处理车辆的制动、速度控制和/或转向的一些或所有方面。

由于人类驾驶员通常依靠视觉提示和观察命令来控制车辆，因此相应地构建了交通运输基础设施，车道标记、交通标志和交通信号灯全都设计成向驾驶员提供视觉信息。考虑到交通运输基础设施的这些设计特征，自主车辆可以包括相机和处理单元，该处理单元分析从车辆的环境捕获的视觉信息。视觉信息可包括例如驾驶员可观察到的交通运输基础设施的组成部分(例如车道标记、交通标志、交通信号灯等)及其他障碍物(例如其他车辆、行人、垃圾等)。此外，自主车辆还可以使用存储的信息，比如在导航时提供车辆环境的模型的信息。例如，车辆可以使用GPS数据、传感器数据(例如来自加速度计、速度传感器、悬架传感器等)和/或其他地图数据来提供与车辆行驶时其环境有关的信息，并且车辆(以及其他车辆)可以使用该信息来将自身定位在模型上。

在本公开的一些实施例中，自主车辆可以使用在导航时获得的信息(例如来自相机、GPS设备、加速度计、速度传感器、悬架传感器等)。在其他实施例中，自主车辆可以在导航时使用从车辆(或其他车辆)的过去导航获得的信息。在其他实施例中，自主车辆可以使用在导航时获得的信息和从过去导航获得的信息的组合。以下各部分提供与所公开的实施例一致的系统的概述，随后是前向成像系统和与该系统一致的方法的概述。以下各部分公开了用于构造、使用和更新稀疏地图以用于自主车辆导航的系统及方法。

如在整个本公开中所使用，术语“视场”是指相机能够在三个维度上观看的总区域。当本公开描述参考单个角度的视场时，该单个角度是指二维的水平视场。如在整个本公开中所使用，术语“光轴”是指相机视场的中心轴线。换句话说，“光轴”是相机可见区域的投影中心处的矢量。换句话说，“光轴”是相机视场对称定向所围绕的轴线。

系统概述

图1是与示例性公开的实施例一致的系统100的框图表示。取决于特定实施方式的要求，系统100可以包括各种部件。在一些实施例中，系统100可以包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储单元140、150、地图数据库160、用户界面170和无线收发器172。处理单元110可以包括一个或多个处理设备。在一些实施例中，处理单元110可以包括应用处理器180、图像处理器190或任何其他合适的处理设备。类似地，取决于特定应用的要求，图像获取单元120可以包括任何数量的图像获取设备和部件。在一些实施例中，图像获取单元120可以包括一个或多个图像捕获设备(例如相机)，比如图像捕获设备122、图像捕获设备124和图像捕获设备126。系统100还可以包括将处理设备110通信地连接到图像获取设备120的数据接口128。例如，数据接口128可以包括任何一个或多个有线和/或无线链路，用于将由图像获取设备120获取的图像数据传输到处理单元110。

无线收发器172可以包括一个或多个设备，该设备配置成通过使用射频、红外频率、磁场或电场通过空中接口将传输交换到一个或多个网络(例如蜂窝、互联网等)。无线收发器172可以使用任何已知的标准来传输和/或接收数据(例如WiFi、Bluetooth Smart、802.15.4、ZigBee等)。这种传输可以包括从主车辆到一个或多个远程服务器的通信。这种传输还可包括在主车辆与主车辆环境中的一个或多个目标车辆之间的通信(单向或双向)(例如在主车辆的环境中，根据目标车辆或与目标车辆一起促进主车辆的导航协调)，甚至包括向传输车辆附近的未指定接收者的广播传输。

应用处理器180和图像处理器190都可以包括各种类型的处理设备。例如，应用处理器180和图像处理器190中的一个或两个可以包括微处理器、预处理器(比如图像预处理器)、图形处理单元(GPU)、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器或适合运行应用程序以及图像处理和分析的任何其他类型的设备。在一些实施例中，应用处理器180和/或图像处理器190可以包括任何类型的单核或多核处理器、移动设备微控制器、中央处理单元等。可以使用各种处理设备，例如包括可从制造商获得的处理器(比如等)或可从制造商获得的GPU(例如/> 等)，并且可以包括各种架构(例如x86处理器、/>等)。

在一些实施例中，应用处理器180和/或图像处理器190可以包括可从获得的任何EyeQ系列处理器芯片。这些处理器设计各自包括具有本地存储器和指令集的多个处理单元。这种处理器可以包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一示例中，/>使用以332Mhz运行的90nm微米技术。架构包含两个浮点、超线程32位RISC CPU(/>内核)、五个视觉计算引擎(VCE)、三个矢量微码处理器/>Denali 64位移动DDR控制器、128位内部超音速互连、双16位视频输入和18位视频输出控制器、16通道DMA以及多个外围设备。MIPS34KCPU管理着五个VCE、三个VMP^TM和DMA、第二MIPS34K CPU和多通道DMA以及其他外围设备。五个VCE、三个/>和MIPS34K CPU可以执行多功能捆绑应用程序所需的密集视觉计算。在另一示例中，作为第三代处理器并且比/>功能强大六倍的/>可以用于所公开的实施例。在其他示例中，/>和/或/>可以用于所公开的实施例。当然，任何更新的或将来的EyeQ处理设备也可以与所公开的实施例一起使用。

本文公开的任何处理设备可以配置成执行某些功能。配置处理设备比如所描述的EyeQ处理器或其他控制器或微处理器中的任何一个以执行某些功能可以包括对计算机可执行指令进行编程，并使这些指令可用于处理设备以在处理设备的操作期间执行。在一些实施例中，配置处理设备可以包括直接利用架构指令对处理设备进行编程。例如，可以使用例如一种或多种硬件描述语言(HDL)来配置处理设备，比如现场可编程门阵列(FPGA)、专用集成电路(ASIC)等。

在其他实施例中，配置处理设备可以包括将可执行指令存储在操作期间处理设备可访问的存储器上。例如，处理设备可以在操作期间访问存储器以获得并执行所存储的指令。在任一种情况下，配置为执行本文公开的感测、图像分析和/或导航功能的处理设备代表控制主车辆的多个基于硬件的部件的基于专用硬件的系统。

尽管图1描绘了包括在处理单元110中的两个单独的处理设备，但是可以使用更多或更少的处理设备。例如，在一些实施例中，单个处理设备可以用于完成应用处理器180和图像处理器190的任务。在其他实施例中，这些任务可以由两个以上的处理设备执行。此外，在一些实施例中，系统100可以包括一个或多个处理单元110，而不包括其他部件，比如图像获取单元120。

处理单元110可以包括各种类型的设备。例如，处理单元110可以包括各种设备，比如控制器、图像预处理器、中央处理单元(CPU)、图形处理单元(GPU)、支持电路、数字信号处理器、集成电路、存储器或用于图像处理和分析的任何其他类型的设备。图像预处理器可以包括视频处理器，用于捕获、数字化和处理来自图像传感器的图像。CPU可以包括任何数量的微控制器或微处理器。GPU还可包括任何数量的微控制器或微处理器。支持电路可以是本领域公知的任何数量的电路，包括高速缓存、电源、时钟和输入输出电路。存储器可以存储在由处理器执行时控制系统操作的软件。存储器可以包括数据库和图像处理软件。存储器可以包括任意数量的随机存取存储器、只读存储器、闪存、磁盘驱动器、光学存储器、磁带存储器、可移动存储器和其他类型的存储器。在一实例中，存储器可以与处理单元110分离。在另一实例中，存储器可以集成到处理单元110中。

每个存储器140、150可以包括在由处理器(例如应用处理器180和/或图像处理器190)执行时可以控制系统100的各个方面的操作的软件指令。这些存储器单元可以包括各种数据库和图像处理软件以及受过训练的系统，例如神经网络或深度神经网络。存储器单元可以包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、磁盘驱动器、光学存储器、磁带存储器、可移动存储器和/或任何其他类型的存储器。在一些实施例中，存储单元140、150可以与应用处理器180和/或图像处理器190分离。在其他实施例中，这些存储单元可以集成到应用处理器180和/或图像处理器190中。

位置传感器130可以包括适于确定与系统100的至少一个部件相关的位置的任何类型的设备。在一些实施例中，位置传感器130可以包括GPS接收器。这种接收器可以通过处理由全球定位系统卫星广播的信号来确定用户位置和速度。来自位置传感器130的位置信息可被提供给应用处理器180和/或图像处理器190。

在一些实施例中，系统100可以包括诸如用于测量车辆200的速度的速度传感器(例如转速计、速度计)和/或用于测量车辆200的加速度的加速度计(单轴或多轴)之类的部件。

用户界面170可以包括适于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任何设备。在一些实施例中，用户界面170可以包括用户输入设备，包括例如触摸屏、麦克风、键盘、指针设备、滚轮、相机、旋钮、按钮等。采用这种输入设备，用户可能能够通过键入指令或信息、提供语音命令、使用按钮、指针或眼睛跟踪功能来选择屏幕上的菜单选项或者通过用于将信息传达到系统100的任何其他合适的技术来向系统100提供信息输入或命令。

用户界面170可以配备有一个或多个处理设备，该设备配置成向用户提供信息或从用户接收信息，并处理该信息以供例如应用处理器180使用。在一些实施例中，这种处理设备可以执行用于识别和跟踪眼动、接收和解释语音命令、识别和解释在触摸屏上做出的触摸和/或手势、响应键盘输入或菜单选择等的指令。在一些实施例中，用户界面170可以包括显示器、扬声器、触觉设备和/或向用户提供输出信息的任何其他设备。

地图数据库160可以包括用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施例中，地图数据库160可以包括与各个项目在参考坐标系中的位置有关的数据，项目包括道路、水景、地理特征、企业、景点、饭店、加油站等。地图数据库160不仅可以存储这些项目的位置，而且可以存储与这些项目有关的描述符，例如包括与任何所存储的特征相关的名称。在一些实施例中，地图数据库160可以与系统100的其他部件物理地定位。可替代地或另外，地图数据库160或其一部分可以相对于系统100的其他部件(例如处理单元110)远程地定位。在这种实施例中，来自地图数据库160的信息可以通过有线或无线数据连接下载到网络(例如通过蜂窝网络和/或互联网等)。在一些情况下，地图数据库160可以存储稀疏数据模型，该稀疏数据模型包括用于主车辆的某些道路特征(例如车道标记)或目标轨迹的多项式表示。下面参考图8-19讨论生成这种地图的系统和方法。

图像捕获设备122、124和126每个可以包括适于从环境捕获至少一个图像的任何类型的设备。而且，任何数量的图像捕获设备可以用于获取图像以输入到图像处理器。一些实施例可以仅包括单个图像捕获设备，而其他实施例可以包括两个、三个或者甚至四个或更多个图像捕获设备。下面将参考图2B-2E进一步描述图像捕获设备122、124和126。

系统100或其各个部件可以结合到各种不同的平台中。在一些实施例中，如图2A所示，系统100可被包括在车辆200上。例如，车辆200可以配备有处理单元110和系统100的任何其他部件，如以上关于图1所述。尽管在一些实施例中，车辆200可以仅配备有单个图像捕获设备(例如相机)，但是在其他实施例中，比如结合图2B-2E讨论的那些实施例，可以使用多个图像捕获设备。例如，如图2A所示，车辆200的图像捕获设备122和124中的任一个都可以是ADAS(高级驾驶员辅助系统)成像设备的一部分。

包括在车辆200上作为图像获取单元120的一部分的图像捕获设备可以位于任何合适的位置。在一些实施例中，如图2A-2E和3A-3C所示，图像捕获设备122可以位于后视镜附近。该位置可以提供与车辆200的驾驶员相似的视线，这可以帮助确定对驾驶员可见和不可见的东西。图像捕获设备122可以位于后视镜附近的任何位置，但是将图像捕获设备122放置在镜子的驾驶员侧上可以进一步帮助获得代表驾驶员的视场和/或视线的图像。

也可以使用图像获取单元120的图像捕获设备的其他位置。例如，图像捕获设备124可以位于车辆200的保险杠上或保险杠中。这种位置可以特别适合于具有宽视场的图像捕获设备。位于保险杠的图像捕获设备的视线可能与驾驶员的视线不同，因此，保险杠图像捕获设备和驾驶员可能并不总是看到相同的对象。图像捕获设备(例如图像捕获设备122、124和126)也可以位于其他位置。例如，图像捕获设备可以位于车辆200的侧镜的一个或两个上或之中、位于车辆200的顶板上、位于车辆200的引擎盖上、位于车辆200的后备箱上、位于车辆200的侧面、安装在车辆200的任何窗户上、定位在窗户的后方或前方以及安装在车辆200的前面和/或后面的灯图中或附近。

除了图像捕获设备之外，车辆200可以包括系统100的各种其他部件。例如，处理单元110可以包括在车辆200上，与车辆的发动机控制单元(ECU)集成在一起或与之分开。车辆200还可以配备有位置传感器130，比如GPS接收器，并且还可以包括地图数据库160以及存储单元140和150。

如前所述，无线收发器172可以和/或通过一个或多个网络(例如蜂窝网络、互联网等)接收数据。例如，无线收发器172可以将系统100收集的数据上传到一个或多个服务器，并且可以从一个或多个服务器下载数据。经由无线收发器172，系统100可以例如接收对存储在地图数据库160、存储器140和/或存储器150中的数据的定期或按需更新。类似地，无线收发器172可以将来自系统100的任何数据(例如由图像获取单元120捕获的图像、由位置传感器130或其他传感器、车辆控制系统等接收的数据)和/或由处理单元110处理的任何数据上传到一个或多个服务器。

系统100可以基于隐私级别设置将数据上传到服务器(例如上传到云)。例如，系统100可以实施隐私级别设置以调节或限制发送到服务器的数据类型(包括元数据)，该数据可以唯一地识别车辆和/或车辆的驾驶员/所有者。这种设置可以由用户通过例如无线收发器172设置，通过出厂默认设置或通过由无线收发器172接收的数据进行初始化。

在一些实施例中，系统100可以根据“高”隐私级别来上传数据，并且在对设置进行设置下，系统100可以在没有关于特定车辆和/或驾驶员/所有者的任何细节的情况下传输数据(例如与路线有关的位置信息、捕获的图像等)。例如，当根据“高”隐私设置上传数据时，系统100可以不包括车辆识别号(VIN)或车辆的驾驶员或所有者的姓名，并且可以代替传输数据，比如捕获的图像和/或与路线有关的有限位置信息。

预期其他隐私级别。例如，系统100可以根据“中间”隐私级别将数据传输到服务器，并且包括在“高”隐私级别下不包括的附加信息，比如车辆的品牌和/或型号和/或车辆类型(例如乘用车、越野车、卡车等)。在一些实施例中，系统100可以根据“低”隐私级别上传数据。在“低”隐私级别设置下，系统100可以上传数据并且包括足以唯一地识别特定车辆、所有者/驾驶员和/或车辆所行进的路线的一部分或全部的信息。这种“低”隐私级别数据可以包括例如以下各项中的一项或多项：VIN、驾驶员/所有者姓名、出发之前车辆的始发点、车辆的预期目的地、车辆的品牌和/或型号、车辆类型等。

图2A是与所公开的实施例一致的示例性车辆成像系统的示意性侧视图表示。图2B是图2A所示的实施例的示意性俯视图。如图2B所示，所公开的实施例可以包括车辆200，该车辆200在其主体中包括系统100，该系统100具有定位在车辆200的后视镜附近和/或靠近驾驶员的第一图像捕获设备122、定位在车辆200的保险杠区域(例如保险杠区域210之一)上或之中的第二图像捕获设备124以及处理单元110。

如图2C所示，图像捕获设备122和124都可以定位在车辆200的后视镜附近和/或靠近驾驶员。另外，尽管在图2B和2C中示出了两个图像捕获设备122和124，但应当理解的是，其他实施例可以包括两个以上的图像捕获设备。例如，在图2D和2E所示的实施例中，第一、第二和第三图像捕获设备122、124、126包括在车辆200的系统100中。

如图2D所示，图像捕获设备122可以定位在车辆200的后视镜附近和/或靠近驾驶员，并且图像捕获设备124和126可以定位在车辆200的保险杠区域(例如保险杠区域210之一)上或之中。并且如图2E所示，图像捕获设备122、124和126可以定位在车辆200的后视镜附近和/或靠近驾驶员座椅。所公开的实施例不限于图像捕获设备的任何特定数量和配置，并且图像捕获设备可以定位在车辆200内和/或其上的任何适当位置。

应当理解，所公开的实施例不限于车辆，并且可以在其他情况下应用。还应理解，所公开的实施例不限于特定类型的车辆200，并且可适用于所有类型的车辆，包括汽车、卡车、拖车及其他类型的车辆。

第一图像捕获设备122可以包括任何合适类型的图像捕获设备。图像捕获设备122可以包括光轴。在一实例中，图像捕获设备122可包括具有全局快门的Aptina M9V024 WVGA传感器。在其他实施例中，图像捕获设备122可以提供1280x960像素的分辨率，并且可以包括卷帘快门。图像捕获设备122可以包括各种光学元件。在一些实施例中，例如可以包括一个或多个透镜，以为图像捕获设备提供期望的焦距和视场。在一些实施例中，图像捕获设备122可以与6mm透镜或12mm透镜相关。在一些实施例中，如图2D所示，图像捕获设备122可以配置成捕获具有期望的视场(FOV)202的图像。例如，图像捕获设备122可以配置成具有规则的FOV，比如在40度至56度的范围内，包括46度FOV、50度FOV、52度FOV或更大。可替代地，图像捕获设备122可以配置成具有在23度至40度范围内的窄FOV，比如28度FOV或36度FOV。另外，图像捕获设备122可以配置成具有在100度至180度范围内的宽FOV。在一些实施例中，图像捕获设备122可以包括广角保险杠相机或具有高达180度FOV的相机。在一些实施例中，图像捕获设备122可以是具有约2:1的纵横比(例如HxV＝3800x1900像素)和具有约100度水平FOV的7.2M像素图像捕获设备。可以使用这种图像捕获设备代替三个图像捕获设备配置。由于明显的透镜畸变，在图像捕获设备使用径向对称透镜的实施方式中，这种图像捕获设备的竖直FOV可以明显小于50度。例如，这种透镜可能不是径向对称的，这将允许竖直FOV大于50度且水平FOV为100度。

第一图像捕获设备122可以获取关于与车辆200相关的场景的多个第一图像。多个第一图像中的每个可被获取为一系列图像扫描线，其可以通过使用卷帘快门而被捕获。每条扫描线可以包括多个像素。

第一图像捕获设备122可以具有与第一系列图像扫描线中的每一个的获取相关的扫描速率。扫描速率可以指图像传感器可以获取与特定扫描线中包括的每个像素相关的图像数据的速率。

图像捕获设备122、124和126可以包含任何合适类型和数量的图像传感器，例如包括CCD传感器或CMOS传感器。在一实施例中，可以将CMOS图像传感器与卷帘快门一起使用，使得一次读取一行中的每个像素，并且逐行地进行行的扫描，直到整个图像帧已被捕获。在一些实施例中，可以相对于帧从上到下顺序地捕获行。

在一些实施例中，本文公开的一个或多个图像捕获设备(例如图像捕获设备122、124和126)可以构成高分辨率成像器并且可以具有大于5M像素、7M像素、10M像素或更大的分辨率。

卷帘快门的使用可能导致不同行中的像素在不同时间被曝光和捕获，这可能导致捕获的图像帧中的歪斜和其他图像伪影。另一方面，当图像捕获设备122配置成与全局或同步快门一起操作时，所有像素可以在相同的时间量内并且在共同的曝光时间段内曝光。结果，从采用全局快门的系统收集的帧中的图像数据表示在特定时间处的整个FOV(比如FOV202)的快照。相反，在卷帘快门应用中，一帧中的每一行都被暴露，并且数据在不同的时间处被捕获。因此，在具有卷帘快门的图像捕获设备中，运动的对象可能看起来变形。该现象将在下面更详细地描述。

第二图像捕获设备124和第三图像捕获设备126可以是任何类型的图像捕获设备。如同第一图像捕获设备122一样，图像捕获设备124和126中的每个可以包括光轴。在一实施例中，图像捕获设备124和126中的每个可以包括具有全局快门的Aptina M9V024 WVGA传感器。可替代地，图像捕获设备124和126中的每个可以包括卷帘快门。如同图像捕获设备122一样，图像捕获设备124和126可以配置成包括各种透镜和光学元件。在一些实施例中，与图像捕获设备124和126相关的透镜可以提供与与图像捕获设备122相关的FOV(比如FOV 202)相同或比其更窄的FOV(比如FOV 204和206)。例如，图像捕获设备124和126可以具有40度、30度、26度、23度、20度或更小的FOV。

图像捕获设备124和126可以获取关于与车辆200相关的场景的多个第二和第三图像。多个第二和第三图像中的每一个可被获取为第二和第三系列图像扫描线，其可以使用卷帘快门而被捕获。每个扫描线或行可以具有多个像素。图像捕获设备124和126可以具有与第二和第三系列中包括的每个图像扫描线的获取相关的第二和第三扫描速率。

每个图像捕获设备122、124和126可以定位在相对于车辆200的任何合适位置和方位。可以选择图像捕获设备122、124和126的相对定位以有助于将从图像捕获设备获取的信息融合在一起。例如，在一些实施例中，与图像捕获设备124相关的FOV(比如FOV204)可以与与图像捕获设备122相关的FOV(比如FOV202)和与图像捕获设备126相关的FOV(比如FOV206)部分地或完全地重叠。

图像捕获设备122、124和126可以以任何合适的相对高度位于车辆200上。在一实例中，图像捕获设备122、124和126之间可能存在高度差，这可以提供足够的视差信息以实现立体分析。例如，如图2A所示，两个图像捕获设备122和124处于不同的高度。例如，图像捕获设备122、124和126之间也可能存在横向位移差，从而给出了附加的视差信息以供处理单元110进行立体分析。如图2C和2D所示，横向位移差可以用dx表示。在一些实施例中，在图像捕获设备122、124和126之间可以存在前后位移(例如范围位移)。例如，图像捕获设备122可以位于图像捕获设备124和/或图像捕获设备126之后0.5至2米或更多。这种类型的位移可以使其中一个图像捕获设备能够覆盖其他图像捕获设备的潜在盲点。

图像捕获设备122可以具有任何合适的分辨率能力(例如与图像传感器相关的像素数)，并且与图像捕获设备122相关的图像传感器的分辨率可以更高、更低或与与图像捕获设备124和126相关的图像传感器的分辨率相同。在一些实施例中，与图像捕获设备122和/或图像捕获设备124和126相关的图像传感器可以具有640x480、1024x768、1280x960的分辨率或其他任何合适的分辨率。

帧速率(例如图像捕获设备在继续捕获与下一图像帧相关的像素数据之前获取一个图像帧的一组像素数据的速率)是可控制的。与图像捕获设备122相关的帧速率可以更高、更低或与与图像捕获设备124和126相关的帧速率相同。与图像捕获设备122、124和126相关的帧速率可以取决于可能影响帧速率定时的各种因素。例如，图像捕获设备122、124和126中的一个或多个可以包括在获取与图像捕获设备122、124和/或126中的图像传感器的一个或多个像素相关的图像数据之前或之后施加的可选像素延迟时段。通常，可以根据设备的时钟速率(例如每个时钟周期一个像素)来获取与每个像素相对应的图像数据。另外，在包括卷帘快门的实施例中，图像捕获设备122、124和126中的一个或多个可以包括在获取与图像捕获设备122、124和/或126中的图像传感器的一行像素相关的图像数据之前或之后施加的可选水平消隐时段。此外，图像捕获设备122、124和/或126中的一个或多个可以包括在获取与图像捕获设备122、124和126的图像帧相关的图像数据之前或之后施加的可选竖直消隐时段。

即使每个的行扫描速率不同，这些定时控制也可以使与图像捕获设备122、124和126相关的帧速率同步。另外，如将在下面更详细地讨论，即使图像捕获设备122的视场不同于图像捕获设备124和126的FOV，这些可选定时控制以及其他因素(例如图像传感器分辨率、最大行扫描速率等)也可以使来自图像捕获设备122的FOV与图像捕获设备124和126的一个或多个FOV重叠的区域的图像捕获同步。

图像捕获设备122、124和126中的帧速率定时可以取决于相关的图像传感器的分辨率。例如，假设两个设备的线扫描速率相似，如果一个设备包括分辨率为640x480的图像传感器，而另一个设备包括分辨率为1280x960的图像传感器，则将需要更多时间以从具有高分辨率的传感器获取图像数据的帧。

可能影响图像捕获设备122、124和126中的图像数据获取的定时的另一个因素是最大线扫描速率。例如，从包括在图像捕获设备122、124和126中的图像传感器获取一行图像数据将需要一些最小时间量。假设不增加像素延迟时段，则用于获取一行图像数据的最小时间量将与特定设备的最大线扫描速率有关。与最大线扫描速率较低的设备相比，提供最大线扫描速率较高的设备有可能提供更高的帧速率。在一些实施例中，图像捕获设备124和126中的一个或多个可具有的最大线扫描速率高于与图像捕获设备122相关的最大线扫描速率。在一些实施例中，图像捕获设备124和/或126的最大线扫描速率可以是图像捕获设备122的最大线扫描速率的1.25、1.5、1.75或2倍或者更多倍。

在另一实施例中，图像捕获设备122、124和126可以具有相同的最大线扫描速率，但是图像捕获设备122可以以小于或等于其最大扫描速率的扫描速率进行操作。该系统可以配置成使得图像捕获设备124和126中的一个或多个以等于图像捕获设备122的线扫描率的线扫描率进行操作。在其他实例中，该系统可以配置成使得图像捕获设备124和/或图像捕获设备126的线扫描速率可以是图像捕获设备122的线扫描速率的1.25、1.5、1.75或2倍或者更多倍。

在一些实施例中，图像捕获设备122、124和126可以是不对称的。也就是说，它们可以包括具有不同视场(FOV)和焦距的相机。例如，图像捕获设备122、124和126的视场可以包括相对于车辆200的环境的任何期望的区域。在一些实施例中，图像捕获设备122、124和126中的一个或多个可以配置成从车辆200前面、车辆200后面、到车辆200的侧面或它们的组合的环境获取图像数据。

此外，与每个图像捕获设备122、124和/或126相关的焦距可以是可选择的(例如通过包括适当的透镜等)，使得每个设备在相对于车辆200的期望的距离范围内获取对象的图像。例如，在一些实施例中，图像捕获设备122、124和126可以获取距车辆几米之内的特写对象的图像。图像捕获设备122、124和126还可以配置成获取在距车辆更远的范围(例如25m、50m、100m、150m或更大)处的对象的图像。此外，可以选择图像捕获设备122、124和126的焦距，使得一个图像捕获设备(例如图像捕获设备122)可以获取相对靠近车辆(例如在10m或20m内)的对象的图像，而其他图像捕获设备(例如图像捕获设备124和126)可以获取距车辆200更远距离(例如大于20m、50m、100m、150m等)的对象的图像。

根据一些实施例，一个或多个图像捕获设备122、124和126的FOV可以具有广角。例如，具有140度的FOV可能是有利的，特别是对于可用于捕获车辆200附近区域的图像的图像捕获设备122、124和126。例如，图像捕获设备122可用于捕获车辆200的右侧或左侧区域的图像，并且在这种实施例中，可能期望图像捕获设备122具有宽FOV(例如至少140度)。

与图像捕获设备122、124和126中的每一个相关的视场可以取决于各自的焦距。例如，随着焦距增加，相应的视场减小。

图像捕获设备122、124和126可以配置成具有任何合适的视场。在一特定示例中，图像捕获设备122可以具有46度的水平FOV，图像捕获设备124可以具有23度的水平FOV，并且图像捕获设备126可以具有在23度至46度之间的水平FOV。在另一实例中，图像捕获设备122可以具有52度的水平FOV，图像捕获设备124可以具有26度的水平FOV，并且图像捕获设备126可以具有在26度至52度之间的水平FOV。在一些实施例中，图像捕获设备122的FOV与图像捕获设备124和/或图像捕获设备126的FOV的比率可以从1.5到2.0变化。在其他实施例中，该比率可以在1.25与2.25之间变化。

系统100可以配置成使得图像捕获设备122的视场与图像捕获设备124和/或图像捕获设备126的视场至少部分地或完全地重叠。在一些实施例中，系统100可以配置成使得图像捕获设备124和126的视场例如落入图像捕获设备122的视场内(例如比之更窄)并且与之共享共同的中心。在其他实施例中，图像捕获设备122、124和126可以捕获相邻的FOV或者可以在它们的FOV中具有部分重叠。在一些实施例中，图像捕获设备122、124和126的视场可以对准，使得较窄FOV图像捕获设备124和/或126的中心可以位于较宽FOV设备122的视场的下半部。

图2F是与所公开的实施例一致的示例性车辆控制系统的示意性表示。如图2F所示，车辆200可包括节流系统220、制动系统230和转向系统240。系统100可通过一个或多个数据链路(例如用于传输数据的任何一个或多个有线和/或无线链路)向节流系统220、制动系统230和转向系统240中的一个或多个提供输入(例如控制信号)。例如，基于对由图像捕获设备122、124和/或126获取的图像的分析，系统100可以向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号以导航车辆200(例如通过引起加速、转弯、车道偏移等)。此外，系统100可以从节流系统220、制动系统230和转向系统24中的一个或多个接收指示车辆200的运行状况(例如速度、车辆200是否正在制动和/或转弯等)的输入。下面结合图4-7提供进一步的细节。

如图3A所示，车辆200还可以包括用于与车辆200的驾驶员或乘客交互的用户界面170。例如，车辆应用中的用户界面170可以包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如位于包括例如转向信号手柄的车辆200的转向柱上或附近)、按钮(例如位于车辆200的方向盘上)等，以与系统100进行交互。在一些实施例中，麦克风350可以定位成邻近后视镜310。类似地，在一些实施例中，图像捕获设备122可以位于后视镜310附近。在一些实施例中，用户界面170还可以包括一个或多个扬声器360(例如车辆音频系统的扬声器)。例如，系统100可以经由扬声器360提供各种通知(例如警报)。

图3B-3D是与所公开的实施例一致的示例性相机安装座370的图示，该相机安装座370配置成定位在后视镜(例如后视镜310)后面并且紧靠车辆挡风玻璃。如图3B所示，相机安装座370可以包括图像捕获设备122、124和126。图像捕获设备124和126可以位于防眩罩380后面，该防眩罩380可以与车辆挡风玻璃齐平并且包括膜和/或防反射材料的成分。例如，防眩罩380可以定位成使得该罩紧靠具有匹配斜率的车辆挡风玻璃对准。在一些实施例中，例如，图像捕获设备122、124和126中的每一个可以定位在防眩罩380后面，如图3D所示。所公开的实施例不限于图像捕获设备122、124和126、相机安装座370和防眩罩380的任何特定配置。图3C是从正面观看的图3B所示的相机安装座370的图示。

如受益于本公开的本领域技术人员将理解，可以对前述公开的实施例进行多种变化和/或修改。例如，并非所有部件对于系统100的操作都是必不可少的。此外，任何部件可以位于系统100的任何适当的部分中，并且部件可以重新布置成各种配置同时提供所公开的实施例的功能。因此，前述配置是示例，并且无论以上讨论的配置如何，系统100可以提供广泛的功能以分析车辆200的周围环境并响应于该分析来导航车辆200。

如下面进一步详细讨论并且与各种所公开的实施例一致，系统100可以提供与自主驾驶和/或驾驶员辅助技术有关的各种特征。例如，系统100可以分析图像数据、位置数据(例如GPS位置信息)、地图数据、速度数据和/或来自车辆200中包括的传感器的数据。系统100可以从例如图像获取单元120、位置传感器130和其他传感器中收集用于分析的数据。此外，系统100可以分析所收集的数据以确定车辆200是否应当采取某种动作，然后在没有人工干预的情况下自动采取所确定的动作。例如，当车辆200在没有人工干预的情况下导航时，系统100可以自动控制车辆200的制动、加速和/或转向(例如通过向节流系统220、制动系统230和转向系统240中的一个或多个发送控制信号)。此外，系统100可以分析所收集的数据并且基于对所收集的数据的分析来向车辆乘员发出警告和/或警报。下面提供关于由系统100提供的各种实施例的附加细节。

前向多成像系统

如上所述，系统100可提供使用多相机系统的驾驶辅助功能。该多相机系统可以使用面向车辆的向前方向的一个或多个相机。在其他实施例中，多相机系统可以包括面向车辆侧面或车辆后部的一个或多个相机。在一实施例中，例如，系统100可以使用双相机成像系统，其中第一相机和第二相机(例如图像捕获设备122和124)可以位于车辆(例如车辆200)的前部和/或侧面。第一相机的视场可以比第二相机的视场更大、更小或与之部分地重叠。另外，第一相机可以连接至第一图像处理器以对由第一相机提供的图像执行单眼图像分析，并且第二相机可以连接至第二图像处理器以对由第二相机提供的图像进行单眼图像分析。第一和第二图像处理器的输出(例如处理后的信息)可被组合。在一些实施例中，第二图像处理器可以从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可以使用三相机成像系统，其中每个相机具有不同的视场。因此，这种系统可以基于从位于车辆的前方和侧面的不同距离处的对象得出的信息来做出决定。对单眼图像分析的引用可以指基于从单个视点(例如从单个相机)捕获的图像执行图像分析的实例。立体图像分析可以指基于利用图像捕获参数的一个或多个变体而捕获的两个或更多个图像来执行图像分析的实例。例如，适于执行立体图像分析的捕获图像可以包括通过以下捕获的图像：从两个或更多个不同位置、从不同视场、使用不同焦距以及视差信息等。

例如，在一实施例中，系统100可以使用图像捕获设备122、124和126来实现三相机配置。在这种配置中，图像捕获设备122可以提供窄视场(例如34度或从约20到45度的范围中选择的其他值等)，图像捕获设备124可以提供宽视场(例如150度或从约100到约180度的范围中选择的其他值)，且图像捕获设备126可以提供中间视场(例如46度或从约35到约60度的范围中选择的其他值)。在一些实施例中，图像捕获设备126可以充当主相机或主要相机。图像捕获设备122、124和126可以定位在后视镜310后面，并且基本上并排定位(例如相距6cm)。此外，在一些实施例中，如上所述，图像捕获设备122、124和126中的一个或多个可以安装在与车辆200的挡风玻璃齐平的防眩罩380后面。这种罩可以最大程度地减少车内任何反射对图像捕获设备122、124和126的影响。

在另一实施例中，如以上结合图3B和3C所述，宽视场相机(例如以上示例中的图像捕获设备124)可以安装在窄视场和主视场相机(例如以上示例中的图像设备122和126)下方。该配置可以提供来自宽视场相机的自由视线。为了减少反射，可以将相机安装成靠近车辆200的挡风玻璃，并且可以在相机上包括偏振器以衰减反射光。

三相机系统可以提供某些性能特征。例如，一些实施例可以包括基于来自另一相机的检测结果来验证一个相机对对象的检测的能力。在上面所述的三相机配置中，处理单元110可以包括例如三个处理设备(例如如上所述的三个EyeQ系列处理器芯片)，每个处理设备专用于处理由图像捕获设备122、124和126中的一个或多个捕获的图像。

在三相机系统中，第一处理设备可以从主相机和窄视场相机接收图像，并对窄FOV相机执行视觉处理，例如以检测其他车辆、行人、车道标记、交通标志、交通信号灯及其他道路对象。此外，第一处理设备可以计算来自主相机和窄相机的图像之间的像素的视差，并创建车辆200的环境的3D重构。然后，第一处理设备可以将3D重构与3D地图数据或基于来自另一相机的信息计算出的3D信息组合。

第二处理设备可以从主相机接收图像并执行视觉处理以检测其他车辆、行人、车道标记、交通标志、交通信号灯及其他道路对象。另外，第二处理设备可以计算相机位移，并且基于该位移，计算连续图像之间的像素的视差，并创建场景的3D重构(例如来自运动的结构)。第二处理设备可以将该结构从基于运动的3D重构发送到第一处理设备以与立体3D图像组合。

第三处理设备可以从宽FOV相机接收图像并处理图像以检测车辆、行人、车道标记、交通标志、交通信号灯及其他道路对象。第三处理设备可以进一步执行附加处理指令以分析图像来识别在图像中移动的对象，比如改变车道的车辆、行人等。

在一些实施例中，具有被独立捕获和处理的基于图像的信息流可以提供在系统中提供冗余的机会。这样的冗余可以包括例如使用第一图像捕获设备和从该设备处理的图像以验证和/或补充通过从至少第二图像捕获设备捕获和处理图像信息而获得的信息。

在一些实施例中，系统100可以在为车辆200提供导航辅助时使用两个图像捕获设备(例如图像捕获设备122和124)，并且使用第三图像捕获设备(例如图像捕获设备126)来提供冗余并验证对从其他两个图像捕获设备接收的数据的分析。例如，在这种配置中，图像捕获设备122和124可以提供图像用于由系统100进行立体分析来导航车辆200，而图像捕获设备126可以提供图像用于由系统100进行单眼分析以提供冗余并验证基于从图像捕获设备122和/或图像捕获设备124捕获的图像所获得的信息。也就是说，可以将图像捕获设备126(和相应的处理设备)视为提供冗余子系统，以提供对从图像捕获设备122和124导出的分析的检查(例如提供自动紧急制动(AEB)系统)。此外，在一些实施例中，可以基于从一个或多个传感器(例如雷达、激光雷达、声波传感器、从车辆外部的一个或多个收发器接收的信息等)接收的信息来补充所接收的数据的冗余和验证。

本领域技术人员将认识到，以上相机配置、相机放置、相机数量、相机位置等仅是示例。相对于整个系统描述的这些部件和其他部件可以在不脱离所公开的实施例的范围的情况下以各种不同的配置进行组装和使用。下面是关于使用多相机系统来提供驾驶员辅助和/或自主功能的更多细节。

图4是存储器140和/或150的示例性功能框图，其可以存储有用于执行与所公开的实施例一致的一个或多个操作的指令/利用其进行编程。尽管以下是指存储器140，但本领域技术人员要认识到指令可以存储在存储器140和/或150中。

如图4所示，存储器140可以存储单眼图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可以执行存储在存储器140中包括的模块402、404、406和408中的任何一个中的指令。本领域技术人员将理解，在以下讨论中对处理单元110的引用可以单独或共同地指代应用处理器180和图像处理器190。因此，可以由一个或多个处理设备执行以下任何处理的步骤。

在一实施例中，单眼图像分析模块402可以存储指令(比如计算机视觉软件)，该指令在由处理单元110执行时对由图像捕获设备122、124和126之一获取的一组图像进行单眼图像分析。在一些实施例中，处理单元110可以将来自一组图像的信息与附加的感官信息(例如来自雷达、激光雷达等的信息)组合以执行单眼图像分析。如下面结合图5A-5D所述，单眼图像分析模块402可以包括用于检测该组图像内的一组特征的指令，比如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通信号灯、危险对象以及与车辆环境相关的任何其他特征。基于该分析，系统100(例如经由处理单元110)可以引起车辆200中的一个或多个导航响应，比如转弯、车道偏移、加速度的变化等，如下面结合导航响应模块408所述。

在一实施例中，立体图像分析模块404可以存储指令(比如计算机视觉软件)，该指令在由处理单元110执行时对由从任何图像捕获设备122、124和126中选择的图像捕获设备的组合获取的第一和第二组图像进行立体图像分析。在一些实施例中，处理单元110可以将来自第一和第二组图像的信息与附加的感官信息(例如来自雷达的信息)组合以执行立体图像分析。例如，立体图像分析模块404可以包括用于基于由图像捕获设备124获取的第一组图像和由图像捕获设备126获取的第二组图像来执行立体图像分析的指令。如下面结合图6所述，立体图像分析模块404可以包括用于检测第一和第二组图像内的一组特征的指令，比如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通信号灯、危险对象等。基于该分析，处理单元110可以在车辆200中引起一个或多个导航响应，比如转弯、车道偏移、加速度的变化等，如下面结合导航响应模块408所述。此外，在一些实施例中，立体图像分析模块404可以实施与受过训练的系统(比如神经网络或深层神经网络)或未经训练的系统(比如可以配置成使用计算机视觉算法来检测和/或标记从中捕获并处理感官信息的环境中的对象的系统)相关的技术。在一实施例中，立体图像分析模块404和/或其他图像处理模块可以配置成使用受过训练和未经训练的系统的组合。

在一实施例中，速度和加速度模块406可以存储软件，该软件配置成分析从车辆200中的一个或多个计算和机电设备接收的数据，该计算和机电设备配置成引起车辆200的速度和/或加速度的改变。例如，处理单元110可以执行与速度和加速度模块406相关的指令，以基于从单眼图像分析模块402和/或立体图像分析模块404的执行导出的数据来计算车辆200的目标速度。这种数据可以包括例如目标位置、速度和/或加速度、车辆200相对于附近车辆、行人或道路对象的位置和/或速度、车辆200相对于道路的车道标记的位置信息等。另外，处理单元110可基于感官输入(例如来自雷达的信息)和来自车辆200的其他系统(比如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速度。基于计算出的目标速度，处理单元110可以将电子信号传输至车辆200的节流系统220、制动系统230和/或转向系统240，以通过例如物理地踩下制动器或放松车辆200的加速器来触发速度和/或加速度的变化。

在一实施例中，导航响应模块408可以存储可由处理单元110执行的软件，以基于从单眼图像分析模块402和/或立体图像分析模块404的执行导出的数据来确定期望的导航响应。这种数据可以包括与附近的车辆、行人和道路对象相关的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可以(部分地或全部地)基于地图数据、车辆200的预定位置和/或从单眼图像分析模块402和/或立体图像分析模块404的执行中检测到的车辆200与一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可基于感官输入(例如来自雷达的信息)和来自车辆200的其他系统(比如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来确定期望的导航响应。基于期望的导航响应，处理单元110可以将电子信号传输到车辆200的节流系统220、制动系统230和转向系统240，以例如通过转动车辆200的方向盘来触发期望的导航响应从而实现预定角度的旋转。在一些实施例中，处理单元110可以使用导航响应模块408的输出(例如期望的导航响应)作为速度和加速度模块406的执行的输入，以计算车辆200的速度变化。

此外，本文公开的任何模块(例如模块402、404和406)都可以实施与受过训练的系统(比如神经网络或深度神经网络)或未经训练的系统相关的技术。

图5A是示出了与所公开的实施例一致的用于基于单眼图像分析来引起一个或多个导航响应的示例性过程500A的流程图。在步骤510，处理单元110可以经由处理单元110和图像获取单元120之间的数据接口128来接收多个图像。例如，图像获取单元120中包括的相机(比如具有视场202的图像捕获设备122)可以捕获车辆200的前方(例如至车辆的侧面或后方)的区域的多个图像，并通过数据连接(例如数字、有线、USB、无线、蓝牙等)将它们传输至处理单元110。在步骤520，处理单元110可以执行单眼图像分析模块402以分析多个图像，如下面结合图5B-5D更详细地描述。通过执行该分析，处理单元110可以检测该组图像内的一组特征，比如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通信号灯等。

在步骤520，处理单元110还可以执行单眼图像分析模块402以检测各种道路危险，例如卡车轮胎的零件、掉落的道路标志、松散的货物、小动物等。道路危险的结构、形状、大小和颜色可能有所不同，这可能会使检测这种危险更具挑战性。在一些实施例中，处理单元110可以执行单眼图像分析模块402以对多个图像执行多帧分析来检测道路危险。例如，处理单元110可以估计连续图像帧之间的相机运动，并计算帧之间的像素的视差以构造道路的3D地图。然后，处理单元110可以使用3D地图来检测道路表面以及道路表面上存在的危险。

在步骤530，处理单元110可以执行导航响应模块408，以基于在步骤520执行的分析和以上结合图4描述的技术来在车辆200中引起一个或多个导航响应。导航响应可以包括例如转弯、车道偏移、加速度的变化等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行中导出的数据来引起一个或多个导航响应。另外，多个导航响应可以同时、顺序或其任意组合发生。例如，处理单元110可以使车辆200移过一个车道，然后通过例如将控制信号顺序地传输至车辆200的转向系统240和节流系统220而加速。可替代地，处理单元110可以使车辆200制动，同时通过例如将控制信号同时传输至车辆200的制动系统230和转向系统240来改变车道。

图5B是示出了与所公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示例性过程500B的流程图。处理单元110可以执行单眼图像分析模块402以实施过程500B。在步骤540，处理单元110可以确定代表可能的车辆和/或行人的一组候选对象。例如，处理单元110可以扫描一个或多个图像，将图像与一个或多个预定模式进行比较，并且在每个图像内识别可包含感兴趣对象(例如车辆、行人或其部分)的可能位置。预定模式可以设计成实现高“错误命中”率和低“丢失”率。例如，处理单元110可以使用与预定模式相似的低阈值来将候选对象识别为可能的车辆或行人。这样做可以允许处理单元110减少丢失(例如不识别)代表车辆或行人的候选对象的可能性。

在步骤542，处理单元110可以基于分类标准来过滤该组候选对象以排除某些候选者(例如不相关或不太相关的对象)。这种标准可以从与存储在数据库(例如存储在存储器140中的数据库)中的对象类型相关的各种属性中导出。属性可以包括对象的形状、尺寸、纹理、位置(例如相对于车辆200)等。因此，处理单元110可使用一组或多组标准以拒绝来自该组候选对象的虚假候选者。

在步骤544，处理单元110可以分析图像的多个帧以确定该组候选对象中的对象是否代表车辆和/或行人。例如，处理单元110可以在连续帧上跟踪检测到的候选对象，并累积与检测到的对象相关的逐帧数据(例如尺寸、相对于车辆200的位置等)。另外，处理单元110可以估计检测到的对象的参数，并将该对象的逐帧位置数据与预测位置进行比较。

在步骤546，处理单元110可以构造用于检测到的对象的一组测量。例如，这种测量可以包括与检测到的对象相关的位置、速度和加速度值(相对于车辆200)。在一些实施例中，处理单元110可以基于使用一系列基于时间的观测的估计技术比如卡尔曼滤波或线性二次估计(LQE)和/或基于用于不同对象类型(例如汽车、卡车、行人、自行车、道路标志等)的可用建模数据来构造测量。卡尔曼滤波可以基于对象尺度的测量，其中尺度测量与碰撞时间(例如车辆200到达对象的时间量)成比例。因此，通过执行步骤540-546，处理单元110可以识别出现在该组捕获图像内的车辆和行人，并导出与车辆和行人相关的信息(例如位置、速度、大小)。基于识别和所导出的信息，处理单元110可以在车辆200中引起一个或多个导航响应，如上面结合图5A所述。

在步骤548，处理单元110可以执行一个或多个图像的光流分析，以减少检测到“错误命中”并丢失代表车辆或行人的候选对象的可能性。例如，光流分析可以指在与其他车辆和行人相关的一个或多个图像中分析相对于车辆200的运动模式，其不同于道路表面运动。处理单元110可以通过观察在不同时间捕获的多个图像帧上的对象的不同位置来计算候选对象的运动。处理单元110可以将位置和时间值用作数学模型的输入，以计算候选对象的运动。因此，光流分析可以提供检测车辆200附近的车辆和行人的另一种方法。处理单元110可以结合步骤540-546执行光流分析，以提供用于检测车辆和行人的冗余并增加系统100的可靠性。

图5C是示出了与所公开的实施例一致的用于在一组图像中检测道路标记和/或车道几何形状信息的示例性过程500C的流程图。处理单元110可以执行单眼图像分析模块402以实施过程500C。在步骤550，处理单元110可以通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何形状信息及其他相关道路标记的片段，处理单元110可以过滤该组对象以排除那些被确定为不相关的对象(例如小坑洼、小石头等)。在步骤552，处理单元110可以将在步骤550中检测到的属于相同道路标记或车道标记的片段分组在一起。基于该分组，处理单元110可以开发表示检测到的片段的模型，比如数学模型。

在步骤554，处理单元110可以构造与检测到的片段相关的一组测量。在一些实施例中，处理单元110可以创建检测到的片段从图像平面到真实世界平面上的投影。可以使用具有与物理特性比如检测到的道路的位置、斜率、曲率及曲率导数相对应的系数的三次多项式来表征投影。在生成投影时，处理单元110可以考虑道路表面的变化以及与车辆200相关的俯仰和侧倾率。此外，处理单元110可以通过分析在道路表面上存在的位置和运动提示来对道路高程建模。此外，处理单元110可以通过跟踪一个或多个图像中的一组特征点来估计与车辆200相关的俯仰和侧倾率。

在步骤556，处理单元110可以通过例如跟踪连续图像帧上的检测到的片段并累积与检测到的片段相关的逐帧数据来执行多帧分析。随着处理单元110执行多帧分析，在步骤554处构造的一组测量可以变得更加可靠并且与越来越高的置信度水平相关。因此，通过执行步骤550、552、554和556，处理单元110可以识别出现在该组所捕获的图像内的道路标记并导出车道几何形状信息。基于识别和所导出的信息，处理单元110可以在车辆200中引起一个或多个导航响应，如上面结合图5A所述。

在步骤558，处理单元110可以考虑附加的信息源，以进一步开发车辆200在其周围环境的情况下的安全模型。处理单元110可以使用安全模型来定义系统100可以以安全的方式执行对车辆200的自主控制的情况。为了开发安全模型，在一些实施例中，处理单元110可以考虑其他车辆的位置和运动、检测到的道路边缘和障碍和/或从地图数据(比如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑附加的信息源，处理单元110可以提供用于检测道路标记和车道几何形状的冗余并增加系统100的可靠性。

图5D是示出与所公开的实施例一致的用于检测一组图像中的交通信号灯的示例性过程500D的流程图。处理单元110可以执行单眼图像分析模块402以实施过程500D。在步骤560，处理单元110可以扫描该组图像并识别出现在图像中可能包含交通信号灯的位置处的对象。例如，处理单元110可以过滤所识别的对象以构造一组候选对象，排除那些不太可能对应于交通信号灯的对象。可以基于与交通信号灯相关的各种属性来进行过滤，比如形状、尺寸、纹理、位置(例如相对于车辆200)等。这种属性可以基于交通信号灯和交通控制信号的多个示例并且存储在数据库中。在一些实施例中，处理单元110可以对反映可能的交通信号灯的该组候选对象执行多帧分析。例如，处理单元110可以在连续的图像帧上跟踪候选对象，估计候选对象的真实世界位置，并且滤出那些正在移动的对象(其不可能是交通信号灯)。在一些实施例中，处理单元110可以对候选对象执行颜色分析并且识别出现在可能的交通信号灯内部的检测到的颜色的相对位置。

在步骤562，处理单元110可以分析路口的几何形状。该分析可以基于以下任意组合：(i)在车辆200的任一侧检测到的车道数量，(ii)在道路上检测到的标记(比如箭头标记)，以及(iii)从地图数据(比如来自地图数据库160的数据)中提取的路口描述。处理单元110可以使用从单眼分析模块402的执行中导出的信息来进行分析。此外，处理单元110可以确定在步骤560检测到的交通信号灯与出现在车辆200附近的车道之间的对应关系。

在步骤564，当车辆200接近路口时，处理单元110可以更新与所分析的路口几何形状和检测到的交通信号灯相关的置信度。例如，估计出现在路口的交通信号灯的数量与实际出现在路口的数量相比可能会影响置信度。因此，基于置信度，处理单元110可以将控制委托给车辆200的驾驶员，以便改善安全状况。通过执行步骤560、562和564，处理单元110可以识别出现在该组捕获图像内的交通信号灯并分析路口几何形状信息。基于识别和分析，处理单元110可引起车辆200中的一个或多个导航响应，如上面结合图5A所述。

图5E是示出了与所公开的实施例一致的用于基于车辆路径在车辆200中引起一个或多个导航响应的示例性过程500E的流程图。在步骤570，处理单元110可以构造与车辆200相关的初始车辆路径。可以使用以坐标(x，z)表示的一组点来表示车辆路径，并且该组点中的两个点之间的距离di可能会落在1至5米的范围内。在一实施例中，处理单元110可以使用两个多项式比如左右道路多项式来构造初始车辆路径。处理单元110可以计算两个多项式之间的几何中点，并且将合成车辆路径中包括的每个点偏移预定的偏移量(例如智能车道偏移量)(如果有的话)(零偏移量可对应于在车道中间行驶)。偏移可以在垂直于车辆路径中任意两点之间的片段的方向上。在另一实施例中，处理单元110可以使用一个多项式和估计的车道宽度来将车辆路径的每个点偏移估计的车道宽度加上预定的偏移量(例如智能车道偏移量)的一半。

在步骤572，处理单元110可以更新在步骤570构造的车辆路径。处理单元110可以使用更高的分辨率来重构在步骤570构造的车辆路径，使得代表车辆路径的该组点中的两个点之间的距离dk小于上述距离di。例如，距离dk可以落入0.1至0.3米的范围内。处理单元110可以使用抛物线样条算法来重构车辆路径，该算法可以产生与车辆路径的总长度相对应的累积距离矢量S(即基于代表车辆路径的该组点)。

在步骤574，处理单元110可基于在步骤572构造的更新后的车辆路径来确定前视点(以坐标表示为(xl，zl))。处理单元110可从累积距离矢量S中提取前视点，并且前视点可以与前视距离和前视时间相关。前视距离(其下限的范围可以在10至20米之间)可被计算为车辆200的速度与前视时间的乘积。例如，随着车辆200的速度减小，前视距离也可以减小(例如直至其到达下限)。前视时间(其可以在0.5至1.5秒的范围内)可以与与引起车辆200中的导航响应相关的一个或多个控制回路(比如航向误差跟踪控制回路)的增益成反比。例如，航向误差跟踪控制回路的增益可以取决于偏航率回路、转向致动器回路、汽车横向动力学等的带宽。因此，航向误差跟踪控制回路的增益越高，前视时间越短。

在步骤576，处理单元110可以基于在步骤574确定的前视点来确定航向误差和偏航率命令。处理单元110可以通过计算前视点的反正切例如arctan(x_l/z_l)来确定航向误差。处理单元110可以将偏航率命令确定为航向误差和高级控制增益的乘积。如果前视距离不在下限，则高级控制增益可以等于：(2/前视时间)。否则，高级控制增益可能等于：(2*车辆速度200/前视距离)。

图5F是示出了与所公开的实施例一致的用于确定领先车辆是否正在改变车道的示例性过程500F的流程图。在步骤580，处理单元110可以确定与领先车辆(例如在车辆200之前行驶的车辆)相关的导航信息。例如，处理单元110可以使用上面结合图5A和5B描述的技术来确定领先车辆的位置、速度(例如方向和速度)和/或加速度。处理单元110还可使用上面结合图5E所述的技术来确定一个或多个道路多项式、前视点(与车辆200相关)和/或蜗牛踪迹(例如描述领先车辆所经过的路径的一组点)。

在步骤582，处理单元110可以分析在步骤580确定的导航信息。在一实施例中，处理单元110可以计算蜗牛踪迹和道路多项式之间的距离(例如沿着该踪迹)。如果沿踪迹的该距离的变化超过预定阈值(例如在直行道路上为0.1至0.2米，在适度弯曲的道路上为0.3至0.4米，在有急转弯的道路上为0.5至0.6米)，则处理单元110可以确定领先车辆可能正在改变车道。在检测到多个车辆行驶在车辆200之前的情况下，处理单元110可以比较与每个车辆相关的蜗牛踪迹。基于该比较，处理单元110可以确定蜗牛踪迹与其他车辆的蜗牛踪迹不匹配的车辆可能正在改变车道。处理单元110可以另外将蜗牛踪迹(与领先车辆相关)的曲率与领先车辆在其中行驶的道路段的预期曲率进行比较。可以从地图数据(例如来自地图数据库160的数据)、道路多项式、其他车辆的蜗牛踪迹、关于道路的先验知识等中提取预期曲率。如果蜗牛踪迹的曲率与道路段的预期曲率之差超过预定阈值，则处理单元110可以确定领先车辆可能正在改变车道。

在另一实施例中，处理单元110可以在特定时间段(例如0.5至1.5秒)内将领先车辆的瞬时位置与前视点(与车辆200相关)进行比较。如果领先车辆的瞬时位置和前视点之间的距离在特定时间段内发生变化，并且累积的变化总和超过预定阈值(例如在直行道路上为0.3至0.4米，在适度弯曲的道路上为0.7至0.8米，在有急转弯的道路上为1.3至1.7米)，则处理单元110可以确定领先车辆可能正在改变车道。在另一实施例中，处理单元110可以通过将沿着踪迹行进的横向距离与蜗牛踪迹的预期曲率进行比较来分析蜗牛踪迹的几何形状。可以根据以下计算来确定预期曲率半径：(δ_z ²+δ_x ²)/2/(δ_x)，其中δ_x代表行进的横向距离，δ_z代表行进的纵向距离。如果行进的横向距离与预期曲率之间的差超过预定阈值(例如500至700米)，则处理单元110可以确定领先车辆可能正在改变车道。在另一实施例中，处理单元110可以分析领先车辆的位置。如果领先车辆的位置使道路多项式模糊(例如领先车辆覆盖在道路多项式的顶部)，则处理单元110可以确定领先车辆可能正在改变车道。在领先车辆的位置使得在领先车辆的前方检测到另一车辆并且这两个车辆的蜗牛踪迹不平行的情况下，处理单元110可以确定(较近的)领先车辆可能正在改变车道。

在步骤584，处理单元110可以基于在步骤582执行的分析来确定领先车辆200是否正在改变车道。例如，处理单元110可以基于在步骤582执行的各个分析的加权平均值来进行确定。例如，在这种方案下，处理单元110基于特定类型分析做出的关于领先车辆可能正在改变车道的决定可被赋予值“1”(和“0”来表示确定领先车辆不太可能正在改变车道)。在步骤582执行的不同分析可被分配不同的权重，并且所公开的实施例不限于分析和权重的任何特定组合。

图6是示出了与所公开的实施例一致的用于基于立体图像分析来引起一个或多个导航响应的示例性过程600的流程图。在步骤610，处理单元110可以经由数据接口128接收第一和第二多个图像。例如，图像获取单元120中包括的相机(比如具有视场202和204的图像捕获设备122和124)可以捕获车辆200的前方区域的第一和第二多个图像，并通过数字连接(例如USB、无线、蓝牙等)将它们传输到处理单元110。在一些实施例中，处理单元110可以经由两个或更多个数据接口接收第一和第二多个图像。所公开的实施例不限于任何特定的数据接口配置或协议。

在步骤620，处理单元110可以执行立体图像分析模块404来对第一和第二多个图像执行立体图像分析，以创建车辆前方道路的3D地图并检测图像内的特征，比如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通信号灯、道路危险等。立体图像分析可以以类似于结合上面图5A-5D描述的步骤的方式执行。例如，处理单元110可以执行立体图像分析模块404以检测第一和第二多个图像内的候选对象(例如车辆、行人、道路标记、交通信号灯、道路危险等)，根据各个标准滤出子组候选对象，并且执行多帧分析、构造测量和确定其余候选对象的置信度。在执行上述步骤时，处理单元110可以考虑来自第一和第二多个图像的信息，而不是仅来自一组图像的信息。例如，处理单元110可以分析出现在第一和第二多个图像中的候选对象的像素级数据(或捕获的图像的两个流中的其他数据子集)的差异。作为另一示例，处理单元110可以通过观察对象出现在多个图像之一中而不是另一个或相对于可能相对于出现在两个图像流中的对象存在的其他差异来估计候选对象(例如相对于车辆200)的位置和/或速度。例如，可以基于与出现在图像流之一或两者中的对象相关的特征的轨迹、位置、运动特性等来确定相对于车辆200的位置、速度和/或加速度。

在步骤630，处理单元110可执行导航响应模块408以基于在步骤620执行的分析和以上结合图4描述的技术来在车辆200中引起一个或多个导航响应。导航响应可以包括例如转弯、车道偏移、加速度的变化、速度的变化、制动等。在一些实施例中，处理单元110可以使用从速度和加速度模块406的执行中导出的数据来引起一个或多个导航响应。另外，多个导航响应可以同时、顺序或其任意组合发生。

图7是示出了与所公开的实施例一致的用于基于对三组图像的分析来引起一个或多个导航响应的示例性过程700的流程图。在步骤710，处理单元110可以经由数据接口128接收第一、第二和第三多个图像。例如，图像获取单元120中包括的相机(比如具有视场202、204和206的图像捕获设备122、124和126)可以捕获车辆200的前方和/或至侧面的区域的第一、第二和第三多个图像，并通过数字连接(例如USB、无线、蓝牙等)将它们传输至处理单元110。在一些实施例中，处理单元110可以经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕获设备122、124、126中的每一个可以具有用于将数据传送到处理单元110的相关数据接口。所公开的实施例不限于任何特定的数据接口配置或协议。

在步骤720，处理单元110可以分析第一、第二和第三多个图像以检测图像内的特征，比如车道标记、车辆、行人、道路标志、高速公路出口坡道、交通信号灯、道路危险等。分析可以以类似于上面结合图5A-5D和6描述的步骤的方式执行。例如，处理单元110可以对第一、第二和第三多个图像中的每一个执行单眼图像分析(例如通过单眼图像分析模块402的执行并且基于上面结合图5A-5D描述的步骤)。可替代地，处理单元110可以对第一和第二多个图像、第二和第三多个图像和/或第一和第三多个图像执行立体图像分析(例如通过立体图像分析模块404的执行并且基于以上结合图6描述的步骤)。与第一、第二和/或第三多个图像的分析相对应的经处理的信息可被组合。在一些实施例中，处理单元110可执行单眼和立体图像分析的组合。例如，处理单元110可以对第一多个图像执行单眼图像分析(例如通过单眼图像分析模块402的执行)并且对第二和第三多个图像执行立体图像分析(例如通过立体图像分析模块404的执行)。图像捕获设备122、124和126的配置(包括它们各自的位置和视场202、204和206)可能影响对第一、第二和第三多个图像进行的分析的类型。所公开的实施例不限于图像捕获设备122、124和126的特定配置或对第一、第二和第三多个图像进行的分析的类型。

在一些实施例中，处理单元110可以基于在步骤710和720获取和分析的图像对系统100执行测试。这种测试可以为图像捕获设备122、124和126的某些配置提供系统100的整体性能的指示。例如，处理单元110可以确定“错误命中”(例如系统100错误地确定车辆或行人存在的情况)和“丢失”的比例。

在步骤730，处理单元110可以基于从第一、第二和第三多个图像中的两个导出的信息来在车辆200中引起一个或多个导航响应。第一、第二和第三多个图像中的两个的选择可以取决于各种因素，例如在多个图像中的每个中检测到的对象的数量、类型和大小。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视场、捕获的帧的数量、一个或多个感兴趣的对象实际出现在帧中的程度(例如对象出现在其中的帧的百分比、出现在每个这种帧中的对象的比例等)等来进行选择。

在一些实施例中，处理单元110可以通过确定从一个图像源导出的信息与从其他图像源导出的信息相一致的程度来选择从第一、第二和第三多个图像中的两个导出的信息。例如，处理单元110可以组合从图像捕获设备122、124和126中的每个导出的经处理的信息(无论是通过单眼分析、立体分析还是两者的任意组合)，并且确定在从每个图像捕获设备122、124和126捕获的图像上一致的视觉指示符(例如车道标记、检测到的车辆及其位置和/或路径、检测到的交通信号灯等)。处理单元110还可以排除捕获的图像上不一致的信息(例如改变车道的车辆、指示车辆太靠近车辆200的车道模型等)。因此，处理单元110可以基于对一致和不一致信息的确定来选择从第一、第二和第三多个图像中的两个导出的信息。

导航响应可以包括例如转弯、车道偏移、加速度的变化等。处理单元110可以基于在步骤720执行的分析和以上结合图4描述的技术来引起一个或多个导航响应。处理单元110还可使用从速度和加速度模块406的执行导出的数据来引起一个或多个导航响应。在一些实施例中，处理单元110可以基于车辆200和在第一、第二和第三多个图像中的任何一个内检测到的对象之间的相对位置、相对速度和/或相对加速度来引起一个或多个导航响应。多个导航响应可以同时、顺序或其任意组合发生。

具有交叉视场的成像系统

在一些实施例中，车辆200可以包括成像系统。成像系统可以包括成像模块，该成像模块配置成安装在主车辆例如自主车辆比如车辆200上或内部。本文中使用的术语“成像模块”是指容纳并定向至少一个相机的结构。成像模块可以包括取决于所采用的相机类型的其他硬件和接线。成像模块可以继而联接到安装组件，该安装组件配置成将成像模块附接到车辆，使得容纳在成像模块内的至少一个相机相对于车辆比如车辆200面向外部。如本文所用的术语“安装组件”是指配置成将安装模块联接到车辆比如车辆200的任何硬件或设备。安装组件可以包括如本领域普通技术人员理解的安装支架、安装吸力联接器、安装框架、安装粘合剂、快速/连接联接器等。

在整个本公开中，有时术语“交叉”具有如相机和相机光学元件领域的普通技术人员理解的特定几何含义。例如，术语“交叉”并不一定表示实际的物理相交，甚至是投影的相交，而是指在至少一个平面中的至少两个投影的重叠。对于与地面平行且源自不同高度(从地面测量)处的替代光源的基于矢量的光轴而言，尤其如此。例如，考虑向外伸出并在1米高度处平行于地面的第一基于矢量的光轴和向外伸出并在1.2米高度处平行于地面的第二基于矢量的光轴。根据该示例，即使矢量不一定相交，当投影到平面图上时，第一基于矢量的光轴也可能在第二基于矢量的光轴上“交叉”。

换句话说，如果将基于第一三维矢量的光轴投影为第一二维光轴(或第一线)和将基于第二三维矢量的光轴投影为第二二维光轴(或第二线)并且从平面透视图(或另一二维透视图)观察它们，则第一光轴和第二光轴看起来在“交叉点”处彼此相交。另外，应当理解，“交叉点”是从几何原理导出的，不一定是两个光轴在三维空间中的实际相交。

理解“交叉点”的另一种方式是，“交叉点”是在与从几何原理导出的基于第一矢量的光轴和基于第二矢量的光轴交叉的平面上的点的位置。类似地，“交叉平面”应理解为与至少两个基于矢量的光轴相交的几何平面。因此，“交叉平面”包括对应于至少两个光轴的投影相交的相应“交叉点”。

在一些实施例中，成像系统可包括至少两个相机，它们具有彼此交叠并形成组合视场的各自视场。在一些实施例中，成像系统可以包括三个或更多个相机，它们具有与至少一个其他相机交叉并且形成组合视场的相应视场。

在一些实施例中，安装组件可以配置成将成像模块附接到车辆，使得相机相对于车辆面向外部。在一些实施例中，安装组件还可以定向相机，使得它们相对于车辆面向外部并平行于地面。安装组件可以配置成将成像模块附接到车辆的内部窗户或车辆的另一部件，例如保险杠、立柱、前灯、尾灯等。在一些实施例中，安装组件也可以配置成补偿窗户的倾斜。

在一些实施例中，成像系统可以包括具有擦拭器刮片的擦拭器组件，该擦拭器刮片配置成从各个相机的视场中去除遮挡物。擦拭器组件还可以包括配置成根据需要控制擦拭器刮片的定时器、传感器和电动机。

在一些实施例中，成像系统可以包括眩光屏幕或滤光器。眩光屏幕或滤光器可以通过减少来自窗户的倾斜度(例如斜率)引起的入射光的眩光来改善成像系统的性能。此外，防眩罩可以配置成向相机提供光圈，从而增加景深，从而导致在宽范围距离处的多个不同对象保持聚焦。

图8是具有两个相机的成像系统的实施例的示意性表示。该示例性实施例可以至少包括第一相机805和第二相机809。尽管在图8中示出了两个相机，但是在一些实施例中，成像系统可以包括两个以上的相机(例如三个相机、四个相机、五个相机等)。在一些实施例中，相机(例如第一相机805和第二相机809)可以共享如上所述的图像捕获设备122、124和126的一个或多个特征。

如图8所示，第一相机805具有带有光轴805a的第一视场，第二相机809具有带有光轴809a的第二视场。根据一些实施例，第一相机805和第二相机809布置(例如定向)成使得第一相机805的第一光轴805a在至少一个平面(例如水平平面、竖直平面或者水平平面和竖直平面二者)中与第二相机809的第二光轴809a交叉。在一些实施例中，第一相机805和第二相机809可以用成像模块固定，该成像模块固定或联接到安装组件，该安装组件又固定或联接到安装支架。在一些实施例中，成像模块配置成沿着半圆弧布置第一相机805和第二相机809。

应该理解的是，图8示出了相机805和809在二维(X，Y)或“2D”中的视图投影。光轴805a和809a是基于矢量的光轴，尽管仅出于说明目的将它们示出为二维投影。如图所示，光轴805a在交叉平面(未示出)的交叉点888处与光轴809a交叉，尽管光轴805a和809a在所示的2D表示中看起来相交，但它们可能在3D中实际上并未相交。如图所示，交叉点888与空白透明区域803的中心区域重合。这样，光轴805a在水平平面中与光轴809a交叉。在其他实施例中，光轴805a在竖直平面中与光轴809a交叉。仍然在其他实施例中，光轴805a在水平平面和竖直平面中与光轴809a交叉。尽管在与相对较小且透明区域803的中心区域重合的位置处示出了交叉点888，但是交叉点888可以不同地定位。例如，交叉平面的交叉点888可以位于距第一相机805和第二相机809更远，使得其位于相对较小且透明区域803的外部。可替代地，交叉平面的交叉点888可以位于更靠近第一相机805和第二相机809，使得其位于相对较小和透明区域803的外部。这样，交叉平面的交叉点888可以位于距相对较小和透明区域803的预定距离处，例如在约0.2米至2.0米或0.5米至1.0米的范围内。在至少一个实施例中，第一相机805和第二相机809配置成安装在车辆的窗户后面，并且交叉平面的交叉点888位于该窗户与第一相机805和第二相机809之间。在至少一个实施例中，第一相机805和第二相机809配置成安装在车辆的窗户后面，并且交叉平面的交叉点888位于距窗户的外表面预定距离处。

在示例性实施例中，第一相机805聚焦在焦点P1处，第二相机809聚焦在焦点P2处。这样，焦点P1位于超过交叉平面的交叉点888的第一水平距离处，焦点P2位于超过交叉平面的交叉点888的第二水平距离处。如图所示，第一水平距离和第二水平距离是基本相等的距离，尽管在替代实施例中它们可以是不同的距离。例如，P1可以是P2的水平距离的约1.5倍。在其他实施例中，P1可以是P2的水平距离的约1.25倍、1.75倍、2.0倍、2.5倍或3.0倍。此外，应当注意，P1和P2不一定是三维空间中的奇异点，即如相机和相机光学元件领域的普通技术人员理解，焦点P1和焦点P2可以每个包含各自的焦点区域。此外，对应于焦点P1的焦点区域和对应于焦点P2的焦点区域可以至少部分地重叠。

在示例性实施例中，交叉平面的交叉点888与第一相机805和第二相机809间隔开间隔距离Dy，其约等于第一相机805的透镜与第二相机807的透镜之间的最短距离Dx。如图所示，第一相机805的透镜与第二相机807的透镜之间的最短距离由Dx表示，交叉平面的交叉点888与第一相机805和第二相机809之间的间隔距离由Dy表示。应当理解，可以从相机805或相机809的透镜测量间隔距离Dy，因此间隔距离Dy可以不同。在一些实施例中，间隔距离Dy可以落在最短距离Dx的一倍至四倍的范围内。在其他实施例中，间隔距离Dy可以落在最短距离Dx的一至二倍、二至三倍、三至四倍、二至三倍或二至四倍的范围内。在一些实施例中，Dx和Dy可以表示为定义可以定位交叉平面的交叉点(例如交叉点888)的距离的比率。例如，Dy≤N×Dx，其中2≤N≥4。

如图所示，相机805的第一视场和相机809的第二视场重叠并形成约90度的组合视场。在一些实施例中，相机805的第一视场和相机809的第二视场可以仅部分重叠，但是仍形成组合视场。空白透明区域803可以由部件801描绘为边界。部件801可以是诸如车辆部件之类的固体特征，例如立柱、保险杠、门面板、前灯、侧窗、前窗等。在至少一个实施例中，部件801可以包括空白透明区域803，其允许光从中穿过，使得空白透明区域803至少部分地由与图8的阴影区域(即部件801)相对应的非透明区域围绕。这样，相对较小且透明区域803小于具有等于第一相机和第二相机的组合视场的广角视场的广角相机所需的相当透明区域。在其他实施例中，部件801可以是粘附到主车辆外部的成像支架或模块的周边。

图9是单个相机宽视场系统的示意性表示。在一些实施例中，相机(例如单个相机905)可以共享如上所述的图像捕获设备122、124和126的一个或多个特征。单个相机905具有视场，其具有光轴905a，其从相对大的空白透明区域903向外伸出。如图所示，光轴905a向外伸出并且将单个相机905的视场划分为两个对称区域。单个相机905的视场基本上等于图8的第一相机801和第二相机809的组合视场。如图所示，单个相机905具有约90度的视场。通过比较图9和图8可以看出，空白透明区域903(其可以由部件901描绘为边界)大于图8的透明区域803，但是图8的成像系统的组合视场基本上等于图9的单个相机的视场。空白透明区域903必须大于空白透明区域803，以容纳具有类似的覆盖区域的视场，因为单个相机宽视场系统使用单个相机905。因此，与单个宽视场系统相关的占用面积大于图8的实施例的占用面积。本公开的目的是尽可能减小成像系统的占用面积，同时容纳宽视场(组合视场)。

图10是具有三个相机的成像系统的实施例的示意性表示。该示例性实施例可以类似于图8的实施例。示例性实施例可以包括第一相机1005、第二相机1007和第三相机1009。在一些实施例中，相机(例如第一相机1005、第二相机1007和第三相机1009)可以共享如上所述的图像捕获设备122、124和126的一个或多个特性。

如图10所示，第一相机1005具有带有光轴1005a的第一视场，第二相机1009具有带有光轴1009a的第二视场，第三相机1007具有带有光轴1007a的第三视场。应该理解的是，图10示出了相机1005、1007和1009在二维(X，Y)或“2D”中的视图投影。光轴1005a、1007a和1009a是基于矢量的光轴，尽管仅出于说明目的将它们示为二维投影。如图所示，光轴1005a、光轴1009a和光轴1007a在交叉平面(例如水平平面、竖直平面或水平平面和竖直平面两者)的至少一个交叉点1010彼此交叉。在该示例性实施例中，第三相机1007基本上定位在第一相机1005和第二相机1009的中心，并且与它们等距。然而，在其他实施例中，第三相机1007可以交替地定位，例如不是在中心和/或更靠近第一相机1005或第二相机1009。仍然在其他实施例中，第三相机1007可以定位在第一相机1005和第二相机1009的前方，例如更靠近相对较小和空白透明区域1003。如图所示，空白透明区域1003可以由部件1001描绘为边界。部件1001可以是诸如车辆部件之类的固体特征，例如立柱、保险杠、门面板、前灯、侧窗、前窗等。在一些实施例中，第一相机1005、第二相机1009和第三相机1007可以用成像模块固定，该成像模块固定或联接到安装组件，该安装组件又固定或联接到安装支架。在一些实施例中，成像模块可以配置成沿着半圆弧布置第一相机1005、第二相机1009和第三相机1007。例如，成像模块可以成形为半圆。

如图所示，光轴1005a、1009a和1007a在交叉平面(未示出)的交叉点1010处彼此交叉。如图所示，交叉平面的交叉点1010与空白透明区域1003的中心区域重合。然而，应当注意，光轴1005a、1009a和1007a可以以任何方式独立地交叉。即，可能存在附加的交叉点和/或交叉平面(未示出)。另外，在一些实施例中，交叉平面的交叉点1010可以代表恰好重合的独立交叉平面的多个独立交叉点。例如，光轴1005a和1009a交叉以形成第一交叉平面的第一交叉点，光轴1005a和1007a交叉以形成第二交叉平面的第二交叉点，光轴1009a和1007a交叉以形成第三交叉平面的第三交叉点。如图所示，第一交叉平面的第一交叉点、第二交叉平面的第二交叉点和第三交叉平面的第三交叉点彼此重合，并且形成表示为交叉点1010的重合交叉平面的重合交叉点。因此，应当理解，术语“交叉点”是指至少两个光轴(比如光轴1005a、1009a和1007a)在至少一个平面例如水平平面和/或竖直平面中彼此交叉的位置。

尽管在与相对较小且透明区域1003的中心区域重合的位置处示出了交叉平面的交叉点1010，但是交叉平面的交叉点1010可以不同地定位。例如，交叉平面的交叉点1010可以位于距第一相机1005、第二相机1009和/或第三相机1007更远，使得其位于相对较小且透明区域1003的外部。可替代地，交叉平面的交叉点1010可以位于更靠近第一相机1005、第二相机1009和/或第三相机1007，使得其位于相对较小且透明区域803的外部。这样，交叉平面的交叉点1010可以位于距相对较小且透明区域1003的预定距离，例如在约0.01米至2.0米、0.1米至0.5米或0.5米至1.0米的范围内。

在示例性实施例中，第一相机1005聚焦在焦点P1处，第二相机1009聚焦在焦点P2处，第三相机1007聚焦在焦点P3处。这样，焦点P1位于超过交叉点1010的交叉点的第一水平距离，焦点P2位于超过交叉点1010的第二水平距离，焦点P3位于超过交叉点1010的第三水平距离。如图所示，第一、第二和第三水平距离基本上是相等的距离，尽管在替代实施例中它们可以是不同的距离。例如，P1可以是P2和/或P3的水平距离的约1.5倍，反之亦然。在其他实施例中，P1可以是P2的水平距离的约1.25倍、1.75倍、2.0倍、2.5倍或3.0倍。此外，应当注意，P1、P2和P3不一定是三维空间中的奇异点，即它们可以每个包含各自的聚焦区域，如相机和相机光学元件领域的普通技术人员理解。更进一步，对应于P1、P2和P3的焦点区域可以至少部分地重叠。

在示例性实施例中，交叉点1010的交叉点与第一相机1005、第二相机1009和第三相机1007间隔开间隔距离Dy，其约等于第一相机1005的透镜和第二相机1007的透镜之间的最短距离Dx。如图所示，第一相机1005的透镜和第二相机1007的透镜之间的最短距离由Dx表示，交叉平面的交叉点1010与第一相机1005和第二相机1009之间的间隔距离由Dy表示。应当理解，可以从相机1005、相机1009或相机1007的透镜测量间隔距离Dy，因此间隔距离Dy可以不同。还应该理解，在各个相机之间可以存在唯一的最短距离Dx。这样，每个相机1005、1009和1007可以具有各自的最短间隔距离Dy和各自的最短距离Dx。在一些实施例中，间隔距离Dy可以落在最短距离Dx的一至四倍的范围内。在其他实施例中，间隔距离Dy可以落在最短距离Dx的一至二倍、二至三倍、三至四倍、二至三倍或二至四倍的范围内。在一些实施例中，Dx可以指的是彼此相距最远的两个相机例如第一相机1005和第二相机1009之间的间隔。在一些实施例中，Dx和Dy可以表示为定义可以定位交叉平面的交叉点1010的距离的比率。例如，Dy≤N×Dx，其中2≤N≥4。

如图所示，第一相机1005的视场与第二相机1009的第二视场重叠。第一相机1005和第二相机1009的视场均与第三相机1007的视场重叠。在该示例性实施例中，光轴1005a在相对较小且空白透明区域1003的中心区域中与光轴1009a和光轴1007a交叉。这样，相对较小且透明区域1003小于具有等于第一相机、第二相机和第三相机的组合视场的广角视场的广角相机所需的相当透明区域。如图所示，相机1005的第一视场、相机1009的第二视场和相机1007的第三视场形成约150度的组合视场。在其他实施例中，组合视场的范围可以从45度到180度。例如，组合视场可以是55度、65度、75度、85度、95度、105度、115度、125度、135度、145度、155度、165度或175度。

图11A是与图10的三相机实施例一致的示例性成像系统的示意性平面图表示。如图所示，图11A的示例性成像系统可以安装在车辆99的后侧窗户上或者安装在诸如车辆99的车身的立柱部分的部件上。在一些实施例中，车辆99可以是自主车辆。为了易于理解，示出了车辆99具有中心纵向轴线Cx，其将车辆99纵向地分为两个基本对称的半部。该示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F1对应于具有66度小盖透镜的第一相机，第二视场F2对应于具有66度小盖透镜的第二相机，第三视场F3对应于具有66度小盖透镜的第三相机。在示例性实施例中，每个相机具有66度的视场。第一视场F1与第三视场F3重叠。同样，第二视场与第三视场F3重叠。

在图11A中，第一视场F1可以与车辆99的中心纵向轴线Cx偏离5度。在其他实施例中，F1可以与车辆99的中心纵向轴线Cx偏离5度到30度的范围，例如10度、15度、20度或25度。第二视场F2可以与车辆99的中心纵向轴线Cx偏离13度。在其他实施例中，F2可以与车辆99的中心纵向轴线Cx偏离5度到30度的范围，例如10度、15度、20度或25度。在示例性实施例中，第三视场F3与第一视场F1和第二视场F2重叠相等的量。在其他实施例中，第三视场F3基本垂直于车辆99的中心纵向轴线Cx。在其他实施例中，第三视场F3可以与车辆99的中心纵向轴线Cx偏离，即其光轴不垂直于中心纵向轴线Cx。

在示例性实施例中，组合视场为162度。在其他实施例中，组合视场可以更大或更小。例如，在其他示例性实施例中，组合视场的范围可以从100度到175度，例如110度、120度、130度、140度、150度、165度等。

图11B是与图8的两相机实施例一致的示例性成像系统的示意性平面图表示。示例性成像系统类似于图11A的实施例。因此，将不再详细说明类似的特征。在示例性实施例中，第一视场F_1B对应于具有66度小盖透镜的第一相机，第三视场F_3B对应于具有66度小盖透镜的第二相机。在示例性实施例中，每个相机具有66度的视场。第一视场F_1B与第三视场F_3B重叠。

在图11B中，第一视场F_1B可以与车辆99的中心纵向轴线Cx偏离5度。在其他实施例中，F_1B可以与车辆99的中心纵向轴线Cx偏离5度到30度的范围，例如10度、15度、20度或25度。第二视场F_3B可以与车辆99的中心纵向轴线Cx偏离60度。在其他实施例中，F_3B可以与车辆99的中心纵向轴线Cx偏离30度到90度的范围，例如10度、20度、30度、40度、50度、60度、70度、80度或90度。

在示例性实施例中，组合视场为115度。在其他实施例中，组合视场可以更大或更小。例如，在其他示例性实施例中，组合视场的范围可以从90度到175度，例如95度、100度、110度、120度、130度、140度、150度、165度等。

图12A是与图10的三相机实施例一致的示例性成像系统的示意性平面图表示。在图12A中，示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F4对应于具有52度小盖透镜的第一相机，第二视场F5对应于具有52度小盖透镜的第二相机，第三视场F6对应于具有100度透镜的第三相机。在示例性实施例中，第一视场F4与第三视场F6重叠。同样，第二视场F5与第三视场F6重叠。在其他实施例中，第一相机可以包括52度小盖透镜，且第二相机可以包括52度小盖透镜。

在图12A中，第一视场F4与车辆99的中心纵向轴线Cx偏离5度。在其他实施例中，F4可以与车辆99的中心纵向轴线Cx偏离5度至30度的范围，例如10度、15度、20度或25度。第二视场F5可以与车辆99的中心纵向轴线Cx偏离13.1度。在其他实施例中，F5可以与车辆99的中心纵向轴线Cx偏离5度至30度的范围，例如10度、15度、20度或25度。在示例性实施例中，第三视场F6与第一视场F4和第二视场F5重叠相等的量。在其他实施例中，第三视场F6基本垂直于车辆99的中心纵向轴线Cx。在其他实施例中，第三视场F6可以与车辆99的中心纵向轴线Cx偏离，即其光轴不垂直于中心纵向轴线Cx。

在一些实施例中，第三视场定向成使得其与第一视场F4和第二视场F6重叠相等的量。在示例性实施例中，组合视场为161.9度。在其他实施例中，组合视场可以更大或更小。例如，在其他示例性实施例中，组合视场的范围可以从100度到175度，例如110度、120度、130度、140度、150度、165度等。

图12B是与图8的三相机实施例一致的示例性成像系统的示意性平面图表示。该示例性成像系统类似于图12B的实施例。因此，将不再详细说明类似的特征。在图12B中，示例性成像系统包括两个相机，每个相机具有各自的视场。例如，第一视场F_4B对应于具有52度小盖透镜的第一相机，第二视场F_5B对应于具有100度透镜的第二相机。在示例性实施例中，第一视场F_4B与第二视场F6B重叠。

在图12B中，第一视场F_4B与车辆99的中心纵向轴线Cx偏离5度。在其他实施例中，F_4B可以与车辆99的中心纵向轴线Cx偏离5度至30度的范围，例如10度、15度、20度或25度。在示例性实施例中，第二视场F6B与车辆99的中心纵向轴线Cx偏离43度。在其他实施例中，第二视场F6B基本垂直于车辆99的中心纵向轴线Cx。在其他实施例中，第二视场F6B可以与车辆99的中心纵向轴线Cx偏离，即其光轴不垂直于中心纵向轴线Cx。

在示例性实施例中，组合视场为132度。在其他实施例中，组合视场可以更大或更小。例如，在其他示例性实施例中，组合视场的范围可以从100度到175度，例如110度、120度、130度、140度、150度、165度等。

图13是与图10的三相机实施例一致的示例性成像系统的示意性平面图表示。在图13中，示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F7对应于具有52度小盖透镜的第一相机，第二视场F8对应于具有52度小盖透镜的第二相机，第三视场F9对应于具有100度透镜的第三相机。在示例性实施例中，第一视场F7与第三视场F9重叠17度。同样，第二视场F8与第三视场F9重叠17度。在其他实施例中，第一视场F7和第二视场F9可以在10度至35度的范围内分别与第三视场F9重叠。例如，约15度、20度、25度、30度或35度等。在图13中，第一视场F7与车辆99的中心纵向轴线Cx偏离5度，第二视场F8与车辆99的中心纵向轴线Cx偏离5度。在该示例性实施例中，第三视场F9基本垂直于车辆99的中心纵向轴线Cx，即其光轴(未示出)基本垂直于车辆99的中心纵向轴线Cx。在其他示例性实施例中，第三视场F9可以与车辆99的中心纵向轴线Cx偏离，即其光轴不垂直于中心纵向轴线Cx。

图14是与图10的三相机实施例一致的示例性成像系统的示意性平面图表面。在图14中，示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F10对应于具有52度小盖透镜的第一相机，第二视场F11对应于具有52度小盖透镜的第二相机，第三视场F12对应于具有100度透镜的第三相机。在示例性实施例中，第一视场F10与车辆99的中心纵向轴线Cx偏离7度，第二视场F11与车辆99的中心纵向轴线Cx偏离13度。在示例性实施例中，第三视场F12不是完全垂直于车辆99的中心纵向轴线Cx，而是可以说是基本垂直。

图15和16是具有与所公开的实施例一致的组合视场的另一示例性成像系统的透视图表示。成像系统1400包括第一相机1402和第二相机1404。成像系统1400可以进一步包括容纳第一相机1402和第二相机1404的安装组件1408。安装组件1408可以配置成将成像模块1400附接到车辆上，使得第一相机1402和第二相机1404相对于车辆面向外部，如图15所示。尽管在图15中示出为位于车辆99的侧面，但成像系统1400可以位于车辆99的任何窗户(例如前窗、侧窗、后窗)之后，或者包括在或附接到车辆99的任何部件(例如立柱、保险杠、门面板、前灯、行李箱盖、挡泥板、行李架、横杆等)。例如，当包括在车辆部件中时，成像系统1400可以定位在部件的开口处提供的透明表面(例如玻璃、有机玻璃等)后面。

安装组件1408可以配置成将第一相机1402和第二相机1404定向成与地面平行。可替代地，安装组件1408可以配置成以相对于地面的偏离角例如5度、10度或15度来定向第一相机1402和第二相机1404。

成像系统1400可以进一步包括擦拭器组件1406，其包括至少一个擦拭器刮片。擦拭器组件1406可以配置成从第一相机1402和第二相机1404的各自视场清除遮挡物。在一些实施例中，擦拭器组件1406可以安装在车辆99的外部。擦拭器组件1406可以包括感测特征、定时器特征、电动致动器、铰接致动器、旋转致动器等。

图17和18是具有与所公开的实施例一致的组合视场的另一示例性成像系统的透视图表示。成像系统1800包括第一相机1802(为了说明目的而部分遮盖)、第二相机1804和第三相机1806。安装组件(参见图16的1408)配置成将成像模块1800附接到车辆99，使得第一相机1802、第二相机1804和第三相机1806相对于车辆99的侧后窗面向外部。在其他实施例中，安装组件(参见图16的1408)可以配置成将成像模块1800附接到车辆99的前挡风玻璃，如下面结合图19和20进一步详细讨论。仍然在其他实施例中，安装组件(参见图16的1408)可以配置成将成像模块1800附接到车辆99的部件，例如保险杠、立柱、门面板、前灯、行李箱盖、挡泥板、行李架、横杆等。

根据前挡风玻璃实施例，成像系统1800可以附接到车辆的前挡风玻璃。根据该示例性实施例，第三相机模块可以直接向前安装(垂直于穿过车辆99的后轮的轴线)，使得第三相机的光轴也直接向前。第一相机可以安装到第三相机的左侧并且定向成使得第一相机的光轴与第三相机的光轴交叉(例如从左到右)，并且第二相机安装到第三相机的右侧并且定向成使得第二相机的光轴与第三相机的光轴交叉(例如从右到左)。还应该理解，第一和第二相机的光轴也可以彼此交叉，尽管它们不一定需要交叉。

图19和20示出了用于车辆99的前挡风玻璃上的示例性成像系统的各种实施例。图19和20类似于先前说明的实施例，因此将不再详细说明相似的特征和相似性。应当理解，所有前述示例性范围同样适用于根据图19和20的实施例。

图19是与图10和图11-14的三相机实施例一致的示例性成像系统的示意性平面图表示。在图19中，示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F13对应于具有66度小盖透镜的第一相机，第二视场F14对应于具有66度小盖透镜的第二相机，第三视场F15对应于具有66度透镜的第三相机。在示例性实施例中，第一视场F13与第三视场F15重叠。同样，第二视场F14与第三视场F15重叠。

图20是与图19的三相机实施例一致的示例性成像系统的示意性平面图表示。在图20中，示例性成像系统包括三个相机，每个相机具有各自的视场。例如，第一视场F16对应于具有52度小盖透镜的第一相机，第二视场F17对应于具有52度小盖透镜的第二相机，第三视场F18对应于具有100度透镜的第三相机。在示例性实施例中，第一视场F16与第三视场F18重叠。同样，第二视场F17与第三视场F18重叠。在一些实施例中，组合视场可包括车辆前方180度。

图21是示例性成像系统2200的侧视图表示。图22是与图10的三相机实施例一致的成像系统2200的透视图。如图所示，成像系统2200安装在车辆99的内部后窗上。在其他实施例中，根据本公开的原理，成像系统220可以安装在车辆99的前挡风玻璃中。成像系统2200可以包括围绕相对较小且透明区域2204的防眩罩2202，该透明区域允许光穿过窗户到达相机2205、2207和2009。防眩罩2202可以包括深色粘合剂、遮光涂料、着色剂、偏振、用于曝光的印刷或涂漆区域或其任何组合。防眩罩2202的至少一个优点是可以减少来自由挡风玻璃的倾斜度(斜率)引起的入射光的眩光。防眩罩2202可以围绕相对较小且透明区域2204，其配置成向相机1005、1007和1009提供光圈，从而增加相机2205、2207和2209的景深，并期望使在宽范围距离处的多个不同对象能够保持聚焦。在一些实施例中，相对较小且透明区域2204可被着色或偏振。

图23是位于前挡风玻璃2300上的示例性成像系统2200的侧视图。如图所示，前挡风玻璃2300相对于笔直的水平表面例如地面具有40度的倾斜度。尽管图23的示例示出了具有40度的倾斜度的挡风玻璃2300，但是具有其他倾斜度(例如35度、38度、42度、45度等)的挡风玻璃与所公开的实施例一致。在示例性实施例中，成像系统2200包括三个相机2205、2207和2209(参见图22)，但是仅示出了第一相机2205和第三相机2207，因为在侧视图中相机2209将被相机2205遮盖。如图所示，相机2205和2207处于不同的高度。因此，与每个相应的光轴(由相应的虚线示出)相关的矢量可以不在竖直平面中交叉。然而，与每个相应的光轴(由相应的虚线示出)相关的矢量可以在水平平面中交叉。此外，在一些实施例中，如前所述，成像系统220可以包括两个相机。在示例性实施例中，成像模块2350成形为具有大致等于挡风玻璃2300的近似倾斜度，例如相对于笔直的水平表面约40度。在其他实施例中，成像模块2350可以是大致矩形的，并且仅依赖于安装组件(为了便于理解未标记)以解决挡风玻璃2300的倾斜度。另外，安装组件(为了便于理解未标记)配置成相对于窗户固定地保持成像模块2350，使得相机2005、2007和2009相对于挡风玻璃2300向外伸出。此外，相机2205、2207和2209的光轴(由虚线箭头表示)可以向外伸出与地面平行。这样，成像模块和安装组件可以解决挡风玻璃的倾斜度(斜率)。应当理解，以相同的方式，成像模块和安装组件可以解决其他级别和类型的倾斜度，例如水平、竖直、水平和竖直的组合。

图24是图23的示意性平面图表示。在图24中，示出了三个相机，即第一相机2205、第二相机2209和第三相机2207。如图所示，三个相机2205、2209和2207向外伸出穿过被防眩罩2202围绕的相对较小且空白透明区域。防眩罩配置成向相机1005、1007和1009提供光圈，从而增加相机2205、2207和2209的景深，并且使在宽范围距离处的多个不同对象能够保持聚焦。在一些实施例中，相对较小且透明区域2204可被着色或偏振。

在一实施例中，第一、第二和第三相机可以在防眩罩2202中使用相同的开口(例如图22)。在其他实施例中，每个相机可以具有其自己的防眩罩和相应的空白透明区域(未示出)。在某些示例中，相机使用的印刷或涂漆区域中的开口可以等于或小于具有与相机模块中的三个(或更多个)相机的组合FOV具有相似特征的视场的相机所需的区域。

在一实施例中，第三相机可选地位于第一相机和第二相机之间。因此，应当理解，由于侧面相机(第一和第二相机2205、2207)可以组合以形成大于单独第三相机2207的视场的组合视场，因此可以通过利用组合FOV在第三相机中使用更薄的透镜，而不会影响相机模块的性能。这可能是特别有利的，因为相对于第一和第二相机2205、2207，第三相机2207可以附接成更靠近车辆的挡风玻璃(或窗户)。还将进一步理解，通过使中央相机2207更紧密地装配在挡风玻璃上，可以获得或支撑更大的视场覆盖范围，其中印刷或涂漆中的更小开口在窗户中。

图25是与本公开一致的另一实施例的示意性平面图表示。在示例性实施例中，成像模块2512包括以半圆形状布置的相机，该半圆的半径与相对较小且空白透明区域2511重合。即，在示例性实施例中，成像模块配置成沿着半圆弧布置多个相机2501、2502、2503、2504、2505、2506和2507。如图所示，相机朝向半圆的半径定向。与其他公开的实施例一致，安装组件(未示出)可以配置成将成像模块2511附接到车辆的内部窗户(或任何其他部件)，使得相机相对于车辆面向外部。在其中成像模块2512具有弓形形状的其他实施例中，对应的半径可以不定位成与相对较小且空白透明区域2511重合，例如它可以在任一侧上。在示例性实施例中，存在七个对称定向的相机2501、2502、2503、2504、2505、2506和2507，尽管在其他实施例中，可以存在更多或更少的相机。在一些实施例中，相机可以不沿着半圆弧对称地间隔开。

在示例性实施例中，每个相应的相机2501、2502、2503、2504、2505、2506和2507具有相应的视场(由对应的三角形区域表示)和从单个相对较小且透明开口2511向外伸出的相应的光轴(由对应的虚线表示)。在示例性实施例中，组合视场Fc为170度，尽管在其他实施例中它可以更多或更少，例如在约100度至180度的范围内。如图所示，当与组合视场Fc相比时，每个相机2501、2502、2503、2504、2505、2506和2507具有相对窄的视场。

如图所示，每个相应的视场至少部分地与半圆的半径重叠，并且半圆的半径位于单个相对较小且透明开口2511的中心位置处。另外，每个相应的光轴(由对应的虚线表示)在相应的交叉平面(为了便于理解而未示出)的至少一个相应的交叉点与每个其他相应的光轴交叉，与以上公开一致(参见图10)。这样，两个光轴的每个交叉对应于相应交叉平面的相应交叉点。在示例性实施例中，每个相应的光轴在至少一个水平平面中与每个其他相应的光轴交叉。在其他实施例中，每个相应的光轴在至少竖直平面中与每个其他相应的光轴交叉。仍然在其他实施例中，每个相应的光轴在水平平面和竖直平面中都与每个其他相应的光轴交叉。

在示例性实施例中，相对较小且透明区域2511配置成向每个相机2501、2502、2503、2504、2505、2506和2507提供光圈，从而增加每个相机2501、2502、2503、2504、2505、2506和2507的景深，并且使在宽范围距离处的多个不同对象能够保持聚焦。此外，相对较小且透明区域2511小于具有大致等于组合视场Fc的广角视场的广角相机所需的相当透明区域。在一些实施例中，组合视场可以在车辆99的前方至少180度的量级上。如图所示，空白透明区域2511可以由部件2510描绘为边界。部件2510可以是诸如车辆部件之类的固体特征，例如立柱、保险杠、门面板、前灯、侧窗、前窗等。

在示例性实施例中，每个相机2501、2502、2503、2504、2505、2506和2507与多个相机中的至少一个紧邻的相机2501、2502、2503、2504、2505、2506或2507间隔开相等的距离。在其他实施例中，2501、2502、2503、2504、2505、2506和2507不间隔开相等的距离。在示例性实施例中，每个相应交叉平面的每个相应交叉点与最近的相机相距紧邻的相机之间的至少相等距离。如图所示，每个相应交叉平面的每个相应交叉点与最近的相机相距紧邻的相机之间的至多四倍相等距离。在其他实施例中，每个相应交叉平面的每个相应交叉点与最近的相机相距紧邻的相机之间的至多六倍相等距离。

在示例性实施例中，在其对应的光轴和相对较小且空白透明区域2511之间具有最大休止角的相机可具有偏振滤光器2515。偏振滤光器2515可有助于滤出或避免由相对较小且透明开口2511折射的入射光的反射。此外，通过使用多个相机，偏振滤光器2515可以仅附接到受影响最大的那些相机。另外，由于示例性实施例具有多个相机2501、2502、2503、2504、2505、2506和2507，因此可以针对该特定相机优化每个相机的曝光水平。此外，由于阳光照射到一特定相机的透镜而产生的眩光可能不会影响其他相机的图像。这样，多个相机2501、2502、2503、2504、2505、2506和2507可以配置成提供图像质量的冗余，并避免不良曝光的可能性。

在至少一个实施例中，约2mm的七个VGA分辨率相机立方体沿着半圆弧彼此间隔开，如图25所示。根据该实施例，半圆对应于直径约10mm的圆。该实施例的至少一个优点是它导致非常紧凑的高分辨率组合视场。

在类似但替代的实施例中，可以将多个相机安装在半球中，其中12个相机的第一环位于相对较小且透明半球形开口附近。在该实施例中，第一环的12个相机中的每个可具有偏振滤光器。此外，可以包括8个相机的第二环、4个相机的第三环以及中央相机。

本领域普通技术人员将理解，可以使用图像处理技术来组合两个或更多个相机的视场以提供组合视场，如可以与本文的公开内容一致。例如，至少一个处理设备(例如处理单元110)可执行程序指令以提供组合视场和/或分析由两个或更多个相机捕获的一个或多个图像。如果两个或更多个相机的各自视场部分地重叠，则任何合成的组合视场都可以包括两个或更多个相机的视场的重叠区域以及两个或更多个相机中任一个的不重叠区域。可以使用裁剪来减少或防止与本公开一致的成像技术中的冗余。

本领域普通技术人员还将理解，所公开的实施例可以定位在主车辆内或上的任何位置，并且不必限于自主车辆。此外，在一些实施例中，可以在车辆99上安装多个成像系统。例如，可以将第一成像系统安装在右侧后窗上，可以将第二成像系统安装在左侧后窗上，可以将第三成像系统安装在后后窗上，可以将第四成像系统安装在前挡风玻璃上。根据该实施例，多个成像系统可以组合以形成围绕车辆99的完全全景的组合视场。

出于说明的目的已经给出了前述描述。它不是穷举的，并且不限于所公开的精确形式或实施例。通过考虑所公开实施例的说明书和实践，修改和改变对于本领域技术人员将是显而易见的。

此外，尽管本文已经描述了说明性实施例，但是基于本公开，本领域技术人员要理解的是，任何和所有实施例的范围具有等同的元素、修改、省略、组合(例如各个实施例的各方面)、改变和/或替换。权利要求中的限制应基于权利要求中采用的语言来广义地解释，并且不限于本说明书中或在本申请进行过程中描述的示例。这些示例应被解释为非排他性的。此外，可以以任何方式修改所公开的方法的步骤，包括通过重新排序步骤和/或插入或删除步骤。因此，本说明书和实施例仅被认为是说明性的，真正的范围和精神由所附权利要求及其等同物的全部范围指示。

Claims (25)

1.一种用于车辆的成像系统，包括：

成像模块；

第一相机，其联接到成像模块，第一相机包括具有第一视场和第一光轴的第一透镜；

第二相机，其联接到成像模块，第二相机包括具有第二视场和第二光轴的第二透镜，第二视场与第一视场不同，第一透镜的角度大于第二透镜的角度；以及

安装组件，其配置成将成像模块附接到车辆的内部后窗，使得第一和第二相机定位在同一高度且第一和第二相机相对于车辆面向外部，

其中，所述第一光轴在交叉平面的至少一个交叉点与所述第二光轴交叉，

其中，所述第一相机在超过交叉平面的交叉点的第一水平距离聚焦，所述第二相机在超过交叉平面的交叉点的第二水平距离聚焦，并且

其中，所述第一视场和第二视场至少部分地重叠并形成组合视场，并且第一视场垂直于车辆的中心纵向轴线；

其中，所述交叉平面的交叉点与所述第一相机和第二相机间隔开一间隔距离，该间隔距离为第一相机的透镜与第二相机的透镜之间的最短距离的一至四倍；

其中，所述内部后窗包括防眩罩，其围绕允许光穿过所述窗至成像模块的透明区域，所述透明区域小于具有等于所述第一相机和第二相机的组合视场的广角视场的广角相机所需的透明区域。

2.根据权利要求1所述的成像系统，其中，所述第一光轴在水平平面中与所述第二光轴交叉。

3.根据权利要求1所述的成像系统，其中，所述第一光轴在竖直平面中与所述第二光轴交叉。

4.根据权利要求1所述的成像系统，其中，所述第一光轴在水平平面和竖直平面中都与所述第二光轴交叉。

5.根据权利要求1所述的成像系统，其中，所述第一水平距离和第二水平距离是相等的距离。

6.根据权利要求1所述的成像系统，其中，所述第一水平距离是第二水平距离的两倍或三倍。

7.根据权利要求1所述的成像系统，其中，所述交叉平面的交叉点位于所述内部后窗和所述第一和第二相机之间。

8.根据权利要求1所述的成像系统，其中，所述交叉平面的交叉点位于距所述内部后窗的外表面预定距离。

9.根据权利要求1所述的成像系统，其中，所述组合视场包括至少180度。

10.根据权利要求1所述的成像系统，还包括：

擦拭器组件，其包括至少一个擦拭器刮片，该擦拭器刮片配置成从所述第一相机和第二相机的相应视场清除遮挡物。

11.根据权利要求1所述的成像系统，其中，所述成像模块配置成并排布置所述第一相机和第二相机。

12.根据权利要求1所述的成像系统，其中，所述透明的区域配置成向所述第一相机和第二相机提供光圈，从而增加第一相机的景深和第二相机的景深，并且使在宽范围距离处的多个不同对象能够保持聚焦。

13.根据权利要求1所述的成像系统，其中，所述交叉平面的交叉点在所述透明的区域的中心。

14.一种用于车辆的成像系统，包括：

成像模块；

第一相机，其联接到成像模块，第一相机包括具有第一视场和第一光轴的第一透镜；

第二相机，其联接到成像模块，第二相机包括具有第二视场和第二光轴的第二透镜，第二视场和第一视场不同，第一透镜的角度大于第二透镜的角度；

第三相机，其联接到成像模块，第三相机包括具有第三视场和第三光轴的第三透镜，第三视场不同于第一视场；

安装组件，其配置成将成像模块附接到车辆的内部后窗，使得第一相机、第二相机和第三相机定位在同一高度，且第一相机、第二相机和第三相机相对于车辆面向外部，其中：

所述第一光轴在第一交叉平面的至少一个第一交叉点与所述第二光轴交叉；

所述第一光轴在第二交叉平面的至少一个第二交叉点与所述第三光轴交叉；

所述第二光轴在第三交叉平面的至少一个第三点与所述第三光轴交叉；以及

所述第一视场和第二视场与第三视场至少部分地重叠，并且第一视场、第二视场和第三视场形成组合视场，并且第三视场垂直于车辆的中心纵向轴线；

所述第一交叉平面的第一交叉点、所述第二交叉平面的第二交叉点和所述交叉平面的第三交叉点彼此重合并且形成重合交叉平面的重合交叉点；

所述重合交叉平面的重合交叉点与所述第一相机、第二相机和第三相机间隔开一间隔距离，该间隔距离为第一相机、第二相机和第三相机之间的最短距离的一至四倍；

所述内部后窗包括防眩罩，其围绕允许光穿过窗户至成像模块的透明区域，并且，所述透明区域小于具有等于所述第一相机、第二相机和第三相机的组合视场的广角视场的广角相机所需的透明区域。

15.根据权利要求14所述的成像系统，其中，所述第一光轴在水平平面中与所述第二光轴交叉，所述第一光轴在水平平面中与所述第三光轴交叉，并且，所述第二光轴在水平平面中与所述第三光轴交叉。

16.根据权利要求14所述的成像系统，其中，所述第一光轴在竖直平面中与所述第二光轴交叉，所述第一光轴在竖直平面中与所述第三光轴交叉，并且，所述第二光轴在竖直平面中与所述第三光轴交叉。

17.根据权利要求14所述的成像系统，其中，所述第一光轴在水平轴线和竖直轴线上都与所述第二光轴交叉，所述第一光轴在水平轴线和竖直轴线上都与所述第三光轴交叉，并且，所述第二光轴在水平轴线和竖直轴线上都与第三光轴交叉。

18.根据权利要求14所述的成像系统，其中，所述第三相机定位在所述第一相机和第二相机之间的中心，并且在第一相机和第二相机之间等距离地间隔。

19.根据权利要求14所述的成像系统，其中，所述安装组件配置成将所述成像模块附接到后部内窗。

20.根据权利要求14所述的成像系统，还包括：

擦拭器组件，其包括至少一个擦拭器刮片，该擦拭器刮片配置成从所述第一相机、第二相机和第三相机的相应视场清除遮挡物。

21.根据权利要求14所述的成像系统，其中，所述成像模块配置成并排布置所述第一相机、第二相机和第三相机。

22.根据权利要求19所述的成像系统，其中，所述后部内窗包括防眩罩，其包括化合物膜和防反射材料。

23.根据权利要求22所述的成像系统，其中，所述后部内窗包括由非透明区域围绕的透明区域。

24.根据权利要求14所述的成像系统，其中所述透明区域配置成为所述第一相机、第二相机和第三相机提供光圈，从而增加第一相机的景深、第二相机的景深和第三相机的景深，并且使在宽范围距离处的多个不同对象能够保持聚焦。

25.根据权利要求24所述的成像系统，其中，所述重合交叉平面的重合交叉点与所述透明区域的中心区域重合。