CN106796648B - 用于检测对象的系统和方法 - Google Patents

用于检测对象的系统和方法 Download PDF

Info

Publication number
CN106796648B
CN106796648B CN201580029811.7A CN201580029811A CN106796648B CN 106796648 B CN106796648 B CN 106796648B CN 201580029811 A CN201580029811 A CN 201580029811A CN 106796648 B CN106796648 B CN 106796648B
Authority
CN
China
Prior art keywords
image
vehicle
expansion
focus
common
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580029811.7A
Other languages
English (en)
Other versions
CN106796648A (zh
Inventor
A.沙舒阿
E.达甘
T.巴巴
Y.迈尔斯
Y.霍兰德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Vision Technologies Ltd
Original Assignee
Mobileye Vision Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Vision Technologies Ltd filed Critical Mobileye Vision Technologies Ltd
Priority to CN202011200156.6A priority Critical patent/CN112528737B/zh
Publication of CN106796648A publication Critical patent/CN106796648A/zh
Application granted granted Critical
Publication of CN106796648B publication Critical patent/CN106796648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B60K35/10—
    • B60K35/60—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B60K2360/1438—
    • B60K2360/1446—
    • B60K2360/148—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

提供了用于检测车辆前面的对象的系统和方法。在一个实施方式中，对象检测系统包括：图像捕获装置，配置为获取区域的多个图像；数据接口；和处理装置，编程为：比较第一图像和第二图像以确定像素之间的位移向量；搜索第一图像和第二图像的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系；和基于该组像素识别基本垂直对象的存在。

Description

用于检测对象的系统和方法
相关申请的交叉引用
本申请要求2014年6月3日提交的美国临时专利申请第62/006,912号的优先权的权益。通过引用在这里全部合并前述申请。
技术领域
本公开总体涉及自主车辆导航，更具体地，涉及使用相机来检测车辆前方的对象的系统和方法。
背景技术
随着技术继续前进，能够在道路上导航的完全自主车辆的目标刚刚出现。起初，自主车辆能够识别其环境，并在没有来自人类操作者的输入的情况下导航。自主车辆还可以考虑各种因素，并且基于这些因素做出适当的决定，以安全和精确到达预期目的地。例如，当车辆通常在道路上行进时，遇到各种对象—诸如其他车辆和行人。自主驾驶系统可以识别车辆环境中的这些对象，并采取适当且及时的动作以避免碰撞。另外，自主驾驶系统可以识别其他指示符—诸如交通信号灯、交通标志和车道标记—其管制车辆移动(例如，什么时候车辆必须停止和可以通行、车辆不能超出的速度、车辆必须位于道路上的哪里等)。自主驾驶系统可能需要确定什么时候车辆应该改变车道、在十字路口转向、改变道路等。从这些示例显然可见，可能需要解决许多因素，以便提供能够进行安全和精确导航的自主车辆。
发明内容
与本公开一致的实施例提供了用于自主车辆导航的系统和方法。公开的实施例可使用相机来提供自主车辆导航特征。例如，与公开的实施例一致，公开的系统可包括监视车辆的环境的一个、两个或更多个相机，并促使基于所述相机的一个或多个所捕获的图像的分析的导航响应。
与公开的实施例一致，提供了用于车辆的对象检测系统。该系统可包括至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像。该系统可包括数据接口、和编程为经由该数据接口接收所述多个图像的至少一个处理装置。所述至少一个处理装置还可以被编程为比较第一图像和第二图像以确定第一图像的像素和第二图像的像素之间的位移向量。所述至少一个处理装置可进一步被编程为搜索第一图像和第二图像的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。所述至少一个处理装置可进一步被编程为基于该组像素识别第一图像和第二图像的至少一个中的基本垂直对象的存在。
与另一公开的实施例一致，提供了一种车辆。该车辆可包括车体。该车辆可包括至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像。该车辆可包括数据接口、和编程为经由该数据接口接收所述多个图像的至少一个处理装置。所述至少一个处理装置还可以被编程为比较第一图像和第二图像以确定第一图像的像素和第二图像的像素之间的位移向量。所述至少一个处理装置可进一步被编程为搜索第一图像和第二图像的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。所述至少一个处理装置可进一步被编程为基于该组像素识别第一图像和第二图像的至少一个中的基本垂直对象的存在。
与另一公开的实施例一致，提供了一种用于检测车辆前面的对象的方法。该方法可包括经由至少一个图像捕获装置获取车辆前面的区域的多个图像。该方法还可以包括经由处理装置接收所述多个图像。该方法还可以包括经由处理装置比较第一图像和第二图像，以确定第一图像的像素和第二图像的像素之间的位移向量。该方法还可以包括经由处理装置搜索第一图像和第二图像的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。该方法还可以包括经由处理装置基于该组像素识别第一图像和第二图像的至少一个中的基本垂直对象的存在。
与另一公开的实施例一致，提供了一种用于车辆的对象检测系统。该对象检测系统可包括至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像。该对象检测系统还可以包括数据接口、和编程为经由该数据接口接收所述多个图像的至少一个处理装置。所述至少一个处理装置还可以被编程为比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点。所述至少一个处理装置还可以被编程为确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围。所述至少一个处理装置还可以被编程为基于在该时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
与另一公开的实施例一致，提供了一种车辆。该车辆可包括车体、和至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像。该系统还可以包括数据接口、和编程为经由该数据接口接收所述多个图像的至少一个处理装置。所述至少一个处理装置还可以被编程为比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点。所述至少一个处理装置还可以被编程为确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围。所述至少一个处理装置还可以被编程为基于在该时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
与另一公开的实施例一致，提供了一种用于检测车辆前面的对象的方法。该方法可包括经由至少一个图像捕获装置获取车辆前面的区域的多个图像。该方法可包括经由处理装置接收所述多个图像。该方法还可以包括经由处理装置比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点。该方法还可以包括经由处理装置确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围。该方法还可以包括经由处理装置基于在该时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
与其他公开的实施例一致，非瞬时计算机可读储存介质可存储程序指令，其由至少一个处理装置运行并执行这里描述的方法的任一个。
以上一般描述和以下详细描述是示范性和说明性的，并且不限制权利要求。
附图说明
包括在并构成本公开的一部分的附图说明了各个公开的实施例。在图中：
图1是与公开的实施例一致的示范系统的示意性表示。
图2A是包括与公开的实施例一致的系统的示范车辆的示意性侧视图表示。
图2B是与公开的实施例一致的图2A中示出的车辆和系统的示意性顶视图表示。
图2C是包括与公开的实施例一致的系统的车辆的另一实施例的示意性顶视图表示。
图2D是包括与公开的实施例一致的系统的车辆的另一实施例的示意性顶视图表示。
图2E是包括与公开的实施例一致的系统的车辆的另一实施例的示意性顶视图表示。
图2F是与公开的实施例一致的示范车辆控制系统的示意性表示。
图3A是与公开的实施例一致的包括用于车辆成像系统的后视镜和用户界面的车辆的内部的示意性表示。
图3B是与公开的实施例一致的配置为位于后视镜后面并朝向车辆挡风玻璃的相机支架的示例的说明。
图3C是与公开的实施例一致的不同视角的图3B中示出的相机支架的说明。
图3D是与公开的实施例一致的配置为位于后视镜后面并朝向车辆挡风玻璃的相机支架的示例的说明。
图4是与公开的实施例一致的配置为存储用于执行一个或多个操作的指令的存储器的示范框图。
图5A是示出了与公开的实施例一致的用于促使基于单目图像分析的一个或多个导航响应的示范过程的流程图。
图5B是示出了与公开的实施例一致的用于在一组图像中检测一个或多个车辆和/或行人的示范过程的流程图。
图5C是示出了与公开的实施例一致的用于在一组图像中检测路标和/或车道几何信息的示范过程的流程图。
图5D是示出了与公开的实施例一致的用于在一组图像中检测交通信号灯的示范过程的流程图。
图5E是示出了与公开的实施例一致的用于促使基于车辆路径的一个或多个导航响应的示范过程的流程图。
图5F是示出了与公开的实施例一致的用于确定前方车辆是否正改变车道的示范过程的流程图。
图6是示出了与公开的实施例一致的用于促使基于立体图像分析的一个或多个导航响应的示范过程的流程图。
图7是示出了与公开的实施例一致的用于促使基于三组图像的分析的一个或多个导航响应的示范过程的流程图。
图8是示出了与公开的实施例一致的在另一车辆后面在道路上行驶的包括对象检测系统的示范车辆的示意性表示。
图9是与公开的实施例一致的可存储用于执行检测车辆前面的对象的一个或多个操作的指令的存储器的示范框图。
图10A是示出了与公开的实施例一致的与像素相关的向量的区域的示范图像。
图10B是与公开的实施例一致的扩展焦点和缩放幅度之间的示范关系的示意性说明。
图10C示出了与公开的实施例一致的基于所选择的像素识别基本竖立对象的示范方法。
图11是示出了与公开的实施例一致的用于检测车辆前面存在对象的示范过程的流程图。
图12A是与公开的实施例一致的静态环境的图像。
图12B是图示了与公开的实施例一致的对应于图12A的静态环境的扩展焦点和缩放幅度之间的示范关系的三维立方体空间。
图13A是与公开的实施例一致的其中安装有对象检测系统的环境的图像，该环境具有在该环境中静止或沿着与车辆的行驶方向平行的方向行驶的另一车辆。
图13B是图示了与公开的实施例一致的对应于图13A的图像的扩展焦点和缩放幅度之间的示范关系的三维立方体空间。
图13C是与公开的实施例一致的其中安装有对象检测系统的环境的图像，该环境具有在车辆前面纵向行驶并与车辆对准的另一车辆。
图13D是图示了与公开的实施例一致的对应于图13C的图像的扩展焦点和缩放幅度之间的示范关系的三维立方体空间。
图14A是与公开的实施例一致的与示范光流场叠加的环境的图像。
图14B是图示了与公开的实施例一致的对应于图14A中示出的车辆对象和行人对象的两个示范扩展焦点的三维立方体空间。
图15A示出了图示与公开的实施例一致的检测交叉到撞击对象的示范方法的图。
图15B示出了与公开的实施例一致的具有在车辆前面横穿马路的行人的图像。
图15C示出了与公开的实施例一致的在获取图15B中示出的图像之后的时刻所获取的具有在车辆前面横穿马路的行人的图像。
图16是示出了与公开的实施例一致的用于检测在车辆前面的对象的示范过程的流程图。
图17示出了与公开的实施例一致的检测对象的示范方法。
具体实施方式
以下详细描述参考附图。只要可能，在图中和以下描述中使用相同附图标记，以指代相同或相似部件。尽管这里描述了若干个示意性实施例，但是修改、改编和其它实现是可能的。例如，可对图中所示的部件进行替换、添加或修改，并且可向公开的方法替换、重新排序、去除或添加步骤来修改这里描述的示意性方法。因此，以下详细描述不限于公开的实施例和示例。相反，适当的范围由所附权利要求限定。
图1是与示范公开的实施例一致的系统100的框图表示。取决于特定实现的需求，系统100可包括各个部件。在一些实施例中，系统100可包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储单元140、150、地图数据库160、和用户接口170。处理单元110可包括一个或多个处理装置。在一些实施例中，处理单元110可包括应用处理器180、图像处理器190、或任何其它适当的处理装置。类似地，取决于特定应用的需求，图像获取单元120可包括任意数目的图像获取装置和部件。在一些实施例中，图像获取单元120可包括一个或多个图像捕获装置(例如，相机)，诸如图像捕获装置122、图像捕获装置124、和图像捕获装置126。系统100还可以包括数据接口128，其将处理装置110可通信地连接到图像获取单元120。例如，数据接口128可包括任何有线和/或无线链路，用于将图像获取单元120获取的图像传送到处理单元110。
应用处理器180和图像处理器190两者可包括各类处理装置。例如，应用处理器180和图像处理器190的任一个或两者可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器、或适于运行应用并用于图像处理和分析的任何其它类型装置。在一些实施例中，应用处理器180和/或图像处理器190可包括任何类型单核或多核处理器、移动装置微控制器、中央处理单元等。可使用各个处理装置，包括例如可从诸如
Figure BDA0001170574770000071
等的制造商得到的处理器，并且可包括各种架构(例如，x86处理器、
Figure BDA0001170574770000072
等)。
在一些实施例中，应用处理器180和/或图像处理器190可包括从
Figure BDA0001170574770000073
可得的EyeQ系列处理器芯片的任一个。这些处理器设计每个都包括具有本地存储器和指令集的多个处理单元。这样的处理器可包括用于从多个图像传感器接收图像数据的视频输入，并且还可以包括视频输出能力。在一个示例中，
Figure BDA0001170574770000074
使用按照332Mhz操作的90nm-微米技术。
Figure BDA0001170574770000075
架构包括两个浮点、超线程32位RISC CPU(
Figure BDA0001170574770000076
内核)、五个视觉计算引擎(VCE)、三个向量微码处理器
Figure BDA0001170574770000077
Denali64位移动DDR控制器、128位内部声能学互连、双16位视频输入和18位视频输出控制器、16信道DMA和多个外设。MIPS34KCPU管理这五个VCE、三个VMPTM和DMA、第二个MIPS34K CPU和多信道DMA以及其它外设。这五个VCE、三个
Figure BDA0001170574770000078
和MIPS34K CPU能执行多功能包应用需要的密集视觉计算。在另一示例中，作为第三代处理器并且比
Figure BDA0001170574770000079
强大六倍的
Figure BDA00011705747700000710
可在公开的实施例中使用。
这里公开的处理装置中的任一个可被配置为执行某些功能。配置处理装置(诸如描述的EyeQ处理器或其它控制器或微处理器的任一个)以执行某些功能可包括：计算机可运行指令的编程，使得那些指令可用于处理装置，用于在处理装置的操作期间运行。在一些实施例中，配置处理装置可包括利用架构指令直接编程处理装置。在其它实施例中，配置处理装置可包括在操作期间处理装置可访问的存储器上存储可运行指令。例如，该处理装置可访问存储器，以在操作期间获得和运行所存储的指令。
尽管图1描绘了处理单元110中包括的两个单独处理装置，但是可使用更多或更少的处理装置。例如，在一些实施例中，可使用单一处理装置，来实现应用处理器180和图像处理器190的任务。在其它实施例中，这些任务可由两个以上处理装置执行。
处理单元110可包括各类装置。例如，处理单元110可包括各个装置，诸如控制器、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器、或用于图像处理和分析的任何其它类型装置。图像预处理器可包括用于捕获、数字化和处理来自图像传感器的影像的视频处理器。CPU可包括任意数目的微控制器或微处理器。支持电路可以是本领域公知的任意数目电路，包括高速缓存、电源、时钟和输入-输出电路。存储器可存储软件，其在由处理器运行时控制系统的操作。存储器可包括数据库和图像处理软件。存储器可包括任意数目随机存取存储器、只读存储器、闪存、盘驱动器、光学储存器、带储存器、可移除储存器和其它类型储存器。在一实例中，存储器可与处理单元110分离。在另一实例中，存储器可集成在处理单元110中。
每一存储器140、150可包括软件指令，其在由处理器(例如，应用处理器180和/或图像处理器190)运行时可控制系统100的各方面的操作。这些存储单元可包括各个数据库和图像处理软件。存储单元可包括随机存取存储器、只读存储器、闪存、盘驱动器、光学储存器、带储存器、可移除储存器和/或其它类型储存器。在一些实施例中，存储单元140、150可与应用处理器180和/或图像处理器190分离。在其它实施例中，这些存储单元可被集成在应用处理器180和/或图像处理器190中。
位置传感器130可包括适于确定与系统100的至少一个部件关联的地点的任意类型装置。在一些实施例中，位置传感器130可包括GPS接收器。这样的接收器能通过处理由全球定位系统卫星所广播的信号来确定用户位置和速度。可使得来自位置传感器130的位置信息可用于应用处理器180和/或图像处理器190。
用户接口170可包括适于向系统100的一个或多个用户提供信息或从系统100的一个或多个用户接收输入的任意装置。在一些实施例中，用户接口170可包括用户输入装置，其包括例如触摸屏、麦克风、键盘、指针装置、轨迹轮、相机、旋钮、按钮等。利用这样的输入装置，用户可以能够通过打字指令或信息、提供语音命令、使用按钮、指针、或眼睛跟踪能力选择屏幕上的菜单选项、或通过用于向系统100传递信息的任何其它合适技术，来向系统100提供信息输入或命令。
用户接口170可装备有一个或多个处理装置，其配置为向或从用户提供和接收信息，并处理该信息用于由例如应用处理器180使用。在一些实施例中，这样的处理装置可运行用于识别和跟踪眼睛移动、接收和解释语音命令、识别和解释触摸屏上作出的触摸和/或手势、对键盘键入或菜单选择作出响应等的指令。在一些实施例中，用户接口170可包括显示器、扬声器、触觉装置和/或用于向用户提供输出信息的任何其它装置。
地图数据库160可包括用于存储对于系统100有用的地图数据的任何类型数据库。在一些实施例中，地图数据库160可包括与参考坐标系统中的各项(包括道路、水特征、地理特征、商业、兴趣点、餐厅、加油站等)的位置相关的数据。地图数据库160可不仅存储这样的项的地点，而且存储与那些项相关的描述符，包括例如与存储的特征的任一个关联的名称。在一些实施例中，地图数据库160可与系统100的其它部件物理定位。可替代地或另外地，地图数据库160或其一部分可针对系统100的其它部件(例如，处理单元110)远程定位。在这样的实施例中，来自地图数据库160的信息可通过有线或无线数据连接下载到网络(例如，通过蜂窝网络和/或因特网等)。
图像捕获装置122、124和126的每一个可包括任何类型装置，其适于从环境捕获至少一个图像。此外，可使用任意数目图像捕获装置来获取图像用于输入到图像处理器。一些实施例可以仅包括单一图像捕获装置，而其它实施例可包括两个、三个或甚至四个或更多个图像捕获装置。下面将参考图2B-2E来进一步描述图像捕获装置122、124和126。
系统100或其各个部件可被合并到各个不同平台中。在一些实施例中，系统100可被包括在车辆100上，如图2A中所示。例如，车辆200可装备有处理单元110和系统100的其它部件的任一个，如上面关于图1所述。尽管在一些实施例中，车辆200可装备有仅单一图像捕获装置(例如，相机)，但是在其它实施例中，可使用多个图像捕获装置，诸如结合图2B-2E讨论的那些。例如，图中2A所示的车辆200的图像捕获装置122和124的任一个可以是ADAS(高级驾驶辅助系统)成像集合的一部分。
作为图像获取单元120的一部分的车辆200上包括的图像捕获装置可位于任何合适地点处。在一些实施例中，如图2A-2E和3A-3C中所示，图像捕获装置122可位于后视镜附近。该位置可提供与车辆100的驾驶员的视线类似的视线，这可帮助确定什么对于驾驶员是可视的和不可视的。图像捕获装置122可位于靠近后视镜的任何地点处，但是将图像捕获装置122放置在镜子的驾驶员侧可进一步帮助获得代表驾驶员的视野和/或视线的图像。
也可以使用图像获取单元120的图像捕获装置的其它地点。例如，图像捕获装置124可位于车辆200的保险杠之上或之中。这样的地点可特别适于具有宽视野的图像捕获装置。定位于保险杠的图像捕获装置的视线能与驾驶员的视线不同，因此保险杠图像捕获装置和驾驶员可能不总是看见相同对象。图像捕获装置(例如，图像捕获装置122、124和126)也可以定位于其它地点。例如，图像捕获装置可以定位在车辆200的侧视镜之一或两者之上或之中、车辆200的车顶上、车辆200的车盖上、车辆200的车身上、车辆200的侧面、安装在车辆200的任一窗户上、位于车辆200的任一窗户之后或之前，并安装在车辆200的前部和/或后部的灯图形中或附近等。
除了图像捕获装置之外，车辆200可以包括系统100的各个其它部件。例如，处理单元110可与车辆的引擎控制单元(ECU)集成或分离地被包括在车辆200上。车辆200还可以装备有位置传感器130，诸如GPS接收器，并且还可以包括地图数据库160以及存储单元140和150。
图2A是与公开的实施例一致的示范车辆成像系统的示意性侧视图表示。图2B是图2A中示出的实施例的示意性顶视图说明。如图2B中图示的，公开的实施例可包括车辆200，在其主体中具有系统100，其具有位于车辆200的后视镜附近和/或驾驶员附近的第一图像捕获装置122、位于车辆200的保险杠区域(例如，保险杠区域210之一)之上或之中的第二图像捕获装置124、以及处理单元110。
如图2C中图示的，图像捕获装置122和124两者可位于车辆200的后视镜附近和/或驾驶员附近。另外，尽管图2B和2C中示出了两个图像捕获装置122和124，但是应理解的是，其它实施例可包括两个以上的图像捕获装置。例如，在图2D和2E中示出的实施例中，第一、第二和第三图像捕获装置122、124和126被包括在车辆200的系统100中。
如图2D中图示的，图像捕获装置122可位于车辆200的后视镜附近和/或驾驶员附近，并且图像捕获装置124和126可位于车辆200的保险杠区域(例如，保险杠区域210之一)之上或之中。如图2E中示出的，图像捕获装置122、124和126可位于车辆200的后视镜附近和/或驾驶员座位附近。公开的实施例不限于图像捕获装置的任何特定数目和配置，并且图像捕获装置可位于车辆200内和/或上的任何适当地点。
应理解的是，公开的实施例不限于车辆，并且能在其它上下文中应用。还应该理解的是，公开的实施例不限于特定类型车辆200，并且可应用到包括机动车、卡车、拖车、和其它类型车辆的所有类型车辆。
第一图像捕获装置122可包括任何适当类型的图像捕获装置。图像捕获装置122可包括光轴。在一个实例中，图像捕获装置122可包括具有全局快门的Aptina M9V024 WVGA传感器。在其它实施例中，图像捕获装置122可提供1280x960像素的分辨率，并且可包括滚动快门。图像捕获装置122可包括各种光学元件。在一些实施例中，可例如包括一个或多个镜头，以提供用于图像捕获装置的期望焦距和视野。在一些实施例中，图像捕获装置122可与6mm镜头或12mm镜头关联。在一些实施例中，图像捕获装置122可被配置为捕获具有期望视野(FOV)202的图像，如图2D中图示的。例如，图像捕获装置122可被配置为具有规则FOV，诸如在40度到56度的范围内，包括46度FOV、50度FOV、52度FOV或更大。可替代地，图像捕获装置122可被配置为具有在23到40度的范围内的窄FOV，诸如28度FOV或36度FOV。另外，图像捕获装置122可被配置为具有在100到180度的范围内的宽FOV。在一些实施例中，图像捕获装置122可包括宽角度保险杠相机或具有至多180度FOV的相机。
第一图像捕获装置122可获取相对于与车辆200关联的场景的多个第一图像。所述多个第一图像的每一个可被获取为一系列图像扫描线，其可使用滚动快门来捕获。每一扫描线可包括多个像素。
第一图像捕获装置122可具有与第一系列图像扫描线的每一个的获取关联的扫描速率。扫描速率可指代图像传感器能获取与特定扫描线中包括的每一像素关联的图像数据的速率。
图像捕获装置122、124和126可包括任何适当类型和数目的图像传感器，包括例如CCD传感器或CMOS传感器。在一个实施例中，可连同滚动快门一起采用CMOS图像传感器，使得行中的每一像素被一次读取一个，并且行的扫描以逐行为基础进行，直到已捕获了整个图像帧为止。在一些实施例中，可相对于该帧从上至下顺序捕获这些行。
滚动快门的使用可导致不同行中的像素在不同时间曝光和捕获，这可引起捕获的图像帧中的歪斜和其它图像伪影。另一方面，当图像捕获装置122被配置为利用全局或同步快门操作时，所有像素可在相同时间量中并在公共曝光周期期间曝光。结果，从采用全局快门的系统收集的帧中的图像数据代表特定时间的整个FOV(诸如FOV 202)的快照。相反，在滚动快门应用中，帧中的每一行曝光并且数据在不同时间捕获。由此，移动对象在具有滚动快门的图像捕获装置中可能看起来变形。下面将更详细地描述该现象。
第二图像捕获装置124和第三图像捕获装置126可以是任何类型图像捕获装置。与第一图像捕获装置122类似，图像捕获装置124和126的每一个可包括光轴。在一个实施例中，图像捕获装置124和126的每一个可包括具有全局快门的Aptina M9V024 WVGA传感器。可替代地，图像捕获装置124和126的每一个可包括滚动快门。与图像捕获装置122类似，图像捕获装置124和126可被配置为包括各个镜头和光学元件。在一些实施例中，与图像捕获装置124和126关联的镜头可提供与和图像捕获装置122关联的FOV(诸如FOV 202)相比相同或更窄的FOV(诸如FOV 204和206)。例如，图像捕获装置124和126可具有40度、30度、26度、23度、20度或更少的FOV。
图像捕获装置124和126可相对于与车辆200关联的场景获取多个第二和第三图像。所述多个第二和第三图像的每一个可被获取为第二和第三系列图像扫描线，其可通过使用滚动快门而被捕获。每一扫描线或行可具有多个像素。图像捕获装置124和126可具有与第二和第三系列中包括的图像扫描线的每一线的获取关联的第二和第三扫描速率。
每一图像捕获装置122、124和126可相对于车辆200位于任何合适位置和朝向。可选择图像捕获装置122、124和126的相对位置，以帮助一起融合从图像捕获装置获取的信息。例如，在一些实施例中，与图像捕获装置124关联的FOV(诸如FOV 204)可以和与图像捕获装置122关联的FOV(诸如FOV 202)以及与图像捕获装置126关联的FOV(诸如FOV 206)部分或全部重叠。
图像捕获装置122、124和126可按照任何适当相对高度定位在车辆200上。在一个实例中，可存在图像捕获装置122、124和126之间的高度差，这可提供充分视差信息以使得能够立体分析。例如，如图2A中所示，这两个图像捕获装置122和124处于不同高度。还可以存在图像捕获装置122、124和126之间的横向位移差，例如由处理单元110给予用于立体分析的附加视差信息的话。横向位移差可用dx表示，如图2C和2D中所示。在一些实施例中，前或后位移(例如，范围位移)可存在于图像捕获装置122、124和126之间。例如，图像捕获装置122可定位在图像捕获装置124和/或图像捕获装置126之后0.5到2米或更多。这类位移可使得图像捕获装置之一能够覆盖其它图像捕获装置的潜在盲点。
图像捕获装置122可具有任何适当分辨率能力(例如，与图像传感器关联的像素的数目)，并且与图像捕获装置122关联的图像传感器的分辨率可以比与图像捕获装置124和126关联的图像传感器的分辨率更高、更低或相同。在一些实施例中，与图像捕获装置122和/或图像捕获装置124和126关联的图像传感器可具有分辨率640x 480、1024x 768、1280x960、或任何其它适当分辨率。
帧速率(例如，图像捕获装置在继续移动以捕获与下一图像帧关联的像素数据之前获取一个图像帧的一组像素数据的速率)可以是可控制的。与图像捕获装置122关联的帧速率可以比与图像捕获装置124和126关联的帧速率更高、更低或相同。与图像捕获装置122、124和126关联的帧速率可以可以取决于可影响帧速率的定时的各种因素。例如，图像捕获装置122、124和126的一个或多个可包括在图像捕获装置122、124和/或126中获取与图像传感器的一个或多个像素关联的图像数据之前或之后施加的可选择像素延迟时间段。一般来说，可根据该装置的时钟速率(例如，每一时钟周期一个像素)来获取与每一像素对应的图像数据。另外，在包括滚动快门的实施例中，图像捕获装置122、124和126的一个或多个可包括在图像捕获装置122、124和/或126中获取与图像传感器的一行像素关联的图像数据之前或之后施加的可选水平消隐期(blanking period)。此外，图像捕获装置122、124和/或126的一个或多个可包括在图像捕获装置122、124和126中获取与图像帧关联的图像数据之前或之后施加的可选垂直消隐期。
这些定时控制可使能与图像捕获装置122、124和126关联的帧速率的同步，即使其中每一个的线扫描速率不同。另外，如下面更详细地所讨论，除其它因素(诸如，图像传感器分辨率、最大线扫描速率等)之外的这些可选择定时控制可使能从其中图像捕获装置122的FOV与图像捕获装置124和126的一个或多个FOV重叠的区域的图像捕获的同步，即使其中图像捕获装置122的视野与图像捕获装置124和126的FOV不同。
图像捕获装置122,124和126中的帧速率定时可取决于关联图像传感器的分辨率。例如，假设两个装置的类似线扫描速率，如果一个装置包括具有分辨率640x 480的图像传感器并且另一装置包括具有分辨率1280x 960的图像传感器，则将需要更多时间来从具有更高分辨率的传感器获取图像数据的帧。
可影响图像捕获装置122、124和126中的图像数据获取的定时的另一因素是最大线扫描速率。例如，从图像捕获装置122,124和126中包括的图像传感器的一行图像数据的获取将需要某一最小时间量。假设没有添加像素延迟时间段，则用于一行图像数据的获取的该最小时间量将与用于特定装置的最大线扫描速率相关。提供较高最大线扫描速率的装置具有比具有较低最大线扫描速率的装置提供更高帧速率的潜能。在一些实施例中，图像捕获装置124和126的一个或多个可具有比与图像捕获装置122关联的最大线扫描速率更高的最大线扫描速率。在一些实施例中，图像捕获装置124和/或126的最大线扫描速率可以是图像捕获装置122的最大线扫描速率的1.25、1.5、1.75或2倍或更多。
在另一实施例中，图像捕获装置122、124和126可具有相同最大线扫描速率，但是图像捕获装置122可按照小于或等于其最大扫描速率的扫描速率操作。该系统可被配置成使得图像捕获装置124和126的一个或多个按照与图像捕获装置122的线扫描速率相等的线扫描速率操作。在其它实例中，系统可被配置成使得图像捕获装置124和/或图像捕获装置126的线扫描速率可以是图像捕获装置122的线扫描速率的1.25、1.5、1.75或2倍或更多。
在一些实施例中，图像捕获装置122、124和126可以是不对称的。即，它们可包括具有不同视野(FOV)和焦距的相机。图像捕获装置122、124和126的视野可包括与例如车辆200的环境相关的任何期望区域。在一些实施例中，图像捕获装置122、124和126的一个或多个可被配置为从车辆200前面、车辆200后面至车辆200侧面、或其组合的环境获取图像数据。
此外，与每一图像捕获装置122、124和/或126关联的焦距可以是可选择的(例如，通过包括合适镜头等)，使得每一装置按照相对于车辆200的期望距离范围获取对象的图像。例如，在一些实施例中，图像捕获装置122、124和126可从车辆获取几米之内的特写对象的图像。图像捕获装置122、124和126还可以被配置成在更远离车辆200的范围处(例如，25米、50米、100米、150米或更多)获取对象的图像。此外，可选择图像捕获装置122、124和126的焦距，使得一个图像捕获装置(例如，图像捕获装置122)能获取相对接近车辆(例如，10米之内或20米之内)的对象的图像，而其它图像捕获装置(例如，图像捕获装置124和126)能获取更远离车辆200(例如，大于20米、50米、100米、150米等)的对象的图像。
根据一些实施例，一个或多个图像捕获装置122、124和126的FOV可具有宽角度。例如，具有140度的FOV可以是有利的，特别对于可用来捕获车辆200附近的区域的图像的图像捕获装置122、124和126来说。例如，图像捕获装置122可用来捕获车辆200右边或左边的区域的图像，并且在这样的实施例中，可期望图像捕获装置122具有宽FOV(例如，至少140度)。
与图像捕获装置122、124和126的每一个关联的视野可取决于相应焦距。例如，当焦距增加时，对应的视野减小。
图像捕获装置122、124和126可被配置成具有任何适当视野。在一个特定示例中，图像捕获装置122可具有46度的水平FOV，图像捕获装置124可具有23度的水平FOV，并且图像捕获装置126可具有介于23度和46度之间的水平FOV。在另一实例中，图像捕获装置122可具有52度的水平FOV，图像捕获装置124可具有26度的水平FOV，并且图像捕获装置126可具有介于26度和52度之间的水平FOV。在一些实施例中，图像捕获装置122的FOV与图像捕获装置124和/或图像捕获装置126的FOV的比率可从1.5变化为2.0。在其它实施例中，该比率可在1.25和2.25之间变化。
系统100可被配置成使得图像捕获装置122的视野与图像捕获装置124和/或图像捕获装置126的视野至少部分或完全重叠。在一些实施例中，系统100可被配置成使得图像捕获装置124和126的视野例如落入(例如，窄于)图像捕获装置122的视野，并共享与图像捕获装置122的视野的公共中心。在其它实施例中，图像捕获装置122、124和126可捕获相邻FOV，或者可具有它们的FOV的部分重叠。在一些实施例中，图像捕获装置122、124和126的视野可对准，使得图像捕获装置124和/或126的较窄FOV的中心可定位于较宽FOV装置122的视野的下一半中。
图2F是与公开的实施例一致的示范车辆控制系统的示意性表示。如图2F中所示，车辆200可包括节流系统220、制动系统230和转向系统240。系统100可通过一个或多个数据链路(例如，用于传送数据的任何有线和/或无线链路)向节流系统220、制动系统230和转向系统240的一个或多个提供输入(例如，控制信号)。例如，基于图像捕获装置122、124和/或126获取的图像的分析，系统100可向节流系统220、制动系统230和转向系统240的一个或多个提供控制信号，以导航车辆200(例如，通过促使加速、转弯、车道转换等)。此外，系统100可从节流系统220、制动系统230和转向系统240的一个或多个接收指示车辆200的操作条件(例如，速度、车辆200是否制动和/或转弯等)的输入。下面结合图4-7来提供进一步细节。
如图3A中所示，车辆200还可以包括用户接口170，用于与车辆200的驾驶员或乘客交互。例如，车辆应用中的用户接口170可包括触摸屏320、旋钮330、按钮340、和麦克风350。车辆200的驾驶员或乘客还可以使用手柄(例如，定位在车辆200的转向杆上或附近，包括例如转弯信号手柄)、按钮(例如，定位在车辆200的方向盘上)等与系统100交互。在一些实施例中，麦克风350可位于与后视镜310相邻。类似地，在一些实施例中，麦克风350可定位在后视镜310附近。在一些实施例中，用户接口170还可以包括一个或多个扬声器360(例如，车辆音频系统的扬声器)。例如，系统100可经由扬声器360提供各个通知(例如，警报)。
图3B-3D是与公开的实施例一致的配置为位于后视镜(例如，后视镜310)后面并朝向车辆挡风玻璃的示范相机支架370的说明。如图3B中所示，相机支架370可包括图像捕获装置122、124和126。图像捕获装置124和126可位于防眩板(glare shield)380之后，该防眩板可以紧贴着车辆挡风玻璃齐平，并包括薄膜和/或抗反射材料的成分。例如，防眩板380可位于使得其对准具有匹配斜率的车辆挡风玻璃。在一些实施例中，图像捕获装置122、124和126的每一个可位于防眩板380之后，例如如图3D所示。公开的实施例不限于图像捕获装置122、124和126、相机支架370、和防眩板380的任何特定配置。图3C是来自正视图的图3B中示出的相机支架370的说明。
具有该公开的益处的本领域技术人员将理解的是，可对前面公开的实施例进行许多变化和/或修改。例如，并非所有部件对于系统100的操作是必需的。此外，任何部件可定位在系统100的任何合适部分中，并且这些部件可在提供公开的实施例的功能的同时被重新安排为各种配置。因此，前述配置是示例，并且不管上述配置，系统100能提供宽范围的功能，以分析车辆200的围绕物，并响应于该分析来导航车辆200。
如下面更详细讨论的并且与各个公开的实施例一致，系统100可提供与自主驾驶和/或驾驶员辅助技术相关的各个特征。例如，系统100可分析图像数据、位置数据(例如，GPS地点信息)、地图数据、速度数据和/或来自车辆200中包括的传感器的数据。系统100可从例如图像获取单元120、位置传感器130和其它传感器收集该数据用于分析。此外，系统100可分析收集的数据以确定车辆200是否应采取某一动作，并然后在没有人为干预的情况下，自动采取所确定的动作。例如，当车辆200在没有人为干预的情况下导航时，系统100可自动控制车辆200的制动、加速和/或转向(例如，通过向节流系统220、制动系统230和转向系统240的一个或多个发送控制信号)。此外，系统100可分析收集的数据，并基于收集的数据的分析向车辆占有者发布警告和/或警报。下面提供关于由系统100所提供的各个实施例的附加细节。
前向多成像系统
如上所述，系统100可提供使用多相机系统的驾驶辅助功能。多相机系统可使用面朝车辆的前进方向的一个或多个相机。在其它实施例中，多相机系统可包括面朝车辆的侧面或车辆的后面的一个或多个相机。在一个实施例中，例如，系统100可使用双相机成像系统，其中第一相机和第二相机(例如，图像捕获装置122和124)可位于车辆(例如车辆200)的前面和/或侧面。第一相机可具有比第二相机的视野更大、更小、或部分重叠的视野。另外，第一相机可连接到第一图像处理器，以执行第一相机提供的图像的单目图像分析，并且第二相机可连接到第二图像处理器，以执行第二相机提供的图像的单目图像分析。第一和第二图像处理器的输出(例如，处理的信息)可组合。在一些实施例中，第二图像处理器可从第一相机和第二相机两者接收图像以执行立体分析。在另一实施例中，系统100可使用三相机成像系统，其中每一相机具有不同视野。这样的系统因此可基于从位于车辆前面和侧面的变化距离处的对象导出的信息进行判断。参考单目图像分析可指代这样的实例，其中基于从单一视点(例如，从单一相机)捕获的图像执行图像分析。立体图像分析可指代这样的实例，其中基于利用图像捕获参数的一个或多个变型所捕获的两个或更多个图像来执行图像分析。例如，适于执行立体图像分析的捕获图像可包括从下面捕获的图像：来自两个或多个不同位置、来自不同视野、使用不同焦距、连同视差信息等。
例如，在一个实施例中，系统100可使用图像捕获装置122-126实现三相机配置。在这样的配置中，图像捕获装置122可提供窄视野(例如，34度、或从大约20到45度的范围选择的其它值等),图像捕获装置124可提供宽视野(例如，150度、或从大约100到大约180度的范围选择的其它值)，并且图像捕获装置126可提供中间视野(例如，46度、或从大约35到大约60度的范围选择的其它值)。在一些实施例中，图像捕获装置126可充当主要或主相机。图像捕获装置122-126可位于后视镜310之后并基本上并排定位(例如，分开6cm)。此外，在一些实施例中，如上面讨论的，图像捕获装置122-126的一个或多个可被安装在防眩板380之后，该防眩板380与车辆200的挡风玻璃齐平。这样的遮蔽可用来使得图像捕获装置122-126上的来自汽车内部的任何反射的影响最小化。
在另一实施例中，如上面结合图3B和3C所讨论的，宽视野相机(例如，以上示例中的图像捕获装置124)可被安装为低于窄和主视野相机(例如，以上示例中的图像捕获装置122和126)。该配置可提供来自宽视野相机的自由视线。为了降低反射，相机可被安装为接近车辆200的挡风玻璃，并且可包括相机上的偏振器，以使得反射光衰减。
三相机系统可提供某一性能特性。例如，一些实施例可包括一个相机基于来自另一相机的检测结果来验证对象的检测的能力。在上面讨论的三相机配置中，处理单元110可包括例如三个处理装置(例如，三个EyeQ系列的处理器芯片，如上面讨论的)，每一处理装置专用于处理图像捕获装置122-126的一个或多个所捕获的图像。
在三相机系统中，第一处理装置可从主相机和窄视野相机两者接收图像，并执行窄FOV相机的视觉处理，以例如检测其它车辆、行人、路标、交通标志、交通信号灯、和其它道路对象。此外，第一处理装置可计算来自主相机和窄相机的图像之间的像素的视差，并创建车辆200的环境的3D重构。第一处理装置可然后组合3D重构与3D地图数据或基于来自另一相机的信息所计算的3D信息。
第二处理装置可接收来自主相机的图像，并执行视觉处理，以检测其它车辆、行人、路标、交通标志、交通信号灯、和其它道路对象。另外，第二处理装置可计算相机位移，并基于该位移来计算连续图像之间的像素的视差，并创建场景(例如，来自运动的结构)的3D重构。第二处理装置可将基于来自运动的结构的3D重构发送到第一处理装置，以与立体3D图像组合。
第三处理装置可接收来自宽FOV相机的图像，并处理图像，以检测车辆、行人、路标、交通标志、交通信号灯、和其它道路对象。第三处理装置可进一步运行附加处理指令，以分析图像来识别图像中移动的对象，诸如改变车道的车辆、行人等。
在一些实施例中，让基于图像的信息流被独立地捕获和处理可提供用于在系统中提供冗余的机会。这样的冗余可包括例如使用第一图像捕获装置和从该装置处理的图像，以验证和/或补充通过捕获和处理来自至少第二图像捕获装置的图像信息所获得的信息。
在一些实施例中，系统100可在提供车辆200的导航帮助时使用两个图像捕获装置(例如图像捕获装置122和124)，并使用第三图像捕获装置(例如，图像捕获装置126)来提供冗余并验证从其它两个图像捕获装置接收的数据的分析。例如，在这样的配置中，图像捕获装置122和124可提供用于由系统100用于立体分析的图像用于导航车辆200，而图像捕获装置126可提供由系统100用于单目分析的图像，以提供基于从图像捕获装置122和/或图像捕获装置124捕获的图像所获得的信息的冗余和验证。即，图像捕获装置126(和对应的处理装置)可被考虑来提供多余子系统，用于提供对于从图像捕获装置122和124导出的分析的检查(例如，提供自动紧急制动(AEB)系统)。
本领域技术人员将认识到，以上相机配置、相机布置、相机数目、相机地点等仅是示例。相对于总体系统描述的这些部件和其它可以在各种不同配置中装配和使用，而不脱离公开的实施例的范围。关于提供驾驶员辅助和/或自主车辆功能的多相机系统的使用的进一步细节如下。
图4是存储器140和/或150的示范性功能框图，其可存储/编程有用于执行与公开的实施例一致的一个或多个操作的指令。尽管以下指代存储器140，但是本领域技术人员将认识到，指令可存储在存储器140和/或150中。
如图4中所示，存储器140可存储单目图像分析模块402、立体图像分析模块404、速度和加速度模块406、以及导航响应模块408。公开的实施例不限于存储器140的任何特定配置。此外，应用处理器180和/或图像处理器190可运行在存储器140中包括的模块402-408的任一个中存储的指令。本领域技术人员将理解的是，以下讨论中引用处理单元110可个别或共同指代应用处理器180和图像处理器190。因此，以下处理的任一个的步骤可由一个或多个处理装置执行。
在一个实施例中，单目图像分析模块402可存储指令(诸如计算机视觉软件)，其在由处理单元110运行时执行图像捕获装置122、124和126之一所获取的图像集合的单目图像分析。在一些实施例中，处理单元110可组合来自一组图像的信息与附加感觉信息(例如，来自雷达的信息)，以执行单目图像分析。如下面结合图5A-5D描述的，单目图像分析模块402可包括用于检测该组图像内的一组特征(诸如，车道标记、车辆、行人、路标、公路出口匝道、交通信号灯、危险对象、以及与车辆的环境关联的任何其它特征)的指令。基于该分析，系统100(例如，经由处理单元110)可促使车辆200中的一个或多个导航响应，诸如转弯、车道转换、加速度改变等，如下面结合导航响应模块408所讨论的那样。
在一个实施例中，立体图像分析模块404可存储指令(诸如计算机视觉软件)，其在由处理单元110运行时执行通过从图像捕获装置122、124和126的任一个选择的图像捕获装置的组合所获取的第一和第二图像集合的立体图像分析。在一些实施例中，处理单元110可组合来自第一和第二组图像的信息与附加感觉信息(例如，来自雷达的信息)，以执行立体图像分析。例如，立体图像分析模块404可包括用于基于图像捕获装置124所获取的第一组图像和图像捕获装置126所获取的第二组图像来执行立体图像分析的指令。如下面结合图6描述的，立体图像分析模块404可包括用于检测第一和第二组图像内的一组特征(诸如，车道标记、车辆、行人、路标、公路出口匝道、交通信号灯、危险对象等)的指令。基于该分析，处理单元110可促使车辆200中的一个或多个导航响应，诸如转弯、车道转换、加速度改变等，如下面结合导航响应模块408所讨论的那样。
在一个实施例中，速度和加速度模块406可存储软件，所述软件被配置为分析从车辆200中的一个或多个计算和机电装置接收的数据，所述计算和机电装置被配置为促使车辆200的速度和/或加速度的改变。例如，处理单元110可运行与速度和加速度模块406关联的指令，以基于从单目图像分析模块402和/或立体图像分析模块404的运行导出的数据来计算用于车辆200的目标速度。这样的数据可包括例如目标位置、速度、和/或加速度、相对于附近车辆、行人、或道路对象的车辆200的位置和/或速度、相对于道路的车道标记的车辆200的位置信息等。另外，处理单元110可基于感觉输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如，车辆200的节流系统220、制动系统230和转向系统240)的输入，来计算车辆200的目标速度。基于计算的目标速度，处理单元110可向车辆200的节流系统220、制动系统230和转向系统240传送电子信号，以通过例如物理压下制动器或松开车辆200的加速器，来触发速度和/或加速度的改变。
在一个实施例中，导航响应模块408可存储处理单元110可运行的软件，以基于从单目图像分析模块402和/或立体图像分析模块404的运行导出的数据，来确定期望导航响应。这样的数据可包括与附近车辆、行人、和道路对象关联的位置和速度信息、车辆200的目标位置信息等。另外，在一些实施例中，导航响应可(部分或全部)基于地图数据、车辆200的预定位置、和/或从单目图像分析模块402和/或立体图像分析模块404的运行检测的车辆200与一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可以基于感觉输入(例如，来自雷达的信息)和来自车辆200的其它系统(诸如，车辆200的节流系统220、制动系统230和转向系统240)的输入，来确定期望导航响应。基于该期望导航响应，处理单元110可向车辆200的节流系统220、制动系统230和转向系统240传送电子信号，以通过例如转动车辆200的方向盘来实现预定角度的旋转，从而触发期望导航响应。在一些实施例中，处理单元110可使用导航响应模块408的输出(例如，期望导航响应)作为速度和加速度模块406的运行的输入，用于计算车辆200的速度的改变。
图5A是示出了与公开的实施例一致的用于基于单目图像分析促使一个或多个导航响应的示范过程500A的流程图。在步骤510，处理单元110可经由处理单元110和图像获取单元120之间的数据接口128来接收多个图像。例如，图像获取单元120中包括的相机(例如，具有视野202的图像捕获装置122)可捕获车辆200前方(或例如至车辆侧方或后方)的区域的多个图像，并通过数据连接(例如，数字、有线、USB、无线、蓝牙等)将它们传送到处理单元110。处理单元110可在步骤520运行单目图像分析模块402以分析多个图像，如下面结合图5B-5D进一步详细描述的那样。通过执行该分析，处理单元110可检测该组图像内的一组特征，例如车道标记、车辆、行人、路标、公路出口匝道、交通信号灯等。
处理单元110还可以在步骤520运行单目图像分析模块402以检测各种道路危险，诸如卡车轮胎的零件、落下的路标、松散的货物、小动物等。道路危险可在结构、形状、尺寸和颜色上变化，这可使得这样的危险的检测更有挑战。在一些实施例中，处理单元110可运行单目图像分析模块402，以对多个图像执行多帧分析以检测道路危险。例如，处理单元110可估计连续图像帧之间的相机运动，并计算帧之间的像素的差异，以构造道路的3D地图。处理单元110可然后使用3D地图来检测道路表面、以及道路表面上存在的危险。
在步骤530，处理单元110可运行导航响应模块408，以基于在步骤520执行的分析以及上面结合图4描述的技术，来促使车辆200中的一个或多个导航响应。导航响应可包括例如转弯、车道转换、加速度改变等。在一些实施例中，处理单元110可使用从速度和加速度模块406的运行导出的数据，以促使所述一个或多个导航响应。另外，多个导航响应可同时、顺序、或按照其任何组合发生。例如，处理单元110可促使车辆200转换一个车道，并然后通过例如向车辆200的转向系统240和节流系统220顺序传送控制信号而加速。可替代地，处理单元110可通过例如同时向车辆200的制动系统230和转向系统240传送控制信号，来促使车辆200制动，同时转换车道。
图5B是示出了与公开的实施例一致的用于检测一组图像中的一个或多个车辆和/或行人的示范过程500B的流程图。处理单元110可运行单目图像分析模块402以实现过程500B。在步骤540，处理单元110可确定代表可能车辆和/或行人的一组候选对象。例如，处理单元110可扫描一个或多个图像，比较图像与一个或多个预定图案，并在每一图像内识别可包括感兴趣对象(例如，车辆、行人、或其部分)的可能地点。可按照这样的方式设计预定图案，以实现“错误命中”的高比率和“错失”的低比率。例如，处理单元110可使用与预定图案的相似度的低阈值，用于将候选对象识别为可能车辆或行人。这样做可允许处理单元110降低错失(例如，不识别)代表车辆或行人的候选对象的概率。
在步骤542，处理单元110基于分类标准对该组候选对象进行过滤，以排除某些候选(例如，不相关或较不相关对象)。这样的标准可从与数据库(例如存储器140中存储的数据库)中存储的对象类型关联的各个属性导出。属性可包括对象形状、维度、纹理、位置(例如，相对于车辆200)等。由此，处理单元110可使用一组或多组标准，以拒绝来自该组候选对象的错误候选。
在步骤544，处理单元110可分析图像的多个帧，以确定该组候选对象中的对象是否代表车辆和/或行人。例如，处理单元110可跟踪连续帧之间的检测的候选对象，并积累与检测的对象关联的逐帧数据(例如，相对于车辆200的尺寸、位置等)。另外，处理单元110可估计用于检测的对象的参数，并且将对象的逐帧位置数据与预测的位置进行比较。
在步骤546，处理单元110可构造用于检测的对象的一组测量。这样的测量可包括例如与检测的对象关联的位置、速度、和加速度值(相对于车辆200)。在一些实施例中，处理单元110可使用一系列基于时间的观测(诸如卡尔曼滤波器或线性二次估计(LQE))和/或基于用于不同对象类型(例如，小汽车、卡车、行人、自行车、路标等)的可用建模数据，来构造这些测量。卡尔曼滤波器可基于对象的规模的测量，其中该规模测量与碰撞时间(即，车辆200到达对象的时间量)成比例。由此，通过执行步骤540-546，处理单元110可识别在该组所捕获的图像内出现的车辆和行人，并导出与车辆和行人关联的信息(例如，位置、速度、尺寸)。基于该识别和导出的信息，处理单元110可促使车辆200中的一个或多个导航响应，如以上结合图5A所述。
在步骤548，处理单元110可执行一个或多个图像的光流分析，以降低检测到“错误命中”并错失代表车辆或行人的候选对象的概率。该光流分析可指代例如分析与道路表面运动不同的、在与其它车辆和行人关联的一个或多个图像中相对于车辆200的运动图案。处理单元110可通过观测在不同时间捕获的多个图像帧之间的对象的不同位置，来计算候选对象的运动。处理单元110可使用位置和时间值作为用于计算候选对象的运动的数学模型的输入。由此，光流分析可提供检测车辆和车辆200附近的行人的另一方法。处理单元110可与步骤540-546组合执行光流分析，以提供用于检测车辆和行人的冗余并增加系统100的可靠性。
图5C是示出了与公开的实施例一致的用于在一组图像中检测路标和/或车道几何信息的示范过程500C的流程图。处理单元110可运行单目图像分析模块402以实现过程500C。在步骤550，处理单元110可通过扫描一个或多个图像来检测一组对象。为了检测车道标记、车道几何信息、和其它相关路标的片段，处理单元110可对该组对象进行过滤，以排除确定为不相关的那些对象(例如，小坑、小石头等)。在步骤552，处理单元110可将步骤550中检测的属于相同路标或车道标记的片段分组到一起。基于该分组，处理单元110可开发代表所检测的片段的模型，诸如数学模型。
在步骤554，处理单元110可构造与检测的片段关联的一组测量。在一些实施例中，处理单元110可创建检测的片段从图像平面到真实世界平面上的投影。可使用具有与诸如检测的道路的位置、斜率、和曲率导数的物理性质对应的系数的第3度多项式来表征该投影。在生成该投影时，处理单元110可考虑道路表面的变化、以及与车辆200关联的俯仰和侧倾率。另外，处理单元110可通过分析在道路表面上存在的位置和运动线索来建模道路高度。此外，处理单元110可通过跟踪一个或多个图像中的一组特征点来估计与车辆200关联的俯仰和侧倾率。
在步骤556，处理单元110可通过例如跟踪连续图像帧之间的检测的片段并积累与检测的片段关联的逐帧数据来执行多帧分析。当处理单元110执行多帧分析时，在步骤554所构造的那组测量可变得更可靠并与日益增高的置信级别关联。由此，通过执行步骤550-556，处理单元110可识别在该组捕获的图像内出现的路标，并导出车道几何信息。基于识别和导出的信息，处理单元110可促使车辆200中的一个或多个导航响应，如上面结合图5A所述。
在步骤558，处理单元110可考虑附加信息源，以在其周围的环境中进一步开发用于车辆200的安全模型。处理单元110可使用安全模型来定义上下文，其中系统100可按照安全方式来运行车辆200的自主控制。为了开发该安全模型，在一些实施例中，处理单元110可考虑其它车辆的位置和运动、检测的道路边缘和障碍、和/或从地图数据(诸如来自地图数据库160的数据)提取的一般道路形状描述。通过考虑附加信息源，处理单元110可提供用于检测路标和车道几何的冗余，并增加系统100的可靠性。
图5D是示出了与公开的实施例一致的用于在一组图像中检测交通信号灯的示范过程500D的流程图。处理单元110可运行单目图像分析模块402来实现过程500D。在步骤560，处理单元110可扫描该组图像并识别图像中在可能包括交通信号灯的地点出现的对象。例如，处理单元110可过滤识别的对象以构造一组候选对象，排除不可能对应于交通信号灯的那些对象。该过滤可基于与交通信号灯关联的各个属性进行，诸如形状、维度、纹理、位置(例如，相对于车辆200)等。这样的属性可基于交通信号灯和交通控制信号的多个示例，并存储在数据库中。在一些实施例中，处理单元110可对反射可能交通信号灯的该组候选对象执行多帧分析。例如，处理单元110可跟踪连续图像帧之间的候选对象，估计候选对象的真实世界位置，并滤除移动的那些对象(它们不可能是交通信号灯)。在一些实施例中，处理单元110可对候选对象执行颜色分析，并识别在可能交通信号灯内出现的检测的颜色的相对位置。
在步骤562，处理单元110可分析交叉点的几何。该分析可基于以下的任何组合：(i)在车辆200的任一侧检测的车道的数目、(ii)在道路上检测的标记(诸如箭头标记)、和(iii)从地图数据(例如来自地图数据库160的数据)提取的交叉点的描述。处理单元110可使用从单目分析模块402的运行导出的信息来进行分析。另外，处理单元110可确定在步骤560检测的交通信号灯与在车辆200附近出现的车道之间的对应关系。
当车辆200接近交叉点时，在步骤564，处理单元110可更新与分析的交叉点几何和检测的交通信号灯关联的置信级别。例如，与实际出现在交叉点处的数目相比，估计在交叉点处出现的交通信号灯的数目可影响置信级别。由此，基于该置信级别，处理单元110可委派对车辆200的驾驶员的控制，以便改进安全条件。通过执行步骤560-564，处理单元110可识别在该组捕获的图像内出现的交通信号灯，并分析交叉点几何信息。基于该识别和分析，处理单元110可促使车辆100中的一个或多个导航响应，如上面结合图5A所述。
图5E是示出了与公开的实施例一致的用于促使基于车辆路径的车辆200中的一个或多个导航响应的示范过程500E的流程图。在步骤570，处理单元110可构造与车辆200关联的初始车辆路径。车辆路径可使用坐标(x,z)表达的一组点来表示，并且在该组点中的两个点之间的距离di可落入1到5米的范围内。在一个实施例中，处理单元110可使用两个多项式(诸如左和右道路多项式)来构造初始车辆路径。处理单元110可计算两个多项式之间的几何中点，并将得到的车辆路径中包括的每一点偏移预定偏移(例如，智能车道偏移)，如果存在的话(零的偏移可对应于在车道中间行驶)。该偏移可沿着与车辆路径中的任意两点之间的片段垂直的方向。在另一实施例中，处理单元110可使用一个多项式和估计的车道宽度，以将车辆路径的每一点偏移所估计的车道宽度的一半加上预定偏移(例如，智能车道偏移)。
在步骤572，处理单元110可更新在步骤570构造的车辆路径。处理单元110可使用更高分辨率来重构在步骤570构造的车辆路径，使得代表车辆路径的该一组点中的两点之间的距离dk小于以上描述的距离di。例如，距离dk可落入0.1到0.3米的范围中。处理单元110可使用抛物线样条算法来重构车辆路径，这可产生与车辆路径的总长度对应的累加距离向量S(即，基于代表车辆路径的该组点)。
在步骤574，处理单元110可基于在步骤572构造的更新的车辆路径来确定前瞻点(在坐标中表达为(xl,zl))。处理单元110可从累加距离向量S提取前瞻点，并且前瞻点可与前瞻距离和前瞻时间关联。可具有从10到20米的下限的前瞻距离可被计算为车辆200的速度和前瞻时间的乘积。例如，当车辆200的速度减小时，前瞻距离也可以减小(例如，直到其达到下限为止)。可在从0.5到1.5秒的范围内的前瞻时间可与引起车辆200中的导航响应关联的一个或多个控制回路的增益成反比，诸如航向误差跟踪控制回路。例如，航向误差跟踪控制回路的增益可取决于偏航率回路的带宽、转向致动器环路、汽车侧向动力学等。由此，航向误差跟踪控制回路的增益越高，前瞻时间越低。
在步骤576，处理单元110可基于在步骤574确定的前瞻点来确定航向误差和偏航率命令。处理单元110可通过计算前瞻点的反正切函数(例如，arctan(xl/zl))来确定航向误差。处理单元110可将偏航率命令确定为航向误差和高级控制增益的乘积。如果前瞻距离不在下限处，则高级控制增益可等于：(2/前瞻时间)。否则，高级控制增益可等于：(2*车辆200速度/前瞻距离)。
图5F是示出了与公开的实施例一致的用于确定前方车辆是否正改变车道的示范过程500F的流程图。在步骤580,处理单元110可确定与前方车辆(例如，在车辆200前面行驶的车辆)关联的导航信息。例如，处理单元110可使用上面结合图5A和5B描述的技术来确定前方车辆的位置、速度(例如，方向和速率)和/或加速度。处理单元110还可以使用上面结合图5E描述的技术来确定一个或多个道路多项式、前瞻点(与车辆200关联)和/或蜗牛踪迹(snail trail)(例如，描述前方车辆占用的路径的一组点)。
在步骤582，处理单元110可分析在步骤580确定的导航信息。在一个实施例中，处理单元110可计算蜗牛踪迹和道路多项式之间的距离(例如，沿着踪迹)。如果沿着该踪迹的该距离的变化超出预定阈值(例如，直路上的0.1到0.2米、中等弯路上的0.3到0.4米、和具有急弯的道路上的0.5到0.6米)，则处理单元110可确定前方车辆可能正改变车道。在其中检测到多个车辆在车辆200之前行驶的情况下，处理单元110可比较与每一车辆关联的蜗牛踪迹。基于该比较，处理单元110可确定其蜗牛踪迹与其它车辆的蜗牛踪迹不匹配的车辆可能正改变车道。处理单元110可附加比较(与前方车辆关联的)的蜗牛踪迹的曲率和其中前方车辆正行驶的路段的期望曲率。该期望曲率可从地图数据(例如来自地图数据库160的数据)、从道路多项式、从其它车辆的蜗牛踪迹、从关于道路的现有知识等提取。如果蜗牛踪迹的曲率与该路段的期望曲率之差超出预定阈值，则处理单元110可确定前方车辆可能正改变车道。
在另一实施例中，处理单元110可在特定时间段上(例如，0.5到1.5秒)比较前方车辆的瞬时位置与前瞻点(与车辆200关联)。如果前方车辆的瞬时位置与前瞻点之间的距离在特定时间段期间改变，并且变化的累加和超出预定阈值(例如，直路上的0.3到0.4米、中等弯路上的0.7到0.8米、和具有急弯的道路上的1.3到1.7米)，则处理单元110可确定前方车辆可能正改变车道。在另一实施例中，处理单元110可通过比较沿着轨迹行驶的横向距离与蜗牛踪迹的期望曲率来分析蜗牛踪迹的几何。可根据以下计算来确定期望的曲率半径：(δz 2+δx 2)/2/(δx)，其中δx代表行驶的横向距离并且δz代表行驶的纵向距离。如果行驶的横向距离与期望曲率之间的差超出预定阈值(例如，500到700米)，则处理单元110可确定前方车辆可能正改变车道。在另一实施例中，处理单元110可分析前方车辆的位置。如果前方车辆的位置模糊道路多项式(例如，前方车辆叠加在道路多项式之上)，则处理单元110可确定前方车辆可能正改变车道。在其中前方车辆的位置使得检测到另一车辆在前方车辆之前，并且这两个车辆的蜗牛踪迹不平行的情况下，处理单元110可确定(靠近的)前方车辆可能正改变车道。
在步骤584，处理单元110可基于在步骤582执行的分析来确定前方车辆200是否正改变车道。例如，处理单元110可基于在步骤582执行的个别分析的加权平均值来进行判定。在这样的方案下，例如，处理单元110基于特定类型分析作出的前方车辆可能正改变车道的判断可被分派值“1”(而“0”代表前方车辆不可能正改变车道的判定)。在步骤582执行的不同分析可被分派不同权重，并且公开的实施例不限于分析和权重的任何特定组合。
图6是示出了与公开的实施例一致的用于促使基于立体图像分析的一个或多个导航响应的示范过程600的流程图。在步骤610，处理单元110可经由数据接口128接收第一和第二多个图像。例如，图像获取单元120中包括的相机(诸如具有视野202和204的图像捕获装置122和124)可捕获车辆200前方的区域的第一和第二多个图像，并通过数字连接(例如，USB、无线、蓝牙等)将它们传送到处理单元110。在一些实施例中，处理单元110可经由两个或多个数据接口接收第一和第二多个图像。公开的实施例不限于任何特定数据接口配置或协议。
在步骤620，处理单元110可运行立体图像分析模块404以执行第一和第二多个图像的立体图像分析，来创建车辆前方的道路的3D地图，并检测图像中的特征，诸如车道标记、车辆、行人、路标、公路出口匝道、交通信号灯、道路危险等。可按照与上面结合图5A-5D描述的步骤类似的方式来执行立体图像分析。例如，处理单元110可运行立体图像分析模块404以检测第一和第二多个图像中的候选对象(例如，车辆、行人、路标、交通信号灯、道路危险等)，基于各个标准滤除候选对象的子组，并执行多帧分析、构造测量，并确定用于剩余候选对象的置信级别。在执行以上步骤时，处理单元110可考虑来自第一和第二多个图像的信息，而不是来自仅一组图像的信息。例如，处理单元110可对于第一和第二多个图像两者中出现的候选对象分析像素级别数据(或两个捕获图像流之中的其它数据子集)中的差别。作为另一示例，处理单元110可通过观测对象出现在多个图像之一而不是另一个中或相对于可相对于两个图像流中出现的对象存在的其它差别，来估计候选对象(例如相对于车辆200)的位置和/或速度。例如，可基于与图像流之一或两者中出现的对象关联的特征的轨迹、位置、移动特性等，来确定相对于车辆200的位置、速度和/或加速度。
在步骤630，处理单元110可运行导航响应模块408，以基于步骤620执行的分析和上面结合图4描述的技术促使车辆200中的一个或多个导航响应。导航响应可包括例如转弯、车道转换、加速度改变、速度改变、制动等。在一些实施例中，处理单元110可使用从速度和加速度模块406的运行导出的数据，以促使一个或多个导航响应。另外，多个导航响应可同时、顺序。或按其任何组合出现。
图7是示出了与公开的实施例一致的用于促使基于三组图像的分析的一个或多个导航响应的示范过程700的流程图。在步骤710，处理单元110可经由数据接口128接收第一、第二和第三多个图像。例如，图像捕获单元120中包括的相机(诸如具有视野202、204和206的图像捕获装置122、124和126)可捕获车辆200前面和/或侧面的区域的第一、第二和第三多个图像，并通过数字连接(例如，USB、无线、蓝牙等)将它们传送到处理单元110。在一些实施例中，处理单元110可经由三个或更多个数据接口接收第一、第二和第三多个图像。例如，图像捕获装置122、124和126的每一个可具有关联数据接口，用于向处理单元110传递数据。公开的实施例不限于任何特定数据接口配置或协议。
在步骤720，处理单元110可分析第一、第二和第三多个图像，以检测图像中的特征，诸如车道标记、车辆、行人、路标、公路出口匝道、交通信号灯、道路危险等。可按照与上面结合图5A-5D和6描述的步骤类似的方式来执行分析。例如，处理单元110可对第一、第二和第三多个图像的每一个执行单目图像分析(例如，经由单目图像分析模块402的运行并且基于上面结合图5A-5D描述的步骤)。可替代地，处理单元110可对第一和第二多个图像、第二和第三多个图像和/或第一和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的运行并基于上面结合图6描述的步骤)。可组合与第一、第二和/或第三多个图像对应的处理的信息。在一些实施例中，处理单元110可执行单目和立体图像分析的组合。例如，处理单元110可对第一多个图像执行单目图像分析(例如，经由单目图像分析模块402的运行)并对第二和第三多个图像执行立体图像分析(例如，经由立体图像分析模块404的运行)。图像捕获装置122、124和126的配置—包括它们的相应地点和视野202、204和206—可影响对第一、第二和第三多个图像进行的分析的类型。公开的实施例不限于图像捕获装置122、124和126的特定配置、或对第一、第二和第三多个图像进行的分析的类型。
在一些实施例中，处理单元110可基于在步骤710和720获取和分析的图像对系统100执行测试。这样的测试对于图像捕获装置122、124和126的某些配置可提供系统100的整体性能的指示符。例如，处理单元110可确定“错误命中”(例如，其中系统100不正确确定车辆或行人的存在的情况)和“错失”的比例。
在步骤730，处理单元110可基于从第一、第二和第三多个图像导出的信息，来促使车辆200中的一个或多个导航响应。第一、第二和第三多个图像中的两个的选择可取决于各种因素，诸如在多个图像的每一个中检测的数目、类型和尺寸。处理单元110还可以基于图像质量和分辨率、图像中反映的有效视野、捕获的帧的数目、一个或多个感兴趣对象在帧中实际出现的程度(例如，其中对象出现的帧的百分比、每一这样的帧中出现对象的比例等)等来进行选择。
在一些实施例中，处理单元110可通过确定从一个图像源中导出的信息与从其它图像源中导出的信息一致的程度，来选择从第一、第二和第三多个图像中的两个导出的信息。例如，处理单元110可组合从图像捕获装置122、124和126的每一个(是否通过单目分析、立体分析、或两者的任意组合)导出的处理的信息，并确定在从图像捕获装置122、124和126的每一个捕获的图像之间一致的视觉指示符(例如，车道标记、检测的车辆及其地点和/或路径、检测的交通信号灯等)。处理单元110还可以排除在捕获的图像之间不一致的信息(例如，改变车道的车辆、指示车辆与车辆200太近的车道模型等)。由此，处理单元110可基于一致和不一致信息的确定，来选择从第一、第二和第三多个图像中的两个导出的信息。
导航响应可包括例如转弯、车道转换、加速度改变等。处理单元110可基于步骤720执行的分析以及上面结合图4描述的技术，来促使一个或多个导航响应。处理单元110还可以使用从速度和加速度模块406导出的数据，以促使一个或多个导航响应。在一些实施例中，处理单元110可基于车辆200与第一、第二和第三多个图像的任一个中检测的对象之间的相对位置、相对速度和/或相对加速度来促使一个或多个导航响应。多个导航响应可同时、顺序、或按照其任意组合发生。
对象检测系统
在一些实施例中，车辆200可包括对象检测系统，其配置为检测车辆200前面的对象，并且在一些情况下，基于对象的检测促使车辆200例如使用制动系统230制动。例如，对象检测系统可促使车辆200在具有或不具有有限驾驶员干预的情况下自动或自主制动。自动或自主对象检测和制动系统可以或不可以允许驾驶员干预来接管制动系统230的控制。
对象检测系统可包括上述多个其它系统。例如，对象检测和制动系统可包括系统100、制动系统230、以及图像捕获装置122、124和126的一个或多个。图像捕获装置122、124和126的一个或多个可获取车辆200前面的环境或区域的一个或多个图像，其可包括对象，诸如另一车辆、行人等。处理单元110可比较至少两个图像以获得光流信息，其可包括由多个向量(例如，位移向量)形成的向量场，每一向量代表第一图像中的第一像素与第二图像中的对应第二像素之间的位移。基于该光流信息，处理单元110可检测对象，诸如图像的垂直对象，并且可检验对象的结构。垂直对象可具有低(例如，短)的与车辆200碰撞的时间。由此，垂直对象还可以被称为低碰撞时间垂直对象。在一些实施例中，处理单元可搜索例如第一图像中的作为一组像素的相干扩展的区域，该第一图像中存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。相干扩展的区域可表示低碰撞时间垂直对象。缩放幅度可被定义为与像素关联的位移向量的幅度(如果表示为d)除以从像素到扩展焦点的距离(如果表示为r)，即缩放幅度＝d/r。缩放幅度也可被称为扩展比率。
在一些实施例中，处理单元110可对于来自第一图像和第二图像的至少一个的多个像素计算可能缩放幅度和可能扩展焦点的多个组合。所述多个像素可包括要搜索的一组像素。在一些实施例中，处理单元110可基于可能缩放幅度和可能扩展焦点的多个组合的分布来确定公共扩展焦点和公共缩放幅度。可能缩放幅度和可能扩展焦点的多个组合可在三维空间中分布。在一些实施例中，处理单元110可通过使用合适聚类技术，诸如可确定关于分布的质心(例如，重心)的技术来确定公共扩展焦点和公共缩放幅度。处理单元110可根据该分布确定特定一对缩放幅度和扩展焦点周围的分布的密度高于预定阈值，并且可选择特定一对缩放幅度和扩展焦点作为公共缩放幅度和公共扩展焦点。
处理单元110可基于公共扩展焦点和公共缩放幅度来选择相干扩展的区域(即，一组像素)，其中该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。可从第一图像或第二图像选择该组像素。基于选择的该组像素(或相干扩展的区域)，处理单元110可识别第一图像(或第二图像)中的基本垂直低碰撞时间对象的存在。例如，该组像素可示出基本垂直低碰撞时间对象的一部分。处理单元110可识别这样的低碰撞时间垂直对象，而不管对象是否相对于道路静止和/或不管对象的移动方向和/或不管对象是否具有低(例如，短)的与车辆200碰撞的时间，只要对象与车辆200相比具有相对速度，使得存在用于对象的扩展焦点。当在图像平面中存在相对于车辆200静止的对象时，可以不存在用于该对象的扩展焦点，因为在光流场中不会有扩展或收缩。
处理单元110可进一步确定识别的对象是沿着与车辆200的行驶方向交叉的方向按照恒定速度移动的交叉对象(其在后面也可被称为交叉撞击对象)，其可能与车辆200碰撞，如果车辆200和交叉对象按照它们各自的恒定速度继续移动的话。交叉对象可以是低碰撞时间垂直对象。处理单元110可确定交叉对象的扩展焦点的水平坐标是否在一时段期间停留在交叉对象的水平维度的中心周围。这可指示从车辆200上安装的相机的视角恒定。当视角恒定时，如果交叉对象按照恒定速度线性移动，并且车辆200按照恒定速度线性移动，则它们可在某一点碰撞。由此，处理单元110可基于交叉对象的扩展焦点的水平坐标是否在一时段期间停留在交叉对象的水平维度的中心周围的判定，来确定交叉对象和车辆200是否可碰撞。当处理单元110确定交叉对象的扩展焦点的水平坐标是否在一时段期间停留在交叉对象的水平维度的中心周围时，处理单元可促使车辆200使用例如制动系统230制动。在一些实施例中，制动可以是自主的而没有驾驶员干预。
图8是示出了包括对象检测系统(或被称为紧急制动判断系统)的示范车辆200的示意性表示。对象检测系统可包括系统100和制动系统230。对象检测系统还可以包括图像捕获装置122和124(以及126，图8中没有示出)的至少一个。对象检测系统可包括处理单元110，其可以是系统100的一部分。图像捕获装置122和124的至少一个可获取包括车辆200前面的对象的区域的多个图像之一。该对象可以是另一车辆，诸如可在车辆200前面行驶的车辆800，或行人、动物等。如图8中所示，在一些实施例中，车辆800可按照与车辆200的行驶方向平行的方向行驶。平行方向可包括其中车辆800按照与车辆200相同和对准或基本对准的方向行驶的情况(例如，车辆800在车辆200前面行驶)，如图8中所示。平行方向还可以包括其中车辆800沿着相对于车辆200并与车辆200对准的相反方向行驶的情况(例如，车辆800沿着与车辆200的行驶方向相反的、180度或基本180度的方向朝向车辆200移动)。平行方向还可以包括其中车辆800不与车辆200对准行驶、而是沿着与车辆200的行驶方向平行的方向行驶的情况(例如，车辆800按照偏移距离在车辆200前侧行驶)。
在一些实施例中，对象可以是可在道路上站立、或穿过车辆200前面的道路走或跑的行人。图像中包括的区域可包括其它对象，诸如道路表面、房子、墙壁、标志等，其可形成静态环境。当对象不沿着与车辆200的行驶方向平行的方向行驶时，对象的行驶方向可按照既不为零(或基本零)也不为180度(或基本180度)的角度与车辆200的行驶方向横穿或交叉。这些图像可包括移动和/或静止图像。
处理单元110可与制动系统230以及图像捕获装置122和124的至少一个通信。例如，处理单元110可从图像捕获装置122和124的至少一个接收图像，并且可使用各种方法处理图像以检测对象(例如，另一车辆、行人、或动物等)。尽管图8中示出了两个图像捕获装置122和124，但是附加图像捕获装置的使用(例如，3、4、5个等图像捕获装置)与公开的实施例一致。
图9是可存储用于执行用于检测车辆200前面的对象和/或促使车辆200基于检测制动的一个或多个操作的指令的存储器140或150的示范框图。如图9中所示，存储器140或150可存储用于执行这些操作的一个或多个模块，如这里描述的。例如，存储器140或150可存储配置为分析图像的图像分析模块900。存储器140或150可存储制动模块905，其配置为促使车辆200通过控制例如制动系统230来制动。应用处理器180和/或图像处理器190可运行存储器140或150中包括的模块900和905的任一个中存储的指令。本领域技术人员将理解的是，以下讨论中指代处理单元110可个别或共同表示应用处理器180和图像处理器190。因此，以下处理的任一个的步骤可由一个或多个处理装置执行。
图像分析模块900可存储指令，当由处理单元110运行时，可执行图像分析以检测车辆200前面行驶的对象(例如，穿过道路的车辆800或行人)。图像分析模块900可分析图像捕获装置122和124的至少一个所获取的至少两个图像。例如，图像分析模块900可比较至少第一图像和第二图像以获得光流信息。光流信息可包括由第一图像中的每一第一像素和第二图像中的每一相应第二像素之间的多个位移向量形成的光流场。图像分析模块900可搜索第一图像和第二图像中的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。图像分析模块900可基于该组像素进一步识别第一图像和第二图像的至少一个中的基本垂直对象的存在。
在一些实施例中，图像分析模块900可存储指令，其在由处理单元110运行时可执行图像分析以检测车辆200前面穿过道路的对象，所述对象可能与车辆200碰撞，如果车辆200和对象按照既不为零也不为180度的角度彼此交叉的它们各自的方向以它们各自的恒定速度继续线性移动(例如，沿着直线)的话。图像分析模块900可确定扩展角度的水平坐标在一时段期间是否停留在交叉对象的水平维度的中心周围。
制动模块905可存储指令，其在由处理单元110运行时可促使车辆200使用制动系统230来制动。例如，当图像分析模块900确定交叉对象的扩展焦点的水平坐标在一时段期间停留在交叉对象的水平维度的中心周围时，制动模块905可促使车辆200制动，以避免与交叉对象碰撞。
图10A是示出了与像素关联的向量的区域的示范图像。尽管为了说明目的示出了车辆1000的仅一个图像，但是理解的是，在获取第一图像之后按照时间间隔可由图像捕获装置122-126之一获取多个图像。处理单元110可比较第一图像和第二图像以获得光流信息，其包括由多个向量形成的向量场，每一向量代表与第一图像中的每一第一像素和第二图像中的每一对应第二像素关联的位移(或移动)。所述向量还可被称为位移向量。在图10A中示出的实例位移向量场中，示出第一图像中的三个像素的坐标(x1,y1)、(x2,y2)和(x3,y3)。位移向量被示出为箭头。坐标(u1,v1)、(u2,v2)和(u3,v3)可表示与每一位移向量关联的水平和垂直位移，或者在一些实施例中可表示第二图像上的对应第二像素的坐标。
处理单元110可搜索第一图像和第二图像中的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系。该关系可对于具有坐标(xi,yi)的第一图像(或第二图像)中的第i像素表达为方程(1)和(2)，其中i是整数：
SS*(xi-FOEx)＝ui (1)
SS*(yi-FOEy)＝vi (2)
其中SS是缩放幅度，FOEx和FOEy是扩展焦点的坐标。因为SS、FOEx和FOEy是未知向量，所以可存在用于方程(1)和(2)的有限数目的可能解。方程(1)和(2)的可能解可在图10B中示出的三维立方体空间(其可代表有限空间的一部分)中分布，其中x轴代表FOEx，并且y轴代表FOEy，并且z轴代表缩放幅度SS。可存在第一图像(或第二图像)的像素之中的一组像素，对于所述图像来说存在一对公共缩放幅度SS0和公共扩展焦点(FOEx0,FOEy0)，使得该组像素的全部或大多数满足方程(1)和(2)代表的关系，其中SS由公共缩放幅度SS0替代，并且FOEx和FOEy由公共扩展焦点FOEx0、FOEy0替代。该组像素可被称为相干扩展的区域。相干扩展的区域中的像素可共享相同的公共缩放幅度和相同的扩展焦点。
可使用多种方法来从多个扩展焦点确定公共扩展焦点。例如，可使用聚类技术来确定分布的标准偏差、质心、或分布密度的中心。使用聚类技术获得的这样信息可被用来确定公共缩放幅度SS0和公共扩展焦点(FOEx0,FOEy0)。
在一个实施例中，图10B中示出的三维立方体空间可被划分为多个单元，每一单元对应于与一对(SSi,FOExi,FOEyi)对应的小范围。处理单元110可在单元中放置可能的解，并计数单元中的解的数目。处理单元110可确定哪个单元具有最大数目解。在一个实施例中，单元具有最大数目解可用来确定公共扩展焦点和公共缩放幅度。
在另一实施例中，处理单元110可具有一个变量，诸如缩放幅度SS、FOEx或FOEy之一，并解方程(1)和(2)用于每一像素的可能解。处理单元110可对于第一图像中的全部或多个像素重复此，以生成多个可能解。多个可能解(SS,FOEx,FOEy)可被安排在列表或阵列中。处理单元110可使用例如聚类技术来确定可能解的分布，以发现密集聚类。例如，如果特定解(SS,FOEx,FOEy)周围的密度高于预定阈值，则处理单元110可使用该特定解作为用于第一图像中的多个像素的公共扩展焦点和公共缩放幅度。
在一些实施例中，处理单元110可确定可能解是否彼此“一致”，例如，全部或大多数解或多于预定数目解是否位于图10B中示出的三维立方体空间中的预定小空间内。如果可能解彼此“一致”，则处理单元110可基于预定空间内的可能解来确定公共扩展焦点和公共缩放幅度(例如，取预定空间内的所有解的平均值作为公共缩放幅度和公共扩展焦点)。
基于公共缩放幅度和公共扩展焦点，处理单元110可利用公共缩放幅度和公共扩展焦点来识别满足由方程(1)和(2)表示的关系的一组像素。换言之，处理单元110可识别共享公共缩放幅度和公共扩展焦点的一组像素。处理单元110可基于识别的一组像素来检测对象的存在，诸如垂直对象低碰撞时间对象(例如，图10C中示出的货车的后门)。例如，识别的该组像素可示出垂直对象(例如，货车的后门)的基本部分的图像，如图10C所示。
图11是示出了用于检测车辆200前面的对象的存在的示范性处理的流程图。方法1100可包括获取车辆200前面的区域的多个对象(步骤1110)。例如，图像捕获装置122和124的至少一个可获取车辆200前面的区域的一个或多个图像。该区域可包括对象，诸如另一车辆或行人。该区域可包括可形成静态环境的其它静态对象，诸如标志、房子、山、道路表面等。
方法1100可包括接收多个图像(步骤1120)。例如，处理单元110可从图像捕获装置122和124的至少一个接收多个图像。方法1100还可以包括比较第一图像和第二图像，以确定第一图像的像素和第二图像的像素之间的位移向量(步骤1130)。第一和第二图像来自多个图像，并且可按照预定时间间隔诸如0.01秒、0.02秒等获取。处理单元110可比较第一图像和第二图像以获得光流信息，这可包括第一图像的像素和第二图像的像素之间的位移向量。位移向量表示第一图像中的第一像素与第二图像中的第二像素之间的位移的方向和幅度。位移向量可会聚为一个或多个公共汇聚点，其可被称为公共扩展焦点。处理单元110可基于这里公开的方法的任一个来确定公共扩展焦点。
方法1100可进一步包括搜索第一图像和第二图像中的至少一个中的作为一组像素的相干扩展的区域，对于所述图像来说存在公共扩展焦点和公共缩放幅度，使得该组像素满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系(步骤1140)。例如，处理单元110可利用公共缩放幅度和公共扩展焦点搜索满足由方程(1)和(2)表示的关系的一组像素。基于该组像素，处理单元110可识别第一图像和第二图像的至少一个中的基本垂直对象的存在(步骤1150)。垂直对象可以是低碰撞时间对象，诸如车辆200将来可与其碰撞的移动车辆或行人。
图12A是车辆200上安装的图像捕获装置122和124的至少一个所捕获的静态环境的图像。静态环境可包括道路、沿着道路的一个或多个树、以及天空的一部分。图12B示出了三维立方体空间，其图示了扩展焦点和缩放幅度之间的关系。该立方体空间示出了其中可分布可能解(SS,FOEx,FOEy)的空间。如图12B中所示，静态环境中的不同对象的缩放幅度和扩展焦点的分布可由圆柱形状1200(或直线；圆柱形状仅为了说明目的)表示。静态环境的图像中的不同对象可具有与车辆200上的相机的不同距离。由此，缩放幅度对于静态环境的图像中的不同对象来说可以是不同的。如图12B中的圆柱形状1200所指示，静态环境中的对象共享相同的扩展焦点。
图13A是在车辆200前面具有另一车辆1300的环境的图像。对象车辆1300可相对于道路静止，或者可沿着与车辆200的行驶方向平行的方向移动。如图13B中所示，静态环境中的不同对象的缩放幅度和扩展焦点的分布可由圆柱形状1310表示。对象车辆1300的扩展焦点可以以某一缩放幅度由定心在圆柱形状1310上的圆1320表示。换言之，对象车辆1300的扩展焦点与静态环境的扩展焦点相同。
图13C是环境的图像，该环境具有在车辆200前面纵向行驶并与车辆200对准的另一对象车辆1350。如图13D中所示，静态环境中的不同对象的缩放幅度和扩展焦点的分布可由圆柱形状1360表示。对象车辆1350的扩展焦点可以以某一缩放幅度由定心在圆柱形状1360上的圆1370表示。换言之，对象车辆1350的扩展焦点与静态环境的扩展焦点相同。
图14A是与示范光流场(例如，位移向量场)叠加的环境的图像。该环境的图像可包括对象车辆1410和行人1420，其可穿过马路或静止站立在道路上。具有多个向量的光流场叠加在图上，以指示可从在不同时间获取的具有对象车辆1410和行人1420的环境的至少两个图像获得光流场。
图14B是图示了与图14A中示出的车辆对象和行人对象对应的两个示范扩展焦点的三维立方体空间。如图14B中所示，静态环境中的不同对象的缩放幅度和扩展焦点的分布可由圆柱形状1430表示。对象车辆1410的扩展焦点可以以某一缩放幅度由定心在圆柱形状1430上的圆1440表示，这指示对象车辆1410的扩展焦点与静态环境的扩展焦点相同。图14B还示出了行人1420的扩展焦点，如圆1450所指示。行人1420的扩展焦点可定位为偏移静态环境的扩展焦点和对象车辆1410的扩展焦点，这意味着行人1420的扩展焦点的水平和垂直坐标的至少一个可与静态环境和/或对象车辆1410的扩展焦点的坐标不同。行人1420的扩展焦点可位于与第一公共缩放幅度对应的平面上，这可不同于与对象车辆1410的扩展焦点对应的第二公共缩放幅度。
在一些实施例中，系统100可检测穿过车辆200前面道路的对象，并且可促使车辆200制动以避免碰撞。这样的对象可被称为交叉对象或交叉撞击对象，其可具有低时间与车辆200碰撞。交叉对象可能与车辆200碰撞，如果交叉对象和车辆200按照它们当前基本恒定的速度沿着它们当前的线性方向继续移动的话。图15A示出了图示检测交叉撞击对象的示范方法的图。交叉对象1500可沿着与车辆200的行驶方向交叉的方向行驶。如果交叉对象1500与车辆按照它们各自当前基本恒定的速度继续行驶，当交叉对象1500与车辆200行驶到点1510时，从车辆200上安装的相机的视角α将保持恒定。它们可能将来在点1510碰撞。系统100可检测这样的交叉撞击对象，并且可采取动作避免碰撞，例如通过在交叉对象1500与车辆200到达碰撞点1510之前制动车辆200。尽管图15A示出了交叉对象1500与车辆200沿着彼此正交的方向行驶，但是它们的方向并非必需正交。例如，交叉对象1500与车辆200的行驶方向之间的角度可是任意适当值，诸如60度、45度等。
在一些实施例中，可基于光流信息来检测恒定视角。例如，当对象1500利用恒定视角移动时，对象可在图像平面中呈现水平固定并且沿着与图像平面正交的方向扩展。当对象1500利用恒定视角移动时，对象1500可具有扩展焦点，其可停留在对象1500的水平维度的中心周围。处理单元110可使用这样的信息来确定对象1500是否可与车辆200上安装的相机碰撞。
图15B示出了具有在车辆200前面横穿马路的行人1520(示范交叉对象)的图像。图15C示出了在获取图15B中示出的图像之后的时刻获取的具有在车辆200前面横穿马路的行人1520的图像(由此，行人1520在图15C中比图15B中呈现更大)。图15B和图15C中的垂直虚线1530指示行人1520的扩展焦点的水平坐标。如果处理单元110检测到垂直线1530停留在行人1520的水平维度的中心周围并且在从第一图像(例如图15B)到第二图像(例如，图15C)的时段期间不沿着水平方向从中心远离，则处理单元110可确定车辆200中安装的相机(例如，图像捕获装置122、124或126之一)的视角恒定。恒定视角可指示存在车辆200和行人1520将碰撞的高可能性，如果它们沿着彼此交叉的它们的相应方向按照基本恒定的速度继续线性移动的话。当处理单元110确定行人1520的扩展焦点的水平坐标(如由垂直线1530所示停留在行人1520的水平维度的中心周围时，处理单元110可促使车辆200制动，以避免当车辆200接近行人1520时发生碰撞。如果处理单元110检测到线1530不停留在行人1520的水平维度的中心周围(例如移动远离中心)，这可指示视角不恒定，则处理单元110可以不促使车辆200制动，因为具有碰撞的可能性可能不高。
图16是示出了用于检测在车辆200前面的对象的示范过程的流程图。方法1600可包括获取车辆200前面的区域的多个图像(步骤1610)。例如，图像捕获装置122-126的至少一个可按照预定间隔诸如0.01秒、0.02秒等捕获车辆200前面的区域的多个图像。方法1600还可以包括接收多个图像(步骤1620)。例如，处理单元110可从图像捕获装置122-126的至少一个接收多个图像。方法1600还可以包括比较第一图像和第二图像，以确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点(步骤1630)。例如，处理单元110可比较第一和第二图像以获得光流信息，光流信息包括与第一图像中的每一第一像素和第二图像中的对应第二像素相关的位移向量。处理单元110可基于光流信息确定扩展焦点。
方法1600还可以包括确定扩展焦点的水平坐标是否在一时段期间停留在交叉对象的水平维度的中心周围(步骤1640)。处理单元110可比较交叉对象的扩展焦点的水平坐标与图像中的交叉对象的水平中心(即水平坐标)，并确定它们是否相同或基本相同(例如，具有小误差，诸如一个或两个像素)。当处理单元110确定该水平坐标在一时间段期间停留在交叉对象的水平维度的中心周围时(是，步骤1640),处理单元110可促使车辆200使用例如制动系统230制动，以避免与交叉对象碰撞(步骤1650)。当处理单元110确定该水平坐标在一时间段期间没有停留在交叉对象内时(否，步骤1640)，处理单元110可运行步骤1610-1630。
图15A中示出的情况假设车辆200和交叉对象1500可由点表示。事实上，当将相机安装在车辆200(其可以不被看作点)上时，上述用于检测交叉撞击对象的方法可被一般化以考虑车辆200和交叉对象1500的尺寸。一般化的方法可提供与目标对象的潜在碰撞的可视指示。例如，可使用任何适当外推方法来外推目标对象的图像空间，以预测在将来相对于车辆200的图像空间中的该目标对象的将来地点，由此示出避免与目标对象碰撞的边界。
如图17中所示，当车辆200沿着对象车辆1710、1720、1730停车的道路行驶时，车辆1710、1720、1730的图像可在时间上外推，以预测图像空间中相对于车辆200的车辆1710、1720、1730的将来位置。例如，可在时间上外推盒1750中的车辆1710的部分的图像，以产生车辆1710的预测相对位置，如盒1760所指示。可基于车辆1720和1730的图像执行类似外推。线1770和1780可叠加在图像捕获装置122-126之一所捕获的实时图像上，以示出避免与停泊车辆1710-1730的潜在碰撞的预测边界。为了进一步帮助驾驶员防止碰撞，在一些实施例中，表示车辆200的前保险杠的位置的一根或多根线1740可叠加在实况实时图像上。然后，当表示前保险杠的线1740不触碰边界线1770和/或1780时，它向驾驶员提供指示，即车辆200处于与车辆1710-1730的安全距离处以避免碰撞。如果线1740触碰边界线1770和/或1780，它可指示车辆200具有与停泊车辆1710、1720、或1730的至少一个碰撞的潜在可能，并且系统100可向驾驶员提供可视和/或音频警报。
呈现前述描述是为了说明目的。其不是穷举的并且不限于公开的精确形式或实施例。考虑到公开的实施例的说明和实践，修改和改编对于本领域技术人员将是显然的。另外，尽管公开的实施例的方面被描述为存储在存储器中，但是本领域技术人员将理解的是，能将这些方面存储在其它类型计算机可读介质上，诸如辅助储存装置，例如硬盘或CD ROM、或其它形式RAM或ROM、USB介质、DVD、蓝光、或其它光学驱动介质。
基于书写描述和公开方法的计算机程序在有经验开发者的技能之内。各种程序或程序模块可通过使用本领域技术人员已知的各种技术而被创建，或者可结合现有软件设计。例如，程序部分或程序模块能在.Net Framework、Net Compact Framework(和相关语言，诸如Visual Basic、C等)、Java、C++、Objective-C、HTML、HTML/AJAX组合、XML、或具有包含Java小程序的HTML中设计或借助其设计。
此外，尽管这里已描述了示意性实施例，但是本领域技术人员基于本公开将理解任何和所有实施例的范围具有等同的元件、修改、省略、组合(例如，各个实施例之间的方面)、改编和/或替代。权利要求中的限定应基于权利要求中采用的语言被广义解释，而不应限于本说明书中描述的示例或在本申请的实施期间。这些示例应被解释为非排他性的。此外，公开的方法的步骤可按照任何方式修改，包括重新排序步骤和/或插入或删除步骤。因此，希望说明书和示例仅被看作示意性的，其真实范围和精神由以下权利要求及其等同物的全部范围指示。

Claims (16)

1.一种用于车辆的对象检测系统，包括：
至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像；
数据接口；和
至少一个处理装置，编程为：
经由该数据接口接收所述多个图像；
比较第一图像和第二图像以确定第一图像的像素和第二图像的像素之间的位移向量；
搜索第一图像和第二图像的至少一个中的作为像素集合的相干扩展的区域，所述图像中存在公共扩展焦点和公共缩放幅度，使得像素的集合满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系；和
基于所述像素集合标识第一图像和第二图像的至少一个中的基本垂直对象的存在，
确定在一时段期间该公共扩展焦点的水平坐标是否停留在该基本垂直对象的水平维度的中心周围；和
基于在一时段期间该公共扩展焦点的水平坐标停留在该基本垂直对象的水平维度的中心周围的确定，确定车辆与该基本垂直对象之间碰撞的可能性。
2.根据权利要求1的对象检测系统，其中所述相干扩展的区域代表具有与车辆的低碰撞时间的基本垂直对象。
3.根据权利要求1的对象检测系统，其中所述公共扩展焦点代表与像素集合关联的多个位移向量的会聚点。
4.根据权利要求3的对象检测系统，其中与第一图像中的像素关联的缩放幅度被定义为与像素关联的位移向量的幅度除以从像素到扩展焦点的距离。
5.根据权利要求4的对象检测系统，其中所述至少一个处理装置被进一步编程以：
计算来自第一图像和第二图像的至少一个的多个像素的缩放幅度和扩展焦点的多个组合，所述多个像素包括像素集合；和
基于缩放幅度和扩展焦点的所述多个组合的分布，确定公共扩展焦点和公共缩放幅度。
6.根据权利要求5的对象检测系统，其中基于多个扩展焦点的分布，确定公共扩展焦点和公共缩放幅度包括：
通过确定一对公共扩展焦点和公共缩放幅度周围的分布密度高于预定阈值来确定公共扩展焦点和公共缩放幅度。
7.一种车辆，包括：
车体；
至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像；
数据接口；和
至少一个处理装置，编程为：
经由该数据接口接收所述多个图像；
比较第一图像和第二图像以确定第一图像的像素和第二图像的像素之间的位移向量；
搜索第一图像和第二图像的至少一个中的作为像素集合的相干扩展的区域，所述图像中存在公共扩展焦点和公共缩放幅度，使得像素的集合满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系；和
基于所述像素集合标识第一图像和第二图像的至少一个中的基本垂直对象的存在，
确定在一时段期间该公共扩展焦点的水平坐标是否停留在该基本垂直对象的水平维度的中心周围；和
基于在一时段期间该公共扩展焦点的水平坐标停留在该基本垂直对象的水平维度的中心周围的确定，确定车辆与该基本垂直对象之间碰撞的可能性。
8.一种用于检测车辆前面的对象的方法，包括：
经由至少一个图像捕获装置获取车辆前面的区域的多个图像；
经由处理装置接收所述多个图像；
经由处理装置比较第一图像和第二图像，以确定第一图像的像素和第二图像的像素之间的位移向量；
经由处理装置搜索第一图像和第二图像的至少一个中的作为像素集合的相干扩展的区域，所述图像中存在公共扩展焦点和公共缩放幅度，使得像素的集合满足像素位置、位移向量、公共扩展焦点和公共缩放幅度之间的关系；和
经由处理装置基于所述像素集合标识第一图像和第二图像的至少一个中的基本垂直对象的存在，
确定在一时段期间该公共扩展焦点的水平坐标是否停留在该基本垂直对象的水平维度的中心周围；和
基于在一时段期间该公共扩展焦点的水平坐标停留在该基本垂直对象的水平维度的中心周围的确定，确定车辆与该基本垂直对象之间碰撞的可能性。
9.根据权利要求8的方法，进一步包括：
计算来自第一图像和第二图像的至少一个的多个像素的缩放幅度和扩展焦点的多个组合，所述多个像素包括像素集合；和
基于缩放幅度和扩展焦点的所述多个组合的分布，确定公共扩展焦点和公共缩放幅度。
10.根据权利要求8的方法，其中基于多个扩展焦点的分布，确定公共扩展焦点和公共缩放幅度包括：
通过确定一对公共扩展焦点和公共缩放幅度周围的分布密度高于预定阈值，来确定公共扩展焦点和公共缩放幅度。
11.一种用于车辆的对象检测系统，包括：
至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像；
数据接口；和
至少一个处理装置，编程为：
经由该数据接口接收所述多个图像；
比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点；
确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围；和
基于在一时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
12.根据权利要求11的对象检测系统，其中该交叉对象是具有与车辆的低碰撞时间的对象，和
其中当该交叉对象按照基本恒定或分段恒定的速度线性移动、并且该车辆也按照基本恒定或分段恒定的速度线性移动时，该车辆的相机的视角在该时段时间保持恒定。
13.根据权利要求12的对象检测系统，其中所述至少一个处理装置进一步编程以：
基于该交叉对象固定出现在图像平面的水平轴上、并沿着与图像平面正交的方向扩展的检测，而确定该视角恒定。
14.根据权利要求13的对象检测系统，其中所述至少一个处理装置进一步编程以：
基于视角恒定的确定、或该交叉对象的扩展焦点的水平坐标停留在该水平维度的中心周围的确定，来确定交叉对象是否将撞击相机。
15.一种车辆，包括：
车体；
至少一个图像捕获装置，配置为获取车辆前面的区域的多个图像；
数据接口；和
至少一个处理装置，编程为：
经由该数据接口接收所述多个图像；
比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点；
确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围；和
基于在一时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
16.一种用于检测车辆前面的对象的方法，包括：
经由至少一个图像捕获装置获取车辆前面的区域的多个图像；
经由处理装置接收所述多个图像；
经由处理装置比较第一图像和第二图像，并基于该比较，确定沿着与车辆的行驶方向交叉的方向移动的交叉对象的扩展焦点；
经由处理装置确定在一时段期间该扩展焦点的水平坐标是否停留在该交叉对象的水平维度的中心周围；和
经由处理装置基于在一时段期间该扩展焦点的水平坐标停留在该交叉对象的水平维度的中心周围的确定，促使该车辆制动。
CN201580029811.7A 2014-06-03 2015-06-03 用于检测对象的系统和方法 Active CN106796648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011200156.6A CN112528737B (zh) 2014-06-03 2015-06-03 用于检测对象的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462006912P 2014-06-03 2014-06-03
US62/006,912 2014-06-03
PCT/IB2015/001593 WO2015186002A2 (en) 2014-06-03 2015-06-03 Systems and methods for detecting an object

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011200156.6A Division CN112528737B (zh) 2014-06-03 2015-06-03 用于检测对象的系统和方法

Publications (2)

Publication Number Publication Date
CN106796648A CN106796648A (zh) 2017-05-31
CN106796648B true CN106796648B (zh) 2020-11-24

Family

ID=54291562

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011200156.6A Active CN112528737B (zh) 2014-06-03 2015-06-03 用于检测对象的系统和方法
CN201580029811.7A Active CN106796648B (zh) 2014-06-03 2015-06-03 用于检测对象的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011200156.6A Active CN112528737B (zh) 2014-06-03 2015-06-03 用于检测对象的系统和方法

Country Status (4)

Country Link
US (3) US10572744B2 (zh)
EP (1) EP3152704A2 (zh)
CN (2) CN112528737B (zh)
WO (1) WO2015186002A2 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528737B (zh) 2014-06-03 2022-03-01 御眼视觉技术有限公司 用于检测对象的系统和方法
KR101724299B1 (ko) * 2015-02-04 2017-04-07 엘지전자 주식회사 트리플 카메라
JP6299651B2 (ja) * 2015-04-02 2018-03-28 株式会社デンソー 画像処理装置
US9566986B1 (en) 2015-09-25 2017-02-14 International Business Machines Corporation Controlling driving modes of self-driving vehicles
JP2017134520A (ja) * 2016-01-26 2017-08-03 トヨタ自動車株式会社 車両用衝突回避支援システム
JP6384521B2 (ja) * 2016-06-10 2018-09-05 トヨタ自動車株式会社 車両の運転支援装置
US10104496B2 (en) * 2016-07-01 2018-10-16 Laird Technologies, Inc. Telematics devices and systems
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
JP6616257B2 (ja) * 2016-07-13 2019-12-04 株式会社Ｓｏｋｅｎ 位置推定装置
JP2019527832A (ja) 2016-08-09 2019-10-03 ナウト, インコーポレイテッドNauto, Inc. 正確な位置特定およびマッピングのためのシステムおよび方法
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
CN110178104A (zh) 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
US10620441B2 (en) * 2016-12-14 2020-04-14 Qualcomm Incorporated Viewport-aware quality metric for 360-degree video
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10331960B2 (en) * 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10710585B2 (en) * 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10733465B2 (en) * 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
KR102070605B1 (ko) * 2017-10-27 2020-03-02 주식회사 만도 주변 상황 판단을 통한 자동 긴급 제동 시스템 및 방법
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10406995B2 (en) 2017-11-10 2019-09-10 Denso Corporation Camera module
US10232800B1 (en) * 2017-11-10 2019-03-19 Denson Corporation Camera module
US10661725B2 (en) * 2017-11-10 2020-05-26 Denso Corporation Camera module
US11181816B2 (en) 2017-11-10 2021-11-23 Denso Corporation Windshield-mounted camera module
US10627606B2 (en) 2017-11-10 2020-04-21 Denso Corporation Camera module
US10534253B2 (en) * 2017-11-10 2020-01-14 Denso Corporation Camera module which includes lens units and configured to be mounted on inside of windshiled of vehicle
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
AU2019206509A1 (en) 2018-01-09 2020-07-23 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11143760B2 (en) 2018-02-19 2021-10-12 Motional Ad Llc Object-detector configuration based on human-override of automated vehicle control
DE102019104138B4 (de) * 2018-02-19 2020-10-29 Delphi Technologies, Llc Objektdetektor-Konfiguration basierend auf menschlicher Ausserkraftsetzung einer automatischen Fahrzeugsteuerung
US10671860B2 (en) * 2018-02-20 2020-06-02 GM Global Technology Operations LLC Providing information-rich map semantics to navigation metric map
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN110378184A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11721028B2 (en) 2018-05-28 2023-08-08 Universiteit Gent Motion segmentation in video from non-stationary cameras
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
JP6828719B2 (ja) * 2018-06-27 2021-02-10 トヨタ自動車株式会社 車載装置および制御方法
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
WO2020056203A1 (en) 2018-09-13 2020-03-19 TuSimple Remote safe driving methods and systems
DE102018125065B3 (de) * 2018-10-10 2019-11-21 Bayerische Motoren Werke Aktiengesellschaft Haltevorrichtung zur Halterung wenigstens einer Fahrerassistenzsensoreinheit sowie Anordnung einer Haltevorrichtung
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10682955B1 (en) * 2018-12-03 2020-06-16 Beijing Voyager Technology Co., Ltd. Multicamera system for autonomous driving vehicles
US10569770B1 (en) * 2018-12-11 2020-02-25 Mando Corporation Driver assistance system
US10661795B1 (en) * 2018-12-20 2020-05-26 Verizon Patent And Licensing Inc. Collision detection platform
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
US11808590B2 (en) * 2019-01-11 2023-11-07 Massachusetts Institute Of Technology Autonomous navigation in a cluttered environment
KR102177879B1 (ko) * 2019-02-26 2020-11-12 현대모비스 주식회사 차량의 객체 검출 장치 및 방법
DE112020002666T5 (de) * 2019-06-06 2022-05-12 Mobileye Vision Technologies Ltd. Systeme und verfahren für die fahrzeugnavigation
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
JP7397609B2 (ja) * 2019-09-24 2023-12-13 株式会社Subaru 走行環境認識装置
US11144769B2 (en) * 2019-09-30 2021-10-12 Pony Ai Inc. Variable resolution sensors
US20220345603A1 (en) * 2019-11-07 2022-10-27 Sony Semiconductor Solutions Corporation Imaging apparatus
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
KR20230065928A (ko) * 2020-09-14 2023-05-12 엘지전자 주식회사 차량용 이미지 처리 장치 및 차량에 포함된 디스플레이에 시각 정보를 표시하는 방법
US20230118766A1 (en) * 2021-10-14 2023-04-20 Electronics For Imaging, Inc. Systems and methods for optical tracking of high precision
DE102021005335B4 (de) 2021-10-26 2023-11-09 Mercedes-Benz Group AG Verfahren zur Kompensation von Messfehlern
US20240096107A1 (en) * 2022-09-19 2024-03-21 Velios Inc. Situational awareness systems and methods and micromobility platform

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3846494B2 (ja) * 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
DE102004034984A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Verfahren zur Erfassung von Bildern einer Probe mit einem Lichtrastermikroskop mit punktförmiger Lichtquellenverteilung
US7130745B2 (en) * 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4367475B2 (ja) 2006-10-06 2009-11-18 アイシン精機株式会社 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
EP2430615A2 (en) * 2009-05-08 2012-03-21 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US8232872B2 (en) * 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
US20120242505A1 (en) * 2010-03-16 2012-09-27 Takashi Maeda Road-vehicle cooperative driving safety support device
US20110298988A1 (en) 2010-06-04 2011-12-08 Toshiba Alpine Automotive Technology Corporation Moving object detection apparatus and moving object detection method
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
WO2015125022A2 (en) * 2014-02-20 2015-08-27 Mobileye Vision Technologies Ltd. Navigation based on radar-cued visual imaging
CN112528737B (zh) * 2014-06-03 2022-03-01 御眼视觉技术有限公司 用于检测对象的系统和方法

Also Published As

Publication number Publication date
US20200234065A1 (en) 2020-07-23
EP3152704A2 (en) 2017-04-12
US11216675B2 (en) 2022-01-04
US20210042539A1 (en) 2021-02-11
US10832063B2 (en) 2020-11-10
WO2015186002A3 (en) 2016-03-31
CN112528737B (zh) 2022-03-01
US20170098131A1 (en) 2017-04-06
CN106796648A (zh) 2017-05-31
CN112528737A (zh) 2021-03-19
WO2015186002A2 (en) 2015-12-10
US10572744B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
US11216675B2 (en) Systems and methods for detecting an object
US11126865B2 (en) Forward-facing multi-imaging system for navigating a vehicle
US10984261B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
US10960868B2 (en) Systems and methods for braking a vehicle based on a detected object
US20200003573A1 (en) Top-down refinement in lane marking navigation
US9619719B2 (en) Systems and methods for detecting traffic signs
EP3514032B1 (en) Adjusting velocity of a vehicle for a curve
JP2019505034A (ja) 車両のレーン割込みの自動予測及び利他的応答
US20180260639A1 (en) Systems and methods for detecting traffic signs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant