CN104969238B - 车辆和用于车辆的成像系统 - Google Patents

车辆和用于车辆的成像系统 Download PDF

Info

Publication number
CN104969238B
CN104969238B CN201480004954.8A CN201480004954A CN104969238B CN 104969238 B CN104969238 B CN 104969238B CN 201480004954 A CN201480004954 A CN 201480004954A CN 104969238 B CN104969238 B CN 104969238B
Authority
CN
China
Prior art keywords
image
capture apparatus
image capture
line
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480004954.8A
Other languages
English (en)
Other versions
CN104969238A (zh
Inventor
G·斯坦因
E·贝尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Technologies Ltd
Original Assignee
Mobileye Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Technologies Ltd filed Critical Mobileye Technologies Ltd
Priority to CN201910428752.0A priority Critical patent/CN110213565B/zh
Publication of CN104969238A publication Critical patent/CN104969238A/zh
Application granted granted Critical
Publication of CN104969238B publication Critical patent/CN104969238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

车辆和用于车辆的成像系统。一种用于车辆的成像系统可以包括第一图像捕获装置，其具有第一视场并且被配置为获取相对于与车辆相关联的场景的第一图像，第一图像作为使用滚动快门捕获的第一系列图像扫描线被获取。成像系统还可以包括具有与第一视场不同并且与第一视场至少部分地交叠的第二视场的第二图像捕获装置，该第二图像捕获装置被配置为获取相对于与车辆相关联的场景的第二图像，第二图像作为使用滚动快门捕获的第二系列图像扫描线被获取。第一图像捕获装置具有不同于与第二系列图像扫描线的获取相关联的第二扫描速率的与第一系列图像扫描线的获取相关联的第一扫描速率。

Description

车辆和用于车辆的成像系统
本申请要求2013年1月15日提交的美国临时申请No.61/752,515和2013年2月7日提交的美国临时申请No.61/761,724的优先权。通过引用将各个前述申请整体地并入本文。
技术领域
本公开一般地涉及相机成像系统，并且更具体地涉及用于在可以被包括在车辆上的滚动快门立体图像获取系统中捕获图像的装置和技术。
背景技术
用在车辆中的基于相机的驾驶员协助系统可以包括主要依靠单个相机来收集图像的单目对象检测系统。因为这些类型的系统中的图像是从单个视点捕获的，所以到目标对象的距离的直接确定可能是有挑战性的。因此，单目对象检测系统可以依靠估计技术来基于关于对象类别的信息和/或相对于对象的环境的环境信息(例如，目标对象驻留在上面的道路平面的形貌)间接地确定到目标对象的距离。在一些情况下，单目系统可以在单目范围估计之前使用模式识别来检测特定对象类别。
用在车辆中的基于相机的驾驶员协助系统还可以包括采用两个相机的立体系统。在一些系统中，可以在外极线与水平图像扫描线对齐的情况下并排地安装这些相机。这样的系统可以使用密集不一致图来创建环境的3D图。系统然后可以将这个3D表示用于前景分割和/或背景分割，例如以找到候选区域以用于进一步处理。该系统还可以使用3D表示来定位感兴趣对象或估计到被检测对象的范围和/或接近速率。这样的立体系统可以在封闭且中等范围目标情况下并在良好天气下很好地工作，并且可以对一般目标给出深度图。然而，这样的立体系统可能在不利的天气状况期间或在聚类场景存在的情况下经历困难。另外，这些系统可能在与车辆相距较长距离处在成像对象时具有困难。
一些成像系统(诸如美国专利号7,786,898中描述的系统)可以融合来自单目系统和立体系统这二者的信息。这种系统可以包括负责目标检测/选择和范围估计的主要相机。辅助相机可以出于目标验证的目的提供关于选择目标的立体范围。
一些立体系统可以包括可以将立体深度和单目深度组合在一起的不对称配置。例如，可以针对独立应用采用两个不对称相机(例如，具有不同的视场(FOV)和焦距)。另外，可以组合来自这些相机的图像信息以提供立体深度。对于具有全局快门的相机，这种立体处理还可能涉及裁切更宽FOV相机、图像的平滑和子采样、和/或校正以便提供匹配图像对。
最近几代的图像传感器(包括可以被用在汽车传感器中的那些)可以包括滚动快门。这样的滚动快门可能在立体图像处理中尤其在使用具有不同视场的相机的不对称立体应用中引入复杂化。例如，如果宽FOV相机和窄FOV相机这二者针对共同的场景，则窄FOV相机可能与宽FOV相机的FOV的仅一部分交叠。如果两个相机获取图像作为以相近的线扫描速率获取的相近数量的图像扫描线，则在两个相机的视场里的交叠的区域中所获取的图像扫描线将缺乏同步。这样的缺乏同步可能在确定来自宽FOV相机的第一图像中的图像点与来自窄FOV相机的第二图像中的图像点的对应时引入困难，这能够导致明显不准确对象距离测量结果。
发明内容
与公开的实施方式一致，提供了一种用于车辆的成像系统，该系统可以包括：第一图像捕获装置，该第一图像捕获装置具有第一视场并且被配置为获取相对于与所述车辆相关联的场景的第一图像，所述第一图像作为使用滚动快门捕获的第一系列图像扫描线被获取。所述成像系统还可以包括具有与所述第一视场不同并且与所述第一视场至少部分地交叠的第二视场的第二图像捕获装置，该第二图像捕获装置被配置为获取相对于与所述车辆相关联的所述场景的第二图像，所述第二图像作为使用滚动快门捕获的第二系列图像扫描线被获取。作为所述第一视场与所述第二视场之间的交叠的结果，所述第一图像的第一交叠部分可以与所述第二图像的第二交叠部分对应。所述第一图像捕获装置可以具有可以不同于与所述第二系列图像扫描线的获取相关联的第二扫描速率的与所述第一系列图像扫描线的获取相关联的第一扫描速率，使得所述第一图像捕获装置在获取了所述第二图像的所述第二交叠部分的时间段期间获取所述第一图像的所述第一交叠部分。
与公开的实施方式一致，公开了一种车辆，该车辆包括机身以及用于车辆的成像系统，该系统包括具有第一视场并且被配置为获取相对于与所述车辆相关联的场景的第一图像的第一图像捕获装置，所述第一图像作为使用滚动快门捕获的第一系列图像扫描线被获取。所述成像系统还可以包括具有与所述第一视场不同并且与所述第一视场至少部分地交叠的第二视场的第二图像捕获装置，该第二图像捕获装置被配置为获取相对于与所述车辆相关联的所述场景的第二图像，所述第二图像作为使用滚动快门捕获的第二系列图像扫描线被获取。作为所述第一视场与所述第二视场之间的交叠的结果，所述第一图像的第一交叠部分可以与所述第二图像的第二交叠部分对应。所述第一图像捕获装置可以具有可以不同于与所述第二系列图像扫描线的获取相关联的第二扫描速率的与所述第一系列图像扫描线的获取相关联的第一扫描速率，使得所述第一图像捕获装置在获取了所述第二图像的所述第二交叠部分的时间段期间获取所述第一图像的所述第一交叠部分，其中，所述时间段与所述第一扫描速率与所述第二扫描速率之间的比率相关联。
与公开的实施方式一致，提供了一种用于车辆的成像系统，该系统包括：第一图像捕获装置，该第一图像捕获装置具有第一视场并且被配置为获取相对于与所述车辆相关联的场景的第一图像，所述第一图像作为使用滚动快门捕获的第一系列图像扫描线被获取。所述系统还可以包括具有与所述第一视场不同并且与所述第一视场至少部分地交叠的第二视场的第二图像捕获装置，该第二图像捕获装置被配置为获取相对于与所述车辆相关联的所述场景的第二图像，所述第二图像作为使用滚动快门捕获的第二系列图像扫描线被获取。作为所述第一视场与所述第二视场之间的交叠的结果，所述第一图像的第一交叠部分可以对应于所述第二图像的第二交叠部分。所述系统可以包括至少一个处理装置，该至少一个处理装置被配置为：从所述第一图像捕获装置接收所述第一图像；从所述第二图像捕获装置接收所述第二图像；并且使所述第一图像的所述第一交叠部分的至少第一区域与所述第二图像的所述第二交叠部分的对应第二区域相关联。
应当理解，以上总体描述和以下详细描述这二者仅是例示性和说明性的，并且不限制权利要求。
附图说明
附图被并入本公开并且构成本公开的一部分，附图例示了各种公开的实施方式。
附图中：
图1a是与目前公开的实施方式一致的示例性车辆成像系统的图解侧视图表示；
图1b是图1a所示的实施方式的图解顶视图例示；
图1c是与目前公开的实施方式一致的具有另一相机配置的示例性车辆成像系统的图解顶视图例示；
图2a表示根据示例性公开的实施方式的具有不同视场的两个相机的交叠视场；
图2b表示根据另一示例性公开的实施方式的具有不同视场的两个相机的交叠视场；
图3表示用在采用具有全局快门的相机的系统中的示例性过程；
图4是针对在与车辆相距各种距离处的目标的图像中的点与同步线的位移的示例；
图5是针对在与车辆相距给定距离处的目标的深度估值的示例；
图6示出了在涉及利用目标平面的单应性预处理图像的修正之后针对各种距离值的y位移；
图7示出了用在系统中以对于直立对象执行深度测量的示例性过程；
图8a示出了对于给定车辆前向运动和横向速度的针对在与车辆相距给定距离处的目标的深度估值；
图8b示出了针对前向车辆运动和无横向速度的校正深度估值；
图9是由于相机基线在路面上期望的不一致的示例；
图10是根据图像行的在y方向上的移位的示例；
图11示出了用在系统中以估计到道路特征的距离的示例性过程；
图12a是由车辆前向运动和时间延迟引入的针对图像中的不同行的不一致误差的示例；
图12b是作为该行上不一致的一小部分的不一致误差的示例；
图13是如果给定行被同步则由于时间延迟和前向运动而导致的期望y移位的示例；
图14a是根据行(y)的由于运动而导致的不一致误差对由于基线而导致的真实不一致的比率的示例；
图14b是针对对象正横向移动的情况的由于运动而导致的不一致误差对由于基线而导致的真实不一致的比率的示例；
图15示出了用在存在运动不一致的系统中的示例性过程。
具体实施方式
以下具体描述参照附图。只要可能，相同的附图标记将在附图和以下描述中用来指代相同或类似的部分。虽然在本文中描述了数个例示性实施方式，但是修改、改编和其它实施方式是可能的。例如，可以对附图所例示的组件进行取代、添加或修改，并且可以通过取代步骤、对步骤进行重排序、去除步骤或将步骤添加到所公开的方法来修改本文所描述的例示性方法。因此，以下详细描述不限制所公开的实施方式。替代地，适当的范围由所附权利要求定义。
参照附图，图1a是与目前公开一致的示例性车辆成像系统的图解侧视图表示。图1b是图1a所示的实施方式的图解顶视图例示。如图1a所例示的，本发明的公开的实施方式可以包括具有带第一图像捕获装置110以及第二图像捕获装置120和处理器130的系统100的车辆150。虽然示出了两个图像捕获装置110和图像捕获装置120，但是应该理解，其它实施方式可以包括超过两个图像捕获装置。
应当理解，所公开的实施方式不限于车辆并且能够被应用在其它环境中。还应当理解，公开的实施方式不限于特定类型的车辆150并且可以适用于包括汽车、卡车拖车和其它类型的车辆的所有类型的车辆。
处理器130可以包括各种类型的装置。例如，处理器130可以包括控制器单元、图像预处理器、中央处理单元(CPU)、支持电路、数字信号处理器、集成电路、存储器，或用于图像处理和分析的任何其它类型的装置。图像预处理器可以包括用于对来自图像传感器的成像进行捕获、数字化和处理的视频处理器。CPU可以包括任何数量的微控制器或微处理器。支持电路可以是本领域内通常公知的任何数量的电路，包括高速缓存、电源、时钟和输入-输出电路。存储器可以存储软件，所述软件当由处理器执行时，控制系统的操作。存储器可以包括数据库和图像处理软件。存储器可以包括任何数量的随机存取存储器、只读存储器、闪速存储器、磁盘驱动器、光学存储部、磁带存储部、可移动存储部和其它类型的存储部。在一个实例中，存储器可以与处理器130分开。在另一实例中，可以将存储器集成到处理器130中。
第一图像捕获装置110可以包括任何适合类型的图像捕获装置。图像捕获装置110可以包括光轴116。在一个实例中，图像捕获装置110可以包括具有全局快门的AptinaM9V024WVGA传感器。在其它实施方式中，图像捕获装置110可以包括滚动快门。图像捕获装置110可以包括各种光学元件。在一些实施方式中可以包括一个或更多个透镜，例如以为图像捕获装置提供期望的焦距和视场。在一些实施方式中，图像捕获装置110可以与6mm透镜或12mm透镜相关联。在一些实施方式中，图像捕获装置可以被配置为捕获具有期望的FOV(包括例如宽FOV，诸如46度FOV、50度FOV、52度FOV或更大FOV)的图像。在一些实施方式中，图像捕获装置110可以包括宽角缓冲相机或具有多达180度FOV的相机。
第一图像捕获装置110可以获取相对于与车辆150相关联的场景的多个第一图像。所述多个第一图像中的每一个可以作为一系列图像扫描线被获取，所述图像扫描线可以使用滚动快门来捕获。各个扫描线可以包括多个像素。
第一图像捕获装置110可以具有与第一系列图像扫描线中的每一个的获取相关联的扫描速率。扫描速率可以指代图像传感器能够获取与包括在特定扫描线中的各个像素相关联的图像数据的速率。
例如，第一图像捕获装置110可以包含任何适合类型的图像传感器，包括CCD传感器或CMOS传感器。在一个实施方式中，可以连同滚动快门一起采用CMOS图像传感器，使得一行中的各个像素被一次一个地读取，并且行的扫描在逐行基础上进行直到已捕获到整个图像帧为止。在一些实施方式中，可以相对于帧自上而下依次捕获行。
滚动快门的使用可以导致不同行中的像素被暴露并且在不同时间捕获，这可能在所捕获的图像帧中引起偏斜和其它图像伪影。另一方面，当图像捕获装置110被配置为利用全局快门或同步快门操作时，可以在相同量的时间内并且在公共曝光周期期间暴露所有的像素。结果，从采用全局快门的系统收集的帧中的图像数据表示整个FOV在特定时间的快照。相比之下，在滚动快门应用中，帧中的各个行被暴露并且数据是在不同时间捕获的。因此，运动对象可能在具有滚动快门的图像捕获装置中出现失真。将在下面更详细地描述这个现象。
第二图像捕获装置120可以是任何类型的图像捕获装置。像第一图像捕获装置110一样，图像捕获装置120可以包括光轴126。在一个实施方式中，图像捕获装置120可以包括具有全局快门的Aptina M9V024WVGA传感器。另选地，图像捕获装置120可以包括滚动快门。像图像捕获装置110一样，图像捕获装置120可以被配置为包括各种透镜和光学元件。在一些实施方式中，与图像捕获装置120相关联的透镜可以提供和与图像捕获装置110相关联的FOV相同或比与图像捕获装置110相关联的FOV窄的FOV。例如，图像捕获装置120可以具有40度、30度、26度、23度、20度或更少度的FOV。
图像捕获装置120可以获取相对于与车辆150相关联的场景的多个第二图像。所述多个第二图像中的每一个可以作为第二系列图像扫描线被获取，所述图像扫描线可以使用滚动快门来捕获。各个扫描线或行可以具有多个像素。第二图像捕获装置120可以具有与包括在第二系列中的图像扫描线中的每一个的获取相关联的第二扫描速率。
例如，第二图像捕获装置120可以包含任何类型的图像传感器，包括CCD传感器或CMOS传感器。在一个实施方式中，CMOS图像传感器可以与滚动快门相关联，其中可以一个接一个地依次暴露和捕获图像行以提供各个图像帧。
各个图像捕获装置110、120可以被定位在相对于车辆150的任何适合的位置和方位处。可以选择两个图像捕获装置110和图像捕获装置120的相对定位以帮助将从这些图像捕获装置获取的信息融合在一起。例如，在一些实施方式中，与图像捕获装置120相关联的FOV可以与和图像捕获装置110相关联的FOV部分地或完全地交叠。
图像捕获装置110和图像捕获装置120可以在任何适合的相对高度处位于车辆150上。在一个实例中，可能在两个图像捕获装置110与图像捕获装置120之间存在高度差，这可以提供足够的视差信息以使得能实现立体分析。如图1a所示，两个图像捕获装置110和图像捕获装置120被安装在的高度的差由dh表示。例如，考虑到用于通过处理单元130的立体分析的附加视差信息，还可能在图像捕获装置110与图像捕获装置120之间存在横向位移差。如图1b所示，横向位移差可以由dx表示。在一些实施方式中，可能在图像捕获装置110与图像捕获装置120之间存在前部位移或后部位移(例如，范围位移)。例如，图像捕获装置110可以位于图像捕获装置120后面0.5米至2米或更多米处。这种位移可以使得图像捕获装置中的一个能够覆盖其它图像捕获装置的潜在盲点。如图1(a)所示，范围位移差由dZ表示。在如图1c所例示的其它实施方式中，可能存在横向位移dx，但是范围位移dz＝0并且高度位移dh＝0。
图像捕获装置110可以具有任何适合的分辨率能力(例如，与图像传感器相关联的像素的数量)，并且与图像捕获装置110相关联的图像传感器的分辨率可以是较高的、较低的或与和图像捕获装置120相关联的图像传感器的分辨率相同。在一些实施方式中，与图像捕获装置110和/或图像捕获装置120相关联的图像传感器可以具有640x 480、1024x 768、1280x 960的分辨率或任何其它适合的分辨率。
帧速率(例如，图像捕获装置在继续捕获与下一个图像帧相关联的像素数据之前获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕获装置110相关联的帧速率可以是较高的、较低的或与和图像捕获装置120相关联的帧速率相同。与图像捕获装置110和图像捕获装置120相关联的帧速率可能取决于可以影响帧速率的定时的各种因素。例如，图像捕获装置110和/或图像捕获装置120中的一个或两者可以包括在获取与图像捕获装置110和/或图像捕获装置120中的图像传感器的一个或更多个像素相关联的图像数据之前或之后强加的可选择的像素延迟周期。一般地，可以根据装置的时钟速率获取与各个像素对应的图像数据(例如，每时钟周期一个像素)。另外，在包括滚动快门的实施方式中，图像捕获装置110和/或图像捕获装置120中的一个或两者可以包括在获取与图像捕获装置110和/或图像捕获装置120中的图像传感器的一行像素相关联的图像数据之前或之后强加的可选择的水平消隐周期。此外，图像捕获装置110和/或图像捕获装置120中的一个或两者可以包括在获取与图像捕获装置110和/或图像捕获装置120的图像帧相关联的图像数据之前或之后强加的可选择的垂直消隐周期。
即使在各个的线扫描速率不同的情况下，这些定时控制也可以使得能实现与图像捕获装置110和图像捕获装置120相关联的帧速率的同步。并且，如将在下面更详细地讨论的，即使在图像捕获装置110的视场与图像捕获装置120的视场不同的情况下，其它因素(例如，图像传感器分辨率、最大线扫描速率等)当中的这些可选择的定时控制可以使得能实现来自图像捕获装置110的视场与图像捕获装置120的视场交叠的区域的图像捕获的同步。
另外，图像捕获装置110和/或图像捕获装置120中的帧速率定时可能取决于所关联的图像传感器的分辨率。例如，对于两个装置假定类似的线扫描速率，如果一个装置包括具有640x 480的分辨率的图像传感器并且另一装置包括具有1280x 960的分辨率的图像传感器，则将需要更多时间来从具有较高分辨率的传感器获取图像数据的帧。
可能影响图像捕获装置110和/或图像捕获装置120中的图像数据获取的定时的另一因素是最大线扫描速率。例如，从包括在图像捕获装置110和/或图像捕获装置120中的图像传感器获取一行图像数据将需要某个最小量的时间。假定未添加像素延迟周期，用于获取一行图像数据的这个最小量的时间将与针对特定装置的最大线扫描速率有关。提供较高最大线扫描速率的装置有提供比具有较低最大线扫描速率的装置更高的帧速率的可能性。在一些实施方式中，图像捕获装置120可以具有比与图像捕获装置110相关联的最大线扫描速率高的最大线扫描速率。在一些实施方式中，图像捕获装置120的最大线扫描速率可以是图像捕获装置110的最大线扫描速率的1.25倍、1.5倍、1.75倍或2倍或更大倍。
在另一实施方式中，图像捕获装置110和图像捕获装置120可以具有相同的最大线扫描速率，但是可以以小于或等于其最大扫描速率的扫描速率操作图像捕获装置110。可以配置系统使得图像捕获装置120以等于图像捕获装置110的线扫描速率的线扫描速率操作。在其它实例中，可以配置系统使得图像捕获装置120的线扫描速率可以是图像捕获装置110的线扫描速率的1.25倍、1.5倍、1.75倍或2倍或更大倍。
在一些实施方式中，图像捕获装置110和图像捕获装置120可以是不对称的。也就是说，它们可以包括具有不同的视场(FOV)和焦距的相机。例如，图像捕获装置110和图像捕获装置120的视场可以包括相对于车辆150的环境的任何期望区域。在一些实施方式中，图像捕获装置110和图像捕获装置120中的任一个或两者可以被配置为从在车辆150前面、在车辆150后面、在车辆150侧面或其组合的环境获取图像数据。
此外，与各个图像捕获装置110和/或图像捕获装置120相关联的焦距可以是可选择的(例如，通过包括适当透镜等)，使得各个装置获取在相对于车辆150的期望距离范围处的对象的图像。例如，在一些实施方式中图像捕获装置110和图像捕获装置120可以获取在与车辆相距几米内的特写对象的图像。图像捕获装置110和图像捕获装置120还可以被配置为获取在离车辆更远的范围(例如，25m、50m、100m、150m或更多米)处的对象的图像。此外，可以选择图像捕获装置110和图像捕获装置120的焦距，使得一个图像捕获装置(例如，图像捕获装置110)能够获取相对地接近于车辆(例如，在10m内或在20m内)的对象的图像，然而另一图像捕获装置(例如，图像捕获装置120)能够获取离车辆150更远的对象(例如，大于20m、50m、100m、150m等)的图像。
与图像捕获装置110和图像捕获装置120中的每一个相关联的视场可能取决于相应的焦距。例如，随着焦距增加，所对应的视场减小。
图像捕获装置110和图像捕获装置120可以被配置为具有任何适合的视场。在一个特定示例中，图像捕获装置110可以具有46度的水平FOV并且图像捕获装置120可以具有23度的水平FOV。在另一实例中，图像捕获装置110可以具有52度的水平FOV并且图像捕获装置120可以具有26度的水平FOV。在一些实施方式中，图像捕获装置110的FOV与图像捕获装置120的FOV的比率可以在1.5至2.0之间变化。在其它实施方式中，这个比率可以在1.25与2.25之间变化。
可以配置系统100使得图像捕获装置110的视场(至少部分地或完全地)与图像捕获装置120的视场交叠。在一些实施方式中，可以配置系统100使得图像捕获装置120的视场例如落在图像捕获装置110的视场内(例如，比图像捕获装置110的视场窄)并且与图像捕获装置110的视场共享公共中心。在其它实施方式中，图像捕获装置110和图像捕获装置120可以捕获相邻FOV或者可以在它们的FOV中具有部分交叠。在一些实施方式中，可以使装置110和装置120的视场对齐，使得更窄FOV装置120的中心可以位于更宽FOV装置110的视场的下半部中(例如，在图2a中的线280下方的区域中)。
图2a示出了根据示例性公开的实施方式的具有不同视场的两个相机的交叠视场。图2b表示根据另一示例性公开的实施方式的具有不同视场的两个相机的交叠视场。
宽FOV相机110有第一FOV 250，其可以由水平FOV 210和垂直FOV 220定义。在一个实例中，宽FOV相机110可以具有46度的水平FOV 210和1280x 960个像素的图像分辨率。宽FOV相机110可以有具有滚动扫描方向251的滚动快门。滚动快门方向251可以垂直地或水平地在任何方向上。在图2a的实施方式中，滚动快门的使用将使得能够捕获图像作为多个扫描线(例如，扫描线252和扫描线253)。
窄FOV相机120有第二FOV 260，其可以由水平FOV 230和垂直FOV 240定义。窄FOV相机120还可以有具有滚动扫描方向261的滚动快门。在一个实例中，窄FOV相机120可以具有23度的水平FOV 230和与宽FOV相机110相同或不同的图像分辨率。例如，在一些实施方式中，窄FOV相机120可以具有1280x 960的图像分辨率。在其它实施方式中，窄FOV相机120可以具有与宽FOV相机110不同的图像分辨率(例如，640x 480个像素)。例如，滚动快门方向261可以垂直地或水平地在任何方向上，并且滚动快门将使得能实现作为多个扫描线(包括线262和线263)的图像捕获。
窄FOV 260和宽FOV 250能够被设置为在FOV中部分地或完全地交叠。在图2a和图2b中用截面线示出的交叠区域270表示窄视场260与宽视场250交叠的区域。如图2a所示，区域270可以对应于窄图像捕获装置120的整个视场。此外，可以使图像捕获装置110和图像捕获装置120的视场对齐，使得区域270被定中心在图像捕获装置110的更宽视场内。另选地，如图2b所示，区域270不必表示更窄视场图像捕获装置120的整个视图，它也不必被定中心在更宽视图图像捕获装置的视场内。相反，如图2b所示，区域270可以偏离图像捕获装置110的中心。此外，可以使图像捕获装置110和图像捕获装置120的视场对齐，使得区域270对应于小于图像捕获装置110和图像捕获装置120的整个视场的交叠区域。
在使用滚动快门的实施方式中，来自图像捕获装置110的图像帧可以作为一系列依次获取的扫描线(诸如图2a中的线252和线253)被获取。类似地，如图2a所示，与图像捕获装置120相关联的滚动快门将使得能够捕获图像帧作为一系列依次获取的扫描线262和扫描线263。当图像捕获装置110具有与图像捕获装置120的焦距和视场不同的焦距和视场并且在两个装置上采用了滚动快门时，图像捕获装置110和图像捕获装置120可以在不同时间捕获它们相应的与交叠区域270对应的视场的部分。这样的缺少同步可能在对所获取的图像的相关立体分析方面导致困难。
为了进一步例示，一个示例性系统可以包括各自具有1280x 960的传感器分辨率的图像捕获装置110和图像捕获装置120。因此，如果滚动快门被采用来从两个图像装置获取图像帧，则来自两个图像捕获装置的图像帧将作为各自包括图像数据的1280个像素的一系列960个扫描线被获取。在这个示例中，如图2a所示，图像捕获装置110可以具有52度视场，并且图像捕获装置可以具有26度视场，以及两个视场可以共享公共中心。如果两个图像捕获装置包括了类似的线扫描速率，则变得显而易见的是，将在不同时间获取来自各个图像捕获装置的对应于交叠区域270的图像帧的部分中的一些或全部。
例如，假定两个图像捕获装置开始同时获取它们相应的图像帧(即，两个图像捕获装置的第一扫描线被同步)，那么在图像捕获装置120正从交叠区域270获取第一线的同时，图像捕获装置正从它的例如落在交叠区域270之外的视场的顶部获取图像线。在图像捕获装置120具有为图像捕获装置110的视场的角宽度一半的视场的示例中，图像捕获装置110将不获取与交叠区域270对应的图像线直到它到达第240个扫描线(通过其图像帧的路线的四分之一)为止。再次，假定两个图像捕获装置具有相同的线扫描速率，那么当图像捕获装置110到达它的第240个扫描线时，则图像捕获装置120还将在获取它的作为通过交叠区域270的路线的25％的第240个扫描线。此外，当图像捕获装置120完成其扫描的最后线(即，第960个扫描线)时，它将是在交叠区域270的底部。然而，同时，图像捕获装置110将正在获取落在交叠区域270之外的它的视场的最后线。实际上，仅图像捕获装置110中的第240个扫描线至第720个扫描线将包括交叠区域270，然而来自图像捕获装置120的所有960个扫描线将对应于交叠区域270。此外，在这个示例中，仅中心扫描线(与图2a中的虚线280对应)将由两个图像捕获装置同时获取。将在不同时间获取与交叠区域270对应的所有其它线，这再次在执行与交叠区域270相关联的立体分析时可能导致困难。
然而，通过调整各个图像捕获装置的图像获取定时控制参数，也许能够确保各个图像捕获装置的与交叠区域270对应的图像帧的部分在相同的时间段期间被获取。
一般而言，可以按照各种方式实现这个同步。例如，在一个实施方式中，图像捕获装置120(具有更窄视场)可以被配置为具有不同于与图像捕获装置110相关联的线扫描速率的线扫描速率。例如，图像捕获装置120的线扫描速率可以比用于图像捕获装置110的线扫描速率高。在一些实施方式中，用于图像捕获装置120的线扫描速率可以是用于图像捕获装置110的线扫描速率的两倍(或更多倍)。一般地，更窄视场图像捕获装置120应该具有至少足够高以致可以在相同的时间段期间获取来自两个图像捕获装置110和图像捕获装置120的对应于交叠区域270的图像帧的部分的扫描速率。
返回到图像捕获装置110具有52度视场并且图像捕获装置120具有26度视场以及皆包括1280x 960的图像传感器分辨率的示例，交叠区域270将对应于图像捕获装置110的图像帧中的第240个扫描线至第720个扫描线(总计480个扫描线)。另一方面，交叠区域270将对应于图像捕获装置120中的完全960个扫描线。结果，为了让图像捕获装置110中的第240个线至第720个线在与图像捕获装置120的960个扫描线相同的时间段期间被获取，图像捕获装置120的线扫描速率可能是图像捕获装置110的线扫描速率的至少两倍。这样的布置可以使得图像捕获装置120能够在花费图像捕获装置110来获取对应于交叠区域270的从第240个线到第720个线的480个扫描线的相同量的时间内获取所有960个线。
然而，线扫描速率不是能够使得能实现与交叠区域270对应的相应图像帧的那些部分的获取的同步的唯一定时控制参数。可以选择针对图像捕获装置110和图像捕获装置120中的一个或两者的水平消隐周期、垂直消隐周期和像素延迟以在交叠区域270中实现所期望的捕获同步。例如，在图像捕获装置120的线扫描速率可能太低而不能确保从交叠区域270获取图像被同步的实施方式中，可以增加图像捕获装置110(更宽视场装置)的水平消隐周期以放慢图像捕获装置110的有效线扫描速率。另外或另选地，可以增加与图像捕获装置110相关联的像素延迟以放慢图像捕获装置110的有效线扫描速率。
即使在图像捕获装置120具有足够的线扫描速率来使得能实现交叠区域270中的图像获取的同步的情况下，各个图像捕获装置的总帧速率可以是相同的，使得交叠区域270中的图像获取的同步是可重复的。返回到该示例，为了使交叠区域270中的图像获取同步，当图像捕获装置110到达第240个扫描线时图像捕获装置120应该开始获取在扫描线编号1处的数据。在图像捕获装置110获取第240个线至第720个线的同时，图像捕获装置120获取它的所有960个扫描线。在图像捕获装置110正在捕获第721个线至第960个线和第1个线至第239个线的同时，图像捕获装置120应该保持空闲以确保在各个帧中交叠区域270被同步。为了在图像捕获装置120中提供这个延迟以使得图像捕获装置110能够获取在交叠区域270之外的图像数据，图像捕获装置120可以配置有比图像捕获装置110更长的垂直消隐周期。
应该注意，在如以上所描述的一些实施方式中，来自图像捕获装置110和图像捕获装置120的图像的已同步部分对应于交叠区域270。在其它情况下，图像捕获装置110和图像捕获装置120的交叠部分可以使一个线在交叠区域270内同步，并且远离该线移动，这些线可能变得越来越少同步。这可以由dTL表示。系统可以例如通过调整图像捕获装置120的扫描线速率来减小线变得不同步的速率。例如，在图像捕获装置110与图像捕获装置120之间的焦距比率为2的情况下，系统能够调整可能导致dTL＝0的TLn＝0.5*TLw。在另一实例中，TLn＝0.6*TLw。在一些实施方式中，即使在该区域中通过两个图像捕获装置的图像获取的定时是不相同的，也可以实现交叠区域270内的图像获取的“同步”。例如，如果在交叠区域270中来自装置120的图像部分的获取之间的定时差在装置110获取与交叠区域270对应的图像部分所需要的时间的1％、5％、10％或15％内，则可以实现适当的同步(例如，以使得能实现立体分析)。
例如，如上所述，在图像捕获装置120与图像捕获装置110之间存在焦距之间的特定比率(例如，2:1)的情况下，那么更窄FOV装置120的线扫描速率与更宽FOV装置110的线扫描速率的比率应该至少和焦距比一样高，以便在整个交叠区域270上使所获取的图像同步。然而，在一些实施方式中，较低扫描速率比可能仍然是有用的。例如，即使利用比图像捕获装置120与图像捕获装置110之间的焦距比低的线扫描速率比，也仍然能够在交叠区域270的一部分(并且常常，一大部分)上使来自装置110和装置120图像的图像部分同步。
假定2:1的装置120与装置110之间的焦距比率，例如，那么至少2:1的线扫描比率将在整个FOV交叠区域270上使得能实现图像的同步。然而，图像在不到整个区域270上的同步可能仍然是有用的。例如，在一些实施方式中，1.9、1.8、1.7、1.6、1.5或更少的线扫描比率可以仍然在交叠区域270的区域的至少一部分中在来自装置110和装置120的图像之间提供有用级别的同步。
从装置110获取图像部分可以在交叠区域270内与从装置120获取图像部分同步期间的时间段可以与装置110的线扫描速率与装置120的线扫描速率之间的比率有关。例如，在FOV的比率为2但是扫描线定时的最大比率为1.8的情况下，时间段可以基于1.8的扫描线定时比率(以及基于任何应用的像素延迟、水平消隐周期等)。
除定时控制参数(例如，线扫描速率、垂直消隐周期、水平消隐周期、像素延迟等)的调整之外，还可以连同定时控制参数的调整一起或与定时控制参数的调整分别地采用其它技术。在一些实施方式中，与图像捕获装置110相比图像捕获装置120(更窄视场装置)可以配置有较低分辨率图像传感器。因此，如果图像捕获装置110有具有1280x 960的分辨率的图像传感器，则给图像捕获装置120配置具有较低分辨率(例如，640x 480)的图像传感器可以使在图像捕获装置120中对较高线扫描速率的需要减轻。假定以上描述的同一52度/26度示例，即使两个装置采用类似的线扫描速率，图像捕获装置110中的1280x 960像素传感器也能够在交叠区域270内与图像捕获装置120中的640x 480像素传感器同步。在这个示例中，在图像捕获装置110正在获取与交叠区域270对应的480个线(即，图像捕获装置110中的第240个线至第720个线)的同时，图像捕获装置120将获取它自己的与交叠区域270对应的480个扫描线。
另外或另选地，如果更窄视场图像捕获装置不对各个帧中的所有图像线进行采样，则可以使在更窄视场装置中对较高扫描速率的需求减轻。例如，在一个帧的获取期间，可以配置图像捕获装置120使得它仅对可用扫描线的子集(例如，奇数扫描线)进行采样。在下一个帧的捕获期间，可以配置图像捕获装置120使得它对偶数扫描线进行采样。通过这种交错技术，与其中对于每个帧获取所有扫描线的技术相比可以把获取与交叠区域270相关联的图像数据所需要的时间的量减半。
在相对于定时控制参数的选择的另一示例中，如果可以增加图像捕获装置120的线扫描速率，则还可以减小焦距之间的目标比率，使得这些和线定时之间的比率匹配。例如，如果图像捕获装置110具有46°的水平FOV 210并且正在45kHz(22.2usec)的线定时下运行但是传感器能够支持60KHz(15.2usec)的线定时，则能够支持并且使图像捕获装置120的32°水平FOV 230同步：
这里，TLn可以是15.2usec，TLw可以是22.2usec，并且宽水平FOV 210可以是46°。
具有30°水平FOV 230的图像捕获装置120可能表示用于提供增加分辨率(按50％)和小值δTL的适合的解决方案：
δTL＝αTLn-TLw (4)
这里是两个水平FOV 210与水平FOV 230之间的比率。例如，宽水平FOV与窄水平FOV之间的比率可以是52/26、25/28、60/30、60/32、46/36、46/23或任何其它适合的比率。这些比率可以给予窄FOV相机更大范围，并且可以允许检测在更大距离处的更小对象。
可以相对于图像捕获装置110和图像捕获装置120选择任何适合的焦距/视场的比率。在一些实施方式中，这个比率可以被设置在1.5、1.6、1.7、1.8、多达2或大于2下。
如以上所指出的，图像捕获装置110和图像捕获装置120这二者可以被配置为以相同速率输出帧。例如，每帧时钟的总数(包括获取的扫描线和消隐周期、延迟等)在两个装置中可以相等。并且，为了在交叠区域270中实现所期望的同步，乘以覆盖交叠区域270的行的数量的线扫描速率定时对于两个图像捕获装置来说可以是相同的。
一旦相机已被同步，它们就可以保持在锁步操作中，使得交叠区域270中的所期望的同步和类似的帧速率被保存。系统可以包括可以周期性地执行定时检查以确定第一图像捕获装置110和第二图像捕获装置120是否在交叠区域270内捕获图像数据时和/或在总帧速率方面保持同步的一个或更多个处理装置(例如，处理装置130)。如果观测到缺乏同步，则处理装置130可以调整一个或更多个定时参数或者可以重置图像扫描的一个或更多个方面(例如，到期望的扫描线编号(诸如第一扫描线)或到图像帧内的任何其它扫描线的硬跳转)。这样的再同步过程可以在图像捕获装置110和图像捕获装置120的操作中自始至终周期性地发生。
在一些实施方式中，图像捕获装置110和图像捕获装置120可以被用于独立应用。在其它实施方式中，交叠区域270中的图像捕获的同步例如可以使得能实现组合来自两个装置的信息以提供立体分析(例如，立体深度确定等)的应用。
除在图像捕获装置110和图像捕获装置120中使用滚动快门之外，如上所述，一些实施方式可以采用全局快门。在这样的实施方式中，不是将图像帧捕获为一系列依次获取的图像扫描线，而是同时对特定图像中的所有像素行进行采样和获取。
图3表示用在采用具有全局快门的图像捕获装置的系统中的示例性过程。如图3所示，对于图像捕获装置110和图像捕获装置120具有全局快门的系统，交叠区域270中的立体处理可以涉及简单地裁切在交叠区域270之外的宽FOV相机图像数据(步骤310)。接下来，可以对窄FOV图像捕获装置的图像数据进行平滑处理和子采样(步骤320)以便取得匹配图像对。然后可以基于匹配图像对完成立体处理(步骤331)。如果未获得匹配图像对，则可能在实践中需要校正步骤(步骤332)。
在以上描述的滚动快门实施方式中，可以控制定时控制参数等以便使交叠区域270内的图像数据的捕获同步并且还以便使图像捕获装置110与图像捕获装置120之间的总帧速率同步。除这个前端基于硬件的同步解决方案之外，其它实施方式可以依靠作为用于来自交叠区域270的图像数据的立体分析的基础的后端处理。也就是说，不是迫使图像捕获装置110和图像捕获装置120在相同的时间段期间在交叠区域270中获取图像数据，而是能够在不同的时间段捕获这个图像数据，并且可以对所捕获的图像数据执行处理以便基于这个数据而使得能实现有意义的立体分析。
后端处理解决方案可以依靠图像捕获装置110的单个扫描线可以与图像捕获装置120的单个扫描线同步的事实。在各个图像捕获装置中被同步的特定线可以是可选择的，使得在不同的图像帧中，所选择的同步线可以改变。
在特定图像帧中，从图像捕获装置110和图像捕获装置120这二者收集的图像数据将在所选择的同步扫描线处彼此对应。在具有不同视场(诸如图2a和图2b所示的那些)的图像捕获装置中，远离同步线的扫描线将不同步。此外图像扫描线中的同步的丢失远离所选择的同步线增加。
在扫描线缺乏同步的情况下，图像数据中的不一致可以作为对应扫描线(例如，在交叠区域270中)正在不同的时间段期间被捕获的结果而存在。例如，如果对象正通过相对于图像捕获装置110和图像捕获装置120的场景移动，则在同步线处，从图像捕获装置110和图像捕获装置120两者所捕获的图像数据将对于该对象指示相同位置(因为各个图像捕获装置中的同步扫描线是在相同的时间段期间捕获的)。然而，远离同步线获取的图像扫描线可能缺乏同步，并且因此，可能对于运动对象导致位置不一致。
返回到具有52度的FOV的图像捕获装置110和具有26度的FOV的图像捕获装置120的示例，在两个装置包括具有1280x 960的分辨率的图像传感器的情况下，所选择的同步线可以出现在任何选择的线位置处。在一些实施方式中，同步线可以出现在交叠区域270内。例如，可以选择在交叠区域270中心的同步扫描线。因此，当在交叠区域的中心的同步线处获取的图像数据将在时间上匹配时，在远离同步线的线处捕获的图像数据将在时间上不匹配。并且，定时失配的级别远离同步线增加。在两个图像捕获装置中的中心扫描线被同步的示例中，那么交叠区域270的第一扫描线将由图像捕获装置110和图像捕获装置120在不同时间捕获。例如，在图像捕获装置120(更窄FOV装置)中，在交叠区域270中获取的第一扫描线将对应于在帧中获取的第一扫描线。另一方面，由图像捕获装置110在交叠区域270中获取的第一扫描线将出现在第240个扫描线处。但是，在图像捕获装置110正在获取第240个扫描线的同时，图像捕获装置120还可能在获取它自己的第240个扫描线。然而，在图像捕获装置120中，第240个扫描线通过交叠区域270已经是25％。因此，可以看到在图像捕获装置110中，将晚于交叠区域270中的第一图像扫描线由图像捕获装置120捕获来获取在交叠区域270中获取的第一扫描线。
接近所选择的同步线减少的这个时间差能够导致图像不一致。例如，在简单示例中，运动对象可能在远离同步线的扫描线中出现在与它到图像捕获装置120不同的到图像捕获装置110的位置中。明显位置差的程度可以随着定时差远离同步线增加而增加。
然而，所引入的不一致的程度是可预测的，因为线扫描定时在图像捕获装置110和图像捕获装置120这二者中是已知的。因此，处理装置130可以分析从两个装置获取的图像数据，并且也许能通过考虑由线扫描定时差引入的期望不一致来从交叠区域270获得立体分析信息。
因为线扫描定时在所选择的同步线处会聚，所以可能存在在同步线周围的扫描线的带，其中所引入的不一致小或甚至可忽视。因此，在同步扫描线附近的扫描线的带中，可能需要更少处理来说明观测不一致。在一些实施方式中，这个低不一致带可以通过明智地选择同步扫描线以与感兴趣对象交叠而以感兴趣对象为中心。
在公路上遇到的不同类型的对象(例如，直立对象、运动对象、靠近路面的低对象等)可能在所获取的图像不一致方面不同地表现。因此，对同步扫描线的选择可能取决于场景中(例如，在交叠区域270内)的感兴趣对象的类型。
如以上所指出的，可以调整同步线位置。可以在提供基本同步技术的任何图像捕获装置110、120上执行使特定线同步，从而潜在地使得任何特定行能够被选取。然而，如果仅能够使一条线同步，则对于所以情形可能不存在一条最佳线。也就是说，切换在两个或更多个图像帧之间同步的线可能是有用的。可以通过任何适合的技术来实现对所选择的同步扫描线的这样的调整。
例如，在一些实施方式中，可以在帧之间调整窄FOV图像捕获装置120的垂直消隐周期。在一些实施方式中，可以选择垂直消隐周期使得通过图像捕获装置120的图像获取落在图像捕获装置110后面并且然后赶上图像捕获装置110，使得不同的线在不同的图像帧中同步。在另一实施方式中，能够以相对于图像捕获装置110的期望差设定窄FOV图像捕获装置120的垂直消隐。例如，如果图像捕获装置120的垂直消隐周期比宽FOV图像捕获装置110少110条线，则在每个后续帧中，同步线位置将变化了特定量(例如，y＝-100)。
在一个实例中，可以配置系统使得同步线的选择取决于车辆的速度。在另一实例中，可以配置系统使得所选择的第一扫描线和所选择的第二扫描线皆对应于远离车辆预定距离(例如，在感兴趣对象可以位于在的地方)。
如以上所指出的，在仅单个扫描线既被同步又在图像捕获装置110与图像捕获装置120之间空间上对齐的情况下，在这个同步线上方和下方的线可以随着离同步线的距离增加而在同步上逐步变得越来越少。
δt(y)＝(y-y0)δTL (1)
其中y0可以是被正确地同步的两个图像中的一条线并且δTL是：
δTL＝2TLn-TLw (2)
其中TLn可以是窄相机120的线定时并且TLw可以是宽相机110的线定时。常常TLn＝TLw并且然后δTL可以是一条线的定时(例如1/45,000sec)。
此外，如以上所指出的，如果能够使仅一条线同步，则可以基于特定应用的要求选取该线。例如，在y＝-100附近的同步线对于路面应用可能是有利的。更接近于地平线的行对于一般对象检测可能是有用的。因此，与在两个或三个(或更多个)设定之间(例如：在行y＝0与行y＝-100之间)同步相比切换线可能是有用的。
在特定示例中，假定两个成像器被同步到第一成像器行，在这种情况下，可以使公共图像的中心线(y＝0)同步。如果窄FOV装置120的垂直消隐周期比宽FOV装置110长100条线，则在下一个帧中它将是可以被同步的线y＝-100。如果未做出改变，则在以下帧中可以使线y＝-200同步等。这最后可以循环并且仔细地线y＝0可以再次同步。例如，如果存在1000条线并且垂直消隐是500条线，则这个可能在15个帧之后发生。
在另一实例中，系统可以使窄FOV装置120的垂直消隐被设定为比宽FOV装置110少100条线(例如，400条线对500条线)。可以不改变这个但是窄FOV相机120的每第二帧将与宽FOV相机110再同步。宽FOV相机110可以空转(亦称主控)。在Aptina 1M像素传感器中，可以使用触发引脚完成同步。在读出第二帧之后(例如，在y＝-100被同步的情况下)可以将触发引脚设定为‘0’。可以将触发引脚设定为‘1’，在读出之前的N条线从宽FOV相机110开始。N可以由窄FOV相机120中设定的积分时间的长度确定。如果N小，则可能存在在垂直消隐期间降低和举起触发引脚的时间。在夜晚条件和非常长的积分时间中，窄FOV相机120可能必须跳过帧。
在一个实施方式中，可以配置系统使得使第一图像的第一交叠部分的至少第一区域与第二图像的第二交叠部分的对应第二区域相关联包括：选择要与和第二图像的获取相关联的第二扫描线同步的与第一图像的获取相关联的第一扫描线；以及在第一图像的第一交叠部分内和在第二图像的第二交叠部分的对应区域内的水平带中执行密集深度图计算。可以配置系统使得水平带在宽度上表示至少100个像素。
系统然后可以针对各个设定来处理图像的不同带。如果每帧处理整个图像可能是太计算昂贵的，则处理优化带可能表示可行的另选方案。在一个实例中，然后可以针对图像捕获装置110、120的各个设定来处理图像的不同带。
可以配置系统使得使第一图像的第一交叠部分的至少第一区域与第二图像的第二交叠部分的对应第二区域相关联包括：计算第一图像的第一交叠部分与第二图像的第二交叠部分之间的密集光流；以及使用该密集光流来使第一图像或第二图像中的至少一个变形。系统可以处理所获取的图像以便对照第二图像中的那些特征来和第一图像中的其它特征匹配以便建立对应。系统可以为各个像素创建包含深度信息的不一致图。具体地，不一致图计算可以涉及来自成像器110和成像器120的信息的组合。不一致可以表示第一图像和第二图像中的对应点的x坐标之间的距离，通常以像素为单位。对于第一图像和/或第二图像中的各个像素，不一致图可以包含图像点的不一致和深度信息。系统可以以不同分辨率生成不一致图像。
在一个实例中，系统可以针对图像捕获装置110和图像捕获装置120确定深度图以获得相对于场景内的对象的深度信息。在一个分辨率下使用不一致图像生成的深度图可以与在不同分辨率下从不一致图像生成的那些深度图不同。深度图可以是像素的二维阵列，其中各个像素值指示到场景中的点的深度。
可以配置系统使得来自第一多个图像的至少一个帧被变形以实现与第二多个图像的至少一个帧的同步。可以配置系统使得至少一个处理装置还被配置为通过目标平面在预定位置处的单应性来对第二图像进行预处理。
可以配置系统使得使第一图像的第一交叠部分的至少第一区域与第二图像的第二交叠部分的对应第二区域相关联包括根据速度相关函数使第一图像或第二图像中的至少一个预变形，所述预变形是通过计算与车辆的运动相关联的单应性矩阵以及计算与第一图像或第二图像中的至少一个的线的偏斜相关联的单应性来实现的。
在另一实施方式中，解决方案可以是计算这些相机中的一个的连续帧之间的密集光流(u,v)并然后使用这个流并且使这些帧中的一个变形，使得各条线是如果它与另一相机真正地同步则将期望的：
系统的一个实施方式例如可以涉及对直立对象的深度测量，并且可以包括选取要同步的线并然后在诸如在该线附近的±100个像素的水平带中执行密集深度图计算。所选择的线可能依赖于车辆速度。所选择的线还可能取决于特定目标的位置。可以通过目标平面的单应性对窄FOV图像进行预处理以增加能够沿着水平线完成搜索的最小操作深度。当和大不一致匹配时，与更近目标对应，可以搜索相邻线以确定匹配。可以估计延伸焦点(FOE)以便还允许外极线的小发散实现。如果FOE是已知的，则也许能够考虑时滞求解距离估值。在车辆在前向方向上显著地移动情况下，FOE中的小误差可以允许有效校正实现。可以在几乎整个范围内将误差减小至1m以下。车辆旋转可以是从图像或从惯性传感器测量到的并且可以被准确地建模。
在一个实例中，系统可以具有B＝0.06m的立体基线、f＝1600个像素的宽相机110(例如，具有6mm透镜和3.75um像素的相机)的焦距以及3200个像素的窄相机120(例如，12mm透镜和相同像素)的焦距。在一个配置中，立体基线可以是B＝dx和dh＝dz＝0。窄FOV图像可以用将有效焦距减小至相同1600像素的软件加以全帧捕获和子采样。宽相机110线定时可以是：可以和传感器一样快的TLw＝1/45msec能够在帧内部提供并且可以产生最小时滞。在那种情况下，系统能够完成TLn＝TLw。
对于在Z1距离处的静态目标，期望不一致沿着外极线可以是：
d＝f*B/Z1 (8)。假定图像被校正这些线可以是图像行并且匹配可以是1维搜索。如果本车辆正以V的速度朝目标移动，则图像点可以以如下速率远离延伸焦点(FOE)移动：
其中(xep、yep)可以是FOE。然而dZ可能取决于图像行：
dZ(y)＝δt(y)V＝(y2-y1)δTLV (11)
第二图像中的对应点(x2,y2)现在可以被给出为：
并且
这里，即使yep可以为非零，一个人也可以假定yep＝0。可以对于作为y1的函数的y2求解式15。
由于距离相关y移位，找到对应可能比在全局快门或静态情况下更困难。一旦找到了对应，那么由x移位引起的不一致中的误差可能在距离估值中引起明显误差。可以像本发明的各种实施方式中所讨论的那样缓和这些问题。
图4是针对在与车辆相距各种距离处的目标的图像中的点与同步线的位移的示例。在一个实例中，图4示出了假定V＝30m/s针对在与车辆相距各种距离值处的目标的y位移。
例如，如图4所示，FOE可以是在(0,0)的(xep,yep)处。针对在与车辆相距不同距离Z(例如，Z＝2.5m(410)、Z＝5m(420)、Z＝10m(430)、Z＝20m(440)和Z＝30m(450))处的目标对于在-250个像素与250个像素之间的y1值示出了结果。对于各个行可能存在在y2上可能取决于V和Z的固定位移，并且对于的小值在y1上可能是几乎二次的。y2移位可以是正的(或负的，取决于滚动快门的方向)。它可能不是零均值。
在一个实例中，可以给出可以表示目标在第一图像中的y坐标的值y1。对应目标在第二图像中的y坐标可以由y2表示。在很好地同步且校正的系统中，y2可以等于y1。第二图像中的对应目标可以在同一行上。然而，由于图像捕获装置的前向运动，第一图像和第二图像可以从FOE径向地流出。由于时间差，第一图像中的目标可能已比第二图像中的对应目标移动更多。第一图像与第二图像中的外流可以不同并且可以导致y2与y1不同。
对于在超过10m的距离处的目标，在与同步线y0相距±100个像素的区域中的y2位移可以小于1个像素并且沿着外极线的搜索可以工作。在该区域外位移可能大并且搜索可以是二维的并可能取决于FOE。例如，对于在大约5m的距离处的目标，在与同步线y0相距±100个像素的区域中的y2位移可以接近于1.5个像素。在另一实例中，对于在大约2.5m的距离处的目标，在与同步线y0相距±100个像素的区域中的y2位移可以接近于2.5-3个像素。
图5是针对在与车辆相距给定距离处的目标的深度估值的示例。在一个实例中，
图5可以示出对于30m/s的车辆前向运动的针对在10m处的目标的深度估值。可以使用已知深度来将图像x位置转化成横向距离。可能在类似地取决于行、车辆速度和目标距离的不一致中存在明显误差。
在根据图5的另一实例中，示出了针对在同步行附近的-100与100之间的水平行(每20个像素)的结果。例如，示出了针对从同步行起的水平行-100像素(510)、从同步行起的水平行100像素(592)、从同步行起的水平行-80像素(520)、从同步行起的水平行80像素(591)、从同步行起的水平行-60像素(530)、从同步行起的水平行60像素(590)、从同步行起的水平行-40像素(540)、从同步行起的水平行40像素(580)、从同步行起的水平行-20像素(550)、从同步行起的水平行20像素(570)以及水平行0像素(560)的结果。
图6示出了在涉及利用目标平面的单应性对图像进行预处理的修正之后针对各种距离值的y位移。在一个实例中，图6示出了假定V＝30m/s在对于在10m处的平面校正之后针对各种距离值的y位移。y移位可以由单应性近似。如果通过单应性针对诸如10m的一些中间距离对窄FOV图像进行预处理，则可以将y位移小于±1个像素的最小距离减小和/或改进至5m。
例如，对于在超过10m的距离处的目标，在与同步线y0相距±100个像素的区域中的y位移可以小于-1个像素。例如，对于在大约5m的距离处的目标，在与同步线y0相距±100个像素的区域中的y位移可以小于1个像素。在另一实例中，对于在大约2.5m的距离处的目标，在与同步线y0相距±100个像素的区域中的y位移可以接近于2个像素。
图7示出了用在系统中以对于直立对象执行深度测量的示例性过程。在另一实施方式中，系统可以选取要同步的最佳线(步骤710)。
可以通过在10m处的目标平面的单应性对窄FOV图像进行预处理(步骤720)。这可以增加能够沿着水平线完成搜索的最小操作深度。
系统然后可以在诸如在该同步线附近±100个像素的水平带中执行密集深度图计算(步骤730)。例如，一个人可能使与在道路上30m前的线对应的图像线同步。
最佳线可能是速度相关的，其中系统可以使与在道路上2秒前的线对应的线同步。最佳线还可能取决于特定目标的位置。
当和更大不一致匹配时(步骤740)，与更近目标对应，系统可以在相邻线中搜索匹配(步骤741)。
可以估计FOE以便还允许外极线的小发散实现(步骤750)。过程在检测核点时可能不对小误差很敏感。
如果FOE是已知的，则也许能够考虑时滞对于Z求解式13(步骤751)。因为车辆运动可能在前向方向上占优势，所以FOE中的小误差或甚至取xep＝0可以允许有效校正实现。
图8a示出了对于给定车辆前向运动和横向速度的针对在与车辆相距给定距离处的目标的深度估值。例如，图8a可以示出对于30m/s的车辆前向运动和Vx＝2m/s的横向速度的针对在10m处的目标的深度估值的示例。
在根据图8a的实例中，示出了针对在同步行附近的-100与100之间的水平行(每20个像素)的结果。例如，示出了针对从同步行起的水平行-100像素(810)、从同步行起的水平行100像素(892)、从同步行起的水平行-80像素(820)、从同步行起的水平行80像素(891)、从同步行起的水平行-60像素(830)、从同步行起的水平行60像素(890)、从同步行起的水平行-40像素(840)、从同步行起的水平行40像素(880)、从同步行起的水平行-20像素(850)、从同步行起的水平行20像素(870)以及水平行0像素(860)的结果。
图8b示出了针对前向车辆运动和无横向速度的校正深度估值。在一个实例中，图8b可以示出仅假定前向运动(例如，假定Vx＝0)校正的深度估值。可以在几乎整个范围内将误差减小至1m以下。
在根据图8b的实例中，示出了针对在同步行附近的-100与100之间的水平行(每20个像素)的结果。例如，示出了针对从同步行起的水平行-100像素(811)、从同步行起的水平行100像素(896)、从同步行起的水平行-80像素(821)、从同步行起的水平行80像素(895)、从同步行起的水平行-60像素(831)、从同步行起的水平行60像素(894)、从同步行起的水平行-40像素(841)、从同步行起的水平行40像素(881)、从同步行起的水平行-20像素(851)、从同步行起的水平行20像素(871)以及水平行0像素(861)的结果。
在另一方面中，车辆旋转可以是从图像或从惯性传感器测量到的并且可以被准确地建模。例如，然后可以校正窄FOV图像。偏航可以引起水平偏斜。斜度可以在同步线附近引起垂直压缩或伸长。
系统的另一实施方式可以涉及到道路特征的距离的估计并且可以包括根据速度相关函数使窄FOV图像预变形。更一般方法可以涉及(1)计算由于车辆每线定时在道路平面上的运动而导致的单应性矩阵；(2)对于各条线，计算该线的偏斜的单应性；以及(3)根据线的单应性使该线变形。可以通过(1)针对一个帧与下一个帧之间的时间差来计算单应性矩阵、(2)计算由于单应性而导致的图像运动以及(3)对于各条线取决于时间偏斜利用该运动的一小部分变形来近似各条线的单应性。还可以根据两个连续的窄FOV图像直接地估计单应性矩阵。校正可能是需要的并且可以像描述的其它实施方式那样被执行。可以通过优化被同步的图像行来获得对路面估计的改进性能。
在一个实例中，可以靠近在高于路面1.25m处的后视镜安装两个相机。车辆速度可以是30m/s。由于汽车的前向运动，图像中的道路上的点可能经历向下流和外流。流的大小可以随着时间差增加并且随着到在该点处到路面的距离相反地增加。后者距离可能与图像行成反比。
图9示出了在没有时间延迟情况下和在时间延迟情况下由于相机基线而在路面上期望的不一致。具体地，图9示出了由于时间延迟和前向运动而针对路面：宽角相机中的原始点、在假定静态场景的窄相机中的匹配坐标和实际位置的立体不一致的模拟。时间延迟可以从同步线y＝0起线性地增加。
图10示出了根据图像行的由于时间延迟和前向运动而导致的在y方向上的移位(曲线1010)。曲线1010可以是三次函数。y移位可能非常小(低于0.5个像素)直到可以为19m前的行y＝-100。在行y-100下方，系统可能需要在搜索空间中做出某种判断。
例如，在行0至行-124之间，系统可以沿着行(y2＝y1)搜索以(x1,y1)为中心的目标；在行-125与行-170之间，系统可以向下搜索一行(例如y2＝y1-1)；在行-170与行-190之间，系统可以向下搜索两行(例如y2＝y1-2)；在行-190至行-200之间，系统可以向下搜索三行并且依此类推。
在另一实例中，不是切换搜索行，而是系统可以根据图10中的函数使第二图像变形。变形可能涉及第二图像的压缩和/或校正(例如与全局快门情况类似的校正)。为了减小变形函数的数量和可能伴随变形的图像模糊，可以将两个变形组合成单个映射。第二图像的变形可以给出相对平滑的过渡。
图11示出了用在系统中以估计到道路特征的距离的示例性过程。例如，在一个解决方案中，处理器130可以根据速度相关y移位函数垂直地使窄图像变形(步骤410)。假定诸如10m的特定距离，预变形可能有优势。
更一般方法可以是处理器130计算由于车辆每线定时TL在道路平面上的运动而导致的单应性矩阵Hπ(步骤420)：
其中R和T是在时间TL(例如从惯性传感器和速度计取得)上针对运动的平移矩阵和旋转矩阵。理论上还可以按R每线步长修改平面法线N。该方法然后可以涉及处理器130对于各条线计算该线的偏斜的单应性(步骤430)：
Hπ(y)＝Hπ(TL)y (19)
该方法然后可以涉及处理器130根据该线的单应性来使该线变形(步骤1141)。处理器130可以通过针对一个帧与下一个帧之间的时间差来计算单应性矩阵(步骤1142)、计算由于单应性而导致的图像运动(步骤1150)并且然后对于各条线取决于时间偏斜利用该运动的一小部分变形(步骤1160)来近似线的单应性。处理器130还可以根据两个连续的窄FOV图像直接地估计单应性矩阵。
图12a示出了由车辆前向运动和时间延迟引入的针对图像中的不同行的不一致误差。具体地，该图示出了针对每20个像素在-20(几乎为零)至-240(在图像边缘处超过6个像素的误差)开始的图像行的由于时间延迟而导致的不一致误差。例如，示出了针对水平行-20个像素(1210)、水平行-40个像素(1220)、水平行-60个像素(1230)、水平行-80个像素(1240)、水平行-100个像素(1250)、水平行-120个像素(1260)、水平行-140个像素(1270)、水平行-160个像素(1280)、水平行-180个像素(1290)、水平行-200个像素(1291)、水平行-220个像素(1292)和水平行-240个像素(1293)的结果。
图12b示出了作为该行上的不一致(即，真实不一致)的一小部分的不一致误差。为了取得改进的结果，可能需要校正并且可以像其它实施方式中所描述的那样对不一致执行校正。可以通过优化可以被同步的图像行来获得对路面估计的改进性能。例如，示出了针对水平行-20个像素(1211)、水平行-40个像素(1221)、水平行-60个像素(1231)、水平行-80个像素(1241)、水平行-100个像素(1251)、水平行-120个像素(1261)、水平行-140个像素(1271)、水平行-160个像素(1281)、水平行-180个像素(1295)、水平行-200个像素(1296)水平行-220个像素(1297)和水平行-240个像素(1298)的结果。
图13是如果给定行被同步则由于时间延迟和前向运动而导致的期望y移位的示例。在一个实例中，图13示出了如果行-100被同步则由于时间延迟和前向运动而导致的期望y移位(曲线1320)以及如果行0被同步则由于前向运动而导致的期望y移位(曲线1310)。行-100可以对应于在汽车前面大约20m的行上的线。拾取这样的行可能具有优点。首先，y移位低于0.5个像素的区域可以增加直到-150。其次，考虑到行-100现在可以被完美地同步，到此行的距离量度可能是准确的并且这可以提供车辆间距相对于道路平面的良好估计。这可以被用来改进在垂直方向上的预变形并且还用来改进x不一致校正。
在一个实例中，图像变形可以基于式Z＝f*H/(y-y0)。其中地平线(y0)被假定为在线y＝0处，Z＝f*H/y。如果y0是已知的，则系统能够求解y’＝y-y0并且然后求解Z＝f*H/y’。在其它实例中，y0可能不是已知的并且可能由于例如车辆间距移动而在帧之间变化。在这样的情况下，能够利用不一致使用在行-100处的距离来估计y0：(y100-y0)＝f*H/Z100，或者y0＝y100-f*H/Z100。经调整的y0可以给出更好的校正变形，并且因此，给出更好的x不一致校正。
另一实施方式可以涉及来自任何源的横向运动对象或运动不一致，并且可以包括通过使用多个帧的误差减小。一般而言，可以将横向不一致分成如一个人将在静态场景上测量到的真实不一致和由于运动而导致的不一致。运动不一致可能近似地与窄FOV相机中的行与宽FOV相机中的行之间的时间偏斜成线性。在两个不同的已知时间的横向不一致可以在两个未知数(运动不一致和真实不一致)方面提供两个线性方程并且可以被求解来提供真实不一致。可以在两个不同帧中例如在宽FOV图像中查看的对象上的特征与窄FOV相机中查看的对象上的同一特征之间获得两个样本。还可以从在我们对于这些点期望相同深度的不同行上的对象上的两个点获得两个样本。这个方法的变例可能涉及计算特征的光流或来自同一相机的两个图像之间的密集流。
在一个实例中，以速度Vx横向移动的对象可以将误差dvx引入到由于基线dB而导致的静态不一致。总不一致值可能等于：
深度准确性可能与比率有关：
误差沿着行可以是恒定的并且在从同步行起的行距离上为线性的。
对于慢运动目标的验证，不一致误差可能不大。图14a是根据行(y)的由于运动而导致的不一致误差对由于基线而导致的真实不一致的比率的示例。在一个实例中，图14a示出了针对对象正以2m/s横向移动的情况(慢运行)和0.06m的基线的根据行(y)的(由于运动而导致的不一致误差对由于基线而导致的真实不一致的)比率(曲线1410)。误差比率可以是深度的期望误差并且可以在图像顶部和底部达到大约15％的最大值。这可能被认为对于应用来说是可接受的。在任何情况下，行人通常可以在误差可能是相当少的中心区域中。
对于快速运动目标的验证，描述了使用多个帧来给出准确结果的方法。图14b是针对对象正横向移动的情况的由于运动而导致的不一致误差对由于基线而导致的真实不一致的比率的示例。在一个实例中，图14b示出了针对对象正以15m/s横向移动的情况(例如，汽车以50kmh穿越)的由于运动而导致的不一致误差对由于基线而导致的真实不一致的比率(曲线1420)。该比率几乎在窄带中高于20％。可以通过使用多个帧明显地减小误差。
图15示出了用在存在运动不一致的系统中的示例性过程。一般而言，可以将横向不一致分成如一个人将在静态场景上测量到的真实不一致和由于运动(本车辆或对象中的任一个)而导致的不一致(步骤1510)。由于运动而导致的不一致可能近似地与窄FOV相机120中的行与宽FOV相机110中的行之间的时间偏斜成线性(步骤1520)。在两个不同的(已知)时间的横向不一致可以在两个未知数(真实不一致和运动不一致)方面提供两个线性方程(步骤1530)并且可以被求解来提供真实不一致(步骤1540)。可以在两个不同帧中例如在宽FOV图像中查看的对象上的特征与窄FOV相机中查看的对象上的同一特征之间获得两个样本。还可以从在我们对于诸如垂直极的边缘的那些点期望相同深度的不同行上的对象上的两个点获得两个样本。这个方法的变例可能将计算特征的光流(u)或来自同一相机的两个图像之间的密集流。然后可以通过下式确定运动不一致：
其中TF是包括消隐的一个全帧的时间。应该注意，这不仅对于横向运动对象而且对于来自任何源的运动不一致可能是近似真实的。
而且，虽然已经在本文中描述了例示性实施方式，但是任何且所有实施方式的范围具有如将由本领域技术人员基于本公开所了解的等效元件、修改、省略、组合(例如，跨越各种实施方式的方面的)、改编和/或变更。权利要求中的限制将基于权利要求中采用的语言被广义地解释并且不限于在本说明书中或在本申请的彻底进行期间描述的示例。示例将被解释为非排他性的。此外，可以按照任何方式(包括通过对步骤进行重排序和/或插入或删除步骤)修改公开的例行程序的步骤。因此，本说明书和示例旨在仅被认为是例示性的，同时真实范围和精神由随附权利要求及其等同物的全部范围来指示。

Claims (17)

1.一种用于车辆的成像系统，该成像系统包括：
第一图像捕获装置，该第一图像捕获装置具有第一视场并且被配置为获取相对于与所述车辆相关联的场景的第一图像，所述第一图像作为使用滚动快门捕获的第一系列图像扫描线被获取；以及
第二图像捕获装置，该第二图像捕获装置被配置为获取相对于与所述车辆相关联的所述场景的第二图像，所述第二图像作为使用滚动快门捕获的第二系列图像扫描线被获取，
其特征在于，所述第二图像捕获装置具有与所述第一视场不同并且与所述第一视场至少部分地交叠的第二视场；
其中，作为所述第一视场与所述第二视场之间的交叠的结果，所述第一图像的第一交叠部分与所述第二图像的第二交叠部分对应；并且
其中，所述第一图像捕获装置具有不同于与所述第二系列图像扫描线的获取相关联的第二扫描速率的与所述第一系列图像扫描线的获取相关联的第一扫描速率，使得所述第一图像的所述第一交叠部分和所述第二图像的所述第二交叠部分分别被所述第一图像捕获装置和所述第二图像捕获装置在相同的时间段期间获取。
2.根据权利要求1所述的成像系统，其中，所述第二扫描速率大于所述第一扫描速率。
3.根据权利要求1所述的成像系统，该成像系统还包括图像处理装置，该图像处理装置被配置为仅对在所述第二图像的所述第二交叠部分内的来自所述第二图像捕获装置的扫描线的子集进行采样。
4.根据权利要求1所述的成像系统，其中：
所述第一图像捕获装置具有与所述第一系列图像扫描线的获取相关联的第一水平消隐周期；
所述第二图像捕获装置具有与所述第二系列图像扫描线的获取相关联的第二水平消隐周期；并且
所述第二水平消隐周期小于所述第一水平消隐周期。
5.根据权利要求1所述的成像系统，其中：
所述第一图像捕获装置具有与所述第一系列图像扫描线的获取相关联的第一垂直消隐周期；
所述第二图像捕获装置具有与所述第二系列图像扫描线的获取相关联的第二垂直消隐周期；并且
所述第一垂直消隐周期小于所述第二垂直消隐周期。
6.根据权利要求1所述的成像系统，其中：
所述第一图像捕获装置具有与所述第一系列图像扫描线的获取相关联的第一总帧时间；
所述第二图像捕获装置具有与所述第二系列图像扫描线的获取相关联的第二总帧时间；并且其中
所述第一总帧时间等于所述第二总帧时间。
7.根据权利要求1所述的成像系统，其中，所述第二视场比所述第一视场窄。
8.根据权利要求1所述的成像系统，其中，至少所述第二视场的中心基本上对应于至少所述第一视场的中心。
9.根据权利要求1所述的成像系统，其中，所述第一视场与所述第二视场的比率的范围在1.5至2.0之间。
10.根据权利要求1所述的成像系统，其中，所述第一视场与所述第二视场的比率的范围在1.25至2.25之间。
11.根据权利要求1所述的成像系统，其中，所述成像系统还包括：
至少一个处理装置，该至少一个处理装置被配置为：
执行周期性检查以确定所述第一图像捕获装置和所述第二图像捕获装置是否同步。
12.根据权利要求11所述的成像系统，其中，如果所述周期性检查指示所述第一图像捕获装置和所述第二图像捕获装置已不同步，则所述至少一个处理装置还被配置为执行所述第一图像捕获装置和所述第二图像捕获装置的再同步。
13.根据权利要求1所述的成像系统，其中：
所述第一图像捕获装置具有与所述第一系列图像扫描线的获取相关联的第一像素延迟；
所述第二图像捕获装置具有与所述第二系列图像扫描线的获取相关联的第二像素延迟；
所述第一像素延迟大于所述第二像素延迟。
14.根据权利要求1所述的成像系统，其中，所述第二图像的所述第二交叠部分对应于所述第一视场与所述第二视场之间的交叠的整个区域。
15.根据权利要求1所述的成像系统，其中，至少所述第二视场的中心落在所述第一视场的下半部内。
16.根据权利要求1所述的成像系统，其中，所述时间段与所述第一扫描速率和所述第二扫描速率之间的比率相关。
17.一种车辆，该车辆包括：
机身；以及
根据前述权利要求中的任一项所述的成像系统。
CN201480004954.8A 2013-01-15 2014-01-15 车辆和用于车辆的成像系统 Active CN104969238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910428752.0A CN110213565B (zh) 2013-01-15 2014-01-15 成像系统和用于深度计算的方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361752515P 2013-01-15 2013-01-15
US61/752,515 2013-01-15
US201361761724P 2013-02-07 2013-02-07
US61/761,724 2013-02-07
PCT/IB2014/000582 WO2014111814A2 (en) 2013-01-15 2014-01-15 Stereo assist with rolling shutters

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910428752.0A Division CN110213565B (zh) 2013-01-15 2014-01-15 成像系统和用于深度计算的方法

Publications (2)

Publication Number Publication Date
CN104969238A CN104969238A (zh) 2015-10-07
CN104969238B true CN104969238B (zh) 2019-06-18

Family

ID=50680075

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910428752.0A Active CN110213565B (zh) 2013-01-15 2014-01-15 成像系统和用于深度计算的方法
CN201480004954.8A Active CN104969238B (zh) 2013-01-15 2014-01-15 车辆和用于车辆的成像系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910428752.0A Active CN110213565B (zh) 2013-01-15 2014-01-15 成像系统和用于深度计算的方法

Country Status (5)

Country Link
US (6) US8908041B2 (zh)
EP (1) EP2946336B1 (zh)
JP (3) JP6285958B2 (zh)
CN (2) CN110213565B (zh)
WO (1) WO2014111814A2 (zh)

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
ES2391556T3 (es) 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9215448B2 (en) * 2013-01-31 2015-12-15 Here Global B.V. Stereo panoramic images
WO2015026817A1 (en) * 2013-08-19 2015-02-26 Gentex Corporation Imaging system and method with ego motion detection
WO2015056105A1 (en) * 2013-10-14 2015-04-23 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
IN2013CH05374A (zh) * 2013-11-21 2015-05-29 Nokia Corp
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
GB2524795A (en) * 2014-04-03 2015-10-07 Nokia Technologies Oy Apparatus, method and computer program for obtaining images
CN105025193B (zh) * 2014-04-29 2020-02-07 钰立微电子股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
US9727967B2 (en) * 2014-06-23 2017-08-08 Samsung Electronics Co., Ltd. Methods for determining estimated depth in an image and systems thereof
KR101610512B1 (ko) * 2014-09-23 2016-04-07 현대자동차주식회사 스테레오 카메라 및 그 작동 방법
DE102014219422B4 (de) * 2014-09-25 2023-06-15 Continental Autonomous Mobility Germany GmbH Fahrerassistenzsystem für ein Fahrzeug und ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
US10650574B2 (en) * 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9904855B2 (en) * 2014-11-13 2018-02-27 Nec Corporation Atomic scenes for scalable traffic scene recognition in monocular videos
JP6128109B2 (ja) * 2014-12-12 2017-05-17 カシオ計算機株式会社 撮影装置、撮影方向の制御方法及びプログラム
CN107211118B (zh) 2014-12-31 2020-02-07 诺基亚技术有限公司 立体成像
JP2016158186A (ja) * 2015-02-26 2016-09-01 カシオ計算機株式会社 撮像装置、撮像方法、撮像プログラム
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
EP3298773A4 (en) 2015-05-19 2018-05-16 Magic Leap, Inc. Semi-global shutter imager
EP3299240A4 (en) * 2015-05-19 2019-01-30 LG Electronics Inc. DEVICE FOR ASSISTING THE DRIVING OF A VEHICLE AND VEHICLE
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
KR20170012979A (ko) * 2015-07-27 2017-02-06 삼성전자주식회사 영상 공유 서비스를 위한 전자 장치 및 방법
DE102015217265A1 (de) * 2015-09-10 2017-03-16 Conti Temic Microelectronic Gmbh Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
US9952304B2 (en) * 2015-09-10 2018-04-24 Ford Global Technologies, Llc Vehicle positioning system
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
WO2017122086A1 (en) * 2016-01-11 2017-07-20 Mobileye Vision Technologies Ltd. Systems and methods for augmenting upright object detection
EP3422289A4 (en) * 2016-02-23 2019-02-27 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE ENTITY DEVICE CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
JP2017169111A (ja) * 2016-03-17 2017-09-21 ソニー株式会社 撮像制御装置、および撮像制御方法、ならびに撮像装置
GB2550372B (en) * 2016-05-17 2022-01-19 Nctech Ltd Imaging system having multiple imaging sensors and an associated method of operation
JP6660595B2 (ja) * 2016-06-07 2020-03-11 パナソニックＩｐマネジメント株式会社 駐車空間探索装置、プログラムおよび記録媒体
US20170374256A1 (en) * 2016-06-24 2017-12-28 Qualcomm Incorporated Method and apparatus for rolling shutter compensation
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10067509B1 (en) 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
JP6349558B1 (ja) * 2017-05-12 2018-07-04 パナソニックＩｐマネジメント株式会社 撮像システム及び表示システム
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
DE102017210408A1 (de) * 2017-06-21 2018-12-27 Conti Temic Microelectronic Gmbh Kamerasystem mit unterschiedlichen Shuttermodi
JP6956031B2 (ja) * 2017-06-23 2021-10-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 距離測定装置および距離測定方法
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10387736B2 (en) 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
JP6887356B2 (ja) * 2017-09-25 2021-06-16 日立Astemo株式会社 ステレオ画像処理装置
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
JP6834020B2 (ja) * 2017-11-13 2021-02-24 三菱電機株式会社 物体認識装置および物体認識方法
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
EP3738106A4 (en) 2018-01-11 2021-09-08 TuSimple, Inc. MONITORING SYSTEM FOR AUTONOMOUS VEHICLE OPERATION
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11193896B2 (en) * 2018-05-04 2021-12-07 Hydromax USA, LLC Multi-sensor pipe inspection utilizing pipe templates to determine cross sectional profile deviations
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
CN112956189B (zh) * 2018-09-18 2023-11-14 直观外科手术操作公司 用于增强的图像传感器定时的方法和系统
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US10582137B1 (en) * 2018-09-26 2020-03-03 Zoox, Inc. Multi-sensor data capture synchronizaiton
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10812777B1 (en) * 2018-10-31 2020-10-20 Amazon Technologies, Inc. Rolling shutter motion and depth sensing
DE102018221995A1 (de) * 2018-12-18 2020-06-18 Conti Temic Microelectronic Gmbh Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras
JP2022519310A (ja) * 2019-02-07 2022-03-22 マジック リープ， インコーポレイテッド 受動深度抽出を伴う軽量のクロスリアリティデバイス
JP7271215B2 (ja) * 2019-02-18 2023-05-11 キヤノン株式会社 同期制御装置、同期制御方法、及びプログラム
US20200282921A1 (en) * 2019-03-08 2020-09-10 Ford Global Technologies, Llc Systems and methods for low light vision through pulsed lighting
US11926263B2 (en) * 2019-04-18 2024-03-12 Mitsubishi Electric Corporation Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method
WO2020240284A2 (en) 2019-05-30 2020-12-03 Mobileye Vision Technologies Ltd. Vehicle environment modeling with cameras
EP3983841B1 (en) * 2019-06-13 2023-09-20 Gentex Corporation Switchable multi-view imaging system
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN112308783A (zh) * 2019-07-24 2021-02-02 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
WO2022040349A1 (en) * 2020-08-20 2022-02-24 Blue River Technology Inc. Plant identification using dynamic cropping
CN113364980B (zh) * 2021-05-31 2022-12-06 浙江大华技术股份有限公司 设备的控制方法、装置、存储介质以及电子装置
WO2023067867A1 (ja) * 2021-10-21 2023-04-27 日立Astemo株式会社 車載制御装置、および、３次元情報取得方法
DE102021005335B4 (de) 2021-10-26 2023-11-09 Mercedes-Benz Group AG Verfahren zur Kompensation von Messfehlern
WO2023233809A1 (ja) * 2022-05-30 2023-12-07 ソニーグループ株式会社 情報処理装置及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009007412A1 (de) * 2009-02-04 2010-08-19 Audi Ag Verfahren zur Verfolgung wenigstens eines Objekts
CN102037720A (zh) * 2008-02-08 2011-04-27 谷歌公司 带有使用定时快门的多个图像传感器的全景照相机
CN102398598A (zh) * 2010-07-20 2012-04-04 通用汽车环球科技运作有限责任公司 使用前视和后视摄像机的车道融合系统
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6445287B1 (en) * 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
JP3958638B2 (ja) * 2002-06-25 2007-08-15 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7868913B2 (en) * 2003-10-10 2011-01-11 Nissan Motor Co., Ltd. Apparatus for converting images of vehicle surroundings
WO2005060640A2 (en) 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
JP2005210217A (ja) * 2004-01-20 2005-08-04 Olympus Corp ステレオカメラ
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
DE102006055641B4 (de) 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
US7961906B2 (en) 2007-01-03 2011-06-14 Science Applications International Corporation Human detection with imaging sensors
US7817187B2 (en) 2007-06-27 2010-10-19 Aptina Imaging Corporation Image blur correction using a secondary camera
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
JP5233583B2 (ja) 2008-10-24 2013-07-10 株式会社リコー 車載用監視装置
JP5167094B2 (ja) 2008-11-28 2013-03-21 三星電子株式会社 撮像装置及び撮像方法
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
DE102009026463A1 (de) 2009-05-26 2010-12-09 Robert Bosch Gmbh Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
US8723923B2 (en) * 2010-01-14 2014-05-13 Alces Technology Structured light system
US8358359B2 (en) 2010-01-21 2013-01-22 Microsoft Corporation Reducing motion-related artifacts in rolling shutter video information
JP2011160299A (ja) * 2010-02-02 2011-08-18 Konica Minolta Holdings Inc 三次元画像撮影システムおよび三次元画像撮影システム用カメラ
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
WO2011132364A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
US9118816B2 (en) * 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
CN102466478B (zh) * 2010-11-16 2014-04-23 深圳泰山在线科技有限公司 一种运动物体的距离测量系统及方法
DE102010062496B4 (de) 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
CN103649998B (zh) * 2010-12-21 2016-08-31 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
JP2012222374A (ja) 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd 車載カメラシステム
US9233659B2 (en) * 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
WO2013012335A1 (en) 2011-07-21 2013-01-24 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
WO2013029606A2 (de) 2011-08-29 2013-03-07 Bergische Universität Wuppertal Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug
DE102011111516A1 (de) 2011-08-31 2013-02-28 Akkumulatorenfabrik Moll Gmbh & Co. Kg Batterie, Batteriekasten und Verfahren zur Herstellung einer Batterie
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
EP2958054A3 (en) * 2014-06-18 2016-05-25 Mobileye Vision Technologies Ltd. Hazard detection in a scene with moving shadows
EP4220537A3 (en) * 2015-05-10 2023-08-16 Mobileye Vision Technologies Ltd. Road profile along a predicted path

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102037720A (zh) * 2008-02-08 2011-04-27 谷歌公司 带有使用定时快门的多个图像传感器的全景照相机
DE102009007412A1 (de) * 2009-02-04 2010-08-19 Audi Ag Verfahren zur Verfolgung wenigstens eines Objekts
CN102398598A (zh) * 2010-07-20 2012-04-04 通用汽车环球科技运作有限责任公司 使用前视和后视摄像机的车道融合系统
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Trinocular Divergent Stereo Vision;Andre Rieder;《PROCEEDINGS OF THE 13TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》;19960825;第859-863页

Also Published As

Publication number Publication date
US20180103218A1 (en) 2018-04-12
CN110213565A (zh) 2019-09-06
JP7074801B2 (ja) 2022-05-24
EP2946336C0 (en) 2023-06-21
WO2014111814A3 (en) 2015-02-19
US20150062304A1 (en) 2015-03-05
JP6717534B2 (ja) 2020-07-01
US10764517B2 (en) 2020-09-01
JP2020162142A (ja) 2020-10-01
JP2018078656A (ja) 2018-05-17
EP2946336B1 (en) 2023-06-21
CN110213565B (zh) 2021-03-09
EP2946336A2 (en) 2015-11-25
US9854185B2 (en) 2017-12-26
US10200638B2 (en) 2019-02-05
US20140198184A1 (en) 2014-07-17
US20160165157A1 (en) 2016-06-09
US9286522B2 (en) 2016-03-15
US20170126995A1 (en) 2017-05-04
JP6285958B2 (ja) 2018-02-28
CN104969238A (zh) 2015-10-07
WO2014111814A2 (en) 2014-07-24
JP2016514246A (ja) 2016-05-19
US20190149753A1 (en) 2019-05-16
US8908041B2 (en) 2014-12-09
US9531966B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
CN104969238B (zh) 车辆和用于车辆的成像系统
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
JP6897563B2 (ja) 画像処理装置と画像処理方法およびプログラム
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN109471096B (zh) 多传感器目标匹配方法、装置及汽车
CN106375706B (zh) 利用双摄像头进行运动物体测速的方法、装置及移动终端
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
CN108692719A (zh) 物体检测装置
CN102997891B (zh) 场景深度的测量装置和方法
CN103292695A (zh) 一种单目立体视觉测量方法
CN109089025A (zh) 一种基于光场成像技术的影像仪数字聚焦方法
CN102927917A (zh) 多目铁塔视觉测量方法
CN103217674A (zh) 一种逆合成孔径雷达的目标三维散射中心重构方法
CN110462682A (zh) 物体检测装置以及车辆
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
CN101782386B (zh) 非视觉几何的摄像机阵列视频定位方法及系统
CN112907647B (zh) 一种基于固定式单目摄像机的三维空间尺寸测量方法
Hoegner et al. Texture extraction for building models from IR sequences of urban areas
CN101778303A (zh) 基于全局特性差异的ccd阵列视频定位方法及系统
CN116362020A (zh) 一种基于多模态信息的场景流估计方法、系统及应用
JP2004061382A (ja) 通過物体高さ測定装置
US20140022358A1 (en) Prism camera methods, apparatus, and systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant