CN102037720A

CN102037720A - 带有使用定时快门的多个图像传感器的全景照相机

Info

Publication number: CN102037720A
Application number: CN2009801107588A
Authority: CN
Inventors: 理查德·F·莱恩; 盖里·恩布勒; 伊恩·理查德·蒂龙·麦克克莱奇; 贾森·霍尔特
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2008-02-08
Filing date: 2009-02-09
Publication date: 2011-04-27
Anticipated expiration: 2029-02-09
Also published as: EP2253131B1; US20090201361A1; AU2009210672A1; CN102037720B; WO2009099667A1; US20160142632A1; CA2714492A1; JP2013066247A; US10666865B2; US9794479B2; EP2253131A1; JP5337170B2; US20190313022A1; CA2714492C; US8493436B2; US20130169745A1; US20180077351A1; AU2009210672B2; JP2011512735A; US10397476B2

Abstract

本发明涉及全景静止和运动摄影领域。在第一实施例中，一种用于全景摄影的照相机设备包括被定位成捕捉第一图像的第一图像传感器。该第一图像传感器具有以画像定向布置的滚动快门读出器。该照相机设备还包括被定位成捕捉第二图像的第二图像传感器。该第二图像传感器具有以画像定向布置的滚动快门读出器。最后，该照相机设备包括被配置为信号指示第二图像传感器在第一图像传感器结束捕捉第一图像之前开始捕捉第二图像的控制器。相对于照相机设备的向前方向，第一图像的至少一个部分在第二图像前面。

Description

带有使用定时快门的多个图像传感器的全景照相机

该申请要求在2008年2月8日提交(代理人案号No.2525.1250000)并且在这里整体通过引用并入的美国临时申请No.61/027,237的利益。

技术领域

本发明涉及全景静止和运动摄影领域。

背景技术

在被联结到车辆的花饰(rosette)结构中存在包括多于一个照相机的成像系统。那些成像系统可以被用于例如沿着街道捕捉全景图像。每一个照相机包括入射光瞳。在不同的位置处具有多个入射光瞳能够引起空间视差。视差指的是感知到的、由照相机的入射光瞳的不同视点引起的、被成像的对象朝着背景的移位。当将来自多个照相机的图像拼合到一起时，视差尤其成为问题，因为当背景对象在相邻图像重叠的区域中对准时，它能够引起前景对象的重像。

已经使用了镜来避免全景成像中的视差。例如，迪斯尼(Disney)的Circle-Vision360°系统使用镜来通过多个共定位入射光瞳观看外界。这能够产生零视差。然而，制造和使用必要的大的镜是困难的。

而且，这项技术限制了竖直视场。

花饰结构中的每一个照相机包括将光学信号转换成电信号以形成图像的图像传感器。两种类型的图像传感器避免了对于机械快门的需求，即线间快门电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)传感器。

CMOS传感器通常具有滚动快门，该滚动快门按照滚过图像的顺序以稍微不同的时间曝光不同的场景线。当照相机相对于场景或者被摄体移动时，滚动快门能够引起图像畸变例如翘曲。已经作出了一些工作来补偿图像畸变。Wilburn等人描述了使用滚动快门定时偏移来处理并且校正由图像的被摄体的运动诱发的畸变。见Wilburn等人“使用稠密照相机阵列的高速摄像(High-Speed Videography Using a DenseCamera Array)”，2004计算机视觉和模式识别IEEE计算机协会大会(2004IEEE Computer Society Conference on Computer Vision andPattern Recognition)(CVPR′04)，Vol.2，pp.294-301。

线间快门CCD避免了滚动快门CMOS传感器的图像畸变问题。然而，线间快门CCD可能遭遇弥散和条纹现象。当传感器的一部分被过度曝光，从而引起光溢出到相邻像素或者读出CCD结构中时，发生弥散和条纹现象。

所需要的是这样一种成像设备，该成像设备减轻了畸变和空间视差，同时避免了与CCD相关联的弥散和条纹问题。

发明内容

本发明涉及全景静止和运动摄影领域。在第一实施例中，一种用于全景摄影的照相机设备包括被定位成捕捉第一图像的第一图像传感器。该第一图像传感器具有以画像定向布置的滚动快门读出器。该照相机设备还包括被定位成捕捉第二图像的第二图像传感器。该第二图像传感器具有以画像定向布置的滚动快门读出器。最后，该照相机设备包括控制器，该控制器被配置为信号指示第二图像传感器在第一图像传感器结束捕捉第一图像之前开始捕捉第二图像。相对于照相机设备的向前方向，第一图像的至少一部分在第二图像的前面。

在第二实施例中，一种用于全景摄影的方法包括以下步骤：利用第一图像传感器捕捉第一图像并且在第一图像的捕捉完成之前开始利用第二图像传感器捕捉第二图像。该第一和第二图像传感器具有以景观定向布置的滚动快门读出器。相对于包括第一和第二图像传感器的照相机设备的向前方向，第一图像的至少一部分在第二图像的前面。

在第三实施例中，一种用于运动摄影的照相机设备包括具有第一入射光瞳的第一照相机。在照相机设备的向前运动期间，该第一照相机捕捉第一图像。照相机设备还包括具有第二入射光瞳的第二照相机。在照相机设备的向前运动期间，该第二照相机捕捉第二图像。照相机设备的运动引起运动视差。相对于第二照相机何时捕捉第二图像的、第一照相机何时捕捉第一图像的定时使用该运动视差减小在第一照相机和第二照相机之间的空间视差的效果。

在第四实施例中，一种利用照相机设备的、用于运动摄影的方法包括：在照相机设备的向前运动期间在第一时间利用照相机设备中的第一照相机捕捉第一图像，和，在照相机设备的向前运动期间在第二时间利用照相机设备中的第二照相机捕捉第二图像。照相机设备的运动引起运动视差。相对于捕捉(b)何时发生的、捕捉(a)何时发生的定时使用该运动视差减小在第一照相机和第二照相机之间的空间视差的效果。

以此方式，本发明的实施例减小了畸变和空间视差。

在下面参考附图详细描述了本发明的进一步的实施例、特征和优点，以及各种实施例的结构和操作。

附图简要说明

并入这里并且形成说明书的一部分的附图示意本发明并且与说明一起地进一步用于解释本发明的原理并且用于使得本领域技术人员能够实现并且使用本发明。

图1A包括示意包括滚动快门CMOS传感器的照相机的图表。

图1B包括示意根据本发明的一个实施例的、具有滚动快门CMOS传感器的照相机的图表，该滚动快门CMOS传感器带有成组的、基本垂直于地面而成列布置的光电二极管。

图2A-C包括示意根据本发明的一个实施例的、可以在全景成像中使用的照相机花饰的一部分的图表。

图3包括更加详细地示出图2A-C所示的照相机花饰的操作的图表。

图4A-B示出照相机的入射光瞳的定位如何影响视差。

图5示出根据本发明的一个实施例示意对在照相机花饰中的照相机曝光进行定时以减小空间视差的图表。

图6示出附着到车辆的照相机花饰的图表。

元件首次出现的绘图通常由相应的引用数字中的最左位或者多个位示意。在图中，同样的引用数字可以示意相同或者在功能上类似的元件。

具体实施方式

本发明的实施例减小了从附着到车辆的照相机花饰摄取的全景图像中的畸变和空间视差。照相机花饰中的每一个照相机包括图像传感器。该图像传感器可以在车辆正在移动时曝光以捕捉图像。这个运动能够在所得图像中引起畸变。在本发明的一个实施例中，以“画像”定向布置CMOS传感器。如在下面详细地描述的，这减小了图像畸变。

在照相机花饰上的不同位置中具有多个照相机能够引起空间视差。在本发明进一步的实施例中，采用车辆的运动视差来抵消空间视差。在该实施例中，当车辆移动时，照相机花饰中的照相机的曝光被定时，从而当每一个传感器被曝光时，照相机的入射光瞳处于大致相同的位置中。在下面详细描述了这个实施例。

在随后的、本发明的详细说明中，对于“一个实施例”、“实施例”、“实例实施例”等的提及示意所描述的实施例可以包括具体的特征、结构或者特性，但是每一个实施例可以不必包括该具体的特征、结构或者特性。而且，这种短语不必涉及相同的实施例。此外，当结合实施例描述了具体的特征、结构或者特性时，这是承认在无论是否明确描述的其它实施例方面，实现这种特征、结构或者特性是在本领域技术人员的知识范围内的。

在这里使用的术语“照相机花饰”指的是被布置成捕捉全景图像的两个或者更多照相机。每一个照相机均捕捉图像。图像可以被拼合到一起以形成全景图像。这种拼合可以例如利用众所周知的软件技术进行。

在这里使用的术语“照相机”指的是捕捉摄影图像的器件。照相机包括图像传感器和具有入射光瞳的透镜。

在这里使用的术语“图像传感器”指的是当被曝光时将光学信号转换成电信号以捕捉图像的器件。

图1A包括示意包括滚动快门CMOS图像传感器的照相机的图表100。图表100在两个时间点处示出照相机及其图像传感器。在第一时间点处，照相机处于位置102并且它的图像传感器处于位置104。在第二时间点处，照相机处于位置112并且它的图像传感器处于位置114。图中的点代表透镜的入射光瞳，并且为了简洁起见，按照针孔照相机的方式，示出射线透射通过它。

在一个实例中，该照相机可以被联结到车辆，并且车辆的运动可能已经引起照相机移动。如上所述，该图像传感器可以是滚动快门CMOS传感器。滚动快门CMOS传感器可以包括在曝光期间捕捉光并且将光转换成电信号的、成组的光电二极管。滚动快门CMOS传感器可以在不同的时间曝光不同的光电二极管组。滚动快门CMOS传感器具有读出时间。读出时间是在所有光电二极管组的各自的曝光时间结束时读出所有光电二极管组所必要的时间。在图1A所示实例中，CMOS传感器处于“景观”定向中，这意味着光电二极管组是以平行于地面延伸的行布置的。

滚动快门传感器可以在车辆处于运动中时被曝光。在一个实例中，滚动快门传感器可以要求100ms的读出时间来捕捉图像。在图像被捕捉时，车辆和照相机可能已经向前移动了1m。该运动引起由图像传感器捕捉的对象改变，如在106处所示地。这在所得图像中引起畸变。因为CMOS传感器中的、不同行的光电二极管被在不同的时间曝光，所以图像可能出现翘曲，例如竖直特征可能是倾斜的。不具有滚动快门并且被整体曝光的图像传感器例如线间快门CCD传感器可以减小或者避免翘曲。然而，如早先述及地，线间快门CCD传感器可能遭遇弥散(blooming)和条纹现象。

为了应对由于滚动快门传感器而引起翘曲的问题，本发明的实施例具有以“画像”定向布置的滚动快门图像传感器，如在图1B中所示意地。图1B包括图表150，该图表150示意具有处于画像定向中的滚动快门传感器例如CMOS传感器的照相机。画像定向意味着光电二极管组是以垂直于地面延伸的列布置的。

图表150示出在不同的时间点处于不同位置的照相机。如早先述及地，照相机可以被附着到车辆，并且车辆可能是处于运动中的。在本发明的一个实施例中，光电二极管列是在对象空间中从后向前地并且在图像空间中从前向后地曝光的。

在位置152处，照相机曝光最前光电二极管列156以捕捉包括最后的视场154的图像。然后，在位置160处，照相机曝光在光电二极管列156后面的光电二极管列158。这个曝光捕捉在视场154前面的视场172。当照相机移动到位置162和位置164时，光电二极管列继续以从前向后方式曝光，这样从后向前地捕捉对象。最终，当照相机处于位置166时，照相机曝光最后的光电二极管列168以捕捉包括最前视场170的图像。

以画像定向定位图像传感器避免了在景观定向中发生的、竖直特征的翘曲。相反，对象可能表现为被以依赖于它们的距离的量拉伸。拉伸并不像翘曲那样在视觉上令人感到不悦。事实上，拉伸可能是一种积极的特征。当沿着所述方向布置滚动快门时，拉伸使得前景对象相对于背景对象更瘦而非更胖。结果，前景对象遮蔽的、在它们后面的场景更少。这在与全景成像有关的很多应用中可能是一个益处。

全景成像经常包括从沿着不同方向定向的多个照相机摄取图像。该多个图像然后可以使用众所周知的软件技术而被一起地拼合成全景。当以此方式使用多个照相机时，对象可以存在于多于一个照相机的视场中。在运动摄影中，对象可能相对于照相机而随着时间移动或者改变。如果多个照相机在不同的时间曝光该对象，则对象可以在将一起地拼合成单一全景的多个图像中不同地出现。所得全景可能具有重像或者其它不理想的图像问题。为了应对这个问题，曝光需要在多个照相机之间得到协调以同时地或者接近同时地捕捉对象。利用滚动快门图像传感器，这进一步变得更加难以解决，因为每一个图像传感器的不同的部分被在不同的时间曝光。为了应对这个问题，本发明的实施例对多个图像传感器的曝光进行定时，如在图2A-C中所示意地。

图2A-C包括示意可以在全景成像中使用的照相机花饰的一部分的图表。照相机花饰中的每一个照相机包括沿着如关于图1B描述的画像定向的滚动快门图像传感器，例如滚动快门CMOS传感器。

图2A包括图表200。图表200示出带有照相机202和210的照相机花饰。为了清楚起见，仅仅示出两个照相机。然而，在实践中花饰可以包含不同数目的照相机。照相机202具有向视场220曝光的光电二极管列204。

图2B包括图表230。图表230示出在以后的时间点的在图2A中所示的花饰。照相机202具有总视场224，并且照相机210具有总视场234。当照相机202从后向前地(在对象空间中)跨过视场224扫描时，照相机202开始从光电二极管列206的组曝光光电二极管列。列206的组捕捉在视场222内的对象。对于远侧对象，视场222与照相机210的总视场234重叠。

当照相机202开始从列206的组曝光光电二极管列时，照相机210开始从光电二极管列208的组曝光光电二极管列。照相机210从后向前地(在对象空间中)曝光列208的组中的光电二极管列以捕捉视场226。对于远侧对象，视场226与照相机202′的总视场224重叠。有效地，与照相机210曝光列208的组中的光电二极管列同时地，照相机202曝光列206的组中的光电二极管列。当照相机202完成曝光列206的组时，照相机202结束它的曝光。然而，照相机210继续曝光光电二极管列，如图2C所示。

图2C示出图表240。图表240示出在照相机202已经完成它的曝光之后的、以后的时间点的在图2B中所示的花饰。在图表240中，光电二极管列232被曝光，从而捕捉视场228。当照相机210继续它的曝光时，它可以与利用另一照相机(未示出)的视场重叠，并且如关于图3描述地，该过程可以对于整个照相机花饰继续。

关于示意性的实例描述了在图2A-C中示意的实施例。在一个实例中，在照相机202和照相机210之间对于远侧对象的重叠视场222可以是照相机202的总视场224的10％。在该实例中，在当照相机202开始曝光时的时间和当照相机210开始曝光时的时间之间的延迟可以是照相机202读出时间的90％。照相机202和210可以具有或者可以不具有相同的读出时间。在其中读出时间是100ms的实例中，在当照相机202开始曝光时的时间和当照相机210开始曝光时的时间之间的延迟可以是90ms。

照相机花饰可以具有同步化照相机的至少一个控制器，从而以规定的时间偏移捕捉图像。从而，可以利用示意每一个照相机何时开始捕捉图像的延迟而对该控制器预编程。

在另一实施例中，延迟时间可以根据车辆的速率而偏移。如在下面关于图5描述地，这具有以下效果，即，使用来自车辆移动的运动视差来抵消由该多个照相机引起的空间视差。

如上所述，关于图2A-C描述的两个照相机的操作可以贯穿整个照相机花饰而继续。在一个实施例中，照相机花饰可以具有被定位成捕捉360度全景的、总共在六个和十个之间的照相机，包括六个和十个。在一个优选实施例中，照相机花饰可以具有至少八个照相机，例如关于图3示意的花饰。

图3示出图表300，该图表300更加详细地示意根据本发明的一个实施例的照相机花饰的操作。在一个优选实施例中，照相机花饰可以包括九个照相机，八个照相机处于水平环中，并且一个照相机直向上。图表300示出八个水平照相机。照相机花饰中的每一个照相机包括带有光电二极管列的、处于画像定向的滚动快门传感器。

照相机花饰以最后照相机305和304开始捕捉全景图像。照相机305和304这两者通过曝光最后的光电二极管列(在对象空间中)而开始并且向前扫描，如关于图1B描述的。照相机306、303在由时间延迟限定的时间开始捕捉图像，如关于图2B描述的。

花饰继续向前扫描，直至最前的照相机301、308已经完成扫描。每一个照相机在由在它的后面的相邻照相机的开始时间加上延迟所限定的时间开始。例如，照相机302在由照相机303的开始时间加上延迟所限定的时间开始。该延迟可以对应于在相邻照相机的视场中的重叠尺寸，如关于图2B描述的。该延迟还可以根据车辆速率而偏移，如关于图5描述的。

图3中的八个照相机中的每一个均处于不同的位置并且具有处于不同位置的入射光瞳。使得入射光瞳处于不同的位置引起如在图4A-B中所示意的空间视差。

图4A-B示出两个照相机的入射光瞳的定位如何影响空间视差。图4A示出一种实例成像设备400。成像设备400包括照相机402和照相机404。照相机402具有入射光瞳406，并且照相机404具有入射光瞳408。入射光瞳406和入射光瞳408被以距离426分离。每一个照相机402、404捕捉包括对象410的图像。然而当对象410出现于照相机402、404中时在对象410的背景中存在大的差异。这由大的视差角度422示出。

图4B示出一种实例成像设备450。成像设备450包括照相机416和照相机414。照相机416具有入射光瞳418，并且照相机414具有入射光瞳420。入射光瞳418和入射光瞳420被以距离428分离。距离428比图4A中的距离426更短。每一个照相机416、414捕捉包括对象412的图像。如与图4A中的照相机402、404相比，当对象412出现于照相机416、414中时，在对象412的背景中存在小的差异。这是由视差角度424示出的。因此，图4B中的视差角度422小于图4A中的视差角度424。

因此，处于不同地方中的两个照相机能够引起空间视差。类似地，在不同的时间处于不同位置中的照相机引起运动视差。根据本发明的一个实施例，由照相机花饰的运动引起的运动视差抵消或者减小了由在照相机花饰上位于不同位置处的不同照相机的入射光瞳引起的空间视差的效果。在图5中示意出这个实施例。

图5示出图表500，该图表500示意根据本发明的一个实施例对照相机花饰中的照相机的曝光进行定时以减小视差。如在图4A-B中所示，当照相机入射光瞳变得更加靠近到一起时，在照相机之间的空间视差降低。图表500示出在车辆的运动期间如何对照相机的曝光进行定时从而当每一个照相机的入射光瞳位于大致相同的位置处时每一个照相机被曝光。结果，在图表500中，由移动中的车辆引起的运动视差减小了由于多个照相机引起的空间视差。

图表500示出在三个不同的时间点在三个位置510、520、530处的照相机花饰的一部分。所示照相机花饰示出三个照相机502、504和506。照相机502、504和506分别地具有入射光瞳508、514和512。为了清楚起见，仅仅示出三个照相机。然而，在实践中，可以使用不同数目的照相机(例如在另一实施例中8个水平照相机和总共9个照相机)。

在图5中的实施例中，图像传感器可以具有或者可以不具有滚动快门。该实施例对于滚动快门适用。然而，该实施例还可以利用具有“全局”快门的图像传感器例如线间CCD或者使用机械快门的图像传感器减小视差。图像捕捉被描述成在瞬间发生，即使将存在一些曝光持续时间和导致小的运动模糊。在位置510处，照相机502捕捉图像。在位置510处，照相机502的入射光瞳508在位置524处。每一个随后的照相机被定时以当该照相机的入射光瞳大致位于位置524处时摄取图像。

当车辆正在移动时，在以后的时间点期间，照相机花饰到达位置520。在位置520处，照相机504的入射光瞳514大致在位置524处。在这点处，照相机504捕捉图像。最后，在位置530处，照相机506的入射光瞳512大致到达位置524，并且照相机506捕捉图像。

近似可能是由于车辆速率中的不准确性，或者车辆方向的变化而引起的。在一个实例中，近似可以基于在有关时段上的、与实际速率相对的平均车辆速率。而且，近似可能是由于以下事实，即，照相机在照相机花饰上以二维或者三维方式定位，而花饰(例如，在车辆上)的运动可能沿着仅仅一个方向。例如，在图5中，因为入射光瞳508和入射光瞳514在垂直于运动轴线的轴线上处于不同的位置，所以入射光瞳508并不精确地处于与入射光瞳514相同的位置处。

在另一实施例中，虚拟平面垂直于照相机花饰的运动方向。当照相机的入射光瞳通过该平面时，照相机花饰中的每一个照相机可以曝光。以此方式，当每一个照相机的入射光瞳处于大致相同的位置时，每一个照相机被曝光，从而降低视差。

如早先指出地，可以根据车辆速率和在照相机之间的距离，例如距离522计算用于触发每一个随后的照相机的时间。在所述实例中，从当照相机504捕捉图像时的时间与当照相机506捕捉图像时的时间的延迟是距离522除以车辆的速率。假设距离522是10cm并且车辆速率是10m/s，则在当照相机504捕捉图像时的时间和当照相机506捕捉图像时的时间之间的延迟将是10ms。换言之，更后面的照相机(照相机506)在更前面的照相机(照相机504)之后10ms时开始捕捉图像。

如早先述及地，被用于对照相机定时的车辆速率可以是平均车辆速率。可替代地，车辆速率可以由速度计、车轮编码器(wheel encoder)或者GPS传感器实时地确定。速率可以作为信号而被发送到照相机中的控制器，该控制器据此调节定时。

在一个优选实施例中，可以与关于图2A-C描述的特征相结合地使用图表500所示特征。图2B描述在照相机花饰中的定时照相机曝光，在该照相机花饰中，每一个照相机均包括处于画像定向的滚动快门CMOS传感器。在该实施例中，每一个照相机被定时成当前一照相机开始以一定距离扫描它们的视场重叠的区域时开始曝光。关于图2B描述该实施例，在当照相机202开始曝光时和当照相机210开始曝光时之间的延迟基本上满足等式：

t = R_{1} \cdot F_{1} - \frac{D_{12}}{v}

其中t是延迟时间、R₁是第一图像传感器的滚动快门读出时间、F₁是并不与第二图像传感器的视场重叠的、第一图像传感器的视场的百分比、D₁₂是在第一图像传感器的入射光瞳和第二图像传感器的入射光瞳之间的距离，并且v是照相机设备的速度。将会认识到，可以将小的变化例如小的偏移和系数添加到这个等式。

在关于图2B给出的实例中，在照相机202和照相机210之间的重叠视场222可以是照相机202的总视场的10％。在该实例中，照相机202的视场的90％并不与照相机210的视场重叠。在其中照相机202的读出时间是100ms的实例中，在当照相机202开始曝光时的时间和当照相机210开始曝光时的时间之间的延迟可以是90ms。换言之，更前面的照相机(照相机210)在更后面的照相机(照相机202)开始捕捉图像之后90ms时开始捕捉图像。结果，带有重叠视场的照相机同时地或者从相同的车辆位置捕捉在它们的重叠区域中的对象的图像。这个定时是对于视差的一阶校正，即，它防止了如当照相机同时地启动它们的滚动快门时将会发生的、如果在非常不同的时间和非常不同的车辆位置处捕捉重叠区域中的对象则将会产生的大的视差。然而，由于照相机的入射光瞳并不处于相同的地方，所以残留了较小的视差。

在结合图表500和图2A-C这两者中的特征的实施例的一个实例中，延迟时间偏移以进一步减小空间视差。在关于图5给出的实例中，更后面的照相机(照相机506)在更前面的照相机(照相机504)之后10ms时开始捕捉图像。在图2A-C中的实例中，更前面的照相机(照相机210)在更后面的照相机(照相机202)开始捕捉图像之后90ms时开始捕捉图像。在组合实施例中，90ms延迟被偏移10ms。因此，更前面的照相机在更后面的照相机开始捕捉图像之后80ms时开始捕捉图像。共同地考虑到滚动快门读出器延迟、车辆速率和入射光瞳间隔，这个实施例具有减小的空间视差。

在另一实施例中，用于减小的空间视差的定时偏移可以仅仅被应用于照相机花饰中的一些照相机。在一个实例中，该偏移可以被仅仅应用于相对于车辆运动指向一旁的那些照相机。指向一旁的照相机可以是如下情况下的照相机，即，在该情况下，典型车辆运动将更靠后面的照相机的入射光瞳的位置移动到其中照相机以例如0.01s或者更少的时间摄取图像的位置。在该实例中，全景的前视和后视部分的空间视差可以不被运动视差抵消，而是沿着这些方向的对象趋向于足够远从而不具有大的视差问题。

作为一个可替代实施例，具有非常快速的读出时间的滚动快门可能是有用的。当快门读出时间变得更快时，为了对滚动快门加以考虑而计算的延迟(如在图2A-C中描述)降低。从而，在具体的读出时间，用于滚动快门的延迟和用于考虑空间视差的偏移可以相互抵消。这个读出时间是车辆向前移动与在入射光瞳之间的距离相等的距离所占用的时间。在一个实例中，第一图像传感器的读出时间可以是10ms。第一图像传感器的视场的百分之九十可以不与第二的、下一最前图像传感器重叠。如果车辆是静止的，则在第一和第二图像传感器的曝光之间的延迟时间将是9ms。然而，如果车辆正以9m/s移动并且在第一和第二图像传感器之间的距离是10cm，则由于车辆运动而引起的延迟偏移也将是9ms。因此，所述偏移将有效地相互抵消。类似地，可以使用具有可变滚动读出时间的图像传感器。在该情形中，可以根据车辆的速度调节读出时间。

图6示出被附着到车辆602的照相机花饰604。照相机花饰604包括多个照相机，例如照相机606。在一个实例中，照相机花饰604可以被用于捕捉沿着街道延伸的建筑物的全景图像。

照相机花饰中的每一个照相机均被耦接到控制器608。如早先述及地，控制器608控制每一个照相机的曝光定时。控制器608可以接收示意车辆速度的输入。可替代地，控制器608可以利用定时偏移，例如基于车辆平均速度的偏移而被预编程。可以使用单一控制器608。可替代地，每一个照相机可以具有它自身的控制器。

可以在硬件、软件、固件或其任何组合中实现控制器608。控制器608可以例如是运行软件以控制照相机的曝光的通用计算机。控制器608可以具有处理器和存储器。

发明内容和摘要部分可能阐述了本发明人(一个或者多个)考虑到的、本发明的一个或者多个但是并非所有的示例性实施例，并且因此，并非旨在以任何方式限制本发明和所附权利要求。

具体实施例的、前面的说明将如此充分地揭示本发明的基本特征，使得其他人能够在不偏离本发明的基本概念的前提下，通过应用本技术领域内的知识而容易地对于各种应用修改和/或调整这种具体实施例而不用进行过度的试验。因此，基于这里提出的教导和指导，期望这种调整和修改是在所公开的实施例的等价形式的意义和范围内的。应该理解，措辞或者术语在这里是为了说明而非限制的目的，从而本说明书的术语或者措辞将由技术人员根据所述教示和指导进行解释。

本发明的广度和范围不应该由任何的上述示例性实施例限制，而是应该仅仅根据以下权利要求和它们的等价形式得以限定。

Claims

1.一种用于全景摄影的照相机设备，包括：

被定位成捕捉第一图像的第一图像传感器，所述第一图像传感器具有以画像定向布置的滚动快门读出器；

被定位成捕捉第二图像的第二图像传感器，所述第二图像传感器具有以画像定向布置的滚动快门读出器；和

控制器，所述控制器被配置为信号指示所述第二图像传感器在所述第一图像传感器结束捕捉所述第一图像之前开始捕捉所述第二图像，

其中相对于所述照相机设备的向前方向，所述第一图像的至少一部分在所述第二图像前面。

2.根据权利要求1的照相机设备，其中所述控制器被配置为大致当所述第一图像传感器开始捕捉所述第一和第二图像传感器的重叠视场时，信号指示所述第二图像传感器开始捕捉所述第二图像。

3.根据权利要求1的照相机设备，其中所述控制器被配置为信号指示所述第二图像传感器以与所述第一和第二图像传感器的重叠视场相应的延迟时间开始捕捉所述第二图像。

4.根据权利要求3的照相机设备，其中所述延迟时间根据所述照相机设备的速率数值而偏移，以使用从所述照相机设备的运动产生的运动视差来抵消在所述第一和第二图像传感器之间的空间视差。

5.根据权利要求4的照相机设备，其中所述照相机设备的所述速率数值是所述照相机设备的近似或者平均速率。

6.根据权利要求4的照相机设备，其中所述延迟时间以在所述照相机设备的向前运动期间在当所述第一图像传感器的入射光瞳经过一定位置时和当所述第二图像传感器的入射光瞳经过所述位置时之间的时间而偏移。

7.根据权利要求4的照相机设备，其中所述延迟时间近似满足以下等式：

t = R_{1} \cdot F_{1} - \frac{D_{12}}{v},

其中t是所述延迟时间，

其中R₁是所述第一图像传感器的滚动快门读出时间，

其中F₁是不与所述第二图像传感器的视场重叠的、所述第一图像传感器的视场的百分比，

其中D₁₂是在所述第一图像传感器的入射光瞳和所述第二图像传感器的入射光瞳之间的距离，并且

其中v是所述照相机设备的速度。

8.根据权利要求1的照相机设备，其中所述第一和第二图像传感器被联结到车辆。

9.根据权利要求1的照相机设备，其中所述第一图像传感器曝光所述第一图像传感器的至少第一和第二列，相对于所述照相机设备的向前运动，所述第一列捕捉所述第一图像的更靠后面的部分并且所述第二列捕捉所述第一图像的更靠前面的部分，

其中所述第一图像传感器的所述第一列在所述第一图像传感器的所述第二列之前开始曝光，

其中所述第二图像传感器曝光所述第二图像传感器的至少第一和第二列，相对于所述照相机设备的向前运动，所述第一列捕捉所述第二图像的更靠后面的部分并且所述第二列捕捉所述第二图像的更靠前面的部分，并且

其中所述第二图像传感器的所述第一列在所述第二图像传感器的所述第二列之前开始曝光。

10.根据权利要求1的照相机设备，进一步包括至少六个另外的图像传感器，其中计算机能够将从所述总共至少八个照相机摄取的图像拼合到一起以形成全景图像。

11.根据权利要求1的照相机设备，其中所述第一和第二图像传感器是CMOS图像传感器。

12.一种用于全景摄影的方法，包括：

(a)利用第一图像传感器捕捉第一图像，所述第一图像传感器具有以景观定向布置的滚动快门读出器；和

(b)在(a)中的捕捉完成之前开始利用第二图像传感器捕捉第二图像，所述第二图像传感器具有以景观定向布置的滚动快门读出器，

其中相对于包括所述第一和第二图像传感器的照相机设备的向前方向，所述第一图像的至少一部分在所述第二图像前面。

13.根据权利要求12的方法，其中所述开始捕捉(b)以与所述第一和第二图像传感器的重叠视场相应的延迟时间发生。

14.根据权利要求13的方法，其中所述延迟时间根据所述照相机设备的速率数值而偏移，以使用从所述照相机设备的运动产生的运动视差来抵消在所述第一和第二图像传感器之间的空间视差。

15.一种用于运动摄影的照相机设备，包括：

具有第一入射光瞳的第一照相机，其中，在所述照相机设备的向前运动期间，所述第一照相机捕捉第一图像；和

具有第二入射光瞳的第二照相机，其中，在所述照相机设备的向前运动期间，所述第二照相机捕捉第二图像，

其中所述照相机设备的运动产生运动视差，并且

其中相对于所述第二照相机何时捕捉所述第二图像的、所述第一照相机何时捕捉第一图像的定时使用所述运动视差以减小在所述第一照相机和所述第二照相机之间的空间视差的效果。

16.根据权利要求15的照相机设备，其中，在所述照相机设备的向前运动期间，当所述第一入射光瞳处于第一位置时所述第一照相机捕捉第一图像，并且当所述第二入射光瞳处于第二位置时所述第二照相机捕捉第二图像，其中所述第二位置近似等于所述第一位置。

17.根据权利要求15的照相机设备，其中所述第一和第二照相机被联结到车辆。

18.根据权利要求15的照相机设备，进一步包括至少六个另外的图像传感器，其中计算机能够将从所述总共至少八个照相机摄取的图像拼合到一起以形成全景图像。

19.一种利用照相机设备的、用于运动摄影的方法，包括：

(a)在所述照相机设备的向前运动期间在第一时间利用所述照相机设备中的第一照相机捕捉第一图像；和

(b)在所述照相机设备的向前运动期间在第二时间利用所述照相机设备中的第二照相机捕捉第二图像，

其中所述照相机设备的运动产生运动视差，

其中相对于捕捉(b)何时发生的、捕捉(a)何时发生的定时使用所述运动视差以减小在所述第一照相机和所述第二照相机之间的空间视差的效果。

20.根据权利要求19的方法，其中所述捕捉所述第一图像(a)包括当所述第一照相机的第一入射光瞳处于第一位置时捕捉所述第一图像，并且

其中所述捕捉所述第二图像(b)包括当所述第二入射光瞳处于第二位置时捕捉所述第二图像，其中所述第二位置近似等于所述第一位置。

21.一种用于全景摄影的系统，包括：

用于利用第一图像传感器捕捉第一图像的装置，所述第一图像传感器具有以景观定向布置的滚动快门读出器；并且

用于在(a)中的捕捉完成之前利用第二图像传感器开始捕捉第二图像的装置，所述第二图像传感器具有以景观定向布置的滚动快门读出器，

22.一种利用照相机设备的、用于运动摄影的设备，包括：

用于在所述照相机设备的向前运动期间在第一时间利用所述照相机设备中的第一照相机捕捉第一图像的装置；和

用于在所述照相机设备的向前运动期间在第二时间利用所述照相机设备中的第二照相机捕捉第二图像的装置，

其中所述照相机设备的运动产生运动视差，

其中相对于所述第二图像的捕捉何时发生的、所述第一图像的捕捉何时发生的定时使用所述运动视差以减小在所述第一照相机和所述第二照相机之间的空间视差的效果。