CN104685868B

CN104685868B - 用于校准成像装置的方法及设备

Info

Publication number: CN104685868B
Application number: CN201380050558.4A
Authority: CN
Inventors: 塞尔久·R·戈马; 卡林·米特科夫·阿塔纳索夫; 维卡斯·拉马钱德兰
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-10-05
Filing date: 2013-10-01
Publication date: 2017-10-13
Anticipated expiration: 2033-10-01
Also published as: US20160182890A1; JP6367203B2; US10104364B2; KR20150067285A; WO2014055554A1; JP2015534400A; KR102223584B1; US9275459B2; EP2904777A1; CN104685868A; US20140098194A1

Abstract

本发明描述用于调整立体图像对的图像的方法及设备。所述方法及设备可通过第一及第二成像传感器捕获第一及第二图像。所述两个成像传感器具有本征及非本征参数。还可以基于本征及非本征参数确定参考成像传感器的正规化焦距。随后基于所述正规化焦距调整校准矩阵。所述校准矩阵可以应用于通过图像传感器捕获的图像。

Description

用于校准成像装置的方法及设备

技术领域

本发明的实施例涉及成像装置，且确切地说，涉及用于包含一个以上成像传感器的成像装置的校准的方法及设备。

背景技术

过去十年，数字成像能力已经集成到各种各样的装置中，所述装置包含数码相机及移动电话。近年来，用这些装置来捕获立体图像的能力已经在技术上成为可能。装置制造商通过引入集成了多个数字成像传感器的装置来作出响应。多种多样的电子装置，包含移动无线通信装置、个人数字助理(PDA)、个人音乐系统、数码相机、数字记录装置、视频会议系统及其类似者利用多个成像传感器向其用户提供多种能力及特征。这些不仅包含立体(3D)成像应用，例如3D照片及视频或电影，而且包含较高动态范围成像及全景成像。

包含这种能力的装置可以包含多个成像传感器。举例来说，一些产品将两个成像传感器集成在数字成像装置内。当捕获立体图像时，这些传感器可以沿着水平轴对齐。每一相机可以不仅基于数字成像装置的位置，而且基于成像传感器在相机上的物理位置及定向捕获场景的图像。由于一些实施方案提供可以水平偏移的两个传感器，因此通过每一传感器捕获的图像还可以在水平定向上反映两个传感器之间的差异。在水平定向上通过传感器捕获的两个图像之间的此种差异提供两个图像之间的视差。当用户观察由两个图像组成的立体图像对时，人类大脑基于两个图像之间的视差感知图像内的深度。

在一些环境中，包含多个成像传感器的成像装置的主要用途仍可以是捕获传统的二维快照及电影。在这些环境中，双成像传感器针对立体图像及电影的使用可以被认为是不太频繁使用的便利性特征。对于这些用户，可以设计提供一个具有相对高的分辨率的成像传感器的成像装置。可以采用此第一成像传感器来捕获二维快照及电影。由于可以仅使用一个成像传感器来捕获二维图像，因此可以使用一个相对高分辨率的传感器提供高质量的二维图像。成像装置还可以包含第二成像传感器，所述第二成像传感器以低于第一成像传感器的分辨率捕获图像。此第二成像传感器可以与第一成像传感器结合使用以捕获立体快照及电影的图像对。由于这些立体图像对包含以不同分辨率捕获的两个图像，因此成像装置内的额外图像处理可以补偿通过两个成像传感器捕获的图像之间的差异，以向用户提供令人满意的立体快照或电影。

当与设计有两个高分辨率传感器的成像装置相比时，使用具有不同分辨率的两个成像传感器可以降低成像装置的成本。成本降低不仅可以归因于第二较低分辨率成像传感器的较低成本，而且还归因于用于较低分辨率传感器的较低成本的辅助电子设备，包含(例如)电源电路及图像处理电路。

当具有不同分辨率的成像传感器用于捕获立体图像对时，通过成像装置采用的图像处理方法可以补偿不对称的传感器分辨率以及可能存在于两个成像传感器之间的其它差异。举例来说，这些方法可以补偿传感器几何结构、亮度及颜色响应方面的差异。另外，补偿不同传感器的电子定时及同步方面的差异也可能是必需的。相机校准方法还可以适用于更好地校准不同成像传感器。

发明内容

本发明的实施例中的一些实施例可以包含校准立体成像装置的方法。所述方法包含：通过第一图像传感器捕获所关注场景的第一图像，所述第一图像传感器具有第一分辨率、本征参数的第一集合及非本征参数的第一集合；通过第二图像传感器捕获所述所关注场景的第二图像，所述第二图像传感器具有不同于所述第一分辨率的第二分辨率、本征参数的第二集合及非本征参数的第二集合，其中所述第一图像及第二图像包括立体图像对；至少部分地基于所述本征及非本征参数确定参考成像传感器的正规化焦距；基于所述正规化焦距调整校准矩阵；及基于所述校准矩阵调整非参考图像。在一些实施例中，所述本征参数包含分辨率及视场。在一些实施例中，所述非本征参数包含相机位姿参数。在这些实施例中的一些实施例中，所述相机位姿参数包含侧倾、纵倾及所述第一成像传感器与所述第二成像传感器之间的侧滚偏移。在一些实施例中，所述参考成像传感器为所述第一成像传感器且所述非参考图像为所述第二图像。

揭示的另一方面是一种用于捕获立体图像对的设备。所述设备包含：第一成像传感器，其具有第一分辨率、第一本征参数及第一非本征参数；第二成像传感器，其具有不同于所述第一分辨率的第二分辨率、第二本征参数及第二非本征参数；传感器控制器，其可操作地耦合到所述第一成像传感器及所述第二成像传感器；处理器；存储器，其可操作地耦合到所述处理器并且存储：传感器控制模块，其经配置以通过第一图像传感器捕获所关注场景的第一图像并且通过第二图像传感器捕获所述所关注场景的第二图像，其中所述第一图像及第二图像包括立体图像对；焦距确定模块，其经配置以至少部分地基于所述本征及非本征参数确定参考成像传感器的正规化焦距；校准矩阵调整模块，其经配置以基于所述正规化焦距调整校准矩阵；及投影校正模块，其经配置以基于所述校准矩阵调整非参考图像。

在一些实施例中，所述本征参数包含分辨率及视场。在一些实施例中，所述非本征参数包含相机位姿参数。在一些实施例中，所述相机位姿参数包含侧倾、纵倾及所述第一成像传感器与所述第二成像传感器之间的侧滚偏移。

揭示的另一方面是一种用于捕获立体图像对的设备。所述设备包含：用于通过第一图像传感器捕获所关注场景的第一图像的装置，所述第一图像传感器包含第一分辨率、第一本征参数及第一非本征参数；用于通过第二图像传感器捕获所述所关注场景的第二图像的装置，所述第二图像传感器具有第二分辨率、第二本征参数及第二非本征参数，其中所述第一图像及第二图像包括立体图像对；用于至少部分地基于所述本征及非本征参数确定参考成像传感器的正规化焦距的装置；用于基于所述正规化焦距调整校准矩阵的装置；及用于基于所述校准矩阵调整非参考图像的装置。

揭示的另一方面是一种存储处理器指令的非暂时性计算机可读媒体，当执行时，所述处理器指令使处理器执行以下所述方法：通过第一图像传感器捕获所关注场景的第一图像，所述第一图像传感器具有第一分辨率、第一本征参数及第一非本征参数；通过第二图像传感器捕获所述所关注场景的第二图像，所述第二图像传感器具有第二分辨率、第二本征参数及第二非本征参数，其中所述第一图像及第二图像包括立体图像对；至少部分地基于所述本征及非本征参数确定参考成像传感器的正规化焦距；基于所述正规化焦距调整校准矩阵；及基于所述校准矩阵调整非参考图像。在一些实施例中，所述本征参数包含分辨率及视场。在一些实施例中，所述非本征参数包含相机位姿参数。在一些实施例中，所述相机位姿参数包含侧倾、纵倾及所述第一成像传感器与所述第二成像传感器之间的侧滚偏移。

附图说明

将在下文中结合附图来描述所揭示方面，提供附图是为了说明但不限制所揭示方面，其中相同符号表示相同元件。

图1是展示包含立体成像装置的成像环境的一个方面的框图，所述立体成像装置包含两个成像传感器。

图2是实施图像捕获系统的至少一个操作性实施例的成像装置的框图。

图3是用于调整立体图像对的过程的一个实施例的流程图。

图4A是传感器控制器及第一和第二成像传感器的框图。

图4B是传感器控制器的框图。

图4C是说明使用所揭示的I2C路由器的实施例将两个命令发送到不对称成像传感器的时序图。

图5是使用共享SCL线将两个不同命令发送到两个成像传感器的过程的一个实施例的流程图。

具体实施方式

本发明的实施例涉及包含用于捕获立体图像对的两个不同大小或不同分辨率的图像传感器的方法及系统。为了向用户提供良好质量的立体图像，所述系统调整用于所述两个不同图像传感器，如下文所描述。举例来说，在一个实施例中，所述系统可以包含具有相对低数目的百万像素的第一传感器及具有相对高数目的百万像素的第二传感器。另外，在一个实施例中，所述系统可以包含以相对低的分辨率捕获图像的第一传感器及以相对高的分辨率捕获图像的第二传感器。如下文所使用，这两个不同传感器被称作“不对称成像传感器”。

补偿成像装置中的不对称成像传感器之间的差异可以通过下文描述的图像处理方法执行。在一些实施方案中，这些图像处理方法可以通过成像装置本身执行。举例来说，在一个实施例中，通过一对不对称传感器捕获的图像的观测几何结构经调整，使得分辨率、视场及焦距在通过不对称成像传感器捕获的图像之间是相等的。

为了在通过不对称成像传感器捕获的图像之间实现基本上相同的分辨率，一些实施方案可以合并来自第一较高分辨率成像传感器的第一图像中的像素数据以减小第一图像数据的分辨率。在第一图像中的数据被合并之后，第一图像的分辨率可以基本上等于通过较低分辨率成像传感器捕获的第二图像的分辨率。

在产生具有比通过第二较低分辨率图像传感器捕获的第二图像大四倍的分辨率的第一图像的实例实施方案中，通过第一成像传感器捕获的像素值可以使用2×2分组过程合并。在此过程中，来自第一高分辨率传感器的四个(4)像素可以合并成单个较大像素，从而减少通过第一成像传感器产生的图像数据中的像素的总数目。通过合计或分组通过较高分辨率图像传感器产生的图像数据，通过第一成像传感器捕获的图像的分辨率可以被调整成基本上等于通过第二较低分辨率成像传感器产生的图像的分辨率。

除分组图像数据之外，一些其它实施方案可以裁剪通过较高分辨率的第一成像传感器产生的第一较高分辨率图像，使得第一图像数据具有与通过较低分辨率的第二成像传感器产生的第二图像数据相等的分辨率。第一图像以此方式的裁剪还可以改变第一图像的视场。

在替代实施例中，一些其它实施方案可以上取样较低分辨率图像以将其分辨率调整至基本上等于较高分辨率图像。实际上，一些实施例可以二次采样较高分辨率图像以将其分辨率调整至基本上等于较低分辨率图像。

在裁剪或分组过程已完成之后，通过第一较高分辨率成像传感器及第二较低分辨率成像传感器产生的图像的分辨率可以基本上相等。然而，通过两个图像展示的视场仍可以是不同的。所述视场可能由于裁剪及/或分组而不同，或者可能由于不对称成像传感器本身的视场的变化而不同。举例来说，如果不对称成像传感器包含具有不同曲率的透镜，那么通过所述两个不对称成像传感器捕获的视场可能不同。图像的视场可以使用可以通过实施方案改变的多种方法制成相等的。举例来说，一些实施方案可以裁剪具有较大视场的图像以使两个图像的视场相等。

一些实施方案可以利用校准过程来均衡通过不对称成像传感器捕获的两个图像的视场及焦距。所述校准过程可以应用于通过所述不对称成像传感器对捕获的图像并且还可以基于所述图像。所述校准过程可以产生可以应用于通过不对称成像传感器捕获的图像的校准矩阵。在将校准矩阵应用于图像对之后，图像对的几何结构可以基本上均等。图像的位姿可以均等，因为图像对中的图像可以被制成彼此平行。

校准过程可以首先确定成像传感器的本征及非本征参数两者。本征参数可以包含每一成像传感器的视场及每一成像传感器的分辨率。确定的非本征参数可以包含相机位姿参数。举例来说，可以确定界定第一及第二成像传感器围绕X、Y及Z轴旋转的参数。还可以确定成像传感器之间的相对移位。举例来说，图像传感器还可以沿着X、Y或Z轴相对于彼此移位。图像处理方法可以基于通过成像传感器捕获的图像检测这些移位。

在已知本征及非本征参数后，可以确定成像传感器中的一者的正规化焦距。在一些实施方案中，针对其估计正规化焦距的成像传感器可以被认为是参考成像传感器。举例来说，在一些实施方案中，可以估计第一成像传感器的焦距。在其它实施方案中，可以估计第二成像传感器的焦距。为了估计焦距，关键点的三维座标可以与在其二维图像中的每一关键点的座标相比较。3d及2d座标随后可以通过3x4矩阵相关。此矩阵囊封焦距。在确定正规化焦距后，可以调整校准矩阵。所述校准矩阵随后可以应用于非参考图像，从而导致非参考图像的焦距被调整至等于参考成像传感器的焦距。举例来说，在实施例中，非参考图像可以基于参考图像的焦距及非参考图像的焦距按一比率进行调整。焦距的调整还可以调整图像的视场。经调整的校准矩阵随后可以被存储到存储器或数据存储装置。经调整的校准矩阵随后可以应用于通过不对称成像传感器捕获的额外图像对。

在非参考图像数据的视场已被调整为匹配参考图像数据的视场之后，非参考图像数据可以经上取样及裁剪以匹配参考图像数据的分辨率及视场。

在另一实施方案中，不同分辨率的传感器可能需要不同的定时考虑。可能需要同时从具有不同分辨率的传感器中捕获多个图像。为了确保同时捕获从传感器捕获的数据，在一组共同的时钟循环期间应执行读取传感器中的每一者。多个成像传感器中的每一者还可以由共同时钟控制。通过利用共同时钟控制多个传感器中的每一者并且在相同时钟循环期间读取传感器中的每一者，一些实施方案可以确保通过每一传感器捕获的数据及时与通过其它传感器捕获的数据相关。

在一些实施例中，系统可以通过将命令数据流同步到彼此不对称的成像传感器而补偿来自每一成像传感器的不同捕获及下载速率。举例来说，在利用I²C串行计算机总线协议的实施方案中，命令可以在不同时间发送到不对称成像传感器的控制器。然而，本文中描述的系统的实施例包含同步服务，所述同步服务允许每一成像传感器使用相同I²C定时信号来控制系统内的数据流并且因此在每一图像传感器处同步命令的执行，以向用户传送高质量的立体图像。

在一个实施方案中，利用不对称成像传感器的成像装置可以采用多条I²C SDA线。举例来说，第一I²C SDA数据线可以在传感器控制器与第一成像传感器之间使用，并且第二I²C SDA数据线可以提供于控制器与第二成像传感器之间。成像应用程序可以将用以从第一成像传感器捕获第一图像的命令发送到传感器控制器。代替立即将所述命令转发到第一成像传感器，所述控制器可以存储所述命令。成像应用程序随后可以发送指示第二图像应通过第二成像传感器捕获的第二命令。在控制器已接收用于两个成像传感器的命令后，控制器可以对单独的SDA线上的每一命令进行编码，其中每一条SDA线连接到成像传感器。成像传感器控制器随后可以使用相同SCL线来将每一命令传播到每一成像传感器，所述SCL线可以连接到控制器及两个成像传感器。由于两个成像传感器经由相同SCL同时接收它们的相应命令，因此两个成像传感器之间的歪斜差异被降至最低。

在另一实施方案中，较高分辨率成像传感器可以比较低分辨率传感器具有更长的水平消隐时间。通过较高分辨率传感器产生的较大量数据引起此更长的水平消隐时间。较大量数据可能需要更多时间来处理。在利用具有不对称分辨率的两个成像传感器的实施方案中，两个成像传感器可以使用较高分辨率传感器的水平消隐时间。在这些实施方案中，较低分辨率成像传感器的水平消隐时间被延长，使得用于两个成像传感器的水平像素的数目相等。在这些实施方案中的一些实施方案中，所述两个图像的垂直尺寸可以通过裁剪较高分辨率图像以与较低分辨率图像匹配而制成相等的。

另外，由于不对称成像传感器可以提供不同颜色及亮度响应，因此本文中描述的系统可以通过基本上均衡多个成像传感器的亮度及颜色响应而补偿这些差异。一些实施方案可以利用线性校正方法来均衡成像传感器之间的响应。在这些实施方案中，每一成像传感器可以配备有独立的偏移及增益设定。

基于实施方案针对其两个成像传感器是否利用一个视觉前端或如果每一成像传感器具有其自身的视觉前端，其它实施方案可以均衡两个不对称传感器的颜色响应。每一不对称成像传感器可以具有其自身的颜色响应曲线。因此，在利用单个视觉前端的实施方案中，当处理来自第一成像传感器的数据时视觉前端可以在颜色响应参数的第一集合之间切换并且当处理来自第二成像传感器的数据时视觉前端可以在颜色响应参数的第二集合之间切换。在一些实施例中，图像传感器可以在使用之前进行校准，使得它们各自产生对所捕获场景且在不同光照条件下具有相似亮度及颜色响应的图像。

在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可以在没有这些具体细节的情况下实践所述实例。举例来说，可以在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它例子中，可以详细展示此些组件、其它结构及技术以进一步解释所述实例。

还应注意，可能将所述实例描述成过程，这个过程被描绘成程序图、流程图、有限状态图、结构图或框图。虽然流程图可以将操作描述成顺序过程，但是许多操作可以并行或同时执行，并且所述过程可以重复。另外，可以重新布置操作的次序。当过程的操作完成时，所述过程终止。过程可以对应于方法、函数、过程、子例程、子程序等。当过程对应于软件函数时，其终止对应于所述函数返回到调用函数或主函数。

所属领域的技术人员将了解，可以使用多种不同技术及技艺中的任一者来表示信息及信号。举例来说，可以通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任一组合来表示在整个上文描述中可能提及的数据、指令、命令、信息、信号、位、符号及码片。

图1是展示包含立体成像装置的成像环境的一个方面的框图，所述立体成像装置包含两个成像传感器。成像装置100被说明为捕获场景130。相机的每一成像传感器包含视场，其通过黑线160a-d指示。左成像传感器110包含以线160a及160c为边界的视场140。右成像传感器120包含以线160b及160d为边界的视场150。如所展示，视场140及150在区域170中重叠。左成像传感器的视场140包含不在右成像传感器120的视场内的场景的一部分。这表示为区域180。右成像传感器的视场150包含不在成像传感器110的视场内的场景的一部分。这表示为区域190。出于说明的目的，两个成像传感器110及120在视场上的这些差异可以被放大。

每一成像传感器110及120在视场上的差异可以引起图像之间的视差。图1还展示两个成像传感器110及120之间的水平移位105。此水平移位提供用于立体图像中以引起深度的感知的视差。尽管两个成像传感器之间的此移位可能是成像装置设计的故意部分，但是还可能在两个成像传感器110及120之间存在其它无意识的移位或未对准。

成像传感器110及成像传感器120可以具有不同分辨率。举例来说，在一些实施方案中，成像传感器110可以具有比成像传感器120高的分辨率。成像传感器110及120也可以具有不同的视场。举例来说，通过成像传感器130的视场140成像的图像的区域可以大于通过成像传感器120的视场150成像的图像的区域。图像处理方法可以用于成像装置100内以补偿不对称成像传感器130及120之间的分辨率及视场差异。

图2是实施图像捕获系统的至少一个操作性实施例的成像装置的框图。成像装置100包含可操作地耦合到若干组件的处理器220，所述若干组件包含存储器230、传感器控制器218、工作存储器205、存储装置210、显示器225及输入装置290。传感器控制器218可操作地耦合到第一图像传感器215及第二图像传感器216。在一些实施方案中，图像传感器215的分辨率可以大于图像传感器216的分辨率。在其它实施方案中，成像传感器216的分辨率可以高于成像传感器215的分辨率。

成像装置100可以经由输入装置290接收输入。举例来说，输入装置290可以由包含在成像装置100中的一个或多个输入键组成。这些键可以控制显示在电子显示器225上的用户界面。或者，这些键可以具有与用户界面无关的专用功能。举例来说，输入装置290可以包含快门释放键。成像装置100可以将图像存储到存储装置210中。这些图像可以包含通过成像传感器215及216捕获的立体图像对。处理器220可以使用工作存储器205来存储在成像装置100的正常操作期间创建的动态运行时间数据。

存储器230可以经配置以存储若干软件或固件代码模块。这些模块含有配置处理器220以执行如下描述的某些功能的指令。举例来说，操作系统模块280包含配置处理器220以管理装置100的硬件及软件资源的指令。传感器控制模块235包含配置处理器220以控制成像传感器215及216的指令。举例来说，传感器控制模块235中的一些指令可以配置处理器220以通过成像传感器215或成像传感器216捕获图像。因此，传感器控制模块235中的指令可以表示用于通过图像传感器捕获图像的一个装置。传感器控制模块235中的其它指令可以控制图像传感器215的设定。举例来说，快门速度、孔口或图像传感器灵敏度可以通过传感器控制模块235中的指令设定。

分辨率调整模块240可以配置处理器220以调整通过成像传感器215或成像传感器216捕获的一或多个图像的分辨率。举例来说，在一些实施方案中，分辨率调整模块中的指令可以“分组”通过成像传感器215捕获的图像，使得所得图像具有与通过成像传感器216捕获的图像相等的分辨率。分辨率调整模块240中的指令还可以上取样通过成像传感器215或成像传感器216捕获的图像。举例来说，可以上取样通过具有较低分辨率的成像传感器捕获的图像以匹配通过具有较高分辨率的成像传感器捕获的图像的分辨率。因此，分辨率调整模块中的指令可以表示用于调整图像的分辨率的一个装置。

本征参数确定模块245包含确定成像传感器215及216的本征参数的指令。举例来说，本征参数确定模块245可以分析通过成像传感器215及成像传感器216捕获的图像以确定例如成像传感器的视场的参数。每一成像传感器的分辨率还可以通过本征参数确定模块245确定。因此，包含在本征参数确定模块245中的指令可以表示用于确定成像传感器的本征参数的一个装置。

非本征参数确定模块250包含确定成像传感器215及216的非本征参数的指令。举例来说，关于每一成像传感器的位姿或相对位置的参数可以通过非本征参数确定模块250确定。可以确定围绕X、Y或Z轴的相对偏移。另外，可以确定两个成像传感器之间的围绕X、Y或Z轴的相对旋转，例如，侧倾、纵倾或侧滚的偏移可以通过包含在非本征参数确定模块250中的指令确定。因此，包含在非本征参数确定模块245中的指令可以表示用于确定成像传感器的非本征参数的一个装置。

焦距确定模块可以确定通过成像传感器215或成像传感器216捕获的一或多个图像的焦距。因此，焦距确定模块中的指令可以表示用于确定成像传感器的焦距的一个装置。

校准矩阵调整模块265可以调整校准矩阵。校准矩阵可以用于调整通过成像传感器215或成像传感器216捕获的图像，使得它们利用通过其它成像传感器捕获的图像进行校准。当校准两个图像时，它们可以表示区别仅在于通过成像装置100的设计既定的参数的场景的视点。举例来说，成像装置100可以经设计，使得通过成像传感器215及成像传感器216捕获的一对图像应具有平均眼内距离的水平视差以支持立体成像。如果在此实例实施方案中成像装置适当地进行校准，那么在两个图像之间不应存在其它差异。举例来说，图像不应呈现垂直视差，所述垂直视差可能由两个成像传感器之间的垂直未对准引起。所述图像还不应呈现由成像传感器围绕轴的相对旋转引起的未对准。举例来说，不应存在侧倾、纵倾或侧滚的未对准。

投影校正模块270包含配置处理器220以在立体图像对的一个或两个图像上执行投影校正的指令。投影校正可以基于通过校准矩阵调整模块265中的指令调整的校准矩阵。

主要控制模块275包含用以控制成像装置100的总体功能的指令。举例来说，主要控制模块275可以调用传感器控制模块235中的子例程以通过使用成像传感器215首先捕获第一图像且随后使用成像传感器216捕获第二图像来捕获立体图像对。一些实施方案可以通过两个成像传感器在基本上相同的时刻捕获两个图像。主要控制模块275随后可以调用焦距确定模块265中的子例程以确定图像的参考焦距。主要控制模块275随后可以调用校准矩阵调整模块265中的子例程以基于参考焦距调整校准矩阵。主要控制模块275随后可以调用投影校正模块270中的子例程以将校准矩阵应用于非参考图像，从而将第一图像及第二图像的焦距调整至相等的。

主要控制模块275还可以将例如校准矩阵的校准数据存储在稳定的非易失性存储器中，所述非易失性存储器例如存储装置210。此校准数据可以用于调整立体图像对。

图3是用于调整立体图像对的过程的一个实施例的流程图。过程300可以通过包含在图2的装置100中所说明的一或多个模块中的指令实施。过程300在起始块305处开始并且随后移动到处理块310，其中第一图像通过第一成像传感器捕获。过程300随后移动到处理块315，其中第二图像通过第二成像传感器捕获。处理块310及/或处理块315可以通过包含在传感器控制模块335中的指令执行，如图2中所说明。在一些实施方案中，第一成像传感器可以具有比第二成像传感器高的分辨率。在这些实施方案中，第一图像还将具有比第二图像高的分辨率。

过程300随后移动到处理块320，其中确定本征参数。本征参数可以包含第一成像传感器及第二成像传感器的分辨率及视场。处理块320可以通过包含在本征参数确定模块245中的指令执行，如图2中所说明。

过程300随后移动到处理块325，其中确定非本征参数。当与第二成像传感器的位置相比时，非本征参数可以包含关于第一成像传感器的相对位置的参数。举例来说，在处理块325中可以确定相对于X、Y或Z轴的偏移。在处理块325中还可以确定围绕X(纵倾)、Y(侧倾)或Z(侧滚)轴的相对旋转。处理块325可以通过包含在非本征参数确定模块250中的指令执行，如图2中所说明。

过程300随后移动到处理块330，其中确定在给定焦距设定下的参考成像传感器的正规化焦距。参考成像传感器可以是第一成像传感器或第二成像传感器。不是参考成像传感器的成像传感器可以被描述为非参考成像传感器。可以通过分析第一图像或第二图像确定正规化焦距。为了估计焦距，关键点的三维座标可以与其二维图像中的对应关键点的座标相比。3d及2d座标随后可以通过矩阵相关。在实施例中，矩阵可以是3x4矩阵。此矩阵囊封焦距。处理块330可以通过包含在焦距确定模块260中的指令执行，如图2中所说明。

过程300随后移动到块335，其中校准矩阵基于在处理块330中确定的正规化焦距进行调整。处理块335可以通过包含在校准矩阵调整模块265中的指令执行，如图2中所说明。

过程300随后移动到处理块340，其中非参考图像基于校准矩阵进行调整。非参考图像可以通过非参考成像传感器产生。举例来说，如果第一成像传感器是参考成像传感器，那么第二成像传感器可以是非参考成像传感器。在此实例中，第二图像是非参考图像。处理块340可以通过包含在投影校正模块270中的指令执行，如图2中所说明。过程300随后移动到末端块345。

图4A是传感器控制器及第一和第二成像传感器的框图。如所展示，成像应用程序405将成像命令发送到传感器控制器218。传感器控制器218经由三条通信线410、420及430与第一成像传感器215及第二成像传感器216通信。在一些实施方案中，成像应用程序405可以发送请求传感器控制器218的命令以通过第一成像传感器215及第二成像传感器216捕获两个图像。在实施例中，传感器控制器218可以具有其自身的I²C地址及其自身的配置。传感器控制器218配置(未展示)可以是可写的。举例来说，成像应用程序405可以更新传感器控制器218的配置。或者，另一应用程序，例如，系统程序(未展示)可以更新传感器控制器218的配置。成像应用程序405还可以将请求传感器控制器218从第一成像传感器215或第二成像传感器216读取成像数据的命令发送到所述传感器控制器。

第一成像传感器215及第二成像传感器216可以具有不同设计。举例来说，在一些实施方案中，第一成像传感器215的分辨率可以高于第二成像传感器216的分辨率。第一成像传感器及第二成像传感器还可以具有不同的水平消隐时间。

第一对通信线(410、420)在传感器控制器218与第一成像传感器215之间提供通信。第二对通信线(410、420)在传感器控制器218与第二成像传感器216之间提供通信。当与传感器控制器218通信时，第一成像传感器215及第二成像传感器216使用不同的SDA线。第一成像传感器215使用SDA1线420来与传感器控制器218通信，而当与传感器控制器218通信时第二成像传感器216使用SDA2线430。当与传感器控制器218通信时，第一成像传感器215及第二成像传感器216共享相同的“SCL”线410。在一些实施方案中，第一或第二对通信线可以用于在传感器控制器与成像传感器之间实施I²C协议。

通过所说明的通信架构，传感器控制器218可以将不同命令发送到第一成像传感器215及第二成像传感器216。可以使用不同SDA线SDA1(420)及SDA2(430)发送不同命令。由于第一成像传感器215及第二成像传感器216两者共享SCL线，因此两个命令可以在基本上相同的时间被传送到两个成像传感器。在一些实施方案中，这可以减小两个传感器之间的歪斜差异。

图4B是传感器控制器的框图。在实施例中，传感器控制器218可以是I2C路由器。传感器控制器218可以经由SCL线480及SDA线482接收命令。举例来说，传感器控制器218可以经由SCL线480及SDA线482从例如成像应用程序405的成像应用程序接收命令。传感器控制器218随后可以经由SCL线484、SDA1线485及SDA2线486将命令传输到至少两个成像传感器及接收命令。

图4C是说明使用所揭示的I2C路由器的实施例将两个命令发送到不对称成像传感器的时序图。在时间465处，通过传感器控制器218接收传感器控制器命令490。命令490可能已经经由SCL线480及SDA线482发送。在实施例中，所述命令可以向传感器控制器218指示哪些命令应被发送到至少两个成像传感器。在接收命令之后，传感器控制器218可以处理所述命令。作为响应，传感器控制器218可以使用SCL线484、SDA1线485及SDA2线486产生一或多个命令。命令490的接收及其处理在将命令发送到至少两个成像传感器时引入延迟。此延迟通过时间455表示。在时间段470及460期间，传感器控制器218随后分别将一命令发送到第一成像传感器495及将一命令发送到第二成像传感器498。应注意，由于传感器控制器218实施至少两条SDA线来控制至少两个成像传感器，因此可以基本上同时发送到第一成像传感器495的命令及到第二成像传感器498的命令。由于到第二成像传感器498的命令比用于第一成像传感器495的命令长，因此SDA2线比SDA1线忙于更长时间段，所述SDA1线用于将命令发送到第一成像传感器。

在图4C的时序图中，命令可以在精确相同的时间被发送到每一成像传感器。在实施例中，两个命令可以利用相同时钟线。在实施例中，可以执行相机的同步而不闭合环路。在实施例中，利用具有可预测行为的开放环路系统。在实施例中，每次启动传感器时以相同方式发送程序序列。

图5是使用共享SCL线将两个不同命令发送到两个成像传感器的过程的一个实施例的流程图。过程500可以通过传感器控制器218实施，如图2及图4A中所说明。在一些其它实施方案中，过程500可以通过传感器控制模块235实施，如图2中所说明。过程500在起始块505处开始并且随后移动到处理块510，其中第一命令接收用于第一成像传感器。过程500随后移动到处理块515，其中第二命令接收用于第二成像传感器。过程500随后移动到处理块520，其中确定用以编码的第一命令的一部分及用以编码的第二命令的一部分。确定用于第一命令的部分或确定用于第二命令的部分可以为零或空的。举例来说，如果命令已通过过程500的前述重复(参见下文)完全地进行编码，那么命令的部分不可以识别用于在处理块520中进行编码。

过程500随后移动到处理块525，其中在处理块520中确定的第一命令的部分在第一SDA线上进行编码。第一SDA线可以可操作地连接到第一成像传感器上。应注意，如果第一命令已通过过程500的前述重复(参见下文)完全地进行编码，那么第一命令的部分不可以在处理块525中进行编码以用于一些重复。

过程500随后移动到处理块525，其中在处理块520中确定的第二命令的部分在第二SDA线上进行编码。第二SDA线可以可操作地连接到第二成像传感器上。应注意，如果第二命令已通过过程500的前述重复(参见下文)完全地进行编码，那么第二命令的部分不可以在处理块530中进行编码以用于一些重复。

过程500随后移动到处理块535，其中SCL线用于分别将第一及第二命令的部分传播到第一及第二成像传感器。SCL线可以可操作地连接到第一及第二成像传感器两者。过程500随后移动到决策块540，其中确定是否存在第一命令或第二命令的更多部分用于进行编码。如果部分保持未经编码，那么过程500返回到处理块520且过程500重复。如果第一及第二命令两者的所有部分先前已进行编码，那么过程500移动到末端块545且终止。

所述技术可使用众多其它通用或专用计算系统环境或配置而操作。可以适合与本发明一起使用的众所周知的计算系统、环境及/或配置的实例包含(但不限于)个人计算机、服务器计算机、手持式或膝上型装置、多处理器系统、基于处理器的系统、可编程消费型电子装置、网络PC、微型计算机、大型计算机、包含上述系统或装置中的任一者的分布式计算环境及其类似者。

如本文中所使用，指令涉及用于处理系统中的信息的计算机实施的步骤。指令可以在软件、固件或硬件中实施且包含由系统的组件进行的任何类型的编程步骤。

处理器可为任何常规通用单芯片或多芯片处理器，例如处理器、处理器、8051处理器、处理器、Power处理器或处理器。另外，处理器可以为任何常规专用处理器，例如数字信号处理器或图形处理器。处理器通常具有常规的地址线、常规的数据线及一或多个常规的控制线。

系统由如详细论述的各种模块组成。如所属领域的技术人员可以了解，所述模块中的每一者包括各种子例程、程序、明确申明及宏。所述模块中的每一者通常被单独地编译及链接到单一可执行程序中。因此，出于便利起见而使用所述模块中的每一者的描述来描述优选系统的功能性。因此，所述模块中的每一者所经历的过程可以任意地重新分配给其它模块中的一者、一起组合在单个模块中，或使得可用于(例如)可共享的动态链接库中。

所述系统可以结合例如或微软等各种操作系统使用。

可以以任何常规的编程语言撰写所述系统，例如C、C++、BASIC、Pascal或Java，且在常规的操作系统下运行所述系统。C、C++、BASIC、Pascal、Java及FORTRAN是业界标准的编程语言，许多商用编译器可以使用其来创建可执行代码。还可以使用例如Perl、Python或Ruby等解译语言来编写系统。

所属领域的技术人员将进一步了解，结合本文所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此种功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式实施所描述的功能性，但此类实施决策不应被解译为引起对本发明的范围的偏离。

可以使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块及电路。通用处理器可以为微处理器，但在替代方案中，处理器可以为任何常规的处理器、控制器、微控制器或状态机。处理器还可以实施为计算装置的组合，例如，DSP及微处理器、多个微处理器、结合DSP芯的一或多个微处理器或任何其它此种配置的组合。

在一或多个实例实施例中，所描述的功能及方法可以以硬件、软件、或在处理器上执行的固件或其任何组合来实施。如果以软件来实施，那么可以将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可以为可以由计算机存取的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可以用于运载或存储呈指令或数据结构的形式的所要程序代码且可以由计算机存取的任何其它媒体。同样，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。本文中使用的磁盘和光盘包含压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软磁盘及蓝光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。以上的组合也应包含在计算机可读媒体的范围内。

前文描述详述了本文中揭示的系统、装置及方法的某些实施例。然而，应了解，不管前述内容在文本中如何详细地显现，皆可以以多种方式实践所述系统、装置及方法。还如上文所陈述，应注意，在描述本发明的某些特征或方面时使用特定术语不应被理解为暗示所述术语在本文中被重新定义以限于包含所述术语所相关联的技术的特征或方面的任何特定特性。

所属领域的技术人员将了解，在不脱离所描述的技术的范围的情况下可以作出各种修改及改变。此类修改及改变既定属于实施例的范围内。所属领域的技术人员还将了解，在一个实施例中包含的部分可与其它实施例互换；来自所描绘的实施例的一或多个部分可与其它所描绘的实施例以任何组合包含在一起。举例来说，本文中描述及/或图中所描绘的各种组件中的任一者可以进行组合、互换或从其它实施例排除。

关于实质上任何复数及/或单数术语在本文中的使用，所属领域的技术人员可以按适于上下文及/或应用的方式从复数转换成单数及/或从单数转换成复数。为清晰起见，本文中可以明确地阐述不同的单个/多个置换。

所属领域的技术人员将理解，一般来说，本文所用的术语大体上既定为“开放”术语(例如，术语“包含(including)”应该解释为“包含但不限于”，术语“具有”应该解释为“至少具有”，术语“包含(includes)”应该解释为“包含但不限于”等)。所属领域的技术人员将进一步理解，如果打算引入特定数目的权利要求叙述，那么此打算将明确叙述于所述权利要求中，且在不存在此叙述的情况下，不存在此打算。举例来说，为了辅助理解，所附权利要求书可含有介绍性短语“至少一个”及“一或多个”的使用，以便介绍权利要求叙述。然而，这类短语的使用不应该理解为暗示通过不定冠词“一(a/an)”引入权利要求叙述将含有这样引入的权利要求叙述的任一特定权利要求限制在仅含有一个此类叙述的实施例，甚至在同一个权利要求包含介绍性短语“一或多个”或“至少一个”及例如“一(a/an)”等不定冠词时(例如，“一(a/an)”通常应该解释为意指“至少一个”或“一个或多个”)；这同样适用于使用定冠词来引入权利要求叙述的情况。另外，即使明确叙述引入的特定数目的权利要求叙述，所属领域的技术人员也将认识到，此类叙述通常应该解释为意指至少所叙述的数目(例如，不具有其它修饰语的“两个叙述”的裸述通常意指至少两个叙述或两个或两个以上叙述)。此外，在使用类似于“A、B及C中的至少一者等”的惯例的那些情形中，一般来说在所属领域的技术人员将理解所述惯例的意义上既定此种构造(例如，“具有A、B及C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、具有A及B、具有A及C、具有B及C，及/或具有A、B及C等的系统)。在使用类似于“A、B或C中的至少一者等”的惯例的那些情形中，一般来说在所属领域的技术人员将理解所述惯例的意义上既定此种构造(例如，“具有A、B或C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、具有A及B、具有A及C、具有B及C，及/或具有A、B及C等的系统)。所属领域的技术人员将进一步理解，无论在说明、权利要求或图示中，实际上任何呈现两种或两种以上替代性术语的分离性词语及/或短语应理解为涵盖包含所述术语中的一者、所述术语中的任一者或两种术语的可能性。举例来说，短语“A或B”理解为包含“A”或“B”或“A及B”的可能性。

虽然本文中已经揭示各种方面及实施例，但所属领域的技术人员将明白其它方面及实施例。本文中揭示的各种方面及实施例是出于说明的目的且并不希望为限制性的。

Claims

1.一种校准立体成像装置的方法，其包括：

通过第一图像传感器捕获所关注场景的第一图像，所述第一图像传感器具有第一分辨率、本征参数的第一集合及非本征参数的第一集合；

通过第二图像传感器捕获所述所关注场景的第二图像，所述第二图像传感器具有不同于所述第一分辨率的第二分辨率，其中所述第二图像传感器包括本征参数的第二集合及非本征参数的第二集合，且其中所述第一图像及所述第二图像包括立体图像对；

至少部分地基于所述第一图像传感器的所述本征及非本征参数确定所述第一图像传感器的正规化焦距；

基于所述正规化焦距调整校准矩阵；

将所述校准矩阵存储在所述立体成像装置中；及

基于所述校准矩阵调整所述第二图像的焦距从而所述第二图像的焦距与所述第一图像的焦距相等。

2.根据权利要求1所述的方法，其中所述校准矩阵通过以下方式更新：通过所述第二图像传感器捕获图像及确定调整使得所述第二图像传感器的所述焦距等于所述第一图像传感器的所述焦距，且其中所述调整存储在所述校准矩阵中。

3.根据权利要求1所述的方法，其中本征参数的所述第一集合或本征参数的所述第二集合包含分辨率及视场。

4.根据权利要求1所述的方法，其中非本征参数的所述第一集合或非本征参数的第二集合包含相机位姿参数。

5.根据权利要求4所述的方法，其中所述相机位姿参数包含所述第一图像传感器与所述第二图像传感器之间的侧倾、纵倾及侧滚偏移。

6.根据权利要求1所述的方法，其中所述第一图像传感器的所述分辨率大于所述第二图像传感器的所述分辨率。

7.根据权利要求1所述的方法，其中确定正规化焦距包括确定通过所述第一图像传感器捕获的第一图像中的关键点的集合。

8.一种用于校准立体图像对的设备，其包括：

第一图像传感器，其具有第一分辨率、第一本征参数及第一非本征参数；

第二图像传感器，其具有不同于所述第一分辨率的第二分辨率，其中所述第二图像传感器具有第二本征参数及第二非本征参数；

传感器控制器，其操作地耦合到所述第一图像传感器及所述第二图像传感器；

处理器；

存储器，其操作地耦合到所述处理器并且存储：

传感器控制模块，其经配置以通过所述第一图像传感器捕获所关注场景的第一图像并且通过所述第二图像传感器捕获所述所关注场景的第二图像，其中所述第一图像及所述第二图像包括立体图像对，

焦距确定模块，其经配置以至少部分地基于所述第一本征及非本征参数确定所述第一图像传感器的正规化焦距，及

校准矩阵调整模块，其经配置以基于所述正规化焦距将校准矩阵存储于所述设备中；以及

投影校正模块，其经配置以基于所述校准矩阵调整所述第二图像的焦距从而所述第二图像的焦距与所述第一图像的焦距相等。

9.根据权利要求8所述的设备，其中所述本征参数包含分辨率及视场。

10.根据权利要求8所述的设备，其中所述非本征参数包含相机位姿参数。

11.根据权利要求10所述的设备，其中所述相机位姿参数包含所述第一图像传感器与所述第二图像传感器之间的侧倾、纵倾及侧滚偏移。

12.根据权利要求8所述的设备，其中所述第一图像传感器的所述分辨率大于所述第二图像传感器的所述分辨率。

13.根据权利要求8所述的设备，其中所述焦距确定模块经配置以确定在通过所述第一图像传感器捕获的第一图像中的关键点的集合。

14.一种用于捕获立体图像对的设备，其包括：

用于通过第一图像传感器捕获所关注场景的第一图像的装置，所述第一图像传感器具有第一分辨率、本征参数的第一集合及非本征参数的第一集合；

用于通过第二图像传感器捕获所述所关注场景的第二图像的装置，所述第二图像传感器具有不同于所述第一分辨率的第二分辨率，其中所述第二图像传感器包括本征参数的第二集合及非本征参数的第二集合，且其中所述第一图像及所述第二图像包括立体图像对；

用于至少部分地基于所述第一图像传感器的所述本征及非本征参数确定所述第一图像传感器的正规化焦距的装置；

用于基于所述正规化焦距调整校准矩阵的装置；

用于将所述校准矩阵存储在立体成像装置中的装置；及

用于基于所述校准矩阵调整所述第二图像的焦距从而所述第二图像的焦距与所述第一图像的焦距相等的装置。

15.根据权利要求14所述的设备，其中所述本征参数包含分辨率及视场。

16.根据权利要求15所述的设备，其中所述非本征参数包含相机位姿参数。

17.根据权利要求16所述的设备，其中所述相机位姿参数包含所述第一图像传感器与所述第二图像传感器之间的侧倾、纵倾及侧滚偏移。