CN106233722B - 多相机系统中的图像传感器的自动对准 - Google Patents

多相机系统中的图像传感器的自动对准 Download PDF

Info

Publication number
CN106233722B
CN106233722B CN201580021229.6A CN201580021229A CN106233722B CN 106233722 B CN106233722 B CN 106233722B CN 201580021229 A CN201580021229 A CN 201580021229A CN 106233722 B CN106233722 B CN 106233722B
Authority
CN
China
Prior art keywords
image
pixel
imaging sensor
shift
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580021229.6A
Other languages
English (en)
Other versions
CN106233722A (zh
Inventor
T·麦克米伦
S·P·坎贝尔
D·A·纽曼
孙亚杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High Patrol Co
Original Assignee
High Patrol Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/221,254 external-priority patent/US8988509B1/en
Priority claimed from US14/221,256 external-priority patent/US9197885B2/en
Application filed by High Patrol Co filed Critical High Patrol Co
Publication of CN106233722A publication Critical patent/CN106233722A/zh
Application granted granted Critical
Publication of CN106233722B publication Critical patent/CN106233722B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于由相机的对的图像传感器捕获的图像，来将具有交叠的视场的相机的对进行对准。识别在图像之间的像素偏移。基于所识别的像素偏移，应用对相机的对中的一个或两者的校准。为了确定像素偏移，相机应用包括边缘匹配的相关方法。对相机的对进行校准可以包括调节图像传感器上的读取窗口。像素偏移还可以被用于确定时间迟滞，其可以被用于使后续图像捕获同步。

Description

多相机系统中的图像传感器的自动对准
技术领域
本公开内容大体涉及数字相机的领域，并且更具体地涉及捕获来自多个相机的同步图像。
背景技术
数字相机使用电子图像传感器捕获图像。示例图像传感器使用CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体)技术。CMOS图像传感器包含与所捕获的图像的像素相对应的光电二极管。在一个配置中，光电二极管按行和列来布置。为了捕获图像，光电二极管的连续的行随时间被暴露并被读取。光电二极管的行随时间被暴露的方向是滚动快门方向。例如，如果图像传感器在读取光电二极管的一行之上的光电二极管的行之后读取光电二极管的该行，则图像传感器具有向下滚动快门方向。图像的沿滚动快门方向的部分在稍后的时间处被暴露。当捕获其中对象正在移动的场景的图像时或当捕获其中相机相对于图像内的一个或多个对象正在移动的图像时，如果对象相对于在不同时间处被暴露的不同的图像传感器行在图像帧中移动，对象可能出现模糊。类似地，对象的复本可能出现(例如，利用CMOS传感器捕获的旋转的飞机螺旋桨的图像)。这样的图像伪影被称为“滚动快门伪影”。
三维(3D)图像展示所捕获的场景中的深度信息。用于形成3D图像的一种方法涉及从不同视角捕获的两幅或更多幅二维(2D)图像的组合。对象的深度可以基于对象在2D图像内的位置和基于2D图像从其被捕获的相对视角来推断。当捕获移动的场景时，同时地获取2D图像。否则，相对于图像帧移动的捕获对象可以出现在结果3D图像中的不正确的深度处。当两个相机的滚动快门未对准时，即使同时地捕获2D图像也可以导致滚动快门伪影和不正确的对象深度确定，因为在不同的时间处捕获场景的不同部分。如果相机没有在相同的时间处捕获场景的相同部分，则场景的任何移动的元素可以出现模糊。为了使图像捕获同步，可以使用六轴云台相机支架来将包含图像传感器的相机沿滚动快门的方向对准，但是通过该方法来将相机对准即使对于有经验的摄影师也是耗时的任务。
附图说明
所公开的实施例具有其他优点和特征，其将从具体实施方式、随附权利要求和随附附图(或附图)中更加容易显而易见。下面是对各图的简单介绍。
图(图)1A图示了根据一个实施例的被配置具有交叠的视场的相机的示例对。
图1B和1C图示了根据一个实施例的以用于捕获图像的示例配置布置的两个相机。
图1D图示了根据一个实施例的由具有未对准的滚动快门的相机的对获取的示例图像。
图2图示了根据一个实施例的针对相机的对中的每个相机的示例架构。
图3图示了根据一个实施例的用于使图像传感器的对同步的系统的示例高级框图。
图4A图示了根据一个实施例的通过使图像传感器的示例对中的图像传感器上的读取窗口偏移对该对的对准。
图4B图示了根据一个实施例的通过应用时间迟滞对图像传感器的示例对的对准。
图5A-5D图示了图示根据一个实施例的用于确定像素偏移的边缘检测的示例图像。
图6A图示了根据一个实施例的用于将多相机系统中的图像传感器对准的过程的流程图。
图6B图示了根据一个实施例的用于确定在具有交叠的视场的图像之间的像素偏移的过程的流程图。
具体实施方式
各图(图)和下面的描述涉及仅仅通过说明的方式的优选实施例。应当指出，从下面的讨论中，本文公开的结构和方法的备选实施例将被容易地认为是可以在不脱离要求保护的内容的原理的情况下采用的可行的备选方案。
现在将对若干实施例详细进行参考，若干实施例的示例被图示在附图中。要指出，只要可行，相似或类似的附图标记可以在附图中被使用并且可以指示相似或类似的功能。各图仅仅出于说明的目的来描绘所公开的系统(或方法)的实施例。本领域技术人员从下文描述将容易意识到，可以在不脱离本文中描述的原理的情况下采用本文中图示的结构和方法的备选实施例。
配置概述
在一个实施例中，计算机实现的过程使图像传感器的对同步。在基本上相同的时间处利用图像传感器的对捕获图像。图像传感器具有交叠的视场。基于表示交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移。基于所识别的像素偏移来确定在图像传感器之间的时间迟滞。基于所确定的时间迟滞或所识别的像素偏移来校准图像传感器的对，以使由图像传感器捕获的后续图像同步。
在一个实施例中，计算机实现的过程确定在图像的对之间的像素偏移。获得在基本上相同的时间处捕获的图像对。图像包括表示交叠的视场的图像数据。识别图像数据中的一个或多个边缘。一个或多个边缘与图像的对中的第一图像和第二图像中的边缘相对应。将来自第一图像的一个或多个所识别的边缘与第二图像中的一个或多个所识别的边缘进行匹配。至少部分基于在一个或多个边缘之间的匹配来确定在图像的对之间的像素偏移。
应当指出，尽管本文描述的示例包括在两个相机之间的图像传感器的对准，但是在实践中本文描述的原理可以适用于任何数量的相机的阵列。例如，平均的像素偏移或读取窗口偏移可以被确定并被应用到三个或更多个相机的线性阵列以便将相机的阵列对准。另外，可以确定针对水平相邻的相机或垂直相邻的相机两者的像素偏移或读取窗口偏移。例如，在2x2相机阵列中，通过确定在阵列中的顶部的相机的对与底部的相机的对之间的水平像素偏移或读取窗口偏移，并且通过确定在阵列中的左边的相机的对与右边的相机的对之间的垂直像素偏移或读取窗口偏移，可以将图像传感器对准。
利用相机的对的图像捕获
图1A图示了根据一个实施例的被配置具有交叠的视场的相机的示例对。在一个实施例中，相邻的相机100A和100B属于相机对并且被配置为捕获经同步的图像数据。来自相机对的图像数据可以被拼接在一起，以形成其可以是二维(2D)或三维(3D)的全景图像或视频。
如所示出的，每个相机100包括透镜组件102、快门按钮104、功能按钮106、指示灯108、控制显示屏110和包含于相机主体中的存储器卡槽112。相机的主体使相机的部件固定。透镜组件102包括被设计为将光聚焦、指引、会聚和/或发散到(未图示在图1A的实施例中的)内部图像传感器上的一个或多个透镜和/或其他光学部件。透镜组件可以包括用于改变透镜组件的配置(例如，以修改相机的焦点和/或视场)的电部件和/或机械部件。
未具体图示或描述的其他常规相机特征也可以被包含于一个或两个相机中。例如，相机100可以包括各种光学部件、图像传感器(例如互补金属氧化物半导体(CMOS)传感器)、麦克风、扬声器、图像和/或音频处理器、控制器、内部存储、图像预览显示屏、输入/输出端口、通信模块和/或其他常规部件。相机可以包括用于将相机固定到支架的一个或多个部件。在一个实施例中，相机100被固定到共同的支架。支架可以包括用于将相机100中的全部或部分包围在各种位置和/或定向中的壳体。
在备选实施例中，相邻的相机100A和100B被组合到具有用于从至少两个不同的视角捕获图像数据的至少两个透镜102和其他部件的单个相机主体中。相机100可以包括除了图1A中图示的那些之外的不同的或附加的控制输入，用于捕获图像和/或视频、用于查看先前捕获的图像和/或视频、或用于管理各种相机设置。所图示的部件可以被省略和/或被修改，而基本上不会抑制本文功描述的功能。
每个相机100可以具有各种外形规格中的一个。在一个实施例中，相机系统中的每个个体相机100具有小的外形规格(例如，大约4到6厘米的高度、大约5到7厘米的宽度和大约2到4厘米的深度)，并且是轻量级的(例如，大约50到150克)。备选地或附加地，每个相机100可以具有被配置为实现如本文中所描述的功能的任何适当的外形规格。
在一个实施例中，相机100可以独立地起作用。当任选地被同步时，多个相机可以以时间上同步的方式同时地捕获视频或静止图像。在一个实施例中，相机使用其中一个相机作为主机操作并且一个多个附加的相机作为从机操作的主/从(或初级/次级)配置进行通信。在该配置中，主相机将各种命令发送到从相机。例如，主相机可以发送指令从相机捕获图像或在特定时间(例如，预定义实例)处或在特定事件(例如，相机内的特定事件，诸如视频的第一帧或其他图像的捕获)下开始记录视频的命令。另外，主相机可以对从相机的各种设置(诸如例如帧速率、曝光时间、分辨率、颜色和/或任何其他操作参数)进行配置，以确保相机使用相同的设置来记录视频或图像。
在一个实施例中，任一相机可以(例如，使用物理开关或软件设置)被配置为主机或从机。针对视频或图像捕获，相机100被时间同步以确保经同步的相机中的每个相机在相同的时间处启动帧捕获。另外，相机的时钟可以被定期重新同步，以便补偿由于不同的内部相机时钟特性引起的可能的漂移。在一个实施例中，所捕获的图像和/或视频被发送到远程设备以用于查看。备选地或附加地，所捕获的图像和/或视频被发送以用于显示在相机100中的一个或多个相机上(例如，被显示在与相机主体集成的屏幕上)。相机100可以将它的数据记录并存储在本地、在配对的相机上、和/或在外部设备上。
如图1A所示，相机100可以被类似地定位，使得它们的透镜102的表面和顶表面基本上共平面，使得相机的视线基本上平行。在其他示例实施例中，相机100在由它们的顶表面或侧表面形成的平面中(例如，朝向彼此或远离彼此)被旋转，使得透镜组件102表面不共平面。在透镜102A与102B之间的距离还可以取决于期望的应用而不同。
每个透镜组件102包括表示相机100可以从其捕获图像数据的物理空间的对应的视场(“FOV”)。尽管如图1A所示，FOV在大小上相似，但是当透镜102或变焦设置在相机之间不同时可以得到不同的FOV。相机100A的FOV的边缘由FOV边界线115A和116A表示。还示出了相机100A的滚动快门方向117A(从边界线115A到边界线116A)。相机100B的FOV的边缘(边界线115B和116B)连同它的滚动快门方向117B一起被类似地示出。
由于相机100A和100B的位置和定向，视场交叠以形成交叠区114，其由边界线115A和116B部分地界定。如以上所描述的，如果相机100朝向彼此旋转或被移动为更靠近在一起，则FOV交叠区114增大，并且如果相机100远离彼此旋转或被移动为进一步分开，则交叠区114减小。在FOV边界115和116处的图像扭曲可以导致用于拼接所收集的图像数据的各种不切实际。实际上，交叠区114的实际大小可以基于用户的期望的应用或装备质量(例如，来自透镜组件102的扭曲、相机壳体、相机主体、透镜组件102和图像传感器的对准)来更改。在任一实例中，滚动快门伪影可以在交叠区114内出现。
为了展示产生滚动快门伪影的示例情况，图1A图示了在图像捕获期间沿交叠区114内的路径移动的对象125(例如棒球)。对象125被示出在第一位置125A和第二位置125B处。第一位置125A对应于当相机100A的滚动快门捕获对象125时的第一时间t1。第二位置125B对应于当相机100B捕获对象125时的第二时间t2。如所示出的，相机100A的滚动快门117A在比相机100B的滚动快门更早的位置和时间处遇到对象125。换言之，相机100A在相机100B之前“看见”或捕获对象125的图像。因此，相机100A和100B在两个不同的位置处捕获对象120的图像数据。如果相机旨在同步地捕获图像，则图像包含滚动快门伪影，其是对象125的位置中的差别。
常常，这些滚动快门伪影在后处理期间产生重大问题。例如，当来自相机100A和100B的图像被组合以拼接在一起从而产生包含两个相机的FOV的2D图像时，对象125被示出在不同的位置中。组合的图像可以示出对象125的两个实例，对象125的两个实例可以取决于位置差别的幅值而彼此交叠。对象125的多个实例也可以干扰将相机100A和100B的相应FOV对准。
作为另一示例，来自相机100A和100B的图像被组合以产生包含交叠区114的3D图像。相机100A和100B从不同的视角捕获图像，因此对象125的位置由于视差在两幅图像之间看起来不同。由视差引起的这种偏移可以被用于推断对象125距离包含透镜102的平面的深度。对象125的深度与(平行于在相机100A和100B的透镜孔径之间的轴的)该对象的视位置偏移成反比。视差假设对象125处于两幅图像中的相同的位置处。如果对象125已经沿平行于在透镜孔径之间的线的轴移动，则图像数据中的对象的视偏移包含由对象的移动引起的偏移分量和由视差引起的偏移分量。由于来自对象的移动的偏移分量，根据对象125的视偏移计算的视深度是不准确的。由包含在不同时间处捕获的移动对象的图像而得到的3D图像因此可以包含在不正确的深度处的对象。
图示的相机示出了用于使用来自多个视角的图像数据来产生2D和/或3D图像的一个示例配置。相机的其他示例配置包括被放置在中心点周围的并且基本上与中心点相反地指向的相机(例如被对准以提供在轴周围的360度视场的四个相机、被对准以提供球形视场的六个相机等)。图像传感器可以被线性地布置或者被布置为阵列(例如按两行和两列布置的四个共平面相机的阵列)的一部分。相机可以被分布开并指向中心点。所公开的用于将图像传感器对准的技术可以被用于具有至少部分交叠的视场的相机的任何对。
沿滚动快门方向的对准
转到图1B和1C，图示了根据一个实施例的以用于捕获图像的示例配置布置的两个相机。图示了示出透镜组件102和内部图像传感器126的两个相机100。相机100A被定位在相机100B上面，并且相机被配置为捕获正在向下移动的对象125的图像。相机100、对象125以及它们之间的距离不是按比例示出的。视线132展示由从对象125到图像传感器126的光所采取的路径。当相机100捕获图像时，来自对象125的光通过透镜组件102进入相机，并且落下入射在图像传感器126上。对象在所捕获的图像中的视位置取决于来自对象125的光入射在其上的图像传感器126的位置，如由视线132所示出的。
当被制造或被组装时，第一相机的主体和相机主体内的透镜组件的相对位置和/或定向可以与第二相机的主体和相机主体内的透镜组件的相对位置和/或定向不同，即使相机被制造为相同。示例相机100A例如在透镜组件102A与图像传感器126A之间具有比相机100B在透镜组件102B与图像传感器126B之间具有的更小的距离。位置和/或定向中的这些差异可以取决于视线132入射在其上的图像传感器126的位置而改变。因此，这些差异可以改变对象在所捕获的图像内的视位置。附加地，透镜组件102的部件的组装和/或制造可以导致在图像传感器126与对象125之间的视线中的附加的偏差。例如，光学组件中的部件的相对位置、透镜支架相对于光学组件的对准、透镜支架相对于相机主体的对准、图像传感器126相对于相机主体的对准、或相机主体相对于附接的相机支架的对准可以贡献于未对准。对准中的这些偏差可以改变对象在所捕获的图像的对之间的视位置。
在图1B中，相机100A和100B被配置为使得视线132导致在相应的图像传感器126上的不同的对象位置。这至少部分地由于在相应的透镜组件102与图像传感器126之间的不同的距离而发生。图1D图示了由与图1B的实施例一致的具有未对准的滚动快门的相机100获取的示例图像140。图像140A和140B分别对应于由在图1B中图示的配置中的相机100A和100B获取的图像。图像包含像素行143和146。在图像140A中，对象125在像素行143A处被捕获，并且在图像140B中，对象125在像素行146B处被捕获。在垂直方向上具有3000个像素的示例图像中，在像素行143与146之间的偏移大约为100个像素。该滚动快门伪影是由于在相机100A与100B之间的透镜位置中的差异。在图1C中，相机100A和100B被配置为使得视线132导致图像传感器126上的基本上相似的对象位置，即使透镜组件102具有距离相应的图像传感器126的不同的位置。
沿滚动快门的方向的未对准导致当捕获移动的对象时的滚动快门伪影。例如，假定相机100具有向下的滚动快门方向并且在相同的时间处开始捕获图像。滚动快门在比它捕获像素行146更早的时间处捕获像素行143。由于对象125正在移动，所以图像140A和140B捕获在空间上不同位置处的对象。如果图像140A和140B被组合，则结果图像将具有滚动快门伪影。
相机架构
图2图示了根据一个实施例的针对相机100A和100B的对中的每个相机的示例架构。相机100A包括图像传感器206、传感器控制器208、处理器202、存储器210和同步接口220。相机100A通过网络230被通信耦合到相机100B。在一个实施例中，相机100B包含与相机100B相似的部件。尽管图示了两个相机100，但是可以存在附加的相机。备选地或附加地，相机100通过网络230被通信耦合到执行处理器202和/或存储器210的至少一些功能的计算设备(未示出在图2中)。备选地或附加地，相机100A和100B的部件被组合在共同的相机主体中。例如，组合的相机可以具有共享共同的处理器202、存储器210或同步接口220的两个或更多个图像传感器206。应当指出在其他实施例中，相机100可以包括除了图2的实施例中图示的那些之外的附加的或不同的部件。
图像传感器206是能够电子地捕获入射在图像传感器206上的光的设备。在一个实施例中，CMOS传感器被使用，包括晶体管、光电二极管、放大器、模数转换器和电源。在一个实施例中，图像传感器206具有滚动快门方向。图像传感器206可以(例如使用CCD传感器)在基本上相同的时间处捕获图像的部分。在一个实施例中，图像传感器206具有可调节的读取窗口。可调节的读取窗口修改被暴露于光并被读取以捕获图像的图像传感器的部分。通过调节读取窗口，相机100A可以修改相对于图像捕获开始的时间何时捕获图像的一部分。例如，通过使读取窗口在滚动快门方向上偏移，图像传感器比在读取窗口在滚动快门方向上未被偏移的情况下更早地捕获读取窗口中的图像的部分。
处理器202是执行存储在存储器210中的计算机可读指令的一个或多个硬件设备(例如中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)等)。处理器202基于被执行的指令来控制相机的其他部件。例如，处理器202可以将电子控制信号发送到图像传感器206或者使用同步接口220来将数据通过网络230发送到相机100B或某种其他连接的设备。
存储器210是可以由处理器208读取的非瞬态存储介质。存储器210可以包含易失性存储器(例如随机访问存储器(RAM))、非易失性存储器(例如快闪存储器、硬盘等)或其组合。存储器210可以存储由图像传感器206捕获的图像数据和要由处理器202执行的计算机可读指令。
传感器控制器208控制图像传感器206的操作和相机100A的其他功能。传感器控制器208可以包括物理输入设备和/或电子输入设备，诸如用于开始记录视频和/或捕获静止图像的外部按钮、具有对焦能力的触摸屏、和用于导航相机202的菜单层次结构的表盘/按钮组合。另外，传感器控制器208可以包括远程用户输入设备，诸如与相机100A进行无线通信的远程控制。图像传感器206可以独立于传感器控制器208起作用。例如，主从配对中的从相机可以通过同步接口220接收信号以捕获图像。
同步接口220通过网络230发送和接收数据以与其他设备进行通信，其他设备诸如为相机100B、其他相机或外部计算系统。具体地，同步接口220可以发送或接收命令以使一个或多个相机同时地捕获图像和/或校准与其他相机的同步(例如发送或接收同步脉冲)。同步接口220可以被用于将图像数据传输到另一相机系统以用于在校准中使用。
网络230将相机100和未示出在图2的实施例中的其他部件通信地耦合，并且允许包括相机100的耦合的设备通过局域网或广域网彼此交换数据。网络230可以包含有线技术或无线技术的组合并且利用各种连接标准和协议，诸如USB(通用串行总线)、IEEE 1394、以太网、802.11或蓝牙。网络230还可以使用因特网来在连接的设备之间交换数据，并且可以包含链接技术，诸如CDMA(码分多址)、3G、4G或另一无线局域网。备选地或附加地，网络230和网络同步接口被省略，并且图像和/或校准数据使用非瞬态计算机可读介质(例如可移除快闪存储器卡)在相机100之间被传输。
图像传感器同步
图3图示了根据一个实施例的用于使图像传感器的对同步的系统的示例高级框图。该系统包括存储在存储器210上的包括图像存储305、同步存储310、捕获控制器315、像素偏移确定模块320和时间迟滞确定模块330的模块。备选实施例可以具有被配置为执行相似的功能的一个或多个附加的、省略的或备选的模块。应当指出，在其他实施例中，本文描述的模块可以被实现在硬件、固件、或硬件、固件和软件的组合中。另外，在一些实施例中，对中的第一相机包括图3中示出的部件，而第二相机不必包括图3的部件，而是代之仅仅与第一相机同步地捕获图像并将所捕获的图像提供给第一相机以用于进行处理。如本文中所使用的，“图像的对”是指由具有交叠的FOV的相机的对同步地捕获的两幅图像。备选地或附加地，外部计算设备处理由相机对捕获的图像数据。
图像存储305被配置为存储由相机的对中的每个相机同步地捕获的图像的对。同步存储310被配置为存储相机同步数据。同步数据的示例包括由网络迟滞或内部部件迟滞(例如来自同步接口220、处理器202、传感器控制器208等的迟滞)引起的在相机之间的时间迟滞。同步存储310被配置为存储校准设置，诸如读取窗口偏移信息和用于启动图像捕获的经校准的时间迟滞。
捕获控制器315控制通过图像传感器206的图像捕获。在一个实施例中，捕获控制器315应用校准校正以使利用一个或多个附加的相机的图像捕获同步。校准校正可以包括如由像素偏移确定模块320确定的通过所确定的数量的像素的读取窗口偏移。备选地或附加地，校准校正可以包括如由时间迟滞确定模块330所确定的在开始图像捕获之前该对中的相机中的一个相机相对于该对中的另一相机要延迟的时间迟滞。
像素偏移确定模块320识别由第一相机捕获的图像与由第二相机捕获的图像之间的像素偏移。该像素偏移指示在相机的图像传感器之间的空间未对准。在一个实施例中，像素偏移确定模块320确定由沿滚动快门方向的图像传感器之间的未对准引起的在滚动快门方向上的像素偏移。捕获控制器315可以使用所确定的像素偏移来校正在图像传感器之间的未对准。下面更详细地描述像素偏移确定。
时间迟滞确定模块330确定在由第一相机的图像行与第二相机的对应图像行的捕获之间的时间迟滞。时间迟滞确定模块330可以基于从像素偏移确定模块320接收的像素偏移来确定时间迟滞。使用所确定的时间迟滞tlag，捕获控制器315通过将该对中的第一相机的图像捕获相对于该对中的第二相机以时间迟滞进行延迟来使相机的对同步。在一个实施例中，图像传感器具有相关联的行时间trow，其表示在暴露第一像素行与第二后续像素行之间的经过时间。如果由相机对获取的图像被确定为具有n个像素的像素偏移，则校正像素偏移所需要的时间迟滞tlag可以使用以下方程来确定：
tlag＝trow x n
在一个实施例中，对在对中的相机之间的图像捕获进行校准包含：利用相机对同步地捕获图像，确定在所捕获的图像之间的像素偏移，以及迭代地应用所确定的校正直到所确定的像素偏移小于预定的像素偏移阈值。校准过程可以当相机被上电或被配对时被启动，或者用户可以手动启动校准过程。主相机可以在自最后的校准起经过的时间大于或等于预定的阈值时启动校准过程。在具有附加的相机的实施例中，可以在具有共同FOV的相机之间执行附加的校准。
像素偏移确定
像素偏移确定模块320识别在图像的对之间的像素中的偏移，并且包括图像精简模块321、图像相关模块322和边缘相关模块325，边缘相关模块325转而包括图像平滑模块326、图像剪裁模块327、边缘提取模块328以及边缘匹配模块329。应当指出，在图3的实施例中描述的模块仅仅是实现本文中描述的功能的一种手段，并且在一些实施例中，不同的或附加的模块执行相似的或附加的功能。另外，在一些实施例中，不执行某些功能。例如，在将图像的对之间的边缘相关中，边缘相关模块325可以不分别使用图像平滑模块326和图像剪裁模块327使图像平滑或对图像进行剪裁。
图像精简模块321接收图像的对，并例如通过精简来自每幅所捕获的图像、来自每幅图像的一部分、来自表示每幅图像的经压缩的图像数据等的图像数据的量，来产生针对图像的对的精简的图像数据。在一些实施例中，图像精简模块321通过去除或压缩在识别像素偏移中不太有用的图像数据的部分(例如均匀颜色、均匀纹理等的图像部分)来精简图像数据。通过精简图像数据，图像精简模块321可以减少确定在图像的对之间的像素偏移所需要的计算负载。
精简的图像数据可以由像素偏移确定模块320用于确定在图像对之间的像素偏移，或者可以被发送到另一设备以用于在像素偏移确定中使用。在一个实施例中，图像精简模块321选择图像的对的表示图像对的共同FOV的部分，并且精简图像的对的在共同FOV内、在共同FOV外部、或者两者的图像数据。在一些实施例中，在图像对之间的共同FOV的位置是已知的，而在其他实施例中，共同FOV可以通过分析图像对以识别该对中的每幅图像的基本上相似的部分来识别。图像压缩模块321可以使用已知的相机配置特性(例如视场的角度宽度、相机的定向或相机的相对位置)来识别图像的与交叠的FOV相对应的部分。
图像精简模块321可以应用一个或多个算法来压缩图像的对的图像数据以精简图像的对的图像数据。在一个实施例中，图像精简模块321压缩在垂直于图像的对的滚动快门方向的方向上的像素以精简图像信息，同时保持沿滚动快门的方向的图像信息。在一个实施例中，图像精简模块将图像的对的图像数据下采样以精简图像数据，从而进一步减少由像素偏移确定模块320需要的计算时间。图像可以通过下采样速率来下采样，这将沿像素的行或列的像素的总数量减少对应的下采样因子。应当指出，在未在本文中进一步描述的一些实施例中，像素偏移确定模块320确定在图像的对之间的像素偏移，而不精简所捕获的图像的对的图像数据。
图像相关模块322接收针对图像的对的精简的图像数据，并且根据该精简的图像数据来确定在图像的对之间的像素偏移。在一个实施例中，图像相关模块322使用互相关算法以基于针对图像的对的精简的图像数据来识别像素偏移。在该实施例中，针对沿图像数据的一个或多个维度的多个可能的像素偏移中的每个像素偏移，针对图像的对的精简的图像数据计算互相关系数。图像相关模块322可以将在图像的对之间的像素偏移确定为得到最高互相关系数的像素偏移。图像相关模块322可以计算针对所有可能的像素偏移的互相关系数，或者可以使用一个或多个相关优化方法来搜索使互相关系数最大化的像素偏移，同时使识别在图像对之间的像素偏移所需要的计算负载减少或基本上最小化。图像相关模块322可以确定在图像的对中的每个图像的特征之间的图像向量以用于在确定像素偏移中使用。例如，图像相关模块322可以识别图像数据的特征，诸如角点(例如使用Harris和Stephens角点检测算法或角点检测器)或斑点(例如使用拉普拉斯分析或通过确定在表示图像的高斯曲线之间的差异)。在对应的图像特征之间的向量可以之后(例如使用相关算法)被确定以确定像素偏移。应当指出，在其中像素偏移确定模块320不精简图像数据的实施例中，图像相关模块可以使用本文中描述的方法来识别在原始图像对之间的像素偏移。
边缘相关模块325检测图像的对中的或与图像的对相关联的精简图像数据中的一个或多个边缘，并且使检测到的边缘相关以确定像素偏移。在图3的实施例中，边缘相关模块325包括图像平滑模块326、图像剪裁模块327、边缘提取模块328以及边缘匹配模块329以用于在使边缘相关以确定像素偏移中使用。边缘相关模块325可以使用Canny边缘检测或微分边缘检测来识别图像对中的边缘。在一些实施例中，边缘相关模块325使用来自YUV颜色空间中的图像的对的亮度和/或色度信息来识别边缘。在这样的实施例中，边缘相关模块325基于图像对的色度数据来识别图像区以搜索边缘，并且使用图像对的亮度数据来检测所识别的区内的边缘。在一些实施例中，边缘相关模块325将图像的色度分量的导数乘以图像的亮度分量的导数以检测图像内的边缘。在这样的实施例中，可以基于与这样的导数的高于阈值的乘积相关联的像素位置来识别边缘。
图像平滑模块326从图像对或从与图像对相关联的精简图像数据中去除伪影和其他不规则处，从而产生经平滑的图像。在一个实施例中，高斯滤波器被用于识别边缘并且被用于去除被确定为不是边缘的图像伪影。例如，小的高斯滤波器可以被用于检测微弱的较不明显的边缘，并且大的高斯滤波器可以被用于检测更显著的边缘。在这样的示例中，图像平滑模块326可以去除未由任一滤波器检测为边缘的伪影。图像平滑模块326还可以将图像对下采样以减少处理时间和/或以使图像对平滑。
图像剪裁模块327去除经平滑的图像对的部分以产生用于在检测图像内的边缘中使用的经剪裁的图像的对。备选地或附加地，图像剪裁模块327去除精简图像数据的部分以产生经剪裁的和精简的图像数据的对。在一个实施例中，边缘相关模块325识别垂直于滚动快门方向的直线边缘。一些透镜产生所捕获的图像中的鱼眼效应，其使直线扭曲。该鱼眼效应在图像的边缘周围更明显。为了减少或去除所捕获的图像中的鱼眼效应，图像剪裁模块327通过将来自图像的外边界的图像数据去除来剪裁图像，以减少对直线边缘的这样的翘曲。
边缘提取模块328例如使用本文描述的技术中的任何技术来识别所剪裁的图像的对中或与所剪裁的图像的对相关联的精简图像数据中的边缘，并且提取表示图像的对的边缘的边缘信息。在一个实施例中，边缘提取模块328提取针对图像的对中的每个检测到的边缘的边缘幅值和边缘相位。为了计算边缘幅值和相位，取针对经剪裁的图像对的沿像素的行和列的一阶导数。例如，边缘提取模块328可以取图像亮度数据、图像色度数据、红/绿/蓝数据、黑和白数据、或表示图像对的任何其他数据的一阶导数。边缘幅值基于经剪裁的图像对的沿行方向和列方向的一阶导数的平方和的平方根来计算。边缘相位基于经剪裁的图像对的沿行方向和列方向的一阶导数的比率的反正切来计算。边缘相位对应于边缘的定向，并且边缘幅值对应于边缘的锐度。应当指出，在其他实施例中，边缘提取模块328还提取除了边缘幅值和相位信息之外的边缘信息。
在一个实施例中，边缘提取模块328识别具有与滚动快门方向基本上垂直的方向的基本上直的边缘。例如，如果滚动快门方向是垂直的，则边缘提取模块328识别水平边缘。在所确定的边缘幅值大于或等于幅值阈值时，并且在所确定的边缘相位与目标边缘相位之间的差处于边缘阈值内时，边缘提取模块328可以将所识别的边缘中的像素识别为边缘的分量。在一个实施例中，边缘提取模块328确定每个识别的边缘的长度，并且丢弃具有小于长度阈值的长度的边缘。
边缘匹配模块329访问表示图像的对中的边缘的边缘信息(或与其相关联的精简数据)并基于边缘信息来确定像素偏移。在一个实施例中，边缘匹配模块329通过它们的长度、它们的幅值、它们的相位或它们沿滚动快门的轴的位置来表征由边缘信息表示的边缘。在一个实施例中，边缘匹配模块329至少部分地基于边缘长度和/或边缘幅值来递归地将边缘进行匹配。如本文中所使用的，“将边缘进行匹配”是指在图像的对中的对应边缘的对准。为了递归地将边缘进行匹配，将来自第一图像的边缘与来自第二图像的边缘进行比较，直到匹配出现在边缘长度差异阈值和/或边缘幅值差异阈值内。边缘匹配模块329可以确定在图像的对之间的使所匹配的边缘的数量最大化或使表示在对应边缘之间的对准的相关得分最大化的像素偏移。边缘匹配模块329可以基于在图像对中的边缘之间的相关来对可能的像素偏移进行评分，或者可以使用基于将图像对内的最长边缘进行匹配的有向搜索。应当指出，如果图像精简模块321在边缘相关模块325访问图像的对以确定像素偏移之前将图像的对以下采样因子进行下采样，则由边缘相关模块确定的像素偏移应当在使用像素偏移将图像传感器进行对准之前乘以下采样因子。
图像传感器对准
图4A图示了根据一个实施例的通过使图像传感器的示例对中的图像传感器上的读取窗口偏移的对该对的对准。由具有在滚动快门方向上的不同的对准的相机获取示例图像传感器410A和410B。每个图像传感器410包括读取窗口420，其指示图像传感器410中的被暴露于光并由对应的相机读出的像素。在图示的示例中，图像传感器410捕获从读取窗口420的顶部像素行到读取窗口420的底部像素行的图像数据。图像传感器410捕获从包括交叠区425的部分交叠的FOV入射的光。图像传感器410还捕获从包括区423A和423B的非交叠的FOV入射的光。
在图示的示例中，读取窗口420被调节与(例如来自像素偏移确定模块320的)所确定的像素偏移基本上相等的像素量以使图像捕获同步。当被对准时，图像传感器410A捕获从相对于图像传感器410B的较高的FOV入射的光。读取窗口420A和420B图示了在调节之前的读取窗口的初始位置。由于读取窗口对准，图像传感器410A在比图像传感器410B中的具有相似高度的对应像素行更早的时间处捕获像素行。换言之，读取窗口420B被定位在读取窗口420A下面，从而导致在图像传感器之间的未对准。由于图像传感器410在读取窗口的顶部处开始捕获图像，所以使读取窗口410B向上偏移所确定的像素偏移可以使在图像传感器之间的对应像素行的图像捕获的时间同步。捕获控制器315使初始读取窗口420B偏移到经对准的读取窗口420C的位置(如所示出的)。当图像被捕获时，来自由图像传感器410捕获的图像的对应像素行包含在基本上相同的时间处捕获的图像数据，并且可以被拼接在一起以构建2D图像。另外，在使读取窗口偏移所确定的像素偏移之后，图像区425A和425B表示相同的FOV，并且可以被用于构建3D图像。
图4B图示了根据一个实施例的使用时间迟滞对图像传感器410的示例对的对准。每个图像传感器410包括读取窗口420，其指示图像传感器410中的被暴露于光并由对应的相机读出的像素。在图示的示例中，图像传感器410捕获从读取窗口420的顶部像素行到读取窗口420的底部像素行的图像数据。图像传感器410捕获从包括交叠区425的部分交叠的FOV入射的光。图像传感器410还捕获从包括区423、427和429的非交叠的FOV入射的光。
在图示的示例中，根据(例如来自时间迟滞确定模块330的)所确定的时间迟滞来应用延迟时间以使图像捕获同步。当被对准时，图像传感器410A和410B具有在滚动快门方向上的不同的对准。由于读取窗口对准，图像传感器410B在比图像传感器410A中的具有相似高度的对应像素行更早的时间处捕获像素行。为了使图像传感器410同步，捕获控制器315应用来自时间迟滞确定模块330的时间迟滞。捕获控制器315启动通过图像传感器410A的图像捕获。在应用的时间迟滞期间，图像传感器410A捕获区427A中的像素。在经过与时间迟滞相等的时间之后，捕获控制器315启动通过图像传感器410B的图像捕获，因此图像传感器410在基本上相同的时间处捕获图像区423和425中的对应的像素行。来自每个图像传感器的区423和425可以被拼接在一起以构建2D图像，并且表示共同视场的区425A和425B可以被组合以产生3D图像。另外，区427和429包含含有与所捕获的图像中的相似高度不对应的图像数据的像素行。如果图像410A和410B被组合成矩形2D图像，则来自区427和429的图像数据可以被丢弃。
水平边缘检测
图5A-5D图示了图示根据一个实施例的用于确定像素偏移的边缘检测的示例图像。图像500A图示了包含若干基本上水平的边缘(例如窗口边缘、窗口平台(ledge))的图像。图像500B图示了针对图像500A确定的边缘幅值信息。边缘幅值信息可以例如由边缘相关模块325确定。在图像500B中，以白色示出了具有相对高的边缘幅值的图像数据，并且以黑色示出了具有相对低的边缘幅值的图像数据。图像500C图示了例如如由边缘相关模块325所确定的针对来自图像500A的图像数据确定的边缘相位。在图像500C中，边缘的方向对应于该边缘的颜色。边缘可以通过分析具有基本上相似的颜色的相邻像素来识别。没有视边缘的区看起来具有随机的颜色。
图像500D图示了使用图像500B中示出的边缘幅值数据和图像500C中示出的边缘相位数据从图像500A的图像数据识别的水平边缘。对应于基本上水平的边缘的图像数据以白色示出，并且其他图像数据以黑色示出。所识别的水平边缘的亮度或厚度对应于所识别的边缘的边缘幅值数据。一些可能的水平边缘已经在图像500D中被丢弃，例如因为针对这样的边缘的边缘长度小于长度阈值。
在一些实施例中，本文中描述的边缘提取可以被应用到用于将相机的对对准的校准目标。校准目标被放置在相机的交叠的FOV中，并且相机捕获校准目标的图像的对以确定在相机的图像传感器之间的像素偏移。校准目标可以是适合于确定在相机的图像传感器之间的像素偏移的任何对象。示例校准目标包括快速响应码或“QR”码、麦克白图表、或任何其他适当的标记。当与本文中描述的像素偏移确定方法一起使用时，校准目标的边缘可以被对准为基本上垂直于与相机对的图像传感器相关联的滚动快门方向以改进像素偏移确定性能。对准多相机系统中的图像传感器
图6A图示了根据一个实施例的用于将多相机系统中的图像传感器对准的过程的流程图。图像传感器的对在基本上相同的时间处捕获610图像的对。图像传感器具有交叠的FOV，从而得到每个所捕获的图像的表示交叠的FOV的部分。
在所捕获的图像之间的像素偏移基于图像的对的表示共同FOV的图像数据来识别620。识别像素偏移可以包括使表示交叠的FOV的图像数据相关。例如，为了使图像数据相关，至少一幅图像被偏移一定数量的像素，使得在表示交叠的FOV的图像的部分的像素信息之间的差异的量度被基本上减小或最小化。用于使图像偏移的导致在像素信息之间的差异的量度被基本上减小或最小化的像素数量是所识别的像素偏移。在使所捕获的图像数据相关之前，图像的图像数据可以被压缩和/或精简，并且可以基于经压缩的或精简的图像数据来确定相关。如果表示交叠的FOV的图像的部分包括低于阈值量的图像数据，则具有交叠的FOV的一个或多个附加的图像对可以在识别像素偏移之前被捕获。
在图像传感器之间的时间迟滞基于所识别的像素偏移来确定630，例如基于由图像传感器捕获与像素偏移相对应的像素线的数量所需要的时间量来确定。图像传感器中的至少一个被校准640以使通过图像传感器的后续图像捕获基本上同步。例如，所确定的时间迟滞被应用到图像传感器中的至少一个。如果图像传感器的对中的第一图像传感器在图像捕获期间滞后于图像传感器的对中的第二图像传感器，则第一图像传感器可以启动图像捕获，并且第二图像传感器可以在等待等于所确定的时间迟滞的时间段之后开始图像捕获。备选地或附加地，例如在滚动快门方向上或与滚动快门方向相反地，图像传感器中的至少一个的读取窗口可以被调节等于所识别的像素偏移的像素数量。例如，如果识别了3个像素行的像素偏移，并且第一图像传感器滞后于第二图像传感器，则第一图像传感器可以将第一图像传感器的读取窗口向下调节3个像素行，使得第一图像传感器在基本上相同的时间处捕获与第二图像传感器的像素行相对应的像素行。
图6B图示了根据一个实施例的用于确定在具有交叠的FOV的图像之间的像素偏移的过程的流程图。在基本上相同的时间处捕获包括第一图像和第二图像的图像对。图像包括表示交叠的FOV的图像数据。在图像的对之间确定621表示交叠的FOV的图像的部分。例如通过下采样因子，将图像或表示交叠的FOV的图像的部分压缩622。表示交叠的FOV的图像的部分还可以被剪裁以去除被确定为由于鱼眼效应而被扭曲的图像部分。例如通过将高斯模糊滤波器与经压缩的图像部分进行卷积，经压缩的图像被平滑623。
例如通过基于经平滑的图像部分的亮度分量确定边缘幅值信息和边缘相位信息，来提取624经平滑的图像部分内的边缘。将所提取的边缘进行匹配625，并且基于所匹配的边缘来确定626针对图像的对的像素偏移。如本文中所指出的，所确定的像素偏移可以被用于将图像传感器的对对准，或可以基于像素偏移来确定时间迟滞，并且时间迟滞可以被用于将图像传感器对准。
附加的配置考虑
所公开的实施例有益地允许配对的图像传感器在没有手动校准的情况下对它们本身进行校准。通过捕获图像的对并确定在图像之间的像素偏移，相机可以确定在它们之间的校准因子。使用关于图像捕获的读取窗口偏移和/或时间迟滞，相机可以使用所确定的像素偏移来校正在图像传感器之间的位置未对准和/或时间同步的缺乏。因此，图像传感器在没有手动校准相机的位置的情况下捕获适合于用于在组合的2D或3D图像中使用的移动对象的图像数据。
某些实施例在本文中被描述为包括逻辑或许多的部件、模块或机构，例如如图2和图3所示。模块可以构成软件模块(例如被体现在机器可读介质上的或传输信号中的代码)或硬件模块。硬件模块是能够执行某些操作的有形单元，并且可以以特定方式来配置或布置。在示例实施例中，一个或多个计算机系统(例如独立的客户机或服务器计算机系统)、或计算机系统的一个或多个硬件模块(例如处理器或处理器的组)可以由软件(例如应用或应用部分)配置为操作用于执行如本文中所描述的某些操作的硬件模块。
操作中的某些操作的执行可以被分布在不仅驻存在单个机器内而且跨许多机器部署的一个或多个处理器之中。在一些示例实施例中，一个或多个处理器或处理器实现的模块可以位于(例如家庭环境、办公室环境、或服务器农场内的)单个地理位置中。在其他示例实施例中，一个或多个处理器或处理器实现的模块可以跨许多地理位置而分布。
除非另行具体陈述，否则本文中使用诸如“处理”、“计算”、“运算”、“确定”、“呈现”、“显示”等的词语的讨论可以是指操纵或变换在一个或多个存储器(例如易失性存储器、非易失性存储器或其组合)、寄存器或接收、存储、发送或显示信息的其他机器部件内被表示为物理(例如电子、磁学或光学)量的数据的机器(例如计算机)的动作或过程。
一些实施例可以使用表述“耦合”和“连接”以及它们的衍生词来描述。例如，一些实施例可以使用术语“耦合”来描述以指示两个或更多个元件直接物理接触或电接触。然而，术语“耦合”还可以意指两个或更多个元件不是直接彼此接触，但是仍然与彼此协作或交互。实施例不限于这一上下文。另外，除非明确给出相反的陈述，否则“或者”是指包含性的或者而非排他性的或者。
在阅读本公开内容后，本领域技术人员将通过本文中所公开的原理认识到仍然有针对用于使多个图像传感器同步的系统和过程的附加的备选结构和功能设计。因此，尽管已经说明并描述了特定实施例和应用，但是要理解所公开的实施例不限于本文中所公开的精确构造和部件。可以在不脱离随附权利要求中限定的精神和范围的情况下，在本文中所公开的方法和装置的布置、操作和细节中进行各种明显的修改、改变和变型。

Claims (20)

1.一种用于使图像传感器对同步的计算机实现的方法，所述方法包括：
在基本上相同的时间处利用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；
由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及
基于所识别的像素偏移，通过以与所识别的像素偏移相等的像素数量对在图像捕获期间被暴露于光的至少一个图像传感器的部分进行修改，来校准至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步。
2.根据权利要求1所述的方法，其中识别所述像素偏移包括：
通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；
其中所述第一数量的像素包括所识别的像素偏移。
3.根据权利要求2所述的方法，其中使表示所述交叠的视场的所捕获的图像数据相关包括：
针对每幅图像压缩表示所述交叠的视场的所捕获的图像数据中的像素；以及
使每幅图像的经压缩的像素相关。
4.根据权利要求2所述的方法，还包括：
响应于确定所捕获的图像包括少于表示所述交叠的视场、用于使所捕获的图像数据相关所需要的图像数据的阈值量，利用所述图像传感器捕获具有交叠的视场的附加图像对。
5.根据权利要求1所述的方法，还包括：
基于所识别的像素偏移来确定在所述图像传感器之间的时间迟滞。
6.根据权利要求5所述的方法，其中确定在所述图像传感器之间的所述时间迟滞包括确定所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量。
7.根据权利要求5所述的方法，其中所述图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器还包括：
启动在所述第一图像传感器处的图像捕获；以及
在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。
8.根据权利要求1所述的方法，其中所述图像传感器对由控制从相机的主相机控制。
9.根据权利要求1所述的方法，被重复以使多个图像传感器对同步。
10.一种包括相机对的系统，每个相机具有图像传感器，所述系统还包括至少一个处理器和包括用于使所述图像传感器同步的指令的非瞬态计算机可读介质，所述指令能由所述至少一个处理器执行，所述指令包括用于以下的指令：
在基本上相同的时间处利用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；
由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及
基于所识别的像素偏移，通过以与所识别的像素偏移相等的像素数量对在图像捕获期间被暴露于光的至少一个图像传感器的部分进行修改，来校准至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步。
11.根据权利要求10所述的系统，其中用于识别所述像素偏移的指令包括用于以下的指令：
通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；
其中所述第一数量的像素包括所识别的像素偏移。
12.根据权利要求10所述的系统，还包括用于以下的指令：
至少部分地基于所识别的像素偏移和所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量，来确定在所述图像传感器之间的时间迟滞。
13.根据权利要求12所述的系统，其中图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器包括：
启动在所述第一图像传感器处的图像捕获；以及
在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。
14.根据权利要求10所述的系统，还包括包围所述相机对的壳体。
15.根据权利要求10所述的系统，还包括具有附加的图像传感器的第三相机，所述指令还包括用于使所述附加的图像传感器与所述图像传感器同步的指令。
16.一种非瞬态计算机可读介质，包括用于使图像传感器对同步的指令，所述指令能由至少一个处理器执行，所述指令包括用于以下的指令：
在基本上相同的时间处使用每个图像传感器捕获图像，所述图像传感器具有滚动快门方向和交叠的视场；
由一个或多个处理器基于表示所述交叠的视场的所捕获的图像数据来识别在所捕获的图像之间的像素偏移；以及
基于所识别的像素偏移，通过以与所识别的像素偏移相等的像素数量对在图像捕获期间被暴露于光的至少一个图像传感器的部分进行修改，来校准至少一个图像传感器以使通过所述图像传感器的后续图像捕获同步。
17.根据权利要求16所述的计算机可读介质，其中用于识别所述像素偏移的指令包括用于以下的指令：
通过将至少一幅图像偏移第一数量的像素，来使表示所述交叠的视场的所捕获的图像数据相关，使得在表示所述交叠的视场的所捕获的图像数据的像素之间的差异的量度被基本上最小化；
其中所述第一数量的像素包括所识别的像素偏移。
18.根据权利要求16所述的计算机可读介质，还包括用于以下的指令：
至少部分地基于所识别的像素偏移和所述图像传感器中的一个图像传感器捕获与所述像素偏移相对应的像素线的数量所需要的时间量，来确定在所述图像传感器之间的时间迟滞。
19.根据权利要求18所述的计算机可读介质，其中所述图像传感器对中的第一图像传感器在图像捕获期间滞后于所述图像传感器对中的第二图像传感器，并且其中校准所述至少一个图像传感器包括：
启动在所述第一图像传感器处的图像捕获；以及
在延迟等于所述时间迟滞的时间量之后，启动在所述第二图像传感器处的图像捕获。
20.根据权利要求16所述的计算机可读介质，所述指令还包括用于使附加的图像传感器与所述图像传感器对同步的指令。
CN201580021229.6A 2014-03-20 2015-01-15 多相机系统中的图像传感器的自动对准 Expired - Fee Related CN106233722B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/221,256 2014-03-20
US14/221,254 US8988509B1 (en) 2014-03-20 2014-03-20 Auto-alignment of image sensors in a multi-camera system
US14/221,254 2014-03-20
US14/221,256 US9197885B2 (en) 2014-03-20 2014-03-20 Target-less auto-alignment of image sensors in a multi-camera system
PCT/US2015/011490 WO2015142412A2 (en) 2014-03-20 2015-01-15 Auto-alignment of image sensors in a multi-camera system

Publications (2)

Publication Number Publication Date
CN106233722A CN106233722A (zh) 2016-12-14
CN106233722B true CN106233722B (zh) 2018-05-15

Family

ID=54145462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021229.6A Expired - Fee Related CN106233722B (zh) 2014-03-20 2015-01-15 多相机系统中的图像传感器的自动对准

Country Status (3)

Country Link
EP (1) EP3120542A4 (zh)
CN (1) CN106233722B (zh)
WO (1) WO2015142412A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107333130B (zh) * 2017-08-24 2019-04-23 歌尔股份有限公司 组装多摄像头模组测试方法及系统
KR20190051146A (ko) * 2017-11-06 2019-05-15 에스케이하이닉스 주식회사 이미지 동기화 장치 및 이를 포함하는 이미지 정보 생성 장치
CN109839378B (zh) * 2017-11-24 2020-07-28 苏州精濑光电有限公司 一种快速光学校正方法
JP7027844B2 (ja) * 2017-11-29 2022-03-02 株式会社デンソー カメラモジュール
CN110770669A (zh) * 2018-08-28 2020-02-07 深圳市大疆创新科技有限公司 云台的目标位置标记方法、云台与拍摄装置
CN115719893A (zh) * 2018-09-14 2023-02-28 高途乐公司 可拆卸部件之间的电气连接
CN112261262B (zh) * 2020-10-21 2022-06-17 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质
CN113177440A (zh) * 2021-04-09 2021-07-27 深圳市商汤科技有限公司 图像同步方法、装置、电子设备和计算机存储介质
CN115412719B (zh) * 2021-05-26 2024-03-01 致伸科技股份有限公司 相机镜头与光源的对位方法
DE112022003998T5 (de) * 2021-10-21 2024-06-27 Hitachi Astemo, Ltd. Fahrzeugmontierte steuervorrichtung und verfahren zur erfassung dreidimensionaler informationen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
CN101884222A (zh) * 2007-12-20 2010-11-10 诺基亚公司 用于支持立体呈现的图像处理
EP2500748A2 (en) * 2011-03-18 2012-09-19 Ricoh Company, Ltd. Stereo camera apparatus and method of obtaining image
CN102860016A (zh) * 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
FR2967324B1 (fr) * 2010-11-05 2016-11-04 Transvideo Procede et dispositif de controle du dephasage entre cameras stereoscopiques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032244A (ja) * 2002-06-25 2004-01-29 Fuji Heavy Ind Ltd ステレオ画像処理装置およびステレオ画像処理方法
CN101884222A (zh) * 2007-12-20 2010-11-10 诺基亚公司 用于支持立体呈现的图像处理
CN102860016A (zh) * 2010-04-19 2013-01-02 松下电器产业株式会社 立体图像拍摄装置以及立体图像拍摄方法
EP2500748A2 (en) * 2011-03-18 2012-09-19 Ricoh Company, Ltd. Stereo camera apparatus and method of obtaining image

Also Published As

Publication number Publication date
CN106233722A (zh) 2016-12-14
WO2015142412A2 (en) 2015-09-24
EP3120542A2 (en) 2017-01-25
WO2015142412A3 (en) 2015-11-12
EP3120542A4 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
CN106233722B (zh) 多相机系统中的图像传感器的自动对准
US11375173B2 (en) Auto-alignment of image sensors in a multi-camera system
US10055816B2 (en) Target-less auto-alignment of image sensors in a multi-camera system
CN107925751B (zh) 用于多视点降噪和高动态范围的系统和方法
EP3593524B1 (en) Image quality assessment
TWI518436B (zh) 影像擷取裝置及影像處理方法
EP3073733A1 (en) Method for generating picture and twin-lens device
US10410061B2 (en) Image capturing apparatus and method of operating the same
US20130113888A1 (en) Device, method and program for determining obstacle within imaging range during imaging for stereoscopic display
CN107659774A (zh) 一种基于多尺度相机阵列的视频成像系统及视频处理方法
US10489885B2 (en) System and method for stitching images
CN105530431A (zh) 一种反射式全景成像系统及方法
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
CN110072058B (zh) 图像拍摄装置、方法及终端
US9288472B2 (en) Image processing device and method, and image capturing device
US8937662B2 (en) Image processing device, image processing method, and program
JP2011048295A (ja) 複眼撮影装置及びその姿勢検出方法
JP5704885B2 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP2014116789A (ja) 撮影装置、その制御方法及びプログラム
CN112104796B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2015106850A (ja) 方向判定装置、撮像装置、及び方向判定プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180515

Termination date: 20210115