CN105830424A - 图像捕获控制方法和装置 - Google Patents

图像捕获控制方法和装置 Download PDF

Info

Publication number
CN105830424A
CN105830424A CN201480067893.XA CN201480067893A CN105830424A CN 105830424 A CN105830424 A CN 105830424A CN 201480067893 A CN201480067893 A CN 201480067893A CN 105830424 A CN105830424 A CN 105830424A
Authority
CN
China
Prior art keywords
sensor
scene
optical train
imageing sensor
interest region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480067893.XA
Other languages
English (en)
Other versions
CN105830424B (zh
Inventor
R·拉洛亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Light Labs Inc
Original Assignee
Light Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/327,515 external-priority patent/US9563033B2/en
Priority claimed from US14/327,514 external-priority patent/US9578252B2/en
Priority claimed from US14/516,568 external-priority patent/US9374514B2/en
Application filed by Light Labs Inc filed Critical Light Labs Inc
Publication of CN105830424A publication Critical patent/CN105830424A/zh
Application granted granted Critical
Publication of CN105830424B publication Critical patent/CN105830424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Diaphragms For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明描述了用于控制从对应于被用来捕获相同图像区域的各个部分的不同光学链的传感器读出像素值行的方法和装置。在一些实施例中，基于用户输入以及/或者关于所捕获图像或所捕获图像的某些部分中的运动速率的确定来控制读出。对于低运动速率，对应于小焦距的传感器的读出速率可以被减慢，同时对应于具有更大焦距的一个或更多光学链的一个或更多传感器的像素行读出速率被允许以正常速率进行。在一些实施例中，对于高运动速率，对应于具有更小焦距的光学链的传感器的读出速率被允许以正常速率进行。

Description

图像捕获控制方法和装置
技术领域
本申请涉及图像捕获和生成方法及装置，更具体来说涉及与包括多个光学链的摄影机装置的控制有关并且/或者处理多个光学链的输出的方法和装置，例如，每一个光学链具有可以从中读出像素值的传感器。
背景技术
高质量数字摄影机已经在很大程度上取代了胶片摄影机。但是与胶片摄影机一样，对于数字摄影机，摄影机工业的很多注意力都放在摄影机上所使用的透镜的尺寸和质量上。出于多种原因，尝试拍摄高质量照片的个人常常被鼓励在具有较大体积并且常常成本高昂的透镜方面进行投资。使用大孔径透镜的其中一个原因是其与更小孔径的透镜相比在给定的时间段内捕获大量的光的能力。长焦透镜往往较大，这不仅是因为其具有较大的孔径，而且还是因为其具有较长的焦距。通常来说，焦距越长，透镜越大。长焦距为摄影者给出了从很远处拍摄照片的能力。
在对于高质量照片的探求中，可以捕获的光的数量对于最终的图像质量常常是很重要的。具有大孔径透镜允许捕获大量的光，从而与利用小透镜捕获相同数量的光的曝光时间相比将允许更短的曝光时间。通过使用较短的曝光时间可以特别对于具有运动的图像减少模糊。捕获大量的光的能力还可以促进即使在低光条件下也拍摄出高质量图像。此外，使用大孔径透镜使得有可能具有艺术效果，比如对应于人像摄影的较小场深度。
虽然大透镜与较小的透镜相比在捕获相对大数量的光的能力方面具有许多优点，其可以被用来支持能够利用光学或数字技术实施的大变焦范围，并且常常允许对于聚焦的良好控制，但是使用大透镜也存在许多缺点。
大透镜往往非常重，从而需要相对高强度并且常常较大的支撑结构来把摄影机套件的各个透镜保持对准。大透镜的较重的重量使得具有此类透镜的摄影机运输起来较为困难并且笨重。此外，具有大透镜的摄影机常常需要长时间使用三脚架或其他支撑件，这是因为具有大透镜的摄影机的净重可能使得个人短时间持握就变得非常累。
除了重量和尺寸缺陷之外，大透镜还具有成本高昂的缺点。这特别是因为难以制造较大的高质量光学元件并且将其包装，从而使其将在一段时间内保持适当的对准，该段时间可以反映出预期摄影机透镜会提供的许多年的使用。
在数字摄影机中，被用作传感器的光敏电子装置(例如感光设备)常常是电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)图像传感器，其包括大量单个传感器元件，每一个传感器元件记录所测量的强度水平。
在许多数字摄影机中，传感器阵列覆盖有组成图案的彩色滤光器马赛克，其具有红色、绿色和蓝色区段的安排。Bayer滤光器马赛克是用于把RGB彩色滤光器安排在光电传感器的正方形网格上的一种众所周知的彩色滤光器阵列(CFA)。其彩色滤光器的具体安排被使用在许多数字图像传感器中。在这样的用以捕获彩色图像的基于传感器的方法中，每一个传感器元件可以记录光的单一原色的强度。摄影机随后通常将通过有时被称作去马赛克(demosaicing)的处理对相邻传感器元件的颜色信息进行内插，从而产生最终的图像。使用彩色滤光器的传感器阵列中的传感器元件常常被称作“像素”，尽管由于使用在传感器元件之上的滤光器其仅仅记录最终彩色图像的1个通道(仅有红色、绿色或蓝色)。
在摄影机中，通常使用光可以从中穿过的圆形透镜(透镜元件)，例如具有圆形孔径的透镜。这样就允许光在垂直和水平方向上(实际上是任何方向)都均等地穿过透镜。在其中使用一个或更多圆形透镜的光学链中的各个元件常常具有足够的尺寸以使得足够的光穿过，从而在摄影机的传感器处记录清晰的图像。对于透镜，光轴是穿过透镜的中心并且垂直于透镜的平面的线。当从多于一个透镜元件构造透镜套件时，各个元件通常被设置成全部共享共同的光轴，其也是透镜套件的光轴。在典型的光学链(例如摄影机模块)中，光轴还穿过传感器的中心。沿着透镜套件或摄影机模块的光轴行进的光不会被沿着所述路径的任何透镜弯曲，并且会继续沿着光轴直线行进。如果所有透镜元件都是圆形的，则这样的摄影机模块具有围绕光轴的圆柱对称性。在大多数摄影机中，摄影机的各个光学元件被安排在线性配置中，其中光轴直线穿过外侧透镜到达传感器。这样的配置可能导致相对较厚的摄影机，例如具有较大的正面到背面距离或深度的摄影机。在具有较大的光学元件和/或支持机械变焦的摄影机中，摄影机厚度可能非常大，其中摄影机常常有几英寸厚并且深度太大，从而无法存放在口袋中或者甚至在某些情况下无法存放在手提袋中。
常常在焦距方面讨论摄影机和其他光学系统。光学系统的焦距是关于系统会聚或发散光的能力强弱的度量。对于空气中的光学系统，其是初始地准直的光线被带到焦点的距离。具有更短焦距的系统比具有更长焦距的系统的屈光力(opticalpower)更高；也就是说，其弯曲光线的能力更强，从而在更短的距离内将其带到焦点。常常利用大透镜实现的更长的焦距(较低的屈光力)导致更高的放大率(例如变焦)和更窄的视角(视场)。因此，与具有更小焦距的相同位置处的光学链相比，例如具有较大(例如较长)的焦距的光学链(例如摄影机模块)将捕获对应于场景区域的更小部分的图像。应当认识到，对于相同的传感器尺寸，与具有更长焦距的光学链相比，具有更短焦距或更高屈光力的光学链与更宽的视角相关联，因此与具有更大焦距的相同位置处的光学链相比，在离开光学链的相同距离处将捕获对应于场景区域的更大部分的图像。
透镜元件的焦距通常不是透镜尺寸的函数，例如在具有圆形孔径(例如光可以从中穿过的圆形区域)的透镜元件的情况下的直径。在光学链或其他光学设备中，设备的焦距有时被称作有效焦距，这是因为设备的焦距将取决于构成设备的一个或更多光学元件(例如透镜)及其相互作用。当有效焦距较大时，为了拍摄具有良好质量的倾斜照片需要更大孔径的透镜元件(更大直径的透镜)。
由于其所能够提供的变焦(放大率)的数量，使用大焦距透镜和具有大焦距的光学链常常是合乎期望的。但是特别在各个光学组件被安排成使得沿着光轴的光从最外侧透镜直线传递到被用来基于穿过透镜的光而捕获图像的传感器的情况下，使用通常被用来产生具有大焦距的光学链的光学组件往往会导致较厚的摄影机。
从前面的讨论应当认识到，需要提供对于摄影机设备的控制的新的或改进的方法和/或装置，以便例如促进通过摄影机设备的一个或更多光学链来捕获图像。在至少一些实施例中，希望用户输入和/或对于操作模式的自动化选择决定并且/或者被用来控制何时或者如何读出一个或更多传感器的像素值。
从前面的内容还应当认识到，需要允许摄影机例如按照同步方式使用一个或更多光学链或元件来捕获图像的新的和/或改进的方法和装置。
发明内容
本发明描述了用于控制从对应于被用来捕获相同图像区域的各个部分的不同光学链的传感器读出各行像素值的方法和装置。所述读出可以并且在一些实施例中是基于用户输入和/或关于所捕获图像或者所捕获图像的某些部分中的运动速率的确定来控制的。在一些实施例中，如果运动速率较低，则减慢对应于较小焦距的传感器的读出速率，同时对应于具有更大焦距的一个或更多光学链的一个或更多传感器的像素行读出速率则被允许在正常速率下进行。在一些实施例中，如果检测到高运动速率，正如可以并且在一些实施例中是从第一图像与在后来的某一时间捕获的第二图像之间的较大差异所确定的那样，对应于具有更小焦距的光学链并且从而捕获更大图像区域的传感器的读出速率被允许在正常速率下进行。在其中对应于光学链的传感器在正常速率下被读出的至少一些实施例中，对应于具有更大焦距的光学链的一个或更多传感器被控制来实施对于各行像素值的联合读出，从而允许在与读出对应于具有较小焦距的光学链的传感器所需的时间相同或近似相同的时间内完成对应于具有更大焦距的多个光学链的传感器的读出。对应于更大焦距的光学链可以对应于不同的图像部分，并且被顺序地读出或者至少按照其中传感器的某些部分在不同时间被读出的方式而被读出，从而允许对应于较小焦距光学链的传感器的读出与对应于更大焦距光学链的传感器的读出的同步，从而最小化或减小原本可能被引入到通过组合由不同光学链捕获的图像而生成的复合图像中的时间畸变(temporaldistortion)。
根据一些实施例，一种示例性方法利用摄影机设备来捕获图像，所述摄影机设备至少包括第一光学链和第二光学链，其中第一光学链包括第一传感器并且第二光学链包括第二传感器，所述第一光学链的焦距小于所述第二光学链，所述方法包括：基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出决定，所述决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出；控制第一传感器读出所述第一传感器的像素值；以及根据关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出还是实施所述第二传感器的相继像素元件行的单独读出的所述决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
根据一些实施例，一种示例性摄影机设备包括：包括第一传感器并且具有第一焦距的第一光学链；包括第二传感器并且具有第二焦距的第二光学链，所述第一焦距小于所述第二焦距；读出控制决定模块，其被配置成基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出读出控制决定，所述读出控制决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出；以及传感器读出控制模块，其被配置成：i)控制第一传感器读出所述第一传感器的像素值；以及ii)根据所述读出控制决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
根据一些实施例，一种摄影机设备包括非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括处理器可执行指令，所述摄影机设备至少包括第一光学链和第二光学链，其中第一光学链包括第一传感器并且第二光学链包括第二传感器，所述第一光学链的焦距小于所述第二光学链，所述处理器可执行指令在由摄影机设备的处理器执行时控制摄影机设备实施以下步骤：基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出决定，所述决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出；控制第一传感器读出所述第一传感器的像素值；以及根据关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出还是实施所述第二传感器的相继像素元件行的单独读出的所述决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
所描述的一些特征是针对涉及利用多个光学链按照同步方式捕获场景区域的图像的方法和装置。在各个实施例中，对应于摄影机设备的多个光学链的图像传感器被操作在卷帘快门(rollingshutter)模式下，以便在图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行。
在一些实施例中，通过发起扫描并且从而发起通过协调方式操作的一个或更多摄影机光学链对于感兴趣场景区域的图像捕获来捕获感兴趣场景区域。在一些实施例中，传感器控制器控制摄影机设备的多个图像传感器当中的每一个图像传感器按照同步方式实施像素值(例如像素值行)的读出，例如根据卷帘快门实现方式的操作顺序地读出各个像素值行。在一些实施例中，传感器控制器确定对应于某一光学链的图像传感器是否具有对应于当前扫描位置的未读像素行，例如将被读出的像素值行。如果给定的图像传感器不具有对应于当前扫描位置的未读像素值行，这例如是因为该图像传感器对应于落在与当前扫描位置相对应的区域之外的图像部分，则传感器控制器跳过读出来自图像传感器的像素行。如果给定的图像传感器具有对应于当前扫描位置的未读像素值行，则读出来自图像传感器的像素行。在一些实施例中，基于扫描位置来控制图像传感器突出，并且多个图像传感器的传感器读出按照协调方式发生。
一种操作摄影机设备来扫描感兴趣场景区域的一部分的示例性方法包括：控制多个图像传感器从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一(例如顶部)和第二(例如底部)边缘是平行的，所述扫描包括根据(例如以均匀的速率)从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获，所述控制包括在卷帘快门模式下操作所述多个图像传感器当中的第一图像传感器，从而在第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，当前扫描位置随着时间改变(例如随着扫描从第一边缘继续到第二边缘)，所述控制还包括在卷帘快门模式下操作所述多个图像传感器当中的第二图像传感器，从而在第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，其中第一和第二图像传感器捕获感兴趣场景区域的不同部分的图像。
一种示例性摄影机设备包括：多个光学链；以及被配置成控制对应于所述多个光学链的多个图像传感器的传感器控制器，以便从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一和第二边缘是平行的，作为扫描的一部分，传感器控制器根据从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获，传感器控制器在卷帘快门模式下控制所述多个图像传感器当中的第一图像传感器，从而在第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，当前扫描位置随着时间改变，传感器控制器还在卷帘快门模式下控制所述多个图像传感器当中的第二图像传感器，从而在第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，其中第一和第二图像传感器捕获感兴趣场景区域的不同部分的图像。
在一些实施例中，一种示例性摄影机设备包括非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括计算机可执行指令，所述非瞬时性计算机可读介质包括指令，其在由处理器执行时控制多个图像传感器从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一和第二边缘是平行的，所述扫描包括根据从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获，所述指令使得处理器在卷帘快门模式下控制所述多个图像传感器当中的第一图像传感器，从而在第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，当前扫描位置随着时间改变，所述指令还使得处理器在卷帘快门模式下控制所述多个图像传感器当中的第二图像传感器，从而在第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于当前扫描位置的像素值行，其中第一和第二图像传感器捕获感兴趣场景区域的不同部分的图像。
所描述的至少一些特征是针对涉及控制多个光学链按照同步方式扫描感兴趣场景区域从而捕获感兴趣场景区域的图像的方法和装置。在各个实施例中，对应于摄影机设备的多个光学链的图像传感器被操作在卷帘快门模式下，从而同时(例如并发地)读出对应于感兴趣场景区域的一部分的像素值行。因此，在各个实施例中，实施同步卷帘快门，其读出包括在相应的两个或更多光学链中的两个或更多图像传感器。当多个(例如两个或更多)光学链被操作来同时进行读出时，其中一个或更多剩余的光学链(例如被引导到感兴趣场景的不同部分的光学链)可以被控制成在其他图像传感器正在读出像素值时不读出像素值。
在各个实施例中，分别对应于两个或更多光学链的两个或更多图像传感器的读出速率被作为相应的光学链的焦距的函数来控制。在其中第一光学链的焦距(例如f2)大于第二光学链的焦距(例如f1)的一些实施例中，传感器读出控制器控制相应的第一图像传感器在一段时间内读出第一图像传感器中的一定数目的像素行，所述时间段是作为第二焦距(f1)与第一焦距(f2)的比值乘以被用来读出对应于第二光学链的第二图像传感器中的相同数目的像素行的时间量来计算的。
一种捕获对应于感兴趣场景区域的图像的示例性方法包括：控制多个光学链同时(例如并发地)读出对应于感兴趣场景区域的一部分的像素值，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中第二焦距不同于第一焦距，感兴趣场景区域的不同部分在不同时间被读出。在一些实施例中，所述控制包括对于包括在第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出。
一种用于捕获对应于感兴趣场景区域的图像的示例性摄影机设备包括：多个光学链；以及被配置成控制所述多个光学链同时读出对应于感兴趣场景区域的一部分的像素值的控制器，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中第二焦距不同于第一焦距，感兴趣场景区域的不同部分在不同时间被读出。
在一些实施例中，一种示例性摄影机设备包括非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括计算机可执行指令，所述非瞬时性计算机可读介质包括指令，其在由处理器执行时控制多个光学链同时读出对应于感兴趣场景区域的一部分的像素值，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中第二焦距不同于第一焦距，感兴趣场景区域的不同部分在不同时间被读出。
虽然在前面的概要中讨论了许多实施例和特征，但是应当认识到，在这里描述的许多新颖特征可以独立于其他新颖特征来使用。因此虽然描述了各个示例性实施例，但是本申请不限于特定的示例性实施例或者在特定示例性实施例中描述的特征组合。
在后面的详细描述中描述了许多附加的特征和实施例。
附图说明
图1是根据本发明的一个实施例实施的例如摄影机设备的示例性装置的方块图。
图2示出了根据一个实施例实施的装置的正视图，其合并了根据本发明的多个光学链(例如摄影机模块)，其中可以从摄影机的正面看到透镜。
图3是图2的示例性装置的侧视图，其示出了所述示例性装置的进一步细节。
图4A示出了根据另一个实施例实施的摄影机设备。
图4B示出了在一个特定的示例性实施例中实施的图4A中所示的摄影机设备的光学链的更多细节。
图5示出了可以被用作包括在图1、图8、图12A或各个其他实施例的摄影机设备中的其中一个光学链的一个示例性光学链，例如摄影机模块。
图6是根据本发明的一项特征的包括多个摄影机模块的示例性摄影机的透视图，其覆盖物被缩回以允许摄影机模块捕获图像。
图7示出了图6的摄影机，其覆盖物处于关闭位置从而覆盖摄影机正面。
图8是类似于图6的摄影机设备的正视图，其具有摄影机模块的更好的视图，从而可以更好地认识到各个单独的摄影机模块的透镜安排。
图9是图8的摄影机设备的图示但是没有示出摄影机外壳，从而允许更好地认识到摄影机设备的正面的透镜安排。
图10是图7的摄影机设备的侧视图，从中可以看到摄影机具有深度D1和高度H。
图11示出了图8和9中示出的透镜安排的更多细节。
图12A示出了在一个实施例中被用来实施图6和8中示出的类型的摄影机设备并且具有图11中示出的透镜安排的光学链(例如摄影机模块)的安排。
图12B示出了图8中示出的类型的摄影机设备的透视图，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图12C、12D、12E和12F示出了如何可以通过改动作为光学链的一部分的光重定向设备的位置(例如角度)来改变在图12B中示出的光学链的光轴的第一部分。
图13A示出了可以并且被使用在图14-17中示出的各个摄影机设备实施例中的摄影机模块，所述摄影机模块具有透镜和光重定向设备，其中所述透镜具有非圆形孔径，所述光重定向设备例如是反射镜。
图13B是示出了根据一个示例性实施例的摄影机中的多个光学链(OC)的示例性安排以及每一个光学链的元件配置和安排的图示。
图14示出了对于具有较大焦距的光学链使用非圆形透镜并且对于具有更小焦距的光学链使用圆形透镜的示例性摄影机设备。
图15是没有摄影机外壳的图14中示出的摄影机设备的正面的图示。
图16图14的摄影机设备的侧视图，从中可以看到摄影机具有深度D2和高度H，其中D2小于作为图6-9中示出的摄影机设备的深度的D1。
图17A示出了在一个实施例中被用来实施图14中示出的类型的摄影机设备并且具有图15中示出的透镜安排的摄影机模块的安排。
图17B示出了图14中示出的类型的摄影机设备的透视图，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图18示出了对应于具有圆形开口的示例性透镜的圆形孔径，比如可以并且有时被使用在图12A的实施例中的透镜。
图19示出了对于图18中示出的类型的透镜所预期的频率特性，其频率信息在全部两个维度中是相同的或类似的。
图20示出了在圆形孔径的情况下，光从中穿过的开口的长度如何在透镜开口存在于其中的平面的全部两个维度中是相同的。
图21示出了示例性的非圆形(例如椭圆形)孔径，其中的阴影被用来表明将被捕获的水平和垂直方向当中的每一个方向上的频率信息的相对数量，从图中可以清楚看到，在垂直方向上可以获得比水平方向上更多的频率信息，从而导致在孔径的更长维度中捕获并且可以获得比更窄维度中更高的频率信息。
图22示出了垂直(Y)和水平(X)方向上的非圆形孔径的长度的比较，其中垂直维度在图22的实例中是两个维度当中的更长维度。
图23示出了通过组合来自被指向在不同方向上的多个非圆形透镜的图像信息，如何可以获得近似预期会从圆形透镜获得的信息的图像信息，其中由于在图23的实例中被组合生成复合图像的多幅单独图像的重叠，趋近组合图像的中心可以获得比各个边缘位置处更多的信息。
图24示出了如何可以对具有圆形孔径的透镜进行切割或掩蔽以产生具有非圆形孔径的透镜，例如近似椭圆形或长方形形状。
图25示出了从对圆形透镜进行切割或掩蔽所得到的孔径，例如图24中所示的具有圆形孔径的透镜。
图26示出了与具有圆形孔径的外侧透镜相组合地使用光重定向设备来把光转向90度如何通常需要等于或大于具有圆形孔径的透镜的直径的摄影机深度(例如厚度)。
图27示出了在一些实施例中，与把光转向90度的光重定向设备相组合地使用具有非圆形(例如椭圆形)孔径的透镜如何可以允许使用在一个维度中比摄影机深度更长的透镜。
图28示出了包括非圆形孔径的摄影机模块的光径的长度如何可以比具有光重定向设备的摄影机的深度更长，其中所述光重定向设备能够被定位在摄影机设备的一端。
图29示出了一个实例，其中在摄影机模块中使用多个光重定向设备以便允许相对较长的光行进路径并且从而允许相对较长的焦距，同时根据光经过摄影机模块时被转向的方式，允许把传感器定位在摄影机的背面或正面。
图30示出了多个具有非圆形孔径的透镜如何可以被使用在单个示例性摄影机设备中以便在多个方向上收集高频率信息，从而在组合各幅图像以生成复合图像时在多个方向当中的每一个方向上都可以获得高频率信息。
图31示出了包括场景区域的示例性场景，所述场景区域的图像可以通过根据本发明的一个或更多实施例实施的摄影机的摄影机模块来捕获。
图32示出了包括多个摄影机模块(其中一些摄影机模块具有不同的焦距)的摄影机的不同摄影机模块如何可以捕获感兴趣场景区域的不同尺寸部分。
图33示出了如图32中所示的包括多个摄影机模块的摄影机的不同摄影机模块如何可以捕获图31中示出的感兴趣场景区域的不同部分。
图34示出了通过具有捕获图33中示出的尺寸的场景区域的模块的摄影机所捕获的不同图像及其相互关系，所述相互关系促进组合所述图像以生成复合图像。
图35、36、37、38和39示出了涉及通过协调方式对不同光学链的传感器读取进行卷帘快门控制的各个方面，从而使得可以很容易组合通过不同传感器捕获的图像。
图40是根据一个示例性实施例的利用多个摄影机模块来捕获图像并且组合所述图像的示例性方法。
图41包括图41A和图41B的组合，其是示出了操作摄影机设备来扫描感兴趣场景并且从中生成复合图像的示例性方法的各个步骤的流程图。
图42示出了按照同步方式使用多个摄影机模块来捕获感兴趣场景的方法的各个步骤。
图43示出了根据另一个示例性实施例的按照同步方式使用多个摄影机模块来捕获感兴趣场景的方法的各个步骤。
图44示出了根据一个示例性实施例的按照同步方式使用多个摄影机模块来捕获图像的方法的各个步骤。
图45是示出了根据一个示例性实施例的使用摄影机设备来捕获图像的方法的流程图。
图46是示出了根据一个示例性实施例的捕获图像的方法的流程图。
图47是根据一个示例性实施例的生成复合图像的方法的流程图。
图48A是根据一个示例性实施例的包括可移动反射镜的示例性摄影机设备的图示。
图48B是根据一个示例性实施例的包括可移动棱镜的示例性摄影机设备的图示。
图48C是可以被包括在根据一个示例性实施例的示例性摄影机设备中的示例性模块套件的图示。
图49是被用来说明根据一个示例性实施例的被用来生成组合图像的示例性的所捕获图像的图示。
图50是被用来说明根据一个示例性实施例的被用来生成组合图像的示例性的所捕获图像的图示。
图51A是根据一个示例性实施例的捕获至少一幅图像的示例性方法的流程图的第一部分。
图51B是根据一个示例性实施例的捕获至少一幅图像的示例性方法的流程图的第二部分。
图52是根据一个示例性实施例的包括可移动反射镜的示例性摄影机设备的图示。
图53是根据一个示例性实施例的包括可移动棱镜的示例性摄影机设备的图示。
图54是可以被包括在根据一个示例性实施例的示例性摄影机设备中的示例性模块套件的图示。
图55是根据一个示例性实施例的示例性的所存储的变焦设定到光重定向设备位置映射表的图示。
图56是示出了根据一个示例性实施例的对应于1X变焦设定的一个实例的图示，其中从来自多个光学链的所捕获图像生成组合图像。
图57是示出了根据一个示例性实施例的对应于2X变焦设定的一个实例的图示，其中从来自多个光学链的所捕获图像生成组合图像。
图58是示出了根据一个示例性实施例的对应于3X变焦设定的一个实例的图示，其中从来自多个光学链的所捕获图像生成组合图像。
图59是示出了根据一个示例性实施例的对应于4X变焦设定的一个实例的图示，其中从来自多个光学链的所捕获图像生成组合图像。
图60A是根据一个示例性实施例的捕获图像的示例性方法的流程图的第一部分。
图60B是根据一个示例性实施例的捕获图像的示例性方法的流程图的第二部分。
图60C是根据一个示例性实施例的捕获图像的示例性方法的流程图的第三部分。
图60D是根据一个示例性实施例的捕获图像的示例性方法的流程图的第四部分。
图61是根据一个示例性实施例的具有可移动光重定向设备的包括多个光学链的示例性摄影机设备的图示。
图62是可以被包括在根据一个示例性实施例的示例性摄影机设备中的模块套件的图示。
图63是示出了根据一个示例性实施例的对应于不同变焦焦距设定的示例性复合图像的图示。
图64示出了根据一个示例性实施例的对应于一个实例的被组合来生成复合图像的所捕获图像，在该例中用户选择的焦距设定被设定在最大焦距拉近，例如变焦焦距设定＝f2。
图65示出了根据一个示例性实施例的对应于一个实例的所捕获图像和经过裁剪的所捕获图像，其中一些被组合来生成复合图像，在该例中用户选择的焦距设定被设定在最大焦距拉近，例如变焦焦距设定＝f1。
图66示出了根据一个示例性实施例的对应于一个实例的所捕获图像和经过裁剪的所捕获图像，其中一些被组合来生成复合图像，在该例中用户选择的焦距设定被设定在中间值，例如处于f2与f1之间的值。
图67示出了根据一个示例性实施例的示例性用户控制的变焦以及来自不同光学链的所捕获图像之间的示例性重叠，其中每一个光学链包括例如作为用户选择的变焦焦距设定的函数被定位(例如调节)的可移动光重定向设备。
图68A是根据一个示例性实施例的使用摄影机设备来捕获图像的示例性方法的流程图的第一部分。
图68B是根据一个示例性实施例的使用摄影机设备来捕获图像的示例性方法的流程图的第二部分。
图69是根据一个示例性实施例的包括具有不同焦距的至少两个光学链的示例性摄影机设备的图示。
图70是可以被包括在根据一个示例性实施例的示例性摄影机设备中的模块套件的图示。
图71是示出了示例性感兴趣场景以及对应于根据一个示例性实施例的摄影机设备中的不同光学链的示例性捕获区域的图示。
图72是示出了对应于一个实例的示例性读出时间的图示，该实例对应于用户输入高运动速率操作模式或者具有高感测速率的自动操作模式。
图73是示出了对应于一个实例的示例性读出时间的图示，该实例对应于用户输入高分辨率操作模式或者具有低感测速率的自动操作模式。
具体实施方式
图1示出了根据本发明的一个示例性实施例实施的示例性摄影机设备100，其比如是数字摄影机、具有摄影机功能的笔记本式计算机或者具有摄影机功能的蜂窝电话。在一些实施例中，摄影机设备100是便携式设备。在其他实施例中，摄影机设备100是固定设备，比如墙壁安装的摄影机。
图1以方块图的形式示出了摄影机设备100，其中示出了装置100的各个元件之间的连接。示例性摄影机设备100包括安放在外罩中的显示设备102、发光器模块104、输入设备106、输入状态检测模块148、曝光和读出控制器150(例如卷帘快门控制器150)、光控制设备152、存储器108、处理器110、硬件模块套件180、无线和/或有线接口114(例如蜂窝接口、WIFI接口和/或USB接口)、I/O接口112、加速度计模块122、3轴陀螺仪192以及总线116，所述外罩由矩形方框表示并且被导向附图标记100的线条接触。发光器模块104包括发光元件，其可能是LED(发光二极管)或其他类型的发光元件，所述发光元件可以被单独控制，从而使得所有发光元件不需要同时开启。输入设备106可以并且在一些实施例中例如是小键盘、触摸屏或者可以被用于输入信息、数据和/或指令的类似设备。加速度计模块122包括加速度计1124、加速度计2126以及加速度计3128，其被排列在垂直轴上，从而提供3轴加速度计模块。因此，加速度计模块122可以沿着3个独立轴进行测量。类似地，包括194、196和198的3轴陀螺仪192可以沿着3个不同轴当中的每一个测量旋转。加速度计模块122和陀螺仪模块192的输出可以并且在一些实施例中被监测，其中加速度计和陀螺仪输出中的改变被处理器110和/或变焦控制模块(例如变焦控制器140)随着时间解释和检查，以便表明一个或更多方向上的运动的加速度中的改变。在一些实施例中，输入设备106包括至少一个变焦控制按钮，其可以被用来启用或禁用摄影机变焦功能。在一些这样的实施例中，当变焦控制按钮处于按下状态时，摄影机变焦功能被启用，而当所述按钮处于未按下状态时，摄影机变焦功能被禁用。输入状态检测模块148被配置成检测输入设备(例如变焦控制按钮)的状态，以便检测所述按钮处于按下状态还是未按下状态。在一些实施例中，在摄影机设备100中存在状态寄存器，其包括由状态检测模块148检测的表明变焦控制按钮的状态的比特，例如其是否处于表明变焦被启用的按下状态，或者是否未被按下从而表面变焦被禁用。
显示设备102可以并且在一些实施例中是触摸屏，其被用来显示图像、视频、关于摄影机设备的配置的信息以及/或者正在摄影机设备上实施的数据处理的状态。在显示设备102是触摸屏的情况下，显示设备102充当附加的输入设备并且/或者充当针对单独的输入设备(例如按钮106)的替换方案。正如将在一些实施例中讨论的那样，可以通过按压变焦控制传感器(例如触摸传感器)来控制变焦操作。在一些实施例中，当摄影机用户触摸变焦控制传感器时，编辑功能被启用。举例来说，触摸传感器上的手指激活/启用变焦功能。I/O接口112把显示器102和输入设备106耦合到总线116，并且在显示器102、输入设备106以及可以通过总线116进行通信和交互的摄影机的其他元件之间进行接口。
除了耦合到I/O接口112之外，总线116还耦合到存储器108、处理器110、可选的自动聚焦控制器132、无线和/或有线接口114、变焦控制模块140以及多个光学链130，例如X个光学链，其在这里也被称作摄影机模块。在一些实施例中，X是大于2的整数，取决于具体实施例，其例如是3、4、7或更大的值。可以利用在本申请中描述的各种摄影机模块集合和/或安排当中的任一种来实施所述多个摄影机模块130。举例来说，在一些实施例中，摄影机设备100是利用如图12A中所示出的摄影机模块的集合来实施的，而在其他实施例中，摄影机设备100是利用如图13B或图17A或者包括在本申请中的任何其他服务中所示出的模块安排来实施的。由所述多个光学链130当中的各个单独的光学链捕获的图像可以并且在各个实施例中被存储在存储器108中(例如作为数据/信息120的一部分)并且由处理器110处理，以便例如生成一幅或更多幅复合图像。
X个摄影机模块131到133可以并且在各个实施例中确实包括具有不同焦距的摄影机模块。在给定焦距处可以提供多个摄影机模块。举例来说，在一些实施例中，在一个单独的摄影机设备中包括具有全帧(fullframe)DSLR摄影机的35mm等效焦距的多个摄影机模块、具有全帧DSLR摄影机的70mm等效焦距的多个摄影机模块以及具有全帧DSLR摄影机的140mm等效焦距的多个摄影机模块。所述各个焦距是示例性的，并且可以使用具有不同焦距的多种摄影机模块。摄影机设备100应当被视为是示例性的。就在其他地方关于其他一些附图提到摄影机或摄影机设备而言，应当理解的是，至少在一些实施例中，所述摄影机设备或摄影机将包括图1中示出的元件，即使在特定的附图或实施例中并未示出所述元件。在一些实施例中，图1中示出的所有元件都被包括在摄影机设备或摄影机中，而在其他实施例中则包括图1中示出的元件当中的一个子集，并且图1中的元件的图示不意图暗示着特定元件在所有实施例中都是必不可少的或者必要的。
正如后面将讨论的那样，在同一时间或者在给定的时间段期间捕获的来自不同摄影机模块的图像可以被组合生成复合图像，例如与通过单个摄影机模块131、133捕获的单独图像相比具有更好的分辨率、频率内容和/或光范围的图像。
多幅所捕获图像和/或复合图像可以并且在一些实施例中被处理以形成视频，例如对应于一段时间的一系列图像。接口114把摄影机设备100的内部组件耦合到外部网络(例如因特网)以及/或者一个或更多其他设备(例如存储器或独立计算机)。通过接口114，摄影机设备100可以并且确实输出数据，例如所捕获的图像、所生成的复合图像以及/或所生成的视频。所述输出可以是去到网络或者去到另一个外部设备，以用于处理、存储和/或共享。所捕获的图像数据、所生成的复合图像和/或视频可以作为输入数据被提供到另一个设备以供进一步处理，并且/或者可以被发送以供存储，例如存储在外部存储器、外部设备或网络中。
摄影机设备100的接口114可以并且在某些情况下耦合到计算机，从而可以在外部计算机上处理图像数据。在一些实施例中，外部计算机具有比摄影机设备100更高的计算处理能力，从而允许在外部计算机上发生对于所输出的图像数据的在计算方面更加复杂的图像处理。接口114还允许从一个或更多网络以及/或者例如计算机或存储器之类的其他外部设备向摄影机设备100提供数据、信息和指令，以便在摄影机设备100上进行存储和/或处理。举例来说，可以把背景图像提供到摄影机设备，以便由摄影机处理器110与通过摄影机设备100捕获的一幅或更多幅图像进行组合。可以通过接口114把指令和/或数据更新加载到摄影机上并且存储在存储器108中。
在一些实施例中，照明模块104包括多个发光元件，例如LED，其可以通过受控方式被照明以便充当摄影机闪光灯，其中基于卷帘快门的操作和/或曝光时间例如通过同步方式分组或者单独地控制各个LED。出于讨论的目的，模块104将被称作LED模块，这是因为在该示例性实施例中LED被用作发光设备，但是正如前面所讨论的那样，本发明不限于LED实施例，并且还可以使用其他发光源。在一些实施例中，LED模块104包括发光元件(例如LED)的阵列。在一些实施例中，LED模块104中的发光元件被安排成使得每一个单独的LED和/或一组LED可以通过卷帘快门操作按照同步方式被照明。在一些但非所有实施例中，发光元件被顺序地照明，从而使得一个区域的不同部分在不同时间被照明，从而使得整个区域在图像捕获期间不需要被一致地照明。对于涉及传感器的全部像素元件集合的读出的图像捕获操作的全部持续时间，所有照明元件不会都被保持开启，借助于通过卷帘快门操作实现的发光元件照明的同步，作为使用卷帘快门的结果将会照明在给定时间被捕获其图像的区域部分(例如扫描区域)。因此，基于曝光时间以及在给定时间传感器的哪一部分将被用来捕获图像的一部分，各个发光元件被控制成在不同的时间照明。在一些实施例中，LED模块104中的发光元件包括多个发光元件集合，每一个发光元件集合对应于其所照明的一个不同的图像区域，并且该图像区域由图像传感器的一个不同部分捕获。透镜可以并且在一些实施例中被用来把来自不同发光元件的光引导到不同的场景区域，其将由摄影机通过使用一个或更多摄影机模块来捕获。
卷帘快门控制器150是控制在不同时间读出一个或更多图像传感器的不同部分的电子快门。每一个图像传感器一次被读取一行像素值，并且各行被依次读取。正如后面将讨论的那样，在一些实施例中，由不同传感器捕获的图像的读出被控制成使得各个传感器按照同步方式捕获一个感兴趣场景区域(其有时也被称作感兴趣图像区域)，在一些实施例中多个传感器同时捕获相同的图像区域。
虽然在大多数实施例中使用电子卷帘快门，但是在一些实施例中也可以使用机械卷帘快门。
光控制设备152被配置成利用卷帘快门控制器150的操作按照同步方式来控制发光元件(其例如被包括在LED模块104中)。在一些实施例中，光控制设备152被配置成按照与卷帘快门150同步的方式控制阵列中的不同发光元件集合在不同时间发光。在一些实施例中，光控制设备152被配置成在第一时间段期间控制对应于第一图像区域的第一发光元件集合输出光，第一时间段是基于卷帘快门的定时确定的，并且是其间传感器的第一部分被曝光以用于图像捕获的时间段。在一些实施例中，光控制设备152还被配置成在第二时间段期间控制对应于第二图像区域的第二发光元件集合输出光，第二时间段是基于卷帘快门的定时确定的，并且是其间传感器的第二部分被曝光以用于图像捕获的时间段。在一些实施例中，第一时间段包括不与第二时间段重叠的至少一部分时间。
在一些实施例中，光控制设备152还被配置成在第三时间段期间控制对应于第N图像区域的第N发光元件集合输出光，所述第N时间段是基于卷帘快门的定时确定的，并且是其间传感器的第N部分被曝光以用于图像捕获的时间段，N是对应于由所述卷帘快门使用来完成全部图像区域的一次完整读出的时间段的总数的整值。
在一些实施例中，光控制设备152还被配置成在不与所述第二时间段重叠的包括在第一时间段中的所述时间部分期间控制第二发光元件集合关闭。在一些实施例中，所述光控制设备被配置成基于曝光设定来决定第一集合和所述第二发光元件集合何时将开启。在一些实施例中，所述光控制设备被配置成基于所述传感器的不同部分的读出之间的时间量来决定所述第一集合和所述第二发光元件集合何时将开启。在一些实施例中，所述多个发光元件当中的不同发光元件集合由不同的透镜覆盖。在一些这样的实施例中，光控制设备152还被配置成基于由摄影机设备使用的有效焦距设定来决定将要使用哪些发光元件集合。
加速度计模块122包括多个加速度计，其中包括加速度计1124、加速度计2126和加速度计3128。每一个加速度计被配置成检测给定方向上的摄影机加速度。虽然三个加速度计124、126和128被显示成包括在加速度计模块122中，但是应当认识到，在一些实施例中，可以使用多于三个加速度计。类似地，陀螺仪模块192包括3个陀螺仪194、196和198，其中每一个陀螺仪对应于一个轴，因此其非常适合于使用在摄影机设备通常被使用在其中的3维真实世界环境中。由加速度计在给定方向上检测到的摄影机加速度被监测。加速度和/或加速度中的改变以及表明摄影机运动的旋转被监测和处理，以便检测一个或更多运动方向，例如前向摄影机运动、后向摄影机运动等等。正如后面将讨论的那样，表明摄影机运动的加速度/旋转可以被用来控制变焦操作并且/或者在某些情况下被提供到摄影机座架，其随后可以采取动作，比如旋转摄影机座架或者旋转摄影机支架以便帮助稳定摄影机。
摄影机设备100可以包括并且在一些确实包括自动聚焦控制器132和/或自动聚焦驱动套件134。在一些实施例中，自动聚焦驱动套件134被实施成透镜驱动器。自动聚焦控制器132存在于至少一些自动聚焦实施例中，但是在固定聚焦实施例中将被省略。自动聚焦控制器132控制被用来实现所期望的(例如用户表明的)聚焦的一个或更多光学链中的至少一个透镜位置的调节。在其中各个单独的驱动套件被包括在每一个光学链中的情况中，自动聚焦控制器132可以驱动各个光学链的自动聚焦驱动器以便聚焦在相同的目标上。
变焦控制模块140被配置成响应于用户输入实施变焦操作。
处理器110控制摄影机设备100的操作，以便控制摄影机设备100的各个元件来实施这里所描述的方法的各个步骤。所述处理器可以是被预先配置成实施所述方法的专用处理器。但是在许多实施例中，处理器110在存储于存储器108中的软件模块和/或例程的引导下操作，所述软件模块和/或例程包括指令，所述指令在被执行时使得处理器控制摄影机设备100来实施这里所描述的其中一种、更多种或所有方法。存储器108包括模块118的套件，其中一个或更多模块包括一个或更多软件例程(例如机器可执行指令)，其用于实施本发明的图像捕获和/或图像数据处理方法。模块118中的各个单独的步骤和/或代码行在由处理器110执行时控制处理器110实施本发明的方法的各个步骤。当由处理器110执行时，数据处理模块118使得由处理器110根据本发明的方法来处理至少一些数据。模块118的套件包括模式控制模块，其例如基于用户输入来决定将要实施多种摄影机设备操作模式当中的哪一种。在不同的操作模式中，不同的摄影机模块131、133可以并且常常基于所选择的操作模式被不同地控制。举例来说，取决于操作模式，不同的摄影机模块可以使用不同的曝光时间。或者，正如后面关于图5和34所讨论的那样，取决于在用户选择或自动选择的操作模式期间将如何使用由不同的摄影机模块捕获的图像(例如组合形成复合图像)以及各个单独的摄影机模块将要捕获更大场景的哪些部分，可以改变摄影机模块被导向的场景区域并且从而改变由单独的摄影机模块捕获场景的哪一部分。在一些实施例中，在执行来自一个或更多模块套件的指令时由处理器实施的操作替换地由硬件模块实施，所述硬件模块实施相同的功能并且被包括在硬件模块套件中。
所得到的数据和信息(例如场景的所捕获图像、场景的组合图像等等)被存储在数据存储器120中以供将来使用、附加的处理和/或例如输出到显示设备102以进行显示或者输出到另一个设备以进行传送、处理和/或显示。存储器108包括不同类型的存储器，例如随机存取存储器(RAM)，模块118的套件以及数据/信息120可以并且在一些实施例中被存储在其中以供将来使用。模块118的套件可以被存储在只读存储器(ROM)中以防停电。用于存储数据、信息和指令的非易失性存储器(比如闪存)也可以被用来实施存储器108。可以将记忆卡添加到设备以便提供用于存储数据(例如图像和视频)和/或指令(比如程序)的附加存储器。相应地，存储器108可以利用充当存储设备的多种非瞬时性计算机或机器可读介质当中的任一种来实施。
前面参照图1描述了摄影机设备100的一般组件，现在将参照分别从正面和侧面视角示出了摄影机设备100的图2和3来描述涉及多个光学链130的各种特征。图2的虚线101表明剖面线。
方框117表示关键字，并且表明OC＝光学链(例如摄影机模块)，并且每一个L1表示光学链中的最外侧透镜。方框119表示关键字，并且表明S＝传感器，F＝滤光器，L＝透镜，L1表示光学链中的最外侧透镜，L2表示光学链中的内侧透镜。虽然图3示出了光学链的一种可能的实现方式，但是正如后面将讨论的那样，其他实施例也是可能的，并且除了图3中示出的元件之外，光学链还可以包括一个或更多光重定向元件。不同光学链的透镜可以具有不同的形状，例如圆形孔径被用于一些透镜，非圆形孔径被用于其他透镜。但是在一些实施例中，具有圆形孔径的透镜被用于摄影机设备的每一个光学链。
图2示出了示例性摄影机设备100的正面。图1中示出的光线131是朝向摄影机套件的正面的光，其可以进入位于摄影机外罩的正面的透镜。从摄影机设备100的正面，摄影机设备100看起来是相对平坦的设备，其中外侧矩形表示摄影机外罩，趋向摄影机中心的正方形表示多个光学链130被安放在其中的正面摄影机主体的部分。应当提到的是，虽然图2中示出的外侧透镜被显示成具有相同尺寸的圆形孔径，但是正如后面将讨论的那样，例如取决于焦距，不同尺寸的透镜可以被用于不同的光学链，其中与具有较小焦距的光学链相比，具有更大焦距的光学链通常包括具有更大孔径的外侧透镜。
图3示出了摄影机设备100的侧视图，其中示出了光学链130的集合中的七个光学链当中的三个(OC1121、OC7145、OC4133)、显示器102和处理器110。OC1121包括外侧透镜L1103、滤光器123、内侧透镜L2125以及传感器127。在一些实施例中，OC1121还包括用于控制透镜L2125的位置以用于变焦和/或自动聚焦操作目的的透镜驱动器(LD)129。曝光和读出控制器150未被示出，但是其被用于按照同步方式控制来自传感器127、151和139的各个像素值行的读出，其中例如考虑到由各个单独的传感器捕获的场景区域。LD129包括电动机或其他驱动机制，其可以移动与之连接的透镜、容纳一个或更多透镜的圆筒或圆柱或者传感器，从而允许通过相对于该LD所耦合到的光学链的其他元件移动一个或更多元件来改动光径。虽然LD129被显示成耦合(例如连接到)L2125并且从而可以移动透镜L2的位置(例如作为变焦或自动聚焦操作的一部分)，但是在其他实施例中，LD129耦合到作为光学链的一部分的圆柱或圆筒形组件或者耦合到传感器127。因此，作为变焦和/或聚焦操作的一部分，透镜驱动器可以改动透镜相对于传感器127的位置，以便例如改变传感器127与透镜125之间的距离。OC7145包括外侧透镜L1115、滤光器147、内侧透镜L2149以及传感器151。OC7145还包括LD153以用于控制透镜L2149的位置。LD153包括电动机或其他驱动机制，其可以移动与之连接的透镜、圆筒、圆柱、传感器或其他光学链元件。
OC4133包括外侧透镜L1109、滤光器135、内侧透镜L2137和传感器139。OC4133包括LD141以用于控制透镜L2137的位置。LD141包括电动机或其他驱动机制，并且按照与其他光学链的驱动器相同或类似的方式操作。虽然在图3中仅仅示出了其中三个OC，但是应当认识到，摄影机设备100的其他OC可以并且在一些实施例中确实具有相同或类似的结构，并且/或者可以包括例如光重定向设备之类的其他元件。因此，摄影机设备100的多个光学链之间的差异可能并且在一些实施例中确实存在，从而允许通过使用可以被并行地操作的多个光学链而在单个摄影机设备中支持多种焦距。
图3和其中所示出的光学链(OC)(其有时也被称作摄影机模块)是为了说明在各个实施例中所使用的OC的一般结构。但是许多修改和具体配置是可能的。参照图3的元件应当理解的是，特定实施例中的OC(摄影机模块)将按照关于该特定实施例中所描述的那样被配置，并且在单个摄影机设备中常常使用各种不同的摄影机模块。图5和图13A示出了包括光重定向设备的光学链(例如摄影机模块)。这样的模块可以被单独使用，或者与例如在图3和4A或本申请的其他附图中示出的其他模块组合使用。
虽然滤光器可以具有特定颜色并且被使用在一些光学链中，但是并不需要在所有光学链中都使用滤光器，并且在一些实施例中中可以不使用滤光器。在其中滤光器被明确地省略并且/或者被描述成被省略或者被描述成允许所有光通过的元件的实施例中，虽然可以参照图3的OC，但是应当认识到，在其中表明将省略滤光器的实施例中将会省略滤光器，或者在表明实施例具有宽带滤光器的情况下所述滤光器将具有允许较宽的光谱通过的性质。虽然在图3的OC中没有示出光重定向设备(R)(例如反射镜或棱镜)，但是正如后面将讨论的那样，在至少一些实施例中，一个或更多反射镜被包括在OC中以便对光进行转向，从而例如增加光径的长度或者实现更加便利的内部组件配置。应当认识到，图3中示出的每一个OC121、145、133将具有其自身的光轴。在该例中，每一个光轴在光学链的正面穿过透镜103、115或109的中心，并且穿过OC到达相应的传感器127、151、139。
虽然处理器110未被示出耦合到LD和传感器127、151、139，但是应当认识到，这样的连接是存在的并且从图3中省略，以便促进对于示例性OC的配置的说明。
应当认识到，透镜、滤光器和/或反射镜的数目和安排可以根据具体实施例而改变，并且图3中示出的安排意图是示例性的并且促进对于各种特征的理解而不是作出限制。
在图2中可以看到多个光学链130的正面，其中每一个光学链的最外侧透镜表现为利用实线表示的圆圈(OC1L1103，OC2L1105，OC3L1107，OC4L1109，OC5L1111，OC6L1113，OC7L1115)。在图2的实例中，所述多个光学链130包括七个光学链OC1121、OC2157、OC3159、OC4133、OC5171、OC6173、OC7145，其中分别包括由图2中示出的实线圆圈表示的透镜(OC1L1103，OC2L1105，OC3L1107，OC4L1109，OC5L1111，OC6L1113，OC7L1115)。当作为一个整体从正面看去时，光学链的透镜被安排形成图2中的总体上是圆形的图案。虽然在一些实施例中使用圆形安排，但是在其他实施例中使用并且优选非圆形安排。在一些实施例中，虽然总体图案是总体上或大致圆形的，但是去到总体圆形的中心的不同距离以及/或者从一个透镜到另一个透镜的不同距离意图被用来促进深度图的生成以及可以包括例如重复图案之类的周期性结构的图像的块处理，而不需要识别出重复图案的边缘。这样的重复图案可以在格栅(grill)或网板(screen)中找到。
对应于多个光学链OC1到OC7(其有时也被称作光学摄影机模块)的多个透镜的总体光捕获区域可以组合近似具有大得多的开口的透镜，而不需要单个透镜具有由于占据图2中所示的各个透镜所占据的区域的单个透镜的曲率而通常所必需的厚度。
虽然在光学链OC1到OC7的透镜开口之间示出了间隙，但是应当认识到，所述透镜可以并且在一些实施例中紧密地装配在一起，从而最小化由实线形成的圆圈所表示的透镜之间的间隙。虽然在图2中示出了几个光学链，但是应当认识到，其他数目的光学链也是可能的。举例来说，如图12A和17A中所示，在一些实施例中，在单个摄影机设备中使用十七个摄影机模块。包括甚至更大数目的光学链的摄影机设备也是可能的。
使用多个光学链与使用单个光学链相比具有几方面的优点。使用多个光学链允许噪声平均。举例来说，鉴于较小的传感器尺寸，存在一个光学链可能会检测到不同于另一个光学链的数目(例如一个或更多)的光子的随机概率。与正被感测的图像中的实际人类可感知变化不同，这可能代表噪声。通过平均对应于由不同光学链感测的图像的一部分的所感测像素值，可以对随机噪声进行平均，从而与使用单个光学链的输出的情况相比得到图像或场景的更加准确并且令人愉快的表示。
鉴于光学传感器(例如各个单独的像素元件)的较小尺寸，由于传感器在明亮的条件下很容易变为饱和，因此光敏感性方面的动态范围通常受到限制。通过使用对应于不同曝光时间的多个光学链，可以由对应于更长曝光时间的传感器感测场景区域的较暗部分，同时可以由具有更短曝光时间的光学链感测场景区域的较亮部分而不会变为饱和。通过表明传感器饱和的像素值所表明的变为饱和的光学链的像素传感器可以被忽略，并且来自其他(例如更少曝光的)光学链的像素值可以被使用，而没有来自其他光学链的饱和像素传感器的贡献。在一些实施例中使用作为曝光时间的函数的非饱和像素值的加权和组合。通过组合具有不同曝光时间的传感器的输出，与使用单个传感器和曝光时间所可能实现的情况相比可以覆盖更大的动态范围。
图3是图1和2中示出的摄影机设备100的剖面透视图。图2中的虚线101示出了图3的剖面所对应的摄影机设备内的位置。从该侧剖面可以看到第一、第七和第四光学链的组件。
如描绘出多个光学链的图3中所示，摄影机设备100可以被实施成相对较薄的设备，例如在至少一些实施例中是厚度小于2、3或4厘米的设备。更厚的设备也是可能的，例如具有长焦透镜的设备，并且其也落在本发明的范围内，但是更薄的形式特别适合于蜂窝电话和/或平板设备实现方式。正如后面将讨论的那样，与例如通常使用在手持式摄影机中的小传感器相结合可以使用多种技术，比如使用光重定向元件和/或非圆形透镜，以便在相对较薄的摄影机设备格式中支持相对较大的焦距，例如具有全帧DSLR摄影机的150mm等效焦距、具有全帧DSLR摄影机的300mm等效焦距或更高的摄影机模块。
如图3中的图示所示，显示设备102可以被放置在多个光学链130的后方，并且处理器110、存储器和其他组件至少在一些实施例中被定位在显示器和/或光学链130的上方或下方。正如后面将讨论的那样并且如图3中所示，每一个光学链OC1121、OC7145、OC4133可以并且在一些实施例中确实包括处于传感器S之前的外侧透镜L1、可选的滤光器F和第二可选透镜L2，传感器S捕获并且测量穿过透镜L1、滤光器F和第二透镜L2到达传感器S的光的强度。取决于具体的光学链实施例或配置，所述滤光器可以是彩色滤光器或者多种其他类型的滤光器当中的一种，或者可以被省略。
应当提到的是，在支持相对较大的光捕获区域并且在彩色滤光和曝光时间方面给出了大量的灵活性的同时，图3中示出的摄影机设备100相对较薄，其厚度远小于可以在图2中看到的摄影机设备的总体侧面到侧面长度或者甚至顶部到底部长度，例如是所述长度的1/5、1/10、1/20或者甚至更小。
图4A示出了根据本发明实施的摄影机设备200。图4的摄影机设备200包括在图1-3的设备100中示出的许多或所有相同的元件。示例性的摄影机设备200包括耦合在一起的多个光学链(OC1105，OC2207，...，OCX209)、处理器211、存储器213和显示器215。OC1205包括外侧透镜L1251、光重定向元件R252、铰链(或反射镜)驱动器HD291、滤光器253、内侧透镜L2255、传感器1257以及LD259。HD291可以被用来移动光重定向设备R252(例如反射镜)被安放到的铰链的位置并且从而移动反射镜，以便在不移动透镜251的情况下改变模块205所导向的场景区域。正如在一些实施例中的情况那样，在其中外侧透镜251是不具有屈光力的平面玻璃件或塑料件的一个实施例中，移动(例如围绕铰链旋转)反射镜252以改变模块205所导向的场景区域是特别有用的。
图4A中示出的光学链可以被安排在摄影机200内的许多位置处。图4B中的与图4A中所示出的相同的元件利用相同的附图标记来标识，并且将不再描述。图4B示出了一种安排中的光学链的配置，其中光经由摄影机200的正面或表面进入并且被转向到分别安放在形成摄影机200的外侧部分的摄影机外罩的内部顶部部分上的第一到第三摄影机模块的传感器257、269、281。
在图4B的实施例中可以看到，在水平维度中进入的光在垂直方向上被向上转向。举例来说，经过第一光学链205的外侧透镜251进入的光被反射镜252向上转向，从而使其在朝向传感器257行进时经过滤光器253和内侧透镜255。出于讨论的目的，具有光重定向元件(比如元件252)的光学链(比如第一光学链205)可以被划分成两个部分，即部分A和部分B。部分A由光学链中的在光径中处在光重定向元件252之前的所有元件构成，并且部分B由在光径中处在光重定向元件之后的所有光学元件(包括图像传感器)构成。从摄影机外部看去光学链205的光轴是部分A的光轴291。沿着光轴291行进到光学链205中的光将沿着第一光学链的部分B的光轴293被向上转向。
在光学链205的一个具体的示例性实施例中，部分A不包含具有任何屈光力的光学元件，例如部分A包含平面玻璃或滤光器而不包含透镜。在这种情况下，从摄影机的外部看去的光学链的光轴简单地是沿着光径，所述光径被光重定向元件沿着部分B的光轴293向上转向。在一些实施例中，具有屈光力的一个或更多透镜255被包括在光学链的部分B中。因此应当认识到，在至少一些实施例中，外侧透镜251可以被实施成平坦或相对平坦的透镜，其不会从摄影机200的表面突出。这样就降低了刮擦的风险，并且还降低了外侧透镜在被插入或者从口袋或外壳中取出时被挂住的可能性，而如果透镜从摄影机突出的话就可能会发生这种情况。
应当认识到，第二和第三摄影机模块的光轴类似于第一摄影机模块205的光轴，并且光学链的组件也可以被分组到两个部分中，即对应于处在光学链的反射镜之前的组件的部分A，以及对应于处在光学链的反射镜之后的组件的部分B。从光学链的光径的角度来看，像所述组件一样，光径可以被分组成部分A和部分B，其中反射镜提供光径的部分A与光径的部分B之间的过渡点。
在一些而非所有实施例中，图4A的摄影机设备200的处理器211与图1的设备100的处理器110相同或类似，图4A的设备200的存储器213与图1的设备100的存储器108相同或类似，设备200的变焦控制模块214与设备100的变焦控制模块140相同或类似，设备200的加速度计模块216与设备100的加速度计模块122相同或类似，并且图4A的设备200的显示器215与图1的设备100的显示器102相同或类似。
OC2207包括外侧透镜L1263、光重定向设备231、铰链驱动器293、滤光器265、内侧透镜L2267、传感器2269以及LD271。OCN209包括外侧透镜L1275、光重定向设备235、铰链驱动器295、滤光器277、内侧透镜L2279、传感器N281以及LD283。曝光和读出控制器150控制传感器按照同步方式读出例如像素值行，同时还控制曝光时间。在一些实施例中，曝光和读出控制器150是包括曝光控制器287和传感器读出控制器289的卷帘快门控制器。在一些实施例中包括自动聚焦控制器152以便控制透镜驱动器259、271和283。
在图4A的实施例中，各个光学链(光学链1205，光学链2207，...，光学链N209)被显示成独立的套件，其中每一个模块的透镜驱动器分别是单独的LD元件(LD259，LD271，LD283)。作为变焦和/或聚焦操作的一部分，每一个所示出的LD调节其所连接的相应透镜的位置。在一些实施例中，LD控制透镜和/或传感器的位置，在这种情况下，LD同时连接到透镜支撑机制或透镜以及传感器。
在图4A中，与其中一些其他附图相比可以更加清楚地看到每一个光学链中的处在传感器之前的反射镜以及各个透镜和滤光器之间的结构关系。虽然在图4A中在每一个传感器之前示出了四个元件，例如两个透镜(参见分别对应于L1和L2的列201和203)、光重定向元件R(参见列217)以及滤光器(其对应于列202)，但是应当认识到，在一个或更多光学链的传感器之前可以有透镜、光重定向元件和/或滤光器的大得多的组合(例如数目)，其中处于2-10个元件当中的任意数目是常见的，并且在一些实施例中使用甚至更大数目的元件，例如高端实施例和/或支持大量滤光器和/或透镜选项的实施例。此外还应当认识到，在所有光学链中不需要包括所有示出的元件。举例来说，在一些实施例中，可以实施具有相对较短焦距的光学链而不使用光重定向元件(例如用以把光转向90度)，这是因为在给定短焦距的情况下，可以按照平直但是仍然相对紧凑的方式实施具有短焦距的光学链。
在一些而非所有实施例中，光学链被安放在摄影机设备中，例如更短焦距光学链按照平直方式从摄影机设备的正面向背面延伸。但是在相同的摄影机中，更长焦距摄影机模块可以并且有时确实包括光重定向设备，其允许摄影机模块的光径的至少一部分侧向延伸，从而允许光轴的长度长于摄影机的深度。对于长焦距摄影机模块使用光重定向设备(例如反射镜)是特别有利的，这是因为此类模块的总体长度往往长于具有更短焦距的摄影机模块的总体长度。摄影机可以具有多种不同的摄影机模块，其中一些具有光重定向元件(例如反射镜)，其他摄影机模块则不具有反射镜。对应于不同光学链的滤光器和/或透镜可以并且在一些实施例中被安排在平面中，例如最外侧透镜的孔径可以被配置在平行于摄影机的表面延伸的平面中，例如当摄影机处于垂直方向上并且摄影机的顶部朝上时是摄影机的正面同时在其中垂直和水平延伸的平面。
图5示出了被使用在各个示例性实施例中的光学链(例如摄影机模块)500。在例如后面详细讨论的摄影机600之类的摄影机设备中使用了多个图5中示出的类型的光学设备。摄影机模块500是包括外侧透镜512、位于透镜512后方的光重定向设备(例如反射镜)、铰链驱动器516、反射镜铰链508、第一圆柱模块部分506、第二圆柱模块部分504、传感器502以及透镜驱动器514的光学链。光经由透镜512进入光学链500，并且被反射镜510转向，从而使其到达光学链背面的传感器502。第一和第二圆柱部分504、506可以容纳一个或更多透镜或滤光器以及光在到达传感器502之前可以经过的其他光学组件。反射镜510通常被用来把光转向90度，从而使得沿着其光轴经过透镜512(其可以被定位在摄影机的表面上)进入的光将沿着光学链500的部分B的光轴被转向，从而使其朝向摄影机的侧面行进，从而允许光学链500有效地使用在其中安放光学链500的摄影机设备的侧面到侧面距离，铰链驱动器516则可以移动铰链508并且从而是反射镜510的位置，以便改动转向角度从而使其不同于90度。因此，通过移动铰链508和反射镜510的全部或一部分而不移动透镜512，可以改动光学链500有效地指向的方向。在一些实施例中，铰链的轴垂直于光轴的部分B并且平行于摄影机600的正面的放置。在一些实施例中，透镜512是不具有屈光力的平面玻璃。
铰链驱动器可以利用电动机或其他机械机制来实施，其可以被用来驱动或改变反射镜510和/或把反射镜连接到摄影机模块的其他组件(比如圆柱部分506)的铰链508的位置。
圆柱或圆筒部分504、506可以由驱动器514移动，从而使其相对于彼此滑动，例如圆筒部分504可以被移动从而使其进一步移入或移出圆筒部分506，从而作为聚焦或变焦操作的一部分改动从透镜512到传感器502的距离。
应当认识到，光学链500允许把相对较长的光学链定位在其深度小于光学链500的总体长度的摄影机设备中。摄影机模块500特别适合于实施包括多个光学链但是仍然意图是相对较薄以便于存放在口袋或其他存放设备中的摄影机设备。
图6是包括多个光学链(例如图5中示出的类型的摄影机模块)的摄影机设备600的透视图。摄影机600包括覆盖物602，其是灵活的并且可以滑动到侧面以形成把手并且暴露出透镜区域604。在图6的实施例中，透镜区域604包括分别由一个圆圈表示的多个外侧透镜。更大的圆圈对应于与具有更小透镜的光学链相比具有更大孔径和焦距的光学链。图6的实施例包括对应于三个不同焦距的总共17个光学链。通过透镜区域604中的5个最小圆圈可以看到存在5个小焦距光学链，通过表示5个中等焦距光学链的外侧透镜的5个中等尺寸圆圈可以看到5个中等焦距光学链，并且通过图6的透镜区域604中示出的七个更大圆圈可以看到7个长焦距光学链。在一个实施例中，最小和最大光学链之间的焦距关系使得最小焦距是最大光学链的焦距的1/4，并且是中等焦距光学链的焦距的1/2。举例来说，小、中和大焦距光学链可以并且在一个实施例中确实分别具有35mm、70mm和140mm的全帧DSLR等效焦距。应当认识到，这样的焦距差异将导致35mm摄影机模块所捕获的场景区域是由70mm摄影机模块捕获的区域的近似四倍大，并且是由具有140mm焦距的摄影机模块捕获的场景区域的尺寸的16倍。虽然在图6中未示出，但是应当认识到，摄影机设备600可以并且在一些实施例中确实包括与图1和4A的摄影机设备100和摄影机设备200相同或类似的元件。因此应当认识到，摄影机设备600包括例如处理器110/211、存储器108/213、变焦控制器140/214、曝光和读出控制器150、加速度计、陀螺仪、自动聚焦控制器132等各种元件，以及前面关于摄影机设备100和200所讨论的各种其他元件。
通过使用具有不同焦距的摄影机模块来捕获感兴趣场景区域的一部分，并且通过随后像在各个实施例中所做的那样组合所述图像，复合图像可以具有高于任何一个单独传感器的总体像素计数。相应地，即使当由具有不同焦距的不同摄影机模块使用的传感器具有相同的像素计数时，复合图像的像素数目也可以远高于一个单独传感器的像素数目。
在一些实施例中，正如后面将讨论的那样，感兴趣场景区域的不同部分由具有最大焦距的不同摄影机模块捕获。具有中等或小焦距的摄影机模块随后被用来捕获感兴趣场景区域的更大部分，其中例如在使用最小所支持焦距的摄影机设备的摄影机模块的情况下，所述更大的感兴趣场景区域可以对应于完整的感兴趣场景区域。通过不同摄影机模块的图像传感器捕获重叠的图像。根据关于摄影机设备上的摄影机模块的位置的已知空间信息，例如不同摄影机模块的外侧透镜之间的距离以及/或者每一个单独的摄影机模块(其捕获将被组合的图像)所指向的角度，生成深度信息。利用深度信息，由不同的摄影机模块捕获的图像被组合以形成复合图像，正如后面将讨论的那样。应当提到的是，可以并且在一些实施例中在不生成场景或场景区域中的深度信息的情况下组合各幅图像。在一些这样的实施例中，首先选择一幅覆盖感兴趣场景区域的图像以作为参考图像。随后从参考图像中捕获的视角生成复合图像。在一个这样的实施例中，把参考图像中的所选小像素块与包括在其他图像的所选子集当中的每一幅图像中的匹配像素总集相组合。实施组合从而把参考图像块中的每一个像素与对象中的每一幅图像中的匹配像素(或者如果图像部分与非整数像素偏移匹配则是内插的像素)相组合。所述组合可以是像素值的加权和，其中基于像素所属的图像的质量来指派权重。该组合像素块现在成为相应的复合图像块。对于参考图像的其他块重复所述处理，从而生成整个复合图像。应当提到的是，利用与参考图像具有不同焦距的摄影机模块拍摄的图像具有不同的放大率。在这种情况下，在实施前面的处理之前，这些图像应当首先被适当地缩放以便具有与参考图像相同的放大率。通过如前所述地组合多幅图像而生成的复合图像很可能具有比基于被用来生成复合图像的图像组合所选择的参考图像更好的SNR。
具有对应于三个不同焦距的17个不同摄影机模块的图6的摄影机设备特别适合于组合所捕获图像以生成复合图像，正如后面将详细讨论的那样。
图7示出了图6的摄影机设备600，其中摄影机外壳处于关闭位置。应当提到的是，灵活外壳602充当覆盖物，其在摄影机不处于使用中时可以保护透镜区域604以及包括在其中的透镜。
图8是摄影机设备600以及摄影机设备的透镜安排的正视图，其中15个外侧透镜作为透镜区域604中的圆圈清楚可见。应当提到的是，最小透镜的直径d对应于具有最小焦距的摄影机模块，对应于中等焦距模块的外侧透镜具有直径2d，并且具有最大焦距的摄影机模块具有直径4d。给定f1是最大焦距(f3)的1/4并且是具有中等焦距的摄影机模块的中等焦距f2的一半焦距的焦距关系，则得到具有相同的“f光圈”或“f数”。“f数”是焦距与孔径直径的比值，其决定摄影机模块的衍射极限。f数越小，摄影机模块受到衍射限制的可能性就越低。更小的f数通常对应于摄影机模块中的更大光学复杂度。对于大约2.4的f数，现今可以通过成本有效的方式制造具有5个或6个模制塑料元件的小透镜。相应地，在一些实施例中，使用由多个塑料元件制成的塑料透镜。
图9是摄影机设备600的简化图示，其中外壳、控制装置和其他特征被省略以便允许更好地认识透镜配置和透镜区域。
图10是摄影机设备600的侧视图1000。如图10中所示，摄影机设备具有高度H(不包括控制按钮)和深度D1。D1等于或大于图6中示出的最大透镜的孔径的直径D。正如后面将讨论的那样，取决于实施例，如果光重定向元件(例如反射镜)被用来使光转向，则具有圆形孔径的外侧透镜的直径可能对摄影机的最小深度有影响。在这种情况下，摄影机的最小深度必须大于该直径。如果不是这种情况，则实际的模块孔径将小于外侧透镜的直径，并且可以使用更小的外侧透镜。
图11示出了摄影机600的外侧透镜安排的放大版本1100。在图11中，可以清楚看到具有三个不同尺寸的外侧透镜，其中最大直径透镜对应于具有最大焦距并且从而具有最大变焦(例如放大率)的摄影机模块。
图12A是示出了摄影机600的17个光学链(例如摄影机模块)如何可以被安排在摄影机600的主体内的图示1200。利用图5中示出的类型的光学链实施具有最大透镜和最大支持焦距的七个光学链1202、1206、1210、1212、1216、1220、1222。类似地，同样利用图5中示出的类型的光学链实施具有中等直径透镜和中等支持焦距的五个摄影机模块1204、1208、1214、1218、1224。利用不使用反射镜并且朝向摄影机的背面平直延伸的光学链实施具有最小直径外侧透镜和最小焦距的五个光学链1226、1228、1230、1232和1234。在图3的实施例中所使用的类型的光学链可以被用于光学链1226、1228、1230、1232和1234。但是应当认识到，在图5中示出的类型的光学链可能并且在一些实施例中被用作光学链1226、1228、1230、1232和1234。
图12A的实例可以被视为正视图，其中摄影机外罩的正面被移除以允许查看摄影机模块，从该例可以看到大量摄影机模块如何可以被合并到单个摄影机设备600中，从而允许利用单个摄影机同时和/或同步捕获一个场景区域的相同或不同部分的多幅图像。摄影机设备随后可以组合多幅图像以生成复合图像，所述复合图像具有超出利用摄影机600当中的单个摄影机模块所可能实现的图像属性和/或质量(比如像素的数目)。
图12B示出了摄影机设备600的透视图1250，其中示出了摄影机设备中的各个光学链以及摄影机设备中的光学链的元件的安排的更多细节。因此，图12B给出了关于图12A详细讨论的具有各种相应的焦距的多个光学链(OC)1202、1204、1206、1208、1210、1212、1214、1216、1218、1220、1222、1224、1226、1228、1230、1232和1234的更加详细的图示。
如图12B中所示，摄影机600具有深度D1，其代表从摄影机的正面(由箭头1223表明)到摄影机的背面/后面(由箭头1227表明)的摄影机600的厚度。虽然没有在图12B中示出，但是在一些实施例中，摄影机设备600包括与图1和/或4A的摄影机设备相同或类似的元件。
在一些实施例中，包括在光学链1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224中的元件类似于前面关于图4B和5所讨论的那些元件，而包括在光学链1226、1228、1230、1232和1234中的元件则类似于前面关于图3所讨论的那些元件。在图12B的实施例中每一个OC使用圆形外侧透镜。
OC1202包括外侧透镜1203、位于透镜1203后方的光重定向设备1205(例如反射镜)、第一内侧透镜1207、滤光器1213、第二内侧透镜1215以及传感器1217。在一些实施例中，OC1202、1206、1210、1212、1216、1220、1222具有相同的焦距(与图12中的其他OC相比的最大焦距)并且使用类似的元件(比如反射镜、滤光器、传感器等等)。相应地，对应于OC1206、1210、1212、1216、1220、1222的元件已利用被用于标识OC1202中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)、三引号(”’)等等。举例来说，OC1206包括外侧透镜1203’、位于透镜1203’后方的光重定向设备1205’(例如反射镜)、第一内侧透镜1207’、滤光器1213’、第二内侧透镜1215’以及传感器1217’。OC1210包括外侧透镜1203”、光重定向设备1205”、第一内侧透镜1207”、滤光器1213”、第二内侧透镜1215”以及传感器1217”。OC1212包括外侧透镜1203”’、光重定向设备1205”’、第一内侧透镜1207”’、滤光器1213”’、第二内侧透镜1215”’以及传感器1217”’。OC1216包括外侧透镜1203””、光重定向设备1205””、第一内侧透镜1207””、滤光器1213””、第二内侧透镜1215””以及传感器1217””。OC1220包括外侧透镜1203””’、光重定向设备1205””’、第一内侧透镜1207””’、滤光器1213””’、第二内侧透镜1215””’以及传感器1217””’。OC1222包括外侧透镜1203”””、光重定向设备1205”””、第一内侧透镜1207”””、滤光器1213”””、第二内侧透镜1215”””以及传感器1217”””。
类似地，对应于具有相同的(中间)焦距的OC1204、1208、1214、1218、1224的元件已利用相同的附图标记来标识。OC1204包括外侧透镜1233、位于透镜1233后方的光重定向设备1235(例如反射镜)、第一内侧透镜1237、滤光器1243、第二内侧透镜1245以及传感器1247。光学链1208包括外侧透镜1233’、位于透镜1233’后方的光重定向设备1235’(例如反射镜)、第一内侧透镜1237’、滤光器1243’、第二内侧透镜1245’以及传感器1247’。OC1214包括外侧透镜1233”、光重定向设备1235”、第一内侧透镜1237”、滤光器1243”、第二内侧透镜1245”以及传感器1247”。OC1218包括外侧透镜1233”’、光重定向设备1235”’、第一内侧透镜1237”’、滤光器1243”’、第二内侧透镜1245”’以及传感器1247”’，并且OC1224包括外侧透镜1233””、光重定向设备1235””、第一内侧透镜1237””、滤光器1243””、第二内侧透镜1245””以及传感器1247””。
正如关于图4B所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1205)的比如光学链1202(或者OC1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224)之类的光学链可以被划分成两个部分。从摄影机的正面的外部看去的光学链1202的光轴是第一部分1201的光轴(其经由外侧透镜1203从摄影机600的正面1223进入OC)。沿着光轴行进到光学链1202中的光被重定向元件1205转向，并且穿越第一光学链的第二部分1209到达传感器1217。类似地，光学链1204的光轴包括第一部分1211以及重定向元件1235的光转向之后的第二部分1219，光学链1208的光轴包括第一部分1231和第二部分1239，光学链1210的光轴包括第一部分1241和第二部分1249，光学链1212的光轴包括第一部分1251和第二部分1259，光学链1214的光轴包括第一部分1261和第二部分1269，光学链1216的光轴包括第一部分1271和第二部分1279，光学链1218的光轴包括第一部分1278和第二部分1288，光学链1220的光轴包括第一部分1281和第二部分1289，光学链1222的光轴包括第一部分1291和第二部分1299，并且光学链1224的光轴包括第一部分1292和第二部分1298。
其他光学链OC1226、1228、1230、1232和1234(最小焦距OC)虽然分别具有光从中进入的最外侧透镜1252、1253、1254、1255和1256，但是OC1226、1228、1230、1232和1234不具有图12B的实例中的光重定向元件。虽然没有在图12B中示出，但是OC1226、1228、1230、1232和1234分别具有垂直于摄影机600的正面1223的光轴。
之前例如在图4B和5的讨论中讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器以及传感器。由于图12B中示出的OC的元件的功能与关于图4A-4B和5所讨论的相同或类似，因此将不重复讨论。
光经由其对应的外侧透镜进入每一个OC1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1202的外侧透镜1203进入(例如从摄影机600的正面1223进入，正如第一光轴1201所表明的那样)的光被反射镜1205转向，从而使其朝向传感器1217行进时经过第一内侧透镜1207、滤光器1213和第二内侧透镜1215。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备600中的其他光学链相同的形状和/或分辨率的传感器。
应当认识到，位于OC的透镜后方的光重定向元件(例如铰链反射镜或者例如棱镜之类的其他光重定向元件)可以被移动和/或旋转，从而导致从相应的OC的外侧透镜的外部看去的OC的光轴的改变。也就是说，通过控制相应的OC的光重定向元件，可以改变从摄影机外部看去的光学链的光轴(前面作为第一部分的光轴进行了讨论，比如光轴1201、1211、1231等等)。因此应当认识到，虽然在图12B的实例中光轴1201、1211、1221、1231、...1298、1299看起来是平行的，但是在一些实施例中，通过控制放置在相应的光学链中的外侧透镜后方的例如反射镜之类的光重定向元件，可以改变所述光轴，从而使得一个或更多OC的光轴彼此不平行。通过控制反射镜的移动来改变光学链的光轴的能力提供了如同摄影机正被指向在给定的方向上以便例如在该方向上拍摄照片的相同效果，并且从而提供了在不实际移动摄影机设备的情况下从不同视角捕获图像的能力。
示出了具有处于不同位置的光重定向设备1205”的光学链1210的图12C到12E是关于如何可以通过改动光重定向设备1205”的位置来改动光径的第一部分1241的示例。OC1210包括外侧透镜1203”、位于透镜1203”后方的光重定向设备1205”(例如反射镜)、第一内侧透镜1207”、滤光器1213”、第二内侧透镜1215”以及传感器1217”。
在图12C中，反射镜的角度被向上倾斜，从而导致光径的第一部分1241向左成角度。应当认识到，通过把反射镜1205”抬高到该位置，与光重定向设备1205”相对于光学链模块1210的底部倾斜45度时相比，传感器1217”将会观测并且捕获不同的图像区域，假设透镜1203”正朝向摄影机的正面，则其将与所述模块被安放在其中的摄影机的背面重合。
假设在图12D的配置中，也就是当平面反射镜1205”处于45度角并且被导向传感器的图像对应于场景区域的中心部分时，改变反射镜1205”的位置(例如角度)将改动由传感器1217”捕获的场景区域的部分。图12E示出了通过降低反射镜1205”的角度如何可以把第一部分1241导向右侧，图12F则示出了通过进一步降低反射镜1205”的角度如何进一步改变将被捕获的场景部分。
在一些实施例中支持如图12C中所示的抬高光重定向设备的角度，在其他实施例中则支持45度和更小的角度。在这样的实施例中，不需要增大摄影机的最大深度以支持把光重定向设备抬高超出45度角的能力。
应当认识到，通过改动图12B中示出的模块的光重定向设备的位置，可以在不移动模块本身的情况下改变由具有光重定向设备的模块所捕获的图像区域。对于在摄影机的表面上平行于45度角安排的光学链模块，比如模块1208、1210、1212、1214、1218、1220、1202、1204，改变光重定向设备的角度会有效地移动光捕获区域，例如从处在摄影机中心的正前方或者从捕获感兴趣场景区域的一个角落象限移动到场景区域的某一其他部分。如果摄影机模块被沿着或者平行于从摄影机设备1250的正面的一个角落延伸到摄影机设备1250的另一个角落的45度角安排，则改变反射镜位置将具有沿着45度对角线滑动所捕获的图像区域的效果。因此，当摄影机模块被沿着摄影机正面的45度偏置放置时，图像捕获区域可以被偏移，从而使得通过沿着关于摄影机正面的45度角安排的模块的光重定向设备的简单移动捕获较大图像区域的一个象限，而不是所述较大图像区域的中心部分。通过如图12C到12D中所示出的那样改动光重定向设备1205”的角度，图像捕获区域可以有效地从中心滑动到角落象限或者反之亦然。
取决于其反射镜位置和焦距，不同的光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的不同部分。被捕获的图像区域可以并且常常确实重叠，但是其不需要重叠。由不同摄影机模块捕获的区域的重叠便于组合由不同模块捕获的图像。
例如考虑下面关于一个实施例的讨论，其中至少一些光学链的光轴是不平行的。虽然出于讨论的目的我们参照图12B并且使用对应于图12B中示出的元件的附图标记，但是对于该具体实施例的讨论应当理解的是，不同于图12B的实例，(从光学链的最外侧透镜的外部看去的)两个或更多光学链的光轴彼此不平行，并且可能不垂直于摄影机的正面。根据该实施例实施的摄影机设备包括具有第一光轴和第一最外侧透镜的摄影机的第一光学链(例如第一OC1202)，以及摄影机的第二光学链(例如第二OC1208或OC1210)，所述第二光学链具有不平行于第一光轴的第二光轴以及不同于第一最外侧透镜的第二最外侧透镜。第一光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的第一部分的第一图像，第二光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的第二部分的第二图像。在一些这样的实施例中，第一和第二光轴不垂直于摄影机的正面，例如摄影机600的正(1223)面。在一些实施例中，除了第一和第二光学链之外，示例性的摄影机还包括具有第三光轴以及与第一和第二最外侧透镜(例如1203和1203”)分开的第三最外侧透镜1253的第三光学链，例如OC1228。在一些实施例中，第三光学链的焦距小于第一或第二光学链的至少其中之一的焦距。在一些实施例中，第三光学链被用来捕获第三图像，所述第三图像包括感兴趣场景区域，例如整个感兴趣场景区域的图像。在一些实施例中，第三光轴垂直于摄影机的正面1223。在一些实施例中，第三光轴不平行于第一光轴或第二光轴当中的任一个。在一些实施例中，第二光学链具有第二焦距并且第一光学链具有第一焦距，其中第二焦距小于所述第一焦距。在一些其他实施例中，第一和第二焦距是相同的。在一些实施例中，第三光学链具有小于第一和第二焦距的第三焦距。
在一些实施例中，除了第一、第二和第三光学链之外，摄影机还包括具有与所述第一、第二和第三最外侧透镜分开的第四最外侧透镜(例如透镜1256)的第四光学链(例如OC1234)。在一些实施例中，第四光学链被用来捕获第四图像，所述第四图像包括感兴趣场景区域的第二图像，例如整个感兴趣场景区域。在一些实施例中，第四光学链具有第四光轴，并且第三和第四光轴彼此平行。在一些实施例中，第三和第四光轴不平行于第一或第二光轴。
在一些实施例中，摄影机还包括具有不平行于第一和第二光轴的第五光轴的第五光学链(例如OC1220)，以及具有不平行于第一、第二或第五光轴的第六光轴的第六光学链(例如OC1212)。在一些实施例中，第五光学链被用来捕获第五图像并且第六光学链被用来捕获第六图像，其中第五图像是感兴趣场景区域的第三部分的图像，第六图像是感兴趣场景区域的第四部分的图像。在一些实施例中，摄影机还包括与第一光学链具有相同焦距的第七光学链(例如OC1216)，其捕获第七图像，所述第七光学链具有垂直于摄影机的表面(1223)的光轴。
在一些实施例中，摄影机600包括处理器(例如处理器110、211)，其被配置成通过组合至少第一和第二图像而生成复合图像。在一些实施例中，所述处理器被配置成从第一、第二、第三、第四、第五和第六图像生成复合图像。在一些实施例中，所述处理器被配置成从第一、第二、第三、第四、第五、第六和第七图像生成复合图像。在一些实施例中，所述处理器还被配置成控制所生成的复合图像在存储器设备(例如存储器108)中的存储，以及/或者复合图像在显示器(例如显示器102)上的输出，以及/或者所捕获图像或复合图像通过接口(比如接口114)到另一个设备的传送。
图13A示出了示例性光学链(例如摄影机模块)1300，其在构造上类似于图5中示出的摄影机模块500，但是使用非圆形(例如椭圆形)外侧透镜1312和作为光重定向设备的矩形反射镜1310。光学链1300被使用在各个示例性实施例。摄影机模块1300是包括以下各项的光学链：外侧透镜1312(其在一些而非所有实施例中是不具有屈光力的平面玻璃)，位于透镜1312后方的光重定向设备(例如反射镜)1310，铰链驱动器1316，反射镜铰链1308，第一圆柱模块部分1306，第二圆柱模块部分1304，传感器1302，以及透镜驱动器1313。在一些实施例中，所述圆柱模块部分可能并不确切地是圆柱形，其剖面在一些实施例中可能是椭圆形而不是圆形。但是即使对于椭圆形剖面，所述部分看起来总体上仍然是圆柱形的，因此将被称作圆柱部分。光经由透镜1312进入摄影机模块1300并且被反射镜1310转向，从而使其在光学链的背面到达传感器1302。第一和第二圆柱模块部分1304和1306可以容纳一个或更多透镜或滤光器以及光在到达传感器1302之前可以从该处经过其他光学组件。虽然外侧透镜1312具有非圆形孔径，但是传感器1302可以是与图5的实施例中所使用的相同形状和/或类型。因此，虽然不同的光学链可以使用不同的透镜，但是其仍然可以使用与摄影机设备中的其他光学链具有相同形状和/或分辨率的传感器。
通过后面的讨论，使用具有非圆形孔径的光学链在潜在的摄影机厚度方面的优点将变得显而易见。
图13B示出了包括摄影机外罩1322的摄影机设备1320中的多个光学链(OC)的示例性安排。除了摄影机内部的光学链的安排之外，还示出了每一个光学链的内部元件的配置和安排的更多细节。虽然在图13B中示出了具有六个OC的一种示例性安排，但是应当认识到，光学链可以被安排在摄影机1320内的各种其他位置处。如图13B中所示，摄影机1320具有深度D，其代表从摄影机的正面(由箭头1321表明)到摄影机的背面/后面(由箭头1325表明)的摄影机1320的厚度。应当认识到，图13B示出了摄影机设备1320的透视图，从可以更好地认识摄影机设备1320的各种特征，比如摄影机外罩1322、厚度(D)1323、正面和背面1321和1325。在一些实施例中，摄影机设备1320包括与图1和/或4A的摄影机设备相同或类似的元件。
图13B中示出的多个光学链包括OC1324、OC1326、OC1328、OC1330、OC1332和OC1333。包括在所示出的各个光学链当中的每一个光学链中的元件类似于前面关于图4A和图13A所讨论的那些元件。在图13B的实施例中，每一个OC使用非圆形(例如椭圆形)外侧透镜。
OC1324包括外侧透镜1334、位于透镜1334后方的光重定向设备1335(例如反射镜)、第一内侧透镜1336、滤光器1338、第二内侧透镜1340以及传感器1342。OC1326包括外侧透镜1344、位于透镜1344后方的光重定向设备1345、第一内侧透镜1346、滤光器1348、第二内侧透镜1350以及传感器1352。OC1328包括外侧透镜1354、位于透镜1354后方的光重定向设备1355、第一内侧透镜1356、滤光器1358、第二内侧透镜1360以及传感器1362。类似地，OC1330包括外侧透镜1364、位于透镜1364后方的光重定向设备1365、第一内侧透镜1366、滤光器1368、第二内侧透镜1370以及传感器1372。OC1332包括外侧透镜1374、位于透镜1374后方的光重定向设备1375、第一内侧透镜1376、滤光器1378、第二内侧透镜1380以及传感器1382。OC1333包括外侧透镜1384、位于透镜1384后方的光重定向设备1385、第一内侧透镜1386、滤光器1388、第二内侧透镜1390以及传感器1392。
正如关于图4B所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1335)的光学链(比如图13B中示出的光学链1324)可以被划分成两个部分。从摄影机的外部看去的光学链1324的光轴是第一部分1331的光轴(其经由外侧透镜1334从摄影机1320进入OC)。沿着光轴行进到光学链1324中的光被重定向元件1335转向，并且穿越第一光学链的第二部分1339到达传感器1342。类似地，光学链1326的光轴包括第一部分1341以及重定向元件1345的光转向之后的第二部分1349，光学链1328的光轴包括第一部分1351和第二部分1359，光学链1330的光轴包括第一部分1361和第二部分1369，光学链1332的光轴包括第一部分1371和第二部分1379，光学链1333的光轴包括第一部分1381和第二部分1389。
在一些具体实施例中，摄影机1320具有多个光学链/摄影机模块，比如具有非圆形(其也被称作非圆)孔径的透镜的OC1324到1333。在一个这样的实施例中，摄影机1320包括第一光学链(例如OC1324)，其所使用的透镜1336的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D(摄影机厚度)的长度，并且沿着垂直于摄影机的厚度方向的第二方向具有大于D的长度。在各个实施例中，第一透镜是在第二光轴部分上最靠近光重定向元件的透镜，例如透镜1336。在一些这样的实施例中，摄影机1320还包括第二光学链(例如OC1326)，其所使用的透镜1346的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第三方向具有大于D的长度。在一些这样的实施例中，第二和第三方向关于彼此成90度角。在一些这样的实施例中，摄影机1320还包括第三光学链(例如OC1333)，其所使用的透镜1386的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第四方向具有大于D的长度，其中第一、第二和第三方向是不同的。在一些这样的实施例中，第二和第三方向关于彼此成90度角，并且第二和第四方向关于彼此成30度到60度之间的角(例如45度)。在一些实施例中，第一光重定向设备是反射镜。在一些实施例中，第一光重定向设备是棱镜。在一些实施例中，第一光重定向设备是成45度角的平面反射镜，其把光转向90度。
之前例如在图4A和13A的讨论中已经讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器和传感器。由于图13B中示出的OC的元件的功能是相同的或类似的，因此将不再详细重复讨论。
光经由其对应的外侧透镜进入每一个OC1324到1333，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1324的外侧透镜1334进入(例如从摄影机1320的正面进入，正如第一光轴1331所表明的那样)的光被反射镜1335转向，从而使其朝向传感器1342行进时经过第一内侧透镜1336、滤光器1338和第二内侧透镜1340。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备中的其他光学链相同的形状和/或分辨率的传感器。
图14示出了摄影机设备1400，其类似于摄影机设备600但是对于大焦距光学链使用具有非圆形孔径的透镜。在各个实施例中，具有非圆形孔径的透镜作为各个光学链的一部分被包括在摄影机外罩1402中。在透镜区域1404中可以看到对于具有非圆形(例如椭圆形)孔径的透镜的使用。虽然非圆形透镜在一个维度中具有与图6中所使用的圆形透镜相同的最大长度，但是其在另一个方向上是更小的，例如与最大孔径范围的方向垂直的方向。具有非圆形孔径的透镜的不同指向可以被用来允许在多个方向上捕获除低频率信息之外的高频率信息。摄影机1400类似于图13B中示出的摄影机1320，但是在图13B中示出了具有非圆形孔径的光学链/摄影机模块的特定安排，而在图14中可以看到，摄影机1400所包括的其中一些光学链使用具有圆形孔径的透镜，一些其他光学链则使用具有非圆形孔径的透镜。在图13B中示出并且在前面讨论的多个各种光学链可以被使用在摄影机1400中。
虽然在图14中没有示出，但是应当认识到，摄影机设备1400可以并且有时确实包括与图1和4A的摄影机设备100和摄影机设备200相同或类似的元件。因此应当认识到，摄影机设备1400包括例如处理器110/211、存储器103/213、变焦控制器140/214、曝光和读出控制器150、加速度计、陀螺仪、自动聚焦控制器152等各种元件，以及前面关于摄影机设备100和200讨论的各种其他元件。
图15是摄影机1400的简化正视图1500，其中清楚地示出了透镜区域1404。在图15中可以更加清楚地看到，摄影机的透镜区域示出了外侧透镜孔径，其中一些是圆形的，各个其他的则是非圆形的。正如前面所讨论的那样，这样的组合允许在各个方向上捕获除低频率信息之外的高频率信息。
图16是摄影机设备1400的侧视图1600。在摄影机1400的侧视图1600中还示出了摄影机1400的正面1602和背面1604。应当提到的是，虽然摄影机高度H与对应于摄影机600的图10的实例中的相同，但是摄影机设备1400是利用小于D1的深度D2来实施的，并且在一些实施例中D2小于最大限度方向上的椭圆形孔径的长度。在图14的实施例中，通过对于具有最大焦距的摄影机模块使用具有椭圆形孔径的透镜，摄影机深度不受最大孔径维度的最大维度的约束，并且可以小于孔径的最大长度。
虽然由于大透镜或者与之相关联的光重定向设备的物理尺寸，包括在摄影机(比如摄影机1400)中的大孔径或最大孔径透镜可能会影响摄影机的最小厚度，但是常常有可能利用圆形透镜支持更小的孔径，同时对于更大的孔径使用非圆形透镜。这是因为对应于更小圆形透镜的光重定向设备的大小和深度可能小于在摄影机的主体内把更大圆形孔径的光转向90度所将需要的反射镜。在一些实施例中，使用具有非圆形孔径的大透镜与具有圆形孔径的更小透镜的组合。这种方法在一些实施例中被使用，其中包括图17中所示出的实施例。
图17A示出了可以被用来实施摄影机设备1400的光学链(例如摄影机模块)的安排1700。在图17的实施例中可以使用图5和13A中示出的类型的光学链(OC)，但是其实现方式不限于使用这样的光学链。应当提到的是，具有圆形孔径的透镜被用于具有中等焦距的光学链1704、1708、1714、1718、1724以及具有小焦距的光学链1726、1728、1730、1732和1734。具有非圆形孔径的透镜被用于具有大焦距的光学链1702、1706、1710、1712、1716、1720、1722。从图18到23的讨论将会认识到，非圆形孔径的特定安排和角度可以是有益的。每一个光学链1704、1708、1714、1718和1724使用具有圆形孔径的透镜，并且包括与关于图5详细讨论的元件相同或类似的元件。类似地，每一个光学链1702、1706、1710、1712、1716、1720、1722使用具有非圆形孔径的透镜，并且包括与关于图13A详细讨论的元件相同或类似的元件。
在一个实施例中，一个光学链(OC)(例如OC1722)是具有第一焦距和第一非圆形透镜的第一光学链，并且另一个光学链(例如OC1706)是具有第二焦距和第二非圆形透镜的第二光学链。在一些实施例中，第一和第二焦距是相同的。在一些其他实施例中，第一和第二焦距是不同的。在一些实施例中，第一非圆形透镜在第一方向上延伸的数量大于摄影机1400的深度，例如图16中示出的深度D2。在一些实施例中，第一光学链包括第一传感器，并且第二光学链包括第二传感器，比如图13A的传感器1302。在一些实施例中，摄影机1400还包括处理器，比如处理器110或211，其耦合到第一和第二传感器以用于组合由第一和第二传感器捕获的图像以生成复合图像。在一些实施例中，第一光学链包括第一光重定向元件，并且第二光学链包括第二光重定向元件，比如图13A的光重定向元件1310。在一些这样的实施例中，第一光重定向元件在至少一个方向上延伸的数量大于摄影机的深度，并且第二光重定向元件在至少一个方向上延伸的数量大于摄影机的深度。在一些实施例中，第一和第二光重定向元件是平面反射镜。在一些实施例中，第一和第二光重定向元件是棱镜。在一些实施例中，第一和第二焦距等于或大于70mm，并且第三焦距小于70mm。在一些实施例中，第一和第二传感器具有相同的像素数目，并且第三光学链包括与第一和第二传感器具有相同的像素数目的第三传感器。
在一些实施例中，使用圆形孔径透镜的光学链(例如OC1704或1728)是具有第三焦距并且包括圆形透镜的第三光学链，其中第三焦距小于第一或第二焦距。在一些实施例中，对应于第一光学链1722的第一非圆形透镜在第一方向上比垂直于第一方向的第二方向上更长，并且对应于第二光学链1706的第二非圆形透镜在第三方向上比第四方向上更长，其中第四方向垂直于第三方向。在一些实施例中，第一和第三方向是不同的。在一些实施例中，第一方向在第一平面内延伸，第三方向处在与第一平面相同的平面内。在一些实施例中，所述平面对应于摄影机1400的正面。
在一些实施例中，另一个摄影机模块(例如1710)是具有第四焦距和第三非圆形透镜的第四光学链，其中第四焦距大于第三焦距。在一些这样的实施例中，第三非圆形透镜在第五方向上比第六方向上更长，其中第六方向垂直于第五方向。在一些这样的实施例中，第一、第三和第五方向相差至少20度。
图17B示出了摄影机设备1400的透视图1750，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图17B示出了摄影机设备1400的透视图1750，其中示出了摄影机设备中的各个光学链以及摄影机设备中的光学链的元件的安排的更多细节。因此，图17B给出了关于图17A详细讨论的具有各种相应的焦距的多个光学链(OC)1702、1704、1706、1708、1710、1712、1714、1716、1718、1720、1722、1724、1726、1728、1730、1732和1734的更加详细的图示。
如图17B中所示，摄影机1400具有深度D2，其代表从摄影机的前表面(由箭头1723表明)到摄影机的背面/后表面(由箭头1727表明)的摄影机1400的厚度。虽然没有在图17B中示出，但是在一些实施例中，摄影机设备1400包括与图1和/或4A的摄影机设备相同或类似的元件。
在一些实施例中，包括在光学链1702、1706、1710、1712、1716、1720、1722中的元件类似于前面关于图13B所讨论的那些元件。光学链1704、1708、1714、1718、1724以及包括在这些光学链中的元件类似于前面关于图12B讨论的OC1204、1208、1214、1218、1224所讨论的那些元件，而光学链1726、1728、1730、1732和1734以及包括在其中的元件则类似于前面关于图3讨论的OC1226、1228、1230、1232和1234以及关于图3讨论的OC所讨论的那些元件。在图17B的所示出的实施例中，其中一些OC使用非圆形外侧透镜，其他OC则使用圆形外侧透镜。
OC1702包括非圆形外侧透镜1703、位于透镜1703后方的光重定向设备1705(例如反射镜)、第一内侧透镜1707(非圆形)、滤光器1713、第二内侧透镜1715以及传感器1717。在一些实施例中，OC1702、1706、1710、1717、1716、1720、1722具有相同的焦距(与图17中的其他OC相比的最大焦距)并且使用类似的元件(比如反射镜、滤光器、传感器等等)。相应地，对应于OC1706、1710、1717、1716、1720、1722的元件已利用被用于标识OC1702中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)、三引号(”’)等等。举例来说，OC1706包括非圆形外侧透镜1703’、位于透镜1703’后方的光重定向设备1705’(例如反射镜)、第一非圆形内侧透镜1707’、滤光器1713’、第二内侧透镜1715’以及传感器1717’。OC1710包括非圆形外侧透镜1703”、光重定向设备1705”、第一非圆形内侧透镜1707”、滤光器1713”、第二内侧透镜1715”以及传感器1717”。OC1712包括非圆形外侧透镜1703”’、光重定向设备1705”’、第一非圆形内侧透镜1707”’、滤光器1713”’、第二内侧透镜1715”’以及传感器1717”’。OC1716包括非圆形外侧透镜1703””、光重定向设备1705””、第一非圆形内侧透镜1707””、滤光器1713””、第二内侧透镜1715””以及传感器1717””。OC1720包括非圆形外侧透镜1703””’、光重定向设备1705””’、第一非圆形内侧透镜1707””’、滤光器1713””’、第二内侧透镜1715””’以及传感器1717””’。OC1722包括非圆形外侧透镜1703”””、光重定向设备1705”””、第一非圆形内侧透镜1707”””、滤光器1713”””、第二内侧透镜1715”””以及传感器1717”””。
在一些实施例中，光学链1704、1708、1714、1718、1724具有相同的(中间)焦距。OC1704包括外侧透镜1733、位于透镜1733后方的光重定向设备1735(例如反射镜)、第一内侧透镜1737、滤光器1743、第二内侧透镜1745以及传感器1747。对应于与OC1704具有相同焦距的OC1708、1714、1718、1724的元件已利用被用于标识OC1704中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)等等。如图所示，光学链1708包括外侧透镜1733’、位于透镜1733’后方的光重定向设备1735’(例如反射镜)、第一内侧透镜1737’、滤光器1743’、第二内侧透镜1745’以及传感器1747’。OC1714包括外侧透镜1733”、光重定向设备1735”、第一内侧透镜1737”、滤光器1743”、第二内侧透镜1745”以及传感器1747”。OC1718包括外侧透镜1733”’、光重定向设备1735”’、第一内侧透镜1737”’、滤光器1743”’、第二内侧透镜1745”’以及传感器1747”’，并且OC1724包括外侧透镜1733””、光重定向设备1735””、第一内侧透镜1737””、滤光器1743””、第二内侧透镜1745””以及传感器1747””。
正如前面所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1705)的比如光学链1702(或者OC1706、1710、1712、1716、1720、1722、1704、1708、1714、1718、1724)之类的光学链可以被划分成两个部分。从摄影机的正面的外部看去的光学链1702的光轴是第一部分1701的光轴(其经由外侧透镜1703从摄影机1400的正面1723进入OC)。沿着光轴行进到光学链1702中的光被重定向元件1705转向，并且穿越第一光学链的第二部分1709到达传感器1717。类似地，光学链1704的光轴包括第一部分1711以及重定向元件1735的光转向之后的第二部分1719，光学链1706的光轴包括第一部分1721和第二部分1729，光学链1708的光轴包括第一部分1731和第二部分1739，光学链1710的光轴包括第一部分1741和第二部分1749，光学链1717的光轴包括第一部分1751和第二部分1759，光学链1714的光轴包括第一部分1761和第二部分1769，光学链1716的光轴包括第一部分1771和第二部分1779，光学链1718的光轴包括第一部分1778和第二部分1788，光学链1720的光轴包括第一部分1781和第二部分1789，光学链1722的光轴包括第一部分1791和第二部分1799，并且光学链1724的光轴包括第一部分1792和第二部分1798。
其他光学链OC1726、1728、1730、1732和1734(最小焦距OC)虽然分别具有光从中进入的最外侧透镜1752、1753、1754、1755和1756，但是OC1726、1728、1730、1732和1734不具有图17B的实例中的光重定向元件。虽然没有在图17B中示出，但是OC1726、1728、1730、1732和1734分别具有垂直于摄影机1400的正面1723的光轴。
之前例如关于图4B和5讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器以及传感器。由于图17B中示出的OC的元件的功能与关于图4A-4B和5所讨论的相同或类似，因此将不重复讨论。
光经由其对应的外侧透镜进入每一个OC1702、1706、1710、1717、1716、1720、1722、1704、1708、1714、1718、1724，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1702的外侧透镜1703进入(例如从摄影机1400的正面1723进入，正如第一光轴1701所表明的那样)的光被反射镜1705转向，从而使其朝向传感器1717行进时经过第一内侧透镜1707、滤光器1713和第二内侧透镜1715。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备1400中的其他光学链相同的形状和/或分辨率的传感器。应当认识到，通过使用按照图17B中所示出的方式安排的具有非圆形透镜的光学链提供了几个优点，并且允许利用具有各种不同焦距的光学链来实施纤薄的摄影机。
应当认识到，位于OC的透镜后方的光重定向元件(例如铰链反射镜)可以被移动和/或旋转，从而导致从相应的OC的外侧透镜的外部看去的OC的光轴的改变。也就是说，通过控制相应的OC的光重定向元件，可以改变从摄影机外部看去的光学链的光轴(前面作为第一部分的光轴进行了讨论，比如光轴1701、1711、1731等等)。因此应当认识到，虽然在图17B的实例中光轴1701、1711、1721、1731、...1798、1799看起来是平行的，但是在一些实施例中，通过控制放置在相应的光学链中的外侧透镜后方的例如反射镜之类的光重定向元件，可以改变所述光轴，从而使得一个或更多OC的光轴彼此不平行。通过控制反射镜的移动来改变光学链的光轴的能力提供了如同摄影机正被指向在给定的方向上以便例如在该方向上拍摄照片的相同效果，并且从而提供了在不实际移动摄影机设备的情况下从不同视角捕获图像的能力。
图18示出了对应于具有圆形开口的示例性透镜的圆形孔径1800，比如可以并且有时被使用在图12A和12B的实施例中的透镜。
图19示出了对于具有图18中示出的类型的圆形孔径1800的设计良好(受到衍射限制)的透镜所预期的可能频率特性，其中频率信息在垂直和水平方向上(实际上是任何方向)都是均匀的。垂直和水平维度中的均匀频率特性将允许垂直和水平维度中的相同或类似的频率特性并且从而还有分辨率。虽然传感器的像素或像素元件的数目可能会影响分辨率，但是不应当把传感器或图像的像素的数目与分辨率相混淆，分辨率涉及观看者在图像的不同特征之间进行区分的能力。分辨率量化线条可以彼此多么靠近并且仍然可以被可见地解析。分辨率单位可以关联到物理尺寸，比如每mm线数、每英寸线数，并且/或者关联到图像的总体尺寸，例如每画面高度线数。
鉴于具有圆形孔径的透镜的总体上均匀的频率响应，利用圆形透镜捕获的图像的视图应当能够同样好地标识垂直和水平线条。
图20示出了在圆形孔径1800的情况下，光从中穿过的开口的长度如何在透镜开口存在于其中的平面的全部两个维度中是相同的。如图所示，垂直方向上的开口长度L1等于水平方向上的开口长度L2。应当认识到，这不是其中透镜具有非圆形孔径的情况，例如椭圆形、长方形或者光从中穿过的其他非圆形形状的孔径。
图21示出了示例性的非圆形(例如椭圆形)孔径2100，其中的阴影被用来表明将被捕获的水平和垂直方向当中的每一个方向上的频率信息的相对数量，从图中可以清楚看到，在垂直方向上可以获得比水平方向上更多的频率信息，从而导致在孔径的更长维度(例如最大限度的维度)中捕获并且可以获得比更窄维度中更高的频率信息。
一般来说，由于衍射极限，即使是设计最佳的透镜的性能也受其孔径尺寸的限制。孔径越大，设计良好的透镜在捕获细节方面所应当具有的性能就越好。换句话说，孔径越大，可能的分辨率就越高。可以像图19中那样在频域内表达所捕获的分辨率。图19中的圆圈的更大半径表明在图像的所有空间方向(例如水平、垂直或倾斜)上捕获的更多高频信息。很重要的是应当注意到，即使当摄影机模块不受衍射限制并且前述内容可能不适用时，有时仍然希望使用更大的孔径，这是因为更大的孔径区域在给定时间段内捕获更多的光，从而在曝光时间受到限制时使得图像的颗粒度或噪声较低，比如在捕获运动中的对象的图像时就常常是这种情况。
如果孔径不是圆形而是椭圆形的，则对于设计良好的受到衍射限制的透镜，与更短椭圆维度的方向相比沿着更长椭圆维度的方向相应地捕获更多的细节。
图22示出了垂直(Y)和水平(X)方向上的非圆形孔径2100的长度的比较，其中垂直维度在图22的实例中是两个维度当中的更长维度。如图所示，光从中穿过的开口在垂直方向上的长度LY大于所述开口在水平方向上的长度LX。
图23的图示2300示出了通过组合来自被指向在不同方向上的具有椭圆形孔径2100、2100’、2100”、2100”’的多个非圆形透镜的图像信息，如何可以获得近似预期会从具有圆形孔径1800的透镜(其半径等于更大的椭圆维度)获得的信息的图像信息，其中由于在图23的实例中被组合生成复合图像的多幅单独图像的重叠，趋近组合图像的中心可以获得比各个边缘位置处更多的信息。通过在彼此不同的角度下使用多个非圆形透镜并且组合图像来捕获高频信息，有助于弥补通过单独的非圆形透镜所不同的高频信息的不足。应当认识到，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像所能获得的分辨率可以近似利用圆形透镜所捕获的图像的分辨率，而与利用单个圆形透镜来捕获相同图像所将获得的情况相比，在图像重叠的区段中复合图像在辉度信息方面可以具有更大的动态范围。这是因为不同的透镜分别都在中心区段中捕获光。应当认识到，根据本发明的一个实施例，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像而生成的复合图像将得到高质量中心图像部分以及趋向于复合图像的边缘的更低质量。这一图像质量降低类似于在使用单个高质量透镜时可以预期的情况，其中趋向于透镜中心的图像质量通常比趋向于透镜边缘的图像质量更好。
相应地应当认识到，与通过使用在孔径的最大限度的方向上具有类似的最大孔径维度的单个圆形透镜来捕获图像所可能获得的质量相比，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像而生成的复合图像可以得到在至少某些方面具有类似的或更好的质量的复合图像。
图24示出了如何可以对具有圆形孔径1800的透镜进行切割或掩蔽以产生具有非圆形孔径的透镜，例如近似椭圆形或长方形形状。这样的实施例允许对于给定的最大孔径捕获最多的光或者大量的光。
图25示出了从对圆形透镜(例如具有圆形孔径1800的透镜)进行切割或掩蔽所得到的孔径2500，以便产生具有如图24中所示的孔径的透镜，例如近似椭圆形孔径的长方形孔径。
图25中示出的类型的透镜在一些实施例中被用作摄影机设备的非圆形透镜。因此，虽然在图14的摄影机设备的一些实施例中被显示成椭圆形透镜，但是使用具有图25中示出的类型的非圆形孔径的透镜。
图26是摄影机2600的图示，其包括具有正面2614、顶部2612、底部2616以及后面或背面2618的外罩2610。对应于圆形孔径2606的圆形透镜被安放在外罩2610的正面2614。图26示出了与具有圆形孔径2606的外侧透镜相组合地使用光重定向设备2604(例如反射镜)来把光转向90度如何通常需要等于或大于透镜和作为透镜的一部分的相应孔径2606的直径的摄影机深度(例如厚度)。在本发明的一些实施例中，所述透镜简单地是圆形平坦的塑料或玻璃件。通过使用虚线，在图26中的摄影机设备2600的正面示出了圆形孔径2606。经过圆形孔径2606的光将被反射镜2604朝向安放在摄影机2600的顶部的传感器2602向上反射90度。应当提到的是，安放在摄影机中的光重定向设备的正面到背面距离RD和光重定向设备的高度RH在图26的实例中是相等的，二者都大于或等于圆形孔径2606的直径LX。其结果是，摄影机2600的深度等于或大于圆形孔径2606的直径。
图27是摄影机2700的图示，其包括具有正面2714、顶部2712、底部2716以及后面或背面2718的外罩2710。对应于非圆形(例如椭圆形)孔径2706的非圆形透镜被安放在外罩2710的正面2714。图27示出了与具有非圆形(例如椭圆形)孔径2706的外侧透镜相组合地使用光重定向设备2704(例如反射镜)来把光转向90度如何可以允许使用在一个维度中比摄影机深度更长的透镜。应当提到的是，传感器2702被安放在摄影机2700的顶部2712(与摄影机外罩的顶部部分平行)并且处在与图26的实施例中的传感器2602相同的位置，但是反射镜2704现在可以利用具有平坦矩形表面的反射镜来实施，其深度小于在图26的实施例中所使用的反射镜2604。还应当指出的是，虽然为了简单起见使用了矩形反射镜，但是也可以使用椭圆形反射镜，其在一些实施例中还可以充当孔径停止装置。应当认识到，使用非圆形(例如椭圆形)孔径在一些实施例中允许更薄的摄影机，例如与具有其直径等于椭圆形孔径的最大维度的圆形孔径的摄影机相比厚度更小的摄影机。
图28是摄影机2800的图示，其包括具有正面2814、顶部2812、底部2816以及后面或背面2818的外罩2810。对应于非圆形(例如椭圆形)孔径2806的非圆形透镜被安放在外罩2810的正面2814。图28示出了在摄影机2800中，包括非圆形孔径2806的光学链的光径的长度如何可以比具有光重定向设备2804的摄影机2800的深度更长，其中所述光重定向设备2804能够被定位在摄影机设备2800的一端(例如底端2816)。应当认识到，通过把光重定向设备2804和传感器2802定位在摄影机2800的相对末端允许有充足的空间用于附加的椭圆形孔径透镜和光重定向设备。
图29示出了摄影机2900的一个实例，其中在光学链(例如摄影机模块)中使用多个光重定向设备2904、2901以便允许相对较长的光行进路径并且从而允许相对较长的焦距，同时根据光经过摄影机模块时被转向的方向，允许把传感器2902定位在摄影机的背面2918或正面2914，所述摄影机模块包括对应于孔径2906的安放在摄影机正面的透镜、第一光重定向设备2904、第二光重定向设备2901以及传感器2902。应当提到的是，在图29中，摄影机模块的外侧透镜与第一光重定向设备2904一样被定位在摄影机2900的底部2916附近，第二光重定向设备2901则被定位在摄影机2900的顶部2912附近。虽然传感器2902被显示成安放在摄影机2900的内部背面2918，但是在其他实施例中，例如在第二光重定向设备2901把光导向摄影机的正面的情况下，传感器2902被安放在摄影机外罩2910的内部正面。
图30是摄影机设备3000的图示，其包括4个具有非圆形外侧透镜和孔径的光学链。为了简单起见，与图27-29一样，在图30的实施例中使用单个附图标记来同时表示非圆形透镜及其相应的非圆形孔径。光经由摄影机的正面进入透镜的外侧非圆形孔径，并且经由位于外侧透镜(例如透镜3001、3011、3021和3031)下方的一个或更多光重定向设备被重定向到相应的传感器，正如在图中通过“X”所表明的那样。
摄影机设备3000包括第一光学链，其包括具有椭圆形孔径的非圆形透镜3001、光重定向元件3003、光径3005以及传感器3007。光进入第一光学链，在撞击在反射镜3003上并且朝向传感器3007被转向90度或近似90度之前经过第一光径3005的第一部分。
摄影机设备3000还包括第二光学链，其包括具有椭圆形孔径的第二非圆形透镜3011、第二光重定向元件3013、第二光径3015以及第二传感器3017。光进入第二光学链，在撞击在反射镜3013上并且朝向第二传感器3017被转向90度或近似90度之前经过第二光径3015的第一部分。
摄影机设备3000还包括第三光学链，其包括具有椭圆形孔径的第三非圆形透镜3021、第三光重定向元件3023、第三光径3025以及第三传感器3027。光进入第三光学链，在撞击在反射镜3023上并且朝向第三传感器3027被转向90度或近似90度之前经过第三光径3025的第一部分。
摄影机设备3000还包括第四光学链，其包括具有椭圆形孔径的第四非圆形透镜3031、第四光重定向元件3033、第四光径3035以及第四传感器3037。光进入第四光学链，在撞击在第四反射镜3033上并且朝向第四传感器3037被转向90度或近似90度之前经过第四光径3035的第一部分。
应当提到的是，虽然所述四个透镜和相应的孔径3001、3011、3021、3031位于摄影机3000的正面，但是其被可以定位成使得每一个孔径的最长限度相对于摄影机外罩的底部处于不同的角度，而摄影机外罩的底部在使用期间通常将与水平方向重合。
图30示出了具有非圆形孔径的多个透镜3001、3011、3021、3031如何可以被使用在单个示例性摄影机设备3000中以便在多个方向上收集高频率信息，从而在组合各幅图像以生成复合图像时在多个方向当中的每一个方向上都可以获得高频率信息并且从而获得高分辨率。虽然图30中示出的摄影机模块被显示成对于其单独的光径利用摄影机设备内的一大部分空间并且所述光径相交，但是应当认识到，所述光学链可以并且在一些实施例中被实施成具有不相交的光径的单独的整装式模块。
这样的密封整装式光模块在其中灰尘和/或其他关于污染的顾虑可能是问题的一些实施例中可能是特别合乎期望的，比如在意图用于其中需要顾虑到灰尘和/或沙子的户外和/或沙滩使用的摄影机实施例中就是这样。
图31示出了包括场景区域3104的示例性场景3102，所述场景区域的全部或部分图像可以通过根据本发明的一个或更多实施例实施的摄影机的摄影机模块来捕获。示例性场景3102包括山3112、鸟3113、人3106和房子3108的景观。虽然场景3102覆盖了非常大的区域，但是感兴趣场景区域3104包括人3106和房子3108。应当指出的是，虽然提到了“场景”或“场景区域”，但是其不应当被解释成3维的物理场景，而是应当被解释成通过利用理想的摄影机来捕获场景的图像而获得的物理场景的2维投影或表示。在任何地方提到场景区域时都应当被解释成这样的2维投影中的区域。在这样的投影中，在足够靠近摄影机的情况下，即使是较小的对象由于其与摄影机的邻近性也可能看起来具有较大的区域，而远处的对象看起来则将小于更加靠近摄影机的同等大小的对象。
图32的图示3200示出了摄影机的不同光学链(例如摄影机模块)如何可以捕获感兴趣场景区域3202(其可以对应于图31中示出的感兴趣场景区域3104)的不同尺寸部分，所述摄影机比如是图6的摄影机设备600或图14的摄影机设备1400，其中每一个摄影机设备包括多个光学链(如图12A和17A中所示)，其中一些光学链具有不同的焦距。
出于讨论的目的，将利用摄影机600并且参照示出了摄影机600中的光学链的安排的图12A来解释对应于不同场景区域的图像的捕获和组合。
出于讨论的目的考虑摄影机设备600包括按照图12A中所示出的那样安排的17个模块。正如前面在图12A的实例中所讨论的那样，使用三个不同焦距f1、f2和f3，其中f1<f2<f3；f1是1/2的f2；并且f2是1/2的f3。
出于讨论的目的，第一到第七摄影机模块1202、1206、1210、1212、1216、1220、1222分别是具有最大透镜(从而在各个实施例中具有最大孔径)和最大支持焦距(f3)的模块。在后面的讨论中为了简单起见进一步假设各个摄影机模块之间的距离远小于摄影机与场景中的所有对象之间的距离。但是这并非所描述的发明的限制，而仅仅是为了使得后面的解释易于理解。
作为第八到第12个摄影机模块的五个中等尺寸的摄影机模块分别对应于附图标记1204、1208、1214、1218、1224，并且具有中等直径透镜和中等支持焦距(f2)。
作为第13到第17个摄影机模块的五个摄影机模块对应于附图标记1226、1228、1230、1232和1234，并且具有最小直径外侧透镜和最小焦距(f1)。
应当认识到，由于其提供最大的放大率，因此具有最大焦距f3的摄影机模块将捕获感兴趣场景区域的最小部分。假设具有不同焦距的摄影机模块使用具有相同的总像素计数的传感器，则具有更大焦距(f3)的模块将为图像提供更高的像素与场景区域比值，这是因为与中等(f2)和小焦距(f1)摄影机模块的情况相比，更多的像素将被用来捕获更小场景区域的图像。
应当认识到，在给定具有不同焦距(f1，f2，f3)的模块之间的放大率差异的情况下，由小焦距(f1)摄影机模块捕获的场景区域所对应的感兴趣场景区域的部分的尺寸将是由具有最大(f3)焦距的摄影机模块捕获的感兴趣场景区域的部分的近似16倍。由具有中间焦距(f2)的摄影机模块捕获的感兴趣场景区域的部分的尺寸将是由具有最大焦距(f3)的摄影机模块捕获的感兴趣场景区域的部分的4倍，并且将是由具有最小焦距(f1)的摄影机模块捕获的感兴趣场景区域的部分的1/4。
在图32的实例的情境中可以认识到由对应于f1和f2焦距的摄影机模块捕获的场景区域之间的关系，其中示出了7个不同的场景区域。
在图32的实例中，感兴趣场景区域由附图标记3202标识。其中示出了对角线3250和3260，从而可以更好地认识到不同区域之间的关系以及其如何彼此对应。第一场景区域3204和第四场景区域3210具有类似的尺寸或者相同的尺寸并且对应于全部感兴趣场景区域3202，其对应于图31中示出的示例性感兴趣场景区域3102。出于解释的目的，考虑第一和第四场景区域由具有焦距f1的光学链捕获，也就是由更小焦距光学链捕获。出于讨论的目的假设(f1)摄影机模块1228被用来捕获第一场景区域3204，并且(f1)摄影机模块1232被用来捕获第四场景区域3210。应当提到的是，由1228和1232捕获的实际图像可以是略微更大的场景区域，以便确保捕获到感兴趣场景区域。
我们还将假设f2摄影机模块1204被用来捕获第二场景区域，(f2)摄影机模块1208被用来捕获第三场景区域，(f2)摄影机模块1218被用来捕获第五场景区域，(f2)摄影机模块1214被用来捕获第六场景区域3214，并且(f2)摄影机模块1224被用来捕获第七场景区域3216。同样地，与其他场景区域的捕获一样，由模块1204、1208、1218、1214和1224捕获的实际图像可以是略微更大的场景区域，以便确保对应的第二3206、第三3208、第五3212、第六3214和第七3216场景区域被完全包含在所捕获的图像中。
应当提到的是，在图示1200中示出的摄影机模块的外侧透镜的相对位置是已知并且固定的。但是在一些实施例中，模块1204、1208、1218、1214和1224的元件和功能与图5中的模块500是相同的或类似的，其中模块500包括反射镜510，其可以被铰链(反射镜)驱动器516驱动(例如移动或旋转)来改变反射镜510的角度。虽然反射镜驱动器516可以围绕铰链轴旋转反射镜并且从而改变其角度，但是铰链508防止在其他方向上的运动，因此光轴(摄影机外部)在垂直于铰链轴的平面中旋转。当反射镜510处于45度角时，沿着其光轴进入透镜512的光被偏转90度到模块500的部分B的光轴中。虽然我们在这里描述了被铰接并且可以沿着一个轴旋转的反射镜510，但是在一些其他实施例中，反射镜的放置被移动到不同的平面，从而使得该运动不被约束成沿着任何固定轴的旋转。在这种情况下，可以使得摄影机模块的光轴指向任何所期望的方向(朝向感兴趣场景中的任一点)。
虽然一些模块使用可移动并且被铰接的反射镜，但是在其他实施例中，其中一个或更多摄影机模块是利用固定位置反射镜来实施的，从而允许省略可移动铰链508和反射镜驱动器516。举例来说，在一个实施例中，被用来捕获全部感兴趣场景区域的摄影机模块具有固定反射镜，而被用来捕获感兴趣场景区域的较小部分的摄影机模块则分别包括可移动地铰接的反射镜。虽然可以使用具有固定反射镜的一些摄影机模块与具有可移动反射镜的其他摄影机模块的组合，但是在至少一个实施例中，包括在示例性摄影机设备中的多个摄影机模块当中的每一个都具有可移动反射镜。
取决于摄影机操作的具体模式，反射镜/铰链驱动器516由处理器110控制。因此，当用户选择第一操作模式时，一个或更多摄影机模块的反射镜可以处于第一角度，而在另一操作模式，例如其中将如图34中所示的那样捕获和组合图像的模式期间，一个或更多摄影机模块的反射镜将在处理器110的控制下被驱动到不同的位置。摄影机设备的具体操作模式可以基于用户输入由在模式控制模块111的控制下操作的处理器110决定，或者当模式控制模块被实施在硬件中时由模式控制模块111直接决定。
如果1204、1208、1218、1214和1224当中的每一个中的反射镜都处于45度，则每一个模块直接从摄影机的正面向外看去，并且其光轴都是平行的。在这种情况下，每一个模块将捕获实质上相同的场景区域的图像，即图32的第七场景区域。为了利用模块1204捕获第二场景区域的图像，需要调节模块1204的铰接反射镜510，从而使得摄影机模块1204的光轴指向第二场景区域3206的中心。应当提到的是，模块1204被定位在摄影机1200中的方式使得随着反射镜围绕铰链旋转，光轴所指向的感兴趣场景区域3202的位置沿着3202的对角线3250移动。类似地，需要调节对应于摄影机模块1204的反射镜以便捕获第六场景区域。应当提到的是，在图12中，摄影机模块1204、1214被安排成贴近(例如沿着或邻近)对角线3250，而摄影机模块1208、1218则被定位成贴近(例如沿着或邻近)对角线3260。通过旋转1214中的反射镜，例如改变反射镜的角度并且从而改变其倾向，使得该模块的光轴沿着对角线3250移动。模块1208和1218的反射镜被类似地成角度(例如旋转)以便分别捕获第三(3208)和第五(3212)场景区域的图像。在模块1208、1218的情况下，光轴沿着感兴趣场景区域的对角线3260移动。被用来捕获第七场景区域3216的模块1224指向感兴趣场景区域3202的中心，从而使其反射镜被保持在45度。
从前面的讨论应当认识到，具有沿着对角线3250和3260安排的至少一些摄影机模块是特别有益的。这些模块的光轴的部分B平行于这两条对角线的其中之一。因此，具有最大孔径的模块1210、1220、1202、1212沿着对角线的安排还有中等孔径模块1204、1214、1208、1208沿着相同的对角线但是出于空间原因与其他模块偏离的安排是刻意的设计选择，这是因为其在一些实施例和操作模式中便于图像捕获和组合。
基于重叠场景区域(例如3210和3204)，由包括在摄影机中的处理器生成深度图。在一些实施例中，可以通过检查由不同模块捕获的图像中的对象的相对位置来确定场景中的对象的深度。在至少一些实施例中，与关于不同光学链的外侧透镜和/或光学链的光轴的相对位置的信息相组合地使用深度图，以便把由不同光学链捕获的图像组合形成复合图像。在复合图像的生成过程中使用深度信息允许校正可能出现或者存在于图像中的视差、透视和/或其他图像失真。
在图32的实例中，出于解释本发明的目的示出了7个不同的场景区域。在被组合之前，所述7个场景区域当中的每一个可以并且在一些实施例中由图示1200中示出的摄影机设备600的不同光学链捕获。正如后面所讨论的那样，各个摄影机模块可以在相同的时间(例如并行地)捕获图像。但是正如后面将讨论的那样，在其中使用卷帘快门的一些实施例中，各个摄影机模块被控制成按照同步方式捕获感兴趣场景区域的各个部分，从而使得捕获感兴趣场景区域的给定部分的所有不同的摄影机模块将同时捕获所述给定的部分。
应当认识到，通过组合对应于图32中所示的七个不同场景区域部分的七幅图像以生成复合图像，有可能生成具有四倍于单个图像传感器的像素计数的复合图像。举例来说，如果每一个图像部分由使用8兆像素传感器的摄影机模块捕获，则对应于图32中示出的感兴趣场景区域的复合图像将具有32兆像素的总体像素计数，这是因为第二、第三、第五和第六场景将分别由不同的8兆像素传感器捕获，从而为复合图像贡献8兆像素。如果所捕获的图像略大于相应的场景区域，则实际的分辨率可以略低。
虽然被用来捕获第一和第二场景区域的传感器不太可能导致复合图像的总体像素计数的增加，这是因为其对应于由被用来捕获第二、第三、第五和第六场景区域的传感器的组合所捕获的相同图像区域，但是其与不使用f1透镜所可能实现的情况相比将提供增加的光捕获，并且还提供允许生成深度图的重要信息，并且提供可以被用于作为生成复合图像的处理的一部分把对应于第二、第三、第五和第六场景区域的图像对准并且缝合在一起的总体场景区域的图像。
(f3)摄影机模块(例如1216)被用来捕获第七场景区域。第七场景区域的中心与感兴趣图像区域的中心重合。由于实际上大多数透镜在其视场的中心处都具有最小像差和最佳图像质量，因此这样确保了感兴趣场景区域的中心由捕获第七场景区域的摄影机模块以高质量成像。第七场景区域的成像还增加了在感兴趣场景区域的中心处捕获的光能的总数量。这样就允许从所捕获图像生成的复合图像在感兴趣场景区域的中心处具有其最佳质量(高分辨率和最小噪声)。
应当认识到，由单透镜摄影机捕获的图像在中心处常常比边缘处更好，这是由于光学像差和渐晕(vignetting)在靠近视场边缘处比中心处更大。根据一些示例性实施例生成的复合图像将在图像中心处表现出类似的高质量，并且趋向于复合图像的边缘存在质量降低的可能性。由于这一效应类似于传统单透镜摄影机，因此应当认识到，复合图像将类似于由单个摄影机模块捕获的图像但是潜在地具有更高的质量。
图33示出了在图32中捕获的不同图像部分如何可以与图31中示出的示例性感兴趣场景区域相关从而给出对于本发明的更好的理解。通过如在图32中讨论的不同模块所捕获的感兴趣场景区域的每一个图像部分在图33中由后面跟随有单引号(’)的相同附图标记来标识。举例来说，3202’示出了包括感兴趣场景的全部所捕获感兴趣场景区域，3206’是第二场景区域并且与感兴趣场景区域的一个部分有关，3208’是第三场景区域并且与感兴趣场景区域的另一个部分有关，3210’是第四场景区域并且包括全部感兴趣场景区域，3212’是第五场景区域并且与感兴趣场景区域的另一个部分有关，3214’是第六场景区域并且与感兴趣场景区域的另一个部分有关，3216’是第七场景区域并且与感兴趣场景区域的中心部分有关。通过图33可以更好地认识到每一个所捕获图像部分如何与图31中示出的示例性感兴趣场景区域有关。
图34的图示3400示出了通过由具有对应于三个不同焦距(例如f1、f2和f3)的光学链(例如摄影机模块)的摄影机捕获的不同图像部分。正如在前面的各个章节中所讨论的那样，在一些实施例中，摄影机中的每一个光学链包括相应的图像传感器，其在通过相应的光学链捕获一个图像部分时捕获光。在一个实施例中，包括第一传感器的第一光学链捕获感兴趣场景的第一图像3404(其被显示成中等尺寸矩形3404)。包括第二传感器的第二光学链捕获感兴趣场景的一个图像部分3406(其被显示成小尺寸矩形3406)，包括第三传感器的第三光学链捕获感兴趣场景的另一个图像部分3408，包括第五传感器的第五光学链捕获感兴趣场景的另一个图像部分3410，包括第六传感器的第六光学链捕获感兴趣场景的另一个图像部分3412，并且包括第七传感器的第七光学链捕获感兴趣场景的另一个图像部分3414。此外，包括第四传感器的第四光学链捕获包括整个感兴趣场景的图像3402。在一个实施例中，第二、第三、第五、第六和第七光学链的焦距是相同的(f3)并且大于捕获感兴趣场景区域3404的第一光学链的焦距(f2)和捕获场景区域3402的第四光学链的焦距(f1)。在一个这样的实施例中，各个光学链的焦距是f1<f2<f3.
虽然前面讨论了一个实施例，但是应当认识到，各种不同的变型是可能的。在一个这样的不同实施例中，图34中示出的不同图像部分由具有对应于两个不同焦距(例如f1、f2)的光学链的摄影机捕获，其中捕获图像部分3406、3408、3410、3412、3414的光学链的焦距(例如f2)大于捕获图像部分3402和3404的光学链的焦距(例如f1)。在一个这样的实施例中，f2是f1的两倍。图34和其中所示出的图像部分将被用于解释如何可以按照协调方式控制不同摄影机模块的卷帘快门，以便促进组合由不同摄影机模块捕获的图像，从而减少或者最小化在每一个摄影机模块传感器被独立地(异步地)操作来捕获各个图像部分的情况下所可能引入的与运动有关(与摄影机或对象有关)的失真。通过以协调方式从各个摄影机模块的传感器进行读出，有助于最小化由于不同光学链进行的无协调异步图像捕获而导致的失真，并且可以很容易地组合所捕获的图像。
由包括在前面所讨论的相应光学链中的各个传感器所实施的前面所讨论的图像捕获操作可以并且在一些实施例中由例如摄影机1400之类的摄影机实施，其包括按照图17中示出的那样安排的光学链。在另一个实施例中，由包括在前面所讨论的相应光学链中的传感器所实施的图像捕获操作由摄影机600实施，其包括按照图12中示出的那样安排的光学链。
图35示出了四个利用卷帘快门的光学链(例如摄影机模块)的传感器如何可以被组合使用来捕获感兴趣场景区域，从而促进把所捕获图像与由另一个光学链捕获的一幅或更多幅图像相组合，其中所述另一个光学链具有更小的焦距并且捕获相同的感兴趣场景区域的更大部分。图示706、708、710和712示出了对应于不同光学链的示例性图像传感器如何被控制来作为图像捕获操作的一部分从一个边缘到另一个边缘(例如顶部到底部)实施读出。举例来说，图示706示出了关于图34讨论的第二图像传感器，其具有可以作为由706中示出的图像传感器所对应的第二光学链捕获图像部分3406(在图34中示出)的一部分而被读出(例如从顶部到底部)的N个像素元件行。图示708示出了前面关于图34讨论的第三图像传感器，其具有可以作为由706中示出的图像传感器所对应的第三光学链捕获图像部分3408的一部分从顶部到底部被读出的N个像素元件行。类似地，710和712示出了第五和第六传感器，其分别具有N个像素元件行并且捕获图34中示出的图像部分3410和3412。从图示706、708中示出的传感器进行的读出在相同的时间同步开始，并且从图示710、712中示出的传感器进行的读出在从图示710、712中示出的传感器进行的读出结束时一起开始。
图36示出了对应于具有被用来捕获图34中示出的图像部分3406、3408、3410和3412的光学链(关于图34讨论的第二、第三、第五和第六光学链)的一半或近似一半焦距的光学链(例如关于图34讨论的第一光学链)的传感器如何可以被控制，从而使得具有更小焦距的光学链按照与具有更大焦距的多个光学链同步的方式捕获感兴趣场景的全部或某些部分。图示3600示出了具有N个像素元件行的第一传感器，其可以按照与对应于图35中示出的具有更大焦距的光学链的其他传感器的像素行的读出同步的方式而被读出。虽然图示3600示出了对应于相对更小焦距的第一传感器具有N个像素元件行，但是应当认识到，图示3600中的矩形并未示出或表示第一传感器的物理尺寸。
图35、36、37、38和39示出了涉及通过协调方式对不同摄影机模块的传感器的读取进行卷帘快门控制的各个方面，从而使得可以很容易组合通过不同传感器捕获的图像。应当认识到，在其中使用卷帘快门的实施例中，各行像素值被顺序地读出。在图35、36、37、38和39中，假设每一个传感器包括相同数目的像素元件行，例如N行。相应地，处于讨论这些附图的目的，N是一个传感器上的像素值行的数目，并且为促进对于卷帘快门控制的讨论，假设不同摄影机模块的传感器具有相同数目的像素元件行。虽然所述传感器具有N个像素元件行，但是在一些实施例中，允许对于各行的联合读取，在这种情况下，传感器按照其如同具有N/M个像素元件行的方式操作，其中M是联合读取因数，其例如是被联合读出(例如相加并且读出)的行数，从而产生与单个像素元件行的读出具有相同数目的像素值。联合读取操作的优点在于，与在各个单独行被分开读取的情况下对传感器进行读出所将花费的时间相比，可以在1/M的时间内完成传感器的完全读出。
应当认识到，在电子卷帘快门实现方式的情况下，图像传感器的各行被顺序地读出。读取每一行所花费的时间相当小，但是行数可能较大，并且读取整幅图像所花费的最小时间可能长达50毫秒或更多。由于行读取时间较小，我们将假设给定行中的所有像素都被(接近)同时读取。对应于给定像素行的光的积分在该行被重置(打开帘幕)时开始，并且在该行被读出(关闭帘幕)时结束。曝光持续时间是行重置时间与行读取时间之间的持续时间。给定行的曝光时刻(或捕获时间)可以被定义成该行被读出的时间。更精确地说，曝光时刻可以被视为行重置时间和行读取时间的平均值。显而易见的是，对应于图像传感器的不同行的场景区域在不同时间被捕获。当给定的感兴趣场景区域的各个部分被分别实施电子卷帘快门的多个摄影机模块捕获时，在组合多幅所捕获图像以产生一幅图像的意图下，如果各个模块的卷帘快门不同步，则可能会观测到与运动有关的伪像。为了最小化这些伪像，各个摄影机模块的卷帘快门被同步，从而使得场景区域的任何给定点的图像由不同的传感器在(接近)相同的时刻捕获。
假设需要花费时间周期TR来读取一个像素值行，则为了完成具有N行的传感器的完全读取，将要花费N乘以TR的时间周期。如果对应于场景区域的不同部分的多个传感器被操作来尽可能快速地捕获图像，则由于在不同时间捕获的场景的各个部分被组合，组合图像可能将会导致伪像。
应当认识到，为了避免这样的时间(与运动有关的)危险，希望使得不同的传感器在相同的时间捕获场景区域的相同部分。还应当认识到，在把来自具有大焦距的多个摄影机模块的图像与通过具有更小焦距(从而捕获场景的更大部分)的摄影机模块所捕获的一幅或更多幅图像相组合时，可能希望其中一些更大焦距模块顺序地捕获场景的各个部分，例如就如同在具有一定行数的更大传感器上控制卷帘快门那样，所述行数等于具有更大焦距并且从而捕获对应于场景的更小部分的图像的摄影机模块的传感器的行数的某种组合。
图35示出了如何可以顺序地读出在对应于四个传感器的图示706、708、710、712中示出的N个像素元件行，其中每一个传感器对应于不同的摄影机模块。应当提到的是，对应于在图示706、708、710、712中示出的四个传感器的各个像素元件行可以捕获场景的四个不同部分，比如场景部分3406、3408、3410和3412。
出于讨论的目的，假设在图示706、708、710、712中示出的各个像素元件行对应于分别具有焦距f3的第二、第三、第五和第六光学链的传感器。正如后面将讨论的那样，在一些实施例中，f3是捕获感兴趣场景3404的第一光学链的焦距f2的两倍，并且是捕获场景区域3402的第四光学链的焦距f1的四倍。因此，与使用焦距f2或焦距f1的光学链相比，使用焦距f3的光学链将提供相对较高的放大率但是捕获场景的更小部分。使用焦距f3的光学链所捕获的场景区域的图像的尺寸将是具有焦距f2的光学链的1/4，并且将是具有焦距f1的光学链的1/16。虽然图示3500示出了对应于捕获感兴趣场景的某些部分的更大焦距光学链的传感器具有N个像素元件行，但是应当认识到，图示706、708、710、712中的矩形并未示出或表示传感器的物理尺寸，而是由传感器捕获的图像区域的相对尺寸。
焦距与场景区域捕获尺寸的这一关系在图34、35、36和37中由所示出的各个像素元件行的相对尺寸表示。因此应当认识到，虽然像素元件的实际尺寸可以是相同的，但是在每一个传感器中，所捕获的像素值与之对应的场景部分的尺寸取决于该特定传感器被包括在其中的摄影机模块的焦距。
出于讨论的目的，将假设图35的图示706、708、710、712示出了对于四个传感器的像素元件行，其中所述四个传感器对应于具有焦距f3的光学链。此外还假设对应于图示706的传感器近似捕获感兴趣场景的左上部分，对应于图示708的传感器近似捕获感兴趣场景的右上部分，对应于图示710的传感器近似捕获感兴趣场景的左下部分，而对应于图示712的传感器则近似捕获感兴趣场景的右下部分。
假设对应于图示706的传感器是第二传感器S2，第一条像素线(即行1)的读出将通过由RS2L1(其代表读取传感器2线1)所表明的时间完成。类似的标记法被用来表明其他传感器的像素元件线的读出的完成点，其中时间对应于图35-39的垂直轴并且在图中从上到下递增。对应于图示708的传感器3的读出将在与RS2L1的读出相同的时间点完成。应当提到的是，在图35的实例中，在由四个传感器S2、S3、S5、S6捕获的图像区域之间没有重叠，其中传感器S5的读出的完成情况就如同其对应于跟随在传感器S2的最后一个像素行之后的下一个像素行。应当提到的是，如果传感器具有对应于重叠图像部分的像素值行，则其将在相同时间被读出，但是图35的实例假设在所捕获图像区域中没有重叠，在许多实施例中并不是这种情况。
出于讨论的目的，将假设TR是用以从使用在图35的实例中的任一个传感器读取一个像素值行的时间。由于该例中的每一个传感器包括N行，因此完全读取N个传感器当中的任一个所需的时间是NTR。因此，第一和第三传感器S2、S3的行(线N)的读出将在时间NTR处完成，而传感器S5和S6的最后一行(线N)的读出将在时间2NTR处完成。
如果传感器包括不同数目的像素行，则总的读出时间将当然取决于传感器中的行数。
虽然看起来可能希望在相同的时间周期NTR内读出传感器，但是当利用卷帘快门读出来自不同传感器的图像时，则可能希望控制传感器，从而使得在对应于图示706、708中示出的传感器的像素行的读出之后读出对应于图示710、712中示出的传感器的像素行。通过这种方式，读出将会顺序地发生，就如同对应于图示706、710的像素行是单个卷帘快门的一部分一样。这种方法被使用在一些实施例中，从而允许复合图像类似于利用具有2N个像素元件行的单个更大传感器而不是分别具有N行的两个单独的传感器所将获得的情况。因此，通过避免可能在一个传感器的最后一行与下一个传感器的第一行之间发生的时间不连续性在组合由对应于图像的不同部分的传感器所捕获的图像时可以具有优点。
因此应当认识到，利用对应于在图示706、708、710、712中示出的像素元件行的卷帘快门的四个摄影机模块的传感器可以被组合使用，以便按照促进组合所捕获图像的方式来捕获感兴趣场景区域。
所捕获图像可以被组合在一起以便形成更大场景区域的复合图像并且还有所述更大场景区域的一幅或更多幅图像。所述更大场景区域的图像可以并且在一些实施例中由捕获相同场景的更大部分的具有更小焦距(例如焦距f2)的摄影机模块捕获。
图36示出了对应于具有焦距f2的光学链(例如摄影机模块)如何可以被控制，从而使得具有更小焦距(f2)的光学链按照与具有更长焦距的多个光学链同步的方式捕获感兴趣场景的某些部分，其中焦距f2是被用来捕获由图35中示出的像素元件行的集合所表示的场景区域的摄影机模块的焦距f3的一半或近似一半。在图36中，像素值行被读出的速率被降低一定因数，所述因数是基于其焦距与一个或更多其他所支持的焦距的相对比值。
由于焦距f2是f3的1/2，因此包括N个像素元件行的对应于图示3600的传感器捕获由图35的实例的传感器所捕获的场景的基本上相同的图像部分，像素行的读出速率被降低2倍，也就是说一个像素元件行将在时间周期2TR内被读出。因此，包括N个像素元件行的对应于图示3600的传感器的读出将花费N(2TR)的总的时间周期来完成对于各个像素行的完全读出，从而是将由对应于图示706、710的传感器的组合被完全读出所将使用的相同时间量。假设图36对应于传感器S1，则S1的第一像素值行的读出将在时间2TR处完成，其对应于由代表读取传感器1线1的指示符RS1L1所表明的时间点。因此，在其中图35和36的像素行的读出是同步的这样一个实施例中，具有图示3600中示出的像素元件行的传感器S1将在对应于图示706的传感器S2和对应于图示708的传感器S3开始其第一像素元件行的读出的相同时间开始其读出。传感器S1将在图示710和712中示出的最后一个像素元件行被读出的相同时间或接近相同的时间完成其N个像素元件行的读出。因此，传感器S1将按照与图35所对应的传感器同步的方式开始其像素行的读出以及结束其像素行读出。
如果传感器S1是在与传感器S2、S3、S5、S6相同的每行读出速率下被读出，则虽然传感器S1的读出可以在时间NTR内完成，但是这将导致对应于不同光学链的传感器在不同时间捕获图像区域的相同部分的不合期望的效应，从而可能导致从包括以高运动速率移动的对象的图像生成的复合图像中的时间伪像。通过这里所描述的同步图像捕获技术可以减少或避免这样的时间伪像。
图37示出了对应于具有被用来捕获图35中示出的图像的摄影机模块的焦距f3的四分之一或近似四分之一的焦距(例如f1)的光学链(例如关于图34讨论的第四光学链)的传感器S4如何可以被控制，从而使得相应的光学链按照与具有更大焦距的多个摄影机模块同步的方式来捕获感兴趣场景的部分。
由于图示3700的传感器所对应的光学链的焦距(例如f1)是f3的1/4，因此包括N个像素元件行的图示3700的传感器捕获由图35和36的实例的传感器所捕获的场景的基本上相同的图像部分，图示3700的传感器的N个像素行的读出速率被降低4倍，也就是说一个像素元件行将在时间周期4TR内被读出。在图37中，图示3700示出了具有N个像素元件行的传感器，其被控制来在具有持续时间4TR的每一个时间周期内读出一个像素值行，其中考虑到该传感器所覆盖的场景部分在垂直维度中是对应于图35的图示706的传感器的4倍大。虽然图示3700示出了对应于具有小焦距f1的光学链的传感器具有N个像素元件行，但是应当认识到，图示3700中的矩形并未示出或表示传感器的物理尺寸。各个光学链中的传感器(包括像素元件)的尺寸可以是相同的。
应当认识到，传感器S4的第一条线的读出将在时间RS4L1处完成，其中第N条线在时间RS4LN处被读出。应当提到的是，由于像素值行的读出速率在图37中每4TR发生一次以便与图35和36中示出的传感器读出保持同步，因此假设起始时间为0，则传感器S4的读出将在时间4NTR处发生。
图38示出了当在图35、36和37的实施例中使用的传感器按照同步方式被一起使用时的所述传感器之间的行读出定时关系的更多细节。出于说明和讨论的目的，在图38-39中使用了通过如图34中所示并且在前面的相应描述中讨论的各个光学链所捕获的相同图像和/或图像部分以作参考。相应地，使用了相同的附图标记。方块3402代表由对应于具有焦距f1的光学链的传感器捕获的场景区域。方块3404代表由具有焦距f2的传感器捕获的场景区域的部分3402。方块3406、3410、3408、3412和3414代表由具有焦距f3的不同摄影机模块捕获的场景区域块，其中焦距f3在图38的实例中提供最高放大率并且捕获场景区域的最小部分。
图39示出了类似于图38中所示的一个具体实例，但是其中行数N被选择成6，也就是说每一个传感器包括6个像素元件行(例如N＝6)，应当理解的是行数在大多数传感器中将会多得多。因此出于示例性目的示出了图39，以便说明对于一种简单情况如何可以实现同步，在所述简单情况中N＝6，并且该例中的每一个传感器具有相同的尺寸但是对应于具有不同焦距的光学链。
从图39应当认识到，当传感器捕获对应于场景区域的相同部分的图像时，读出将会并行地发生。一旦一条像素值线被读出，则直到同步读出控制表明将要读出下一个未读像素值行时，下一次读出才将发生。
当传感器对应于为之不存在其他传感器的图像区域时，该传感器将读出其像素值行，而其他传感器则避免实施读出操作。举例来说，在图39的实例中，具有最小焦距并且捕获最大图像区域的传感器S4将读出其第一像素值行，而传感器S1、S2、S3和S6则避免读出像素值。但是当一个传感器所捕获的图像区域的部分也被其他传感器捕获时，则该传感器将按照与捕获相同图像区域的一个或多个传感器的读出同步到接近重合的方式来读出像素值。举例来说，在从时间RS3L3延续到时间RS4L4的时间周期期间，传感器S1、传感器S2和传感器S3将也实施像素读出。在该时间周期期间实施的读出的次数将取决于传感器的行读出速率，其中对应于具有更大焦距的光学链的传感器在其中传感器S4读出单个像素值行的时间周期内读出多个像素值行。
应当提到的是，作为表明被用来读取一个像素元件行的最小时间量的时间单位的TR可以通过毫秒或者任何其他适当的时间单位来表达。因此，垂直轴意图从顶部到底部示出时间的进展，这是基于假设场景区域的扫描和传感器的读出开始于顶部并且朝向底部继续。虽然出于该实例的目的示出了顶部到底部扫描方向，但是这对于定时同步特征并不是关键或重要的。
应当认识到，虽然在其中传感器具有相同尺寸并且包括相同行数的简单情况下解释了基于传感器所对应的光学链的焦距来同步读出速率的方法，但是所述方法非常适用于使用不同尺寸的传感器和/或具有不同数目的像素值行的传感器的光学链。应当认识到，这样的差异如果存在的话可以并且在一些实施例中关于起始和停止时间以及将被用来控制传感器的读出的读出速率被纳入考虑，从而将实现多个光学链(例如摄影机模块)对感兴趣图像区域的同步图像捕获。此外，在确定用于读出可能对应于部分重叠的图像区域的不同传感器的起始时间时，可以把由不同模块捕获的图像区域的重叠纳入考虑。
举例来说，如果图35的实例的传感器S5所捕获的图像区域与由传感器S2的最后一些行所捕获的图像部分存在重叠，则S5的第一像素元件行的读出将与捕获相同图像部分的传感器S2的像素元件行并行地发生。在这样的实施例中，由于被S2和S5捕获的图像区域中的部分重叠，S5的其中一些而非所有像素元件行的读出将跟随在传感器S2的读出完成之后。
虽然前面图36到39被用来解释对应于具有小焦距的摄影机模块的传感器的读出速率如何可以被减慢以便将其与对应于具有更大焦距的摄影机模块的传感器的图像捕获和像素读出进行同步，其中如果最大化图像中的像素计数并不是最优先的考虑，则对于像素行的联合读取可以并且在一些实施例中被用来加速对应于更高焦距摄影机模块的传感器的读出。在一组M行的联合读取期间，在进行数字化和读取之前，传感器使用模拟电路把M行当中的每一行的相应像素相加。对于M行的联合读取通常与读取单行花费相同的时间，从而把读取速度加快了M倍。这样的方法允许在与读出单个传感器所需的时间周期相等的时间周期内对感兴趣场景区域进行同步卷帘快门控制捕获。虽然这样的方法可能导致复合图像中的更低总体图像像素计数，例如其中复合图像的像素计数在某些情况下被减少到单个传感器的像素计数，但是这样的方法在所捕获的图像中存在对象运动的情况下可能是合乎期望的，这是因为与捕获发生在更短时间周期内的情况相比，对象在捕获时间周期内将会移动得更多，因此如果总体图像捕获周期增加的话，运动可能会引入伪像。
图40是根据一个示例性实施例的利用多个光学链(例如摄影机模块)来捕获图像并且组合所述图像的示例性方法。
图40所示出的流程图4000示出了根据一个示例性实施例的控制成像设备的示例性方法的各个步骤，所述成像设备例如是在图6、8和/或14中示出的成像设备，其包括至少一个具有卷帘快门的传感器以便生成复合图像。实施流程图4000的方法的摄影机设备可以并且有时确实包括与图1的摄影机设备100和图4A的设备200相同或类似的元件。
流程图4000的方法可以并且在一些实施例中是利用例如图1的摄影机100之类的摄影机设备来实施的。在一些实施例中，摄影机100是电池操作的手持式设备。所述示例性方法开始于步骤4002，例如此时摄影机设备(例如摄影机100)的用户按下按钮或者采取其他动作以触发捕获感兴趣场景区域的图像。出于讨论的目的，考虑摄影机设备包括多个光学链(例如摄影机模块)，并且每一个摄影机模块可以被独立操作和控制。出于讨论的目的，将参照在图12A中示出的光学链并且将其用作所述实例的基础来解释对应于不同场景区域的图像的捕获和组合。正如前面在图12A的实例中所讨论的那样，使用三个不同焦距f1、f2和f3，其中f1<f2<f3。
操作从步骤4002继续到涉及图像捕获操作的步骤4004、4006、4008、4010、4012、4014和4016。图像捕获操作可以并且在一些实施例中是按照同步方式来实施的。在至少一些同步实施例中，由其中一些但不一定是所有不同光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。在步骤4004中，具有第一焦距(f1)的摄影机的第一光学链(例如第一摄影机模块1228)被操作来捕获感兴趣场景区域的第一图像。在一些实施例中，所述感兴趣场景区域可以略微小于完全图像捕获区域。操作从步骤4004继续到步骤4018。
在步骤4006中，利用具有大于第一焦距(f1)的第二焦距(f2)的摄影机的第二光学链(例如光学链1204)来捕获第二场景区域的第二图像，其中第二场景区域是感兴趣场景区域的第一部分。在各个实施例中，第二光学链捕获感兴趣场景区域的一部分，例如四分之一或一半的部分。操作从步骤4006继续到步骤4018。
在步骤4008中，利用具有大于第一焦距的第三焦距(f2)的摄影机的第三光学链(例如光学链1208)来捕获第三场景区域的第三图像，其中第三场景区域的一部分不与第二场景区域重叠，并且第三场景区域是感兴趣场景区域的第二部分。因此，在一些实施例中，第三光学链捕获感兴趣场景区域的一部分，例如另一个四分之一部分。操作从步骤4008继续到步骤4018。在一些实施例中，第一、第二和第三光学链具有处于摄影机正面的外侧透镜。在一些而非所有实施例中，光学链的最外侧透镜是具有零屈光力的平面玻璃或塑料透镜。
在步骤4010中，利用具有等于或小于f1的第四焦距的摄影机的第四光学链(例如光学链1234)来捕获第四图像，其中第四图像是感兴趣场景区域的图像。在一些实施例中，第四焦距与第一焦距相同或者小于第一焦距。操作从步骤4010继续到步骤4018。
在步骤4012中，利用具有大于第一焦距(f1)的第五焦距的摄影机的第五光学链(例如光学链1218)来捕获第五场景区域的第五图像，其中第五场景区域是感兴趣场景区域的第三部分。因此，第五光学链捕获感兴趣场景区域的一部分，例如四分之一或一半的部分。操作从步骤4012继续到步骤4018。
在步骤4014中，利用具有大于第一焦距的第六焦距的摄影机的第六光学链(例如光学链1214)来捕获第六场景区域的第六图像，其中第六场景区域是感兴趣场景区域的第四部分。操作从步骤4014继续到步骤4018。
在步骤4016中，利用具有大于第一焦距的第七焦距的摄影机的第七光学链(例如光学链1224)来捕获第七场景区域的第七图像，其中第七场景区域处在感兴趣场景区域的中心。操作从步骤4016继续到步骤4018。
在一些实施例中，第一和第四焦距是相同的。在一些实施例中，第二、第三、第五和第六焦距是相同的。在一些实施例中，第七焦距与第二、第三、第五和第六焦距相同。在一些实施例中，因此，第二、第三、第五和第六场景区域的并集(例如组合)包括感兴趣场景区域。
现在参照步骤4018。在一些而不一定是所有实施例中实施步骤4018。在步骤4018中，生成对应于包括在至少其中两幅所捕获图像中的感兴趣场景区域的一部分的深度信息。因此，在一些实施例中，为了生成对应于感兴趣场景区域的一部分的深度图信息，使用相同感兴趣场景区域的至少两幅所捕获图像。在一些实施例中，步骤4018包括步骤4020。在这样的实施例中，至少第一和第四所捕获图像被用来生成深度信息，正如在步骤4020中所示出的那样。虽然第一和第四所捕获图像在一个实施例中被用来生成深度信息，但是其他所捕获图像也可以被用来生成深度信息。在各个实施例中，深度信息由包括在摄影机中的处理器(例如处理器110或211)生成。
在各个实施例中，第二、第三、第五、第六和第七光学链被安排成使得由这些光学链拍摄的场景的部分的图像是来自不同的空间上分开的入射光瞳，并且因此具有不同的视角。把这样的图像与不同视角相组合会引入伪像(例如视差)。为了最小化以及/或者来自利用通过这些不同光学链所捕获的各个图像生成的复合图像的此类伪像的效应，在组合图像以避免由于不同视角而导致的复合图像的失真时，使用提供视差校正的深度信息。
操作从步骤4018继续到步骤4022。在步骤4022中，从至少第一、第二和第三所捕获图像生成复合图像。在一些实施例中，生成复合图像的步骤包括步骤4024，其中在生成复合图像时使用深度信息。在这样的实施例中，作为所生成的深度信息的函数，例如在步骤4018中生成的深度信息，从至少第一、第二和第三所捕获图像生成复合图像。虽然在一些实施例中在生成复合图像时使用深度信息，但是使用深度信息在用于生成复合图像的所有实施例中并不都是必要的。在一些实施例中，生成复合图像的步骤4022还包括使用第四、第五、第六和第七所捕获图像来生成复合图像，正如在步骤4026中所示出的那样。复合图像包括感兴趣场景区域的图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。操作从步骤4022继续到步骤4028。在步骤4028中，一幅或更多幅所捕获图像(例如第一、第二、第三、第四、第五、第六和/或第七图像)以及/或者复合图像被存储在例如设备存储器中，并且/或者例如被输出到显示设备和/或经由接口输出到外部设备。
在一些示例性实施例中，成像设备(比如摄影机设备100)被用来实施流程图4000的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照如图12A中所示出的方式安排的光学链，其中在图12B中进一步示出了光学链的更加详细的安排和元件(例如传感器、滤光器)。因此，在这样的一个实施例中，多个光学链130包括关于图12A高论的光学链1202到1234。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的一个实施例中，多个光学链130包括关于图17A和17B所讨论的光学链1702到1734。
在一些示例性实施例中，处理器110被配置成通过组合由前面所讨论的光学链捕获的两幅或更多幅图像来生成复合图像。在一个实施例中，处理器110被配置成至少从由第一光学链捕获的感兴趣场景区域的第一图像、作为利用第二光学链捕获的感兴趣场景区域的第一部分的第二场景区域的第二图像、利用第三光学链捕获的第三场景区域的第三图像来生成复合图像，其中第三场景区域是感兴趣场景区域的第二部分，第三场景区域的至少一部分与第二场景区域不重叠。
在一些实施例中，处理器110被配置成生成对应于被包括在至少两幅所捕获图像中的感兴趣场景区域的一部分的深度信息。在一些实施例中，处理器110还被配置成至少利用由第一光学链捕获的第一图像和由第四光学链捕获的第四所捕获图像来生成深度信息，其中第四图像是感兴趣场景区域的图像。在一些这样的实施例中，处理器110还被配置成作为所述深度信息的函数来生成复合图像。在一些实施例中，第四光学链具有等于或小于第一光学链的第一焦距的第四焦距。在一些实施例中，处理器110还被配置成控制一幅或更多幅所捕获图像和/或所生成的复合图像在存储器108中的存储，以及/或者一幅或更多幅所捕获图像和/或所生成的复合图像在显示器102上的输出，以及/或者经由接口(比如接口114)把所捕获图像或复合图像传送到另一个设备。
应当认识到，方法4000的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4000的一个或更多步骤(比如生成深度信息和生成复合图像的步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4000的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被用来在其中实施方法4000的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图41包括图41A和图41B的组合，其是示出了根据一个示例性实施例的操作例如在图6、8和/或14中示出的成像设备(其包括至少一个具有卷帘快门的传感器)来扫描感兴趣场景区域的一部分的示例性方法的各个步骤的流程图4100。实施流程图4100的方法的摄影机设备可以并且有时确实包括与图1和图4A的摄影机设备相同或类似的元件。
所述示例性方法开始于步骤4102，例如其中用户在摄影机设备上发起感兴趣场景区域的捕获，从而使得摄影机设备(例如摄影机设备100)发起由一个或更多光学链对感兴趣场景区域的扫描并且从而还有图像捕获。出于讨论的目的，考虑摄影机设备包括多个图像传感器，其中每一个传感器是一个光学链的一部分，例如第一到第X传感器分别被包括在第一到第X光学链中。操作从步骤4102继续到步骤4104。在步骤4104中，包括在摄影机中的多个图像传感器被控制成从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一(例如顶部)和第二(例如底部)是平行的，所述扫描包括根据(例如以均匀的速率)从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获。在一些实施例中，所述多个图像传感器包括捕获感兴趣场景区域的基本上不重叠部分的多个图像传感器(在一些实施例中，大多数的图像部分不重叠)，并且由所述多个传感器捕获的感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。在一些实施例中，所述多个图像传感器包括偶数个传感器，例如4个。
在一些实施例中，所述多个图像传感器包括第一、第二和第三图像传感器，第一图像传感器捕获感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的第二部分，并且第三图像传感器捕获整个感兴趣场景区域。在一些这样的实施例中，感兴趣场景区域的第一和第二部分部分地不重叠。
在一些实施例中，第一传感器捕获不被第二传感器捕获的感兴趣场景区域的一部分的图像，并且第二传感器捕获不被第一传感器捕获的感兴趣场景区域的一部分的图像。在一些实施例中，由第一传感器捕获的感兴趣场景区域的第一部分开始的扫描位置处在由第二传感器捕获的感兴趣场景区域的第二部分之前。在一些实施例中，感兴趣场景区域的第二部分对应于感兴趣场景区域的中心。在一些实施例中，多个传感器包括5个传感器，其中四个捕获感兴趣场景区域的基本上不重叠的部分。在一些实施例中，感兴趣场景区域的第二部分的第一到第四不同角落部分与由五个传感器当中的其余四个传感器捕获的感兴趣场景区域的不同相应部分重叠。
在一些实施例中，所述多个传感器包括5个传感器，其中四个捕获感兴趣场景区域的四个不同部分，感兴趣场景区域的四个不同部分当中的每一个的至少一个角落与通过感兴趣场景区域的四个不同部分当中的其他三个所捕获的图像部分不重叠，第五传感器捕获感兴趣场景区域的中心部分。
在各个实施例中，步骤4104包括实施步骤4106、4108和4110当中的一个或更多步骤。作为控制一个或更多传感器扫描感兴趣场景区域的一部分，在步骤4106中，所述多个传感器当中的第一传感器被操作在卷帘快门模式下，以便在第一传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行，其中当前扫描位置随着时间改变(例如随着扫描从第一边缘继续到第二边缘)。在一些实施例中，扫描位置以均匀的速率从感兴趣场景区域的第一边缘继续到感兴趣场景区域的第二边缘。
在步骤4108中，所述多个传感器当中的第二传感器被操作在卷帘快门模式下，以便在第二传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行，其中第一和第二传感器捕获感兴趣场景区域的不同部分的图像(例如所述不同部分可以部分地重叠或者一个可以处在另一个的内部)。类似地，作为控制扫描感兴趣场景区域的一部分，在步骤4110中，所述多个传感器当中的第X传感器被操作在卷帘快门模式下，以便在第X传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行。相应地，通过这种方式，整个感兴趣场景和/或感兴趣场景的各个部分由摄影机设备的各个传感器扫描。
在一些实施例中，第一和第二传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分的限度在扫描方向上大于感兴趣场景区域的第二部分的限度。在一些实施例中，扫描的方向是从顶部继续到底部。在一些实施例中，第一传感器对应于具有第一焦距的第一光学链，并且第二传感器对应于具有第二焦距的第二光学链。在一些实施例中，控制步骤4104还包括实施步骤4112以便控制一个或更多图像传感器的读出的持续时间。在步骤4112中，作为第一传感器图像捕获尺寸和/或第一传感器所对应的第一光学链的焦距的函数来控制第一传感器的读出的持续时间。在一些实施例中，步骤4112包括实施步骤4114或4116的其中之一以作为控制传感器读出的持续时间的一部分。在步骤4114中，当第一光学链的焦距小于第二光学链的焦距时，第一传感器的读出的持续时间被控制成具有比第二传感器的读出更长的持续时间。在一些实施例中，当第一和第二传感器分别对应于感兴趣场景区域的第一和第二部分并且感兴趣场景区域的第一部分在扫描方向上的限度大于感兴趣场景区域的第二部分在扫描方向上的限度时，第一传感器的读出的持续时间被控制成具有比第二传感器的读出更长的持续时间。这例如在包括第一传感器的第一光学链的焦距小于包括第二传感器的第二光学链的焦距时发生。
在一些其他实施例中，第一光学链(第一传感器与之对应)的焦距是第二光学链的焦距的N倍。在一些这样的实施例中，作为步骤4112的一部分实施步骤4116。在步骤4116中，从第一传感器读出像素值的持续时间被控制成包括以一定速率从第一传感器读取像素值行，所述速率是从第二传感器读出像素值行的速率的N倍快。在各个实施例中，摄影机设备中的卷帘快门控制器如前面所讨论的那样控制扫描和读出操作。在一些实施例中，第一传感器的像素尺寸与第二传感器的像素尺寸相同。在一些实施例中，第一和第二传感器包括相同总数的像素行和列。
通过连接节点A4118，操作从步骤4101(其包括前面所讨论的一个或更多步骤)继续到步骤4120。在步骤4120中，从第一到第X传感器读出的一幅或更多幅图像被存储，例如X幅图像被存储，其中每一幅对应于X个传感器当中的一个。操作从步骤4120继续到步骤4122。在步骤4122中，根据本发明，(从传感器读出的)至少两幅或更多幅或所有所捕获图像被组合生成复合图像。
图42示出了在一些实施例中实施的利用多个光学链(例如摄影机模块)来捕获感兴趣场景区域的方法4200的各个步骤。所述方法开始于步骤4202，例如其中用户在摄影机设备上发起感兴趣场景区域的捕获，从而使得摄影机设备(例如摄影机设备100)发起由按照协调方式操作的一个或更多摄影机光学链对感兴趣场景区域的扫描并且从而还有图像捕获。
操作继续到步骤4204，其中摄影机设备初始化当前扫描位置，这例如是通过把当前扫描位置设定到扫描位置起始值，例如在图42的实例中是1。
一旦当前扫描位置被初始化，操作从步骤4204继续到步骤4206，其中控制器(例如卷帘快门控制器150)控制摄影机设备的每一个图像传感器按照同步方式来实施像素值(例如像素值行)的读出，其中根据卷帘快门实现方式的操作顺序地读出各个像素值行。
步骤4206包括对应于被用来捕获感兴趣场景区域的至少一部分的图像传感器1到X当中的每一个的图像传感器读出控制步骤。出于讨论的目的，步骤4210和4214被显示成对于被用来捕获感兴趣场景区域的至少一部分的每一个其他图像传感器实施相同的或类似的步骤。
在步骤4210中，确定图像传感器1是否具有对应于当前扫描位置的尚未读取的像素行，例如将被读出的像素值行。如果图像传感器1不具有对应于当前扫描位置的未读像素值行，这例如是因为图像传感器对应于处在对应于当前扫描位置的区域之外的图像部分，则操作继续到步骤4220而不从图像传感器1读出像素行。
在步骤4214中，确定图像传感器X是否具有对应于当前扫描位置的尚未读取的像素行，例如将被读出的像素值行。如果图像传感器X不具有对应于当前扫描位置的未读像素值行，这例如是因为图像传感器X对应于处在对应于当前扫描位置的区域之外的图像部分，则操作继续到步骤4220而不从图像传感器X读出像素行。
应当认识到，等到操作从步骤4206继续到步骤4220时，具有对应于当前扫描位置的未读像素元件行的图像传感器1到X当中的每一个都将已经读出了对应于当前扫描位置的该行的像素值。
在步骤4220中，当前扫描位置被更新到下一个扫描位置，例如当前扫描位置被递增1。随着当前扫描位置被递增，图像的扫描移动到下一条扫描线，从而导致顺次经过各条扫描线，例如在假设场景区域的顶部到底部扫描的情况下是从图像的顶部到图像的底部。
操作从步骤4220继续到步骤4222，其中确定在步骤4220中刚刚更新过的当前扫描位置是否超出了感兴趣场景的最后一个扫描位置值。如果当前扫描位置超出了感兴趣场景区域的最后一个扫描位置，则表明作为图像传感器读出的结果，感兴趣场景已被完全扫描和捕获。但是如果在步骤4222中确定当前扫描位置值没有超出感兴趣场景区域的最后一个扫描位置值，则操作继续到步骤4206，从而将读出具有对应于当前场景区域位置的像素元件行的图像传感器的未读像素元件行。
应当认识到，在图42的实施例中，摄影机光学链的焦距及其相应的图像传感器被导向的场景区域将影响图像传感器的像素值行是否在特定时间点被读出。由于图像传感器读出是基于扫描位置来控制的，因此多个图像传感器的传感器读出按照协调方式发生。虽然像素值的图像传感器读出在图42的实施例中被协调，但是取决于摄影机设备配置，一些图像传感器的读出可以在一个或更多其他传感器的读出完成之前发生。
通常来说，在图42的实施例中，与具有相同数目的像素元件行但是具有更大焦距并且从而对应于总体感兴趣场景区域的更小部分的图像传感器的读出相比，对应于具有更小焦距的摄影机光学链并且从而对应于感兴趣场景区域的更大部分的图像传感器的读出将以更慢的速率发生。
一旦全部感兴趣场景区域都被扫描，操作从步骤4222继续到步骤4224，其中第一到第X图像传感器的图像(例如像素值集合)读出被存储在存储器中。随后在步骤4224中，所捕获图像例如由处理器110处理，以便生成可以被存储和/或输出(例如传送和/或显示)的复合图像。在步骤4226中实施的复合图像的生成可以通过多种方式当中的任一种来实施，其中包括利用加权和方法来组合由不同图像传感器捕获的图像的像素值，比如前面关于可以并且在各个实施例中被用来生成复合图像的至少一些图像组合处理所描述的那样。
应当认识到，图42的方法是在读取图像传感器的像素元件行方面来解释的。取决于操作模式，一些图像传感器允许把多个像素行的像素元件作为单个行来对待。这样的“联合”读取导致由正被读出的每一个联合读取行所感测的像素值的和作为单个像素值被读出。在这样的“联合”读取的情况下，出于实施图42的方法的目的，作为单个像素值行被联合读出的多个像素元件行作为一个像素元件行被对待。在其中运动是问题并且希望在尽可能少的时间内捕获图像的实施例中，联合读取方法在导致减少从图像传感器读取的像素值的数目的同时可能是合乎期望的。
通常来说，如果不同的图像传感器对应于不同的焦距，其中假设每一个图像传感器包括相同数目的像素值行，则将要读出图42的实施例中的图像传感器的全部行集合的读出时间可以被表达成图像传感器被包括在其中的光学链(例如摄影机模块)的焦距以及在给定时间将被联合读出并且作为单个像素元件行被对待的图像传感器的像素元件行的数目的函数。
在一些示例性实施例，成像设备(例如摄影机设备100)被用来实施流程图4100和4200的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式安排的光学链，并且在图12B中进一步示出了光学链的更加详细的安排和元件(例如传感器、滤光器)。因此，在这样的一个实施例中，多个光学链130包括关于图12A讨论的光学链1202到1234。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的一个实施例中，多个光学链130包括关于图17A和17B讨论的光学链1702到1734，其中一些包括非圆形透镜。
在一些实施例中，控制器150(其包括传感器读出控制器289)被配置成控制对应于多个光学链130的多个图像传感器从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一和第二边缘是平行的，作为扫描的一部分，传感器控制器289根据从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获。当多个图像传感器当中的第一图像传感器具有对应于当前扫描位置的像素值行时，传感器控制器在卷帘快门模式下控制该第一传感器读出对应于当前扫描位置的像素值行，其中当前扫描位置随着时间改变。在一些实施例中，当多个图像传感器当中的第二图像传感器具有对应于当前扫描位置的像素值行时，传感器控制器289还在卷帘快门模式下控制第二图像传感器读出对应于当前扫描位置的像素值行，其中第一和第二图像传感器捕获感兴趣场景区域的不同部分的图像。
在一些实施例中，第一图像传感器捕获不被第二图像传感器捕获的感兴趣场景区域的一部分的图像，并且第二图像传感器捕获不被所述第一图像传感器捕获的所述感兴趣场景区域的一部分的图像。
在一些实施例中，所述多个图像传感器还包括第三图像传感器(其例如对应于第三光学链)。在一些这样的实施例中，第一图像传感器捕获所述感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的第二部分，感兴趣场景区域的第一和第二部分是部分地不重叠的，并且第三图像传感器捕获整个感兴趣场景区域。这可以通过简要地参照图12和32认识到。举例来说，第一部分3206被对应于第一光学链(例如OC1204)的第一图像传感器捕获，第二部分3208被对应于第二光学链(例如OC1208)的第二图像传感器捕获，并且第三部分3202被对应于第三光学链(例如OC1228)的第三图像传感器捕获。从图32的实例可以认识到，感兴趣场景区域的第一和第二部分(3206和3208)是部分地不重叠的，并且第三图像传感器捕获整个感兴趣场景区域。
在一个实施例中，第一和第二图像传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分在扫描方向上(例如从顶部到底部)的限度大于感兴趣场景区域的第二部分的限度。在一个这样的实施例中，传感器控制器289被配置成把第一图像传感器的读出的持续时间控制成长于第二图像传感器的读出的持续时间。
在一些实施例中，第一图像传感器对应于具有第一焦距的光学链(例如OC1204)，并且所述第二图像传感器对应于具有第二焦距的光学链(例如OC1234)。在一些这样的实施例中，控制器289被配置成作为第一和第二图像传感器所对应的单独光学链的焦距的函数来控制从第一和第二图像传感器读出像素行的速率。在一些实施例中，第一图像传感器的像素尺寸与第二图像传感器的像素尺寸相同。在一些实施例中，第一焦距是第二焦距的N倍。在这样的实施例中，传感器控制器被配置成在一定速率下控制从第一图像传感器读出像素值的持续时间，所述速率是从第二图像传感器读出像素值行的速率的N倍。在一些实施例中，第一和第二图像传感器包括相同总数的像素行和列。
在一些实施例中，所述多个图像传感器(其对应于多个光学链130)包括捕获感兴趣场景区域的基本上不重叠部分的多个图像传感器，并且由所述多个传感器捕获的感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。在一些实施例中，多个图像传感器包括偶数个传感器。在一些实施例中，所述偶数个图像传感器是四个。
在一个实施例中，由第一图像传感器捕获的感兴趣场景区域的第一部分开始于处在由第二图像传感器捕获的感兴趣场景区域的第二部分之前的扫描位置。在一个实施例中，感兴趣场景区域的第二部分对应于所述感兴趣场景区域的中心。在一些这样的实施例中，所述多个图像传感器(其对应于多个光学链)包括4个图像传感器，其中4个捕获感兴趣场景区域的基本上不重叠的部分。在一些这样的实施例中，感兴趣场景区域的第二部分的第一到第四不同角落部分与由所述五个传感器当中的其余四个传感器所捕获的感兴趣场景区域的不同相应部分重叠。通过简要参照图32可以认识到这种安排。可以认识到，场景区域3216(其处在中心)的四个角落与由四个传感器(其对应于四个光学链)捕获的感兴趣场景区域的不同部分(场景区域3206、3208、3212、3214)重叠。
在一些实施例中，所述多个传感器包括5个传感器，其中4个捕获感兴趣场景区域的四个不同部分，感兴趣场景区域的四个不同部分当中的每一个的至少一个角落不与由感兴趣场景区域的四个不同部分当中的其他三个所捕获的图像部分重叠，第五传感器捕获感兴趣场景区域的中心部分。
在各个实施例中，处理器110在开始关于图42所讨论的传感器读出操作之前通过把当前扫描位置设定到扫描位置起始值来初始化当前扫描位置。在各个实施例中，曝光和读出控制器150(其包括传感器读出控制器289)单独地或者在处理器110的引导下控制摄影机设备的每一个图像传感器按照同步方式实施像素值(例如像素值行)的读出。在一些实施例中，控制器150还被配置成确定一个或更多图像传感器是否具有对应于当前扫描位置的未读像素行，例如将被读出的像素值行。当确定没有一个或更多图像传感器具有对应于当前扫描位置的未读像素行时，控制器150控制所述一个或更多图像传感器当中的每一个实施像素值行的读出。在一些实施例中，处理器110还被配置成把当前扫描位置更新到下一个扫描位置，例如把当前扫描位置递增1。
应当认识到，方法4100和4200的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4100和4200的一个或更多步骤被讨论成由处理器(例如处理器110、211)实施，但是应当认识到，方法4100和4200的一个或更多步骤可以并且在一些实施例中由专用电路实施，例如ASIC、FPGA和/或改进实施所述方法的成像设备的效率、准确性和/或操作能力的其他应用特定电路。在一些实施例中，专用的硬件(例如电路)和/或专用硬件与软件的组合被利用来实施方法4100和4200的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。图43示出了根据另一个示例性实施例的利用多个光学链(例如摄影机模块)按照同步方式捕获感兴趣场景区域的方法4300的各个步骤。出于讨论的目的，对应于由不同光学链的图像传感器实施的不同场景区域的图像的捕获将参照图12A中示出的光学链来解释，并且将其用作所述实例的基础。正如前面在图12A的实例中所讨论的那样，使用三个不同的焦距f1、f2和f3，其中f1<f2<f3，对于讨论考虑相同的焦距关系。
例如当摄影机设备(例如摄影机100)的用户按下按钮或采取其他动作以触发感兴趣场景区域的图像捕获时，方法4300开始于步骤4302。在步骤4304中，曝光和读出控制器150(其包括传感器读出控制器289)单独地或者在处理器110的引导下控制多个光学链130同时(例如并发地)读出对应于感兴趣场景区域的一部分的像素值。应当认识到，虽然多个(例如两个或更多)光学链130被操作来同时进行读出，但是当其他图像传感器正在读出像素值时，一个或更多其余的光学链130(例如被导向感兴趣场景的不同部分的光学链)可以不被控制来读出像素值。在方法4300的至少一种实现方式中，多个光学链130包括具有第一焦距(f2)的第一光学链(例如光学链1204)以及具有第二焦距(f1)的第二光学链(例如光学链1234)。作为图像传感器的读出的一部分，感兴趣场景区域的不同部分将在不同时间被读出，例如随着卷帘快门和读出从图像传感器的顶部向下移动到图像传感器的底部，其中图像传感器的顶部对应于卷帘快门读出的开始，并且图像传感器的底部对应于将被读出的最后一行。为了促进传感器读出的同步，在至少一个实施例中，不同光学链的图像传感器的顶部和底部被安排在相同的方向上，从而使得可以很容易同步像素值行的读出。但是对于光学链的不同图像传感器使用均匀的扫描从而还有读出方向并非对于所有实施例都是强制性的，尽管其被使用在至少一些实施例上。
例如根据所实施的卷帘快门控制，由于图像传感器被控制成顺序地实施像素行读出，因此感兴趣场景区域的不同部分将在不同时间从一个或更多光学链的传感器被读出，而对应于感兴趣场景区域的一个部分的像素值的读出将按照同步方式发生，其中多个光学链的传感器并行地读出对应于感兴趣场景区域的相同部分的像素值行。
在至少一些实施例中，步骤4304包括各个子步骤。步骤4304包括对于包括在第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出的步骤4306。因此，第一和第二光学链的第一和第二图像传感器将按照同步方式被读出，其中考虑到被用来控制第一光学链的第一图像传感器的读出的第一卷帘快门的定时以及被用来控制第二图像传感器(即第二光学链的图像传感器)的读出的第二卷帘快门的定时的操作。
作为步骤4306的一部分，步骤4308和4310可能并且在各个实施例中被实施。在步骤4308中，第一光学链的第一图像传感器被控制成在第一图像传感器的顶部边缘开始并且继续到第一图像传感器的底部边缘顺序地读出各个像素值行，其中第一光学链的第一图像传感器的顶部边缘对应于作为卷帘快门控制的第一图像传感器的读出的一部分首先被读出的像素值行。在步骤4310中，第二光学链的第二图像传感器被控制成在第二图像传感器的顶部边缘开始顺序地读出各个像素值行。第二图像传感器的读出继续到第二图像传感器的底部边缘，其中第二光学链的第二图像传感器的顶部边缘对应于作为卷帘快门控制的第二图像传感器的读出的一部分首先被读出的像素值行。在该例中，第一和第二图像传感器被配置成使其顶部和底部相对于实施所述方法的摄影机设备(例如摄影机设备100)的顶部都被指向在相同的方向上。
虽然关于第一和第二光学链的第一和第二图像传感器解释了4300的方法，但是应当认识到，在一些实施例中，所述方法对于多于两个光学链被实施，例如对于Z个光学链被实施，其中Z可以是处于从2到Z的范围内的任何值，其中Z是整数。在这样的实现方式中，步骤4306对于在其中实施所述方法的摄影机设备的单独的Z个光学链和相应的图像传感器当中的每一个包括类似于步骤4308、4310的读出步骤。
除了步骤4306之外，步骤4304包括步骤4312。在步骤4312中，分别作为第一和第二光学链的焦距的函数来控制第一和第二图像传感器的读出速率。在其中第一光学链的焦距(f2)大于第二光学链的焦距(f1)的一些实施例中，图像传感器读出控制器289控制第一图像传感器在一定时间周期内读出第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距(f1)与第一焦距(f2)的比值乘以被用来读出所述第二图像传感器中的相同数目的像素行的时间量。
例如考虑其中第一和第二图像传感器具有相同数目的像素元件行但是第一图像传感器对应于具有第一焦距(f2)的第一光学链1204并且第二光学链(例如模块1234)具有第二焦距(f1)的情况，其中f2是f1的两倍。正如前面所讨论的那样，在这种情况下，第二光学链(f1)所捕获的场景区域的部分将是由第一光学链(f2)捕获的场景区域的尺寸的四倍或近似四倍。为了同步图像捕获处理，假设第一光学链(f2)的图像传感器被控制成在时间NTR内读取器全部像素值集合(其中N是第一和第二图像传感器上的像素元件行的数目，并且TR是读取任一个图像传感器上的单个像素元件行所需的时间)，具有更短焦距(f1)的第二图像传感器将被控制成在时间周期2NTR内读出其各个像素值行，其中假设图像传感器的所有行将被单独读出。
因此，假设图像传感器具有相同的行数，则图像传感器将被控制成读出其各个像素值行的时间为如下：
具有N个像素元件行和焦距f2的传感器1将具有读出周期(f2/f2)NTR。
同样具有N个像素元件行和焦距f1(其小于传感器1的焦距f2)的传感器2将具有读出周期NTR(f2/f1)＝2NTR(因为f2＝2f1)，其中假设每一个单独的像素值行被单独地读出。
应当提到的是，f2在该例中被用作分子，这是因为其是在该例中所使用的最大焦距。
正如前面所提到的那样，在一些操作模式下，可以实施像素元件行的联合读出以便减少读出图像传感器所需的时间量。虽然在各个实施例中，每一个传感器的像素元件行被单独读出以便最大化所生成的复合图像的总体像素计数，并且对应于更小焦距的传感器的读出速率被降低以便与对应于具有更大焦距的光学链的传感器的像素值的读出并且从而还有感兴趣场景的各个图像部分的捕获保持同步，但是这并非在所有实施例都发生。
例如在其中希望捕获快速运动的一个特定的示例性实施例中，取代放慢对应于更短焦距的图像传感器的行读出速率，实施对应于更大焦距的图像传感器的各行的联合读出操作。正如前面所提到的那样，在联合读出中，多个像素值行被联合读出，其中例如当实施两行的联合读取时，两个像素值行提供与单个行相同数目的像素值。M倍的联合读取将导致像素值行减少相同的倍数，图像传感器读出将在1/M的时间内完成。
在至少一个实施例中，取代放慢对应于具有短焦距(例如比将被用来捕获将被组合形成复合图像的图像的最大焦距更短的焦距)的光学链的一个或更多传感器的读出速率，对于具有更长焦距的传感器的像素行实施联合读出，其中作为焦距的差异的函数来控制被联合读出的行数。举例来说，如果f2是f1的两倍，则在一个实施例中，M被设定成等于2，从而使得对应于f2焦距的传感器的读出可以在被用来从对应于具有更短焦距f1的光学链的第二传感器读出像素值行的一半时间内完成。
在这种情况下，读出具有最短焦距的传感器的各个像素行所需的时间充当对应于多个图像传感器完成其读出的时间约束，并且焦距更大的传感器的读出行数通过使用联合读取操作而被减少，这是基于由更大焦距与更小焦距的比值所确定的因数。举例来说，如果f2是f1的两倍大，则对应于具有f2焦距的光学链的传感器将利用通过联合读取因数2实施的联合读取而被读出。
通过这种方式，具有不同焦距的光学链的图像传感器可以被控制成在总捕获时间被限制到读取单个图像传感器所需的时间的情况下捕获感兴趣场景区域的相同部分。
联合读取减少了将从具有更大焦距的图像传感器读出的像素值的数目，实施读取的时间被减少，并且图像的总像素计数将不会被减少到低于具有更短焦距f1的光学链的总像素计数。
在至少一个实施例中，为用户提供了在运动操作模式与静止或缓慢运动操作模式之间作出选择的机会，在运动操作模式下使用联合读取来减少或最小化图像捕获时间周期，例如把被用来捕获图像的总时间保持到对应于在一些实施例中读取单个图像传感器所需的时间的NTR，在静止或缓慢运动操作模式下以图像捕获时间为代价优化图像的像素计数，例如在一个实施例中，对应于具有更短焦距的光学链的图像传感器的像素元件行的读出时间周期被增大以便实现与由具有更大焦距的光学链进行的场景区域捕获的定时同步。
考虑到对于联合行读取因数M的潜在使用，被用来从具有相同数目的像素元件行但是分别对应于不同焦距f1和f2(其中f2大于f1)的第一和第二图像传感器读出像素值行的总时间可以被如下表达：
具有N个像素元件行并且对应于具有焦距f1(更短焦距)的光学链的传感器2将具有读出周期NTR；
同样具有N个像素元件行但是对应于具有焦距f2(更大)的光学链的传感器1被控制成实施因数为M的联合行读取，其将具有读出周期：NTR/M，其中M等于(f2/f1)，并且假设对于每M个像素元件行读出一个像素值行。
虽然传感器1(更大焦距f2)将在比传感器2更少的时间内完成读出，但是应当认识到，在各个实施例中，与传感器1所对应的光学链具有相同焦距(f2)但是捕获在扫描方向上处在由传感器1捕获的区域下方的图像区域的另一个传感器S3将捕获图像的下方部分。因此，假设f2是f1的两倍，传感器S1和S3的读出将重合到其中传感器2被读出的相同时间周期NTR，但是其中传感器1S1读出发生在NTR的前一半期间，并且传感器3S3读出发生在NTR的后一半期间。
从前面的讨论应当认识到，涉及作为第一和第二光学链的焦距的函数来控制第一和第二图像传感器的读出速率的步骤4312还可以取决于由摄影机的操作者选择的操作模式(例如静止或高速运动)。关于哪一种模式的选择可以并且在一些实施例中是基于在一幅或更多幅顺序地捕获的图像或者在不同时间点捕获的图像部分中所检测到的运动而自动作出的。举例来说，如果检测一个或更多对象的运动有可能由于所述运动而导致伪像，并且所述伪像与减少图像的总体像素计数相比可能会更多地降低组合图像的质量，则使用用以读出像素行的联合读取方法。
在视频的情况下，摄影机设备可以并且在一些实施例中确实关于要操作在哪一种操作模式下作出更新后的决定，以便产生具有最佳质量的复合图像。作为所述决定的结果，摄影机设备可以从一个帧时间到下一个帧时间在操作模式以及所使用的图像捕获同步技术之间进行切换。虽然这样可能导致对应于具有不同像素数目的相同视频序列的不同复合图像，但是总体图像质量被最大化。
虽然在一些实施例中支持这样的动态切换，但是在其他实施例中，一旦确定了同步技术和操作模式，就对于视频序列保持所述模式，从而使得视频序列中的各幅图像的像素元件的数目将在每幅复合图像的基础上保持恒定。
应当认识到，在多个图像传感器的同步读出的情况下，其中第三传感器所捕获的感兴趣场景区域的图像部分位于由另一个图像传感器(例如第一图像传感器)捕获的图像部分的下方(在扫描方向上)，从第三图像传感器的像素值的读出将跟随在从第一图像传感器的像素值的读出之后。
因此，在至少一个实施例中，步骤4304包括步骤4314，其中第三光学链(例如光学链1218)的第三图像传感器被控制成在从第一图像传感器读出最后一个像素值行之后读出对应于感兴趣场景的第三部分的像素值。在一些实施例中，所述感兴趣场景区域的第三部分位于所述感兴趣场景区域的所述第一部分下方(在扫描方向上)。在一些这样的实施例中，第一图像传感器捕获感兴趣场景区域的第一部分，第二感兴趣场景区域捕获感兴趣场景区域的大于第一部分的第二部分。在一些这样的实施例中，第二图像传感器(其对应于更小焦距光学链)捕获与组合的第一和第三图像传感器基本上相同的图像区域，但是其读出时间比第一和第三图像传感器当中的任一个的读出时间更长。
应当认识到，在这样的实施例中，虽然可以在期间从第二图像传感器读出像素值的时间周期期间读出对应于第一图像传感器的像素值，但是第一和第三图像传感器的读出时间将不重叠。
但是在其中第一和第三图像传感器被控制成捕获感兴趣场景的重叠部分的实施例中，对应于重叠场景部分的像素行的读出可以同时从第一和第三图像传感器读出。
操作从步骤4304继续到步骤4316，其中从在步骤4304中控制的图像传感器读出的图像被存储在存储器中以供后续处理。操作随后继续到步骤4318。在步骤4318中，例如在步骤4304中由不同光学链按照同步方式捕获的图像被组合以生成复合图像。
在视频的情况下，将对于每一个帧时间实施步骤4304、4316和4318，其中例如对于每一个帧时间生成一幅复合图像。
在一些实施例中，操作从步骤4318继续到步骤4320。在步骤4320中，在步骤4318中生成的复合图像被存储在存储器中、传送和/或例如显示在显示器102上。
虽然在一些实施例中复合图像的生成发生在摄影机设备100中，并且复合图像随后被显示或传送，但是在其他实施例中，复合图像由处理器生成以便例如作为后捕获处理过程和/或视频产生处理的一部分。在这样的实施例中，复合图像的生成可以在包括存储器、处理器和显示器的计算机系统上进行，其不同于包括被用来捕获感兴趣场景区域的图像的光学链130的摄影机设备100的存储器、处理器和显示器。
在一些示例性实施例中，成像设备(比如摄影机设备100)被用来实施流程图4300的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式安排的光学链，其中在图12B中进一步示出了光学链的更加详细的安排和元件。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。
在一个实施例中，控制器150(其包括图像传感器读出控制器289)被配置成控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素输出，所述多个光学链130包括具有第一焦距(f2)的第一光学链1204和具有第二焦距(f1)的第二光学链1234，第二焦距不同于第一焦距，所述感兴趣场景区域的不同部分在不同时间被读出。在各个实施例中，控制器150被配置成实施包括在第一光学链1204中的第一图像传感器和包括在第二光学链1234中的第二图像传感器的同步卷帘快门读出。
在一些实施例中，作为实施第一图像传感器的卷帘快门读出的一部分，控制器150被配置成首先读取对应于一个像素值行的第一光学链的第一图像传感器的顶部边缘，所述卷帘快门读出包括在第一图像传感器的顶部边缘开始并且继续到第一图像传感器的底部边缘顺序地读出各个像素值行。在各个实施例中，作为实施第二图像传感器的卷帘快门读出的一部分，控制器150还被配置成首先读取对应于一个像素值行的第二光学链的第二图像传感器的顶部边缘，第二图像传感器的卷帘快门读出包括在第二图像传感器的顶部边缘开始并且继续到第二图像传感器的底部边缘顺序地读出各个像素值行，第一和第二图像传感器的扫描方向(从顶部到底部)是相同的。虽然在关于图43讨论的实例中考虑了图像传感器的顶部到底部扫描方向，但是应当认识到，作为图像传感器的卷帘快门读出的一部分，在不同方向上从图像传感器的一个边缘扫描到另一个边缘也是可能的。
在一些实施例中，第一和第二图像传感器包括相同数目的像素行。在一些实施例中，做为被配置成控制多个光学链同时读出对应于感兴趣场景区域的一部分的像素值的一部分，控制器150被配置成作为第一和第二光学链的焦距来控制第一和第二图像传感器的读出速率。
在一些实施例中，第一焦距大于第二焦距。在一些实施例中，控制器150还被配置成控制第一图像传感器在一定时间周期内读出第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距与第一焦距的比值乘以被用来读出第二图像传感器中的相同数目的像素行的时间量。举例来说，考虑第二光学链的焦距是FS2并且第一光学链的焦距是FS1，其中第一和第二传感器分别对应于具有N个像素元件行的第一和第二光学链。如果读出传感器2的N行花费时间TS2，则控制器150在时间周期TS1＝(FS2/FS1)×TS2的时间周期内控制传感器1的读出。
在一些实施例中，第一焦距是第二焦距的两倍。在这样的实施例中，控制器150还被配置成控制在一定时间周期内完全读出第二图像传感器，所述时间周期的长度是被用来读出第一图像传感器的第一时间周期的两倍。
在各个实施例中，第一图像传感器捕获感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的大于第一部分的第二部分。在一些这样的实施例中，控制器150还被配置成控制第三光学链(例如光学链1218)的第三图像传感器在从第一图像传感器读出最后一个像素值行之后读出对应于感兴趣场景区域的第三部分的像素值，感兴趣场景区域的第三部分位于感兴趣场景区域的第一部分的下方。在一些实施例中，第二图像传感器至少捕获与第一和第三图像传感器相同的图像区域，但是其读出时间比第一和第三图像传感器当中的任一个的单独读出时间更长。
在各个实施例中，作为传感器读出操作的一部分由传感器捕获的图像被存储在设备存储器中，例如存储器108。在一些实施例中，作为生成复合图像的一部分，这些图像当中的一幅或更多幅被进一步处理。在一些实施例中，处理器110被配置成通过组合两幅或更多幅所捕获图像来生成复合图像。在一些实施例中，处理器110还被配置成控制所生成的复合图像在存储器108中的存储以及/或者复合图像在显示器102上的输出以及/或者把所捕获图像或复合图像通过例如接口114之类的接口传送到另一个设备。
应当认识到，方法4300的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4300的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4300的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法4300的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图44所示出的流程图4400示出了根据一个示例性实施例的使用多个光学链来捕获图像的示例性方法的各个步骤。根据一个示例性实施例，所述方法包括控制成像设备(比如在图1、6、8和/或4中示出的成像设备)来捕获图像。实施流程图4400的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。
流程图4400的方法可以并且在一些实施例中是利用比如图1的摄影机100之类的摄影机设备来实施的。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式来安排的光学链(例如摄影机模块)，其中在图12B中进一步示出了光学链的更加详细的安排和元件。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的实施例中，多个光学链130包括关于图17A和17B所讨论的光学链1702到1734。
所述示例性方法开始于步骤4402，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备100)发起由一个或更多光学链对感兴趣场景区域的图像捕获。出于讨论的目的，考虑摄影机设备包括多个光学链，并且每一个光学链可以被独立地操作和控制。
操作从步骤4402继续到步骤4404、4406、4408、4410、4412、4414和4416，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中按照同步方式被实施。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不同步，而是在相同的或重叠的时间周期期间捕获多幅所捕获图像。在其他实施例中，至少一些图像例如被快速连续地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤4404中，摄影机设备的第一光学链被用来捕获感兴趣场景区域的第一部分的第一图像，第一光学链具有第一光轴和第一最外侧透镜。在一些实施例中，感兴趣场景区域可以略微小于全部图像捕获区域。操作从步骤4404继续到步骤4418。步骤4418在一些而不一定是所有实施例中被实施。在其中步骤4418被跳过的一些实施例中，操作直接继续到步骤4420。
在步骤4406中，利用摄影机设备的第二光学链捕获场景区域的第二部分，第二光学链具有不平行于第一光轴的第二光轴以及与第一最外侧透镜分开的第二最外侧透镜。因此应当认识到，在各个实施例中，由于每一个光学链具有不同的外侧透镜，因此每一个光学链具有物理上不相交并且不重叠的入射光瞳。在一些实施例中，第二和第二光轴不垂直于摄影机的正面。在一些实施例中，第一和第二光轴具有相同的焦距。操作从步骤4406继续到步骤4418。
在步骤4408中，包括感兴趣场景区域(例如整个感兴趣场景区域)的第三图像是利用具有与所述第一和第二最外侧透镜分开的第三最外侧透镜的摄影机设备的第三光学链来捕获的。在一些实施例中，第三光学链具有不与第一或第二光轴当中的任一个平行的第三光轴。在一些实施例中，第三光学链的焦距小于第一和第二光学链的至少其中之一的焦距。在一些实施例中，第三光学链的焦距小于第一光学链的焦距。在一些实施例中，第三光学链的焦距小于第二光学链的焦距。在一些实施例中，第三光学链的焦距小于第一和第二光学链的焦距。在一些实施例中，第三光轴垂直于摄影机设备的正面。在一些实施例中，第一光学链利用第一传感器捕获第一图像，并且第三光学链利用第三传感器捕获第三图像。操作从步骤4408继续到步骤4418。
在步骤4410中，利用具有与所述第一、第二和第三最外侧透镜分开的第四最外侧透镜的摄影机设备的第四光学链来捕获第四图像，第四图像包括感兴趣场景区域的第二图像。在一些实施例中，第三光学链具有第三光轴，第四光学链具有第四光轴。在一些实施例中，第三和第四光轴彼此平行。在一些实施例中，第三和第四光轴不平行于第一或第二光轴。在一些实施例中，第三和第四光轴垂直于摄影机的正面。在一些实施例中，第四光学链具有与第三光学链的焦距相同的焦距。操作从步骤4410继续到步骤4418。
在步骤4412中，利用具有第五光轴的摄影机设备的第二光学链捕获第五图像，第五图像是感兴趣场景区域的第三部分的图像，第五光轴不平行于第一和第二光轴。因此，第五光学链捕获感兴趣场景区域的一部分，例如四分之一或一半。操作从步骤4412继续到步骤4418。
在步骤4414中，可利用具有不平行于第一、第二或第五光轴的第六光轴的摄影机设备的第六光学链捕获第六图像，第六图像是感兴趣场景区域的第四部分的图像。操作从步骤4414继续到步骤4418。在一些实施例中，第一、第二、第五和第六图像分别具有第一像素值数目。
在步骤4416中，利用具有与第一光学链相同的焦距的摄影机设备的第七光学链捕获第七场景区域的第七图像，第七光学链具有垂直于摄影机表面的光轴。在一些实施例中，第七场景处在感兴趣场景区域的中心。操作从步骤4416继续到步骤4418。
现在回到步骤4418。在步骤4418中，一幅或更多幅所捕获图像(例如第一、第二、第三、第四、第五、第六和/或第七图像)被存储在例如设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。在一些实施例中，处理器110控制一幅或更多幅所捕获图像在存储器108中的存储以及/或者将一幅或更多幅所捕获图像输出到显示器102。虽然步骤4418在一些实施例中被实施，但是在一些其他实施例中，步骤4418可以被跳过。在这样的实施例中，操作从前一步骤直接继续到步骤4420。
在各个实施例中，第二、第三、第五和第六光学链被安排成使得由这些光学链取得的感兴趣场景区域的部分的图像是来自不同的空间上分开的入射光瞳，从而具有不同的视角。组合此类具有不同视角的图像会引入伪像(例如视差)。为了最小化和/或减轻来自利用由这些不同光学链捕获的各幅图像生成的复合图像的伪像的效应，在一些实施例中使用深度信息，所述深度信息在组合图像时提供视差校正，以避免由于不同的视角而导致的复合图像的失真。
回到步骤4420。在步骤4420中，通过组合至少两幅所捕获图像(例如第一和第二图像)而生成复合图像。在各个实施例中，例如通过实施方法4400的各个步骤的摄影机设备的处理器(比如处理器110或211)来生成复合图像。在一些实施例中，实施步骤4420包括实施步骤4424和4426当中的一个或更多个。在一些实施例中，子步骤4424和4426是不同的替换方案，其中任一个可以作为实施步骤4420的一部分来实施。在一些实施例中，步骤4420包括实施步骤4424，其中作为生成复合图像的一部分至少组合所述第一、第二、第三和第四图像。在这样的实施例中，处理器110被配置成通过组合至少第一、第二、第三和第四图像来生成复合图像。在一些实施例中，复合图像是感兴趣场景区域的复合图像，所述复合图像的像素值的数目大于第一、第二、第三和第四图像当中的任一幅所单独具有的像素值的数目。
在一些实施例中，步骤4420包括实施步骤4426，其中例如由处理器110从至少所述第一、第二、第三、第四、第五和第六图像生成复合图像，所述复合图像所具有的像素值的数目多于第一像素值数目的三倍但是少于第一像素值数目的六倍。在一些实施例中，复合图像所包括的像素值的数目少于从被组合来生成复合图像的像素值数目的总和所得到的像素值的数目。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，复合图像是从第一、第二、第三、第四、第五、第六图像和第七图像生成的。
在一些实施例中，操作从步骤4420继续到步骤4428。在步骤4428中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。在一些实施例中，复合图像在存储器108中的存储以及/或者例如输出到显示设备和/或通过接口输出到外部设备是在处理器110的控制下实施的。
应当认识到，方法4400的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4400的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4400的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法4400的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图45所示出的流程图6700说明了捕获图像的示例性方法的各个步骤。所述图像可以并且在一些实施例中是利用包括在摄影机设备中的多个光学链来捕获的，摄影机设备被包括在摄影机外罩中，摄影机外罩具有厚度为D的前表面和后表面，D是前表面与后表面之间的距离。在一个实施例中，流程图6700的方法可以被实施来利用摄影机设备(比如图13B中示出的摄影机设备1320)捕获图像。所述摄影机设备包括多个光学链，并且每一个光学链可以被独立地操作和控制。实施流程图6700的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。因此应当认识到，实施方法6700的摄影机设备包括处理器、存储器、(多个)接口以及关于图1和4A讨论的其他元件。
所述示例性方法开始于步骤6702，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备1320)发起由一个或更多光学链对感兴趣场景区域的图像捕获。操作从步骤6702继续到步骤6704、6706、6708和6710，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中是按照同步方式实施的。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤6704中，利用摄影机外罩中的第一光学链捕获第一图像，第一光学链包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，第一光学链所具有的光轴包括处于光重定向设备前方的第一光轴部分和从光重定向设备延伸到传感器的第二光轴部分，第一透镜处在第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上的长度小于或等于D，并且沿着垂直于第一方向的第二方向的长度大于D。在一些实施例中，第一透镜是在第二光轴部分上最靠近光重定向设备的透镜。可以被用来实施流程图6700的方法的示例性摄影机设备的各种元件和/或构造特征可以从图13B认识到，该图示出了例如摄影机外罩1322、厚度1323、前表面和后表面1321和1325之类的特征。操作从步骤6704继续到步骤6712。
在步骤6706中，利用摄影机外罩中的第二光学链捕获第二图像，第二光学链包括i)第二光重定向设备、ii)具有第二非圆形孔径的第二透镜以及iii)第二传感器，第二光学链所具有的光轴包括处于第二光重定向设备前方的第三光轴部分和从第二光重定向设备延伸到第二传感器的第四光轴部分，第二非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的第三方向的长度大于D，第二和第三方向是不同的。在一些实施例中，第二和第三方向关于彼此成90度角。操作从步骤6706继续到步骤6712。
在步骤6708中，利用第三光学链捕获第三图像，第三光学链包括i)第三光重定向设备、ii)具有第三非圆形孔径的第三透镜以及iii)第三传感器，第三光学链所具有的光轴包括处于第三光重定向设备前方的第五光轴部分和从第三光重定向设备延伸到第三传感器的第六光轴部分，第三非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的第四方向的长度大于D，第一、第二和第三方向是不同的。在一些实施例中，第二和第三方向关于彼此成处于30度到60度之间的角。操作从步骤6708继续到步骤6712。
类似地，如图中所示，在一些实施例中，摄影机设备中的一个或更多附加光学链可以被用来捕获附加的图像。在其中附加的光学链被用来捕获附加图像的一些这样的实施例中，实施步骤6710。在步骤6710中，利用第Z光学链捕获第Z图像，第Z光学链包括i)第Z光重定向设备、ii)具有非圆形孔径的第Z透镜以及iii)第Z传感器，第Z光学链所具有的光轴包括处于第Z光重定向设备前方的一个光轴部分和从第Z光重定向设备延伸到传感器的另一个光轴部分，所述非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的方向的长度大于D。操作从步骤6710继续到6712。在一些实施例中，在相同的时间周期内捕获如前面所讨论的由多个光学链捕获的各幅图像。
现在回到步骤6712。在步骤6712中，一幅或更多幅所捕获图像(例如第一、第二、第三等等)被存储在例如设备存储器中以供根据本发明的特征进一步处理并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。操作从步骤6712继续到步骤6714。在步骤6714中，通过组合至少其中两幅或更多幅所捕获图像生成复合图像。在各个实施例中，例如由实施方法6700的各个步骤的摄影机设备的处理器(比如处理器110或211)生成复合图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，所述多个光学链当中的至少一些捕获感兴趣场景区域的各个部分，其随后根据本发明的方法被组合以生成复合图像。步骤6714在一些而不一定是所有实施例中被实施。
操作从步骤6714继续到步骤6716。在步骤6716中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。
应当认识到，方法6700的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法6700的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法6700的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法6700的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图46是示出了捕获图像的示例性方法的流程图6800。所述图像可以并且在一些实施例中是利用包括多个光学链的摄影机设备来捕获的。在一个实施例中，流程图6800的方法可以被实施来利用摄影机设备(例如图14中示出的摄影机设备1400)捕获图像。所述摄影机设备包括多个光学链，每一个光学链可以被独立地操作和控制。实施流程图6800的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。可以被用来实施流程图6800的方法的示例性摄影机设备的各种元件和/或特征可以从图14-17认识到，其中示出了例如具有非圆形孔径透镜的光学链、具有圆形透镜的光学链、摄影机厚度等特征。
所述示例性方法开始于步骤6802，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备1400)发起由一个或更多光学链对感兴趣场景区域的图像捕获。操作从步骤6802继续到步骤6804、6806、6808、6810和6812，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中是按照同步方式实施的。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤6804中，在第一时间周期期间利用摄影机的第一光学链捕获第一图像，第一光学链具有第一焦距和第一非圆形透镜。操作从步骤6804继续到步骤6814。
在步骤6806中，在第一时间周期期间利用摄影机的第二光学链捕获第二图像，第二光学链具有第二焦距和第二非圆形透镜。在一些实施例中，第一和第二焦距是相同的。在一些实施例中，第一和第二焦距是不同的。在一些实施例中，第一非圆形透镜在第一方向上比垂直于第一方向的第二方向上更长，并且第二非圆形透镜在第三方向上比第四方向上更长，其中第四方向垂直于第三方向，第一和第三方向是不同的。在一些实施例中，第一光学链包括第一传感器，第二光学链包括第二传感器。操作从步骤6806继续到步骤6814。
在步骤6808中，利用具有第三焦距并且包括圆形透镜的第三光学链捕获第三图像，第三焦距小于第一或第二焦距。在一些实施例中，第二和第四方向是相同的，并且对应于摄影机的深度(厚度)。操作从步骤6808继续到步骤6814。
在步骤6810中，利用具有第四焦距和第三非圆形透镜的第四光学链捕获第四图像，第四焦距大于第三焦距。在一些实施例中，第三非圆形透镜在第五方向上比第六方向上更长，第六方向垂直于第五方向，第一、第三和第五方向相差至少20度。操作从步骤6810继续到步骤6814。
类似地，摄影机设备中的一个或更多附加的光学链可以并且在一些实施例中被用来捕获附加的图像。在一个实施例中，利用如步骤6812中表明的具有圆形透镜的光学链来捕获附加的图像。在步骤6812中，利用包括圆形透镜的多个附加的光学链捕获附加的图像，每一个附加的光学链包括具有小于第一光学链的焦距的圆形透镜。在一些实施例中，由前面所讨论的由多个光学链捕获的各幅图像是在相同的时间周期内被捕获的。操作从步骤6812继续到步骤6814。
现在回到步骤6814。在步骤6814中，一幅或更多幅所捕获图像(例如第一、第二、第三等等)被存储在例如设备存储器中以供根据本发明的特征进一步处理并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。操作从步骤6814继续到步骤6816，步骤6816在一些而不一定是所有实施例中被实施。在步骤6816中，通过组合至少其中两幅或更多幅所捕获图像生成复合图像，例如通过至少组合第一和第二图像。在各个实施例中，例如由实施方法6800的各个步骤的摄影机设备1400的处理器(比如处理器110或211)生成复合图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，所述多个光学链当中的至少一些捕获感兴趣场景区域的各个部分，其随后可以根据本发明的方法被组合以生成复合图像。
操作从步骤6816继续到步骤6818。在步骤6818中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。
应当认识到，方法6800的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法6800的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法6800的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法6800的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图47是根据各个示例性实施例的生成复合图像的示例性方法的流程图4500。流程图4500的操作可以由摄影机设备或者摄影机设备与图像处理设备相组合来实施。在一些实施例中，摄影机设备被包括在摄影机中。在一些实施例中，摄影机设备被包括在无线通信设备中，例如智能电话。在一些实施例中，图像处理设备是个人计算机。
所述示例性方法的操作开始于步骤4502，其中实施初始化，并且继续到步骤4504。在一些实施例中，操作还从步骤4502继续到其中一个或更多或所有可选步骤4516、4518和4522。
在步骤4504中，操作包括设定在第一角度的光重定向设备的摄影机设备的第一光学链来捕获第一图像。操作从步骤4504继续到步骤4506，其中把所述光重定向设备的角度改变到第二角度。操作从步骤4506继续到步骤4510。在步骤4510中，当光重定向设备被设定在第二角度时，操作第一光学链来捕获第二图像。操作从步骤4510继续到步骤4512。
在步骤4512中，从第一和第二图像生成复合图像。
在一些实施例中，光重定向设备是反射镜，例如基本上平面的反射镜。基本上平面的反射镜包括使用在在一些实施例中的平面反射镜，以及可以具有微小曲率的反射镜，例如在一些实施例中具有处在0到3度范围内的曲率的反射镜，但是其他范围也是可能的。在一些这样的实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，光重定向设备是棱镜。在一些实施例中，步骤4506包括步骤4508，其中相对于被用来捕获第一和第二图像的图像传感器的平面或者第一光学链中的透镜的至少其中之一改变光重定向设备的角度。
在一些实施例中，在第一时间周期期间捕获第一和第二图像，并且实施步骤4516。在步骤4516中，在第一时间周期期间始终保持摄影机设备的位置，从而使得从相同的摄影机设备位置捕获第一和第二图像。在一些这样的实施例中，第一和第二图像分别对应于感兴趣场景区域的第一和第二部分，所述第一和第二部分至少部分地不重叠。
在一些实施例中，第一图像包括第一场景区域部分，第二图像包括第二场景区域部分，并且第一和第二场景区域部分不重叠。在一些实施例中，步骤4512包括步骤4514。在步骤4514中，把对应于第一场景区域部分的所述第一图像的至少一部分以及对应于所述第二场景区域部分的所述第二图像的至少一部分合并到所述复合图像中。
因此，在该示例性实施例中，至少从不重叠图像部分生成复合图像；复合图像所对应的场景区域不是第一和第二图像当中的单幅图像的图像区域的子集。在一些实施例中，第一和第二图像还可以包括重叠的场景区域部分。
在一些实施例中实施步骤4518，其中作为视频帧捕获速率的函数来控制光重定向设备移动。在一些这样的实施例中，步骤4518包括步骤4520。在步骤4520中，移动光重定向设备从而对于每个视频帧捕获z幅不同的图像以便生成单个复合视频帧，其中z对应于由第一光学链捕获的图像的数目。
在一些实施例中，摄影机包括至少两个光学链，并且实施步骤4522、4524和4526。在步骤4522中，当第二光学链中的第二光重定向设备(例如反射镜或棱镜)处于第三角度时，操作摄影机设备的第二光学链来捕获第三图像。操作从步骤4522继续到步骤4524。在步骤4524中，把第二光重定向设备的角度设定到第四角度。操作从步骤4524继续到步骤4526。在步骤4526中，当第二光重定向设备被设定在第四角度时，操作第二光学链来捕获第四图像。
在一些实施例中，第一和第三图像对应于第一捕获时间，并且第二和第四图像对应于第二捕获时间。在一些这样的实施例中，摄影机对于第一和第二捕获时间被保持在相同的位置。
操作从步骤4526继续到步骤4512。在一些实施例中，步骤4512包括步骤4528，其中从第一、第二、第三和第四图像生成复合图像。
图48A是根据一个示例性实施例的示例性摄影机设备4600的图示。摄影机设备4600包括通过总线4621耦合在一起的处理器4602(例如CPU)、存储器4604、模块套件4606(例如电路之类的硬件模块的套件)、用户输入接口4608、显示器4610、I/O接口4612以及多个光学链(光学链14618、...、光学链N4620)，各种元件可以通过总线4621交换数据和信息。显示器4610例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机设备4600的用户显示图像、图像部分、用户菜单等等。用户输入接口4608例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。I/O接口4612包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口4612包括一个或更多无线通信接口。通过I/O接口4612传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器4604包括模块套件4614和数据/信息4616。
光学链14618包括透镜4622(例如外侧透镜)、可移动反射镜4624(例如可移动的基本上平面的反射镜)以及图像传感器4626。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，平面反射镜具有平坦的光反射表面。在一些实施例中，基本上平面的反射镜具有处在0到5度范围内的曲率。在各个实施例中，可移动反射镜4624包括铰链架。光学链14618还包括反射镜移动模块4628(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块4630(例如角度位置感测设备，比如解算器(resolver)或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器4626被用来捕获第一和第二图像。光在到达反射镜4624之前经过透镜4622。反射镜4624是光重定向设备，其把经过透镜4622的光引导到图像传感器4626上。
光学链N4620包括透镜4632(例如外侧透镜)、可移动反射镜4634(例如可移动的基本上平面的反射镜)以及图像传感器4636。在一些实施例中，所述可移动的基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜4634包括铰链架。光学链N4620还包括反射镜移动模块4638(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块4640(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路。在一些实施例中，其中一个或更多光学链模块(4618、...、4620)包括一个或更多附加的元件，例如附加的透镜、附加的反射镜、棱镜、滤光器等等。
图48B是根据一个示例性实施例的示例性摄影机设备4700的图示。摄影机设备4700包括通过总线4621耦合在一起的处理器4602(例如CPU)、存储器4604、模块套件4606(例如电路之类的硬件模块的套件)、用户输入接口4608、显示器4610、I/O接口4612以及多个光学链(光学链14618、...、光学链N4620)，各种元件可以通过总线4621交换数据和信息。显示器4610例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机设备4700的用户显示图像、图像部分、用户菜单等等。用户输入接口4608例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。I/O接口4612包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口4612包括一个或更多无线通信接口。通过I/O接口4612传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器4604包括模块套件4614和数据/信息4616。
光学链14718包括透镜4722(例如外侧透镜)、棱镜4724以及图像传感器4726。在各个实施例中，棱镜4724包括铰链架。光学链14718还包括棱镜移动模块4728(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块4730(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器4726被用来捕获第一和第二图像。光在到达棱镜4724之前经过透镜4722。棱镜4724是光重定向设备，其把经过透镜4722的光引导到图像传感器4726上。
光学链N4720包括透镜4732(例如外侧透镜)、可移动棱镜4734以及图像传感器4736。在各个实施例中，可移动棱镜4734包括铰链架。光学链N4720还包括棱镜移动模块4738(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块4740(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路。图像传感器4726被用来捕获第一和第二图像。在一些实施例中，其中一个或更多光学链模块(4718、...、4720)包括一个或更多附加的元件，例如附加的透镜、附加的棱镜、反射镜、滤光器等等。
图48是可以被包括在根据本发明实施的摄影机设备(例如图46的摄影机4600或图47的摄影机4700)中的模块套件4800的图示。模块套件4800可以实施方法的各个步骤，例如图45的流程图4500的方法的各个步骤。在一些实施例中，模块套件4800是可以耦合在一起的电路套件。在一个示例性实施例，模块套件4800是图46的摄影机4600或图47的摄影机4700的模块套件4606。在一些实施例中，模块套件4800是硬件模块套件。在一个示例性实施例中，模块套件4800是图46的摄影机4600或图47的摄影机4700的存储器4604的模块套件4614。
图48C示出了模块套件4800，其可以被使用在图48A中示出的摄影机设备4600或图48B的摄影机设备4700中。模块套件4800中的模块可以并且在一些实施例中是完全通过硬件实施在处理器4602内的，例如作为单独的电路。模块套件4800中的模块可以并且在一些实施例中是完全通过硬件实施在模块套件4606内的，例如作为对应于不同模块的单独的电路。在其他实施例中，其中一些模块例如被实施成处理器4602内的电路，其他模块例如被实施成处在处理器外部并且与之耦合的模块套件4606内的电路。应当认识到，处理器上的模块以及/或者与处理器外部的一些模块的集成度可以是设计选择。
或者，取代被实施成电路，模块套件4800中的所有或一些模块可以用软件实施，并且被存储在摄影机设备4600或摄影机设备4700的存储器4604中，其中所述模块在由处理器(例如处理器4602)执行时控制摄影机设备4600或摄影机设备4700的操作以便实施对应于所述模块的功能。在一些这样的实施例中，模块套件4800被包括在存储器4604中以作为模块套件4614。在其他实施例中，模块套件4800中的各个模块被实施成硬件与软件的组合，例如处理器外部的另一个电路向处理器4602提供输入的，处理器4602随后在软件控制下操作来实施模块的一部分功能。虽然在图48A和图48B的实施例中被示出为单个处理器(例如计算机)，但是应当认识到，处理器4602可以被实施成一个或更多处理器(例如计算机)。
当用软件实施时，所述模块包括代码，其在由处理器4602执行时配置处理器4602来实施对应于模块的功能。在其中模块套件4800被存储在存储器4604中的实施例中，存储器4604是包括计算机可读介质的计算机程序产品，所述计算机可读介质包括代码，例如对应于每一个模块的单独的代码，其用于使得至少一台计算机(例如处理器4602)实施该模块所对应的功能。
可以使用完全基于硬件或完全基于软件的模块。但是应当认识到，软件和硬件的任意组合(例如实施模块的电路)可以被用来实施所述功能。应当认识到，图48C中示出的模块控制和/或配置摄影机设备4600或摄影机设备4700或者其中的元件(比如处理器4602)来实施在图47的方法流程图4500中示出的相应的步骤的功能。因此，模块套件4800包括实施图47中示出的方法的相应步骤的功能的各个模块。
图48C是根据一个示例性实施例的模块套件4800。模块套件4800包括光重定向设备控制模块4802、图像捕获控制模块4804、复合图像生成模块4806、稳定性控制模块4808以及光重定向设备移动定时控制模块4810。
光重定向设定控制模块4802例如是反射镜重定向设定控制模块或棱镜重定向设定控制模块，其被配置成确定将由第一光学链(例如光学链14618或光学链14718)使用的至少一个光重定向设备角度位置。图像捕获控制模块4804被配置成操作第一光学链，从而当第一光重定向设备(例如反射镜4624或棱镜4724)在光重定向设备控制模块4802的引导下被设定在第一角度时捕获第一图像，并且当第一光重定向设备在光重定向设备控制模块4802的引导下被设定在第二角度时捕获第二图像。复合图像生成模块4806被配置成从第一和第二图像生成复合图像。在一些实施例中，光重定向设备是反射镜(例如反射镜4624)，其是平面反射镜或基本上平面的反射镜。在一些实施例中，光重定向设备是棱镜，例如棱镜4724。
光重定向设备控制模块4802还被配置成控制光重定向设备(例如反射镜4604或棱镜4724)的角度，以便在所确定的光重定向设备角度不同于当前光重定向设备角度时发生改变。在一些实施例中，光重定向设备是反射镜(例如反射镜4624)、基本上平面的反射镜，并且所述改变涉及改动反射镜相对于包括在第一光学链中的图像传感器(例如传感器4626)的平面或者透镜(例如透镜4622)的至少其中之一的角度。
在各个实施例中，例如来自第一光学链(光学链14618或光学链14718)第一和第二图像在第一时间周期期间被捕获，并且稳定性控制模块4808被配置成在整个第一时间周期期间保持图像稳定性，例如从而使得第一和第二图像是从相同的摄影机位置捕获的。在一些实施例中，第一和第二图像分别对应于感兴趣场景的第一和第二部分，并且所述第一和第二部分至少部分地不重叠。
在一些实施例中，第一图像包括第一场景区域部分，第二图像包括第二场景区域部分，并且第一和第二场景部分是不重叠的。在各个实施例中，第一和第二图像还可以包括重叠的场景区域部分。在一些这样的实施例中，复合图像生成模块4806被配置成从第一和第二图像生成复合图像，这是通过把对应于所述第一场景区域部分的所述第一图像的至少一部分以及对应于所述第二场景区域部分的所述第二图像的一部分合并到所述复合图像中。因此，在各个实施例中，至少从不重叠的部分生成复合图像。
光重定向设备移动定时控制模块4810被配置成作为视频帧捕获速率的函数来控制光重定向设备移动。在一些这样的实施例中，光重定向设备移动定时控制模块4810作为视频捕获速率的函数来控制光重定向设备移动以便移动光重定向设备，从而对于每个视频帧捕获z幅不同的图像，其中z对应于由第一光学链捕获来生成单幅复合图像的图像的数目。
在各个实施例中，包括模块套件4800的摄影机设备包括第二光学链，例如光学链N4620或光学链N4720，其中包括可以被第二光重定向设备，例如可移动反射镜4634或可移动棱镜4734，其可以被设定在不同的角度，并且光重定向设备控制模块4802还被配置成确定第二光重定向设备将被定位的第三角度。在一些这样的实施例中，图像捕获控制模块4804还被配置成控制第二光学链(例如模块4620或模块4720)，以便当第二光重定向设备被设定在第三角度时捕获第三图像，并且当第二光重定向设备被设定在第四角度时捕获第四图像。在一些这样的实施例中，复合图像生成模块4806还被配置成除了第一和第二图像之外从第三和第四图享生成复合图像。在一些实施例中，第一和第三图像对应于第一捕获时间，第二和第四图像对应于第二捕获时间。在各个实施例中，摄影机设备对于第一和第二捕获时间被保持在相同的位置。
图49是根据一个示例性实施例的被用来示出被使用来生成组合图像的示例性所捕获图像的图示4900。图示4900包括示例性摄影机设备4902，其根据一个示例性实施例包括两个光学链。摄影机设备4900例如是图48A的摄影机设备4600或图48B的摄影机设备4700，包括图48C的模块套件4800的摄影机设备，以及/或者实施图47的流程图4500的方法的摄影机设备。摄影机设备4900的每一个光学链包括透镜(例如外侧透镜)、可控制可移动光重定向设备(例如可移动反射镜或可移动棱镜)以及图像传感器。在一个实例中，透镜L14904是对应于光学链1的外侧透镜，并且透镜L24906是对应于光学链2的外侧透镜。
图49的图示4908示出了感兴趣场景4910内的第一捕获图像4912。图49的图示4914示出了感兴趣场景4910内的第二捕获图像4916。图49的图示4918示出了感兴趣场景4910内的第三捕获图像4920。图49的图示4922示出了感兴趣场景4910内的第四捕获图像4924。应当提到的是，其中每一幅图像(第一图像4912、第二图像4916、第三图像4920、第四图像4924)包括关于其他图像的不重叠图像部分。图示4944示出了从所捕获图像(第一图像4912、第二图像4916、第三图像4920和第四图像4924)生成的对应于感兴趣场景区域4910的复合图像4925。
表4926示出了哪些光学链被用来捕获哪些图像、被用于图像捕获的示例性光重定向设备角度设定以及对应于所捕获图像的示例性捕获时间。第一列4928标识出所捕获图像。第二列4930标识出被用来捕获在第一列的相同行中标识出的图像的光学链。第三列4932标识出捕获所述图像的光学链的光重定向设备在图像捕获的时间被设定到的示例性光重定向设备角度设定。第四列4934标识出期间捕获相同行的相应图像的示例性捕获时间。
行4936标识出第一图像4912是由光学链1捕获的；光学链1的可控制可移动光重定向设备在捕获第一图像时被设定在第一角度；并且第一图像在第一捕获时间间隔期间被捕获。行4938标识出第二图像4916是由光学链1捕获的；光学链1的可控制可移动光重定向设备在捕获第二图像时被设定在第二角度；并且第二图像在第二捕获时间间隔期间被捕获。行4940标识出第三图像4920是由光学链2捕获的；光学链2的可控制可移动光重定向设备在捕获第三图像时被设定在第三角度；并且第三图像在第一捕获时间间隔期间被捕获。行4942标识出第四图像4924是由光学链2捕获的；光学链2的可控制可移动光重定向设备在捕获第四图像时被设定在第四角度；并且第四图像在第二捕获时间间隔期间被捕获。
在一个示例性实施例中，第二角度大于第一角度，并且第四角度大于第三角度。在一些这样的实施例中，第一角度与第三角度基本上相同，第二角度与第四角度基本上相同。在各个实施例中，第一捕获时间是与第二捕获时间相同的持续时间。在一些实施例中，第一光学链的可移动光重定向设备和第二光学链的可移动光重定向设备在第一捕获时间间隔与第二捕获时间之间的时间间隔设备被并行地移动，以便例如促进第一捕获时间与第二捕获时间之间的小时间间隙。在一些实施例中，第一光学链的可移动光重定向设备和第二光学链的可移动光重定向设备在第一捕获时间与第二捕获时间之间的时间间隔期间被串行地移动，以便例如限制瞬时电池电力耗用。
图50是根据一个示例性实施例的被用来示出被使用来生成组合图像的示例性所捕获图像的图示5000。图示5000包括示例性摄影机设备5002，其根据一个示例性实施例包括三个光学链。摄影机设备5000例如是图48A的摄影机设备4600或图48B的摄影机4700，包括图48C的模块套件4800的摄影机设备，以及/或者实施图47的流程图4500的方法的摄影机设备。摄影机设备5000的每一个光学链包括透镜(例如外侧透镜)、可控制可移动光重定向设备以及图像传感器。透镜L15004是对应于光学链1的外侧透镜，透镜L25006是对应于光学链2的外侧透镜，并且透镜L35008是对应于光学链3的外侧透镜。
图50的图示5010示出了感兴趣场景5011内的所捕获图像I15012。图50的图示5013示出了感兴趣场景5011内的所捕获图像I25014。图50的图示5015示出了感兴趣场景5011内的所捕获图像I35016。图50的图示5017示出了感兴趣场景5011内的所捕获图像I45018。图50的图示5019示出了感兴趣场景5011内的所捕获图像I55020。图50的图示5021示出了感兴趣场景5011内的所捕获图像I65022。图50的图示5023示出了感兴趣场景5011内的所捕获图像I75026。图50的图示5025示出了感兴趣场景5011内的所捕获图像I85026。图50的图示5027示出了感兴趣场景5011内的所捕获图像I95028。图50的图示5029示出了感兴趣场景5011内的所捕获图像I105030。图50的图示5031示出了感兴趣场景5011内的所捕获图像I115033。图50的图示5034示出了感兴趣场景5011内的所捕获图像I125035。
对应于感兴趣场景5011的复合图像5060是从所捕获图像(I15012、I25014、I35016、I45018、I55020、I65022、I75024、I85026、I95028、I105030、I115033、I125035)生成的。
表5036示出了摄影机5002的哪些光学链被用来捕获哪些图像、被用于图像捕获的示例性光重定向设备角度设定以及对应于所捕获图像的示例性捕获时间。第一列5037标识出所捕获图像。第二列5038标识出被用来捕获在第一列的相同行中标识出的图像的光学模块。第三列5039标识出捕获所述图像的光学链的可移动光重定向设备在图像捕获的时间被设定到的示例性光重定向设备角度设定。第四列5050标识出期间捕获相同行的相应图像的示例性捕获时间。
表5036的第二行标识出图像I15012是由光学链1捕获的；当图像I1被捕获时，光学链1的可控制光重定向设备被设定在角度α＝α1；并且图像I1在第一捕获时间间隔期间被捕获。表5036的第三行标识出图像I25014是由光学链1捕获的；当图像I2被捕获时，光学链1的可控制可移动光重定向设备被设定在角度α＝α2；并且图像I2在第二捕获时间间隔期间被捕获。表5036的第四行标识出图像I35016是由光学链1捕获的；当图像I35016被捕获时，光学链1的可控制可移动光重定向设备被设定在角度α＝α3；并且图像I35016在第三捕获时间间隔期间被捕获。表5036的第五行标识出图像I45018是由光学链1捕获的；当图像I4被捕获时，光学链1的可控制可移动光重定向设备被设定在角度α＝α4；并且图像I4在第四捕获时间间隔期间被捕获。在一些实施例中，α4>α3>α2>α1。在一些实施例中，α4<α3<α2<α1。
表5036的第六行标识出图像I55020是由光学链2捕获的；当图像I55020被捕获时，光学链2的可控制可移动光重定向设备被设定在角度β＝β1；并且图像I5在第一捕获时间间隔期间被捕获。表5036的第七行标识出图像I65022是由光学链2捕获的；当图像I6被捕获时，光学链2的可控制可移动光重定向设备被设定在角度β＝β2；并且图像I6在第二捕获时间间隔期间被捕获。表5036的第八行标识出图像I75024是由光学链2捕获的；当图像I75024被捕获时，光学链2的可控制可移动光重定向设备被设定在角度β＝β3；并且图像I75024在第三捕获时间间隔期间被捕获。表5036的第九行标识出图像I85026是由光学链2捕获的；当图像I85026被捕获时，光学链2的可控制可移动光重定向设备被设定在角度β＝β4；并且图像I85026在第四捕获时间间隔期间被捕获。在一些实施例中，β4>β3>β2>β1。在一些实施例中，β4<β3<β2<β1。
表5036的第十行标识出图像I95028是由光学链3捕获的；当图像I95028被捕获时，光学链3的可控制可移动光重定向设备被设定在角度θ＝θ1；并且图像I9在第一捕获时间间隔期间被捕获。表5036的第十一行标识出图像I105030是由光学链3捕获的；当图像I10被捕获时，光学链3的可控制可移动光重定向设备被设定在角度θ＝θ2；并且图像I10在第二捕获时间间隔期间被捕获。表5036的第十二行标识出图像I115033是由光学链3捕获的；当图像I115033被捕获时，光学链3的可控制可移动光重定向设备被设定在角度θ＝θ3；并且图像I115033在第三捕获时间间隔期间被捕获。表5036的第十三行标识出图像I125035是由光学链3捕获的；当图像I125035被捕获时，光学链3的可控制可移动光重定向设备被设定在角度θ＝θ4；并且图像I125035在第四捕获时间间隔期间被捕获。在一些实施例中，θ4>θ3>θ2>θ1。在一些实施例中，θ4<θ3<θ2<θ1。
图51包括图51A和图51B的组合，其是捕获至少一幅图像的示例性方法的流程图5100。流程图5100的示例性方法可以由包括五个或更多光学链的摄影机设备实施，或者由包括五个或更多光学链和图像处理设备的摄影机设备实施。在一些实施例中，摄影机设备是智能电话或摄影机的其中之一。在一些实施例中，图像处理设备是个人计算机。
示例性方法的操作开始于步骤5102并且继续到步骤5104。在步骤5104中，在存储器中存储把变焦设定映射到光重定向设备位置的信息。在各个实施例中，光重定向设备是反射镜(例如平面反射镜)或棱镜。操作从步骤5104继续到步骤5106。在步骤5106中，接收表明变焦设定的用户输入。操作从步骤5106继续到步骤5108。在步骤5108中，在根据所表明的变焦设定移动第一光重定向设备之前，基于所表明的变焦设定计算光重定向设备位置。因此，在步骤5108中，例如从存储在存储器中的查找表确定对应于变焦设定的对应于可移动可控制光重定向设备的光重定向设备位置。举例来说，在步骤5108中，摄影机设备确定：对应于所表明的变焦设定的对应于第一光学链的第一光重定向设备的第一位置，对应于所表明的变焦设定的对应于第三光学链的第二光重定向设备的第二位置，对应于所表明的变焦设定的对应于第四光学链的第三光重定向设备的第三位置，以及对应于所表明的变焦设定的对应于第五光学链的第四光重定向设备的第四位置。在一些实施例中，对应于多项预先确定的分立的可能替换用户可选变焦设定，对于每一个可移动光重定向设备存在光重定向设备位置和/或角度的相应集合。操作从步骤5108继续到可以被并行实施的步骤5110、5112、5114和5116。
在步骤5110中，根据所表明的变焦设定，把摄影机设备的第一光学链的第一光重定向设备移动到第一位置，所述第一光重定向设备是基本上平面的反射镜或棱镜的其中之一。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在一些实施例中，第一光重定向设备是平面反射镜，所述第一位置是对应于第一平面反射镜的第一方向的第一反射镜位置。在各个实施例中，第一平面反射镜的第一方向被定义成垂直于第一平面反射镜的平面的方向。在步骤5112中，根据所表明的变焦设定，把摄影机设备的第三光学链的第二光重定向设备移动到第二位置。在一些实施例中，第二光重定向设备是第二平面反射镜，并且所述第二位置是对应于第二平面反射镜的第一方向的第二反射镜位置。在各个实施例中，第二平面反射镜的第一方向被定义成垂直于第二平面反射镜的平面的方向。在步骤5114中，根据所表明的变焦设定，把摄影机设备的第四光学链的第三光重定向设备移动到第三位置。在一些实施例中，第三光重定向设备是第三平面反射镜，所述第三位置是对应于第三平面反射镜的第一方向的第三反射镜位置。在各个实施例中，第三平面反射镜的第一方向被定义成垂直于第三平面反射镜的平面的方向。在步骤5116中，根据所表明的变焦设定，把摄影机设备的第五光学链的光重定向设备移动到第四位置。在一些实施例中，所述第四光重定向设备是第四平面反射镜，所述第四位置是对应于第四平面反射镜的第一方向的第四反射镜位置。在各个实施例中，第四平面反射镜的第一方向被定义成垂直于第四平面反射镜的平面的方向。操作从步骤5110、5112、5114和5116通过连接节点A5118继续到步骤5120、5122、5124、5126和5128，并且在一些实施例中继续到步骤5130和5132。在各个实施例中，步骤5120、5122、5124、5126、5128、5130和5132被并行实施。
在步骤5120中，当所述第一光重定向设备处于第一位置时，摄影机设备利用所述第一光学链捕获感兴趣场景区域的第一部分的第一图像。在步骤5122中，当所述第一光重定向设备处于第一位置时，摄影机设备利用第二光学链捕获感兴趣场景区域的第二部分的第二图像。在一些实施例中，第一图像是在与期间捕获第二图像的时间周期至少部分地重叠的时间周期期间捕获的。在一些实施例中，所述第一图像在捕获所述第二图像的相同的时间被捕获。在步骤5124中，当所述第一光重定向设备处于第一位置时，摄影机设备利用第三光学链捕获感兴趣场景区域的第三部分的第三图像。在步骤5126中，当所述第一光重定向设备处于第一位置时，摄影机设备利用所述第四光学链捕获感兴趣场景区域的第四部分的第四图像。在步骤5128中，当所述第一光重定向设备处于第一位置时，摄影机设备利用所述第五光学链捕获感兴趣场景区域的第五部分的第五图像。在一些实施例中，实施可选步骤5130和可选步骤5132当中的一个或全部两个。在步骤5130中，当所述第一光重定向设备处于所述第一位置时，摄影机设备利用第六光学链捕获感兴趣场景区域的第六部分的第六图像。在步骤5132中，当所述第一光重定向设备处于所述第一位置时，摄影机设备利用第七光学链捕获感兴趣场景区域的第七部分的第七图像。
在各个实施例中，第一、第二、第三和第四平面光重定向设备在步骤5120、5122、5124、5126和5128的图像捕获操作期间不被移动。在各个实施例中，第一、第二、第三和第四光重定向设备在步骤5120、5122、5124、5126、5128、5130和5132的图像捕获操作期间不被移动。在各个实施例中，例如当设定特定变焦设定时，第一、第二、第三、第四和第五光学链同时捕获图像。在各个实施例中，例如当设定特定变焦设定时，第一、第二、第三、第五、第五、第六和第七光学链同时捕获图像。
操作从步骤5120、5122、5124、5126、5128并且在一些实施例中从步骤5130和/或5132继续到步骤5134。在步骤5134中，组合所捕获图像以生成对应于所表明的变焦设定的复合图像。在一些实施例中，步骤5134包括步骤5136和5138当中的一个或全部两个。在步骤5136中，第一、第二、第三、第四和第五图像被组合以生成对应于所表明的变焦设定的复合图像。在步骤5138中，第一、第二、第三、第四、第五、第六和第七图像被组合以生成对应于所表明的变焦设定的复合图像。操作从步骤5134继续到步骤5140，其中把所生成的复合图像存储在存储器中。步骤5134和5136可以由摄影机设备或者由图像处理设备实施。操作从步骤5140通过连接节点B5142继续到步骤5106。
在一些实施例中，第一和第二光学链具有不同的焦距。在一些这样的实施例中，第一光学链的焦距大于第二光学链。在一些这样的实施例中，第二光学链的焦距小于第一、第二、第三和第四光学链当中的每一个。在一些实施例中，第一、第三、第四和第五光学链具有相同的焦距，并且比第二光学链捕获感兴趣场景区域的更小部分。
在各个实施例中，第一光学链包括作为可移动光重定向设备的第一光重定向设备，并且第二光学链不包括可移动光重定向设备。
在各个实施例中，第一、第三、第四和第五光学链分别包括可移动可控制光重定向设备，并且第二、第六和第七光学链不包括可移动可控制光重定向设备，例如第二、第六和第七光学链中的光重定向设备是固定位置光重定向设备，例如其中每一个被硬安放在固定位置处。在一些实施例中，第二、第六和第七图像当中的两幅基本上是相同的尺寸。在一些实施例中，第二、第六和第七图像的其中之一与第一、第三、第四和第五图像当中的每一幅具有基本上相同的尺寸。
图52是根据一个示例性实施例的示例性摄影机设备5200的图示。摄影机设备5200包括通过总线5231耦合在一起的处理器5202(例如CPU)、存储器5204、模块套件5206(例如电路之类的硬件模块的套件)、用户输入接口5208、显示器5210、I/O接口5212以及多个光学链(光学链15218、光学链25220、光学链35222、光学链45224、光学链55226、光学链65228、光学链75230)，各种元件可以通过总线5231交换数据和信息。在一些实施例中，光学链65228和光学链75230是可选的。显示器5210例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机5200的用户显示图像、图像部分、用户菜单等等。用户输入接口5208例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。I/O接口5212包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口5212包括一个或更多无线通信接口。通过I/O接口5212传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器5204包括模块套件5214和数据/信息5216。在一些实施例中，数据/信息5216包括把变焦设定映射到光重定向设备位置的所存储的信息，例如图55的查找表5500。
光学链15218包括透镜5232(例如外侧透镜)、可移动的基本上平面的反射镜5234以及图像传感器5236。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜5234包括铰链架。光学链15218还包括反射镜移动模块5238(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块5240(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5236被用来捕获感兴趣场景区域的第一部分的第一图像。光在到达反射镜5234之前经过透镜5232。反射镜5234是光重定向设备，其把经过透镜5232的光引导到图像传感器5234上。
光学链25220包括透镜5242(例如外侧透镜)、固定反射镜5244(例如基本上平面的固定反射镜)以及图像传感器5246。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器5246被用来捕获感兴趣场景区域的第二部分的第二图像。光在到达反射镜5246之前经过透镜5242。反射镜5244是光重定向设备，其把经过透镜5242的光引导到图像传感器5246上。
光学链35222包括透镜5248(例如外侧透镜)、可移动的基本上平面的反射镜5250以及图像传感器5252。在各个实施例中，可移动反射镜5250包括铰链架。光学链35222还包括反射镜移动模块5254(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块5256(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5252被用来捕获感兴趣场景区域的第三部分的第三图像。光在到达反射镜5250之前经过透镜5248。反射镜5250是光重定向设备，其把经过透镜5248的光引导到图像传感器5252上。
光学链45224包括透镜5258(例如外侧透镜)、可移动的基本上平面的反射镜5260以及图像传感器5262。在各个实施例中，可移动反射镜5260包括铰链架。光学链45224还包括反射镜移动模块5264(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块5266(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5262被用来捕获感兴趣场景区域的第四部分的第四图像。光在到达反射镜5260之前经过透镜5258。反射镜5260是光重定向设备，其把经过透镜5258的光引导到图像传感器5262上。
光学链55226包括透镜5268(例如外侧透镜)、可移动的基本上平面的反射镜5270以及图像传感器5272。在各个实施例中，可移动反射镜5270包括铰链架。光学链55226还包括反射镜移动模块5274(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块5276(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5272被用来捕获感兴趣场景区域的第五部分的第五图像。光在到达反射镜5270之前经过透镜5268。反射镜5270是光重定向设备，其把经过透镜5268的光引导到图像传感器5272上。
光学链65228包括透镜5278(例如外侧透镜)、固定反射镜5280(例如固定的基本上平面的反射镜)以及图像传感器5282。在一些实施例中，所述固定的基本上平面的反射镜是固定的平面反射镜。图像传感器5282被用来捕获感兴趣场景区域的第六部分的第六图像。光在到达反射镜5280之前经过透镜5278。反射镜5280是光重定向设备，其把经过透镜5278的光引导到图像传感器5282上。
光学链75230包括透镜5284(例如外侧透镜)、固定反射镜5286(例如固定的基本上平面的反射镜)以及图像传感器5288。在一些实施例中，所述固定的基本上平面的反射镜是固定的平面反射镜。在一个替换实施例中，光学链75230包括可移动的基本上平面的反射镜，其被设定到固定位置而不管变焦设定如何。图像传感器5288被用来捕获感兴趣场景区域的第七部分的第七图像。光在到达反射镜5286之前经过透镜5284。反射镜5286是光重定向设备，其把经过透镜5284的光引导到图像传感器5288上。
在一些示例性实施例中，第二图像的尺寸与感兴趣场景区域的尺寸基本上相同。在一些实施例中，第一图像、第三图像、第四图像和第五图像的尺寸基本上相同。在一些这样的实施例中，第一图像的尺寸是感兴趣场景的尺寸的近似1/4。在一些实施例中，第七图像的尺寸与第一图像的尺寸基本上相同，并且第六图像的尺寸与第二图像的尺寸基本上相同。在各个实施例中，第二图像和第六图像被用来捕获深度信息。
图53是根据一个示例性实施例的示例性摄影机设备5300的图示。摄影机设备5300包括通过总线5231耦合在一起的处理器5202(例如CPU)、存储器5204、模块套件5206(例如电路之类的硬件模块的套件)、用户输入接口5208、显示器5210、I/O接口5212以及多个光学链(光学链15318、光学链25320、光学链35322、光学链45324、光学链55326、光学链65328、光学链75330)，各种元件可以通过总线5231交换数据和信息。在一些实施例中，光学链65328和光学链75330是可选的。显示器5210例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机5300的用户显示图像、图像部分、用户菜单等等。用户输入接口5208例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。I/O接口5212包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口5212包括一个或更多无线通信接口。通过I/O接口5212传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器5204包括模块套件5214和数据/信息5216。在一些实施例中，数据/信息5216包括把变焦设定映射到光重定向设备位置的所存储的信息，例如图55的查找表5500。
光学链15318包括透镜5332(例如外侧透镜)、可移动棱镜5334以及图像传感器5336。在各个实施例中，可移动棱镜5334包括铰链架。光学链15318还包括棱镜移动模块5338(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块5340(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5336被用来捕获感兴趣场景区域的第一部分的第一图像。光在到达棱镜5334之前经过透镜5332。棱镜5334是光重定向设备，其把经过透镜5332的光引导到图像传感器5336上。
光学链25320包括透镜5342(例如外侧透镜)、固定棱镜5344以及图像传感器5346。图像传感器5346被用来捕获感兴趣场景区域的第二部分的第二图像。光在到达棱镜5346之前经过透镜5342。棱镜5344是光重定向设备，其把经过透镜5342的光引导到图像传感器5346上。
光学链35322包括透镜5348(例如外侧透镜)、可移动棱镜5350以及图像传感器5352。在各个实施例中，可移动棱镜5350包括铰链架。光学链35322还包括棱镜移动模块5354(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块5346(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5352被用来捕获感兴趣场景区域的第三部分的第三图像。光在到达棱镜5350之前经过透镜5348。棱镜5350是光重定向设备，其把经过透镜5348的光引导到图像传感器5352上。
光学链45324包括透镜5358(例如外侧透镜)、可移动棱镜5360以及图像传感器5362。在各个实施例中，可移动棱镜5360包括铰链架。光学链45324还包括棱镜移动模块5364(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块5366(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5362被用来捕获感兴趣场景区域的第四部分的第四图像。光在到达棱镜5360之前经过透镜5358。棱镜5360是光重定向设备，其把经过透镜5358的光引导到图像传感器5362上。
光学链55326包括透镜5368(例如外侧透镜)、可移动棱镜5370以及图像传感器5372。在各个实施例中，可移动棱镜5370包括铰链架。光学链55326还包括棱镜移动模块5374(例如驱动电动机和相应的驱动电路)和棱镜位置检测模块5376(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器5372被用来捕获感兴趣场景区域的第五部分的第五图像。光在到达反射镜5370之前经过透镜5368。棱镜5370是光重定向设备，其把经过透镜5368的光引导到图像传感器5372上。
光学链65328包括透镜5278(例如外侧透镜)、固定棱镜5380以及图像传感器5382。图像传感器5382被用来捕获感兴趣场景区域的第六部分的第六图像。光在到达棱镜5380之前经过透镜5378。棱镜5380是光重定向设备，其把经过透镜5378的光引导到图像传感器5382上。
光学链75330包括透镜5384(例如外侧透镜)、固定棱镜5386以及图像传感器5388。在一些实施例中，光学链7的固定位置棱镜5386被可移动棱镜取代，其不管变焦设定如何都被设定在固定位置处。图像传感器5388被用来捕获感兴趣场景区域的第七部分的第七图像。光在到达棱镜5386之前经过透镜5384。棱镜5386是光重定向设备，其把经过透镜5384的光引导到图像传感器5388上。
在一些示例性实施例中，第二图像的尺寸与感兴趣场景的尺寸基本上相同。在一些实施例中，第一图像、第三图像、第四图像和第五图像的尺寸基本上相同。在一些这样的实施例中，第一图像的尺寸是感兴趣场景的尺寸的近似1/4。在一些实施例中，第七图像的尺寸与第一图像的尺寸基本上相同，并且第六图像的尺寸与第二图像的尺寸基本上相同。在各个实施例中，第二图像和第六图像被用来计算深度信息。
图54是可以被包括在根据本发明实施的摄影机设备中的模块套件5400的图示，所述摄影机设备例如是图52的摄影机5200或图53的摄影机5300。模块套件5400可以实施方法的各个步骤，例如图51的流程图5100的方法的各个步骤。在一些实施例中，模块套件5400是可以耦合在一起的电路套件。在一个示例性实施例，模块套件5400是图52的摄影机5200或图53的摄影机5300的模块套件5206。在一些实施例中，模块套件5400是硬件模块套件。在一个示例性实施例中，模块套件5400是图52的摄影机设备5200或图53的摄影机设备5300的存储器5204的模块套件5214。
图54示出了模块套件5400，其可以并且在一些实施例中被使用在图52中示出的摄影机设备5200或图53的摄影机设备5300中。模块套件5400中的模块可以并且在一些实施例中是完全通过硬件实施在处理器5202内的，例如作为单独的电路。模块套件5400中的模块可以并且在一些实施例中是完全通过硬件实施在模块套件5206内的，例如作为对应于不同模块的单独的电路。在其他实施例中，其中一些模块例如被实施成处理器5202内的电路，其他模块例如被实施成处在处理器外部并且与之耦合的模块套件5206内的电路。应当认识到，处理器上的模块以及/或者与处理器外部的一些模块的集成度可以是设计选择。
或者，取代被实施成电路，模块套件5400中的所有或一些模块可以用软件实施，并且被存储在摄影机设备5200或摄影机设备5300的存储器5204中，其中所述模块在由处理器(例如处理器5202)执行时控制摄影机设备5200或摄影机设备5300的操作以便实施对应于所述模块的功能。在一些这样的实施例中，模块套件5400被包括在存储器5204中以作为模块套件5214。在其他实施例中，模块套件5400中的各个模块被实施成硬件与软件的组合，例如处理器外部的另一个电路向处理器5202提供输入，处理器5202随后在软件控制下操作来实施模块的一部分功能。虽然在图52和图53的实施例中被示出为单个处理器(例如计算机)，但是应当认识到，处理器5202可以被实施成一个或更多处理器(例如计算机)。
当用软件实施时，所述模块包括代码，其在由处理器5202执行时配置处理器5202来实施对应于模块的功能。在其中模块套件5400被存储在存储器5204中的实施例中，存储器5204是包括计算机可读介质的计算机程序产品，所述计算机可读介质包括代码，例如对应于每一个模块的单独的代码，其用于使得至少一台计算机(例如处理器5202)实施该模块所对应的功能。
可以使用完全基于硬件或完全基于软件的模块。但是应当认识到，软件和硬件的任意组合(例如实施模块的电路)可以被用来实施所述功能。应当认识到，图54中示出的模块控制和/或配置摄影机设备5200或摄影机设备5300或者其中的元件(比如处理器5202)来实施在图51的方法流程图5100中示出的相应的步骤的功能。因此，模块套件5400包括实施图51中示出的方法的相应步骤的功能的各个模块。
图54是根据一个示例性实施例的模块套件5400。模块套件5400包括光重定向设备定位控制模块5402、图像捕获控制模块5404、复合图像生成模块5406、光重定向设备位置计算模块5408以及用户变焦输入模块5410。
光重定向设备定位控制模块5402被配置成根据所表明的变焦设定控制包括在第一光学链中的第一光重定向设备移动到第一位置，所述第一光重定向设备是基本上平面的反射镜或棱镜的其中之一。在一些实施例中，所述基本上平面的反射镜是平面反射镜。
图像捕获控制模块5404被配置成当所述第一光重定向设备处于第一位置时，控制第一光学链捕获感兴趣场景区域的第一部分的第一图像。图像捕获控制模块5404还被配置成控制第二光学链捕获感兴趣场景区域的第二部分的第二图像，第二图像是当所述第一光重定向设备处于第一位置时被捕获的。在一些实施例中，第一和第二图像是在图像捕获控制模块5404的控制下被同时捕获的。
在一些实施例中，第一和第二光学链具有不同的焦距。在一些这样的实施例中，第一光学链的焦距大于第二光学链。在各个实施例中，第一光重定向设备包括可移动光重定向设备，并且第二光学链不包括可移动光重定向设备。
在各个实施例中，包括模块套件5400的摄影机设备包括：包括第二光重定向设备的第三光学链，包括第三光重定向设备的第四光学链，以及包括第四光重定向设备的第五光学链。在一些这样的实施例中，光重定向设备定位控制模块5402还被配置成：根据所表明的变焦设定把第三光学链的第二光重定向设备移动到第二位置，根据所表明的变焦设定把第四光学链的第三光重定向设备移动到第三位置，并且根据所表明的变焦设定把第五光学链的第四光重定向设备移动到第四位置。在一些这样的实施例中，图像捕获控制模块5404还被配置成：当第一光重定向设备处于第一位置时，控制第三光学链捕获感兴趣场景区域的第三部分的第三图像；当第一光重定向设备处于第一位置时，控制第四光学链捕获感兴趣场景区域的第四部分的第四图像；以及当第一光重定向设备处于第一位置时，控制第五光学链捕获感兴趣场景区域的第五部分的第五图像。
在一些实施例中，包括模块套件5400的摄影机设备还包括第六光学链和第七光学链，并且图像捕获控制模块5404还被配置成：当第一光重定向设备处于第一位置时，控制第六光学链捕获感兴趣场景区域的第六部分的第六图像；并且当第一光重定向设备处于第一位置时，控制第七光学链捕获感兴趣场景区域的第七部分的第七图像。在各个实施例中，第一、第二、第三、第四、第五、第六和第七光学链在图像捕获控制模块5404的引导下被控制来在其中可移动光重定向设备不发生移动的时间间隔期间捕获图像。在各个实施例中，第一、第二、第三、第四、第五、第六和第七光学链在图像捕获控制模块5404的引导下被控制来捕获图像，从而使得每一幅所捕获图像在时间上至少部分地与其他所捕获图像重叠。在一些实施例中，第一、第二、第三、第四、第五、第六和第七光学链在图像捕获控制模块5404的引导下被控制来同时捕获图像。
复合图像生成模块5406被配置成至少组合第一和第二图像以生成对应于所表明的变焦设定的复合图像。在其中包括模块套件5400的摄影机设备包括五个光学链的一些实施例中，复合图像生成模块5406被配置成组合第一、第二、第三、第四和第五图像以生成对应于所表明的变焦设定的复合图像。在其中包括模块套件5400的摄影机设备包括七个光学链的一些实施例中，复合图像生成模块5406被配置成组合第一、第二、第三、第四、第五第六和第七图像以生成对应于所表明的变焦设定的复合图像，例如组合来自重叠部分的信息。
在各个实施例中，第一、第三、第四和第五光学链具有相同的焦距，并且比第二光学链捕获感兴趣场景区域的更小部分。在一些实施例中，第二和第六光学链具有相同的焦距并且捕获感兴趣场景的相同部分或者感兴趣场景的基本上相同的部分。
光重定向设备位置计算模块5408被配置成例如对于第一、第三、第四和第五光学链的第一、第二、第三和第四可移动光重定向设备，在根据所表明的变焦设定移动第一光重定向设备之前，基于所表明的变焦设定计算光重定向设备位置。
用户变焦输入模块5410被配置成例如从用户输入接口5208接收表明变焦设定的用户输入。
图55是根据一个示例性实施例的示例性的所存储变焦设定到光重定向设备位置映射表5500的图示，其中包括四个光学链，所述光学链包括可移动光重定向设备。举例来说，在实施根据图51的流程图5100的方法时可以使用表5500；所述可移动光重定向设备例如是反射镜，例如基本上平面的反射镜或棱镜。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在该例中，光学链1、3、4和5包括可移动光重定向设备。所述四个可移动光重定向设备例如是图52的摄影机5200的可移动可控制反射镜(5234、5250、5260、5270)或者图53的摄影机5300的可移动可控制棱镜(5334、5350、5360、5370)。
第一行5502包括9列标题(变焦设定、光学链1光重定向设备1位置、光学链1光重定向设备1角度、光学链3光重定向设备2位置、光学链3光重定向设备2角度、光学链4光重定向设备3位置、光学链4光重定向设备3角度、光学链5光重定向设备4位置、光学链5光重定向设备4角度)，其分别对应于各列(第一列5502、第二列5504、第三列5506、第四列5508、第五列5510、第六列5512、第七列5514、第八列5516、第九列5518)。在表5500中，第一位置是对应于作为可移动光重定向设备1的光学链1的光重定向设备的设定位置；α是对应于第一位置的角度设定；第二位置是对应于作为可移动光重定向设备2的光学链3的光重定向设备的设定位置，β是对应于第二位置的角度设定；第三位置是对应于作为可移动光重定向设备3的光学链4的光重定向设备的设定位置；θ是对应于第三位置的角度设定；第四位置是对应于作为可移动光重定向设备4的光学链5的光重定向设备的设定位置，Ф是对应于第四位置的角度设定。
第二行5522表明，对于1X的变焦设定，第一位置＝P1A；α＝α1；第二位置＝P2A；β＝β1；第三位置＝P3A；θ＝θ1；第四位置＝P4A；并且Ф＝Ф1。第三行5524表明，对于2X的变焦设定，第一位置＝P1B；α＝α2；第二位置＝P2B；β＝β2；第三位置＝P3B；θ＝θ2；第四位置＝P4B；并且Ф＝Ф2。第四行5526表明，对于3X的变焦设定，第一位置＝P1C；α＝α3；第二位置＝P2C；β＝β3；第三位置＝P3C；θ＝θ3；第四位置＝P4C；并且Ф＝Ф3。第五行5528表明，对于4X的变焦设定，第一位置＝P1D；α＝α4；第二位置＝P2D；β＝β4；第三位置＝P3D；θ＝θ4；第四位置＝P4D；并且Ф＝Ф4。
图56的图示5600示出了根据一个示例性实施例的对应于1X的变焦设定的一个实例，其中从来自多个光学链的所捕获图像生成组合图像。举例来说，图52的摄影机设备5200或图53的摄影机设备5300使用图55的所存储的变焦光设定到光重定向设备位置映射表5500，并且实施根据图51的流程图5100的方法，以便根据1X的变焦设定来定位可移动光重定向设备，从而从各个光学链捕获图像(5604、5606、5608、5610、5612、5614、5616)并且生成组合图像5618。区域5602代表感兴趣场景区域。第一图像5604是感兴趣场景5602的第一部分，并且是利用第一光学链捕获的，其中第一光学链的可移动光重定向设备被设定成使得变量第一位置＝值P1A，并且变量α＝值α1，其对应于第一光学链的1X变焦设定，正如在表5500中所列出的那样。第二图像5606是感兴趣场景5602的第二部分，并且是利用第二光学链捕获的。第三图像5608是感兴趣场景5602的第三部分，并且是利用第三光学链捕获的，其中第三光学链的可移动光重定向设备被设定成使得变量第二位置＝值P2A，并且变量β＝值β1，其对应于第三光学链的1X变焦设定，正如在表5500中所列出的那样。第四图像5610是感兴趣场景5602的第四部分，并且是利用第四光学链捕获的，其中第四光学链的可移动光重定向设备被设定成使得变量第三位置＝值P3A，并且变量θ＝值θ1，其对应于第四光学链的1X变焦设定，正如在表5500中所列出的那样。第五图像5612是感兴趣场景5602的第五部分，并且是利用第五光学链捕获的，其中第五光学链的可移动光重定向设备被设定成使得变量第四位置＝值P4A，并且变量Ф＝值Ф1，其对应于第五光学链的1X变焦设定，正如在表5500中所列出的那样。第六图像5614是感兴趣场景5602的第六部分，并且是利用第六光学链捕获的。第七图像5616是感兴趣场景5602的第七部分，并且是利用第七光学链捕获的。
第一图像5604是对应于感兴趣场景的左上角的感兴趣场景5602的第一部分。第二图像5606是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5602的第二部分。第三图像5608是对应于感兴趣场景的左下角的感兴趣场景5602的第三部分。第四图像5610是对应于感兴趣场景的右上角的感兴趣场景5602的第四部分。第五图像5612是对应于感兴趣场景的右下角的感兴趣场景5602的第五部分。第六图像5614是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5602的第六部分。第七图像5616是对应于感兴趣场景的中心区域的感兴趣场景5602的第七部分。
对应于1X设定的组合图像5618是通过组合所捕获图像(5604、5606、5608、5610、5612、5614、5616)以生成复合图像5618而生成的，其对应于感兴趣场景5602的整个区域或者感兴趣场景5602的基本上整个区域。应当提到的是，与接近组合图像5618的外部的区域相比，组合图像5618的中心区域是利用来自更多所捕获图像的信息生成的。
图57的图示5700示出了根据一个示例性实施例的对应于2X的变焦设定的一个实例，其中从来自多个光学链的所捕获图像生成组合图像。举例来说，图52的摄影机设备5200或图53的摄影机设备5300使用图55的所存储的变焦光设定到光重定向设备位置映射表5500，并且实施根据图51的流程图5100的方法，以便根据2X的变焦设定来定位可移动光重定向设备，从而从各个光学链捕获图像(5704、5706、5708、5710、5712、5714、5716)并且生成组合图像5718。区域5702代表感兴趣场景区域。第一图像5704是感兴趣场景5702的第一部分，并且是利用第一光学链捕获的，其中第一光学链的可移动光重定向设备被设定成使得变量第一位置＝值P1B，并且变量α＝值α2，其对应于第一光学链的2X变焦设定，正如在表5500中所列出的那样。第二图像5706是感兴趣场景5702的第二部分，并且是利用第二光学链捕获的。第三图像5708是感兴趣场景5702的第三部分，并且是利用第三光学链捕获的，其中第三光学链的可移动光重定向设备被设定成使得变量第二位置＝值P2B，并且变量β＝值β2，其对应于第三光学链的2X变焦设定，正如在表5500中所列出的那样。第四图像5710是感兴趣场景5702的第四部分，并且是利用第四光学链捕获的，其中第四光学链的可移动光重定向设备被设定成使得变量第三位置＝值P3B，并且变量θ＝值θ2，其对应于第四光学链的2X变焦设定，正如在表5500中所列出的那样。第五图像5712是感兴趣场景5702的第五部分，并且是利用第五光学链捕获的，其中第五光学链的可移动光重定向设备被设定成使得变量第四位置＝值P4B，并且变量Ф＝值Ф2，其对应于第五光学链的2X变焦设定，正如在表5500中所列出的那样。第六图像5714是感兴趣场景5702的第六部分，并且是利用第六光学链捕获的。第七图像5716是感兴趣场景5702的第七部分，并且是利用第七光学链捕获的。
第一图像5704是对应于感兴趣场景的左上区域中的一个区域感兴趣场景5702的第一部分，其沿着从感兴趣场景的中心向感兴趣场景的左上角延伸的对角线居中。第二图像5706是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5702的第二部分。第三图像5708是对应于感兴趣场景的左下区域的感兴趣场景5702的第三部分，其沿着从感兴趣场景的中心向感兴趣场景的左下角延伸的对角线居中。第四图像5710是对应于感兴趣场景的右上区域的感兴趣场景5702的第四部分，其沿着从感兴趣场景的中心向感兴趣场景的右上角延伸的对角线居中。第五图像5712是对应于感兴趣场景的右下区域的感兴趣场景5702的第五部分，其沿着从感兴趣场景的中心向感兴趣场景的右下角延伸的对角线居中。第六图像5714是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5702的第六部分。第七图像5716是对应于感兴趣场景的中心区域的感兴趣场景5702的第七部分。
对应于2X设定的组合图像5718是通过组合来自所捕获图像(5704、5706、5708、5710、5712、5714、5716)的信息而生成的，例如使用处在复合图像5718边界区域内的所捕获图像内的重叠区域来生成复合图像5718，其对应于作为感兴趣场景区域的一半或近似一半的一个区域并且在感兴趣场景的中心处居中。应当提到的是，组合图像5718是从第一图像5704、经过裁剪的第二图像5707、第三图像5708、第四图像5710、第五图像5712、经过裁剪的第六图像5715以及第七图像5716生成的。应当提到的是，与接近组合图像5718的外部的区域相比，组合图像5718的中心区域是利用来自更多所捕获图像的信息生成的。
图58的图示5800示出了根据一个示例性实施例的对应于3X的变焦设定的一个实例，其中从来自多个光学链的所捕获图像生成组合图像。举例来说，图52的摄影机设备5200或图53的摄影机设备5300使用图55的所存储的变焦光设定到光重定向设备位置映射表5500，并且实施根据图51的流程图5100的方法，以便根据3X的变焦设定来定位可移动光重定向设备，从而从各个光学链捕获图像(5804、5806、5808、5810、5812、5814、5816)并且生成组合图像5818。区域5802代表感兴趣场景区域。第一图像5804是感兴趣场景5802的第一部分，并且是利用第一光学链捕获的，其中第一光学链的可移动光重定向设备被设定成使得变量第一位置＝值P1C，并且变量α＝值α3，其对应于第一光学链的3X变焦设定，正如在表5500中所列出的那样。第二图像5806是感兴趣场景5802的第二部分，并且是利用第二光学链捕获的。第三图像5808是感兴趣场景5802的第三部分，并且是利用第三光学链捕获的，其中第三光学链的可移动光重定向设备被设定成使得变量第二位置＝值P2C，并且变量β＝值β3，其对应于第三光学链的3X变焦设定，正如在表5500中所列出的那样。第四图像5810是感兴趣场景5802的第四部分，并且是利用第四光学链捕获的，其中第四光学链的可移动光重定向设备被设定成使得变量第三位置＝值P3C，并且变量θ＝值θ3，其对应于第四光学链的3X变焦设定，正如在表5500中所列出的那样。第五图像5812是感兴趣场景5802的第五部分，并且是利用第五光学链捕获的，其中第五光学链的可移动光重定向设备被设定成使得变量第四位置＝值P4C，并且变量Ф＝值Ф3，其对应于第五光学链的3X变焦设定，正如在表5500中所列出的那样。第六图像5814是感兴趣场景5802的第六部分，并且是利用第六光学链捕获的。第七图像5816是感兴趣场景5802的第七部分，并且是利用第七光学链捕获的。
第一图像5804是对应于感兴趣场景的左上区域中的一个区域的感兴趣场景5802的第一部分，其沿着从感兴趣场景的中心向感兴趣场景的左上角延伸的对角线居中。第二图像5806是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5802的第二部分。第三图像5808是对应于感兴趣场景的左下区域的感兴趣场景5802的第三部分，其沿着从感兴趣场景的中心向感兴趣场景的左下角延伸的对角线居中。第四图像5810是对应于感兴趣场景的右上区域的感兴趣场景5802的第四部分，其沿着从感兴趣场景的中心向感兴趣场景的右上角延伸的对角线居中。第五图像5812是对应于感兴趣场景的右下区域的感兴趣场景5802的第五部分，其沿着从感兴趣场景的中心向感兴趣场景的右下角延伸的对角线居中。第六图像5814是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5802的第六部分。第七图像5816是对应于感兴趣场景的中心区域的感兴趣场景5802的第七部分。
对应于3X设定的组合图像5818是通过组合来自所捕获图像(5804、5806、5808、5810、5812、5814、5816)的信息而生成的，例如使用处在复合图像5818边界区域内的所捕获图像内的重叠区域来生成复合图像5818，其对应于作为感兴趣场景区域的三分之一或近似三分之一的一个区域并且在感兴趣场景的中心处居中。应当提到的是，组合图像5818是从第一图像5804、经过裁剪的第二图像5807、第三图像5808、第四图像5810、第五图像5812、经过裁剪的第六图像5815以及第七图像5816生成的。应当提到的是，与接近组合图像5818的外部的区域相比，组合图像5818的中心区域是利用来自更多所捕获图像的信息生成的。
图59的图示5900示出了根据一个示例性实施例的对应于4X的变焦设定的一个实例，其中从来自多个光学链的所捕获图像生成组合图像。举例来说，图52的摄影机设备5200或图53的摄影机设备5300使用图55的所存储的变焦光设定到光重定向设备位置映射表5500，并且实施根据图51的流程图5100的方法，以便根据4X的变焦设定来定位可移动光重定向设备，从而从各个光学链捕获图像(5904、5906、5908、5910、5912、5914、5916)并且生成组合图像5918。区域5902代表感兴趣场景区域。第一图像5904是感兴趣场景5902的第一部分，并且是利用第一光学链捕获的，其中第一光学链的可移动光重定向设备被设定成使得变量第一位置＝值P1D，并且变量α＝值α4，其对应于第一光学链的4X变焦设定，正如在表5500中所列出的那样。第二图像5906是感兴趣场景5902的第二部分，并且是利用第二光学链捕获的。第三图像5908是感兴趣场景5902的第三部分，并且是利用第三光学链捕获的，其中第三光学链的可移动光重定向设备被设定成使得变量第二位置＝值P2D，并且变量β＝值β4，其对应于第三光学链的4X变焦设定，正如在表5500中所列出的那样。第四图像5910是感兴趣场景5902的第四部分，并且是利用第四光学链捕获的，其中第四光学链的可移动光重定向设备被设定成使得变量第三位置＝值P3D，并且变量θ＝值θ4，其对应于第四光学链的4X变焦设定，正如在表5500中所列出的那样。第五图像5912是感兴趣场景5902的第五部分，并且是利用第五光学链捕获的，其中第五光学链的可移动光重定向设备被设定成使得变量第四位置＝值P4D，并且变量Ф＝值Ф4，其对应于第五光学链的4X变焦设定，正如在表5500中所列出的那样。第六图像5914是感兴趣场景5902的第六部分，并且是利用第六光学链捕获的。第七图像5916是感兴趣场景5902的第七部分，并且是利用第七光学链捕获的。
第一图像5904是对应于感兴趣场景的中心区域的感兴趣场景5902的第一部分。第二图像5906是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5902的第二部分。第三图像5908是对应于感兴趣场景的中心区域的感兴趣场景5902的第三部分。第四图像5910是对应于感兴趣场景的中心区域的感兴趣场景5902的第四部分。第五图像5912是对应于感兴趣场景的中心区域的感兴趣场景5902的第五部分。第六图像5914是对应于整个感兴趣场景区域或者基本上整个感兴趣场景区域的感兴趣场景5902的第六部分。第七图像5916是对应于感兴趣场景的中心区域的感兴趣场景5902的第七部分。
对应于4X设定的组合图像5918是通过组合来自所捕获图像(5904、5906、5908、5910、5912、5914、5916)的信息(例如所捕获图像内的重叠区域)而生成的，以便例如生成复合图像5918，其对应于感兴趣场景区域的四分之一或近似四分之一的一个区域并且在感兴趣场景的中心处居中。应当提到的是，组合图像5918是从第一图像5904、经过裁剪的第二图像5907、第三图像5908、第四图像5910、第五图像5912、经过裁剪的第六图像5915以及第七图像5916生成的。
图60包括图60A、图60B、图60C和图60D的组合，其是根据一个示例性实施例的捕获图像的示例性方法的流程图6000。流程图6000的示例性方法可以由包括多个光学链的摄影机设备实施，或者由包括多个光学链和图像处理设备的摄影机设备实施。在一些实施例中，摄影机设备是智能电话和摄影机的其中之一。在一些实施例中，图像处理设备是个人计算机。
所述示例性方法的操作开始于步骤6002，并且继续到步骤6004。在步骤6004中，摄影机设备监测表明用户控制焦距拉近或用户控制焦距拉远的信息。步骤6004是在进行中的基础上来实施的。步骤6004可以并且在一些实施例中包括步骤6006，其中摄影机设备检测表明用户控制焦距拉近或用户控制焦距拉远将被实施的信息。操作从步骤6006继续到步骤6008。如果所述检测是对应于用户控制焦距拉近，则操作从步骤6008继续到步骤6010；但是如果所述检测是对应于用户控制焦距拉远，则操作从步骤6008通过连接节点6012继续到步骤6014。
回到步骤6010，在步骤6010中，摄影机设备响应于用户控制实施焦距拉近操作。步骤6010包括步骤6016和步骤6018。在一些实施例中，步骤6010还包括步骤6020和6022的其中之一或全部二者。在步骤6016中，摄影机设备调节摄影机设备的第一光学链的第一光重定向设备的方向，第一光重定向设备是基本上平面的反射镜或棱镜的其中之一，所述调节增加由所述摄影机设备的第一光学链和所述摄影机设备的第二光学链捕获的场景区域中的重叠。在一些实施例中，所述基本上平面的反射镜是平面反射镜。
在步骤6018中，摄影机设备调节摄影机设备的第二光学链的第二光重定向设备的方向，第二光重定向设备是反射镜或棱镜的其中之一，所述调节增加由第一和第二光学链捕获的场景区域中的重叠。在步骤6020中，摄影机设备调节摄影机设备的第四光学链的第四光重定向设备的方向，第四光重定向设备是反射镜或棱镜的其中之一，所述调节增加由第一、第二和第四光学链捕获的场景区域中的重叠。在步骤6022中，摄影机设备调节摄影机设备的第五光学链的第五光重定向设备的方向，第五光重定向设备是反射镜或棱镜的其中之一，所述调节增加由第一、第二、第四和第五光学链捕获的场景区域中的重叠。
回到步骤6014，在步骤6014中，摄影机设备响应于用户控制实施焦距拉远操作。步骤6014包括步骤6026和步骤6028。在一些实施例中，步骤6014还包括步骤6030和6032的其中之一或全部二者。在步骤6026中，摄影机设备调节摄影机设备的第一光学链的第一光重定向设备的方向，所述调节减少由所述摄影机设备的第一光学链和所述摄影机设备的第二光学链捕获的场景区域中的重叠。
在步骤6028中，摄影机设备调节摄影机设备的第二光学链的第二光重定向设备的方向，所述调节减少由第一光学链和第二光学链捕获的场景区域中的重叠。在步骤6030中，摄影机设备调节摄影机设备的第四光学链的第四光重定向设备的方向，所述调节减少由第一、第二和第四光学链捕获的场景区域中的重叠。在步骤6032中，摄影机设备调节摄影机设备的第五光学链的第五光重定向设备的方向，所述调节减少由第一、第二、第四和第五光学链捕获的场景区域中的重叠。
操作从步骤6010或6014经由连接节点B6024继续到步骤6036、6038和6040。在一些实施例中，操作还经由连接节点B6024继续到其中一个或更多或所有步骤6042、6044、6046、6048、6050、6052和6054。
在步骤6036中，摄影机设备利用第一光学链捕获场景区域的图像。在步骤6038中，摄影机设备利用第二光学链捕获场景区域的图像。在步骤6040中，摄影机设备利用第三光学链捕获场景区域的图像。在步骤6042中，摄影机设备利用第四光学链捕获场景区域的图像。在步骤6044中，摄影机设备利用第五光学链捕获场景区域的图像。在步骤6046中，摄影机设备利用第六光学链捕获场景区域的图像。在步骤6048中，摄影机设备利用第七光学链捕获场景区域的图像。在步骤6050中，摄影机设备利用第八光学链捕获场景区域的图像。在步骤6052中，摄影机设备利用第九光学链捕获场景区域的图像。在步骤6054中，摄影机设备利用第十光学链捕获场景区域的图像。
操作从步骤6036、6038、6040、6044、6046、6048、6050、6052和6054经由连接节点C6056继续到步骤6058。在步骤6058中，根据变焦焦距设定生成复合图像。步骤6058包括其中一个或更多或所有步骤6060、6062、6064、6066、6068、6070和6072。在一些实施例中，步骤6058包括步骤6060、6062、6064、6066、6068、6070和6072的其中之一。
在步骤6060中，根据变焦设定从由第一、第二和第三光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6060包括步骤6074，其中当变焦焦距设定大于f2时，在由第三光学链捕获的图像上实施裁剪操作。
在步骤6062中，根据变焦设定从由第一、第二、第三、第四和第五光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6062包括步骤6076，其中当变焦焦距设定大于f2时，在由第三光学链捕获的图像上实施裁剪操作。
在步骤6064中，根据变焦设定从由第一、第二、第三、第四、第五和第六光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6064包括步骤6078，其中当变焦焦距设定大于f2时，在由第三光学链捕获的图像上实施裁剪操作。
在步骤6066中，根据变焦设定从由第一、第二、第三、第四、第五、第六和第七光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6066包括步骤6080，其中当变焦焦距设定大于f2时，在由第三和第七光学链捕获的图像上实施裁剪操作。
在步骤6068中，根据变焦设定从由第一、第二、第三、第四、第五、第六、第七和第八光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6068包括步骤6082，其中当变焦焦距设定大于f2时，在由第三、第七和第八光学链捕获的图像上实施裁剪操作。
在步骤6070中，根据变焦设定从由第一、第二、第三、第四、第五、第六、第七、第八和第九光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6070包括步骤6084，其中当变焦焦距设定大于f2时，在由第三、第七、第八和第九光学链捕获的图像上实施裁剪操作。
在步骤6072中，根据变焦设定从由第一、第二、第三、第四、第五、第六、第七、第八、第九和第十光学链捕获的图像生成复合图像。在一些这样的实施例中，步骤6072包括步骤6086，其中当变焦焦距设定大于f2时，在由第三、第七、第八、第九和第十光学链捕获的图像上实施裁剪操作。
操作从步骤6058继续到步骤6088，其中把所生成的复合图像存储在存储器中。在一些实施例中，步骤6058和6088由捕获图像的摄影机设备实施。在其他实施例中，步骤6058和6088由从多个光学链接收所捕获图像的图像处理设备(例如个人计算机)实施。
操作从步骤6088经由连接节点D6090继续到步骤6004。
在一些实施例中，对应于焦距f2的其中一个或更多或所有光学链不需要并且不包括反射镜，这是因为f2是小焦距并且光学链捕获大区域，并且基于用户选择的变焦设定在必要的范围内使用裁剪。
在各个实施例中，f1>f2。在一些这样的实施例中，f1＝2f2。在各个实施例中，最大焦距拉近对应于用户选择的变焦焦距设定＝f1，其中具有针对f2焦距链的裁剪。
在一些实施例中，在最大焦距拉近下，关于被用来生成复合图像的各个链，重叠是完全的。在一些实施例中，在最大焦距拉近下，例如第一、第二、第四和第五光学链的可移动反射镜分别关于其光学链的对应传感器被设定在45度角。
在各个实施例中，在最大焦距拉远下，具有可移动光重定向设备的链之间的重叠是最小的，并且各个单独的光学链的可移动反射镜的反射镜角度将取决于摄影机配置。
在一些实施例中，在最大焦距拉近与最大焦距拉远之间，对由f2模块捕获的图像实施裁剪，并且裁剪的数量是用户选择的变焦设定的函数。在各个实施例中，对于用户选择的变焦设定＝f1存在最大裁剪，并且对于用户选择的变焦设定＝f2不存在裁剪。
图61是根据各个实施例的示例性摄影机设备6100的图示。摄影机设备6100包括通过总线6137耦合在一起的处理器6102(例如CPU)、存储器6104、模块套件6106(例如电路之类的硬件模块的套件)、用户输入接口6108、显示器6110、I/O接口6112以及多个光学链(光学链16118、光学链26120、光学链36122、光学链46124、光学链56126、光学链66128、光学链76130、光学链86132、光学链96134、光学链106136)，各种元件可以通过总线6137交换数据和信息。在一些实施例中，光学链46124、光学链56126、光学链66128、光学链76130、光学链86132、光学链96134和光学链106136是可选的。显示器6110例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机6100的用户显示图像、图像部分、用户菜单等等。用户输入接口6108例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。所接收到的用户输入包括表明用户控制焦距拉近或用户控制焦距拉远的输入。I/O接口6112包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口6112包括一个或更多无线通信接口。通过I/O接口6112传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器6104包括模块套件6114和数据/信息6116。在一些实施例中，对于具有可移动光重定向设备的多个光学链，数据/信息6116包括被用来作为用户焦距拉近和/或用户焦距拉远信息的函数确定包括可移动光重定向设备的光学链的光重定向设备位置的所存储的信息，例如缩放因数和/或校准信息。在一些实施例中，例如对于其中光重定向设备不作为变焦设定的函数而移动的一个或更多光学链，数据信息6116还包括被用来确定将在从对应于变焦设定的光学链捕获的图像上实施的裁剪数量的所存储的信息。
光学链16118包括透镜6138(例如外侧透镜)、可移动的基本上平面的反射镜6140以及图像传感器6142。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜6140包括铰链架。光学链16118还包括反射镜移动模块6144(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块6146(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器6142被用来捕获图像。光在到达反射镜6140之前经过透镜6138。反射镜6140是光重定向设备，其把经过透镜6138的光引导到图像传感器6142上。
光学链26120包括透镜6148(例如外侧透镜)、可移动的基本上平面的反射镜6150以及图像传感器6152。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜6150包括铰链架。光学链26120还包括反射镜移动模块6154(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块6156(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器6152被用来捕获图像。光在到达反射镜6150之前经过透镜6148。反射镜6150是光重定向设备，其把经过透镜6148的光引导到图像传感器6152上。
光学链36122包括透镜6158(例如外侧透镜)、固定反射镜6160(例如基本上平面的固定反射镜)以及图像传感器6162。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器6162被用来捕获图像。光在到达反射镜6160之前经过透镜6122。反射镜6160是光重定向设备，其把经过透镜6158的光引导到图像传感器6162上。
光学链46124包括透镜6164(例如外侧透镜)、可移动的基本上平面的反射镜6166以及图像传感器6168。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜6166包括铰链架。光学链46124还包括反射镜移动模块6170(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块6172(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器6168被用来捕获图像。光在到达反射镜6166之前经过透镜6164。反射镜6166是光重定向设备，其把经过透镜6164的光引导到图像传感器6168上。
光学链56126包括透镜6174(例如外侧透镜)、可移动的基本上平面的反射镜6176以及图像传感器6178。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜6176包括铰链架。光学链56126还包括反射镜移动模块6180(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块6182(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器6178被用来捕获图像。光在到达反射镜6176之前经过透镜6174。反射镜6176是光重定向设备，其把经过透镜6174的光引导到图像传感器6178上。
光学链66128包括透镜6184(例如外侧透镜)、固定反射镜6185(例如基本上平面的固定反射镜)以及图像传感器6186。在一些实施例中，所述基本上平面的固定反射镜是固定的平面反射镜。图像传感器6186被用来捕获图像。光在到达反射镜6185之前经过透镜6184。反射镜6185是光重定向设备，其把经过透镜6184的光引导到图像传感器6186上。
光学链76130包括透镜6187(例如外侧透镜)、固定反射镜6188(例如基本上平面的固定反射镜)以及图像传感器6189。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器6189被用来捕获图像。光在到达反射镜6188之前经过透镜6187。反射镜6188是光重定向设备，其把经过透镜6187的光引导到图像传感器6189上。
光学链86132包括透镜6190(例如外侧透镜)、固定反射镜6191(例如基本上平面的固定反射镜)以及图像传感器6192。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器6192被用来捕获图像。光在到达反射镜6191之前经过透镜6190。反射镜6191是光重定向设备，其把经过透镜6190的光引导到图像传感器6192上。
光学链96134包括透镜6193(例如外侧透镜)、固定反射镜6194(例如基本上平面的固定反射镜)以及图像传感器6195。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器6195被用来捕获图像。光在到达反射镜6194之前经过透镜6193。反射镜6194是光重定向设备，其把经过透镜6193的光引导到图像传感器6195上。
光学链106136包括透镜6196(例如外侧透镜)、固定反射镜6197(例如基本上平面的固定反射镜)以及图像传感器6198。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器6198被用来捕获图像。光在到达反射镜6197之前经过透镜6196。反射镜6197是光重定向设备，其把经过透镜6196的光引导到图像传感器6198上。
在一个示例性实施例中，光学链16118、光学链26120、光学链46124、光学链56126和光学链66128具有焦距＝f1；光学链36122、光学链76130、光学链86132、光学链96134和光学链106136具有焦距＝f2；并且f1>f2。
在各个实施例中，摄影机设备6100包括处在焦距设定f2与焦距设定f1之间的用户可选择的连续变焦能力。
在一些实施例中，由其中反射镜不作为变焦设定的函数而移动的光学链(光学链36122、光学链66128、光学链76130、光学链86132、光学链96134和光学链106136)捕获的图像被居中在基本上相同的位置处，而不管变焦设定如何。在各个实施例中，由其中反射镜作为变焦设定的函数移动的光学链(光学链16118、光学链26120、光学链46124、光学链56126)所捕获的图像捕获作为变焦设定的函数而被居中的图像。举例来说，由光学链16118捕获的图像沿着变焦图像的中心与感兴趣场景的角落之间的第一对角线作为变焦设定的函数而被定位；由光学链26120捕获的图像沿着变焦图像的中心与感兴趣场景的角落之间的第二对角线作为变焦设定的函数而被定位；由光学链46124捕获的图像沿着变焦图像的中心与感兴趣场景的角落之间的第三对角线作为变焦设定的函数而被定位；并且由光学链56126捕获的图像沿着变焦图像的中心与感兴趣场景的角落之间的第二对角线作为变焦设定的函数而被定位。
在一些实施例中，具有固定反射镜的光学链(光学链36122、光学链66128、光学链76130、光学链86132、光学链96134和光学链106136)可以被具有可移动反射镜的光学链取代，其中不管变焦设定如何反射镜都保持在固定位置。
在各个实施例中，取代反射镜使用不同类型的光重定向设备，例如在光学链中使用棱镜以替代反射镜。举例来说，在光学链16118中使用可移动棱镜以替代可移动的基本上平面的反射镜6140。在一些实施例中，在不同的光学链中使用不同类型的光重定向设备。举例来说，在一个实施例中，在光学链16118中使用可移动的基本上平面的反射镜，并且在光学链26120中使用可移动棱镜。
在一些实施例中，对应于焦距f2的光学链不包括光重定向设备，并且所述光学链的图像传感器被定位成能够捕获进入光学链的透镜而没有经由光重定向设备发生转向的光。
在一些实施例中，对应于焦距f2的其中一个或更多或所有光学链(例如光学链36122、光学链76130、光学链86132、光学链96134和/或光学链106136)不需要并且不包括反射镜，这是因为f2是小焦距并且光学链捕获大区域，并且基于用户选择的变焦设定在必要的范围内使用裁剪。
在各个实施例中，f1>f2。在一些这样的实施例中，f1＝2f2。在各个实施例中，最大焦距拉近对应于用户选择的变焦焦距设定＝f1，其中具有针对f2焦距链的裁剪。
在一些实施例中，在最大焦距拉近下，关于被用来生成复合图像的各个链，重叠是完全的。在一些实施例中，在最大焦距拉近下，链6118、6120、6124、6126的可移动反射镜(例如反射镜6140、6150、6166、6176)分别关于对应的传感器6142、6152、6168、6178被设定在45度角。
在各个实施例中，在最大焦距拉远下，具有可移动光重定向设备的链之间的重叠是最小的，并且各个单独的光学链的可移动反射镜的反射镜角度将取决于摄影机配置。
在一些实施例中，在最大焦距拉近与最大焦距拉远之间，对由f2模块(例如模块6122、6130、6132、6134、6134、6136)捕获的图像实施裁剪，并且裁剪的数量是用户选择的变焦设定的函数。在各个实施例中，对于用户选择的变焦设定＝f1存在最大裁剪，并且对于用户选择的变焦设定＝f2不存在裁剪。
在一个示例性实施例中，图61的摄影机6100是图12B的摄影机1250，并且图61的光学链(光学链16118、光学链26120、光学链36122、光学链46124、光学链56126、光学链66128、光学链76130、光学链86132、光学链96134、光学链106136)分别是光学链1210、1212、1224、1202、1220、1216、1208、1214、1204、1218。在一些实施例中，光学链1210、1212、1202、1220、1216具有焦距f1，并且光学链1224、1208、1214、1204、1218具有焦距f2。在这样的实施例中，不管变焦焦距设定如何，链1224、1216、1208、1214、1204、1218的反射镜保持在例如f2到f1的范围内的固定位置处，而链1210、1212、1202、1220的反射镜则作为用户选择的焦距设定的函数被可控地定位在例如f2到f1的范围内。
图62是可以被包括在根据本发明实施的摄影机设备(例如图61的摄影机6100)中的模块套件6200的图示。模块套件6200可以实施方法的各个步骤，例如图60的流程图6000的方法的各个步骤。在一些实施例中，模块套件6200是可以耦合在一起的电路套件。在一个示例性实施例，模块套件6200是图61的摄影机6100的模块套件6106。在一些实施例中，模块套件6200是软件模块套件。在一个示例性实施例中，模块套件6200是图61的摄影机6100的存储器6104的模块套件6114。
图62示出了模块套件6200，其可以并且在一些实施例中被使用在图61中示出的摄影机设备6100中。模块套件6200中的模块可以并且在一些实施例中是完全通过硬件实施在处理器6102内的，例如作为单独的电路。模块套件6200中的模块可以并且在一些实施例中是完全通过硬件实施在模块套件6106内的，例如作为对应于不同模块的单独的电路。在其他实施例中，其中一些模块例如被实施成处理器6102内的电路，其他模块例如被实施成处在处理器外部并且与之耦合的模块套件6106内的电路。应当认识到，处理器上的模块以及/或者与处理器外部的一些模块的集成度可以是设计选择。
或者，取代被实施成电路，模块套件6200中的所有或一些模块可以用软件实施，并且被存储在摄影机设备6100的存储器6104中，其中所述模块在由处理器(例如处理器6102)执行时控制摄影机6100的操作以便实施对应于所述模块的功能。在一些这样的实施例中，模块套件6200被包括在存储器6104中以作为模块套件6114。在其他实施例中，模块套件6200中的各个模块被实施成硬件与软件的组合，例如处理器外部的另一个电路向处理器6102提供输入，处理器6102随后在软件控制下操作来实施模块的一部分功能。虽然在图61的实施例中被示出为单个处理器(例如计算机)，但是应当认识到，处理器6102可以被实施成一个或更多处理器(例如计算机)。
当用软件实施时，所述模块包括代码，其在由处理器6102执行时配置处理器6102来实施对应于模块的功能。在其中模块套件6200被存储在存储器6104中的实施例中，存储器6104是包括计算机可读介质的计算机程序产品，所述计算机可读介质包括代码，例如对应于每一个模块的单独的代码，其用于使得至少一台计算机(例如处理器6102)实施该模块所对应的功能。
可以使用完全基于硬件或完全基于软件的模块。但是应当认识到，软件和硬件的任意组合(例如实施模块的电路)可以被用来实施所述功能。应当认识到，图62中示出的模块控制和/或配置摄影机设备6100或者其中的元件(比如处理器6102)来实施在图60的方法流程图6000中示出的相应步骤的功能。因此，模块套件6200包括实施图60中示出的方法的相应步骤的功能的各个模块。
模块套件6200包括变焦输入监测模块6202、焦距拉近光重定向设备定位调节控制模块6204、焦距拉远光重定向设备定位调节控制模块6206、图像捕获控制模块6208、复合图像生成模块6210、裁剪模块6212以及复合图像存储模块6214。
变焦输入监测模块6202被配置成监测表明将要实施用户控制用户输入变焦或用户控制变焦输出的信息。变焦输入监测模块6202检测表明将要实施用户控制焦距拉近或用户控制焦距拉远操作的信息。所检测到的信息例如包括标识出将要实施焦距拉近或焦距拉远当中的哪一项的信息，以及/或者表明对应于变焦设定的所选值的信息，例如摄影机将用以捕获图像的变焦设定。
焦距拉近光重定向设备定位调节控制模块6204被配置成响应于用户控制实施焦距拉近操作，所述焦距拉近操作包括调节摄影机的第一光学链的第一光重定向设备的方向，所述第一光重定向设备是基本上平面的反射镜或棱镜的其中之一，所述调节增加由摄影机的第一光学链和摄影机的第二光学链捕获的场景区域中的重叠。在一些实施例中，第一光重定向设备的方向是垂直于第一光重定向设备的表面的方向。
在各个实施例中，作为实施焦距拉近操作的一部分，焦距拉近光重定向设备定位调节控制模块6204还被配置成调节第二光学链的第二光重定向设备的方向，所述第二光重定向设备是反射镜或棱镜的其中之一，所述调节增加由第一和第二光学链捕获的场景区域中的重叠。
在一些实施例中，焦距拉近光重定向设备定位调节控制模块6204还被配置成调节第四光学链的第四光重定向设备和第五光学链的第五光重定向设备的方向，所述调节增加由第一、第二、第四和第五光学链捕获的场景区域中的重叠。
焦距拉远光重定向设备定位调节控制模块6206被配置成响应于用户控制实施焦距拉远操作，所述焦距拉远操作包括调节第一光重定向设备的方向和第二光重定向设备的方向，所述调节减少由第一和第二光学链捕获的场景区域中的重叠。在一些实施例中，焦距拉远光重定向设备定位调节控制模块6206还被配置成调节第四光学链的第四光重定向设备和第五光学链的第五光重定向设备的方向，所述调节减少由第一、第二、第四和第五光学链捕获的场景区域中的重叠。
图像捕获控制模块6208被配置成：控制第一光学链捕获场景区域的图像，并且控制第二光学链捕获场景区域的图像。图像捕获控制模块6208还被配置成控制摄影机设备的第三光学链捕获场景区域的图像。
在一些实施例中，第一和第二光学链具有相同的焦距f1。在一些这样的实施例中，摄影机的第三光学链具有焦距f2，其中f2小于f1。在一些实施例中，第三光学链的光轴垂直于光学链的表面，并且不管变焦设定如何都保持固定，其范围在f2与f1之间延伸。
在各个实施例中，焦距拉近和焦距拉远操作对应于f2到f1的范围内的变焦焦距设定，所述范围包括f2和f1。
在一些实施例中，图像捕获控制模块6208还被配置成：控制第四光学链捕获图像区域的图像，以及控制第五光学链捕获场景区域的图像。在一些这样的实施例中，图像捕获控制模块6208还被配置成控制摄影机设备的第六光学链捕获场景区域的图像。在一些这样的实施例中，第一、第二、第四、第五和第六光学链具有相同的焦距例如f1。
在一些实施例中，图像捕获控制模块6208还被配置成：控制第七光学链捕获场景区域的图像。在一些这样的实施例中，图像捕获控制模块6208还被配置成：控制第八光学链捕获场景区域的图像。在一些这样的实施例中，图像捕获控制模块6208还被配置成：控制第九光学链捕获场景区域的图像。在一些这样的实施例中，图像捕获控制模块6208还被配置成：控制第十光学链捕获场景区域的图像。在一些这样的实施例中，第三、第七、第八、第九和第十光学链具有相同的焦距，例如f2。
复合图像生成模块6210被配置成根据变焦焦距设定从所捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二和第三光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四和第五光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四、第五和第六光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四、第五、第六和第七光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四、第五、第六、第七和第八光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四、第五、第六、第七、第八和第九光学链捕获的图像生成复合图像。在一些实施例中，复合图像生成模块6210被配置成根据变焦焦距设定从由第一、第二、第三、第四、第五、第六、第七、第八、第九和第十光学链捕获的图像生成复合图像。
裁剪模块6212被配置成当变焦设定大于f2时在由第三光学链捕获的图像上实施裁剪操作。在各个实施例中，裁剪的数量是变焦焦距设定与f2之间的差异的函数，并且裁剪模块6212在实施裁剪之前确定(例如计算)裁剪的数量。
在一些实施例中，裁剪模块6212被配置成当变焦设定大于f2时在由第三和第七光学链捕获的图像上实施裁剪操作。在一些实施例中，裁剪模块6212被配置成当变焦设定大于f2时在由第三、第七和第八光学链捕获的图像上实施裁剪操作。在一些实施例中，裁剪模块6212被配置成当变焦设定大于f2时在由第三、第七、第八和第九光学链捕获的图像上实施裁剪操作。在一些实施例中，裁剪模块6212被配置成当变焦设定大于f2时在由第三、第七、第八、第九和第十光学链捕获的图像上实施裁剪操作。
复合图像存储模块6214被配置成把所生成的复合图像存储在存储器中。
图63是示出了根据一个示例性实施例的对应于不同变焦焦距设定的示例性复合图像的图示6300。图示6031包括示例性感兴趣场景6302。考虑示例性摄影机设备(例如图62的摄影机6100和/或实施图60的流程图6000的方法的摄影机)包括在f2到f1的变焦焦距设定范围内进行连续焦距拉近/焦距拉远的能力，其中f2<f1。图示6303示出了对应于用户选择的变焦焦距设定f2的示例性复合图像6304。在该例中，复合图像6304对应于感兴趣场景6302的全部区域。图示6305示出了对应于用户选择的变焦焦距设定f1的示例性复合图像6306。对于该例，复合图像6306对应于最大焦距拉近，并且复合图像6304对应于最大焦距拉远。
图示6307示出了对应于多项示例性的不同用户选择的变焦焦距设定的复合图像(6304、6310、6312、6314、6316、6318、6320、6322、6324、6326、6306)。应当提到的是，在该例中，变焦是围绕图像的中心。在方向6306->6310->6312->6314->6316->6318->6320->6322->6324->6326->6306上进行的是焦距拉近方向。在方向6306->6326->6324->6322->6320->6318->6316->6314->6312->6310->6304上进行的是焦距拉远方向。在各个实施例中，在变焦焦距设定f2到f1的范围内，连续变焦是可能的。
图64的图示6400示出了根据一个示例性实施例的对应于一个实例的被组合来生成复合图像的所捕获图像，在该例中用户选择的焦距设定被设定在最大焦距拉远，例如变焦焦距设定＝f2。考虑示例性摄影机设备(例如图62的摄影机设备6100和/或实施图60的流程图6000的方法的摄影机设备)包括在f2到f1的变焦焦距设定范围内进行连续焦距拉近/焦距拉远的能力，其中f2<f1。
图示6401示出了光学链1捕获图像6404对应于感兴趣场景6402的左上部分。图示6403示出了光学链2捕获图像6406对应于感兴趣场景6402的左下部分。图示6405示出了光学链3捕获图像6408对应于整个感兴趣场景6402。图示6407示出了光学链4捕获图像6410对应于感兴趣场景6402的右上部分。图示6409示出了光学链5捕获图像6412对应于感兴趣场景6402的右下部分。图示6411示出了光学链6捕获图像6414对应于感兴趣场景6402的中心部分。图示6413示出了光学链7捕获图像6416对应于整个感兴趣场景6402。图示6415示出了光学链8捕获图像6418对应于整个感兴趣场景6402。图示6417示出了光学链9捕获图像6420对应于整个感兴趣场景6402。图示6419示出了光学链10捕获图像6422对应于整个感兴趣场景6402。
根据变焦焦距设定，从所捕获图像(6404、6406、6408、6410、6412、6414、6418、6420、6422)生成复合图像。所生成的复合图像例如是图63的复合图像6304。
图65的图示6500示出了根据一个示例性实施例的对应于一个实例的所捕获图像和经过裁剪的所捕获图像，其中一些被组合来生成复合图像，在该例中用户选择的焦距设定被设定在最大焦距拉近，例如变焦焦距设定＝f1。考虑示例性摄影机设备(例如图62的摄影机6100和/或实施图60的流程图6000的方法的摄影机)包括在f2到f1的变焦焦距设定范围内进行连续焦距拉近/焦距拉远的能力，其中f2<f1。
图示6501示出了光学链1捕获图像6504对应于感兴趣场景6502的中心部分。图示6503示出了光学链2捕获图像6506对应于感兴趣场景6502的中心部分。图示6505示出了光学链3捕获图像6508对应于整个感兴趣场景6502。图示6507示出了光学链4捕获图像6510对应于感兴趣场景6502的中心部分。图示6509示出了光学链5捕获图像6512对应于感兴趣场景6502的中心部分。图示6511示出了光学链6捕获图像6514对应于感兴趣场景6502的中心部分。图示6513示出了光学链7捕获图像6516对应于整个感兴趣场景6502。图示6515示出了光学链8捕获图像6518对应于整个感兴趣场景6502。图示6517示出了光学链9捕获图像6520对应于整个感兴趣场景6502。图示6519示出了光学链10捕获图像6522对应于整个感兴趣场景6502。
在该例中，由于用户选择的变焦焦距设定是大于f2的f1，因此在具有焦距＝f2的光学链上实施裁剪操作。裁剪的数量是变焦焦距设定与f2之间的差异的函数。因此，所捕获图像(6508、6516、6518、6520、6522)被裁剪。
图示6521示出了光学链3裁剪捕获图像6524对应于感兴趣场景6502的中心部分。图示6523示出了光学链7裁剪捕获图像6526对应于感兴趣场景6502的中心部分。图示6525示出了光学链8裁剪捕获图像6528对应于感兴趣场景6502的中心部分。图示6527示出了光学链9裁剪捕获图像6530对应于感兴趣场景6502的中心部分。图示6529示出了光学链10裁剪捕获图像6532对应于感兴趣场景6502的中心部分。
根据变焦焦距设定，从光学链1捕获图像6504、光学链2捕获图像6506、光学链3裁剪图像6524、光学链4捕获图像6510、光学链5捕获图像6512、光学链6捕获图像6514、光学链7裁剪图像6526、光学链8裁剪图像6528、光学链9裁剪图像6530和光学链10裁剪图像6532生成复合图像。所生成的复合图像例如是图63的复合图像6306。
图66的图示6600示出了根据一个示例性实施例的对应于一个实例的所捕获图像和经过裁剪的所捕获图像，其中一些被组合来生成复合图像，在该例中用户选择的焦距设定被设定在中间值，例如处于f2与f1之间的值。考虑示例性摄影机设备(例如图62的摄影机设备6100和/或实施图60的流程图6000的方法的摄影机)包括在f2到f1的变焦焦距设定范围内进行连续焦距拉近/焦距拉远的能力，其中f2<f1。
图示6601示出了光学链1捕获图像6604对应于感兴趣场景6602的一部分，该部分沿着从感兴趣场景的中心向感兴趣场景的左上角延伸的对角线居中。图示6603示出了光学链2捕获图像6606对应于感兴趣场景6602的一部分，该部分沿着从感兴趣场景的中心向感兴趣场景的左下角延伸的对角线居中。图示6605示出了光学链3捕获图像6608对应于整个感兴趣场景6602。图示6607示出了光学链4捕获图像6610对应于感兴趣场景6602的一部分，该部分沿着从感兴趣场景的中心向感兴趣场景的右上角延伸的对角线居中。图示6609示出了光学链5捕获图像6612对应于感兴趣场景6602的一部分，该部分沿着从感兴趣场景的中心向感兴趣场景的右下角延伸的对角线居中。图示6611示出了光学链6捕获图像6614对应于感兴趣场景6602的中心部分。图示6613示出了光学链7捕获图像6616对应于整个感兴趣场景6602。图示6615示出了光学链8捕获图像6618对应于整个感兴趣场景6602。图示6617示出了光学链9捕获图像6620对应于整个感兴趣场景6602。图示6619示出了光学链10捕获图像6622对应于整个感兴趣场景6602。
在该例中，由于用户选择的变焦焦距设定是大于f2的值，因此在具有焦距＝f2的光学链上实施裁剪操作。裁剪的数量是变焦焦距设定与f2之间的差异的函数。因此，所捕获图像(6608、6616、6618、6620、6622)被裁剪。
图示6621示出了光学链3裁剪捕获图像6624对应于感兴趣场景6602的中心部分。图示6623示出了光学链7裁剪捕获图像6626对应于感兴趣场景6602的中心部分。图示6625示出了光学链8裁剪捕获图像6628对应于感兴趣场景6602的中心部分。图示6627示出了光学链9裁剪捕获图像6630对应于感兴趣场景6602的中心部分。图示6629示出了光学链10裁剪捕获图像6632对应于感兴趣场景6602的中心部分。
根据变焦焦距设定，从光学链1捕获图像6604、光学链2捕获图像6606、光学链3裁剪图像6624、光学链4捕获图像6610、光学链5捕获图像6612、光学链6捕获图像6614、光学链7裁剪图像6626、光学链8裁剪图像6628、光学链9裁剪图像6630和光学链10裁剪图像6632生成复合图像。
所生成的复合图像例如是图63的复合图像6318。
图67包括图示6650，其示出了根据一个示例性实施例的示例性用户控制的变焦以及来自不同光学链的所捕获图像之间的示例性重叠，其中每一个光学链包括例如作为用户选择的变焦焦距设定的函数被定位(例如调节)的可移动光重定向设备。
图示6651、6653和6655对应于用户选择的变焦焦距设定f2的一个实例，其对应于最大焦距拉远。图示6667、6669和6671对应于具有处于f2与f1之间的值的用户选择的变焦焦距设定的一个实例，其中f1>f2，所述值对应于中间变焦设定。图示6673、6675和6677对应于用户选择的变焦焦距设定f1的一个实例，其对应于最大焦距拉近。
图例6668标识出被用来说明由具有可移动光重定向设备(例如可移动的基本上平面的反射镜或棱镜)的多个光学链当中的每一个捕获的感兴趣场景的部分。如方块6670所示的垂直线阴影被用来标识由具有可移动光重定向设备的第一光学链捕获的图像，例如图61的摄影机设备6100的光学链16118。如方块6672所示的水平线阴影被用来标识由具有可移动光重定向设备的第二光学链捕获的图像，例如图61的摄影机设备6100的光学链26120。如方块6674所示的负斜率线阴影被用来标识由具有可移动光重定向设备的第三光学链捕获的图像，例如图61的摄影机设备6100的光学链46124。如方块6676所示的正斜率线阴影被用来标识由具有可移动光重定向设备的第四光学链捕获的图像，例如图61的摄影机设备6100的光学链56125。
图示6653示出，对于最大焦距拉远(其对应于变焦焦距设定f2)，由包括可移动光重定向设备的四个光学链捕获的图像是不重叠或基本上不重叠的。图示6655示出，从包括如图示6653中所示的来自包括可移动光重定向设备的四个光学链的所捕获图像的图像生成的对应于变焦焦距设定＝f2的复合图像6662占据感兴趣场景6652的全部区域或基本上全部区域。
图示6669示出，对于中间焦距设定(其对应于处于f2到f1之间的变焦焦距设定值)，由包括可移动光重定向设备的四个光学链捕获的图像是部分地重叠的。可以观察到，最大重叠处在感兴趣场景的中心部分。图示6671示出，从包括如图示6669中所示的来自包括可移动光重定向设备的四个光学链的所捕获图像的图像生成的对应于中间变焦焦距设定的复合图像6664占据感兴趣场景6652的中心部分。
图示6675示出，对于最大焦距拉近(其对应于变焦焦距设定值f1)，由包括可移动光重定向设备的四个光学链捕获的图像是完全重叠或基本上完全重叠的。图示6677示出，从包括如图示6669中所示的来自包括可移动光重定向设备的四个光学链的所捕获图像的图像生成的对应于变焦焦距设定f1的复合图像6666占据感兴趣场景6652的中心部分。应当提到的是，复合图像6666的尺寸与由具有可移动光重定向设备的单独光学链所捕获的尺寸相同或基本上相同。
从图示6653继续到图示6669说明了示例性的焦距拉近，并且从图示6669继续到图示6675示出了进一步的焦距拉近。从图示6675继续到图示6669说明了示例性的焦距拉远，并且从图示6669继续到图示6653说明了进一步的焦距拉远。
应当认识到，来自其他光学链的所捕获图像可以并且在一些实施例中被进一步使用在生成复合图像的过程中，例如来自其中光重定向设备不作为变焦焦距设定的函数而移动的光学链的所捕获图像被进一步使用在生成复合图像的过程中。在一些这样的实施例中，在由其中可移动光重定向设备不作为变焦焦距设定的函数而移动的光学链捕获的一些图像上使用裁剪，例如在由图61的摄影机6100的光学链36122、光学链76128、光学链36132、光学链96134、光学链106136捕获的图像上使用裁剪，其中裁剪的数量是用户选择的变焦焦距设定大于f2的数量。举例来说，在生成复合图像6652的过程中不使用裁剪，并且在生成复合图像6666的过程中使用最大裁剪。
图68包括图68A和图68B的组合，其是利用至少包括第一光学链和第二光学链的摄影机设备来捕获图像的示例性方法的流程图6900，其中第一光学链包括第一传感器，第二光学链包括第二传感器，并且所述第一光学链的焦距小于第二光学链。在一个示例性实施例中，第一光学链的焦距是f2，第二光学链的焦距是f1，其中f2<f1。
所述示例性方法的操作开始于步骤6902，其中摄影机设备被通电和初始化，并且继续到可选步骤6902和6906的其中之一或全部二者。
在步骤6904中，摄影机设备接收用户输入。在一些实施例中，步骤6904包括步骤6908和6910的其中之一或全部二者。在步骤6908中，摄影机设备接收表明高运动速率操作的用户输入。在步骤6910中，摄影机设备接收表明高分辨率操作模式的用户输入。
回到步骤6906，在步骤6906中，摄影机设备确定运动速率。在各个实施例中，步骤6906包括步骤6911，其中摄影机设备从由所述摄影机设备的光学链顺序地捕获的图像确定运动速率。在一些实施例中，步骤6911包括步骤6912，其中摄影机设备基于在第一时间周期期间捕获的图像与跟在第一时间周期之后的第二时间周期期间捕获的图像之间的差异来确定运动速率。
操作从步骤6904和/或步骤6906继续到步骤6914。在步骤6914中，例如在摄影机设备的控制设备中，所述摄影机设备基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出决定，所述决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施第二传感器的相继像素元件行的单独读出。在一些实施例中，步骤6914包括步骤6916和6918的其中之一或全部二者。在步骤6916中，摄影机设备基于用户输入作出决定。在步骤6918中，摄影机设备基于所确定的运动速率作出决定。
在各个实施例中，步骤6916包括步骤6920和6922的其中之一或全部二者。在步骤6920中，当用户输入表明选择高运动速率操作模式时，摄影机设备决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出。在步骤6922中，当用户输入表明选择高分辨率操作模式时，摄影机设备决定实施所述第二传感器的相继像素元件行的单独读出。
在一些实施例中，步骤6918包括步骤6924和6926的其中之一或全部二者。在步骤6924中，当运动速率高于第一阈值时，摄影机设备决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出。在步骤6926中，当运动速率低于所述第一阈值时，摄影机决定实施所述第二传感器的相继像素元件行的单独读出。
操作从步骤6914经由连接节点A6928继续到步骤6930和步骤6932。在其中摄影机包括第三光学链的一些实施例中，操作还从步骤6914经由连接节点A6928继续到步骤6944。在步骤6930中，摄影机控制第一传感器读出第一传感器的像素值。在一些实施例中，步骤6930包括步骤6936，其中，当所述决定是决定实施所述第二传感器的相继像素元件行的单独读出时，摄影机控制第一传感器按照一定速率读出第一传感器的像素元件的像素值，其中所述速率是第二焦距与第一焦距的比值的函数。在一些这样的实施例中，步骤6936包括步骤6938，其中摄影机设备控制第一传感器按照比从第二传感器读出像素值行的速率更低的速率来读出像素值行。
回到步骤6932，在步骤6932中，根据实施第二传感器的像素元件行的联合读出或者实施所述第二传感器的相继像素元件行的单独读出的决定，摄影机设备控制第二传感器读出第二传感器中的像素元件的像素值。在一些实施例中，步骤6932包括步骤6940和步骤6942的其中之一或全部二者。在步骤6940中，摄影机设备控制第二传感器与第一传感器的至少一些像素值的读出并行地读出像素值。在步骤6942中，当所述决定是决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出时，摄影机设备作为第一焦距与第二焦距的比值的函数来控制将在联合读出中被读出的像素元件行的数目。
回到步骤6944，在步骤6944中，当所述决定是决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出时，摄影机设备控制对应于与第二光学链具有相同焦距的第三光学链的第三传感器实施对应于相继像素元件行的像素元件的联合读出，其中所述第三传感器被配置成在第二传感器的读出完成之后但是在第一传感器的读出完成之前在其中一些像素值处进行联合读出。操作从步骤6930、6932和6944经由连接节点B6946继续到针对步骤6904和6906的输入。
图69是根据各个示例性实施例的示例性摄影机设备7000的图示。摄影机设备7000包括通过总线7037耦合在一起的处理器7002(例如CPU)、存储器7004、模块套件7006(例如电路之类的硬件模块的套件)、用户输入接口7008、显示器7010、I/O接口7012以及多个光学链(光学链17018、光学链27020、光学链37022、光学链47024、光学链57026、...、光学链N7028)，各种元件可以通过总线7037交换数据和信息。在一些实施例中，光学链37022、光学链47024、光学链57026、...、光学链N7028是可选的，并且可以包括其中一个或更多光学链。显示器7010例如是液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或者有源矩阵有机发光二极管(AMOLED)显示器，其用于向摄影机7000的用户显示图像、图像部分、用户菜单等等。用户输入接口7008例如包括开关、按钮、触摸屏接口等等以用于接收来自用户的输入。所接收到的用户输入例如包括表明用户选择了高运动速率操作模式的输入或者表明用户选择了高分辨率操作模式的输入。在一些实施例中，各种操作模式可以并且在一些实施例中是从用户操作模式的菜单选择的，例如替换操作模式的菜单。I/O接口7012包括用于与例如个人计算机之类的其他设备进行通信的多个通信端口。在一些实施例中，I/O接口7012包括一个或更多无线通信接口。通过I/O接口7012传送的信息例如包括从来自多个光学链的所捕获图像生成的组合图像，以及/或者将在外部(例如在个人计算机中)被处理和/或组合的来自各个单独光学链的所捕获图像。
存储器7004包括模块套件7014和数据/信息7016。在一些实施例中，数据/信息7016包括以下各项当中的一项或更多项或全部：表明所选择的操作模式的所接收到的用户输入，被用来关于要实施联合读出还是单独读出(例如关于第二传感器)作出决定的所存储的运动速率阈值，所确定的运动速率，对应于第一光学链的焦距，对应于第二光学链的焦距，来自各个光学链的传感器的读出，所确定的将在联合读出中读取的行数，对应于第一传感器的读出速率定时信息，以及对应于第二传感器的读出速率定时信息。
光学链17018包括透镜7038(例如外侧透镜)、固定反射镜7040(例如基本上平面的固定反射镜)以及图像传感器7042。在一些实施例中，所述基本上平面的固定反射镜是固定平面反射镜。图像传感器7042被用来捕获图像。光在到达反射镜7040之前经过透镜7038。反射镜7040是光重定向设备，其把经过透镜7038的光引导到图像传感器7042上。
光学链27020包括透镜7044(例如外侧透镜)、可移动的基本上平面的反射镜7046以及图像传感器7048。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜7046包括铰链架。光学链27020还包括反射镜移动模块7050(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块7052(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器7048被用来捕获图像。光在到达反射镜7046之前经过透镜7044。反射镜7046是光重定向设备，其把经过透镜7044的光引导到图像传感器7048上。
光学链37022包括透镜7054(例如外侧透镜)、可移动的基本上平面的反射镜7056以及图像传感器7058。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜7056包括铰链架。光学链37022还包括反射镜移动模块7060(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块7062(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器7058被用来捕获图像。光在到达反射镜7056之前经过透镜7054。反射镜7056是光重定向设备，其把经过透镜7054的光引导到图像传感器7058上。
光学链47024包括透镜7064(例如外侧透镜)、可移动的基本上平面的反射镜7066以及图像传感器7068。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜7066包括铰链架。光学链47024还包括反射镜移动模块7070(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块7072(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器7068被用来捕获图像。光在到达反射镜7066之前经过透镜7064。反射镜7066是光重定向设备，其把经过透镜7064的光引导到图像传感器7068上。
光学链57026包括透镜7074(例如外侧透镜)、可移动的基本上平面的反射镜7076以及图像传感器7078。在一些实施例中，所述基本上平面的反射镜是平面反射镜。在各个实施例中，可移动反射镜7076包括铰链架。光学链57026还包括反射镜移动模块7080(例如驱动电动机和相应的驱动电路)和反射镜位置检测模块7082(例如角度位置感测设备，比如解算器或同步机或光学旋转编码器或磁性旋转编码器)，并且在一些实施例中还包括用以把传感器测量转换成数字值的电路，例如模拟到数字转换器。图像传感器7078被用来捕获图像。光在到达反射镜7076之前经过透镜7074。反射镜7076是光重定向设备，其把经过透镜7074的光引导到图像传感器7078上。
附加的光学链(例如光学链N7028)可以包括固定的或可移动的光重定向设备(例如反射镜)。
在一个示例性实施例中，光学链17018具有焦距＝f2；并且光学链27020、光学链37022、光学链46124和光学链56126当中的每一个具有焦距＝f1；并且f1>f2。
在各个实施例中，取代反射镜使用不同类型的光重定向设备，例如在光学链中使用棱镜以替代反射镜。举例来说，在光学链27020中使用可移动棱镜以替代可移动的基本上平面的反射镜7046。在一些实施例中，在不同的光学链中使用不同类型的光重定向设备。
在一些实施例中，对应于焦距f2的光学链不包括光重定向设备，并且所述光学链的图像传感器被定位成能够捕获进入光学链的透镜而没有经由光重定向设备发生转向的光。
在各个实施例中，f1>f2。在一些这样的实施例中，f1＝2f2。
在一个示例性实施例中，图69的摄影机7000是图12B的摄影机1250，并且图69的光学链(光学链17018、光学链27020、光学链37022、光学链47024、光学链57026)分别是图12B的摄影机1250的光学链1202、1210、1212、1224、1220。
图70是可以被包括在根据本发明实施的摄影机设备(例如图69的摄影机设备7000)中的模块套件7100的图示。模块套件7100可以实施方法的各个步骤，例如图68的流程图6900的方法的各个步骤。在一些实施例中，模块套件7100是可以耦合在一起的电路套件。在一个示例性实施例，模块套件7100是图69的摄影机7000的模块套件7006。在一些实施例中，模块套件7100是软件模块套件。在一个示例性实施例中，模块套件7100是图69的摄影机7000的存储器7004的模块套件7014。
图70示出了模块套件7100，其可以并且在一些实施例中被使用在图69中示出的摄影机设备7000中。模块套件7100中的模块可以并且在一些实施例中是完全通过硬件实施在处理器7002内的，例如作为单独的电路。模块套件7100中的模块可以并且在一些实施例中是完全通过硬件实施在模块套件7006内的，例如作为对应于不同模块的单独的电路。在其他实施例中，其中一些模块例如被实施成处理器7002内的电路，其他模块例如被实施成处在处理器外部并且与之耦合的模块套件7006内的电路。应当认识到，处理器上的模块以及/或者与处理器外部的一些模块的集成度可以是设计选择。
或者，取代被实施成电路，模块套件7100中的所有或一些模块可以用软件实施，并且被存储在摄影机7000的存储器7004中，其中所述模块在由处理器(例如处理器7002)执行时控制摄影机7000的操作以便实施对应于所述模块的功能。在一些这样的实施例中，模块套件7100被包括在存储器7004中以作为模块套件7014。在其他实施例中，模块套件7100中的各个模块被实施成硬件与软件的组合，例如处理器外部的另一个电路向处理器7002提供输入，处理器7002随后在软件控制下操作来实施模块的一部分功能。虽然在图69的实施例中被示出为单个处理器(例如计算机)，但是应当认识到，处理器7002可以被实施成一个或更多处理器(例如计算机)。
当用软件实施时，所述模块包括代码，其在由处理器7002执行时配置处理器7002来实施对应于模块的功能。在其中模块套件7100被存储在存储器7004中的实施例中，存储器7004是包括计算机可读介质的计算机程序产品，所述计算机可读介质包括代码，例如对应于每一个模块的单独的代码，其用于使得至少一台计算机(例如处理器7002)实施该模块所对应的功能。
可以使用完全基于硬件或完全基于软件的模块。但是应当认识到，软件和硬件的任意组合(例如实施模块的电路)可以被用来实施所述功能。应当认识到，图71中示出的模块控制和/或配置摄影机7000或者其中的元件(比如处理器7002)来实施在图68的方法流程图6900中示出的相应步骤的功能。因此，模块套件7100包括实施图68中示出的方法的相应步骤的功能的各个模块。
图70是根据各个示例性实施例的模块套件7100。模块套件7100包括读出控制决定模块7102、传感器读出控制模块7104、模式控制模块7106、运动速率确定模块7108以及联合读出控制模块7110。
在各个实施例中，模块套件7100被包括在摄影机设备中，例如图69的摄影机设备7000，其中包括第一光学链(例如光学链17018)和第二光学链(例如光学链27020)，第一光学链包括第一传感器(例如传感器7042)并且具有第一焦距(例如f2)，第二光学链包括第二传感器(例如传感器7048)并且独有第二焦距(例如f1)，所述第一焦距小于所述第二焦距。
读出控制决定模块7102被配置成基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出读出决定，所述读出决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施第二传感器的相继像素元件行的单独读出。
传感器读出控制模块7104被配置成：i)控制第一传感器读出所述第一传感器的像素值；以及ii)根据读出控制决定来控制第二传感器读出第二传感器的像素元件的像素值。
在各个实施例中，传感器读出控制模块7104被配置成：当所述传感器控制决定是决定控制第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出时，控制所述第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及当所述传感器控制决定是决定实施所述第二传感器的相继像素元件行的单独读出时，控制第二传感器实施所述第二传感器的相继像素元件行的单独读出。在一些这样的实施例中，所述传感器读出控制模块7104控制第一和第二传感器，从而使其按照同步方式读出对应于感兴趣图像区域的相同部分的像素值行。在一些实施例中，第一和第二传感器对应于重叠的图像部分，并且所述传感器读出控制模块7104被配置成控制第一和第二传感器并行地读出对应于感兴趣图像区域的相同部分的像素值。
在一些实施例中，作为控制第二传感器读出像素值的一部分，所述传感器读出控制模块7104控制第二传感器与所述第一传感器的至少一些像素值的读出并行地读出像素值。
在一些实施例中，用户输入接口(例如图69的摄影机7000的用户输入接口7008)被配置成接收表明自动操作模式、高运动速率操作模式或高分辨率操作模式的用户输入。模式控制模块7106被配置成响应于所接收到的用户输入把摄影机设备设定在一种操作模式下。在各个实施例中，当所接收到的用户输入表明自动操作模式时，读出控制决定模块7102被配置成基于在由所述摄影机设备捕获的图像中检测到的运动速率来作出所述决定。
在一些实施例中，读出控制决定模块7102被配置成i)当运动速率高于第一阈值时决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及ii)当运动速率低于所述第一阈值时决定实施所述第二传感器的相继像素元件行的单独读出。
运动速率确定模块7108被配置成例如在读出控制决定模块7102作出决定之前，从由所述摄影机设备的光学链顺序地捕获的各幅图像确定所述运动速率。在各个实施例中，运动速率确定模块7108基于在第一时间周期期间捕获的图像与在跟随在所述第一时间周期之后的第二时间周期期间捕获的图像之间的差异来确定运动速率。
在一些实施例中，读出控制决定模块7102被配置成：当用户输入表明选择高运动速率操作模式时，决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及ii)当用户输入表明选择高分辨率操作模式时，决定实施所述第二传感器的相继像素元件行的单独读出。
在各个实施例中，传感器读出控制模块7104还被配置成：当所述决定是决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出时，控制对应于与所述第二光学链具有相同焦距的第三光学链(例如光学链37022)的第三传感器(例如传感器7058)实施对应于相继像素元件行的像素元件的联合读出，所述第三传感器被控制来在所述第二传感器的读出已经完成之后但是在第一传感器的读出完成之前联合读出至少一些像素值行。
联合读出控制模块7110被配置成当所述决定是决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出时，作为第一焦距与第二焦距的比值的函数来控制将在联合读取中被读出的像素元件行的数目。
在一些实施例中，传感器读出控制模块7104还被配置成：当所述决定是决定实施所述第二传感器的相继像素元件行的单独读出时，控制第一传感器按照一定速率读出所述第一传感器的像素元件的像素值，其中所述速率是第二焦距与第一焦距的比值的函数。在一些这样的实施例中，所述传感器读出控制模块7104还被配置成：作为被配置成按照基于第二焦距与第一焦距的比值的函数的速率控制第一传感器读出所述第一传感器的像素元件的像素值的一部分，控制第一传感器按照比从第二传感器读出像素值行的速率更低的速率来读出像素值行。
图71是示出了示例性感兴趣场景7202以及对应于根据一个示例性实施例的摄影机设备中的不同光学链的示例性捕获区域的图示7200。区域7204代表对应于具有焦距＝f2的光学链1的传感器的传感器捕获区域。区域7206代表对应于具有焦距＝f1的光学链2的传感器的传感器捕获区域。区域7208代表对应于具有焦距＝f1的光学链3的传感器的传感器捕获区域。在一个实施例中，所述摄影机设备是图69的摄影机设备7000，其实施根据图68的流程图6900的方法并且包括图70的模块套件7100。
图72是示出了对应于一个实例的示例性读出时间的图示7300，该例对应于用户输入高运动速率操作模式或者具有高感测速率的自动操作模式。包括在光学链1中的第一传感器7302对应于图71的捕获区域7204。包括在光学链2中的第二传感器7304对应于图71的捕获区域7206。包括在光学链3中的第三传感器7306对应于图71的捕获区域7208。列7308列出了对应于第一传感器7302的每一个像素元件行的行读出时间。列7310列出了对应于第二传感器7304和第三传感器7306的每一对相继像素元件行的联合行读出时间。
在该例中，为了实现快速读取以便例如避免或减少模糊，实施对应于第二和第三传感器的相继像素元件行的像素元件的联合读出。在时间0->TR期间，第一传感器的第一行被读出，并且对于第二传感器的第一和第二行实施联合读出。在时间TR->2TR期间，第一传感器的第二行被读出，并且对于第二传感器的第三和第四行实施联合读出。在时间2TR->3TR期间，第一传感器的第三行被读出，并且对于第二传感器的第五和第六行实施联合读出。在时间3TR->4TR期间，第一传感器的第四行被读出，并且对于第二传感器的第七和第八行实施联合读出。在时间4TR->5TR期间，第一传感器的第五行被读出，并且对于第二传感器的第九和第十行实施联合读出。在时间5TR->6TR期间，第一传感器的第六行被读出，并且对于第三传感器的第一和第二行实施联合读出。在时间6TR->7TR期间，第一传感器的第七行被读出，并且对于第三传感器的第三和第四行实施联合读出。在时间7TR->8TR期间，第一传感器的第八行被读出，并且对于第三传感器的第五和第六行实施联合读出。在时间8TR->9TR期间，第一传感器的第九行被读出，并且对于第三传感器的第七和第八行实施联合读出。在时间9TR->10TR期间，第一传感器的第十行被读出，并且对于第三传感器的第九和第十行实施联合读出。
图73是示出了对应于一个实例的示例性读出时间的图示7400，该例对应于用户输入高分辨率操作模式或者具有低感测速率的自动操作模式。包括在光学链1中的第一传感器7402对应于图71的捕获区域7204。包括在光学链2中的第二传感器7404对应于图71的捕获区域7206。包括在光学链3中的第三传感器7406对应于图71的捕获区域7208。列7408列出了对应于第一传感器7402的每一个像素元件行的行读出时间。列7410列出了对应于第二传感器7404和第三传感器7406的每一对相继像素元件行的单独行读出时间。
在该例中，为了实现高分辨率，实施对应于第二和第三传感器的像素元件行的像素元件的单独读出。在时间0->2TR期间，第一传感器的第一行被读出；在时间0->TR期间，第二传感器的第一行被读出；并且在时间1TR->2TR期间，第二传感器的第二行被读出。在时间2TR->4TR期间，第一传感器的第二行被读出；在时间2TR->3TR期间，第二传感器的第三行被读出；并且在时间3TR->4TR期间，第二传感器的第四行被读出。在时间4TR->6TR期间，第一传感器的第三行被读出；在时间4TR->5TR期间，第二传感器的第五行被读出；并且在时间5TR->6TR期间，第二传感器的第六行被读出。在时间6TR->8TR期间，第一传感器的第四行被读出；在时间6TR->7TR期间，第二传感器的第七行被读出；并且在时间7TR->8TR期间，第二传感器的第八行被读出。在时间8TR->10TR期间，第一传感器的第五行被读出；在时间8TR->9TR期间，第二传感器的第九行被读出；并且在时间9TR->10TR期间，第二传感器的第十行被读出。在时间10TR->12TR期间，第一传感器的第六行被读出；在时间10TR->11TR期间，第三传感器的第一行被读出；并且在时间11TR->12TR期间，第三传感器的第二行被读出。在时间12TR->14TR期间，第一传感器的第七行被读出；在时间12TR->13TR期间，第三传感器的第三行被读出；并且在时间13TR->14TR期间，第三传感器的第四行被读出。在时间14TR->16TR期间，第一传感器的第八行被读出；在时间14TR->15TR期间，第三传感器的第五行被读出；并且在时间15TR->16TR期间，第三传感器的第六行被读出。在时间16TR->18TR期间，第一传感器的第九行被读出；在时间16TR->17TR期间，第三传感器的第七行被读出；并且在时间17TR->18TR期间，第三传感器的第八行被读出。在时间18TR->20TR期间，第一传感器的第十行被读出；在时间18TR->19TR期间，第三传感器的第九行被读出；并且在时间19TR->20TR期间，第三传感器的第十行被读出。
应当提到的是，对应于图73的实例的总体读出时间的长度是图72的实例中的两倍。
本发明所描述的各种特征是针对利用一个或更多光重定向元件来减小摄影机装置的厚度的方法和装置。在各个实施例中，沿着光轴的光径在到达传感器之前被转向。在至少一些实施例中，沿着光轴进入摄影机设备的正面的光径被转向，从而使其至少部分地在平行于摄影机的表面的方向上行进。相应地，在至少一些实施例中，光径的长度不受摄影机的深度(例如正面到背面长度)限制。
在包括一个或更多摄影机模块的摄影机中，对于光重定向元件(例如反射镜或棱镜)的使用例如在延长从光学链(例如摄影机模块)的最前方透镜到相应的传感器的长度方面是有用的。在一些实施例中，圆形透镜(例如具有圆形孔径的透镜)被用作最外侧摄影机透镜，并且使用其深度与最外侧透镜的直径可比的光重定向元件。通过这种方式，假设摄影机被垂直地安排并且一个或多个透镜被安放在对应于摄影机外罩的正面的垂直平面内，则在可以被视为一个或多个外侧透镜的垂直和水平维度中接收到的光都可以被转向和捕获，而不需要摄影机的深度足以允许把光学链安排在平直正面到背面配置中，在所述配置中，光学链的最前方透镜被定位在摄影机的正面，传感器被定位在摄影机的背面并且处在光学链的最外侧透镜的正后方。
在一些实施例中，摄影机是利用多个光学链(例如摄影机模块)来实施的。在至少一些这样的实施例中，实施光的转向，从而使得摄影机模块的至少一部分可以利用从左到右维度(例如摄影机的侧面到侧面维度)或者从上到下维度(高度)，从而允许在相对纤薄的摄影机格式中支持相对较长的焦距。在一个这样的实施例中，具有小焦距和相应的小透镜的摄影机模块被实施在平直正面到背面配置中，而具有更大焦距和更大透镜的摄影机模块则利用光转向(例如在一些实施例中转向90度)，以便允许在相对于摄影机正面的侧向或上下方向上实施具有更大焦距的摄影机模块的一部分。
虽然在许多实施例中对于摄影机模块使用圆形透镜，但是在至少一些实施例中，具有长焦距的摄影机模块是利用具有非圆形(例如椭圆形)、细长或者具有在一个维度中大于另一个维度的孔径的其他透镜配置的透镜来实施的。在至少一个这样的实施例中，与光重定向设备组合使用非圆形透镜。正如在详细描述中所解释的那样，非圆形透镜与一个或更多光重定向设备的组合使用可以被用来实施比替换地使用具有圆形孔径的透镜所可能实现的情况更加纤薄的摄影机模块。
在至少一些实施例中，使用具有圆形透镜的一些摄影机模块和具有非圆形透镜的其他摄影机模块的组合。非圆形透镜(例如具有在平面的一个维度中比相同平面的另一个维度中更长的孔径的透镜)被用于具有大焦距的摄影机模块，例如在一些实施例中是等效于全帧DSLR的70mm焦距或更大的焦距，在一些实施例中是等效于全帧DSLR的150mm焦距或更大，在一些实施例中是等效于全帧DSLR的300mm焦距或更大。在至少一些这样的实施例中，具有圆形孔径的透镜被用于具有小焦距的摄影机模块，例如短于70mm全帧DSLR的等效焦距。透镜(摄影机)的焦距常常被表述成对应于全帧DSLR摄影机的等效焦距，其中DSLR摄影机是数字单透镜反射摄影机。比如具有35mm等效焦距的光学链之类的透镜或系统将从与具有35mm透镜的全帧DSLR摄影机所将成帧的相同距离成帧相同的镜头。具有35mm等效焦距的光学链的实际焦距可以小得多，这是因为传感器通常远小于全帧DSLR传感器。一般来说，如果传感器在每一个维度中是5分之1(面积是25分之1)，则具有7mm真实焦距的光学链将具有全帧DSLR的35mm等效焦距。
虽然在各个实施例中对于具有某些焦距的摄影机模块使用光转向以允许纤薄摄影机实现方式，但是具有更短焦距(例如等效于35mm全帧DSLR焦距的焦距)的一些其他摄影机模块可能并且有时是在不使用光重定向元件的情况下来实施的。
在一些实施例中，为了允许摄影机厚度小于摄影机模块的最外侧透镜元件的最大维度(在一些实施例中是沿着水平方向)和相应的孔径，在一些实施例中使用光重定向设备，其被配置成支持在一个方向上(例如水平方向)比另一个方向(例如垂直方向)更大的孔径。该光重定向设备使得沿着摄影机模块的光轴朝向摄影机行进的光转向，从而在转向之后在(例如垂直地)不同的方向上行进。这样就允许光重定向设备的深度小于孔径的最大维度。
通过使用支持在一个维度中(例如水平)比另一个维度更大的孔径的重定向元件，导致捕获到在一个维度中(例如水平)比另一个维度具有更高质量(例如捕获到更多更高频率的图像内容)的二维图像。虽然这样的图像与其中在垂直和水平维度中都捕获到相同数量的光学信息的更加均匀的图像相比可能较不理想，但是通过使用支持长方形孔径的光重定向元件而成为可能的更加纤薄的摄影机可能是合乎期望的，这是因为其允许摄影机比光经过该处进入摄影机的透镜开口的最长长度更薄。因此，在这样的实施例中，摄影机的厚度与长方形或非圆形透镜开口(孔径)的最大维度无关并且不受其约束。
通过使用非圆形(例如长方形、椭圆形或其他非圆形)孔径可能导致在一个维度中(例如沿着非圆形透镜的更长维度)捕获到比另一个维度更多的高频率图像信息。在各个实施例中，为了补偿由于在一个维度中比另一个维度更窄的透镜和/或有效孔径而导致的不同方向上的高频信息中的差异，使用具有更高分辨率维度的不同指向的多个光学链。具有不同指向的光学链捕获到在图像中具有最高分辨率维度的不同方向(例如水平、垂直、倾斜)的图像，其中摄影机处于垂直指向中并且摄影机透镜朝向前方。
在一个这样的实施例中，由不同光学链捕获的图像被组合以形成组合或复合图像。应当认识到，通过组合在不同维度中具有不同数量的高频信息的图像(其例如由不同的光学链同时捕获)，组合图像不需要受到由具有非圆形孔径光阑的光学链在一个维度中捕获的更低频率信息的约束。这是因为由不同光学链(例如具有允许在另一个光学链所欠缺的维度中捕获到更高频率信息的指向的光学链)捕获的图像可以被用来补偿由另一个光学链捕获的图像的弱点。作为一个实例，如果存在都具有非圆形(例如长方形)孔径的两个光学链，第一光学链的指向可能使得第一光学链的孔径在水平维度中更大，从而为由第一光学链捕获的图像给出水平方向上的更高分辨率，第二光学链的指向则可能使其相应地捕获具有更高垂直分辨率的图像。所述两幅图像可以并且在一些实施例中被组合成在垂直和水平方向上都具有更高分辨率的单幅复合图像。
因此，通过使用具有非圆形孔径但是不同指向的多个光学链并且组合由此类光学链捕获的图像，可以实施相对纤薄的摄影机，并且图像的质量(锐度)不会受到使用其直径通常将受摄影机深度限制的更小圆形孔径的约束。
在一些实施例中，非圆形透镜被用作多个光学链的最外侧透镜，所述多个光学链被用来并行地捕获最后被组合以形成组合图像的各幅图像。可以通过切除圆形透镜的某些部分而形成非圆形透镜，例如切除左侧和右侧部分，从而形成长方形透镜。在其他实施例中，通过应用掩模或者将透镜安放在其中的摄影机外罩的一部分来掩蔽圆形透镜的某些部分，从而形成具有长方形孔径的透镜。在其他实施例中，使用圆形外侧透镜，并且光重定向设备的尺寸和形状使得并非经过圆形透镜的所有光都被转向到传感器。在这样的实施例中，光重定向设备作为光径上的约束操作，并且成为传递到传感器的光上的孔径光阑(例如光约束点)。因此，在各个实施例中，长方形透镜充当孔径光阑，其中长方形孔径是光学链的光径上的收紧点，而在其他实施例中，光重定向元件充当光径上的约束和光学链中的孔径光阑，其中尽管外侧透镜可能是圆形的，但是有效孔径却是长方形的。
本发明描述了使用多个光学链同时捕获一个区域的多幅图像的方法和装置。所述多幅所捕获图像可以并且在一些实施例中虽有被组合以形成组合图像。在各个实施例中，组合图像通常比仅利用其中单个光学链所将实现的情况具有更高的质量。
通过使用通常可以利用比对于高质量大透镜单光学链摄影机实现方式通常所使用的更小和/或更低成本的组件来实施的多个光学链，各个实施例提供了与使用大透镜和/或较大的高质量创安琪相关联的许多益处。
在各个实施例中，光学链(例如摄影机模块)包括元件的组合，所述元件包括一个或更多透镜、光重定向设备和传感器。光重定向设备是光偏向器，并且可以采取多种形式，例如其可以是反射镜或棱镜。光重定向设备可以被铰接，以便允许通过移动光重定向设备来改变光学链所指向的角度并且从而还有方向。
在至少一些实施例中，组合由具有不同指向的非圆形孔径的不同光学链捕获的图像。在一些实施例中，来自两个、三个或更多(例如六个或更多)具有不同指向的光学链的图像被组合以形成单幅组合图像。虽然在一些实施例中组合了来自具有不同指向的光学链的图像，但是应当认识到，可以把由具有相同指向的多于一个光学链捕获的图像与由具有不同指向(例如相对于摄影机的底部，其出于说明的目的例如是水平的)的光学链捕获的一幅或更多幅图像相组合。因此，通过组合来自不同光学链的图像可以实现许多优点，从而与使用单个大圆形透镜的系统相比允许使用多个小透镜以及相对纤薄的摄影机外罩。
在各个实施例中，多个光学链的外侧透镜是固定的，因此不同于许多传统的变焦摄影机设备，在这样的实施例中，外侧透镜(即摄影机表面上的透镜)不会移出摄影机主体，并且即使在变焦操作期间相对于摄影机的表面也是固定的。最外侧透镜可以并且在一些实施例中确实具有零屈光力或者非常小的屈光力，并且在很大程度上充当防止灰尘进入外侧透镜所对应的光学链的覆盖物。在这样的实施例中，外侧透镜可以利用平坦的玻璃或塑料来实施。在一些实施例中，当摄影机被置于存放时将可滑动覆盖物滑动到外侧透镜之上，并且当要使用摄影机设备时滑动回去。图14示出了一个这样的实施例，其中透镜被露出，并且对于覆盖物所滑动到的位置，包括透镜覆盖物的外壳可以被用作摄影机握把或把手。
在一些实施例中，虽然最外侧透镜的一部分可以从摄影机设备的正面延伸超出摄影机设备的表面，但是最外侧透镜通常延伸(如果确实延伸的话)小于摄影机厚度的较小数量。因此，即使在使用期间，透镜也不会延伸到显著超出光学链被安放在其中的摄影机设备的表面，并且通常最多延伸小于摄影机设备的厚度的一半。
在许多(如果不是所有)情况下，由被用来拍摄照片的摄影机设备的一个或更多光学链模块捕获的代表真实世界对象和/或场景的图像以数字形式被保存在计算机可读介质(例如RAM)或其他存储器设备上，并且/或者以印刷图像的形式被储存在纸张或其他可印刷介质上。
虽然在静止图像捕获的情境中作了解释，但是应当认识到，本发明的摄影机设备和光学链模块也可以被用来捕获视频。在一些实施例中，捕获视频序列，并且用户可以选择视频序列中的一个对象(其例如被显示在序列的一帧中)作为聚焦区域，并且随后摄影机设备利用多个光学链模块捕获一幅或更多幅图像。所述图像可以并且在一些实施例中被组合以生成一幅或更多幅图像(例如帧)。可以并且在一些实施例中生成组合图像(例如帧)的序列，例如其中一些或所有单独的帧对应于同时捕获的多幅图像，但是不同的帧对应于在不同时间捕获的图像。
在一些实施例中，不同的光学链模块可能并且有时被控制成使用不同的曝光时间以便捕获不同数量的光，其中所捕获图像后来被组合以产生比利用单一曝光时间所可能实现的情况相比具有更大动态范围的图像，通过在具有相同曝光时间的不同光学链上使用不同的滤光器可以并且在一些实施例中实现了相同或类似的效果。举例来说，通过使用相同的曝光时间但是不同的滤光器，不同光学链模块的传感器将感测到不同数量的光，这是因为不同的滤光器允许不同数量的光经过。在一个这样的实施例中，由于对应于不同光学链模块(其对应于相同的颜色)的至少一些滤光器允许不同数量的光经过，因此光学量的曝光时间被保持相同。在非彩色实施例中，在未被彩色滤光的传感器前方使用具有不同暗度水平的中性滤光器。在一些实施例中，通过一个或更多光学链模块中的把所期望的滤光器移动就位的滤光器转盘的简单旋转或移动而实现切换到其中具有不同暗度水平的滤光器的模式。
本发明的摄影机设备支持多种操作模式以及不同操作模式之间的切换。不同模式可以对于每个区域使用不同数目的多个透镜，以及/或者对应于被用来并行地捕获场景区域的不同光学链的不同曝光时间。还可以支持不同的曝光模式和滤光器模式并且例如基于用户输入在其间进行切换。
在本发明的范围内，许多附加的变型和组合是可能的。
本发明的技术可以利用软件、硬件和/或软件与硬件的组合来实施。本发明是针对包括一个或更多摄影机或摄影机模块的装置，例如专用的摄影机设备、蜂窝电话和/或其他设备。本发明还针对方法，例如控制和/或操作根据本发明的摄影机、包括摄影机的设备、摄影机模块等等的方法。本发明还针对机器可读介质(例如ROM、RAM、CD、硬盘等等)，其包括用于控制机器实施根据本发明的一个或更多步骤的机器可读指令。
在各个实施例中，这里所描述的设备是利用一个或更多模块来实施，所述模块用以实施对应于本发明的一种或更多种方法的步骤，例如控制图像捕获和/或图像的组合。因此，在一些实施例中，本发明的各种特征是利用模块来实施的。这样的模块可以利用软件、硬件或者软件与硬件的组合来实施。在硬件实现方式的情况下，用硬件实施的实施例可以使用电路作为模块的一部分或全部。或者，模块可以作为一个或更多电路与例如透镜之类的光学元件以及/或者其他硬件元件的组合通过硬件来实施。因此，在至少一些实施例中，一个或更多模块并且有时是所有模块是完全用硬件实施的。许多前面描述的方法或方法步骤可以利用包括在机器可读介质(比如存储器设备，例如RAM、软盘等等)机器可执行指令(比如软件)来实施，以便控制机器(例如摄影机设备或者具有或不具有附加硬件的通用计算机)例如在一个或更多节点中实施所有前面描述的方法或者其某些部分。相应地，本发明特别是针对一种包括机器可执行指令的机器可读介质，所述机器可执行指令用于使得或控制机器(例如处理器和相关联的硬件)实施前面描述的(多种)方法的一个或更多或所有步骤。
虽然在摄影机的情境中进行了描述，本发明的至少一些方法和装置适用于多种图像捕获系统，其中包括支持或提供图像捕获功能的平板和蜂窝电话设备。
由这里所描述的摄影机设备捕获的图像可以是真实世界图像，其以用于在建筑工地、事故现场记录情况，以及/或者用于保存个人信息，不管是关于房屋还是车辆的情况的信息。
所捕获的图像和/或复合图像可能并且有时被显示在摄影机设备上或者发送到打印机以用于作为照片或永久性文档来打印，其可以被保持在文件中以作为个人或商业记录的一部分。
通过前面对于本发明的描述，本领域技术人员将认识到关于前面描述的本发明的方法和装置的许多附加变型。这样的变型应被视为落在本发明的范围内。在各个实施例中，摄影机设备被实施成数字摄影机、视频摄影机、笔记本计算机、个人数据助理(PDA)或者包括接收器/传送器电路以及逻辑和/或例程的其他便携式设备，以用于实施本发明的方法以及/或者用于把所捕获图像或所生成的复合图像传送到其他设备以供存储和显示。
在本发明的范围内，许多附加的变型和组合是可能的。在一些实施例中实施的摄影机具有光学链，其在使用期间不会延伸超出摄影机的正面并且被实施成便携式手持摄影机或包括摄影机的设备。这样的设备可以并且在一些实施例中确实具有相对平坦的正面，其中被用来覆盖光学链的正面的孔径的最外侧透镜或者透明物(例如平坦玻璃或塑料)光学链覆盖是固定的。但是在其他实施例中，光学链的透镜和/或其他元件可以并且有时确实延伸超出摄影机设备的表面。
在各个实施例中，摄影机设备被实施成数字摄影机、视频摄影机、笔记本计算机、个人数据助理(PDA)或者包括接收器/传送器电路以及逻辑和/或例程的其他便携式设备，以用于实施本发明的方法以及/或者用于把所捕获图像或所生成的复合图像传送到其他设备以供存储和显示。
在前面讨论的特征的范围内，许多附加的实施例是可能的。

Claims (61)

1.一种利用摄影机设备来捕获图像的方法，所述摄影机设备至少包括第一光学链和第二光学链，其中第一光学链包括第一传感器并且第二光学链包括第二传感器，所述第一光学链的焦距小于所述第二光学链，所述方法包括：
基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出决定，所述决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出。
2.根据权利要求1的方法，还包括：
控制第一传感器读出所述第一传感器的像素值；以及
根据关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出还是实施所述第二传感器的相继像素元件行的单独读出的所述决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
3.根据权利要求2的方法，其中，所述第一焦距小于所述第二焦距。
4.根据权利要求2的方法，其中，控制第二传感器读出像素值涉及控制第二传感器与所述第一传感器的至少一些像素值的读出并行地读出像素值。
5.根据权利要求2的方法，其中，所述作出决定的步骤基于用户输入，所述用户输入表明高运动速率操作模式或高分辨率操作模式，所述作出决定的步骤基于用户输入包括：
i)当用户输入表明选择高运动速率操作模式时决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及
ii)当用户输入表明选择高分辨率操作模式时决定实施所述第二传感器的相继像素元件行的单独读出。
6.根据权利要求4的方法，其中，所述作出决定的步骤基于运动速率，所述作出决定的步骤包括：
i)当运动速率高于第一阈值时决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及
ii)当运动速率低于所述第一阈值时决定实施所述第二传感器的相继像素元件行的单独读出。
7.根据权利要求6的方法，还包括：
从由所述摄影机设备的光学链顺序地捕获的各幅图像确定所述运动速率。
8.根据权利要求7的方法，其中，所述确定包括基于在第一时间周期期间捕获的图像与在跟随在所述第一时间周期之后的第二时间周期期间捕获的图像之间的差异来确定运动速率。
9.根据权利要求2的方法，还包括：
当所述决定是关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出的决定时，控制对应于与所述第二光学链具有相同焦距的第三光学链的第三传感器实施对应于相继像素元件行的像素元件的联合读出，所述第三传感器被控制来在所述第二传感器的读出已经完成之后但是在第一传感器的读出完成之前联合读出至少一些像素值行。
10.根据权利要求2的方法，还包括：
当所述决定是关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出的决定时，作为第一焦距与第二焦距的比值的函数来控制将在联合读取中被读出的像素元件行的数目。
11.根据权利要求2的方法，还包括：
当所述决定是关于实施所述第二传感器的相继像素元件行的单独读出的决定时，控制第一传感器以作为第二焦距与第一焦距的比值的函数的速率读出所述第一传感器的像素元件的像素值。
12.一种摄影机设备，包括：
包括第一传感器并且具有第一焦距的第一光学链；
包括第二传感器并且具有第二焦距的第二光学链，所述第一焦距小于所述第二焦距；以及
读出控制决定模块，其被配置成基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出读出控制决定，所述读出控制决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出。
13.根据权利要求12的摄影机设备，还包括：
传感器读出控制模块，其被配置成：
i)控制第一传感器读出所述第一传感器的像素值；以及
ii)根据所述读出控制决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
14.根据权利要求13的摄影机设备，其中，所述第一焦距小于所述第二焦距。
15.根据权利要求13的摄影机设备，其中，作为控制第二传感器读出像素值的一部分，所述传感器读出控制模块控制第二传感器与所述第一传感器的至少一些像素值的读出并行地读出像素值。
16.根据权利要求13的摄影机设备，还包括：
用户输入接口，其被配置成接收表明自动操作模式、高运动速率操作模式或高分辨率操作模式的用户输入；
模式控制模块，其被配置成响应于所接收到的用户输入把摄影机设备设定在一种操作模式下；并且
其中，当所接收到的用户输入表明自动操作模式时，所述读出控制决定模块被配置成基于在由所述摄影机设备捕获的图像中检测到的运动速率来作出所述决定。
17.根据权利要求15的摄影机设备，其中，所述读出控制决定模块被配置成：
i)当运动速率高于第一阈值时决定实施对应于第二传感器的相继像素元件行的像素元件的联合读出；以及
ii)当运动速率低于所述第一阈值时决定实施所述第二传感器的相继像素元件行的单独读出。
18.根据权利要求17的摄影机设备，还包括：
运动速率确定模块，其被配置成从由所述摄影机设备的光学链顺序地捕获的各幅图像确定所述运动速率。
19.根据权利要求18的摄影机设备，其中，所述运动速率确定模块基于在第一时间周期期间捕获的图像与在跟随在所述第一时间周期之后的第二时间周期期间捕获的图像之间的差异来确定运动速率。
20.根据权利要求13的摄影机设备，其中，所述传感器读出控制模块还被配置成：
当所述决定是关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出的决定时，控制对应于与所述第二光学链具有相同焦距的第三光学链的第三传感器实施对应于相继像素元件行的像素元件的联合读出，所述第三传感器被控制来在所述第二传感器的读出已经完成之后但是在第一传感器的读出完成之前联合读出至少一些像素值行。
21.根据权利要求13的摄影机设备，还包括：
联合读出控制模块，其被配置成当所述决定是关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出的决定时，作为第一焦距与第二焦距的比值的函数来控制将在联合读取中被读出的像素元件行的数目。
22.一种包括处理器可执行指令的非瞬时性机器可读介质，所述处理器可执行指令在由摄影机设备的处理器执行时控制摄影机设备实施以下步骤，其中所述摄影机设备至少包括第一光学链和第二光学链，第一光学链包括第一传感器并且第二光学链包括第二传感器，所述第一光学链的焦距小于所述第二光学链：
基于i)用户输入或ii)所确定的运动速率的至少其中之一来作出决定，所述决定是关于控制第二光学链的第二传感器实施对应于第二传感器的相继像素元件行的像素元件的联合读出，还是实施所述第二传感器的相继像素元件行的单独读出。
23.根据权利要求22的非瞬时性机器可读介质，还包括在由处理器执行时控制摄影机设备实施以下步骤的处理器可执行指令：
控制第一传感器读出所述第一传感器的像素值；以及
根据关于实施对应于第二传感器的相继像素元件行的像素元件的联合读出还是实施所述第二传感器的相继像素元件行的单独读出的所述决定，控制第二传感器读出所述第二传感器的各个像素元件的像素值。
24.一种操作摄影机设备来扫描感兴趣场景区域的一部分的方法，所述方法包括：
控制多个图像传感器从所述感兴趣场景区域的第一边缘到所述感兴趣场景区域的第二边缘扫描所述感兴趣场景区域，所述感兴趣场景区域的所述第一和第二边缘是平行的，所述扫描包括根据从感兴趣场景区域的所述第一边缘继续到所述第二边缘的扫描位置来控制图像捕获，所述控制包括在卷帘快门模式下操作所述多个图像传感器当中的第一图像传感器，从而在所述第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述当前扫描位置随着时间改变，所述控制还包括在卷帘快门模式下操作所述多个图像传感器当中的第二图像传感器，从而在所述第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述第一和第二图像传感器捕获所述感兴趣场景区域的不同部分的图像。
25.根据权利要求24的方法，其中，所述第一图像传感器捕获不被第二图像传感器捕获的感兴趣场景区域的一部分的图像；并且
其中，所述第二图像传感器捕获不被所述第一图像传感器捕获的所述感兴趣场景区域的一部分的图像。
26.根据权利要求24的方法，其中，所述第一和第二图像传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分在扫描方向上的限度大于感兴趣场景区域的第二部分的限度，所述控制还包括：
把第一图像传感器的读出的持续时间控制成具有比第二图像传感器的读出更长的持续时间。
27.根据权利要求24的方法，其中，所述第一图像传感器对应于具有第一焦距的光学链；
其中，所述第二图像传感器对应于具有第二焦距的光学链；并且
其中，所述控制包括作为第一和第二图像传感器所对应的单独光学链的焦距的函数来控制从第一和第二图像传感器读出像素行的速率。
28.根据权利要求27的方法，其中，第一图像传感器的像素尺寸与第二图像传感器的像素尺寸相同。
29.根据权利要求28的方法，其中，第一焦距是第二焦距的N倍，控制从第一图像传感器读出像素值的持续时间的所述步骤包括在一速率下从第一图像传感器读出像素值行，所述速率是从第二图像传感器读出像素值行的速率的N倍快。
30.根据权利要求24的方法，其中，所述多个图像传感器包括捕获所述感兴趣场景区域的基本上不重叠部分的多个图像传感器，并且其中由所述多个图像传感器捕获的所述感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。
31.根据权利要求24的方法，其中，由第一图像传感器捕获的所述感兴趣场景区域的第一部分所开始的扫描位置处在由第二图像传感器捕获的感兴趣场景区域的第二部分之前。
32.根据权利要求31的方法，其中，所述多个图像传感器包括5个传感器，其中四个捕获所述感兴趣场景的基本上不重叠的部分；并且其中感兴趣场景区域的第二部分的第一到第四不同角落部分与由所述五个传感器当中的其余四个传感器捕获的所述感兴趣场景区域的不同相应部分重叠。
33.根据权利要求31的方法，其中，所述多个图像传感器包括5个传感器，其中四个捕获所述感兴趣场景区域的四个不同部分，所述感兴趣场景区域的所述四个不同部分当中的每一个的至少一个角落与通过所述感兴趣场景区域的所述四个不同部分当中的其他三个所捕获的图像部分不重叠，第五传感器捕获所述感兴趣场景区域的中心部分。
34.根据权利要求24的方法，
其中，所述多个图像传感器包括第三图像传感器；
其中，所述第一图像传感器捕获所述感兴趣场景区域的第一部分；
其中，所述第二图像传感器捕获所述感兴趣场景区域的第二部分，其中所述感兴趣场景区域的所述第一和第二部分部分地不重叠；并且
其中，所述第三图像传感器捕获整个感兴趣场景区域。
35.一种摄影机设备，包括：
多个光学链；以及
传感器控制器，被配置成控制对应于所述多个光学链的多个图像传感器，以便从感兴趣场景区域的第一边缘到所述感兴趣场景区域的第二边缘扫描所述感兴趣场景区域，所述感兴趣场景区域的所述第一和第二边缘是平行的，作为所述扫描的一部分，所述传感器控制器根据从感兴趣场景区域的所述第一边缘继续到所述第二边缘的扫描位置来控制图像捕获，所述传感器控制器在卷帘快门模式下控制所述多个图像传感器当中的第一图像传感器，从而在所述第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述当前扫描位置随着时间改变，所述传感器控制器还在卷帘快门模式下控制所述多个图像传感器当中的第二图像传感器，从而在所述第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述第一和第二图像传感器捕获所述感兴趣场景区域的不同部分的图像。
36.根据权利要求35的摄影机设备，其中，所述第一图像传感器捕获不被第二图像传感器捕获的感兴趣场景区域的一部分的图像；并且
其中，所述第二图像传感器捕获不被所述第一图像传感器捕获的所述感兴趣场景区域的一部分的图像。
37.根据权利要求35的摄影机设备，其中，所述第一和第二图像传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分在扫描方向上的限度大于感兴趣场景区域的第二部分的限度，所述传感器控制器还被配置成：
把第一图像传感器的读出的持续时间控制成具有比第二图像传感器的读出更长的持续时间。
38.根据权利要求35的摄影机设备，其中，所述第一图像传感器对应于具有第一焦距的光学链，并且所述第二图像传感器对应于具有第二焦距的光学链；并且
其中，所述传感器控制器被配置成作为第一和第二图像传感器所对应的单独光学链的焦距的函数来控制从第一和第二图像传感器读出像素行的速率。
39.根据权利要求35的摄影机设备，其中，所述多个图像传感器包括捕获所述感兴趣场景区域的基本上不重叠部分的多个图像传感器，并且其中由所述多个图像传感器捕获的所述感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。
40.根据权利要求35的摄影机设备，其中，由第一图像传感器捕获的所述感兴趣场景区域的第一部分所开始的扫描位置处在由第二图像传感器捕获的感兴趣场景区域的第二部分之前。
41.根据权利要求40的摄影机设备，其中，所述多个图像传感器包括5个传感器，其中四个捕获所述感兴趣场景的基本上不重叠的部分；并且其中感兴趣场景区域的第二部分的第一到第四不同角落部分与由所述五个传感器当中的其余四个传感器捕获的所述感兴趣场景区域的不同相应部分重叠。
42.根据权利要求35的摄影机设备，
其中，所述多个图像传感器包括第三图像传感器；
其中，所述第一图像传感器捕获所述感兴趣场景区域的第一部分；
其中，所述第二图像传感器捕获所述感兴趣场景区域的第二部分，其中所述感兴趣场景区域的所述第一和第二部分部分地不重叠；并且
其中，所述第三图像传感器捕获整个感兴趣场景区域。
43.一种非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括计算机可执行指令，所述非瞬时性计算机可读介质包括：
指令，其在由处理器执行时控制多个图像传感器从感兴趣场景区域的第一边缘到所述感兴趣场景区域的第二边缘扫描所述感兴趣场景区域，所述感兴趣场景区域的所述第一和第二边缘是平行的，所述扫描包括根据从感兴趣场景区域的所述第一边缘继续到所述第二边缘的扫描位置来控制图像捕获，所述指令使得所述处理器在卷帘快门模式下控制所述多个图像传感器当中的第一图像传感器，从而在所述第一图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述当前扫描位置随着时间改变，所述指令还使得所述处理器在卷帘快门模式下控制所述多个图像传感器当中的第二图像传感器，从而在所述第二图像传感器具有对应于当前扫描位置的像素值行时读出对应于所述当前扫描位置的像素值行，所述第一和第二图像传感器捕获所述感兴趣场景区域的不同部分的图像。
44.一种捕获对应于感兴趣场景区域的图像的方法，所述方法包括：
控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中所述第二焦距不同于所述第一焦距，所述感兴趣场景区域的不同部分在不同时间被读出。
45.根据权利要求44的方法，其中，所述控制包括对于包括在所述第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出。
46.根据权利要求45的方法，其中，第一光学链的第一图像传感器的顶部边缘对应于作为所述第一图像传感器的卷帘快门读出的一部分而被首先读出的像素值行，所述卷帘快门读出包括开始于第一图像传感器的顶部边缘并且继续到所述第一图像传感器的底部边缘的各个像素值行的顺序读出；并且
其中，第二光学链的第二图像传感器的顶部边缘对应于作为所述第二图像传感器的卷帘快门读出的一部分而被首先读出的像素值行，第二图像传感器的所述卷帘快门读出包括开始于第二图像传感器的顶部边缘并且继续到所述第二图像传感器的底部边缘的各个像素值行的顺序读出，第一和第二图像传感器的扫描方向是相同的。
47.根据权利要求46的方法，
其中，所述第一和第二图像传感器包括相同数目的像素行；并且
其中，控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值包括作为第一和第二光学链的焦距的函数来控制所述第一和第二图像传感器的读出速率。
48.根据权利要求47的方法，其中，第一光学链的第一焦距大于第二光学链的第二焦距，所述方法包括：
控制第一图像传感器在一时间周期内读出所述第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距与第一焦距的比值乘以被用来读出所述第二图像传感器中的相同数目的像素行的时间量。
49.根据权利要求48的方法，
其中，第一焦距是第二焦距的两倍；并且
其中，第二图像传感器在一时间周期内被完全读出，所述时间周期是被用来完全读出所述第一图像传感器的第一时间周期的两倍长。
50.根据权利要求49的方法，
其中，控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值还包括：
在从所述第一图像传感器读出最后一个像素值行之后，控制第三光学链的第三图像传感器读出对应于所述感兴趣场景区域的第三部分的像素值；
其中，所述第一图像传感器捕获所述感兴趣场景区域的第一部分；
其中，所述第二图像传感器捕获所述感兴趣场景区域的大于所述第一部分的第二部分；并且
其中，所述感兴趣场景区域的所述第三部分位于所述感兴趣场景区域的所述第一部分下方。
51.根据权利要求50的方法，
其中，所述第二图像传感器(较小焦距图像传感器捕获较大图像区域)至少捕获与所述第一和第三图像传感器所捕获的基本上相同的图像区域，但是其读出时间长于所述第一和第三图像传感器当中的任一个的单独读出时间。
52.一种用于捕获对应于感兴趣场景区域的图像的摄影机设备，包括：
多个光学链；以及
被配置成控制所述多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值的控制器，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中所述第二焦距不同于所述第一焦距，所述感兴趣场景区域的不同部分在不同时间被读出。
53.根据权利要求52的摄影机设备，其中，所述控制器被配置成对于包括在所述第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出。
54.根据权利要求53的摄影机设备，其中，第一光学链的第一图像传感器的顶部边缘对应于作为所述第一图像传感器的卷帘快门读出的一部分而被首先读出的像素值行，所述卷帘快门读出包括开始于第一图像传感器的顶部边缘并且继续到所述第一图像传感器的底部边缘的各个像素值行的顺序读出；并且
其中，第二光学链的第二图像传感器的顶部边缘对应于作为所述第二图像传感器的卷帘快门读出的一部分而被首先读出的像素值行，第二图像传感器的所述卷帘快门读出包括开始于第二图像传感器的顶部边缘并且继续到所述第二图像传感器的底部边缘的各个像素值行的顺序读出，第一和第二图像传感器的扫描方向是相同的。
55.根据权利要求54的摄影机设备，
其中，所述第一和第二图像传感器包括相同数目的像素行；并且
其中，作为被配置成控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值的一部分，所述控制器被配置成作为第一和第二光学链的焦距的函数来控制所述第一和第二图像传感器的读出速率。
56.根据权利要求55的摄影机设备，其中，第一焦距大于第二焦距；并且
其中，所述控制器还被配置成控制第一图像传感器在一时间周期内读出所述第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距与第一焦距的比值乘以被用来读出所述第二图像传感器中的相同数目的像素行的时间量。
57.根据权利要求56的摄影机设备，
其中，第一焦距是第二焦距的两倍；并且
其中，所述控制器还被配置成控制第二图像传感器在一时间周期内被完全读出，所述时间周期是被用来完全读出所述第一图像传感器的第一时间周期的两倍长。
58.根据权利要求57的摄影机设备，
其中，所述第一图像传感器捕获所述感兴趣场景区域的第一部分；
其中，所述第二图像传感器捕获所述感兴趣场景区域的大于所述第一部分的第二部分；
其中，所述控制器还被配置成在从所述第一图像传感器读出最后一个像素值行之后控制第三光学链的第三图像传感器读出对应于所述感兴趣场景区域的第三部分的像素值，其中所述感兴趣场景区域的所述第三部分位于所述感兴趣场景区域的所述第一部分下方。
59.根据权利要求58的摄影机设备，
其中，所述第二图像传感器至少捕获与所述第一和第三图像传感器所捕获的基本上相同的图像区域，但是其读出时间长于所述第一和第三图像传感器当中的任一个的单独读出时间。
60.一种包括计算机可执行指令的非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括：
指令，其在由处理器执行时控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值，所述多个光学链包括具有第一焦距的第一光学链和具有第二焦距的第二光学链，其中所述第二焦距不同于所述第一焦距，所述感兴趣场景区域的不同部分在不同时间被读出。
61.根据权利要求60的非瞬时性计算机可读介质，
其中，在由所述处理器执行时控制所述多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素值的所述指令包括用于对包括在所述第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出的指令。
CN201480067893.XA 2013-10-18 2014-10-17 图像捕获控制方法和装置 Active CN105830424B (zh)

Applications Claiming Priority (31)

Application Number Priority Date Filing Date Title
US201361893100P 2013-10-18 2013-10-18
US61/893,100 2013-10-18
US201461978818P 2014-04-11 2014-04-11
US61/978,818 2014-04-11
US201461981849P 2014-04-20 2014-04-20
US61/981,849 2014-04-20
US201462021094P 2014-07-04 2014-07-04
US62/021,094 2014-07-04
US14/327,515 US9563033B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images and/or for using captured images
US14/327,514 US9578252B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images using optical chains and/or for using captured images
US14/327,492 US9851527B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing and/or combining images
US14/327,524 2014-07-09
US14/327,514 2014-07-09
US14/327,515 2014-07-09
US14/327,525 2014-07-09
US14/327,525 US9197816B2 (en) 2013-10-18 2014-07-09 Zoom related methods and apparatus
US14/327,510 US9325906B2 (en) 2013-10-18 2014-07-09 Methods and apparatus relating to a thin camera device
US14/327,510 2014-07-09
US14/327,512 2014-07-09
US14/327,524 US9423588B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for supporting zoom operations
US14/327,518 2014-07-09
US14/327,512 US9557519B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US14/327,518 US9557520B2 (en) 2013-10-18 2014-07-09 Synchronized image capture methods and apparatus
US14/327,508 US9549127B2 (en) 2013-10-18 2014-07-09 Image capture control methods and apparatus
US14/327,517 2014-07-09
US14/327,517 US9551854B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for controlling sensors to capture images in a synchronized manner
US14/327,508 2014-07-09
US14/327,492 2014-07-09
US14/516,568 US9374514B2 (en) 2013-10-18 2014-10-16 Methods and apparatus relating to a camera including multiple optical chains
US14/516,568 2014-10-16
PCT/US2014/061258 WO2015058157A1 (en) 2013-10-18 2014-10-17 Image capture control methods and apparatus

Publications (2)

Publication Number Publication Date
CN105830424A true CN105830424A (zh) 2016-08-03
CN105830424B CN105830424B (zh) 2018-12-11

Family

ID=56365886

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480067893.XA Active CN105830424B (zh) 2013-10-18 2014-10-17 图像捕获控制方法和装置
CN201480068389.1A Active CN105829945B (zh) 2013-10-18 2014-10-17 用于实施和/或使用摄影机设备的方法和装置
CN201480068390.4A Pending CN105830425A (zh) 2013-10-18 2014-10-17 用于捕获和/或组合图像的方法和装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201480068389.1A Active CN105829945B (zh) 2013-10-18 2014-10-17 用于实施和/或使用摄影机设备的方法和装置
CN201480068390.4A Pending CN105830425A (zh) 2013-10-18 2014-10-17 用于捕获和/或组合图像的方法和装置

Country Status (4)

Country Link
EP (3) EP3058713B1 (zh)
JP (3) JP2016540417A (zh)
KR (1) KR20160075583A (zh)
CN (3) CN105830424B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657801A (zh) * 2016-10-26 2017-05-10 浙江大华技术股份有限公司 一种视频信息采集方法及装置
CN110771135A (zh) * 2017-04-13 2020-02-07 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统和提供多孔径成像设备的方法
CN111033344A (zh) * 2017-06-30 2020-04-17 珀莱特股份有限公司 用于集成在移动装置中的具有多个相机的模块
US10924684B2 (en) 2016-10-26 2021-02-16 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN116132824A (zh) * 2023-04-13 2023-05-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
US9854156B1 (en) 2016-06-12 2017-12-26 Apple Inc. User interface for camera effects
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers
EP3579040B1 (en) * 2017-02-23 2021-06-23 Corephotonics Ltd. Folded camera lens designs
DE102017208709B3 (de) * 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107343124B (zh) * 2017-08-08 2020-07-03 信利光电股份有限公司 一种摄像头
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
CN208386734U (zh) * 2018-06-14 2019-01-15 Oppo广东移动通信有限公司 摄像头模组和电子装置
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
KR101987922B1 (ko) 2019-01-08 2019-06-11 오은실 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템
CN116990928A (zh) * 2019-02-25 2023-11-03 核心光电有限公司 相机及包括所述相机的多重相机
CN111901475A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN115299859A (zh) * 2021-03-03 2022-11-08 重庆金山医疗技术研究院有限公司 一种内窥镜系统
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100165156A1 (en) * 2008-12-31 2010-07-01 Stmicroelectronics S.A. Image capture device comprising focusing adjustment means
CN101902572A (zh) * 2009-05-04 2010-12-01 弗莱克斯电子有限责任公司 双镜头数字变焦

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311819A (ja) * 1998-04-28 1999-11-09 Olympus Optical Co Ltd カメラの撮影レンズ
JP3463612B2 (ja) * 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US6829011B1 (en) * 1999-09-02 2004-12-07 Olympus Optical Co., Ltd. Electronic imaging device
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP4635550B2 (ja) * 2004-10-04 2011-02-23 株式会社ニコン カメラ
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
JP2008263251A (ja) * 2005-08-05 2008-10-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP4752652B2 (ja) * 2006-07-14 2011-08-17 カシオ計算機株式会社 撮像装置、撮像画像表示方法、及び、プログラム
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
CN101498821B (zh) * 2008-02-02 2010-12-22 华晶科技股份有限公司 镜头模组以及镜头模组的焦距调整方法
JP5243432B2 (ja) * 2008-02-06 2013-07-24 パナソニック株式会社 画像処理装置、及び画像処理方法
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
CN101833157A (zh) * 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2011138047A (ja) * 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
US9172856B2 (en) * 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP2013143753A (ja) * 2012-01-12 2013-07-22 Olympus Corp 撮像装置
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP5435104B2 (ja) * 2012-10-26 2014-03-05 ソニー株式会社 情報処理装置、表示装置および情報処理装置の制御方法
WO2015009237A1 (en) * 2013-07-17 2015-01-22 Heptagon Micro Optics Pte. Ltd. Camera module including a non-circular lens

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100165156A1 (en) * 2008-12-31 2010-07-01 Stmicroelectronics S.A. Image capture device comprising focusing adjustment means
CN101902572A (zh) * 2009-05-04 2010-12-01 弗莱克斯电子有限责任公司 双镜头数字变焦

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657801A (zh) * 2016-10-26 2017-05-10 浙江大华技术股份有限公司 一种视频信息采集方法及装置
CN106657801B (zh) * 2016-10-26 2019-05-24 浙江大华技术股份有限公司 一种视频信息采集方法及装置
US10924684B2 (en) 2016-10-26 2021-02-16 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
US11539897B2 (en) 2016-10-26 2022-12-27 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN110771135A (zh) * 2017-04-13 2020-02-07 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统和提供多孔径成像设备的方法
CN110771135B (zh) * 2017-04-13 2022-06-07 弗劳恩霍夫应用研究促进协会 多孔径成像设备、成像系统和提供多孔径成像设备的方法
CN111033344A (zh) * 2017-06-30 2020-04-17 珀莱特股份有限公司 用于集成在移动装置中的具有多个相机的模块
CN116132824A (zh) * 2023-04-13 2023-05-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质
CN116132824B (zh) * 2023-04-13 2023-06-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
EP3058713B1 (en) 2021-01-27
KR20160075583A (ko) 2016-06-29
CN105829945B (zh) 2019-04-09
JP2016541151A (ja) 2016-12-28
JP2016540418A (ja) 2016-12-22
EP3058416A4 (en) 2017-06-07
EP3058416A1 (en) 2016-08-24
EP3058416B1 (en) 2019-11-20
CN105830425A (zh) 2016-08-03
CN105829945A (zh) 2016-08-03
EP3058714A1 (en) 2016-08-24
EP3058713A4 (en) 2017-11-15
CN105830424B (zh) 2018-12-11
EP3058714A4 (en) 2017-11-22
EP3058713A1 (en) 2016-08-24
JP2016540417A (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
CN105830424A (zh) 图像捕获控制方法和装置
US11262558B2 (en) Methods and apparatus for implementing and/or using a camera device
US10009530B2 (en) Methods and apparatus for synchronized image capture using camera modules with different focal lengths
WO2015058153A1 (en) Methods and apparatus for implementing and/or using a camera device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Photo lab Limited by Share Ltd

Address before: American California

Applicant before: LIGHTCO INC

GR01 Patent grant
GR01 Patent grant