CN105829945B - 用于实施和/或使用摄影机设备的方法和装置 - Google Patents

用于实施和/或使用摄影机设备的方法和装置 Download PDF

Info

Publication number
CN105829945B
CN105829945B CN201480068389.1A CN201480068389A CN105829945B CN 105829945 B CN105829945 B CN 105829945B CN 201480068389 A CN201480068389 A CN 201480068389A CN 105829945 B CN105829945 B CN 105829945B
Authority
CN
China
Prior art keywords
sensor
lens
optical
light
optical train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480068389.1A
Other languages
English (en)
Other versions
CN105829945A (zh
Inventor
R·拉洛亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Photo Lab Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/327,517 external-priority patent/US9551854B2/en
Priority claimed from US14/327,514 external-priority patent/US9578252B2/en
Priority claimed from US14/516,568 external-priority patent/US9374514B2/en
Application filed by Photo Lab Ltd By Share Ltd filed Critical Photo Lab Ltd By Share Ltd
Publication of CN105829945A publication Critical patent/CN105829945A/zh
Application granted granted Critical
Publication of CN105829945B publication Critical patent/CN105829945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/008—Systems specially adapted to form image relays or chained systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/28—Mobile studios

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Diaphragms For Cameras (AREA)

Abstract

本发明描述了涉及包括多个光学链的摄影机设备的方法和装置。一些特征是针对使用具有不同透镜配置的光学链来支持摄影机设备中的多种焦距。在至少一些实施例中，对于具有大焦距的光学链使用非圆形外侧透镜，具有更小焦距的相同摄影机设备的光学链则使用圆形外侧透镜。一些特征涉及实施具有小于摄影机的至少一个光学链的外侧透镜的最大长度的深度的摄影机。描述了涉及使用具有不平行光轴的光学链的图像部分的图像捕获的一些特征。一些特征涉及使用具有不同焦距的光学链的图像部分的图像捕获。在一些实施例中，组合由不同光学链捕获的场景的不同部分。

Description

用于实施和/或使用摄影机设备的方法和装置
技术领域
本申请涉及图像捕获和生成方法及装置，更具体来说涉及与包括多个光学链的摄影机设备有关并且/或者处理摄影机设备的多个光学链的输出的方法和装置，以便例如生成一幅或更多幅复合图像。
背景技术
高质量数字摄影机已经在很大程度上取代了胶片摄影机。但是与胶片摄影机一样，对于数字摄影机，摄影机工业的很多注意力都放在摄影机上所使用的透镜的尺寸和质量上。出于多种原因，尝试拍摄高质量照片的个人常常被鼓励在具有较大体积并且常常成本高昂的透镜方面进行投资。使用大孔径透镜的其中一个原因是其与更小孔径的透镜相比在给定的时间段内捕获大量的光的能力。长焦透镜往往较大，这不仅是因为其具有较大的孔径，而且还是因为其具有较长的焦距。通常来说，焦距越长，透镜越大。长焦距为摄影者给出了从很远处拍摄照片的能力。
在对于高质量照片的探求中，可以捕获的光的数量对于最终的图像质量常常是很重要的。具有大孔径透镜允许捕获大量的光，从而与利用小透镜捕获相同数量的光的曝光时间相比将允许更短的曝光时间。通过使用较短的曝光时间可以特别对于具有运动的图像减少模糊。捕获大量的光的能力还可以促进即使在低光条件下也拍摄出高质量图像。此外，使用大孔径透镜使得有可能具有艺术效果，比如对应于人像摄影的较小场深度。
虽然大透镜与较小的透镜相比在捕获相对大数量的光的能力方面具有许多优点，其可以被用来支持能够利用光学或数字技术实施的大变焦范围，并且常常允许对于聚焦的良好控制，但是使用大透镜也存在许多缺点。
大透镜往往非常重，从而需要相对高强度并且常常较大的支撑结构来把摄影机套件的各个透镜保持对准。大透镜的较重的重量使得具有此类透镜的摄影机运输起来较为困难并且笨重。此外，具有大透镜的摄影机常常需要长时间使用三脚架或其他支撑件，这是因为具有大透镜的摄影机的净重可能使得个人短时间持握就变得非常累。
除了重量和尺寸缺陷之外，大透镜还具有成本高昂的缺点。这特别是因为难以制造较大的高质量光学元件并且将其包装，从而使其将在一段时间内保持适当的对准，该段时间可以反映出预期摄影机透镜会提供的许多年的使用。
在数字摄影机中，被用作传感器的光敏电子装置(例如感光设备)常常是电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)图像传感器，其包括大量单个传感器元件，每一个传感器元件记录所测量的强度水平。
在许多数字摄影机中，传感器阵列覆盖有组成图案的彩色滤光器马赛克，其具有红色、绿色和蓝色区段的安排。Bayer滤光器马赛克是用于把RGB彩色滤光器安排在光电传感器的正方形网格上的一种众所周知的彩色滤光器阵列(CFA)。其彩色滤光器的具体安排被使用在许多数字图像传感器中。在这样的用以捕获彩色图像的基于传感器的方法中，每一个传感器元件可以记录光的单一原色的强度。摄影机随后通常将通过有时被称作去马赛克(demosaicing)的处理对相邻传感器元件的颜色信息进行内插，从而产生最终的图像。使用彩色滤光器的传感器阵列中的传感器元件常常被称作“像素”，尽管由于使用在传感器元件之上的滤光器其仅仅记录最终彩色图像的1个通道(仅有红色、绿色或蓝色)。
在摄影机中，通常使用光可以从中穿过的圆形透镜(透镜元件)，例如具有圆形孔径的透镜。这样就允许光在垂直和水平方向上(实际上是任何方向)都均等地穿过透镜。在其中使用一个或更多圆形透镜的光学链中的各个元件常常具有足够的尺寸以使得足够的光穿过，从而在摄影机的传感器处记录清晰的图像。对于透镜，光轴是穿过透镜的中心并且垂直于透镜的平面的线。当从多于一个透镜元件构造透镜套件时，各个元件通常被设置成全部共享共同的光轴，其也是透镜套件的光轴。在典型的光学链(例如摄影机模块)中，光轴还穿过传感器的中心。沿着透镜套件或摄影机模块的光轴行进的光不会被沿着所述路径的任何透镜弯曲，并且会继续沿着光轴直线行进。如果所有透镜元件都是圆形的，则这样的摄影机模块具有围绕光轴的圆柱对称性。在大多数摄影机中，摄影机的各个光学元件被安排在线性配置中，其中光轴直线穿过外侧透镜到达传感器。这样的配置可能导致相对较厚的摄影机，例如具有较大的正面到背面距离或深度的摄影机。在具有较大的光学元件和/或支持机械变焦的摄影机中，摄影机厚度可能非常大，其中摄影机常常有几英寸厚并且深度太大，从而无法存放在口袋中或者甚至在某些情况下无法存放在手提袋中。
常常在焦距方面讨论摄影机和其他光学系统。光学系统的焦距是关于系统会聚或发散光的能力强弱的度量。对于空气中的光学系统，其是初始地准直的光线被带到焦点的距离。具有更短焦距的系统比具有更长焦距的系统的屈光力(optical power)更高；也就是说，其弯曲光线的能力更强，从而在更短的距离内将其带到焦点。常常利用大透镜实现的更长的焦距(较低的屈光力)导致更高的放大率(例如变焦)和更窄的视角(视场)。因此，与具有更小焦距的相同位置处的光学链相比，例如具有较大(例如较长)的焦距的光学链(例如摄影机模块)将捕获对应于场景区域的更小部分的图像。应当认识到，对于相同的传感器尺寸，与具有更长焦距的光学链相比，具有更短焦距或更高屈光力的光学链与更宽的视角相关联，因此与具有更大焦距的相同位置处的光学链相比，在离开光学链的相同距离处将捕获对应于场景区域的更大部分的图像。
透镜元件的焦距通常不是透镜尺寸的函数，例如在具有圆形孔径(例如光可以从中穿过的圆形区域)的透镜元件的情况下的直径。在光学链或其他光学设备中，设备的焦距有时被称作有效焦距，这是因为设备的焦距将取决于构成设备的一个或更多光学元件(例如透镜)及其相互作用。当有效焦距较大时，为了拍摄具有良好质量的倾斜照片需要更大孔径的透镜元件(更大直径的透镜)。
由于其所能够提供的变焦(放大率)的数量，使用大焦距透镜和具有大焦距的光学链常常是合乎期望的。但是特别在各个光学组件被安排成使得沿着光轴的光从最外侧透镜直线传递到被用来基于穿过透镜的光而捕获图像的传感器的情况下，使用通常被用来产生具有大焦距的光学链的光学组件往往会导致较厚的摄影机。
从前面的讨论应当认识到，需要允许摄影机设备使用或包括一个或更多光学链的新的方法和/或装置。举例来说，合乎期望的做法将是可以开发出允许摄影机使用例如具有大焦距的一个或更多光学链或元件但是其中摄影机仍然具有相对纤薄的格式的方法和装置。
此外还需要允许摄影机使用一个或更多光学链来捕获图像并且/或者使用由包括多个光学链的设备捕获的图像的方法和装置。合乎期望的做法将是可以开发出允许摄影机使用一个或更多光学链、控制多个光学链以及/或者处理从摄影机设备的多个光学链获得的图像的方法和装置。
希望有能够解决其中一项或更多项前述需求和/或问题的实施例，并且所有实施例不需要解决所有前面所讨论的单独的需求或问题。
发明内容
所描述的一些特征涉及使用摄影机设备中的光学链(例如摄影机模块)。根据一些特征，摄影机设备中的至少一些光学链具有不同的透镜配置和/或焦距。在至少一些实施例中，摄影机设备包括多个光学链。在一些实施例中，所述多个光学链当中的一些光学链的焦距不同于(例如大于)摄影机设备中的其他光学链。在一些实施例中，对于具有大焦距的光学链使用非圆形外侧透镜，而具有更小焦距的相同摄影机设备的光学链则使用圆形外侧透镜。因此，这里所描述的各个实施例涉及支持若干不同焦距的摄影机设备。在一些实施例中，利用摄影机的不同焦距光学链来捕获图像，所述图像可以并且在一些实施例中被组合以生成复合图像。
根据一个实施例的一种示例性摄影机设备包括：具有第一焦距和第一非圆形透镜的第一光学链；以及具有第二焦距和第二非圆形透镜的第二光学链。在一些实施例中，所述示例性摄影机设备还包括具有第三焦距并且包括圆形透镜的第三光学链，其中第三焦距小于第一或第二焦距。在一些实施例中，第一和第二焦距是相同的。在一些其他实施例中，第一和第二焦距是不同的。
一种操作示例性摄影机设备的示例性方法包括：在第一时间周期期间利用摄影机的第一光学链捕获第一图像，第一光学链具有第一焦距和第一非圆形透镜；以及在第一时间周期期间利用摄影机的第二光学链捕获第二图像，第二光学链具有第二焦距和第二非圆形透镜。在一些实施例中，所述方法还包括利用具有第三焦距并且包括圆形透镜的第三光学链捕获第三图像，第三焦距小于第一或第二焦距。
这里所描述的一些特征涉及实施纤薄摄影机设备，例如其深度小于摄影机的至少一个光学链的最外侧透镜的最大长度的摄影机设备。在各个实施例中，所述纤薄摄影机设备具有多个光学链。在一些实施例中，其中一个或更多光学链包括具有非圆形孔径的透镜。所述具有非圆形孔径的透镜可以并且在一些实施例中被安放在摄影机设备的主体内。
根据一个实施例实施的一种示例性摄影机设备包括：具有厚度D的包括前表面和后表面的摄影机外罩，其中D是前表面与后表面之间的距离；以及摄影机外罩中的第一光学链，其包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，第一光学链的光轴包括处在光重定向设备前方的第一光轴部分以及从光重定向设备延伸到传感器的第二光轴部分，第一透镜处在第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第二方向具有大于D的长度。在一些实施例中，所述示例性摄影机设备还包括一个或更多附加的光学链。
根据一个实施例的一种操作包括摄影机外罩的摄影机设备的示例性方法，所述摄影机外罩包括前表面和后表面且具有厚度D，其中D是前表面与后表面之间的距离，所述方法包括：利用摄影机外罩中的第一光学链捕获第一图像，第一光学链包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，第一光学链的光轴包括处在光重定向设备前方的第一光轴部分以及从光重定向设备延伸到传感器的第二光轴部分，第一透镜处在所述第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第二方向具有大于D的长度；以及把所捕获图像存储在存储器中。
这里所描述的其中一些特征涉及利用具有不平行光轴的光学链的图像部分的图像捕获。在一些实施例中，一种示例性摄影机设备包括多个光学链，至少其中一些光学链被安排和/或控制成使其相应的光轴是不平行的。在一些实施例中，通过控制对应于光学链的光重定向设备来改变光学链的光轴。在一些实施例中，由并行地操作的不同光学链捕获感兴趣场景区域的不同部分。在一些实施例中，所捕获图像被组合以生成感兴趣场景区域的复合图像。所述组合可以并且在一些实施例中是利用深度信息来实施的，所述深度信息是从由捕获整个感兴趣场景区域的光学链所捕获的图像生成的。可以利用整个感兴趣场景区域的图像连同感兴趣场景区域或者感兴趣场景区域的某些部分的一幅或更多幅其他图像来生成深度信息。通过并行地使用多个光学链促进生成与使用其中一个光学链的单个传感器所将可能实现的情况相比具有更高总体像素计数的图像，并且/或者与使用其中单个光学链所将捕获的光相比捕获到更多的光。
根据一个实施例的一种示例性捕获方法包括：利用具有第一光轴和第一最外侧透镜(例如沿着来自光学链的传感器的光径的最远透镜)的第一光学链捕获感兴趣场景区域的第一部分的第一图像；利用摄影机的第二光学链捕获感兴趣场景区域的第二部分的第二图像，第二光学链具有不平行于第一光轴的第二光轴以及不同于所述第一最外侧透镜的第二最外侧透镜(例如由于每一个光学链在一些实施例中具有不同的外侧透镜，每一个光学链具有物理上不相交并且不重叠的入射光瞳)；以及利用摄影机的第三光学链捕获第三图像，第三光学链的焦距小于所述第一或第二光学链的至少其中之一
根据一个实施例实施的一种示例性摄影机设备，其包括：具有第一光轴和第一最外侧透镜的第一光学链；具有不平行于第一光轴的第二光轴以及不同于第一最外侧透镜的第二最外侧透镜的第二光学链；以及第三光学链，其中第三光学链具有小于第一或第二光学链的至少其中之一的焦距。
在一些实施例中，一种示例性摄影机设备包括非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括计算机可执行指令，所述非瞬时性计算机可读介质包括：指令，其在由处理器执行时控制摄影机的第一光学链捕获感兴趣场景区域的第一部分的第一图像，第一光学链具有第一光轴和第一最外侧透镜；以及指令，其在由处理器执行时控制摄影机的第二光学链捕获感兴趣场景区域的第二部分的第二图像，第二光学链具有不平行于第一光轴的第二光轴以及不同于第一最外侧透镜的第二最外侧透镜；以及指令，其在由处理器执行时控制摄影机的第三光学链捕获第三图像，第三光学链的焦距小于第一或第二光学链的至少其中之一，第三图像包括感兴趣场景区域。
一些附加特征是针对利用具有不同焦距的光学链来捕获各个图像部分。在各个实施例中，通过包括多个光学链的摄影机设备的不同光学链来捕获感兴趣场景区域的不同部分。在一些实施例中，由并行地操作的不同光学链捕获的图像被组合以生成复合图像。在一些实施例中，所述组合是利用从由两个不同光学链捕获的两幅图像生成的，所述两个不同光学链捕获感兴趣场景区域的至少一些共同的重叠部分。可以利用整个场景的图像以及所述场景或者感兴趣场景区域的某些部分的一幅或更多幅其他图像来生成深度信息。通过并行地使用多个光学链促进生成与使用其中一个光学链的单个传感器所将可能实现的情况相比具有更高总体像素计数的图像，并且/或者与使用单个光学链所将捕获的光相比捕获到更多的光
根据一个实施例的一种示例性方法包括：利用摄影机的第一光学链捕获感兴趣场景区域的第一图像，第一光学链具有第一焦距；利用摄影机的第二光学链捕获第二场景区域的第二图像，第二场景区域是感兴趣场景区域的第一部分，第二光学链具有大于第一焦距的第二焦距；利用摄影机的第三光学链捕获第三场景区域的第三图像，第三场景区域是感兴趣场景区域的第二部分，第三光学链具有大于第一焦距的第三焦距，第三场景区域的至少一部分与第二场景区域不重叠；以及存储或输出第一、第二和第三图像。
根据一个实施例实施的一种示例性摄影机设备包括：具有第一焦距的第一光学链；具有大于第一焦距的第二焦距的第二光学链；以及具有大于第一焦距的第三焦距的第三光学链。在一些实施例中，所述摄影机是电池操作的手持式设备。
在一些实施例中，一种示例性摄影机设备包括非瞬时性计算机可读介质，所述非瞬时性计算机可读介质包括计算机可执行指令，所述非瞬时性计算机可读介质包括：指令，其在由处理器执行时控制摄影机的第一光学链捕获感兴趣场景区域的第一图像，第一光学链具有第一焦距；指令，其在由处理器执行时控制摄影机的第二光学链捕获第二场景区域的第二图像，第二光学链具有大于第一焦距的第二焦距，第二场景区域是感兴趣场景区域的第一部分；指令，其在由处理器执行时控制第三光学链捕获第三场景区域的第三图像，第三光学链具有第三焦距，第三焦距大于第一焦距，第三场景区域是感兴趣场景区域的第二部分，第三场景区域的至少一部分与第二场景区域不重叠；以及指令，其在由处理器执行时控制处理器把第一、第二和第三所捕获图像存储在存储器中。
虽然在前面的概要中讨论了许多实施例和特征，但是应当认识到，在这里描述的许多新颖特征可以独立于其他新颖特征来使用。因此虽然描述了各个示例性实施例，但是本申请不限于特定的示例性实施例或者在特定示例性实施例中描述的特征组合。
在后面的详细描述中描述了许多附加的特征和实施例。
附图说明
图1是根据本发明的一个实施例实施的例如摄影机设备的示例性装置的方块图。
图2示出了根据一个实施例实施的装置的正视图，其合并了根据本发明的多个光学链(例如摄影机模块)，其中可以从摄影机的正面看到透镜。
图3是图2的示例性装置的侧视图，其示出了所述示例性装置的进一步细节。
图4A示出了根据另一个实施例实施的摄影机设备。
图4B示出了在一个特定的示例性实施例中实施的图4A中所示的摄影机设备的光学链的更多细节。
图5示出了可以被用作包括在图1、图8、图12A或各个其他实施例的摄影机设备中的其中一个光学链的一个示例性光学链，例如摄影机模块。
图6是根据本发明的一项特征的包括多个摄影机模块的示例性摄影机的透视图，其覆盖物被缩回以允许摄影机模块捕获图像。
图7示出了图6的摄影机，其覆盖物处于关闭位置从而覆盖摄影机正面。
图8是类似于图6的摄影机设备的正视图，其具有摄影机模块的更好的视图，从而可以更好地认识到各个单独的摄影机模块的透镜安排。
图9是图8的摄影机设备的图示但是没有示出摄影机外壳，从而允许更好地认识到摄影机设备的正面的透镜安排。
图10是图7的摄影机设备的侧视图，从中可以看到摄影机具有深度D1和高度H。
图11示出了图8和9中示出的透镜安排的更多细节。
图12A示出了在一个实施例中被用来实施图6和8中示出的类型的摄影机设备并且具有图11中示出的透镜安排的光学链(例如摄影机模块)的安排。
图12B示出了图8中示出的类型的摄影机设备的透视图，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图12C、12D、12E和12F示出了如何可以通过改动作为光学链的一部分的光重定向设备的位置(例如角度)来改变在图12B中示出的光学链的光轴的第一部分。
图13A示出了可以并且被使用在图14-17中示出的各个摄影机设备实施例中的摄影机模块，所述摄影机模块具有透镜和光重定向设备，其中所述透镜具有非圆形孔径，所述光重定向设备例如是反射镜。
图13B是示出了根据一个示例性实施例的摄影机中的多个光学链(OC)的示例性安排以及每一个光学链的元件配置和安排的图示。
图14示出了对于具有较大焦距的光学链使用非圆形透镜并且对于具有更小焦距的光学链使用圆形透镜的示例性摄影机设备。
图15是没有摄影机外壳的图14中示出的摄影机设备的正面的图示。
图16图14的摄影机设备的侧视图，从中可以看到摄影机具有深度D2和高度H，其中D2小于作为图6-9中示出的摄影机设备的深度的D1。
图17A示出了在一个实施例中被用来实施图14中示出的类型的摄影机设备并且具有图15中示出的透镜安排的摄影机模块的安排。
图17B示出了图14中示出的类型的摄影机设备的透视图，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图18示出了对应于具有圆形开口的示例性透镜的圆形孔径，比如可以并且有时被使用在图12A的实施例中的透镜。
图19示出了对于图18中示出的类型的透镜所预期的频率特性，其频率信息在全部两个维度中是相同的或类似的。
图20示出了在圆形孔径的情况下，光从中穿过的开口的长度如何在透镜开口存在于其中的平面的全部两个维度中是相同的。
图21示出了示例性的非圆形(例如椭圆形)孔径，其中的阴影被用来表明将被捕获的水平和垂直方向当中的每一个方向上的频率信息的相对数量，从图中可以清楚看到，在垂直方向上可以获得比水平方向上更多的频率信息，从而导致在孔径的更长维度中捕获并且可以获得比更窄维度中更高的频率信息。
图22示出了垂直(Y)和水平(X)方向上的非圆形孔径的长度的比较，其中垂直维度在图22的实例中是两个维度当中的更长维度。
图23示出了通过组合来自被指向在不同方向上的多个非圆形透镜的图像信息，如何可以获得近似预期会从圆形透镜获得的信息的图像信息，其中由于在图23的实例中被组合生成复合图像的多幅单独图像的重叠，趋近组合图像的中心可以获得比各个边缘位置处更多的信息。
图24示出了如何可以对具有圆形孔径的透镜进行切割或掩蔽以产生具有非圆形孔径的透镜，例如近似椭圆形或长方形形状。
图25示出了从对圆形透镜进行切割或掩蔽所得到的孔径，例如图24中所示的具有圆形孔径的透镜。
图26示出了与具有圆形孔径的外侧透镜相组合地使用光重定向设备来把光转向90度如何通常需要等于或大于具有圆形孔径的透镜的直径的摄影机深度(例如厚度)。
图27示出了在一些实施例中，与把光转向90度的光重定向设备相组合地使用具有非圆形(例如椭圆形)孔径的透镜如何可以允许使用在一个维度中比摄影机深度更长的透镜。
图28示出了包括非圆形孔径的摄影机模块的光径的长度如何可以比具有光重定向设备的摄影机的深度更长，其中所述光重定向设备能够被定位在摄影机设备的一端。
图29示出了一个实例，其中在摄影机模块中使用多个光重定向设备以便允许相对较长的光行进路径并且从而允许相对较长的焦距，同时根据光经过摄影机模块时被转向的方式，允许把传感器定位在摄影机的背面或正面。
图30示出了多个具有非圆形孔径的透镜如何可以被使用在单个示例性摄影机设备中以便在多个方向上收集高频率信息，从而在组合各幅图像以生成复合图像时在多个方向当中的每一个方向上都可以获得高频率信息。
图31示出了包括场景区域的示例性场景，所述场景区域的图像可以通过根据本发明的一个或更多实施例实施的摄影机的摄影机模块来捕获。
图32示出了包括多个摄影机模块(其中一些摄影机模块具有不同的焦距)的摄影机的不同摄影机模块如何可以捕获感兴趣场景区域的不同尺寸部分。
图33示出了如图32中所示的包括多个摄影机模块的摄影机的不同摄影机模块如何可以捕获图31中示出的感兴趣场景区域的不同部分。
图34示出了通过具有捕获图33中示出的尺寸的场景区域的模块的摄影机所捕获的不同图像及其相互关系，所述相互关系促进组合所述图像以生成复合图像。
图35、36、37、38和39示出了涉及通过协调方式对不同光学链的传感器读取进行卷帘快门控制的各个方面，从而使得可以很容易组合通过不同传感器捕获的图像。
图40是根据一个示例性实施例的利用多个摄影机模块来捕获图像并且组合所述图像的示例性方法。
图41A和图41B是示出了操作摄影机设备来扫描感兴趣场景并且从中生成复合图像的示例性方法的各个步骤的流程图。
图42示出了按照同步方式使用多个摄影机模块来捕获感兴趣场景的方法的各个步骤。
图43示出了根据另一个示例性实施例的按照同步方式使用多个摄影机模块来捕获感兴趣场景的方法的各个步骤。
图44示出了根据一个示例性实施例的按照同步方式使用多个摄影机模块来捕获图像的方法的各个步骤。
图45是示出了根据一个示例性实施例的使用摄影机设备来捕获图像的方法的流程图。
图46是示出了根据一个示例性实施例的捕获图像的方法的流程图。
具体实施方式
图1示出了根据本发明的一个示例性实施例实施的示例性摄影机设备100，其比如是数字摄影机、具有摄影机功能的笔记本式计算机或者具有摄影机功能的蜂窝电话。在一些实施例中，摄影机设备100是便携式设备。在其他实施例中，摄影机设备100是固定设备，比如墙壁安装的摄影机。
图1以方块图的形式示出了摄影机设备100，其中示出了装置100的各个元件之间的连接。示例性摄影机设备100包括安放在外罩中的显示设备102、发光器模块104、输入设备106、输入状态检测模块148、曝光和读出控制器150(例如卷帘快门控制器150)、光控制设备152、存储器108、处理器110、硬件模块套件180、无线和/或有线接口114(例如蜂窝接口、WIFI接口和/或USB接口)、I/O接口112、加速度计模块122、3轴陀螺仪192以及总线116，所述外罩由矩形方框表示并且被导向附图标记100的线条接触。发光器模块104包括发光元件，其可能是LED(发光二极管)或其他类型的发光元件，所述发光元件可以被单独控制，从而使得所有发光元件不需要同时开启。输入设备106可以并且在一些实施例中例如是小键盘、触摸屏或者可以被用于输入信息、数据和/或指令的类似设备。加速度计模块122包括加速度计1 124、加速度计2 126以及加速度计3 128，其被排列在垂直轴上，从而提供3轴加速度计模块。因此，加速度计模块122可以沿着3个独立轴进行测量。类似地，包括194、196和198的3轴陀螺仪192可以沿着3个不同轴当中的每一个测量旋转。加速度计模块122和陀螺仪模块192的输出可以并且在一些实施例中被监测，其中加速度计和陀螺仪输出中的改变被处理器110和/或变焦控制模块(例如变焦控制器140)随着时间解释和检查，以便表明一个或更多方向上的运动的加速度中的改变。在一些实施例中，输入设备106包括至少一个变焦控制按钮，其可以被用来启用或禁用摄影机变焦功能。在一些这样的实施例中，当变焦控制按钮处于按下状态时，摄影机变焦功能被启用，而当所述按钮处于未按下状态时，摄影机变焦功能被禁用。输入状态检测模块148被配置成检测输入设备(例如变焦控制按钮)的状态，以便检测所述按钮处于按下状态还是未按下状态。在一些实施例中，在摄影机设备100中存在状态寄存器，其包括由状态检测模块148检测的表明变焦控制按钮的状态的比特，例如其是否处于表明变焦被启用的按下状态，或者是否未被按下从而表面变焦被禁用。
显示设备102可以并且在一些实施例中是触摸屏，其被用来显示图像、视频、关于摄影机设备的配置的信息以及/或者正在摄影机设备上实施的数据处理的状态。在显示设备102是触摸屏的情况下，显示设备102充当附加的输入设备并且/或者充当针对单独的输入设备(例如按钮106)的替换方案。正如将在一些实施例中讨论的那样，可以通过按压变焦控制传感器(例如触摸传感器)来控制变焦操作。在一些实施例中，当摄影机用户触摸变焦控制传感器时，编辑功能被启用。举例来说，触摸传感器上的手指激活/启用变焦功能。I/O接口112把显示器102和输入设备106耦合到总线116，并且在显示器102、输入设备106以及可以通过总线116进行通信和交互的摄影机的其他元件之间进行接口。
除了耦合到I/O接口112之外，总线116还耦合到存储器108、处理器110、可选的自动聚焦控制器132、无线和/或有线接口114、变焦控制模块140以及多个光学链130，例如X个光学链，其在这里也被称作摄影机模块。在一些实施例中，X是大于2的整数，取决于具体实施例，其例如是3、4、7或更大的值。可以利用在本申请中描述的各种摄影机模块集合和/或安排当中的任一种来实施所述多个摄影机模块130。举例来说，在一些实施例中，摄影机设备100是利用如图12A中所示出的摄影机模块的集合来实施的，而在其他实施例中，摄影机设备100是利用如图13B或图17A或者包括在本申请中的任何其他服务中所示出的模块安排来实施的。由所述多个光学链130当中的各个单独的光学链捕获的图像可以并且在各个实施例中被存储在存储器108中(例如作为数据/信息120的一部分)并且由处理器110处理，以便例如生成一幅或更多幅复合图像。
X个摄影机模块131到133可以并且在各个实施例中确实包括具有不同焦距的摄影机模块。在给定焦距处可以提供多个摄影机模块。举例来说，在一些实施例中，在一个单独的摄影机设备中包括具有全帧(full frame)DSLR摄影机的35mm等效焦距的多个摄影机模块、具有全帧DSLR摄影机的70mm等效焦距的多个摄影机模块以及具有全帧DSLR摄影机的140mm等效焦距的多个摄影机模块。所述各个焦距是示例性的，并且可以使用具有不同焦距的多种摄影机模块。摄影机设备100应当被视为是示例性的。就在其他地方关于其他一些附图提到摄影机或摄影机设备而言，应当理解的是，至少在一些实施例中，所述摄影机设备或摄影机将包括图1中示出的元件，即使在特定的附图或实施例中并未示出所述元件。在一些实施例中，图1中示出的所有元件都被包括在摄影机设备或摄影机中，而在其他实施例中则包括图1中示出的元件当中的一个子集，并且图1中的元件的图示不意图暗示着特定元件在所有实施例中都是必不可少的或者必要的。
正如后面将讨论的那样，在同一时间或者在给定的时间段期间捕获的来自不同摄影机模块的图像可以被组合生成复合图像，例如与通过单个摄影机模块131、133捕获的单独图像相比具有更好的分辨率、频率内容和/或光范围的图像。
多幅所捕获图像和/或复合图像可以并且在一些实施例中被处理以形成视频，例如对应于一段时间的一系列图像。接口114把摄影机设备100的内部组件耦合到外部网络(例如因特网)以及/或者一个或更多其他设备(例如存储器或独立计算机)。通过接口114，摄影机设备100可以并且确实输出数据，例如所捕获的图像、所生成的复合图像以及/或所生成的视频。所述输出可以是去到网络或者去到另一个外部设备，以用于处理、存储和/或共享。所捕获的图像数据、所生成的复合图像和/或视频可以作为输入数据被提供到另一个设备以供进一步处理，并且/或者可以被发送以供存储，例如存储在外部存储器、外部设备或网络中。
摄影机设备100的接口114可以并且在某些情况下耦合到计算机，从而可以在外部计算机上处理图像数据。在一些实施例中，外部计算机具有比摄影机设备100更高的计算处理能力，从而允许在外部计算机上发生对于所输出的图像数据的在计算方面更加复杂的图像处理。接口114还允许从一个或更多网络以及/或者例如计算机或存储器之类的其他外部设备向摄影机设备100提供数据、信息和指令，以便在摄影机设备100上进行存储和/或处理。举例来说，可以把背景图像提供到摄影机设备，以便由摄影机处理器110与通过摄影机设备100捕获的一幅或更多幅图像进行组合。可以通过接口114把指令和/或数据更新加载到摄影机上并且存储在存储器108中。
在一些实施例中，照明模块104包括多个发光元件，例如LED，其可以通过受控方式被照明以便充当摄影机闪光灯，其中基于卷帘快门的操作和/或曝光时间例如通过同步方式分组或者单独地控制各个LED。出于讨论的目的，模块104将被称作LED模块，这是因为在该示例性实施例中LED被用作发光设备，但是正如前面所讨论的那样，本发明不限于LED实施例，并且还可以使用其他发光源。在一些实施例中，LED模块104包括发光元件(例如LED)的阵列。在一些实施例中，LED模块104中的发光元件被安排成使得每一个单独的LED和/或一组LED可以通过卷帘快门操作按照同步方式被照明。在一些但非所有实施例中，发光元件被顺序地照明，从而使得一个区域的不同部分在不同时间被照明，从而使得整个区域在图像捕获期间不需要被一致地照明。对于涉及传感器的全部像素元件集合的读出的图像捕获操作的全部持续时间，所有照明元件不会都被保持开启，借助于通过卷帘快门操作实现的发光元件照明的同步，作为使用卷帘快门的结果将会照明在给定时间被捕获其图像的区域部分(例如扫描区域)。因此，基于曝光时间以及在给定时间传感器的哪一部分将被用来捕获图像的一部分，各个发光元件被控制成在不同的时间照明。在一些实施例中，LED模块104中的发光元件包括多个发光元件集合，每一个发光元件集合对应于其所照明的一个不同的图像区域，并且该图像区域由图像传感器的一个不同部分捕获。透镜可以并且在一些实施例中被用来把来自不同发光元件的光引导到不同的场景区域，其将由摄影机通过使用一个或更多摄影机模块来捕获。
卷帘快门控制器150是控制在不同时间读出一个或更多图像传感器的不同部分的电子快门。每一个图像传感器一次被读取一行像素值，并且各行被依次读取。正如后面将讨论的那样，在一些实施例中，由不同传感器捕获的图像的读出被控制成使得各个传感器按照同步方式捕获一个感兴趣场景区域(其有时也被称作感兴趣图像区域)，在一些实施例中多个传感器同时捕获相同的图像区域。
虽然在大多数实施例中使用电子卷帘快门，但是在一些实施例中也可以使用机械卷帘快门。
光控制设备152被配置成利用卷帘快门控制器150的操作按照同步方式来控制发光元件(其例如被包括在LED模块104中)。在一些实施例中，光控制设备152被配置成按照与卷帘快门150同步的方式控制阵列中的不同发光元件集合在不同时间发光。在一些实施例中，光控制设备152被配置成在第一时间段期间控制对应于第一图像区域的第一发光元件集合输出光，第一时间段是基于卷帘快门的定时确定的，并且是其间传感器的第一部分被曝光以用于图像捕获的时间段。在一些实施例中，光控制设备152还被配置成在第二时间段期间控制对应于第二图像区域的第二发光元件集合输出光，第二时间段是基于卷帘快门的定时确定的，并且是其间传感器的第二部分被曝光以用于图像捕获的时间段。在一些实施例中，第一时间段包括不与第二时间段重叠的至少一部分时间。
在一些实施例中，光控制设备152还被配置成在第三时间段期间控制对应于第N图像区域的第N发光元件集合输出光，所述第N时间段是基于卷帘快门的定时确定的，并且是其间传感器的第N部分被曝光以用于图像捕获的时间段，N是对应于由所述卷帘快门使用来完成全部图像区域的一次完整读出的时间段的总数的整值。
在一些实施例中，光控制设备152还被配置成在不与所述第二时间段重叠的包括在第一时间段中的所述时间部分期间控制第二发光元件集合关闭。在一些实施例中，所述光控制设备被配置成基于曝光设定来决定第一集合和所述第二发光元件集合何时将开启。在一些实施例中，所述光控制设备被配置成基于所述传感器的不同部分的读出之间的时间量来决定所述第一集合和所述第二发光元件集合何时将开启。在一些实施例中，所述多个发光元件当中的不同发光元件集合由不同的透镜覆盖。在一些这样的实施例中，光控制设备152还被配置成基于由摄影机设备使用的有效焦距设定来决定将要使用哪些发光元件集合。
加速度计模块122包括多个加速度计，其中包括加速度计1124、加速度计2126和加速度计3128。每一个加速度计被配置成检测给定方向上的摄影机加速度。虽然三个加速度计124、126和128被显示成包括在加速度计模块122中，但是应当认识到，在一些实施例中，可以使用多于三个加速度计。类似地，陀螺仪模块192包括3个陀螺仪194、196和198，其中每一个陀螺仪对应于一个轴，因此其非常适合于使用在摄影机设备通常被使用在其中的3维真实世界环境中。由加速度计在给定方向上检测到的摄影机加速度被监测。加速度和/或加速度中的改变以及表明摄影机运动的旋转被监测和处理，以便检测一个或更多运动方向，例如前向摄影机运动、后向摄影机运动等等。正如后面将讨论的那样，表明摄影机运动的加速度/旋转可以被用来控制变焦操作并且/或者在某些情况下被提供到摄影机座架，其随后可以采取动作，比如旋转摄影机座架或者旋转摄影机支架以便帮助稳定摄影机。
摄影机设备100可以包括并且在一些确实包括自动聚焦控制器132和/或自动聚焦驱动套件134。在一些实施例中，自动聚焦驱动套件134被实施成透镜驱动器。自动聚焦控制器132存在于至少一些自动聚焦实施例中，但是在固定聚焦实施例中将被省略。自动聚焦控制器132控制被用来实现所期望的(例如用户表明的)聚焦的一个或更多光学链中的至少一个透镜位置的调节。在其中各个单独的驱动套件被包括在每一个光学链中的情况中，自动聚焦控制器132可以驱动各个光学链的自动聚焦驱动器以便聚焦在相同的目标上。
变焦控制模块140被配置成响应于用户输入实施变焦操作。
处理器110控制摄影机设备100的操作，以便控制摄影机设备100的各个元件来实施这里所描述的方法的各个步骤。所述处理器可以是被预先配置成实施所述方法的专用处理器。但是在许多实施例中，处理器110在存储于存储器108中的软件模块和/或例程的引导下操作，所述软件模块和/或例程包括指令，所述指令在被执行时使得处理器控制摄影机设备100来实施这里所描述的其中一种、更多种或所有方法。存储器108包括模块118的套件，其中一个或更多模块包括一个或更多软件例程(例如机器可执行指令)，其用于实施本发明的图像捕获和/或图像数据处理方法。模块118中的各个单独的步骤和/或代码行在由处理器110执行时控制处理器110实施本发明的方法的各个步骤。当由处理器110执行时，数据处理模块118使得由处理器110根据本发明的方法来处理至少一些数据。模块118的套件包括模式控制模块，其例如基于用户输入来决定将要实施多种摄影机设备操作模式当中的哪一种。在不同的操作模式中，不同的摄影机模块131、133可以并且常常基于所选择的操作模式被不同地控制。举例来说，取决于操作模式，不同的摄影机模块可以使用不同的曝光时间。或者，正如后面关于图5和34所讨论的那样，取决于在用户选择或自动选择的操作模式期间将如何使用由不同的摄影机模块捕获的图像(例如组合形成复合图像)以及各个单独的摄影机模块将要捕获更大场景的哪些部分，可以改变摄影机模块被导向的场景区域并且从而改变由单独的摄影机模块捕获场景的哪一部分。在一些实施例中，在执行来自一个或更多模块套件的指令时由处理器实施的操作替换地由硬件模块实施，所述硬件模块实施相同的功能并且被包括在硬件模块套件中。
所得到的数据和信息(例如场景的所捕获图像、场景的组合图像等等)被存储在数据存储器120中以供将来使用、附加的处理和/或例如输出到显示设备102以进行显示或者输出到另一个设备以进行传送、处理和/或显示。存储器108包括不同类型的存储器，例如随机存取存储器(RAM)，模块118的套件以及数据/信息120可以并且在一些实施例中被存储在其中以供将来使用。模块118的套件可以被存储在只读存储器(ROM)中以防停电。用于存储数据、信息和指令的非易失性存储器(比如闪存)也可以被用来实施存储器108。可以将记忆卡添加到设备以便提供用于存储数据(例如图像和视频)和/或指令(比如程序)的附加存储器。相应地，存储器108可以利用充当存储设备的多种非瞬时性计算机或机器可读介质当中的任一种来实施。
前面参照图1描述了摄影机设备100的一般组件，现在将参照分别从正面和侧面视角示出了摄影机设备100的图2和3来描述涉及多个光学链130的各种特征。图2的虚线101表明剖面线。
方框117表示关键字，并且表明OC＝光学链(例如摄影机模块)，并且每一个L1表示光学链中的最外侧透镜。方框119表示关键字，并且表明S＝传感器，F＝滤光器，L＝透镜，L1表示光学链中的最外侧透镜，L2表示光学链中的内侧透镜。虽然图3示出了光学链的一种可能的实现方式，但是正如后面将讨论的那样，其他实施例也是可能的，并且除了图3中示出的元件之外，光学链还可以包括一个或更多光重定向元件。不同光学链的透镜可以具有不同的形状，例如圆形孔径被用于一些透镜，非圆形孔径被用于其他透镜。但是在一些实施例中，具有圆形孔径的透镜被用于摄影机设备的每一个光学链。
图2示出了示例性摄影机设备100的正面。图1中示出的光线131是朝向摄影机套件的正面的光，其可以进入位于摄影机外罩的正面的透镜。从摄影机设备100的正面，摄影机设备100看起来是相对平坦的设备，其中外侧矩形表示摄影机外罩，趋向摄影机中心的正方形表示多个光学链130被安放在其中的正面摄影机主体的部分。应当提到的是，虽然图2中示出的外侧透镜被显示成具有相同尺寸的圆形孔径，但是正如后面将讨论的那样，例如取决于焦距，不同尺寸的透镜可以被用于不同的光学链，其中与具有较小焦距的光学链相比，具有更大焦距的光学链通常包括具有更大孔径的外侧透镜。
图3示出了摄影机设备100的侧视图，其中示出了光学链130的集合中的七个光学链当中的三个(OC 1 121、OC 7 145、OC 4 133)、显示器102和处理器110。OC 1 121包括外侧透镜L1 103、滤光器123、内侧透镜L2 125以及传感器127。在一些实施例中，OC 1 121还包括用于控制透镜L2 125的位置以用于变焦和/或自动聚焦操作目的的透镜驱动器(LD)129。曝光和读出控制器150未被示出，但是其被用于按照同步方式控制来自传感器127、151和139的各个像素值行的读出，其中例如考虑到由各个单独的传感器捕获的场景区域。LD129包括电动机或其他驱动机制，其可以移动与之连接的透镜、容纳一个或更多透镜的圆筒或圆柱或者传感器，从而允许通过相对于该LD所耦合到的光学链的其他元件移动一个或更多元件来改动光径。虽然LD 129被显示成耦合(例如连接到)L2 125并且从而可以移动透镜L2的位置(例如作为变焦或自动聚焦操作的一部分)，但是在其他实施例中，LD 129耦合到作为光学链的一部分的圆柱或圆筒形组件或者耦合到传感器127。因此，作为变焦和/或聚焦操作的一部分，透镜驱动器可以改动透镜相对于传感器127的位置，以便例如改变传感器127与透镜125之间的距离。OC 7 145包括外侧透镜L1 115、滤光器147、内侧透镜L2 149以及传感器151。OC 7 145还包括LD 153以用于控制透镜L2 149的位置。LD 153包括电动机或其他驱动机制，其可以移动与之连接的透镜、圆筒、圆柱、传感器或其他光学链元件。
OC 4 133包括外侧透镜L1 109、滤光器135、内侧透镜L2 137和传感器139。OC 4133包括LD 141以用于控制透镜L2 137的位置。LD 141包括电动机或其他驱动机制，并且按照与其他光学链的驱动器相同或类似的方式操作。虽然在图3中仅仅示出了其中三个OC，但是应当认识到，摄影机设备100的其他OC可以并且在一些实施例中确实具有相同或类似的结构，并且/或者可以包括例如光重定向设备之类的其他元件。因此，摄影机设备100的多个光学链之间的差异可能并且在一些实施例中确实存在，从而允许通过使用可以被并行地操作的多个光学链而在单个摄影机设备中支持多种焦距。
图3和其中所示出的光学链(OC)(其有时也被称作摄影机模块)是为了说明在各个实施例中所使用的OC的一般结构。但是许多修改和具体配置是可能的。参照图3的元件应当理解的是，特定实施例中的OC(摄影机模块)将按照关于该特定实施例中所描述的那样被配置，并且在单个摄影机设备中常常使用各种不同的摄影机模块。图5和图13A示出了包括光重定向设备的光学链(例如摄影机模块)。这样的模块可以被单独使用，或者与例如在图3和4A或本申请的其他附图中示出的其他模块组合使用。
虽然滤光器可以具有特定颜色并且被使用在一些光学链中，但是并不需要在所有光学链中都使用滤光器，并且在一些实施例中中可以不使用滤光器。在其中滤光器被明确地省略并且/或者被描述成被省略或者被描述成允许所有光通过的元件的实施例中，虽然可以参照图3的OC，但是应当认识到，在其中表明将省略滤光器的实施例中将会省略滤光器，或者在表明实施例具有宽带滤光器的情况下所述滤光器将具有允许较宽的光谱通过的性质。虽然在图3的OC中没有示出光重定向设备(R)(例如反射镜或棱镜)，但是正如后面将讨论的那样，在至少一些实施例中，一个或更多反射镜被包括在OC中以便对光进行转向，从而例如增加光径的长度或者实现更加便利的内部组件配置。应当认识到，图3中示出的每一个OC 121、145、133将具有其自身的光轴。在该例中，每一个光轴在光学链的正面穿过透镜103、115或109的中心，并且穿过OC到达相应的传感器127、151、139。
虽然处理器110未被示出耦合到LD和传感器127、151、139，但是应当认识到，这样的连接是存在的并且从图3中省略，以便促进对于示例性OC的配置的说明。
应当认识到，透镜、滤光器和/或反射镜的数目和安排可以根据具体实施例而改变，并且图3中示出的安排意图是示例性的并且促进对于各种特征的理解而不是作出限制。
在图2中可以看到多个光学链130的正面，其中每一个光学链的最外侧透镜表现为利用实线表示的圆圈(OC 1 L1 103，OC 2 L1 105，OC 3 L1 107，OC 4 L1 109，OC 5 L1111，OC 6 L1 113，OC 7 L1 115)。在图2的实例中，所述多个光学链130包括七个光学链OC1 121、OC 2 157、OC 3 159、OC 4 133、OC 5 171、OC 6 173、OC 7 145，其中分别包括由图2中示出的实线圆圈表示的透镜(OC 1 L1 103，OC 2 L1 105，OC 3 L1 107，OC 4 L1 109，OC5 L1 111，OC 6 L1 113，OC 7 L1 115)。当作为一个整体从正面看去时，光学链的透镜被安排形成图2中的总体上是圆形的图案。虽然在一些实施例中使用圆形安排，但是在其他实施例中使用并且优选非圆形安排。在一些实施例中，虽然总体图案是总体上或大致圆形的，但是去到总体圆形的中心的不同距离以及/或者从一个透镜到另一个透镜的不同距离意图被用来促进深度图的生成以及可以包括例如重复图案之类的周期性结构的图像的块处理，而不需要识别出重复图案的边缘。这样的重复图案可以在格栅(grill)或网板(screen)中找到。
对应于多个光学链OC 1到OC 7(其有时也被称作光学摄影机模块)的多个透镜的总体光捕获区域可以组合近似具有大得多的开口的透镜，而不需要单个透镜具有由于占据图2中所示的各个透镜所占据的区域的单个透镜的曲率而通常所必需的厚度。
虽然在光学链OC 1到OC 7的透镜开口之间示出了间隙，但是应当认识到，所述透镜可以并且在一些实施例中紧密地装配在一起，从而最小化由实线形成的圆圈所表示的透镜之间的间隙。虽然在图2中示出了几个光学链，但是应当认识到，其他数目的光学链也是可能的。举例来说，如图12A和17A中所示，在一些实施例中，在单个摄影机设备中使用十七个摄影机模块。包括甚至更大数目的光学链的摄影机设备也是可能的。
使用多个光学链与使用单个光学链相比具有几方面的优点。使用多个光学链允许噪声平均。举例来说，鉴于较小的传感器尺寸，存在一个光学链可能会检测到不同于另一个光学链的数目(例如一个或更多)的光子的随机概率。与正被感测的图像中的实际人类可感知变化不同，这可能代表噪声。通过平均对应于由不同光学链感测的图像的一部分的所感测像素值，可以对随机噪声进行平均，从而与使用单个光学链的输出的情况相比得到图像或场景的更加准确并且令人愉快的表示。
鉴于光学传感器(例如各个单独的像素元件)的较小尺寸，由于传感器在明亮的条件下很容易变为饱和，因此光敏感性方面的动态范围通常受到限制。通过使用对应于不同曝光时间的多个光学链，可以由对应于更长曝光时间的传感器感测场景区域的较暗部分，同时可以由具有更短曝光时间的光学链感测场景区域的较亮部分而不会变为饱和。通过表明传感器饱和的像素值所表明的变为饱和的光学链的像素传感器可以被忽略，并且来自其他(例如更少曝光的)光学链的像素值可以被使用，而没有来自其他光学链的饱和像素传感器的贡献。在一些实施例中使用作为曝光时间的函数的非饱和像素值的加权和组合。通过组合具有不同曝光时间的传感器的输出，与使用单个传感器和曝光时间所可能实现的情况相比可以覆盖更大的动态范围。
图3是图1和2中示出的摄影机设备100的剖面透视图。图2中的虚线101示出了图3的剖面所对应的摄影机设备内的位置。从该侧剖面可以看到第一、第七和第四光学链的组件。
如描绘出多个光学链的图3中所示，摄影机设备100可以被实施成相对较薄的设备，例如在至少一些实施例中是厚度小于2、3或4厘米的设备。更厚的设备也是可能的，例如具有长焦透镜的设备，并且其也落在本发明的范围内，但是更薄的形式特别适合于蜂窝电话和/或平板设备实现方式。正如后面将讨论的那样，与例如通常使用在手持式摄影机中的小传感器相结合可以使用多种技术，比如使用光重定向元件和/或非圆形透镜，以便在相对较薄的摄影机设备格式中支持相对较大的焦距，例如具有全帧DSLR摄影机的150mm等效焦距、具有全帧DSLR摄影机的300mm等效焦距或更高的摄影机模块。
如图3中的图示所示，显示设备102可以被放置在多个光学链130的后方，并且处理器110、存储器和其他组件至少在一些实施例中被定位在显示器和/或光学链130的上方或下方。正如后面将讨论的那样并且如图3中所示，每一个光学链OC 1 121、OC 7 145、OC 4133可以并且在一些实施例中确实包括处于传感器S之前的外侧透镜L1、可选的滤光器F和第二可选透镜L2，传感器S捕获并且测量穿过透镜L1、滤光器F和第二透镜L2到达传感器S的光的强度。取决于具体的光学链实施例或配置，所述滤光器可以是彩色滤光器或者多种其他类型的滤光器当中的一种，或者可以被省略。
应当提到的是，在支持相对较大的光捕获区域并且在彩色滤光和曝光时间方面给出了大量的灵活性的同时，图3中示出的摄影机设备100相对较薄，其厚度远小于可以在图2中看到的摄影机设备的总体侧面到侧面长度或者甚至顶部到底部长度，例如是所述长度的1/5、1/10、1/20或者甚至更小。
图4A示出了根据本发明实施的摄影机设备200。图4A的摄影机设备200包括在图1-3的设备100中示出的许多或所有相同的元件。示例性的摄影机设备200包括耦合在一起的多个光学链(OC 1 105，OC 2 207，...，OC X 209)、处理器211、存储器213和显示器215。OC1 205包括外侧透镜L1 251、光重定向元件R 252、铰链(或反射镜)驱动器HD 291、滤光器253、内侧透镜L2 255、传感器1 257以及LD 259。HD 291可以被用来移动光重定向设备R252(例如反射镜)被安放到的铰链的位置并且从而移动反射镜，以便在不移动透镜251的情况下改变模块205所导向的场景区域。正如在一些实施例中的情况那样，在其中外侧透镜251是不具有屈光力的平面玻璃件或塑料件的一个实施例中，移动(例如围绕铰链旋转)反射镜252以改变模块205所导向的场景区域是特别有用的。
图4A中示出的光学链可以被安排在摄影机200内的许多位置处。图4B中的与图4A中所示出的相同的元件利用相同的附图标记来标识，并且将不再描述。图4B示出了一种安排中的光学链的配置，其中光经由摄影机200的正面或表面进入并且被转向到分别安放在形成摄影机200的外侧部分的摄影机外罩的内部顶部部分上的第一到第三摄影机模块的传感器257、269、281。
在图4B的实施例中可以看到，在水平维度中进入的光在垂直方向上被向上转向。举例来说，经过第一光学链205的外侧透镜251进入的光被反射镜252向上转向，从而使其在朝向传感器257行进时经过滤光器253和内侧透镜255。出于讨论的目的，具有光重定向元件(比如元件252)的光学链(比如第一光学链205)可以被划分成两个部分，即部分A和部分B。部分A由光学链中的在光径中处在光重定向元件252之前的所有元件构成，并且部分B由在光径中处在光重定向元件之后的所有光学元件(包括图像传感器)构成。从摄影机外部看去光学链205的光轴是部分A的光轴291。沿着光轴291行进到光学链205中的光将沿着第一光学链的部分B的光轴293被向上转向。
在光学链205的一个具体的示例性实施例中，部分A不包含具有任何屈光力的光学元件，例如部分A包含平面玻璃或滤光器而不包含透镜。在这种情况下，从摄影机的外部看去的光学链的光轴简单地是沿着光径，所述光径被光重定向元件沿着部分B的光轴293向上转向。在一些实施例中，具有屈光力的一个或更多透镜255被包括在光学链的部分B中。因此应当认识到，在至少一些实施例中，外侧透镜251可以被实施成平坦或相对平坦的透镜，其不会从摄影机200的表面突出。这样就降低了刮擦的风险，并且还降低了外侧透镜在被插入或者从口袋或外壳中取出时被挂住的可能性，而如果透镜从摄影机突出的话就可能会发生这种情况。
应当认识到，第二和第三摄影机模块的光轴类似于第一摄影机模块205的光轴，并且光学链的组件也可以被分组到两个部分中，即对应于处在光学链的反射镜之前的组件的部分A，以及对应于处在光学链的反射镜之后的组件的部分B。从光学链的光径的角度来看，像所述组件一样，光径可以被分组成部分A和部分B，其中反射镜提供光径的部分A与光径的部分B之间的过渡点。
在一些而非所有实施例中，图4A的摄影机设备200的处理器211与图1的设备100的处理器110相同或类似，图4A的设备200的存储器213与图1的设备100的存储器108相同或类似，设备200的变焦控制模块214与设备100的变焦控制模块140相同或类似，设备200的加速度计模块216与设备100的加速度计模块122相同或类似，并且图4A的设备200的显示器215与图1的设备100的显示器102相同或类似。
OC 2 207包括外侧透镜L1 263、光重定向设备231、铰链驱动器293、滤光器265、内侧透镜L2 267、传感器2 269以及LD 271。OC N 209包括外侧透镜L1 275、光重定向设备235、铰链驱动器295、滤光器277、内侧透镜L2 279、传感器N 281以及LD 283。曝光和读出控制器150控制传感器按照同步方式读出例如像素值行，同时还控制曝光时间。在一些实施例中，曝光和读出控制器150是包括曝光控制器287和传感器读出控制器289的卷帘快门控制器。在一些实施例中包括自动聚焦控制器152以便控制透镜驱动器259、271和283。
在图4A的实施例中，各个光学链(光学链1 205，光学链2 207，...，光学链N 209)被显示成独立的套件，其中每一个模块的透镜驱动器分别是单独的LD元件(LD 259，LD271，LD 283)。作为变焦和/或聚焦操作的一部分，每一个所示出的LD调节其所连接的相应透镜的位置。在一些实施例中，LD控制透镜和/或传感器的位置，在这种情况下，LD同时连接到透镜支撑机制或透镜以及传感器。
在图4A中，与其中一些其他附图相比可以更加清楚地看到每一个光学链中的处在传感器之前的反射镜以及各个透镜和滤光器之间的结构关系。虽然在图4A中在每一个传感器之前示出了四个元件，例如两个透镜(参见分别对应于L1和L2的列201和203)、光重定向元件R(参见列217)以及滤光器(其对应于列202)，但是应当认识到，在一个或更多光学链的传感器之前可以有透镜、光重定向元件和/或滤光器的大得多的组合(例如数目)，其中处于2-10个元件当中的任意数目是常见的，并且在一些实施例中使用甚至更大数目的元件，例如高端实施例和/或支持大量滤光器和/或透镜选项的实施例。此外还应当认识到，在所有光学链中不需要包括所有示出的元件。举例来说，在一些实施例中，可以实施具有相对较短焦距的光学链而不使用光重定向元件(例如用以把光转向90度)，这是因为在给定短焦距的情况下，可以按照平直但是仍然相对紧凑的方式实施具有短焦距的光学链。
在一些而非所有实施例中，光学链被安放在摄影机设备中，例如更短焦距光学链按照平直方式从摄影机设备的正面向背面延伸。但是在相同的摄影机中，更长焦距摄影机模块可以并且有时确实包括光重定向设备，其允许摄影机模块的光径的至少一部分侧向延伸，从而允许光轴的长度长于摄影机的深度。对于长焦距摄影机模块使用光重定向设备(例如反射镜)是特别有利的，这是因为此类模块的总体长度往往长于具有更短焦距的摄影机模块的总体长度。摄影机可以具有多种不同的摄影机模块，其中一些具有光重定向元件(例如反射镜)，其他摄影机模块则不具有反射镜。对应于不同光学链的滤光器和/或透镜可以并且在一些实施例中被安排在平面中，例如最外侧透镜的孔径可以被配置在平行于摄影机的表面延伸的平面中，例如当摄影机处于垂直方向上并且摄影机的顶部朝上时是摄影机的正面同时在其中垂直和水平延伸的平面。
图5示出了被使用在各个示例性实施例中的光学链(例如摄影机模块)500。在例如后面详细讨论的摄影机600之类的摄影机设备中使用了多个图5中示出的类型的光学设备。摄影机模块500是包括外侧透镜512、位于透镜512后方的光重定向设备(例如反射镜)、铰链驱动器516、反射镜铰链508、第一圆柱模块部分506、第二圆柱模块部分504、传感器502以及透镜驱动器514的光学链。光经由透镜512进入光学链500，并且被反射镜510转向，从而使其到达光学链背面的传感器502。第一和第二圆柱部分504、506可以容纳一个或更多透镜或滤光器以及光在到达传感器502之前可以经过的其他光学组件。反射镜510通常被用来把光转向90度，从而使得沿着其光轴经过透镜512(其可以被定位在摄影机的表面上)进入的光将沿着光学链500的部分B的光轴被转向，从而使其朝向摄影机的侧面行进，从而允许光学链500有效地使用在其中安放光学链500的摄影机设备的侧面到侧面距离，铰链驱动器516则可以移动铰链508并且从而是反射镜510的位置，以便改动转向角度从而使其不同于90度。因此，通过移动铰链508和反射镜510的全部或一部分而不移动透镜512，可以改动光学链500有效地指向的方向。在一些实施例中，铰链的轴垂直于光轴的部分B并且平行于摄影机600的正面的放置。在一些实施例中，透镜512是不具有屈光力的平面玻璃。
铰链驱动器可以利用电动机或其他机械机制来实施，其可以被用来驱动或改变反射镜510和/或把反射镜连接到摄影机模块的其他组件(比如圆柱部分506)的铰链508的位置。
圆柱或圆筒部分504、506可以由驱动器514移动，从而使其相对于彼此滑动，例如圆筒部分504可以被移动从而使其进一步移入或移出圆筒部分506，从而作为聚焦或变焦操作的一部分改动从透镜512到传感器502的距离。
应当认识到，光学链500允许把相对较长的光学链定位在其深度小于光学链500的总体长度的摄影机设备中。摄影机模块500特别适合于实施包括多个光学链但是仍然意图是相对较薄以便于存放在口袋或其他存放设备中的摄影机设备。
图6是包括多个光学链(例如图5中示出的类型的摄影机模块)的摄影机设备600的透视图。摄影机600包括覆盖物602，其是灵活的并且可以滑动到侧面以形成把手并且暴露出透镜区域604。在图6的实施例中，透镜区域604包括分别由一个圆圈表示的多个外侧透镜。更大的圆圈对应于与具有更小透镜的光学链相比具有更大孔径和焦距的光学链。图6的实施例包括对应于三个不同焦距的总共17个光学链。通过透镜区域604中的5个最小圆圈可以看到存在5个小焦距光学链，通过表示5个中等焦距光学链的外侧透镜的5个中等尺寸圆圈可以看到5个中等焦距光学链，并且通过图6的透镜区域604中示出的七个更大圆圈可以看到7个长焦距光学链。在一个实施例中，最小和最大光学链之间的焦距关系使得最小焦距是最大光学链的焦距的1/4，并且是中等焦距光学链的焦距的1/2。举例来说，小、中和大焦距光学链可以并且在一个实施例中确实分别具有35mm、70mm和140mm的全帧DSLR等效焦距。应当认识到，这样的焦距差异将导致35mm摄影机模块所捕获的场景区域是由70mm摄影机模块捕获的区域的近似四倍大，并且是由具有140mm焦距的摄影机模块捕获的场景区域的尺寸的16倍。虽然在图6中未示出，但是应当认识到，摄影机设备600可以并且在一些实施例中确实包括与图1和4A的摄影机设备100和摄影机设备200相同或类似的元件。因此应当认识到，摄影机设备600包括例如处理器110/211、存储器108/213、变焦控制器140/214、曝光和读出控制器150、加速度计、陀螺仪、自动聚焦控制器132等各种元件，以及前面关于摄影机设备100和200所讨论的各种其他元件。
通过使用具有不同焦距的摄影机模块来捕获感兴趣场景区域的一部分，并且通过随后像在各个实施例中所做的那样组合所述图像，复合图像可以具有高于任何一个单独传感器的总体像素计数。相应地，即使当由具有不同焦距的不同摄影机模块使用的传感器具有相同的像素计数时，复合图像的像素数目也可以远高于一个单独传感器的像素数目。
在一些实施例中，正如后面将讨论的那样，感兴趣场景区域的不同部分由具有最大焦距的不同摄影机模块捕获。具有中等或小焦距的摄影机模块随后被用来捕获感兴趣场景区域的更大部分，其中例如在使用最小所支持焦距的摄影机设备的摄影机模块的情况下，所述更大的感兴趣场景区域可以对应于完整的感兴趣场景区域。通过不同摄影机模块的图像传感器捕获重叠的图像。根据关于摄影机设备上的摄影机模块的位置的已知空间信息，例如不同摄影机模块的外侧透镜之间的距离以及/或者每一个单独的摄影机模块(其捕获将被组合的图像)所指向的角度，生成深度信息。利用深度信息，由不同的摄影机模块捕获的图像被组合以形成复合图像，正如后面将讨论的那样。应当提到的是，可以并且在一些实施例中在不生成场景或场景区域中的深度信息的情况下组合各幅图像。在一些这样的实施例中，首先选择一幅覆盖感兴趣场景区域的图像以作为参考图像。随后从参考图像中捕获的视角生成复合图像。在一个这样的实施例中，把参考图像中的所选小像素块与包括在其他图像的所选子集当中的每一幅图像中的匹配像素总集相组合。实施组合从而把参考图像块中的每一个像素与对象中的每一幅图像中的匹配像素(或者如果图像部分与非整数像素偏移匹配则是内插的像素)相组合。所述组合可以是像素值的加权和，其中基于像素所属的图像的质量来指派权重。该组合像素块现在成为相应的复合图像块。对于参考图像的其他块重复所述处理，从而生成整个复合图像。应当提到的是，利用与参考图像具有不同焦距的摄影机模块拍摄的图像具有不同的放大率。在这种情况下，在实施前面的处理之前，这些图像应当首先被适当地缩放以便具有与参考图像相同的放大率。通过如前所述地组合多幅图像而生成的复合图像很可能具有比基于被用来生成复合图像的图像组合所选择的参考图像更好的SNR。
具有对应于三个不同焦距的17个不同摄影机模块的图6的摄影机设备特别适合于组合所捕获图像以生成复合图像，正如后面将详细讨论的那样。
图7示出了图6的摄影机设备600，其中摄影机外壳处于关闭位置。应当提到的是，灵活外壳602充当覆盖物，其在摄影机不处于使用中时可以保护透镜区域604以及包括在其中的透镜。
图8是摄影机设备600以及摄影机设备的透镜安排的正视图，其中15个外侧透镜作为透镜区域604中的圆圈清楚可见。应当提到的是，最小透镜的直径d对应于具有最小焦距的摄影机模块，对应于中等焦距模块的外侧透镜具有直径2d，并且具有最大焦距的摄影机模块具有直径4d。给定f1是最大焦距(f3)的1/4并且是具有中等焦距的摄影机模块的中等焦距f2的一半焦距的焦距关系，则得到具有相同的“f光圈”或“f数”。“f数”是焦距与孔径直径的比值，其决定摄影机模块的衍射极限。f数越小，摄影机模块受到衍射限制的可能性就越低。更小的f数通常对应于摄影机模块中的更大光学复杂度。对于大约2.4的f数，现今可以通过成本有效的方式制造具有5个或6个模制塑料元件的小透镜。相应地，在一些实施例中，使用由多个塑料元件制成的塑料透镜。
图9是摄影机设备600的简化图示，其中外壳、控制装置和其他特征被省略以便允许更好地认识透镜配置和透镜区域。
图10是摄影机设备600的侧视图1000。如图10中所示，摄影机设备具有高度H(不包括控制按钮)和深度D1。D1等于或大于图6中示出的最大透镜的孔径的直径D。正如后面将讨论的那样，取决于实施例，如果光重定向元件(例如反射镜)被用来使光转向，则具有圆形孔径的外侧透镜的直径可能对摄影机的最小深度有影响。在这种情况下，摄影机的最小深度必须大于该直径。如果不是这种情况，则实际的模块孔径将小于外侧透镜的直径，并且可以使用更小的外侧透镜。
图11示出了摄影机600的外侧透镜安排的放大版本1100。在图11中，可以清楚看到具有三个不同尺寸的外侧透镜，其中最大直径透镜对应于具有最大焦距并且从而具有最大变焦(例如放大率)的摄影机模块。
图12A是示出了摄影机600的17个光学链(例如摄影机模块)如何可以被安排在摄影机600的主体内的图示1200。利用图5中示出的类型的光学链实施具有最大透镜和最大支持焦距的七个光学链1202、1206、1210、1212、1216、1220、1222。类似地，同样利用图5中示出的类型的光学链实施具有中等直径透镜和中等支持焦距的五个摄影机模块1204、1208、1214、1218、1224。利用不使用反射镜并且朝向摄影机的背面平直延伸的光学链实施具有最小直径外侧透镜和最小焦距的五个光学链1226、1228、1230、1232和1234。在图3的实施例中所使用的类型的光学链可以被用于光学链1226、1228、1230、1232和1234。但是应当认识到，在图5中示出的类型的光学链可能并且在一些实施例中被用作光学链1226、1228、1230、1232和1234。
图12A的实例可以被视为正视图，其中摄影机外罩的正面被移除以允许查看摄影机模块，从该例可以看到大量摄影机模块如何可以被合并到单个摄影机设备600中，从而允许利用单个摄影机同时和/或同步捕获一个场景区域的相同或不同部分的多幅图像。摄影机设备随后可以组合多幅图像以生成复合图像，所述复合图像具有超出利用摄影机600当中的单个摄影机模块所可能实现的图像属性和/或质量(比如像素的数目)。
图12B示出了摄影机设备600的透视图1250，其中示出了摄影机设备中的各个光学链以及摄影机设备中的光学链的元件的安排的更多细节。因此，图12B给出了关于图12A详细讨论的具有各种相应的焦距的多个光学链(OC)1202、1204、1206、1208、1210、1212、1214、1216、1218、1220、1222、1224、1226、1228、1230、1232和1234的更加详细的图示。
如图12B中所示，摄影机600具有深度D1，其代表从摄影机的正面(由箭头1223表明)到摄影机的背面/后面(由箭头1227表明)的摄影机600的厚度。虽然没有在图12B中示出，但是在一些实施例中，摄影机设备600包括与图1和/或4A的摄影机设备相同或类似的元件。
在一些实施例中，包括在光学链1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224中的元件类似于前面关于图4B和5所讨论的那些元件，而包括在光学链1226、1228、1230、1232和1234中的元件则类似于前面关于图3所讨论的那些元件。在图12B的实施例中每一个OC使用圆形外侧透镜。
OC 1202包括外侧透镜1203、位于透镜1203后方的光重定向设备1205(例如反射镜)、第一内侧透镜1207、滤光器1213、第二内侧透镜1215以及传感器1217。在一些实施例中，OC 1202、1206、1210、1212、1216、1220、1222具有相同的焦距(与图12B中的其他OC相比的最大焦距)并且使用类似的元件(比如反射镜、滤光器、传感器等等)。相应地，对应于OC1206、1210、1212、1216、1220、1222的元件已利用被用于标识OC 1202中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)、三引号(”’)等等。举例来说，OC 1206包括外侧透镜1203’、位于透镜1203’后方的光重定向设备1205’(例如反射镜)、第一内侧透镜1207’、滤光器1213’、第二内侧透镜1215’以及传感器1217’。OC1210包括外侧透镜1203”、光重定向设备1205”、第一内侧透镜1207”、滤光器1213”、第二内侧透镜1215”以及传感器1217”。OC 1212包括外侧透镜1203”’、光重定向设备1205”’、第一内侧透镜1207”’、滤光器1213”’、第二内侧透镜1215”’以及传感器1217”’。OC 1216包括外侧透镜1203””、光重定向设备1205””、第一内侧透镜1207””、滤光器1213””、第二内侧透镜1215””以及传感器1217””。OC 1220包括外侧透镜1203””’、光重定向设备1205””’、第一内侧透镜1207””’、滤光器1213””’、第二内侧透镜1215””’以及传感器1217””’。OC 1222包括外侧透镜1203”””、光重定向设备1205”””、第一内侧透镜1207”””、滤光器1213”””、第二内侧透镜1215”””以及传感器1217”””。
类似地，对应于具有相同的(中间)焦距的OC 1204、1208、1214、1218、1224的元件已利用相同的附图标记来标识。OC 1204包括外侧透镜1233、位于透镜1233后方的光重定向设备1235(例如反射镜)、第一内侧透镜1237、滤光器1243、第二内侧透镜1245以及传感器1247。光学链1208包括外侧透镜1233’、位于透镜1233’后方的光重定向设备1235’(例如反射镜)、第一内侧透镜1237’、滤光器1243’、第二内侧透镜1245’以及传感器1247’。OC 1214包括外侧透镜1233”、光重定向设备1235”、第一内侧透镜1237”、滤光器1243”、第二内侧透镜1245”以及传感器1247”。OC 1218包括外侧透镜1233”’、光重定向设备1235”’、第一内侧透镜1237”’、滤光器1243”’、第二内侧透镜1245”’以及传感器1247”’，并且OC 1224包括外侧透镜1233””、光重定向设备1235””、第一内侧透镜1237””、滤光器1243””、第二内侧透镜1245””以及传感器1247””。
正如关于图4B所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1205)的比如光学链1202(或者OC 1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224)之类的光学链可以被划分成两个部分。从摄影机的正面的外部看去的光学链1202的光轴是第一部分1201的光轴(其经由外侧透镜1203从摄影机600的正面1223进入OC)。沿着光轴行进到光学链1202中的光被重定向元件1205转向，并且穿越第一光学链的第二部分1209到达传感器1217。类似地，光学链1204的光轴包括第一部分1211以及重定向元件1235的光转向之后的第二部分1219，光学链1208的光轴包括第一部分1231和第二部分1239，光学链1210的光轴包括第一部分1241和第二部分1249，光学链1212的光轴包括第一部分1251和第二部分1259，光学链1214的光轴包括第一部分1261和第二部分1269，光学链1216的光轴包括第一部分1271和第二部分1279，光学链1218的光轴包括第一部分1278和第二部分1288，光学链1220的光轴包括第一部分1281和第二部分1289，光学链1222的光轴包括第一部分1291和第二部分1299，并且光学链1224的光轴包括第一部分1292和第二部分1298。
其他光学链OC 1226、1228、1230、1232和1234(最小焦距OC)虽然分别具有光从中进入的最外侧透镜1252、1253、1254、1255和1256，但是OC 1226、1228、1230、1232和1234不具有图12B的实例中的光重定向元件。虽然没有在图12B中示出，但是OC 1226、1228、1230、1232和1234分别具有垂直于摄影机600的正面1223的光轴。
之前例如在图4B和5的讨论中讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器以及传感器。由于图12B中示出的OC的元件的功能与关于图4A-4B和5所讨论的相同或类似，因此将不重复讨论。
光经由其对应的外侧透镜进入每一个OC 1202、1206、1210、1212、1216、1220、1222、1204、1208、1214、1218、1224，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1202的外侧透镜1203进入(例如从摄影机600的正面1223进入，正如第一光轴1201所表明的那样)的光被反射镜1205转向，从而使其朝向传感器1217行进时经过第一内侧透镜1207、滤光器1213和第二内侧透镜1215。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备600中的其他光学链相同的形状和/或分辨率的传感器。
应当认识到，位于OC的透镜后方的光重定向元件(例如铰链反射镜或者例如棱镜之类的其他光重定向元件)可以被移动和/或旋转，从而导致从相应的OC的外侧透镜的外部看去的OC的光轴的改变。也就是说，通过控制相应的OC的光重定向元件，可以改变从摄影机外部看去的光学链的光轴(前面作为第一部分的光轴进行了讨论，比如光轴1201、1211、1231等等)。因此应当认识到，虽然在图12B的实例中光轴1201、1211、1221、1231、...1298、1299看起来是平行的，但是在一些实施例中，通过控制放置在相应的光学链中的外侧透镜后方的例如反射镜之类的光重定向元件，可以改变所述光轴，从而使得一个或更多OC的光轴彼此不平行。通过控制反射镜的移动来改变光学链的光轴的能力提供了如同摄影机正被指向在给定的方向上以便例如在该方向上拍摄照片的相同效果，并且从而提供了在不实际移动摄影机设备的情况下从不同视角捕获图像的能力。
示出了具有处于不同位置的光重定向设备1205”的光学链1210的图12C到12E是关于如何可以通过改动光重定向设备1205”的位置来改动光径的第一部分1241的示例。OC1210包括外侧透镜1203”、位于透镜1203”后方的光重定向设备1205”(例如反射镜)、第一内侧透镜1207”、滤光器1213”、第二内侧透镜1215”以及传感器1217”。
在图12C中，反射镜的角度被向上倾斜，从而导致光径的第一部分1241向左成角度。应当认识到，通过把反射镜1205”抬高到该位置，与光重定向设备1205”相对于光学链模块1210的底部倾斜45度时相比，传感器1217”将会观测并且捕获不同的图像区域，假设透镜1203”正朝向摄影机的正面，则其将与所述模块被安放在其中的摄影机的背面重合。
假设在图12D的配置中，也就是当平面反射镜1205”处于45度角并且被导向传感器的图像对应于场景区域的中心部分时，改变反射镜1205”的位置(例如角度)将改动由传感器1217”捕获的场景区域的部分。图12E示出了通过降低反射镜1205”的角度如何可以把第一部分1241导向右侧，图12F则示出了通过进一步降低反射镜1205”的角度如何进一步改变将被捕获的场景部分。
在一些实施例中支持如图12C中所示的抬高光重定向设备的角度，在其他实施例中则支持45度和更小的角度。在这样的实施例中，不需要增大摄影机的最大深度以支持把光重定向设备抬高超出45度角的能力。
应当认识到，通过改动图12B中示出的模块的光重定向设备的位置，可以在不移动模块本身的情况下改变由具有光重定向设备的模块所捕获的图像区域。对于在摄影机的表面上平行于45度角安排的光学链模块，比如模块1208、1210、1212、1214、1218、1220、1202、1204，改变光重定向设备的角度会有效地移动光捕获区域，例如从处在摄影机中心的正前方或者从捕获感兴趣场景区域的一个角落象限移动到场景区域的某一其他部分。如果摄影机模块被沿着或者平行于从摄影机设备1250的正面的一个角落延伸到摄影机设备1250的另一个角落的45度角安排，则改变反射镜位置将具有沿着45度对角线滑动所捕获的图像区域的效果。因此，当摄影机模块被沿着摄影机正面的45度偏置放置时，图像捕获区域可以被偏移，从而使得通过沿着关于摄影机正面的45度角安排的模块的光重定向设备的简单移动捕获较大图像区域的一个象限，而不是所述较大图像区域的中心部分。通过如图12C到12D中所示出的那样改动光重定向设备1205”的角度，图像捕获区域可以有效地从中心滑动到角落象限或者反之亦然。
取决于其反射镜位置和焦距，不同的光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的不同部分。被捕获的图像区域可以并且常常确实重叠，但是其不需要重叠。由不同摄影机模块捕获的区域的重叠便于组合由不同模块捕获的图像。
例如考虑下面关于一个实施例的讨论，其中至少一些光学链的光轴是不平行的。虽然出于讨论的目的我们参照图12B并且使用对应于图12B中示出的元件的附图标记，但是对于该具体实施例的讨论应当理解的是，不同于图12B的实例，(从光学链的最外侧透镜的外部看去的)两个或更多光学链的光轴彼此不平行，并且可能不垂直于摄影机的正面。根据该实施例实施的摄影机设备包括具有第一光轴和第一最外侧透镜的摄影机的第一光学链(例如第一OC 1202)，以及摄影机的第二光学链(例如第二OC 1208或OC 1210)，所述第二光学链具有不平行于第一光轴的第二光轴以及不同于第一最外侧透镜的第二最外侧透镜。第一光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的第一部分的第一图像，第二光学链可以并且在一些实施例中被用来捕获感兴趣场景区域的第二部分的第二图像。在一些这样的实施例中，第一和第二光轴不垂直于摄影机的正面，例如摄影机600的正(1223)面。在一些实施例中，除了第一和第二光学链之外，示例性的摄影机还包括具有第三光轴以及与第一和第二最外侧透镜(例如1203和1203”)分开的第三最外侧透镜1253的第三光学链，例如OC 1228。在一些实施例中，第三光学链的焦距小于第一或第二光学链的至少其中之一的焦距。在一些实施例中，第三光学链被用来捕获第三图像，所述第三图像包括感兴趣场景区域，例如整个感兴趣场景区域的图像。在一些实施例中，第三光轴垂直于摄影机的正面1223。在一些实施例中，第三光轴不平行于第一光轴或第二光轴当中的任一个。在一些实施例中，第二光学链具有第二焦距并且第一光学链具有第一焦距，其中第二焦距小于所述第一焦距。在一些其他实施例中，第一和第二焦距是相同的。在一些实施例中，第三光学链具有小于第一和第二焦距的第三焦距。
在一些实施例中，除了第一、第二和第三光学链之外，摄影机还包括具有与所述第一、第二和第三最外侧透镜分开的第四最外侧透镜(例如透镜1256)的第四光学链(例如OC1234)。在一些实施例中，第四光学链被用来捕获第四图像，所述第四图像包括感兴趣场景区域的第二图像，例如整个感兴趣场景区域。在一些实施例中，第四光学链具有第四光轴，并且第三和第四光轴彼此平行。在一些实施例中，第三和第四光轴不平行于第一或第二光轴。
在一些实施例中，摄影机还包括具有不平行于第一和第二光轴的第五光轴的第五光学链(例如OC 1220)，以及具有不平行于第一、第二或第五光轴的第六光轴的第六光学链(例如OC 1212)。在一些实施例中，第五光学链被用来捕获第五图像并且第六光学链被用来捕获第六图像，其中第五图像是感兴趣场景区域的第三部分的图像，第六图像是感兴趣场景区域的第四部分的图像。在一些实施例中，摄影机还包括与第一光学链具有相同焦距的第七光学链(例如OC 1216)，其捕获第七图像，所述第七光学链具有垂直于摄影机的表面(1223)的光轴。
在一些实施例中，摄影机600包括处理器(例如处理器110、211)，其被配置成通过组合至少第一和第二图像而生成复合图像。在一些实施例中，所述处理器被配置成从第一、第二、第三、第四、第五和第六图像生成复合图像。在一些实施例中，所述处理器被配置成从第一、第二、第三、第四、第五、第六和第七图像生成复合图像。在一些实施例中，所述处理器还被配置成控制所生成的复合图像在存储器设备(例如存储器108)中的存储，以及/或者复合图像在显示器(例如显示器102)上的输出，以及/或者所捕获图像或复合图像通过接口(比如接口114)到另一个设备的传送。
图13A示出了示例性光学链(例如摄影机模块)1300，其在构造上类似于图5中示出的摄影机模块500，但是使用非圆形(例如椭圆形)外侧透镜1312和作为光重定向设备的矩形反射镜1310。光学链1300被使用在各个示例性实施例。摄影机模块1300是包括以下各项的光学链：外侧透镜1312(其在一些而非所有实施例中是不具有屈光力的平面玻璃)，位于透镜1312后方的光重定向设备(例如反射镜)1310，铰链驱动器1316，反射镜铰链1308，第一圆柱模块部分1306，第二圆柱模块部分1304，传感器1302，以及透镜驱动器1313。在一些实施例中，所述圆柱模块部分可能并不确切地是圆柱形，其剖面在一些实施例中可能是椭圆形而不是圆形。但是即使对于椭圆形剖面，所述部分看起来总体上仍然是圆柱形的，因此将被称作圆柱部分。光经由透镜1312进入摄影机模块1300并且被反射镜1310转向，从而使其在光学链的背面到达传感器1302。第一和第二圆柱模块部分1304和1306可以容纳一个或更多透镜或滤光器以及光在到达传感器1302之前可以从该处经过其他光学组件。虽然外侧透镜1312具有非圆形孔径，但是传感器1302可以是与图5的实施例中所使用的相同形状和/或类型。因此，虽然不同的光学链可以使用不同的透镜，但是其仍然可以使用与摄影机设备中的其他光学链具有相同形状和/或分辨率的传感器。
通过后面的讨论，使用具有非圆形孔径的光学链在潜在的摄影机厚度方面的优点将变得显而易见。
图13B示出了包括摄影机外罩1322的摄影机设备1320中的多个光学链(OC)的示例性安排。除了摄影机内部的光学链的安排之外，还示出了每一个光学链的内部元件的配置和安排的更多细节。虽然在图13B中示出了具有六个OC的一种示例性安排，但是应当认识到，光学链可以被安排在摄影机1320内的各种其他位置处。如图13B中所示，摄影机1320具有深度D，其代表从摄影机的正面(由箭头1321表明)到摄影机的背面/后面(由箭头1325表明)的摄影机1320的厚度。应当认识到，图13B示出了摄影机设备1320的透视图，从可以更好地认识摄影机设备1320的各种特征，比如摄影机外罩1322、厚度(D)1323、正面和背面1321和1325。在一些实施例中，摄影机设备1320包括与图1和/或4A的摄影机设备相同或类似的元件。
图13B中示出的多个光学链包括OC 1324、OC 1326、OC 1328、OC 1330、OC 1332和OC 1333。包括在所示出的各个光学链当中的每一个光学链中的元件类似于前面关于图4A和图13A所讨论的那些元件。在图13B的实施例中，每一个OC使用非圆形(例如椭圆形)外侧透镜。
OC 1324包括外侧透镜1334、位于透镜1334后方的光重定向设备1335(例如反射镜)、第一内侧透镜1336、滤光器1338、第二内侧透镜1340以及传感器1342。OC 1326包括外侧透镜1344、位于透镜1344后方的光重定向设备1345、第一内侧透镜1346、滤光器1348、第二内侧透镜1350以及传感器1352。OC 1328包括外侧透镜1354、位于透镜1354后方的光重定向设备1355、第一内侧透镜1356、滤光器1358、第二内侧透镜1360以及传感器1362。类似地，OC 1330包括外侧透镜1364、位于透镜1364后方的光重定向设备1365、第一内侧透镜1366、滤光器1368、第二内侧透镜1370以及传感器1372。OC 1332包括外侧透镜1374、位于透镜1374后方的光重定向设备1375、第一内侧透镜1376、滤光器1378、第二内侧透镜1380以及传感器1382。OC 1333包括外侧透镜1384、位于透镜1384后方的光重定向设备1385、第一内侧透镜1386、滤光器1388、第二内侧透镜1390以及传感器1392。
正如关于图4B所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1335)的光学链(比如图13B中示出的光学链1324)可以被划分成两个部分。从摄影机的外部看去的光学链1324的光轴是第一部分1331的光轴(其经由外侧透镜1334从摄影机1320进入OC)。沿着光轴行进到光学链1324中的光被重定向元件1335转向，并且穿越第一光学链的第二部分1339到达传感器1342。类似地，光学链1326的光轴包括第一部分1341以及重定向元件1345的光转向之后的第二部分1349，光学链1328的光轴包括第一部分1351和第二部分1359，光学链1330的光轴包括第一部分1361和第二部分1369，光学链1332的光轴包括第一部分1371和第二部分1379，光学链1333的光轴包括第一部分1381和第二部分1389。
在一些具体实施例中，摄影机1320具有多个光学链/摄影机模块，比如具有非圆形(其也被称作非圆)孔径的透镜的OC 1324到1333。在一个这样的实施例中，摄影机1320包括第一光学链(例如OC 1324)，其所使用的透镜1336的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D(摄影机厚度)的长度，并且沿着垂直于摄影机的厚度方向的第二方向具有大于D的长度。在各个实施例中，第一透镜是在第二光轴部分上最靠近光重定向元件的透镜，例如透镜1336。在一些这样的实施例中，摄影机1320还包括第二光学链(例如OC 1326)，其所使用的透镜1346的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第三方向具有大于D的长度。在一些这样的实施例中，第二和第三方向关于彼此成90度角。在一些这样的实施例中，摄影机1320还包括第三光学链(例如OC 1333)，其所使用的透镜1386的非圆形孔径在沿着摄影机的厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第四方向具有大于D的长度，其中第一、第二和第三方向是不同的。在一些这样的实施例中，第二和第三方向关于彼此成90度角，并且第二和第四方向关于彼此成30度到60度之间的角(例如45度)。在一些实施例中，第一光重定向设备是反射镜。在一些实施例中，第一光重定向设备是棱镜。在一些实施例中，第一光重定向设备是成45度角的平面反射镜，其把光转向90度。
之前例如在图4A和13A的讨论中已经讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器和传感器。由于图13B中示出的OC的元件的功能是相同的或类似的，因此将不再详细重复讨论。
光经由其对应的外侧透镜进入每一个OC 1324到1333，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1324的外侧透镜1334进入(例如从摄影机1320的正面进入，正如第一光轴1331所表明的那样)的光被反射镜1335转向，从而使其朝向传感器1342行进时经过第一内侧透镜1336、滤光器1338和第二内侧透镜1340。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备中的其他光学链相同的形状和/或分辨率的传感器。
图14示出了摄影机设备1400，其类似于摄影机设备600但是对于大焦距光学链使用具有非圆形孔径的透镜。在各个实施例中，具有非圆形孔径的透镜作为各个光学链的一部分被包括在摄影机外罩1402中。在透镜区域1404中可以看到对于具有非圆形(例如椭圆形)孔径的透镜的使用。虽然非圆形透镜在一个维度中具有与图6中所使用的圆形透镜相同的最大长度，但是其在另一个方向上是更小的，例如与最大孔径范围的方向垂直的方向。具有非圆形孔径的透镜的不同指向可以被用来允许在多个方向上捕获除低频率信息之外的高频率信息。摄影机1400类似于图13B中示出的摄影机1320，但是在图13B中示出了具有非圆形孔径的光学链/摄影机模块的特定安排，而在图14中可以看到，摄影机1400所包括的其中一些光学链使用具有圆形孔径的透镜，一些其他光学链则使用具有非圆形孔径的透镜。在图13B中示出并且在前面讨论的多个各种光学链可以被使用在摄影机1400中。
虽然在图14中没有示出，但是应当认识到，摄影机设备1400可以并且有时确实包括与图1和4A的摄影机设备100和摄影机设备200相同或类似的元件。因此应当认识到，摄影机设备1400包括例如处理器110/211、存储器103/213、变焦控制器140/214、曝光和读出控制器150、加速度计、陀螺仪、自动聚焦控制器152等各种元件，以及前面关于摄影机设备100和200讨论的各种其他元件。
图15是摄影机1400的简化正视图1500，其中清楚地示出了透镜区域1404。在图15中可以更加清楚地看到，摄影机的透镜区域示出了外侧透镜孔径，其中一些是圆形的，各个其他的则是非圆形的。正如前面所讨论的那样，这样的组合允许在各个方向上捕获除低频率信息之外的高频率信息。
图16是摄影机设备1400的侧视图1600。在摄影机1400的侧视图1600中还示出了摄影机1400的正面1602和背面1604。应当提到的是，虽然摄影机高度H与对应于摄影机600的图10的实例中的相同，但是摄影机设备1400是利用小于D1的深度D2来实施的，并且在一些实施例中D2小于最大限度方向上的椭圆形孔径的长度。在图14的实施例中，通过对于具有最大焦距的摄影机模块使用具有椭圆形孔径的透镜，摄影机深度不受最大孔径维度的最大维度的约束，并且可以小于孔径的最大长度。
虽然由于大透镜或者与之相关联的光重定向设备的物理尺寸，包括在摄影机(比如摄影机1400)中的大孔径或最大孔径透镜可能会影响摄影机的最小厚度，但是常常有可能利用圆形透镜支持更小的孔径，同时对于更大的孔径使用非圆形透镜。这是因为对应于更小圆形透镜的光重定向设备的大小和深度可能小于在摄影机的主体内把更大圆形孔径的光转向90度所将需要的反射镜。在一些实施例中，使用具有非圆形孔径的大透镜与具有圆形孔径的更小透镜的组合。这种方法在一些实施例中被使用，其中包括图17A中所示出的实施例。
图17A示出了可以被用来实施摄影机设备1400的光学链(例如摄影机模块)的安排1700。在图17A的实施例中可以使用图5和13A中示出的类型的光学链(OC)，但是其实现方式不限于使用这样的光学链。应当提到的是，具有圆形孔径的透镜被用于具有中等焦距的光学链1704、1708、1714、1718、1724以及具有小焦距的光学链1726、1728、1730、1732和1734。具有非圆形孔径的透镜被用于具有大焦距的光学链1702、1706、1710、1712、1716、1720、1722。从图18到23的讨论将会认识到，非圆形孔径的特定安排和角度可以是有益的。每一个光学链1704、1708、1714、1718和1724使用具有圆形孔径的透镜，并且包括与关于图5详细讨论的元件相同或类似的元件。类似地，每一个光学链1702、1706、1710、1712、1716、1720、1722使用具有非圆形孔径的透镜，并且包括与关于图13A详细讨论的元件相同或类似的元件。
在一个实施例中，一个光学链(OC)(例如OC 1722)是具有第一焦距和第一非圆形透镜的第一光学链，并且另一个光学链(例如OC 1706)是具有第二焦距和第二非圆形透镜的第二光学链。在一些实施例中，第一和第二焦距是相同的。在一些其他实施例中，第一和第二焦距是不同的。在一些实施例中，第一非圆形透镜在第一方向上延伸的数量大于摄影机1400的深度，例如图16中示出的深度D2。在一些实施例中，第一光学链包括第一传感器，并且第二光学链包括第二传感器，比如图13A的传感器1302。在一些实施例中，摄影机1400还包括处理器，比如处理器110或211，其耦合到第一和第二传感器以用于组合由第一和第二传感器捕获的图像以生成复合图像。在一些实施例中，第一光学链包括第一光重定向元件，并且第二光学链包括第二光重定向元件，比如图13A的光重定向元件1310。在一些这样的实施例中，第一光重定向元件在至少一个方向上延伸的数量大于摄影机的深度，并且第二光重定向元件在至少一个方向上延伸的数量大于摄影机的深度。在一些实施例中，第一和第二光重定向元件是平面反射镜。在一些实施例中，第一和第二光重定向元件是棱镜。在一些实施例中，第一和第二焦距等于或大于70mm，并且第三焦距小于70mm。在一些实施例中，第一和第二传感器具有相同的像素数目，并且第三光学链包括与第一和第二传感器具有相同的像素数目的第三传感器。
在一些实施例中，使用圆形孔径透镜的光学链(例如OC 1704或1728)是具有第三焦距并且包括圆形透镜的第三光学链，其中第三焦距小于第一或第二焦距。在一些实施例中，对应于第一光学链1722的第一非圆形透镜在第一方向上比垂直于第一方向的第二方向上更长，并且对应于第二光学链1706的第二非圆形透镜在第三方向上比第四方向上更长，其中第四方向垂直于第三方向。在一些实施例中，第一和第三方向是不同的。在一些实施例中，第一方向在第一平面内延伸，第三方向处在与第一平面相同的平面内。在一些实施例中，所述平面对应于摄影机1400的正面。
在一些实施例中，另一个摄影机模块(例如1710)是具有第四焦距和第三非圆形透镜的第四光学链，其中第四焦距大于第三焦距。在一些这样的实施例中，第三非圆形透镜在第五方向上比第六方向上更长，其中第六方向垂直于第五方向。在一些这样的实施例中，第一、第三和第五方向相差至少20度。
图17B示出了摄影机设备1400的透视图1750，其中示出了摄影机设备中的各个光学链以及光学链的元件的安排的更多细节。
图17B示出了摄影机设备1400的透视图1750，其中示出了摄影机设备中的各个光学链以及摄影机设备中的光学链的元件的安排的更多细节。因此，图17B给出了关于图17A详细讨论的具有各种相应的焦距的多个光学链(OC)1702、1704、1706、1708、1710、1712、1714、1716、1718、1720、1722、1724、1726、1728、1730、1732和1734的更加详细的图示。
如图17B中所示，摄影机1400具有深度D2，其代表从摄影机的前表面(由箭头1723表明)到摄影机的背面/后表面(由箭头1727表明)的摄影机1400的厚度。虽然没有在图17B中示出，但是在一些实施例中，摄影机设备1400包括与图1和/或4A的摄影机设备相同或类似的元件。
在一些实施例中，包括在光学链1702、1706、1710、1712、1716、1720、1722中的元件类似于前面关于图13B所讨论的那些元件。光学链1704、1708、1714、1718、1724以及包括在这些光学链中的元件类似于前面关于图12B讨论的OC 1204、1208、1214、1218、1224所讨论的那些元件，而光学链1726、1728、1730、1732和1734以及包括在其中的元件则类似于前面关于图3讨论的OC 1226、1228、1230、1232和1234以及关于图3讨论的OC所讨论的那些元件。在图17B的所示出的实施例中，其中一些OC使用非圆形外侧透镜，其他OC则使用圆形外侧透镜。
OC 1702包括非圆形外侧透镜1703、位于透镜1703后方的光重定向设备1705(例如反射镜)、第一内侧透镜1707(非圆形)、滤光器1713、第二内侧透镜1715以及传感器1717。在一些实施例中，OC 1702、1706、1710、1717、1716、1720、1722具有相同的焦距(与图17A中的其他OC相比的最大焦距)并且使用类似的元件(比如反射镜、滤光器、传感器等等)。相应地，对应于OC 1706、1710、1717、1716、1720、1722的元件已利用被用于标识OC 1702中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)、三引号(”’)等等。举例来说，OC 1706包括非圆形外侧透镜1703’、位于透镜1703’后方的光重定向设备1705’(例如反射镜)、第一非圆形内侧透镜1707’、滤光器1713’、第二内侧透镜1715’以及传感器1717’。OC 1710包括非圆形外侧透镜1703”、光重定向设备1705”、第一非圆形内侧透镜1707”、滤光器1713”、第二内侧透镜1715”以及传感器1717”。OC 1712包括非圆形外侧透镜1703”’、光重定向设备1705”’、第一非圆形内侧透镜1707”’、滤光器1713”’、第二内侧透镜1715”’以及传感器1717”’。OC 1716包括非圆形外侧透镜1703””、光重定向设备1705””、第一非圆形内侧透镜1707””、滤光器1713””、第二内侧透镜1715””以及传感器1717””。OC 1720包括非圆形外侧透镜1703””’、光重定向设备1705””’、第一非圆形内侧透镜1707””’、滤光器1713””’、第二内侧透镜1715””’以及传感器1717””’。OC 1722包括非圆形外侧透镜1703”””、光重定向设备1705”””、第一非圆形内侧透镜1707”””、滤光器1713”””、第二内侧透镜1715”””以及传感器1717”””。
在一些实施例中，光学链1704、1708、1714、1718、1724具有相同的(中间)焦距。OC1704包括外侧透镜1733、位于透镜1733后方的光重定向设备1735(例如反射镜)、第一内侧透镜1737、滤光器1743、第二内侧透镜1745以及传感器1747。对应于与OC 1704具有相同焦距的OC 1708、1714、1718、1724的元件已利用被用于标识OC 1704中的类似元件的相同附图标记来标识，但是这些OC中的附图标记后面有单引号(’)、双引号(”)等等。如图所示，光学链1708包括外侧透镜1733’、位于透镜1733’后方的光重定向设备1735’(例如反射镜)、第一内侧透镜1737’、滤光器1743，、第二内侧透镜1745’以及传感器1747’。OC 1714包括外侧透镜1733”、光重定向设备1735”、第一内侧透镜1737”、滤光器1743”、第二内侧透镜1745”以及传感器1747”。OC 1718包括外侧透镜1733”’、光重定向设备1735”’、第一内侧透镜1737”’、滤光器1743”’、第二内侧透镜1745”’以及传感器1747”’并且OC 1724包括外侧透镜1733””、光重定向设备1735””、第一内侧透镜1737””、滤光器1743””、第二内侧透镜1745””以及传感器1747””。
正如前面所讨论的那样，出于讨论的目的，具有光重定向元件(比如元件1705)的比如光学链1702(或者OC 1706、1710、1712、1716、1720、1722、1704、1708、1714、1718、1724)之类的光学链可以被划分成两个部分。从摄影机的正面的外部看去的光学链1702的光轴是第一部分1701的光轴(其经由外侧透镜1703从摄影机1400的正面1723进入OC)。沿着光轴行进到光学链1702中的光被重定向元件1705转向，并且穿越第一光学链的第二部分1709到达传感器1717。类似地，光学链1704的光轴包括第一部分1711以及重定向元件1735的光转向之后的第二部分1719，光学链1706的光轴包括第一部分1721和第二部分1729，光学链1708的光轴包括第一部分1731和第二部分1739，光学链1710的光轴包括第一部分1741和第二部分1749，光学链1717的光轴包括第一部分1751和第二部分1759，光学链1714的光轴包括第一部分1761和第二部分1769，光学链1716的光轴包括第一部分1771和第二部分1779，光学链1718的光轴包括第一部分1778和第二部分1788，光学链1720的光轴包括第一部分1781和第二部分1789，光学链1722的光轴包括第一部分1791和第二部分1799，并且光学链1724的光轴包括第一部分1792和第二部分1798。
其他光学链OC 1726、1728、1730、1732和1734(最小焦距OC)虽然分别具有光从中进入的最外侧透镜1752、1753、1754、1755和1756，但是OC 1726、1728、1730、1732和1734不具有图17B的实例中的光重定向元件。虽然没有在图17B中示出，但是OC 1726、1728、1730、1732和1734分别具有垂直于摄影机1400的正面1723的光轴。
之前例如关于图4B和5讨论了OC的各种元件的功能，比如外侧和内侧透镜、反射镜、滤光器以及传感器。由于图17B中示出的OC的元件的功能与关于图4A-4B和5所讨论的相同或类似，因此将不重复讨论。
光经由其对应的外侧透镜进入每一个OC 1702、1706、1710、1717、1716、1720、1722、1704、1708、1714、1718、1724，并且被其对应的重定向元件转向，从而使其到达处在每一个光学链的背面的对应的传感器。在许多情况下，光经过该处进入OC的外侧透镜被称作入射光瞳，光经由该处进入。举例来说，经过光学链1702的外侧透镜1703进入(例如从摄影机1400的正面1723进入，正如第一光轴1701所表明的那样)的光被反射镜1705转向，从而使其朝向传感器1717行进时经过第一内侧透镜1707、滤光器1713和第二内侧透镜1715。在一些实施例中，在每一个OC中可以包括数目更多或更少的元件(例如透镜、滤光器等等)。不同的光学链可以使用不同的透镜，同时仍然使用具有与摄影机设备1400中的其他光学链相同的形状和/或分辨率的传感器。应当认识到，通过使用按照图17B中所示出的方式安排的具有非圆形透镜的光学链提供了几个优点，并且允许利用具有各种不同焦距的光学链来实施纤薄的摄影机。
应当认识到，位于OC的透镜后方的光重定向元件(例如铰链反射镜)可以被移动和/或旋转，从而导致从相应的OC的外侧透镜的外部看去的OC的光轴的改变。也就是说，通过控制相应的OC的光重定向元件，可以改变从摄影机外部看去的光学链的光轴(前面作为第一部分的光轴进行了讨论，比如光轴1701、1711、1731等等)。因此应当认识到，虽然在图17B的实例中光轴1701、1711、1721、1731、...1798、1799看起来是平行的，但是在一些实施例中，通过控制放置在相应的光学链中的外侧透镜后方的例如反射镜之类的光重定向元件，可以改变所述光轴，从而使得一个或更多OC的光轴彼此不平行。通过控制反射镜的移动来改变光学链的光轴的能力提供了如同摄影机正被指向在给定的方向上以便例如在该方向上拍摄照片的相同效果，并且从而提供了在不实际移动摄影机设备的情况下从不同视角捕获图像的能力。
图18示出了对应于具有圆形开口的示例性透镜的圆形孔径1800，比如可以并且有时被使用在图12A和12B的实施例中的透镜。
图19示出了对于具有图18中示出的类型的圆形孔径1800的设计良好(受到衍射限制)的透镜所预期的可能频率特性，其中频率信息在垂直和水平方向上(实际上是任何方向)都是均匀的。垂直和水平维度中的均匀频率特性将允许垂直和水平维度中的相同或类似的频率特性并且从而还有分辨率。虽然传感器的像素或像素元件的数目可能会影响分辨率，但是不应当把传感器或图像的像素的数目与分辨率相混淆，分辨率涉及观看者在图像的不同特征之间进行区分的能力。分辨率量化线条可以彼此多么靠近并且仍然可以被可见地解析。分辨率单位可以关联到物理尺寸，比如每mm线数、每英寸线数，并且/或者关联到图像的总体尺寸，例如每画面高度线数。
鉴于具有圆形孔径的透镜的总体上均匀的频率响应，利用圆形透镜捕获的图像的视图应当能够同样好地标识垂直和水平线条。
图20示出了在圆形孔径1800的情况下，光从中穿过的开口的长度如何在透镜开口存在于其中的平面的全部两个维度中是相同的。如图所示，垂直方向上的开口长度L1等于水平方向上的开口长度L2。应当认识到，这不是其中透镜具有非圆形孔径的情况，例如椭圆形、长方形或者光从中穿过的其他非圆形形状的孔径。
图21示出了示例性的非圆形(例如椭圆形)孔径2100，其中的阴影被用来表明将被捕获的水平和垂直方向当中的每一个方向上的频率信息的相对数量，从图中可以清楚看到，在垂直方向上可以获得比水平方向上更多的频率信息，从而导致在孔径的更长维度(例如最大限度的维度)中捕获并且可以获得比更窄维度中更高的频率信息。
一般来说，由于衍射极限，即使是设计最佳的透镜的性能也受其孔径尺寸的限制。孔径越大，设计良好的透镜在捕获细节方面所应当具有的性能就越好。换句话说，孔径越大，可能的分辨率就越高。可以像图19中那样在频域内表达所捕获的分辨率。图19中的圆圈的更大半径表明在图像的所有空间方向(例如水平、垂直或倾斜)上捕获的更多高频信息。很重要的是应当注意到，即使当摄影机模块不受衍射限制并且前述内容可能不适用时，有时仍然希望使用更大的孔径，这是因为更大的孔径区域在给定时间段内捕获更多的光，从而在曝光时间受到限制时使得图像的颗粒度或噪声较低，比如在捕获运动中的对象的图像时就常常是这种情况。
如果孔径不是圆形而是椭圆形的，则对于设计良好的受到衍射限制的透镜，与更短椭圆维度的方向相比沿着更长椭圆维度的方向相应地捕获更多的细节。
图22示出了垂直(Y)和水平(X)方向上的非圆形孔径2100的长度的比较，其中垂直维度在图22的实例中是两个维度当中的更长维度。如图所示，光从中穿过的开口在垂直方向上的长度LY大于所述开口在水平方向上的长度LX。
图23的图示2300示出了通过组合来自被指向在不同方向上的具有椭圆形孔径2100、2100’、2100”、2100”’的多个非圆形透镜的图像信息，如何可以获得近似预期会从具有圆形孔径1800的透镜(其半径等于更大的椭圆维度)获得的信息的图像信息，其中由于在图23的实例中被组合生成复合图像的多幅单独图像的重叠，趋近组合图像的中心可以获得比各个边缘位置处更多的信息。通过在彼此不同的角度下使用多个非圆形透镜并且组合图像来捕获高频信息，有助于弥补通过单独的非圆形透镜所不同的高频信息的不足。应当认识到，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像所能获得的分辨率可以近似利用圆形透镜所捕获的图像的分辨率，而与利用单个圆形透镜来捕获相同图像所将获得的情况相比，在图像重叠的区段中复合图像在辉度信息方面可以具有更大的动态范围。这是因为不同的透镜分别都在中心区段中捕获光。应当认识到，根据本发明的一个实施例，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像而生成的复合图像将得到高质量中心图像部分以及趋向于复合图像的边缘的更低质量。这一图像质量降低类似于在使用单个高质量透镜时可以预期的情况，其中趋向于透镜中心的图像质量通常比趋向于透镜边缘的图像质量更好。
相应地应当认识到，与通过使用在孔径的最大限度的方向上具有类似的最大孔径维度的单个圆形透镜来捕获图像所可能获得的质量相比，通过组合利用具有如图23中所示的孔径的透镜所捕获的图像而生成的复合图像可以得到在至少某些方面具有类似的或更好的质量的复合图像。
图24示出了如何可以对具有圆形孔径1800的透镜进行切割或掩蔽以产生具有非圆形孔径的透镜，例如近似椭圆形或长方形形状。这样的实施例允许对于给定的最大孔径捕获最多的光或者大量的光。
图25示出了从对圆形透镜(例如具有圆形孔径1800的透镜)进行切割或掩蔽所得到的孔径2500，以便产生具有如图24中所示的孔径的透镜，例如近似椭圆形孔径的长方形孔径。
图25中示出的类型的透镜在一些实施例中被用作摄影机设备的非圆形透镜。因此，虽然在图14的摄影机设备的一些实施例中被显示成椭圆形透镜，但是使用具有图25中示出的类型的非圆形孔径的透镜。
图26是摄影机2600的图示，其包括具有正面2614、顶部2612、底部2616以及后面或背面2618的外罩2610。对应于圆形孔径2606的圆形透镜被安放在外罩2610的正面2614。图26示出了与具有圆形孔径2606的外侧透镜相组合地使用光重定向设备2604(例如反射镜)来把光转向90度如何通常需要等于或大于透镜和作为透镜的一部分的相应孔径2606的直径的摄影机深度(例如厚度)。在本发明的一些实施例中，所述透镜简单地是圆形平坦的塑料或玻璃件。通过使用虚线，在图26中的摄影机设备2600的正面示出了圆形孔径2606。经过圆形孔径2606的光将被反射镜2604朝向安放在摄影机2600的顶部的传感器2602向上反射90度。应当提到的是，安放在摄影机中的光重定向设备的正面到背面距离RD和光重定向设备的高度RH在图26的实例中是相等的，二者都大于或等于圆形孔径2606的直径LX。其结果是，摄影机2600的深度等于或大于圆形孔径2606的直径。
图27是摄影机2700的图示，其包括具有正面2714、顶部2712、底部2716以及后面或背面2718的外罩2710。对应于非圆形(例如椭圆形)孔径2706的非圆形透镜被安放在外罩2710的正面2714。图27示出了与具有非圆形(例如椭圆形)孔径2706的外侧透镜相组合地使用光重定向设备2704(例如反射镜)来把光转向90度如何可以允许使用在一个维度中比摄影机深度更长的透镜。应当提到的是，传感器2702被安放在摄影机2700的顶部2712(与摄影机外罩的顶部部分平行)并且处在与图26的实施例中的传感器2602相同的位置，但是反射镜2704现在可以利用具有平坦矩形表面的反射镜来实施，其深度小于在图26的实施例中所使用的反射镜2604。还应当指出的是，虽然为了简单起见使用了矩形反射镜，但是也可以使用椭圆形反射镜，其在一些实施例中还可以充当孔径停止装置。应当认识到，使用非圆形(例如椭圆形)孔径在一些实施例中允许更薄的摄影机，例如与具有其直径等于椭圆形孔径的最大维度的圆形孔径的摄影机相比厚度更小的摄影机。
图28是摄影机2800的图示，其包括具有正面2814、顶部2812、底部2816以及后面或背面2818的外罩2810。对应于非圆形(例如椭圆形)孔径2806的非圆形透镜被安放在外罩2810的正面2814。图28示出了在摄影机2800中，包括非圆形孔径2806的光学链的光径的长度如何可以比具有光重定向设备2804的摄影机2800的深度更长，其中所述光重定向设备2804能够被定位在摄影机设备2800的一端(例如底端2816)。应当认识到，通过把光重定向设备2804和传感器2802定位在摄影机2800的相对末端允许有充足的空间用于附加的椭圆形孔径透镜和光重定向设备。
图29示出了摄影机2900的一个实例，其中在光学链(例如摄影机模块)中使用多个光重定向设备2904、2901以便允许相对较长的光行进路径并且从而允许相对较长的焦距，同时根据光经过摄影机模块时被转向的方向，允许把传感器2902定位在摄影机的背面2918或正面2914，所述摄影机模块包括对应于孔径2906的安放在摄影机正面的透镜、第一光重定向设备2904、第二光重定向设备2901以及传感器2902。应当提到的是，在图29中，摄影机模块的外侧透镜与第一光重定向设备2904一样被定位在摄影机2900的底部2916附近，第二光重定向设备2901则被定位在摄影机2900的顶部2912附近。虽然传感器2902被显示成安放在摄影机2900的内部背面2918，但是在其他实施例中，例如在第二光重定向设备2901把光导向摄影机的正面的情况下，传感器2902被安放在摄影机外罩2910的内部正面。
图30是摄影机设备3000的图示，其包括4个具有非圆形外侧透镜和孔径的光学链。为了简单起见，与图27-29一样，在图30的实施例中使用单个附图标记来同时表示非圆形透镜及其相应的非圆形孔径。光经由摄影机的正面进入透镜的外侧非圆形孔径，并且经由位于外侧透镜(例如透镜3001、3011、3021和3031)下方的一个或更多光重定向设备被重定向到相应的传感器，正如在图中通过“X”所表明的那样。
摄影机设备3000包括第一光学链，其包括具有椭圆形孔径的非圆形透镜3001、光重定向元件3003、光径3005以及传感器3007。光进入第一光学链，在撞击在反射镜3003上并且朝向传感器3007被转向90度或近似90度之前经过第一光径3005的第一部分。
摄影机设备3000还包括第二光学链，其包括具有椭圆形孔径的第二非圆形透镜3011、第二光重定向元件3013、第二光径3015以及第二传感器3017。光进入第二光学链，在撞击在反射镜3013上并且朝向第二传感器3017被转向90度或近似90度之前经过第二光径3015的第一部分。
摄影机设备3000还包括第三光学链，其包括具有椭圆形孔径的第三非圆形透镜3021、第三光重定向元件3023、第三光径3025以及第三传感器3027。光进入第三光学链，在撞击在反射镜3023上并且朝向第三传感器3027被转向90度或近似90度之前经过第三光径3025的第一部分。
摄影机设备3000还包括第四光学链，其包括具有椭圆形孔径的第四非圆形透镜3031、第四光重定向元件3033、第四光径3035以及第四传感器3037。光进入第四光学链，在撞击在第四反射镜3033上并且朝向第四传感器3037被转向90度或近似90度之前经过第四光径3035的第一部分。
应当提到的是，虽然所述四个透镜和相应的孔径3001、3011、3021、3031位于摄影机3000的正面，但是其被可以定位成使得每一个孔径的最长限度相对于摄影机外罩的底部处于不同的角度，而摄影机外罩的底部在使用期间通常将与水平方向重合。
图30示出了具有非圆形孔径的多个透镜3001、3011、3021、3031如何可以被使用在单个示例性摄影机设备3000中以便在多个方向上收集高频率信息，从而在组合各幅图像以生成复合图像时在多个方向当中的每一个方向上都可以获得高频率信息并且从而获得高分辨率。虽然图30中示出的摄影机模块被显示成对于其单独的光径利用摄影机设备内的一大部分空间并且所述光径相交，但是应当认识到，所述光学链可以并且在一些实施例中被实施成具有不相交的光径的单独的整装式模块。
这样的密封整装式光模块在其中灰尘和/或其他关于污染的顾虑可能是问题的一些实施例中可能是特别合乎期望的，比如在意图用于其中需要顾虑到灰尘和/或沙子的户外和/或沙滩使用的摄影机实施例中就是这样。
图31示出了包括场景区域3104的示例性场景3102，所述场景区域的全部或部分图像可以通过根据本发明的一个或更多实施例实施的摄影机的摄影机模块来捕获。示例性场景3102包括山3112、鸟3113、人3106和房子3108的景观。虽然场景3102覆盖了非常大的区域，但是感兴趣场景区域3104包括人3106和房子3108。应当指出的是，虽然提到了“场景”或“场景区域”，但是其不应当被解释成3维的物理场景，而是应当被解释成通过利用理想的摄影机来捕获场景的图像而获得的物理场景的2维投影或表示。在任何地方提到场景区域时都应当被解释成这样的2维投影中的区域。在这样的投影中，在足够靠近摄影机的情况下，即使是较小的对象由于其与摄影机的邻近性也可能看起来具有较大的区域，而远处的对象看起来则将小于更加靠近摄影机的同等大小的对象。
图32的图示3200示出了摄影机的不同光学链(例如摄影机模块)如何可以捕获感兴趣场景区域3202(其可以对应于图31中示出的感兴趣场景区域3104)的不同尺寸部分，所述摄影机比如是图6的摄影机设备600或图14的摄影机设备1400，其中每一个摄影机设备包括多个光学链(如图12A和17A中所示)，其中一些光学链具有不同的焦距。
出于讨论的目的，将利用摄影机600并且参照示出了摄影机600中的光学链的安排的图12A来解释对应于不同场景区域的图像的捕获和组合。
出于讨论的目的考虑摄影机设备600包括按照图12A中所示出的那样安排的17个模块。正如前面在图12A的实例中所讨论的那样，使用三个不同焦距f1、f2和f3，其中f1＜f2＜f3；f1是1/2的f2；并且f2是1/2的f3。
出于讨论的目的，第一到第七摄影机模块1202、1206、1210、1212、1216、1220、1222分别是具有最大透镜(从而在各个实施例中具有最大孔径)和最大支持焦距(f3)的模块。在后面的讨论中为了简单起见进一步假设各个摄影机模块之间的距离远小于摄影机与场景中的所有对象之间的距离。但是这并非所描述的发明的限制，而仅仅是为了使得后面的解释易于理解。
作为第八到第12个摄影机模块的五个中等尺寸的摄影机模块分别对应于附图标记1204、1208、1214、1218、1224，并且具有中等直径透镜和中等支持焦距(f2)。
作为第13到第17个摄影机模块的五个摄影机模块对应于附图标记1226、1228、1230、1232和1234，并且具有最小直径外侧透镜和最小焦距(f1)。
应当认识到，由于其提供最大的放大率，因此具有最大焦距f3的摄影机模块将捕获感兴趣场景区域的最小部分。假设具有不同焦距的摄影机模块使用具有相同的总像素计数的传感器，则具有更大焦距(f3)的模块将为图像提供更高的像素与场景区域比值，这是因为与中等(f2)和小焦距(f1)摄影机模块的情况相比，更多的像素将被用来捕获更小场景区域的图像。
应当认识到，在给定具有不同焦距(f1，f2，f3)的模块之间的放大率差异的情况下，由小焦距(f1)摄影机模块捕获的场景区域所对应的感兴趣场景区域的部分的尺寸将是由具有最大(f3)焦距的摄影机模块捕获的感兴趣场景区域的部分的近似16倍。由具有中间焦距(f2)的摄影机模块捕获的感兴趣场景区域的部分的尺寸将是由具有最大焦距(f3)的摄影机模块捕获的感兴趣场景区域的部分的4倍，并且将是由具有最小焦距(f1)的摄影机模块捕获的感兴趣场景区域的部分的1/4。
在图32的实例的情境中可以认识到由对应于f1和f2焦距的摄影机模块捕获的场景区域之间的关系，其中示出了7个不同的场景区域。
在图32的实例中，感兴趣场景区域由附图标记3202标识。其中示出了对角线3250和3260，从而可以更好地认识到不同区域之间的关系以及其如何彼此对应。第一场景区域3204和第四场景区域3210具有类似的尺寸或者相同的尺寸并且对应于全部感兴趣场景区域3202，其对应于图31中示出的示例性感兴趣场景区域3102。出于解释的目的，考虑第一和第四场景区域由具有焦距f1的光学链捕获，也就是由更小焦距光学链捕获。出于讨论的目的假设(f1)摄影机模块1228被用来捕获第一场景区域3204，并且(f1)摄影机模块1232被用来捕获第四场景区域3210。应当提到的是，由1228和1232捕获的实际图像可以是略微更大的场景区域，以便确保捕获到感兴趣场景区域。
我们还将假设f2摄影机模块1204被用来捕获第二场景区域，(f2)摄影机模块1208被用来捕获第三场景区域，(f2)摄影机模块1218被用来捕获第五场景区域，(f2)摄影机模块1214被用来捕获第六场景区域3214，并且(f2)摄影机模块1224被用来捕获第七场景区域3216。同样地，与其他场景区域的捕获一样，由模块1204、1208、1218、1214和1224捕获的实际图像可以是略微更大的场景区域，以便确保对应的第二3206、第三3208、第五3212、第六3214和第七3216场景区域被完全包含在所捕获的图像中。
应当提到的是，在图示1200中示出的摄影机模块的外侧透镜的相对位置是已知并且固定的。但是在一些实施例中，模块1204、1208、1218、1214和1224的元件和功能与图5中的模块500是相同的或类似的，其中模块500包括反射镜510，其可以被铰链(反射镜)驱动器516驱动(例如移动或旋转)来改变反射镜510的角度。虽然反射镜驱动器516可以围绕铰链轴旋转反射镜并且从而改变其角度，但是铰链508防止在其他方向上的运动，因此光轴(摄影机外部)在垂直于铰链轴的平面中旋转。当反射镜510处于45度角时，沿着其光轴进入透镜512的光被偏转90度到模块500的部分B的光轴中。虽然我们在这里描述了被铰接并且可以沿着一个轴旋转的反射镜510，但是在一些其他实施例中，反射镜的放置被移动到不同的平面，从而使得该运动不被约束成沿着任何固定轴的旋转。在这种情况下，可以使得摄影机模块的光轴指向任何所期望的方向(朝向感兴趣场景中的任一点)。
虽然一些模块使用可移动并且被铰接的反射镜，但是在其他实施例中，其中一个或更多摄影机模块是利用固定位置反射镜来实施的，从而允许省略可移动铰链508和反射镜驱动器516。举例来说，在一个实施例中，被用来捕获全部感兴趣场景区域的摄影机模块具有固定反射镜，而被用来捕获感兴趣场景区域的较小部分的摄影机模块则分别包括可移动地铰接的反射镜。虽然可以使用具有固定反射镜的一些摄影机模块与具有可移动反射镜的其他摄影机模块的组合，但是在至少一个实施例中，包括在示例性摄影机设备中的多个摄影机模块当中的每一个都具有可移动反射镜。
取决于摄影机操作的具体模式，反射镜/铰链驱动器516由处理器110控制。因此，当用户选择第一操作模式时，一个或更多摄影机模块的反射镜可以处于第一角度，而在另一操作模式，例如其中将如图34中所示的那样捕获和组合图像的模式期间，一个或更多摄影机模块的反射镜将在处理器110的控制下被驱动到不同的位置。摄影机设备的具体操作模式可以基于用户输入由在模式控制模块111的控制下操作的处理器110决定，或者当模式控制模块被实施在硬件中时由模式控制模块111直接决定。
如果1204、1208、1218、1214和1224当中的每一个中的反射镜都处于45度，则每一个模块直接从摄影机的正面向外看去，并且其光轴都是平行的。在这种情况下，每一个模块将捕获实质上相同的场景区域的图像，即图32的第七场景区域。为了利用模块1204捕获第二场景区域的图像，需要调节模块1204的铰接反射镜510，从而使得摄影机模块1204的光轴指向第二场景区域3206的中心。应当提到的是，模块1204被定位在摄影机1200中的方式使得随着反射镜围绕铰链旋转，光轴所指向的感兴趣场景区域3202的位置沿着3202的对角线3250移动。类似地，需要调节对应于摄影机模块1204的反射镜以便捕获第六场景区域。应当提到的是，在图12A中，摄影机模块1204、1214被安排成贴近(例如沿着或邻近)对角线3250，而摄影机模块1208、1218则被定位成贴近(例如沿着或邻近)对角线3260。通过旋转1214中的反射镜，例如改变反射镜的角度并且从而改变其倾向，使得该模块的光轴沿着对角线3250移动。模块1208和1218的反射镜被类似地成角度(例如旋转)以便分别捕获第三(3208)和第五(3212)场景区域的图像。在模块1208、1218的情况下，光轴沿着感兴趣场景区域的对角线3260移动。被用来捕获第七场景区域3216的模块1224指向感兴趣场景区域3202的中心，从而使其反射镜被保持在45度。
从前面的讨论应当认识到，具有沿着对角线3250和3260安排的至少一些摄影机模块是特别有益的。这些模块的光轴的部分B平行于这两条对角线的其中之一。因此，具有最大孔径的模块1210、1220、1202、1212沿着对角线的安排还有中等孔径模块1204、1214、1208、1208沿着相同的对角线但是出于空间原因与其他模块偏离的安排是刻意的设计选择，这是因为其在一些实施例和操作模式中便于图像捕获和组合。
基于重叠场景区域(例如3210和3204)，由包括在摄影机中的处理器生成深度图。在一些实施例中，可以通过检查由不同模块捕获的图像中的对象的相对位置来确定场景中的对象的深度。在至少一些实施例中，与关于不同光学链的外侧透镜和/或光学链的光轴的相对位置的信息相组合地使用深度图，以便把由不同光学链捕获的图像组合形成复合图像。在复合图像的生成过程中使用深度信息允许校正可能出现或者存在于图像中的视差、透视和/或其他图像失真。
在图32的实例中，出于解释本发明的目的示出了7个不同的场景区域。在被组合之前，所述7个场景区域当中的每一个可以并且在一些实施例中由图示1200中示出的摄影机设备600的不同光学链捕获。正如后面所讨论的那样，各个摄影机模块可以在相同的时间(例如并行地)捕获图像。但是正如后面将讨论的那样，在其中使用卷帘快门的一些实施例中，各个摄影机模块被控制成按照同步方式捕获感兴趣场景区域的各个部分，从而使得捕获感兴趣场景区域的给定部分的所有不同的摄影机模块将同时捕获所述给定的部分。
应当认识到，通过组合对应于图32中所示的七个不同场景区域部分的七幅图像以生成复合图像，有可能生成具有四倍于单个图像传感器的像素计数的复合图像。举例来说，如果每一个图像部分由使用8兆像素传感器的摄影机模块捕获，则对应于图32中示出的感兴趣场景区域的复合图像将具有32兆像素的总体像素计数，这是因为第二、第三、第五和第六场景将分别由不同的8兆像素传感器捕获，从而为复合图像贡献8兆像素。如果所捕获的图像略大于相应的场景区域，则实际的分辨率可以略低。
虽然被用来捕获第一和第二场景区域的传感器不太可能导致复合图像的总体像素计数的增加，这是因为其对应于由被用来捕获第二、第三、第五和第六场景区域的传感器的组合所捕获的相同图像区域，但是其与不使用f1透镜所可能实现的情况相比将提供增加的光捕获，并且还提供允许生成深度图的重要信息，并且提供可以被用于作为生成复合图像的处理的一部分把对应于第二、第三、第五和第六场景区域的图像对准并且缝合在一起的总体场景区域的图像。
(f3)摄影机模块(例如1216)被用来捕获第七场景区域。第七场景区域的中心与感兴趣图像区域的中心重合。由于实际上大多数透镜在其视场的中心处都具有最小像差和最佳图像质量，因此这样确保了感兴趣场景区域的中心由捕获第七场景区域的摄影机模块以高质量成像。第七场景区域的成像还增加了在感兴趣场景区域的中心处捕获的光能的总数量。这样就允许从所捕获图像生成的复合图像在感兴趣场景区域的中心处具有其最佳质量(高分辨率和最小噪声)。
应当认识到，由单透镜摄影机捕获的图像在中心处常常比边缘处更好，这是由于光学像差和渐晕(vignetting)在靠近视场边缘处比中心处更大。根据一些示例性实施例生成的复合图像将在图像中心处表现出类似的高质量，并且趋向于复合图像的边缘存在质量降低的可能性。由于这一效应类似于传统单透镜摄影机，因此应当认识到，复合图像将类似于由单个摄影机模块捕获的图像但是潜在地具有更高的质量。
图33示出了在图32中捕获的不同图像部分如何可以与图31中示出的示例性感兴趣场景区域相关从而给出对于本发明的更好的理解。通过如在图32中讨论的不同模块所捕获的感兴趣场景区域的每一个图像部分在图33中由后面跟随有单引号(’)的相同附图标记来标识。举例来说，3202’示出了包括感兴趣场景的全部所捕获感兴趣场景区域，3206’是第二场景区域并且与感兴趣场景区域的一个部分有关，3208’是第三场景区域并且与感兴趣场景区域的另一个部分有关，3210’是第四场景区域并且包括全部感兴趣场景区域，3212’是第五场景区域并且与感兴趣场景区域的另一个部分有关，3214’是第六场景区域并且与感兴趣场景区域的另一个部分有关，3216’是第七场景区域并且与感兴趣场景区域的中心部分有关。通过图33可以更好地认识到每一个所捕获图像部分如何与图31中示出的示例性感兴趣场景区域有关。
图34的图示3400示出了通过由具有对应于三个不同焦距(例如f1、f2和f3)的光学链(例如摄影机模块)的摄影机捕获的不同图像部分。正如在前面的各个章节中所讨论的那样，在一些实施例中，摄影机中的每一个光学链包括相应的图像传感器，其在通过相应的光学链捕获一个图像部分时捕获光。在一个实施例中，包括第一传感器的第一光学链捕获感兴趣场景的第一图像3404(其被显示成中等尺寸矩形3404)。包括第二传感器的第二光学链捕获感兴趣场景的一个图像部分3406(其被显示成小尺寸矩形3406)，包括第三传感器的第三光学链捕获感兴趣场景的另一个图像部分3408，包括第五传感器的第五光学链捕获感兴趣场景的另一个图像部分3410，包括第六传感器的第六光学链捕获感兴趣场景的另一个图像部分3412，并且包括第七传感器的第七光学链捕获感兴趣场景的另一个图像部分3414。此外，包括第四传感器的第四光学链捕获包括整个感兴趣场景的图像3402。在一个实施例中，第二、第三、第五、第六和第七光学链的焦距是相同的(f3)并且大于捕获感兴趣场景区域3404的第一光学链的焦距(f2)和捕获场景区域3402的第四光学链的焦距(f1)。在一个这样的实施例中，各个光学链的焦距是f1＜f2＜f3.
虽然前面讨论了一个实施例，但是应当认识到，各种不同的变型是可能的。在一个这样的不同实施例中，图34中示出的不同图像部分由具有对应于两个不同焦距(例如f1、f2)的光学链的摄影机捕获，其中捕获图像部分3406、3408、3410、3412、3414的光学链的焦距(例如f2)大于捕获图像部分3402和3404的光学链的焦距(例如f1)。在一个这样的实施例中，f2是f1的两倍。图34和其中所示出的图像部分将被用于解释如何可以按照协调方式控制不同摄影机模块的卷帘快门，以便促进组合由不同摄影机模块捕获的图像，从而减少或者最小化在每一个摄影机模块传感器被独立地(异步地)操作来捕获各个图像部分的情况下所可能引入的与运动有关(与摄影机或对象有关)的失真。通过以协调方式从各个摄影机模块的传感器进行读出，有助于最小化由于不同光学链进行的无协调异步图像捕获而导致的失真，并且可以很容易地组合所捕获的图像。
由包括在前面所讨论的相应光学链中的各个传感器所实施的前面所讨论的图像捕获操作可以并且在一些实施例中由例如摄影机1400之类的摄影机实施，其包括按照图17A中示出的那样安排的光学链。在另一个实施例中，由包括在前面所讨论的相应光学链中的传感器所实施的图像捕获操作由摄影机600实施，其包括按照图12A中示出的那样安排的光学链。
图35示出了四个利用卷帘快门的光学链(例如摄影机模块)的传感器如何可以被组合使用来捕获感兴趣场景区域，从而促进把所捕获图像与由另一个光学链捕获的一幅或更多幅图像相组合，其中所述另一个光学链具有更小的焦距并且捕获相同的感兴趣场景区域的更大部分。图示706、708、710和712示出了对应于不同光学链的示例性图像传感器如何被控制来作为图像捕获操作的一部分从一个边缘到另一个边缘(例如顶部到底部)实施读出。举例来说，图示706示出了关于图34讨论的第二图像传感器，其具有可以作为由706中示出的图像传感器所对应的第二光学链捕获图像部分3406(在图34中示出)的一部分而被读出(例如从顶部到底部)的N个像素元件行。图示708示出了前面关于图34讨论的第三图像传感器，其具有可以作为由706中示出的图像传感器所对应的第三光学链捕获图像部分3408的一部分从顶部到底部被读出的N个像素元件行。类似地，710和712示出了第五和第六传感器，其分别具有N个像素元件行并且捕获图34中示出的图像部分3410和3412。从图示706、708中示出的传感器进行的读出在相同的时间同步开始，并且从图示710、712中示出的传感器进行的读出在从图示710、712中示出的传感器进行的读出结束时一起开始。
图36示出了对应于具有被用来捕获图34中示出的图像部分3406、3408、3410和3412的光学链(关于图34讨论的第二、第三、第五和第六光学链)的一半或近似一半焦距的光学链(例如关于图34讨论的第一光学链)的传感器如何可以被控制，从而使得具有更小焦距的光学链按照与具有更大焦距的多个光学链同步的方式捕获感兴趣场景的全部或某些部分。图示3600示出了具有N个像素元件行的第一传感器，其可以按照与对应于图35中示出的具有更大焦距的光学链的其他传感器的像素行的读出同步的方式而被读出。虽然图示3600示出了对应于相对更小焦距的第一传感器具有N个像素元件行，但是应当认识到，图示3600中的矩形并未示出或表示第一传感器的物理尺寸。
图35、36、37、38和39示出了涉及通过协调方式对不同摄影机模块的传感器的读取进行卷帘快门控制的各个方面，从而使得可以很容易组合通过不同传感器捕获的图像。应当认识到，在其中使用卷帘快门的实施例中，各行像素值被顺序地读出。在图35、36、37、38和39中，假设每一个传感器包括相同数目的像素元件行，例如N行。相应地，处于讨论这些附图的目的，N是一个传感器上的像素值行的数目，并且为促进对于卷帘快门控制的讨论，假设不同摄影机模块的传感器具有相同数目的像素元件行。虽然所述传感器具有N个像素元件行，但是在一些实施例中，允许对于各行的联合读取，在这种情况下，传感器按照其如同具有N/M个像素元件行的方式操作，其中M是联合读取因数，其例如是被联合读出(例如相加并且读出)的行数，从而产生与单个像素元件行的读出具有相同数目的像素值。联合读取操作的优点在于，与在各个单独行被分开读取的情况下对传感器进行读出所将花费的时间相比，可以在1/M的时间内完成传感器的完全读出。
应当认识到，在电子卷帘快门实现方式的情况下，图像传感器的各行被顺序地读出。读取每一行所花费的时间相当小，但是行数可能较大，并且读取整幅图像所花费的最小时间可能长达50毫秒或更多。由于行读取时间较小，我们将假设给定行中的所有像素都被(接近)同时读取。对应于给定像素行的光的积分在该行被重置(打开帘幕)时开始，并且在该行被读出(关闭帘幕)时结束。曝光持续时间是行重置时间与行读取时间之间的持续时间。给定行的曝光时刻(或捕获时间)可以被定义成该行被读出的时间。更精确地说，曝光时刻可以被视为行重置时间和行读取时间的平均值。显而易见的是，对应于图像传感器的不同行的场景区域在不同时间被捕获。当给定的感兴趣场景区域的各个部分被分别实施电子卷帘快门的多个摄影机模块捕获时，在组合多幅所捕获图像以产生一幅图像的意图下，如果各个模块的卷帘快门不同步，则可能会观测到与运动有关的伪像。为了最小化这些伪像，各个摄影机模块的卷帘快门被同步，从而使得场景区域的任何给定点的图像由不同的传感器在(接近)相同的时刻捕获。
假设需要花费时间周期TR来读取一个像素值行，则为了完成具有N行的传感器的完全读取，将要花费N乘以TR的时间周期。如果对应于场景区域的不同部分的多个传感器被操作来尽可能快速地捕获图像，则由于在不同时间捕获的场景的各个部分被组合，组合图像可能将会导致伪像。
应当认识到，为了避免这样的时间(与运动有关的)危险，希望使得不同的传感器在相同的时间捕获场景区域的相同部分。还应当认识到，在把来自具有大焦距的多个摄影机模块的图像与通过具有更小焦距(从而捕获场景的更大部分)的摄影机模块所捕获的一幅或更多幅图像相组合时，可能希望其中一些更大焦距模块顺序地捕获场景的各个部分，例如就如同在具有一定行数的更大传感器上控制卷帘快门那样，所述行数等于具有更大焦距并且从而捕获对应于场景的更小部分的图像的摄影机模块的传感器的行数的某种组合。
图35示出了如何可以顺序地读出在对应于四个传感器的图示706、708、710、712中示出的N个像素元件行，其中每一个传感器对应于不同的摄影机模块。应当提到的是，对应于在图示706、708、710、712中示出的四个传感器的各个像素元件行可以捕获场景的四个不同部分，比如场景部分3406、3408、3410和3412。
出于讨论的目的，假设在图示706、708、710、712中示出的各个像素元件行对应于分别具有焦距f3的第二、第三、第五和第六光学链的传感器。正如后面将讨论的那样，在一些实施例中，f3是捕获感兴趣场景3404的第一光学链的焦距f2的两倍，并且是捕获场景区域3402的第四光学链的焦距f1的四倍。因此，与使用焦距f2或焦距f1的光学链相比，使用焦距f3的光学链将提供相对较高的放大率但是捕获场景的更小部分。使用焦距f3的光学链所捕获的场景区域的图像的尺寸将是具有焦距f2的光学链的1/4，并且将是具有焦距f1的光学链的1/16。虽然图示3500示出了对应于捕获感兴趣场景的某些部分的更大焦距光学链的传感器具有N个像素元件行，但是应当认识到，图示706、708、710、712中的矩形并未示出或表示传感器的物理尺寸，而是由传感器捕获的图像区域的相对尺寸。
焦距与场景区域捕获尺寸的这一关系在图34、35、36和37中由所示出的各个像素元件行的相对尺寸表示。因此应当认识到，虽然像素元件的实际尺寸可以是相同的，但是在每一个传感器中，所捕获的像素值与之对应的场景部分的尺寸取决于该特定传感器被包括在其中的摄影机模块的焦距。
出于讨论的目的，将假设图35的图示706、708、710、712示出了对于四个传感器的像素元件行，其中所述四个传感器对应于具有焦距f3的光学链。此外还假设对应于图示706的传感器近似捕获感兴趣场景的左上部分，对应于图示708的传感器近似捕获感兴趣场景的右上部分，对应于图示710的传感器近似捕获感兴趣场景的左下部分，而对应于图示712的传感器则近似捕获感兴趣场景的右下部分。
假设对应于图示706的传感器是第二传感器S2，第一条像素线(即行1)的读出将通过由RS2L1(其代表读取传感器2线1)所表明的时间完成。类似的标记法被用来表明其他传感器的像素元件线的读出的完成点，其中时间对应于图35-39的垂直轴并且在图中从上到下递增。对应于图示708的传感器3的读出将在与RS2L1的读出相同的时间点完成。应当提到的是，在图35的实例中，在由四个传感器S2、S3、S5、S6捕获的图像区域之间没有重叠，其中传感器S5的读出的完成情况就如同其对应于跟随在传感器S2的最后一个像素行之后的下一个像素行。应当提到的是，如果传感器具有对应于重叠图像部分的像素值行，则其将在相同时间被读出，但是图35的实例假设在所捕获图像区域中没有重叠，在许多实施例中并不是这种情况。
出于讨论的目的，将假设TR是用以从使用在图35的实例中的任一个传感器读取一个像素值行的时间。由于该例中的每一个传感器包括N行，因此完全读取N个传感器当中的任一个所需的时间是NTR。因此，第一和第三传感器S2、S3的行(线N)的读出将在时间NTR处完成，而传感器S5和S6的最后一行(线N)的读出将在时间2NTR处完成。
如果传感器包括不同数目的像素行，则总的读出时间将当然取决于传感器中的行数。
虽然看起来可能希望在相同的时间周期NTR内读出传感器，但是当利用卷帘快门读出来自不同传感器的图像时，则可能希望控制传感器，从而使得在对应于图示706、708中示出的传感器的像素行的读出之后读出对应于图示710、712中示出的传感器的像素行。通过这种方式，读出将会顺序地发生，就如同对应于图示706、710的像素行是单个卷帘快门的一部分一样。这种方法被使用在一些实施例中，从而允许复合图像类似于利用具有2N个像素元件行的单个更大传感器而不是分别具有N行的两个单独的传感器所将获得的情况。因此，通过避免可能在一个传感器的最后一行与下一个传感器的第一行之间发生的时间不连续性在组合由对应于图像的不同部分的传感器所捕获的图像时可以具有优点。
因此应当认识到，利用对应于在图示706、708、710、712中示出的像素元件行的卷帘快门的四个摄影机模块的传感器可以被组合使用，以便按照促进组合所捕获图像的方式来捕获感兴趣场景区域。
所捕获图像可以被组合在一起以便形成更大场景区域的复合图像并且还有所述更大场景区域的一幅或更多幅图像。所述更大场景区域的图像可以并且在一些实施例中由捕获相同场景的更大部分的具有更小焦距(例如焦距f2)的摄影机模块捕获。
图36示出了对应于具有焦距f2的光学链(例如摄影机模块)如何可以被控制，从而使得具有更小焦距(f2)的光学链按照与具有更长焦距的多个光学链同步的方式捕获感兴趣场景的某些部分，其中焦距f2是被用来捕获由图35中示出的像素元件行的集合所表示的场景区域的摄影机模块的焦距f3的一半或近似一半。在图36中，像素值行被读出的速率被降低一定因数，所述因数是基于其焦距与一个或更多其他所支持的焦距的相对比值。
由于焦距f2是f3的1/2，因此包括N个像素元件行的对应于图示3600的传感器捕获由图35的实例的传感器所捕获的场景的基本上相同的图像部分，像素行的读出速率被降低2倍，也就是说一个像素元件行将在时间周期2TR内被读出。因此，包括N个像素元件行的对应于图示3600的传感器的读出将花费N(2TR)的总的时间周期来完成对于各个像素行的完全读出，从而是将由对应于图示706、710的传感器的组合被完全读出所将使用的相同时间量。假设图36对应于传感器S1，则S1的第一像素值行的读出将在时间2TR处完成，其对应于由代表读取传感器1线1的指示符RS1L1所表明的时间点。因此，在其中图35和36的像素行的读出是同步的这样一个实施例中，具有图示3600中示出的像素元件行的传感器S1将在对应于图示706的传感器S2和对应于图示708的传感器S3开始其第一像素元件行的读出的相同时间开始其读出。传感器S1将在图示710和712中示出的最后一个像素元件行被读出的相同时间或接近相同的时间完成其N个像素元件行的读出。因此，传感器S1将按照与图35所对应的传感器同步的方式开始其像素行的读出以及结束其像素行读出。
如果传感器S1是在与传感器S2、S3、S5、S6相同的每行读出速率下被读出，则虽然传感器S1的读出可以在时间NTR内完成，但是这将导致对应于不同光学链的传感器在不同时间捕获图像区域的相同部分的不合期望的效应，从而可能导致从包括以高运动速率移动的对象的图像生成的复合图像中的时间伪像。通过这里所描述的同步图像捕获技术可以减少或避免这样的时间伪像。
图37示出了对应于具有被用来捕获图35中示出的图像的摄影机模块的焦距f3的四分之一或近似四分之一的焦距(例如f1)的光学链(例如关于图34讨论的第四光学链)的传感器S4如何可以被控制，从而使得相应的光学链按照与具有更大焦距的多个摄影机模块同步的方式来捕获感兴趣场景的部分。
由于图示3700的传感器所对应的光学链的焦距(例如f1)是f3的1/4，因此包括N个像素元件行的图示3700的传感器捕获由图35和36的实例的传感器所捕获的场景的基本上相同的图像部分，图示3700的传感器的N个像素行的读出速率被降低4倍，也就是说一个像素元件行将在时间周期4TR内被读出。在图37中，图示3700示出了具有N个像素元件行的传感器，其被控制来在具有持续时间4TR的每一个时间周期内读出一个像素值行，其中考虑到该传感器所覆盖的场景部分在垂直维度中是对应于图35的图示706的传感器的4倍大。虽然图示3700示出了对应于具有小焦距f1的光学链的传感器具有N个像素元件行，但是应当认识到，图示3700中的矩形并未示出或表示传感器的物理尺寸。各个光学链中的传感器(包括像素元件)的尺寸可以是相同的。
应当认识到，传感器S4的第一条线的读出将在时间RS4L1处完成，其中第N条线在时间RS4LN处被读出。应当提到的是，由于像素值行的读出速率在图37中每4TR发生一次以便与图35和36中示出的传感器读出保持同步，因此假设起始时间为0，则传感器S4的读出将在时间4NTR处发生。
图38示出了当在图35、36和37的实施例中使用的传感器按照同步方式被一起使用时的所述传感器之间的行读出定时关系的更多细节。出于说明和讨论的目的，在图38-39中使用了通过如图34中所示并且在前面的相应描述中讨论的各个光学链所捕获的相同图像和/或图像部分以作参考。相应地，使用了相同的附图标记。方块3402代表由对应于具有焦距f1的光学链的传感器捕获的场景区域。方块3404代表由具有焦距f2的传感器捕获的场景区域的部分3402。方块3406、3410、3408、3412和3414代表由具有焦距f3的不同摄影机模块捕获的场景区域块，其中焦距f3在图38的实例中提供最高放大率并且捕获场景区域的最小部分。
图39示出了类似于图38中所示的一个具体实例，但是其中行数N被选择成6，也就是说每一个传感器包括6个像素元件行(例如N＝6)，应当理解的是行数在大多数传感器中将会多得多。因此出于示例性目的示出了图39，以便说明对于一种简单情况如何可以实现同步，在所述简单情况中N＝6，并且该例中的每一个传感器具有相同的尺寸但是对应于具有不同焦距的光学链。
从图39应当认识到，当传感器捕获对应于场景区域的相同部分的图像时，读出将会并行地发生。一旦一条像素值线被读出，则直到同步读出控制表明将要读出下一个未读像素值行时，下一次读出才将发生。
当传感器对应于为之不存在其他传感器的图像区域时，该传感器将读出其像素值行，而其他传感器则避免实施读出操作。举例来说，在图39的实例中，具有最小焦距并且捕获最大图像区域的传感器S4将读出其第一像素值行，而传感器S1、S2、S3和S6则避免读出像素值。但是当一个传感器所捕获的图像区域的部分也被其他传感器捕获时，则该传感器将按照与捕获相同图像区域的一个或多个传感器的读出同步到接近重合的方式来读出像素值。举例来说，在从时间RS3L3延续到时间RS4L4的时间周期期间，传感器S1、传感器S2和传感器S3将也实施像素读出。在该时间周期期间实施的读出的次数将取决于传感器的行读出速率，其中对应于具有更大焦距的光学链的传感器在其中传感器S4读出单个像素值行的时间周期内读出多个像素值行。
应当提到的是，作为表明被用来读取一个像素元件行的最小时间量的时间单位的TR可以通过毫秒或者任何其他适当的时间单位来表达。因此，垂直轴意图从顶部到底部示出时间的进展，这是基于假设场景区域的扫描和传感器的读出开始于顶部并且朝向底部继续。虽然出于该实例的目的示出了顶部到底部扫描方向，但是这对于定时同步特征并不是关键或重要的。
应当认识到，虽然在其中传感器具有相同尺寸并且包括相同行数的简单情况下解释了基于传感器所对应的光学链的焦距来同步读出速率的方法，但是所述方法非常适用于使用不同尺寸的传感器和/或具有不同数目的像素值行的传感器的光学链。应当认识到，这样的差异如果存在的话可以并且在一些实施例中关于起始和停止时间以及将被用来控制传感器的读出的读出速率被纳入考虑，从而将实现多个光学链(例如摄影机模块)对感兴趣图像区域的同步图像捕获。此外，在确定用于读出可能对应于部分重叠的图像区域的不同传感器的起始时间时，可以把由不同模块捕获的图像区域的重叠纳入考虑。
举例来说，如果图35的实例的传感器S5所捕获的图像区域与由传感器S2的最后一些行所捕获的图像部分存在重叠，则S5的第一像素元件行的读出将与捕获相同图像部分的传感器S2的像素元件行并行地发生。在这样的实施例中，由于被S2和S5捕获的图像区域中的部分重叠，S5的其中一些而非所有像素元件行的读出将跟随在传感器S2的读出完成之后。
虽然前面图36到39被用来解释对应于具有小焦距的摄影机模块的传感器的读出速率如何可以被减慢以便将其与对应于具有更大焦距的摄影机模块的传感器的图像捕获和像素读出进行同步，其中如果最大化图像中的像素计数并不是最优先的考虑，则对于像素行的联合读取可以并且在一些实施例中被用来加速对应于更高焦距摄影机模块的传感器的读出。在一组M行的联合读取期间，在进行数字化和读取之前，传感器使用模拟电路把M行当中的每一行的相应像素相加。对于M行的联合读取通常与读取单行花费相同的时间，从而把读取速度加快了M倍。这样的方法允许在与读出单个传感器所需的时间周期相等的时间周期内对感兴趣场景区域进行同步卷帘快门控制捕获。虽然这样的方法可能导致复合图像中的更低总体图像像素计数，例如其中复合图像的像素计数在某些情况下被减少到单个传感器的像素计数，但是这样的方法在所捕获的图像中存在对象运动的情况下可能是合乎期望的，这是因为与捕获发生在更短时间周期内的情况相比，对象在捕获时间周期内将会移动得更多，因此如果总体图像捕获周期增加的话，运动可能会引入伪像。
图40是根据一个示例性实施例的利用多个光学链(例如摄影机模块)来捕获图像并且组合所述图像的示例性方法。
图40所示出的流程图4000示出了根据一个示例性实施例的控制成像设备的示例性方法的各个步骤，所述成像设备例如是在图6、8和/或14中示出的成像设备，其包括至少一个具有卷帘快门的传感器以便生成复合图像。实施流程图4000的方法的摄影机设备可以并且有时确实包括与图1的摄影机设备100和图4A的设备200相同或类似的元件。
流程图4000的方法可以并且在一些实施例中是利用例如图1的摄影机100之类的摄影机设备来实施的。在一些实施例中，摄影机100是电池操作的手持式设备。所述示例性方法开始于步骤4002，例如此时摄影机设备(例如摄影机100)的用户按下按钮或者采取其他动作以触发捕获感兴趣场景区域的图像。出于讨论的目的，考虑摄影机设备包括多个光学链(例如摄影机模块)，并且每一个摄影机模块可以被独立操作和控制。出于讨论的目的，将参照在图12A中示出的光学链并且将其用作所述实例的基础来解释对应于不同场景区域的图像的捕获和组合。正如前面在图12A的实例中所讨论的那样，使用三个不同焦距f1、f2和f3，其中f1＜f2＜f3。
操作从步骤4002继续到涉及图像捕获操作的步骤4004、4006、4008、4010、4012、4014和4016。图像捕获操作可以并且在一些实施例中是按照同步方式来实施的。在至少一些同步实施例中，由其中一些但不一定是所有不同光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。在步骤4004中，具有第一焦距(f1)的摄影机的第一光学链(例如第一摄影机模块1228)被操作来捕获感兴趣场景区域的第一图像。在一些实施例中，所述感兴趣场景区域可以略微小于完全图像捕获区域。操作从步骤4004继续到步骤4018。
在步骤4006中，利用具有大于第一焦距(f1)的第二焦距(f2)的摄影机的第二光学链(例如光学链1204)来捕获第二场景区域的第二图像，其中第二场景区域是感兴趣场景区域的第一部分。在各个实施例中，第二光学链捕获感兴趣场景区域的一部分，例如四分之一或一半的部分。操作从步骤4006继续到步骤4018。
在步骤4008中，利用具有大于第一焦距的第三焦距(f2)的摄影机的第三光学链(例如光学链1208)来捕获第三场景区域的第三图像，其中第三场景区域的一部分不与第二场景区域重叠，并且第三场景区域是感兴趣场景区域的第二部分。因此，在一些实施例中，第三光学链捕获感兴趣场景区域的一部分，例如另一个四分之一部分。操作从步骤4008继续到步骤4018。在一些实施例中，第一、第二和第三光学链具有处于摄影机正面的外侧透镜。在一些而非所有实施例中，光学链的最外侧透镜是具有零屈光力的平面玻璃或塑料透镜。
在步骤4010中，利用具有等于或小于f1的第四焦距的摄影机的第四光学链(例如光学链1234)来捕获第四图像，其中第四图像是感兴趣场景区域的图像。在一些实施例中，第四焦距与第一焦距相同或者小于第一焦距。操作从步骤4010继续到步骤4018。
在步骤4012中，利用具有大于第一焦距(f1)的第五焦距的摄影机的第五光学链(例如光学链1218)来捕获第五场景区域的第五图像，其中第五场景区域是感兴趣场景区域的第三部分。因此，第五光学链捕获感兴趣场景区域的一部分，例如四分之一或一半的部分。操作从步骤4012继续到步骤4018。
在步骤4014中，利用具有大于第一焦距的第六焦距的摄影机的第六光学链(例如光学链1214)来捕获第六场景区域的第六图像，其中第六场景区域是感兴趣场景区域的第四部分。操作从步骤4014继续到步骤4018。
在步骤4016中，利用具有大于第一焦距的第七焦距的摄影机的第七光学链(例如光学链1224)来捕获第七场景区域的第七图像，其中第七场景区域处在感兴趣场景区域的中心。操作从步骤4016继续到步骤4018。
在一些实施例中，第一和第四焦距是相同的。在一些实施例中，第二、第三、第五和第六焦距是相同的。在一些实施例中，第七焦距与第二、第三、第五和第六焦距相同。在一些实施例中，因此，第二、第三、第五和第六场景区域的并集(例如组合)包括感兴趣场景区域。
现在参照步骤4018。在一些而不一定是所有实施例中实施步骤4018。在步骤4018中，生成对应于包括在至少其中两幅所捕获图像中的感兴趣场景区域的一部分的深度信息。因此，在一些实施例中，为了生成对应于感兴趣场景区域的一部分的深度图信息，使用相同感兴趣场景区域的至少两幅所捕获图像。在一些实施例中，步骤4018包括步骤4020。在这样的实施例中，至少第一和第四所捕获图像被用来生成深度信息，正如在步骤4020中所示出的那样。虽然第一和第四所捕获图像在一个实施例中被用来生成深度信息，但是其他所捕获图像也可以被用来生成深度信息。在各个实施例中，深度信息由包括在摄影机中的处理器(例如处理器110或211)生成。
在各个实施例中，第二、第三、第五、第六和第七光学链被安排成使得由这些光学链拍摄的场景的部分的图像是来自不同的空间上分开的入射光瞳，并且因此具有不同的视角。把这样的图像与不同视角相组合会引入伪像(例如视差)。为了最小化以及/或者来自利用通过这些不同光学链所捕获的各个图像生成的复合图像的此类伪像的效应，在组合图像以避免由于不同视角而导致的复合图像的失真时，使用提供视差校正的深度信息。
操作从步骤4018继续到步骤4022。在步骤4022中，从至少第一、第二和第三所捕获图像生成复合图像。在一些实施例中，生成复合图像的步骤包括步骤4024，其中在生成复合图像时使用深度信息。在这样的实施例中，作为所生成的深度信息的函数，例如在步骤4018中生成的深度信息，从至少第一、第二和第三所捕获图像生成复合图像。虽然在一些实施例中在生成复合图像时使用深度信息，但是使用深度信息在用于生成复合图像的所有实施例中并不都是必要的。在一些实施例中，生成复合图像的步骤4022还包括使用第四、第五、第六和第七所捕获图像来生成复合图像，正如在步骤4026中所示出的那样。复合图像包括感兴趣场景区域的图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。操作从步骤4022继续到步骤4028。在步骤4028中，一幅或更多幅所捕获图像(例如第一、第二、第三、第四、第五、第六和/或第七图像)以及/或者复合图像被存储在例如设备存储器中，并且/或者例如被输出到显示设备和/或经由接口输出到外部设备。
在一些示例性实施例中，成像设备(比如摄影机设备100)被用来实施流程图4000的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照如图12A中所示出的方式安排的光学链，其中在图12B中进一步示出了光学链的更加详细的安排和元件(例如传感器、滤光器)。因此，在这样的一个实施例中，多个光学链130包括关于图12A高论的光学链1202到1234。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的一个实施例中，多个光学链130包括关于图17A和17B所讨论的光学链1702到1734。
在一些示例性实施例中，处理器110被配置成通过组合由前面所讨论的光学链捕获的两幅或更多幅图像来生成复合图像。在一个实施例中，处理器110被配置成至少从由第一光学链捕获的感兴趣场景区域的第一图像、作为利用第二光学链捕获的感兴趣场景区域的第一部分的第二场景区域的第二图像、利用第三光学链捕获的第三场景区域的第三图像来生成复合图像，其中第三场景区域是感兴趣场景区域的第二部分，第三场景区域的至少一部分与第二场景区域不重叠。
在一些实施例中，处理器110被配置成生成对应于被包括在至少两幅所捕获图像中的感兴趣场景区域的一部分的深度信息。在一些实施例中，处理器110还被配置成至少利用由第一光学链捕获的第一图像和由第四光学链捕获的第四所捕获图像来生成深度信息，其中第四图像是感兴趣场景区域的图像。在一些这样的实施例中，处理器110还被配置成作为所述深度信息的函数来生成复合图像。在一些实施例中，第四光学链具有等于或小于第一光学链的第一焦距的第四焦距。在一些实施例中，处理器110还被配置成控制一幅或更多幅所捕获图像和/或所生成的复合图像在存储器108中的存储，以及/或者一幅或更多幅所捕获图像和/或所生成的复合图像在显示器102上的输出，以及/或者经由接口(比如接口114)把所捕获图像或复合图像传送到另一个设备。
应当认识到，方法4000的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4000的一个或更多步骤(比如生成深度信息和生成复合图像的步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4000的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被用来在其中实施方法4000的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图41A和图41B是示出了根据一个示例性实施例的操作例如在图6、8和/或14中示出的成像设备(其包括至少一个具有卷帘快门的传感器)来扫描感兴趣场景区域的一部分的示例性方法的各个步骤的流程图4100。实施流程图4100的方法的摄影机设备可以并且有时确实包括与图1和图4A的摄影机设备相同或类似的元件。
所述示例性方法开始于步骤4102，例如其中用户在摄影机设备上发起感兴趣场景区域的捕获，从而使得摄影机设备(例如摄影机设备100)发起由一个或更多光学链对感兴趣场景区域的扫描并且从而还有图像捕获。出于讨论的目的，考虑摄影机设备包括多个图像传感器，其中每一个传感器是一个光学链的一部分，例如第一到第X传感器分别被包括在第一到第X光学链中。操作从步骤4102继续到步骤4104。在步骤4104中，包括在摄影机中的多个图像传感器被控制成从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一(例如顶部)和第二(例如底部)是平行的，所述扫描包括根据(例如以均匀的速率)从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获。在一些实施例中，所述多个图像传感器包括捕获感兴趣场景区域的基本上不重叠部分的多个图像传感器(在一些实施例中，大多数的图像部分不重叠)，并且由所述多个传感器捕获的感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。在一些实施例中，所述多个图像传感器包括偶数个传感器，例如4个。
在一些实施例中，所述多个图像传感器包括第一、第二和第三图像传感器，第一图像传感器捕获感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的第二部分，并且第三图像传感器捕获整个感兴趣场景区域。在一些这样的实施例中，感兴趣场景区域的第一和第二部分部分地不重叠。
在一些实施例中，第一传感器捕获不被第二传感器捕获的感兴趣场景区域的一部分的图像，并且第二传感器捕获不被第一传感器捕获的感兴趣场景区域的一部分的图像。在一些实施例中，由第一传感器捕获的感兴趣场景区域的第一部分开始的扫描位置处在由第二传感器捕获的感兴趣场景区域的第二部分之前。在一些实施例中，感兴趣场景区域的第二部分对应于感兴趣场景区域的中心。在一些实施例中，多个传感器包括5个传感器，其中四个捕获感兴趣场景区域的基本上不重叠的部分。在一些实施例中，感兴趣场景区域的第二部分的第一到第四不同角落部分与由五个传感器当中的其余四个传感器捕获的感兴趣场景区域的不同相应部分重叠。
在一些实施例中，所述多个传感器包括5个传感器，其中四个捕获感兴趣场景区域的四个不同部分，感兴趣场景区域的四个不同部分当中的每一个的至少一个角落与通过感兴趣场景区域的四个不同部分当中的其他三个所捕获的图像部分不重叠，第五传感器捕获感兴趣场景区域的中心部分。
在各个实施例中，步骤4104包括实施步骤4106、4108和4110当中的一个或更多步骤。作为控制一个或更多传感器扫描感兴趣场景区域的一部分，在步骤4106中，所述多个传感器当中的第一传感器被操作在卷帘快门模式下，以便在第一传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行，其中当前扫描位置随着时间改变(例如随着扫描从第一边缘继续到第二边缘)。在一些实施例中，扫描位置以均匀的速率从感兴趣场景区域的第一边缘继续到感兴趣场景区域的第二边缘。
在步骤4108中，所述多个传感器当中的第二传感器被操作在卷帘快门模式下，以便在第二传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行，其中第一和第二传感器捕获感兴趣场景区域的不同部分的图像(例如所述不同部分可以部分地重叠或者一个可以处在另一个的内部)。类似地，作为控制扫描感兴趣场景区域的一部分，在步骤4110中，所述多个传感器当中的第X传感器被操作在卷帘快门模式下，以便在第X传感器具有对应于当前扫描位置的未读像素值行时读出对应于当前扫描位置的尚未读取的像素值行。相应地，通过这种方式，整个感兴趣场景和/或感兴趣场景的各个部分由摄影机设备的各个传感器扫描。
在一些实施例中，第一和第二传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分的限度在扫描方向上大于感兴趣场景区域的第二部分的限度。在一些实施例中，扫描的方向是从顶部继续到底部。在一些实施例中，第一传感器对应于具有第一焦距的第一光学链，并且第二传感器对应于具有第二焦距的第二光学链。在一些实施例中，控制步骤4104还包括实施步骤4112以便控制一个或更多图像传感器的读出的持续时间。在步骤4112中，作为第一传感器图像捕获尺寸和/或第一传感器所对应的第一光学链的焦距的函数来控制第一传感器的读出的持续时间。在一些实施例中，步骤4112包括实施步骤4114或4116的其中之一以作为控制传感器读出的持续时间的一部分。在步骤4114中，当第一光学链的焦距小于第二光学链的焦距时，第一传感器的读出的持续时间被控制成具有比第二传感器的读出更长的持续时间。在一些实施例中，当第一和第二传感器分别对应于感兴趣场景区域的第一和第二部分并且感兴趣场景区域的第一部分在扫描方向上的限度大于感兴趣场景区域的第二部分在扫描方向上的限度时，第一传感器的读出的持续时间被控制成具有比第二传感器的读出更长的持续时间。这例如在包括第一传感器的第一光学链的焦距小于包括第二传感器的第二光学链的焦距时发生。
在一些其他实施例中，第一光学链(第一传感器与之对应)的焦距是第二光学链的焦距的N倍。在一些这样的实施例中，作为步骤4112的一部分实施步骤4116。在步骤4116中，从第一传感器读出像素值的持续时间被控制成包括以一定速率从第一传感器读取像素值行，所述速率是从第二传感器读出像素值行的速率的N倍快。在各个实施例中，摄影机设备中的卷帘快门控制器如前面所讨论的那样控制扫描和读出操作。在一些实施例中，第一传感器的像素尺寸与第二传感器的像素尺寸相同。在一些实施例中，第一和第二传感器包括相同总数的像素行和列。
通过连接节点A 4118，操作从步骤4101(其包括前面所讨论的一个或更多步骤)继续到步骤4120。在步骤4120中，从第一到第X传感器读出的一幅或更多幅图像被存储，例如X幅图像被存储，其中每一幅对应于X个传感器当中的一个。操作从步骤4120继续到步骤4122。在步骤4122中，根据本发明，(从传感器读出的)至少两幅或更多幅或所有所捕获图像被组合生成复合图像。
图42示出了在一些实施例中实施的利用多个光学链(例如摄影机模块)来捕获感兴趣场景区域的方法4200的各个步骤。所述方法开始于步骤4202，例如其中用户在摄影机设备上发起感兴趣场景区域的捕获，从而使得摄影机设备(例如摄影机设备100)发起由按照协调方式操作的一个或更多摄影机光学链对感兴趣场景区域的扫描并且从而还有图像捕获。
操作继续到步骤4204，其中摄影机设备初始化当前扫描位置，这例如是通过把当前扫描位置设定到扫描位置起始值，例如在图42的实例中是1。
一旦当前扫描位置被初始化，操作从步骤4204继续到步骤4206，其中控制器(例如卷帘快门控制器150)控制摄影机设备的每一个图像传感器按照同步方式来实施像素值(例如像素值行)的读出，其中根据卷帘快门实现方式的操作顺序地读出各个像素值行。
步骤4206包括对应于被用来捕获感兴趣场景区域的至少一部分的图像传感器1到X当中的每一个的图像传感器读出控制步骤。出于讨论的目的，步骤4210和4214被显示成对于被用来捕获感兴趣场景区域的至少一部分的每一个其他图像传感器实施相同的或类似的步骤。
在步骤4210中，确定图像传感器1是否具有对应于当前扫描位置的尚未读取的像素行，例如将被读出的像素值行。如果图像传感器1不具有对应于当前扫描位置的未读像素值行，这例如是因为图像传感器对应于处在对应于当前扫描位置的区域之外的图像部分，则操作继续到步骤4220而不从图像传感器1读出像素行。
在步骤4214中，确定图像传感器X是否具有对应于当前扫描位置的尚未读取的像素行，例如将被读出的像素值行。如果图像传感器X不具有对应于当前扫描位置的未读像素值行，这例如是因为图像传感器X对应于处在对应于当前扫描位置的区域之外的图像部分，则操作继续到步骤4220而不从图像传感器X读出像素行。
应当认识到，等到操作从步骤4206继续到步骤4220时，具有对应于当前扫描位置的未读像素元件行的图像传感器1到X当中的每一个都将已经读出了对应于当前扫描位置的该行的像素值。
在步骤4220中，当前扫描位置被更新到下一个扫描位置，例如当前扫描位置被递增1。随着当前扫描位置被递增，图像的扫描移动到下一条扫描线，从而导致顺次经过各条扫描线，例如在假设场景区域的顶部到底部扫描的情况下是从图像的顶部到图像的底部。
操作从步骤4220继续到步骤4222，其中确定在步骤4220中刚刚更新过的当前扫描位置是否超出了感兴趣场景的最后一个扫描位置值。如果当前扫描位置超出了感兴趣场景区域的最后一个扫描位置，则表明作为图像传感器读出的结果，感兴趣场景已被完全扫描和捕获。但是如果在步骤4222中确定当前扫描位置值没有超出感兴趣场景区域的最后一个扫描位置值，则操作继续到步骤4206，从而将读出具有对应于当前场景区域位置的像素元件行的图像传感器的未读像素元件行。
应当认识到，在图42的实施例中，摄影机光学链的焦距及其相应的图像传感器被导向的场景区域将影响图像传感器的像素值行是否在特定时间点被读出。由于图像传感器读出是基于扫描位置来控制的，因此多个图像传感器的传感器读出按照协调方式发生。虽然像素值的图像传感器读出在图42的实施例中被协调，但是取决于摄影机设备配置，一些图像传感器的读出可以在一个或更多其他传感器的读出完成之前发生。
通常来说，在图42的实施例中，与具有相同数目的像素元件行但是具有更大焦距并且从而对应于总体感兴趣场景区域的更小部分的图像传感器的读出相比，对应于具有更小焦距的摄影机光学链并且从而对应于感兴趣场景区域的更大部分的图像传感器的读出将以更慢的速率发生。
一旦全部感兴趣场景区域都被扫描，操作从步骤4222继续到步骤4224，其中第一到第X图像传感器的图像(例如像素值集合)读出被存储在存储器中。随后在步骤4224中，所捕获图像例如由处理器110处理，以便生成可以被存储和/或输出(例如传送和/或显示)的复合图像。在步骤4226中实施的复合图像的生成可以通过多种方式当中的任一种来实施，其中包括利用加权和方法来组合由不同图像传感器捕获的图像的像素值，比如前面关于可以并且在各个实施例中被用来生成复合图像的至少一些图像组合处理所描述的那样。
应当认识到，图42的方法是在读取图像传感器的像素元件行方面来解释的。取决于操作模式，一些图像传感器允许把多个像素行的像素元件作为单个行来对待。这样的“联合”读取导致由正被读出的每一个联合读取行所感测的像素值的和作为单个像素值被读出。在这样的“联合”读取的情况下，出于实施图42的方法的目的，作为单个像素值行被联合读出的多个像素元件行作为一个像素元件行被对待。在其中运动是问题并且希望在尽可能少的时间内捕获图像的实施例中，联合读取方法在导致减少从图像传感器读取的像素值的数目的同时可能是合乎期望的。
通常来说，如果不同的图像传感器对应于不同的焦距，其中假设每一个图像传感器包括相同数目的像素值行，则将要读出图42的实施例中的图像传感器的全部行集合的读出时间可以被表达成图像传感器被包括在其中的光学链(例如摄影机模块)的焦距以及在给定时间将被联合读出并且作为单个像素元件行被对待的图像传感器的像素元件行的数目的函数。
在一些示例性实施例，成像设备(例如摄影机设备100)被用来实施流程图4100和4200的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式安排的光学链，并且在图12B中进一步示出了光学链的更加详细的安排和元件(例如传感器、滤光器)。因此，在这样的一个实施例中，多个光学链130包括关于图12A讨论的光学链1202到1234。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的一个实施例中，多个光学链130包括关于图17A和17B讨论的光学链1702到1734，其中一些包括非圆形透镜。
在一些实施例中，控制器150(其包括传感器读出控制器289)被配置成控制对应于多个光学链130的多个图像传感器从感兴趣场景区域的第一边缘到感兴趣场景区域的第二边缘扫描感兴趣场景区域，其中感兴趣场景区域的第一和第二边缘是平行的，作为扫描的一部分，传感器控制器289根据从感兴趣场景区域的第一边缘继续到第二边缘的扫描位置来控制图像捕获。当多个图像传感器当中的第一图像传感器具有对应于当前扫描位置的像素值行时，传感器控制器在卷帘快门模式下控制该第一传感器读出对应于当前扫描位置的像素值行，其中当前扫描位置随着时间改变。在一些实施例中，当多个图像传感器当中的第二图像传感器具有对应于当前扫描位置的像素值行时，传感器控制器289还在卷帘快门模式下控制第二图像传感器读出对应于当前扫描位置的像素值行，其中第一和第二图像传感器捕获感兴趣场景区域的不同部分的图像。
在一些实施例中，第一图像传感器捕获不被第二图像传感器捕获的感兴趣场景区域的一部分的图像，并且第二图像传感器捕获不被所述第一图像传感器捕获的所述感兴趣场景区域的一部分的图像。
在一些实施例中，所述多个图像传感器还包括第三图像传感器(其例如对应于第三光学链)。在一些这样的实施例中，第一图像传感器捕获所述感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的第二部分，感兴趣场景区域的第一和第二部分是部分地不重叠的，并且第三图像传感器捕获整个感兴趣场景区域。这可以通过简要地参照图12A-图12F和图32认识到。举例来说，第一部分3206被对应于第一光学链(例如OC1204)的第一图像传感器捕获，第二部分3208被对应于第二光学链(例如OC 1208)的第二图像传感器捕获，并且第三部分3202被对应于第三光学链(例如OC 1228)的第三图像传感器捕获。从图32的实例可以认识到，感兴趣场景区域的第一和第二部分(3206和3208)是部分地不重叠的，并且第三图像传感器捕获整个感兴趣场景区域。
在一个实施例中，第一和第二图像传感器分别对应于感兴趣场景区域的第一和第二部分，感兴趣场景区域的第一部分在扫描方向上(例如从顶部到底部)的限度大于感兴趣场景区域的第二部分的限度。在一个这样的实施例中，传感器控制器289被配置成把第一图像传感器的读出的持续时间控制成长于第二图像传感器的读出的持续时间。
在一些实施例中，第一图像传感器对应于具有第一焦距的光学链(例如OC 1204)，并且所述第二图像传感器对应于具有第二焦距的光学链(例如OC 1234)。在一些这样的实施例中，控制器289被配置成作为第一和第二图像传感器所对应的单独光学链的焦距的函数来控制从第一和第二图像传感器读出像素行的速率。在一些实施例中，第一图像传感器的像素尺寸与第二图像传感器的像素尺寸相同。在一些实施例中，第一焦距是第二焦距的N倍。在这样的实施例中，传感器控制器被配置成在一定速率下控制从第一图像传感器读出像素值的持续时间，所述速率是从第二图像传感器读出像素值行的速率的N倍。在一些实施例中，第一和第二图像传感器包括相同总数的像素行和列。
在一些实施例中，所述多个图像传感器(其对应于多个光学链130)包括捕获感兴趣场景区域的基本上不重叠部分的多个图像传感器，并且由所述多个传感器捕获的感兴趣场景区域的各个部分的并集覆盖感兴趣场景区域。在一些实施例中，多个图像传感器包括偶数个传感器。在一些实施例中，所述偶数个图像传感器是四个。
在一个实施例中，由第一图像传感器捕获的感兴趣场景区域的第一部分开始于处在由第二图像传感器捕获的感兴趣场景区域的第二部分之前的扫描位置。在一个实施例中，感兴趣场景区域的第二部分对应于所述感兴趣场景区域的中心。在一些这样的实施例中，所述多个图像传感器(其对应于多个光学链)包括4个图像传感器，其中4个捕获感兴趣场景区域的基本上不重叠的部分。在一些这样的实施例中，感兴趣场景区域的第二部分的第一到第四不同角落部分与由所述五个传感器当中的其余四个传感器所捕获的感兴趣场景区域的不同相应部分重叠。通过简要参照图32可以认识到这种安排。可以认识到，场景区域3216(其处在中心)的四个角落与由四个传感器(其对应于四个光学链)捕获的感兴趣场景区域的不同部分(场景区域3206、3208、3212、3214)重叠。
在一些实施例中，所述多个传感器包括5个传感器，其中4个捕获感兴趣场景区域的四个不同部分，感兴趣场景区域的四个不同部分当中的每一个的至少一个角落不与由感兴趣场景区域的四个不同部分当中的其他三个所捕获的图像部分重叠，第五传感器捕获感兴趣场景区域的中心部分。
在各个实施例中，处理器110在开始关于图42所讨论的传感器读出操作之前通过把当前扫描位置设定到扫描位置起始值来初始化当前扫描位置。在各个实施例中，曝光和读出控制器150(其包括传感器读出控制器289)单独地或者在处理器110的引导下控制摄影机设备的每一个图像传感器按照同步方式实施像素值(例如像素值行)的读出。在一些实施例中，控制器150还被配置成确定一个或更多图像传感器是否具有对应于当前扫描位置的未读像素行，例如将被读出的像素值行。当确定没有一个或更多图像传感器具有对应于当前扫描位置的未读像素行时，控制器150控制所述一个或更多图像传感器当中的每一个实施像素值行的读出。在一些实施例中，处理器110还被配置成把当前扫描位置更新到下一个扫描位置，例如把当前扫描位置递增1。
应当认识到，方法4100和4200的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4100和4200的一个或更多步骤被讨论成由处理器(例如处理器110、211)实施，但是应当认识到，方法4100和4200的一个或更多步骤可以并且在一些实施例中由专用电路实施，例如ASIC、FPGA和/或改进实施所述方法的成像设备的效率、准确性和/或操作能力的其他应用特定电路。在一些实施例中，专用的硬件(例如电路)和/或专用硬件与软件的组合被利用来实施方法4100和4200的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。图43示出了根据另一个示例性实施例的利用多个光学链(例如摄影机模块)按照同步方式捕获感兴趣场景区域的方法4300的各个步骤。出于讨论的目的，对应于由不同光学链的图像传感器实施的不同场景区域的图像的捕获将参照图12A中示出的光学链来解释，并且将其用作所述实例的基础。正如前面在图12A的实例中所讨论的那样，使用三个不同的焦距f1、f2和f3，其中f1＜f2＜f3，对于讨论考虑相同的焦距关系。
例如当摄影机设备(例如摄影机100)的用户按下按钮或采取其他动作以触发感兴趣场景区域的图像捕获时，方法4300开始于步骤4302。在步骤4304中，曝光和读出控制器150(其包括传感器读出控制器289)单独地或者在处理器110的引导下控制多个光学链130同时(例如并发地)读出对应于感兴趣场景区域的-部分的像素值。应当认识到，虽然多个(例如两个或更多)光学链130被操作来同时进行读出，但是当其他图像传感器正在读出像素值时，一个或更多其余的光学链130(例如被导向感兴趣场景的不同部分的光学链)可以不被控制来读出像素值。在方法4300的至少一种实现方式中，多个光学链130包括具有第一焦距(f2)的第一光学链(例如光学链1204)以及具有第二焦距(f1)的第二光学链(例如光学链1234)。作为图像传感器的读出的一部分，感兴趣场景区域的不同部分将在不同时间被读出，例如随着卷帘快门和读出从图像传感器的顶部向下移动到图像传感器的底部，其中图像传感器的顶部对应于卷帘快门读出的开始，并且图像传感器的底部对应于将被读出的最后一行。为了促进传感器读出的同步，在至少一个实施例中，不同光学链的图像传感器的顶部和底部被安排在相同的方向上，从而使得可以很容易同步像素值行的读出。但是对于光学链的不同图像传感器使用均匀的扫描从而还有读出方向并非对于所有实施例都是强制性的，尽管其被使用在至少一些实施例上。
例如根据所实施的卷帘快门控制，由于图像传感器被控制成顺序地实施像素行读出，因此感兴趣场景区域的不同部分将在不同时间从一个或更多光学链的传感器被读出，而对应于感兴趣场景区域的一个部分的像素值的读出将按照同步方式发生，其中多个光学链的传感器并行地读出对应于感兴趣场景区域的相同部分的像素值行。
在至少一些实施例中，步骤4304包括各个子步骤。步骤4304包括对于包括在第一光学链中的第一图像传感器和包括在第二光学链中的第二图像传感器实施同步卷帘快门读出的步骤4306。因此，第一和第二光学链的第一和第二图像传感器将按照同步方式被读出，其中考虑到被用来控制第一光学链的第一图像传感器的读出的第一卷帘快门的定时以及被用来控制第二图像传感器(即第二光学链的图像传感器)的读出的第二卷帘快门的定时的操作。
作为步骤4306的一部分，步骤4308和4310可能并且在各个实施例中被实施。在步骤4308中，第一光学链的第一图像传感器被控制成在第一图像传感器的顶部边缘开始并且继续到第一图像传感器的底部边缘顺序地读出各个像素值行，其中第一光学链的第一图像传感器的顶部边缘对应于作为卷帘快门控制的第一图像传感器的读出的一部分首先被读出的像素值行。在步骤4310中，第二光学链的第二图像传感器被控制成在第二图像传感器的顶部边缘开始顺序地读出各个像素值行。第二图像传感器的读出继续到第二图像传感器的底部边缘，其中第二光学链的第二图像传感器的顶部边缘对应于作为卷帘快门控制的第二图像传感器的读出的一部分首先被读出的像素值行。在该例中，第一和第二图像传感器被配置成使其顶部和底部相对于实施所述方法的摄影机设备(例如摄影机设备100)的顶部都被指向在相同的方向上。
虽然关于第一和第二光学链的第一和第二图像传感器解释了4300的方法，但是应当认识到，在一些实施例中，所述方法对于多于两个光学链被实施，例如对于Z个光学链被实施，其中Z可以是处于从2到Z的范围内的任何值，其中Z是整数。在这样的实现方式中，步骤4306对于在其中实施所述方法的摄影机设备的单独的Z个光学链和相应的图像传感器当中的每一个包括类似于步骤4308、4310的读出步骤。
除了步骤4306之外，步骤4304包括步骤4312。在步骤4312中，分别作为第一和第二光学链的焦距的函数来控制第一和第二图像传感器的读出速率。在其中第一光学链的焦距(f2)大于第二光学链的焦距(f1)的一些实施例中，图像传感器读出控制器289控制第一图像传感器在一定时间周期内读出第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距(f1)与第一焦距(f2)的比值乘以被用来读出所述第二图像传感器中的相同数目的像素行的时间量。
例如考虑其中第一和第二图像传感器具有相同数目的像素元件行但是第一图像传感器对应于具有第一焦距(f2)的第一光学链1204并且第二光学链(例如模块1234)具有第二焦距(f1)的情况，其中f2是f1的两倍。正如前面所讨论的那样，在这种情况下，第二光学链(f1)所捕获的场景区域的部分将是由第一光学链(f2)捕获的场景区域的尺寸的四倍或近似四倍。为了同步图像捕获处理，假设第一光学链(f2)的图像传感器被控制成在时间NTR内读取器全部像素值集合(其中N是第一和第二图像传感器上的像素元件行的数目，并且TR是读取任一个图像传感器上的单个像素元件行所需的时间)，具有更短焦距(f1)的第二图像传感器将被控制成在时间周期2NTR内读出其各个像素值行，其中假设图像传感器的所有行将被单独读出。
因此，假设图像传感器具有相同的行数，则图像传感器将被控制成读出其各个像素值行的时间为如下：
具有N个像素元件行和焦距f2的传感器1将具有读出周期(f2/f2)NTR。
同样具有N个像素元件行和焦距f1(其小于传感器1的焦距f2)的传感器2将具有读出周期NTR(f2/f1)＝2NTR(因为f2＝2f1)，其中假设每一个单独的像素值行被单独地读出。
应当提到的是，f2在该例中被用作分子，这是因为其是在该例中所使用的最大焦距。
正如前面所提到的那样，在一些操作模式下，可以实施像素元件行的联合读出以便减少读出图像传感器所需的时间量。虽然在各个实施例中，每一个传感器的像素元件行被单独读出以便最大化所生成的复合图像的总体像素计数，并且对应于更小焦距的传感器的读出速率被降低以便与对应于具有更大焦距的光学链的传感器的像素值的读出并且从而还有感兴趣场景的各个图像部分的捕获保持同步，但是这并非在所有实施例都发生。
例如在其中希望捕获快速运动的一个特定的示例性实施例中，取代放慢对应于更短焦距的图像传感器的行读出速率，实施对应于更大焦距的图像传感器的各行的联合读出操作。正如前面所提到的那样，在联合读出中，多个像素值行被联合读出，其中例如当实施两行的联合读取时，两个像素值行提供与单个行相同数目的像素值。M倍的联合读取将导致像素值行减少相同的倍数，图像传感器读出将在1/M的时间内完成。
在至少一个实施例中，取代放慢对应于具有短焦距(例如比将被用来捕获将被组合形成复合图像的图像的最大焦距更短的焦距)的光学链的一个或更多传感器的读出速率，对于具有更长焦距的传感器的像素行实施联合读出，其中作为焦距的差异的函数来控制被联合读出的行数。举例来说，如果f2是f1的两倍，则在一个实施例中，M被设定成等于2，从而使得对应于f2焦距的传感器的读出可以在被用来从对应于具有更短焦距f1的光学链的第二传感器读出像素值行的一半时间内完成。
在这种情况下，读出具有最短焦距的传感器的各个像素行所需的时间充当对应于多个图像传感器完成其读出的时间约束，并且焦距更大的传感器的读出行数通过使用联合读取操作而被减少，这是基于由更大焦距与更小焦距的比值所确定的因数。举例来说，如果f2是f1的两倍大，则对应于具有f2焦距的光学链的传感器将利用通过联合读取因数2实施的联合读取而被读出。
通过这种方式，具有不同焦距的光学链的图像传感器可以被控制成在总捕获时间被限制到读取单个图像传感器所需的时间的情况下捕获感兴趣场景区域的相同部分。
联合读取减少了将从具有更大焦距的图像传感器读出的像素值的数目，实施读取的时间被减少，并且图像的总像素计数将不会被减少到低于具有更短焦距f1的光学链的总像素计数。
在至少一个实施例中，为用户提供了在运动操作模式与静止或缓慢运动操作模式之间作出选择的机会，在运动操作模式下使用联合读取来减少或最小化图像捕获时间周期，例如把被用来捕获图像的总时间保持到对应于在一些实施例中读取单个图像传感器所需的时间的NTR，在静止或缓慢运动操作模式下以图像捕获时间为代价优化图像的像素计数，例如在一个实施例中，对应于具有更短焦距的光学链的图像传感器的像素元件行的读出时间周期被增大以便实现与由具有更大焦距的光学链进行的场景区域捕获的定时同步。
考虑到对于联合行读取因数M的潜在使用，被用来从具有相同数目的像素元件行但是分别对应于不同焦距f1和f2(其中f2大于f1)的第一和第二图像传感器读出像素值行的总时间可以被如下表达：
具有N个像素元件行并且对应于具有焦距f1(更短焦距)的光学链的传感器2将具有读出周期NTR；
同样具有N个像素元件行但是对应于具有焦距f2(更大)的光学链的传感器1被控制成实施因数为M的联合行读取，其将具有读出周期：NTR/M，其中M等于(f2/f1)，并且假设对于每M个像素元件行读出一个像素值行。
虽然传感器1(更大焦距f2)将在比传感器2更少的时间内完成读出，但是应当认识到，在各个实施例中，与传感器1所对应的光学链具有相同焦距(f2)但是捕获在扫描方向上处在由传感器1捕获的区域下方的图像区域的另一个传感器S3将捕获图像的下方部分。因此，假设f2是f1的两倍，传感器S1和S3的读出将重合到其中传感器2被读出的相同时间周期NTR，但是其中传感器1 S1读出发生在NTR的前一半期间，并且传感器3 S3读出发生在NTR的后一半期间。
从前面的讨论应当认识到，涉及作为第一和第二光学链的焦距的函数来控制第一和第二图像传感器的读出速率的步骤4312还可以取决于由摄影机的操作者选择的操作模式(例如静止或高速运动)。关于哪一种模式的选择可以并且在一些实施例中是基于在一幅或更多幅顺序地捕获的图像或者在不同时间点捕获的图像部分中所检测到的运动而自动作出的。举例来说，如果检测一个或更多对象的运动有可能由于所述运动而导致伪像，并且所述伪像与减少图像的总体像素计数相比可能会更多地降低组合图像的质量，则使用用以读出像素行的联合读取方法。
在视频的情况下，摄影机设备可以并且在一些实施例中确实关于要操作在哪一种操作模式下作出更新后的决定，以便产生具有最佳质量的复合图像。作为所述决定的结果，摄影机设备可以从一个帧时间到下一个帧时间在操作模式以及所使用的图像捕获同步技术之间进行切换。虽然这样可能导致对应于具有不同像素数目的相同视频序列的不同复合图像，但是总体图像质量被最大化。
虽然在一些实施例中支持这样的动态切换，但是在其他实施例中，一旦确定了同步技术和操作模式，就对于视频序列保持所述模式，从而使得视频序列中的各幅图像的像素元件的数目将在每幅复合图像的基础上保持恒定。
应当认识到，在多个图像传感器的同步读出的情况下，其中第三传感器所捕获的感兴趣场景区域的图像部分位于由另一个图像传感器(例如第一图像传感器)捕获的图像部分的下方(在扫描方向上)，从第三图像传感器的像素值的读出将跟随在从第一图像传感器的像素值的读出之后。
因此，在至少一个实施例中，步骤4304包括步骤4314，其中第三光学链(例如光学链1218)的第三图像传感器被控制成在从第一图像传感器读出最后一个像素值行之后读出对应于感兴趣场景的第三部分的像素值。在一些实施例中，所述感兴趣场景区域的第三部分位于所述感兴趣场景区域的所述第一部分下方(在扫描方向上)。在一些这样的实施例中，第一图像传感器捕获感兴趣场景区域的第一部分，第二感兴趣场景区域捕获感兴趣场景区域的大于第一部分的第二部分。在一些这样的实施例中，第二图像传感器(其对应于更小焦距光学链)捕获与组合的第一和第三图像传感器基本上相同的图像区域，但是其读出时间比第一和第三图像传感器当中的任一个的读出时间更长。
应当认识到，在这样的实施例中，虽然可以在期间从第二图像传感器读出像素值的时间周期期间读出对应于第一图像传感器的像素值，但是第一和第三图像传感器的读出时间将不重叠。
但是在其中第一和第三图像传感器被控制成捕获感兴趣场景的重叠部分的实施例中，对应于重叠场景部分的像素行的读出可以同时从第一和第三图像传感器读出。
操作从步骤4304继续到步骤4316，其中从在步骤4304中控制的图像传感器读出的图像被存储在存储器中以供后续处理。操作随后继续到步骤4318。在步骤4318中，例如在步骤4304中由不同光学链按照同步方式捕获的图像被组合以生成复合图像。
在视频的情况下，将对于每一个帧时间实施步骤4304、4316和4318，其中例如对于每一个帧时间生成一幅复合图像。
在一些实施例中，操作从步骤4318继续到步骤4320。在步骤4320中，在步骤4318中生成的复合图像被存储在存储器中、传送和/或例如显示在显示器102上。
虽然在一些实施例中复合图像的生成发生在摄影机设备100中，并且复合图像随后被显示或传送，但是在其他实施例中，复合图像由处理器生成以便例如作为后捕获处理过程和/或视频产生处理的一部分。在这样的实施例中，复合图像的生成可以在包括存储器、处理器和显示器的计算机系统上进行，其不同于包括被用来捕获感兴趣场景区域的图像的光学链130的摄影机设备100的存储器、处理器和显示器。
在一些示例性实施例中，成像设备(比如摄影机设备100)被用来实施流程图4300的方法。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式安排的光学链，其中在图12B中进一步示出了光学链的更加详细的安排和元件。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。
在一个实施例中，控制器150(其包括图像传感器读出控制器289)被配置成控制多个光学链同时读出对应于所述感兴趣场景区域的一部分的像素输出，所述多个光学链130包括具有第一焦距(f2)的第一光学链1204和具有第二焦距(f1)的第二光学链1234，第二焦距不同于第一焦距，所述感兴趣场景区域的不同部分在不同时间被读出。在各个实施例中，控制器150被配置成实施包括在第一光学链1204中的第一图像传感器和包括在第二光学链1234中的第二图像传感器的同步卷帘快门读出。
在一些实施例中，作为实施第一图像传感器的卷帘快门读出的一部分，控制器150被配置成首先读取对应于一个像素值行的第一光学链的第一图像传感器的顶部边缘，所述卷帘快门读出包括在第一图像传感器的顶部边缘开始并且继续到第一图像传感器的底部边缘顺序地读出各个像素值行。在各个实施例中，作为实施第二图像传感器的卷帘快门读出的一部分，控制器150还被配置成首先读取对应于一个像素值行的第二光学链的第二图像传感器的顶部边缘，第二图像传感器的卷帘快门读出包括在第二图像传感器的顶部边缘开始并且继续到第二图像传感器的底部边缘顺序地读出各个像素值行，第一和第二图像传感器的扫描方向(从顶部到底部)是相同的。虽然在关于图43讨论的实例中考虑了图像传感器的顶部到底部扫描方向，但是应当认识到，作为图像传感器的卷帘快门读出的一部分，在不同方向上从图像传感器的一个边缘扫描到另一个边缘也是可能的。
在一些实施例中，第一和第二图像传感器包括相同数目的像素行。在一些实施例中，做为被配置成控制多个光学链同时读出对应于感兴趣场景区域的一部分的像素值的一部分，控制器150被配置成作为第一和第二光学链的焦距来控制第一和第二图像传感器的读出速率。
在一些实施例中，第一焦距大于第二焦距。在一些实施例中，控制器150还被配置成控制第一图像传感器在一定时间周期内读出第一图像传感器中的一定数目的像素行，所述时间周期被计算成第二焦距与第一焦距的比值乘以被用来读出第二图像传感器中的相同数目的像素行的时间量。举例来说，考虑第二光学链的焦距是FS2并且第一光学链的焦距是FS1，其中第一和第二传感器分别对应于具有N个像素元件行的第一和第二光学链。如果读出传感器2的N行花费时间TS2，则控制器150在时间周期TS1＝(FS2/FS1)×TS2的时间周期内控制传感器1的读出。
在一些实施例中，第一焦距是第二焦距的两倍。在这样的实施例中，控制器150还被配置成控制在一定时间周期内完全读出第二图像传感器，所述时间周期的长度是被用来读出第一图像传感器的第一时间周期的两倍。
在各个实施例中，第一图像传感器捕获感兴趣场景区域的第一部分，第二图像传感器捕获感兴趣场景区域的大于第一部分的第二部分。在一些这样的实施例中，控制器150还被配置成控制第三光学链(例如光学链1218)的第三图像传感器在从第一图像传感器读出最后一个像素值行之后读出对应于感兴趣场景区域的第三部分的像素值，感兴趣场景区域的第三部分位于感兴趣场景区域的第一部分的下方。在一些实施例中，第二图像传感器至少捕获与第一和第三图像传感器相同的图像区域，但是其读出时间比第一和第三图像传感器当中的任一个的单独读出时间更长。
在各个实施例中，作为传感器读出操作的一部分由传感器捕获的图像被存储在设备存储器中，例如存储器108。在一些实施例中，作为生成复合图像的一部分，这些图像当中的一幅或更多幅被进一步处理。在一些实施例中，处理器110被配置成通过组合两幅或更多幅所捕获图像来生成复合图像。在一些实施例中，处理器110还被配置成控制所生成的复合图像在存储器108中的存储以及/或者复合图像在显示器102上的输出以及/或者把所捕获图像或复合图像通过例如接口114之类的接口传送到另一个设备。
应当认识到，方法4300的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4300的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4300的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法4300的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图44所示出的流程图4400示出了根据一个示例性实施例的使用多个光学链来捕获图像的示例性方法的各个步骤。根据一个示例性实施例，所述方法包括控制成像设备(比如在图1、6、8和/或4中示出的成像设备)来捕获图像。实施流程图4400的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。
流程图4400的方法可以并且在一些实施例中是利用比如图1的摄影机100之类的摄影机设备来实施的。在一个这样的实施例中，摄影机设备100的多个光学链130包括按照图12A中示出的方式来安排的光学链(例如摄影机模块)，其中在图12B中进一步示出了光学链的更加详细的安排和元件。在另一个实施例中，摄影机设备100的多个光学链130包括如图17A中示出的类型和安排的光学链。在这样的实施例中，多个光学链130包括关于图17A和17B所讨论的光学链1702到1734。
所述示例性方法开始于步骤4402，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备100)发起由一个或更多光学链对感兴趣场景区域的图像捕获。出于讨论的目的，考虑摄影机设备包括多个光学链，并且每一个光学链可以被独立地操作和控制。
操作从步骤4402继续到步骤4404、4406、4408、4410、4412、4414和4416，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中按照同步方式被实施。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不同步，而是在相同的或重叠的时间周期期间捕获多幅所捕获图像。在其他实施例中，至少一些图像例如被快速连续地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤4404中，摄影机设备的第一光学链被用来捕获感兴趣场景区域的第一部分的第一图像，第一光学链具有第一光轴和第一最外侧透镜。在一些实施例中，感兴趣场景区域可以略微小于全部图像捕获区域。操作从步骤4404继续到步骤4418。步骤4418在一些而不一定是所有实施例中被实施。在其中步骤4418被跳过的一些实施例中，操作直接继续到步骤4420。
在步骤4406中，利用摄影机设备的第二光学链捕获场景区域的第二部分，第二光学链具有不平行于第一光轴的第二光轴以及与第一最外侧透镜分开的第二最外侧透镜。因此应当认识到，在各个实施例中，由于每一个光学链具有不同的外侧透镜，因此每一个光学链具有物理上不相交并且不重叠的入射光瞳。在一些实施例中，第二和第二光轴不垂直于摄影机的正面。在一些实施例中，第一和第二光轴具有相同的焦距。操作从步骤4406继续到步骤4418。
在步骤4408中，包括感兴趣场景区域(例如整个感兴趣场景区域)的第三图像是利用具有与所述第一和第二最外侧透镜分开的第三最外侧透镜的摄影机设备的第三光学链来捕获的。在一些实施例中，第三光学链具有不与第一或第二光轴当中的任一个平行的第三光轴。在一些实施例中，第三光学链的焦距小于第一和第二光学链的至少其中之一的焦距。在一些实施例中，第三光学链的焦距小于第一光学链的焦距。在一些实施例中，第三光学链的焦距小于第二光学链的焦距。在一些实施例中，第三光学链的焦距小于第一和第二光学链的焦距。在一些实施例中，第三光轴垂直于摄影机设备的正面。在一些实施例中，第一光学链利用第一传感器捕获第一图像，并且第三光学链利用第三传感器捕获第三图像。操作从步骤4408继续到步骤4418。
在步骤4410中，利用具有与所述第一、第二和第三最外侧透镜分开的第四最外侧透镜的摄影机设备的第四光学链来捕获第四图像，第四图像包括感兴趣场景区域的第二图像。在一些实施例中，第三光学链具有第三光轴，第四光学链具有第四光轴。在一些实施例中，第三和第四光轴彼此平行。在一些实施例中，第三和第四光轴不平行于第一或第二光轴。在一些实施例中，第三和第四光轴垂直于摄影机的正面。在一些实施例中，第四光学链具有与第三光学链的焦距相同的焦距。操作从步骤4410继续到步骤4418。
在步骤4412中，利用具有第五光轴的摄影机设备的第二光学链捕获第五图像，第五图像是感兴趣场景区域的第三部分的图像，第五光轴不平行于第一和第二光轴。因此，第五光学链捕获感兴趣场景区域的一部分，例如四分之一或一半。操作从步骤4412继续到步骤4418。
在步骤4414中，可利用具有不平行于第一、第二或第五光轴的第六光轴的摄影机设备的第六光学链捕获第六图像，第六图像是感兴趣场景区域的第四部分的图像。操作从步骤4414继续到步骤4418。在一些实施例中，第一、第二、第五和第六图像分别具有第一像素值数目。
在步骤4416中，利用具有与第一光学链相同的焦距的摄影机设备的第七光学链捕获第七场景区域的第七图像，第七光学链具有垂直于摄影机表面的光轴。在一些实施例中，第七场景处在感兴趣场景区域的中心。操作从步骤4416继续到步骤4418。
现在回到步骤4418。在步骤4418中，一幅或更多幅所捕获图像(例如第一、第二、第三、第四、第五、第六和/或第七图像)被存储在例如设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。在一些实施例中，处理器110控制一幅或更多幅所捕获图像在存储器108中的存储以及/或者将一幅或更多幅所捕获图像输出到显示器102。虽然步骤4418在一些实施例中被实施，但是在一些其他实施例中，步骤4418可以被跳过。在这样的实施例中，操作从前一步骤直接继续到步骤4420。
在各个实施例中，第二、第三、第五和第六光学链被安排成使得由这些光学链取得的感兴趣场景区域的部分的图像是来自不同的空间上分开的入射光瞳，从而具有不同的视角。组合此类具有不同视角的图像会引入伪像(例如视差)。为了最小化和/或减轻来自利用由这些不同光学链捕获的各幅图像生成的复合图像的伪像的效应，在一些实施例中使用深度信息，所述深度信息在组合图像时提供视差校正，以避免由于不同的视角而导致的复合图像的失真。
回到步骤4420。在步骤4420中，通过组合至少两幅所捕获图像(例如第一和第二图像)而生成复合图像。在各个实施例中，例如通过实施方法4400的各个步骤的摄影机设备的处理器(比如处理器110或211)来生成复合图像。在一些实施例中，实施步骤4420包括实施步骤4424和4426当中的一个或更多个。在一些实施例中，子步骤4424和4426是不同的替换方案，其中任一个可以作为实施步骤4420的一部分来实施。在一些实施例中，步骤4420包括实施步骤4424，其中作为生成复合图像的一部分至少组合所述第一、第二、第三和第四图像。在这样的实施例中，处理器110被配置成通过组合至少第一、第二、第三和第四图像来生成复合图像。在一些实施例中，复合图像是感兴趣场景区域的复合图像，所述复合图像的像素值的数目大于第一、第二、第三和第四图像当中的任一幅所单独具有的像素值的数目。
在一些实施例中，步骤4420包括实施步骤4426，其中例如由处理器110从至少所述第一、第二、第三、第四、第五和第六图像生成复合图像，所述复合图像所具有的像素值的数目多于第一像素值数目的三倍但是少于第一像素值数目的六倍。在一些实施例中，复合图像所包括的像素值的数目少于从被组合来生成复合图像的像素值数目的总和所得到的像素值的数目。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，复合图像是从第一、第二、第三、第四、第五、第六图像和第七图像生成的。
在一些实施例中，操作从步骤4420继续到步骤4428。在步骤4428中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。在一些实施例中，复合图像在存储器108中的存储以及/或者例如输出到显示设备和/或通过接口输出到外部设备是在处理器110的控制下实施的。
应当认识到，方法4400的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法4400的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法4400的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法4400的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图45所示出的流程图6700说明了捕获图像的示例性方法的各个步骤。所述图像可以并且在一些实施例中是利用包括在摄影机设备中的多个光学链来捕获的，摄影机设备被包括在摄影机外罩中，摄影机外罩具有厚度为D的前表面和后表面，D是前表面与后表面之间的距离。在一个实施例中，流程图6700的方法可以被实施来利用摄影机设备(比如图13B中示出的摄影机设备1320)捕获图像。所述摄影机设备包括多个光学链，并且每一个光学链可以被独立地操作和控制。实施流程图6700的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。因此应当认识到，实施方法6700的摄影机设备包括处理器、存储器、(多个)接口以及关于图1和4A讨论的其他元件。
所述示例性方法开始于步骤6702，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备1320)发起由一个或更多光学链对感兴趣场景区域的图像捕获。操作从步骤6702继续到步骤6704、6706、6708和6710，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中是按照同步方式实施的。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤6704中，利用摄影机外罩中的第一光学链捕获第一图像，第一光学链包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，第一光学链所具有的光轴包括处于光重定向设备前方的第一光轴部分和从光重定向设备延伸到传感器的第二光轴部分，第一透镜处在第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上的长度小于或等于D，并且沿着垂直于第一方向的第二方向的长度大于D。在一些实施例中，第一透镜是在第二光轴部分上最靠近光重定向设备的透镜。可以被用来实施流程图6700的方法的示例性摄影机设备的各种元件和/或构造特征可以从图13B认识到，该图示出了例如摄影机外罩1322、厚度1323、前表面和后表面1321和1325之类的特征。操作从步骤6704继续到步骤6712。
在步骤6706中，利用摄影机外罩中的第二光学链捕获第二图像，第二光学链包括i)第二光重定向设备、ii)具有第二非圆形孔径的第二透镜以及iii)第二传感器，第二光学链所具有的光轴包括处于第二光重定向设备前方的第三光轴部分和从第二光重定向设备延伸到第二传感器的第四光轴部分，第二非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的第三方向的长度大于D，第二和第三方向是不同的。在一些实施例中，第二和第三方向关于彼此成90度角。操作从步骤6706继续到步骤6712。
在步骤6708中，利用第三光学链捕获第三图像，第三光学链包括i)第三光重定向设备、ii)具有第三非圆形孔径的第三透镜以及iii)第三传感器，第三光学链所具有的光轴包括处于第三光重定向设备前方的第五光轴部分和从第三光重定向设备延伸到第三传感器的第六光轴部分，第三非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的第四方向的长度大于D，第一、第二和第三方向是不同的。在一些实施例中，第二和第三方向关于彼此成处于30度到60度之间的角。操作从步骤6708继续到步骤6712。
类似地，如图中所示，在一些实施例中，摄影机设备中的一个或更多附加光学链可以被用来捕获附加的图像。在其中附加的光学链被用来捕获附加图像的一些这样的实施例中，实施步骤6710。在步骤6710中，利用第Z光学链捕获第Z图像，第Z光学链包括i)第Z光重定向设备、ii)具有非圆形孔径的第Z透镜以及iii)第Z传感器，第Z光学链所具有的光轴包括处于第Z光重定向设备前方的一个光轴部分和从第Z光重定向设备延伸到传感器的另一个光轴部分，所述非圆形孔径在沿着摄影机厚度的第一方向上的长度小于或等于D，并且沿着垂直于摄影机厚度方向的方向的长度大于D。操作从步骤6710继续到6712。在一些实施例中，在相同的时间周期内捕获如前面所讨论的由多个光学链捕获的各幅图像。
现在回到步骤6712。在步骤6712中，一幅或更多幅所捕获图像(例如第一、第二、第三等等)被存储在例如设备存储器中以供根据本发明的特征进一步处理并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。操作从步骤6712继续到步骤6714。在步骤6714中，通过组合至少其中两幅或更多幅所捕获图像生成复合图像。在各个实施例中，例如由实施方法6700的各个步骤的摄影机设备的处理器(比如处理器110或211)生成复合图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，所述多个光学链当中的至少一些捕获感兴趣场景区域的各个部分，其随后根据本发明的方法被组合以生成复合图像。步骤6714在一些而不一定是所有实施例中被实施。
操作从步骤6714继续到步骤6716。在步骤6716中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。
应当认识到，方法6700的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法6700的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法6700的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法6700的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
图46是示出了捕获图像的示例性方法的流程图6800。所述图像可以并且在一些实施例中是利用包括多个光学链的摄影机设备来捕获的。在一个实施例中，流程图6800的方法可以被实施来利用摄影机设备(例如图14中示出的摄影机设备1400)捕获图像。所述摄影机设备包括多个光学链，每一个光学链可以被独立地操作和控制。实施流程图6800的方法的摄影机设备可以并且有时确实包括与图1和/或4A的摄影机设备相同或类似的元件。可以被用来实施流程图6800的方法的示例性摄影机设备的各种元件和/或特征可以从图14-17认识到，其中示出了例如具有非圆形孔径透镜的光学链、具有圆形透镜的光学链、摄影机厚度等特征。
所述示例性方法开始于步骤6802，例如其中用户发起捕获感兴趣场景区域，从而使得摄影机设备(例如摄影机设备1400)发起由一个或更多光学链对感兴趣场景区域的图像捕获。操作从步骤6802继续到步骤6804、6806、6808、6810和6812，其涉及图像捕获操作。图像捕获操作可以并且在一些实施例中是按照同步方式实施的。在至少一些同步实施例中，由一些而不一定是所有不同的光学链捕获的图像对应于相同的或重叠的时间周期。在其他实施例中，图像捕获不是同步的，但是其中多幅所捕获图像是在相同的或重叠的时间周期期间被捕获的。在其他实施例中，至少一些图像例如被快速相继地顺序捕获。顺序图像捕获可以并且在一些实施例中被用于捕获对应于场景区域的不同部分的图像。
在步骤6804中，在第一时间周期期间利用摄影机的第一光学链捕获第一图像，第一光学链具有第一焦距和第一非圆形透镜。操作从步骤6804继续到步骤6814。
在步骤6806中，在第一时间周期期间利用摄影机的第二光学链捕获第二图像，第二光学链具有第二焦距和第二非圆形透镜。在一些实施例中，第一和第二焦距是相同的。在一些实施例中，第一和第二焦距是不同的。在一些实施例中，第一非圆形透镜在第一方向上比垂直于第一方向的第二方向上更长，并且第二非圆形透镜在第三方向上比第四方向上更长，其中第四方向垂直于第三方向，第一和第三方向是不同的。在一些实施例中，第一光学链包括第一传感器，第二光学链包括第二传感器。操作从步骤6806继续到步骤6814。
在步骤6808中，利用具有第三焦距并且包括圆形透镜的第三光学链捕获第三图像，第三焦距小于第一或第二焦距。在一些实施例中，第二和第四方向是相同的，并且对应于摄影机的深度(厚度)。操作从步骤6808继续到步骤6814。
在步骤6810中，利用具有第四焦距和第三非圆形透镜的第四光学链捕获第四图像，第四焦距大于第三焦距。在一些实施例中，第三非圆形透镜在第五方向上比第六方向上更长，第六方向垂直于第五方向，第一、第三和第五方向相差至少20度。操作从步骤6810继续到步骤6814。
类似地，摄影机设备中的一个或更多附加的光学链可以并且在一些实施例中被用来捕获附加的图像。在一个实施例中，利用如步骤6812中表明的具有圆形透镜的光学链来捕获附加的图像。在步骤6812中，利用包括圆形透镜的多个附加的光学链捕获附加的图像，每一个附加的光学链包括具有小于第一光学链的焦距的圆形透镜。在一些实施例中，由前面所讨论的由多个光学链捕获的各幅图像是在相同的时间周期内被捕获的。操作从步骤6812继续到步骤6814。
现在回到步骤6814。在步骤6814中，一幅或更多幅所捕获图像(例如第一、第二、第三等等)被存储在例如设备存储器中以供根据本发明的特征进一步处理并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。操作从步骤6814继续到步骤6816，步骤6816在一些而不一定是所有实施例中被实施。在步骤6816中，通过组合至少其中两幅或更多幅所捕获图像生成复合图像，例如通过至少组合第一和第二图像。在各个实施例中，例如由实施方法6800的各个步骤的摄影机设备1400的处理器(比如处理器110或211)生成复合图像。在各个实施例中，所生成的复合图像是感兴趣场景区域的图像。在一些实施例中，所述多个光学链当中的至少一些捕获感兴趣场景区域的各个部分，其随后可以根据本发明的方法被组合以生成复合图像。
操作从步骤6816继续到步骤6818。在步骤6818中，所生成的复合图像例如被存储在设备存储器中并且/或者例如被输出到显示设备和/或通过接口输出到外部设备。
应当认识到，方法6800的各种特征和/或步骤涉及摄影机和/或图像处理中的改进，尽管这样的设备可以使用通用处理器和/或图像传感器。虽然方法6800的一个或更多步骤(比如复合图像生成步骤)被讨论为由处理器(例如处理器110、211)来实施，但是应当认识到，方法6800的其中一个或更多步骤可以并且在一些实施例中是通过专用电路来实施的，比如改进实施所述方法的成像设备的效率、准确性和/或操作能力的ASIC、FPGA和/或其他应用特定电路。在一些实施例中，例如电路之类的专用硬件以及/或者专用硬件与软件的组合被利用来在其中实施方法6800的一个或更多步骤，从而为实施所述方法的成像设备(例如摄影机)提供附加的图像处理效率、准确性和/或操作能力。
本发明所描述的各种特征是针对利用一个或更多光重定向元件来减小摄影机装置的厚度的方法和装置。在各个实施例中，沿着光轴的光径在到达传感器之前被转向。在至少一些实施例中，沿着光轴进入摄影机设备的正面的光径被转向，从而使其至少部分地在平行于摄影机的表面的方向上行进。相应地，在至少一些实施例中，光径的长度不受摄影机的深度(例如正面到背面长度)限制。
在包括一个或更多摄影机模块的摄影机中，对于光重定向元件(例如反射镜或棱镜)的使用例如在延长从光学链(例如摄影机模块)的最前方透镜到相应的传感器的长度方面是有用的。在一些实施例中，圆形透镜(例如具有圆形孔径的透镜)被用作最外侧摄影机透镜，并且使用其深度与最外侧透镜的直径可比的光重定向元件。通过这种方式，假设摄影机被垂直地安排并且一个或多个透镜被安放在对应于摄影机外罩的正面的垂直平面内，则在可以被视为一个或多个外侧透镜的垂直和水平维度中接收到的光都可以被转向和捕获，而不需要摄影机的深度足以允许把光学链安排在平直正面到背面配置中，在所述配置中，光学链的最前方透镜被定位在摄影机的正面，传感器被定位在摄影机的背面并且处在光学链的最外侧透镜的正后方。
在一些实施例中，摄影机是利用多个光学链(例如摄影机模块)来实施的。在至少一些这样的实施例中，实施光的转向，从而使得摄影机模块的至少一部分可以利用从左到右维度(例如摄影机的侧面到侧面维度)或者从上到下维度(高度)，从而允许在相对纤薄的摄影机格式中支持相对较长的焦距。在一个这样的实施例中，具有小焦距和相应的小透镜的摄影机模块被实施在平直正面到背面配置中，而具有更大焦距和更大透镜的摄影机模块则利用光转向(例如在一些实施例中转向90度)，以便允许在相对于摄影机正面的侧向或上下方向上实施具有更大焦距的摄影机模块的一部分。
虽然在许多实施例中对于摄影机模块使用圆形透镜，但是在至少一些实施例中，具有长焦距的摄影机模块是利用具有非圆形(例如椭圆形)、细长或者具有在一个维度中大于另一个维度的孔径的其他透镜配置的透镜来实施的。在至少一个这样的实施例中，与光重定向设备组合使用非圆形透镜。正如在详细描述中所解释的那样，非圆形透镜与一个或更多光重定向设备的组合使用可以被用来实施比替换地使用具有圆形孔径的透镜所可能实现的情况更加纤薄的摄影机模块。
在至少一些实施例中，使用具有圆形透镜的一些摄影机模块和具有非圆形透镜的其他摄影机模块的组合。非圆形透镜(例如具有在平面的一个维度中比相同平面的另一个维度中更长的孔径的透镜)被用于具有大焦距的摄影机模块，例如在一些实施例中是等效于全帧DSLR的70mm焦距或更大的焦距，在一些实施例中是等效于全帧DSLR的150mm焦距或更大，在一些实施例中是等效于全帧DSLR的300mm焦距或更大。在至少一些这样的实施例中，具有圆形孔径的透镜被用于具有小焦距的摄影机模块，例如短于70mm全帧DSLR的等效焦距。透镜(摄影机)的焦距常常被表述成对应于全帧DSLR摄影机的等效焦距，其中DSLR摄影机是数字单透镜反射摄影机。比如具有35mm等效焦距的光学链之类的透镜或系统将从与具有35mm透镜的全帧DSLR摄影机所将成帧的相同距离成帧相同的镜头。具有35mm等效焦距的光学链的实际焦距可以小得多，这是因为传感器通常远小于全帧DSLR传感器。一般来说，如果传感器在每一个维度中是5分之1(面积是25分之1)，则具有7mm真实焦距的光学链将具有全帧DSLR的35mm等效焦距。
虽然在各个实施例中对于具有某些焦距的摄影机模块使用光转向以允许纤薄摄影机实现方式，但是具有更短焦距(例如等效于35mm全帧DSLR焦距的焦距)的一些其他摄影机模块可能并且有时是在不使用光重定向元件的情况下来实施的。
在一些实施例中，为了允许摄影机厚度小于摄影机模块的最外侧透镜元件的最大维度(在一些实施例中是沿着水平方向)和相应的孔径，在一些实施例中使用光重定向设备，其被配置成支持在一个方向上(例如水平方向)比另一个方向(例如垂直方向)更大的孔径。该光重定向设备使得沿着摄影机模块的光轴朝向摄影机行进的光转向，从而在转向之后在(例如垂直地)不同的方向上行进。这样就允许光重定向设备的深度小于孔径的最大维度。
通过使用支持在一个维度中(例如水平)比另一个维度更大的孔径的重定向元件，导致捕获到在一个维度中(例如水平)比另一个维度具有更高质量(例如捕获到更多更高频率的图像内容)的二维图像。虽然这样的图像与其中在垂直和水平维度中都捕获到相同数量的光学信息的更加均匀的图像相比可能较不理想，但是通过使用支持长方形孔径的光重定向元件而成为可能的更加纤薄的摄影机可能是合乎期望的，这是因为其允许摄影机比光经过该处进入摄影机的透镜开口的最长长度更薄。因此，在这样的实施例中，摄影机的厚度与长方形或非圆形透镜开口(孔径)的最大维度无关并且不受其约束。
通过使用非圆形(例如长方形、椭圆形或其他非圆形)孔径可能导致在一个维度中(例如沿着非圆形透镜的更长维度)捕获到比另一个维度更多的高频率图像信息。在各个实施例中，为了补偿由于在一个维度中比另一个维度更窄的透镜和/或有效孔径而导致的不同方向上的高频信息中的差异，使用具有更高分辨率维度的不同指向的多个光学链。具有不同指向的光学链捕获到在图像中具有最高分辨率维度的不同方向(例如水平、垂直、倾斜)的图像，其中摄影机处于垂直指向中并且摄影机透镜朝向前方。
在一个这样的实施例中，由不同光学链捕获的图像被组合以形成组合或复合图像。应当认识到，通过组合在不同维度中具有不同数量的高频信息的图像(其例如由不同的光学链同时捕获)，组合图像不需要受到由具有非圆形孔径光阑的光学链在一个维度中捕获的更低频率信息的约束。这是因为由不同光学链(例如具有允许在另一个光学链所欠缺的维度中捕获到更高频率信息的指向的光学链)捕获的图像可以被用来补偿由另一个光学链捕获的图像的弱点。作为一个实例，如果存在都具有非圆形(例如长方形)孔径的两个光学链，第一光学链的指向可能使得第一光学链的孔径在水平维度中更大，从而为由第一光学链捕获的图像给出水平方向上的更高分辨率，第二光学链的指向则可能使其相应地捕获具有更高垂直分辨率的图像。所述两幅图像可以并且在一些实施例中被组合成在垂直和水平方向上都具有更高分辨率的单幅复合图像。
因此，通过使用具有非圆形孔径但是不同指向的多个光学链并且组合由此类光学链捕获的图像，可以实施相对纤薄的摄影机，并且图像的质量(锐度)不会受到使用其直径通常将受摄影机深度限制的更小圆形孔径的约束。
在一些实施例中，非圆形透镜被用作多个光学链的最外侧透镜，所述多个光学链被用来并行地捕获最后被组合以形成组合图像的各幅图像。可以通过切除圆形透镜的某些部分而形成非圆形透镜，例如切除左侧和右侧部分，从而形成长方形透镜。在其他实施例中，通过应用掩模或者将透镜安放在其中的摄影机外罩的一部分来掩蔽圆形透镜的某些部分，从而形成具有长方形孔径的透镜。在其他实施例中，使用圆形外侧透镜，并且光重定向设备的尺寸和形状使得并非经过圆形透镜的所有光都被转向到传感器。在这样的实施例中，光重定向设备作为光径上的约束操作，并且成为传递到传感器的光上的孔径光阑(例如光约束点)。因此，在各个实施例中，长方形透镜充当孔径光阑，其中长方形孔径是光学链的光径上的收紧点，而在其他实施例中，光重定向元件充当光径上的约束和光学链中的孔径光阑，其中尽管外侧透镜可能是圆形的，但是有效孔径却是长方形的。
本发明描述了使用多个光学链同时捕获一个区域的多幅图像的方法和装置。所述多幅所捕获图像可以并且在一些实施例中虽有被组合以形成组合图像。在各个实施例中，组合图像通常比仅利用其中单个光学链所将实现的情况具有更高的质量。
通过使用通常可以利用比对于高质量大透镜单光学链摄影机实现方式通常所使用的更小和/或更低成本的组件来实施的多个光学链，各个实施例提供了与使用大透镜和/或较大的高质量创安琪相关联的许多益处。
在各个实施例中，光学链(例如摄影机模块)包括元件的组合，所述元件包括一个或更多透镜、光重定向设备和传感器。光重定向设备是光偏向器，并且可以采取多种形式，例如其可以是反射镜或棱镜。光重定向设备可以被铰接，以便允许通过移动光重定向设备来改变光学链所指向的角度并且从而还有方向。
在至少一些实施例中，组合由具有不同指向的非圆形孔径的不同光学链捕获的图像。在一些实施例中，来自两个、三个或更多(例如六个或更多)具有不同指向的光学链的图像被组合以形成单幅组合图像。虽然在一些实施例中组合了来自具有不同指向的光学链的图像，但是应当认识到，可以把由具有相同指向的多于一个光学链捕获的图像与由具有不同指向(例如相对于摄影机的底部，其出于说明的目的例如是水平的)的光学链捕获的一幅或更多幅图像相组合。因此，通过组合来自不同光学链的图像可以实现许多优点，从而与使用单个大圆形透镜的系统相比允许使用多个小透镜以及相对纤薄的摄影机外罩。
在各个实施例中，多个光学链的外侧透镜是固定的，因此不同于许多传统的变焦摄影机设备，在这样的实施例中，外侧透镜(即摄影机表面上的透镜)不会移出摄影机主体，并且即使在变焦操作期间相对于摄影机的表面也是固定的。最外侧透镜可以并且在一些实施例中确实具有零屈光力或者非常小的屈光力，并且在很大程度上充当防止灰尘进入外侧透镜所对应的光学链的覆盖物。在这样的实施例中，外侧透镜可以利用平坦的玻璃或塑料来实施。在一些实施例中，当摄影机被置于存放时将可滑动覆盖物滑动到外侧透镜之上，并且当要使用摄影机设备时滑动回去。图14示出了一个这样的实施例，其中透镜被露出，并且对于覆盖物所滑动到的位置，包括透镜覆盖物的外壳可以被用作摄影机握把或把手。
在一些实施例中，虽然最外侧透镜的一部分可以从摄影机设备的正面延伸超出摄影机设备的表面，但是最外侧透镜通常延伸(如果确实延伸的话)小于摄影机厚度的较小数量。因此，即使在使用期间，透镜也不会延伸到显著超出光学链被安放在其中的摄影机设备的表面，并且通常最多延伸小于摄影机设备的厚度的一半。
在许多(如果不是所有)情况下，由被用来拍摄照片的摄影机设备的一个或更多光学链模块捕获的代表真实世界对象和/或场景的图像以数字形式被保存在计算机可读介质(例如RAM)或其他存储器设备上，并且/或者以印刷图像的形式被储存在纸张或其他可印刷介质上。
虽然在静止图像捕获的情境中作了解释，但是应当认识到，本发明的摄影机设备和光学链模块也可以被用来捕获视频。在一些实施例中，捕获视频序列，并且用户可以选择视频序列中的一个对象(其例如被显示在序列的一帧中)作为聚焦区域，并且随后摄影机设备利用多个光学链模块捕获一幅或更多幅图像。所述图像可以并且在一些实施例中被组合以生成一幅或更多幅图像(例如帧)。可以并且在一些实施例中生成组合图像(例如帧)的序列，例如其中一些或所有单独的帧对应于同时捕获的多幅图像，但是不同的帧对应于在不同时间捕获的图像。
在一些实施例中，不同的光学链模块可能并且有时被控制成使用不同的曝光时间以便捕获不同数量的光，其中所捕获图像后来被组合以产生比利用单一曝光时间所可能实现的情况相比具有更大动态范围的图像，通过在具有相同曝光时间的不同光学链上使用不同的滤光器可以并且在一些实施例中实现了相同或类似的效果。举例来说，通过使用相同的曝光时间但是不同的滤光器，不同光学链模块的传感器将感测到不同数量的光，这是因为不同的滤光器允许不同数量的光经过。在一个这样的实施例中，由于对应于不同光学链模块(其对应于相同的颜色)的至少一些滤光器允许不同数量的光经过，因此光学量的曝光时间被保持相同。在非彩色实施例中，在未被彩色滤光的传感器前方使用具有不同暗度水平的中性滤光器。在一些实施例中，通过一个或更多光学链模块中的把所期望的滤光器移动就位的滤光器转盘的简单旋转或移动而实现切换到其中具有不同暗度水平的滤光器的模式。
本发明的摄影机设备支持多种操作模式以及不同操作模式之间的切换。不同模式可以对于每个区域使用不同数目的多个透镜，以及/或者对应于被用来并行地捕获场景区域的不同光学链的不同曝光时间。还可以支持不同的曝光模式和滤光器模式并且例如基于用户输入在其间进行切换。
在本发明的范围内，许多附加的变型和组合是可能的。
在一些实施例中实施的摄影机具有光学链，其在使用期间不会延伸超出摄影机的正面，并且被实施成便携式手持摄影机或者包括摄影机的设备。这样的设备可以并且在一些实施例中确实具有相对平坦的正面，其最外侧透镜或者透明光学链覆盖物是固定的。但是在其他实施例中，光学链的透镜和/或其他元件可以并且有时确实延伸超出摄影机设备的表面。
在各个实施例中，摄影机设备被实施成数字摄影机、视频摄影机、笔记本计算机、个人数据助理(PDA)或者包括接收器/传送器电路以及逻辑和/或例程的其他便携式设备，以用于实施本发明的方法以及/或者用于把所捕获的图像或所生成的复合图像传送到其他设备以供存储和显示。
本发明的技术可以利用软件、硬件以及/或者软件与硬件的组合来实施。本发明是针对装置，例如具有一种或更多种形式的摄影机设备，比如手持式摄影机设备、包括摄影机的膝上型设备、包括摄影机的平板设备、包括摄影机的蜂窝电话等等，其中摄影机可以包括一个或更多光学链。本发明还针对方法，例如控制根据本发明的摄影机设备和/或处理由此类摄影机设备捕获的图像的方法。本发明还针对机器可读介质(例如ROM、RAM、CD、硬盘等等)，其包括用于控制机器(例如包括处理器、存储器和至少一个光学链的摄影机设备)来实施根据本发明的一个或更多步骤的机器可读指令。本发明还针对用于根据本发明来处理一幅或多幅图像并且生成一幅或多幅复合图像的后处理系统。
在各个实施例中，这里所描述的设备是利用一个或更多模块来实施的，所述模块用以实施对应于本发明的一种或更多种方法的各个步骤，例如控制图像捕获和/或图像的组合。因此，在一些实施例中，本发明的各种特征是利用模块来实施的。这样的模块可以利用软件、硬件或者软件与硬件的组合来实施。在硬件实现方式的情况下，用硬件实施的实施例可以单独使用电路作为模块或者与其他硬件元件相组合。许多前面描述的方法或方法步骤可以利用包括在机器可读介质(比如存储器设备，例如RAM、软盘等等)中的机器可执行指令(比如软件)来实施，以便控制机器(例如摄影机设备或者具有或不具有附加硬件的通用计算机)例如在一个或更多节点中实施所有前面描述的方法或者其某些部分。相应地，本发明特别是针对一种包括机器可执行指令的机器可读介质，所述机器可执行指令用于使得或控制机器(例如处理器和相关联的硬件)实施前面描述的(多种)方法的一个或更多步骤。
虽然在摄影机的情境中进行了描述，本发明的至少一些方法和装置适用于多种图像捕获系统，其中包括支持或提供图像捕获功能的平板和蜂窝电话设备。
由这里所描述的摄影机设备捕获的图像可以是真实世界图像，其用于在建筑工地、事故现场记录情况，以及/或者用于保存个人信息，不管是关于房屋还是车辆的情况的信息。
所捕获的图像和/或复合图像可能并且有时被显示在摄影机设备上或者发送到打印机以用于作为照片或永久性文档来打印，其可以被保持在文件中以作为个人或商业记录的一部分。
通过前面对于本发明的描述，本领域技术人员将认识到关于前面描述的本发明的方法和装置的许多附加变型。这样的变型应被视为落在本发明的范围内。在各个实施例中，摄影机设备被实施成数字摄影机、视频摄影机、笔记本计算机、个人数据助理(PDA)或者包括接收器/传送器电路以及逻辑和/或例程的其他便携式设备，以用于实施本发明的方法以及/或者用于把所捕获图像或所生成的复合图像传送到其他设备以供存储和显示。

Claims (12)

1.一种摄影机设备，所述摄影机设备包括：
具有厚度D的包括前表面和后表面的摄影机外罩，其中D是所述前表面与所述后表面之间的距离；以及
所述摄影机外罩中的第一光学链，其包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，所述第一光学链的光轴包括处在所述光重定向设备前方的第一光轴部分以及从光重定向设备延伸到传感器的第二光轴部分，所述第一透镜处在所述第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第二方向具有大于D的长度；以及
所述摄影机外罩中的第二光学链，其包括i)第二光重定向设备、ii)具有第二非圆形孔径的第二透镜以及iii)第二传感器，所述第二光学链的光轴包括处在所述第二光重定向设备前方的第三光轴部分以及从第二光重定向设备延伸到第二传感器的第四光轴部分，所述第二非圆形孔径在沿着摄影机厚度的第一方向上具有小于或等于D的长度，并且沿着垂直于摄影机厚度的方向的第三方向具有大于D的长度，所述第二和第三方向是不同的。
2.根据权利要求1的摄影机设备，其中，所述第二和第三方向关于彼此成90度角。
3.根据权利要求1的摄影机设备，还包括：
包括i)第三光重定向设备、ii)具有第三非圆形孔径的第三透镜以及iii)第三传感器的第三光学链，所述第三光学链的光轴包括处在所述第三光重定向设备前方的第五光轴部分以及从第三光重定向设备延伸到第三传感器的第六光轴部分，所述第三非圆形孔径在沿着摄影机厚度的第一方向上具有小于或等于D的长度，并且沿着垂直于摄影机厚度方向的第四方向具有大于D的长度，所述第一、第二和第三方向是不同的。
4.根据权利要求3的摄影机设备，其中，所述第二和第三方向关于彼此成90度角，并且其中第二和第四方向关于彼此成30度到60度之间的角。
5.根据权利要求1的摄影机设备，其中，所述第一光重定向设备是反射镜。
6.根据权利要求1的摄影机设备，其中，所述光重定向设备是棱镜。
7.根据权利要求1的摄影机设备，其中，所述第一光重定向设备是把光转向90度的成45度角的平面反射镜。
8.一种操作包括摄影机外罩的摄影机设备的方法，所述摄影机外罩包括前表面和后表面且具有厚度D，其中D是所述前表面与所述后表面之间的距离，所述方法包括：
利用所述摄影机外罩中的第一光学链捕获第一图像，所述第一光学链包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，所述第一光学链的光轴包括处在所述光重定向设备前方的第一光轴部分以及从光重定向设备延伸到传感器的第二光轴部分，所述第一透镜处在所述第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第二方向具有大于D的长度；
利用所述摄影机外罩中的第二光学链捕获第二图像，所述第二光学链包括i)第二光重定向设备、ii)具有第二非圆形孔径的第二透镜以及iii)第二传感器，所述第二光学链的光轴包括处在所述第二光重定向设备前方的第三光轴部分以及从第二光重定向设备延伸到第二传感器的第四光轴部分，所述第二非圆形孔径在沿着摄影机厚度的第一方向上具有小于或等于D的长度，并且沿着垂直于摄影机厚度方向的第三方向具有大于D的长度，所述第二和第三方向是不同的；以及
把所捕获的图像存储在存储器中。
9.根据权利要求8的方法，其中，所述第二和第三方向关于彼此成90度角。
10.根据权利要求8的方法，还包括：
利用第三光学链捕获第三图像，所述第三光学链包括i)第三光重定向设备、ii)具有第三非圆形孔径的第三透镜以及iii)第三传感器，所述第三光学链的光轴包括处在所述第三光重定向设备前方的第五光轴部分以及从第三光重定向设备延伸到第三传感器的第六光轴部分，所述第三非圆形孔径在沿着摄影机厚度的第一方向上具有小于或等于D的长度，并且沿着垂直于摄影机厚度方向的第四方向具有大于D的长度，所述第一、第二和第三方向是不同的。
11.根据权利要求10的方法，其中，所述第二和第三方向关于彼此成90度角，并且其中第二和第四方向关于彼此成30度到60度之间的角。
12.一种包括用于控制摄影机设备的计算机可执行指令的非瞬时性计算机可读介质，所述摄影机设备包括摄影机外罩，所述摄影机外罩包括前表面和后表面且具有厚度D，其中D是所述前表面与所述后表面之间的距离，所述非瞬时性计算机可读介质包括：
指令，其在由处理器执行时控制所述摄影机外罩中的第一光学链捕获图像，所述第一光学链包括i)第一光重定向设备、ii)具有非圆形孔径的第一透镜以及iii)传感器，所述第一光学链的光轴包括处在所述光重定向设备前方的第一光轴部分以及从光重定向设备延伸到传感器的第二光轴部分，所述第一透镜处在所述第二光轴部分上，所述非圆形孔径在沿着摄影机厚度方向的第一方向上具有小于或等于D的长度，并且沿着垂直于第一方向的第二方向具有大于D的长度；
指令，其在由所述处理器执行时控制所述摄影机外罩中的第二光学链捕获第二图像，所述第二光学链包括i)第二光重定向设备、ii)具有第二非圆形孔径的第二透镜以及iii)第二传感器，所述第二光学链的光轴包括处在所述第二光重定向设备前方的第三光轴部分以及从第二光重定向设备延伸到第二传感器的第四光轴部分，所述第二非圆形孔径在沿着摄影机厚度的第一方向上具有小于或等于D的长度，并且沿着垂直于摄影机厚度方向的第三方向具有大于D的长度，所述第二和第三方向是不同的；以及
指令，其在由所述处理器执行时控制所捕获图像在存储器中的存储。
CN201480068389.1A 2013-10-18 2014-10-17 用于实施和/或使用摄影机设备的方法和装置 Active CN105829945B (zh)

Applications Claiming Priority (31)

Application Number Priority Date Filing Date Title
US201361893100P 2013-10-18 2013-10-18
US61/893,100 2013-10-18
US201461978818P 2014-04-11 2014-04-11
US61/978,818 2014-04-11
US201461981849P 2014-04-20 2014-04-20
US61/981,849 2014-04-20
US201462021094P 2014-07-04 2014-07-04
US62/021,094 2014-07-04
US14/327,517 US9551854B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for controlling sensors to capture images in a synchronized manner
US14/327,514 2014-07-09
US14/327,518 US9557520B2 (en) 2013-10-18 2014-07-09 Synchronized image capture methods and apparatus
US14/327,524 2014-07-09
US14/327,515 US9563033B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images and/or for using captured images
US14/327,524 US9423588B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for supporting zoom operations
US14/327,512 2014-07-09
US14/327,518 2014-07-09
US14/327,510 2014-07-09
US14/327,525 2014-07-09
US14/327,514 US9578252B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing images using optical chains and/or for using captured images
US14/327,517 2014-07-09
US14/327,508 US9549127B2 (en) 2013-10-18 2014-07-09 Image capture control methods and apparatus
US14/327,525 US9197816B2 (en) 2013-10-18 2014-07-09 Zoom related methods and apparatus
US14/327,508 2014-07-09
US14/327,492 2014-07-09
US14/327,510 US9325906B2 (en) 2013-10-18 2014-07-09 Methods and apparatus relating to a thin camera device
US14/327,515 2014-07-09
US14/327,512 US9557519B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US14/327,492 US9851527B2 (en) 2013-10-18 2014-07-09 Methods and apparatus for capturing and/or combining images
US14/516,568 US9374514B2 (en) 2013-10-18 2014-10-16 Methods and apparatus relating to a camera including multiple optical chains
US14/516,568 2014-10-16
PCT/US2014/061254 WO2015058153A1 (en) 2013-10-18 2014-10-17 Methods and apparatus for implementing and/or using a camera device

Publications (2)

Publication Number Publication Date
CN105829945A CN105829945A (zh) 2016-08-03
CN105829945B true CN105829945B (zh) 2019-04-09

Family

ID=56365886

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201480068390.4A Pending CN105830425A (zh) 2013-10-18 2014-10-17 用于捕获和/或组合图像的方法和装置
CN201480068389.1A Active CN105829945B (zh) 2013-10-18 2014-10-17 用于实施和/或使用摄影机设备的方法和装置
CN201480067893.XA Active CN105830424B (zh) 2013-10-18 2014-10-17 图像捕获控制方法和装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201480068390.4A Pending CN105830425A (zh) 2013-10-18 2014-10-17 用于捕获和/或组合图像的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480067893.XA Active CN105830424B (zh) 2013-10-18 2014-10-17 图像捕获控制方法和装置

Country Status (4)

Country Link
EP (3) EP3058416B1 (zh)
JP (3) JP2016540417A (zh)
KR (1) KR20160075583A (zh)
CN (3) CN105830425A (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3958557A1 (en) 2015-04-23 2022-02-23 Apple Inc. Digital viewfinder user interface for multiple cameras
DE102015215845B4 (de) * 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
KR102558471B1 (ko) * 2016-07-27 2023-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10984519B2 (en) * 2016-08-03 2021-04-20 Panduit Corp. Method for evaluating the optical insertion loss of a mechanical splice joint of two optical fibers
WO2018077156A1 (en) 2016-10-26 2018-05-03 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control
CN106657801B (zh) * 2016-10-26 2019-05-24 浙江大华技术股份有限公司 一种视频信息采集方法及装置
CN115857135A (zh) * 2017-02-23 2023-03-28 核心光电有限公司 折叠式摄影机透镜设计
DE102017206429A1 (de) * 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN111033344A (zh) * 2017-06-30 2020-04-17 珀莱特股份有限公司 用于集成在移动装置中的具有多个相机的模块
CN107343124B (zh) * 2017-08-08 2020-07-03 信利光电股份有限公司 一种摄像头
JP2019102889A (ja) * 2017-11-29 2019-06-24 株式会社デンソー カメラシステム
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
CN208386734U (zh) * 2018-06-14 2019-01-15 Oppo广东移动通信有限公司 摄像头模组和电子装置
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
KR102075847B1 (ko) * 2018-11-14 2020-02-10 망고슬래브 주식회사 디지털 메모 생성 및 저장 장치 및 방법
KR101987922B1 (ko) 2019-01-08 2019-06-11 오은실 라이트 셀의 능동적 제어를 통한 자동 이미지 캡쳐 시스템
WO2020174325A2 (en) * 2019-02-25 2020-09-03 Corephotonics Ltd. Multi-aperture cameras with at least one two state zoom camera
CN112887586B (zh) * 2019-05-06 2022-05-10 苹果公司 用于捕获和管理视觉媒体的用户界面
CN111901479B (zh) * 2019-05-06 2021-05-25 苹果公司 一种用于显示相机用户界面的方法、电子设备和非暂态计算机可读存储介质
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN115299859A (zh) * 2021-03-03 2022-11-08 重庆金山医疗技术研究院有限公司 一种内窥镜系统
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN116132824B (zh) * 2023-04-13 2023-06-16 四川新视创伟超高清科技有限公司 一种图像分区转换方法、系统、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101498821A (zh) * 2008-02-02 2009-08-05 华晶科技股份有限公司 镜头模组以及镜头模组的焦距调整方法
JP4635550B2 (ja) * 2004-10-04 2011-02-23 株式会社ニコン カメラ
CN102892008A (zh) * 2011-07-20 2013-01-23 美国博通公司 双图像捕获处理

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311819A (ja) * 1998-04-28 1999-11-09 Olympus Optical Co Ltd カメラの撮影レンズ
JP3463612B2 (ja) * 1999-01-21 2003-11-05 日本電気株式会社 画像入力方法、画像入力装置及び記録媒体
US6829011B1 (en) * 1999-09-02 2004-12-07 Olympus Optical Co., Ltd. Electronic imaging device
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2006267391A (ja) * 2005-03-23 2006-10-05 Mitsubishi Electric Corp 撮像装置
JP2008263251A (ja) * 2005-08-05 2008-10-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP4752652B2 (ja) * 2006-07-14 2011-08-17 カシオ計算機株式会社 撮像装置、撮像画像表示方法、及び、プログラム
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US20080247745A1 (en) * 2007-04-04 2008-10-09 Nilsson Rene Camera assembly with zoom imaging and method
CN101682691B (zh) * 2008-02-06 2013-05-22 松下电器产业株式会社 图像处理装置及图像处理方法
US8134589B2 (en) * 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
US9621825B2 (en) * 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
FR2940720B1 (fr) * 2008-12-31 2011-03-18 St Microelectronics Sa Dispositif de saisie d'images comprenant des moyens de correction de mise au point
CN101833157A (zh) * 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
US8553106B2 (en) * 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US20100328471A1 (en) * 2009-06-24 2010-12-30 Justin Boland Wearable Multi-Channel Camera
JP2011138047A (ja) * 2009-12-28 2011-07-14 Olympus Imaging Corp 光路反射型のズームレンズを備えた撮像装置
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
US9172856B2 (en) * 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
JP2013143753A (ja) * 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR20140113923A (ko) * 2012-01-16 2014-09-25 소니 주식회사 고체 촬상 소자 및 카메라 시스템
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP5435104B2 (ja) * 2012-10-26 2014-03-05 ソニー株式会社 情報処理装置、表示装置および情報処理装置の制御方法
TW201511554A (zh) * 2013-07-17 2015-03-16 Heptagon Micro Optics Pte Ltd 包括非圓形透鏡之相機模組

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635550B2 (ja) * 2004-10-04 2011-02-23 株式会社ニコン カメラ
CN101498821A (zh) * 2008-02-02 2009-08-05 华晶科技股份有限公司 镜头模组以及镜头模组的焦距调整方法
CN102892008A (zh) * 2011-07-20 2013-01-23 美国博通公司 双图像捕获处理

Also Published As

Publication number Publication date
EP3058713B1 (en) 2021-01-27
CN105830425A (zh) 2016-08-03
JP2016540417A (ja) 2016-12-22
EP3058714A4 (en) 2017-11-22
EP3058416A1 (en) 2016-08-24
EP3058713A4 (en) 2017-11-15
EP3058713A1 (en) 2016-08-24
CN105829945A (zh) 2016-08-03
JP2016541151A (ja) 2016-12-28
KR20160075583A (ko) 2016-06-29
EP3058416B1 (en) 2019-11-20
JP2016540418A (ja) 2016-12-22
CN105830424B (zh) 2018-12-11
EP3058416A4 (en) 2017-06-07
EP3058714A1 (en) 2016-08-24
CN105830424A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105829945B (zh) 用于实施和/或使用摄影机设备的方法和装置
US11262558B2 (en) Methods and apparatus for implementing and/or using a camera device
US10009530B2 (en) Methods and apparatus for synchronized image capture using camera modules with different focal lengths
WO2015058153A1 (en) Methods and apparatus for implementing and/or using a camera device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Photo lab Limited by Share Ltd

Address before: American California

Applicant before: LIGHTCO INC

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210301

Address after: Gyeonggi Do Korea Suwon

Patentee after: Samsung Electronics Co.,Ltd.

Address before: California, USA

Patentee before: Light Laboratory Co.,Ltd.