CN106415391A - 具有相邻视场的多相机阵列 - Google Patents

具有相邻视场的多相机阵列 Download PDF

Info

Publication number
CN106415391A
CN106415391A CN201580027188.1A CN201580027188A CN106415391A CN 106415391 A CN106415391 A CN 106415391A CN 201580027188 A CN201580027188 A CN 201580027188A CN 106415391 A CN106415391 A CN 106415391A
Authority
CN
China
Prior art keywords
image
camera
distortion
array
visual field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580027188.1A
Other languages
English (en)
Inventor
T·麦克米兰
S·坎贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
High Patrol Co
GoPro Inc
Original Assignee
High Patrol Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Patrol Co filed Critical High Patrol Co
Publication of CN106415391A publication Critical patent/CN106415391A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G06T3/18—
    • G06T3/14—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Abstract

多个相机以俯仰、滚动和偏航的方式布置在阵列中，其允许相机具有相邻视场，使得每个相机相对于阵列向内指向。可以调整多相机阵列中的每个相机的图像传感器的读取窗口以最小化相邻视场之间的重叠，以最大化视场的重叠部分内的相关，并且校正制造和组装容限。来自具有相邻视场的多相机阵列中的相机的图像可以使用低功率扭曲和裁剪技术来操纵，并且可以被拼接在一起以形成最终图像。

Description

具有相邻视场的多相机阵列
相关申请的交叉引用
本申请要求于2014年4月1日提交的美国临时申请号61/973,788、于2014年4月14日提交的美国临时申请号61/979,386、于2014年4月28日提交的美国临时申请号61/985,256、于2014年6月18日提交的美国实用申请号14/308,495、于2014年6月18日提交的美国实用申请号14/308,507以及于2014年6月18日提交的美国实用申请号14/308,501的权益，其全部内容通过引用并入本文。
背景技术
技术领域
本公开涉及一种相机阵列，并且更具体地，涉及使用相机阵列捕获图像的方法。
相关技术的描述
数字相机越来越多地用于户外和运动环境中。然而，如果相机笨重或者不能捕获所需的视场，则使用相机捕获户外和运动环境可能是困难的。用户对相机的体验会由相机笨重和有限的相机功能而减小。
附图说明
当结合附图时，所公开的实施例具有将从本发明的以下具体实施方式和所附的权利要求更容易明白的其它优点和特征，其中：
图(或“图”)1A图示了根据一个实施例的常规多相机系统。
图1B图示了根据本文中所描述的配置的一个实施例布置的2×1相机阵列。
图2图示了根据一个实施例的相机阵列中的相机的滚动、俯仰和偏航旋转。
图3图示了根据本文中所描述的配置的一个实施例布置的2×2相机阵列。
图4A图示了根据一个实施例的常规多部分相机框架。
图4B图示了根据一个实施例的单体相机框架。
图5图示了根据一个实施例的多相机阵列的框图。
图6图示了根据一个实施例的用于多相机阵列的同步接口的框图。
图7A图示了根据一个实施例的用于容限补偿的多相机阵列中的每个图像传感器的读取窗口调整。
图7B图示了根据一个实施例的多相机阵列的图像传感器捕获窗口内的未对准的读取窗口。
图7C图示了根据一个实施例的多相机阵列的图像传感器捕获窗口内的对准的读取窗口。
图7D图示了多相机阵列的图像传感器之间的最佳相关距离。
图8A至图8C图示了根据一个实施例的用于会聚点调整的多相机阵列中的每个图像传感器的读取窗口调整。
图9A图示了根据一个实施例的由2×2相机阵列中的相机捕获的一组图像。
图9B图示了根据一个实施例的基于重叠部分对准的图9A的图像。
图9C图示了根据一个实施例的被裁剪以移除不与对应的相邻图像水平或垂直对准的多余部分的图9B的对准图像。
图9D图示了根据一个实施例的被扭曲以基于对准来校正失真的图9C的裁剪图像。
图9E图示了根据一个实施例的被裁剪以移除多余部分和重叠部分的图9D的校正图像。
图10A图示了根据一个实施例的多相机阵列中的两个透镜模块之间的距离。
图10B图示了根据一个实施例的用于多相机阵列中的球形透镜。
图11A图示了根据一个实施例的被配置成以多个配置接收多相机阵列的相机本体。
图11B图示了根据一个实施例的用于以多个配置插入相机本体内的多相机阵列模块。
图12A图示了根据一个实施例的包括电池系统和相关联的电性接口的相机索带(strap)。
图12B图示了根据一个实施例的包括电池接口系统的相机索带。
图12C图示了根据一个实施例的图12A的相机索带。
图13图示了根据一个实施例的用于相机系统的抓握系统。
图14A图示了根据一个实施例的多相机阵列中的相邻透镜堆叠。
图14B图示了根据一个实施例的包括多相机阵列中的锥形透镜的相邻透镜堆叠。
具体实施方式
附图和以下描述仅通过说明涉及优选实施例。应当指出，从以下讨论中，本文中所公开的结构和方法的备选实施例将容易地被认为是可以在不背离所要求保护的原理的情况下采用的可行的备选方案。
现在将详细参照若干实施例，其示例在附图中图示。应当指出，在可行的情况下，在附图中可以使用类似或相似的附图标记，并且可以指示类似或相似的功能性。附图仅出于说明的目的描绘了所公开的系统(或方法)的实施例。本领域技术人员将从以下描述容易地认识到，在不背离本文中所描述的原理的情况下，可以采用本文中所图示的结构和方法的备选实施例。
示例2×1和2×2相机阵列配置
相机阵列配置包括多个相机，每个相机具有不同的视场。例如，相机阵列可以包括2×1相机阵列、2×2相机阵列、或相机的任何其它合适布置。每个相机可以具有被构造成至少部分地围合相机的相机外壳。可替代地，相机阵列可以包括被构造成围合多个相机的相机外壳。每个相机可以包括具有构造在相机本体的前表面上的相机透镜的相机本体、相机本体的表面前方的各种指示器(诸如LED、显示器等)、各种输入机构(诸如按钮、开关和触摸屏机构)、以及相机本体内部用于经由相机透镜捕获图像和/或执行其它功能的电子装置(例如，成像电子装置、功率电子装置等)。在另一实施例中，相机阵列包括各种指示器、各种输入机构和电子装置中的一些或全部，并且包括多个相机。相机外壳可以包括：透镜窗口，该透镜窗口被构造在相机外壳的前表面上并且被配置成基本上与多个相机的相机透镜对准；和一个或多个指示窗口，该指示窗口被构造在相机外壳的前表面上并且被配置成基本上与相机指示器对准。
图1A图示了根据一个实施例的常规多相机环境100。在本实施例中，常规相机环境100包括两个相机105A和105B。在该环境100中，相机105A用于捕获共享视图115的左侧(例如，视场108A)作为图像110A，并且相机105B用于捕获共享视图115的右侧(视场108B)作为图像110B。如共享视图115的阴影部分所图示的，左相机105A的视场108A的一部分和右相机105B的视场108B的一部分代表公共视场。公共视场包括立方体和球体。基于图像110A和110B的共享部分，图像110A和110B可以被拼接在一起以形成共享视图115的单个平面图像。
即使相机105A和105B具有部分公共视场，但是公共视场中的任何对象可能不在由左相机105A和右相机105B捕获的图像中对准。因此，如在左图像110A中所见，球体的一部分出现在立方体的左侧，并且在右图像110B中，球体的一部分出现在立方体的右侧。立方体和球体的这种偏移120是由于视差误差。视差误差是常规相机环境100固有的，因为相机之间的距离使得基于相机之间的距离，公共视场中的对象的位置相对于每个相机都不同。视差误差可以基于每个相机内的图像传感器的图像传感器窗口140的读取窗口130的位置而进一步加剧。例如，读取窗口130不一定以图像传感器窗口140为中心，因此可以导致相机105A和105B的有效距离更大。如图7和图8中进一步所描述的，读取窗口130在图像传感器窗口140内的位置是在图像传感器的制造期间可能出现的问题，并且可以针对各种目的而进行调节。
图1B图示了根据本文中所描述的配置的一个实施例布置的2×1相机阵列。在本实施例中，2×1相机阵列150包括两个相机105C和105D。在另一实施例中，如结合图3进一步所图示和描述的，两个2×1相机阵列150被组合以形成包括四个相机的2×2相机阵列150。在该阵列150中，相机105C捕获共享视图115的左侧(例如，视场108C)，并且相机105D捕获共享视图115的右侧(例如，视场108D)。然而，左相机105C捕获共享视图115的右侧的图像110C，并且右相机105D捕获共享视图的左侧的图像110D。如阵列150的阴影部分所图示的，左相机105C和右相机105D具有部分公共视场。然而，图1B中的部分公共视场具有与图1A中的部分公共视场不同的形状。由相机105C和105D共享的部分公共视场包括立方体和球体。基于图像110C和110D的共享部分，图像110C和110D可以被拼接在一起以形成共享视图115的单个成角度的图像。
通过将图像110C和110D拼接在一起而形成的成角度的图像不同于在图1A中通过将图像110A和110B拼接在一起而形成的平面图像。2×1相机阵列150在不平行的视场捕获图像(如同图1A中的阵列100的情况)，但是相反在相对于彼此成角度的视场捕获图像。成角度的图像是如结合图2和图3进一步描述的2×1相机阵列150中的相机的配置的结果。结合图9进一步描述对共享视图115的成角度的图像的校正以模拟利用平行视场捕获的图像。
与图1A中的环境100不同，相机在图1B的阵列150内的定位允许两个相机105C和105D共享另一相机的视场的一部分，同时最小化由相机105C和105D捕获的共享部分中的任何对象的视差误差。比如，左图像110C包括小于左图像110A的出现在立方体左侧上的球体的部分，并且右图像110D包括小于右图像110B的出现在立方体右侧上的球体的部分。例如，当捕获在2×1相机阵列150的3米内的对象时，左图像110C的偏移160可以是1-3个像素。2×1相机阵列150最小化相机105A和105B之间的距离，从而最小化视差误差。例如，相机105C和105D之间的距离(从每个相机透镜的中心测量的)可以在1mm和60mm之间。
应当指出，相机105C和105D的定向使得与相机105C和105D的每个相机透镜垂直的矢量在部分公共视场内相交。相反，尽管相机105A和105B具有部分公共视场，但是与相机105A和105B的每个相机透镜垂直的矢量在部分公共视场内不相交。在具有2×2相机阵列的实施例中，与阵列中的每个相机透镜垂直的矢量可以在所有相机公共的视场内相交。例如，对于任何两个相机，与两个相机的相机透镜垂直的矢量可以在所有四个相机公共的视场内相交。
图2图示了根据一个实施例的相机阵列中的相机的滚动、俯仰和偏航旋转。例如，当最小化相机阵列中的相机之间的距离时，相机可以在三个维度上旋转：滚动210、俯仰220和偏航230。通过在这三个维度上旋转相机以最小化相机的透镜与另一相机之间的距离，可以在倾斜、成角度或旋转的视场捕获由多个相机中的每个相机捕获的共享视图115。具有倾斜、成角度和旋转的视场的共享视图115的所捕获的图像可以使用如结合图9进一步所描述的图像处理来校正。
图2中所图示的相机105具有30°至50°范围内的滚动210旋转、60°至80°范围内的偏航230旋转、以及60°至80°范围内的俯仰220旋转。相机105的每次旋转的方向(即，滚动210、偏航230、俯仰220)取决于相机105在阵列中的位置。例如，如果相机105在相机阵列的左上方，则如图2所图示的，相机105可能具有负滚动旋转、负偏航旋转和负俯仰旋转，其中，方向分别对应于图2中所图示的箭头。如果相机105在相机阵列的右上方，则相机105可能具有正滚动旋转、正偏航旋转和负俯仰旋转。如果相机105在相机阵列的左下方，则相机105将具有正滚动旋转、负偏航旋转和正俯仰旋转。如果相机105在相机阵列的右下方，则相机105可能具有正滚动旋转、正偏航旋转和正俯仰旋转。如结合图4所进一步描述的，旋转210，220和230的方向也可以基于相机105的形状。然而，一般来说，如结合图3进一步所描述的，确定旋转210，220和230的方向以使阵列的透镜之间的距离最小化到例如1mm至5mm的范围。应当指出，在其它实施例中，每个相机105可以以与本文中所描述的不同的滚动、偏航和俯仰来定向。
图3图示了根据本文中所描述的配置的一个实施例布置的2×2相机阵列。2×2相机阵列300包括四个相机105A，105B，105C和105D。每个相机具有滚动旋转、俯仰旋转和偏航旋转，旋转使透镜的中心之间的距离310(如虚线320所指示的)最小化到例如1mm至10mm的范围内。所图示的2×2相机阵列300中的相机105A-D各自都捕获2×2相机阵列300的共享视图的成角度的图像。换句话说，每个相机捕获对应视场的图像，并且相机的对应的视场重叠但不平行。相机105A捕获共享视图的左下部分，相机105B捕获共享视图的右下部分，相机105C捕获共享视图的左上部分，相机105D捕获共享视图的右上部分。如本文中所使用的，“共享视图”是指2×2相机阵列300的相机105A-D的对应视场中的每个视场。
相机阵列300可以适于至少部分地由保护性相机外壳(图3的实施例中未示出)围合。在一个实施例中，相机阵列300和/或阵列300的外壳具有小的形状因数(例如，高度大约为1厘米至6厘米、宽度大约为1厘米至6厘米，以及深度大约为1厘米至2厘米)，并且重量轻(例如，大约50克至150克)。外壳和/或相机本体可以是刚性的(或基本上是刚性的)(例如，塑料、金属、玻璃纤维等)或柔韧的(或基本上是柔韧的)(例如，皮革、乙烯基、氯丁橡胶等)。在一个实施例中，外壳和/或阵列可以被适当地配置成用于各种元件。例如，外壳可以包括防水围合件，其在例如冲浪或水肺潜水(scuba diving)时使用时保护相机阵列300免受水的影响。在一些实施例中，诸如下文所描述的那些实施例，相机阵列300可以紧固在保护性多相机阵列模块内，该保护性多相机阵列模块又可以以一个或多个方位而紧固在相机本体内。
外壳和/或阵列的部分可以包括暴露区域，以允许用户操纵与相机阵列300功能性相关联的按钮。可替代地，这些区域可以用柔韧材料覆盖，以允许用户通过外壳操纵按钮。例如，在一个实施例中，外壳的顶面包括外部快门按钮，该外部快门按钮被构造成以使当相机阵列300被紧固在外壳内时，相机阵列300的快门按钮基本上与外部快门按钮对准。相机阵列300的快门按钮可操作地联接至外部快门按钮，以使按下外部快门按钮会允许用户操作相机快门按钮。
在一个实施例中，外壳的前面包括一个或多个透镜窗口，其被构造成以使当相机阵列300被紧固在外壳内时，相机阵列300中的相机的透镜基本上与透镜窗口对准。透镜窗口可以适于与常规透镜、广角透镜、平面透镜、或任何其它专用相机透镜一起使用。在该实施例中，透镜窗口包括防水密封件，以便维持外壳的防水方面。
在一个实施例中，外壳和/或阵列包括一个或多个紧固结构，用于将外壳和/或阵列紧固到多种安装设备中的一个上。例如，各种安装件包括夹式安装件、或经由不同类型的联接机构的不同类型的安装结构。
在一个实施例中，外壳包括指示器窗口，其被构造成以使当相机阵列300被紧固在外壳内时，一个或多个相机阵列指示器基本上与指示器窗口对准。指示器窗口可以是任何形状或尺寸，并且可以由与外壳的其余部分相同的材料制成，或者可以由任何其它材料制成，比如透明或半透明材料和/或非反射材料。
根据一个示例性实施例，外壳可以包括第一外壳部分和第二外壳部分。第二外壳部分与第一外壳部分可拆卸地联接，与第一外壳部分的前表面相对。第一外壳部分和第二外壳部分共同被构造成在第二外壳部分在闭合位置中紧固到第一外壳部分时形成的腔室内围合相机阵列300。
相机阵列300被配置成捕获图像和视频，并且存储所捕获的图像和视频以用于后续显示或回放。相机阵列300适于安装在外壳内(诸如上文所讨论的外壳或任何其它合适的外壳)。阵列300中的每个相机105A-D可以是可互换的相机模块。如所图示的，相机阵列300包括多个透镜，其被配置成接收入射在透镜上的光并且将接收到的光引导到透镜内部的图像传感器上。
相机阵列300可以包括各种指示器，包括LED灯和LED显示器。相机阵列300还可以包括按钮，其被配置成允许相机阵列300的用户与相机阵列300交互、打开相机阵列300、并且以其它方式配置相机阵列300的操作模式。相机阵列300还可以包括麦克风，其被配置成结合记录视频来接收和记录音频信号。相机阵列300可以包括I/O接口。I/O接口可以由保护门来围合、和/或可以包括任何类型或数目的I/O端口或机构，诸如USC端口、HDMI端口、存储卡插槽等。
相机阵列300还可以包括覆盖可移除电池和电池接口的门。相机阵列300还可以包括被配置成接收可移除扩展包的扩展包接口，诸如显示模块、额外的电池模块、无线模块等。可移除扩展包当联接至相机阵列300时经由扩展包接口而向相机阵列300提供附加功能性。
图4A和图4B分别图示了根据一个实施例的常规多部分相机框架405A和单体相机框架405B。常规多部分相机框架405A包括多个透镜410、图像传感器415和自动聚焦线圈420。为了围合所有的部件410、415和420，框架405A具有如图4A所图示的正方形轮廓。常规多部分相机框架405A限制两个相邻的多部分相机框架405A的透镜中心的接近度。
单体相机框架405B可以用于改善相邻相机框架的透镜中心的接近度。单体相机框架405B(在本文中还被称为“透镜堆叠”)包括多个透镜410和图像传感器415，但是不包括自动聚焦线圈420。另外，单体相机框架405B是单个模具，其将框架405B内的部件410和415保持在由模具设定的固定位置，并且使框架405B内的多余空间最小化。框架405B的横截面是梯形形状，从而允许相邻相机被配置成使得相机的透镜的中心之间的接近度减少。在一些实施例中，对于直径大约为1mm的透镜，相邻相机的透镜的中心之间的距离为1mm或更小。
相机阵列框图
图5图示了根据一个实施例的多相机阵列的框图。阵列300包括例如图3的相机105A，105B，105C和105D的四个相机500A，500B，500C和500D，并且每个相机包括图像传感器510、传感器控制器515、处理器520和存储器525。在另一实施例中，四个相机500A，500B，500C和500D可以具有共享公共处理器520和存储器525的图像传感器。同步接口505使四个相机500A，500B，500C和500D同步以同步捕获图像。在各种实施例中，相机500A，500B，500C和500D可以包括用于各种应用的附加的、更少的或不同的组件。如本文中所使用的，图像的同步捕获是指在基本上相同的时间时或在阈值时间段内由两个或更多个相机来捕获图像。
图像传感器510是能够电子捕获入射在图像传感器510上的光的设备。在一个实施例中，使用CMOS传感器，包括晶体管、光电二极管、放大器、模数转换器和电源。在一个实施例中，图像传感器510具有滚动快门功能性，并且可以在稍微不同的时间时捕获入射到图像传感器的不同部分上的光。可替代地，图像传感器510可以是被配置成基本上同时捕获图像的部分的CCD传感器。在一个实施例中，图像传感器510具有可调整的读取窗口130。可调整的读取窗口130可以修改图像传感器的暴露于光并且被读取以捕获图像的部分，或者可以修改被读出以捕获图像的图像传感器的完全暴露于光的部分。通过调整读取窗口130，相机500A可以相对于图像捕获开始的时间修改捕获图像的一部分的时间。例如，通过沿滚动快门方向来移位读取窗口130，图像传感器比如果读取窗口130没有在滚动快门方向上移位更早地捕获读取窗口130中的图像的部分。附加地，如结合图7和图8进一步所描述的，调整读取窗口130可以用于解决相机500A的固有容限问题，并且调整相机阵列的会聚点。
处理器520是执行存储在存储器525中的计算机可读指令的一个或多个硬件设备(例如，中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)等)。处理器520基于所执行的指令来控制相机的其它部件。例如，处理器520可以向图像传感器510发送电子控制信号、或者使用同步接口505将数据发送到相机500B，500C和500D。
存储器525是可以由处理器520读取的非暂态存储介质。存储器525可以包含易失性存储器(例如，随机存取存储器(RAM))、非易失性存储器(例如，闪存、硬盘等)或其组合。存储器525可以存储由图像传感器510捕获的图像数据和要由处理器520执行的计算机可读指令。
传感器控制器515控制图像传感器510的操作和相机500A的其它功能。传感器控制器515可以包括物理和/或电子输入设备，诸如开始记录视频和/或捕获静止图像的外部按钮、具有点击对焦能力的触摸屏、以及用于导航相机500A的菜单层次的拨号/按钮组合。另外，传感器控制器15可以包括远程用户输入设备，诸如与相机500A-D无线通信的远程控件。图像传感器510可以独立于传感器控制器515而起作用。例如，主从配对中的从相机可以从主相机接收信号，以通过同步接口505来捕获图像。
同步接口505向相机500A，500B，500C和500D或外部计算系统发送数据，并且从相机500A，500B，500C和500D或外部计算系统接收数据。特别地，同步接口505可以向相机500A，500B，500C和500D发送命令或从相机500A，500B，500C和500D接收命令，以用于同时捕获图像和/或校准与相机500A，500B，500C和500D的同步(例如，发送或接收同步脉冲)。在图5的所图示的实施例中，存在控制相机500A，500B，500C和500D的一个同步接口505。在另一实施例中，可以有控制相机500A-D的多个同步接口505，比如每个相机一个同步接口505。
图6图示了根据一个实施例的用于多相机阵列的同步接口的框图。同步接口505包括图像存储装置605、同步存储装置610、捕获控制器615、像素移位确定模块620、时滞确定模块625和图像捕获模块630。备选实施例可以具有被配置成执行类似功能性的一个或多个附加的、省略的或备选的模块。应当指出，在其它实施例中，本文中所描述的模块可以以硬件，固件，或硬件、固件和软件的组合来实现。另外，在一些实施例中，多个相机中的第一相机包括图6中所图示的部件，而多个相机中的其它相机不一定包括图6的部件，而是仅响应于来自第一相机的信号而同步地捕获图像。如本文中所使用的，“多个图像”是指由多个相机同步捕获的多个图像，每个相机捕获与两个相邻相机共享的视场的一部分。可替代地或附加地，外部计算设备处理由相机阵列捕获的图像数据。
图像存储装置605被配置成存储由多个相机中的每个相机(诸如图5的相机500A-D)同步捕获的多个图像。同步存储装置610被配置成存储所接收的相机同步数据。同步数据的示例包括由于网络滞后或内部部件滞后(例如，来自同步接口505、处理器520、传感器控制器515等的滞后)的相机之间的时滞。同步存储装置610被配置成存储校准设置，诸如读取窗口移位信息和用于启动图像捕获的校准时间滞后，以用于基于例如相机同步数据来校准相机阵列中的相机。
捕获控制器615控制图像传感器510的图像捕获。在一个实施例中，捕获控制器615应用校准校正以使图像捕获与一个或多个附加相机同步，比如基于存储在同步存储装置610中的同步或校准数据。校准校正可以包括由像素移位确定模块620确定的读取窗口移位确定数目个像素。可替代地或附加地，校准校正可以包括如由时滞确定模块625确定的阵列中的相机中的一个相机在开始图像捕获之前相对于阵列的其它相机延迟的时滞。
像素移位确定模块620标识由第一相机500A捕获的图像、由第二相机500B捕获的图像、由第三相机500C捕获的图像、以及由第四相机500D捕获的图像之间的像素移位。该像素移位指示相机500的图像传感器之间的空间未对准度。在一个实施例中，像素移位确定模块620确定由于沿着滚动快门方向的图像传感器之间的未对准而导致的滚动快门方向上的像素移位。捕获控制器615可以使用所确定的像素移位来校正图像传感器之间的未对准度。
时滞确定模块625确定捕获第一相机500A的图像行、第二相机500B的对应的图像行、第三相机500C的对应的图像行、以及第四相机500D的对应的图像行之间的时滞。时滞确定模块625可以基于从像素移位确定模块620接收的像素移位来确定时滞。使用所确定的时滞tlag，捕获控制器615通过相对于多个相机中的第二，第三和第四相机延迟多个相机中的第一相机的图像捕获该时滞来同步多个相机。在一个实施例中，图像传感器具有相关联的行时间trow，其代表在暴露第一像素行和第二后续像素行之间经过的时间。如果确定由多个相机拍摄的图像具有n个像素的像素移位，则可以使用以下等式来确定校正像素移位所需的时滞tlag：
tlag＝trow×n
在一个实施例中，校准多个相机中的相机之间的图像捕获涉及利用多个相机同步捕获图像，确定所捕获的图像之间的像素移位，以及迭代地应用所确定的校正，直到所确定的像素移位小于预先确定的像素移位阈值。当相机通电或配对时、当制造相机时、当组装相机阵列时、或响应于相机阵列的用户手动启动校准过程时，可以启动校准过程。主相机系统可以在自先前校准以来经过大于或等于预先确定的阈值的时间量之后启动校准过程。在具有附加相机的实施例中，响应于主相机的校准，可以在其它相机之间执行附加校准。
图像捕获模块630处理所捕获的图像。在本文中未进一步描述的备选实施例中，所捕获的图像在同步接口505外部处理，比如通过相机阵列外部的系统来处理。图像捕获模块630包括容限校正模块632、会聚调整模块634和图像处理模块636。备选实施例可以具有被配置成执行类似功能性的一个或多个附加的、省略的或备选的模块。
容限校正模块632移位多个相机500的读取窗口以校正多个相机中的每个相机中的容限。例如，由于相机的制造差异和产品容限，每个相机在读取窗口位置上可能具有微小差异。另外，多个相机的图像传感器可以具有变化的读取窗口位置。从相机到相机的这些变化可能是由于每个相机内的图像传感器的位置和定向之间的差异。例如，如果图像传感器是互补金属氧化物半导体(CMOS)传感器，则每个CMOS传感器的读取窗口的位置可以由于在每个CMOS传感器中使用的像素传感器的灵敏度而移位。如图7A中的相机阵列700中的相机的视场所示，相机阵列中的相机的CMOS传感器中的所移位的读取窗口位置可以移位相机的视场。这可以导致移位的共享视场(例如，阴影部分与相机阵列700中的相机的视场不对准)。例如，容限校正模块632可以基于读取窗口中的像素传感器的输出来识别读取窗口位置的移位。可以比较第一相机的第一区域和第二相机的第二区域中的图像传感器的输出，其中，第一区域和第二区域重叠，并且可以基于该比较来移位第一相机、第二相机或两者的图像传感器的读取窗口的位置。比如，在比较重叠的图像传感器区域时，如果确定区域中的第一区域从区域中的第二区域偏移了确定数目个像素，则第一区域或第二区域可以移位若干个像素(比如通过调整图像传感器上的读取窗口的位置若干个像素)来对准这些区域。下文结合图7进一步描述校正相机500的容限的过程。
会聚调整模块634可以基于由相机阵列捕获的图像数据来动态地调整图像传感器中的读取窗口。例如，如果相机阵列正在捕获前景中的对象的图像，则可以将相机阵列中的多个相机的会聚点调整得更接近相机阵列，并且如果在背景中捕获对象，则可以将相机阵列中的多个相机的会聚点调整得远离相机阵列。在另一示例中，如果相机阵列的视场中的对象的深度超过阈值距离，则仅通过会聚调整模块634来调整相机阵列的会聚点。会聚调整可以由相机阵列的用户手动完成，或者由会聚调整模块634基于图像处理算法自动完成，该图像处理算法测量相机阵列的视场中的对象的深度。结合图8进一步描述调整多个相机500的会聚的过程。
图像处理模块636调整由相机阵列捕获的图像以补偿相机阵列的相机的成角度的视场。使用例如扭曲、变换、裁剪或任何其它合适的图像增强、恢复和/或压缩技术来调整图像。可以单独地调整图像中的一个或多个图像，或者可以基本上同步地或顺序地调整所有图像。例如，在对图像进行拼接以产生模拟平面图像之前和期间，如下文结合图9进一步所描述的。
读取窗口调整
图7A图示了根据一个实施例的用于容限补偿的多相机阵列中的每个图像传感器的读取窗口调整。例如，图示了在与代表相机阵列700中的相机的公共视场的线未对准的阴影区域中图示的未完全对准的2×1相机阵列700。相机705A和705B的视场中的每个视场的一部分是两个视场共有的，并且包括立方体。然而，由相机705A和705B分别捕获的图像710A和710B图示了立方体未在相机705中的图像传感器的读取窗口的x轴或y轴上对准。
在所图示的示例中，图像710A和710B分别在(x，y)坐标(3,4)和(12,6)处显示立方体的角，其中，读取窗口的高度为12像素和20个像素，并且立方体的宽度为3个像素。因此，立方体在读取窗口内具有不同的高度，并且在读取窗口内沿着x轴具有不同的位置。多个相机705A和705B中的每个相机的图像传感器的读取窗口可以被调整以在y轴上的相同高度处显示立方体的中心，并且在x轴上显示距离相应的边缘的距离。图像710C和710D图示了分别示出了在(4，5)和(13，5)处显示的立方体的角的经调整的读取窗口(与图像边缘相同的高度和距离)。立方体的检测可以是基于对象检测算法的或由相机阵列700的用户和用户的输入辅助的自动过程。
图7B图示了根据另一实施例的多相机阵列的图像传感器窗口140内的未对准的读取窗口130。利用多相机阵列中的未对准的读取窗口130所捕获的图像在所捕获的图像的重叠部分内可以具有显着的解相关。如下文进一步所描述的，将多相机阵列的图像传感器捕获窗口140内的读取窗口130对准可以增加所捕获的图像的重叠部分之间的相关，从而有益地提高将相邻图像拼合在一起时的性能。
为了在多个相机阵列内对准读取窗口130，可以标识感兴趣对象。比如，如果多相机阵列用于捕获花园的一组图像(每个相机一个图像)，则可以选择图像内的花园花朵。确定代表所捕获的图像组的重叠部分内的解相关量的一组相关系数。可以对该组相关系数进行加权，使得与所标识的感兴趣对象相关联的相关系数比其它相关系数被更重地加权。在一些实施例中，与代表图像组中的图像中的每个图像之间的重叠的中心区域相关联的相关系数被更重地加权。在一些实施例中，相关系数越远离感兴趣对象或中心区域，其加权越小。
读取窗口130(诸如图7B的读取窗口A，B，C和D)被调整(在图像传感器捕获窗口140内移动)，使得加权的该组相关系数最低。换句话说，读取窗口130重新定位在图像传感器捕获窗口140内，针对使用多相机阵列的经调整的读取窗口130捕获的一组图像确定一组相关系数，并且如果所得加权的该组相关系数代表较少的解相关，则在先前读取窗口130上选择经调整的读取窗口130。在一些实施例中，可以使用描述相关系数和读取窗口位置/调整之间的关系的查找表或函数来调整读取窗口130。在一些实施例中，代替使用一组相关系数，可以使用重叠读取窗口部分内的其它相关表示，使得可以响应于如本文中所描述的读取窗口的迭代调整来确定最小熵或近最小熵。
该过程可以重复若干次，比如直到所捕获的图像代表低于阈值水平的解相关。图7C图示了根据一个实施例的多相机阵列的图像传感器捕获窗口140内的对准读取窗口130A'，B'，C'和D'。在一些实施例中，读取窗口130被调整，直到多相机阵列中的每个透镜的视线会聚在被确定成以产生所捕获的图像组之间的最佳相关水平的距离d处。图7D图示了多相机阵列700的图像传感器之间的最佳相关距离。
图8A至图8C图示了根据一个实施例的用于会聚点调整的多相机阵列中的每个图像传感器的读取窗口调整。图8A至图8C中图示了相机阵列800中的图像传感器窗口140的多个读取窗口130和基于读取窗口的移位的距离825的对应的会聚点820。如图8A所图示的，相机阵列800包括捕获共享视图115的右侧的图像810A和共享视图115的左侧的图像810B的左相机805A和右相机805B。如垂直虚线815所示，相机805之间的大致中心815产生所捕获的图像810A和810B的共享视场的一部分的大致中心。所捕获的图像810A和810B都捕获由两个相机805A和805B在共享视图115内看到的立方体。
当捕获共享视图115时，相机805A和805B的透镜的中心之间的距离影响相机805A和805B的透镜的会聚点820。如图8A至图8C所图示的，可以通过移位相机805A和805B内的图像传感器窗口140的读取窗口130来增加和减少透镜的中心之间的距离。因此，读取窗口130中的相机805A和805B之间的共享视场的部分的距离825A影响相机805A和805B的透镜的中心之间的距离，并且在820A处产生会聚点。
例如，当距离825增加时，如图8B中的距离825B所看到的，因为读取窗口之间的距离减小，所以相机805A和805B的透镜的中心之间的距离减小，并且在对象后面的820B处产生更远离相机阵列800的会聚点。因为读取窗口之间的距离增加，所以当距离825减小时，如图8C中的距离825C所看到的，相机805A和805B的透镜的中心之间的距离增加，并且在对象前面的820C处产生更接近相机阵列800的会聚点。
在各种实施例中，读取窗口之间的距离可以从移位相机805A和805B的图像传感器的读取窗口中的一个或两个读取窗口而增加或减少。读取窗口的移位可以使用相机阵列800基于对象检测算法或通过用户的手动输入来自动进行。例如，用户可以输入设置或模式(例如，风景、肖像、近摄、运动、夜晚、电影)，并且基于输入，读取窗口被移位以更好地捕获该类型的模式的图像。
图像处理和拼接
图9A图示了根据一个实施例的由2×2相机阵列中的相机捕获的一组图像。例如，图3的相机阵列300共同捕获共享视图115，相机105A捕获图像910C，相机105B捕获图像910D，相机105C捕获图像910A，并且相机105D捕获图像910B。为了讨论的目的，将在由相机105C捕获的图像910A的情景中讨论本文中所讨论的图像处理步骤。然而，图像处理步骤也以与其它图像910B，910C和910D相同的顺序来执行。在另一实施例中，应用于图像的图像处理步骤可以不同于本文中所描述的图像处理步骤，或者可以以不同的顺序对其它图像910B，910C和910D执行。
由相机阵列捕获的图像可以基于相机阵列中的相机或相机阵列中的相机的位置(例如，滚动、俯仰、偏航等)在失真和扭曲方面变化。因此，如在图像910A中所看到的，如果相机是鱼眼相机，则所捕获的图像910A具有鱼眼失真。另外，因为每个图像在不同的成角度的视场被捕获，所以图像910A的共享视场的部分以与相邻图像910B和910C不同的定向成角度。由于图像910A，910B，910C和910D具有共享视图并且每个图像与相邻图像共享共享视场920的一部分，所以公共对象(诸如对象930)在共享视图920的部分中是可见的。例如，910A和910B之间的公共对象930AB位于共享视场920AB的部分中，910A和910C之间的公共对象930AC位于共享视场920AC的部分中，910B和910D之间的公共对象930BD位于共享视场920BD的部分中，并且910C和910D之间的公共对象930CD处于共享视场920CD的部分中。因此，每个图像具有代表与水平相邻图像的对应部分的重叠视场的第一部分、以及代表与垂直相邻图像的对应部分的重叠视场的第二部分。在所示的示例中，由于鱼眼失真，每个公共对象930在每个相邻图像中被不同地扭曲。
图9B图示了根据一个实施例的基于重叠部分而对准的图9A的所捕获的图像。根据之前的示例，公共对象930被假定为垂直直线和水平直线，但是由于鱼眼失真而被扭曲。因此，如图9B所图示的，由于公共对象930被假定为是直的，或者一般来说，由于公共对象930的形状是已知的，因此，可以处理图9A(图像910A周围的虚线所图示的)的所捕获的图像，以使公共对象930在相邻图像之间对准(换句话说，以使公共对象930在相邻图像之间具有正确的定向和形状)。可以通过以下来执行对准：扭曲函数、或以产生公共对象930在相邻图像之间的形状和定向上对准的方式来拉伸图像的任何其它合适图像处理算法。在一个实施例中，扭曲仅拉直公共对象930或校正公共对象930和公共对象930附近的区域的失真，同时使更远离共同对象的外边缘处于其失真状态。在这里所示的实施例中，不局部地执行扭曲而是在整个图像910上执行扭曲，从而产生公共对象930的校正和图像910的外边缘的扭曲。
图9C图示了根据一个实施例的被裁剪成不与对应的相邻图像水平或垂直对准的多余部分的图9B的对准图像。在四个图像910A，910B，910C和910D的外边缘处沿着图像的x轴和y轴裁剪(以图像910A周围的虚线图示的)对准图像(诸如图像910A)，从而产生具有至少2个直边的裁剪图像(如图9C中的每个图像中所图示的)。换句话说，对于每个图像，裁剪与图像的代表与相邻图像共享的视场的图像的部分水平和垂直对准的图像的部分。
图9D图示了根据一个实施例的被扭曲成基于对准来校正失真的图9C的裁剪图像。例如，当对准的图像被扭曲以拉直公共对象930时，对准的图像的外边缘也被扭曲。这里，用于校正失真的扭曲的幅度基于该部分到图像的第一部分和图像的第二部分的距离，其中，代表与相邻图像共享的视场的图像的第一部分和代表与相邻图像共享的视场的图像的第二部分的第二扭曲的幅度基本上为0。在其中只有公共对象930附近的区域被扭曲的实施例中，不需要校正图9C的裁剪图像的失真。
一般来说，所校正的失真是由来自图9A至图9B的对准步骤引起的失真。因此，如果在对准之后没有校正失真，则不需要该步骤。然而，在所图示的示例之后，对准图像的外边缘在对准期间扭曲，因此，这里使用扭曲技术和其它变换来校正外边缘的失真。一般来说，这里可以执行用来执行失真校正的功能的任何图像处理算法。然而，这里执行的图像处理算法可以不影响公共对象930。在该示例中，公共对象930是线，因此，这里执行的用于校正失真的图像处理算法不会扭曲公共对象930，并且在对图像910进行失真校正之后，公共对象930在形状上仍然是线性的。
图9E图示了根据一个实施例的被裁剪以移除多余部分和重叠部分的图9D的校正图像。移除图像910的外边缘上的多余部分以及共享视场的重叠部分。然后，通过将每个裁剪图像拼接为水平相邻的裁剪图像和垂直相邻的裁剪图像来生成由相机阵列捕获的共享视图的最终图像。在其它实施例中，基本上减少图9D的校正图像的重叠部分，并且每个图像与每个对应的水平和垂直相邻的裁剪图像级联。附加实施例
图10A图示了根据一个实施例的多相机阵列中的两个透镜模块之间的距离。透镜模块1000A和1000B在透镜的中心之间具有一定距离D。透镜之间的距离产生视差误差，当将在多个相机阵列中捕获的图像拼接在一起时，必须校正该视差误差。即使当透镜模块非常接近地被放置，比如5mm或更小时，也引入视差误差。
为了帮助减少或消除视差误差，单个透镜可以用于多相机阵列中的多个相机。在一些实施例中，公共透镜是球形透镜。图10B图示了根据一个实施例的用于多相机阵列中的球形透镜。球形透镜1002用于透镜模块1000A和1000B两者。应当指出，尽管在图10B的实施例中仅图示了两个透镜，但是公共透镜(诸如球形透镜1002)可以用于多相机阵列中的任何或所有相机，诸如2×2相机阵列中的所有4个相机。
通过球形透镜1002的和到每个透镜模块1000上的光的光路在球形透镜1002内相交。因此，透镜中心之间的距离D减少到零，从而有效地消除视差误差。应当指出，在一些实施例中，球形透镜1002对使用球形透镜1002捕获的图像引入失真；在这样的实施例中，在将图像拼接在一起之前，可以将附加扭曲函数应用于使用球形透镜1002捕获的每个图像，以减少由球形透镜1002引入的失真的影响。
图11A图示了根据一个实施例的被配置成以多个配置接收并且紧固多相机阵列模块1110的相机本体1100。相机本体1100可以包括被配置成向相机本体1100的用户提供相机接口的相机电路、接口等(未示出)。相机本体1100包括腔室1105，比如在相机本体1100的前表面上，其被配置成以多个配置中的任何配置来接收多相机阵列模块1110。
图11B图示了根据一个实施例的用于以多种配置而插入相机本体1100内的多相机阵列模块1110。多相机阵列模块1110(例如，2×2相机阵列)包括联接在一起以形成基本上矩形形状的4个相机1115A-D，其中两个突起沿着多相机模块1110的两个相邻边的中点而延伸远离相机阵列模块1110。在其它实施例中，相机阵列模块1110可以是具有类似突起的大致圆形形状。相机本体1100的腔室1105可以包括被布置成以任何数目个配置来容纳多相机阵列模块1110的突起的相互腔室。在另一实施例中，相机阵列模块1110可以包括其中突起所在的柔性材料，并且相机本体的腔室1105可以包括突起而不是相互腔室。因此，腔室1105的突起可以卡扣到相机阵列模块1110中存在的柔性材料中。
在图11A的实施例中，相机机身1100的前面内的腔室1105可以在图11B中所图示的位置接收多相机模块1110，并且可以进一步在顺时针旋转90度的位置中接收多相机阵列模块1110。这种配置有利地允许用户在相机本体1100的第一定向上捕获图像，并且在第二定向上移除多相机阵列模块1110、旋转多相机阵列模块1110和将多相机阵列模块1110重新插入到相机本体1100中。在备选实施例中，相机本体1100可以在相机本体1100中的同时而被旋转。例如，腔室1105可以包括沿着腔室1105的边缘在相机本体1100的内部刻出的相互腔室路径。然后，当相机阵列模块1110插入腔室1105中时，可以当模块1110的突起与相机本体1100内部的相互腔室路径对准时而旋转相机阵列模块1110。尽管图11A和图11B图示了特定的实施例，但是在实践中，可以根据本文中所描述的原理使用相机本体1100的相互腔室1105和多相机阵列模块1110的任何配置。
图12A图示了根据一个实施例的包括电池系统和相关联的电性接口的相机索带1200。在图12A的实施例中，相机索带1200包括电性联接到并且被配置成向通过索带1200内的索带接线1205联接到索带的相机系统提供电力的一个或多个电池(例如，1210A，1210B，1210C和1210D)。例如，相机索带1200可以包括电池接口1215A，1215B和1215C，如图12B所示，每个电池接口1215A，1215B和1215C可以接收电池1210，并且通过接线1205将电池1210与其它电池1200电性联接。
图12B图示了根据一个实施例的图12A的相机索带1200。索带1200包括多个层：两个外部保护层1200A和1200D，被配置成向电池提供电力的电池层1200B，以及包括被配置成执行各种功能的一个或多个电路(未示出，诸如被配置成标识由电池存储的电量、相机可用的电量等的电路)的电路层1200C。相机索带1200可以通过与接线1205或与电池接口1215对准的连接接口而联接到相机阵列。换句话说，相机索带可以将相机或多相机阵列紧固到用户，并且电池1210可以经由接线1205向安全相机或多个相机阵列提供电力。
图13图示了根据一个实施例的用于相机系统的抓握系统。相机系统的后视图1300A图示了相机的后部。俯视图1300B图示了相机系统的顶部的一侧上的抓握图案。图13的实施例中图示的抓握图案包括在相机系统的用户预期的抓握滑动的方向上与本体成钝角关系的非对称的锯齿抓握/摩擦突起。在一些实施例中，抓握图案的深度可以小于0.5mm，并且相距在0.25mm之内。前视图1300C图示了相机的前部的一侧上的两个抓握区域。每个握持区域包括锯齿突起，该锯齿突起在不同方向上成角度的并且延伸各种长度越过相机系统的前部。锯齿突起的不同角度在预期抓握滑动中占据不同方向；比如，顶部抓握区域可以是成角度的以适应由食指的前部引起的抓握滑动，并且底部抓握区域可以是成角度的以适应由中指的侧面引起的抓握滑动。底视图1300D图示了相机系统的底部的一侧上的抓握图案，并且侧视图1300E图示了相机系统的侧部的一部分上的抓握图案。图13的实施例中图示的抓握系统13有利地增加了用户抓握相机的能力，比如在诸如在寒冷和潮湿条件下的相机操作之类的恶劣条件下。相机系统上的抓握图案的位置还有利地将用户的手引导到相机的不与相机按钮、接口等干扰并且不模糊相机透镜的部分。
图14A图示了根据一个实施例的多相机阵列中的相邻透镜堆叠。每个透镜堆叠(透镜堆叠1400A和透镜堆叠1400B)包括包含一个或多个透镜1404的堆叠外壳1402。每个堆叠外壳1402被成形成使得外壳的壁或外表面从每个透镜堆叠1400的后部会聚到前部。例如，堆叠外壳1402的外层可以距离包括透镜1404的内部部件小于5mm。因此，每个透镜堆叠1400中的透镜1404从每个透镜堆叠1400的后部到前部的直径逐渐变小。图14A的实施例中的每个透镜1404可以是圆盘透镜、平面透镜等。应当指出，尽管某些透镜在本文中被称为“圆盘透镜”或“平面透镜”，但是应当指出，在实践中，这些透镜可以具有弯曲的前面和/或后面，但是这些透镜的直径通常大于这些透镜的前后厚度。使用透镜堆叠1400A和1400B捕获的图像之间的视差误差取决于透镜堆叠1400A和1400B的每个最向前的透镜的中心之间的距离Δ。当距离Δ减小时，由透镜堆叠1400A和1400B捕获的图像中的视差误差会减小。
图14B图示了根据一个实施例的包括多相机阵列中的锥形透镜1414的相邻透镜堆叠1410。每个透镜堆叠1410A和1410B包括多个透镜：一个或多个圆盘透镜1412、以及一个最向前的锥形透镜1414。如本文中所使用的，锥形透镜1414是指具有圆形横截面和可变直径的透镜，使得锥形透镜1414的后部(面向透镜堆叠的后侧的边)的横截面的直径大于透镜的前部的横截面的直径(面向透镜堆叠的前侧的边)。应当指出，尽管图14B的锥形透镜1414被示出为具有弯曲的前面和后面，但是在实践中，这些面可以是平坦的，或者可以被弯曲到比如图14B所示的更小的程度。
在图14B的多相机阵列中的透镜堆叠1410中使用锥形透镜1414作为最向前的透镜会允许每个透镜堆叠1410的外壳1402与图14A的透镜堆叠1400相比更向前延伸。这又减少了最向前的透镜的中心之间的距离Δ，其又减少了由多相机阵列捕获的图像中的视差误差。应当指出，尽管在图14B的实施例中仅图示了两个透镜堆叠1410，但是在实践中，多相机阵列可以包括任何数目个透镜堆叠，每个透镜堆叠包括作为透镜堆叠内的最向前的透镜的锥形透镜。
应当指出，本文中所描述的多相机阵列可以被配置成联接到并且用作被配置成与多相机阵列设备进行无线通信的任何设备的遥控器。比如，多相机阵列可以被配置成用作另一相机、音乐/视频回放设备、存储设备、无线通信设备、遥测监控设备、日历控制或显示设备、幻灯片放映控制设备或任何其它无线设备的遥控器。
其它配置注意事项
在本说明书中，一些实施例已经使用表达“联接”及其派生词。如本文中所使用的术语“联接”不必限于直接物理或电接触的两个或更多个元件。相反，术语“联接”还可以涵盖两个或更多个元件彼此不直接接触，但是仍然彼此协作或相互作用，或者被构造成在元件之间提供热传导路径。
同样地，如本文中所使用的，术语“包括(comprises)”、“包括(comprising)”、“包含(includes)”、“包含(including)”、“具有(has)”、“具有(having)”或其任何其它变体旨在覆盖非排他性的包含。例如，包括元件列表的过程、方法、物品或装置不一定仅限于那些元件，而是可以包括未明确列出的或这些过程、方法、物品或装置所固有的其它元件。
另外，使用“一”或“一个”来描述本文中的实施例的元件和部件。这仅仅是为了方便和给出本发明的一般意义。该描述应该被理解为包括一个或至少一个，并且单数也包括复数，除非明显是其它意思。
最后，如本文中所使用的，对“一个实施例”或“实施例”的任何引用意味着结合该实施例所描述的特定元件、特征、结构或特点包括在至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定都是指相同的实施例。
在阅读本公开内容时，本领域技术人员应当理解如从本文的原理公开的附加的备选结构和功能设计。因此，尽管已经图示并且描述了特定实施例和应用，但是应当理解，所公开的实施例不限于本文中所公开的精确构造和部件。在不背离所附权利要求中限定的精神和范围的情况下，可以对本文中所公开的方法和装置的布置、操作和细节进行对于本领域技术人员来说明显的各种修改、改变和变化。

Claims (81)

1.一种装置，包括：
包括四个相机的2×2相机阵列，每个相机包括多个透镜、图像传感器以及外壳，所述外壳紧固所述多个透镜和图像传感器以使得通过所述外壳的孔的光被所述多个透镜引导成入射到所述图像传感器上；
其中所述多个相机中的每个相机以大于60度且小于80度的俯仰、大于30度且小于50度的滚动、以及大于60度且小于80度的偏航来定向，使得当所述多个相机同步捕获图像时由所述多个相机中的第一相机所捕获的图像包括与所述多个相机中的至少一个其它相机的重叠部分，并且使得所述多个相机中的每个相机面向在至少一个维度上与由所述多个相机中的至少一个其它相机面向的方向会聚的方向。
2.根据权利要求1所述的装置，其中所述相机阵列中的所述多个相机中的每个相机包括外壳模具，其中所述外壳模具的外层与所述外壳模具内的内部部件相距小于5mm，所述内部部件包括多个透镜和图像传感器。
3.根据权利要求1所述的装置，其中所述相机阵列中的所述多个相机中的每个相机与由所述多个相机中的所有相机共享的最向前的透镜相关联。
4.根据权利要求3所述的装置，其中共享的所述最向前的透镜是锥形透镜。
5.根据权利要求3所述的装置，其中共享的所述最向前的透镜是球形透镜。
6.根据权利要求1所述的装置，其中第一相机邻近第二相机耦合，其中所述第一相机的边缘基本上平行于所述第二相机的对应的边缘，并且其中所述第一相机和第二相机的前表面在所述第一相机和第二相机的相应俯仰、滚动和偏航处向内旋转，使得所述第一相机和第二相机中的每一相机的最向前的透镜的基本中心在阈值距离内。
7.根据权利要求6所述的装置，其中所述阈值距离为5mm。
8.根据权利要求1所述的装置，其中与所述多个相机中的每对相机中的每个最向前的透镜垂直的矢量在该对相机的重叠视场内相交。
9.一种装置，包括：
相机阵列中的多个相机，每个相机包括多个透镜、图像传感器以及外壳，所述外壳紧固所述多个透镜和图像传感器以使得通过所述外壳的孔的光被所述多个透镜引导成入射在所述图像传感器上；
其中所述多个相机中的每个相机以俯仰、滚动和偏航来定向，使得当所述多个相机同步捕获图像时由所述多个相机中的第一相机捕获的图像包括与所述多个相机中的至少一个其它相机的重叠部分，并且使得所述多个相机中的每个相机面向在至少一个维度上与由所述多个相机中的至少一个其它相机面向的方向会聚的方向。
10.根据权利要求9所述的装置，其中所述相机阵列是包括两个相机的2×1相机阵列。
11.根据权利要求9所述的装置，其中所述相机阵列是包括四个相机的2×2相机阵列。
12.根据权利要求9所述的装置，其中所述相机阵列中的所述多个相机中的每个相机包括外壳模具，其中所述外壳模具的外层与所述外壳模具内的内部部件相距小于5mm，所述内部部件包括多个透镜和图像传感器。
13.根据权利要求9所述的装置，其中，所述相机阵列中的所述多个相机中的每个相机与由所述多个相机中的所有相机共享的最向前的透镜相关联。
14.根据权利要求13所述的装置，其中共享的所述最向前的透镜是锥形透镜。
15.根据权利要求13所述的装置，其中共享的所述最向前的透镜是球形透镜。
16.根据权利要求9所述的装置，其中第一相机邻近第二相机耦合，其中所述第一相机的边缘基本上平行于所述第二相机的对应的边缘，并且其中所述第一相机和第二相机的前表面在所述第一相机和第二相机的相应俯仰、滚动和偏航处向内旋转，使得所述第一相机和第二相机中的每一相机的最向前的透镜的基本中心在阈值距离内。
17.根据权利要求16所述的装置，其中所述阈值距离为5mm。
18.根据权利要求16所述的装置，其中所述俯仰大于60度且小于80度。
19.根据权利要求16所述的装置，其中所述滚动大于30度且小于50度。
20.根据权利要求16所述的装置，其中所述偏航大于60度且小于80度。
21.根据权利要求9所述的装置，其中与所述多个相机中的每对相机中的每个最向前的透镜垂直的矢量在该对相机的重叠视场内相交。
22.一种方法，包括：
利用2×2相机阵列中的每个相机捕获多个图像，每个图像包括代表与水平相邻图像的对应部分重叠的视场的第一部分以及代表与垂直相邻图像的对应部分重叠的视场的第二部分；
对于每个图像，对所述图像执行第一扭曲，使得所述图像的所述第一部分与所述水平相邻图像的所述对应部分基本对准，并且使得所述图像的所述第二部分基本上与所述垂直相邻图像的所述对应部分对准；
对于每个图像，通过裁剪所述图像的未同时与所述图像的所述第一部分水平对准并且与所述图像的所述第二部分垂直对准的部分来调整所述图像的大小；
对于每个图像，对所述图像执行第二扭曲以降低由所述第一扭曲导致的失真，其中对所述图像的一部分的所述第二扭曲的幅度基于所述部分与所述图像的所述第一部分和所述图像的所述第二部分的距离，其中对所述图像的所述第一部分和所述图像的所述第二部分的所述第二扭曲的所述幅度基本为零；
裁剪所述多个图像中代表相邻图像的对应部分的重叠视场的部分，以基本上最小化经裁剪图像中代表对应的经裁剪图像的重叠视场的所述部分；以及
通过将每个经裁剪图像拼接成水平相邻的经裁剪图像和垂直相邻的经裁剪图像来生成最终图像。
23.根据权利要求22所述的方法，其中所述多个图像被同步捕获。
24.根据权利要求22所述的方法，其中所述第一扭曲包括在所述图像的部分上的多个局部扭曲。
25.根据权利要求22所述的方法，其中图像的所述第一扭曲的中心基于所述图像的重叠视场。
26.根据权利要求22所述的方法，其中所述第一扭曲基本上对准每个重叠视场内的感兴趣对象。
27.根据权利要求22所述的方法，其中对图像执行的所述第一扭曲使整个图像扭曲。
28.根据权利要求22所述的方法，其中对图像执行的所述第一扭曲使所述图像的多个部分扭曲。
29.根据权利要求22所述的方法，其中对图像的所述第二扭曲将所述图像映射到直线矩阵。
30.根据权利要求22所述的方法，其中对图像执行的所述第二扭曲消除所述图像中的失真，同时维持每个重叠视场内的感兴趣对象的对准。
31.根据权利要求22所述的方法，其中将每个经裁剪图像拼接成水平相邻的经裁剪图像和垂直相邻的经裁剪图像还包括：
对于每个图像，裁剪与水平相邻图像和垂直相邻图像的对应部分重叠的部分；以及
将所述图像与所述水平相邻的经裁剪图像和垂直相邻的经裁剪图像相级联。
32.一种方法，包括：
利用相机阵列中的多个相机中的每个相机捕获多个图像，每个图像包括视场(FOV)部分，所述视场(FOV)部分代表与相邻图像的至少一个对应FOV部分重叠的视场；
对于每个图像，对所述图像执行第一扭曲，使得所述图像的所述FOV部分基本上与所述相邻图像的所述对应FOV部分对准；
对于每个图像，通过裁剪所述图像的未与所述图像的所述FOV部分对准的部分来调整所述图像的大小；
对于每个图像，对所述图像执行第二扭曲以降低由所述第一扭曲导致的失真，其中对所述图像的一部分的所述第二扭曲的幅度基于所述部分与所述图像的所述FOV部分的距离，其中对所述图像的所述FOV部分的所述第二扭曲的所述幅度基本为零；
裁剪所述多个图像中代表与相邻图像的对应FOV部分重叠的FOV部分的部分；以及
通过将每个经裁剪图像拼接成相邻经裁剪图像来生成最终图像。
33.根据权利要求32所述的方法，其中所述多个图像被同步捕获。
34.根据权利要求32所述的方法，其中所述第一扭曲包括在所述图像的部分上的多个局部扭曲。
35.根据权利要求32所述的方法，其中图像的所述第一扭曲的中心基于所述图像的FOV部分中的一部分。
36.根据权利要求32所述的方法，其中所述第一扭曲基本对准所述图像的FOV部分内的感兴趣对象。
37.根据权利要求32所述的方法，其中对图像执行的所述第一扭曲使整个图像扭曲。
38.根据权利要求32所述的方法，其中对图像执行的所述第一扭曲使所述图像的多个部分扭曲。
39.根据权利要求32所述的方法，其中对图像的所述第二扭曲将所述图像映射到直线矩阵。
40.根据权利要求32所述的方法，其中对图像执行的所述第二扭曲消除所述图像中的失真，同时维持FOV部分内的感兴趣对象的对准。
41.根据权利要求32所述的方法，其中将每个裁剪的图像拼接成相邻裁剪的图像还包括：
对于每个图像，裁剪所述FOV部分；以及
将所述图像与所述相邻裁剪的图像相级联。
42.一种系统，包括至少一个处理器和非暂态计算机可读介质，所述非暂态计算机可读介质包括用于拼接由相机阵列中的多个相机捕获的图像的指令，所述指令由所述至少一个处理器可执行，所述指令包括用于以下的指令：
利用2×2相机阵列中的每个相机捕获多个图像，每个图像包括代表与水平相邻图像的对应部分重叠的视场的第一部分以及代表与垂直相邻图像的对应部分重叠的视场的第二部分；
对于每个图像，对所述图像执行第一扭曲，使得所述图像的所述第一部分与所述水平相邻图像的所述对应部分基本对准，并且使得所述图像的所述第二部分基本上与所述垂直相邻图像的所述对应部分对准；
对于每个图像，通过裁剪所述图像的未同时与所述图像的所述第一部分水平对准并且与所述图像的所述第二部分垂直对准的部分来调整所述图像的大小；
对于每个图像，对所述图像执行第二扭曲以降低由所述第一扭曲导致的失真，其中所述图像的一部分的所述第二扭曲的幅度基于所述部分与所述图像的所述第一部分和所述图像的所述第二部分的距离，其中对所述图像的所述第一部分和所述图像的所述第二部分的所述第二扭曲的所述幅度基本为零；
裁剪所述多个图像中代表相邻图像的对应部分的重叠视场的部分，以基本上最小化经裁剪图像中代表对应的经裁剪图像的重叠视场的所述部分；以及
通过将每个经裁剪图像拼接成水平相邻的裁剪图像和垂直相邻的裁剪图像来生成最终图像。
43.根据权利要求42所述的系统，其中所述多个图像被同步捕获。
44.根据权利要求42所述的系统，其中所述第一扭曲包括在所述图像的部分上的多个局部扭曲。
45.根据权利要求42所述的系统，其中图像的所述第一扭曲的中心基于所述图像的重叠视场。
46.根据权利要求42所述的系统，其中所述第一扭曲基本上对准每个重叠视场内的感兴趣对象。
47.根据权利要求42所述的系统，其中对图像执行的所述第一扭曲使整个图像扭曲。
48.根据权利要求42所述的系统，其中，对图像执行的所述第一扭曲使所述图像的多个部分扭曲。
49.根据权利要求42所述的系统，其中对图像的所述第二扭曲将图像映射到直线矩阵。
50.根据权利要求42所述的系统，其中对图像执行的所述第二扭曲消除所述图像中的失真，同时维持每个重叠视场内的感兴趣对象的对准。
51.根据权利要求42所述的系统，其中将每个经裁剪图像拼接成水平相邻的经裁剪图像和垂直相邻的经裁剪图像还包括：
对于每个图像，裁剪与水平相邻图像和垂直相邻图像的对应部分重叠的所述部分；以及
将所述图像与所述水平相邻的经裁剪图像和垂直相邻的经裁剪图像相级联。
52.一种方法，包括：
访问由相机阵列中的多个相机中的每个相机中的图像传感器捕获的图像数据，每个图像传感器包括图像传感器窗口以及小于并且位于所述图像传感器窗口内的读取窗口，来自每个图像传感器的所述图像数据代表在捕获期间入射到所述读取窗口上的光，所述相机阵列中的第一相机包括第一视场的与所述相机阵列中的第二相机的第二视场的第二部分重叠的第一部分；
标识代表所述第一视场的所述第一部分的被访问的图像数据的部分以及代表所述第二视场的所述第二部分的被访问的图像数据的部分；
为所标识的图像数据的部分确定代表所述图像数据部分内的相关量的相关系数集合；以及
响应于代表低于阈值的相关水平的所述相关系数集合，调整所述第一相机的所述图像传感器的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
53.根据权利要求52所述的方法，其中所述相机阵列是包括两个相机的2×1相机阵列。
54.根据权利要求52所述的方法，其中所述相机阵列是包括四个相机的2×2相机阵列。
55.根据权利要求52所述的方法，其中重叠的所述第一视场的所述第一部分和所述第二视场的第二部分包括公共对象。
56.根据权利要求55所述的方法，其中基于所述第一部分和第二部分中的所述公共对象来调整所述第一相机的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
57.根据权利要求55所述的方法，其中调整所述第一相机的所述图像传感器的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置降低所述第一部分和第二部分中的所述公共对象的未对准度。
58.根据权利要求52所述的方法，其中重叠的所述第一视场的所述第一部分和所述第二视场的第二部分被自动标识。
59.根据权利要求58所述的方法，其中基于所述第一部分和所述第二部分的图像传感器读出的像素到像素的比较来标识重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分。
60.根据权利要求52所述的方法，还包括：
标识所述相机阵列中的所述多个相机的最佳相关距离；
其中附加地基于标识的所述最佳相关距离来调整所述第一相机的所述图像传感器的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
61.根据权利要求52所述的方法，还包括：
在调整所述第一相机的所述图像传感器的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置之后，访问由所述第一相机和所述第二相机捕获的后续图像数据；
标识代表所述第一视场的所述第一部分的所述访问的后续图像数据的一部分以及代表所述第二视场的所述第二部分的所述后续访问的图像数据的一部分；
为标识的所述后续访问的图像数据的部分确定代表标识的所述后续访问的图像数据部分内的相关量的的后续相关系数集合；
响应于代表低于阈值的相关水平的所述后续相关系数集合，进一步调整所述第一相机的所述图像传感器的所述读取窗口以及所述第二相机的所述图像传感器的所述读取窗口中的一项或多项的位置；以及
响应于代表高于阈值的相关水平的所述后续相关系数集合，存储所述第一相机的所述图像传感器的所述读取窗口的所述位置以及所述第二相机的所述图像传感器的所述读取窗口的所述位置，以供后续在通过所述相机阵列捕获图像时使用。
62.一种方法，包括：
访问由相机阵列中的多个相机中的每个相机中的图像传感器捕获的图像数据，每个图像传感器包括图像传感器窗口以及小于并且位于所述图像传感器窗口内的读取窗口，来自每个图像传感器的所述图像数据代表在捕获期间入射到所述读取窗口上的光，所述相机阵列中的每个相机包括与所述相机阵列中的至少一个其它相关联的相机的第二视场的第二部分重叠的第一视场的第一部分，所述相关联的相机彼此水平或垂直相邻；
标识代表所述第一视场的所述第一部分的被访问的图像数据的部分以及代表所述第二视场的所述第二部分的被访问的图像数据的部分；
确定所述图像数据部分内的相关量；以及
调整所述相机阵列中的所述相机和另一相机的所述图像传感器的所述读取窗口中的至少一个读取窗口的位置，以降低所述图像数据部分内的熵。
63.根据权利要求62所述的方法，其中所述相机阵列是包括两个相机的2×1相机阵列。
64.根据权利要求62所述的方法，其中所述相机阵列是包括四个相机的2×2相机阵列。
65.根据权利要求62所述的方法，其中重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分包括公共对象。
66.根据权利要求65所述的方法，其中基于所述第一和第二部分中的所述公共对象来调整所述相机的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
67.根据权利要求65所述的方法，其中调整所述相机的所述图像传感器的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置降低所述第一部分和第二部分中的所述公共对象的未对准度。
68.根据权利要求62所述的方法，其中重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分被自动标识。
69.根据权利要求68所述的方法，其中基于所述第一部分和所述第二部分的图像传感器读出的像素到像素的比较来标识重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分。
70.根据权利要求62所述的方法，还包括：
标识所述相机阵列中的所述多个相机的最佳相关距离；以及
基于标识的所述最佳相关距离，调整述相机的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
71.根据权利要求62所述的方法，还包括：存储所述相机阵列中的所述多个相机的所述图像传感器的所述读取窗口的所述位置，以供后续在通过所述相机阵列捕获图像时使用。
72.一种系统，包括至少一个处理器和非暂态计算机可读介质，所述非暂态计算机可读介质包括用于调整相机阵列中的多个相机的图像传感器中的读取窗口的指令，所述指令由所述至少一个处理器可执行，所述指令包括用于以下的指令：
访问由相机阵列中的多个相机中的每个相机中的图像传感器捕获的图像数据，每个图像传感器包括图像传感器窗口以及小于并且位于所述图像传感器窗口内的读取窗口，来自每个图像传感器的所述图像数据代表在捕获期间入射到所述读取窗口上的光，所述相机阵列中的每个相机包括与所述相机阵列中的至少一个其它相关联的相机的第二视场的第二部分重叠的第一视场的第一部分，所述相关联的相机彼此水平或垂直相邻；
标识代表所述第一视场的所述第一部分的被访问的图像数据的部分以及代表所述第二视场的所述第二部分的所述被访问的图像数据的部分；
确定所述图像数据部分内的相关量；以及
调整所述相机阵列中的所述相机和另一相机的所述图像传感器的所述读取窗口中的至少一个读取窗口的位置，以降低所述图像数据部分内的熵。
73.根据权利要求72所述的系统，其中所述相机阵列是包括两个相机的2×1相机阵列。
74.根据权利要求72所述的系统，其中所述相机阵列是包括四个相机的2×2相机阵列。
75.根据权利要求72所述的系统，其中重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分包括公共对象。
76.根据权利要求75所述的系统，其中基于所述第一部分和第二部分中的所述公共对象来调整所述相机的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
77.根据权利要求75所述的系统，其中调整以下所述相机的所述图像传感器的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置降低所述第一部分和第二部分中的所述公共对象的未对准度。
78.根据权利要求72所述的系统，其中重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分被自动标识。
79.根据权利要求78所述的系统，其中基于所述第一部分和所述第二部分的图像传感器读出的像素到像素的比较来标识重叠的所述第一视场的所述第一部分和所述第二视场的所述第二部分。
80.根据权利要求72所述的系统，还包括：
标识所述相机阵列中的所述多个相机的最佳相关距离；以及
基于标识的所述最佳相关距离，调整所述相机的所述读取窗口以及所述另一相机的所述图像传感器的所述读取窗口中的一项或多项的位置。
81.根据权利要求72所述的系统，还包括存储所述相机阵列中的所述多个相机的所述图像传感器的所述读取窗口的所述位置，以供后续在通过所述相机阵列捕获图像时使用。
CN201580027188.1A 2014-04-01 2015-02-20 具有相邻视场的多相机阵列 Pending CN106415391A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201461973788P 2014-04-01 2014-04-01
US61/973,788 2014-04-01
US201461979386P 2014-04-14 2014-04-14
US61/979,386 2014-04-14
US201461985256P 2014-04-28 2014-04-28
US61/985,256 2014-04-28
US14/308,495 2014-06-18
US14/308,507 2014-06-18
US14/308,495 US9330436B2 (en) 2014-04-01 2014-06-18 Multi-camera array with adjacent fields of view
US14/308,507 US9262801B2 (en) 2014-04-01 2014-06-18 Image taping in a multi-camera array
US14/308,501 US9196039B2 (en) 2014-04-01 2014-06-18 Image sensor read window adjustment for multi-camera array tolerance
US14/308,501 2014-06-18
PCT/US2015/016719 WO2015153007A1 (en) 2014-04-01 2015-02-20 Multi-camera array with adjacent fields of view

Publications (1)

Publication Number Publication Date
CN106415391A true CN106415391A (zh) 2017-02-15

Family

ID=54191083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027188.1A Pending CN106415391A (zh) 2014-04-01 2015-02-20 具有相邻视场的多相机阵列

Country Status (4)

Country Link
US (9) US9196039B2 (zh)
EP (1) EP3126908A4 (zh)
CN (1) CN106415391A (zh)
WO (1) WO2015153007A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109164672A (zh) * 2018-08-20 2019-01-08 西安电子科技大学 基于共心球透镜的多尺度成像系统视场拼接计算方法
CN111279673A (zh) * 2017-08-21 2020-06-12 高途乐公司 具有电子卷帘快门校正的图像拼接

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US10008237B2 (en) * 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US9566021B2 (en) 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
US9196039B2 (en) 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US20150312468A1 (en) * 2014-04-23 2015-10-29 Narvaro Inc. Multi-camera system controlled by head rotation
JP6372788B2 (ja) 2014-08-26 2018-08-15 カシオ計算機株式会社 撮像装置、撮像システム、撮像方法及びプログラム
JP6090274B2 (ja) * 2014-09-24 2017-03-08 カシオ計算機株式会社 撮影制御装置、同期撮影システム、撮影制御方法、同期撮影方法及びプログラム
CN105721763A (zh) * 2014-12-05 2016-06-29 深圳富泰宏精密工业有限公司 合成照片的系统及方法
US10119809B2 (en) * 2015-02-16 2018-11-06 Intel Corporation Simulating multi-camera imaging systems
US10212325B2 (en) 2015-02-17 2019-02-19 Alpinereplay, Inc. Systems and methods to control camera operations
ES2928663T3 (es) 2015-02-27 2022-11-21 Leia Inc Cámara multivista
US9819875B2 (en) * 2015-03-02 2017-11-14 Intel Corporation Multi-camera sync pulse synchronization
US9992394B2 (en) 2015-03-18 2018-06-05 Gopro, Inc. Dual-lens mounting for a spherical camera
US9977226B2 (en) 2015-03-18 2018-05-22 Gopro, Inc. Unibody dual-lens mount for a spherical camera
US10523854B2 (en) * 2015-06-25 2019-12-31 Intel Corporation Array imaging system having discrete camera modules and method for manufacturing the same
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
EP3358293A4 (en) * 2015-09-30 2019-04-10 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
US20180309972A1 (en) * 2015-11-11 2018-10-25 Sony Corporation Image processing apparatus and image processing method
KR20180101165A (ko) * 2016-01-03 2018-09-12 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임으로의 프레임 스티칭
CN105718887A (zh) * 2016-01-21 2016-06-29 惠州Tcl移动通信有限公司 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
CN105809626A (zh) * 2016-03-08 2016-07-27 长春理工大学 一种自适应光线补偿的视频图像拼接方法
KR102520225B1 (ko) * 2016-06-30 2023-04-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
KR101926953B1 (ko) * 2016-07-04 2018-12-07 베이징 칭잉 머신 비쥬얼 테크놀러지 씨오., 엘티디. 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
CN106131407A (zh) * 2016-07-11 2016-11-16 深圳看到科技有限公司 拍摄同步方法及同步装置
US10277886B2 (en) 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
US10070071B2 (en) 2016-08-30 2018-09-04 Caterpillar Inc. Method of imaging a machine environment and machine system implementing same
US10182180B2 (en) 2016-09-07 2019-01-15 Peau Productions, Inc. Multiple camera control system
CN106210489B (zh) * 2016-09-13 2017-10-31 北京清影机器视觉技术有限公司 一种基于微型摄像头矩阵的图像获取装置
US10748319B1 (en) 2016-09-19 2020-08-18 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
WO2018053486A1 (en) * 2016-09-19 2018-03-22 Radlink, Inc. Composite radiographic image that corrects effects of parallax distortion
GB201620037D0 (en) * 2016-11-28 2017-01-11 Nokia Technologies Oy Imaging device and method
JP6608548B2 (ja) * 2017-01-06 2019-11-20 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
US10560636B1 (en) 2017-03-24 2020-02-11 Cisco Technology, Inc. Crop synchronized auto focus and exposure
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
DE102017114962B4 (de) 2017-07-05 2019-08-29 Dallmeier Electronic Gmbh & Co. Kg Multi-Sensor-Kamera
US10666929B2 (en) 2017-07-06 2020-05-26 Matterport, Inc. Hardware system for inverse graphics capture
US10044922B1 (en) 2017-07-06 2018-08-07 Arraiy, Inc. Hardware system for inverse graphics capture
US10565778B2 (en) 2017-08-22 2020-02-18 Samsung Electronics Co., Ltd. Electronic devices for and methods of implementing memory transfers for image warping in an electronic device
CN111183638B (zh) 2017-10-02 2022-06-17 镭亚股份有限公司 具有带有共享相机的相机子阵列的多视图相机阵列、多视图系统及方法
US10816693B2 (en) * 2017-11-21 2020-10-27 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest
TWI761576B (zh) * 2018-08-16 2022-04-21 先進光電科技股份有限公司 光學成像模組、成像系統及其製造方法
US11721712B2 (en) 2018-08-31 2023-08-08 Gopro, Inc. Image capture device
TWI768125B (zh) * 2018-09-21 2022-06-21 先進光電科技股份有限公司 光學成像模組及其成像系統、製造方法
US11070708B2 (en) * 2018-09-28 2021-07-20 Brainbaby, Inc. Self-contained low profile cross shooting video apparatus
CA3122091A1 (en) 2018-12-05 2020-06-11 Caesars Enterprise Services, Llc Video slot gaming screen capture and analysis
CN111667398B (zh) * 2019-03-07 2023-08-01 株式会社理光 图像处理方法、装置和计算机可读存储介质
KR102036785B1 (ko) * 2019-06-24 2019-11-26 김길곤 엘리베이터의 유지 및 보수의 공정을 제어하기 위한 방법 및 장치
US11729364B2 (en) 2019-09-18 2023-08-15 Gopro, Inc. Circular stitching of images
US11087435B1 (en) 2019-11-04 2021-08-10 Facebook, Inc. Adaptive dewarping of wide angle video frames
US11820070B2 (en) * 2019-11-14 2023-11-21 Rolls-Royce Corporation Fused filament fabrication of high entropy alloys
US20230140541A1 (en) * 2020-02-18 2023-05-04 Interdigital Ce Patent Holdings, Sas Method and device for generating an image
CN111314615B (zh) * 2020-03-13 2021-06-15 浙江大华技术股份有限公司 一种控制双目双变焦摄像机的方法、装置及摄像机
KR20220025600A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치
US20220295038A1 (en) * 2021-03-10 2022-09-15 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211106A1 (en) * 2010-01-04 2011-09-01 Duke University Monocentric Lens-based Multi-scale Optical Systems and Methods of Use
WO2012061571A1 (en) * 2010-11-03 2012-05-10 The Trustees Of Columbia University In The City Of New York Camera systems and methods for gigapixel computational imaging
CN102508391A (zh) * 2010-09-24 2012-06-20 微软公司 广角视野的活动照明成像系统
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4191462A (en) 1978-04-24 1980-03-04 Polaroid Corporation Fixed focus exposure control apparatus with reverse spherical aberration corrective characteristic
EP0563737B1 (en) * 1992-03-23 1997-09-10 Canon Kabushiki Kaisha Multilens imaging apparatus with correction of misregistration
JP3107929B2 (ja) * 1992-10-22 2000-11-13 キヤノン株式会社 複眼撮像装置
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
US6346950B1 (en) * 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6778207B1 (en) * 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US20030076413A1 (en) * 2001-10-23 2003-04-24 Takeo Kanade System and method for obtaining video of multiple moving fixation points within a dynamic scene
US8994822B2 (en) * 2002-08-28 2015-03-31 Visual Intelligence Lp Infrastructure mapping system and method
US7893957B2 (en) 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
SE0302065D0 (sv) * 2003-07-14 2003-07-14 Stefan Carlsson Video - method and apparatus
US20060139475A1 (en) 2004-12-23 2006-06-29 Esch John W Multiple field of view camera arrays
US7982777B2 (en) * 2005-04-07 2011-07-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
US8059185B2 (en) * 2005-12-28 2011-11-15 Canon Kabushiki Kaisha Photographing apparatus, image display method, computer program and storage medium for acquiring a photographed image in a wide range
TW200740212A (en) * 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US7646910B1 (en) * 2006-04-19 2010-01-12 Ambarella, Inc. Digital video camera non-integer-ratio Bayer domain scaler
JP5074777B2 (ja) * 2006-05-22 2012-11-14 キヤノン株式会社 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム
JP2007334051A (ja) * 2006-06-15 2007-12-27 Sony Corp ズームレンズ及び撮像装置
EP1876814A1 (en) * 2006-07-07 2008-01-09 Barco NV Non-linear image mapping using a plurality of non-coplanar clipping planes
CN101193507B (zh) 2006-12-01 2011-07-27 深圳富泰宏精密工业有限公司 具有平板视窗镜片的壳体及其制造方法
WO2008068456A2 (en) * 2006-12-06 2008-06-12 Sony United Kingdom Limited A method and an apparatus for generating image content
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
WO2009042858A1 (en) * 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
KR101313740B1 (ko) * 2007-10-08 2013-10-15 주식회사 스테레오피아 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US20090290033A1 (en) * 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US9171221B2 (en) * 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8340453B1 (en) * 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques
TWI441514B (zh) * 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
US8817092B2 (en) * 2008-11-25 2014-08-26 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US9621825B2 (en) 2008-11-25 2017-04-11 Capsovision Inc Camera system with multiple pixel arrays on a chip
WO2010095440A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8654197B2 (en) * 2009-03-04 2014-02-18 Raytheon Company System and method for occupancy detection
JP5397751B2 (ja) * 2009-03-19 2014-01-22 株式会社ニコン カメラおよび画像補正方法
US8421846B2 (en) 2009-04-06 2013-04-16 J. Roy Nelson System and apparatus for 3D image capture and processing
WO2011014497A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
US20110026141A1 (en) 2009-07-29 2011-02-03 Geoffrey Louis Barrows Low Profile Camera and Vision Sensor
US8885067B2 (en) * 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
CN107422361A (zh) 2010-01-22 2017-12-01 登克特有限公司 用于多照相机x射线平板检测器的方法和装置
US20110216157A1 (en) * 2010-03-05 2011-09-08 Tessera Technologies Ireland Limited Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP4897940B2 (ja) * 2010-03-31 2012-03-14 富士フイルム株式会社 立体撮像装置
US8874090B2 (en) * 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
US8896671B2 (en) * 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
KR101148389B1 (ko) 2010-09-15 2012-05-21 삼성전기주식회사 레이져 네비게이션 모듈
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability
US20120105574A1 (en) * 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
JP2012138891A (ja) 2010-12-08 2012-07-19 Canon Inc 撮像装置
US9007432B2 (en) * 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
US8928988B1 (en) * 2011-04-01 2015-01-06 The Regents Of The University Of California Monocentric imaging
WO2012136388A1 (en) * 2011-04-08 2012-10-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
US8994825B2 (en) * 2011-07-28 2015-03-31 Robert Bosch Gmbh Vehicle rear view camera system and method
US9329365B2 (en) * 2011-09-23 2016-05-03 Goodrich Corporation Wide field of view monocentric lens system for infrared aerial reconnaissance camera systems
WO2013061626A1 (ja) * 2011-10-26 2013-05-02 三菱電機株式会社 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
US9580013B2 (en) * 2011-11-02 2017-02-28 Magna Electronics Inc. Vehicle vision system with asymmetric anamorphic lens
US8488257B2 (en) * 2011-11-09 2013-07-16 Daniel Lee Stark Two Pi solid angle high resolution optical system
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
EP2634626A1 (en) 2012-03-01 2013-09-04 KINomi OÜ Filter holder and sunshade for a camera
US9204041B1 (en) 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US9007520B2 (en) * 2012-08-10 2015-04-14 Nanchang O-Film Optoelectronics Technology Ltd Camera module with EMI shield
US9860443B2 (en) * 2012-08-20 2018-01-02 The Regents Of The University Of California Monocentric lens designs and associated imaging systems having wide field of view and high resolution
KR20140028700A (ko) * 2012-08-30 2014-03-10 삼성전자주식회사 반도체 패키지
US10666860B2 (en) * 2012-09-11 2020-05-26 Ricoh Company, Ltd. Image processor, image processing method and program, and imaging system
US9176298B1 (en) * 2012-10-04 2015-11-03 Drs Network & Imaging Systems, Llc Springless athermal lens design with flexured spacer
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
TWI578271B (zh) * 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
EP2915324B1 (en) * 2012-11-05 2020-07-08 360 Heros, Inc. 360 degree camera mount and related photographic and video system
WO2014093057A1 (en) * 2012-12-10 2014-06-19 Shannon Lee Mutschelknaus Encapsulation of light-emitting elements on a display module
US10103297B2 (en) * 2012-12-10 2018-10-16 Daktronics, Inc. Encapsulation of light-emitting elements on a display module
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN105247861B (zh) 2013-03-22 2017-11-10 精工爱普生株式会社 红外视频显示眼镜
WO2014168974A1 (en) * 2013-04-08 2014-10-16 Omnivision Technologies, Inc. Systems and methods for calibration of a 360 degree camera system
EP2995888B1 (en) 2013-04-23 2018-10-24 LG Electronics Inc. Refrigerator and control method for the same
US11131549B2 (en) 2013-05-14 2021-09-28 The Charles Stark Draper Laboratory, Inc. Navigation system with monocentric lens and curved focal plane sensor
WO2014200398A1 (en) 2013-06-12 2014-12-18 Vretmaskin El & Mekanik Ab Pipe inspection device
WO2014199629A1 (ja) * 2013-06-14 2014-12-18 株式会社デンソー 車両用表示装置
KR102068992B1 (ko) * 2013-06-20 2020-01-22 삼성전자 주식회사 렌즈 캘리브레이션 방법 및 영상 복원 방법
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
KR20150011938A (ko) * 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
JP2015033108A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
WO2015039067A1 (en) * 2013-09-16 2015-03-19 Duke University Method for combining multiple image fields
US20150131924A1 (en) * 2013-11-13 2015-05-14 Microsoft Corporation Creation of Rectangular Images from Input Images
US9426361B2 (en) * 2013-11-26 2016-08-23 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US10171733B2 (en) * 2013-12-11 2019-01-01 Mitsubishi Electric Corporation Image processing apparatus and method, and program and recording medium
CN103731658B (zh) * 2013-12-25 2015-09-30 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
US20150264232A1 (en) 2014-03-13 2015-09-17 Suyin Optronics Corporation Multi-lens video camera module
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US9692862B2 (en) * 2014-10-23 2017-06-27 Samsung Electronics Co., Ltd. Camera device and wearable electronic device having the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211106A1 (en) * 2010-01-04 2011-09-01 Duke University Monocentric Lens-based Multi-scale Optical Systems and Methods of Use
CN102508391A (zh) * 2010-09-24 2012-06-20 微软公司 广角视野的活动照明成像系统
WO2012061571A1 (en) * 2010-11-03 2012-05-10 The Trustees Of Columbia University In The City Of New York Camera systems and methods for gigapixel computational imaging
CN102625120A (zh) * 2011-01-31 2012-08-01 索尼公司 图像处理设备、方法和程序

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279673A (zh) * 2017-08-21 2020-06-12 高途乐公司 具有电子卷帘快门校正的图像拼接
CN111279673B (zh) * 2017-08-21 2022-04-22 高途乐公司 具有电子卷帘快门校正的图像拼接的系统和方法
US11962736B2 (en) 2017-08-21 2024-04-16 Gopro, Inc. Image stitching with electronic rolling shutter correction
CN109164672A (zh) * 2018-08-20 2019-01-08 西安电子科技大学 基于共心球透镜的多尺度成像系统视场拼接计算方法

Also Published As

Publication number Publication date
EP3126908A1 (en) 2017-02-08
EP3126908A4 (en) 2017-03-08
US20170013209A1 (en) 2017-01-12
US9681068B2 (en) 2017-06-13
US9262801B2 (en) 2016-02-16
US9832397B2 (en) 2017-11-28
US20160042493A1 (en) 2016-02-11
US9330436B2 (en) 2016-05-03
US20190124276A1 (en) 2019-04-25
US9196039B2 (en) 2015-11-24
US9794498B2 (en) 2017-10-17
US10805559B2 (en) 2020-10-13
US20160142655A1 (en) 2016-05-19
WO2015153007A1 (en) 2015-10-08
US20150281590A1 (en) 2015-10-01
US20150279038A1 (en) 2015-10-01
US10200636B2 (en) 2019-02-05
US20160112634A1 (en) 2016-04-21
US20150278988A1 (en) 2015-10-01
US9473713B2 (en) 2016-10-18
US20160125570A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
CN106415391A (zh) 具有相邻视场的多相机阵列
US20200186784A1 (en) Modular Configurable Camera System
CN100442098C (zh) 图像拍摄设备及图像处理方法
EP2518993B1 (en) Image capturing device, azimuth information processing method, and program
US20190068886A1 (en) Method for reducing parallax of multiple cameras and electronic device supporting the same
KR20170141823A (ko) 3d 및/또는 2d 고 품질 비디오그래피, 사진 및 셀카 기록용 카메라 시스템 및 비 전기적 3d/멀티 비디오 및 정지 프레임 뷰어와 통합된 다목적 모바일 장치 케이스/커버
CN105324791B (zh) 坐标计算装置和方法、以及图像处理装置和方法
CN102722080A (zh) 一种基于多镜头拍摄的多用途立体摄像方法
CN103782593A (zh) 用于立体图像对的改进裁剪的方法和设备
CN104159020A (zh) 采用用于灵活图像方位的正方形图像传感器的取像系统及方法
CN104205825B (zh) 图像处理装置及方法以及摄像装置
CN102215333A (zh) 用于成像设备的组装方法和成像设备
JP2011250022A (ja) カメラシステム
JP2012015818A (ja) 立体画像表示装置及び表示方法
CN102081294A (zh) 摄像装置
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
US20200374434A1 (en) Dual imaging module cameras
EP2851748B1 (en) Optoelectronic photodetector (variants)
US11968446B2 (en) Apparatus and method executed by apparatus
US20230281768A1 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
US20220385830A1 (en) Electronic apparatus, control method, and non-transitory computer readable medium
US20220398688A1 (en) Image processing apparatus, image processing method, and storage medium
JP2016025638A (ja) 撮像装置および水平表示方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170215

WD01 Invention patent application deemed withdrawn after publication