CN104335246B - 用pi滤光器群组来形成图案的相机模块 - Google Patents

用pi滤光器群组来形成图案的相机模块 Download PDF

Info

Publication number
CN104335246B
CN104335246B CN201380029203.7A CN201380029203A CN104335246B CN 104335246 B CN104335246 B CN 104335246B CN 201380029203 A CN201380029203 A CN 201380029203A CN 104335246 B CN104335246 B CN 104335246B
Authority
CN
China
Prior art keywords
camera
array
color
arrays
green
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029203.7A
Other languages
English (en)
Other versions
CN104335246A (zh
Inventor
S·尼森佐恩
K·文卡塔拉曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Fotonation Cayman Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fotonation Cayman Ltd filed Critical Fotonation Cayman Ltd
Publication of CN104335246A publication Critical patent/CN104335246A/zh
Application granted granted Critical
Publication of CN104335246B publication Critical patent/CN104335246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors

Abstract

根据本发明的实施例的系统和方法用π滤光器群组来对阵列相机模块形成图案。在一个实施例中，一种阵列相机模块包括：包括多个焦平面的M x N成像器阵列，其中每个焦平面包括光敏像素的阵列；透镜堆叠的M x N光学阵列，其中每个透镜堆叠对应于一焦平面，并且其中每个透镜堆叠在其相应的焦平面上形成场景的图像；其中透镜堆叠和焦平面的每一对从而定义一相机；其中M x N相机阵列中的至少一行至少包括一个红相机、一个绿相机和一个蓝相机；并且其中M x N相机阵列中的至少一列至少包括一个红相机、一个绿相机和一个蓝相机。

Description

用pi滤光器群组来形成图案的相机模块
技术领域
本发明概括而言涉及数字相机，更具体而言涉及在阵列相机的相机模块中利用的滤光器图案。
背景技术
传统的数字相机通常包括具有透镜堆叠(lens stack)的单个焦平面。焦平面包括光敏像素的阵列并且是传感器的一部分。透镜堆叠创建光学通道，该光学通道在焦平面中的光敏像素的阵列上形成场景的图像。每个光敏像素可基于入射在该像素上的光来生成图像数据。
在传统的彩色数字相机中，颜色滤光器(color filter)的阵列通常被应用到相机的传感器的焦平面中的像素。典型的颜色滤光器可包括红、绿和蓝颜色滤光器。在给定颜色滤光器图案的情况下，可以使用去马赛克算法来为由焦平面捕捉的图像数据的每个像素插值出一组完整的红、绿和蓝值。相机颜色滤光器图案的一个示例是拜耳(Bayer) 滤光器图案。拜耳滤光器图案描述了红、绿和蓝颜色滤光器的一种特定图案，其导致焦平面中50％的像素捕捉绿光，25％捕捉红光并且 25％捕捉蓝光。
在了解了双眼成像的情况下，可以增强传统的摄影术。对场景的双眼观看由于每只眼睛的不同视场(field of view)而创建该场景的两个略微不同的图像。这些差异被称为双眼像差(disparity)(或视差 (parallax))，其提供了可用于计算视觉场景中的深度的信息，从而提供了深度感知的主要手段。与立体深度感知相关联的深度的印象也可在其他条件下获得，例如当观察者在移动的同时只用一只眼睛观看场景时。观察到的视差可被利用来为场景中的对象获得深度信息。机器视觉中的类似原理可用于收集深度信息。
例如，相隔某一距离的两个相机可拍摄同一场景的图片，并且可通过偏移两个或更多个图像的像素以找出图像的匹配部分来比较捕捉的图像。对象在不同的相机视域之间偏移的量被称为像差，其与到该对象的距离成反比。检测对象在多个图像中的偏移的像差搜索可用于基于相机与所涉及的相机的焦距之间的基线距离来计算到对象的距离。利用两个或更多个相机来生成立体三维图像的方法通常被称为多视域立体(multi-viewstereo)。
当从不同的角度捕捉场景的多个图像并且该场景包括前景对象时，每个图像中的该前景对象的位置处的像差导致场景的在该前景对象后方的部分在一些但不是所有图像中可见。捕捉关于场景的在从其他视点捕捉的场景的图像中不可见的部分的图像数据的像素可被称为被遮蔽像素(occluded pixel)。
图1A和1B示出了视差和遮蔽的原理。图1A描绘了由具有第一视场的第一相机捕捉的图像100，而图1B描绘了由具有第二视场的第二邻近相机捕捉的图像102。在由第一相机捕捉的图像100中，前景对象104看起来在背景对象106的略偏右处。然而，在由第二相机捕捉的图像102中，前景对象104看起来偏移到了背景对象106的左手侧。由两个相机的不同视场引入的像差等于前景对象104在由第一相机捕捉的图像中的位置(在由第二相机捕捉的图像中由虚线108指示) 与其在由第二相机捕捉的图像中的位置之间的差异。从两个相机到前景对象的距离可通过确定前景对象在两个捕捉的图像中的像差来获得，并且这在标题为“Systems and Methods for Parallax Detection and Correction in ImagesCaptured Using Array Cameras”的美国专利申请序列号61/780,906中描述。美国专利申请序列号61/780,906的公开内容通过引用被全部并入在此。
此外，参考图1A和1B，当其视场在图1B中描绘的第二相机的视点被选择为基准视点时，在图像102中的虚线108内包含的像素可被认为是被遮蔽像素(即，这些像素捕捉来自场景的如下部分的图像数据：该部分在由第二相机捕捉的图像102中可见，而在由第一相机捕捉的图像100中不可见)。在第二图像102中，前景对象104的像素可被称为遮蔽像素(occluding pixel)，因为它们捕捉场景的如下部分：这些部分遮蔽了图像102中的虚线108内包含的像素。由于对第二图像102中的虚线108内包含的像素的遮蔽，因此不能从两个图像确定从相机到场景的在虚线108内可见的部分的距离，因为在图1A 所示的图像100中没有对应的像素。
发明内容
根据本发明的实施例的系统和方法用π滤光器群组来对阵列相机模块形成图案(pattern)。在一个实施例中，一种阵列相机模块包括：包括多个焦平面的M x N成像器阵列，每个焦平面包括光敏像素的阵列；透镜堆叠的M x N光学阵列，其中每个透镜堆叠对应于一焦平面，并且其中每个透镜堆叠在其相应的焦平面上形成场景的图像；其中透镜堆叠及其相应的焦平面的每一对从而定义一相机；其中，M x N相机阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且其中，M x N相机阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。
在另一实施例中，M和N各自大于2并且M和N中的至少一个是偶数；在阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对阵列相机模块形成图案，该至少一个π滤光器群组包括：3 x 3相机阵列，其包括：在3 x 3相机阵列的中心处的基准相机；位于3 x 3相机阵列的相对侧的两个红颜色相机；位于3 x 3相机阵列的相对侧的两个蓝颜色相机；以及围绕基准相机的四个绿颜色相机。
在另一实施例中，围绕基准相机的四个绿颜色相机中的每一个被部署在3 x 3相机阵列的角落位置。
在另一实施例中，M为四；N为四；4 x 4阵列相机模块的第一行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和红颜色相机； 4 x 4阵列相机模块的第二行相机按顺序包括红颜色相机、绿颜色相机、红颜色相机和绿颜色相机；4 x 4阵列相机模块的第三行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和蓝颜色相机；并且4 x 4阵列相机模块的第四行相机按顺序包括蓝颜色相机、绿颜色相机、红颜色相机和绿颜色相机。
在另一实施例中，M为四；N为四；4 x 4阵列相机模块的第一行相机按顺序包括红颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机； 4 x 4阵列相机模块的第二行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和红颜色相机；4 x 4阵列相机模块的第三行相机按顺序包括蓝颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；并且4 x 4阵列相机模块的第四行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和蓝颜色相机。
在另一实施例中，基准相机是绿颜色相机。
在另一实施例中，基准相机是以下各项之一：包含拜耳滤光器的相机、被配置为捕捉红外光的相机、以及被配置为捕捉紫外光的相机。
在另一实施例中，两个红颜色相机中的每一个位于3 x 3相机阵列的角落位置，并且两个蓝颜色相机中的每一个位于3 x 3相机阵列的角落位置。
在另一实施例中，在成像器阵列上实现至少一个颜色滤光器。
在另一实施例中，在透镜堆叠上实现至少一个颜色滤光器。
在另一实施例中，一种3 x 3阵列相机模块包括：包括焦平面的3 x 3布置的3 x 3成像器阵列，每个焦平面包括光敏像素的阵列；透镜堆叠的3 x 3光学阵列，其中每个透镜堆叠对应于一焦平面，并且其中每个透镜堆叠在其相应的焦平面上形成场景的图像；其中透镜堆叠及其相应的焦平面的每一对从而定义一相机；其中3 x 3相机阵列包括：在3 x 3相机阵列的中心处的基准相机；位于3 x 3相机阵列的相对侧的两个红颜色相机；位于3 x3相机阵列的相对侧的两个蓝颜色相机；以及四个绿颜色相机，各自位于3 x 3相机阵列的角落位置；其中每个颜色相机是利用颜色滤光器来实现的。
在另一实施例中，在成像器阵列上实现至少一个颜色滤光器来实现颜色相机。
在另一实施例中，在透镜堆叠内实现至少一个颜色滤光器来实现颜色相机。
在另一实施例中，基准相机是绿颜色相机。
在另一实施例中，基准相机是以下各项之一：包含拜耳滤光器的相机、被配置为捕捉红外光的相机、以及被配置为捕捉紫外光的相机。
在另一实施例中，一种用至少一个π滤光器群组来对阵列相机模块形成图案的方法包括：评估M x N个焦平面的成像器阵列是否包括任何缺陷焦平面，其中每个焦平面包括光敏像素的阵列；利用以下各项来组装M x N阵列相机模块：M x N个焦平面的成像器阵列；透镜堆叠的M x N光学阵列，其中每个透镜堆叠对应于一焦平面，其中M x N阵列相机模块被组装成使得：每个透镜堆叠及其相应的焦平面定义一相机；在阵列相机模块内实现颜色滤光器以使得阵列相机模块被用至少一个π滤光器群组来形成图案，该至少一个π滤光器群组包括： 3 x 3相机阵列，其包括：在3 x 3相机阵列的中心处的基准相机；位于3 x 3相机阵列的相对侧的两个红颜色相机；位于3 x 3相机阵列的相对侧的两个蓝颜色相机；以及围绕基准相机的四个绿颜色相机；并且其中，用至少一个π滤光器群组来对阵列相机模块形成图案以使得包括缺陷焦平面的相机是绿颜色相机。
在另一实施例中，在成像器阵列上实现至少一个颜色滤光器。
在另一实施例中，在透镜堆叠内实现至少一个颜色滤光器。
在另一实施例中，基准相机是绿颜色相机。
在另一实施例中，基准相机是以下各项之一：包含拜耳滤光器的相机、被配置为捕捉红外光的相机、以及被配置为捕捉紫外光的相机。
在另一实施例中，一种阵列相机模块包括：包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在成像器阵列的不包含来自另一焦平面的像素的区域内；M x N个透镜堆叠的光学阵列，其中由透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；其中，成像器阵列和透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的M x N阵列；其中，相机的M x N阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且其中，相机的M x N阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。
在另一实施例中，红颜色相机是捕捉包括具有在620nm到750 nm的范围内的波长的电磁波的图像数据的相机；绿颜色相机是捕捉包括具有在495nm到570nm的范围内的波长的电磁波的图像数据的相机；并且蓝颜色相机是捕捉包括具有在450nm到495nm的范围内的波长的电磁波的图像数据的相机。
在另一实施例中，阵列相机模块内的每个相机的光学器件被配置成使得每个相机具有场景的如下视场，该视场相对于其他相机的视场是偏移的，从而每个相机的视场相对于其他相机的视场的每个偏移被配置为包括场景的唯一亚像素偏移视域。
在另一实施例中，M和N各自大于2并且M和N中的至少一个是偶数；在阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对阵列相机模块形成图案，该至少一个π滤光器群组包括：3 x 3相机阵列，其包括：在3 x 3相机阵列的中心处的基准相机；位于3 x 3相机阵列的相对侧的两个红颜色相机；位于3 x 3相机阵列的相对侧的两个蓝颜色相机；以及围绕基准相机的四个绿颜色相机。
在另一实施例中，围绕基准相机的四个绿颜色相机中的每一个被部署在3 x 3相机阵列的角落位置。
在另一实施例中，M为四；N为四；4 x 4阵列相机模块的第一行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和红颜色相机； 4 x 4阵列相机模块的第二行相机按顺序包括红颜色相机、绿颜色相机、红颜色相机和绿颜色相机；4 x 4阵列相机模块的第三行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和蓝颜色相机；并且4 x 4阵列相机模块的第四行相机按顺序包括蓝颜色相机、绿颜色相机、红颜色相机和绿颜色相机。
在另一实施例中，M为四；N为四；4 x 4阵列相机模块的第一行相机按顺序包括红颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机； 4 x 4阵列相机模块的第二行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和红颜色相机；4 x 4阵列相机模块的第三行相机按顺序包括蓝颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；并且4 x 4阵列相机模块的第四行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和蓝颜色相机。
在另一实施例中，至少一个π滤光器群组内的基准相机是绿颜色相机。
在另一实施例中，至少一个π滤光器群组内的基准相机是包含拜耳滤光器的相机。
在另一实施例中，基准相机是以下各项之一：包含拜耳滤光器的相机、被配置为捕捉红外光的相机、以及被配置为捕捉紫外光的相机。
在另一实施例中，两个红颜色相机中的每一个位于3 x 3相机阵列的角落位置，并且其中，两个蓝颜色相机中的每一个位于3 x 3相机阵列的角落位置。
在另一实施例中，在成像器阵列上实现至少一个颜色滤光器。
在另一实施例中，在透镜堆叠上实现至少一个颜色滤光器。
在另一实施例中，一种3 x 3阵列相机模块包括：包括焦平面的3 x 3布置的3 x 3成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在成像器阵列的不包含来自另一焦平面的像素的区域内；透镜堆叠的3 x 3光学阵列，其中由透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；其中，成像器阵列和透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的3 x 3阵列；其中，3 x 3相机阵列包括：在3 x 3相机阵列的中心处的基准相机；位于3 x 3相机阵列的相对侧的两个红颜色相机；位于3 x 3相机阵列的相对侧的两个蓝颜色相机；以及四个绿颜色相机，各自位于3 x 3相机阵列的角落位置；其中每个颜色相机是利用颜色滤光器来实现的。
在另一实施例中，在成像器阵列上实现至少一个颜色滤光器来实现颜色相机。
在另一实施例中，在透镜堆叠内实现至少一个颜色滤光器来实现颜色相机。
在另一实施例中，基准相机是绿颜色相机。
在另一实施例中，基准相机是以下各项之一：包含拜耳滤光器的相机、被配置为捕捉红外光的相机、以及被配置为捕捉紫外光的相机。
在另一实施例中，一种阵列相机模块包括：包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在成像器阵列的不包含来自另一焦平面的像素的区域内；M x N个透镜堆叠的光学阵列，其中由透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；其中，成像器阵列和透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的M x N阵列；并且其中，相机的M x N阵列中的至少一行或者至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。
在另一实施例中，M为三；N为三；3 x 3阵列相机模块的第一行相机按顺序包括蓝颜色相机、绿颜色相机和绿颜色相机；3 x 3阵列相机模块的第二行相机按顺序包括红颜色相机、绿颜色相机和红颜色相机；并且3 x 3阵列相机模块的第三行相机按顺序包括绿颜色相机、绿颜色相机和蓝颜色相机。
在另一实施例中，M为三；N为三；3 x 3阵列相机模块的第一行相机按顺序包括红颜色相机、绿颜色相机和绿颜色相机；3 x 3阵列相机模块的第二行相机按顺序包括蓝颜色相机、绿颜色相机和蓝颜色相机；并且3 x 3阵列相机模块的第三行相机按顺序包括绿颜色相机、绿颜色相机和红颜色相机。
在另一实施例中，一种阵列相机包括：阵列相机模块，其包括：包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在成像器阵列的不包含来自另一焦平面的像素的区域内；M x N个透镜堆叠的光学阵列，其中由透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；其中，成像器阵列和透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的Mx N阵列；其中，M x N相机阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且其中，M x N相机阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；以及处理器，其包括图像处理管道，该图像处理管道包括：视差检测模块；以及超分辨率模块；其中，视差检测模块被配置为从相机模块获得场景的基准低分辨率图像和该场景的至少一个替换视域图像；其中，视差检测模块被配置为比较基准图像和至少一个替换视域图像以为基准图像确定深度图和遮蔽图；并且其中，超分辨率模块被配置为至少利用基准图像、深度图、遮蔽图和至少一个替换视域图像来合成高分辨率图像。
附图说明
图1A和1B示出了涉及图像捕捉的并且可根据本发明的实施例来应对的视差和遮蔽的原理。
图2示出了根据本发明的实施例的具有相机模块和处理器的阵列相机。
图3示出了根据本发明的实施例的具有光学阵列和成像器阵列的相机模块。
图4示出了根据本发明的实施例的图像处理管道。
图5A概念性示出了根据本发明的实施例的用π滤光器群组来形成图案的3 x 3相机模块，其中红颜色相机被水平布置并且蓝颜色相机被垂直布置。
图5B概念性示出了根据本发明的实施例的用π滤光器群组来形成图案的3 x 3相机模块，其中红颜色相机被垂直布置并且蓝颜色相机被水平布置。
图5C概念性示出了根据本发明的实施例的用π滤光器群组来形成图案的3 x 3相机模块，其中红颜色相机和蓝颜色相机被布置在3 x 3 相机模块的角落位置。
图5D和5E概念性示出了用π滤光器群组来形成图案的数个3 x 3 相机模块。
图6概念性示出了根据本发明的实施例的用两个π滤光器群组来形成图案的4 x 4相机模块。
图7概念性示出了根据本发明的实施例的用两个π滤光器群组来形成图案的4 x 4相机模块，其中具有可各自充当基准相机的两个相机。
图8A示出了根据本发明的实施例的用于就缺陷焦平面来测试成像器阵列以创建减小任何缺陷焦平面的影响的相机模块的过程。
图8B概念性示出了用两个π滤光器群组来形成图案的4 x 4相机模块，其中故障焦平面引起可能的基准相机周围的红色覆盖的丧失。
图8C示出了根据本发明的实施例的以相对于图8B 不同的π滤光器群组的布置来形成图案的4 x 4相机模块，其中故障焦平面没有导致可能的基准相机周围的红色覆盖的丧失。
图9A概念性示出了根据本发明的实施例的使用相机的子集来为用π滤光器群组来形成图案的4 x 4相机模块上的在3D模式中操作的阵列相机产生左虚拟视点。
图9B概念性示出了根据本发明的实施例的使用相机的子集来为用π滤光器群组来形成图案的4 x 4相机模块上的在3D模式中操作的阵列相机产生右虚拟视点。
图9C和9D概念性示出了采用π滤光器群组来捕捉立体图像的阵列相机模块，这些立体图像具有与相机阵列内的基准相机的视点相对应的视点。
图10概念性示出了根据本发明的实施例的用π滤光器群组来形成图案的4 x 4相机模块，其中利用了九个相机来捕捉用于合成视频的帧的图像数据。
图11是示出根据本发明的实施例的用于生成包括π滤光器群组的颜色滤光器图案的过程的流程图。
图12A–12D示出了根据本发明的实施例的用于为5 x 5相机阵列生成包括π滤光器群组的颜色滤光器图案的过程。
图13A–13D示出了根据本发明的实施例的用于为4 x 5相机阵列生成包括π滤光器群组的颜色滤光器图案的过程。
图14示出了根据本发明的实施例的利用π滤光器群组来形成图案的7 x 7相机阵列。
具体实施方式
现在转到附图，图示了根据本发明的实施例的用于利用π滤光器群组来对阵列相机形成图案的系统和方法。在许多实施例中，以一个或多个π滤光器群组来对阵列相机的相机模块形成图案。术语“形成图案”在这里指的是使用相机模块内的个体相机中的特定颜色滤光器，使得相机在阵列相机内形成颜色通道的图案。术语“颜色通道”或“颜色相机”可用来指捕捉光谱的特定部分内的图像数据的相机，而并不一定限于与特定颜色有关的图像数据。例如，“红颜色相机”是捕捉与人类传统上感知为红色的电磁波相对应(即，在这些电磁光谱内) 的图像数据的相机，并且对于“蓝颜色相机”、“绿颜色相机”等等也是类似的。换言之，红颜色相机可捕捉与具有约620nm到750nm 之间的波长的电磁波相对应的图像数据；绿颜色相机可捕捉与具有约 495nm到约570nm之间的波长的电磁波相对应的图像数据；并且蓝颜色相机可捕捉与具有约450nm到约495nm之间的波长的电磁波相对应的图像数据。在其他实施例中，可见光谱的由蓝颜色相机、绿颜色相机和红颜色相机捕捉的部分可取决于具体应用的要求。术语“拜耳相机”可用于指利用图像平面上的拜耳滤光器图案来捕捉图像数据的相机。在许多实施例中，颜色通道可包括捕捉红外光、紫外光、扩展颜色和可见光谱的适合于具体应用的任何其他部分的相机。术语“π滤光器群组”指的是一种3 x3相机群组，其包括中央相机和分布在中央相机周围的颜色相机，以减小每个颜色通道中的遮蔽区。π滤光器群组的中央相机在利用由成像器阵列捕捉的图像数据来合成图像时可用作基准相机。当相机的视点被用作合成的图像的视点时，该相机是基准相机。π滤光器群组的中央相机以如下方式被颜色相机所围绕：当中央相机被用作基准相机时，使得每个颜色相机的遮蔽区达到最低限度。遮蔽区是对于如下相机不可见的围绕前景对象的区域：这些相机由于视差的效果而在空间上相对于基准相机有偏移。
如下文进一步论述的，增加在基准视点周围的互补遮蔽区中从不同视点捕捉场景的图像的相机的数目增大了从基准视点可见的场景的每个部分从至少一个其他相机的视点也可见的可能性。当阵列相机使用不同的相机来捕捉光的不同波长时(例如，RGB)，将捕捉每个光波长的至少一个相机分布在围绕基准视点的象限中可大幅减小场景的从基准视点可见的部分将在特定颜色通道内捕捉的每个其他图像中被遮蔽的可能性。在数个实施例中，利用同一颜色通道中的位于基准相机的相对侧的两个相机或者每个颜色通道中的分布在基准相机周围的三个扇区中的三个相机，可以实现从基准视点可见的场景部分将在特定颜色通道内捕捉的每个其他图像中被遮蔽的可能性的类似减小。在其他实施例中，相机被分布在基准相机周围的多于四个扇区中。
在若干个实施例中，π滤光器群组的中央相机是绿相机，而在其他实施例中，中央相机捕捉来自光谱的任何适当部分的图像数据。在数个实施例中，中央相机是拜耳相机(即，利用拜耳滤光器图案来捕捉颜色图像的相机)。在许多实施例中，π滤光器群组是3 x 3相机阵列，其中在每个角落有一绿颜色相机并且在中央有一可充当基准相机的绿颜色相机，并且红和蓝相机对称分布在中央绿相机周围。对称分布可包括如下布置：红颜色相机紧挨在中央绿基准相机上方和下方，蓝颜色相机紧挨在其左侧和右侧，或者蓝颜色相机紧挨在绿色中央基准相机上方和下方，红颜色相机紧挨在其左侧和右侧。
根据本发明的许多实施例，可以利用π滤光器群组来对大于3 x 3 相机阵列的尺寸的相机模块形成图案。在许多实施例中，用π滤光器群组对相机模块形成图案使得能够高效地分布基准相机周围的相机，这减小了遮蔽区。在若干个实施例中，π滤光器群组的图案可与彼此交叠，使得相机模块上的两个交叠的π滤光器群组共享共同的相机。当交叠的π滤光器群组没有跨越相机模块中的所有相机时，不是π滤光器群组的一部分的相机可通过如下方式被指派以一种颜色来减小所得到的相机阵列中的遮蔽区：将每个颜色通道中的相机分布在基准相机和/或相机阵列内的可充当基准相机的多个相机周围的预定数目的扇区中的每一个扇区内。
在一些实施例中，可以利用π滤光器群组来对相机模块形成图案，使得相机模块中的至少一行或相机模块中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。在许多实施例中，阵列相机模块的至少一行和至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。这些布置可减小遮蔽的情况，因为它们使得捕捉不同波长的相机分布在整个相机各处。当然，利用此方案可实现相机的任何适当的组合。例如，在若干个实施例中，阵列相机模块的至少一行和至少一列包括至少一个青色相机、至少一个品红颜色相机和至少一个黄色相机(例如，与CMYK颜色模型相对应的颜色相机)。在一些实施例中，阵列相机模块的至少一行和至少一列包括至少一个红颜色相机、至少一个黄色相机和至少一个蓝颜色相机(例如，与RYB颜色模型相对应的颜色相机)。
此外，根据本发明的许多实施例也可以利用π滤光器群组来对M x N尺寸的相机模块形成图案，其中M和N中的至少一者是偶数。在如下程度上这些相机模块可不同于其中M和N都是奇数的M x N相机模块：在M和N中的至少一者为偶数的情况下，构成相机中没有一个与相机阵列的中心对齐。相反，在M和N都是奇数的情况下，存在与相机阵列的中心相对应的相机。例如，在采用单个π滤光器群组的3 x 3相机模块中，存在与相机阵列的中心相对应的中央相机。与相机阵列的中心对齐的相机通常被选择为相机模块的基准相机。因此，在M和N之一为偶数的情况下，可以利用任何适当的相机作为相机模块的基准相机。此外，围绕基准相机的颜色相机不需要均一分布，而只需要以从基准相机的角度来看最小化或减小每个颜色的遮蔽区的方式来分布。与利用来自虚拟视点的相同图像数据来合成图像相比，利用π滤光器群组中的基准相机来从捕捉的图像数据合成图像的计算密集度要低得多。
包括以利用相机模块内的相机的子集(即，不要求利用相机模块上的所有相机)的π滤光器群组来形成图案的相机模块的阵列相机可以捕捉高质量图像或视频。类似的技术也可用于利用由相机模块内的相机的子集捕捉的图像数据来高效生成立体3D图像。
用π滤光器群组对相机模块形成图案还使能了具有多个π滤光器群组的相机模块中的鲁棒的故障耐受，因为如果一基准相机开始表现得次最优，则可利用多个可能的基准相机。用π滤光器群组对相机模块形成图案还允许了制造相机模块时的产量增大，因为只要通过改变光学阵列中的颜色透镜堆叠的图案就可以最小化缺陷焦平面对焦平面阵列的影响。根据本发明的实施例的各种π滤光器群组和利用π滤光器群组对相机模块的图案形成在下文进一步论述。
阵列相机
在许多实施例中，阵列相机包括相机模块和处理器。根据本发明的实施例的具有用π滤光器群组来形成图案的相机模块的阵列相机在图2中示出。阵列相机200包括作为个体相机204的阵列的相机模块 202，其中每个相机204包括具有相应的透镜堆叠的焦平面。个体相机的阵列指的是具有特定布置的多个相机，例如(但不限于)图示的实施例中利用的方形布置。相机模块202连接206到处理器208。在图示的实施例中，标记为“R”的相机204指的是具有红色滤光颜色通道的红相机，“G”指的是具有绿色滤光颜色通道的绿相机，并且“B”指的是具有蓝色滤光颜色通道的蓝相机。虽然图2中示出了特定的阵列相机，但根据本发明的许多不同实施例可以利用多种不同的阵列相机配置中的任何一种。
阵列相机模块
根据本发明的实施例的阵列相机模块(或“相机模块”)可由包括焦平面的阵列的成像器阵列或传感器和对于成像器阵列中的每个焦平面包括一透镜堆叠的光学阵列构造而成。包括多个焦平面的传感器在Pain等人的标题为“Architectures for System onChip Array Cameras”的美国专利申请序列号13/106,797中论述，该美国专利申请的公开内容通过引用被全部并入在此。滤光器可用于由光学阵列中的透镜堆叠形成的每个光学通道内以使得阵列相机模块内的不同相机能够捕捉关于电磁光谱的不同部分的图像数据。
根据本发明的实施例的相机模块在图3中示出。相机模块300包括成像器阵列330以及相应的光学阵列310，成像器阵列330包括焦平面340的阵列，光学阵列310包括透镜堆叠320的阵列。在透镜堆叠的阵列内，每个透镜堆叠320创建在相应的焦平面340内的光敏像素的阵列上形成场景的图像的光学通道。每对透镜堆叠320和焦平面 340形成相机模块内的单个相机204，从而由透镜堆叠的光学阵列中的单独透镜堆叠在每个焦平面上形成图像。相机204的焦平面340内的每个像素生成可从相机204发送到处理器208的图像数据。在许多实施例中，每个光学通道内的透镜堆叠被配置成使得每个焦平面340的像素对场景内的相同对象空间或区域采样。在若干个实施例中，透镜堆叠被配置成使得对相同对象空间采样的像素以亚像素偏移量来进行该采样，以提供可被利用来通过使用超分辨率过程来重获增大的分辨率的采样多样性。例如，每个相机模块的光学器件可被配置成使得相机模块内的每个相机具有场景的如下视场，该视场相对于相机模块内的其他相机的视场是有所偏移的，使得每个相机的视场的相对于其他相机的视场的每个偏移被配置为包括场景的唯一亚像素偏移视域。
在图示的实施例中，焦平面被配置成5 x 5阵列。传感器上的每个焦平面340能够捕捉场景的图像。通常，每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个焦平面被包含在成像器的不包含来自另一焦平面的像素的区域内。在许多实施例中，可以独立控制每个焦平面的图像数据捕捉和读出。换言之，透镜堆叠的光学阵列和成像器阵列形成可被配置为独立地捕捉场景的图像的相机的阵列。这样，可以独立地确定包括(但不限于)曝光时间和焦点内的像素的模拟增益在内的图像捕捉设定以使得能够基于包括(但不限于)特定的颜色通道和/或场景动态范围的特定部分在内的因素来定制图像捕捉设定。焦平面中利用的传感器元件可以是个体光感测元件，例如但不限于传统的CIS(CMOS图像传感器)像素、CCD(电荷耦合器件) 像素、高动态范围传感器元件、多谱传感器元件和/或任何其他被配置为生成指示入射在结构上的光的电信号的结构。在许多实施例中，每个焦平面的传感器元件具有相似的物理属性并且经由相同的光学通道和颜色滤光器(如果存在的话)接收光。在其他实施例中，传感器元件具有不同的特性，并且在许多情况中，传感器元件的特性与应用到每个传感器元件的颜色滤光器有关。
在若干个实施例中，个体相机中的颜色滤光器可用于用π滤光器群组对相机模块形成图案。这些相机可用于捕捉关于不同颜色或者光谱的特定部分的数据。与向相机的像素应用颜色滤光器不同，本发明的许多实施例中的颜色滤光器被包括在透镜堆叠中。例如，绿颜色相机可包括具有允许绿光通过光学通道的绿滤光器的透镜堆叠。在许多实施例中，每个焦平面中的像素是相同的，并且像素捕捉的光信息是由每个焦平面的相应透镜堆叠中的颜色滤光器来区分的。虽然上文描述了具有在透镜堆叠中包括颜色滤光器的光学阵列的相机模块的特定构造，但包括π滤光器群组的相机模块可按多种方式来实现，包括(但不限于)通过向相机模块的焦平面的像素应用颜色滤光器，其方式类似于向传统的颜色相机的像素应用颜色滤光器的方式。在若干个实施例中，相机模块中的相机中的至少一个可包括应用到其焦平面中的像素的统一颜色滤光器。在许多实施例中，拜耳滤光器图案被应用到相机模块中的相机之一的像素。在数个实施例中，构造如下的相机模块：其中，在透镜堆叠中和成像器的像素上都利用颜色滤光器。
在若干个实施例中，阵列相机生成来自多个焦平面的图像数据并且使用处理器来合成场景的一个或多个图像。在某些实施例中，由传感器阵列中的单个焦平面捕捉的图像数据可构成低分辨率图像，或者说“LR图像”(这里的术语低分辨率只是用于与更高分辨率图像或超分辨率图像或者说“HR图像”或“SR图像”形成对照)，处理器可将该低分辨率图像与由相机模块捕捉的其他低分辨率图像数据结合使用来通过超分辨率处理构造更高分辨率的图像。可以用来利用由阵列相机捕捉的低分辨率图像合成高分辨率图像的超分辨率过程在 2010年12月14日递交的标题为“Systems and Methods for Synthesizing HighResolution Images Using Super-Resolution Processes”的美国专利申请12/967,807中论述，该美国专利申请的公开内容通过引用被全部并入在此。
虽然以上公开了特定的成像器阵列配置，但根据本发明的实施例，可以利用包括感测可见光、可见光谱的一些部分、近IR光、光谱的其他部分和/或光谱的不同部分的组合的成像器的多种常规或非常规的成像器布局中的任何一种来捕捉LR图像，这些LR图像提供一个或多个信息通道来用于SR过程中。对捕捉的LR图像的处理在下文进一步论述。
图像处理管道
根据本发明的实施例的处理LR图像以获得SR图像通常在阵列相机的图像处理管道中发生。在许多实施例中，图像处理管道在对LR 图像执行SR过程之前执行配准LR图像的过程。在若干个实施例中，图像处理管道还执行消除问题像素并对视差进行补偿的过程。
根据本发明的实施例的包含用于融合(fuse)来自LR图像的信息以获得合成的HR图像的SR模块的图像处理管道在图4中示出。在图示的图像处理管道400中，从焦平面340读出像素信息并将像素信息提供到光度转换模块402以进行光度正规化。光度转换模块可执行多种光度图像处理过程中的任何一种，包括但不限于光度正规化、黑电平计算和调整、光晕校正和横向颜色校正中的一种或多种。在若干个实施例中，光度转换模块还执行温度正规化。在图示的实施例中，光度转换模块的输入是光度校准数据401和捕捉的LR图像。光度校准数据通常是在离线校准过程期间捕捉的。光度转换模块402的输出是一组光度正规化的LR图像。这些光度正规化的图像被提供给视差检测模块404和超分辨率模块406。
在执行SR处理之前，图像处理管道检测随着由成像器阵列捕捉的场景中的对象接近成像器阵列而变得更明显的视差。在图示的实施例中，视差(或像差)检测是利用视差检测模块404来执行的。在若干个实施例中，视差检测模块404生成关于前景对象周围的遮蔽区的遮蔽图。在许多实施例中，遮蔽图是为LR成像器对创建的二进制图。在许多实施例中，生成遮蔽图来图示场景中的点在基准LR成像器的视场中是否可见以及场景中的在基准成像器的视场内可见的点在其他成像器的视场中是否可见。如上所述，对π滤光器群组的使用可增大在基准LR图像中可见的像素在至少一个其他LR图像中可见(即，不被遮蔽)的可能性。为了确定视差，视差检测模块404利用经由地址转换模块410获得的几何校准数据408对经光度正规化的LR图像执行场景无关几何校正。视差检测模块404随后可以比较经几何和光度校正的LR图像以检测LR图像之间的场景相关几何位移的存在。关于这些场景相关几何位移的信息可被称为视差信息并且可以以场景相关视差校正和遮蔽图的形式被提供给超分辨率模块406。如下文将更详细论述的，视差信息也可包括生成的深度图，这些深度图也可被提供给超分辨率模块406。几何校准(或者场景无关几何校正)数据 408可利用离线校准过程或者后续的再校准过程来生成。场景无关校正信息以及场景相关几何校正信息(视差)和遮蔽图形成用于LR图像的几何校正信息。
一旦生成了视差信息，视差信息和经光度正规化的LR图像就被提供给超分辨率模块406以用在对一个或多个HR图像420的合成中。在许多实施例中，超分辨率模块406利用视差信息和经由地址转换模块410获得的几何校准数据408来执行场景无关和场景相关几何校正 (即，几何校正)。经光度正规化和几何配准的LR图像随后被用在 HR图像的合成中。合成的HR图像随后可被馈送到下游的颜色处理模块412，颜色处理模块412可利用被配置为执行颜色校正和/或色度水平调整的任何标准颜色处理模块来实现。在若干个实施例中，颜色处理模块执行包括但不限于以下各项中的一个或多个的操作：白平衡、颜色校正、伽马校正、以及RGB到YUV校正。
在数个实施例中，根据本发明的实施例的图像处理管道包括动态重调焦模块。动态重调焦模块使得用户能够指定场景内的焦平面来在合成HR图像时使用。在若干个实施例中，动态重调焦模块为场景构建估计的HR深度图。动态重调焦模块可使用HR深度图来模糊合成的图像以使得场景的不位于焦平面上的部分看起来是焦点未对准的。在许多实施例中，SR处理限于位于焦平面上以及在焦平面周围的指定 Z范围内的像素。
在若干个实施例中，利用多种基于标准的或者专属的编码过程中的任何一种来对合成的高分辨率图像420进行编码，所述编码过程包括但不限于根据由联合照片专家组开发的JPEG标准来对图像编码。随后根据适合于所使用的编码技术的文件格式来存储经编码的图像，包括但不限于JPEG交换格式(JIF)、JPEG文件交换格式(JFIF) 或者可交换图像文件格式(Exif)。
根据本发明的实施例也可利用在阵列相机中的与图4所示的处理管道类似的处理管道在PCT公布WO 2009/151903中描述。虽然上文描述了特定的图像处理管道，但根据本发明的实施例的超分辨率过程可用于在根据本发明的实施例的超分辨率处理之前配准LR图像的多种图像处理管道的任何一种之内。
如上文提到的，视差信息可用于生成深度图以及遮蔽图，这在下文中论述。
在阵列相机中利用像差来生成深度图
根据本发明的许多实施例的阵列相机使用在由阵列相机捕捉的图像中观察到的像差来生成深度图。深度图通常被视为关于图像(常常是由基准相机捕捉的基准图像)的一层元数据，该层元数据描述从相机到图像内的特定像素或像素群组的距离(取决于深度图的分辨率相对于原始输入图像的分辨率)。根据本发明的数个实施例的阵列相机将深度图用于多种用途，包括(但不限于)在高分辨率图像的合成期间生成场景相关几何偏移和/或执行合成的图像的动态重调焦。
基于以上对像差的论述，基于像素像差来确定场景的一部分的深度的过程在理论上是简单明了的。当阵列相机中的特定相机的视点被选择为基准视点时，到从该基准视点可见的场景部分的距离可利用由相机阵列捕捉的其他图像(常称为替换视域图像)之中的一些或全部中的相应像素之间的像差来确定。在没有遮蔽的情况下，与从基准视点捕捉的基准图像中的像素相对应的像素在每个替换视域图像中将沿着极线(epipolar line)(即，与两个相机之间的基线向量平行的线) 定位。像差的沿着极线的距离对应于该相机与由像素捕捉的场景部分之间的距离。因此，通过比较捕捉到的基准图像和(一个或多个)替换视域图像中的预期为在特定深度处对应的像素，可以对得出具有最高相似程度的像素的深度进行搜索。基准图像和(一个或多个)替换视域图像中的相应像素具有最高相似程度之处的深度可被选择为相机与由该像素捕捉的场景部分之间的最有可能的距离。
然而，在利用以上概述的方法确定精确的深度图时，存在许多挑战。在若干个实施例中，阵列相机中的相机是相似但不相同的。因此，包括(但不限于)光学特性、不同传感器特性(例如由偏移引起的传感器响应的变化、不同的传输或增益响应、像素响应的非线性特性)、捕捉到的图像中的噪声和/或与关于组装过程的制造容差有关的翘曲或失真在内的图像特性在图像之间可能发生变化，从而降低不同图像中的相应像素的相似性。此外，超分辨率过程依赖于由成像器阵列捕捉到的图像中的采样多样性以便合成更高分辨率的图像。然而，增大采样多样性也可涉及减小光场中捕捉到的图像中的相应像素之间的相似性。考虑到以上概述的用于确定深度的过程依赖于像素的相似性，捕捉到的图像之间的光度差异和采样多样性的存在可降低能够确定深度图的精确度。
深度图的生成由于遮蔽而进一步复杂化。如上所述，当从基准视点可见的像素在捕捉到的图像之中的一个或多个中不可见时，遮蔽发生。遮蔽的影响是，在正确的深度，否则会被相应像素占据的像素位置被对场景的另一部分(通常是更靠近相机的对象)采样的像素所占据。遮蔽像素经常与被遮蔽像素非常不同。因此，对正确深度处的像素的相似性的比较不那么可能产生比其他深度高得多的相似程度。实际上，遮蔽像素充当掩蔽实际上在正确深度处对应的那些像素的相似性的强离群值(outlier)。因此，遮蔽的存在可向深度图中引入强误差源。另外，使用π滤光器群组来增大在由基准相机捕捉的图像中可见的像素在由阵列内的其他相机捕捉的替换视域图像中可见的可能性可以减小按上述方式生成的深度图中的误差。
根据本发明的许多实施例的用于生成深度图的过程尝试减少由包括(但不限于)上文概述的那些在内的来源引入到深度图中的误差源。例如，标题为“Systems andMethods for Parallax Detection and Correction in Images Captured Using ArrayCameras”的美国专利申请序列号61/780,906公开了这种过程。如上文已经声明的，美国专利申请序列号61/780,906的公开内容通过引用被全部并入在此。此外，如上所述，对π滤光器群组的使用可以大幅减小从基准相机的视点可见的像素在颜色通道内的所有相机内被遮蔽的可能性。许多不同的阵列相机能够利用根据本发明的实施例的π滤光器群组。利用根据本发明的实施例的π滤光器群组的相机模块在下文更详细描述。
用π滤光器群组来形成图案
根据本发明的实施例，可以用π滤光器群组来对相机模块形成图案。在若干个实施例中，被用作相机模块的一部分的π滤光器群组可各自包括可充当基准相机的中央相机，该中央相机被颜色相机以对于每种颜色减小遮蔽区的方式所围绕。在某些实施例中，利用RGB颜色模型来将相机模块布置成矩形格式，其中基准相机是被红、绿和蓝相机围绕的绿相机。在若干个实施例中，数目是红相机的数目的两倍并且是蓝相机的数目的两倍的绿相机围绕着基准相机。在许多实施例中，红颜色相机和蓝颜色相机位于3 x 3相机阵列的相对位置。当然，除了RGB颜色模型以外，还可以利用来自任何颜色模型的任何颜色集合来检测颜色的有用范围，例如青、品红、黄和黑(CMYK)颜色模型或者红、黄和蓝(RYB)颜色模型。
在若干个实施例中，当使用RGB颜色模型时，在相机模块的图案形成中可利用两个π滤光器群组。一个π滤光器群组在图5A中示出，并且另一π滤光器群组在图5B中示出。这些π滤光器群组中的任一个可用于对具有大于3 x 3相机阵列的尺寸的任何相机模块进行图案形成。
在具有3 x 3相机模块的实施例中，用π滤光器群组对相机模块进行的图案形成仅包括单个π滤光器群组。根据本发明的实施例的3 x 3相机模块上的π滤光器群组在图5A中示出。π滤光器群组500包括每个角落处的绿相机、在方框502内标注的中心处的绿基准相机、在基准相机上方和下方的蓝相机和在基准相机左侧和右侧的红相机。在此配置中，围绕中央基准相机的绿相机的数目是红相机的数目的两倍并且是蓝相机的数目的两倍。此外，红相机相对于3 x 3相机阵列的中心位于相对位置以减少遮蔽。类似地，蓝相机相对于3 x3相机阵列的中心位于相对位置以减少遮蔽。根据本发明的实施例，图5A中描述的π滤光器群组的替换在图5B中示出。这个π滤光器群组也包括在角落处的绿相机，并且绿基准相机552位于中心，如方框所示。然而，与图5A不同，图5B所示的红相机在基准相机的上方和下方，并且蓝相机在基准相机的左侧和右侧。与图5A所示的π滤光器群组一样，图5B中的π滤光器群组包括被数目为红相机的数目的两倍并且为蓝相机的数目的两倍的绿相机围绕的中央基准相机。如上所述，基准相机不需要是绿相机。在若干个实施例中，可以修改图5A和5B中的配置以包括采用拜耳颜色滤光器的中央相机。在其他实施例中，中央相机是红外相机、扩展颜色相机和/或适合于特定应用的任何其他类型的相机，例如红外相机或者UV相机。在另外的实施例中，多种颜色相机中的任何一种可分布在基准相机周围、在3 x 3阵列中相对于基准相机的相对位置处，并且其分布方式减小关于每个颜色通道的遮蔽区。
例如，图5C描绘了一个实施例，其中绿颜色相机位于中央相机的上方、下方、左侧和右侧，而红颜色相机和蓝颜色相机部署在π滤光器群组的角落位置。注意，在此实施例中，第一和第三行和列各自具有红、绿和蓝颜色滤光器，并且此布置可减少遮蔽的情况。类似地，与图5A和5B中所示的实施例相比，图5C所示的配置在红和蓝颜色通道中可包括略大的遮蔽区，因为红和蓝颜色相机略微更远离中央基准相机。图5D和5E描绘了这样实施例：颜色相机围绕着中央绿相机，使得每个颜色通道中的相机在3 x 3阵列中相对于中央基准相机位于相对位置。在此配置中，相机在3 x 3阵列的角落中的蓝或红颜色通道与相机的位置更靠近中央基准相机(即，相机不位于角落中)的蓝或红颜色通道相比可能具有略大的遮蔽区。当然，如上所述，根据本发明的实施例，中央基准相机可以是任何适当的相机，例如不仅仅是绿相机。另外，许多实施例与图5D和5E中所见的那些是相似的，只不过它们利用了作为图5D和5E中所见的那些的镜像的布置。类似地，许多实施例与图5D和5E中所见的那些是相似的，只不过它们利用了相对于图5D和5E中所见的那些有所旋转的布置。
具有3 x 3相机以上的尺寸的任何相机模块都可以用一个或多个π滤光器群组来形成图案，其中在给定π滤光器群组的颜色滤光器指派的情况下，不在π滤光器群组内的相机被指派以一种减小或最小化相机模块内的遮蔽区的可能性的颜色。根据本发明的实施例的用两个π滤光器群组来形成图案的4 x 4相机模块在图6中示出。相机模块600 包括以基准绿相机604为中心的九个相机的第一π滤光器群组602。第二π滤光器群组610向第一π滤光器群组的右下在对角线上偏移一个相机地定位。第二π滤光器群组与第一π滤光器群组共享相机模块 600的四个中央相机612。然而，这些相机担当不同的角色(即，在两个π滤光器群组中，不同的相机充当基准相机)。如图6中所示，相机模块的角落606和608处的两个相机未被包括在两个π滤光器群组 602和610中。这些相机内利用的颜色滤光器是基于在给定作为两个π滤光器群组602和610的一部分的相机的颜色滤光器指派的情况下的遮蔽区的最小化来确定的。由于π滤光器群组的图案形成，在基准相机周围存在蓝颜色相机的均匀分布，但在基准相机上方没有红颜色相机。因此，选择右上角相机606为红色提供了来自基准相机上方的视点的红图像数据，并且对于第二π滤光器群组的中央相机和基准相机 604在场景中的前景图像的上方和右侧的遮蔽区的可能性被最小化了。类似地，选择左下角相机608为蓝色提供了来自基准相机左侧的视点的蓝图像数据，并且对于第二π滤光器群组的中央相机和基准相机604在场景中的前景图像的下方和左侧的遮蔽区的可能性被最小化了。从而，利用π滤光器群组可以对具有大于3 x 3的尺寸的相机模块形成图案，其中如上所述向未包括在任何π滤光器群组中的相机指派颜色以减小和/或最小化遮蔽区。结果，相机阵列包括包含蓝颜色相机、绿颜色相机和红颜色相机的至少一行和至少一列。虽然以上描述了特定的π滤光器群组，但根据本发明的许多不同实施例，多种π滤光器群组中的任何一种可对相机模块形成图案。
具有等同性能的多个基准相机选项
根据本发明的实施例使用多个π滤光器群组来对相机模块形成图案使得多个相机能够在具有等同性能的情况下被用作基准相机。根据本发明的实施例的具有两个π滤光器群组的4 x 4相机模块在图7中示出。相机模块700包括两个π滤光器群组702、706，其中每个π滤光器群组的中央相机704、708可充当基准相机。无论选择的基准相机如何，由于π滤光器群组的使用，基准相机周围的相机的分布都是等同的。从而，如果相机模块700检测到基准相机704的缺陷，则相机模块700可切换到使用另一π滤光器群组的中心处的相机作为基准相机708来避免第一基准相机704的缺陷。另外，利用π滤光器群组进行的图案形成不要求基准相机或虚拟视点在相机模块的中心处，而是要求基准相机被颜色相机以对于每种颜色减小遮蔽区的方式所围绕。虽然以上论述了特定的相机模块，但根据本发明的实施例可利用任意数目的不同尺寸的相机模块来创建多个基准相机选项。
制造产量提高
制造过程固有地涉及可导致缺陷的变化。在一些情况中，制造缺陷可能足够严重到使得成像器阵列内的整个焦平面不可工作。如果焦平面的故障导致对成像器阵列的丢弃，则增大了制造阵列相机的成本。用π滤光器群组来对相机模块形成图案可提供高制造产量，因为光学阵列的光学通道中的颜色滤光器的分配可用于减小故障焦平面对于利用由阵列相机捕捉的图像数据合成的图像中的遮蔽区的产生的影响。
在许多实施例中，由成像器阵列的焦平面中的像素感测到的光是由将光聚焦到该焦平面上的光学通道中包括的颜色滤光器来确定的。在制造期间，可以检测焦平面中的缺陷。当检测到缺陷时，可以确定光学阵列中的光学通道的颜色滤光器图案以使得缺陷焦平面不导致遮蔽区的大小的增大。通常，这意味着以使得缺陷焦平面的存在不减少相机阵列中的红或蓝相机的数目的方式来用π滤光器群组对相机模块形成图案(即，使用这样的滤光器图案，其导致绿通道被指派给缺陷焦平面，这将相机阵列中的绿相机的数目减少了一个相机)。
根据本发明的实施例的用于在组合光学阵列和成像器阵列以创建相机模块之前检测故障焦平面的过程在图8A 中示出。在图示的过程中，颜色滤光器图案是在光学阵列上而不是在成像器阵列的像素上形成图案的。通过制造具有不同的滤光器图案的不同类型的光学阵列，过程可以系统地选择特定的光学阵列来强制故障焦平面与某个滤光器的颜色配对以确保给定的颜色通道中的遮蔽区的大小被减小和/或最小化。过程800包括就故障焦平面来测试(802)成像器阵列。在测试(802)成像器阵列之后，作出关于在成像器阵列上是否检测到故障焦平面的判决(804)。如果检测到故障焦平面，则基于故障焦平面的位置来选择光学阵列(806)。在许多实施例中，通过以最小化故障焦平面对利用由成像器阵列捕捉的图像数据合成的图像内的遮蔽区的产生的影响的方式向可工作的焦平面指派颜色滤光器来选择减小故障焦平面的影响的光学阵列。对于在存在故障焦平面时选择减小遮蔽区的不同光学阵列的进一步论述在下文参考图8B 和8C 来提供。在基于故障焦平面的位置来选择(806)光学阵列之后，将所选择的光学阵列与成像器阵列相组合(808)来创建相机模块。如果未检测到故障焦平面，则可以将包括基于π滤光器群组的滤光器图案的多种光学阵列中的任何一种与被测成像器阵列相组合(808)来创建相机模块。如下文进一步论述的，典型的过程可包括默认光学阵列，该默认光学阵列包括基于π滤光器群组的第一滤光器图案，并且当检测到在使用第一滤光器图案时将导致减少相机模块中的颜色相机(或者甚至特定的颜色相机，例如相机模块的外侧附近的颜色相机)的数目的故障焦平面的特定缺陷时，可利用基于π滤光器群组的第二滤光器图案。
修改颜色滤光器指派可减小故障焦平面的影响的方式在图8B和 8C中示出。具有发生故障的红相机的相机模块在图8B中示出。相机模块820包括在中心处具有可能的基准相机822的第一π滤光器群组 828、在中心处具有可能的基准相机830的第二π滤光器群组832以及在两个π滤光器群组828和832下方的发生故障的红相机824。由于故障的红相机，在可能的基准相机822和830二者下方缺少红图像数据。因此，无论π滤光器群组中心处的两个相机中的哪个被选择为基准相机。因此，将包括图8B所示的滤光器图案的光学阵列组合到具有所指示的故障焦平面的成像器，该故障焦平面导致有缺陷的红相机，其阻止在任何基准相机下方捕捉红色信息，从而增大了前景对象下方的遮蔽区的可能性。然而，利用不同位置的π滤光器群组来形成图案的光学阵列可导致所有的蓝和红颜色滤光器被指派给有效的相机。这样，故障焦平面只影响绿相机的数目，而且是以减小利用由所得到的相机模块捕捉的图像数据合成的图像中的遮蔽区的可能性的方式来影响的。换句话说，通过以在给定故障焦平面的位置的情况下最小化遮蔽区的可能性的方式将包括故障焦平面的成像器阵列与光学阵列相组合，在某些情况下可以提高产量，其中该光学阵列以使得颜色信息在基准相机周围被捕捉的方式基于π滤光器群组来指派有效相机的颜色滤光器。
具有图8B的故障焦平面、但具有以使得故障焦平面不减少基准相机模块周围的红或蓝图像数据的捕捉的方式用π滤光器群组来形成图案的光学阵列的相机模块在图8C中示出。相对于图8B的光学阵列的图案，图8C的光学阵列沿着光学阵列的中央垂直二等分轴826翻转并且包括两个π滤光器群组828’和832’。与故障焦平面相关联的透镜堆叠是绿854，而不是图8B中的红824。由于在图8C中在所有可能的基准相机852、856下方有多个绿相机，所以失去绿相机854的影响不像失去图8B中的红相机824的影响那么大。因此，通过将故障成像器阵列与被具体选择来以减小故障焦平面将在由所得到的相机模块捕捉的任何颜色通道中产生遮蔽区的可能性的方式向成像器阵列中的焦平面指派颜色滤光器的光学阵列相组合，可以减小故障焦平面对成像器阵列的影响。虽然以上示例论述了减小红遮蔽区，但通过基于π滤光器群组适当地选择滤光器图案，可以类似地最小化成像器阵列中的任何位置的缺陷焦平面的影响。虽然以上描述了用π滤光器群组来形成图案以最小化由故障焦平面引起的产量损失的相机模块的具体示例，但包括π滤光器群组的多种替换颜色滤光器图案中的任何一种可根据本发明的实施例被利用来增大制造产量。
捕捉立体3D图像
在许多实施例中，可以如2010年12月14日递交的标题为“Systems and Methodsfor Synthesizing High Resolution Images Using Super-Resolution Processes”的美国专利申请12/967,807号中公开的那样使用超分辨率过程来利用由包括立体3D图像对的阵列相机捕捉的低分辨率图像合成高分辨率图像，该美国专利申请的公开内容通过上文的引用被并入。立体3D图像对是一个场景的来自空间上偏移的视点的两个图像，这两个图像可被组合来创建该场景的3D表示。对包括π滤光器群组的滤光器图案的使用可使能以计算上高效的方式合成立体3D图像。由阵列相机中的非全部相机捕捉的图像数据可用于合成每个形成立体3D图像对的图像。
用π滤光器群组来进行图案形成使得能够在基准相机周围高效地分布相机，这减小了遮蔽区并且减小了由相机模块捕捉的被利用来合成立体3D图像对中的每个图像的图像数据的量。在许多实施例中，相机的不同子集被用于捕捉形成立体3D图像对的每个图像并且每个子集包括π滤光器群组。在许多实施例中，形成立体3D图像对的图像是从相对于π滤光器群组的中心处的相机略微偏移的虚拟视点捕捉的。π滤光器群组的中央相机在被用作基准相机时被颜色相机以对于每个颜色相机最小化遮蔽区的方式所围绕。当虚拟视点接近π滤光器群组的中心时，颜色相机分布在虚拟视点周围的益处是类似的。
利用一相机模块捕捉的立体3D图像对的左虚拟视点在图9A中示出，该相机模块是利用π滤光器群组来形成图案的。左虚拟视点904 是从来自形成3 x 4阵列的12个圈出的相机G1–G3、G5–G7、B1–B2、 B4和R2–R3的图像数据取得的。该虚拟视点相对于绿相机G3是偏移的，绿相机G3是π滤光器群组906的中心。用于利用图7所示的相机模块捕捉立体对中的第二图像的右虚拟视点在图9B中示出。右虚拟视点954是从来自形成3 x 4阵列的12个圈出的相机B1–B3、G2–G4、 G6–G8、R1和R3–R4的图像数据取得的。该虚拟视点相对于绿相机 G6是偏移的，绿相机G6是π滤光器群组956的中心。因此，单个阵列相机可利用来自相机的子集的图像数据来捕捉场景的3D图像以合成形成立体对的每个图像。通过利用由相机模块中的非全部相机捕捉的图像数据，降低了生成立体3D图像对的计算复杂度。此外，每个图像的视点的接近作为π滤光器群组的中心的相机的位置减小了合成的图像中的遮蔽区的可能性。
在若干个实施例中，视点不需要是虚拟视点。在许多实施例中，可利用π滤光器群组来构造阵列相机模块，使得捕捉立体图像的视点是从相机阵列内的基准相机获得的基准视点。例如，在一些实施例中，提供了包括两个交叠的π滤光器群组的3 x 5相机模块。包括以两个基准绿颜色相机中的每一个为中心的两个交叠的π滤光器群组的3 x 5 相机模块在图9C中示出。具体地，相机模块960包括两个交叠的π滤光器群组962和964，其中每一个分别以两个基准绿颜色相机966 和968之一为中心。两个基准相机966和968用于提供两个基准视点。在许多实施例中，阵列相机模块被配置为利用非交叠的π滤光器群组来捕捉立体图像。包括可用于捕捉立体图像的非交叠π滤光器群组的 3 x 6阵列相机模块在图9D中示出。具体地，阵列相机模块970类似于图9C中所见的，只不过两个π滤光器群组972和974不交叠。在图示的实施例中，与之前一样，两个π滤光器群组972和974各自分别以两个绿颜色相机976和978之一为中心。两个基准相机976和978 用于提供两个基准视点。图9D所示的实施例表明，根据本发明的实施例，可以利用在每个π滤光器群组内具有不同的相机布置的π滤光器群组来对阵列相机模块进行图案形成。两个π滤光器群组972和974 使用不同的3 x 3相机布置。类似地，可以利用包含不同的3 x 3相机布置的π滤光器群组来构造不同尺寸的多种相机阵列中的任何一种。
虽然在图9A–9D中示出了特定的视点和用于合成立体3D图像对的相机的子集，但根据本发明的实施例可以利用多种相机模块的任何一种中的相机的子集来生成立体图像对。
利用相机的子集来捕捉图像
根据本发明的许多实施例，具有用π滤光器群组来形成图案的相机模块的阵列相机在操作中可利用非全部可用相机。在若干个实施例中，使用更少的相机可最小化利用阵列相机生成图像的计算复杂度并且可减小阵列相机的功率消耗。减少用于捕捉图像数据的相机的数目对于诸如视频之类的应用可能是有用的，其中可以利用相机模块可捕捉的图像数据中的非全部图像数据来合成视频的帧。在数个实施例中，可以利用单个π滤光器群组来捕捉图像。在许多实施例中，在用更多数目的相机捕捉图像数据之前，利用由单个π滤光器群组捕捉的图像数据来捕捉预览图像。在若干个实施例中，单个π滤光器群组中的相机捕捉视频图像数据。取决于具体应用的要求，可利用额外的相机来捕捉图像数据以增大分辨率和/或提供额外的颜色信息并减少遮蔽。
被利用来捕捉可用来合成图像的图像数据的相机模块内的π滤光器群组在图10中示出。在图示的实施例中，基准相机带有方框并且利用的相机被包围在虚线中。相机模块1000包括生成图像数据的相机 G1–G2、G5–G6、B1–B2和R2–R3的π滤光器群组，其中基准相机为G3。图10示出了π滤光器群组中的相机如何可被利用来捕捉图像。可以利用额外的相机来获取图像数据，以获得增大的分辨率并且在遮蔽区中提供额外的颜色信息。因此，根据本发明的许多不同的实施例，可以利用任意数目和布置的相机来利用相机模块捕捉图像数据。
构建包括π滤光器群组的颜色滤光器图案
根据本发明的实施例可以构造用于具有大于3 x 3的尺寸的任何相机阵列的颜色滤光器图案。在许多实施例中，用于构造颜色滤光器图案的过程通常涉及向相机模块中的相机指派颜色滤光器以最大化交叠的π滤光器群组的数目。在存在不能被包括在π滤光器群组中的相机的情况下，则基于最小化要用作基准相机的相机周围的遮蔽来向这些相机指派颜色滤光器，以便合成高分辨率图像。
根据本发明的实施例的用于向相机模块中的相机指派颜色滤光器的过程在图11中示出。过程1100包括选择(1102)阵列的角落，向所选择的角落指派(1104)π滤光器群组。该π滤光器群组占据3 x 3 网格。可以按最大化阵列内的交叠的π滤光器群组的数目的方式向剩余的相机指派(1106)颜色滤光器。在存在未被指派以颜色滤光器的相机的情况下，这些相机被指派(1108)以如下的颜色滤光器：这些颜色滤光器减小从对于该阵列被选择为基准相机的相机的视点合成的图像中的遮蔽区的可能性。此时，阵列中的所有相机都被指派了颜色滤光器。如上所述，多个π滤光器群组的存在提供了包括(但不限于) 以下各项在内的益处：对阵列内的特定相机中的故障的鲁棒性，以及利用由至少一个π滤光器群组捕捉的图像数据来以相机模块中的非全部相机合成图像的能力。
利用π滤光器群组为5 x 5阵列生成简单滤光器图案的过程在图 12A–12D中示出。该过程开始于选择阵列的左上角。向左上角中的相机的3 x 3群组指派π滤光器群组(相机G1–G5、B1–B2和R1–R2)。通过添加三个绿相机以及一蓝相机和一红相机(G6–G8以及B3和R3) 来创建第二交叠π滤光器群组。通过添加另外三个绿相机以及一蓝相机和一红相机(G9–G11以及B4和R4)来创建第三交叠π滤光器群组。通过添加单个绿相机、蓝相机和红相机(G12、B5、R5和G13、B6、R6) 来创建第五和第六π滤光器群组。在中央相机(G6)发生故障的情况下，另一π滤光器群组的中心处的相机可被用作基准相机(例如，G3)。
利用π滤光器群组为4 x 5阵列生成简单滤光器图案的类似过程在图13A–13D中示出。该过程非常类似，只不过两个相机未被包括在π滤光器群组中。由于在相机G6(其是π滤光器群组的中心)下方没有蓝相机这个事实，不形成π滤光器群组的一部分的相机被指派为蓝相机(B5和B6)。容易明白，根据本发明的实施例，可以向大于3 x 3阵列的任何阵列应用类似的过程以生成包含π滤光器群组的颜色滤光器图案。类似地，可以利用以上概述的过程来构造图14所示的包括7 x 7相机阵列的更大阵列。也可利用相同的过程来构造任何尺寸的甚至更大的阵列，包括其中阵列的每个维度上的相机的数目为奇数的方形阵列。因此，根据本发明的实施例，可以利用本文论述的过程来构造包括具有适合于具体应用的要求的尺寸的相机阵列的相机模块和 /或阵列相机。
虽然以上描述包含本发明的许多具体实施例，但这些实施例不应当被解释为对本发明的范围的限制，而应当被解释为其一个实施例的示例。因此，要理解，除了具体描述的以外，可以按其他方式来实践本发明，而不脱离本发明的范围和精神。从而，本发明的实施例在所有方面都应当被认为是说明性的而不是限制性的。

Claims (28)

1.一种阵列相机模块，包括：
包括多个焦平面的M x N成像器阵列，每个焦平面包括光敏像素的阵列；
透镜堆叠的M xN光学阵列，其中每个透镜堆叠对应于一焦平面，并且其中每个透镜堆叠在其相应的焦平面上形成场景的图像；
其中透镜堆叠及其相应的焦平面的每一对定义一相机；
其中，M x N相机阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且
其中，M x N相机阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；
其中，红颜色相机是被配置成仅成像电磁光谱的与红光对应的那部分的相机；
其中，绿颜色相机是被配置成仅成像电磁光谱的与绿光对应的那部分的相机；及
其中，蓝颜色相机是被配置成仅成像电磁光谱的与蓝光对应的那部分的相机，
其中，M和N各自大于2并且M和N中的至少一个是偶数；
其中，在所述阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对所述阵列相机模块形成图案，所述至少一个π滤光器群组包括：
3 x 3相机阵列，其包括：
在所述3 x 3相机阵列的中心处的基准相机；
位于所述3 x 3相机阵列的相对侧的两个红颜色相机；
位于所述3 x 3相机阵列的相对侧的两个蓝颜色相机；以及
围绕所述基准相机的四个绿颜色相机。
2.如权利要求1所述的阵列相机模块，其中，围绕所述基准相机的四个绿颜色相机中的每一个被部署在所述3 x 3相机阵列的角落位置。
3.如权利要求2所述的阵列相机模块，其中：
M为四；
N为四；
4 x 4阵列相机模块的第一行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和红颜色相机；
4 x 4阵列相机模块的第二行相机按顺序包括红颜色相机、绿颜色相机、红颜色相机和绿颜色相机；
4 x 4阵列相机模块的第三行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和蓝颜色相机；并且
4 x 4阵列相机模块的第四行相机按顺序包括蓝颜色相机、绿颜色相机、红颜色相机和绿颜色相机。
4.如权利要求2所述的阵列相机模块，其中：
M为四；
N为四；
4 x 4阵列相机模块的第一行相机按顺序包括红颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；
4 x 4阵列相机模块的第二行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和红颜色相机；
4 x 4阵列相机模块的第三行相机按顺序包括蓝颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；并且
4 x 4阵列相机模块的第四行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和蓝颜色相机。
5.如权利要求1所述的阵列相机模块，其中，所述基准相机是绿颜色相机。
6.如权利要求1所述的阵列相机模块，其中，所述基准相机是以下各项之一：包含拜耳滤光器的相机，被配置为捕捉红外光的相机，以及被配置为捕捉紫外光的相机。
7.如权利要求1所述的阵列相机模块，其中，所述两个红颜色相机中的每一个位于所述3 x 3相机阵列的角落位置，并且其中，所述两个蓝颜色相机中的每一个位于所述3 x 3相机阵列的角落位置。
8.如权利要求1所述的阵列相机模块，其中，在所述成像器阵列上实现至少一个颜色滤光器。
9.如权利要求1所述的阵列相机模块，其中，在透镜堆叠上实现至少一个颜色滤光器。
10.一种用至少一个π滤光器群组来对阵列相机模块形成图案的方法，包括：
评估M x N个焦平面的成像器阵列是否包括任何缺陷焦平面，其中每个焦平面包括光敏像素的阵列；
利用以下各项来组装M x N阵列相机模块：
M x N个焦平面的成像器阵列；
透镜堆叠的M x N光学阵列，其中每个透镜堆叠对应于一焦平面，
其中，所述M x N阵列相机模块被组装成使得：
每个透镜堆叠及其相应的焦平面定义一相机；
在所述阵列相机模块内实现颜色滤光器以使得所述阵列相机模块被用至少一个π滤光器群组来形成图案，所述至少一个π滤光器群组包括：
3 x 3相机阵列，其包括：
在所述3 x 3相机阵列的中心处的基准相机；
位于所述3 x 3相机阵列的相对侧的两个红颜色相机；
位于所述3 x 3相机阵列的相对侧的两个蓝颜色相机；以及
围绕所述基准相机的四个绿颜色相机；
其中，红颜色相机是被配置成仅成像电磁光谱的与红光对应的那部分的相机；
其中，绿颜色相机是被配置成仅成像电磁光谱的与绿光对应的那部分的相机；及
其中，蓝颜色相机是被配置成仅成像电磁光谱的与蓝光对应的那部分的相机；并且
其中，用所述至少一个π滤光器群组来对所述阵列相机模块形成图案以使得包括缺陷焦平面的相机是绿颜色相机，
其中，M和N各自大于2并且M和N中的至少一个是偶数；
其中，M x N相机阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且
其中，M x N相机阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机。
11.如权利要求10所述的用至少一个π滤光器群组来对阵列相机模块形成图案的方法，其中，在所述成像器阵列上实现至少一个颜色滤光器。
12.如权利要求10所述的用至少一个π滤光器群组来对阵列相机模块形成图案的方法，其中，在透镜堆叠内实现至少一个颜色滤光器。
13.如权利要求10所述的用至少一个π滤光器群组来对阵列相机模块形成图案的方法，其中，所述基准相机是绿颜色相机。
14.如权利要求10所述的用至少一个π滤光器群组来对阵列相机模块形成图案的方法，其中，所述基准相机是以下各项之一：包含拜耳滤光器的相机，被配置为捕捉红外光的相机，以及被配置为捕捉紫外光的相机。
15.一种阵列相机模块，包括：
包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在所述成像器阵列的不包含来自另一焦平面的像素的区域内；
M x N个透镜堆叠的光学阵列，其中由所述透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；
其中，所述成像器阵列和所述透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的M x N阵列；
其中，所述相机的M x N阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且
其中，所述相机的M x N阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机，
其中，M和N各自大于2并且M和N中的至少一个是偶数；
其中，在所述阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对所述阵列相机模块形成图案，所述至少一个π滤光器群组包括：
3 x 3相机阵列，其包括：
在所述3 x 3相机阵列的中心处的基准相机；
位于所述3 x 3相机阵列的相对侧的两个红颜色相机；
位于所述3 x 3相机阵列的相对侧的两个蓝颜色相机；以及
围绕所述基准相机的四个绿颜色相机。
16.如权利要求15所述的阵列相机模块，其中：
红颜色相机是捕捉包括具有在620nm到750nm的范围内的波长的电磁波的图像数据的相机；
绿颜色相机是捕捉包括具有在495nm到570nm的范围内的波长的电磁波的图像数据的相机；并且
蓝颜色相机是捕捉包括具有在450nm到495nm的范围内的波长的电磁波的图像数据的相机。
17.如权利要求16所述的阵列相机模块，其中，所述阵列相机模块内的每个相机的光学器件被配置成使得每个相机具有场景的如下视场，该视场相对于其他相机的视场是偏移的，从而每个相机的视场相对于其他相机的视场的每个偏移被配置为包括场景的唯一亚像素偏移视域。
18.如权利要求15所述的阵列相机模块，其中，围绕所述基准相机的四个绿颜色相机中的每一个被部署在所述3 x 3相机阵列的角落位置。
19.如权利要求18所述的阵列相机模块，其中：
M为四；
N为四；
4 x 4阵列相机模块的第一行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和红颜色相机；
4 x 4阵列相机模块的第二行相机按顺序包括红颜色相机、绿颜色相机、红颜色相机和绿颜色相机；
4 x 4阵列相机模块的第三行相机按顺序包括绿颜色相机、蓝颜色相机、绿颜色相机和蓝颜色相机；并且
4 x 4阵列相机模块的第四行相机按顺序包括蓝颜色相机、绿颜色相机、红颜色相机和绿颜色相机。
20.如权利要求18所述的阵列相机模块，其中：
M为四；
N为四；
4 x 4阵列相机模块的第一行相机按顺序包括红颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；
4 x 4阵列相机模块的第二行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和红颜色相机；
4 x 4阵列相机模块的第三行相机按顺序包括蓝颜色相机、绿颜色相机、蓝颜色相机和绿颜色相机；并且
4 x 4阵列相机模块的第四行相机按顺序包括绿颜色相机、红颜色相机、绿颜色相机和蓝颜色相机。
21.如权利要求15所述的阵列相机模块，其中，所述至少一个π滤光器群组内的基准相机是绿颜色相机。
22.如权利要求15所述的阵列相机模块，其中，所述至少一个π滤光器群组内的基准相机是包含拜耳滤光器的相机。
23.如权利要求15所述的阵列相机模块，其中，所述基准相机是以下各项之一：包含拜耳滤光器的相机，被配置为捕捉红外光的相机，以及被配置为捕捉紫外光的相机。
24.如权利要求15所述的阵列相机模块，其中，所述两个红颜色相机中的每一个位于所述3 x 3相机阵列的角落位置，并且其中，所述两个蓝颜色相机中的每一个位于所述3 x 3相机阵列的角落位置。
25.如权利要求15所述的阵列相机模块，其中，在所述成像器阵列上实现至少一个颜色滤光器。
26.如权利要求15所述的阵列相机模块，其中，在透镜堆叠上实现至少一个颜色滤光器。
27.一种阵列相机模块，包括：
包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在所述成像器阵列的不包含来自另一焦平面的像素的区域内；
M x N个透镜堆叠的光学阵列，其中由所述透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；
其中，所述成像器阵列和所述透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的M x N阵列；并且
其中，所述相机的M x N阵列中的至少一行或者至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；
其中，红颜色相机是被配置成仅成像电磁光谱的与红光对应的那部分的相机；
其中，绿颜色相机是被配置成仅成像电磁光谱的与绿光对应的那部分的相机；及
其中，蓝颜色相机是被配置成仅成像电磁光谱的与蓝光对应的那部分的相机，
其中，M和N各自大于2并且M和N中的至少一个是偶数；
其中，在所述阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对所述阵列相机模块形成图案，所述至少一个π滤光器群组包括：
3 x 3相机阵列，其包括：
在所述3 x 3相机阵列的中心处的基准相机；
位于所述3 x 3相机阵列的相对侧的两个红颜色相机；
位于所述3 x 3相机阵列的相对侧的两个蓝颜色相机；以及
围绕所述基准相机的四个绿颜色相机。
28.一种阵列相机，包括：
阵列相机模块，其包括：
包括M x N个焦平面的成像器阵列，其中每个焦平面包括多行像素，这多行像素也形成多列像素，并且每个有效焦平面被包含在所述成像器阵列的不包含来自另一焦平面的像素的区域内；
M x N个透镜堆叠的光学阵列，其中由所述透镜堆叠的光学阵列中的一单独透镜堆叠在每个焦平面上形成图像；
其中，所述成像器阵列和所述透镜堆叠的光学阵列形成被配置为独立地捕捉场景的图像的相机的M x N阵列；
其中，所述M x N相机阵列中的至少一行包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；并且
其中，所述M x N相机阵列中的至少一列包括至少一个红颜色相机、至少一个绿颜色相机和至少一个蓝颜色相机；
其中，红颜色相机是被配置成仅成像电磁光谱的与红光对应的那部分的相机；
其中，绿颜色相机是被配置成仅成像电磁光谱的与绿光对应的那部分的相机；及
其中，蓝颜色相机是被配置成仅成像电磁光谱的与蓝光对应的那部分的相机；
其中，M和N各自大于2并且M和N中的至少一个是偶数；
其中，在所述阵列相机模块中的相机内实现颜色滤光器，使得用至少一个π滤光器群组来对所述阵列相机模块形成图案，所述至少一个π滤光器群组包括：
3 x 3相机阵列，其包括：
在所述3 x 3相机阵列的中心处的基准相机；
位于所述3 x 3相机阵列的相对侧的两个红颜色相机；
位于所述3 x 3相机阵列的相对侧的两个蓝颜色相机；以及
围绕所述基准相机的四个绿颜色相机，以及
处理器，其包括图像处理管道，该图像处理管道包括：
视差检测模块；以及
超分辨率模块；
其中，所述视差检测模块被配置为从所述相机模块获得场景的基准低分辨率图像和该场景的至少一个替换视域图像；
其中，所述视差检测模块被配置为比较所述基准图像和所述至少一个替换视域图像以为所述基准图像确定深度图和遮蔽图；并且
其中，所述超分辨率模块被配置为至少利用所述基准图像、所述深度图、所述遮蔽图和所述至少一个替换视域图像来合成高分辨率图像。
CN201380029203.7A 2012-05-01 2013-05-01 用pi滤光器群组来形成图案的相机模块 Active CN104335246B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261641165P 2012-05-01 2012-05-01
US61/641,165 2012-05-01
US201261691666P 2012-08-21 2012-08-21
US61/691,666 2012-08-21
US201361780906P 2013-03-13 2013-03-13
US61/780,906 2013-03-13
PCT/US2013/039155 WO2013166215A1 (en) 2012-05-01 2013-05-01 CAMERA MODULES PATTERNED WITH pi FILTER GROUPS

Publications (2)

Publication Number Publication Date
CN104335246A CN104335246A (zh) 2015-02-04
CN104335246B true CN104335246B (zh) 2018-09-04

Family

ID=49514873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029203.7A Active CN104335246B (zh) 2012-05-01 2013-05-01 用pi滤光器群组来形成图案的相机模块

Country Status (4)

Country Link
EP (1) EP2845167A4 (zh)
JP (1) JP2015521411A (zh)
CN (1) CN104335246B (zh)
WO (1) WO2013166215A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
CN104735360B (zh) * 2013-12-18 2017-12-22 华为技术有限公司 光场图像处理方法和装置
US9807372B2 (en) 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
WO2015186439A1 (ja) * 2014-06-03 2015-12-10 株式会社 日立メディコ 画像処理装置及び立体視表示方法
US20150381972A1 (en) * 2014-06-30 2015-12-31 Microsoft Corporation Depth estimation using multi-view stereo and a calibrated projector
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
US9872012B2 (en) 2014-07-04 2018-01-16 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US9762893B2 (en) 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
US10694081B2 (en) * 2016-03-10 2020-06-23 Sony Corporation Information processing apparatus and information processing method
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295697B1 (en) * 1999-12-06 2007-11-13 Canon Kabushiki Kaisha Depth information measurement apparatus and mixed reality presentation system
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
EP2502115A4 (en) * 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
SG10201503516VA (en) * 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295697B1 (en) * 1999-12-06 2007-11-13 Canon Kabushiki Kaisha Depth information measurement apparatus and mixed reality presentation system
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images

Also Published As

Publication number Publication date
CN104335246A (zh) 2015-02-04
JP2015521411A (ja) 2015-07-27
EP2845167A4 (en) 2016-01-13
WO2013166215A1 (en) 2013-11-07
EP2845167A1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN204697179U (zh) 具有像素阵列的图像传感器
US9706132B2 (en) Camera modules patterned with pi filter groups
CN206759600U (zh) 成像系统
CN103688536B (zh) 图像处理装置、图像处理方法
JP5472584B2 (ja) 撮像装置
CN104041020B (zh) 彩色摄像元件
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
KR101517704B1 (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US10708486B2 (en) Generation of a depth-artificial image by determining an interpolated supplementary depth through interpolation based on the original depths and a detected edge
EP2133726B1 (en) Multi-image capture system with improved depth image resolution
CN105872525A (zh) 图像处理装置和图像处理方法
JP2008005488A (ja) カメラモジュール
CN104170377B (zh) 图像处理装置、摄像装置
TWI527434B (zh) 利用光場相機產生立體影像的方法及光場相機
CN106165398B (zh) 摄像元件、摄像装置以及图像处理装置
US9706186B2 (en) Imaging apparatus for generating parallax image data
CN107960120A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN103999449A (zh) 摄像元件
CN103430094A (zh) 图像处理装置、拍摄装置以及图像处理程序
CN103503447B (zh) 拍摄装置及拍摄装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180716

Address after: American California

Applicant after: FOTONATION Cayman Ltd

Address before: American California

Applicant before: PELICAN IMAGING CORP.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190816

Address after: Ai Er Langeerwei

Patentee after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: American California

Patentee before: FOTONATION Cayman Ltd