CN107924572A - 使用阵列相机执行高速视频捕获和深度估计的系统和方法 - Google Patents

使用阵列相机执行高速视频捕获和深度估计的系统和方法 Download PDF

Info

Publication number
CN107924572A
CN107924572A CN201580080973.3A CN201580080973A CN107924572A CN 107924572 A CN107924572 A CN 107924572A CN 201580080973 A CN201580080973 A CN 201580080973A CN 107924572 A CN107924572 A CN 107924572A
Authority
CN
China
Prior art keywords
pixel
camera
viewpoint
capture
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580080973.3A
Other languages
English (en)
Other versions
CN107924572B (zh
Inventor
K·文卡塔拉曼
黄玉松
A·简恩
P·查特杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quick Chart Co.,Ltd.
Original Assignee
Fast Map Kaiman Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fast Map Kaiman Co Ltd filed Critical Fast Map Kaiman Co Ltd
Publication of CN107924572A publication Critical patent/CN107924572A/zh
Application granted granted Critical
Publication of CN107924572B publication Critical patent/CN107924572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了使用阵列相机的高速视频捕获和深度估计。真实世界场景通常包括与相机位于不同距离的物体。因此，在通过相机阵列捕获视频期间进行深度估计可导致从真实世界场景中捕获的图像数据更加流畅地呈现视频。本发明的一个实施方案包括从不同视点捕获图像的相机以及从相机组获取图像的图像处理流水线应用程序，其中每组相机相对于其他组相机以交错的开始时间开始捕获图像数据。接着，该应用程序选择参考视点，并通过执行差异搜索以识别不同视点的像素最为相似时的差异，从而确定将从交替视点捕获的像素移位至该参考视点的场景相关几何校正。然后可使用该校正呈现视频帧。

Description

使用阵列相机执行高速视频捕获和深度估计的系统和方法
技术领域
本发明整体涉及数字相机，更具体地，涉及使用阵列相机捕获视频和图像的系统和方法。
背景技术
Schechtman et al.“Increasing Space-Time Resolution in Video,”EuropeanConference on Computer Vision(ECCV),May 2002(Schechtman等人，“增加视频中的时空分辨率”，欧洲计算机视觉国际会议(ECCV)，2002年5月)和Wilburn et al.“High-SpeedVideography using a Dense Camera Array”IEEE Society Conference on PatternRecognition,2004(Wilburn等人，“使用密集相机阵列进行高速摄像”，IEEE协会模式识别会议，2004)中提出了使用相机阵列进行高速摄像。
Wilburn等人的论文公开了创建高速视频序列包括将阵列中的相机对准参考视点，并指出这是一项困难的任务。因此，Wilburn等人的论文提出使用简化假设，即成像的场景位于单个物体平面的浅深度内。Wilburn等人的论文指出，这个假设仅适用于相对平坦或相对于相机间距足够远的阵列的场景。Wilburn等的论文指出，如果假设不成立，离开焦面的物体将保持锐化，但由于对准误差将在对准图像的帧之间移动。
对准误差是场景内不位于单个物体平面上的物体的错误深度估计的函数。由于每只眼睛的视野不同，对场景的双眼观察会产生场景的两个略微不同的图像。这些不同被称为双眼差异(或视差)。可以通过了解物体的深度以及对场景成像的相机之间的基线来校正由视差引起的移位。当假定所有物体都处于同一平面上时，对准误差会导致物体不在位于该平面上。Wilburn等人的论文提出通过使用空间上相邻的相机顺序地捕获图像数据来最小化对准误差。以这种方式，最大对准误差被限制。
Wilburn等人论文中描述的相机阵列使用具有电子卷帘快门的廉价CMOS传感器。全局快门同时开始和停止传感器中每个像素的光集成。然后使用采样和保持电路实现顺序读出。电子卷帘快门在读出之前曝光每一行，这消除了对采样和保持电路的需要。Wilburn等人的论文指出将具有卷帘快门的传感器用于高速视频捕获的缺点是卷帘快门可能会使快速移动的物体的形状发生扭曲。实际上，靠近帧底部的像素几乎比帧顶部的像素晚一帧开始和停止光集成。
发明内容
根据本发明的实施方案的系统和方法使用阵列相机执行高速视频捕获和深度估计。需要一种在使用阵列相机执行高速视频捕获时估计深度的系统，以减小由位于场景中不同深度的物体所产生的对准误差。可以容易地理解，真实世界场景通常包括位于距相机不同距离的物体。因此，在通过相机阵列捕获视频期间进行深度估计可使从真实世界场景中捕获的图像数据得以呈现为更加流畅的视频。根据本发明的实施方案的阵列相机可结合具有全局快门和/或具有卷帘快门的传感器。用于估计深度和呈现高帧频视频序列的特定技术通常取决于阵列中相机的数量、类型和快门速度。另外，当通过组装独立相机模块形成阵列时，与在具有公共读出(从基板上的独立子阵列)的单个公共基板上形成的阵列相比，读出期间相机之间的相对卷帘快门可最小化。这种类型的阵列结构可以进一步最小化对准误差。
本发明的一个实施方案包括：从不同视点捕获场景图像的多个相机；以及包含图像处理流水线应用程序的存储器。此外，图像处理流水线应用程序导引处理器：从多个相机内的多组相机获取图像数据，其中相对于其他组相机，每组相机以交错的开始时间捕获图像数据；选择参考视点，并通过执行差异搜索以识别不同视点的像素最为相似时的差异，从而确定将从交替视点捕获的像素移位至参考视点的场景相关几何校正；并且呈现视频的帧，其中通过以下方式呈现视频的给定帧：使用包括由至少一组相机在给定帧捕获时间间隔期间捕获的像素的像素；并使用针对从交替视点捕获的像素确定的场景相关几何校正，将从交替视点捕获的移动像素移位至参考视点。
在另一实施方案中，每组相机是选自由以下项构成的组的单个相机：单色相机、拜耳相机和红外相机。
在另一个实施方案中，每组相机包括多个相机。
在又一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：选择在特定帧捕获时间间隔期间从第一视点捕获的帧的至少一部分；基于在其他时间从第二视点捕获的图像数据，在特定帧捕获时间间隔期间从第二视点内插帧的至少一部分，其中第二视点不同于第一视点；以及识别从第一视点选择的帧的至少一部分中的像素与从第二视点内插的帧的至少一部分中的像素最为相似时的差异。
在另一个实施方案中，第一视点是交替视点，并且第二视点是参考视点。
在又一实施方案中，相机组中的每个相机组包括多个相机。
在另一个实施方案中，多个相机包括从参考视点捕获图像数据的相机，第一视点是交替视点，并且第二视点是参考视点。
在又一个实施方案中，多个相机包括从参考视点在第一颜色通道中捕获图像数据的相机，交替视点是特定相机组中的在第二颜色通道中捕获图像数据的相机的视点，第一视点是特定相机组中的在第一颜色通道中捕获图像数据的相机的视点，并且第二视点是参考视点。此外，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：基于从第一视点选择的帧的至少一部分的像素和从第二视点内插的帧的至少一部分中的像素最为相似时的差异估计在交替视点中可见的至少一个像素的深度；并且基于至少一个像素的估计深度，确定要应用的场景相关几何校正以将从交替视点捕获的至少一个像素移位到参考视点。
在另一个实施方案中，多个相机包括从参考视点在第一颜色通道中捕获图像数据的参考相机，其中参考相机是第一组相机的部分，交替视点是第一组相机的在第二颜色通道中捕获图像数据的相机的视点，第一视点是参考视点，并且第二视点是第二组相机中的在第一颜色通道中捕获图像数据的相机的视点。此外，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：基于从第一视点选择的帧的至少一部分的像素和从第二视点内插的帧的至少一部分中的像素最为相似时的差异估计在交替视点中可见的至少一个像素的深度；并且基于至少一个像素的估计深度，确定要应用的场景相关几何校正以将从交替视点捕获的至少一个像素移位到参考视点。
在另一实施方案中，图像处理流水线应用程序使用以下像素进一步导引处理器呈现视频的帧：在给定的帧捕获时间间隔期间由至少一组相机捕获的像素，并且所捕获的像素被确定为在给定的帧捕获时间间隔期间处于移动状态；以及来自先前呈现的帧的像素，其中像素被确定为至少在给定的帧捕获时间间隔期间为非移动的。
在另一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：在特定帧捕获时间间隔期间从第一视点捕获的图像数据中选择移动像素，其中移动像素被确定为至少在特定帧捕获时间间隔期间移动的像素；基于在其他时间从第二视点捕获的图像数据，在特定帧捕获时间间隔期间从第二视点内插移动像素，其中第二视点不同于第一视点，并且移动像素被确定为在特定帧捕获时间间隔期间移动的像素；并且识别从第一视点捕获的图像数据的移动像素和从第二视点内插的移动像素最为相似时的差异。
在又一个实施方案中，图像处理流水线应用程序还导引处理器执行差异搜索，通过比较不同差异下各个移动像素的相似度，从而识别从第一视点捕获的图像数据中的移动像素与从第二视点内插的移动像素最为相似时的差异。
在另一个实施方案中，图像处理流水线应用程序还导引处理器执行差异搜索，通过比较不同差异下各个移动像素群的相似度，从而识别从第一视点捕获的图像数据中的移动像素与从第二视点内插的移动像素最为相似时的差异。
在另一个实施方案中，图像处理流水线应用程序还导引处理器执行差异搜索，通过比较不同差异下所有移动像素的相似度，从而识别从第一视点捕获的图像数据中的移动像素与从第二视点内插的移动像素最为相似时的差异。
在又一个实施方案中，图像处理流水线应用程序还导引处理器呈现使用多个相机中的一个相机捕获的图像的初始帧。
在另一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器呈现初始帧：使用初始相机组捕获一组图像；使用图像集合的至少一个子集为来自参考视点的图像中的像素位置确定深度估计，其中针对来自参考视点的图像中的给定像素位置生成深度估计包括：基于多个深度处的预期差异，识别图像集合的至少一个子集中的像素，该像素对应于来自参考视点的图像中的给定像素位置；比较在多个深度的每一个深度处识别的对应像素的相似度；并且从多个深度中选择深度，在该深度下，所识别的对应像素与来自参考视点的图像中的给定像素位置的深度估计具有最高相似度；使用图像集以及图像集的子集中的像素位置的深度估计来从参考视点呈现帧，以将从交替视点捕获的像素移位到参考视点。
在又一个实施方案中，初始相机组包括结合红色、绿色和蓝色相机的3×3π型滤波器组。
在又一个实施方案中，初始相机组包括多组相机中的所有相机。
在另一个实施方案中，多个相机具有电子卷帘快门；该组图像各自在卷帘快门时间间隔期间被捕获；给定的帧捕获时间间隔比卷帘快门时间间隔短，其中卷帘快门时间间隔是从多个相机中的一个相机完成图像数据读出所花费的时间；并且在连续帧捕获时间间隔期间捕获的图像集中的图像的不同部分用于呈现一系列帧。
在另一个实施方案中，多个相机具有电子卷帘快门；并且给定的帧捕获时间间隔比卷帘快门时间间隔短，其中卷帘快门时间间隔是从多个相机中的一个相机完成图像数据读出所花费的时间。
在另一个实施方案中，通过协调相机的交错开始时间，使得N组相机的每一组相机在给定的帧捕获时间间隔期间捕获图像的至少1/N部分。
在另一个另外的实施方案中，使用包括在给定帧捕获时间间隔期间捕获的N组相机的像素的像素来呈现视频的给定帧。
在又一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：选择在特定帧捕获时间间隔期间从第一视点捕获的图像的至少1/N部分；基于在其他时间从第二视点捕获的图像数据，在特定帧捕获时间间隔期间从第二视点内插图像的至少一部分，其中第二视点不同于第一视点；并且识别差异，其中在该差异下，从第一视点捕获的图像的至少1/N部分的像素与从第二视点内插的图像的至少一部分的像素最为相似。
在另一个实施方案中，多个相机具有电子全局快门。
在又一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：选择在特定帧捕获时间间隔期间从第一视点捕获的图像；基于在其他时间从第二视点捕获的图像数据，在特定帧捕获时间间隔期间从第二视点内插图像的至少一部分，其中第二视点不同于第一视点；并且识别差异，其中在该差异下，从第一视点捕获的图像的像素和从第二视点内插的至少一部分图像的像素最为相似。
在又一个实施方案中，图像处理流水线应用程序还通过以下方式导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点：使用包括至少两个相机的一组相机捕获一组图像，至少两个相机在相同的至少一个颜色通道中捕获图像数据；使用图像集合的至少一个子集为来自参考视点的图像中的像素位置确定深度估计，其中针对来自参考视点的图像中的给定像素位置生成深度估计包括：基于多个深度处的预期差异，识别图像集合的至少一个子集中的像素，该像素对应于来自参考视点的图像中的给定像素位置；比较在多个深度的每一个深度处识别的对应像素的相似度；并且从多个深度中选择深度，在该深度下，所识别的对应像素与来自参考视点的图像中的给定像素位置的深度估计具有最高相似度。
在又一个实施方案中，图像处理流水线应用程序还通过估计在给定帧捕获时间间隔期间确定为移动的各个像素的深度，从而导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点。
在另一个实施方案中，图像处理流水线应用程序还通过估计在给定帧捕获时间间隔期间确定为移动的像素群的深度，从而导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点。
在又一个实施方案中，图像处理流水线应用程序还通过估计在给定帧捕获时间间隔期间确定为移动的所有像素的深度，从而导引处理器确定场景相关的几何校正以将从交替视点捕获的像素移位到参考视点。
本发明的另一个实施方案包括：从不同视点捕获场景图像的多个相机，其中多个相机具有电子卷帘快门，并在卷帘快门时间间隔期间捕获图像；以及包含图像处理流水线应用程序的存储器。此外，图像处理流水线应用程序导引处理器选择参考视点；通过以下方式呈现初始帧：使用初始相机组捕获一组图像；使用图像集合的至少一个子集确定来自参考视点的图像集合的图像中的像素位置的深度估计。此外，针对来自参考视点的图像中的给定像素位置生成深度估计包括：基于多个深度处的预期差异，识别图像集合的至少一个子集中的像素，该像素对应于来自参考视点的图像中的给定像素位置；比较在多个深度的每一个深度处识别的对应像素的相似度；并且从多个深度中选择深度，在该深度下，所识别的对应像素与来自参考视点的图像中的给定像素位置的深度估计具有最高相似度。此外，图像处理流水线应用程序导引处理器：使用图像集以及图像集的子集中的像素位置的深度估计来从参考视点呈现初始帧，以将从交替视点捕获的像素移位到参考视点；通过以下方式呈现后续帧：从多个相机中的多组相机获取图像数据，其中每组相机(相对其他组相机)以交错的开始时间捕获图像数据，并且通过协调相机的交错开始时间，使得N组相机的每一个相机在给定的帧捕获时间间隔期间捕获帧的至少1/N部分，其中帧捕获时间间隔比多个相机的每个相机的卷帘快门时间间隔短；确定在给定帧捕获时间间隔期间由N组相机捕获的像素在给定的帧捕获时间间隔期间处于移动状态；并且通过执行差异搜索以搜索不同视点的移动像素最为相似时的差异，从而确定场景相关的几何校正以将从交替视点捕获的移动像素移位至参考视点。此外，差异搜索包括：在给定帧捕获时间间隔期间从第一视点捕获的图像数据中选择移动像素；基于在其他时间从第二视点捕获的图像数据，在特定帧捕获时间间隔期间从第二视点内插移动像素，其中第二视点不同于第一视点；并且识别差异，在该差异下，从第一视点捕获的图像数据的移动像素和从第二视点内插的移动像素最为相似。此外，图像处理流水线应用程序导引处理器：呈现视频的帧，其中使用包括以下像素在内的像素呈现视频的给定帧：在给定帧捕获时间间隔内由N组相机捕获的移动像素，其中使用针对从交替视点捕获的像素确定的场景相关几何校正，将从交替视点捕获的移动像素移位至参考视点；以及来自参考视点的先前呈现帧的非移动像素。
附图说明
图1概念性地示出了根据本发明的实施方案的阵列相机。
图2概念性地示出了根据本发明的实施方案的阵列相机模块中的光学阵列和成像器阵列。
图3A概念性地示出了根据本发明的实施方案在执行高速视频捕获时使用的滤色器、相机组的布局以及参考相机在阵列相机模块中的位置。
图3B概念性地示出了根据本发明的实施方案的滤色器、阵列相机模块中用于估计场景非移动部分深度的相机组的布局。
图4A至图4C概念性地示出了与从参考视点和交替视点捕获的两个场景图像中的视差效果相关联的差异。
图5是示出根据本发明的实施方案的使用由阵列相机捕获的图像数据来呈现高速视频序列的过程的流程图。
图6A示出了根据本发明的实施方案的阵列相机内四组不同相机进行图像数据捕获的时序。
图6B示出了根据本发明的实施方案的显示处理器呈现的帧的时序，其中该处理器通过图像处理流水线应用程序使用阵列相机捕获的图像数据进行配置。
图6C示出了根据本发明的实施方案的通过阵列相机捕获图像数据的时序，捕获图像数据涉及使用可用于估计场景非移动部分深度的第一组相机捕获图像数据，以及通过四组不同相机捕获后续的图像数据，其中这四组不同相机可用于估计到移动像素的深度并呈现高帧频视频序列。
图6D示出了根据本发明的实施方案通过阵列相机捕获图像数据的时序，其中在帧捕获时间间隔期间，从N组相机中的每一组相机读出所呈现帧的总行(或列)数的超过1/N，以适应不同相机组中相机视点之间可观察到的垂直视差。
图6E示出了根据本发明的实施方案使用在相邻帧捕获时间间隔期间由N组相机的每一组相机所捕获的图像数据呈现视频帧，从而适应不同相机组中相机视点之间可观察到的垂直视差。
图7是示出根据本发明的实施方案在由阵列相机捕获的图像数据内估计移动像素深度的过程的流程图。
具体实施方式
现在转到附图，示出了根据本发明的实施方案，使用由阵列照相机内不同组相机捕获的图像数据来呈现高帧频视频序列的系统和方法。视频序列通常具有约24帧/秒(fps)或30fps的帧频。超过60fps的帧频可被认为是所谓的“高帧频”视频。在本文讨论的阵列相机的情况中，高帧频视频被认为是当从阵列内的单个相机或相机组读出数据时，帧的呈现速率比阵列相机所使用的卷帘快门速率高的视频。举例来说，阵列相机可能能够以30fps的速率从四组相机中的每一组相机中读出图像数据，并以120fps速率从四组图像数据中呈现高速视频序列。通过适当地交错每组相机捕获图像数据的开始时间，阵列相机能够以120fps合成高速视频序列。可以容易地理解，根据本发明的实施方案，在合成高帧频视频序列时可以利用多种卷帘快门速率和帧频中的任何一种以适应特定应用程序的要求。
可以使用诸如在2013年12月31发布的授予Ciurea等人的名称为“Systems andMethods for Parallax Detection and Correction in Images Captured using ArrayCameras that Contain Occlusions using Subsets of Images to Perform DepthEstimation”(通过使用图像子集执行深度估计而对使用包含遮挡的阵列相机所捕获的图像进行视差检测和校正的系统和方法)的美国专利8,619,082和2014年9月18日公布的授予Venkataraman等人的名称为“Systems and Methods for Synthesizing Images fromImage Data Captured by an Array Camera Using Restricted Depth of Field DepthMaps In which Depth Estimation Precision Varies”(使用深度估计精度不同的景深图的受限深度通过阵列相机捕获的图像数据合成图像的系统和方法)的美国专利公布2014/0267243中描述的技术来呈现视频序列，其中在该视频序列中，阵列相机中相机卷帘快门速率小于视频的帧频。与深度估计、基于深度估计使用阵列相机捕获的图像数据合成图像有关的美国专利8,619,082和美国专利公布2014/0267243中的公开内容据此以引用方式整体并入本文。可以通过使用相机阵列内的不同组以交错的方式捕获图像数据，从而以高于卷帘快门速率的帧频呈现视频序列。来自不同组相机的图像数据可以用于在每个帧捕获时间期间呈现帧的不同部分。然而，每组相机从不同的视角查看成像场景，导致产生视差。在本发明的若干实施方案中，呈现高帧频视频序列的过程涉及为场景内可见的一些或所有物体生成深度估计，并且使用该深度估计来校正阵列内由每个相机所捕获图像中存在的视差。通过估计深度而不是要求移动物体位于距相机阵列的指定距离处，根据本发明的多个实施方案的阵列相机可以对自然场景进行成像，包括场景内任意深度处的移动物体和/或多个不同深度处的移动物体。
在多个实施方案中，通过从参考视点捕获初始帧并在连续帧捕获时间间隔期间捕获的图像中检测移动像素，从而呈现高帧频视频序列。在若干实施方案中，检测移动像素涉及检查从特定视点捕获的连续帧并检测强度差超过阈值的像素。注意上述过程涉及经卷帘快门时间间隔(与帧捕获间隔相反)检测移动。根据具体应用的要求，运动检测阈值可基于图像数据的局部特征来预先确定和/或确定。然后通过将移动像素与从参考视点呈现的初始帧复合来呈现视频的连续帧。复合过程可能涉及将像素从交替视点移位到参考视点中。为了将移动像素移位至参考视点，可以估计移动像素的深度。在若干实施方案中，进行关于移动像素的初始确定，并移位非移动像素以和参考相机对准，从而避免在最终复合图像中产生伪影。
在相机组内的多个相机形成立体像对或更大阵列相机，并且可以通过该阵列进行深度估计的实施方案中，可以利用与在美国专利8,619,082和美国专利公布2014/0267243中所描述技术类似的技术估计移动像素的深度，所述专利以引用方式并入上文。此外，在使用由单组相机拍摄的图像数据无法可靠地进行深度估计的实施方案中，可以通过观察具有交错开始捕获时间的不同组相机所捕获的图像数据中的移动像素之间的差异来执行深度估计。在某些实施方案中，假设所有移动像素处于相同的深度。在若干实施方案中，识别移动像素群，并且假设每个移动像素群内的像素处于相同的深度(尽管不同像素群中的像素深度可能不同)。
在多个实施方案中，从第一视点可见的移动像素的深度通过基于帧捕获时间间隔从第二视点内插帧或帧的一部分并使用在其他时间从第二视点捕获的图像数据进行估计，其中在帧捕获时间间隔期间捕获来自第一视点的图像数据。在这种情况下，帧捕获时间间隔是指由多组相机捕获图像数据的时间间隔，并且用于在高速视频序列中呈现单个帧。然后可对在相关帧捕获时间从第一视点可见的移动像素的位置和从第二视点可见的移动像素的估计位置进行比较，从而基于差异来估计移动像素的深度。估计差异包括与物体深度相关联的组件和与帧捕获之间的物体运动相关的组件。因此，可以利用测量以最小化由运动引起的感知移位并消除由视差引起的移位。在多个实施方案中，使用在相关帧捕获时间间隔(其中在该时间间隔内从第一视点捕获图像数据)之前和之后的时间间隔从第二视点捕获的图像数据内插来自第二视点的图像。当第一视点是从中呈现视频初始帧的参考视点的交替视点时，通常选择参考视点作为从中内插帧的第二视点。在相机组包括在单独颜色通道中捕获图像数据的相机的实施方案中，对从参考视点捕获的移动像素进行深度估计(例如，具有选择作为参考视点的绿色相机)可用于融合来自其他颜色通道的移动像素，该移动像素由包含参考相机的相机组中的相机所捕获。因此，当第一视点为参考视点时，通过从第二视点内插帧或视频帧的一部分可以确定深度估计，相对于参考视点，该第二视点为交替视点。在其他实施方案中，可以通过使用阵列相机捕获的图像数据来执行差异搜索，利用多种技术中的任何一种来估计移动像素的深度以适应特定应用程序的要求。
可以通过沿一条或多条核线比较来自不同视点的像素的相似度来执行差异搜索。通常在参考视点和交替视点之间执行比较，但在执行差异搜索时可以利用任何视点集。在多个实施方案中，差异搜索涉及确定来自第一视点的移动像素与来自第二视点的移动像素呈现最高相关性时的差异。在某些实施方案中，基于从第一视点可见的移动像素群与从第二视点可见的移动像素群呈现最高相关性时的差异来执行关于各个移动像素群的差异搜索。在多个实施方案中，使用诸如(但不限于)美国专利8,619,082和美国专利公布2014/0267243(以引用方式并入上文)中描述的绝对偏差以及/或者成本函数的成本度量来对各个移动像素或较小的移动像素块进行深度估计。此外，可以使用从两个或多个不同视点可见的像素来获取深度估计。
可以利用移动像素的深度来确定场景相关的几何校正以应用于从交替视点观察到的移动像素，从而将移动像素移位到参考视点。然后可以通过复合以下像素呈现新的视频帧：从参考视点观察到的任意移动像素；从交替视点移位到参考视点中的移动像素；以及来自先前从参考视点呈现的帧的非移动像素。
在多个实施方案中，相机组包括在单个颜色通道(例如，单色白相机或红外相机)或多个颜色通道中捕获图像数据的单个相机(例如，使用拜耳滤色器的相机)。在若干实施方案中，相机组包括多个相机。在不同颜色通道中使用多个单色相机(例如，红色相机、绿色相机和蓝色相机)的某些实施方案中，在每个颜色通道中呈现包括强度组分的非移动像素也可涉及估计深度以便能够将像素移位到参考视点。因此，根据本发明的多个实施方案的阵列相机还估计参考帧中非移动像素的深度。在多个实施方案中，可以通过阵列相机中不同组相机在一个定时器间隔内捕获的图像数据估计场景内非移动像素的深度，其中该定时器间隔比单个帧捕获时间间隔长。不同于移动像素，可以假定非移动像素在整个时间段期间是静止的，其中在该时间段期间，由相机阵列中的不同相机捕获图像数据的整个帧。因此，可以使用与美国专利8,619,082和美国专利公布2014/0267243(以引用方式并入上文)中所描述的技术类似的技术，在通过不同组相机经一个或多个卷帘快门间隔捕获的跨整个图像数据集上执行差异搜索。在包括从单独颜色通道中捕获图像数据的相机的多个实施方案中，通过使用足够多数量的相机捕获初始帧或帧序列来估计初始深度图，从而在每个颜色通道中捕获多个图像。理想情况下，相机的数量足够大，使得每个颜色通道中的相机分布在参考视点周围，并且使得从参考视点捕获的每个像素在从每个颜色通道中的交替视点捕获的至少一个图像中可见。此外，可以利用与美国专利8,619,082和美国专利公布2014/0267243(以引用方式并入上文)中描述的过程类似的过程来生成相对于非移动像素的初始深度图。一旦获得了深度图，则可以将深度图中的深度分配给非移动像素，并且可以使用上述过程为移动像素确定深度图中的深度，并用于更新深度图。在若干实施方案中，来自初始深度图的深度可用于限制相对于移动像素的差异搜索。
在某些实施方案中，估计深度的过程还涉及生成编码一个或多个置信因子的置信量度。图像处理应用程序在呈现视频序列时利用深度估计的方式可取决于深度估计的置信度。
以下进一步讨论了根据本发明各种实施方案使用由阵列相机捕获的图像数据来呈现高帧频视频序列的系统和方法。
阵列相机
根据本发明的多个实施方案的阵列相机可包括阵列相机模块，该阵列相机模块包括相机阵列和被配置成从相机模块读出并处理图像数据以合成图像的处理器。图1示出了根据本发明实施方案的阵列相机。阵列相机100包括具有各个相机104的阵列的阵列相机模块102，其中单个相机的阵列指的是以特定方式布置的多个相机，诸如(但不限于)所示实施方案中所使用的方形布置。在其他实施方案中，可利用相机的多种网格或非网格布置方式中的任何一种。授予Venkataraman等人的名称为“Capturing and Processing of ImagesUsing Monolithic Camera Array with Heterogeneous Imagers”(使用带有异构成像器的单片相机阵列捕获并处理图像)的美国专利公布2011/0069189中公开了各种阵列相机配置，该配置包括采用了各种不同类型相机的单片和单片阵列，相对于不同阵列相机配置的相关公开内容，包括(但不限于)相对于阵列的阵列的公开内容据此以引用方式整体并入本文。阵列相机模块102连接到处理器106。处理器还被配置成与一种或多种不同类型的存储器108通信，该存储器可用于存储图像处理流水线应用程序110、由阵列相机模块102所捕获的图像数据112、视频编码114和编码视频116。图像处理流水线应用程序110通常为用于导引处理器执行包括(但不限于)下述各种方法的方法的非暂态机器可读指令。在若干实施方案中，这些方法包括协调：阵列相机模块102内的多组相机对图像数据进行交错捕获、由所捕获的图像数据112对深度信息进行估计以及使用捕获的图像数据呈现视频的帧。视频编码114类似地是非暂态机器可读指令，该指令导引处理器对由图像处理流水线应用程序呈现的视频帧进行编码，以将其作为编码视频116存储在存储器108中。
根据本发明的多个实施方案的处理器108可使用微处理器、协处理器、专用集成电路和/或适当配置的现场可编程门阵列来实施，它们使用适当软件导引以获取阵列相机模块102内的相机所捕获的图像数据并输出编码的高帧频视频序列。在若干实施方案中，从参考视点(通常是阵列相机模块102内的参考相机104的参考视点)呈现视频序列。在多个实施方案中，处理器能够从一个或多个虚拟视点合成视频序列，该虚拟视点不对应于阵列相机模块102中的任何焦面104的视点。除非捕获的场景中的所有物体与阵列相机的距离较远，否则图像数据内捕获的场景的图像将存在差异，该差异是由用于捕获图像的相机的视野不同引起的。以下进一步讨论了用于检测和校正差异的过程。虽然上文结合图1讨论了具体阵列相机架构，但也可根据本发明实施方案利用替代架构。
阵列相机模块
根据本发明的实施方案的阵列相机模块可由以下项构成：成像器阵列或包括焦面阵列的传感器；以及包括用于成像器阵列中的每个焦面的透镜叠堆的光学阵列。包括多个焦面的传感器和此类传感器的操作在授予Pain等人的名称为“Architecture for Systemon Chip Array Cameras”(芯片阵列相机上系统的架构)的美国专利公布2012/0013748中有所讨论，相关公开内容全文以引用方式并入本文。包括单个像素阵列的传感器也可用于捕获图像数据，其中由每个相机的光学器件在该阵列上形成图像。在若干实施方案中，每个相机包括单独的传感器。在多个实施方案中，各个透镜镜筒被用于实现为相机的光学器件。根据本发明实施方案，包括使用单独传感器和光学阵列、单独传感器和单独的透镜镜筒以及单个传感器和单独透镜镜筒结合实现的相机的相机模块公开于2014年11月7日提交，授予Rodda等人的名称为“Array Cameras Incorporating Independently Aligned LensStacks”(结合独立对准的透镜叠堆的阵列相机)的美国专利申请14/536,554，相关公开内容全文以引用方式并入本文。滤光器可以在由阵列相机模块中的相机光学器件形成的每个光通道中使用，以使得不同相机相对于电磁波谱的不同部分捕获图像数据。
图2示出了根据本发明的实施方案的使用光学阵列实现的相机模块，其中该光学阵列包括单片成像器阵列上每个焦面的透镜叠堆。阵列相机模块200包括成像器阵列230，该成像器阵列包括焦面240的阵列；以及对应的光学阵列210，该光学阵列包括透镜叠堆阵列220。在透镜叠堆阵列内，每个透镜叠堆220产生光学通道，该光学通道在对应的焦面240内的光敏像素阵列上形成场景的图像。每对透镜叠堆220和焦面240在相机模块内形成单个相机104。相机104的焦面240内的每个像素生成可以从相机104发送到处理器108的图像数据。在多个实施方案中，每个光通道内的透镜叠堆被配置使得每个焦面240的像素对场景内相同的物体空间或区域进行采样。在若干实施方案中，透镜叠堆被配置使得对相同物体空间进行采样的像素在这样做时发生子像素偏移，从而提供采样多样性，该采样多样性可用于通过使用超分辨率方法来恢复增加的分辨率。以这种方式，相同阵列的相机可以在单帧图像捕获期间提供更高的分辨率，并支持高帧率视频捕获。
在图2所示的实施方案中，焦面被配置为5×5阵列。传感器上的每个焦面240都能捕获场景的图像。通常，每个焦面包括多行像素，同时还形成多列像素，并且每个焦面包含在不含来自另一焦面的像素的成像器的区域内的区域。在多个实施方案中，可以独立地控制每个焦面的图像数据捕获和读出。以这种方式，可以独立地确定图像捕获设置，包括(但不限于)焦面内像素的曝光时间和模拟量增益，从而能够基于包括(但不限于)特定颜色通道和/或场景动态范围特定部分在内的因素定制图像捕获设置。用于焦面中的传感器元件可为独立光感测元件，诸如但不限于传统CIS(CMOS图像传感器)像素、CCD(电荷耦合设备)像素、高动态范围传感器元件、多光谱传感器元件和/或任何其他结构，其被配置为生成指示入射到结构上的光的电信号。在许多实施方案中，每个焦面的传感器元件具有相似的物理特性，并且经由相同的光通道和滤色器(若存在)接收光。在其他实施方案中，传感器元件具有不同特性，并且在许多情况下，传感器元件的特性与应用于每个传感器元件的滤色器相关。
在多个实施方案中，独立相机中的滤色器可用于使用π型滤波器组对相机模块进行图案化，如授予Nisenzon等人的名称为“Camera Modules Patterned with pi FilterGroups”(用π型滤波器组进行图案化的相机模块)的美国专利公布2014/0293760中进一步讨论，该专利公布中涉及可在阵列相机的实施方式中利用的各种分光滤光器图案的公开内容全文据此以引用方式并入本文。可使用这些相机捕获相对于不同颜色的数据或光谱的具体部分。与将滤色器应用于相机的像素相比，在本发明的多个实施方案中，滤色器可以包括在透镜叠堆和/或光通道内的其他地方。例如，绿色相机可以包括具有允许绿光通过光学通道的绿色滤光器的透镜叠堆。在多个实施方案中，每个焦面中的像素是相同的，并且由像素捕获的光信息通过每个滤光器平面的对应透镜叠堆中的滤色器进行区分。以上描述了具有光学阵列(包括透镜叠堆中的滤色器)的相机模块的具体结构，包括π型滤波器组的相机模块可以通过各种方式来实现，包括(但不限于)使用类似于将滤色器应用于常规彩色相机的像素的方式，将滤色器应用于焦面的像素。在多个实施方案中，相机模块中的至少一个相机可包括应用于其焦面中像素的一致的滤色器。在多个实施方案中，拜耳滤色器图案被应用于相机模块中的至少一个相机的像素。在多个实施方案中，构造相机模块，其中在透镜叠堆和成像器阵列的像素上都使用滤色器。
尽管上面讨论了特定的阵列相机和成像器阵列，但是根据本发明的实施方案，可使用多种不同的阵列相机来捕获图像数据并使用景深图的受限深度合成图像，以适应具体应用的要求。以下进一步讨论了根据本发明的各种实施方案的成像器阵列。
使用活动相机组捕获图像数据
根据本发明的多个实施方案的阵列相机模块中的相机可被分组成用于捕获图像数据的子集或组。呈现高速视频序列的方式和生成深度图的方式取决于每组中相机的数量和类型。以下进一步描述了基于阵列中相机组的数量、类型和/或布局来估计深度和呈现高帧频视频帧的各种技术。在多个实施方案中，阵列中的相机在单个颜色通道中捕获图像数据。在多个实施方案中，阵列中的相机可结合被图案化以使一个或多个相机在多个颜色通道中捕获图像数据的光谱滤光器(例如，拜耳滤波器模式)。在多个实施方案中，阵列中的各种相机具有不同的光谱滤光器，使得相机在单个颜色通道中捕获图像数据，并且组合图像数据产生在多个颜色通道中捕获的一组图像数据。
在各个相机在阵列相机的所有颜色通道中成像的实施方案中，可以使用包括一个或多个相机的相机组来呈现高帧频视频。在不同相机在不同颜色通道中捕获图像的实施方案中，相机组通常包括来自每个颜色通道的至少一个相机。此外，在相机组中仅包括来自给定颜色通道的一个相机的实施方案中，可以使用由多个不同相机组捕获的图像数据来执行深度估计。此外，对于组中包括来自至少一个颜色通道的多个相机的情况，可以仅使用该组中的相机捕获的图像数据来执行深度估计。尽管由于各种原因，阵列相机仍然可以利用由多组相机捕获的图像数据来执行深度估计。
在多个实施方案中，每一个包括结合红色、绿色和蓝色相机的3×3π型滤波器组的相机组可用于捕获图像数据，可以通过捕获的图像数据以高于3×3π型相机滤波器组卷帘快门速率的帧频合成视频的帧。可以利用由相机的多个不同π型滤波器组在连续帧捕获时间间隔期间捕获的图像数据以高于各个3×3π型相机滤波器组的卷帘快门速率的帧频呈现视频。可以使用美国专利8,619,082和美国专利公布2014/0267243中描述的技术，利用单个3×3π型相机滤波器组捕获的图像数据估计由3×3π型相机滤波器组成像的像素的深度，并且所述专利以引用方式并入本文。然后可以使用估计深度移位像素，诸如(但不限于)将像素移位至3×3π型相机滤波器组之一的参考相机的视点中。在其他实施方案中，可以利用各种相机组中的任意一种，通过在呈现高帧频视频序列期间由各个相机组捕获的图像数据估计深度。
可以容易地理解，利用3×3π型相机滤波器组来捕获图像数据可能需要大量的相机阵列。举例来说，对于具有使得以30fps进行读出的卷帘快门的3×3π型相机滤波器组的阵列相机，可能需要至少6×6的相机阵列，以便以120fps的帧频呈现视频。通过利用较小的相机组，可以根据本发明的多个实施方案来实现类似的帧频。在多个实施方案中，每组相机包括单个红色、绿色和蓝色相机。
图3A中示出了根据本发明的实施方案的包括四组活动相机的4×4阵列相机模块，该活动相机被配置成捕获图像数据，该图像数据用于从参考相机的视点呈现高速视频序列。4×4阵列相机模块300用于定义四组相机，每组相机包括单个蓝色相机、单个绿色相机和单个红色相机。为了在给定的时间间隔中减少相机视点之间的最大移位，从第一捕获时间开始读出第一组302，从交错的第二捕获时间开始读出第二组304，从进一步交错的第三捕获时间开始读出第三组306，并且从另一个交错的第四捕获时间开始读出第四组308。如下文参照图6A至图6E进一步讨论的，不同相机组开始捕获的时间交错，并且帧频高于每组相机的卷帘快门速率的事实意味着：在每个帧捕获时间间隔期间，每个相机从所呈现帧的总行(或列)数的至少1/N捕获和读出图像数据，其中N是相机的组数(即在所示实施方案中为所呈现帧的总行数的1/4)。相机捕获的图像数据可以通过光度测量和几何的方式归一化，以增加由每个相机所捕获的成像数据的相似度。这些(和其他)归一化过程可以提高由阵列相机生成的深度估计的准确度。估计场景内物体深度的过程可涉及确定场景几何校正，可应用该几何校正以将从不同视点捕获的像素移位到参考视点中。可仅通过估计移动像素的深度，然后使用深度估计将移动像素移位到参考视点，从而减少计算复杂性。或者，系统可以假定运动是一致的并且确定两个视点之间的运动，并利用移动像素相对于其他视点的运动矢量。一旦移动像素移位至参考视点中，即可通过将移动像素与先前从参考视点呈现的帧中的非移动像素复合来从参考视点中呈现新的帧。
在多个实施方案中，在帧捕获时间间隔期间，从N组相机中的每一组相机读出所呈现帧的总行(或列)数的超过1/N，以适应不同相机组中相机视点之间可观察到的垂直视差。可以理解地，在从第一组相机读出的第一组行中不可见的像素在从第二组相机读出的第二组连续行中可能也不可见，这是由于垂直视差将未被观察到的像素移位到由第二组相机中的传感器总行(或列)数的第一1/N所采样的视野中。通过将在帧捕获时间间隔期间读出的行(或列)的数量增加与采样场景的渐进部分的相机组的视点之间的前景物体的可能观察到的垂直视差相对应的量，则在显示帧间隔期间由不同相机组采样的场景的各部分之间的边界处未被观察到的物体或物体部分的可能性可降低。图6D概念性地示出了在每个帧捕获间隔期间读出四组相机的约1/3行。可以容易地认识到，由相机组中的每一组相机捕获的连续行组中存在重叠，使得能够识别原本可能会因为垂直视差而无法被观察到的物体。或者，可以相对于相机在先前帧捕获时间间隔或下一帧捕获时间间隔期间捕获的图像数据进行搜索。在先前帧捕获间隔(630)到所呈现帧的帧捕获间隔(632)和/或后续帧捕获时间间隔(634)期间由特定相机组捕获的附加行的搜索概念性地示于图6E中。原本可能会因为垂直视差而无法被观察到的物体可通过搜索在不同帧捕获间隔期间由相机组捕获的附加行中的物体来呈现。从另一方面看，帧捕获时间间隔可被认为是重叠的，从某种意义上说，由相机捕获的图像数据的某些行(或列)可用于呈现高速视频序列中的两个连续帧，以便以在概念上类似于读出所呈现帧的总行(或列)数的超过1/N的方式适应由不同相机组捕获的所呈现帧的各部分之间的边界处的垂直视差。
如上所述，通过在每组相机中的颜色通道内包括多个相机可以简化深度估计。因此，可增加图3A所示相机组的尺寸以适应第二绿色相机314，从而在绿色通道中提供附加图像数据用于深度估计。通常，在子组内组合具有大基线的绿色相机对以增加由绿色相机捕获的图像之间的观察差异。相机数量的增多会增加从相机组获取数据的卷帘快门时间，从而在每组相机中结合第二绿色相机可导致高速视频的显示帧频下降。
如下面进一步讨论的，无需相机组在颜色通道内结合多个相机即可估计深度。在多个实施方案中，可以利用多组相机经一个或多个卷帘快门间隔捕获的图像数据来估计非移动像素的深度。在多个实施方案中，使用由相机组的每一组相机捕获的连续图像数据集来识别移动像素。然后移动像素被忽略，并且可以利用由阵列中的活动相机在一个或多个卷帘快门间隔期间捕获的图像执行相对于非移动像素的深度估计。为了执行视差检测，在给定帧捕获时间间隔期间对移动像素进行的深度估计可以通过在相关帧捕获时间间隔从至少一个颜色通道(通常是绿色通道)中的交替视点内插帧或一部分帧来确定。在多个实施方案中，从红色、绿色和蓝色通道中的每个颜色通道中的交替视点内插帧或部分帧，并相对于对绿色、红色和蓝色通道中捕获的图像数据进行差异搜索。在多个实施方案中，可以利用图像梯度来比较不同颜色通道中捕获的对应图像的相似度，从而减少了提供颜色通道相同的多个相机来执行差异估计的需要。
如上所述，用于估计深度的不同过程可以用于移动像素和非移动像素。由于非移动像素的静态特性，可以使用经比帧捕获时间间隔长的时间段捕获的图像数据来执行非移动像素的深度估计。此外，相对于非移动像素，对深度进行估计的频率的需要非常低，因此可以使用不同的相机分组来捕获图像数据以估计非移动像素的深度。在多个实施方案中，使用在至少一个颜色通道中包括多个相机的初始相机组来生成初始深度图，并且然后使用较小的相机组来获取用于呈现高帧频视频序列的图像数据。如上所述，可以使用初始深度图来种植非移动像素的深度，并种植和/或限制随后的移动像素的深度搜索。在多个实施方案中，通过假定深度一旦确定将经对应于多个连续帧的短时间间隔保持恒定，计算可被减少。图3B示出了根据本发明的实施方案的4×4阵列相机模块，该模块包括被配置成捕获图像数据的3×3π型相机滤波器组，从该阵列相机模块中可以估计初始深度图。4×4阵列相机模块300包括3×3活动相机初始组312，该活动相机利用π型滤波器组进行图案化并且用于捕获可用于合成彩色图像和/或视频序列的图像数据。在例示的实施方案中，π型滤波器组包括：每个角处的绿色相机、中心310处的绿色参考相机、参考相机上方和下方的蓝色相机以及参考相机左侧和右侧的红色相机。在多个实施方案中，互换π型滤波器组内的红色相机和蓝色相机的位置，并且/或者可以利用替代的相机组群来捕获图像数据以合成图像。在多个实施方案中，可以在3×3π型相机滤波器组的中心利用捕获白光的相机、捕获红外光的相机或拜耳相机。在各种实施方案中，活动相机的第二子集306包括放置在π型滤波器组下方的一行蓝色、绿色和红色相机，以及放置在π型滤波器组右侧的一列蓝色、绿色和红色相机，其中列与行通过绿色相机连接。在各种实施方案中，活动相机的第二子集被配置成按照2013年3月8日提交的名为“Systems and Methods for Measuring Scene InformationWhile Capturing Images Using Array Cameras”(在使用阵列相机捕获图像时测量场景信息的系统和方法)的美国专利申请序列61/775,395中的描述捕获用于测量场景信息的图像数据，该专利的公开内容全文以引用方式并入本文。
尽管以上参照图4A和图4B描述了用于捕获图像数据的特定相机组，但所利用的特定相机组可取决于阵列相机中存在的相机的类型和数量、阵列相机读出图像数据的卷帘快门速率、期望的帧频和特定应用程序的要求。根据本发明的实施方案，使用阵列相机内的相机组捕获的图像数据来呈现高速视频序列的过程在下文进一步讨论。但在讨论这些过程之前，以下提供了由来自不同视点的相机捕获的图像数据中观察到的场景相关几何移位或视差的简要回顾。如上面的讨论可以容易地理解，准确估计由来自不同视点的不同相机组所捕获的图像数据中存在的场景相关几何移位可以是呈现流畅高速视频中的重要因素。
确定视差/差异
在多个实施方案中，用于捕获图像数据的阵列中的各个相机具有相似的视野、固定的光圈和焦距。图4A中示出了两个相机系统中的视差。两个相机400,402包括透镜叠堆404和焦面406。每个相机具有后焦距f，并且两个相机分开2h的基线距离。两个相机的视野涵盖包括前景物体408和背景物体410的场景。图4B中示出了来自第一相机400的视点的场景。在第一相机捕获的图像450中，前景物体408出现在背景物体410的稍微靠右位置。图4C中示出了来自第二相机402的视点的场景。在由第二相机捕获的图像452中，前景物体408移位至背景物体410的左侧出现。由两个相机400,402的不同视野所造成的差异等于前景物体408位置上的差异，该差异是前景物体在第一相机捕获的图像中的位置与在第二相机捕获的图像中的位置之间的差异(在由第二相机捕获的图像中通过虚线454指示)。如下面进一步讨论的，可以通过确定前景物体在两个捕获图像中的差异来获得从两个相机到前景物体的距离。
再次参考图4A，前景物体上的点(xo,yo,zo)将出现在每个相机的焦面上处于相机光轴的偏移位置。该点在第一相机400的焦面上相对于其光轴412的偏移被示出为-uL。该点在第二相机402的焦面上相对于其光轴414的偏移被示出为uR。使用类似的三角形，可以观察到两个相机捕获的图像之间的偏移如下：
组合这两个方程可以得到两个相机之间的差异(或视差)：
从上述方程可以看出，相机捕获的图像之间的差异沿两个相机基线的矢量方向，该基线可以被称为两个相机之间的核线。此外，差异的大小与两个相机的基线间距以及相机的后焦距成正比，并且与相机到出现在场景中的物体的距离成反比。
阵列相机中的遮挡
当从不同视角捕获多个场景图像并且场景包括前景物体时，前景物体在每个图像中的位置的差异导致前景物体后的部分场景在一些(而非全部)图像中可见。捕获关于部分场景的图像数据的像素可称为遮挡像素，其中该部分场景在从其他视点中捕获的图像中不可见。再次参考图4B和图4C，当选择第二相机的视点作为参考视点时，包含在图像452中虚线454内的像素可被认为是遮挡像素(即该像素从部分场景中捕获图像数据，并且该部分场景在由第二相机402捕获的图像452中可见，而在由第一相机400捕获的图像450中不可见)。在第二图像中，由于前景物体408的像素所捕获的部分场景遮挡了图像452中虚线454内所包含的像素，因此前景物体408的像素可被称为遮挡像素。由于第二图像452中的虚线454内所包含的像素受到遮挡，无法从两个图像中确定从相机到虚线454内可见的部分场景的距离，因为在4B所示的图像450中无对应像素。
如下面进一步讨论的，通过在参考视点周围的互补遮挡区域中增加从不同视点捕获场景图像的相机的数量，从而增大了在参考视点可见的每部分场景同样在其他相机中的至少一个相机的视点可见的可能性。当阵列相机使用不同的相机捕获不同波长的光(例如，RGB)时，在参考视点的任一侧和/或参考视点周围的象限中分配至少一个相机来捕获每个波长的光可以大大降低参考视点中可见的部分场景将在特定颜色通道内捕获的每个其他图像中被遮挡的可能性。因此，在相对于经阵列相机中的活动相机在单个卷帘快门间隔捕获的所有图像数据上，通过对非移动像素执行视差检测，从而可以获得对非移动像素更加可靠的深度估计。以这种方式，可以利用在互补遮挡区域内每个颜色通道中捕获的图像来估计非移动像素的深度。根据本发明的实施方案在阵列相机中分配滤色器以减少遮挡的可能性在美国专利公布2014/0293760中有进一步讨论，该专利的相关公开内容全文以引用方式并入本文。对于无法使用从互补遮挡区域内捕获的图像数据来估计移动像素深度的情况(例如，每组在每个颜色通道中只包含单个相机时)，可以通过过滤跨所呈现帧上的移动像素的深度估计来最小化遮挡效应。以这种方式，由遮挡产生的明显的深度不连续性得以流畅和/或忽略，从而增加了深度估计的准确性的可能性。
使用差异在阵列相机中生成深度估计
根据本发明的多个实施方案的阵列相机使用由阵列相机捕获的图像中观察到的差异来估计深度和/或生成深度图。深度图通常被认为是有关图像或视频帧的元数据层，描述了从相机到图像内的特定像素或像素组的距离(取决于深度图相对于图像的分辨率的分辨率)。根据本发明的多个实施方案的阵列相机将深度图用于各种目的，包括(但不限于)在合成高分辨率图像和/或呈现高帧频视频序列期间生成场景相关的几何移位。
根据上述有关差异的讨论，基于像素差异确定部分场景的深度的过程在理论上是直接的。当选择阵列相机中特定相机的视点作为参考视点时，可以使用由阵列相机捕获的部分或全部图像中对应像素之间的差异来确定从参考视点到可见的部分场景的距离。在不存在遮挡的情况下，与从参考视点捕获的图像中的像素相对应的像素将沿核线(即平行于两个相机之间的基线矢量的直线)被定位于每个图像中。视差沿核线的距离对应于相机和由像素捕获的部分场景之间的距离。因此，通过比较预期在特定深度处对应的捕获图像中的像素，可以进行深度搜索，搜索产生具有最高相似度的像素的深度。捕获图像中的对应像素具有最高相似度时的深度可以被假定为相机和由像素捕获的部分场景之间最可能的距离。当从虚拟视点合成深度图时可以利用类似的过程。
然而，在使用上述概括的方法确定准确的深度估计方面存在许多挑战。在若干实施方案中，阵列相机中的相机是类似的，而不是相同的。因此，不同图像之间，包括(但不限于)光学特性、不同传感器特性(诸如由偏移、不同传输或增益响应、像素响应的非线性特性引起的传感器响应的变化)、捕获的图像中的噪声和/或(与组装过程相关的)制造公差相关的弯曲或扭曲在内的特性可能不同，从而降低了不同图像中对应像素的相似度。此外，超分辨率过程依赖于成像器阵列捕获的图像中的采样多样性和/或混叠，以合成更高分辨率的图像。然而，增加采样多样性还可涉及降低由阵列相机捕获的图像中的对应像素之间的相似度。鉴于上述概括的确定深度的过程依赖于像素的相似度，在捕获的图像之间存在的光度差异和采样多样性可降低深度图可被确定时的精度。
深度估计的生成可能由于遮挡而进一步复杂化。如上所述，当在参考视点可见的像素在一个或多个捕获的图像中不可见时将发生遮挡。遮挡的效果在于，在正确的深度下，原本应由对应像素占据的像素位置将由捕获另一部分场景(通常是更靠近相机的物体)的像素所占据。遮挡像素可能与被遮挡像素非常不同。因此，比较正确深度下像素的相似度，所得相似度不太可能比在其他深度下得到相似度明显更高。实际上，遮挡像素充当了强异常点，掩蔽了那些对应像素的相似度。因此，遮挡的存在会在深度图中引入极大的误差源，并且诸如在美国专利8,619,082和美国专利公布2014/0267243(以引用方式并入上文)中公开的确定深度图的过程涉及使用非遮挡像素检测遮挡以及确定深度。下文中进一步讨论了根据本发明的实施方案，生成深度估计以用于呈现高帧频视频序列的系统和方法。
呈现高帧频视频序列的过程
基于深度信息的可用性，根据本发明的各种实施方案的用于呈现高帧频视频序列的过程会大体上有所不同。如上所述，根据本发明的多个实施方案的过程涉及检测从不同视点捕获的图像数据中的移动像素，并且将从交替视点捕获的移动像素移位到参考视点。然后可以将移动像素与来自先前呈现的帧的非移动像素进行复合。在可以使用一组相机内的相机合成深度信息的阵列相机中，移动像素的移位过程相对直接，并且可以利用美国专利8,619,082和美国专利公布2014/0267243(以引用方式并入上文)中描述的过程来执行视差检测并将置信量度分配给深度估计。在其他实施方案中，利用由多组相机经不同时间间隔捕获的图像数据确定场景相关的几何校正，以将从交替视点捕获的图像数据移位到参考视点。
图5示出了根据本发明的实施方案，使用由在阵列中的相机组捕获的图像数据来呈现视频序列的过程。过程500包括经连续卷帘快门时间间隔使用每组相机捕获图像数据(502)，其中将每个相机组开始捕获图像数据的时间为交错的，使得N个相机组中的每个相机组捕获所呈现帧的总行(或列)数的至少1/N(所呈现帧能够在帧捕获时间间隔期间由相机所捕获)。如上所述，卷帘快门时间间隔通常明显比帧捕获时间间隔长。经连续卷帘快门间隔捕获图像数据，以便能够使用由每个活动相机所捕获的连续图像数据集检测运动。将相机组捕获图像数据的开始时间交错，将使得相机组在每个帧捕获时间间隔期间捕获组合图像数据，该帧捕获时间间隔足以以高速视频序列的帧频呈现完整的视频帧。
使用校准数据执行光度和几何归一化(504)，以增加由不同相机捕获的图像的相似度。如上所述，增加图像数据的相似度可以促进差异搜索。光度和几何归一化过程类似于授予Lelescu等人的名称为“Systems and Methods for Synthesizing High ResolutionImages Using Super-Resolution Processes”(使用超分辨率过程合成高分辨率图像的系统和方法)的美国专利公布2012/0147205和美国专利8,619,082中公布的过程。美国专利公布2012/0147205和美国专利8,619,082中涉及相对于由阵列照相机捕获的图像执行光度和几何归一化的相关部分据此以引用方式整体并入本文。
在多个实施方案中，执行运动检测(506)。在帧捕获时间间隔期间由给定相机捕获的帧部分内的运动检测通常使用在不同帧捕获时间间隔期间由相同相机捕获的图像数据来执行(与通过与不同相机捕获的图像数据进行比较不同)。利用相同的视点可简化运动检测。可通过简单地寻找具有相差阈值量的强度的像素来执行运动检测。阈值可基于局部信噪比，相对于帧部分的序列和/或预定阈值数定位统计数据。可以容易地理解，根据本发明的实施方案，可利用各种技术中的任一种技术来检测运动以适应特定应用程序的要求。
在若干实施方案中，生成对移动像素的深度估计(508)。如上所述，可使用在帧捕获时间间隔期间由单组相机捕获的图像数据获得深度估计，其中单组相机包括用于捕获相同颜色通道中的图像数据的至少两个相机。在多个实施方案中，通过内插帧的至少一部分并相对于移动像素执行差异搜索，相对于在给定帧捕获时间间隔期间从第一视点捕获的移动像素进行深度估计，其中场景的相同部分在帧捕获时间间隔处从第二视点可见。在若干实施方案中，相对于各个移动像素、移动像素群和/或所有移动像素执行差异搜索。根据本发明的各种实施方案的用于内插帧和进行差异搜索的过程在下文中进一步讨论。
在若干实施方案中，还估计了场景中非移动像素的深度(510)。通常，对非移动像素的深度估计从先前的深度估计传播。像素是非移动的这一事实意味着像素的深度在至少一个卷帘快门时间间隔中保持不变。可通过使用美国专利8,619,082(以引用方式并入上文)中公开的技术捕获初始图像数据集并估计深度来确定非移动像素的初始深度估计。也可使用美国专利8,619,082(以引用方式并入上文)中公开的任一技术为深度估计分配置信量度。可以容易地理解，也可使用较大的相机组经单个卷帘快门时间间隔捕获初始图像数据集，诸如(但不限于)图3B所示的3×3π型相机滤波器组。在其他实施方案中，可利用各种相机组中的任一组来捕获场景的初始深度图，以适应特定应用程序的要求。在多个实施方案中，经至少一个卷帘快门时间间隔由所有相机组中的所有活动相机捕获的图像数据可用于估计非移动像素的深度。在深度估计期间中可用的视点越多，针对遮挡而言深度估计过程就越稳健。在基于来自多组相机的图像数据的聚合来估计深度时，可从用于呈现多帧高帧频视频的相同图像数据进行对非移动像素的深度估计(与先捕获初始帧的图像数据，然后开始捕获用于呈现高帧频视频序列的后续帧的图像数据相对)。
可利用对移动像素和非移动像素的深度估计来执行视差校正(512)。视差校正将场景相关几何校正应用于由活动相机中的每个相机从交替视点捕获的像素，以将像素移位到参考视点。基于所观察到的交替视点与参考视点之间的差异以及交替视点与参考视点之间的基线来确定特定偏移。在若干实施方案中，基于对先前帧和/或连续帧中的移动像素的深度估计，(任选地)过滤深度估计(514)。以这种方式，由深度估计过程产生的误差的影响可通过以与物体在真实世界移动的方式相符合的方式限制物体深度的变化来减少。可以容易地理解，将过滤应用于深度估计通常取决于特定应用程序的要求。
在多个实施方案中，使用在每个帧捕获时间间隔期间由相机阵列捕获的图像数据来呈现视频帧(516)。在若干实施方案中，呈现过程涉及从参考视点呈现初始帧，然后通过复合由阵列中的相机观察到的移动像素并且在必要时移位到参考视点来呈现后续帧，其中非移动像素由阵列相机中的相机观察。
在阵列相机中，参考相机能够捕获该阵列相机所支持的每个颜色通道中的图像数据，那么从参考视点呈现初始帧的过程是直接的。参考相机只捕获完整的图像数据帧。在阵列相机中，不同的相机捕获该阵列相机所支持的不同颜色通道中的图像数据，那么可使用由初始相机组捕获的图像数据来呈现初始帧。可相对于初始相机组中的相机的视点来选择参考视点，然后使用上述任一技术相对于参考视点来确定致密深度图，该技术包括(但不限于)使用由初始相机组捕获的图像数据执行差异搜索和/或使用由初始相机组和一个或多个附加相机组捕获的图像数据执行差异搜索。通过将在不同颜色通道中捕获的图像从交替视点融合到参考视点中，可利用致密深度图呈现初始帧。在若干实施方案中，初始融合考虑了深度估计的置信度以及有关从交替视点可见的特定像素的参考视点的可见度的信息。可用于融合来自不同颜色通道的像素的过程包括(但不限于)美国专利公布2012/0147205中所公开的融合过程，该专利的相关公开内容据此全文以引用方式并入。可以容易地理解，根据本发明的实施方案，可利用各种过程中的任一种过程来呈现高速视频序列的初始帧以适应特定应用程序的要求。
上述过程在每个帧捕获时间间隔期间重复直到确定图像数据的捕获和视频帧的呈现已完成(518)。该过程可周期性地呈现新的初始帧，以确保伪影诸如(但不限于)由于深度估计误差而造成的伪影不会在整个视频序列中传播。在若干实施方案中，相机的激发模式可被修改为呈现新的初始帧的过程的部分。在多个实施方案中，可同时激发所有相机以捕获新的初始帧，然后交错以呈现后续帧。在捕获高速视频序列期间修改激发模式的方式通常取决于特定相机阵列的能力和具体应用程序的要求。
图像数据捕获序列
阵列相机中的不同相机组可捕获图像数据以及利用图像数据呈现视频帧的方式可参照图6A至图6C所示的时序图来理解。示出在高速视频捕获期间由阵列相机中的相机组捕获和读出图像数据行的时序图示于图6A中。时间在x轴上示出，行读出在y轴上示出。在所示示例中，相机组中的相机具有卷帘快门，并且因此行的读出表示为对角线。单个相机读出所有图像数据行所花费的时间被指示为卷帘快门间隔600。垂直虚线对应于帧捕获时间间隔602，其等于目标高速帧频的倒数(即，图6B所示的显示刷新间隔620)。在图6A所示的示例中，第一组相机捕获用于呈现高速视频序列的非移动像素的静止帧。在相同帧捕获时间间隔期间，使用非移动像素结合在由四组不同相机捕获的图像数据内检测到的移动像素来呈现高速视频序列的每一帧。使用在帧t1(604)的帧捕获时间间隔期间由四组相机(1,2,3,4)捕获的图像数据呈现第一视频帧。如上所述，帧捕获时间间隔可重叠以适应相机组之间的垂直视差(未示出)。
为了在帧t1(604)的帧捕获时间间隔处检测由一组相机捕获的图像数据的视差，帧的至少一个对应部分可在帧t1(604)的帧捕获时间间隔处从一个或多个不同视点进行内插。当捕获图像数据的相机组不包括从参考视点捕获图像数据的相机时，通常在帧t1(604)的帧捕获时间间隔处从参考视点内插帧。可使用由第一组相机中的至少一个相机经至少两个卷帘快门间隔从参考视点捕获的图像数据(606,610)，在帧t1(604)的帧捕获时间间隔处内插来自参考视点的帧部分。帧的内插部分可用于通过相对于相机组中的至少一个相机的视点与来自参考视点的内插帧之间的移动像素比较差异搜索来估计移动像素的深度，其中至少一个相机在帧t1(604)的帧捕获时间间隔期间从交替视点捕获图像数据。在一组相机包括在不同颜色通道中捕获图像数据的相机的情况下，可使用涉及在帧t1(604)的帧捕获时间间隔处从交替视点内插帧的一部分的类似过程，估计从参考视点观察到的和与参考相机相同的颜色通道中的移动像素的深度。然后，使用深度估计将从交替视点捕获的组(1,2,3,4)中的相机中的移动像素的深度移位至参考视点，并与先前呈现的帧中的非移动像素复合。可利用类似的过程呈现在帧t2(612)的捕获时间期间由相机组(1,2,3,4)捕获的图像数据的第二帧，并呈现后续帧。
根据图6A所示的过程捕获的数据中的帧的呈现概念性地示于图6B中。时间在x轴上示出，行刷新在y轴上示出。在所示示例中，逐步刷新像素行。因此，在每个显示刷新间隔(620)期间显示器的逐步刷新概念性地示出为对角线。可以容易地理解，可利用类似的过程呈现和显示交叠的视频帧。由于需要检测运动并内插帧以估计深度，因此在帧t1(604)的捕获时间和帧t1的显示时间期间捕获图像数据之间存在延迟624。然而，在诸如(但不限于)120fps的帧频下，从图像数据捕获开始的时间开始的11个显示刷新间隔的顺序中的延迟在视频捕获期间是察觉不到的(例如，在捕获视频时预览视频序列的显示)。一旦呈现第一帧，就可呈现第二帧t2(626)和后续帧，以便以高速视频帧频显示。
在若干实施方案中，由相机组(1,2,3,4)中的每个相机组捕获的完整图像数据集可用于相对于非移动像素执行深度估计。在多个实施方案中，利用初始相机组捕获第一帧图像数据并生成深度图和/或所呈现帧的置信度。然后，较小的相机组可捕获用于在后续帧中呈现移动像素的图像数据。根据本发明的实施方案，使用与图3所示的3×3π型相机滤波器组对应的初始相机组捕获图像数据，然后通过图3A所示的四组相机捕获图像数据的过程示于图6C中。在所示实施方案中，图像数据(650)由初始3×3π型相机滤波器组捕获。初始3×3π型相机滤波器组的卷帘快门周期被显示为比用于随后捕获图像数据的较小相机组(1,2,3,4)的卷帘快门周期长。如上所述，由初始3×3π型相机滤波器组捕获的图像数据(650)可用于呈现初始帧并生成初始深度图。然后可使用与上述相似的技术将在随后帧捕获间隔中捕获的移动像素与初始视频帧复合，以呈现高帧频视频序列。在所示示例中，组2(即，图3A中的304)中的相机不是初始3×3π型滤波器组(即，图3B中的312)的部分。因此，可在初始3×3π型滤波器组完成图像数据捕获之前，从组2中的相机读出图像数据。在其他实施方案中，图像数据捕获的排序可根据特定应用程序的要求进行协调。
如上所述，相机组的不同视点可得到能够有效地将由不同相机组捕获的图像数据行之间的边界处的物体移出所呈现图像的垂直视差。有效地，在从第一组相机读出的第一组行中不可见的物体在从第二组相机读出的第二组连续行中可能也不可见，这是由于垂直视差将未被观察到的像素移位到在帧捕获时间间隔期间由第二组相机中的传感器行(或列)采样的视野中。通过将在帧捕获时间间隔期间读出的行(或列)的数量增加与采样场景的渐进部分的相机组的视点之间的前景物体的可能观察到的垂直视差相对应的量，则在显示帧间隔期间由不同相机组采样的场景的部分之间的边界处未被观察到的物体或物体部分的可能性可降低。在多个实施方案中，在帧捕获时间间隔期间，可从N组相机中的每一组相机读出所呈现帧的总行(或列)数的超过1/N，以适应不同相机组中的相机的视点之间可观察到的垂直视差。根据本发明的实施方案，在每个帧捕获间隔期间，四组相机的行的大约1/3的读出概念性地示于图6D中。可以容易地认识到，由相机组中的每一组相机捕获的连续行组中存在重叠，使得能够识别原本可能会因为垂直视差而无法被观察到的物体。虽然图6D中示出了不同相机组之间的特定数量的重叠行，但特定量的重叠在很大程度上取决于具体应用的要求。
如上所述，垂直视差还可通过在先前和/或随后的帧捕获时间间隔期间利用由一组相机捕获的附加数据行来适应。在先前帧捕获间隔(630)到所呈现帧的帧捕获间隔(632)和/或后续帧捕获时间间隔(634)期间由相机组捕获的附加行(636)的搜索概念性地示于图6E中。原本可能会因为垂直视差而无法被观察到的物体可通过搜索在不同帧捕获间隔期间由相机组捕获的行中的物体来呈现。从另一方面看，帧捕获时间间隔可被认为是重叠的，从某种意义上说，由相机捕获的图像数据的某些行(或列)可用于呈现高速视频序列中的两个连续帧，以便以在概念上类似于读出所呈现帧的总行(或列)数的超过1/N的方式适应由不同相机组捕获的所呈现帧的部分之间的边界处的垂直视差。
虽然上文参照图5至图6E描述了使用阵列相机中的相机组捕获的图像数据来呈现高帧频视频序列的特定过程，但可利用各种过程中的任一种过程同时从多个不同相机组捕获和读出图像数据，并以比阵列相机中的各个相机捕获视频帧的速率快的速率将图像数据合并为视频帧，以适应可根据本发明的实施方案利用的特定应用程序的要求。例如，根据多个实施方案的阵列相机利用具有电子全局快门的相机。当阵列中的相机具有电子全局快门时，可使用与上述相似的技术内插来自不同视点的图像，以便执行深度估计。然后可使用深度估计将从交替视点捕获的像素移位至参考视点。在若干实施方案中，可内插整个帧。在其他实施方案中，可内插移动像素，并且可从先前呈现的帧呈现非移动像素。因此，在使用阵列相机捕获高帧频视频序列期间用于估计深度的特定过程应当被理解为在很大程度上取决于阵列中的相机的数量和类型。
使用内插帧估计深度的过程
根据本发明的多个实施方案的阵列相机利用由多组相机捕获的图像数据在高帧频视频捕获期间估计深度。如上所述，视频帧的时间内插在深度估计中可能非常有用。在多个实施方案中，可利用来自两个或更多个连续帧的图像数据以给定的帧捕获时间间隔执行移动像素的位置的时间内插。内插帧作为在给定帧捕获时间间隔期间捕获的图像数据的合成交替视图。虽然准确估计内插帧中的移动像素的位置时的误差可导致深度估计的误差，但由于视频的高帧频，估计误差通常较小。此外，高帧频下的滤波深度估计可纠正误差。滤波还通过以下事实来辅助：经连续的帧捕获时间间隔，相对于不同相机组中的相机搜索不同的核线。因此，内插误差不太可能导致相对于在每个连续时间间隔中，相对于用于为所呈现帧的一部分执行差异搜索的每对视点的相同深度估计误差。这些差异可在滤波过程中用于细化深度估计。如上所述，深度估计可涉及生成置信量度，并且可基于给定深度估计的置信度来调整所应用的深度滤波的强度。
根据本发明的实施方案使用帧的内插部分估计深度的过程示于图7中。过程700包括从在给定帧捕获时间间隔期间从第一视点捕获的图像数据中检测帧的一部分中的移动像素(702)。所识别的移动像素的深度可通过以给定帧捕获时间间隔从至少第二(不同)视点内插帧的对应部分(704)来确定。在多个实施方案中，仅相对于从第二视点捕获的图像数据中被识别为移动像素的像素执行内插。在其他实施方案中，帧的各部分可从更多视点和/或在多个颜色通道中内插，以提供针对遮挡而言稳健的深度估计。
通常相对于从捕获相同颜色通道内的图像数据的相机的视点捕获的图像数据执行差异搜索。但也可通过比较每个颜色通道中的像素的相似度，以在多个颜色通道中执行差异搜索。在利用来自单个相机组的图像数据从参考视点呈现非移动像素的实施方案中，其他相机组中的相机通常利用从至少参考视点内插的帧部分来执行深度估计。在给定颜色通道中的没有一个相机从参考视点捕获图像数据的情况下，可从用于从参考视点呈现非移动像素的相机组中的在相关颜色通道中捕获图像数据的相机的视点内插帧的至少一部分。在用于从参考视点呈现非移动像素的相机组中的相机从参考视点捕获图像数据的情况下，相机从参考视点观察到的移动像素的深度可通过使用由具有交替视点的相机在相同颜色通道中捕获的图像数据以给定帧捕获时间间隔内插帧的对应部分来确定。在多个实施方案中，内插过程是双峰内插过程。在其他实施方案中，内插过程可以是适合于特定应用程序的要求的各种内插过程中的任一种，包括(但不限于)三峰内插过程。
在假定运动不受约束的情况下，可通过相对于各个移动像素执行差异搜索来获得深度估计。在假定移动像素是物体的一部分的情况下，可相对于移动像素群执行差异搜索。在假定所有运动发生在同一平面上的情况下，可相对于整组移动像素执行差异搜索。相对于第一视点中的像素执行差异搜索的过程可涉及选择初始深度估计706并将搜索到的像素从至少第二视点移位至第一视点。还可在其他颜色通道中从不同视点捕获的图像部分之间进行比较。从那里，可使用包括(但不限于)美国专利8,619,082所述的多种量度中的任一种进行比较。在相对于一组或一群像素执行差异搜索的情况下，然后可使用相关性确定两个像素群的相似度(710)。该过程在多种深度样本中重复，直到确定已搜索到足够数量的深度样本(712)。在这时，可选择所选量度指示最高相似度时的深度作为对像素、像素群和/或像素组的深度估计(714)。可为每个深度估计分配置信量度。所利用的特定置信量度可取决于用于执行差异搜索的相似度度量和特定应用程序的要求。在多个实施方案中，置信量度(包括(但不限于)美国专利8,619,082(以引用方式并入上文)和Xiaoyan Hu,P.Mordohai,“AQuantitative Evaluation of Confidence Measures for Stereo Vision”,IEEETransactions on Pattern Analysis&Machine Intelligence,vol.34,11,pp.2121-2133,Nov.2012,doi:10.1109/TPAMI.2012.46(Xiaoyan Hu、P.Mordohai，“立体视觉的置信量度的定量评估”，《IEEE模式分析与机器智能汇刊》，第34卷第11期第2121-2133页，2012年11月，doi:10.1109/TPAMI.2012.46)中所述的置信量度)可用于对利用与上述相似的过程所生成的深度估计的置信量度进行编码。
尽管上文参照图7描述了特定过程，但也可使用根据本发明的实施方案用于使用图像数据的内插帧执行差异搜索的各种过程中的任一种。此外，如上所述，根据本发明的实施方案，当相机组包括相同颜色通道中的多个相机时，无需进行内插以便能够估计高帧频视频序列呈现期间的深度。因此，根据本发明的实施方案，可利用用于相对于帧捕获时间间隔内的移动像素以及相对于比帧捕获时间间隔长的时间间隔内的非移动像素执行差异搜索的各种过程，以适应具体阵列相机和特定应用程序的要求。
虽然以上说明包含本发明的许多具体实施方案，但这些都不应理解为对本发明范围的限制，而应理解为本发明的一个实施方案的示例。因此，应当理解，在不脱离本发明的范围和实质的情况下，本发明可以与具体描述不同的方式实践。如此，本发明的实施方案应当在所有方面被认为是示例性的而非限制性的。因此，本发明的范围不应由所示实施方案确定，而应由所附权利要求及其等同物确定。

Claims (30)

1.一种阵列相机，包括：
多个相机，所述多个相机从不同视点捕获场景的图像；
存储器，所述存储器包含图像处理流水线应用程序；
其中所述图像处理流水线应用程序引导所述处理器进行以下操作：
从所述多个相机内的多组相机获取图像数据，其中每组相机相对于其他组相机以交错的开始时间开始捕获图像数据；
选择参考视点，并通过执行差异搜索以识别不同视点的像素最为相似时的差异，从而确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正；以及
呈现视频的帧，其中通过以下方式呈现视频的给定帧：使用包括在给定帧捕获时间间隔期间由至少一组相机捕获的像素的像素；并使用针对从所述交替视点捕获的所述像素确定的场景相关几何校正，将从交替视点捕获的像素移位至所述参考视点。
2.根据权利要求1所述的阵列相机，其中每组相机是选自由以下项构成的组的单个相机：单色相机、拜耳相机和红外相机。
3.根据权利要求1所述的阵列相机，其中每组相机包括多个相机。
4.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
选择在特定帧捕获时间间隔期间从第一视点捕获的帧的至少一部分；
基于在其他时间从所述第二视点捕获的图像数据，内插在所述特定帧捕获时间间隔期间来自所述第二视点的帧的至少一部分，其中所述第二视点不同于所述第一视点；以及
识别从所述第一视点选择的帧的所述至少一部分中的像素与从所述第二视点内插的帧的所述至少一部分中的像素最为相似时的差异。
5.根据权利要求4所述的阵列相机，其中所述第一视点是所述交替视点，所述第二视点是所述参考视点。
6.根据权利要求4所述的阵列相机，其中所述相机组的每个相机组包括多个相机。
7.根据权利要求6所述的阵列相机，其中：
所述多个相机包括从所述参考视点捕获图像数据的相机；
所述第一视点是所述交替视点；并且
所述第二视点是所述参考视点。
8.根据权利要求6所述的阵列相机，其中：
所述多个相机包括从所述参考视点在第一颜色通道中捕获图像数据的相机；
所述交替视点是特定相机组中的在第二颜色通道中捕获图像数据的相机的所述视点；
所述第一视点是所述特定相机组中的在所述第一颜色通道中捕获图像数据的相机的所述视点；
所述第二视点是所述参考视点；并且
其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从所述交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
基于从所述第一视点选择的帧的所述至少一部分中的像素与从所述第二视点内插的帧的所述至少一部分中的像素最为相似时的差异，估计在所述交替视点中可见的至少一个像素的深度；以及
基于所述至少一个像素的所估计的深度，确定要应用以将从所述交替视点捕获的所述至少一个像素移位至所述参考视点的场景相关几何校正。
9.根据权利要求6所述的阵列相机，其中：
所述多个相机包括从所述参考视点在第一颜色通道中捕获图像数据的参考相机，其中所述参考相机是第一组相机的部分；
所述交替视点是所述第一组相机中的在第二颜色通道中捕获图像数据的相机的所述视点；
所述第一视点是所述参考视点；
所述第二视点是第二组相机中的在所述第一颜色通道中捕获图像数据的相机的所述视点；并且
其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从所述交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
基于从所述第一视点选择的帧的所述至少一部分中的像素与从所述第二视点内插的帧的所述至少一部分中的像素最为相似时的差异，估计在所述交替视点中可见的至少一个像素的深度；以及
基于所述至少一个像素的所估计的深度，确定要应用以将从所述交替视点捕获的所述至少一个像素移位至所述参考视点的场景相关几何校正。
10.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器使用以下像素呈现视频的帧：
在所述给定帧捕获时间间隔期间由至少一组相机捕获并被确定为在所述给定帧捕获时间间隔期间移动的像素；以及
先前呈现的帧中的被确定为在至少所述给定帧捕获时间间隔期间为非移动的像素。
11.根据权利要求10所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
从在特定帧捕获时间间隔期间从第一视点捕获的图像数据中选择移动像素，其中所述移动像素被确定为在至少所述特定帧捕获时间间隔期间移动；
基于在其他时间从所述第二视点捕获的图像数据，内插在所述特定帧捕获时间间隔期间来自所述第二视点的移动像素，其中所述第二视点不同于所述第一视点，并且所述移动像素是被确定为在所述特定帧捕获时间间隔期间移动的像素；以及
识别从所述第一视点捕获的图像数据中的所述移动像素与从所述第二视点内插的所述移动像素最为相似时的差异。
12.根据权利要求11所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器执行差异搜索，以通过比较不同差异下各个移动像素的相似度，识别从所述第一视点捕获的图像数据中的所述移动像素与从所述第二视点内插的所述移动像素最为相似时的差异。
13.根据权利要求11所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器执行差异搜索，以通过比较不同差异下各个移动像素群的相似度，识别从所述第一视点捕获的图像数据中的所述移动像素与从所述第二视点内插的所述移动像素最为相似时的差异。
14.根据权利要求11所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器执行差异搜索，以通过比较不同差异下所有移动像素的相似度，识别从所述第一视点捕获的图像数据中的所述移动像素与从所述第二视点内插的所述移动像素最为相似时的差异。
15.根据权利要求10所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器呈现使用所述多个相机中的一个相机捕获的图像的初始帧。
16.根据权利要求10所述的阵列相机，其中所述图像处理流水线应用程序还通过以下方式引导所述处理器呈现初始帧：
使用一组初始相机捕获图像集合；
使用所述图像集合的至少一个子集为来自所述参考视点的图像中的像素位置确定深度估计，其中为来自所述参考视点的所述图像中的给定像素位置生成深度估计包括：
基于多个深度处的预期差异，识别所述图像集合的所述至少一个子集中的与来自所述参考视点的所述图像中的所述给定像素位置对应的像素；
比较在所述多个深度中的每个深度处识别的所述对应像素的相似度；以及
从所述多个深度中选择所识别的对应像素与来自所述参考视点的所述图像中的所述给定像素位置的深度估计具有最高相似度时的深度；以及
使用所述图像集合以及对所述图像集合的子集中的像素位置的深度估计来从所述参考视点呈现帧，以将从交替视点捕获的像素移位至所述参考视点。
17.根据权利要求16所述的阵列相机，其中所述初始相机组包括结合红色、绿色和蓝色相机的3×3π型滤波器组。
18.根据权利要求16所述的阵列相机，其中所述初始相机组包括所述多组相机中的所有相机。
19.根据权利要求18所述的阵列相机，其中：
所述多个相机具有电子卷帘快门；
所述图像集合各自在卷帘快门时间间隔内被捕获；
所述给定帧捕获时间间隔比卷帘快门时间间隔短，其中所述卷帘快门时间间隔是完成从所述多个相机中的相机读出图像数据所花费的时间；并且
所述多组相机在连续帧捕获时间间隔期间捕获的所述图像集合中的所述图像的不同部分用于呈现一系列帧。
20.根据权利要求1所述的阵列相机，其中：
所述多个相机具有电子卷帘快门；并且
所述给定帧捕获时间间隔比卷帘快门时间间隔短，其中所述卷帘快门时间间隔是完成从所述多个相机中的相机读出图像数据所花费的时间。
21.根据权利要求20所述的阵列相机，其中协调所述相机的所述交错的开始时间，使得N组相机中的每组相机在给定帧捕获时间间隔期间捕获图像的至少1/N部分。
22.根据权利要求21所述的阵列相机，其中使用包括来自所述N组相机的在所述给定帧捕获时间间隔期间捕获的像素的像素来呈现视频的给定帧。
23.根据权利要求22所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
选择在特定帧捕获时间间隔期间从第一视点捕获的图像的至少1/N部分；
基于在其他时间从所述第二视点捕获的图像数据，内插在所述特定帧捕获时间间隔期间来自所述第二视点的图像的至少一部分，其中所述第二视点不同于所述第一视点；
识别从所述第一视点捕获的图像的所述所选的至少1/N部分中的像素与从所述第二视点内插的图像的所述至少一部分中的像素最为相似时的差异。
24.根据权利要求1所述的阵列相机，其中所述多个相机具有电子全局快门。
25.根据权利要求24所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
选择在特定帧捕获时间间隔期间从第一视点捕获的图像；
基于在其他时间从所述第二视点捕获的图像数据，内插在所述特定帧捕获时间间隔期间来自所述第二视点的图像的至少一部分，其中所述第二视点不同于所述第一视点；以及
识别从所述第一视点捕获的所述图像中的像素与从所述第二视点内插的图像的所述至少一部分中的像素最为相似时的差异。
26.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过以下方式确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正：
使用一组相机捕获图像集合，所述相机组包括在所述相同的至少一个颜色通道中捕获图像数据的至少两个相机；
使用所述图像集合的至少一个子集为来自所述参考视点的图像中的像素位置确定深度估计，其中为来自所述参考视点的所述图像中的给定像素位置生成深度估计包括：
基于多个深度处的预期差异，识别所述图像集合的所述至少一个子集中的与来自所述参考视点的所述图像中的所述给定像素位置对应的像素；
比较在所述多个深度中的每个深度处识别的所述对应像素的相似度；以及
从所述多个深度中选择所识别的对应像素与来自所述参考视点的所述图像中的所述给定像素位置的深度估计具有最高相似度时的深度。
27.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过估计被确定为在所述给定帧捕获时间间隔期间移动的各个像素的深度，确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正。
28.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过估计被确定为在所述给定帧捕获时间间隔期间移动的像素群的深度，确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正。
29.根据权利要求1所述的阵列相机，其中所述图像处理流水线应用程序还引导所述处理器通过估计被确定为在所述给定帧捕获时间间隔期间移动的所有像素的深度，确定将从交替视点捕获的像素移位至所述参考视点的场景相关几何校正。
30.一种阵列相机，包括：
多个相机，所述多个相机从不同视点捕获场景的图像，其中所述多个相机具有电子卷帘快门并且在卷帘快门时间间隔期间捕获图像；
存储器，所述存储器包含图像处理流水线应用程序；
其中所述图像处理流水线应用程序引导所述处理器进行以下操作：
选择参考视点；
通过以下方式呈现初始帧：
使用一组初始相机捕获图像集合；
使用所述图像集合的至少一个子集为来自所述参考视点的所述图像集合中的图像中的像素位置确定深度估计，其中为来自所述参考视点的所述图像中的给定像素位置生成深度估计包括：
基于多个深度处的预期差异，识别所述图像集合的所述至少一个子集中的与来自所述参考视点的所述图像中的所述给定像素位置对应的像素；
比较在所述多个深度中的每个深度处识别的所述对应像素的相似度；以及
从所述多个深度中选择所识别的对应像素与来自所述参考视点的所述图像中的所述给定像素位置的深度估计具有最高相似度时的深度；
使用所述图像集合以及对所述图像集合的子集中的像素位置的深度估计来从所述参考视点呈现所述初始帧，以将从交替视点捕获的像素移位至所述参考视点；
通过以下方式呈现后续帧：
从所述多个相机内的多组相机获取图像数据，其中每组相机相对于其他组相机以交错的开始时间开始捕获图像数据，并且协调所述相机的所述交错的开始时间，使得N组相机中的每组相机在给定帧捕获时间间隔期间捕获帧的至少1/N部分，所述给定帧捕获时间间隔比所述多个相机中的每个相机的所述卷帘快门时间间隔短。
确定在给定帧捕获时间间隔期间由所述N组相机捕获的像素在所述给定帧捕获时间间隔期间是移动的；以及
通过执行差异搜索以识别不同视点的移动像素最为相似时的差异，从而确定将从交替视点捕获的移动像素移位至所述参考视点的场景相关几何校正，其中所述差异搜索包括：
从在所述给定帧捕获时间间隔期间从第一视点捕获的图像数据中选择移动像素；
基于在其他时间从所述第二视点捕获的图像数据，内插在所述给定帧捕获时间间隔期间来自所述第二视点的移动像素，其中所述第二视点不同于所述第一视点；以及
识别从所述第一视点捕获的图像数据中的所述移动像素与从所述第二视点内插的所述移动像素最为相似时的差异；
呈现视频的帧，其中使用包括以下像素在内的像素呈现视频的给定帧：
来自所述N组相机的在所述给定帧捕获时间间隔期间捕获的移动像素，其中使用针对从交替视点捕获的所述像素确定的场景相关几何校正，将从所述交替视点捕获的移动像素移位至参考视点；以及
来自所述参考视点的先前呈现的帧中的非移动像素。
CN201580080973.3A 2015-04-17 2015-04-17 使用阵列相机执行高速视频捕获和深度估计的系统和方法 Active CN107924572B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/026545 WO2016167814A1 (en) 2015-04-17 2015-04-17 Systems and methods for performing high speed video capture and depth estimation using array cameras

Publications (2)

Publication Number Publication Date
CN107924572A true CN107924572A (zh) 2018-04-17
CN107924572B CN107924572B (zh) 2021-06-15

Family

ID=57127164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080973.3A Active CN107924572B (zh) 2015-04-17 2015-04-17 使用阵列相机执行高速视频捕获和深度估计的系统和方法

Country Status (4)

Country Link
EP (1) EP3284061B1 (zh)
KR (1) KR20180030773A (zh)
CN (1) CN107924572B (zh)
WO (1) WO2016167814A1 (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726526A (zh) * 2020-06-22 2020-09-29 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备和存储介质
WO2021031096A1 (en) * 2019-08-20 2021-02-25 Huawei Technologies Co., Ltd. Multi-shot image capture without image stabilization
CN112673397A (zh) * 2018-07-19 2021-04-16 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
CN113438451A (zh) * 2021-06-21 2021-09-24 易成功(厦门)信息科技有限公司 用于多终端多源数据的统一标准化处理平台与方法
CN113574866A (zh) * 2019-02-28 2021-10-29 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
CN114128248A (zh) * 2019-12-13 2022-03-01 索尼集团公司 管理多个图像设备
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
CN114666595A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
CN114788258A (zh) * 2019-12-20 2022-07-22 索尼集团公司 成像设备、信息处理方法和程序
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12099148B2 (en) 2020-10-07 2024-09-24 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
WO2018172614A1 (en) 2017-03-22 2018-09-27 Nokia Technologies Oy A method and an apparatus and a computer program product for adaptive streaming
CN107103620B (zh) * 2017-04-17 2020-01-07 北京航空航天大学 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
US11210799B2 (en) * 2017-10-04 2021-12-28 Google Llc Estimating depth using a single camera
US11055866B2 (en) 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
KR102668245B1 (ko) * 2018-10-29 2024-05-23 삼성전자주식회사 3차원 깊이 측정 장치 및 방법
US11989854B2 (en) * 2021-06-23 2024-05-21 Apple Inc. Point-of-view image warp systems and methods

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044170A1 (en) * 2006-08-16 2008-02-21 Choon Hwee Yap Image Capturing System And Method Of Operating The Same
CN101551586A (zh) * 2008-04-03 2009-10-07 晶宏半导体股份有限公司 高速摄影方法及其装置
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
WO2011121117A1 (en) * 2010-04-02 2011-10-06 Imec Virtual camera system
US20130216144A1 (en) * 2012-02-22 2013-08-22 Raytheon Company Method and apparatus for image processing
US20140267633A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and Methods for Stereo Imaging with Camera Arrays
US20140267243A1 (en) * 2013-03-13 2014-09-18 Pelican Imaging Corporation Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110255786A1 (en) * 2010-04-20 2011-10-20 Andrew Hunter Method and apparatus for determining flicker in the illumination of a subject
US8823813B2 (en) * 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044170A1 (en) * 2006-08-16 2008-02-21 Choon Hwee Yap Image Capturing System And Method Of Operating The Same
CN101551586A (zh) * 2008-04-03 2009-10-07 晶宏半导体股份有限公司 高速摄影方法及其装置
US20110080487A1 (en) * 2008-05-20 2011-04-07 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011121117A1 (en) * 2010-04-02 2011-10-06 Imec Virtual camera system
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
US20130216144A1 (en) * 2012-02-22 2013-08-22 Raytheon Company Method and apparatus for image processing
US20140267243A1 (en) * 2013-03-13 2014-09-18 Pelican Imaging Corporation Systems and Methods for Synthesizing Images from Image Data Captured by an Array Camera Using Restricted Depth of Field Depth Maps in which Depth Estimation Precision Varies
US20140267633A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and Methods for Stereo Imaging with Camera Arrays

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673397B (zh) * 2018-07-19 2024-04-30 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
CN112673397A (zh) * 2018-07-19 2021-04-16 交互数字Ce专利控股公司 用于检测图像中的遮挡的方法，对应的设备和计算机程序产品
US11995855B2 (en) 2018-07-19 2024-05-28 Interdigital Ce Patent Holdings, Sas Method for detecting occlusions in an image, corresponding device and computer program product
CN113574866A (zh) * 2019-02-28 2021-10-29 斯塔特斯公司 校准捕捉广播视频的移动相机的系统及方法
CN114845109A (zh) * 2019-03-11 2022-08-02 杜比实验室特许公司 帧速率可伸缩视频编码
CN114845111A (zh) * 2019-03-11 2022-08-02 杜比实验室特许公司 帧速率可伸缩视频编码
CN114666595A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
CN114666596A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
CN114666599A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
WO2021031096A1 (en) * 2019-08-20 2021-02-25 Huawei Technologies Co., Ltd. Multi-shot image capture without image stabilization
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11982775B2 (en) 2019-10-07 2024-05-14 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
CN114128248B (zh) * 2019-12-13 2024-05-31 索尼集团公司 管理多个图像设备
CN114128248A (zh) * 2019-12-13 2022-03-01 索尼集团公司 管理多个图像设备
CN114788258A (zh) * 2019-12-20 2022-07-22 索尼集团公司 成像设备、信息处理方法和程序
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN111726526A (zh) * 2020-06-22 2020-09-29 Oppo广东移动通信有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
CN113643347B (zh) * 2020-07-20 2024-02-09 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
US12099148B2 (en) 2020-10-07 2024-09-24 Intrinsic Innovation Llc Systems and methods for surface normals sensing with polarization
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
CN113438451A (zh) * 2021-06-21 2021-09-24 易成功(厦门)信息科技有限公司 用于多终端多源数据的统一标准化处理平台与方法
CN113438451B (zh) * 2021-06-21 2022-04-19 易成功(厦门)信息科技有限公司 用于多终端多源数据的统一标准化处理平台与方法
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Also Published As

Publication number Publication date
WO2016167814A1 (en) 2016-10-20
KR20180030773A (ko) 2018-03-26
EP3284061B1 (en) 2021-11-10
CN107924572B (zh) 2021-06-15
EP3284061A1 (en) 2018-02-21
EP3284061A4 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
CN107924572A (zh) 使用阵列相机执行高速视频捕获和深度估计的系统和方法
US9942474B2 (en) Systems and methods for performing high speed video capture and depth estimation using array cameras
US10390005B2 (en) Generating images from light fields utilizing virtual viewpoints
US10455218B2 (en) Systems and methods for estimating depth using stereo array cameras
US9798155B2 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
CN103493484B (zh) 成像装置和成像方法
US8704881B2 (en) Stereoscopic image display apparatus
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
US20110304706A1 (en) Video camera providing videos with perceived depth
KR101517704B1 (ko) 이미지를 기록하기 위한 이미지 기록 장치 및 방법
US20110304693A1 (en) Forming video with perceived depth
US20070159640A1 (en) Shared color sensors for high-resolution 3-D camera
JP6842509B2 (ja) イベントタイミング画像を処理するためのシステムおよび方法
CN103329548A (zh) 用于图像处理的主、辅图像捕获设备及其相关方法
CN103370943B (zh) 成像装置和成像方法
WO2019054304A1 (ja) 撮像装置
US20150268392A1 (en) Filter-array-equipped microlens and solid-state imaging device
CN104956669B (zh) 图像处理装置、摄像装置和图像处理方法
US20100103276A1 (en) Split aperture capture of rangemap for 3d imaging
JP5088973B2 (ja) 立体撮像装置およびその撮像方法
CN113890999A (zh) 拍摄方法及装置、电子设备及计算机可读存储介质
Chen et al. Demosaicking based on dual-CFA pattern

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200716

Address after: Ai Erlangeerwei

Applicant after: Quick Chart Co.,Ltd.

Address before: California, USA

Applicant before: Kuantama Kaiman Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant