CN104662589B - 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 - Google Patents

用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 Download PDF

Info

Publication number
CN104662589B
CN104662589B CN201380048735.5A CN201380048735A CN104662589B CN 104662589 B CN104662589 B CN 104662589B CN 201380048735 A CN201380048735 A CN 201380048735A CN 104662589 B CN104662589 B CN 104662589B
Authority
CN
China
Prior art keywords
pixel
image
depth
estimation
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380048735.5A
Other languages
English (en)
Other versions
CN104662589A (zh
Inventor
K·文卡塔拉曼
G·莫里纳
D·勒勒斯古
F·瑟瑞亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fotonation Ltd
Original Assignee
Pelican Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pelican Imaging Corp filed Critical Pelican Imaging Corp
Priority to CN201710550511.4A priority Critical patent/CN107346061B/zh
Publication of CN104662589A publication Critical patent/CN104662589A/zh
Application granted granted Critical
Publication of CN104662589B publication Critical patent/CN104662589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Abstract

根据本发明的实施例的系统可以在使用阵列照相机捕捉的图像中执行视差检测和校正。由于照相机的视点不同，视差导致对象在场景的所捕捉的图像内的位置变化。根据本发明的实施例的方法提供由于阵列中的不同照相机之间的视差而导致的精确量的像素视差，以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。在几个实施例中，检测视差涉及使用竞争图像子集估计参考视点的图像中的像素位置的深度。在若干个实施例中，产生深度估计考虑多个光谱通道中的像素的相似性。在某些实施例中，产生深度估计涉及产生指示深度估计的可靠性的置信图。

Description

用于使用阵列照相机捕捉的图像中的视差检测和校正的系统 和方法
技术领域
本发明总地涉及数字照相机，更具体地讲，涉及使用阵列照相机捕捉的图像中的视差的检测和校正。
背景技术
由于每个眼睛的视场不同，所以场景的双目观看创建该场景的两个略有不同的图像。称之为“双目视差(或视差)”的这些差别提供可以用于计算视觉场景中的深度的信息，从而提供深度知觉的主要手段。与立体深度知觉相关联的深度印象还可以在其他条件下获得，诸如当观察者在移动时仅用一个眼睛观看场景时。观察到的视差可以用于获得关于场景中的对象的深度信息。机器视觉中的类似原理可以用于收集深度信息。
分隔一段距离的两个或更多个照相机可以拍摄同一场景的图片，并且可以通过移动两个或更多个图像的像素以找到这些图像的匹配的部分来比较所捕捉的图像。对象在不同照相机视图之间的移位量被称为视差，其与到对象的距离成反比。检测到对象在多个图像中移位的视差研究可以用于基于照相机与所涉及的照相机的焦距之间的基线距离计算到对象的距离。使用两个或更多个照相机产生立体三维图像的方法常被称为多视图立体。
多视图立体通常可以就下列组件进行描述：匹配标准、合计方法和胜者选择。匹配标准用作测量不同图像上的像素或区域的相似性的手段。典型的误差度量是图像之间的RGB或强度差值(可以对这些差值求平方值，或者可以使用鲁棒的度量)。一些方法通过计算局部误差表面的分析最小值或者使用基于梯度的技术来计算亚像素视差。一种方法涉及获取一个图像中的像素与另一个图像中的插值强度函数之间的最小差值。合计方法是指计算或累积搜索空间上的误差函数的方式。最直接的方式是在对于多个照相机规定的视差空间上应用固定大小的搜索窗口。其他方式使用自适应窗口、可移位窗口或多个掩膜。另一组方法在3D空间中累积投票，例如，空间扫描方法和体素着色及其变型。一旦计算了初始或合计匹配成本，就决定了对于每个像素正确的视差分配。局部方法在每个像素处独立地这样做，通常是通过拾取具有最小合计值的视差。协作/竞争算法可以用于迭代地决定最佳分配。动态程序设计可以用于计算与边缘特征相关联的深度或整体强度相似性匹配。这些方法可以利用沿着核线的一维排序约束来处理深度间断之处和不匹配区域。又一类方法将立体匹配公式化为可以通过诸如模拟退火和图割之类的全局方法求解的全局优化问题。
最近，研究使用跨越更宽的合成孔径的多个照相机捕捉光场图像(例如，斯坦福多照相机阵列)。通常被定义为表征在场景中的所有点处来自所有方向的光的4D函数的光场可以被解释为场景的二维(2D)图像的2D集合。由于实际的约束，通常难以同时捕捉场景的形成光场的2D图像的集合。然而，每个照相机捕捉图像数据的时间越接近，光强度(例如，荧光灯的否则察觉不到的闪烁)或对象运动的变化将越不可能导致所捕捉的图像之间的时间相关的变化。涉及捕捉光场并且重新对该光场进行采样的处理可以用于模拟孔径大的照相机。例如，指向场景的M×N个照相机的阵列可以模拟如该阵列那么大的透镜的聚焦效果。以这种方式使用照相机阵列可以被称为合成孔径摄影。
虽然立体匹配最初被公式化为从一对图像恢复3D形状，但是使用照相机阵列捕捉的光场还可以用于使用与立体匹配中所使用的那些算法类似的算法重构3D形状。随着更多图像被添加，挑战是部分被遮挡区域(像素在一些区域中可见，但不是在所有图像中都可见)的普遍性也提高。
发明内容
根据本发明的实施例的系统和方法可以在使用阵列照相机捕捉的图像中执行视差检测和校正。本发明的用于使用用图像处理应用程序配置的处理器根据包括从不同视点捕捉的图像集合的光场估计到场景内的对象的距离的方法的实施例包括：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；并且使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外，所述方法包括：使用初始深度估计来识别所述图像集合中的相应像素；比较图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到图像集合中的相应像素之间的不匹配时，选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计来识别图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括从由下列视点构成的集合选择视点：所述图像中一个图像的视点；以及虚拟视点。
在另一实施例中，通过将场景相关的移位应用于参考视点的图像中的像素位置来确定所述图像集合中的给定图像中的与参考视点的图像中的像素位置相对应的像素，所述场景相关的移位基于下列方面而确定：参考视点的图像中的像素位置的深度估计；以及给定图像的视点与参考视点之间的基线。
在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集基于所述图像集合中的图像的视点而选择，以利用有可能导致至少一个子集的自然场景的可见性特性的模式，在所述至少一个子集中，参考视点的图像中的给定像素位置在所述子集中的每个图像中是可见的。
在又一实施例中，所述图像集合是在多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且所述图像集合的用于确定候选深度估计集合的子集被选择为使得包含参考图像的颜色通道中的相同数量的图像出现在每个子集中。
在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集还被选择为使得在每个子集中存在在不包含参考图像的颜色通道中的至少两个图像。
又一实施例还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点的图像中是不可见的。
再次在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像集合中的图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括将所述给定图像中的所述像素与参考图像中的相应像素进行比较。
再次在另一实施例中，光度相似性标准包括至少基于所述给定图像中的所述像素和参考图像中的像素中的至少一个的强度而改动的相似性阈值。
在进一步的另外的实施例中，光度相似性标准包括根据参考图像的相应像素和与参考图像的该像素最相似的相应像素之间的光度距离而改动的相似性阈值。
在另一另外的实施例中，光度相似性标准包括基于参考图像中的像素的信噪比而改动的相似性阈值。
在更进一步的实施例中，通过下述步骤来近似基于信噪比改动相似性阈值：缩放参考图像的相应像素和与参考图像的该像素最相似的相应像素的光度距离，并且应用偏移来获得适当的阈值。
在又一实施例中，所述图像集合包括在多个颜色通道中捕捉的图像，并且参考图像是在第一颜色通道中捕捉的图像，所述给定图像在第二颜色通道中；当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点中不可见的步骤还包括：选择第二颜色通道中的在其中参考视点的图像中的相应像素可见的图像作为第二颜色通道的参考图像；并且将所述给定图像中的所述像素与第二颜色通道的参考图像中的相应像素进行比较。
再次在更进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择虚拟视点作为参考视点；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括：选择与所述虚拟视点相邻的图像作为参考图像；并且将所述给定图像中的所述像素与参考图像中的相应像素进行比较。
再次在又一实施例中，基于所选图像中的与所述给定图像的在参考视点的图像中可见的像素相对应的像素来选择与虚拟视点相邻的图像。
更进一步的实施例还包括通过下述步骤基于所述图像集合中的像素从参考视点来看的可见性更新对于参考视点的图像中的给定像素位置的深度估计：使用在其中参考视点的图像中的给定像素位置基于对于所述给定像素的当前深度估计而被确定为可见的图像，产生所述图像集合的更新子集；基于多个深度处的预期视差，识别所述图像集合的更新子集中的与参考视点的图像中的所述给定像素位置相对应的像素；比较图像的更新子集中的在所述多个深度中的每个深度处识别的相应像素的相似性；并且从多个深度选择其中所述图像集合的更新子集中的所识别的相应像素具有最高相似性程度的深度，作为对于参考视点的图像中的所述给定像素位置的更新的深度估计。
再次在又一实施例中，所述图像集合的子集是图像对；并且所述图像集合的更新子集包括至少三个图像。
在更进一步的另外的实施例中，规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括：利用校准信息来校正所述图像集合中的图像中的光度变化和场景无关的几何失真；以及所述图像集合中的图像的修正。
在又一另外的实施例中，规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括：重新对所述图像进行采样以提高所述图像集合中的相应像素的相似性；并且应用于所述图像的场景无关的几何校正是以亚像素分辨率确定的。
在更进一步的另外的实施例中，利用校准信息校正光度变化的步骤还包括执行选自由下列构成的组的规范化处理中的任何一个：黑电平计算和调整；晕影校正；横向颜色校正；以及温度规范化。
在又一另外的实施例中，场景无关的几何校正还包括考虑到捕捉所述图像集合的照相机阵列中的透镜的失真和旋转的修正。
再次在进一步的另外的实施例中，成本函数用于确定相应像素的相似性。
再次在另一另外的实施例中，确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。
在另一进一步的实施例中，从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计的步骤还包括从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。
在又一进一步的实施例中，成本函数利用选自由下列构成的组的至少一个相似性度量：一对相应像素的L1范数；一对相应像素的L2范数；以及一组相应像素的方差。
在又一进一步的实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数确定多个颜色通道中的每个颜色通道中的像素的相似性。
再次另一进一步的实施例还包括产生关于对于参考视点的图像中的像素位置的当前深度估计的置信度量。
在另一进一步的另外的实施例中，置信度量对多个置信因子进行编码。
又一进一步的实施例还包括基于置信图对深度图进行滤波。
又一进一步的实施例再次还包括：通过沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素，基于初始深度估计，检测所述图像集合内的图像中的与参考视点的图像中的特定像素位置相对应的像素的遮挡；当初始深度估计导致检测到至少一个图像中的相应像素被遮挡时，通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合，所述多个不同子集不包括在其中所述给定像素被遮挡的至少一个图像；基于候选深度估计来识别所述图像集合的多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在又一进一步的另外的实施例中，沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素的步骤还包括：当下列情况时确定与参考视点的图像中的像素位置(x1,y1)相应的像素在替代视图图像中被参考视点的图像中的像素位置(x2,y2)遮挡：
其中，s1和s2是场景相关的几何移位，其应用于像素位置(x1,y1)和像素(x2,y2)以使这些像素沿着与参考视点与替代视图图像的视点之间的基线平行的线移位，以基于对于每个像素的初始深度估计将这些像素移位到替代视图图像的视点中。
再次在又一进一步的实施例中，将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度中的至少一个。
在特定实施例中，成本函数用于确定相应像素的相似性。
在另一特定实施例中，确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。
在进一步的特定实施例中，所计算的成本的空间滤波利用选自由下列滤波器构成的组的滤波器：固定系数滤波器；以及边缘保持滤波器。
在更进一步的特定实施例中，从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计的步骤还包括：从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。
在又一特定实施例中，所述图像集合是在单个颜色通道内捕捉的，并且成本函数是相应像素的方差的函数。
在更进一步的特定实施例中，成本函数是所述图像集合中的每个图像i上的包括下列项的合计成本函数CV(x,y,d)：
其中，Costi,Ref(x,y,d)是相似性度量(即，成本函数)，
d是像素(x,y)的深度，以及
Vi,Ref(x,y)是像素(x,y)的可见性，一开始，对于所有照相机，Vi,Ref(x,y)＝1。
再次在进一步的特定实施例中，如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设d计算各个成本Costi,Ref(x,y,d)：
Costi，Ref(x，y，d)＝S{Ii(x，y，d)，IRef(x，y，d)}
其中，S是相似性度量(例如)，以及
li是几何校准之后的校准图像i。
在又一特定实施例中，合计成本如下考虑候选深度处的移位后的图像的相似性：
其中，K是在与参考照相机相同的光谱通道中的一组照相机，
L是一组照相机对，其中，每对中的两个照相机在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道，在这种情况下，光场包括多个光谱通道中的图像数据)中，
Costk，Ref(x，y，d)＝S{ImageRef(x，y)，ShiftedImagek(x，y，d)}，以及
Costi，j(x，y，d)＝S{ShiftedImagei(x，y，d)，ShiftedImagej(x，y，d)}
再次在进一步的特定实施例中，使用滤波器对合计成本函数进行空间滤波以使得加权的合计成本函数如下：
其中，N(x,y)是像素(x,y)的最近邻域，其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状，
Norm是规范化项；
IRef(x,y)是来自参考照相机的图像数据，
wd是基于像素距离的加权函数，以及
wr是基于强度差值的加权函数。
在进一步的实施例中，滤波器是箱式滤波器，wd和wr是常数系数。
在另一实施例中，滤波器是双边滤波器，wd和wr都是高斯加权函数。
在更进一步的实施例中，如下通过选择最小化深度图中的每个像素位置处的滤波后的成本的深度来确定对于参考视点的图像中的像素位置(x,y)的深度估计：
D(x，y)＝argmind{FilteredCV(x，y，d)}
在又一实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数合并多个颜色通道的图像数据的L1范数。
在更进一步的实施例中，所述图像集合是在多个颜色通道内捕捉的，并且成本函数合并多个颜色通道的图像数据的L2范数。
在又一实施例中，所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择绿色颜色通道中的图像之一作为绿色参考图像，并且选择绿色参考图像的视点作为参考视点；并且参考视点的图像中的深度d处的像素位置(x,y)的成本函数Cost(x,y,d)是：
Cost(x，y，d)＝γG(x，y).CostG(x，y，d)+γR(x，y).CostR(x，y，d)+γB(x，y).CostB(x，y，d)
其中，CostG(x,y,d)是参考视点的图像中的像素位置(x,y)与绿色图像集合内的基于深度d的位置上的相应像素的相似性的度量，
CostR(x,y,d)是红色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x,y)上的相应像素的相似性的度量，
CostB(x,y,d)是蓝色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x,y)上的相应像素的相似性的度量，以及
γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子。
再次在进一步的实施例中，CostG(x,y,d)使用选自由下列相似性度量构成的组的相似性度量：L1范数、L2范数、以及所述图像集合中的在绿色颜色通道内的图像中的像素上的方差。
再次在另一实施例中，通过计算所述颜色通道内的图像中的单独一对相应像素之间的合计差值来确定对于红色颜色通道的成本度量(CostR(x,y,d))和对于蓝色颜色通道的成本度量(CostB(x,y,d))。
在进一步的另外的实施例中，计算颜色通道内的图像中的单独一对相应像素之间的合计差值的步骤包括确定对于所述颜色通道内的图像中的单独一对相应像素的组合成本度量。
在另一另外的实施例中，可以如下确定包括四个图像(CA、CB、CC和CD)的红色颜色通道的组合成本度量(CostC(x,y,d))：
CostC(x，y，d)
＝|CA(xA，yA)-CB(xB，yB)|+|CA(xA，yA)-CC(xC，yC)|
+|CA(xA，yA)-CD(xD，yD)|+|CB(xB，yB)-CC(xC，yC)|
+|CB(xB，yB)-CD(xD，yD)|+|CC(xC，yC)-CD(xD，yD)|
其中，(xA,yA)、(xB,yB)、(xC,yC)和(xD,yD)是基于图像CA、CB、CC和CD图像中的每个图像中分别在深度d处的视差确定的相应的像素位置。
在更进一步的实施例中，利用选自由下列度量构成的组的至少一个确定组合成本度量：像素亮度值的L1范数；像素亮度值的L2范数；以及像素亮度值的方差。
在又一实施例中，加权因子是γG、γR和γB固定的。
再次在更进一步的实施例中，加权因子γG、γR和γB随参考视点的图像中的像素位置(x,y)空间变化。
再次在又一实施例中，加权因子γG、γR和γB基于参考视点的图像中的像素位置(x,y)处的估计的SNR变化；并且参考视点的图像中的像素位置(x,y)处的强SNR用于减小应用于红色颜色通道和蓝色颜色通道的加权。
在进一步的实施例中，置信度量对多个置信因子进行编码。
在另一实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子：给定像素在图像内的无纹理区域内的指示；包围给定像素的区域中的信噪比(SNR)的度量；用于产生深度估计的相应像素的数量；被搜索以产生深度估计的深度的数量的指示；给定像素与高对比度边缘相邻的指示；以及给定像素与高对比度边界相邻的指示。
在更进一步的实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子：所述给定像素位于梯度边缘上的指示；相应像素与所述给定像素不匹配的指示；与所述给定像素相应的像素被遮挡的指示；使用不同参考照相机产生的深度估计超过用于所述给定像素的阈值的指示；使用不同的照相机子集产生的深度估计超过用于所述给定像素的阈值的指示；关于给定阈值的深度是否超过阈值的指示；所述给定像素有缺陷的指示；以及与所述给定像素相应的像素有缺陷的指示。
在又一实施例中，对于参考视点的图像中的给定像素位置的深度估计的置信度量至少包括：包围给定像素的区域中的SNR的度量；以及用于产生深度度量的相应像素的数量。
在更进一步的实施例中，置信度量对至少一个二进制置信因子进行编码。
在又一实施例中，置信度量对表示为置信度范围的至少一个置信因子进行编码。
再次在进一步的实施例中，置信度量对至少一个置信因子进行编码，所述置信因子是通过比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的相似性而确定的。
再次在另一实施例中，成本函数用于产生指示相应像素的相似性的成本度量；并且比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的深度估计的像素的相似性的步骤还包括：将阈值应用于所述图像集合的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的成本度量；并且当成本度量超过阈值时，分配置信度量，所述置信度量指示对于参考视点的图像中的给定像素位置的最终深度估计是使用所述图像集合中的至少一个作为问题像素的像素而产生的。
在进一步的另外的实施例中，基于下列方面中的至少一个修改阈值：参考视点的图像中的包围所述给定像素位置的区域的平均强度；以及关于用于捕捉所述图像集合的至少一个传感器的噪声统计数据。
在更进一步的实施例中，使用以所述给定像素为中心的空间箱式N×N平均滤波器计算参考视点的图像中的包围所述给定像素位置的区域的平均强度。
在又一实施例中，所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的；相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择绿色颜色通道中的图像之一作为绿色参考图像，并且选择绿色参考图像的视点作为参考视点；并且平均强度用于使用将特定曝光和增益处的特定均值与期望阈值相关的表格来确定关于绿色通道的噪声统计数据。
再次在更进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且成本函数用于产生指示相应像素的相似性的成本度量；使用下列公式获得基于大体不匹配的置信度量：
Confidence(x，y)＝F(Costmin(x，y)，Costd(x，y），I(x，y)cam，Sensor)
其中，Costmin(x,y)是期望深度范围上的视差搜索的最小成本，
Costd(x,y)表示来自任何一个深度或多个深度(除了最小深度之外)的成本数据，
任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度；
Sensor是传感器先验值，其可以包括传感器的已知性质，诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光)，
Camera intrinsics是照相机内在要素，其指定照相机和照相机阵列内在的可以影响置信度的要素，包括(但不限于)该阵列中的照相机之间的基线分离(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。
再次在又一实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且成本函数用于产生指示相应像素的相似性的成本度量；并且使用下列公式获得基于大体不匹配的置信度量：
其中，Avg(x,y)是参考图像在包围(x,y)的空间邻域中的平均强度、或者该领域中的平均强度的估计，其用于基于参考图像在(x,y)的区域中的强度调整置信度，
a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子，
a和offset是用于用关于用于捕捉所述图像集合中的图像的至少一个传感器的增益和噪声统计数据的先验信息来调整置信度的、凭经验选择的缩放和偏移因子。
再次在更进一步的实施例中，产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括：确定用于捕捉所述图像集合的至少一个的至少一个传感器增益；并且基于传感器增益调整置信度量。
再次在又一实施例中，产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括：确定用于捕捉所述图像集合的至少一个的至少一个曝光时间；并且基于传感器增益来调整置信度量。
更进一步的另外的实施例还包括：输出包含对于参考视点的图像中的像素位置的最终深度估计的深度图；并且输出包含对于深度图内所包含的最终深度估计的置信度量的置信图。
又一另外的实施例还包括基于置信图对深度图进行滤波。
又一进一步的另外的实施例包括使用用图像处理应用程序配置的处理器通过下述步骤根据包括从不同视点捕捉的图像集合的光场来估计到场景内的对象的距离：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外，估计距离的处理还包括：使用初始深度估计来识别所述图像集合中的相应像素；比较所述图像集合中的相应像素的相似性以检测不匹配像素；当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时，选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计；并且当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计来识别所述图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。所述处理还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计来识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；并且使用用图像处理应用程序配置的处理器基于深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：使用可见性信息来识别所述图像集合的在参考视点的图像中可见的像素；并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中，其中，场景相关的几何移位被使用当前深度估计而确定；并且融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
另一进一步的实施例还包括：使用用图像处理应用程序配置的处理器合成参考视点的图像以基于参考视点的融合图像、从不同视点捕捉的图像集合、当前深度估计和可见性信息来执行超分辨率处理。
本发明的进一步的实施例包括处理器和存储器，所述存储器包含从不同视点捕捉的图像集合和图像处理应用程序。另外，所述图像处理应用程序将处理器配置为：相对于从不同视点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相应像素的相似性；使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素；比较在所述多个深度中的每个深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计。所述应用程序还将处理器配置为：使用当前深度估计识别所述图像集合中的相应像素；比较所述图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到所述图像集合中的相应像素之间不匹配时，所述应用程序将处理器配置为选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，所述应用程序将处理器配置为通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用所述图像集合的多个不同子集确定候选深度估计集合；基于候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在另一实施例中，所述图像处理应用程序还将处理器配置为：通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：使用当前深度估计来识别所述图像集合中的相应像素；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；并且使用深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素；并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的像素以将像素移位到参考视点中，其中，场景相关的几何移位是使用当前深度估计而确定的；并且融合所述图像集合的移位后的像素以创建参考视点的其分辨率大于所述图像集合中的图像的分辨率的融合图像。
附图说明
图1概念性地例示根据本发明的实施例的阵列照相机。
图1A概念性地例示根据本发明的实施例的阵列照相机模块。
图1C概念性地例示根据本发明的实施例的用于4×4阵列照相机模块的滤色器模式。
图2概念性地例示使用参考照相机和替代视图照相机捕捉图像数据。
图3A和3B概念性地例示参考照相机和替代视图照相机所捕捉的场景的图像中的视差效果。
图4是例示根据本发明的实施例的从所捕捉的包括从不同视点捕捉的多个图像的光场产生深度图的处理的流程图。
图5是根据本发明的实施例的用于规范化所捕捉的图像数据的处理的流程图。
图6是根据本发明的实施例的用于基于可见性信息迭代地精炼深度图的处理的流程图。
图7概念性地例示根据本发明的实施例的阵列照相机内的可以用于产生到场景内的对象的距离的估计的照相机子集。
图8是例示根据本发明的实施例的用于使用可见性信息执行视差搜索的处理的流程图。
图8A是例示根据本发明的实施例的使用照相机阵列中的照相机子集所捕捉的图像来估计深度的处理的流程图。
图8B-8I概念性地例示根据本发明的实施例的5×5阵列照相机中的可以用于获得深度估计的照相机子集。
图8J-8M概念性地例示根据本发明的实施例的4×4阵列照相机的可以用于获得深度估计的照相机子集。
图9概念性地例示根据本发明的实施例的用于在核线中搜索遮挡给定像素的像素的处理。
图10概念性地例示根据本发明的实施例的可以用于构造深度图的5×5阵列照相机。
图11是例示根据本发明的实施例的用于基于相应像素的光度相似性确定可见性的处理的流程图。
图12概念性地例示根据本发明的实施例的可以相对于4×4阵列照相机定义的许多虚拟视点之一。
图13是例示根据本发明的实施例的用于产生稀疏深度图的处理的流程图。
图14概念性地例示根据本发明的实施例的当产生稀疏深度图时可以用作指示器像素的一组像素。
图15是例示根据本发明的实施例的使用一个像素周围的SNR检测无纹理区域的处理的流程图。
图16是根据本发明的实施例的用于产生深度图和可见性信息的系统。
图17是例示根据本发明的实施例的用于使用超分辨率处理从从不同视点捕捉的多个低分辨率图像合成高分辨率图像的处理的流程图。
图18A和18B概念性地例示深度估计中的噪声源。
图18C-18H概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图对深度图进行滤波。
图18I-18N类似地概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图来使用特写图像对深度图进行滤波。
具体实施方式
现在翻到附图，例示了用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法。阵列照相机(诸如Venkataraman等人的标题为“Capturing and Processing ofImages using Monolithic Camera Array with Heterogeneous Imagers”的美国专利申请No.12/935,504中所描述的那些阵列照相机)可以用于捕捉光场图像。在若干个实施例中，超分辨率处理(诸如Lelescu等人的标题为“Systems and Methods for SynthesizingHigh Resolution Images Using Super-Resolution Processes”的美国专利申请No.12/967,807中所描述的那些超分辨率处理)用于从由阵列照相机捕捉的光场中的较低分辨率图像合成较高分辨率2D图像或较高分辨率2D图像的立体对。术语高或较高分辨率和低或较低分辨率在这里是从相对意义上来使用的，而非指示阵列照相机所捕捉的图像的特定分辨率。美国专利申请12/935,504和美国专利申请号12/967,807的全部公开内容特此通过引用而全部并入。
所捕捉的光场中的每个二维(2D)图像来自于阵列照相机的照相机之一的视点。由于每个照相机的视点不同，视差导致对象在场景的不同图像内的位置变化。根据本发明的实施例的系统和方法提供由于阵列中的不同照相机之间的视差而造成的精确量的像素视差，以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。
使用超分辨率处理合成的高分辨率图像是从可以被称为参考视点的特定视点合成的。参考视点可以来自于照相机阵列中的照相机之一的视点。可替代地，参考视点可以是任意的不存在物理照相机的虚拟视点。从照相机之一的视点(与虚拟视点完全不同)合成高分辨率图像的益处是，光场中的像素的视差可以相对于从参考视点捕捉的光场中的图像确定。当利用虚拟视点时，所捕捉的图像数据没有一个来自于参考视点，所以所述处理而是仅依赖于远离参考位置的照相机来确定最佳匹配。
根据本发明的许多实施例的阵列照相机使用光场内的图像中的像素之间的视差来产生参考视点的深度图。深度图指示从参考视点来看的场景对象的距离，并且可以用于确定场景相关的几何校正，这些场景相关的几何校正应用于所捕捉的光场内的每个图像的像素以校正当执行超分辨率处理时的视差。在几个实施例中，产生参考视点的初始深度图，并且作为该处理的一部分，或者作为后续处理，检测被遮挡像素和/或其他类型的不匹配像素。检测被遮挡的像素的处理还可以被认为是确定从参考视点捕捉的图像中的像素在非参考视点的图像中是否是可见的。当从参考视点捕捉的图像中的像素在第二图像中不可见时，在确定参考图像中的像素的深度时利用第二图像的图像数据对于深度确定引入了误差。因此，通过检测参考图像中的在光场中的一个或多个图像中被遮挡的像素，可以改进深度图的精度。在几个实施例中，通过使用从照相机捕捉的在其中像素可见(即，未被遮挡)的图像数据确定被遮挡像素的深度来更新初始深度图。在若干个实施例中，在产生初始深度估计的处理期间可以检测不匹配像素的遮挡和/或其他源的可能存在，并且图像集合的与场景内的不同可见性模式相应的子集可以用于确定候选深度估计集合。具有最相似的相应像素的图像子集的候选深度可以用作新的深度估计，该新的深度估计用于确定其余的图像集合的一些或全部中的相应像素的可见性。
参考视点的深度图可以用于确定在从其他视点捕捉的图像中有可能出现的场景相关的几何移位。这些场景相关的几何移位可以用于超分辨率处理中。另外，场景相关的几何移位可以用于精炼光场内的像素从参考视点来看的可见性的确定。在若干个实施例中，场景相关的几何移位用于比较像素的相似性。假定参考视点的像素的深度被正确地确定，那么像素的相似性指示该像素是否可见。相似的像素有可能是从参考视点观察到的由于视差而移位的像素。如果像素不相似，则从参考视点观察到的像素有可能在第二图像中被遮挡。在许多实施例中，可见性信息用于进一步更新深度图。在几个实施例中，产生可见性信息，并且将可见性信息与深度图一起提供以供用于超分辨率处理。
在若干个实施例中，通过产生稀疏深度图来降低产生深度图的计算复杂性，所述稀疏深度图包括附加的在其中附加深度信息是期望的区域中的深度估计，所述区域诸如(但不限于)涉及深度转变的区域和/或包含在光场内的一个或多个图像中被遮挡的像素的区域。
许多阵列照相机使用不同的照相机捕捉颜色信息(参见例如美国专利申请号12/935,504中所公开的阵列照相机)。在许多实施例中，绿色照相机的视点用作参考视点。初始深度图可以使用阵列照相机中的其他绿色照相机所捕捉的图像而产生，该深度图用于确定光场内的红色、绿色和蓝色像素的可见性。在其他实施例中，多个颜色通道中的图像数据可以用于执行深度估计。在几个实施例中，当估计深度时，考虑每个颜色通道中的相应像素的相似性。在若干个实施例中，当估计深度时，还考虑不同颜色通道中的相应像素集合的相似性。下面进一步讨论根据本发明的实施例的使用各种成本函数的深度估计，所述各种成本函数考虑单个光谱通道中的、多个光谱通道中的、和/或跨光谱通道的、特定深度处的相应像素的相似性。
在几个实施例中，阵列照相机可以包括捕捉多个颜色通道中的图像数据的一个或多个照相机。例如，除了单色照相机之外，或者作为单色照相机的替代，阵列照相机可以包括具有Bayer滤色器模式的一个或多个照相机。当为了产生深度图的目的使用捕捉多个颜色通道的照相机的视点作为参考视点时，可以对于从参考视点捕捉的每个颜色通道确定深度图和可见性信息。当参考图像包含关于多个颜色通道的信息时，与使一个通道中的像素相对于另一个颜色通道中的像素的深度和可见性重合相比，可以基于光场中的像素相对于参考图像的视差更可靠地创建深度和可见性信息。利用捕捉多个颜色通道中的图像数据的照相机的视点作为参考视点的缺点是，对于在单个通道中使用相同数量的像素捕捉图像数据的照相机而言，所捕捉的每个颜色通道中的深度信息的分辨率降低。因此，阵列照相机的构造和用作参考视点的视点的选择通常取决于特定应用的要求。
一旦对于光场中的像素产生了深度图和可见性信息，就可以将深度图和可见性信息提供给根据本发明的实施例的超分辨率处理流水线以合成场景的较高分辨率2D图像。深度图可以用于校正不同的低分辨率图像之间的视差，可见性信息可以在融合期间用于防止被遮挡像素(即，替代视图图像中的从参考视点看不见的像素)融合。在几个实施例中，产生深度图的处理还包括产生置信图，该置信图包括对于深度图中的深度估计的置信度量。在几个实施例中，深度度量对指示相应的深度估计的可靠性的至少一个置信因子进行编码。在若干个实施例中，置信度量至少包括基于深度估计与其相关联的像素位置的区域中的信噪比(SNR)的置信因子、以及基于图像集合中的与用于产生深度估计的深度图与其相关联的像素位置相对应的和/或被遮挡的像素的数量的置信因子。下面描述根据本发明的实施例的用于检测并且校正阵列照相机所捕捉的图像中的视差的系统和方法。然而，在讨论视差的检测和校正之前，讨论根据本发明的实施例的各种阵列照相机。
阵列照相机架构
根据本发明的实施例的阵列照相机可以包括照相机模块和处理器，所述照相机模块包括照相机阵列，所述处理器被配置为从照相机模块读出图像数据并且对该图像数据进行处理以合成图像。图1中例示了根据本发明的实施例的阵列照相机。阵列照相机100包括具有个体照相机104的阵列的照相机模块102，其中，个体照相机的阵列是指成特定布置的多个照相机，诸如(但不限于)所例示的实施例中所用的方形布置。照相机模块102连接到处理器108。处理器还被配置为与一个或多个不同类型的存储器110进行通信，存储器110可以用于存储图像数据和/或包含用于将处理器配置为执行包括(但不限于)下述各种处理的处理的机器可读指令。在许多实施例中，存储器包含图像处理应用程序，其被配置为对包括多个图像的光场进行处理以使用下面详细概述的任一处理产生一个(多个)深度图、一个(多个)可见性图、一个(多个)置信图、和/或一个(多个)较高分辨率图像。如下面进一步讨论的，深度图通常提供对于参考视点的图像(例如，从参考视点合成的较高分辨率图像)中的像素的深度估计。可以产生适合于特定应用的要求的各种可见性图，包括(但不限于)指示参考图像中的像素位置在光场内的特定图像中是否可见的可见性图、指示光场内的图像中的特定像素从参考视点来看是否可见的可见性图、以及指示在一个替代视图图像中可见的像素在另一个替代视图图像中是否可见的可见性图。在其他实施例中，各种应用程序中的任何一种应用程序可以存储在存储器中，并且用于使用本文中所描述的处理对图像数据进行处理。在几个实施例中，根据本发明的实施例的处理可以使用专用集成电路和/或现场可编程门阵列来用硬件实现，或者部分用硬件和软件实现。
根据本发明的许多实施例的处理器108使用适合的软件被配置为获取光场内的图像数据并且合成一个或多个高分辨率图像。在几个实施例中，高分辨率图像是从参考视点(通常是传感器102内的参考焦平面104的视点)合成的。在许多实施例中，处理器能够合成与传感器102中的任一焦平面104的视点不相对应的虚拟视点的图像。由于用于捕捉光场中的图像的焦平面的视场不同，这些图像将包括场景相关的视差。下面进一步讨论用于检测并且校正视差的处理。尽管图1中例示了特定的阵列照相机架构，但是根据本发明的实施例，还可以利用替代架构。
阵列照相机模块
根据本发明的实施例的阵列照相机模块可以由包括焦平面阵列的成像器阵列或传感器、以及包括用于成像器阵列中的每个焦平面的透镜叠层的光学阵列构成。Pain等人的、标题为“Architectures for System on Chip Array Cameras”的美国专利申请No.13/106,797中讨论了包括多个焦平面的传感器，该申请的全部公开内容通过引用并入本文。在由光学阵列中的透镜叠层形成的每个光学通道内可以使用滤光器来使得阵列照相机模块内的不同照相机能够捕捉关于电磁波谱的不同部分的(即，不同光谱通道内的)图像数据。
图1A中例示了根据本发明的实施例的阵列照相机模块。阵列照相机模块150包括成像器阵列152连同相应的光学阵列156，成像器阵列152包括焦平面154的阵列，光学阵列156包括透镜叠层158的阵列。在透镜叠层阵列内，每个透镜叠层158在相应的焦平面154内的光敏感像素阵列上创建形成场景的图像的光学通道。透镜叠层158和焦平面154的每个配对形成照相机模块内的单个照相机104。照相机104的焦平面154内的每个像素产生可以从照相机104发送到处理器108的图像数据。在许多实施例中，每个光学通道内的透镜叠层被构造为使得每个焦平面158的像素对场景内的同一对象空间或区域进行采样。在几个实施例中，透镜叠层被构造为对同一对象空间进行采样的像素以亚像素偏移进行采样以提供可以用于通过使用超分辨率处理恢复提高的分辨率的采样多样性。术语采样多样性是指不同视点的图像对场景中的同一对象进行采样，但是是以微小的亚像素偏移进行采样。通过以亚像素精度对图像进行处理，当与仅用单个图像对对象空间进行采样相比时，可以恢复由于亚像素偏移而编码的附加信息。
在所例示的实施例中，焦平面按5×5阵列构造。传感器上的每个焦平面154能够捕捉场景的图像。通常，每个焦平面包括多行像素，这些像素也形成多列像素，并且每个焦平面包含在成像器的不包含来自另一个焦平面的像素的区域内。在许多实施例中，每个焦平面的图像数据捕捉和读出可以独立地控制。这样，可以独立地确定图像捕捉设置(包括(但不限于)焦平面内的像素的曝光时间和模拟增益)，以使得能够基于包括(但不限于)特定颜色通道和/或场景动态范围的特定部分的因素定制图像捕捉设置。焦平面中所用的传感器元件可以是单个的光感测元件，诸如，但不限于，传统的CIS(CMOS图像传感器)像素、CCD(电荷耦合器件)像素、高动态范围传感器元件、多光谱传感器元件、和/或被构造为产生指示入射在其上的光的电信号的任何其他结构。在许多实施例中，每个焦平面的传感器元件具有类似的物理性质，并且经由同一光学通道和滤色器(在存在的情况下)接收光。在其他实施例中，传感器元件具有不同的特性，并且在许多情况下，传感器元件的特性与应用于每个传感器元件的滤色器相关。
在几个实施例中，如2012年5月1日提交的、标题为“Camera Modules Patternedwith pi Filter Groups”的美国临时专利申请No.61/641,165中进一步讨论的，单个的照相机中的滤色器可以用于使用π滤波器组将照相机模块构图，该申请的全部公开内容通过引用并入本文。这些照相机可以用于捕捉关于不同颜色或者光谱的特定部分的数据。与将滤色器应用于照相机的像素相对照，本发明的许多实施例中的滤色器被包括在透镜叠层中。可以利用各种滤色器构造中的任何一种，包括图1C中的包括八个绿色照相机、四个蓝色照相机和四个红色照相机的构造，其中，照相机更均匀地分布在照相机的中心周围。例如，绿色照相机可以包括具有使得绿色光可以通过光学通道的绿色滤光器的透镜叠层。在许多实施例中，每个焦平面中的像素是相同的，并且像素所捕捉的光信息由用于每个滤光器平面的相应透镜叠层中的滤色器区分。尽管上面描述了具有包括透镜叠层中的滤色器的光学阵列的照相机模块的特定构造，但是可以以各种方式实现包括π滤波器组的照相机模块，包括(但不限于)以与滤色器应用于常规的彩色照相机的像素的方式类似的方式将滤色器应用于照相机模块的焦平面的像素。在几个实施例中，照相机模块中的照相机中的至少一个可以包括应用于其焦平面中的像素的统一滤色器。在许多实施例中，Bayer滤波器模式应用于照相机模块中的照相机之一的像素。在若干个实施例中，构造在其中在透镜叠层中以及在成像器阵列的像素上都利用滤色器的照相机模块。
尽管上面讨论了特定的阵列照相机和成像器阵列，但是根据本发明的实施例，可以利用许多不同的阵列照相机来捕捉图像数据并且合成图像。下面讨论根据本发明的实施例的用于在阵列照相机捕捉的图像数据中检测并且校正视差的系统和方法。
确定视差/视差
在若干个实施例中，用于捕捉光场的阵列照相机中的单个的照相机具有类似的视场、固定孔径和焦距。结果，照相机趋向于具有非常类似的视野深度。图2中例示了两照相机系统中的视差。两个照相机200、202包括透镜叠层204和焦平面206。每个照相机具有后焦距f，并且这两个照相机分隔2h的基线距离。两个照相机的视场包含包括前景对象208和背景对象210的场景。图3A中例示了第一照相机200的视点的场景。在第一照相机捕捉的图像300中，前景对象208所出现的位置略微偏向背景对象210的右边。图3B中例示了第二照相机202的视点的场景。在第二照相机捕捉的图像302中，前景对象208表现为移位到背景对象201的左手边。由两个照相机200、202的不同视场引入的视差等于前景对象208在第一照相机捕捉的图像中的位置(该位置在第二照相机捕捉的图像中用虚线304指示)与其在第二照相机捕捉的图像中的位置之间的差距。如下面进一步讨论的，可以通过确定前景对象在两个捕捉图像中的视差来获得从两个照相机到前景对象的距离。
再次参照图2，前景对象上的点(xo,yo,zo)将出现在每个照相机的焦平面上、离照相机的光轴一定偏移处。第一照相机200的焦平面上的点相对于其光轴212的偏移被示为-uL。第二照相机202的焦平面上的点相对于其光轴214的偏移被示为uR。通过使用类似的三角形，可以如下观察到两个照相机捕捉的图像之间的偏移：
组合这两个方程得到如下的两个照相机之间的视差(或视差)：
从以上方程，可以看出，照相机捕捉的图像之间的视差是沿着两个照相机的基线的方向上的矢量的，所述基线可以被称为两个照相机之间的核线。此外，视差的幅值与两个照相机的基线间隔和这些照相机的后焦距成正比，并且与从照相机到出现在场景中的对象的距离成反比。
阵列照相机中的遮挡
当场景的多个图像是从不同角度捕捉并且该场景包括前景对象时，前景对象在每个图像中的位置的视差导致该场景的在前景对象后面的部分在一些图像中可见，但是并非在所有图像中都是可见的。捕捉关于场景的一部分的图像数据的像素可以被称为被遮挡像素，所述部分在场景的从其他视点捕捉的图像中不可见。再次参照图3A和3B，当第二照相机的视点被选为参考视点时，图像302中的虚线304内所包含的像素可以被认为是被遮挡像素(即，这些像素从场景的一部分捕捉图像数据，该部分在第二照相机302捕捉的图像302中可见，但是在第一照相机200捕捉的图像300中不可见)。第一图像中的虚线306中所包含的像素可以被认为是被揭露像素(即，在参考视点中不可见、但是通过移位到替代视点而被揭露出来的像素)。在第二图像中，前景对象208的像素可以被称为遮挡像素，因为它们捕捉场景的遮挡图像302中的虚线304内所包含的像素的部分。由于第二图像302中的虚线304内所包含的像素的遮挡，不能从这两个图像确定从照相机到场景的在虚线304内的可见的部分的距离，因为在图3A中所示的图像300中不存在相应的像素。
如下面进一步讨论的，在参考视点周围的补充遮挡区域中增加从不同视点捕捉场景的图像的照相机的数量提高了场景的从参考视点来看可见的每一个部分从其他照相机中的至少一个的视点来看也是可见的可能性。当阵列照相机使用不同照相机来捕捉不同波长的光(例如，RGB)时，在围绕参考视点的四分之一圆中分布捕捉每个波长的光的至少一个照相机可以显著地降低场景的从参考视点来看可见的一部分在特定颜色通道内所捕捉的每隔一个图像中将被遮挡的可能性。在Nisenzon等人于2012年5月1日提交的、标题为“Camera Modules Patterned withπFilter Groups”的美国临时专利申请No.61/641,164中进一步讨论了根据本发明的实施例的阵列照相机中的滤色器的降低遮挡可能性的分布，该申请的全部公开内容通过引用并入本文。
使用视差产生阵列照相机中的深度图
根据本发明的许多实施例的阵列照相机使用在阵列照相机所捕捉的图像中观察到的视差来产生深度图。深度图通常被认为是关于图像的元数据层，其描述从照相机到该图像内的特定像素或像素组的距离(这依深度图的相对于原始输入图像的分辨率的分辨率而定)。根据本发明的若干个实施例的阵列照相机出于各种目的使用深度图，所述各种目的包括(但不限于)在合成高分辨率图像期间产生场景相关的几何移位和/或执行合成图像的动态再聚焦。
基于上面对于视差的讨论，基于像素视差确定场景的一部分的深度的处理在理论上是简单的。当阵列照相机中的特定照相机的视点被选为参考视点时，可以使用照相机阵列所捕捉的一些或全部图像中的相应像素之间的视差来确定到场景的从参考视点来看可见的一部分的距离。在没有遮挡时，与从参考视点捕捉的图像中的像素相应的像素将在每个非参考或替代视图图像中沿着核线(即，与两个照相机之间的基线矢量平行的线)定位。沿着视差的核线的距离对应于照相机与场景的由像素所捕捉的部分之间的距离。因此，通过比较所捕捉的图像中的预期在特定深度处对应的像素，可以搜索得到具有最高相似性程度的像素的深度。所捕捉的图像中的相应像素在其具有最高相似性程度的深度可以被选为照相机与场景的由像素所捕捉的部分之间的最可能的距离。如下面所讨论的，根据本发明的实施例，可以根据特定应用的要求，视情况对于单个光谱通道内的、多个光谱通道内的、和/或跨光谱通道的相应像素确定相似性。
然而，在使用以上所概述的方法确定精确的深度图时，存在许多挑战。在几个实施例中，阵列照相机中的照相机是类似的，但是不相同。因此，图像特性可能在图像之间有所变化，降低了不同图像中的相应像素的相似性，所述图像特性包括(但不限于)光学特性、不同传感器特性(诸如由于偏移而导致的传感器响应的变化、不同传输或增益响应、像素响应的非线性特性)、所捕捉的图像中的噪声、和/或与和组装工艺相关的制造公差相关的翘曲或畸变。另外，超分辨率处理依赖于成像器阵列所捕捉的图像中的采样多样性，以便合成更高分辨率图像。然而，提高采样多样性还可以涉及降低光场中的所捕捉的图像中的相应像素之间的相似性。考虑到以上概述的用于确定深度的处理依赖于像素的相似性，所捕捉的图像之间的光度差异和采样多样性的存在可以降低可以确定深度图的精度。
深度图的产生由于遮挡而进一步复杂化。如以上所讨论的，当从参考视点来看可见的像素在所捕捉的图像中的一个或多个中不可见时，遮挡发生。遮挡的影响是，在正确的深度处，否则将被相应像素占据的像素位置被对场景的另一部分(通常是更靠近照相机的对象)采样的像素占据。遮挡像素通常与被遮挡像素迥然不同。因此，正确深度处的像素的相似性的比较不太可能导致远高于其他深度处的相似性程度。有效地，遮挡像素充当强离群值，其掩蔽事实上在正确深度处相对应的那些像素的相似性。因此，遮挡的存在可以对于深度图引入强误差源。
根据本发明的许多实施例的用于产生深度图的处理试图最小化可以由包括(但不限于)以上概述的那些来源的来源引入到深度图中的误差的来源。图4中例示了根据本发明的实施例的用于产生深度图的一般处理。处理400涉及使用阵列照相机捕捉(402)光场。在若干个实施例中，选择(404)参考视点。在许多实施例中，参考视点是预定的。在几个实施例中，可以基于所捕捉的光场或者阵列照相机的用户所请求的特定操作(例如，产生立体3D图像对)来确定参考视点。在确定深度图之前，规范化(406)原始图像数据以提高所捕捉的图像中的相应像素的相似性。在许多实施例中，规范化涉及利用校准信息来校正照相机所捕捉的图像中的变化，包括(但不限于)每个照相机的透镜叠层所引入的光度变化和场景相关的几何畸变。在几个实施例中，原始图像数据的规范化还涉及降低混叠和噪声对于图像中的相应像素的相似性的影响的预先滤波、和/或简化视差搜索的几何形状的图像数据修正。滤波器可以是高斯滤波器或边缘保持滤波器、固定系数滤波器(箱式)和/或任何其他适当的滤波器。在若干个实施例中，规范化还包括重新对所捕捉的图像进行采样以通过校正例如几何透镜畸变来提高所捕捉的图像中的相应像素的相似性。下面进一步讨论根据本发明的实施例的在原始图像数据或规范化期间执行的处理。
对于从参考视点捕捉的图像的像素确定(408)初始深度图。初始深度图用于确定(410)可能的遮挡区域，并且通过使用在其中相对应像素可见的图像来确定遮挡区域中的像素的深度来更新(412)遮挡区域中的像素的深度。如下面进一步讨论的，可以使用与在真实世界场景中遇到的不同可见性模式相对应的竞争图像子集来更新深度估计。尽管图4中示出了特定序列，但是在许多实施例中，与产生初始深度图同时地检测遮挡区域。
涉及重新对原始图像数据进行采样以减小场景相关的几何差异的规范化处理可以通过校正线性和/或非线性透镜畸变来减小误差，所述线性和/或非线性透镜畸变否则可能使匹配所捕捉的每个图像中的相应像素的能力受损。另外，用不包括被遮挡像素的深度测量更新遮挡区域中的深度图进一步减少了所得的深度图中的误差的来源。尽管图4中例示了用于产生深度图的一般处理，但是根据本发明的实施例，可以利用所例示的用于产生深度图的处理的变型和替代方案。下面进一步讨论根据本发明的实施例的用于校准原始图像数据、确定初始深度图以及更新深度图以考虑遮挡的处理。
提高所捕捉的图像数据中的相应像素的相似性
阵列照相机中的每个照相机所捕捉的图像之间的相似性越大，不同假设深度处的图像中的相应像素的测量将导致在正确深度处检测到最高相似性的可能性越高。如美国专利申请No.12/935,504(以上通过引用并入)中所公开的，阵列照相机中的照相机所捕捉的图像通常在若干个方面不同，包括(但不限于)照相机之间光学器件中的变化可以引入光度差异、混叠、噪声和场景无关的几何畸变。光度差异和场景无关的几何畸变可以通过滤波和校准来校正。用于执行光度规范化的光度校准数据和补偿场景无关的几何畸变的场景无关的几何校正可以使用离线校准处理和/或后续再校准处理而产生。光度校准数据可以被提供给可以对于阵列照相机捕捉的图像执行各种光度调整中的任何一种的光度规范化模块或处理，所述各种光度调整包括(但不限于)减小混叠和噪声的影响的预滤波、黑电平计算和调整、晕影校正以及横向颜色校正。在几个实施例中，光度规范化模块还执行温度规范化。使用校准处理确定的场景无关的几何校正还可以应用于所捕捉的图像以提高这些图像之间的对应性。当所捕捉的图像用于使用超分辨率处理合成更高分辨率图像时，应用于这些图像的场景无关的几何校正通常是在亚像素分辨率上确定的。因此，通常以高于在常规的立体3D成像中重合对齐期间所用的校正的精度来确定场景无关的几何校正。在许多实施例中，场景无关的几何校正还涉及考虑到阵列照相机的透镜相对于焦平面的畸变和旋转的修正，以使得非参考图像的核线易于与从参考视点捕捉的图像的核线对齐。通过这样几何规范化，确定相应像素的深度所执行的搜索可以被简化为在各个照相机中沿着直线搜索，并且深度测量的精度可以得到改进。
在Mullis,Jr.于2013年3月13日提交的、标题为“Systems and Methods forCalibration of an Array Camera”的美国专利申请No.61/780,748中描述了根据本发明的实施例的用于校准阵列照相机以产生可以应用于由阵列照相机捕捉的图像的一组场景无关的几何校正和光度校正的系统和方法，该申请的全部公开内容通过引用并入。
在若干个实施例中，通过重新对所捕捉的图像进行采样以检测对象在阵列照相机中的照相机的视场中的亚像素精度移位来提高所捕捉的图像中的像素的对应性。
图5中例示了根据本发明的实施例的用于将校正应用于阵列照相机所捕捉的图像以提高所捕捉的图像之间的对应性的处理。处理500包括光度地规范化所捕捉的图像(502)，将场景无关的几何校正(504)应用于规范化的图像。在一些实施例中，需要另外的修正处理来确保所有照相机都是共面的并且视差搜索可以减少到只有核线。图5中所示的处理提高了所得图像之间的对应性。因此，对于图像之间的像素对应性的搜索最有可能导致精确的深度测量。
尽管以上关于图5讨论了根据本发明的实施例的用于提高一个(多个)阵列照相机捕捉的图像之间的对应性的特定处理，但是根据本发明的实施例，在产生深度图之前，可以利用提高所捕捉的图像之间的对应性的各种处理中的任何一种处理。下面进一步讨论根据本发明的实施例的用于产生深度图的处理。
产生深度图
产生深度图的处理涉及利用图像之间的视差来估计场景内的对象的深度。如以上所指出的，遮挡可以影响以以上概述的方式使用成本函数获得的深度测量的可靠性。通常，这样的遮挡将根据用于比较相应像素的相似性度量表现为显著的不匹配(可能掩蔽可见像素的相似性)。然而，本发明的许多实施例产生初始深度图，然后解决由于遮挡而可能引入到初始深度图的创建中的任何误差。在几个实施例中，初始深度图用于识别从参考视点捕捉的图像中的、在阵列照相机从其他视点捕捉的图像中可能被遮挡的像素。当检测到遮挡时，可以通过根据相似性比较从在其中像素被遮挡的图像排除像素来更新关于从参考视点捕捉的图像中的像素的深度信息。在几个实施例中，可以使用与在真实世界场景中遇到的不同可见性模式相应的竞争图像子集来更新由于遮挡而受到影响的深度估计。在某些实施例中，更新的深度估计可以用于识别被遮挡的相应像素，并且使用可见性信息迭代重复深度估计处理，以使得遮挡对于深度图的精度的影响可以降低。在几个实施例中，使用图像子集产生更新的深度估计的处理的鲁棒性足以使得可以减少或者消除针对迭代地精炼深度图和可见性估计的需要。
图6中例示了根据本发明的实施例的确定从参考视点捕捉的图像中的像素的深度的处理。处理600包括使用阵列照相机捕捉的一些或全部图像确定(602)初始深度图。然后确定(604)从参考视点捕捉的图像中的每个像素在所捕捉的每个图像中的可见性。在相应像素位置被遮挡的情况下，可以重新计算(606)从参考视点捕捉的图像中的像素的深度，从成本函数排除在其中相应像素位置被遮挡的图像。决定(608)是否继续迭代。随着遮挡区域中的深度测量细化，获得关于遮挡区域内的像素在所捕捉的每个图像中的可见性的附加信息。因此，重复作为可见性信息的、遮挡区域中的像素的深度的重新计算可以迭代地改进深度图的精度。适合于特定应用的各种终止条件中的任何一种可以用于确定何时终止迭代循环，包括(但不限于)预定次数的迭代完成和/或在特定的一遍迭代循环中对于其确定更新的深度信息的像素的数量降至预定数量以下。在几个实施例中，由于利用所述图像集合的与真实世界可见性模式相应的子集更新使用不匹配像素产生的深度估计，仅执行单次迭代。
一旦获得了最终深度图，就确定了(610)所捕捉的图像中的每个像素的可见性，并且深度图和/或可见性信息可以用于各种目的，包括，但不限于，使用超分辨率处理合成高分辨率图像。
与图7中所示的处理类似的处理的计算复杂度取决于当执行深度确定时所比较的图像的数量。照相机离参考视点越远，将观察到的视差越大。另外，阵列中的最远照相机包含它们的包络内的所有其他照相机。通常，较大的幅值移位使得能够以更高的精度确定深度。因此，使用从参考视点捕捉图像的照相机和离该照相机最远的照相机确定深度信息可以改进所检测的深度的精度。另外，由于降低匹配的周期性的可能性提高，所以使用来源于具有各种基线和方向的照相机的合计成本可以显著地改进深度估计的可靠性。在5×5阵列(参见图7)的情况下，中央绿色照相机(700)可以用于从参考视点捕捉图像，并且可以将中央照相机捕捉的图像数据与位于阵列的四个角上的绿色照相机(702)捕捉的图像数据进行比较以确定深度。在其他阵列中，照相机的各种组合中的任何一种组合捕捉的图像可以用于根据本发明的实施例确定深度。如下面进一步讨论的，特定照相机子集的选择可以降低参考图像中的像素在由该子集中的其他照相机捕捉的图像数据中被遮挡的可能性。
尽管图6中例示了根据本发明的实施例的用于产生深度图和/或可见性信息的特定处理，但是可以利用涉及确定初始深度图、然后通过检测被遮挡像素并且更新深度测量以排除被遮挡像素来细化深度图的各种处理中的任何一种。下面进一步讨论根据本发明的实施例的用于确定像素的深度和可见性的特定处理。
确定初始深度图
用于确定从阵列照相机到场景中的对象的距离的处理涉及找出其中由阵列照相机所捕捉的图像中的相应像素具有最高相似性程度的深度。如以上所讨论的，在特定深度处，从参考视点捕捉的图像中的像素将沿着参考视点与照相机阵列中的每个照相机之间的核线移位已知距离。从参考视点捕捉的图像中的像素和其他图像中的“移位的”像素(即，这些图像中的位于基于特定距离的预期移位而确定的位置上的像素)是相应像素。当假定深度不正确时，相应像素可能表现出非常低的相似性(但是在一些场景中，由于诸如周期性纹理的特征，不正确的深度具有高相似性程度)。当假设深度正确时，相应像素将理想地表现出任一假设深度的最高相似性程度。当在所捕捉的光场的超分辨率处理中使用深度图时，可以以足以使得能够检测到亚像素移位的精度确定深度图。在超分辨率处理中，它是所用的场景相关的移位，而不直接是深度。因此，检测与亚像素移位精度相应的深度的能力可以显著地改进超分辨率处理的性能。下面进一步讨论所捕捉的图像的像素的重新采样可以用于以亚像素移位精度确定深度的方式。
在许多实施例中，一定物理距离范围(例如，20cm或无限远)内的若干个深度的视差搜索用于通知当执行深度估计时所搜索的视差。搜索范围可以划分为若干个深度索引，以使得连续深度索引之间的视差移位在特定图像的像素中是恒定的，并且基于对于阵列中的照相机所捕捉的、与相对于参考视点而言的最大基线相应的图像测量的最小亚像素精度而设置(参见例如图7)。这提高了深度估计的精度足以用作超分辨率处理的输入的可能性。在其他实施例中，连续深度索引无需对应于恒定的像素移位，并且深度搜索可以基于场景的特性而改动。
在几个实施例中，成本函数用于确定相应像素的相似性。通常使用的特定成本函数取决于阵列照相机的构造、阵列照相机所捕捉的图像的数量、以及阵列照相机所用的颜色通道的数量。在若干个实施例中，阵列照相机包括单个颜色通道，和/或使用单个颜色通道内的照相机产生深度图。在来自单个颜色通道内的图像数据用于产生深度图的情况下，可以利用测量相应像素的方差的成本函数。在几个实施例中，可以使用L1范数、L2范数或一些其他度量的和。例如，相对于目标(通常是参考目标，但是还可以使用非参考目标)的相似性的合计。方差越小，像素之间的相似性越大。
来自多个光谱通道的图像数据还可以用于产生深度图。在几个实施例中，通过查看每个光谱通道内的图像的相应像素的相似性来估计给定像素位置处的深度。在若干个实施例中，确定给定像素位置处的深度的处理还涉及使用关于不同光谱通道上的图像的相应像素的相似性的信息。当使用利用多个颜色通道捕捉的图像数据产生深度图时可以利用的成本函数包括(但不限于)来自不同颜色通道的图像数据的组合的和/或多个单个的颜色通道内的相应像素的方差/标准差的L1范数、L2范数、或者L1范数和L2范数的组合。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。
如下面进一步讨论的，本发明的许多实施例在确定参考视点的图像中的像素位置的深度时，利用包括基于自然场景的特性分组的来自多个颜色通道的照相机的照相机子集来降低给定像素位置在该照相机子集中的其他照相机捕捉的替代视图图像中被遮挡的可能性。在阵列照相机在从参考视点捕捉图像的照相机中利用Bayer滤波器的情况下，各种成本函数可以用于确定像素相似性，包括(但不限于)测量红色方差、绿色方差和蓝色方差的组合的成本函数。另外，不同成本函数可以应用于图像的不同区域中的像素。在几个实施例中，使用该技术从中央绿色照相机和照相机阵列的四个角中的每个角上的一组红色、蓝色和绿色照相机捕捉的图像数据产生深度图(参见例如图7)。
图8中例示了根据本发明的实施例的用于使用阵列照相机捕捉的图像确定像素的深度的处理。处理800包括对于从参考视点捕捉的图像的所选像素选择(802)初始假设深度或距离d。基于参考图像内的像素的位置和关于参考视点与用于执行深度测量的其他照相机的视点之间的基线的信息，确定(804)在假设深度d处所捕捉的每个图像中的相应的像素位置。在许多实施例中，不对视差检测处理的输入图像进行几何校正，而是通过在搜索期间将矢量偏移添加于视差移位以识别给定深度d处的相应像素来飞速地应用几何校正。在其他实施例中，在规范化处理期间在搜索开始之前将几何校正应用于图像，并且当计算像素对应性时在搜索期间不必添加几何校正矢量(即，预先计算几何校正)。在后一种情况下，几何畸变的预先校正可以使得所述算法在诸如SIMD和GPU等的并行处理器上的效率显著提高。
如以上所指出的，遮挡可以对于深度估计引入误差。当遮挡/可见性信息可获得时，作为深度测量的一部分，可以忽视(806)被遮挡像素。当关于像素的可见性的信息不可获得时(例如，在产生初始深度图期间和/或在使用图像子集产生深度估计期间)，使用所有的在相应像素位置上的像素的相似性确定深度。如下面参照图8A-8I所讨论的，可以对于从阵列照相机捕捉的图像的子集捕捉的图像数据执行初始深度搜索以识别在其中参考图像中的给定像素可见的特定照相机子集。
当识别了相应像素时，可以测量相应像素的相似性(808)。在许多实施例中，使用成本函数确定像素的相似性。所用的特定成本函数取决于被比较的像素信息。如以上所指出的，在一个实施例中，当来自单个颜色通道的像素被比较时，成本函数可以考虑相应像素的L1范数、L2范数和/或方差。当来自多个颜色通道的像素被比较时，可以利用更复杂的成本函数，包括(但不限于)合并来自多个颜色通道的图像数据的L1范数和/或L2范数和/或多个单个的颜色通道内的相应像素的方差/标准差的成本函数。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。在几个实施例中，利用成本函数确定相似性的处理涉及使用滤波器对所计算的成本进行空间滤波，所述滤波器诸如(但不限于)固定系数滤波器(诸如高斯滤波器)，或者在替代实施例中，边缘保持滤波器。在替代实施例中，这样用边缘保持滤波器进行滤波是利用来自光度相似的相邻像素的信息改进深度估计的一种自适应支持的形式。在不进行滤波的情况下，深度测量是逐个像素的，并且噪声大于它们被滤波时。使用自适应支持来平滑成本函数可以防止产生不正确深度。在若干个实施例中，使用双边滤波器对所计算的成本进行空间滤波，在这种情况下，双边滤波器权重是从参考图像确定的，但是与正常的双边滤波器相对比，所得的滤波器权重应用于所计算的成本，而不是参考图像。这样，参考图像数据可以用作改进成本估计的去噪的向导。在若干个实施例中，可以利用箱式滤波器和/或适合于特定应用的要求的任何其他滤波器。
在假设深度范围上扫描(812)时重复关于不同深度处的相应像素的成本函数的计算，直到深度搜索完成(810)为止。然后可以将最可能的深度确定(814)为其中(滤波后的)成本函数指示相应像素具有最高相似性程度的假设深度。在几个实施例中，对于给定深度，如果单个照相机显示出非常高的不匹配，则计算早期终止可以发生。在这种状况下，所述处理可以跳到下一个假设深度上，因为当前深度处的匹配将是不可接受的。在许多实施例中，执行深度采样(即，基于特定深度处的视差比较替代视图图像中的像素)的处理涉及在视差空间中均匀地对深度进行采样。换句话说，可以沿着核线以均匀的像素移位获取深度采样。在若干个实施例中，搜索不涉及视差空间中的均匀采样。在几个实施例中，搜索利用图像特性来提高搜索效率。在几个实施例中，搜索使用关于对象在场景中的什么位置的先验信息来确定或限制在试图形成更高分辨率深度图时对哪些深度进行采样，所述先验信息诸如来自较粗略的或较低的空间分辨率的深度图或者降低的视差搜索分辨率(例如，来自图像预览)。例如，预览深度图可以用于确定特定距离以外不存在对象，在这种情况下，对于深度搜索，超出该距离将不分配深度采样。
许多图像表现出类似颜色的区域，因此，可以通过下述步骤智能地执行对于最可能的假设深度的搜索，即，选择在可能的假设深度的范围上最粗略地分布的第一组假设深度，然后在这些假设深度之中找出表现出最高相似性程度的深度。然后执行第二搜索以在第一组深度中在表现出最高相似性程度的深度周围的更精细的深度范围内细化。在更精细的搜索失败并且没有从表现出类似颜色的区域找到最佳像素的情况下，可以在整个深度范围上按比最初的第一粗略搜索中的间隔更精确的间隔执行全搜索。然而，如果在第二搜索中找到令人满意的匹配，则在第二搜索内表现出最高相似性水平的深度可以用作最可能的假设深度。
在许多实施例中，利用对于相邻像素确定的深度信息来执行对于像素的最可能的深度的搜索。在几个实施例中，通过下述方式执行搜索，即，围绕一个或多个相邻像素的深度进行搜索、围绕基于相邻像素的深度(例如，基于相邻像素的平均深度或者基于多对相邻像素的线性插值)而确定的深度进行搜索、和/或通过围绕先前识别的深度(例如，相对于预览图像和/或视频序列中的前一帧确定的深度)进行搜索。这样的搜索还可以简化确定深度时空间滤波器的应用(参见下面讨论)。在其他实施例中，各种技术中的任何一种技术可以用于降低找出图像中的像素的最可能的深度的计算复杂度。
尽管以上关于图8讨论了用于确定从参考视点捕捉的图像中的像素的深度的特定处理，但是各种处理中的任何一种处理可以用于确定像素的深度，包括基于阵列照相机捕捉的多个图像确定从虚拟视点来看的像素的深度的处理。与图8中所示的处理类似的处理可以用于产生初始深度图、然后通过忽略在其中与参考视点的图像中的像素位置相应的像素被遮挡的图像来细化深度图。下面进一步讨论根据本发明的实施例的用于使用自适应支持确定像素对应性的处理。
在存在遮挡时确定像素对应性
在参考视点中无论在哪里存在深度转变或间断，与深度转变相邻的像素都有可能在阵列照相机捕捉的图像中的至少一个中被遮挡。具体地讲，离照相机的距离较远的与转变相邻的像素有可能被与更靠近该照相机的照相机相邻的像素遮挡。理想情况是，如下使用关于阵列中的不包括被遮挡像素的每个可见照相机i的合计成本函数CV(x,y,d)来确定深度图：
其中，Costi,Ref(x,y,d)是相似性度量(即，成本函数)，
d是像素(x,y)的深度，以及
Vi,Ref(x,y)是像素(x,y)的可见性，一开始，对于所有照相机，Vi,Ref(x,y)＝1。
在若干个实施例中，如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设计算单个的成本Costi,Ref(x,y,d)：
Costi，Ref(x，y，d)＝S{Ii(x，y，d)，IRef(x，y，d)}
其中，S是相似性度量(例如)，以及
li是几何校准之后的校准图像i。
在几个实施例中，产生合计成本的处理可以涉及使用这样的图像，与特定假设的或候选的深度相对应的场景相关的几何移位被应用于该图像中的所有像素。这样，可以对于所搜索的每个候选深度产生移位的图像。通过使用移位的图像，可以以以上概述的方式利用移位的图像与参考图像之间的相似性来产生关于参考视点的图像中的特定像素位置(x,y)的在每个深度处的合计成本。另外，合计成本可以如下考虑候选深度处的移位的图像的相似性：
其中，K是在与参考照相机相同的光谱通道中的一组照相机，
L是一组多对照相机，其中，每对中的两个照相机都在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道，在这种情况下，光场包括多个光谱通道中的图像数据)中，
Costk，Ref(x，y，d)＝S{ImageRef(x，y)，ShiftedImagek(x，y，d)}，以及
Costi，j(x，y，d)＝S{ShiftedImagei(x，y，d)，ShiftedImagej(x，y，d)}
在若干个实施例中，集合K和L不必包含所有照相机或者满足K和L中的要求的照相机对。此外，还可以使用成本项来构造累积成本函数，在所述成本项中，L的集合包括对于其确定相应像素的成本的任意大的照相机组。在许多实施例中，相似性度量S是L1范数。在几个实施例中，相似性度量可以是若干个公知的相似性度量中的任何一个，包括(但不限于)相应像素的L2范数、方差或标准差(特别是在L包括更大照相机组的情况下)、合并相关性、等级、普查的基于窗口的相似性度量、和/或适合于特定应用的要求的任何其他度量。尽管以上在移位的图像的背景下讨论了比较，但是可以容易地意识到，可以通过将移位应用于单个的像素位置并且比较假设深度处的相应像素(与将移位应用于图像中的所有像素、然后比较移位的图像完全不同)来执行比较。
在若干个实施例中，成本函数还考虑不同光谱通道上的相应像素之间的相似性。在几个实施例中，可以使用各种度量中的任何一种度量来估计来自不同光谱通道的像素中的像素邻域的相似性，所述各种度量包括(但不限于)这些邻域中的像素的互相关性、这些领域中的像素之间的规范化的互相关性、和/或用于测量两个像素集合的相对值的相似性的任何其他度量(诸如(但不限于)包括测量交互信息的熵度量)。
在几个实施例中，不同的加权可以应用于包含参考图像的光谱通道内的相应像素的相似性、同一光谱通道中的替代视图图像内的相应像素的相似性、和/或不同光谱通道中的图像内的相应像素的相似性。
如以上所讨论的，可以如下对合计成本函数进行空间滤波：
其中，Filter(滤波器)应用于包围像素位置(x,y)的邻域N(x,y)。
滤波器可以是简单的3×3或N×N箱式滤波器、或者一些其他滤波器，包括(但不限于)使用参考图像作为指导的联合双边滤波器、固定系数滤波器(诸如高斯滤波器或箱式滤波器)、或任何适合的边缘保持滤波器。在几个实施例中，加权的合计成本函数如下：
其中，N(x,y)是像素(x,y)的最近邻域，其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状，
Norm是规范化项，
IRef(x,y)是来自参考照相机的图像数据，
wd是基于像素距离的加权函数，以及
wr是基于强度差异的加权函数。
在许多实施例中，滤波器是双边滤波器，wd和wr都是高斯加权函数。
基于滤波后的合计成本函数，可以如下通过选择深度图中的最小化每个像素位置处的滤波后的成本的深度来计算深度图：
D(x，y)＝argmind{FilteredCV(x，y，d)}
当以以上概述的方式使用边缘保持滤波器对合计成本函数进行滤波时，噪声将导致不正确地检测被遮挡像素的可能性降低。不是对于单个的像素计算深度，而是围绕每个像素使用自适应支持窗口来以保留深度转变的方式对噪声进行滤波。利用诸如(但不限于)双边滤波器的滤波器提供基于内容而改动的自适应支持窗口。在许多实施例中，使用双边滤波器，在所述双边滤波器中，使用参考图像来定义对于双边滤波器的空间和范围支持(即，定义对于关于特定像素的合计成本函数有贡献的像素窗口的大小的参数)。结果，可以使用作为同一表面的一部分的像素的所计算的成本函数来实现像素的成本函数的平滑。在其他实施例中，诸如(但不限于)箱式滤波器的滤波器的计算复杂度较低，并且针对特定应用的要求提供足够的滤波。
对于像素在多个光谱通道中的像素对应性
根据本发明的许多实施例的阵列照相机包括多个光谱通道中的照相机，诸如，但不限于，红色、绿色和蓝色照相机。以上在单个光谱通道和多个光谱通道的背景下描述了成本度量CV(x,y,d)。在包括红色、绿色和蓝色照相机的阵列照相机的情况下，成本函数可以考虑特定深度处的、绿色照相机中的像素的相似性、红色照相机中的像素的相似性、以及蓝色照相机中的像素的相似性。在特定颜色通道中的照相机被选为参考照相机(例如，绿色照相机)的情况下，其他通道(例如，红色照相机和蓝色照相机)中的像素难以直接与参考图像中的像素进行比较。然而，可以确定特定深度处的视差，并且可以比较其他颜色通道中的相应像素的强度值。将这些另外的比较合并到深度估计中可以通过利用所有颜色通道上的信息来改进深度估计。下面进一步讨论可以用于在包括红色、绿色和蓝色照相机的阵列照相机中执行深度估计的各种成本函数。然而，可以容易意识到，根据本发明的实施例，可以对于任何光谱通道集合利用相同的成本函数。
在几个实施例中，使用包括红色、绿色和蓝色照相机的阵列照相机捕捉图像数据，并且绿色照相机被选为参考照相机。可以利用当确定深度估计时考虑一组绿色照相机中的像素之间、一组红色照相机中的像素之间、以及一组蓝色照相机中的像素之间的像素对应性的成本函数。在几个实施例中，可以利用下列成本函数：
Cost(x，y，d)
＝γG(x，y).CostG(x，y，d)+γR(x，y).CostR(x，y，d)
+γB(x，y).CostB(x，y，d)
其中，CostG(x,y,d)是一组绿色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的像素的相似性的度量，
CostR(x,y,d)是一组红色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量，
CostB(x,y,d)是一组蓝色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量，以及
γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子，这些加权因子可以对于整个参考视点是常数，或者可以空间变化。
空间加权可以取决于所捕捉的图像数据(例如，使用边缘梯度)，可以校正或使用传感器的已知性质(例如，使用给定传感器的先验噪声模型来计算SNR)、以及成本函数的性质(这是空间加权取决于图像数据的另一种情况)。另外，在确定加权时还考虑在捕捉图像数据期间所用的成像参数，诸如(但不限于)在其捕捉到图像的增益或检测到的光水平可以用于调制加权因子。
成本函数CostG(x,y,d)可以是上述度量之一。在许多实施例中，CostG(x,y,d)使用基于下列项的相似性度量：将替代视图图像中的像素与参考图像中的像素进行比较的L1范数、将替代视图图像中的像素与参考图像中的像素进行比较的L2范数、和/或绿色照相机所捕捉的图像集合中的像素之间的方差。在其他实施例中，可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的度量)。
在若干个实施例中，关于其他颜色通道的成本函数(CostR(x,y,d)和CostB(x,y,d))不利用包括参考图像的像素的比较作为确定像素对应性的基础。在几个实施例中，通过计算颜色通道内的一组照相机中的每个单独一对相应像素之间的合计差异来执行相应像素的相似性。在使用四个红色照相机RA、RB、RC和RD确定深度的阵列照相机的例子中，可以如下确定成本：
CostR(x，y，d)
＝|RA(xA，yA)-RB(xB，yB)|+|RA(xA，yA)-RC(xC，yC)|
+|RA(xA，yA)-RD(xD，yD)|+|RB(xB，yB)-RC(xC，yC)|
+|RB(xB，yB)-RD(xD，yD)|+|RC(xC，yC)-RD(xD，yD)|
其中，(xA,yA)、(xB,yB)、(xC,yC)和(xD,yD)是基于照相机RA、RB、RC和RD中的每个照相机中分别在深度d处的视差确定的像素位置。
以上度量可以被称为组合成本度量，并且可以应用于不包含参考照相机的任何颜色通道内。在几个实施例中，可以利用不包括颜色通道内的一组照相机中的单独一对相应像素的所有组合的组合度量。在几个实施例中，可以利用阵列照相机所捕捉的图像的子集的单独一对相应像素。当对于虚拟视点确定深度时，没有一个光谱通道包含“参考照相机”，并且组合成本度量可以应用于每个光谱通道中。尽管组合成本度量在上面被示为利用L1范数来确定像素强度值之间的相似性，但是在其他实施例中，可以利用L2范数、像素方差、L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。
加权因子(例如，γG、γR和γB)可以用于确定每个光谱通道对于深度估计的贡献。加权可以是固定的，或者在参考图像中的像素之间变化。在许多实施例中，可以使用SNR估计器对于参考图像产生信噪比(SNR)图。在几个实施例中，SNR估计器可以基于信号噪声的先验表征来确定SNR。SNR响应高的区域可以指示存在纹理或高信号。SNR估计低的区域可以指示几乎整个由噪声构成的无纹理区域。在某些情况下，来自图像的数据可能在某些光谱通道中有噪声，但是在其他光谱通道中没有噪声。例如，一个区域可以在绿色图像中表现为无纹理，但是在红色照相机捕捉的图像中具有信号内容。因此，绿色照相机将对于成本函数贡献很少的有用信息，并且实际上可能对于深度估计处理引入噪声，导致深度估计的可靠性低于成本函数中仅包括红色或蓝色照相机时。因此，SNR图可以用于确定应用于每个颜色通道的加权。在几个实施例中，如果参考图像中对于像素(x,y)的SNR估计低，意味着围绕像素(x,y)的邻近区域有可能是无纹理的，并且不包含重要信号，则应在像素(x,y)处减小用于包含参考图像的颜色通道的加权。
在许多实施例中，还可以使用更严格的条件，和/或使用更严格的条件作为替代条件，在所述更严格的条件中，应在像素(x,y)处减小用于包含参考图像的光谱通道的加权，当参考图像中的像素(x,y)处的、以及对于所有照相机的参考图像中的最大视差的半径(沿着核线)的SNR估计表现出低SNR时，应在像素(x,y)处减小用于包含参考图像的光谱通道的加权。最大视差的半径可以仅相对于沿着核线定位的像素确定，所述核线是相对于光谱通道内的照相机阵列中的其他照相机确定的。更严格的标准承认，尽管SNR可能在参考图像中的像素位置(x,y)处很低，但是在包含参考照相机的颜色通道内的另一个照相机中可能存在离像素(x,y)一定距离(小于最大视差移位)的内容，该内容可以取消候选深度有可能匹配的资格。因此，尽管像素位置(x,y)可能具有低SNR，但是附近的内容仍然可以尽可能地对于取消资格的某些深度提供有用信息。
在若干个实施例中，参考图像中的强SNR可以用于减小应用于其他颜色通道的加权以节省计算(即，更少的照相机必须被搜索)。另外，可以对于其他颜色通道之一中的照相机估计SNR以确定成本函数中应用于该颜色通道的加权。在许多实施例中，确定SNR的处理涉及沿着将替代视图照相机中的像素位置(x,y)连接到参考照相机的核线估计SNR。然后，可以在高SNR的区域中搜索一条核线或多条核线。如果在替代视图照相机中沿着核线找到高SNR贡献，则替代视图照相机所属的颜色通道的加权可以被设置为使得该颜色通道对于关于参考图像中的像素位置(x,y)的成本度量有贡献。相反，如果沿着从像素位置(x,y)开始的核线，替代视图图像仅显示出SNR，则包含替代视图图像的颜色通道的贡献可以相应地减小。在许多实施例中，当确定在确定深度估计时应用于颜色通道的加权时，考虑每个颜色通道中的多个照相机。尽管以上描述了用于使用不包括参考照相机的颜色通道内所包含的信息来估计深度的特定处理，但是根据本发明的实施例，根据特定应用的要求，可以利用各种处理中的任何一种处理来基于多个颜色通道中所包含的信息确定深度估计。
基于初始深度图，可以基于所计算的深度图D(x,y)或者基于滤波后的深度图F(D(x,y))来更新可见性Vi,Ref(x,y)，所述滤波后的深度图F(D(x,y))是使用固定系数滤波器(诸如高斯或箱式滤波器)或者自适应或边缘保持滤波器(诸如(但不限于)使用参考图像作为指导的联合双边滤波器)进行滤波的。各种技术可以用于确定从参考视点捕捉的图像中的像素在另一个图像中是否被遮挡。在若干个实施例中，初始深度图用于识别可能被遮挡的像素。关于前景对象的信息可以用于识别在其中遮挡有可能发生的区域。另外，初始深度图的各种另外的特性中的任何一种特性可以用于检测遮挡，包括(但不限于)深度图内的不寻常的深度转变和/或与局部像素深度值不一致的像素深度值。
尽管以上关于图8的大部分讨论与使用单个光谱通道中的或者红色、绿色和蓝色颜色通道中的图像数据产生深度估计相关，但是上述技术对于各种光谱通道中的任何一个同样适合(术语颜色通道和光谱通道在本文中可互换使用)。可以利用与上述合计成本函数类似的合计成本函数，包括使用上述任一技术对于每个光谱通道确定的成本项。另外，成本函数可以包括使用与上述那些技术类似的技术对光谱通道上的像素的相似性进行加权的成本项。所得的深度估计的精度可以取决于深度估计利用在其中参考图像中的像素位置(x,y)被遮挡的图像的像素的程度。下面进一步讨论用于当参考视点的图像中的像素位置(x,y)在所述图像集合中的一个或多个图像内被遮挡时改进深度估计的精度的技术。
使用图像子集产生考虑遮挡的深度图
可见性模式存在于自然场景中。因此，模式Vi,Ref(x,y)通常不是任意的。关于在其中参考图像中的像素可见的照相机的强先验存在。在许多实施例中，可以以还提供对于Vi ,Ref(x,y)的估计的方式确定深度图，在所述估计中，在其中像素(x,y)被遮挡的照相机被不正确识别的可能性低。基于对于Vi,Ref(x,y)的估计，可以在不需要迭代以细化Vi,Ref(x,y)的可见性的情况下确定深度估计。可替代地，可以执行额外的迭代以基于使用可靠的深度估计获得的可见性信息通过包括额外的照相机来细化深度图。然而，通过获得更好的初始深度图，迭代处理有可能更迅速地收敛。
在许多实施例中，产生深度图的处理涉及：使用多个照相机集群或子集确定深度，每个照相机集群或子集对应于场景内的不同可见性模式；并且选择深度估计作为使用所述照相机集群捕捉的图像的子集确定的深度，在所述子集中，相应像素具有最高相似性。图8A中例示了根据本发明的实施例的使用表示照相机阵列的子集的照相机组所捕捉的图像确定像素(x,y)的深度的处理。处理850包括：选择(852)与场景内的特定可见性模式相对应的初始照相机组，并且使用该照相机组所捕捉的图像数据的子集确定(854)候选深度估计，所述候选深度估计基于该照相机组内的相应像素在其具有最高相似性的深度而产生。在几个实施例中，所述处理类似于以上关于图8概述的处理，除了成本是对于每个图像子集确定的并且使用这些子集产生的最低成本深度估计被选为对于相关像素位置的候选深度估计。如下面进一步讨论的，然后将候选深度估计处的图像子集内的相应像素的相似性与其他候选深度估计处的其他图像子集内的相应像素的相似性进行比较以确定在给定应用的背景内最可靠的候选深度估计。在许多实施例中，被选为对于像素位置的深度估计的候选深度估计是基于该候选深度估计处的具有最相似的相应像素的图像子集确定的。
在许多实施例中，照相机组可以包括来自多个颜色通道的照相机，并且每个颜色通道中的成本度量加权相似性用于使用照相机组估计参考图像中的像素(x,y)的深度。所述处理然后遍历多个不同照相机组迭代(856、858、854)，直到对于每个照相机组确定深度估计为止，所述多个不同照相机组中的每个照相机组对应于场景内的不同可见性模式。可以通过从在其中所估计的深度处的相应像素具有最高相似性的照相机组选择深度估计来获得对于参考视点的图像中的像素位置(x,y)的深度估计。如以上所指出的，可以使用对多个光谱通道中的和/或跨光谱通道的像素的相似性进行加权的成本函数来确定像素的相似性。在其中所估计的深度处的相应像素具有最高相似性的图像子集对应于特定可见性模式，并且提供Vi,Ref(x,y)的初始估计，该初始估计具有错误地识别参考视点的图像中的像素位置(x,y)在它在其中被遮挡的照相机中可见的低可能性。
尽管以上提供的讨论是在对于每个照相机组、对于参考图像中的像素位置(x,y)执行搜索的背景下呈现的，但是可以使用与特定可见性模式相对应的每个照相机组来对于参考图像中的像素分别估计深度图。这样，可以对使用特定照相机组对于像素位置(x,y)确定的成本度量进行滤波以消除成本函数中的噪声。因此，可以使用对于具有最小的滤波后的成本度量的照相机组的深度估计来选择对于像素位置(x,y)的深度估计。应用于使用特定照相机组确定的成本度量的滤波器可以是固定的，或者可以是空间自适应的。根据本发明的实施例，可以基于特定应用的要求来确定所用的特定滤波器。在选择了对于参考图像中的像素的深度估计之后，可以执行额外的滤波来进一步平滑初始深度图中的噪声。
用于检测场景内的特定可见性模式的照相机集群或分组可以取决于阵列照相机中的照相机的数量、被选为参考照相机的照相机、和/或来自不同颜色通道的照相机在阵列内的分布。图8B-8I中示出了成5×5阵列的八个照相机组，这八个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这八个组通过旋转并且翻转同一包括12个照相机的组模板而产生。根据组模板的方位，这包括七个绿色照相机、以及三个红色照相机和2个蓝色照相机、或者3个蓝色照相机和2个红色照相机。如以上所指出的，组模板可以用于当对于位于5×5阵列的中心处的参考绿色照相机中的像素(x,y)估计深度时选择照相机组。可以通过从在其中所估计的深度处的、三个颜色通道中的相应像素具有最高相似性的照相机组选择深度估计来估计像素位置(x,y)的深度。
尽管特定组在图8B-8I中被示为用于选择照相机组，但是可以利用与场景内的常见可见性模式相对应的各种模板中的任何一种。例如，可以如下面参照图10描述的那样选择沿着单条核线的照相机组。在许多实施例中，这些组被选择为使得包含参考照相机的颜色通道中的相同数量的照相机出现在每个照相机组中。另外，这些组可以被确定为在每个照相机组中存在在其他颜色通道中的至少两个照相机。如果这些组包括奇数个照相机，则相对于不同大小的组的成本度量可能有偏差，可以通过规范化来考虑该偏差。在许多实施例中，照相机组被选择为提供基线多样性(与图10中所示的基于共享公共基线而选择的组形成对比)。对其执行深度搜索的不同径向核线的数量越多，照相机组所捕捉的图像之一将越有可能包含可以帮助识别错误深度的信息。在几个实施例中，照相机组被选择为使得每组的核线所限定的扇区的中心角度相同。
在较小的阵列照相机(诸如(但不限于)4×4阵列照相机)中，根据该阵列内所用的滤色器的模式，可能不能选择在每个颜色通道中包含相同数量的照相机的照相机组。在几个实施例中，使用滤色器模式，以使得与常见可见性模式相对应的照相机组在单个颜色通道中包含相同数量的照相机。这样，颜色通道内所捕捉的图像数据可以用于通过比较使用不同子组获得的深度估计的滤波后的成本来对于被遮挡的或者以其他方式不匹配的像素估计深度。图8J-8M中示出了成4×4阵列的四个照相机组，这四个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这四个组通过旋转并且翻转同一包括4个照相机的组模板而产生。在所示的实施例中，存在三个颜色通道：红色、绿色和蓝色。每个照相机组包括三个绿色照相机和一个蓝色或红色照相机。由于存在单个红色或蓝色照相机，所以在几个实施例中，使用在绿色颜色通道中捕捉的图像数据来确定深度估计。对于给定像素位置(x,y)，得到最可靠的深度估计(即，最低成本)的组的红色或蓝色照相机中的图像数据被假定为在参考视点的图像中是可见的。因此，为了计算相应像素在红色或蓝色颜色通道内的其他图像中的可见性的目的，可以使用红色或蓝色图像中的与参考视点的图像中的像素位置(x,y)相对应的像素位置上的像素值作为参考像素。对于图8J-8M中所示的每个组，从该组排除光谱通道之一。然而，为了确定像素在被排除的颜色通道中的可见性的目的，可以利用π滤波器组的使用来识别被排除的颜色通道中的图像中的哪个应被用作参考图像。当π照相机组的中央照相机的视点用作参考视点时，被排除的颜色通道中的两个图像将已经从参考视点的相对侧的视点捕捉。在典型的自然场景中，参考视点的图像内的像素位置有可能在被排除的颜色通道中的相邻照相机所捕捉的图像中的至少一个中是可见的。为了确定图像中的哪个(如果有的话)最有可能获得与参考视点的图像中的可见的像素位置相对应的像素，两个子组内的相应像素的相似性包含这两个图像。假定子组中的至少一个中的相应像素实现阈值水平的相似性，那么在其中相应像素具有最高相似性水平的子组中的图像可以被选为被排除的颜色通道的参考图像。这样，被排除的颜色通道内的任何图像中的相应像素的可见性可以基于其与被排除的颜色通道的参考图像的相应像素的相似性而确定。在从与参考视点相邻的视点捕捉的图像均不可靠地包含与参考视点的图像内的像素位置相应的可见像素的情况下，可以利用替代技术来识别被排除的颜色通道内的包含可见的相应像素的图像和/或确定来自被排除的颜色通道的个体图像内的像素的可见性。在几个实施例中，可以通过以本文中所描述的方式执行核线搜索来确定可见性。在若干个实施例中，互通道相似性度量可以用于确定被排除的颜色通道中的图像内的可以用作参考像素的相应像素。在几个实施例中，为了确定被排除的颜色通道中的图像中的其他相应像素的可见性的目的，可以利用在其中围绕相应像素的邻域表现出与参考图像的最高互相关性(或任何其他适合的互通道相似性度量)的图像作为参考像素。在阵列照相机包括不同大小的照相机阵列的情况下，可以采取类似的方法。
在许多实施例中，用于对于参考照相机中的像素估计深度的照相机组对应于阵列内的照相机对。通过使用阈值，可以识别在其中像素(x,y)有可能可见的照相机，并且构造初始可见性图Vi,Ref(x,y)。阈值可以是硬阈值、和/或基于参考图像中的SNR的阈值。同样也适用于更大的照相机组，诸如图8B-8I中所示的那些照相机组。阈值可以用于检测相应像素集内的一个或多个离群值像素的存在。然后可以组合被发现不包含离群值的照相机组，并且重新用该新的组合集计算深度，以改进深度估计的精度。以类似的方式，可以通过一开始假定所有照相机在可见性图Vi,Ref(x,y)中都是可见的来构造初始深度图。各种技术中的任何一种可以用于确定像素(x,y)在照相机阵列中的照相机中的至少一个中是否可见，包括(但不限于)以以上概述的方式使用阈值、和/或沿着核线执行遮挡搜索。然后可以再次使用与以上关于图8A概述的处理类似的处理来估计有可能在阵列中的照相机中的至少一个中被遮挡的像素的深度。这样，可以迅速地识别在其中像素被遮挡的照相机。
尽管以上参照图8A-8I描述了用于当对于参考图像内的像素估计深度时确定深度图和可见性图的各种处理，但是根据本发明的实施例，可以利用各种处理中的任何一种处理来根据特定应用的要求确定初始深度图和/或可见性图。下面进一步讨论用于识别被遮挡像素的处理，包括涉及沿着核线执行对于被遮挡像素的搜索的处理。
识别被遮挡像素
与从初始深度图识别被遮挡像素相关联的挑战是，使用被遮挡像素确定的深度图内的深度可能是错误的。最可靠的深度估计是场景中的最靠近照相机的对象的那些深度估计。这些是还引起最大视差并且可能导致最大数量的像素遮挡(这依场景内的对象的分布而定)的对象。因此，可以通过沿着基线矢量在参考图像中搜索遮挡像素来确定在参考图像中可见的像素在第二图像中是否被遮挡。遮挡像素是这样的像素，该像素足够靠近照相机以至于从第二图像的角度观察到的视差将大得足以遮挡在参考图像中可见的像素。可以参照图9来理解对于遮挡像素的搜索。图9中示出了从参考视点900捕捉的图像。为了确定阵列照相机所捕捉的第二图像中的具有深度d1的像素(x1,y1)的可见性，沿着与捕捉参考图像的照相机与捕捉第二图像的照相机之间的基线平行的线902进行搜索。当像素(x2,y2)更靠近照相机(即，位于深度d2<d1)时，像素(x1,y1)将被遮挡。因此，在d2≥d1的情况下，所有像素(x2,y2)都可以被忽视。在每个像素的场景相关的几何移位(分别是s2和s1)大于沿着与基线矢量平行的线902的这两个像素之间的距离的情况下，像素(x2,y2)将遮挡像素(x1,y1)。换句话说，当下列情况时像素(x2,y2)遮挡像素(x1,y1)：
在几个实施例中，以上表达式中的阈值可以被确定为在随后的超分辨率处理期间使用的超分辨率因子的倒数(例如，当超分辨率处理试图实现3倍的分辨率提高时，像素的1/3的阈值是适合的)。当没有找到满足以上表达式的像素时，像素(x1,y1)可以被推断为在第二图像中是可见的。在对于某一像素(x2,y2)满足以上表达式的情况下，像素(x1,y1)可以被认为被遮挡。因此，可以重复图8中所示的处理来在忽视第二图像(以及在其中像素(x,y)被遮挡的任何其他图像)的情况下创建对于像素(x,y)的更新的深度估计。可以容易地意识到，初始深度估计中的错误深度可以导致可见像素在用于确定深度图的处理的未来的迭代中被忽视。使用自适应支持来提供光度一致的深度降低了噪声将导致检测到错误像素遮挡(这从后续处理迭代消除有用信息)的可能性。在许多实施例中，将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度。如下面进一步讨论的，可以相对于参考图像的深度图产生置信图，置信图指示特定深度图的可靠性。因此，使用以上提供的表达式识别的可能的遮挡可以被忽视，在以上提供的表达式中，每个像素的场景相关的几何移位(分别是s2和s1)基于不可靠的深度估计。类似地，涉及下述像素的可能的遮挡可以被忽视，在所述像素中，这些像素的强度的差异低于预定阈值。在像素值足够相似的情况下，即使像素被遮挡，在像素上产生的深度估计也将几乎不受影响。在其他实施例中，当根据特定应用的要求视情况决定是否在可见性图中将像素指示为被遮挡时，可以考虑各种其他考虑因素。
以上关于图9所讨论的搜索可以沿着与用于执行深度估计的每一个照相机相对应的核线进行。当所捕捉的图像被正确地修正时，可以通过相对于从参考视点捕捉的像素的行和列对齐照相机的基线来简化搜索(参见以上对于修正的讨论)。对于遮挡像素的搜索无需对于参考图像中的每一个像素执行。相反，可以对于有可能在阵列照相机所捕捉的一个或多个图像中被遮挡的像素(包括(但不限于)与深度转变邻近的像素)进行初始搜索。然后可以对于被认为有可能被遮挡的像素执行对于遮挡像素的搜索。另外，可以通过预先基于距离计算像素的投影(这些投影指示其中沿着基线的相邻像素将被遮挡的深度)来更高效率地执行对于遮挡像素的搜索。另外，一旦像素被确定为被遮挡，就可以通过利用遮挡像素的投影来简化用于检测相邻像素的遮挡的处理。在其他实施例中，可以利用各种技术中的任何一种技术来更高效率地找出遮挡像素和被遮挡像素，包括(但不限于)根据本发明的实施例基于深度渲染图像。
如以上所指出的，将被遮挡像素包括在初始深度图的确定中可以在所得的像素深度中引入误差。当使用与以上概述的任一处理类似的处理检测到遮挡并且深度图被更新时，深度图中的误差被去除。当深度图中的误差被去除时，可以更精确地预测被遮挡的像素。因此，可以迭代地执行检测遮挡的处理，直到达到停止标准为止。在若干个实施例中，停止标准可以是(但不限于)在特定迭代中检测到的被遮挡像素(以前未被检测到)的数量降至低于预定数量和/或预定次数的迭代的完成。
回头参照图6，例示了根据本发明的实施例的用于产生并且细化深度图的处理。在许多情况下，用于确定(602)初始深度图的处理将具有高估被遮挡像素的视差的趋势。这具有将被遮挡像素推送到前景中的效果。因此，在若干个实施例中，为了更新(606)深度图的目的，也可以将遮挡另一个像素的像素如被遮挡像素那样进行处理。这样，可以检测并且更新具有错误初始深度测量的背景像素的深度。如下面进一步讨论的，一旦深度图敲定，就可以分别地确定(610)被忽略的像素的可见性。在若干个实施例中，诸如图6中所示的处理600的处理还涉及将双边滤波器应用于深度图以帮助随着该处理迭代使深度图稳定。
深度估计的精度通常随着产生深度估计时所用的阵列照相机所捕捉的光场中的图像的数量提高。然而，考虑到较少数量的图像可以降低获得深度估计的计算复杂度。当深度转变发生时，遮挡通常将在参考视点的一侧捕捉的图像中发生。因此，与上述搜索类似的对于遮挡像素的搜索可以用于确定像素在参考照相机的一侧所捕捉的一组图像中是否被遮挡。如果搜索指示没有发生遮挡，则可以使用该组图像来确定像素的深度，并且更新深度图。
图10中例示了可以用于使用阵列中的绿色照相机构造深度图的5×5阵列照相机。阵列照相机1010包括中央参考绿色照相机(1012)。为了确定在绿色照相机所捕捉的图像中的至少一个中被遮挡的像素的深度的目的，利用阵列中的其余绿色照相机来形成八个径向的三个绿色照相机的组。尽管图10中例示了径向组，但是还可以利用围绕参考视点的四个象限中的每个象限中的照相机组。一个组可以如一个照相机对那么小，所述照相机对之一是从参考视点捕捉图像的照相机。在许多实施例中，还可以利用诸如以上参照图8A-8I所讨论的那些组的组。
尽管以上关于图6、8A-8I、9和10讨论了用于检测像素遮挡的特定处理，但是根据本发明的实施例，可以利用各种处理中的任何一种处理来产生深度图，包括(但不限于)降低检测遮挡的计算复杂度的处理。在几个实施例中，确定每个像素的深度的处理可以涉及基于假设深度和假设可见性的搜索，并且得到最高像素对应性的深度和可见性组合被选为最有可能的深度和遮挡集合。这样确定的可见性可以通过使用上述用于检测遮挡像素的方法来确认。
在许多实施例中，在包括(但不限于)超分辨率处理的处理中利用关于从参考视点捕捉的图像中的像素的可见性的信息。下面进一步讨论根据本发明的实施例的用于使用深度图确定阵列照相机从参考视点捕捉的图像中的像素的可见性的处理。
确定像素的可见性
像素可见性可以用于确定深度图和各种其他应用中，所述各种其他应用包括(但不限于)超分辨率处理。在几个实施例中，使用与以上概述的处理类似的处理产生的、关于从参考视点捕捉的图像的深度图被用于产生关于阵列照相机所捕捉的其他图像(即，从替代视点捕捉的图像)的可见性图。在几个实施例中，可以关于替代视图图像中的像素从参考视点来看是否可见以及第一替代视图图像中的像素在其他任一替代视图图像中是否可见来确定可见性图。在若干个实施例中，用于确定关于在单个颜色通道内捕捉的图像的可见性图的处理涉及比较与从参考视点捕捉的图像中的像素相对应的像素的光度相似性。被认为具有预定相似性水平的像素可以被认为是可见的，低于阈值相似性水平的像素可以被认为被遮挡。用于确定相应像素的光度相似性的阈值可以基于这些相应像素的相似性而改动。在几个实施例中，阈值被确定为参考图像的像素和与参考图像的该像素最相似的相应像素之间的光度距离的函数。当阵列捕捉多个颜色通道中的图像数据时，单个颜色通道中的像素的可见性可以用于确定其他通道中的像素的可见性。
图11中例示了根据本发明的实施例的用于确定与参考图像内的像素相应的像素的可见性的处理。处理1100包括从从参考视点捕捉的图像选择(1102)像素。使用与上述处理类似的处理产生的深度图可以用于确定所选像素的深度。基于所选像素的深度，可以确定(1104)阵列照相机所捕捉的每个图像中的相应像素的位置。这些相应像素与参考图像的所选像素的相似性可以用于确定这些相应像素的可见性。在若干个实施例中，像素的光度距离用作相似性度量以及用于确定有可能可见的像素和有可能被遮挡的像素的阈值。在许多实施例中，阈值根据被比较的像素的特性而变化。在某些实施例中，通过使用参考像素的强度作为被发现在给定颜色通道中可见的相应像素的像素强度值的子集的平均值来确定用于确定相应像素的相似性的阈值。在几个实施例中，被求平均值的特定相应像素强度可以取决于相应照相机基线、这些像素的置信度值(如果可获得的话)、以及这些像素的相关联的匹配成本。在几个实施例中，阈值被确定(1106)为参考图像的所选像素与光度上最靠近该所选像素的相应像素之间的光度距离的函数。在若干个实施例中，阈值基于参考图像中的相应像素的像素强度和/或替代视图图像中的像素的强度。在某些实施例中，使用关于所捕捉的图像的SNR模型确定阈值。在若干个实施例中，缩放所选像素和最靠近的相应像素的光度距离和/或添加偏移以获得适当的阈值。在其他实施例中，各种技术中的任何一种技术可以用于确定相应像素的可见性的阈值，包括(但不限于)使用固定阈值。
比较(1108)参考图像的所选像素和相应像素，并且使用阈值来确定(1110)像素的相似性。当参考图像的所选像素和相应像素之一的光度距离小于阈值时，确定(1112)该相应像素是可见的。当参考图像的所选像素和相应像素之一的光度距离超过阈值时，确定(1114)该相应像素被遮挡。
可以对于参考图像中的像素子集或全部像素重复图11中所示的处理(1100)以产生关于阵列照相机所捕捉的其他图像中的相应像素的可见性图。在从参考视点捕捉图像的照相机中的所有像素都在单个颜色通道中的实施例中，与图11中所示的处理类似的处理有效地产生在单个颜色通道内捕捉的图像的可见性。当阵列照相机还包括在其他颜色通道中捕捉的图像时，可以通过对光谱通道内的图像的已知或者有可能在参考视点中可见的相应像素执行与上述比较类似的比较，来确定与参考图像不在相同的颜色通道中的图像中的像素的可见性。在其他实施例中，捕捉参考图像的照相机采用使得能够从参考视点捕捉多个颜色通道中的图像数据的Bayer滤波器(或另一适当的滤波器模式)。在这种情况下，与图11中所示的处理类似的处理可以用于产生关于多个颜色通道中的图像的可见性信息，其中，该处理涉及对Bayer滤波器模式进行去马赛克以获得参考视图中的每个位置处的红色和蓝色像素值。
尽管以上在图11的背景下讨论了特定处理，但是各种处理中的任何一种处理可以用于根据本发明的实施例确定阵列照相机所捕捉的图像中的像素的可见性，包括(但不限于)作为产生深度图的处理的一部分的、迭代地细化可见性信息的处理。在许多实施例中，产生深度图和可见性图的处理还包括产生置信度图，该置信度图可以在该置信度图中提供关于所估计的深度的可靠性的信息。下面进一步讨论根据本发明的实施例的用于确定置信度图的处理。
置信度图
用于产生深度图的处理(包括上述那些处理)可以导致深度图内的在其中深度估计不可靠的区域。图18A中例示了使用阵列照相机捕捉的图像数据合成的图像的无纹理区域，图18B中例示了根据本发明的实施例的使用与上述处理类似的处理产生的关于该图像的深度图。在无纹理区域1800中，用于以上述方式确定深度的成本度量是有噪声的，不过可以找到最小成本(即，在照相机显示出最大对应性的深度处)，结果很大程度上取决于传感器和光子噪声，而非任何重要的底层信号。这样的区域中的像素对应性(用成本度量测量)实际上在所示的深度处最大，但是所示的所得深度不是物体的正确深度。相反，在边缘区域1802中，成本函数显示出成本在其非常肯定地最小的深度。在那里，边缘信号比噪声大得多，所以可以以更高的置信度检测到与物体的实际深度相对应的视差。
然而，深度误差不限于无纹理区域。另一类深度误差发生在遮挡区域中，在遮挡区域中，某些背景区域在一些照相机中是可见的，而在其他照相机中是不可见的。可以沿着轮胎的轮缘看到这种误差，在轮胎的轮缘中，前景区域与背景区域交叉。在深度图中，出现了包含前景或背景之间的界面处的错误深度估计的区域1804。
当产生深度图时，可以产生置信度图，该置信度图通过某一度量用数字方式描述深度图内的不同深度估计的可靠性。置信度图可以被后续处理阶段或第三方应用用于确定深度图的哪些区域可能最依赖于进一步的处理。例如，深度测量效用可以使得用户点击使用超分辨率处理合成的图像的区域以获得特定像素的深度。如果用户点击图像的像素，则可以在返回结果之前检查置信度图。如果所请求的位置处的深度的置信度低，则用户接口可以回避报告该位置处的深度。如果置信度图高，则用户接口可以安全地报告所选位置处的深度。也就是说，置信度图可以用于使结果适宜于特定应用，而不是返回其中已知深度图包含误差的不精确值。
置信度图可以以各种方式进行编码，并且可以存在在单个置信度图内编码的多类或多轴置信度。下面讨论根据本发明的实施例的可以用于对置信度图中的置信度度量进行编码的各种置信度度量。
在几个实施例中，基于像素的深度估计是否在图像内的无纹理区域内使用置信度度量对置信度图进行编码。如以上所指出的，可以基于包围给定像素的区域中的SNR来检测无纹理区域。如果SNR高于已知的可调阈值，则可以以二进制方式将该区域标记为无纹理。可替代地，可以重新对SNR本身(不被阈值化)进行线性或非线性映射，并且使用该SNR来用作连续的置信度指示符。
在许多实施例中，可以计算梯度边缘图(例如，Prewitt或Canny)，并且使用该梯度边缘图作为置信度图内的置信度度量。因为边缘和纹理通常具有高置信度，所以梯度图和SNR图通常提供对于深度图的良好的粗略的置信度测量。
在若干个实施例中，可以基于特定区域是否由于照相机之间的遮挡和/或不匹配和冲突测量(即，在通过SNR图检测到的区域中可能存在纹理，但是因为在该区域中，视差检测处理检测到遮挡和/或不能分辨遮挡或者要不由于任何其他原因自信地估计深度，所以可能仍然出现深度误差)而为低置信度来对置信度图进行编码。
在若干个实施例中，置信度度量被确定为在深度估计处理期间实现的“最佳成本”、或者该量的线性、非线性或量化的重测图。如果在深度估计期间实现的最小成本高于所选阈值，则可以基于所估计的深度处的多个视图之间没有对应性将所述区域标记为低置信度。
在若干个实施例中，可以通过比较不同子组或者在不同照相机组之间产生的深度图之间的最佳成本来检测遮挡，并且如果最佳成本之间的差值大于阈值，则对于在图像子集中找到的成本在其不同的像素位置标记低置信度。
在若干个实施例中，可以基于特定区域是否由于深度估计处理本身中的自适应处理步骤而为低置信度来对置信度图进行编码。例如，如果在特定区域中搜索到较少的深度，则可以在置信度图中用数字将该信息编码为突出显示该深度不太可靠。在许多实施例中，深度图的某些区域实际上是通过对应性搜索来搜索的，而深度图的其他区域，则是基于对于稀疏点集的深度搜索的结果对深度进行插值。在这样的情况下，具有插值深度的像素被给予的置信度值低于在其实际上搜索到对应性的像素。
在几个实施例中，还可以在置信度图中将预期精度的深度测量编码为数字量。在许多情况下，离照相机较远的深度的测量误差较大，所以不应太受信任。在这样的情况下，置信度图可以将这样的区域标记为涉及较低置信度深度估计。置信度可以与该深度处的相邻搜索位置之间的预期深度误差成比例。在某些实施例中，可以确定与视差搜索所支持的最小距离相对应的视差(即，这将是在任何两个照相机之间对于所有支持深度观察到的最大视差)。一旦找到最大视差，搜索就将搜索直到最大视差的若干个视差。在许多实施例中，最大视差是D个低分辨率像素，所搜索的深度的数量为N。沿着核线的相邻搜索位置之间的视差的像素的数量为DI(N-1)。所搜索的N个视差中的任何一个(索引n<N)的以米为单位的深度为dn＝CI(n*DI(N-1))，其中，C是合并关于具有最大基线的单个的低分辨率照相机的基线和焦距的信息的常数。如果在深度图中的特定点处，深度为dn，则dn处的预期测量误差为en＝1/2*max(|dn-dn+1|,|dn-dn-1|)。基本上，预期测量误差是由于沿着核线搜索固定的离散数量的点而导致的误差。可以对误差值本身进行线性或非线性映射以在深度图内提供关于特定像素位置处的深度估计的置信度值。误差越高，深度估计的置信度越低。在几个实施例中，所搜索的视差的间隔不等，但是在一些区域中可以比其他区域中更粗略。因此，可以将误差计算为相邻索引之间的相似性(不管搜索位置沿着核线怎么分布)，以使得置信度图反映所计算的深度误差。在若干个实施例中，置信度图反映所估计的视差(不是深度)的最大误差，以上列出的量的倒数。这对于诸如图像融合之类的应用可能更有用，而深度误差对于在真实世界坐标系中发生的测量应用(诸如，但不限于，3D建模)将更有用。
在若干个实施例中，置信度图可以由于已知的或检测到的使得深度图不可靠的透镜或传感器缺陷而将区域标记为低置信度。可以在图像处理期间或者在预处理校准步骤中离线地检测有缺陷像素(包括传感器上的有缺陷像素以及受透镜缺陷影响的像素这两者的术语)。在一个实施例中，如果任何参考照相机中的特定像素(x,y)的半径内的像素缺陷总数超过预设阈值，则由于像素缺陷，在深度图中将像素(x,y)标记为低置信度。在另一实施例中，可以定义类似的置信度值，其中，置信度根据包围参考像素(x,y)(或者已知受透镜缺陷影响的像素)的半径和/或区域内的任何照相机中的像素缺陷数量(而不是根据硬阈值)成比例地增大。在另一实施例中，置信度可以是预先对于已知创建不同严重程度的误差的有缺陷像素的特定构造计算的值。在几个实施例中，缺陷的置信度值考虑计算置信度值时的局部图像内容。
在几个实施例中，置信度图可以将在其中参考图像表现为无纹理、但是在其他颜色通道中存在有纹理的内容的地方标记为低置信度区域。在一个实施例中，在局部半径和/或区域内搜索参考照相机中的像素(x,y)。如果在该局部半径和/或区域内，内容被认为在绿色中是无纹理的，但是如果红色和/蓝色照相机的另一(可能更大的)局部半径/区域内的相同搜索在红色和/或蓝色颜色通道内的图像中发现足够的纹理，则由于绿色颜色通道对于该检测情况不太有用并且深度结果将不太可靠(尽管通常是正确的)的事实，可以将该区域标记为低置信度。
在若干个实施例中，置信度图将由于透镜光晕或场景中的特征导致存在光度不匹配的情况数字地编码为低置信度情况。在许多实施例中，可以计算围绕像素位置(x,y)的感兴趣区域的局部统计数据(均值和方差)，并且将该局部统计数据与另一照相机中的类似区域的局部统计数据进行比较。这样，可以比较多个图像的同一个普通区域中的两个邻域之间的局部图像统计数据以检测其存在降低置信度的可能的透镜光晕。在其他实施例中，各种技术中的任何一种技术可以用于比较多个图像中的邻域以检测透镜光晕。所得的置信度度量可以是多个照相机所捕捉的图像上的区域的均值和方差之间的差值的缩放或非线性映射函数。照相机所捕捉的图像之间的均值和方差越大，深度越不可能可靠，并且置信度将越低。
在若干个实施例中，置信度图适应照明状况以降低当图像非常暗并且有噪声时的置信度。在某些实施例中，图像被拍摄时的传感器增益将导致所有深度的置信度的绝对降低。在另一实施例中，当计算SNR比或者用于不同噪声水平时的边缘梯度的阈值时，考虑传感器的模拟增益和曝光时间。在许多实施例中，用于不同焦平面的模拟增益和曝光时间可以用于照相机阵列中的用于捕捉图像集合的不同照相机。
为了检测由于遮挡而导致置信度低的区域，可以在视差搜索期间存储最佳实现的成本度量。对于显示出显著遮挡的区域，最佳实现的成本度量通常大大地超过如果不存在遮挡并且所有照相机都看见相同内容、那么将发生的最小值。因此，阈值可以应用于最佳实现的成本。如果最佳实现的成本超过阈值，则将所述区域标记为有可能已经被遮挡或者具有一些其他问题(诸如光度不均匀性)。
对于某些相似性度量，可以针对区域的平均强度以及传感器的噪声统计数据来校正用于遮挡的低置信度阈值。在许多实施例中，使用以感兴趣像素为中心的空间箱式N×N平均滤波器来计算参考图像中的区域的均值。在其他实施例中，一旦知道了均值，就可以通过将特定曝光和增益时的特定均值与期望阈值相关的查找表来计算对于包含参考照相机的颜色通道的噪声统计数据。如果最佳匹配值大大地超过预期噪声，则由于可能的遮挡，可以将像素标记为不可靠。
可以使用下列公式获得由于大体不匹配而导致的非二进制置信度度量：
Confidence(x，y)＝F(Costmin(x，y)，Costd(x，y），I(x，y)cam，Sensor，Cameraintrinsics)
其中，Costmin(x,y)是期望深度范围上的视差搜索的最小成本，
Costd(x,y)表示任何一个深度或多个深度(除了最小深度之外)的成本数据，
任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度；
Sensor是传感器先验性质，其可以包括传感器的已知性质，诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光)，
Camera intrinsics是照相机内在要素，其指定照相机和照相机阵列内在的可以影响置信度的要素，包括(但不限于)该阵列中的照相机之间的基线间隔(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。
在几个实施例中，Confidence(x,y)可以对于所有参量使用相邻像素位置(x,y)(即，空间邻域)的值。
在许多实施例中，可以基于包括(但不限于)以上因素中的一个或多个的因素对置信度图进行编码。可以以二进制方式对每个因素进行编码，或者可以将每个因素表示为(量化)置信度的范围，或者每个因素可以是非量化范围或者其导数。例如，沿着特定轴的置信度可以不表示为单个比特，而是表示为表示区域无纹理的置信度水平的多个比特。在某些实施例中，沿着特定轴的置信度可以表示为连续的或近似连续的(即，浮点)量。根据本发明的实施例，可以根据特定应用的要求视情况使用各种置信度范围中的任何一个来确定当确定置信度时所考虑的其他因素。在几个实施例中，在置信度图中针对在其可以指定这些状况中的任何一个或全部的特定像素包括任意数量的置信度代码或值。下面进一步讨论特定置信度度量。
在仅考虑最小成本并且传感器的噪声统计数据遵循线性模式的特定实施例中，可以使用简化形式：
其中，Avg(x,y)是参考图像的包围(x,y)的空间邻域中的平均强度、或者该邻域中的平均强度的估计，其用于基于参考图像的(x,y)的区域中的强度调整置信度，
a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子。
在这种情况下，更高的值将指示更低的置信度，并且将由图像处理流水线确定如何对结果进行阈值化。
通常，置信度图提供描述深度图内所包含的深度估计的元数据，该元数据数字地量化图像中的所检测的深度的精度。在许多实施例中，可以连同深度图一起以外部递送格式提供置信度图以供与深度图一起用于包括(但不限于)下列应用的应用中：机器视觉、手势识别、后期捕捉图像再聚焦、实时应用、图像特殊效果、超分辨率或其他应用。图18C-18H中例示了根据本发明的实施例的在深度估计处理中利用置信度图对深度图进行滤波的方式的例子。首先翻到图18C，是包含不同深度处的物体的场景的图像，该图像是使用超分辨率处理从在不同颜色通道(具体地讲，红色、绿色和蓝色颜色通道)中捕捉的多个图像合成的。图18D中例示了使用与以上概述的处理类似的处理从参考视点产生的深度图。可以容易地意识到，深度图有噪声。可以作为产生深度图的处理的一部分、产生使用以上概述的各种度量中的任何一个产生的置信度图。图18E中例示了根据本发明的实施例的通过对SNR进行阈值化而产生的二进制置信度图。图18F中例示了根据本发明的实施例的基于SNR而产生的8比特置信度图。图18G中例示了根据本发明的实施例的二进制置信度图，该二进制置信度图通过组合通过对SNR进行阈值化而产生的置信度因子和通过对被遮挡的相应像素的数量进行阈值化而产生的置信度因子而产生。在几个实施例中，置信度图可以用于对深度图进行滤波。图18H中例示了根据本发明的实施例的基于通过对SNR进行阈值化而产生的二进制置信度图进行滤波的深度图。比较图18D和18E中所示的深度图揭示了在解释使用任何深度估计处理产生的深度信息时置信度图的使用的值。尽管以上参照图18C-18H描述了特定的置信度度量和滤波处理，但是根据本发明的实施例，在深度估计和/或深度图的滤波和/或额外的处理中可以利用各种置信度度量中的任何一个。在图18I-18L中所示的特写图像中进一步例示了根据本发明的实施例的置信度图的产生以及置信度图用于对深度图进行滤波的使用。具体关于图18I，示出了使用超分辨率处理从在红色、绿色和蓝色颜色通道中捕捉的图像(每个图像包含单个颜色通道中的图像数据)的光场合成的物体的特写图像。图18J中例示了使用以上概述的技术产生的深度图。图18K中例示了根据本发明的实施例产生的通过对SNR进行阈值化而产生的二进制置信度图。图18L中例示了使用SNR根据本发明的实施例产生的多比特分辨率置信度图。图18M中例示了根据本发明的实施例的二进制置信度图，该二进制置信度图通过下述方式而产生，即，对包围每个像素的区域的SNR进行阈值化，以及对光场内的图像中的与参考视点的图像中的一个像素位置相对应的被遮挡的像素的数量进行阈值化。图18N中例示了使用图18M中所示的二进制置信度图滤波的深度图。
在几个实施例中，使用上述度量中的一个或多个而产生的置信度图可以作为额外的信息通道插入到JPEG-DZ文件格式或其他文件格式中。在几个实施例中，使用与Venkataraman等人于2012年9月28日提交的、标题为“Systems and Methods for EncodingLight Field Image Files”的美国专利申请No.13/631,731中所概述的那些处理类似的处理对置信度图进行编码和解码。美国专利申请No.13/631,731的全部公开内容通过引用并入本文。尽管以上描述了用于确定置信度的特定度量，但是根据本发明的实施例，可以利用适合于特定应用的要求的用于确定置信度的各种度量中的任何一个。
降低计算复杂度
各种策略可以用于降低以上概述的用于确定深度图以及用于确定照相机阵列捕捉的图像的可见性的处理的计算复杂度。在几个实施例中，仅通过在缩小的(即，稀疏的)像素位置子集处搜索深度来构造深度图。深度搜索在较少的点(即，图像中的系数的点集)处针对深度未被计算的点进行，深度是通过其他手段分配的。到最后，该稀疏深度搜索提供参考图像中的每一个像素位置的深度，其中，一些像素被搜索，其他像素则通过插值来填充。如前所述，并不是最终深度图中的每一个像素都具有通过比较该像素与所捕捉的图像中的相应像素的相似性而获得的深度。相反，在不进行对应搜索的区域中，使用包括(但不限于)下列处理的处理来确定所述像素中的许多像素的深度：对周围像素(其中，已经运行了对应搜索)的深度求平均值、或者对已经计算的相邻像素的深度进行插值。通过减少对其执行深度测量的像素的数量，可以减少用于产生深度图的计算量。在几个实施例中，还可以通过下述方式来减少当检测深度图时所使用的计算量，即，检测图像的无纹理区域，并且使用包括(但不限于)下列处理的处理来确定图像的无纹理区域中的像素的深度：从其中深度已经被计算的最近指示器像素起分配单个深度值，对周围像素的深度求平均值、或者对相邻像素的深度进行插值。在其他实施例中，根据本发明的实施例，可以根据特定应用的要求视情况利用用于降低产生深度图的计算复杂度的各种处理中的任何一种，包括基于包括(但不限于)包含边缘的区域的场景的特性和/或基于物距来改变深度图内的深度估计的精度。下面进一步讨论根据本发明的实施例的用于从稀疏深度搜索产生深度图以及用于检测图像中的无纹理区域的处理。
从稀疏深度搜索产生深度图
根据本发明的实施例的用于通过稀疏搜索产生深度图的处理通常涉及确定在整个参考图像中隔开的或分布的稀疏像素集合的深度。基于由稀疏点构成的这个初始深度图，可以检测到深度转变，并且可以使用以上概述的处理来直接测量包围这些深度转变的像素的深度。可以基于深度图中的稀疏像素的深度来确定其余像素的深度。在许多实施例中，使用参考图像中的像素的子集以它们在其被捕捉的分辨率来执行深度测量。
图13中例示了根据本发明的实施例的用于通过稀疏搜索确定深度图的处理。处理1300包括：将参考图像划分(1302)为空间块(或者关联像素组)，并且对于这些空间块内的指示器像素的稀疏子集产生(1304)深度测量。这里，空间块可以被看作互换地指代矩形像素块、或者无需符合任何特定形状的关联像素子集。
指示器像素是空间块(或者关联像素组)内的像素的子集，通常被选为提供关于空间块上的深度变化的信息。图14中例示了根据本发明的实施例的包括多个指示器像素1402的空间块1400。指示器像素1402是在边缘处以及在空间块的中心处选择的。尽管图14中例示了特定指示器像素，但是可以改变指示器在空间块或关联像素组内的布置，和/或可以根据特定应用的要求视情况选择空间块内的各个像素中的任何一个作为指示器像素。在若干个实施例中，利用不同形状的空间块，并且可以改变空间块的形状。在几个实施例中，可以改变指示器像素在空间块内的布置。在许多实施例中，基于场景内容选择指示器像素。在某些实施例中，基于空间块内的哪些点在参考图像中具有最高SNR来选择指示器像素，以提高使用最有可能给予置信度深度结果的点的可能性。在另一实施例中，对于所有块，对于一些指示器像素选择固定空间位置(如图14中所指示)，并且将指示器像素的某个子集分配给空间块中的具有最高SNR的点(即，混合构造)。在另一实施例中，可以使用分割处理来基于场景内容创建相关的空间区域。尽管示出了矩形空间块，但是其他技术可以用于将图像划分为包含如上所述的一些指示器像素的空间集群。此外，空间块在图像的某些部分中可以比在其他部分中更大。
回头参照图13，可以基于指示器像素的深度将深度分配(1306)给每个块中的像素。在几个实施例中，通过相邻指示器像素的插值获得所分配的深度。在几个实施例中，可以将非指示器像素的深度计算为到固定邻域内的最近指示器像素的距离的规范化(归一化)加权平均值。可替代地，可以利用最近近邻插值(1308)来基于指示器像素的深度测量将深度分配给空间块中的像素。在另一实施例中，用于插值的权重可以合并强度相似性以及到最近指示器像素的空间距离。在另一实施例中，诸如(但不限于)核回归的非线性回归可以用于填充在指示器像素位置处采样的深度之间的缺失位置。在另一实施例中，通过最小化块内的指示器像素的总计成本来对整个块分配单个深度。在其他实施例中，各种技术中的任何一种可以用于产生关于空间块内的像素的深度信息。
在许多实施例中，确定(1310)每个空间块在深度图中的可靠性。在空间块内，将对于指示器像素(其中搜索已经发生)和非指示器像素(其中已经基于指示器像素结果对深度进行了插值)两者估计深度。对于指示器像素和非指示器像素，确定块内的所估计的深度的成本。对块中的每个像素的成本进行总计以创建可靠性指示符。如果块内的所有像素的总成本大于阈值，则由于对于一些像素所估计的深度表现为具有不良对应性的事实，将空间块标记为不可靠。在已经确定空间块具有可靠性低的不良空间对应性的情况下，该块有可能包含深度转变或遮挡。如果情况如此，则可以在空间块内运行全对应性搜索和遮挡处理。
如果按照以上标准确定空间块具有深度转变，则可以“划分”空间块，并且在两个子空间块中的每个中选择新的指示器像素集合，并且迭代进行所述处理。在一个实施例中，可以将块划分成两半。在另一实施例中，可以根据空间块内的指示器像素所求解的深度将块划分成不等区域。
在空间块内和/或之间检测到深度转变的情况下，可以通过在包含深度转变的空间块内执行额外的深度测量来细化(1312)深度图。这样，通过减少在产生精确的深度图时所执行的深度测量的次数来降低产生深度图的计算复杂度。
尽管图13中例示了根据本发明的实施例的用于从稀疏搜索产生深度图的特定处理，但是根据本发明的实施例，可以利用通过在类似的或缓慢转变的深度的区域中执行较少的深度测量来产生深度图的各种处理中的任何一种。
减少图像的无纹理区域中的计算
在许多实施例中，产生深度图的处理涉及减少图像的无纹理区域所需的计算量。无纹理区域可以是与视差模糊不清，因为许多假设深度处的相应像素可能是相似的。因此，无纹理区域内的深度测量可以产生不可靠的且有噪声的结果。在许多实施例中，当确定像素的深度以识别该像素是否在无纹理区域中时，使用包围该像素的区域中的SNR。可以基于先前已经对于其确定了深度的至少一个相邻像素的深度来确定对于给定像素的初始深度估计或初始深度估计集合。当给定像素的相应像素的方差(或者任何其他相似性度量)低于包围该像素的区域中的SNR阈值时，可以假定该像素是无纹理区域的一部分，并且可以使用下述方法(之一)来选择像素的深度。或者，可以使用与上述处理类似的处理来执行深度测量。
在许多实施例中，可以使用SNR上的固定阈值来检测无纹理区域。可以通过减少所搜索的深度的数量来减少用于这样的区域中的搜索的计算。在许多实施例中，将搜索整个深度集合，直到识别出最小成本深度为止，所述最小成本深度低于考虑传感器的噪声特性的噪声相关阈值。当发现最小成本低于阈值时，接受该深度为无纹理区域的深度，并且不再搜索更多的深度(即，一找到具有“足够接近的”对应性的深度，就终止搜索)。在许多实施例中，无纹理区域中的搜索可以通过搜索整个视差范围、但是增量大于对于具有纹理的区域的正常搜索中所进行的搜索(即，减少所搜索的深度的数量)来节省计算——最佳成本将被选为无纹理区域中的像素的深度。
图15中例示了根据本发明的实施例的用于使用包围像素的SNR检测无纹理区域的处理。处理1500包括：从参考图像选择(1502)像素，并且检测(1504)所选像素周围的区域中的SNR。可以对于该像素确定(1506)初始假设深度。在许多实施例中，基于包围所选像素的区域中的一个或多个像素的深度来确定初始假设深度d。然后确定(1508)假设深度处的相应像素的方差或成本是否低于阈值，所述阈值可以(但不限于)是预定的或者是包围所选像素的区域中的SNR的函数。在其他实施例中，各种相似性度量中的任何一种可以用于确定包围所述像素的区域是否是无纹理的。在相应像素的方差或成本低于噪声或预定阈值的情况下，基于所述像素位于无纹理区域内的假设，选择假设深度作为最有可能的深度。当相应像素的方差或成本超过噪声或预定阈值时，根据与上述处理类似的处理确定像素的深度。
尽管以上关于图15描述了用于检测参考图像内的无纹理区域的特定处理，但是根据本发明的实施例，可以利用各种用于检测图像中的无纹理区域的处理中的任何一种处理。此外，根据本发明的实施例，各种处理中的任何一种技术可以用于检测图像的可以依赖于用以减少在产生可靠的深度图时所进行的深度测量的次数的其他特性。
从虚拟视点产生深度图
虽然以上提供的大部分讨论描述了产生关于参考照相机所捕捉的图像的深度图，但是根据本发明的实施例的系统和方法可以合成虚拟视点的图像。虚拟视点是不对应于照相机阵列内的任何照相机的视点的参考视点。因此，不论照相机阵列内的颜色通道的数量如何，没有一个颜色通道包括在其中从参考视点捕捉图像数据的照相机。图12中例示了根据本发明的实施例的可以定义的虚拟视点的例子。阵列照相机模块1200包括4×4照相机阵列，其包括8个绿色照相机、4个红色照相机和4个蓝色照相机。用阵列照相机模块的中心处的虚拟视点定义虚拟照相机1202。尽管图12中例示了特定虚拟视点，但是可以对于照相机阵列内的照相机任意地定义任何虚拟视点。
当确定虚拟视点深度图时，不存在明确的可以被搜索并且用于成本度量比较的参考照相机。在许多实施例中，通过对于阵列中的所有其他照相机从虚拟成像器计算有效基线来确定从虚拟视点合成的、图像中的给定像素(x,y)的深度。相对于虚拟视点的位置(i,j)处的照相机的基线将是(i,j)-(iv,jv)，其中，(iv,jv)是虚拟视点1202的位置。一旦相对于虚拟视点确定了单个的照相机之间的基线，估计深度的处理就通过搜索相应像素在其具有最高相似性的深度继续进行。对于虚拟参考照相机(即，虚拟视点的图像)中的每个像素(x,y)，搜索可以几乎如典型的视差情况中那样继续进行，其中，对于每个深度d，在该深度处确定相对于每个替代视图照相机的视差，然后使用适当的成本度量来确定颜色通道中的一个或多个中的相应像素的相似性。在许多实施例中，可以利用上述用于确定不包含参考照相机的颜色通道中的像素的相似性的组合成本度量。在许多实施例中，为了确定所选参考照相机中的像素与特定颜色通道中的其他照相机所捕捉的图像数据中的相应像素的相似性的目的，该颜色通道中的与虚拟视点相邻的照相机可以用作参考照相机。在许多实施例中，为了确定相应绿色像素的相似性的目的，绿色照相机选作参考照相机，并且组合成本度量用于其他颜色通道中的相应像素。在许多实施例中，确定关于虚拟视点的初始深度图的处理可以涉及以与以上关于图8A-8I所描述的方式类似的方式形成与场景内的可见性模式相对应的照相机组。
对于虚拟视点产生的深度图可以用于使用根据本发明的实施例的超分辨率处理从虚拟视点合成高分辨率图像。从虚拟视点合成高分辨率图像的主要不同之处是，高分辨率网格是来自虚拟视点的，并且使用所计算的与相对于虚拟视图位置、而不是物理参考照相机的基线的对应性来将像素融合到高分辨率网格。在这种情况下，不存在具有有规律地映射在高分辨率网格上的像素的物理参考照相机。可以容易地意识到，可以使用类似的适应性调节来确定用于确定关于相对于虚拟视点的深度图的置信度图的处理，所述适应性调节与分析合成的参考图像或者选择接近虚拟视点的图像作为用于执行SNR和/或其他相关测量的代理相关。尽管以上描述了用于产生相对于虚拟视点的深度图的特定处理，但是合并以上概述的成本度量和技术的各种处理中的任何一种处理可以用于根据本发明的实施例产生对于虚拟视点的深度估计。下面进一步讨论根据本发明的实施例的用于执行视差检测和校正以及用于产生深度图的系统。
用于执行视差检测的系统
图16中例示了用于使用与上述处理类似的处理产生深度图和可见性信息的系统。该系统包括视差检测模块1600，其将形成光场的捕捉图像和关于阵列照相机的校准信息取作输入，并且输出深度图以及捕捉图像的像素的所估计的可见性。在许多实施例中，视差检测模块1600还输出指示对于参考图像内的特定像素的深度测量的可靠性的置信度图。如下面进一步讨论的，深度图、所估计的可见性信息、和/或置信度图可以提供给阵列照相机内的超分辨率处理模块以从捕捉图像产生更高分辨率的图像，并且可以提供给可以利用深度、置信度和/或可见性信息的各种应用中的任何一种应用。在许多实施例中，视差检测模块和超分辨率模块用阵列照相机内的微处理器上的软件和/或固件实现。在几个实施例中，与视差检测模块和超分辨率模块相关联的软件存储在阵列照相机内的存储器内。在其他实施例中，视差检测模块和/或超分辨率模块可以使用任何适当地配置的硬件和/或软件来实现。下面进一步讨论根据本发明的实施例的使用所产生的深度图从阵列照相机所捕捉的光场产生高分辨率图像。
使用深度图的超分辨率处理
如美国专利申请NO.12/967,807(以上通过引用并入)中所指出的，当执行超分辨率处理时，图像之间的视差可以引入显著的伪像。因此，美国专利申请NO.12/967,807中所公开的超分辨率处理可以涉及在使用阵列照相机所捕捉的图像合成更高分辨率图像之前将场景相关的几何校正应用于这些图像中的每个像素的位置。阵列照相机中的照相机的基线和后焦距可以容易确定，因此，估计在捕捉图像中观察到的场景相关的几何移位中的未知量是阵列照相机与场景的不同部分之间的距离。当根据以上概述的处理产生深度图和可见性信息时，可以确定由每个像素的深度造成的场景相关的几何移位，并且当执行超分辨率处理时，可以忽略被遮挡像素。在许多实施例中，作为产生深度图的处理的一部分，产生置信度图，并且将置信度图作为输入提供给超分辨率处理以当执行输入图像的像素的融合时帮助超分辨率处理评估深度图内所包含的深度估计的可靠性。
图17中例示了根据本发明的实施例的用于使用阵列照相机所捕捉的光场产生高分辨率图像的处理，该处理涉及产生深度图。处理1700涉及：使用阵列照相机捕捉(1702)光场，并且选择(1704)可以用于合成高分辨率图像的参考视点。在许多实施例中，参考视点基于阵列照相机的构造预定。在若干个实施例中，校准信息用于提高(1706)捕捉图像之间的对应性。在许多实施例中，捕捉图像之间的对应性涉及重新对这些图像进行采样。确定(1708)初始深度图，并且确定遮挡，并且使用这些遮挡来更新(1710)深度图。在几个实施例中，检测遮挡并且更新深度图的处理是迭代的。
在若干个实施例中，深度图用于产生(1712)关于从参考视点捕捉的光场内的像素的可见性的信息。在几个实施例中，对于深度图内所包含的深度估计(可选地)产生(1713)置信度图，并且深度图、可见性信息和/或置信度图被提供(1714)给超分辨率处理流水线。在几个实施例中，超分辨率处理流水线类似于美国专利申请No.12/967,807中所公开的超分辨率处理流水线中的任何一个。超分辨率处理流水线利用包括光场、深度图、可见性信息和置信度图的信息来从参考视点合成(1718)高分辨率图像，该高分辨率图像被阵列照相机输出(1718)。在几个实施例中，合成更高分辨率图像的处理涉及将来自光场的图像数据试验性地融合到更高分辨率网格上。试验性融合的结果然后可以用作使用超分辨率处理合成更高分辨率图像的起始点。
如美国专利申请No.12/967,807中所描述的，可以执行图17中所示的处理来从所捕捉的光场合成立体3D图像对。尽管图17中例示了用于从所捕捉的光场合成高分辨率图像的特定处理，但是根据本发明的实施例，可以利用用于从所捕捉的光场合成高分辨率图像的、涉及测量光场内的像素的深度的各种处理中的任何一种处理。
虽然以上描述包含本发明的许多特定实施例，但是这些不应被解释为对于本发明的范围的限制，而是相反应被解释为其一个实施例的例子。因此，本发明的范围不应由所例示的实施例确定，而是应由所附权利要求书及其等同形式确定。

Claims (28)

1.一种使用用图像处理应用程序配置的处理器根据包括从不同视点捕捉的图像集合的光场估计到场景内的对象的距离的方法，所述方法包括：
相对于从不同视点捕捉的所述图像集合的视点选择参考视点；
规范化所述图像集合以提高所述图像集合内的相应像素的相似性；
使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：
基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相对应的像素；
比较在所述多个深度中的每个深度处识别的相应像素的相似性；和
从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计；
使用所述初始深度估计来识别所述图像集合中的相应像素；
比较所述图像集合中的所述相应像素的相似性以检测不匹配像素；
当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时，选择所述初始深度估计作为对于参考视点的图像中的所述像素位置的当前深度估计；
当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计：
使用所述图像集合中的多个不同子集确定候选深度估计集合；
基于所述候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素；和
选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的所述像素位置的当前深度估计。
2.根据权利要求1所述的方法，其中，相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括从由下列视点构成的集合选择视点：
所述图像中一个图像的视点；和
虚拟视点。
3.根据权利要求1所述的方法，其中，通过将场景相关的移位应用于参考视点的图像中的像素位置来确定所述图像集合中的给定图像中的与参考视点的图像中的所述像素位置相对应的像素，所述场景相关的移位基于下列方面而确定：
参考视点的图像中的所述像素位置的深度估计；和
所述给定图像的视点与参考视点之间的基线。
4.根据权利要求1所述的方法，其中，所述图像集合的用于确定候选深度估计集合的子集是基于所述图像集合中的图像的视点而选择的，以利用有可能导致至少一个子集的自然场景的可见性特性的模式，在所述至少一个子集中，参考视点的图像中的给定像素位置在所述子集中的每个图像中是可见的。
5.根据权利要求4所述的方法，其中：
所述图像集合是在多个颜色通道内捕捉的；
相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且
所述图像集合的用于确定候选深度估计集合的子集被选择为使得包含参考图像的颜色通道中的相同数量的图像出现在每个子集中。
6.根据权利要求5所述的方法，其中，所述图像集合的用于确定候选深度估计集合的子集还被选择为使得在每个子集中存在在不包含参考图像的颜色通道中的至少两个图像。
7.根据权利要求1所述的方法，还包括：
通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：
使用当前深度估计来识别所述图像集合中的相应像素；和
当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点的图像中是不可见的。
8.根据权利要求7所述的方法，其中：
相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括：选择所述图像集合中的图像之一作为参考图像，并且选择参考图像的视点作为参考视点；并且
当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括将所述给定图像中的像素与参考图像中的相应像素进行比较。
9.根据权利要求8所述的方法，其中，所述光度相似性标准包括至少基于所述给定图像中的像素和参考图像中的像素中的至少一个的强度而改动的相似性阈值。
10.根据权利要求8所述的方法，其中，所述光度相似性标准包括根据在参考图像的相应像素和与参考图像的所述像素最相似的相应像素之间的光度距离而改动的相似性阈值。
11.根据权利要求7所述的方法，其中：
相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括选择虚拟视点作为参考视点；并且
当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括：
选择与所述虚拟视点相邻的图像作为参考图像；和
将所述给定图像中的像素与参考图像中的相应像素进行比较。
12.根据权利要求7所述的方法，还包括通过下述步骤基于所述图像集合中的像素从参考视点来看的可见性更新对于参考视点的图像中的给定像素位置的深度估计：
使用在其中参考视点的图像中的所述给定像素位置基于对于所述给定像素的当前深度估计而被确定为可见的图像，产生所述图像集合的更新子集；
基于多个深度处的预期视差，识别所述图像集合的所述更新子集中的与参考视点的图像中的所述给定像素位置相对应的像素；
比较在所述多个深度中的每个深度处识别的图像的更新子集中的相应像素的相似性；和
从所述多个深度选择其中所述图像集合的所述更新子集中的所识别的相应像素具有最高相似性程度的深度，作为对于参考视点的图像中的所述给定像素位置的更新的深度估计。
13.根据权利要求1所述的方法，其中，规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括：
利用校准信息校正所述图像集合中的图像中的光度变化和场景无关的几何失真；和
所述图像集合中的图像的修正。
14.根据权利要求13所述的方法，其中：
规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括重新对所述图像进行采样以提高所述图像集合中的相应像素的相似性；并且
应用于所述图像的场景无关的几何校正是以亚像素分辨率确定的。
15.根据权利要求1所述的方法，其中，成本函数被用于确定相应像素的相似性。
16.根据权利要求15所述的方法，其中，确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。
17.根据权利要求15所述的方法，其中，从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计的步骤，还包括从所述多个深度选择其中所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。
18.根据权利要求15所述的方法，其中，所述成本函数利用选自由以下构成的组的至少一个相似性度量：
一对相应像素的L1范数；
一对相应像素的L2范数；和
一组相应像素的方差。
19.根据权利要求15所述的方法，其中，所述图像集合是在多个颜色通道内捕捉的，并且所述成本函数确定所述多个颜色通道中的每个颜色通道中的像素的相似性。
20.根据权利要求1所述的方法，还包括产生针对用于参考视点的图像中的像素位置的当前深度估计的置信度量。
21.根据权利要求20所述的方法，其中，所述置信度量对多个置信因子进行编码。
22.根据权利要求1所述的方法，还包括：
通过沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素，基于初始深度估计，检测所述图像集合内的图像中的与参考视点的图像中的特定像素位置相对应的像素的遮挡；
当初始深度估计导致检测到至少一个图像中的相应像素被遮挡时，通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计：
使用所述图像集合的多个不同子集确定候选深度估计集合，所述多个不同子集不包括在其中所述给定像素被遮挡的所述至少一个图像；
基于所述候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素；和
选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的所述像素位置的当前深度估计。
23.根据权利要求22所述的方法，其中，沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素的步骤还包括：当下列情况时确定与参考视点的图像中的像素位置(x1，y1)相应的像素在替代视图图像中被参考视点的图像中的像素位置(x2，y2)遮挡：
其中，s1和s2是场景相关的几何移位，该场景相关的几何移位被应用于像素位置(x1，y1)和像素(x2，y2)以使像素沿着与参考视点和替代视图图像的视点之间的基线平行的线移位，以基于对于每个像素的初始深度估计来将所述像素移位到所述替代视图图像的视点中。
24.根据权利要求22所述的方法，其中，将像素指定为被遮挡的决策考虑所述像素的相似性以及像素(x1，y1)和(x2，y2)的估计深度的置信度中的至少一个。
25.一种根据包括从不同视点捕捉的低分辨率图像集合的光场合成高分辨率图像的方法，所述方法包括：
使用用图像处理应用程序配置的处理器根据包括从不同视点捕捉的图像集合的光场来估计到场景内的对象的距离，所述方法包括：
相对于从不同视点捕捉的所述图像集合的视点选择参考视点；
规范化所述图像集合以提高所述图像集合内的相应像素的相似性；
使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：
基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相对应的像素；
比较在所述多个深度中的每个深度处识别的相应像素的相似性；和
从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度，作为对于参考视点的图像中的所述给定像素位置的初始深度估计；
使用所述初始深度估计识别所述图像集合中的相应像素；
比较所述图像集合中的相应像素的相似性以检测不匹配像素；
当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时，选择所述初始深度估计作为对于参考视点的图像中的所述像素位置的当前深度估计；
当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时，通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计：
使用所述图像集合的多个不同子集确定候选深度估计集合；
基于所述候选深度估计来识别所述图像集合的所述多个子集中的每个子集中的相应像素；和
选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的所述像素位置的当前深度估计；
通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：
使用所述当前深度估计来识别所述图像集合中的相应像素；和
当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；和
使用用所述图像处理应用程序配置的处理器，基于所述深度估计来融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：
使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素；和
将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中，其中，所述场景相关的几何移位使用当前深度估计而被确定；和
融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
26.根据权利要求25所述的方法，还包括使用用所述图像处理应用程序配置的处理器合成参考视点的图像以基于参考视点的融合图像、从不同视点捕捉的图像集合、当前深度估计和可见性信息执行超分辨率处理。
27.一种图像处理系统，包括：
处理器；
存储器，所述存储器包含从不同视点捕捉的图像集合和图像处理应用程序；
其中，所述图像处理应用程序将所述处理器配置为：
相对于从不同视点捕捉的图像集合的视点选择参考视点；
规范化所述图像集合以提高所述图像集合内的相应像素的相似性；
使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定：
基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素；
比较在所述多个深度中的每个深度处识别的相应像素的相似性；和
从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度，作为对于参考视点的图像中的所述给定像素位置的初始深度估计；
使用所述初始深度估计识别所述图像集合中的相应像素；
比较所述图像集合中的所述相应像素的相似性以检测不匹配像素；
当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时，选择所述初始深度估计作为对于参考视点的图像中的所述像素位置的当前深度估计；
当初始深度估计导致检测到所述图像集合中的相应像素之间不匹配时，通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计：
使用所述图像集合的多个不同子集确定候选深度估计集合；
基于所述候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素；和
选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的所述像素位置的当前深度估计。
28.根据权利要求27所述的图像处理系统，其中，所述图像处理应用程序进一步将所述处理配置为：
通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性：
使用当前深度估计识别所述图像集合中的相应像素；和
当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点中不可见；和
使用所述深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像：
使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素；
将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中，其中，场景相关的几何移位使用当前深度估计而确定；和
融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
CN201380048735.5A 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 Active CN104662589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710550511.4A CN107346061B (zh) 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261691666P 2012-08-21 2012-08-21
US61/691,666 2012-08-21
US201361780906P 2013-03-13 2013-03-13
US61/780,906 2013-03-13
PCT/US2013/056065 WO2014031795A1 (en) 2012-08-21 2013-08-21 Systems and methods for parallax detection and correction in images captured using array cameras

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710550511.4A Division CN107346061B (zh) 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

Publications (2)

Publication Number Publication Date
CN104662589A CN104662589A (zh) 2015-05-27
CN104662589B true CN104662589B (zh) 2017-08-04

Family

ID=49776057

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710550511.4A Active CN107346061B (zh) 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN201380048735.5A Active CN104662589B (zh) 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710550511.4A Active CN107346061B (zh) 2012-08-21 2013-08-21 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法

Country Status (8)

Country Link
US (12) US8619082B1 (zh)
EP (3) EP4296963A3 (zh)
KR (1) KR102111181B1 (zh)
CN (2) CN107346061B (zh)
AU (1) AU2013305770A1 (zh)
CA (1) CA2881131A1 (zh)
SG (1) SG11201500910RA (zh)
WO (1) WO2014031795A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera

Families Citing this family (414)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5682291B2 (ja) * 2010-12-20 2015-03-11 ソニー株式会社 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法
JP2012221103A (ja) * 2011-04-06 2012-11-12 Denso Corp 車両用画像処理装置
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
EP2530642A1 (en) * 2011-05-31 2012-12-05 Thomson Licensing Method of cropping a 3D content
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013003276A1 (en) 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
CN103765880B (zh) * 2011-09-12 2016-05-18 英特尔公司 局部化分割的图像的连网捕捉和三维显示
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9762881B2 (en) * 2011-11-03 2017-09-12 Texas Instruments Incorporated Reducing disparity and depth ambiguity in three-dimensional (3D) images
US8879731B2 (en) 2011-12-02 2014-11-04 Adobe Systems Incorporated Binding of protected video content to video player with block cipher hash
US8903088B2 (en) 2011-12-02 2014-12-02 Adobe Systems Incorporated Binding of protected video content to video player with encryption key
CN103988227B (zh) * 2011-12-16 2017-08-04 诺基亚技术有限公司 用于图像捕获目标锁定的方法和装置
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104322061B (zh) * 2012-06-22 2017-01-18 株式会社尼康 图像处理装置、摄像装置及图像处理方法
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US10109063B2 (en) * 2012-07-04 2018-10-23 Apple Inc. Image processing in a multi-channel camera
US9843820B2 (en) * 2012-07-05 2017-12-12 Mediatek Inc Method and apparatus of unified disparity vector derivation for 3D video coding
US9661296B2 (en) * 2012-07-12 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
BR112015000996B1 (pt) * 2012-07-20 2022-09-13 Koninklijke Philips N.V. Dispositivo de fonte de vídeo para prover um sinal de vídeo representando vídeo para transferir a um dispositivo de destino de vídeo tridimensional; dispositivo de destino de vídeo tridimensional para processar um sinal de vídeo representando vídeo recebido de um dispositivo de fonte de vídeo; método de prover um sinal de vídeo; método de processar um sinal de vídeo; sinal de vídeo; portador de gravação; e meio legível por computador para processar um sinal de vídeo
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
WO2014049667A1 (ja) * 2012-09-28 2014-04-03 株式会社島津製作所 デジタル画像処理方法および撮影装置
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
JP2014096062A (ja) * 2012-11-09 2014-05-22 Yamaguchi Univ 画像処理方法及び画像処理装置
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
EP2736011B1 (en) * 2012-11-26 2019-04-24 Nokia Technologies Oy Method, apparatus and computer program product for generating super-resolved images
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US9135710B2 (en) * 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) * 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
US9762875B2 (en) * 2013-06-14 2017-09-12 Sony Corporation Methods and devices for parallax elimination
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9551854B2 (en) 2013-10-18 2017-01-24 Light Labs Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9197816B2 (en) 2013-10-18 2015-11-24 The Lightco Inc. Zoom related methods and apparatus
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
CN104567758B (zh) * 2013-10-29 2017-11-17 同方威视技术股份有限公司 立体成像系统及其方法
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
KR102172954B1 (ko) * 2013-11-08 2020-11-02 삼성전자주식회사 보행 보조 로봇 및 보행 보조 로봇의 제어 방법
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9390505B2 (en) * 2013-12-12 2016-07-12 Qualcomm Incorporated Method and apparatus for generating plenoptic depth maps
CN104735360B (zh) * 2013-12-18 2017-12-22 华为技术有限公司 光场图像处理方法和装置
EP2887312A1 (en) * 2013-12-18 2015-06-24 Nokia Corporation Method, apparatus and computer program product for depth estimation of stereo images
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
US10311633B2 (en) * 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
JP6313063B2 (ja) * 2014-02-17 2018-04-18 日立オートモティブシステムズ株式会社 車載用認識装置
US9930349B2 (en) * 2014-02-20 2018-03-27 Konica Minolta Laboratory U.S.A., Inc. Image processing to retain small color/gray differences
US20150244949A1 (en) 2014-02-21 2015-08-27 Rajiv Laroia Illumination methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP5999127B2 (ja) * 2014-03-12 2016-09-28 トヨタ自動車株式会社 画像処理装置
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9729857B2 (en) * 2014-04-08 2017-08-08 Semyon Nisenzon High resolution depth map computation using multiresolution camera clusters for 3D image generation
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US20150309663A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Flexible air and surface multi-touch detection in mobile platform
AT515520B1 (de) * 2014-05-08 2015-10-15 Ait Austrian Inst Technology Verfahren zur Bestimmung des Abstands eines abgebildeten Gegenstands
WO2015183824A1 (en) * 2014-05-26 2015-12-03 Pelican Imaging Corporation Autofocus system for a conventional camera that uses depth information from an array camera
US9785828B2 (en) 2014-06-06 2017-10-10 Honda Motor Co., Ltd. System and method for partially occluded object detection
US20150363912A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Rgbw demosaic method by combining rgb chrominance with w luminance
US8988317B1 (en) * 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9888229B2 (en) 2014-06-23 2018-02-06 Ricoh Company, Ltd. Disparity estimation for multiview imaging systems
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
CN106575366A (zh) 2014-07-04 2017-04-19 光实验室股份有限公司 关于检测和/或指示脏镜头状况的方法和装置
WO2016007799A1 (en) 2014-07-09 2016-01-14 The Lightco Inc. Camera device including multiple optical chains and related methods
US9225889B1 (en) 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
US20160073094A1 (en) * 2014-09-05 2016-03-10 Microsoft Corporation Depth map enhancement
KR20170063827A (ko) * 2014-09-29 2017-06-08 포토네이션 케이맨 리미티드 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
DE102014115292A1 (de) * 2014-10-21 2016-04-21 Connaught Electronics Ltd. Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug
US20160148279A1 (en) * 2014-11-26 2016-05-26 Adobe Systems Incorporated Content Creation, Deployment Collaboration, and Badges
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) * 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
EP3799427A1 (en) * 2014-12-31 2021-03-31 SZ DJI Technology Co., Ltd. System and method for adjusting a baseline of an imaging system with microlens array
JP6769010B2 (ja) * 2015-01-16 2020-10-14 イムラ ウーロプ ソシエテ・パ・アクシオンス・シンプリフィエ ステレオカメラの自己調整
US9412034B1 (en) * 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
US10511787B2 (en) * 2015-02-12 2019-12-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Light-field camera
WO2016130997A1 (en) * 2015-02-12 2016-08-18 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
JP6494328B2 (ja) 2015-03-02 2019-04-03 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6516510B2 (ja) * 2015-03-02 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6275174B2 (ja) * 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
US10412373B2 (en) * 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
EP3286914B1 (en) * 2015-04-19 2019-12-25 FotoNation Limited Multi-baseline camera array system architectures for depth augmentation in vr/ar applications
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
WO2016173631A1 (en) * 2015-04-28 2016-11-03 Huawei Technologies Co., Ltd. An image processing apparatus and method
EP3094076A1 (en) 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
CN104935909B (zh) * 2015-05-14 2017-02-22 清华大学深圳研究生院 一种基于深度信息的多幅图超分辨方法
US10326981B2 (en) * 2015-05-15 2019-06-18 Semyon Nisenzon Generating 3D images using multi-resolution camera set
CN104851100B (zh) * 2015-05-22 2018-01-16 清华大学深圳研究生院 可变光源下的双目视图立体匹配方法
EP3296722B1 (en) * 2015-05-26 2021-12-22 Mitsubishi Electric Corporation Detection device and detection method
JP6582557B2 (ja) * 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
EP3104595A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
EP3107007B1 (en) * 2015-06-17 2020-05-20 InterDigital CE Patent Holdings Method and apparatus for data retrieval in a lightfield database
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US9609242B2 (en) * 2015-06-25 2017-03-28 Intel Corporation Auto-correction of depth-sensing camera data for planar target surfaces
TW201702937A (zh) * 2015-07-02 2017-01-16 Alibaba Group Services Ltd 圖像預處理方法及裝置
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法
WO2017014693A1 (en) * 2015-07-21 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a disparity map based on stereo images of a scene
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN105184780B (zh) * 2015-08-26 2018-06-05 京东方科技集团股份有限公司 一种立体视觉深度的预测方法和系统
US10706572B2 (en) * 2015-08-26 2020-07-07 Olympus Corporation System and method for depth estimation using multiple illumination sources
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
CN110598685B (zh) * 2015-09-14 2023-06-30 原相科技股份有限公司 分辨前景的成像装置
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
US9940701B2 (en) * 2015-09-25 2018-04-10 Intel Corporation Device and method for depth image dequantization
US9928605B2 (en) * 2015-09-25 2018-03-27 Intel Corporation Real-time cascaded object recognition
US20170096144A1 (en) 2015-10-05 2017-04-06 Ford Global Technologies, Llc System and Method for Inspecting Road Surfaces
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
GB2548303B (en) * 2015-10-14 2018-02-21 Shanghai United Imaging Healthcare Co Ltd System and method for image correction
TWI579776B (zh) * 2015-10-27 2017-04-21 財團法人國家實驗研究院 利用影像擷取裝置給定一全域場景影像之方法
US10554956B2 (en) 2015-10-29 2020-02-04 Dell Products, Lp Depth masks for image segmentation for depth-based computational photography
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
FR3043234B1 (fr) * 2015-11-03 2017-11-03 B<>Com Procede de suivi d'une cible clinique dans des images medicales
US9699380B2 (en) * 2015-11-03 2017-07-04 Intel Corporation Fusion of panoramic background images using color and depth data
US10021371B2 (en) 2015-11-24 2018-07-10 Dell Products, Lp Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
EP3373240B1 (en) * 2015-11-30 2019-10-02 Huawei Technologies Co., Ltd. Image processing method and dual-camera system
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
US10477181B2 (en) * 2015-12-16 2019-11-12 Intel Corporation Multiview video stabilization
JP6611588B2 (ja) * 2015-12-17 2019-11-27 キヤノン株式会社 データ記録装置、撮像装置、データ記録方法およびプログラム
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US20170180652A1 (en) * 2015-12-21 2017-06-22 Jim S. Baca Enhanced imaging
JP6559899B2 (ja) * 2015-12-21 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像のための奥行きマップの処理
KR102466996B1 (ko) 2016-01-06 2022-11-14 삼성전자주식회사 눈 위치 예측 방법 및 장치
KR101721632B1 (ko) * 2016-01-21 2017-03-30 인천대학교 산학협력단 변형된 커널 회귀 방법을 이용한 영상 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN105627926B (zh) * 2016-01-22 2017-02-08 尹兴 四像机组平面阵列特征点三维测量系统及测量方法
EP3200151A1 (en) * 2016-01-29 2017-08-02 Thomson Licensing Method and device for obtaining a depth map
JP6643122B2 (ja) * 2016-02-03 2020-02-12 キヤノン株式会社 距離画像装置、撮像装置、および距離画像補正方法
US10175867B2 (en) * 2016-02-03 2019-01-08 Adobe Inc. User input-based object selection using multiple visual cues
US10769776B2 (en) 2016-02-12 2020-09-08 Cognex Corporation System and method for efficiently scoring probes in an image with a vision system
US10194139B2 (en) * 2016-02-22 2019-01-29 Ricoh Company, Ltd. Disparity-to-depth calibration for plenoptic imaging systems
US10003783B2 (en) * 2016-02-26 2018-06-19 Infineon Technologies Ag Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
EP3423784B1 (en) 2016-03-01 2021-07-28 Magic Leap, Inc. Depth sensing systems and methods
US10136116B2 (en) * 2016-03-07 2018-11-20 Ricoh Company, Ltd. Object segmentation from light field data
JPWO2017154606A1 (ja) 2016-03-10 2019-01-10 ソニー株式会社 情報処理装置および情報処理方法
CN105791803B (zh) * 2016-03-16 2018-05-18 深圳创维－Rgb电子有限公司 一种将二维图像转化为多视点图像的显示方法及系统
US20190110028A1 (en) * 2016-03-21 2019-04-11 Thomson Licensing Method for correcting aberration affecting light-field data
US9934557B2 (en) * 2016-03-22 2018-04-03 Samsung Electronics Co., Ltd Method and apparatus of image representation and processing for dynamic vision sensor
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10521952B2 (en) 2016-04-12 2019-12-31 Quidient, Llc Quotidian scene reconstruction engine
US10362205B2 (en) 2016-04-28 2019-07-23 Qualcomm Incorporated Performing intensity equalization with respect to mono and color images
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
DE102016208210A1 (de) 2016-05-12 2017-11-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes
JP6525921B2 (ja) * 2016-05-13 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法、検索装置
US10325370B1 (en) * 2016-05-31 2019-06-18 University Of New Brunswick Method and system of coregistration of remote sensing images
US10097777B2 (en) 2016-06-03 2018-10-09 Recognition Robotics, Inc. Depth map from multi-focal plane images
US10257485B2 (en) * 2016-06-08 2019-04-09 Google Llc Generating a composite image from a physical item
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10298864B2 (en) * 2016-06-10 2019-05-21 Apple Inc. Mismatched foreign light detection and mitigation in the image fusion of a two-camera system
US10469821B2 (en) * 2016-06-17 2019-11-05 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
KR101915843B1 (ko) * 2016-06-29 2018-11-08 한국과학기술원 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치
US10127812B2 (en) 2016-08-29 2018-11-13 Allstate Insurance Company Electrical data processing system for monitoring or affecting movement of a vehicle using a traffic device
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
US10074160B2 (en) * 2016-09-30 2018-09-11 Disney Enterprises, Inc. Point cloud noise and outlier removal for image-based 3D reconstruction
KR20190065432A (ko) * 2016-10-18 2019-06-11 포토닉 센서즈 앤드 알고리즘즈 에스.엘. 뷰로부터 거리 정보를 획득하는 장치 및 방법
US10026014B2 (en) * 2016-10-26 2018-07-17 Nxp Usa, Inc. Method and apparatus for data set classification based on generator features
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
WO2018076038A1 (en) * 2016-10-31 2018-05-03 Victoria Link Limited A rendering process and system
CN106504292B (zh) * 2016-11-03 2019-02-05 浙江大学 基于成像本质属性的立体颜色校正方法
CN109923854B (zh) * 2016-11-08 2022-01-04 索尼公司 图像处理装置、图像处理方法以及记录介质
CN108076338B (zh) * 2016-11-14 2022-04-08 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
WO2018104102A1 (en) 2016-12-06 2018-06-14 Koninklijke Philips N.V. Apparatus and method for generating a light intensity image
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
KR102534875B1 (ko) 2016-12-08 2023-05-22 한국전자통신연구원 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
US10339631B2 (en) 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US10275855B2 (en) 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US20180260929A1 (en) * 2017-03-08 2018-09-13 Intel Corporation Digital camera methods and devices optimized for computer vision applications
JP6929094B2 (ja) * 2017-03-27 2021-09-01 キヤノン株式会社 電子機器、撮像装置、及び制御方法、並びにプログラム
US10593718B2 (en) * 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets
TWI641264B (zh) * 2017-03-30 2018-11-11 晶睿通訊股份有限公司 影像處理系統及鏡頭狀態判斷方法
JP6800797B2 (ja) * 2017-03-31 2020-12-16 キヤノン株式会社 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム
TWI672938B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 可校正遮蔽區的深度圖產生裝置
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10142543B1 (en) * 2017-05-12 2018-11-27 Mediatek Inc. Power reduction in a multi-sensor camera device by on-demand sensors activation
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
CA3066502A1 (en) 2017-06-21 2018-12-27 Vancouver Computer Vision Ltd. Determining positions and orientations of objects
US10958899B2 (en) * 2017-07-26 2021-03-23 Hewlett-Packard Development Company, L.P. Evaluation of dynamic ranges of imaging devices
CN107545586B (zh) * 2017-08-04 2020-02-28 中国科学院自动化研究所 基于光场极线平面图像局部的深度获取方法及系统
US10477064B2 (en) * 2017-08-21 2019-11-12 Gopro, Inc. Image stitching with electronic rolling shutter correction
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
RU2659745C1 (ru) * 2017-08-28 2018-07-03 Общество с ограниченной ответственностью "Аби Продакшн" Реконструкция документа из серии изображений документа
EP3682562B1 (en) 2017-09-11 2021-01-20 Signify Holding B.V. Detecting coded light with rolling-shutter cameras
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10776995B2 (en) * 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
WO2019089049A1 (en) 2017-11-06 2019-05-09 Google Llc Systems and methods for improved feature extraction using polarization information
KR102459853B1 (ko) 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
US10643383B2 (en) 2017-11-27 2020-05-05 Fotonation Limited Systems and methods for 3D facial modeling
CN108090872B (zh) * 2017-12-18 2021-07-16 武汉大学 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统
CN108053368B (zh) * 2017-12-18 2020-11-03 清华大学 跨尺度分辨率的光场图像超分辨率及深度估计方法及装置
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
CN109840922B (zh) * 2018-01-31 2021-03-02 中国科学院计算技术研究所 基于双目光场相机的深度获取方法和系统
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
US11024046B2 (en) 2018-02-07 2021-06-01 Fotonation Limited Systems and methods for depth estimation using generative models
CN108364309B (zh) * 2018-02-09 2020-09-01 清华大学深圳研究生院 一种基于手持式光场相机的空间光场恢复方法
WO2019153327A1 (zh) * 2018-02-12 2019-08-15 深圳市汇顶科技股份有限公司 图像获取方法和装置
US10306152B1 (en) * 2018-02-14 2019-05-28 Himax Technologies Limited Auto-exposure controller, auto-exposure control method and system based on structured light
JP2019149621A (ja) * 2018-02-26 2019-09-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10510178B2 (en) * 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
JP2019149767A (ja) * 2018-02-28 2019-09-05 パナソニック液晶ディスプレイ株式会社 表示装置用校正システム、表示装置、撮影装置、サーバ装置、及び、表示装置の校正方法
US10839541B2 (en) * 2018-03-14 2020-11-17 Google Llc Hierarchical disparity hypothesis generation with slanted support windows
CN108520495B (zh) * 2018-03-15 2021-09-07 西北工业大学 基于聚类流形先验的高光谱图像超分辨重建方法
US10972643B2 (en) 2018-03-29 2021-04-06 Microsoft Technology Licensing, Llc Camera comprising an infrared illuminator and a liquid crystal optical filter switchable between a reflection state and a transmission state for infrared imaging and spectral imaging, and method thereof
US11308577B2 (en) * 2018-04-04 2022-04-19 Sony Interactive Entertainment Inc. Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
JP7233150B2 (ja) * 2018-04-04 2023-03-06 日本放送協会 奥行推定装置およびそのプログラム
US11089265B2 (en) 2018-04-17 2021-08-10 Microsoft Technology Licensing, Llc Telepresence devices operation methods
WO2019201355A1 (en) * 2018-04-17 2019-10-24 Shanghaitech University Light field system occlusion removal
US10477220B1 (en) 2018-04-20 2019-11-12 Sony Corporation Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
SE542050C2 (en) 2018-04-24 2020-02-18 Superannotate Ai Inc Method for merging superpixels
EP3788595A4 (en) 2018-05-02 2022-01-05 Quidient, LLC CODEC FOR PROCESSING SCENES WITH ALMOST UNLIMITED DETAILS
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US10958843B2 (en) 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10685433B2 (en) 2018-05-04 2020-06-16 Raytheon Technologies Corporation Nondestructive coating imperfection detection system and method therefor
US11268881B2 (en) * 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10832427B1 (en) * 2018-05-07 2020-11-10 Apple Inc. Scene camera retargeting
US10924692B2 (en) 2018-05-08 2021-02-16 Microsoft Technology Licensing, Llc Depth and multi-spectral camera
US10996335B2 (en) 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
US10607352B2 (en) 2018-05-17 2020-03-31 Microsoft Technology Licensing, Llc Reduced power operation of time-of-flight camera
US10783656B2 (en) * 2018-05-18 2020-09-22 Zebra Technologies Corporation System and method of determining a location for placement of a package
US10477173B1 (en) 2018-05-23 2019-11-12 Microsoft Technology Licensing, Llc Camera with tunable filter and active illumination
WO2019232806A1 (zh) * 2018-06-08 2019-12-12 珊口（深圳）智能科技有限公司 导航方法、导航系统、移动控制系统及移动机器人
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN108924434B (zh) * 2018-06-29 2020-08-18 宁波大学 一种基于曝光变换的立体高动态范围图像合成方法
US10650573B2 (en) 2018-06-29 2020-05-12 Proprio, Inc. Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity
CN110660088B (zh) * 2018-06-30 2023-08-22 华为技术有限公司 一种图像处理的方法和设备
US10692184B2 (en) 2018-07-05 2020-06-23 SVXR, Inc. Super-resolution X-ray imaging method and apparatus
JP7179515B2 (ja) * 2018-07-13 2022-11-29 キヤノン株式会社 装置、制御方法、及びプログラム
EP3598389A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Method for detecting occlusions in an image, corresponding device and computer program product
EP3598390A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Method for estimating a depth for pixels, corresponding device and computer program product
US11145046B2 (en) * 2018-07-24 2021-10-12 The Regents Of The University Of Michigan Detection of near-field occlusions in images
CN110853073A (zh) * 2018-07-25 2020-02-28 北京三星通信技术研究有限公司 确定关注点的方法、装置、设备、系统及信息处理方法
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US10922832B2 (en) * 2018-07-31 2021-02-16 Intel Corporation Removal of projection noise and point-based rendering
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
CN110798674B (zh) * 2018-08-01 2022-04-08 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质
CN110798677B (zh) * 2018-08-01 2021-08-31 Oppo广东移动通信有限公司 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备
KR102555317B1 (ko) * 2018-08-09 2023-07-14 구글 엘엘씨 사용자 디바이스에 적용된 내추럴 핸드헬드 모션을 이용한 초해상도
US10554914B1 (en) * 2018-08-10 2020-02-04 Apple Inc. Adjusting confidence values for correcting pixel defects
JP7005458B2 (ja) * 2018-09-12 2022-01-21 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム
US11689707B2 (en) * 2018-09-20 2023-06-27 Shoppertrak Rct Llc Techniques for calibrating a stereoscopic camera in a device
CN109151334B (zh) * 2018-09-21 2020-12-22 中国计量大学 一种无人车相机系统
US11367305B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Obstruction detection during facial recognition processes
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
CN109543544B (zh) * 2018-10-25 2021-04-09 北京市商汤科技开发有限公司 跨光谱图像匹配方法及装置、电子设备和存储介质
US11055866B2 (en) * 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
US10931894B2 (en) 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US10979648B2 (en) * 2018-11-07 2021-04-13 Inuitive Ltd. Stereoscopic apparatus and a method for determining exposure time
FR3088510A1 (fr) * 2018-11-09 2020-05-15 Orange Synthese de vues
US20200186776A1 (en) * 2018-11-14 2020-06-11 Htc Corporation Image processing system and image processing method
JP7036227B2 (ja) * 2018-11-19 2022-03-15 日本電気株式会社 画像処理方法および画像処理装置
CN109685748B (zh) * 2018-12-07 2021-03-30 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备、计算机可读存储介质
US10708557B1 (en) 2018-12-14 2020-07-07 Lyft Inc. Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors
CN109521434B (zh) * 2018-12-27 2020-09-08 合肥泰禾光电科技股份有限公司 一种激光测量方法及控制处理器
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11245875B2 (en) 2019-01-15 2022-02-08 Microsoft Technology Licensing, Llc Monitoring activity with depth and multi-spectral camera
CN109648210B (zh) * 2019-02-14 2024-03-15 北京志恒达科技有限公司 激光灼刻装置及系统
EP3706070A1 (en) * 2019-03-05 2020-09-09 Koninklijke Philips N.V. Processing of depth maps for images
WO2020188121A1 (en) 2019-03-21 2020-09-24 Five AI Limited Perception uncertainty
CN111815696B (zh) * 2019-04-11 2023-08-22 曜科智能科技（上海）有限公司 基于语义实例分割的深度图优化方法、装置、设备和介质
JP7007324B2 (ja) * 2019-04-25 2022-01-24 ファナック株式会社 画像処理装置、画像処理方法、及びロボットシステム
US20220217828A1 (en) * 2019-04-30 2022-07-07 Signify Holding B.V. Camera-based lighting control
CN110210541B (zh) * 2019-05-23 2021-09-03 浙江大华技术股份有限公司 图像融合方法及设备、存储装置
CN110211115B (zh) * 2019-06-03 2023-04-07 大连理工大学 一种基于深度引导元胞自动机的光场显著性检测实现方法
US10937232B2 (en) * 2019-06-26 2021-03-02 Honeywell International Inc. Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
DE102019210580A1 (de) * 2019-07-18 2021-01-21 Robert Bosch Gmbh Verfahren zum Ermitteln einer Position eines ersten Bildbereichs in einem Korrespondenz-Bild, SoC und Steuervorrichtung und System zur Durchführung des Verfahrens, sowie Computerprogramm
US11064154B2 (en) 2019-07-18 2021-07-13 Microsoft Technology Licensing, Llc Device pose detection and pose-related image capture and processing for light field based telepresence communications
US11270464B2 (en) 2019-07-18 2022-03-08 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
US11082659B2 (en) 2019-07-18 2021-08-03 Microsoft Technology Licensing, Llc Light field camera modules and light field camera module arrays
US11553123B2 (en) * 2019-07-18 2023-01-10 Microsoft Technology Licensing, Llc Dynamic detection and correction of light field camera array miscalibration
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
US11303877B2 (en) 2019-08-13 2022-04-12 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data
US10861422B1 (en) * 2019-08-16 2020-12-08 Facebook Technologies, Inc. Display rendering
CN110533731B (zh) * 2019-08-30 2023-01-17 无锡先导智能装备股份有限公司 相机解析度的标定方法及相机解析度的标定装置
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11729364B2 (en) 2019-09-18 2023-08-15 Gopro, Inc. Circular stitching of images
BR112022006617A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para detecção por sensor de normais à superfície com polarização
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置
WO2021081603A1 (en) * 2019-11-01 2021-05-06 Visionary Machines Pty Ltd Systems and methods for generating and/or using 3-dimensional information with camera arrays
EP4066162A4 (en) 2019-11-27 2023-12-13 Compound Eye Inc. SYSTEM AND METHOD FOR DETERMINING CORRESPONDENCE CARDS
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
DE102019133515B3 (de) * 2019-12-09 2021-04-01 Cubert GmbH Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
US11663728B2 (en) * 2020-01-16 2023-05-30 Samsung Electronics Co., Ltd. Depth estimation method and apparatus
US11069071B1 (en) 2020-01-21 2021-07-20 Compound Eye, Inc. System and method for egomotion estimation
US11270467B2 (en) * 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming
US11816855B2 (en) * 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Array-based depth estimation
CN111582196B (zh) * 2020-02-13 2021-05-04 牧今科技 用于确定相机视场内的遮挡的方法和系统
US11006039B1 (en) 2020-02-13 2021-05-11 Mujin, Inc. Method and system for determining occlusion within a camera field of view
AT523556A1 (de) 2020-02-26 2021-09-15 Vexcel Imaging Gmbh Verfahren zur Bildkorrektur
CN113542721B (zh) * 2020-04-20 2023-04-25 阿里巴巴集团控股有限公司 深度图处理方法、视频重建方法及相关装置
WO2021213650A1 (en) 2020-04-22 2021-10-28 Huawei Technologies Co., Ltd. Device and method for depth estimation using color images
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11520052B2 (en) * 2020-06-26 2022-12-06 Microsoft Technology Licensing, Llc Adaptive processing in time of flight imaging
US11212503B1 (en) * 2020-07-14 2021-12-28 Microsoft Technology Licensing, Llc Dual camera HMD with remote camera alignment
JPWO2022019049A1 (zh) * 2020-07-20 2022-01-27
WO2022025741A1 (en) * 2020-07-27 2022-02-03 Samsung Electronics Co., Ltd. Array-based depth estimation
CN112053425B (zh) * 2020-09-29 2022-05-10 广州极飞科技股份有限公司 多光谱图像处理方法、装置及电子设备
KR102317182B1 (ko) * 2020-11-25 2021-10-27 주식회사 리얼이매진 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치
CN112614161A (zh) * 2020-12-28 2021-04-06 之江实验室 一种基于边缘置信度的三维物体跟踪方法
EP4285325A1 (en) * 2021-01-28 2023-12-06 Visionary Machines Ptd Ltd Systems and methods for combining multiple depth maps
US11657523B2 (en) * 2021-03-17 2023-05-23 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
US20220319026A1 (en) * 2021-03-31 2022-10-06 Ernst Leitz Labs LLC Imaging system and method
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114759991B (zh) * 2022-03-28 2023-09-22 扬州大学 一种基于可见性图的循环平稳信号检测及调制识别方法
US11889033B2 (en) * 2022-05-11 2024-01-30 Samsung Electronics Co., Ltd. Flare mitigation via deconvolution using high dynamic range imaging
CN114897951B (zh) * 2022-05-30 2023-02-28 中国测绘科学研究院 聚合多视角深度信息的单张光场影像深度估计方法及系统
JP2024014138A (ja) * 2022-07-21 2024-02-01 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11704864B1 (en) * 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
CN115171030B (zh) * 2022-09-09 2023-01-31 山东省凯麟环保设备股份有限公司 基于多级特征融合的多模态图像分割方法、系统及器件
US20240129604A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods
KR102635346B1 (ko) * 2022-11-04 2024-02-08 주식회사 브이알크루 가상 객체의 폐색을 구현하기 위한 방법
CN115439720B (zh) * 2022-11-08 2023-01-24 成都数联云算科技有限公司 Cam图像的重构方法、训练方法、装置、设备及介质
CN116188558B (zh) * 2023-04-27 2023-07-11 华北理工大学 基于双目视觉的立体摄影测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832312A (en) * 1996-02-22 1998-11-03 Eastman Kodak Company Watertight body for accommodating a photographic camera
US6034690A (en) * 1996-08-02 2000-03-07 U.S. Philips Corporation Post-processing generation of focus/defocus effects for computer graphics images
US6603513B1 (en) * 1999-02-16 2003-08-05 Micron Technology, Inc. Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理

Family Cites Families (934)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4124798A (en) 1965-12-09 1978-11-07 Thompson Kenneth B Optical viewing apparatus
JPS5925483B2 (ja) 1977-12-09 1984-06-18 パイオニア株式会社 プツシユプル増幅回路
US4198646A (en) 1978-10-13 1980-04-15 Hughes Aircraft Company Monolithic imager for near-IR
US4323925A (en) 1980-07-07 1982-04-06 Avco Everett Research Laboratory, Inc. Method and apparatus for arraying image sensor modules
JPS5769476A (en) 1980-10-16 1982-04-28 Fuji Xerox Co Ltd Reader control system
JPS5925483A (ja) 1982-08-04 1984-02-09 Hitachi Denshi Ltd 固体撮像装置
US4652909A (en) 1982-09-14 1987-03-24 New York Institute Of Technology Television camera and recording system for high definition television having imagers of different frame rate
US4460449A (en) 1983-01-03 1984-07-17 Amerace Corporation Apparatus for making a tool
EP0289885A1 (de) 1987-05-08 1988-11-09 Siemens Aktiengesellschaft Blendensystem zur Erzeugung mehrerer Teilchensonden mit veränderbarem Querschnitt
JPS6437177A (en) 1987-08-03 1989-02-07 Canon Kk Image pickup device
JPS6437177U (zh) 1987-08-31 1989-03-06
EP0342419B1 (de) 1988-05-19 1992-10-28 Siemens Aktiengesellschaft Verfahren zur Beobachtung einer Szene und Einrichtung zur Durchführung des Verfahrens
US5070414A (en) 1988-09-20 1991-12-03 Kabushiki Kaisha Toshiba Method and apparatus for reading image information formed on material
JPH02285772A (ja) 1989-04-26 1990-11-26 Toshiba Corp 画像読取装置
US4962425A (en) 1988-10-27 1990-10-09 National Research Council Of Canada/Conseil National Deresherches Canada Photometric device
US5157499A (en) 1990-06-29 1992-10-20 Kabushiki Kaisha N A C High-speed video camera using solid-state image sensor
US5144448A (en) 1990-07-31 1992-09-01 Vidar Systems Corporation Scanning apparatus using multiple CCD arrays and related method
US5463464A (en) 1991-10-04 1995-10-31 Kms Fusion, Inc. Electro-optical system for gauging surface profile deviations using infrared radiation
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JP3032382B2 (ja) 1992-07-13 2000-04-17 シャープ株式会社 デジタル信号のサンプリング周波数変換装置
JPH06129851A (ja) 1992-10-13 1994-05-13 Sumitomo Electric Ind Ltd ステレオカメラの校正方法
WO1994020875A2 (en) * 1993-03-03 1994-09-15 Street Graham S B Method and apparatus for image alignment
US5659424A (en) 1993-05-25 1997-08-19 Hitachi, Ltd. Projecting lens and image display device
JPH0715457A (ja) 1993-06-18 1995-01-17 Hitachi Ltd ディジタル通信切替方式
US6419638B1 (en) 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
US6095989A (en) 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
JP2761837B2 (ja) * 1993-08-19 1998-06-04 株式会社日鉄エレックス 立体像表示装置
EP0677821A3 (en) 1994-04-14 1996-03-06 Hewlett Packard Co Enlargement of a digital image by slaving.
AU1742895A (en) 1994-06-09 1996-01-04 Kollmorgen Instrument Corporation Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line
US20020195548A1 (en) 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US5629524A (en) 1995-02-21 1997-05-13 Advanced Scientific Concepts, Inc. High speed crystallography detector
US5933190A (en) 1995-04-18 1999-08-03 Imec Vzw Pixel structure, image sensor using such pixel structure and corresponding peripheral circuitry
US5963664A (en) 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
GB2302978A (en) 1995-07-04 1997-02-05 Sharp Kk LIquid crystal device
US5880691A (en) 1995-11-07 1999-03-09 California Institute Of Technology Capacitively coupled successive approximation ultra low power analog-to-digital converter
US5757425A (en) 1995-12-19 1998-05-26 Eastman Kodak Company Method and apparatus for independently calibrating light source and photosensor arrays
JP3502713B2 (ja) 1995-12-21 2004-03-02 本田技研工業株式会社 車両用距離測定装置
JPH09181913A (ja) 1995-12-26 1997-07-11 Olympus Optical Co Ltd カメラシステム
US5793900A (en) 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US6124974A (en) 1996-01-26 2000-09-26 Proxemics Lenslet array systems and methods
US5973844A (en) 1996-01-26 1999-10-26 Proxemics Lenslet array systems and methods
US6493465B2 (en) 1996-02-21 2002-12-10 Canon Kabushiki Kaisha Matching point extracting method and apparatus therefor
US5911008A (en) 1996-04-30 1999-06-08 Nippon Telegraph And Telephone Corporation Scheme for detecting shot boundaries in compressed video data using inter-frame/inter-field prediction coding and intra-frame/intra-field coding
US6002743A (en) 1996-07-17 1999-12-14 Telymonde; Timothy D. Method and apparatus for image acquisition from a plurality of cameras
US6141048A (en) 1996-08-19 2000-10-31 Eastman Kodak Company Compact image capture device
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US5808350A (en) 1997-01-03 1998-09-15 Raytheon Company Integrated IR, visible and NIR sensor and methods of fabricating same
JPH10232626A (ja) 1997-02-20 1998-09-02 Canon Inc 立体画像表示装置
JPH10253351A (ja) 1997-03-14 1998-09-25 Kyocera Corp 測距装置
US5801919A (en) 1997-04-04 1998-09-01 Gateway 2000, Inc. Adjustably mounted camera assembly for portable computers
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6515701B2 (en) 1997-07-24 2003-02-04 Polaroid Corporation Focal plane exposure control system for CMOS area image sensors
US6563537B1 (en) 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
JP3430935B2 (ja) 1997-10-20 2003-07-28 富士ゼロックス株式会社 画像読取装置及びレンズ
JP4243779B2 (ja) 1997-11-14 2009-03-25 株式会社ニコン 拡散板の製造方法および拡散板、並びにマイクロレンズアレイの製造方法およびマイクロレンズアレイ
NO305728B1 (no) 1997-11-14 1999-07-12 Reidar E Tangen Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme
US6069365A (en) 1997-11-25 2000-05-30 Alan Y. Chow Optical processor based imaging system
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
US6721008B2 (en) 1998-01-22 2004-04-13 Eastman Kodak Company Integrated CMOS active pixel digital camera
US6833863B1 (en) 1998-02-06 2004-12-21 Intel Corporation Method and apparatus for still image capture during video streaming operations of a tethered digital camera
JPH11223708A (ja) 1998-02-09 1999-08-17 Nikon Corp 圧子およびマイクロ光学素子アレイの製造方法
US6054703A (en) 1998-03-20 2000-04-25 Syscan, Inc. Sensing module for accelerating signal readout from image sensors
US6160909A (en) 1998-04-01 2000-12-12 Canon Kabushiki Kaisha Depth control for stereoscopic images
KR100307883B1 (ko) 1998-04-13 2001-10-19 박호군 정합화소수를이용한유사도측정방법및이를구현하기위한장치
JP3745117B2 (ja) 1998-05-08 2006-02-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP3931936B2 (ja) 1998-05-11 2007-06-20 セイコーエプソン株式会社 マイクロレンズアレイ基板及びその製造方法並びに表示装置
JP3284190B2 (ja) 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
US6205241B1 (en) 1998-06-01 2001-03-20 Canon Kabushiki Kaisha Compression of stereoscopic images
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6069351A (en) 1998-07-16 2000-05-30 Intel Corporation Focal plane processor for scaling information from image sensors
US6903770B1 (en) 1998-07-27 2005-06-07 Sanyo Electric Co., Ltd. Digital camera which produces a single image based on two exposures
JP2000055658A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および方法、並びに提供媒体
US6340994B1 (en) 1998-08-12 2002-01-22 Pixonics, Llc System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6879735B1 (en) 1998-09-14 2005-04-12 University Of Utah Reasearch Foundation Method of digital image enhancement and sharpening
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
GB2343320B (en) 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
JP3596314B2 (ja) 1998-11-02 2004-12-02 日産自動車株式会社 物体端の位置計測装置および移動体の通行判断装置
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3875423B2 (ja) 1999-01-19 2007-01-31 日本放送協会 固体撮像素子およびそれ用の映像信号出力装置
JP3634677B2 (ja) 1999-02-19 2005-03-30 キヤノン株式会社 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体
US6563540B2 (en) 1999-02-26 2003-05-13 Intel Corporation Light sensor with increased dynamic range
US20020063807A1 (en) 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
US6819358B1 (en) 1999-04-26 2004-11-16 Microsoft Corporation Error calibration for digital image sensors and apparatus using the same
US6292713B1 (en) 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
JP2001008235A (ja) 1999-06-25 2001-01-12 Minolta Co Ltd ３次元データの再構成のための画像入力方法及び多眼式データ入力装置
JP2001042042A (ja) 1999-07-27 2001-02-16 Canon Inc 撮像装置
US6801653B1 (en) 1999-08-05 2004-10-05 Sony Corporation Information processing apparatus and method as well as medium
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6647142B1 (en) 1999-08-19 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Badge identification system
US6771833B1 (en) 1999-08-20 2004-08-03 Eastman Kodak Company Method and system for enhancing digital images
US6628330B1 (en) 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US6358862B1 (en) 1999-09-02 2002-03-19 Micron Technology, Inc Passivation integrity improvements
JP3280001B2 (ja) 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
US6639596B1 (en) 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US6628845B1 (en) 1999-10-20 2003-09-30 Nec Laboratories America, Inc. Method for subpixel registration of images
US6774941B1 (en) 1999-10-26 2004-08-10 National Semiconductor Corporation CCD output processing stage that amplifies signals from colored pixels based on the conversion efficiency of the colored pixels
US6671399B1 (en) 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
US6674892B1 (en) 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP2001195050A (ja) 1999-11-05 2001-07-19 Mitsubishi Electric Corp グラフィックアクセラレータ
TW521519B (en) 1999-11-26 2003-02-21 Sanyo Electric Co Apparatus and method for converting a two dimensional image to a three dimensional image
JP3950926B2 (ja) 1999-11-30 2007-08-01 エーユー オプトロニクス コーポレイション 画像表示方法、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
JP3728160B2 (ja) * 1999-12-06 2005-12-21 キヤノン株式会社 奥行き画像計測装置及び方法、並びに複合現実感提示システム
US7068851B1 (en) 1999-12-10 2006-06-27 Ricoh Co., Ltd. Multiscale sharpening and smoothing with wavelets
FI107680B (fi) 1999-12-22 2001-09-14 Nokia Oyj Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite
US6502097B1 (en) 1999-12-23 2002-12-31 Microsoft Corporation Data structure for efficient access to variable-size data objects
US6476805B1 (en) 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
JP2001194114A (ja) 2000-01-14 2001-07-19 Sony Corp 画像処理装置および画像処理方法、並びにプログラム提供媒体
WO2001060236A2 (en) 2000-02-18 2001-08-23 William Beaumont Hospital Cone-beam computerized tomography with a flat-panel imager
US6523046B2 (en) 2000-02-25 2003-02-18 Microsoft Corporation Infrastructure and method for supporting generic multimedia metadata
JP2001264033A (ja) 2000-03-17 2001-09-26 Sony Corp 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体
US6571466B1 (en) 2000-03-27 2003-06-03 Amkor Technology, Inc. Flip chip image sensor package fabrication method
JP2001277260A (ja) 2000-03-30 2001-10-09 Seiko Epson Corp マイクロレンズアレイ、その製造方法及びその製造用原盤並びに表示装置
WO2001075949A1 (fr) 2000-04-04 2001-10-11 Advantest Corporation Appareil d'exposition multifaisceau comprenant une lentille electronique multiaxe, et procede de fabrication d'un dispositif a semi-conducteur
US20020015536A1 (en) 2000-04-24 2002-02-07 Warren Penny G. Apparatus and method for color image fusion
JP2001337263A (ja) 2000-05-25 2001-12-07 Olympus Optical Co Ltd 測距装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7245761B2 (en) 2000-07-21 2007-07-17 Rahul Swaminathan Method and apparatus for reducing distortion in images
WO2002009424A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
US7154546B1 (en) 2000-08-07 2006-12-26 Micron Technology, Inc. Pixel optimization for color
EP1185112B1 (en) 2000-08-25 2005-12-14 Fuji Photo Film Co., Ltd. Apparatus for parallax image capturing and parallax image processing
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6734905B2 (en) 2000-10-20 2004-05-11 Micron Technology, Inc. Dynamic range extension for CMOS image sensors
US6774889B1 (en) 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US6476971B1 (en) 2000-10-31 2002-11-05 Eastman Kodak Company Method of manufacturing a microlens array mold and a microlens array
JP3918499B2 (ja) 2000-11-01 2007-05-23 セイコーエプソン株式会社 間隙測定方法、間隙測定装置、形状測定方法、形状測定装置並びに液晶装置の製造方法
US6573912B1 (en) 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
US6788338B1 (en) 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US7490774B2 (en) 2003-11-13 2009-02-17 Metrologic Instruments, Inc. Hand-supportable imaging based bar code symbol reader employing automatic light exposure measurement and illumination control subsystem integrated therein
JP2002171537A (ja) 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
US7260274B2 (en) 2000-12-01 2007-08-21 Imax Corporation Techniques and systems for developing high-resolution imagery
WO2002047031A2 (en) 2000-12-05 2002-06-13 Yeda Research And Development Co. Ltd. Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
JP2002252338A (ja) 2000-12-18 2002-09-06 Canon Inc 撮像装置及び撮像システム
JP2002195910A (ja) 2000-12-26 2002-07-10 Omron Corp 光学部品の検査装置
JP2002209226A (ja) 2000-12-28 2002-07-26 Canon Inc 撮像装置
US7805680B2 (en) 2001-01-03 2010-09-28 Nokia Corporation Statistical metering and filtering of content via pixel-based metadata
JP3957460B2 (ja) 2001-01-15 2007-08-15 沖電気工業株式会社 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム
JP2002250607A (ja) 2001-02-27 2002-09-06 Optex Co Ltd 物体検知センサ
US6635941B2 (en) 2001-03-21 2003-10-21 Canon Kabushiki Kaisha Structure of semiconductor device with improved reliability
JP2002324743A (ja) 2001-04-24 2002-11-08 Canon Inc 露光方法及び装置
US6443579B1 (en) 2001-05-02 2002-09-03 Kenneth Myers Field-of-view controlling arrangements
US7235785B2 (en) 2001-05-11 2007-06-26 Irvine Sensors Corp. Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array
US20020167537A1 (en) 2001-05-11 2002-11-14 Miroslav Trajkovic Motion-based tracking with pan-tilt-zoom camera
WO2002096096A1 (en) 2001-05-16 2002-11-28 Zaxel Systems, Inc. 3d instant replay system and method
US7420602B2 (en) 2001-05-29 2008-09-02 Samsung Semiconductor Israel R&D Center (Sirc) Cmos imager for cellular applications and methods of using such
US7738013B2 (en) 2001-05-29 2010-06-15 Samsung Electronics Co., Ltd. Systems and methods for power conservation in a CMOS imager
US6482669B1 (en) 2001-05-30 2002-11-19 Taiwan Semiconductor Manufacturing Company Colors only process to reduce package yield loss
US6525302B2 (en) 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
DE10137570A1 (de) * 2001-07-30 2003-02-27 Infineon Technologies Ag Verfahren und Vorrichtung zur Herstellung mindestens einer Vertiefung in einem Halbleitermaterial
US7113634B2 (en) 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US20030025227A1 (en) 2001-08-02 2003-02-06 Zograph, Llc Reproduction of relief patterns
US8675119B2 (en) 2001-08-09 2014-03-18 Trustees Of Columbia University In The City Of New York Adaptive imaging using digital light processing
EP1289309B1 (en) 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
JP3978706B2 (ja) 2001-09-20 2007-09-19 セイコーエプソン株式会社 微細構造体の製造方法
JP2003139910A (ja) 2001-10-30 2003-05-14 Sony Corp 光学素子、その製造方法およびその製造装置、並びにそれを用いた液晶表示装置および画像投影型表示装置
DE10153237A1 (de) 2001-10-31 2003-05-15 Lfk Gmbh Verfahren und Vorrichtung zur automatisierten Bestimmung der Modulations-Transfer-Funktion (MTF) von Focal-Plane-Array (FPA)- Kameras
JP3705766B2 (ja) 2001-11-28 2005-10-12 独立行政法人科学技術振興機構 画像入力装置
WO2003052465A2 (en) 2001-12-18 2003-06-26 University Of Rochester Multifocal aspheric lens obtaining extended field depth
US7212228B2 (en) 2002-01-16 2007-05-01 Advanced Telecommunications Research Institute International Automatic camera calibration method
US7302118B2 (en) 2002-02-07 2007-11-27 Microsoft Corporation Transformation of images
US20030179418A1 (en) 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
US20030188659A1 (en) 2002-04-05 2003-10-09 Canadian Bank Note Company Limited Method and apparatus for reproducing a color image based on monochrome images derived therefrom
WO2003087929A1 (en) 2002-04-10 2003-10-23 Pan-X Imaging, Inc. A digital imaging system
US6856314B2 (en) 2002-04-18 2005-02-15 Stmicroelectronics, Inc. Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
JP3567327B2 (ja) 2002-05-08 2004-09-22 富士写真光機株式会社 撮像レンズ
US6783900B2 (en) 2002-05-13 2004-08-31 Micron Technology, Inc. Color filter imaging array and method of formation
JP2004048644A (ja) 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
JP2003347192A (ja) 2002-05-24 2003-12-05 Toshiba Corp エネルギービーム露光方法および露光装置
JP2004088713A (ja) 2002-06-27 2004-03-18 Olympus Corp 撮像レンズユニットおよび撮像装置
US7129981B2 (en) 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP4147059B2 (ja) 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
JP2004037924A (ja) 2002-07-04 2004-02-05 Minolta Co Ltd 撮像装置
EP1537550A2 (en) 2002-07-15 2005-06-08 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
US20040012689A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Charge coupled devices in tiled arrays
JP2004078296A (ja) 2002-08-09 2004-03-11 Victor Co Of Japan Ltd 画像生成装置
US20070166447A1 (en) 2002-08-27 2007-07-19 Select Milk Producers, Inc. Dairy compositions and method of making
US7639838B2 (en) 2002-08-30 2009-12-29 Jerry C Nims Multi-dimensional images system for digital image input and output
US7447380B2 (en) 2002-09-12 2008-11-04 Inoe Technologies, Llc Efficient method for creating a viewpoint from plurality of images
US20040050104A1 (en) 2002-09-18 2004-03-18 Eastman Kodak Company Forming information transfer lens array
US20040207836A1 (en) 2002-09-27 2004-10-21 Rajeshwar Chhibber High dynamic range optical inspection system and method
US7084904B2 (en) 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
US7477781B1 (en) 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
US20040075654A1 (en) 2002-10-16 2004-04-22 Silicon Integrated Systems Corp. 3-D digital image processor and method for visibility processing for use in the same
JP4171786B2 (ja) 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
US7742088B2 (en) 2002-11-19 2010-06-22 Fujifilm Corporation Image sensor and digital camera
WO2004049736A1 (en) 2002-11-21 2004-06-10 Vision Iii Imaging, Inc. Critical alignment of parallax images for autostereoscopic display
US20040105021A1 (en) 2002-12-02 2004-06-03 Bolymedia Holdings Co., Ltd. Color filter patterns for image sensors
US20040114807A1 (en) 2002-12-13 2004-06-17 Dan Lelescu Statistical representation and coding of light field data
US6878918B2 (en) 2003-01-09 2005-04-12 Dialdg Semiconductor Gmbh APS pixel with reset noise suppression and programmable binning capability
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
DE10301941B4 (de) 2003-01-20 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kamera und Verfahren zur optischen Aufnahme eines Schirms
US7379592B2 (en) 2003-01-21 2008-05-27 United States Of America As Represented By The Secretary Of The Navy System and method for significant dust detection and enhancement of dust images over land and ocean
US7005637B2 (en) 2003-01-31 2006-02-28 Intevac, Inc. Backside thinning of image array devices
AU2003272936A1 (en) 2003-01-31 2004-08-23 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program for creating high resolution color image
US7308157B2 (en) 2003-02-03 2007-12-11 Photon Dynamics, Inc. Method and apparatus for optical inspection of a display
US7595817B1 (en) 2003-02-12 2009-09-29 The Research Foundation Of State University Of New York Linear system based, qualitative independent motion detection from compressed MPEG surveillance video
US20040165090A1 (en) 2003-02-13 2004-08-26 Alex Ning Auto-focus (AF) lens and process
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
US7106914B2 (en) 2003-02-27 2006-09-12 Microsoft Corporation Bayesian image super resolution
US7148861B2 (en) 2003-03-01 2006-12-12 The Boeing Company Systems and methods for providing enhanced vision imaging with decreased latency
US8218052B2 (en) 2003-03-07 2012-07-10 Iconix Video, Inc. High frame rate high definition imaging system and method
US7218320B2 (en) 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US6801719B1 (en) 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
US7206449B2 (en) 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7425984B2 (en) 2003-04-04 2008-09-16 Stmicroelectronics, Inc. Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions
US7373005B2 (en) 2003-04-10 2008-05-13 Micron Technology, Inc. Compression system for integrated sensor devices
US7097311B2 (en) 2003-04-19 2006-08-29 University Of Kentucky Research Foundation Super-resolution overlay in multi-projector displays
US6958862B1 (en) 2003-04-21 2005-10-25 Foveon, Inc. Use of a lenslet array with a vertically stacked pixel array
US7428330B2 (en) 2003-05-02 2008-09-23 Microsoft Corporation Cyclopean virtual imaging via generalized probabilistic smoothing
SE525665C2 (sv) 2003-05-08 2005-03-29 Forskarpatent I Syd Ab Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar
US7800683B2 (en) 2003-05-13 2010-09-21 Xceed Imaging Ltd. Optical method and system for enhancing image resolution
JP2004348674A (ja) 2003-05-26 2004-12-09 Noritsu Koki Co Ltd 領域検出方法及びその装置
US20040239782A1 (en) 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
JP2004363478A (ja) 2003-06-06 2004-12-24 Sanyo Electric Co Ltd 半導体装置の製造方法
KR100539234B1 (ko) 2003-06-11 2005-12-27 삼성전자주식회사 투명 고분자 소재를 적용한 씨모스형 이미지 센서 모듈 및그 제조방법
US6818934B1 (en) 2003-06-24 2004-11-16 Omnivision International Holding Ltd Image sensor having micro-lens array separated with trench structures and method of making
US7362918B2 (en) 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
US7388609B2 (en) 2003-07-07 2008-06-17 Zoran Corporation Dynamic identification and correction of defective pixels
US7090135B2 (en) 2003-07-07 2006-08-15 Symbol Technologies, Inc. Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes
US20050007461A1 (en) 2003-07-11 2005-01-13 Novatek Microelectronic Co. Correction system and method of analog front end
JP3731589B2 (ja) 2003-07-18 2006-01-05 ソニー株式会社 撮像装置と同期信号発生装置
US7233737B2 (en) 2003-08-12 2007-06-19 Micron Technology, Inc. Fixed-focus camera module and associated method of assembly
US7643703B2 (en) 2003-09-03 2010-01-05 Battelle Energy Alliance, Llc Image change detection systems, methods, and articles of manufacture
JP2007504562A (ja) 2003-09-04 2007-03-01 サーノフ コーポレーション １つの画像から虹彩認証を行う方法および装置
WO2005027038A2 (en) 2003-09-08 2005-03-24 Honda Motor Co., Ltd. Systems and methods for directly generating a view using a layered approach
JP4015090B2 (ja) * 2003-09-08 2007-11-28 株式会社東芝 立体表示装置および画像表示方法
JP4020850B2 (ja) 2003-10-06 2007-12-12 株式会社東芝 磁気記録媒体の製造方法、製造装置、インプリントスタンパ及びその製造方法
US7079251B2 (en) 2003-10-16 2006-07-18 4D Technology Corporation Calibration and error correction in multi-channel imaging
EP2466871A3 (en) 2003-10-22 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and method for producing the same, portable equipment, and imaging sensor and method for producing the same.
US7840067B2 (en) 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
WO2005046248A1 (ja) 2003-11-11 2005-05-19 Olympus Corporation マルチスペクトル画像撮影装置
JP4235539B2 (ja) 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
US20050128509A1 (en) 2003-12-11 2005-06-16 Timo Tokkonen Image creating method and imaging device
US7453510B2 (en) 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US7328288B2 (en) 2003-12-11 2008-02-05 Canon Kabushiki Kaisha Relay apparatus for relaying communication from CPU to peripheral device
JP3859158B2 (ja) 2003-12-16 2006-12-20 セイコーエプソン株式会社 マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ
US7511749B2 (en) 2003-12-18 2009-03-31 Aptina Imaging Corporation Color image sensor having imaging element array forming images on respective regions of sensor elements
US7123298B2 (en) 2003-12-18 2006-10-17 Avago Technologies Sensor Ip Pte. Ltd. Color image sensor with imaging elements imaging on respective regions of sensor elements
US7027081B2 (en) * 2003-12-21 2006-04-11 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
US7376250B2 (en) 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
US7496293B2 (en) 2004-01-14 2009-02-24 Elbit Systems Ltd. Versatile camera for various visibility conditions
US7773143B2 (en) 2004-04-08 2010-08-10 Tessera North America, Inc. Thin color camera having sub-pixel resolution
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7453688B2 (en) 2004-01-29 2008-11-18 Inventec Corporation Multimedia device for portable computers
US20050185711A1 (en) 2004-02-20 2005-08-25 Hanspeter Pfister 3D television system and method
SE527889C2 (sv) 2004-03-17 2006-07-04 Thomas Jeff Adamo Apparat för avbildning av ett objekt
JP2006047944A (ja) 2004-03-24 2006-02-16 Fuji Photo Film Co Ltd 撮影レンズ
WO2005096218A1 (en) 2004-03-31 2005-10-13 Canon Kabushiki Kaisha Imaging system performance measurement
US7633511B2 (en) 2004-04-01 2009-12-15 Microsoft Corporation Pop-up light field
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
US8634014B2 (en) 2004-04-05 2014-01-21 Hewlett-Packard Development Company, L.P. Imaging device analysis systems and imaging device analysis methods
US7091531B2 (en) 2004-04-07 2006-08-15 Micron Technology, Inc. High dynamic range pixel amplifier
US8049806B2 (en) 2004-09-27 2011-11-01 Digitaloptics Corporation East Thin camera and associated methods
US7620265B1 (en) 2004-04-12 2009-11-17 Equinox Corporation Color invariant image fusion of visible and thermal infrared video
JP2005303694A (ja) 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
US7292735B2 (en) 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
US7773404B2 (en) 2005-01-07 2010-08-10 Invisage Technologies, Inc. Quantum dot optical devices with enhanced gain and sensitivity and methods of making same
US8218625B2 (en) 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20060034531A1 (en) 2004-05-10 2006-02-16 Seiko Epson Corporation Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method
CN1953708B (zh) 2004-05-14 2010-06-16 皇家飞利浦电子股份有限公司 用于诊断乳腺癌的系统和方法
JP4610411B2 (ja) 2004-05-17 2011-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 物体を含むシーンの様式化された画像を生成する方法
US7355793B2 (en) 2004-05-19 2008-04-08 The Regents Of The University Of California Optical system applicable to improving the dynamic range of Shack-Hartmann sensors
US20050265633A1 (en) 2004-05-25 2005-12-01 Sarnoff Corporation Low latency pyramid processor for image processing systems
JP2005354124A (ja) 2004-06-08 2005-12-22 Seiko Epson Corp 複数の低画素密度画像からの高画素密度画像の生成
US20060013318A1 (en) 2004-06-22 2006-01-19 Jennifer Webb Video error detection, recovery, and concealment
US7330593B2 (en) 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
JP4408755B2 (ja) 2004-06-28 2010-02-03 Ｎｅｃエレクトロニクス株式会社 デインタリーブ装置、移動通信端末及びデインタリーブ方法
JP4479373B2 (ja) 2004-06-28 2010-06-09 ソニー株式会社 イメージセンサ
US7447382B2 (en) 2004-06-30 2008-11-04 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation
JP2006033228A (ja) 2004-07-14 2006-02-02 Victor Co Of Japan Ltd 画像撮像装置
JP2006033493A (ja) 2004-07-16 2006-02-02 Matsushita Electric Ind Co Ltd 撮像装置
US7189954B2 (en) 2004-07-19 2007-03-13 Micron Technology, Inc. Microelectronic imagers with optical devices and methods of manufacturing such microelectronic imagers
JP2006033570A (ja) 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
US8027531B2 (en) 2004-07-21 2011-09-27 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for capturing a scene using staggered triggering of dense camera arrays
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
US7068432B2 (en) 2004-07-27 2006-06-27 Micron Technology, Inc. Controlling lens shape in a microlens array
DE102004036469A1 (de) 2004-07-28 2006-02-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung
US7333652B2 (en) 2004-08-03 2008-02-19 Sony Corporation System and method for efficiently performing a depth map recovery procedure
US20060028476A1 (en) 2004-08-03 2006-02-09 Irwin Sobel Method and system for providing extensive coverage of an object using virtual cameras
JP2006050263A (ja) 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
WO2006017771A1 (en) 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
US7430339B2 (en) 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7609302B2 (en) 2004-08-11 2009-10-27 Micron Technology, Inc. Correction of non-uniform sensitivity in an image array
US7061693B2 (en) 2004-08-16 2006-06-13 Xceed Imaging Ltd. Optical method and system for extended depth of focus
US7645635B2 (en) 2004-08-16 2010-01-12 Micron Technology, Inc. Frame structure and semiconductor attach process for use therewith for fabrication of image sensor packages and the like, and resulting packages
EP1797523A4 (en) 2004-08-23 2009-07-22 Sarnoff Corp METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US8124929B2 (en) 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US7795577B2 (en) 2004-08-25 2010-09-14 Richard Ian Olsen Lens frame and optical focus assembly for imager module
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
CN100489599C (zh) 2004-08-26 2009-05-20 财团法人秋田企业活性化中心 液晶透镜
JP4057597B2 (ja) 2004-08-26 2008-03-05 独立行政法人科学技術振興機構 光学素子
US20060046204A1 (en) 2004-08-31 2006-03-02 Sharp Laboratories Of America, Inc. Directly patternable microlens
JP2006080852A (ja) 2004-09-09 2006-03-23 Olympus Corp 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム
US20060055811A1 (en) 2004-09-14 2006-03-16 Frtiz Bernard S Imaging system having modules with adaptive optical elements
US7145124B2 (en) 2004-09-15 2006-12-05 Raytheon Company Multispectral imaging chip using photonic crystals
JP4202991B2 (ja) * 2004-09-29 2008-12-24 株式会社東芝 立体画像用データの記録方法及び表示再生方法
JP3977368B2 (ja) 2004-09-30 2007-09-19 クラリオン株式会社 駐車支援システム
DE102004049676A1 (de) 2004-10-12 2006-04-20 Infineon Technologies Ag Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
JP2006119368A (ja) 2004-10-21 2006-05-11 Konica Minolta Opto Inc 広角光学系、撮像レンズ装置、モニタカメラ及びデジタル機器
JP4534715B2 (ja) 2004-10-22 2010-09-01 株式会社ニコン 撮像装置および画像処理プログラム
DE102004052994C5 (de) 2004-11-03 2010-08-26 Vistec Electron Beam Gmbh Multistrahlmodulator für einen Partikelstrahl und Verwendung des Multistrahlmodulators zur maskenlosen Substratsstrukturierung
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US7598996B2 (en) 2004-11-16 2009-10-06 Aptina Imaging Corporation System and method for focusing a digital camera
JP2006165795A (ja) 2004-12-03 2006-06-22 Canon Inc 画像形成装置およびその方法
WO2006060746A2 (en) 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer
US7483065B2 (en) 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US8854486B2 (en) 2004-12-17 2014-10-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US20060139475A1 (en) 2004-12-23 2006-06-29 Esch John W Multiple field of view camera arrays
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7073908B1 (en) 2005-01-11 2006-07-11 Anthony Italo Provitola Enhancement of depth perception
US7671321B2 (en) 2005-01-18 2010-03-02 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
US7767949B2 (en) 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
US7602997B2 (en) 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7408627B2 (en) 2005-02-08 2008-08-05 Canesta, Inc. Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture
US7965314B1 (en) 2005-02-09 2011-06-21 Flir Systems, Inc. Foveal camera systems and methods
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
ATE518113T1 (de) 2005-03-11 2011-08-15 Creaform Inc Selbstreferenziertes system und vorrichtung zum dreidimensionalen scannen
JP2006258930A (ja) 2005-03-15 2006-09-28 Nikon Corp マイクロレンズの製造方法、及びマイクロレンズ用の型の製造方法
WO2006102181A1 (en) 2005-03-21 2006-09-28 Massachusetts Institute Of Technology (Mit) Real-time, continuous-wave terahertz imaging using a microbolometer focal-plane array
WO2006100903A1 (ja) 2005-03-23 2006-09-28 Matsushita Electric Industrial Co., Ltd. 車載撮像装置
JP4545190B2 (ja) 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
US7297917B2 (en) 2005-03-24 2007-11-20 Micron Technology, Inc. Readout technique for increasing or maintaining dynamic range in image sensors
US7683950B2 (en) 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
US7956871B2 (en) 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits
US7656428B2 (en) 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
US7876874B2 (en) 2005-05-18 2011-01-25 Hitachi Medical Corporation Radiographing apparatus and image processing program
US8411182B2 (en) 2005-06-02 2013-04-02 Xerox Corporation System for controlling integration times of photosensors in an imaging device
US7968888B2 (en) 2005-06-08 2011-06-28 Panasonic Corporation Solid-state image sensor and manufacturing method thereof
JP2006345233A (ja) 2005-06-09 2006-12-21 Fujifilm Holdings Corp 撮像装置及びデジタルカメラ
KR100813961B1 (ko) 2005-06-14 2008-03-14 삼성전자주식회사 영상 수신장치
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP4577126B2 (ja) 2005-07-08 2010-11-10 オムロン株式会社 ステレオ対応づけのための投光パターンの生成装置及び生成方法
US20090268983A1 (en) 2005-07-25 2009-10-29 The Regents Of The University Of California Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images
CA2553473A1 (en) 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US7718940B2 (en) 2005-07-26 2010-05-18 Panasonic Corporation Compound-eye imaging apparatus
US7969488B2 (en) 2005-08-03 2011-06-28 Micron Technologies, Inc. Correction of cluster defects in imagers
US7929801B2 (en) 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory
US20070041391A1 (en) 2005-08-18 2007-02-22 Micron Technology, Inc. Method and apparatus for controlling imager output data rate
US20070040922A1 (en) 2005-08-22 2007-02-22 Micron Technology, Inc. HDR/AB on multi-way shared pixels
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
US20070258006A1 (en) 2005-08-25 2007-11-08 Olsen Richard I Solid state camera optics frame and assembly
US20070083114A1 (en) 2005-08-26 2007-04-12 The University Of Connecticut Systems and methods for image resolution enhancement
JP4804856B2 (ja) 2005-09-29 2011-11-02 富士フイルム株式会社 単焦点レンズ
US8009209B2 (en) 2005-09-30 2011-08-30 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
US7723662B2 (en) 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US8300085B2 (en) 2005-10-14 2012-10-30 Microsoft Corporation Occlusion handling in stereo imaging
JP4773179B2 (ja) 2005-10-14 2011-09-14 富士フイルム株式会社 撮像装置
US7806604B2 (en) 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
WO2007052191A2 (en) * 2005-11-02 2007-05-10 Koninklijke Philips Electronics N.V. Filling in depth results
KR100730406B1 (ko) 2005-11-16 2007-06-19 광운대학교 산학협력단 중간 요소 영상을 이용한 입체 영상 표시 장치
JP4389865B2 (ja) 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP4943695B2 (ja) 2005-11-21 2012-05-30 富士フイルム株式会社 多焦点カメラの撮影光学系
US7599547B2 (en) 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
CN101356831B (zh) 2005-11-30 2010-09-01 意大利电信股份公司 用于确定立体视觉中的分散视差场的方法
JP4516516B2 (ja) 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
TWI296480B (en) 2005-12-19 2008-05-01 Quanta Comp Inc Image camera of an electronic device
JP4501855B2 (ja) 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2007180730A (ja) 2005-12-27 2007-07-12 Eastman Kodak Co デジタルカメラおよびデータ管理方法
JP2009522591A (ja) 2005-12-30 2009-06-11 ノキア コーポレイション 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置
US7855786B2 (en) 2006-01-09 2010-12-21 Bae Systems Spectral Solutions Llc Single camera multi-spectral imager
US7675080B2 (en) 2006-01-10 2010-03-09 Aptina Imaging Corp. Uniform color filter arrays in a moat
WO2007083579A1 (ja) 2006-01-20 2007-07-26 Matsushita Electric Industrial Co., Ltd. 複眼方式のカメラモジュール及びその製造方法
DE102006004802B4 (de) 2006-01-23 2008-09-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems
JP4834412B2 (ja) 2006-02-03 2011-12-14 富士フイルム株式会社 固体撮像装置およびこれを用いた電子内視鏡
US20070201859A1 (en) 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
US7391572B2 (en) 2006-03-01 2008-06-24 International Business Machines Corporation Hybrid optical/electronic structures fabricated by a common molding process
US7924483B2 (en) 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
DE102006011707B4 (de) 2006-03-14 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme
US7616254B2 (en) 2006-03-16 2009-11-10 Sony Corporation Simple method for calculating camera defocus from an image scene
US8360574B2 (en) 2006-03-20 2013-01-29 High Performance Optics, Inc. High performance selective light wavelength filtering providing improved contrast sensitivity
JP4615468B2 (ja) 2006-03-23 2011-01-19 富士フイルム株式会社 撮影装置
US7606484B1 (en) 2006-03-23 2009-10-20 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
CN101046882A (zh) 2006-03-27 2007-10-03 谷京陆 可直接输出的混合分辨率图像制作技术
US7342212B2 (en) 2006-03-31 2008-03-11 Micron Technology, Inc. Analog vertical sub-sampling in an active pixel sensor (APS) image sensor
US8044994B2 (en) 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
TW200740212A (en) 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
US20070242141A1 (en) 2006-04-14 2007-10-18 Sony Corporation And Sony Electronics Inc. Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor
CN101064780B (zh) 2006-04-30 2012-07-04 台湾新力国际股份有限公司 利用透镜失真校正的影像接合准确度改善方法及装置
US20070263114A1 (en) 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
US7580620B2 (en) 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
US9736346B2 (en) 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
US7889264B2 (en) 2006-05-12 2011-02-15 Ricoh Co., Ltd. End-to-end design of superresolution electro-optic imaging systems
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20070177004A1 (en) 2006-06-08 2007-08-02 Timo Kolehmainen Image creating method and imaging device
JP4631811B2 (ja) 2006-06-12 2011-02-16 株式会社日立製作所 撮像装置
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
FR2902530A1 (fr) 2006-06-19 2007-12-21 St Microelectronics Rousset Procede de fabrication de lentilles, notamment pour imageur comprenant un diaphragme
TWI362550B (en) 2007-06-21 2012-04-21 Ether Precision Inc The method for manufacturing the image captures unit
US7925117B2 (en) 2006-06-27 2011-04-12 Honeywell International Inc. Fusion of sensor data and synthetic data to form an integrated image
KR100793369B1 (ko) 2006-07-06 2008-01-11 삼성전자주식회사 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법
US20080024683A1 (en) 2006-07-31 2008-01-31 Niranjan Damera-Venkata Overlapped multi-projector system with dithering
JP2008039852A (ja) 2006-08-01 2008-02-21 Agc Techno Glass Co Ltd ガラス光学素子及びその製造方法
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8406562B2 (en) 2006-08-11 2013-03-26 Geo Semiconductor Inc. System and method for automated calibration and correction of display geometry and color
EP1892688B1 (fr) 2006-08-24 2010-09-01 Valeo Vision Procédé de détermination de passage d'un véhicule dans un goulet
US8306063B2 (en) 2006-08-29 2012-11-06 EXFO Services Assurance, Inc. Real-time transport protocol stream detection system and method
US8687087B2 (en) 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
KR100746360B1 (ko) 2006-08-31 2007-08-06 삼성전기주식회사 스템퍼 제조방법
NO326372B1 (no) 2006-09-21 2008-11-17 Polight As Polymerlinse
WO2008039802A2 (en) 2006-09-25 2008-04-03 Ophthonix, Incorporated Method for correction of chromatic aberration and achromatic lens
JP4403162B2 (ja) 2006-09-29 2010-01-20 株式会社東芝 立体画像表示装置および立体画像の作製方法
US20080080028A1 (en) 2006-10-02 2008-04-03 Micron Technology, Inc. Imaging method, apparatus and system having extended depth of field
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
KR101360455B1 (ko) 2006-10-11 2014-02-07 포라이트 에이에스 소형의 조정 가능한 렌즈의 설계
US8883019B2 (en) 2006-10-11 2014-11-11 Polight As Method for manufacturing adjustable lens
US8073196B2 (en) 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US7702229B2 (en) 2006-10-18 2010-04-20 Eastman Kodak Company Lens array assisted focus detection
JP4349456B2 (ja) 2006-10-23 2009-10-21 ソニー株式会社 固体撮像素子
JP4942221B2 (ja) 2006-10-25 2012-05-30 国立大学法人東京工業大学 高解像度仮想焦点面画像生成方法
US7888159B2 (en) 2006-10-26 2011-02-15 Omnivision Technologies, Inc. Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating
JP4452951B2 (ja) 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
KR20080043106A (ko) 2006-11-13 2008-05-16 삼성전자주식회사 광학렌즈 및 그 제조방법
US8059162B2 (en) 2006-11-15 2011-11-15 Sony Corporation Imaging apparatus and method, and method for designing imaging apparatus
US20080118241A1 (en) 2006-11-16 2008-05-22 Tekolste Robert Control of stray light in camera systems employing an optics stack and associated methods
CN201043890Y (zh) * 2006-11-17 2008-04-02 中国科学院上海光学精密机械研究所 单孔径多重成像的光学成像测距装置
SG176440A1 (en) 2006-11-21 2011-12-29 Mantisvision Ltd 3d geometric modeling and 3d video content creation
KR20080047002A (ko) 2006-11-24 2008-05-28 엘지이노텍 주식회사 카메라모듈의 렌즈 어셈블리 및 그 제작 방법
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
JP4406937B2 (ja) 2006-12-01 2010-02-03 富士フイルム株式会社 撮影装置
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8570426B2 (en) 2008-11-25 2013-10-29 Lytro, Inc. System of and method for video refocusing
JP5040493B2 (ja) 2006-12-04 2012-10-03 ソニー株式会社 撮像装置及び撮像方法
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US8262900B2 (en) * 2006-12-14 2012-09-11 Life Technologies Corporation Methods and apparatus for measuring analytes using large scale FET arrays
US7646549B2 (en) 2006-12-18 2010-01-12 Xceed Imaging Ltd Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging
US8213500B2 (en) 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
TWI324015B (en) 2006-12-22 2010-04-21 Ind Tech Res Inst Autofocus searching method
US8103111B2 (en) 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US20080158259A1 (en) 2006-12-28 2008-07-03 Texas Instruments Incorporated Image warping and lateral color correction
US20080158698A1 (en) 2006-12-29 2008-07-03 Chao-Chi Chang Lens barrel array and lens array and the method of making the same
US7973823B2 (en) 2006-12-29 2011-07-05 Nokia Corporation Method and system for image pre-processing
US20080165257A1 (en) 2007-01-05 2008-07-10 Micron Technology, Inc. Configurable pixel array system and method
JP4993578B2 (ja) 2007-01-15 2012-08-08 オリンパスイメージング株式会社 画像ファイル再生装置，画像ファイル加工編集装置
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
JP5024992B2 (ja) 2007-02-02 2012-09-12 株式会社ジャパンディスプレイセントラル 表示装置
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
US7667824B1 (en) 2007-02-06 2010-02-23 Alpha Technology, LLC Range gated shearography systems and related methods
JP4969474B2 (ja) 2007-02-09 2012-07-04 オリンパスイメージング株式会社 復号方法、復号装置、及び復号プログラム
JP4386083B2 (ja) 2007-02-27 2009-12-16 トヨタ自動車株式会社 駐車支援装置
JP4153013B1 (ja) 2007-03-06 2008-09-17 シャープ株式会社 撮像レンズ、撮像ユニットおよびそれを備えた携帯型情報端末
US7755679B2 (en) 2007-03-07 2010-07-13 Altasens, Inc. Apparatus and method for reducing edge effect in an image sensor
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US8593506B2 (en) 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
JP4915859B2 (ja) 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
JP2008242658A (ja) 2007-03-26 2008-10-09 Funai Electric Co Ltd 立体物体の撮像装置
US7738017B2 (en) 2007-03-27 2010-06-15 Aptina Imaging Corporation Method and apparatus for automatic linear shift parallax correction for multi-array image systems
US8165418B2 (en) 2007-03-30 2012-04-24 Brother Kogyo Kabushiki Kaisha Image processor
US8055466B2 (en) 2007-03-30 2011-11-08 Mitutoyo Corporation Global calibration for stereo vision probe
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8213711B2 (en) 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8098941B2 (en) 2007-04-03 2012-01-17 Aptina Imaging Corporation Method and apparatus for parallelization of image compression encoders
JP2008258885A (ja) 2007-04-04 2008-10-23 Texas Instr Japan Ltd 撮像装置および撮像装置の駆動方法
CN101281282A (zh) 2007-04-04 2008-10-08 鸿富锦精密工业（深圳）有限公司 镜头模组
US7923801B2 (en) 2007-04-18 2011-04-12 Invisage Technologies, Inc. Materials, systems and methods for optoelectronic devices
US8467628B2 (en) 2007-04-24 2013-06-18 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
KR100869219B1 (ko) 2007-05-03 2008-11-18 동부일렉트로닉스 주식회사 이미지 센서 및 그 제조방법
US8462220B2 (en) 2007-05-09 2013-06-11 Aptina Imaging Corporation Method and apparatus for improving low-light performance for small pixel image sensors
US7812869B2 (en) 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
JP4341695B2 (ja) 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP4337911B2 (ja) 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
US20080298674A1 (en) 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
WO2008150817A1 (en) 2007-05-31 2008-12-11 Artificial Muscle, Inc. Optical systems employing compliant electroactive materials
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
WO2009001255A1 (en) 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
CA2693666A1 (en) 2007-07-12 2009-01-15 Izzat H. Izzat System and method for three-dimensional object reconstruction from two-dimensional images
US8125619B2 (en) 2007-07-25 2012-02-28 Eminent Electronic Technology Corp. Integrated ambient light sensor and distance sensor
JP5006727B2 (ja) 2007-07-26 2012-08-22 株式会社リコー 画像処理装置およびデジタルカメラ
US8019215B2 (en) 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
EP2034338A1 (en) 2007-08-11 2009-03-11 ETH Zurich Liquid Lens System
EP2026563A1 (en) 2007-08-14 2009-02-18 Deutsche Thomson OHG System and method for detecting defective pixels
US7782364B2 (en) 2007-08-21 2010-08-24 Aptina Imaging Corporation Multi-array sensor with integrated sub-array for parallax detection and photometer functionality
US20090066693A1 (en) 2007-09-06 2009-03-12 Roc Carson Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames
US7973834B2 (en) 2007-09-24 2011-07-05 Jianwen Yang Electro-optical foveated imaging and tracking system
US20090079862A1 (en) 2007-09-25 2009-03-26 Micron Technology, Inc. Method and apparatus providing imaging auto-focus utilizing absolute blur value
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
JP5172267B2 (ja) 2007-10-09 2013-03-27 富士フイルム株式会社 撮像装置
US8049289B2 (en) 2007-10-11 2011-11-01 Dongbu Hitek Co., Ltd. Image sensor and method for manufacturing the same
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US7787112B2 (en) 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
US7920193B2 (en) 2007-10-23 2011-04-05 Aptina Imaging Corporation Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
US7777804B2 (en) 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
US20100223237A1 (en) 2007-11-05 2010-09-02 University Of Florida Research Foundation, Inc. Lossless data compression and real-time decompression
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8351685B2 (en) 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US8126279B2 (en) 2007-11-19 2012-02-28 The University Of Arizona Lifting-based view compensated compression and remote visualization of volume rendered images
JP5010445B2 (ja) 2007-11-29 2012-08-29 パナソニック株式会社 マイクロレンズアレイ用金型の製造方法
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
WO2009073950A1 (en) 2007-12-13 2009-06-18 Keigo Izuka Camera system and method for amalgamating images to create an omni-focused image
TWI353778B (en) 2007-12-21 2011-12-01 Ind Tech Res Inst Moving object detection apparatus and method
US7880807B2 (en) 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
US8233077B2 (en) 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
US20110031381A1 (en) 2007-12-28 2011-02-10 Hiok-Nam Tay Light guide array for an image sensor
DE112009000099T5 (de) 2008-01-04 2010-11-11 3M Innovative Properties Co., St. Paul Bildsignaturen zur Verwendung in einer bewegungsbasierten dreidimensionalen Rekonstruktion
JP4413261B2 (ja) 2008-01-10 2010-02-10 シャープ株式会社 撮像装置及び光軸制御方法
JP5198295B2 (ja) 2008-01-15 2013-05-15 富士フイルム株式会社 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4956452B2 (ja) 2008-01-25 2012-06-20 富士重工業株式会社 車両用環境認識装置
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
GB0802290D0 (en) 2008-02-08 2008-03-12 Univ Kent Canterbury Camera adapter based optical imaging apparatus
US8319301B2 (en) 2008-02-11 2012-11-27 Omnivision Technologies, Inc. Self-aligned filter for an image sensor
JP2009206922A (ja) 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
CN101520532A (zh) 2008-02-29 2009-09-02 鸿富锦精密工业（深圳）有限公司 复合镜片
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
TWI489394B (zh) 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
US20110018973A1 (en) 2008-03-26 2011-01-27 Konica Minolta Holdings, Inc. Three-dimensional imaging device and method for calibrating three-dimensional imaging device
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8259208B2 (en) 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
US7843554B2 (en) 2008-04-25 2010-11-30 Rockwell Collins, Inc. High dynamic range sensor system and method
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8724921B2 (en) 2008-05-05 2014-05-13 Aptina Imaging Corporation Method of capturing high dynamic range images with objects in the scene
JP2009273035A (ja) 2008-05-09 2009-11-19 Toshiba Corp 画像圧縮装置、画像伸張装置及び画像処理装置
EP2283644A4 (en) 2008-05-09 2011-10-26 Ecole Polytech PICTURE SENSOR WITH NONLINEAR REACTION
CN101755190B (zh) 2008-05-19 2012-02-22 松下电器产业株式会社 校准方法、校准装置及具备该校准装置的校准系统
US8208543B2 (en) 2008-05-19 2012-06-26 Microsoft Corporation Quantization and differential coding of alpha image data
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2277784B1 (en) * 2008-05-21 2012-08-15 Kao Corporation Bag container
US8442355B2 (en) 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
US8125559B2 (en) 2008-05-25 2012-02-28 Avistar Communications Corporation Image formation for large photosensor array surfaces
US8131097B2 (en) 2008-05-28 2012-03-06 Aptina Imaging Corporation Method and apparatus for extended depth-of-field image restoration
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
JP2009300268A (ja) 2008-06-13 2009-12-24 Nippon Hoso Kyokai <Nhk> ３次元情報検出装置
KR101539935B1 (ko) 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
US7710667B2 (en) 2008-06-25 2010-05-04 Aptina Imaging Corp. Imaging module with symmetrical lens system and method of manufacture
JPWO2009157273A1 (ja) 2008-06-25 2011-12-08 コニカミノルタオプト株式会社 撮像光学系及び撮像用レンズの製造方法
KR101000531B1 (ko) 2008-06-26 2010-12-14 에스디씨마이크로 주식회사 데이터 전송 범위가 증대되는 무선랜을 이용한 씨씨티브이관리시스템
US7916396B2 (en) 2008-06-27 2011-03-29 Micron Technology, Inc. Lens master devices, lens structures, imaging devices, and methods and apparatuses of making the same
US8326069B2 (en) 2008-06-30 2012-12-04 Intel Corporation Computing higher resolution images from multiple lower resolution images
US7773317B2 (en) 2008-07-01 2010-08-10 Aptina Imaging Corp. Lens system with symmetrical optics
US7920339B2 (en) 2008-07-02 2011-04-05 Aptina Imaging Corporation Method and apparatus providing singlet wafer lens system with field flattener
CN100576934C (zh) 2008-07-03 2009-12-30 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
KR101445185B1 (ko) 2008-07-10 2014-09-30 삼성전자주식회사 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법
WO2010015086A1 (en) 2008-08-06 2010-02-11 Creaform Inc. System for adaptive three-dimensional scanning of surface characteristics
CN101656259A (zh) 2008-08-20 2010-02-24 鸿富锦精密工业（深圳）有限公司 影像感测器封装结构、封装方法及相机模组
EP2329653B1 (en) 2008-08-20 2014-10-29 Thomson Licensing Refined depth map
US7924312B2 (en) 2008-08-22 2011-04-12 Fluke Corporation Infrared and visible-light image registration
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8102428B2 (en) 2008-08-28 2012-01-24 Adobe Systems Incorporated Content-aware video stabilization
CN102138102A (zh) 2008-09-01 2011-07-27 兰斯维克托公司 液晶光电装置的晶片级制造
JP5105482B2 (ja) 2008-09-01 2012-12-26 船井電機株式会社 光学的条件設計方法及び複眼撮像装置
US8098297B2 (en) 2008-09-03 2012-01-17 Sony Corporation Pre- and post-shutter signal image capture and sort for digital camera
KR20100028344A (ko) 2008-09-04 2010-03-12 삼성전자주식회사 휴대단말의 영상 편집 방법 및 장치
JP5238429B2 (ja) 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
JP5243612B2 (ja) 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
US9619917B2 (en) 2008-10-03 2017-04-11 Apple Inc. Depth of field for a camera in a media-editing application
US9064476B2 (en) 2008-10-04 2015-06-23 Microsoft Technology Licensing, Llc Image super-resolution using gradient profile prior
US8310525B2 (en) 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
JP5547739B2 (ja) 2008-10-15 2014-07-16 イノベイティブ テクノロジー ディストリビューターズ エルエルシー オプティカルフローの決定のためのデジタル処理方法およびシステム
US8416282B2 (en) 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP2010096723A (ja) 2008-10-20 2010-04-30 Funai Electric Co Ltd 物体の距離導出装置
US8436909B2 (en) 2008-10-21 2013-05-07 Stmicroelectronics S.R.L. Compound camera sensor and related method of processing digital images
US8913657B2 (en) 2008-10-27 2014-12-16 Lg Electronics Inc. Virtual view image synthesis method and apparatus
US8063975B2 (en) 2008-10-29 2011-11-22 Jabil Circuit, Inc. Positioning wafer lenses on electronic imagers
KR101502597B1 (ko) 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
WO2010057081A1 (en) 2008-11-14 2010-05-20 The Scripps Research Institute Image analysis platform for identifying artifacts in samples and laboratory consumables
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
JP4852591B2 (ja) 2008-11-27 2012-01-11 富士フイルム株式会社 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8013904B2 (en) 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
JP5311016B2 (ja) 2008-12-10 2013-10-09 コニカミノルタ株式会社 ステレオカメラユニット及びステレオマッチング方法
KR101200490B1 (ko) 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법
US8149323B2 (en) 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
JP4631966B2 (ja) 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN101770060B (zh) 2008-12-27 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组及其组装方法
US8405742B2 (en) 2008-12-30 2013-03-26 Massachusetts Institute Of Technology Processing images having different focus
US8259212B2 (en) 2009-01-05 2012-09-04 Applied Quantum Technologies, Inc. Multiscale optical system
US20100177411A1 (en) 2009-01-09 2010-07-15 Shashikant Hegde Wafer level lens replication on micro-electrical-mechanical systems
WO2010079685A1 (ja) 2009-01-09 2010-07-15 コニカミノルタホールディングス株式会社 動きベクトル生成装置および動きベクトル生成方法
WO2010081010A2 (en) 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8300108B2 (en) 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
US20100194860A1 (en) 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8290301B2 (en) 2009-02-06 2012-10-16 Raytheon Company Optimized imaging system for collection of high resolution imagery
US8761491B2 (en) 2009-02-06 2014-06-24 Himax Technologies Limited Stereo-matching processor using belief propagation
KR101776955B1 (ko) 2009-02-10 2017-09-08 소니 주식회사 고체 촬상 장치와 그 제조 방법, 및 전자 기기
JP4915423B2 (ja) 2009-02-19 2012-04-11 ソニー株式会社 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体
WO2010095440A1 (ja) 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US8520970B2 (en) 2010-04-23 2013-08-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20100099896A (ko) 2009-03-04 2010-09-15 삼성전자주식회사 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치
US8207759B2 (en) 2009-03-12 2012-06-26 Fairchild Semiconductor Corporation MIPI analog switch for automatic selection of multiple inputs based on clock voltages
CN105681633B (zh) 2009-03-19 2019-01-18 数字光学公司 双传感器照相机及其方法
US8106949B2 (en) 2009-03-26 2012-01-31 Seiko Epson Corporation Small memory footprint light transport matrix capture
US8450821B2 (en) 2009-03-26 2013-05-28 Micron Technology, Inc. Method and apparatus providing combined spacer and optical lens element
US7901095B2 (en) 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
JP4529010B1 (ja) 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
JP5222205B2 (ja) 2009-04-03 2013-06-26 Ｋｄｄｉ株式会社 画像処理装置、方法及びプログラム
WO2010116369A1 (en) 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
US20100259610A1 (en) 2009-04-08 2010-10-14 Celsia, Llc Two-Dimensional Display Synced with Real World Object Movement
US8294099B2 (en) 2009-04-10 2012-10-23 Bae Systems Information And Electronic Systems Integration Inc. On-wafer butted microbolometer imaging array
JP5463718B2 (ja) 2009-04-16 2014-04-09 ソニー株式会社 撮像装置
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
ATE551841T1 (de) 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
CN101527046B (zh) 2009-04-28 2012-09-05 青岛海信数字多媒体技术国家重点实验室有限公司 一种运动检测方法、装置和系统
KR101671021B1 (ko) 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
US8358365B2 (en) 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8271544B2 (en) 2009-05-01 2012-09-18 Creative Technology Ltd Data file having more than one mode of operation
DE102009003110A1 (de) 2009-05-14 2010-11-18 Robert Bosch Gmbh Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
KR20100130423A (ko) 2009-06-03 2010-12-13 삼성전자주식회사 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 모듈
US8745677B2 (en) 2009-06-12 2014-06-03 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
CN101931742B (zh) 2009-06-18 2013-04-24 鸿富锦精密工业（深圳）有限公司 影像感测模组及取像模组
US20100321640A1 (en) 2009-06-22 2010-12-23 Industrial Technology Research Institute Projection display chip
JP5254893B2 (ja) 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
WO2011008443A2 (en) 2009-06-29 2011-01-20 Lensvector Inc. Wafer level camera module with active optical element
US8351726B2 (en) 2009-06-29 2013-01-08 DigitalOptics Corporation Europe Limited Adaptive PSF estimation technique using a sharp preview and a blurred image
US20100328456A1 (en) * 2009-06-30 2010-12-30 Nokia Corporation Lenslet camera parallax correction using distance information
JP2011030184A (ja) 2009-07-01 2011-02-10 Sony Corp 画像処理装置、及び、画像処理方法
US8212197B2 (en) 2009-07-02 2012-07-03 Xerox Corporation Image sensor with integration time compensation
JP2011017764A (ja) 2009-07-07 2011-01-27 Konica Minolta Opto Inc 撮像レンズ，撮像装置及び携帯端末
US8203465B2 (en) * 2009-07-13 2012-06-19 The Boeing Company Filtering aircraft traffic for display to a pilot
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US20110019243A1 (en) 2009-07-21 2011-01-27 Constant Jr Henry J Stereoscopic form reader
CN101964866B (zh) 2009-07-24 2013-03-20 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
GB0912970D0 (en) 2009-07-27 2009-09-02 St Microelectronics Res & Dev Improvements in or relating to a sensor and sensor system for a camera
US8436893B2 (en) 2009-07-31 2013-05-07 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
US20110032341A1 (en) 2009-08-04 2011-02-10 Ignatov Artem Konstantinovich Method and system to transform stereo content
US8577183B2 (en) 2009-08-05 2013-11-05 Raytheon Company Resolution on demand
CN102483511B (zh) 2009-08-11 2014-11-12 乙太精密有限公司 用于将透镜与光学系统对准的方法和设备
US8320666B2 (en) 2009-08-14 2012-11-27 Genesis Group Inc. Real-time image and video matting
JP2011044801A (ja) 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
US8154632B2 (en) 2009-08-24 2012-04-10 Lifesize Communications, Inc. Detection of defective pixels in an image sensor
KR101680300B1 (ko) 2009-08-31 2016-11-28 삼성전자주식회사 액체 렌즈 및 그 제조방법
US9274699B2 (en) 2009-09-03 2016-03-01 Obscura Digital User interface for a large scale multi-user, multi-touch system
US8411146B2 (en) 2009-09-04 2013-04-02 Lockheed Martin Corporation Single camera color and infrared polarimetric imaging
CN102577353A (zh) 2009-09-07 2012-07-11 诺基亚公司 装置
FR2950153B1 (fr) 2009-09-15 2011-12-23 Commissariat Energie Atomique Dispositif optique a membrane deformable a actionnement piezoelectrique
US20140076336A1 (en) 2009-09-17 2014-03-20 Ascentia Health, Inc. Ear insert for relief of tmj discomfort and headaches
US9497386B1 (en) 2009-09-22 2016-11-15 Altia Systems Inc. Multi-imager video camera with automatic exposure control
KR101727094B1 (ko) 2009-10-02 2017-04-17 코닌클리케 필립스 엔.브이. ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8199165B2 (en) 2009-10-14 2012-06-12 Hewlett-Packard Development Company, L.P. Methods and systems for object segmentation in digital images
US10198792B2 (en) 2009-10-14 2019-02-05 Dolby Laboratories Licensing Corporation Method and devices for depth map processing
US8502909B2 (en) 2009-10-19 2013-08-06 Pixar Super light-field lens
US20110207074A1 (en) 2009-10-26 2011-08-25 Olaf Andrew Hall-Holt Dental imaging system and method
KR20120084775A (ko) 2009-10-30 2012-07-30 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 입체 디스플레이 시스템
WO2011053711A1 (en) 2009-10-30 2011-05-05 Invisage Technologies, Inc. Systems and methods for color binning
WO2011055655A1 (ja) 2009-11-05 2011-05-12 コニカミノルタオプト株式会社 撮像装置、光学ユニット、ウエハレンズ積層体及びウエハレンズ積層体の製造方法
JP5214811B2 (ja) 2009-11-13 2013-06-19 富士フイルム株式会社 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置
TR200908688A2 (tr) * 2009-11-17 2011-06-21 Vestel Elektron�K San. Ve T�C. A.�. Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı.
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5399215B2 (ja) 2009-11-18 2014-01-29 シャープ株式会社 多眼カメラ装置および電子情報機器
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8497934B2 (en) 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8730338B2 (en) 2009-12-01 2014-05-20 Nokia Corporation Set of camera modules hinged on a body and functionally connected to a single actuator
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5446797B2 (ja) 2009-12-04 2014-03-19 株式会社リコー 撮像装置
US8446492B2 (en) 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
JP5387377B2 (ja) 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2011081646A1 (en) 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
KR101281961B1 (ko) 2009-12-21 2013-07-03 한국전자통신연구원 깊이 영상 편집 방법 및 장치
US20110153248A1 (en) 2009-12-23 2011-06-23 Yeming Gu Ophthalmic quality metric system
US8885067B2 (en) 2009-12-24 2014-11-11 Sharp Kabushiki Kaisha Multocular image pickup apparatus and multocular image pickup method
JP4983905B2 (ja) 2009-12-25 2012-07-25 カシオ計算機株式会社 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
KR101643607B1 (ko) 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
CN102117576A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 电子相框
CN102118551A (zh) 2009-12-31 2011-07-06 鸿富锦精密工业（深圳）有限公司 成像装置
KR101214536B1 (ko) * 2010-01-12 2013-01-10 삼성전자주식회사 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
CN102131044B (zh) 2010-01-20 2014-03-26 鸿富锦精密工业（深圳）有限公司 相机模组
US8649008B2 (en) 2010-02-04 2014-02-11 University Of Southern California Combined spectral and polarimetry imaging and diagnostics
US8593512B2 (en) 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
US8326142B2 (en) 2010-02-12 2012-12-04 Sri International Optical image systems
JP5387856B2 (ja) 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8648918B2 (en) 2010-02-18 2014-02-11 Sony Corporation Method and system for obtaining a point spread function using motion information
CN103210641B (zh) 2010-02-19 2017-03-15 双光圈国际株式会社 处理多孔径像数据
KR101802238B1 (ko) 2010-02-23 2017-11-29 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
US9456196B2 (en) 2010-02-23 2016-09-27 Samsung Electronics Co., Ltd. Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
JP5776173B2 (ja) 2010-03-01 2015-09-09 株式会社リコー 撮像装置及び距離測定装置
US8860833B2 (en) 2010-03-03 2014-10-14 Adobe Systems Incorporated Blended rendering of focused plenoptic camera data
WO2011112633A1 (en) 2010-03-09 2011-09-15 Flir Systems, Inc. Imager with multiple sensor arrays
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US20110221950A1 (en) 2010-03-12 2011-09-15 Doeke Jolt Oostra Camera device, wafer scale package
US8231814B2 (en) 2010-03-17 2012-07-31 Pelican Imaging Corporation Fabrication process for mastering imaging lens arrays
WO2011116345A1 (en) 2010-03-19 2011-09-22 Invisage Technologies, Inc. Dark current reduction in image sensors via dynamic electrical biasing
US8890934B2 (en) 2010-03-19 2014-11-18 Panasonic Corporation Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US8310538B2 (en) 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program
US8558903B2 (en) 2010-03-25 2013-10-15 Apple Inc. Accelerometer / gyro-facilitated video stabilization
US8285033B2 (en) 2010-04-01 2012-10-09 Seiko Epson Corporation Bi-affinity filter: a bilateral type filter for color images
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US9001227B2 (en) 2010-04-05 2015-04-07 Qualcomm Incorporated Combining data from multiple image sensors
US8600186B2 (en) 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
US20110267264A1 (en) 2010-04-29 2011-11-03 Mccarthy John Display system with multiple optical sensors
US9053573B2 (en) 2010-04-29 2015-06-09 Personify, Inc. Systems and methods for generating a virtual camera viewpoint for an image
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
US9256974B1 (en) 2010-05-04 2016-02-09 Stephen P Hines 3-D motion-parallax portable display software application
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
KR20110124473A (ko) 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US20130147979A1 (en) 2010-05-12 2013-06-13 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
JP5545016B2 (ja) 2010-05-12 2014-07-09 ソニー株式会社 撮像装置
WO2011142774A1 (en) 2010-05-14 2011-11-17 Omnivision Technologies, Inc. Alternative color image array and associated methods
US8576293B2 (en) 2010-05-18 2013-11-05 Aptina Imaging Corporation Multi-channel imager
SG176327A1 (en) 2010-05-20 2011-12-29 Sony Corp A system and method of image processing
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US20120062697A1 (en) 2010-06-09 2012-03-15 Chemimage Corporation Hyperspectral imaging sensor for tracking moving targets
DE102010024666A1 (de) 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
CN102184720A (zh) 2010-06-22 2011-09-14 上海盈方微电子有限公司 一种支持多层多格式输入的图像合成显示的方法及装置
US20110310980A1 (en) 2010-06-22 2011-12-22 Qualcomm Mems Technologies, Inc. Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id
KR20120000485A (ko) 2010-06-25 2012-01-02 삼성전자주식회사 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법
CN101883291B (zh) 2010-06-29 2012-12-19 上海大学 感兴趣区域增强的视点绘制方法
EP2403234A1 (en) 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8493432B2 (en) 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
CN102959970B (zh) 2010-06-30 2015-04-15 富士胶片株式会社 在立体显示成像期间确定成像范围内障碍物的装置、方法和程序
JP5392199B2 (ja) 2010-07-09 2014-01-22 ソニー株式会社 画像処理装置および方法
GB2482022A (en) 2010-07-16 2012-01-18 St Microelectronics Res & Dev Method for measuring resolution and aberration of lens and sensor
US9406132B2 (en) 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
US8386964B2 (en) 2010-07-21 2013-02-26 Microsoft Corporation Interactive image matting
US20120019700A1 (en) 2010-07-26 2012-01-26 American Technologies Network Corporation Optical system with automatic mixing of daylight and thermal vision digital video signals
US20120026342A1 (en) 2010-07-27 2012-02-02 Xiaoguang Yu Electronic system communicating with image sensor
US20120026451A1 (en) 2010-07-29 2012-02-02 Lensvector Inc. Tunable liquid crystal lens with single sided contacts
US8605136B2 (en) 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
CN102375199B (zh) 2010-08-11 2015-06-03 鸿富锦精密工业（深圳）有限公司 相机模组
US8428342B2 (en) 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8836793B1 (en) 2010-08-13 2014-09-16 Opto-Knowledge Systems, Inc. True color night vision (TCNV) fusion
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
GB2483434A (en) 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
JP5140210B2 (ja) 2010-08-31 2013-02-06 パナソニック株式会社 撮影装置および画像処理方法
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
WO2012036901A1 (en) 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
WO2012037075A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
JP5392415B2 (ja) 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
US20120086803A1 (en) 2010-10-11 2012-04-12 Malzbender Thomas G Method and system for distance estimation using projected symbol sequences
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
JP5657343B2 (ja) 2010-10-28 2015-01-21 株式会社ザクティ 電子機器
US8531535B2 (en) 2010-10-28 2013-09-10 Google Inc. Methods and systems for processing a video for stabilization and retargeting
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9137503B2 (en) 2010-11-03 2015-09-15 Sony Corporation Lens and color filter arrangement, super-resolution camera system and method
US9065991B2 (en) 2010-11-04 2015-06-23 Lensvector Inc. Methods of adjustment free manufacture of focus free camera modules
US20120113232A1 (en) 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
WO2012064106A2 (en) 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
MY150361A (en) 2010-12-03 2013-12-31 Mimos Berhad Method of image segmentation using intensity and depth information
WO2012078126A1 (en) 2010-12-08 2012-06-14 Thomson Licensing System and method for trinocular depth acquisition with triangular sensor
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5963422B2 (ja) 2010-12-17 2016-08-03 キヤノン株式会社 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8682107B2 (en) 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US8565709B2 (en) 2010-12-30 2013-10-22 Apple Inc. Digital signal filter
TWI535292B (zh) 2010-12-31 2016-05-21 派力肯影像公司 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理
JP5699609B2 (ja) 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
US9448338B2 (en) 2011-01-20 2016-09-20 Fivefocal Llc Passively athermalized infrared imaging system and method of manufacturing same
US8581995B2 (en) 2011-01-25 2013-11-12 Aptina Imaging Corporation Method and apparatus for parallax correction in fused array imaging systems
US8717467B2 (en) 2011-01-25 2014-05-06 Aptina Imaging Corporation Imaging systems with array cameras for depth sensing
JP5594477B2 (ja) * 2011-01-26 2014-09-24 Ｎｌｔテクノロジー株式会社 画像表示装置、画像表示方法、及びプログラム
WO2012100829A1 (en) 2011-01-27 2012-08-02 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US20120200726A1 (en) 2011-02-09 2012-08-09 Research In Motion Limited Method of Controlling the Depth of Field for a Small Sensor Camera Using an Extension for EDOF
CA2767023C (en) 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
US8698885B2 (en) 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
CN102870417B (zh) 2011-02-28 2014-05-14 富士胶片株式会社 彩色成像设备
US8406548B2 (en) 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US8537245B2 (en) 2011-03-04 2013-09-17 Hand Held Products, Inc. Imaging and decoding device with quantum dot imager
CA2769358C (en) 2011-03-08 2016-06-07 Research In Motion Limited Quantum dot image sensor with dummy pixels used for intensity calculations
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
KR101792501B1 (ko) 2011-03-16 2017-11-21 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
US20120249853A1 (en) 2011-03-28 2012-10-04 Marc Krolczyk Digital camera for reviewing related images
US8824821B2 (en) 2011-03-28 2014-09-02 Sony Corporation Method and apparatus for performing user inspired visual effects rendering on an image
US8422770B2 (en) 2011-03-30 2013-04-16 Mckesson Financial Holdings Method, apparatus and computer program product for displaying normalized medical images
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
FR2974449A1 (fr) 2011-04-22 2012-10-26 Commissariat Energie Atomique Circuit integre imageur et dispositif de capture d'images stereoscopiques
US20120274626A1 (en) 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
WO2012149971A1 (en) 2011-05-04 2012-11-08 Sony Ericsson Mobile Communications Ab Method, graphical user interface, and computer program product for processing of a light field image
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US8843346B2 (en) 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US8629901B2 (en) 2011-05-19 2014-01-14 National Taiwan University System and method of revising depth of a 3D image pair
US20120293489A1 (en) 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof
JP5797016B2 (ja) 2011-05-30 2015-10-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5762142B2 (ja) 2011-05-31 2015-08-12 キヤノン株式会社 撮像装置、画像処理装置およびその方法
US8823813B2 (en) 2011-06-06 2014-09-02 Apple Inc. Correcting rolling shutter using image stabilization
US8648919B2 (en) 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
JP5882455B2 (ja) 2011-06-15 2016-03-09 マイクロソフト テクノロジー ライセンシング，エルエルシー 高解像度マルチスペクトル画像キャプチャ
JP2013005259A (ja) 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
WO2013003276A1 (en) 2011-06-28 2013-01-03 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8773513B2 (en) 2011-07-01 2014-07-08 Seiko Epson Corporation Context and epsilon stereo constrained correspondence matching
US9300946B2 (en) 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
JP5854673B2 (ja) * 2011-07-12 2016-02-09 キヤノン株式会社 固体撮像装置
JP2013024886A (ja) 2011-07-14 2013-02-04 Sanyo Electric Co Ltd 撮像装置
JP5780865B2 (ja) 2011-07-14 2015-09-16 キヤノン株式会社 画像処理装置、撮像システム、画像処理システム
US20140168424A1 (en) * 2011-07-21 2014-06-19 Ziv Attar Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
US9363535B2 (en) 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
US9264689B2 (en) 2011-08-04 2016-02-16 Semiconductor Components Industries, Llc Systems and methods for color compensation in multi-view video
AU2012295044B2 (en) 2011-08-09 2016-06-16 Samsung Electronics Co., Ltd. Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map
US8432435B2 (en) 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
US8866951B2 (en) 2011-08-24 2014-10-21 Aptina Imaging Corporation Super-resolution imaging systems
US8704895B2 (en) 2011-08-29 2014-04-22 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera
US9009952B2 (en) 2011-08-29 2015-04-21 Asm Technology Singapore Pte. Ltd. Apparatus for assembling a lens module and an image sensor to form a camera module, and a method of assembling the same
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9100639B2 (en) 2011-09-20 2015-08-04 Panasonic Intellectual Property Management Co., Ltd. Light field imaging device and image processing device
JP5544047B2 (ja) 2011-09-21 2014-07-09 富士フイルム株式会社 画像処理装置、方法及びプログラム並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置
US8724893B2 (en) 2011-09-27 2014-05-13 Thomson Licensing Method and system for color look up table generation
US8908083B2 (en) 2011-09-28 2014-12-09 Apple Inc. Dynamic autofocus operations
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
JP5831105B2 (ja) 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
JP2014530581A (ja) 2011-10-11 2014-11-17 ペリカン イメージング コーポレイション 適応光学要素を含むレンズスタックアレイ
EP2582128A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US20130107072A1 (en) 2011-10-31 2013-05-02 Ankit Kumar Multi-resolution ip camera
JP5149435B1 (ja) 2011-11-04 2013-02-20 株式会社東芝 映像処理装置および映像処理方法
US9692991B2 (en) 2011-11-04 2017-06-27 Qualcomm Incorporated Multispectral imaging system
EP2590138B1 (en) 2011-11-07 2019-09-11 Flir Systems AB Gas visualization arrangements, devices, and methods
EP2780755A4 (en) 2011-11-15 2015-09-02 Technion Res & Dev Foundation METHOD AND SYSTEM FOR LIGHT TRANSMISSION
US20130121559A1 (en) 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
US20130127988A1 (en) 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image
US9661310B2 (en) 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
EP2600316A1 (en) 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
KR101862404B1 (ko) 2011-12-09 2018-05-29 엘지이노텍 주식회사 스테레오 영상의 노이즈 제거장치 및 방법
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
JP5414947B2 (ja) 2011-12-27 2014-02-12 パナソニック株式会社 ステレオ撮影装置
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
WO2013119706A1 (en) 2012-02-06 2013-08-15 Pelican Imaging Corporation Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP5860304B2 (ja) 2012-02-23 2016-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP6112824B2 (ja) 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
JP5924978B2 (ja) 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
EP2637139A1 (en) 2012-03-05 2013-09-11 Thomson Licensing Method and apparatus for bi-layer segmentation
CN104169965B (zh) 2012-04-02 2018-07-03 英特尔公司 用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
US9156168B2 (en) 2012-04-13 2015-10-13 Automation Engineering, Inc. Active alignment using continuous motion sweeps and temporal interpolation
KR102214789B1 (ko) 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
US8994845B2 (en) 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
EP2845167A4 (en) 2012-05-01 2016-01-13 Pelican Imaging Corp MODULES OF SHOOTING DEVICES CONSISTING OF PI FILTER GROUPS
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20150085073A1 (en) 2012-05-02 2015-03-26 Koninklijke Philips N.V. Quality metric for processing 3d video
CN104303493A (zh) 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学系统的优化
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
WO2013182873A1 (en) 2012-06-08 2013-12-12 Nokia Corporation A multi-frame image calibrator
EP2677734A3 (en) 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
JP5929553B2 (ja) 2012-06-28 2016-06-08 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9147251B2 (en) 2012-08-03 2015-09-29 Flyby Media, Inc. Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications
US8988566B2 (en) 2012-08-09 2015-03-24 Omnivision Technologies, Inc. Lens array for partitioned image sensor having color filters
AU2013305770A1 (en) 2012-08-21 2015-02-26 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9600859B2 (en) 2012-08-31 2017-03-21 Sony Corporation Image processing device, image processing method, and information processing device
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9373088B2 (en) 2012-09-17 2016-06-21 The Board Of Trustees Of The Leland Stanford Junior University Brain machine interface utilizing a discrete action state decoder in parallel with a continuous decoder for a neural prosthetic device
US9143673B2 (en) 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
EP4307659A1 (en) 2012-09-28 2024-01-17 Adeia Imaging LLC Generating images from light fields utilizing virtual viewpoints
TW201415879A (zh) 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
EP2915325A4 (en) 2012-10-31 2016-06-01 Invisage Technologies Inc PICTURE AND VIDEO RECORDING WITH ADVANCED VIEW FIELD
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US9924142B2 (en) 2012-11-21 2018-03-20 Omnivision Technologies, Inc. Camera array systems including at least one bayer type camera and associated methods
CN113259565B (zh) 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像系统
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9088369B2 (en) 2012-12-28 2015-07-21 Synergy Microwave Corporation Self injection locked phase locked looped optoelectronic oscillator
US20140183334A1 (en) 2013-01-03 2014-07-03 Visera Technologies Company Limited Image sensor for light field device and manufacturing method thereof
US9671595B2 (en) 2013-01-05 2017-06-06 Light Labs Inc. Methods and apparatus for using multiple optical chains in paralell
KR20140094395A (ko) 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US20150002734A1 (en) 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014160142A1 (en) 2013-03-13 2014-10-02 Pelican Imaging Corporation Systems and methods for using alignment to increase sampling diversity of cameras in an array camera module
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014144157A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Optical arrangements for use with an array camera
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014149902A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Systems and methods for providing an array projector
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014181220A1 (en) 2013-05-10 2014-11-13 Koninklijke Philips N.V. Method of encoding a video data signal for use with a multi-view rendering device
KR102103983B1 (ko) 2013-07-31 2020-04-23 삼성전자주식회사 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US20150098079A1 (en) 2013-10-09 2015-04-09 Hilti Aktiengesellschaft System and method for camera based position and orientation measurement
US20150104101A1 (en) 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
JP6211435B2 (ja) 2014-02-26 2017-10-11 株式会社アドバンテスト 半導体装置の製造方法
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US10368054B2 (en) 2014-03-28 2019-07-30 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes
WO2015183824A1 (en) 2014-05-26 2015-12-03 Pelican Imaging Corporation Autofocus system for a conventional camera that uses depth information from an array camera
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US9992483B2 (en) 2014-09-03 2018-06-05 Intel Corporation Imaging architecture for depth camera mode with mode switching
KR20170063827A (ko) 2014-09-29 2017-06-08 포토네이션 케이맨 리미티드 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들
US11315321B2 (en) 2018-09-07 2022-04-26 Intel Corporation View dependent 3D reconstruction mechanism

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832312A (en) * 1996-02-22 1998-11-03 Eastman Kodak Company Watertight body for accommodating a photographic camera
US6034690A (en) * 1996-08-02 2000-03-07 U.S. Philips Corporation Post-processing generation of focus/defocus effects for computer graphics images
US6603513B1 (en) * 1999-02-16 2003-08-05 Micron Technology, Inc. Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device
US7262799B2 (en) * 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
CN102037717A (zh) * 2008-05-20 2011-04-27 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera

Also Published As

Publication number Publication date
EP4296963A3 (en) 2024-03-27
US10380752B2 (en) 2019-08-13
KR20150046113A (ko) 2015-04-29
EP2888720A4 (en) 2016-08-10
US20150049916A1 (en) 2015-02-19
CN107346061B (zh) 2020-04-24
US9858673B2 (en) 2018-01-02
CN104662589A (zh) 2015-05-27
EP2888720A1 (en) 2015-07-01
US20160267672A1 (en) 2016-09-15
US9123117B2 (en) 2015-09-01
US20140321712A1 (en) 2014-10-30
US9129377B2 (en) 2015-09-08
SG11201500910RA (en) 2015-03-30
CA2881131A1 (en) 2014-02-27
US20150049917A1 (en) 2015-02-19
EP3869797A1 (en) 2021-08-25
CN107346061A (zh) 2017-11-14
US20150042767A1 (en) 2015-02-12
EP4296963A2 (en) 2023-12-27
US20190362515A1 (en) 2019-11-28
US20180211402A1 (en) 2018-07-26
US20150049915A1 (en) 2015-02-19
US8780113B1 (en) 2014-07-15
US9235900B2 (en) 2016-01-12
WO2014031795A1 (en) 2014-02-27
US10909707B2 (en) 2021-02-02
US9240049B2 (en) 2016-01-19
US20150042766A1 (en) 2015-02-12
US9123118B2 (en) 2015-09-01
US9147254B2 (en) 2015-09-29
EP2888720B1 (en) 2021-03-17
AU2013305770A1 (en) 2015-02-26
KR102111181B1 (ko) 2020-05-15
US8619082B1 (en) 2013-12-31
US20210150748A1 (en) 2021-05-20
EP3869797B1 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
CN104662589B (zh) 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US9800856B2 (en) Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
CN103221975B (zh) 三维成像系统
CN101853524A (zh) 使用图像序列生成玉米果穗全景图的方法
CN110827338B (zh) 一种分区域自适应匹配的光场数据深度重建方法
Kang et al. Generation of multi-view images using stereo and time-of-flight depth cameras
Kettern et al. Recording Consistent Multiview Image Data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180710

Address after: American California

Patentee after: FOTONATION Cayman Ltd

Address before: American California

Patentee before: PELICAN IMAGING CORP.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190816

Address after: Ai Er Langeerwei

Patentee after: DIGITALOPTICS CORPORATION EUROPE LIMITED

Address before: American California

Patentee before: FOTONATION Cayman Ltd

TR01 Transfer of patent right