CN107346061A - 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 - Google Patents
用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 Download PDFInfo
- Publication number
- CN107346061A CN107346061A CN201710550511.4A CN201710550511A CN107346061A CN 107346061 A CN107346061 A CN 107346061A CN 201710550511 A CN201710550511 A CN 201710550511A CN 107346061 A CN107346061 A CN 107346061A
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- image
- camera
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title abstract description 32
- 238000012937 correction Methods 0.000 title abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 217
- 238000006073 displacement reaction Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 84
- 238000001914 filtration Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 abstract description 50
- 230000008859 change Effects 0.000 abstract description 19
- 238000005259 measurement Methods 0.000 description 71
- 230000000903 blocking effect Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 14
- 230000001568 sexual effect Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000003491 array Methods 0.000 description 9
- 229910002056 binary alloy Inorganic materials 0.000 description 9
- 238000010276 construction Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 241000208340 Araliaceae Species 0.000 description 7
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 7
- 235000003140 Panax quinquefolius Nutrition 0.000 description 7
- 230000002950 deficient Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 235000008434 ginseng Nutrition 0.000 description 7
- 239000003550 marker Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011835 investigation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- FGXWKSZFVQUSTL-UHFFFAOYSA-N domperidone Chemical compound C12=CC=CC=C2NC(=O)N1CCCN(CC1)CCC1N1C2=CC=C(Cl)C=C2NC1=O FGXWKSZFVQUSTL-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007670 refining Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 235000012779 flatbread Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
- H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
公开了用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法。根据本发明的实施例的系统可以在使用阵列照相机捕捉的图像中执行视差检测和校正。由于照相机的视点不同,视差导致对象在场景的所捕捉的图像内的位置变化。根据本发明的实施例的方法提供由于阵列中的不同照相机之间的视差而导致的精确量的像素视差,以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。在几个实施例中,检测视差涉及使用竞争图像子集估计参考视点的图像中的像素位置的深度。在若干个实施例中,产生深度估计考虑多个光谱通道中的像素的相似性。在某些实施例中,产生深度估计涉及产生指示深度估计的可靠性的置信图。
Description
本申请是申请日为2013年08月21日、申请号为201380048735.5、发明名称为“用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法”的中国发明专利申请的分案申请。
技术领域
本发明总地涉及数字照相机,更具体地讲,涉及使用阵列照相机捕捉的图像中的视差的检测和校正。
背景技术
由于每个眼睛的视场不同,所以场景的双目观看创建该场景的两个略有不同的图像。称之为“双目视差(或视差)”的这些差别提供可以用于计算视觉场景中的深度的信息,从而提供深度知觉的主要手段。与立体深度知觉相关联的深度印象还可以在其他条件下获得,诸如当观察者在移动时仅用一个眼睛观看场景时。观察到的视差可以用于获得关于场景中的对象的深度信息。机器视觉中的类似原理可以用于收集深度信息。
分隔一段距离的两个或更多个照相机可以拍摄同一场景的图片,并且可以通过移动两个或更多个图像的像素以找到这些图像的匹配的部分来比较所捕捉的图像。对象在不同照相机视图之间的移位量被称为视差,其与到对象的距离成反比。检测到对象在多个图像中移位的视差研究可以用于基于照相机与所涉及的照相机的焦距之间的基线距离计算到对象的距离。使用两个或更多个照相机产生立体三维图像的方法常被称为多视图立体。
多视图立体通常可以就下列组件进行描述:匹配标准、合计方法和胜者选择。匹配标准用作测量不同图像上的像素或区域的相似性的手段。典型的误差度量是图像之间的RGB或强度差值(可以对这些差值求平方值,或者可以使用鲁棒的度量)。一些方法通过计算局部误差表面的分析最小值或者使用基于梯度的技术来计算亚像素视差。一种方法涉及获取一个图像中的像素与另一个图像中的插值强度函数之间的最小差值。合计方法是指计算或累积搜索空间上的误差函数的方式。最直接的方式是在对于多个照相机规定的视差空间上应用固定大小的搜索窗口。其他方式使用自适应窗口、可移位窗口或多个掩膜。另一组方法在3D空间中累积投票,例如,空间扫描方法和体素着色及其变型。一旦计算了初始或合计匹配成本,就决定了对于每个像素正确的视差分配。局部方法在每个像素处独立地这样做,通常是通过拾取具有最小合计值的视差。协作/竞争算法可以用于迭代地决定最佳分配。动态程序设计可以用于计算与边缘特征相关联的深度或整体强度相似性匹配。这些方法可以利用沿着核线的一维排序约束来处理深度间断之处和不匹配区域。又一类方法将立体匹配公式化为可以通过诸如模拟退火和图割之类的全局方法求解的全局优化问题。
最近,研究使用跨越更宽的合成孔径的多个照相机捕捉光场图像(例如,斯坦福多照相机阵列)。通常被定义为表征在场景中的所有点处来自所有方向的光的4D函数的光场可以被解释为场景的二维(2D)图像的2D集合。由于实际的约束,通常难以同时捕捉场景的形成光场的2D图像的集合。然而,每个照相机捕捉图像数据的时间越接近,光强度(例如,荧光灯的否则察觉不到的闪烁)或对象运动的变化将越不可能导致所捕捉的图像之间的时间相关的变化。涉及捕捉光场并且重新对该光场进行采样的处理可以用于模拟孔径大的照相机。例如,指向场景的M×N个照相机的阵列可以模拟如该阵列那么大的透镜的聚焦效果。以这种方式使用照相机阵列可以被称为合成孔径摄影。
虽然立体匹配最初被公式化为从一对图像恢复3D形状,但是使用照相机阵列捕捉的光场还可以用于使用与立体匹配中所使用的那些算法类似的算法重构3D形状。随着更多图像被添加,挑战是部分被遮挡区域(像素在一些区域中可见,但不是在所有图像中都可见)的普遍性也提高。
发明内容
根据本发明的实施例的系统和方法可以在使用阵列照相机捕捉的图像中执行视差检测和校正。本发明的用于使用用图像处理应用程序配置的处理器根据包括从不同视点捕捉的图像集合的光场估计到场景内的对象的距离的方法的实施例包括:相对于从不同视点捕捉的图像集合的视点选择参考视点;规范化所述图像集合以提高所述图像集合内的相应像素的相似性;并且使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的初始深度估计,其中,对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定:基于多个深度处的预期视差,识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素;比较在所述多个深度中的每个深度处识别的相应像素的相似性;并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外,所述方法包括:使用初始深度估计来识别所述图像集合中的相应像素;比较图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到图像集合中的相应像素之间的不匹配时,选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到图像集合中的相应像素之间的不匹配时,通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计:使用图像集合的多个不同子集确定候选深度估计集合;基于候选深度估计来识别图像集合的所述多个子集中的每个子集中的相应像素;并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在进一步的实施例中,相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括从由下列视点构成的集合选择视点:所述图像中一个图像的视点;以及虚拟视点。
在另一实施例中,通过将场景相关的移位应用于参考视点的图像中的像素位置来确定所述图像集合中的给定图像中的与参考视点的图像中的像素位置相对应的像素,所述场景相关的移位基于下列方面而确定:参考视点的图像中的像素位置的深度估计;以及给定图像的视点与参考视点之间的基线。
在更进一步的实施例中,所述图像集合的用于确定候选深度估计集合的子集基于所述图像集合中的图像的视点而选择,以利用有可能导致至少一个子集的自然场景的可见性特性的模式,在所述至少一个子集中,参考视点的图像中的给定像素位置在所述子集中的每个图像中是可见的。
在又一实施例中,所述图像集合是在多个颜色通道内捕捉的;相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择图像之一作为参考图像,并且选择参考图像的视点作为参考视点;并且所述图像集合的用于确定候选深度估计集合的子集被选择为使得包含参考图像的颜色通道中的相同数量的图像出现在每个子集中。
在更进一步的实施例中,所述图像集合的用于确定候选深度估计集合的子集还被选择为使得在每个子集中存在在不包含参考图像的颜色通道中的至少两个图像。
又一实施例还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性:使用当前深度估计识别所述图像集合中的相应像素;并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时,确定所述像素在参考视点的图像中是不可见的。
再次在进一步的实施例中,相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择所述图像集合中的图像之一作为参考图像,并且选择参考图像的视点作为参考视点;并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括将所述给定图像中的所述像素与参考图像中的相应像素进行比较。
再次在另一实施例中,光度相似性标准包括至少基于所述给定图像中的所述像素和参考图像中的像素中的至少一个的强度而改动的相似性阈值。
在进一步的另外的实施例中,光度相似性标准包括根据参考图像的相应像素和与参考图像的该像素最相似的相应像素之间的光度距离而改动的相似性阈值。
在另一另外的实施例中,光度相似性标准包括基于参考图像中的像素的信噪比而改动的相似性阈值。
在更进一步的实施例中,通过下述步骤来近似基于信噪比改动相似性阈值:缩放参考图像的相应像素和与参考图像的该像素最相似的相应像素的光度距离,并且应用偏移来获得适当的阈值。
在又一实施例中,所述图像集合包括在多个颜色通道中捕捉的图像,并且参考图像是在第一颜色通道中捕捉的图像,所述给定图像在第二颜色通道中;当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点中不可见的步骤还包括:选择第二颜色通道中的在其中参考视点的图像中的相应像素可见的图像作为第二颜色通道的参考图像;并且将所述给定图像中的所述像素与第二颜色通道的参考图像中的相应像素进行比较。
再次在更进一步的实施例中,相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择虚拟视点作为参考视点;并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时确定所述像素在参考视点的图像中不可见的步骤还包括:选择与所述虚拟视点相邻的图像作为参考图像;并且将所述给定图像中的所述像素与参考图像中的相应像素进行比较。
再次在又一实施例中,基于所选图像中的与所述给定图像的在参考视点的图像中可见的像素相对应的像素来选择与虚拟视点相邻的图像。
更进一步的实施例还包括通过下述步骤基于所述图像集合中的像素从参考视点来看的可见性更新对于参考视点的图像中的给定像素位置的深度估计:使用在其中参考视点的图像中的给定像素位置基于对于所述给定像素的当前深度估计而被确定为可见的图像,产生所述图像集合的更新子集;基于多个深度处的预期视差,识别所述图像集合的更新子集中的与参考视点的图像中的所述给定像素位置相对应的像素;比较图像的更新子集中的在所述多个深度中的每个深度处识别的相应像素的相似性;并且从多个深度选择其中所述图像集合的更新子集中的所识别的相应像素具有最高相似性程度的深度,作为对于参考视点的图像中的所述给定像素位置的更新的深度估计。
再次在又一实施例中,所述图像集合的子集是图像对;并且所述图像集合的更新子集包括至少三个图像。
在更进一步的另外的实施例中,规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括:利用校准信息来校正所述图像集合中的图像中的光度变化和场景无关的几何失真;以及所述图像集合中的图像的修正。
在又一另外的实施例中,规范化所述图像集合以提高所述图像集合内的相应像素的相似性的步骤还包括:重新对所述图像进行采样以提高所述图像集合中的相应像素的相似性;并且应用于所述图像的场景无关的几何校正是以亚像素分辨率确定的。
在更进一步的另外的实施例中,利用校准信息校正光度变化的步骤还包括执行选自由下列构成的组的规范化处理中的任何一个:黑电平计算和调整;晕影校正;横向颜色校正;以及温度规范化。
在又一另外的实施例中,场景无关的几何校正还包括考虑到捕捉所述图像集合的照相机阵列中的透镜的失真和旋转的修正。
再次在进一步的另外的实施例中,成本函数用于确定相应像素的相似性。
再次在另一另外的实施例中,确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。
在另一进一步的实施例中,从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计的步骤还包括从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。
在又一进一步的实施例中,成本函数利用选自由下列构成的组的至少一个相似性度量:一对相应像素的L1范数;一对相应像素的L2范数;以及一组相应像素的方差。
在又一进一步的实施例中,所述图像集合是在多个颜色通道内捕捉的,并且成本函数确定多个颜色通道中的每个颜色通道中的像素的相似性。
再次另一进一步的实施例还包括产生关于对于参考视点的图像中的像素位置的当前深度估计的置信度量。
在另一进一步的另外的实施例中,置信度量对多个置信因子进行编码。
又一进一步的实施例还包括基于置信图对深度图进行滤波。
又一进一步的实施例再次还包括:通过沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素,基于初始深度估计,检测所述图像集合内的图像中的与参考视点的图像中的特定像素位置相对应的像素的遮挡;当初始深度估计导致检测到至少一个图像中的相应像素被遮挡时,通过下述步骤选择对于参考视点的图像中的所述像素位置的当前深度估计:使用所述图像集合的多个不同子集确定候选深度估计集合,所述多个不同子集不包括在其中所述给定像素被遮挡的至少一个图像;基于候选深度估计来识别所述图像集合的多个子集中的每个子集中的相应像素;并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在又一进一步的另外的实施例中,沿着与参考视点和所述图像集合中的图像的视点之间的基线平行的线搜索以找出遮挡像素的步骤还包括:当下列情况时确定与参考视点的图像中的像素位置(x1,y1)相应的像素在替代视图图像中被参考视点的图像中的像素位置(x2,y2)遮挡:
阈值
其中,s1和s2是场景相关的几何移位,其应用于像素位置(x1,y1)和像素(x2,y2)以使这些像素沿着与参考视点与替代视图图像的视点之间的基线平行的线移位,以基于对于每个像素的初始深度估计将这些像素移位到替代视图图像的视点中。
再次在又一进一步的实施例中,将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度中的至少一个。
在特定实施例中,成本函数用于确定相应像素的相似性。
在另一特定实施例中,确定相应像素的相似性的步骤还包括对所计算的成本进行空间滤波。
在进一步的特定实施例中,所计算的成本的空间滤波利用选自由下列滤波器构成的组的滤波器:固定系数滤波器;以及边缘保持滤波器。
在更进一步的特定实施例中,从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计的步骤还包括:从所述多个深度选择其中关于所识别的相应像素的滤波后的成本函数指示最高相似性水平的深度。
在又一特定实施例中,所述图像集合是在单个颜色通道内捕捉的,并且成本函数是相应像素的方差的函数。
在更进一步的特定实施例中,成本函数是所述图像集合中的每个图像i上的包括下列项的合计成本函数CV(x,y,d):
其中,Costi,Ref(x,y,d)是相似性度量(即,成本函数),
d是像素(x,y)的深度,以及
Vi,Ref(x,y)是像素(x,y)的可见性,一开始,对于所有照相机,Vi,Ref(x,y)=1。
再次在进一步的特定实施例中,如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设d计算各个成本Costi,Ref(x,y,d):
Costi,Ref(x,y,d)=S{li(x,y,d),lRef(x,y,d)}
其中,S是相似性度量(例如),以及
li是几何校准之后的校准图像i。
在又一特定实施例中,合计成本如下考虑候选深度处的移位后的图像的相似性:
其中,K是在与参考照相机相同的光谱通道中的一组照相机,
L是一组照相机对,其中,每对中的两个照相机在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道,在这种情况下,光场包括多个光谱通道中的图像数据)中,
以及
再次在进一步的特定实施例中,使用滤波器对合计成本函数进行空间滤波以使得加权的合计成本函数如下:
其中,N(x,y)是像素(x,y)的最近邻域,其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状,
Norm是规范化项;
IRef(x,y)是来自参考照相机的图像数据,
wd是基于像素距离的加权函数,以及
wr是基于强度差值的加权函数。
在进一步的实施例中,滤波器是箱式滤波器,wd和wr是常数系数。
在另一实施例中,滤波器是双边滤波器,wd和wr都是高斯加权函数。
在更进一步的实施例中,如下通过选择最小化深度图中的每个像素位置处的滤波后的成本的深度来确定对于参考视点的图像中的像素位置(x,y)的深度估计:
D(x,y)=argmind{FilteredCV(x,y,d)}
在又一实施例中,所述图像集合是在多个颜色通道内捕捉的,并且成本函数合并多个颜色通道的图像数据的L1范数。
在更进一步的实施例中,所述图像集合是在多个颜色通道内捕捉的,并且成本函数合并多个颜色通道的图像数据的L2范数。
在又一实施例中,所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的;相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择绿色颜色通道中的图像之一作为绿色参考图像,并且选择绿色参考图像的视点作为参考视点;并且参考视点的图像中的深度d处的像素位置(x,y)的成本函数Cost(x,y,d)是:
Cost(x,y,d)=γG(x,y).CostG(x,y,d)+γR(x,y).CostR(x,y,d)+γB(x,y).CostB(x,y,d)
其中,CostG(x,y,d)是参考视点的图像中的像素位置(x,y)与绿色图像集合内的基于深度d的位置上的相应像素的相似性的度量,
CostR(x,y,d)是红色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x,y)上的相应像素的相似性的度量,
CostB(x,y,d)是蓝色图像集合内的基于深度d确定的位置和参考视点的图像中的像素位置(x,y)上的相应像素的相似性的度量,以及
γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子。
再次在进一步的实施例中,CostG(x,y,d)使用选自由下列相似性度量构成的组的相似性度量:L1范数、L2范数、以及所述图像集合中的在绿色颜色通道内的图像中的像素上的方差。
再次在另一实施例中,通过计算所述颜色通道内的图像中的单独一对相应像素之间的合计差值来确定对于红色颜色通道的成本度量(CostR(x,y,d))和对于蓝色颜色通道的成本度量(CostB(x,y,d))。
在进一步的另外的实施例中,计算颜色通道内的图像中的单独一对相应像素之间的合计差值的步骤包括确定对于所述颜色通道内的图像中的单独一对相应像素的组合成本度量。
在另一另外的实施例中,可以如下确定包括四个图像(CA、CB、CC和CD)的红色颜色通道的组合成本度量(CostC(x,y,d)):
CostC(x,y,d)
=|CA(xA,yA)-CB(xB,yB)|+|CA(xA,yA)-CC(xC,yC)|
+|CA(xA,yA)-CD(xD,yD)|+|CB(xB,yB)-CC(xC,yC)|
+|CB(xB,yB)-CD(xD,yD)|+|CC(xC,yC)-CD(xD,yD)|
其中,(xA,yA)、(xB,yB)、(xC,yC)和(xD,yD)是基于图像CA、CB、CC和CD图像中的每个图像中分别在深度d处的视差确定的相应的像素位置。
在更进一步的实施例中,利用选自由下列度量构成的组的至少一个确定组合成本度量:像素亮度值的L1范数;像素亮度值的L2范数;以及像素亮度值的方差。
在又一实施例中,加权因子是γG、γR和γB固定的。
再次在更进一步的实施例中,加权因子γG、γR和γB随参考视点的图像中的像素位置(x,y)空间变化。
再次在又一实施例中,加权因子γG、γR和γB基于参考视点的图像中的像素位置(x,y)处的估计的SNR变化;并且参考视点的图像中的像素位置(x,y)处的强SNR用于减小应用于红色颜色通道和蓝色颜色通道的加权。
在进一步的实施例中,置信度量对多个置信因子进行编码。
在另一实施例中,对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子:给定像素在图像内的无纹理区域内的指示;包围给定像素的区域中的信噪比(SNR)的度量;用于产生深度估计的相应像素的数量;被搜索以产生深度估计的深度的数量的指示;给定像素与高对比度边缘相邻的指示;以及给定像素与高对比度边界相邻的指示。
在更进一步的实施例中,对于参考视点的图像中的给定像素位置的深度估计的置信度量包括选自由下列置信因子构成的组的至少一个置信因子:所述给定像素位于梯度边缘上的指示;相应像素与所述给定像素不匹配的指示;与所述给定像素相应的像素被遮挡的指示;使用不同参考照相机产生的深度估计超过用于所述给定像素的阈值的指示;使用不同的照相机子集产生的深度估计超过用于所述给定像素的阈值的指示;关于给定阈值的深度是否超过阈值的指示;所述给定像素有缺陷的指示;以及与所述给定像素相应的像素有缺陷的指示。
在又一实施例中,对于参考视点的图像中的给定像素位置的深度估计的置信度量至少包括:包围给定像素的区域中的SNR的度量;以及用于产生深度度量的相应像素的数量。
在更进一步的实施例中,置信度量对至少一个二进制置信因子进行编码。
在又一实施例中,置信度量对表示为置信度范围的至少一个置信因子进行编码。
再次在进一步的实施例中,置信度量对至少一个置信因子进行编码,所述置信因子是通过比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的相似性而确定的。
再次在另一实施例中,成本函数用于产生指示相应像素的相似性的成本度量;并且比较图像集合中的用于产生对于参考视点的图像中的给定像素位置的深度估计的像素的相似性的步骤还包括:将阈值应用于所述图像集合的用于产生对于参考视点的图像中的给定像素位置的最终深度估计的像素的成本度量;并且当成本度量超过阈值时,分配置信度量,所述置信度量指示对于参考视点的图像中的给定像素位置的最终深度估计是使用所述图像集合中的至少一个作为问题像素的像素而产生的。
在进一步的另外的实施例中,基于下列方面中的至少一个修改阈值:参考视点的图像中的包围所述给定像素位置的区域的平均强度;以及关于用于捕捉所述图像集合的至少一个传感器的噪声统计数据。
在更进一步的实施例中,使用以所述给定像素为中心的空间箱式N×N平均滤波器计算参考视点的图像中的包围所述给定像素位置的区域的平均强度。
在又一实施例中,所述图像集合是在至少包括红色、绿色和蓝色颜色通道的多个颜色通道内捕捉的;相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择绿色颜色通道中的图像之一作为绿色参考图像,并且选择绿色参考图像的视点作为参考视点;并且平均强度用于使用将特定曝光和增益处的特定均值与期望阈值相关的表格来确定关于绿色通道的噪声统计数据。
再次在更进一步的实施例中,相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择所述图像之一作为参考图像,并且选择参考图像的视点作为参考视点;并且成本函数用于产生指示相应像素的相似性的成本度量;使用下列公式获得基于大体不匹配的置信度量:
Confidence(x,y)=F(Costmin(x,y),Costd(x,y),I(x,y)cam,Sensor)
其中,Costmin(x,y)是期望深度范围上的视差搜索的最小成本,
Costd(x,y)表示来自任何一个深度或多个深度(除了最小深度之外)的成本数据,
任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度;
Sensor是传感器先验值,其可以包括传感器的已知性质,诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光),
Camera intrinsics是照相机内在要素,其指定照相机和照相机阵列内在的可以影响置信度的要素,包括(但不限于)该阵列中的照相机之间的基线分离(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。
再次在又一实施例中,相对于从不同视点捕捉的图像集合的视点选择参考视点的步骤包括:选择所述图像之一作为参考图像,并且选择参考图像的视点作为参考视点;并且成本函数用于产生指示相应像素的相似性的成本度量;并且使用下列公式获得基于大体不匹配的置信度量:
其中,Avg(x,y)是参考图像在包围(x,y)的空间邻域中的平均强度、或者该领域中的平均强度的估计,其用于基于参考图像在(x,y)的区域中的强度调整置信度,
a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子,
a和offset是用于用关于用于捕捉所述图像集合中的图像的至少一个传感器的增益和噪声统计数据的先验信息来调整置信度的、凭经验选择的缩放和偏移因子。
再次在更进一步的实施例中,产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括:确定用于捕捉所述图像集合的至少一个的至少一个传感器增益;并且基于传感器增益调整置信度量。
再次在又一实施例中,产生对于参考视点的图像中的像素位置的深度估计的置信度量的步骤包括:确定用于捕捉所述图像集合的至少一个的至少一个曝光时间;并且基于传感器增益来调整置信度量。
更进一步的另外的实施例还包括:输出包含对于参考视点的图像中的像素位置的最终深度估计的深度图;并且输出包含对于深度图内所包含的最终深度估计的置信度量的置信图。
又一另外的实施例还包括基于置信图对深度图进行滤波。
又一进一步的另外的实施例包括使用用图像处理应用程序配置的处理器通过下述步骤根据包括从不同视点捕捉的图像集合的光场来估计到场景内的对象的距离:相对于从不同视点捕捉的图像集合的视点选择参考视点;规范化所述图像集合以提高所述图像集合内的相应像素的相似性;使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计,其中,对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定:基于多个深度处的预期视差,识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素;比较在所述多个深度中的每个深度处识别的相应像素的相似性;并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另外,估计距离的处理还包括:使用初始深度估计来识别所述图像集合中的相应像素;比较所述图像集合中的相应像素的相似性以检测不匹配像素;当初始深度估计没有导致检测到所述图像集合中的相应像素之间的不匹配时,选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计;并且当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时,通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计:使用所述图像集合的多个不同子集确定候选深度估计集合;基于候选深度估计来识别所述图像集合的所述多个子集中的每个子集中的相应像素;并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。所述处理还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性:使用当前深度估计来识别所述图像集合中的相应像素;并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时,确定所述像素在参考视点中不可见;并且使用用图像处理应用程序配置的处理器基于深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像:使用可见性信息来识别所述图像集合的在参考视点的图像中可见的像素;并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中,其中,场景相关的几何移位被使用当前深度估计而确定;并且融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
另一进一步的实施例还包括:使用用图像处理应用程序配置的处理器合成参考视点的图像以基于参考视点的融合图像、从不同视点捕捉的图像集合、当前深度估计和可见性信息来执行超分辨率处理。
本发明的进一步的实施例包括处理器和存储器,所述存储器包含从不同视点捕捉的图像集合和图像处理应用程序。另外,所述图像处理应用程序将处理器配置为:相对于从不同视点捕捉的图像集合的视点选择参考视点;规范化所述图像集合以提高所述图像集合内的相应像素的相似性;使用所述图像集合的至少一个子集确定对于参考视点的图像中的像素位置的初始深度估计,其中,对于参考视点的图像中的给定像素位置的初始深度估计通过下述步骤确定:基于多个深度处的预期视差,识别所述图像集合的所述至少一个子集中的与参考视点的图像中的给定像素位置相应的像素;比较在所述多个深度中的每个深度处识别的相应像素的相似性;并且从所述多个深度选择其中所识别的相应像素具有最高相似性程度的深度作为对于参考视点的图像中的给定像素位置的初始深度估计。所述应用程序还将处理器配置为:使用当前深度估计识别所述图像集合中的相应像素;比较所述图像集合中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到所述图像集合中的相应像素之间不匹配时,所述应用程序将处理器配置为选择初始深度估计作为对于参考视点的图像中的像素位置的当前深度估计。当初始深度估计导致检测到所述图像集合中的相应像素之间的不匹配时,所述应用程序将处理器配置为通过下述步骤选择对于参考视点的图像中的像素位置的当前深度估计:使用所述图像集合的多个不同子集确定候选深度估计集合;基于候选深度估计识别所述图像集合的所述多个子集中的每个子集中的相应像素;并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点的图像中的像素位置的当前深度估计。
在另一实施例中,所述图像处理应用程序还将处理器配置为:通过下述步骤确定所述图像集合中的像素从参考视点来看的可见性:使用当前深度估计来识别所述图像集合中的相应像素;并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似性标准时,确定所述像素在参考视点中不可见;并且使用深度估计融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像:使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素;并且将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的像素以将像素移位到参考视点中,其中,场景相关的几何移位是使用当前深度估计而确定的;并且融合所述图像集合的移位后的像素以创建参考视点的其分辨率大于所述图像集合中的图像的分辨率的融合图像。
附图说明
图1概念性地例示根据本发明的实施例的阵列照相机。
图1A概念性地例示根据本发明的实施例的阵列照相机模块。
图1C概念性地例示根据本发明的实施例的用于4×4阵列照相机模块的滤色器模式。
图2概念性地例示使用参考照相机和替代视图照相机捕捉图像数据。
图3A和3B概念性地例示参考照相机和替代视图照相机所捕捉的场景的图像中的视差效果。
图4是例示根据本发明的实施例的从所捕捉的包括从不同视点捕捉的多个图像的光场产生深度图的处理的流程图。
图5是根据本发明的实施例的用于规范化所捕捉的图像数据的处理的流程图。
图6是根据本发明的实施例的用于基于可见性信息迭代地精炼深度图的处理的流程图。
图7概念性地例示根据本发明的实施例的阵列照相机内的可以用于产生到场景内的对象的距离的估计的照相机子集。
图8是例示根据本发明的实施例的用于使用可见性信息执行视差搜索的处理的流程图。
图8A是例示根据本发明的实施例的使用照相机阵列中的照相机子集所捕捉的图像来估计深度的处理的流程图。
图8B-8I概念性地例示根据本发明的实施例的5×5阵列照相机中的可以用于获得深度估计的照相机子集。
图8J-8M概念性地例示根据本发明的实施例的4×4阵列照相机的可以用于获得深度估计的照相机子集。
图9概念性地例示根据本发明的实施例的用于在核线中搜索遮挡给定像素的像素的处理。
图10概念性地例示根据本发明的实施例的可以用于构造深度图的5×5阵列照相机。
图11是例示根据本发明的实施例的用于基于相应像素的光度相似性确定可见性的处理的流程图。
图12概念性地例示根据本发明的实施例的可以相对于4×4阵列照相机定义的许多虚拟视点之一。
图13是例示根据本发明的实施例的用于产生稀疏深度图的处理的流程图。
图14概念性地例示根据本发明的实施例的当产生稀疏深度图时可以用作指示器像素的一组像素。
图15是例示根据本发明的实施例的使用一个像素周围的SNR检测无纹理区域的处理的流程图。
图16是根据本发明的实施例的用于产生深度图和可见性信息的系统。
图17是例示根据本发明的实施例的用于使用超分辨率处理从从不同视点捕捉的多个低分辨率图像合成高分辨率图像的处理的流程图。
图18A和18B概念性地例示深度估计中的噪声源。
图18C-18H概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图对深度图进行滤波。
图18I-18N类似地概念性地例示根据本发明的实施例的从所捕捉的图像数据产生深度图和置信图以及使用置信图来使用特写图像对深度图进行滤波。
具体实施方式
现在翻到附图,例示了用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法。阵列照相机(诸如Venkataraman等人的标题为“Capturing and Processing ofImages using Monolithic Camera Array with Heterogeneous Imagers”的美国专利申请No.12/935,504中所描述的那些阵列照相机)可以用于捕捉光场图像。在若干个实施例中,超分辨率处理(诸如Lelescu等人的标题为“Systems and Methods for SynthesizingHigh Resolution Images Using Super-Resolution Processes”的美国专利申请No.12/967,807中所描述的那些超分辨率处理)用于从由阵列照相机捕捉的光场中的较低分辨率图像合成较高分辨率2D图像或较高分辨率2D图像的立体对。术语高或较高分辨率和低或较低分辨率在这里是从相对意义上来使用的,而非指示阵列照相机所捕捉的图像的特定分辨率。美国专利申请12/935,504和美国专利申请号12/967,807的全部公开内容特此通过引用而全部并入。
所捕捉的光场中的每个二维(2D)图像来自于阵列照相机的照相机之一的视点。由于每个照相机的视点不同,视差导致对象在场景的不同图像内的位置变化。根据本发明的实施例的系统和方法提供由于阵列中的不同照相机之间的视差而造成的精确量的像素视差,以使得当执行超分辨率处理时适当的场景相关的几何移位可以应用于所捕捉的图像的像素。
使用超分辨率处理合成的高分辨率图像是从可以被称为参考视点的特定视点合成的。参考视点可以来自于照相机阵列中的照相机之一的视点。可替代地,参考视点可以是任意的不存在物理照相机的虚拟视点。从照相机之一的视点(与虚拟视点完全不同)合成高分辨率图像的益处是,光场中的像素的视差可以相对于从参考视点捕捉的光场中的图像确定。当利用虚拟视点时,所捕捉的图像数据没有一个来自于参考视点,所以所述处理而是仅依赖于远离参考位置的照相机来确定最佳匹配。
根据本发明的许多实施例的阵列照相机使用光场内的图像中的像素之间的视差来产生参考视点的深度图。深度图指示从参考视点来看的场景对象的距离,并且可以用于确定场景相关的几何校正,这些场景相关的几何校正应用于所捕捉的光场内的每个图像的像素以校正当执行超分辨率处理时的视差。在几个实施例中,产生参考视点的初始深度图,并且作为该处理的一部分,或者作为后续处理,检测被遮挡像素和/或其他类型的不匹配像素。检测被遮挡的像素的处理还可以被认为是确定从参考视点捕捉的图像中的像素在非参考视点的图像中是否是可见的。当从参考视点捕捉的图像中的像素在第二图像中不可见时,在确定参考图像中的像素的深度时利用第二图像的图像数据对于深度确定引入了误差。因此,通过检测参考图像中的在光场中的一个或多个图像中被遮挡的像素,可以改进深度图的精度。在几个实施例中,通过使用从照相机捕捉的在其中像素可见(即,未被遮挡)的图像数据确定被遮挡像素的深度来更新初始深度图。在若干个实施例中,在产生初始深度估计的处理期间可以检测不匹配像素的遮挡和/或其他源的可能存在,并且图像集合的与场景内的不同可见性模式相应的子集可以用于确定候选深度估计集合。具有最相似的相应像素的图像子集的候选深度可以用作新的深度估计,该新的深度估计用于确定其余的图像集合的一些或全部中的相应像素的可见性。
参考视点的深度图可以用于确定在从其他视点捕捉的图像中有可能出现的场景相关的几何移位。这些场景相关的几何移位可以用于超分辨率处理中。另外,场景相关的几何移位可以用于精炼光场内的像素从参考视点来看的可见性的确定。在若干个实施例中,场景相关的几何移位用于比较像素的相似性。假定参考视点的像素的深度被正确地确定,那么像素的相似性指示该像素是否可见。相似的像素有可能是从参考视点观察到的由于视差而移位的像素。如果像素不相似,则从参考视点观察到的像素有可能在第二图像中被遮挡。在许多实施例中,可见性信息用于进一步更新深度图。在几个实施例中,产生可见性信息,并且将可见性信息与深度图一起提供以供用于超分辨率处理。
在若干个实施例中,通过产生稀疏深度图来降低产生深度图的计算复杂性,所述稀疏深度图包括附加的在其中附加深度信息是期望的区域中的深度估计,所述区域诸如(但不限于)涉及深度转变的区域和/或包含在光场内的一个或多个图像中被遮挡的像素的区域。
许多阵列照相机使用不同的照相机捕捉颜色信息(参见例如美国专利申请号12/935,504中所公开的阵列照相机)。在许多实施例中,绿色照相机的视点用作参考视点。初始深度图可以使用阵列照相机中的其他绿色照相机所捕捉的图像而产生,该深度图用于确定光场内的红色、绿色和蓝色像素的可见性。在其他实施例中,多个颜色通道中的图像数据可以用于执行深度估计。在几个实施例中,当估计深度时,考虑每个颜色通道中的相应像素的相似性。在若干个实施例中,当估计深度时,还考虑不同颜色通道中的相应像素集合的相似性。下面进一步讨论根据本发明的实施例的使用各种成本函数的深度估计,所述各种成本函数考虑单个光谱通道中的、多个光谱通道中的、和/或跨光谱通道的、特定深度处的相应像素的相似性。
在几个实施例中,阵列照相机可以包括捕捉多个颜色通道中的图像数据的一个或多个照相机。例如,除了单色照相机之外,或者作为单色照相机的替代,阵列照相机可以包括具有Bayer滤色器模式的一个或多个照相机。当为了产生深度图的目的使用捕捉多个颜色通道的照相机的视点作为参考视点时,可以对于从参考视点捕捉的每个颜色通道确定深度图和可见性信息。当参考图像包含关于多个颜色通道的信息时,与使一个通道中的像素相对于另一个颜色通道中的像素的深度和可见性重合相比,可以基于光场中的像素相对于参考图像的视差更可靠地创建深度和可见性信息。利用捕捉多个颜色通道中的图像数据的照相机的视点作为参考视点的缺点是,对于在单个通道中使用相同数量的像素捕捉图像数据的照相机而言,所捕捉的每个颜色通道中的深度信息的分辨率降低。因此,阵列照相机的构造和用作参考视点的视点的选择通常取决于特定应用的要求。
一旦对于光场中的像素产生了深度图和可见性信息,就可以将深度图和可见性信息提供给根据本发明的实施例的超分辨率处理流水线以合成场景的较高分辨率2D图像。深度图可以用于校正不同的低分辨率图像之间的视差,可见性信息可以在融合期间用于防止被遮挡像素(即,替代视图图像中的从参考视点看不见的像素)融合。在几个实施例中,产生深度图的处理还包括产生置信图,该置信图包括对于深度图中的深度估计的置信度量。在几个实施例中,深度度量对指示相应的深度估计的可靠性的至少一个置信因子进行编码。在若干个实施例中,置信度量至少包括基于深度估计与其相关联的像素位置的区域中的信噪比(SNR)的置信因子、以及基于图像集合中的与用于产生深度估计的深度图与其相关联的像素位置相对应的和/或被遮挡的像素的数量的置信因子。下面描述根据本发明的实施例的用于检测并且校正阵列照相机所捕捉的图像中的视差的系统和方法。然而,在讨论视差的检测和校正之前,讨论根据本发明的实施例的各种阵列照相机。
阵列照相机架构
根据本发明的实施例的阵列照相机可以包括照相机模块和处理器,所述照相机模块包括照相机阵列,所述处理器被配置为从照相机模块读出图像数据并且对该图像数据进行处理以合成图像。图1中例示了根据本发明的实施例的阵列照相机。阵列照相机100包括具有个体照相机104的阵列的照相机模块102,其中,个体照相机的阵列是指成特定布置的多个照相机,诸如(但不限于)所例示的实施例中所用的方形布置。照相机模块102连接到处理器108。处理器还被配置为与一个或多个不同类型的存储器110进行通信,存储器110可以用于存储图像数据和/或包含用于将处理器配置为执行包括(但不限于)下述各种处理的处理的机器可读指令。在许多实施例中,存储器包含图像处理应用程序,其被配置为对包括多个图像的光场进行处理以使用下面详细概述的任一处理产生一个(多个)深度图、一个(多个)可见性图、一个(多个)置信图、和/或一个(多个)较高分辨率图像。如下面进一步讨论的,深度图通常提供对于参考视点的图像(例如,从参考视点合成的较高分辨率图像)中的像素的深度估计。可以产生适合于特定应用的要求的各种可见性图,包括(但不限于)指示参考图像中的像素位置在光场内的特定图像中是否可见的可见性图、指示光场内的图像中的特定像素从参考视点来看是否可见的可见性图、以及指示在一个替代视图图像中可见的像素在另一个替代视图图像中是否可见的可见性图。在其他实施例中,各种应用程序中的任何一种应用程序可以存储在存储器中,并且用于使用本文中所描述的处理对图像数据进行处理。在几个实施例中,根据本发明的实施例的处理可以使用专用集成电路和/或现场可编程门阵列来用硬件实现,或者部分用硬件和软件实现。
根据本发明的许多实施例的处理器108使用适合的软件被配置为获取光场内的图像数据并且合成一个或多个高分辨率图像。在几个实施例中,高分辨率图像是从参考视点(通常是传感器102内的参考焦平面104的视点)合成的。在许多实施例中,处理器能够合成与传感器102中的任一焦平面104的视点不相对应的虚拟视点的图像。由于用于捕捉光场中的图像的焦平面的视场不同,这些图像将包括场景相关的视差。下面进一步讨论用于检测并且校正视差的处理。尽管图1中例示了特定的阵列照相机架构,但是根据本发明的实施例,还可以利用替代架构。
阵列照相机模块
根据本发明的实施例的阵列照相机模块可以由包括焦平面阵列的成像器阵列或传感器、以及包括用于成像器阵列中的每个焦平面的透镜叠层的光学阵列构成。Pain等人的、标题为“Architectures for System on Chip Array Cameras”的美国专利申请No.13/106,797中讨论了包括多个焦平面的传感器,该申请的全部公开内容通过引用并入本文。在由光学阵列中的透镜叠层形成的每个光学通道内可以使用滤光器来使得阵列照相机模块内的不同照相机能够捕捉关于电磁波谱的不同部分的(即,不同光谱通道内的)图像数据。
图1A中例示了根据本发明的实施例的阵列照相机模块。阵列照相机模块150包括成像器阵列152连同相应的光学阵列156,成像器阵列152包括焦平面154的阵列,光学阵列156包括透镜叠层158的阵列。在透镜叠层阵列内,每个透镜叠层158在相应的焦平面154内的光敏感像素阵列上创建形成场景的图像的光学通道。透镜叠层158和焦平面154的每个配对形成照相机模块内的单个照相机104。照相机104的焦平面154内的每个像素产生可以从照相机104发送到处理器108的图像数据。在许多实施例中,每个光学通道内的透镜叠层被构造为使得每个焦平面158的像素对场景内的同一对象空间或区域进行采样。在几个实施例中,透镜叠层被构造为对同一对象空间进行采样的像素以亚像素偏移进行采样以提供可以用于通过使用超分辨率处理恢复提高的分辨率的采样多样性。术语采样多样性是指不同视点的图像对场景中的同一对象进行采样,但是是以微小的亚像素偏移进行采样。通过以亚像素精度对图像进行处理,当与仅用单个图像对对象空间进行采样相比时,可以恢复由于亚像素偏移而编码的附加信息。
在所例示的实施例中,焦平面按5×5阵列构造。传感器上的每个焦平面154能够捕捉场景的图像。通常,每个焦平面包括多行像素,这些像素也形成多列像素,并且每个焦平面包含在成像器的不包含来自另一个焦平面的像素的区域内。在许多实施例中,每个焦平面的图像数据捕捉和读出可以独立地控制。这样,可以独立地确定图像捕捉设置(包括(但不限于)焦平面内的像素的曝光时间和模拟增益),以使得能够基于包括(但不限于)特定颜色通道和/或场景动态范围的特定部分的因素定制图像捕捉设置。焦平面中所用的传感器元件可以是单个的光感测元件,诸如,但不限于,传统的CIS(CMOS图像传感器)像素、CCD(电荷耦合器件)像素、高动态范围传感器元件、多光谱传感器元件、和/或被构造为产生指示入射在其上的光的电信号的任何其他结构。在许多实施例中,每个焦平面的传感器元件具有类似的物理性质,并且经由同一光学通道和滤色器(在存在的情况下)接收光。在其他实施例中,传感器元件具有不同的特性,并且在许多情况下,传感器元件的特性与应用于每个传感器元件的滤色器相关。
在几个实施例中,如2012年5月1日提交的、标题为“Camera Modules Patternedwith pi Filter Groups”的美国临时专利申请No.61/641,165中进一步讨论的,单个的照相机中的滤色器可以用于使用π滤波器组将照相机模块构图,该申请的全部公开内容通过引用并入本文。这些照相机可以用于捕捉关于不同颜色或者光谱的特定部分的数据。与将滤色器应用于照相机的像素相对照,本发明的许多实施例中的滤色器被包括在透镜叠层中。可以利用各种滤色器构造中的任何一种,包括图1C中的包括八个绿色照相机、四个蓝色照相机和四个红色照相机的构造,其中,照相机更均匀地分布在照相机的中心周围。例如,绿色照相机可以包括具有使得绿色光可以通过光学通道的绿色滤光器的透镜叠层。在许多实施例中,每个焦平面中的像素是相同的,并且像素所捕捉的光信息由用于每个滤光器平面的相应透镜叠层中的滤色器区分。尽管上面描述了具有包括透镜叠层中的滤色器的光学阵列的照相机模块的特定构造,但是可以以各种方式实现包括π滤波器组的照相机模块,包括(但不限于)以与滤色器应用于常规的彩色照相机的像素的方式类似的方式将滤色器应用于照相机模块的焦平面的像素。在几个实施例中,照相机模块中的照相机中的至少一个可以包括应用于其焦平面中的像素的统一滤色器。在许多实施例中,Bayer滤波器模式应用于照相机模块中的照相机之一的像素。在若干个实施例中,构造在其中在透镜叠层中以及在成像器阵列的像素上都利用滤色器的照相机模块。
尽管上面讨论了特定的阵列照相机和成像器阵列,但是根据本发明的实施例,可以利用许多不同的阵列照相机来捕捉图像数据并且合成图像。下面讨论根据本发明的实施例的用于在阵列照相机捕捉的图像数据中检测并且校正视差的系统和方法。
确定视差/视差
在若干个实施例中,用于捕捉光场的阵列照相机中的单个的照相机具有类似的视场、固定孔径和焦距。结果,照相机趋向于具有非常类似的视野深度。图2中例示了两照相机系统中的视差。两个照相机200、202包括透镜叠层204和焦平面206。每个照相机具有后焦距f,并且这两个照相机分隔2h的基线距离。两个照相机的视场包含包括前景对象208和背景对象210的场景。图3A中例示了第一照相机200的视点的场景。在第一照相机捕捉的图像300中,前景对象208所出现的位置略微偏向背景对象210的右边。图3B中例示了第二照相机202的视点的场景。在第二照相机捕捉的图像302中,前景对象208表现为移位到背景对象201的左手边。由两个照相机200、202的不同视场引入的视差等于前景对象208在第一照相机捕捉的图像中的位置(该位置在第二照相机捕捉的图像中用虚线304指示)与其在第二照相机捕捉的图像中的位置之间的差距。如下面进一步讨论的,可以通过确定前景对象在两个捕捉图像中的视差来获得从两个照相机到前景对象的距离。
再次参照图2,前景对象上的点(xo,yo,zo)将出现在每个照相机的焦平面上、离照相机的光轴一定偏移处。第一照相机200的焦平面上的点相对于其光轴212的偏移被示为-uL。第二照相机202的焦平面上的点相对于其光轴214的偏移被示为uR。通过使用类似的三角形,可以如下观察到两个照相机捕捉的图像之间的偏移:
组合这两个方程得到如下的两个照相机之间的视差(或视差):
从以上方程,可以看出,照相机捕捉的图像之间的视差是沿着两个照相机的基线的方向上的矢量的,所述基线可以被称为两个照相机之间的核线。此外,视差的幅值与两个照相机的基线间隔和这些照相机的后焦距成正比,并且与从照相机到出现在场景中的对象的距离成反比。
阵列照相机中的遮挡
当场景的多个图像是从不同角度捕捉并且该场景包括前景对象时,前景对象在每个图像中的位置的视差导致该场景的在前景对象后面的部分在一些图像中可见,但是并非在所有图像中都是可见的。捕捉关于场景的一部分的图像数据的像素可以被称为被遮挡像素,所述部分在场景的从其他视点捕捉的图像中不可见。再次参照图3A和3B,当第二照相机的视点被选为参考视点时,图像302中的虚线304内所包含的像素可以被认为是被遮挡像素(即,这些像素从场景的一部分捕捉图像数据,该部分在第二照相机302捕捉的图像302中可见,但是在第一照相机200捕捉的图像300中不可见)。第一图像中的虚线306中所包含的像素可以被认为是被揭露像素(即,在参考视点中不可见、但是通过移位到替代视点而被揭露出来的像素)。在第二图像中,前景对象208的像素可以被称为遮挡像素,因为它们捕捉场景的遮挡图像302中的虚线304内所包含的像素的部分。由于第二图像302中的虚线304内所包含的像素的遮挡,不能从这两个图像确定从照相机到场景的在虚线304内的可见的部分的距离,因为在图3A中所示的图像300中不存在相应的像素。
如下面进一步讨论的,在参考视点周围的补充遮挡区域中增加从不同视点捕捉场景的图像的照相机的数量提高了场景的从参考视点来看可见的每一个部分从其他照相机中的至少一个的视点来看也是可见的可能性。当阵列照相机使用不同照相机来捕捉不同波长的光(例如,RGB)时,在围绕参考视点的四分之一圆中分布捕捉每个波长的光的至少一个照相机可以显著地降低场景的从参考视点来看可见的一部分在特定颜色通道内所捕捉的每隔一个图像中将被遮挡的可能性。在Nisenzon等人于2012年5月1日提交的、标题为“Camera Modules Patterned withπFilter Groups”的美国临时专利申请No.61/641,164中进一步讨论了根据本发明的实施例的阵列照相机中的滤色器的降低遮挡可能性的分布,该申请的全部公开内容通过引用并入本文。
使用视差产生阵列照相机中的深度图
根据本发明的许多实施例的阵列照相机使用在阵列照相机所捕捉的图像中观察到的视差来产生深度图。深度图通常被认为是关于图像的元数据层,其描述从照相机到该图像内的特定像素或像素组的距离(这依深度图的相对于原始输入图像的分辨率的分辨率而定)。根据本发明的若干个实施例的阵列照相机出于各种目的使用深度图,所述各种目的包括(但不限于)在合成高分辨率图像期间产生场景相关的几何移位和/或执行合成图像的动态再聚焦。
基于上面对于视差的讨论,基于像素视差确定场景的一部分的深度的处理在理论上是简单的。当阵列照相机中的特定照相机的视点被选为参考视点时,可以使用照相机阵列所捕捉的一些或全部图像中的相应像素之间的视差来确定到场景的从参考视点来看可见的一部分的距离。在没有遮挡时,与从参考视点捕捉的图像中的像素相应的像素将在每个非参考或替代视图图像中沿着核线(即,与两个照相机之间的基线矢量平行的线)定位。沿着视差的核线的距离对应于照相机与场景的由像素所捕捉的部分之间的距离。因此,通过比较所捕捉的图像中的预期在特定深度处对应的像素,可以搜索得到具有最高相似性程度的像素的深度。所捕捉的图像中的相应像素在其具有最高相似性程度的深度可以被选为照相机与场景的由像素所捕捉的部分之间的最可能的距离。如下面所讨论的,根据本发明的实施例,可以根据特定应用的要求,视情况对于单个光谱通道内的、多个光谱通道内的、和/或跨光谱通道的相应像素确定相似性。
然而,在使用以上所概述的方法确定精确的深度图时,存在许多挑战。在几个实施例中,阵列照相机中的照相机是类似的,但是不相同。因此,图像特性可能在图像之间有所变化,降低了不同图像中的相应像素的相似性,所述图像特性包括(但不限于)光学特性、不同传感器特性(诸如由于偏移而导致的传感器响应的变化、不同传输或增益响应、像素响应的非线性特性)、所捕捉的图像中的噪声、和/或与和组装工艺相关的制造公差相关的翘曲或畸变。另外,超分辨率处理依赖于成像器阵列所捕捉的图像中的采样多样性,以便合成更高分辨率图像。然而,提高采样多样性还可以涉及降低光场中的所捕捉的图像中的相应像素之间的相似性。考虑到以上概述的用于确定深度的处理依赖于像素的相似性,所捕捉的图像之间的光度差异和采样多样性的存在可以降低可以确定深度图的精度。
深度图的产生由于遮挡而进一步复杂化。如以上所讨论的,当从参考视点来看可见的像素在所捕捉的图像中的一个或多个中不可见时,遮挡发生。遮挡的影响是,在正确的深度处,否则将被相应像素占据的像素位置被对场景的另一部分(通常是更靠近照相机的对象)采样的像素占据。遮挡像素通常与被遮挡像素迥然不同。因此,正确深度处的像素的相似性的比较不太可能导致远高于其他深度处的相似性程度。有效地,遮挡像素充当强离群值,其掩蔽事实上在正确深度处相对应的那些像素的相似性。因此,遮挡的存在可以对于深度图引入强误差源。
根据本发明的许多实施例的用于产生深度图的处理试图最小化可以由包括(但不限于)以上概述的那些来源的来源引入到深度图中的误差的来源。图4中例示了根据本发明的实施例的用于产生深度图的一般处理。处理400涉及使用阵列照相机捕捉(402)光场。在若干个实施例中,选择(404)参考视点。在许多实施例中,参考视点是预定的。在几个实施例中,可以基于所捕捉的光场或者阵列照相机的用户所请求的特定操作(例如,产生立体3D图像对)来确定参考视点。在确定深度图之前,规范化(406)原始图像数据以提高所捕捉的图像中的相应像素的相似性。在许多实施例中,规范化涉及利用校准信息来校正照相机所捕捉的图像中的变化,包括(但不限于)每个照相机的透镜叠层所引入的光度变化和场景相关的几何畸变。在几个实施例中,原始图像数据的规范化还涉及降低混叠和噪声对于图像中的相应像素的相似性的影响的预先滤波、和/或简化视差搜索的几何形状的图像数据修正。滤波器可以是高斯滤波器或边缘保持滤波器、固定系数滤波器(箱式)和/或任何其他适当的滤波器。在若干个实施例中,规范化还包括重新对所捕捉的图像进行采样以通过校正例如几何透镜畸变来提高所捕捉的图像中的相应像素的相似性。下面进一步讨论根据本发明的实施例的在原始图像数据或规范化期间执行的处理。
对于从参考视点捕捉的图像的像素确定(408)初始深度图。初始深度图用于确定(410)可能的遮挡区域,并且通过使用在其中相对应像素可见的图像来确定遮挡区域中的像素的深度来更新(412)遮挡区域中的像素的深度。如下面进一步讨论的,可以使用与在真实世界场景中遇到的不同可见性模式相对应的竞争图像子集来更新深度估计。尽管图4中示出了特定序列,但是在许多实施例中,与产生初始深度图同时地检测遮挡区域。
涉及重新对原始图像数据进行采样以减小场景相关的几何差异的规范化处理可以通过校正线性和/或非线性透镜畸变来减小误差,所述线性和/或非线性透镜畸变否则可能使匹配所捕捉的每个图像中的相应像素的能力受损。另外,用不包括被遮挡像素的深度测量更新遮挡区域中的深度图进一步减少了所得的深度图中的误差的来源。尽管图4中例示了用于产生深度图的一般处理,但是根据本发明的实施例,可以利用所例示的用于产生深度图的处理的变型和替代方案。下面进一步讨论根据本发明的实施例的用于校准原始图像数据、确定初始深度图以及更新深度图以考虑遮挡的处理。
提高所捕捉的图像数据中的相应像素的相似性
阵列照相机中的每个照相机所捕捉的图像之间的相似性越大,不同假设深度处的图像中的相应像素的测量将导致在正确深度处检测到最高相似性的可能性越高。如美国专利申请No.12/935,504(以上通过引用并入)中所公开的,阵列照相机中的照相机所捕捉的图像通常在若干个方面不同,包括(但不限于)照相机之间光学器件中的变化可以引入光度差异、混叠、噪声和场景无关的几何畸变。光度差异和场景无关的几何畸变可以通过滤波和校准来校正。用于执行光度规范化的光度校准数据和补偿场景无关的几何畸变的场景无关的几何校正可以使用离线校准处理和/或后续再校准处理而产生。光度校准数据可以被提供给可以对于阵列照相机捕捉的图像执行各种光度调整中的任何一种的光度规范化模块或处理,所述各种光度调整包括(但不限于)减小混叠和噪声的影响的预滤波、黑电平计算和调整、晕影校正以及横向颜色校正。在几个实施例中,光度规范化模块还执行温度规范化。使用校准处理确定的场景无关的几何校正还可以应用于所捕捉的图像以提高这些图像之间的对应性。当所捕捉的图像用于使用超分辨率处理合成更高分辨率图像时,应用于这些图像的场景无关的几何校正通常是在亚像素分辨率上确定的。因此,通常以高于在常规的立体3D成像中重合对齐期间所用的校正的精度来确定场景无关的几何校正。在许多实施例中,场景无关的几何校正还涉及考虑到阵列照相机的透镜相对于焦平面的畸变和旋转的修正,以使得非参考图像的核线易于与从参考视点捕捉的图像的核线对齐。通过这样几何规范化,确定相应像素的深度所执行的搜索可以被简化为在各个照相机中沿着直线搜索,并且深度测量的精度可以得到改进。
在Mullis,Jr.于2013年3月13日提交的、标题为“Systems and Methods forCalibration of an Array Camera”的美国专利申请No.61/780,748中描述了根据本发明的实施例的用于校准阵列照相机以产生可以应用于由阵列照相机捕捉的图像的一组场景无关的几何校正和光度校正的系统和方法,该申请的全部公开内容通过引用并入。
在若干个实施例中,通过重新对所捕捉的图像进行采样以检测对象在阵列照相机中的照相机的视场中的亚像素精度移位来提高所捕捉的图像中的像素的对应性。
图5中例示了根据本发明的实施例的用于将校正应用于阵列照相机所捕捉的图像以提高所捕捉的图像之间的对应性的处理。处理500包括光度地规范化所捕捉的图像(502),将场景无关的几何校正(504)应用于规范化的图像。在一些实施例中,需要另外的修正处理来确保所有照相机都是共面的并且视差搜索可以减少到只有核线。图5中所示的处理提高了所得图像之间的对应性。因此,对于图像之间的像素对应性的搜索最有可能导致精确的深度测量。
尽管以上关于图5讨论了根据本发明的实施例的用于提高一个(多个)阵列照相机捕捉的图像之间的对应性的特定处理,但是根据本发明的实施例,在产生深度图之前,可以利用提高所捕捉的图像之间的对应性的各种处理中的任何一种处理。下面进一步讨论根据本发明的实施例的用于产生深度图的处理。
产生深度图
产生深度图的处理涉及利用图像之间的视差来估计场景内的对象的深度。如以上所指出的,遮挡可以影响以以上概述的方式使用成本函数获得的深度测量的可靠性。通常,这样的遮挡将根据用于比较相应像素的相似性度量表现为显著的不匹配(可能掩蔽可见像素的相似性)。然而,本发明的许多实施例产生初始深度图,然后解决由于遮挡而可能引入到初始深度图的创建中的任何误差。在几个实施例中,初始深度图用于识别从参考视点捕捉的图像中的、在阵列照相机从其他视点捕捉的图像中可能被遮挡的像素。当检测到遮挡时,可以通过根据相似性比较从在其中像素被遮挡的图像排除像素来更新关于从参考视点捕捉的图像中的像素的深度信息。在几个实施例中,可以使用与在真实世界场景中遇到的不同可见性模式相应的竞争图像子集来更新由于遮挡而受到影响的深度估计。在某些实施例中,更新的深度估计可以用于识别被遮挡的相应像素,并且使用可见性信息迭代重复深度估计处理,以使得遮挡对于深度图的精度的影响可以降低。在几个实施例中,使用图像子集产生更新的深度估计的处理的鲁棒性足以使得可以减少或者消除针对迭代地精炼深度图和可见性估计的需要。
图6中例示了根据本发明的实施例的确定从参考视点捕捉的图像中的像素的深度的处理。处理600包括使用阵列照相机捕捉的一些或全部图像确定(602)初始深度图。然后确定(604)从参考视点捕捉的图像中的每个像素在所捕捉的每个图像中的可见性。在相应像素位置被遮挡的情况下,可以重新计算(606)从参考视点捕捉的图像中的像素的深度,从成本函数排除在其中相应像素位置被遮挡的图像。决定(608)是否继续迭代。随着遮挡区域中的深度测量细化,获得关于遮挡区域内的像素在所捕捉的每个图像中的可见性的附加信息。因此,重复作为可见性信息的、遮挡区域中的像素的深度的重新计算可以迭代地改进深度图的精度。适合于特定应用的各种终止条件中的任何一种可以用于确定何时终止迭代循环,包括(但不限于)预定次数的迭代完成和/或在特定的一遍迭代循环中对于其确定更新的深度信息的像素的数量降至预定数量以下。在几个实施例中,由于利用所述图像集合的与真实世界可见性模式相应的子集更新使用不匹配像素产生的深度估计,仅执行单次迭代。
一旦获得了最终深度图,就确定了(610)所捕捉的图像中的每个像素的可见性,并且深度图和/或可见性信息可以用于各种目的,包括,但不限于,使用超分辨率处理合成高分辨率图像。
与图7中所示的处理类似的处理的计算复杂度取决于当执行深度确定时所比较的图像的数量。照相机离参考视点越远,将观察到的视差越大。另外,阵列中的最远照相机包含它们的包络内的所有其他照相机。通常,较大的幅值移位使得能够以更高的精度确定深度。因此,使用从参考视点捕捉图像的照相机和离该照相机最远的照相机确定深度信息可以改进所检测的深度的精度。另外,由于降低匹配的周期性的可能性提高,所以使用来源于具有各种基线和方向的照相机的合计成本可以显著地改进深度估计的可靠性。在5×5阵列(参见图7)的情况下,中央绿色照相机(700)可以用于从参考视点捕捉图像,并且可以将中央照相机捕捉的图像数据与位于阵列的四个角上的绿色照相机(702)捕捉的图像数据进行比较以确定深度。在其他阵列中,照相机的各种组合中的任何一种组合捕捉的图像可以用于根据本发明的实施例确定深度。如下面进一步讨论的,特定照相机子集的选择可以降低参考图像中的像素在由该子集中的其他照相机捕捉的图像数据中被遮挡的可能性。
尽管图6中例示了根据本发明的实施例的用于产生深度图和/或可见性信息的特定处理,但是可以利用涉及确定初始深度图、然后通过检测被遮挡像素并且更新深度测量以排除被遮挡像素来细化深度图的各种处理中的任何一种。下面进一步讨论根据本发明的实施例的用于确定像素的深度和可见性的特定处理。
确定初始深度图
用于确定从阵列照相机到场景中的对象的距离的处理涉及找出其中由阵列照相机所捕捉的图像中的相应像素具有最高相似性程度的深度。如以上所讨论的,在特定深度处,从参考视点捕捉的图像中的像素将沿着参考视点与照相机阵列中的每个照相机之间的核线移位已知距离。从参考视点捕捉的图像中的像素和其他图像中的“移位的”像素(即,这些图像中的位于基于特定距离的预期移位而确定的位置上的像素)是相应像素。当假定深度不正确时,相应像素可能表现出非常低的相似性(但是在一些场景中,由于诸如周期性纹理的特征,不正确的深度具有高相似性程度)。当假设深度正确时,相应像素将理想地表现出任一假设深度的最高相似性程度。当在所捕捉的光场的超分辨率处理中使用深度图时,可以以足以使得能够检测到亚像素移位的精度确定深度图。在超分辨率处理中,它是所用的场景相关的移位,而不直接是深度。因此,检测与亚像素移位精度相应的深度的能力可以显著地改进超分辨率处理的性能。下面进一步讨论所捕捉的图像的像素的重新采样可以用于以亚像素移位精度确定深度的方式。
在许多实施例中,一定物理距离范围(例如,20cm或无限远)内的若干个深度的视差搜索用于通知当执行深度估计时所搜索的视差。搜索范围可以划分为若干个深度索引,以使得连续深度索引之间的视差移位在特定图像的像素中是恒定的,并且基于对于阵列中的照相机所捕捉的、与相对于参考视点而言的最大基线相应的图像测量的最小亚像素精度而设置(参见例如图7)。这提高了深度估计的精度足以用作超分辨率处理的输入的可能性。在其他实施例中,连续深度索引无需对应于恒定的像素移位,并且深度搜索可以基于场景的特性而改动。
在几个实施例中,成本函数用于确定相应像素的相似性。通常使用的特定成本函数取决于阵列照相机的构造、阵列照相机所捕捉的图像的数量、以及阵列照相机所用的颜色通道的数量。在若干个实施例中,阵列照相机包括单个颜色通道,和/或使用单个颜色通道内的照相机产生深度图。在来自单个颜色通道内的图像数据用于产生深度图的情况下,可以利用测量相应像素的方差的成本函数。在几个实施例中,可以使用L1范数、L2范数或一些其他度量的和。例如,相对于目标(通常是参考目标,但是还可以使用非参考目标)的相似性的合计。方差越小,像素之间的相似性越大。
来自多个光谱通道的图像数据还可以用于产生深度图。在几个实施例中,通过查看每个光谱通道内的图像的相应像素的相似性来估计给定像素位置处的深度。在若干个实施例中,确定给定像素位置处的深度的处理还涉及使用关于不同光谱通道上的图像的相应像素的相似性的信息。当使用利用多个颜色通道捕捉的图像数据产生深度图时可以利用的成本函数包括(但不限于)来自不同颜色通道的图像数据的组合的和/或多个单个的颜色通道内的相应像素的方差/标准差的L1范数、L2范数、或者L1范数和L2范数的组合。在其他实施例中,可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。
如下面进一步讨论的,本发明的许多实施例在确定参考视点的图像中的像素位置的深度时,利用包括基于自然场景的特性分组的来自多个颜色通道的照相机的照相机子集来降低给定像素位置在该照相机子集中的其他照相机捕捉的替代视图图像中被遮挡的可能性。在阵列照相机在从参考视点捕捉图像的照相机中利用Bayer滤波器的情况下,各种成本函数可以用于确定像素相似性,包括(但不限于)测量红色方差、绿色方差和蓝色方差的组合的成本函数。另外,不同成本函数可以应用于图像的不同区域中的像素。在几个实施例中,使用该技术从中央绿色照相机和照相机阵列的四个角中的每个角上的一组红色、蓝色和绿色照相机捕捉的图像数据产生深度图(参见例如图7)。
图8中例示了根据本发明的实施例的用于使用阵列照相机捕捉的图像确定像素的深度的处理。处理800包括对于从参考视点捕捉的图像的所选像素选择(802)初始假设深度或距离d。基于参考图像内的像素的位置和关于参考视点与用于执行深度测量的其他照相机的视点之间的基线的信息,确定(804)在假设深度d处所捕捉的每个图像中的相应的像素位置。在许多实施例中,不对视差检测处理的输入图像进行几何校正,而是通过在搜索期间将矢量偏移添加于视差移位以识别给定深度d处的相应像素来飞速地应用几何校正。在其他实施例中,在规范化处理期间在搜索开始之前将几何校正应用于图像,并且当计算像素对应性时在搜索期间不必添加几何校正矢量(即,预先计算几何校正)。在后一种情况下,几何畸变的预先校正可以使得所述算法在诸如SIMD和GPU等的并行处理器上的效率显著提高。
如以上所指出的,遮挡可以对于深度估计引入误差。当遮挡/可见性信息可获得时,作为深度测量的一部分,可以忽视(806)被遮挡像素。当关于像素的可见性的信息不可获得时(例如,在产生初始深度图期间和/或在使用图像子集产生深度估计期间),使用所有的在相应像素位置上的像素的相似性确定深度。如下面参照图8A-8I所讨论的,可以对于从阵列照相机捕捉的图像的子集捕捉的图像数据执行初始深度搜索以识别在其中参考图像中的给定像素可见的特定照相机子集。
当识别了相应像素时,可以测量相应像素的相似性(808)。在许多实施例中,使用成本函数确定像素的相似性。所用的特定成本函数取决于被比较的像素信息。如以上所指出的,在一个实施例中,当来自单个颜色通道的像素被比较时,成本函数可以考虑相应像素的L1范数、L2范数和/或方差。当来自多个颜色通道的像素被比较时,可以利用更复杂的成本函数,包括(但不限于)合并来自多个颜色通道的图像数据的L1范数和/或L2范数和/或多个单个的颜色通道内的相应像素的方差/标准差的成本函数。在其他实施例中,可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。在几个实施例中,利用成本函数确定相似性的处理涉及使用滤波器对所计算的成本进行空间滤波,所述滤波器诸如(但不限于)固定系数滤波器(诸如高斯滤波器),或者在替代实施例中,边缘保持滤波器。在替代实施例中,这样用边缘保持滤波器进行滤波是利用来自光度相似的相邻像素的信息改进深度估计的一种自适应支持的形式。在不进行滤波的情况下,深度测量是逐个像素的,并且噪声大于它们被滤波时。使用自适应支持来平滑成本函数可以防止产生不正确深度。在若干个实施例中,使用双边滤波器对所计算的成本进行空间滤波,在这种情况下,双边滤波器权重是从参考图像确定的,但是与正常的双边滤波器相对比,所得的滤波器权重应用于所计算的成本,而不是参考图像。这样,参考图像数据可以用作改进成本估计的去噪的向导。在若干个实施例中,可以利用箱式滤波器和/或适合于特定应用的要求的任何其他滤波器。
在假设深度范围上扫描(812)时重复关于不同深度处的相应像素的成本函数的计算,直到深度搜索完成(810)为止。然后可以将最可能的深度确定(814)为其中(滤波后的)成本函数指示相应像素具有最高相似性程度的假设深度。在几个实施例中,对于给定深度,如果单个照相机显示出非常高的不匹配,则计算早期终止可以发生。在这种状况下,所述处理可以跳到下一个假设深度上,因为当前深度处的匹配将是不可接受的。在许多实施例中,执行深度采样(即,基于特定深度处的视差比较替代视图图像中的像素)的处理涉及在视差空间中均匀地对深度进行采样。换句话说,可以沿着核线以均匀的像素移位获取深度采样。在若干个实施例中,搜索不涉及视差空间中的均匀采样。在几个实施例中,搜索利用图像特性来提高搜索效率。在几个实施例中,搜索使用关于对象在场景中的什么位置的先验信息来确定或限制在试图形成更高分辨率深度图时对哪些深度进行采样,所述先验信息诸如来自较粗略的或较低的空间分辨率的深度图或者降低的视差搜索分辨率(例如,来自图像预览)。例如,预览深度图可以用于确定特定距离以外不存在对象,在这种情况下,对于深度搜索,超出该距离将不分配深度采样。
许多图像表现出类似颜色的区域,因此,可以通过下述步骤智能地执行对于最可能的假设深度的搜索,即,选择在可能的假设深度的范围上最粗略地分布的第一组假设深度,然后在这些假设深度之中找出表现出最高相似性程度的深度。然后执行第二搜索以在第一组深度中在表现出最高相似性程度的深度周围的更精细的深度范围内细化。在更精细的搜索失败并且没有从表现出类似颜色的区域找到最佳像素的情况下,可以在整个深度范围上按比最初的第一粗略搜索中的间隔更精确的间隔执行全搜索。然而,如果在第二搜索中找到令人满意的匹配,则在第二搜索内表现出最高相似性水平的深度可以用作最可能的假设深度。
在许多实施例中,利用对于相邻像素确定的深度信息来执行对于像素的最可能的深度的搜索。在几个实施例中,通过下述方式执行搜索,即,围绕一个或多个相邻像素的深度进行搜索、围绕基于相邻像素的深度(例如,基于相邻像素的平均深度或者基于多对相邻像素的线性插值)而确定的深度进行搜索、和/或通过围绕先前识别的深度(例如,相对于预览图像和/或视频序列中的前一帧确定的深度)进行搜索。这样的搜索还可以简化确定深度时空间滤波器的应用(参见下面讨论)。在其他实施例中,各种技术中的任何一种技术可以用于降低找出图像中的像素的最可能的深度的计算复杂度。
尽管以上关于图8讨论了用于确定从参考视点捕捉的图像中的像素的深度的特定处理,但是各种处理中的任何一种处理可以用于确定像素的深度,包括基于阵列照相机捕捉的多个图像确定从虚拟视点来看的像素的深度的处理。与图8中所示的处理类似的处理可以用于产生初始深度图、然后通过忽略在其中与参考视点的图像中的像素位置相应的像素被遮挡的图像来细化深度图。下面进一步讨论根据本发明的实施例的用于使用自适应支持确定像素对应性的处理。
在存在遮挡时确定像素对应性
在参考视点中无论在哪里存在深度转变或间断,与深度转变相邻的像素都有可能在阵列照相机捕捉的图像中的至少一个中被遮挡。具体地讲,离照相机的距离较远的与转变相邻的像素有可能被与更靠近该照相机的照相机相邻的像素遮挡。理想情况是,如下使用关于阵列中的不包括被遮挡像素的每个可见照相机i的合计成本函数CV(x,y,d)来确定深度图:
其中,Costi,Ref(x,y,d)是相似性度量(即,成本函数),
d是像素(x,y)的深度,以及
Vi,Ref(x,y)是像素(x,y)的可见性,一开始,对于所有照相机,Vi,Ref(x,y)=1。
在若干个实施例中,如下基于对于照相机i,Ref、对于每个像素(x,y)的每个视差假设计算单个的成本Costi,Ref(x,y,d):
Costi,Ref(x,y,d)=S{li(x,y,d),lRef(x,y,d)}
其中,S是相似性度量(例如),以及
li是几何校准之后的校准图像i。
在几个实施例中,产生合计成本的处理可以涉及使用这样的图像,与特定假设的或候选的深度相对应的场景相关的几何移位被应用于该图像中的所有像素。这样,可以对于所搜索的每个候选深度产生移位的图像。通过使用移位的图像,可以以以上概述的方式利用移位的图像与参考图像之间的相似性来产生关于参考视点的图像中的特定像素位置(x,y)的在每个深度处的合计成本。另外,合计成本可以如下考虑候选深度处的移位的图像的相似性:
其中,K是在与参考照相机相同的光谱通道中的一组照相机,
L是一组多对照相机,其中,每对中的两个照相机都在相同的光谱通道(该光谱通道可以是与参考照相机不同的光谱通道,在这种情况下,光场包括多个光谱通道中的图像数据)中,
以及
在若干个实施例中,集合K和L不必包含所有照相机或者满足K和L中的要求的照相机对。此外,还可以使用成本项来构造累积成本函数,在所述成本项中,L的集合包括对于其确定相应像素的成本的任意大的照相机组。在许多实施例中,相似性度量S是L1范数。在几个实施例中,相似性度量可以是若干个公知的相似性度量中的任何一个,包括(但不限于)相应像素的L2范数、方差或标准差(特别是在L包括更大照相机组的情况下)、合并相关性、等级、普查的基于窗口的相似性度量、和/或适合于特定应用的要求的任何其他度量。尽管以上在移位的图像的背景下讨论了比较,但是可以容易地意识到,可以通过将移位应用于单个的像素位置并且比较假设深度处的相应像素(与将移位应用于图像中的所有像素、然后比较移位的图像完全不同)来执行比较。
在若干个实施例中,成本函数还考虑不同光谱通道上的相应像素之间的相似性。在几个实施例中,可以使用各种度量中的任何一种度量来估计来自不同光谱通道的像素中的像素邻域的相似性,所述各种度量包括(但不限于)这些邻域中的像素的互相关性、这些领域中的像素之间的规范化的互相关性、和/或用于测量两个像素集合的相对值的相似性的任何其他度量(诸如(但不限于)包括测量交互信息的熵度量)。
在几个实施例中,不同的加权可以应用于包含参考图像的光谱通道内的相应像素的相似性、同一光谱通道中的替代视图图像内的相应像素的相似性、和/或不同光谱通道中的图像内的相应像素的相似性。
如以上所讨论的,可以如下对合计成本函数进行空间滤波:
FilteredCV(x,y,d)=Filterxn,yn∈N(x,y){Cost(xn,yn,d)}
其中,Filter(滤波器)应用于包围像素位置(x,y)的邻域N(x,y)。
滤波器可以是简单的3×3或N×N箱式滤波器、或者一些其他滤波器,包括(但不限于)使用参考图像作为指导的联合双边滤波器、固定系数滤波器(诸如高斯滤波器或箱式滤波器)、或任何适合的边缘保持滤波器。在几个实施例中,加权的合计成本函数如下:
其中,N(x,y)是像素(x,y)的最近邻域,其可以是方形、圆形、矩形、或适合于特定应用的要求的任何其他形状,
Norm是规范化项,
IRef(x,y)是来自参考照相机的图像数据,
wd是基于像素距离的加权函数,以及
wr是基于强度差异的加权函数。
在许多实施例中,滤波器是双边滤波器,wd和wr都是高斯加权函数。
基于滤波后的合计成本函数,可以如下通过选择深度图中的最小化每个像素位置处的滤波后的成本的深度来计算深度图:
D(x,y)=argmind{FilteredCV(x,y,d)}
当以以上概述的方式使用边缘保持滤波器对合计成本函数进行滤波时,噪声将导致不正确地检测被遮挡像素的可能性降低。不是对于单个的像素计算深度,而是围绕每个像素使用自适应支持窗口来以保留深度转变的方式对噪声进行滤波。利用诸如(但不限于)双边滤波器的滤波器提供基于内容而改动的自适应支持窗口。在许多实施例中,使用双边滤波器,在所述双边滤波器中,使用参考图像来定义对于双边滤波器的空间和范围支持(即,定义对于关于特定像素的合计成本函数有贡献的像素窗口的大小的参数)。结果,可以使用作为同一表面的一部分的像素的所计算的成本函数来实现像素的成本函数的平滑。在其他实施例中,诸如(但不限于)箱式滤波器的滤波器的计算复杂度较低,并且针对特定应用的要求提供足够的滤波。
对于像素在多个光谱通道中的像素对应性
根据本发明的许多实施例的阵列照相机包括多个光谱通道中的照相机,诸如,但不限于,红色、绿色和蓝色照相机。以上在单个光谱通道和多个光谱通道的背景下描述了成本度量CV(x,y,d)。在包括红色、绿色和蓝色照相机的阵列照相机的情况下,成本函数可以考虑特定深度处的、绿色照相机中的像素的相似性、红色照相机中的像素的相似性、以及蓝色照相机中的像素的相似性。在特定颜色通道中的照相机被选为参考照相机(例如,绿色照相机)的情况下,其他通道(例如,红色照相机和蓝色照相机)中的像素难以直接与参考图像中的像素进行比较。然而,可以确定特定深度处的视差,并且可以比较其他颜色通道中的相应像素的强度值。将这些另外的比较合并到深度估计中可以通过利用所有颜色通道上的信息来改进深度估计。下面进一步讨论可以用于在包括红色、绿色和蓝色照相机的阵列照相机中执行深度估计的各种成本函数。然而,可以容易意识到,根据本发明的实施例,可以对于任何光谱通道集合利用相同的成本函数。
在几个实施例中,使用包括红色、绿色和蓝色照相机的阵列照相机捕捉图像数据,并且绿色照相机被选为参考照相机。可以利用当确定深度估计时考虑一组绿色照相机中的像素之间、一组红色照相机中的像素之间、以及一组蓝色照相机中的像素之间的像素对应性的成本函数。在几个实施例中,可以利用下列成本函数:
Cost(x,y,d)
=γG(x,y).CastG(x,y,d)+γR(x,y).CostR(x,y,d)
+γB(x,y).CostB(x,y,d)
其中,CostG(x,y,d)是一组绿色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的像素的相似性的度量,
CostR(x,y,d)是一组红色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量,
CostB(x,y,d)是一组蓝色照相机内的基于深度d确定的位置和参考绿色照相机中的像素(x,y)的位置上的相应像素的相似性的度量,以及
γG、γR和γB分别是绿色、红色和蓝色成本函数的加权因子,这些加权因子可以对于整个参考视点是常数,或者可以空间变化。
空间加权可以取决于所捕捉的图像数据(例如,使用边缘梯度),可以校正或使用传感器的已知性质(例如,使用给定传感器的先验噪声模型来计算SNR)、以及成本函数的性质(这是空间加权取决于图像数据的另一种情况)。另外,在确定加权时还考虑在捕捉图像数据期间所用的成像参数,诸如(但不限于)在其捕捉到图像的增益或检测到的光水平可以用于调制加权因子。
成本函数CostG(x,y,d)可以是上述度量之一。在许多实施例中,CostG(x,y,d)使用基于下列项的相似性度量:将替代视图图像中的像素与参考图像中的像素进行比较的L1范数、将替代视图图像中的像素与参考图像中的像素进行比较的L2范数、和/或绿色照相机所捕捉的图像集合中的像素之间的方差。在其他实施例中,可以利用L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的度量)。
在若干个实施例中,关于其他颜色通道的成本函数(CostR(x,y,d)和CostB(x,y,d))不利用包括参考图像的像素的比较作为确定像素对应性的基础。在几个实施例中,通过计算颜色通道内的一组照相机中的每个单独一对相应像素之间的合计差异来执行相应像素的相似性。在使用四个红色照相机RA、RB、RC和RD确定深度的阵列照相机的例子中,可以如下确定成本:
CostR(x,y,d)
=|RA(xA,yA)-RB(xB,yB)|+|RA(xA,yA)-RC(xC,yC)|
+|RA(xA,yA)-RD(xD,yD)|+|RB(xB,yB)-RC(xC,yC)|
+|RB(xB,yB)-RD(xD,yD)|+|RC(xC,yC)-RD(xD,yD)|
其中,(xA,yA)、(xB,yB)、(xC,yC)和(xD,yD)是基于照相机RA、RB、RC和RD中的每个照相机中分别在深度d处的视差确定的像素位置。
以上度量可以被称为组合成本度量,并且可以应用于不包含参考照相机的任何颜色通道内。在几个实施例中,可以利用不包括颜色通道内的一组照相机中的单独一对相应像素的所有组合的组合度量。在几个实施例中,可以利用阵列照相机所捕捉的图像的子集的单独一对相应像素。当对于虚拟视点确定深度时,没有一个光谱通道包含“参考照相机”,并且组合成本度量可以应用于每个光谱通道中。尽管组合成本度量在上面被示为利用L1范数来确定像素强度值之间的相似性,但是在其他实施例中,可以利用L2范数、像素方差、L1范数和L2范数的截断版本、和/或基于等级、普查、相关性的任何基于块的相似性度量、和/或任何其他适合的度量(诸如多视图立体视差检测技术中所实行的那些度量)。
加权因子(例如,γG、γR和γB)可以用于确定每个光谱通道对于深度估计的贡献。加权可以是固定的,或者在参考图像中的像素之间变化。在许多实施例中,可以使用SNR估计器对于参考图像产生信噪比(SNR)图。在几个实施例中,SNR估计器可以基于信号噪声的先验表征来确定SNR。SNR响应高的区域可以指示存在纹理或高信号。SNR估计低的区域可以指示几乎整个由噪声构成的无纹理区域。在某些情况下,来自图像的数据可能在某些光谱通道中有噪声,但是在其他光谱通道中没有噪声。例如,一个区域可以在绿色图像中表现为无纹理,但是在红色照相机捕捉的图像中具有信号内容。因此,绿色照相机将对于成本函数贡献很少的有用信息,并且实际上可能对于深度估计处理引入噪声,导致深度估计的可靠性低于成本函数中仅包括红色或蓝色照相机时。因此,SNR图可以用于确定应用于每个颜色通道的加权。在几个实施例中,如果参考图像中对于像素(x,y)的SNR估计低,意味着围绕像素(x,y)的邻近区域有可能是无纹理的,并且不包含重要信号,则应在像素(x,y)处减小用于包含参考图像的颜色通道的加权。
在许多实施例中,还可以使用更严格的条件,和/或使用更严格的条件作为替代条件,在所述更严格的条件中,应在像素(x,y)处减小用于包含参考图像的光谱通道的加权,当参考图像中的像素(x,y)处的、以及对于所有照相机的参考图像中的最大视差的半径(沿着核线)的SNR估计表现出低SNR时,应在像素(x,y)处减小用于包含参考图像的光谱通道的加权。最大视差的半径可以仅相对于沿着核线定位的像素确定,所述核线是相对于光谱通道内的照相机阵列中的其他照相机确定的。更严格的标准承认,尽管SNR可能在参考图像中的像素位置(x,y)处很低,但是在包含参考照相机的颜色通道内的另一个照相机中可能存在离像素(x,y)一定距离(小于最大视差移位)的内容,该内容可以取消候选深度有可能匹配的资格。因此,尽管像素位置(x,y)可能具有低SNR,但是附近的内容仍然可以尽可能地对于取消资格的某些深度提供有用信息。
在若干个实施例中,参考图像中的强SNR可以用于减小应用于其他颜色通道的加权以节省计算(即,更少的照相机必须被搜索)。另外,可以对于其他颜色通道之一中的照相机估计SNR以确定成本函数中应用于该颜色通道的加权。在许多实施例中,确定SNR的处理涉及沿着将替代视图照相机中的像素位置(x,y)连接到参考照相机的核线估计SNR。然后,可以在高SNR的区域中搜索一条核线或多条核线。如果在替代视图照相机中沿着核线找到高SNR贡献,则替代视图照相机所属的颜色通道的加权可以被设置为使得该颜色通道对于关于参考图像中的像素位置(x,y)的成本度量有贡献。相反,如果沿着从像素位置(x,y)开始的核线,替代视图图像仅显示出SNR,则包含替代视图图像的颜色通道的贡献可以相应地减小。在许多实施例中,当确定在确定深度估计时应用于颜色通道的加权时,考虑每个颜色通道中的多个照相机。尽管以上描述了用于使用不包括参考照相机的颜色通道内所包含的信息来估计深度的特定处理,但是根据本发明的实施例,根据特定应用的要求,可以利用各种处理中的任何一种处理来基于多个颜色通道中所包含的信息确定深度估计。
基于初始深度图,可以基于所计算的深度图D(x,y)或者基于滤波后的深度图F(D(x,y))来更新可见性Vi,Ref(x,y),所述滤波后的深度图F(D(x,y))是使用固定系数滤波器(诸如高斯或箱式滤波器)或者自适应或边缘保持滤波器(诸如(但不限于)使用参考图像作为指导的联合双边滤波器)进行滤波的。各种技术可以用于确定从参考视点捕捉的图像中的像素在另一个图像中是否被遮挡。在若干个实施例中,初始深度图用于识别可能被遮挡的像素。关于前景对象的信息可以用于识别在其中遮挡有可能发生的区域。另外,初始深度图的各种另外的特性中的任何一种特性可以用于检测遮挡,包括(但不限于)深度图内的不寻常的深度转变和/或与局部像素深度值不一致的像素深度值。
尽管以上关于图8的大部分讨论与使用单个光谱通道中的或者红色、绿色和蓝色颜色通道中的图像数据产生深度估计相关,但是上述技术对于各种光谱通道中的任何一个同样适合(术语颜色通道和光谱通道在本文中可互换使用)。可以利用与上述合计成本函数类似的合计成本函数,包括使用上述任一技术对于每个光谱通道确定的成本项。另外,成本函数可以包括使用与上述那些技术类似的技术对光谱通道上的像素的相似性进行加权的成本项。所得的深度估计的精度可以取决于深度估计利用在其中参考图像中的像素位置(x,y)被遮挡的图像的像素的程度。下面进一步讨论用于当参考视点的图像中的像素位置(x,y)在所述图像集合中的一个或多个图像内被遮挡时改进深度估计的精度的技术。
使用图像子集产生考虑遮挡的深度图
可见性模式存在于自然场景中。因此,模式Vi,Ref(x,y)通常不是任意的。关于在其中参考图像中的像素可见的照相机的强先验存在。在许多实施例中,可以以还提供对于Vi ,Ref(x,y)的估计的方式确定深度图,在所述估计中,在其中像素(x,y)被遮挡的照相机被不正确识别的可能性低。基于对于Vi,Ref(x,y)的估计,可以在不需要迭代以细化Vi,Ref(x,y)的可见性的情况下确定深度估计。可替代地,可以执行额外的迭代以基于使用可靠的深度估计获得的可见性信息通过包括额外的照相机来细化深度图。然而,通过获得更好的初始深度图,迭代处理有可能更迅速地收敛。
在许多实施例中,产生深度图的处理涉及:使用多个照相机集群或子集确定深度,每个照相机集群或子集对应于场景内的不同可见性模式;并且选择深度估计作为使用所述照相机集群捕捉的图像的子集确定的深度,在所述子集中,相应像素具有最高相似性。图8A中例示了根据本发明的实施例的使用表示照相机阵列的子集的照相机组所捕捉的图像确定像素(x,y)的深度的处理。处理850包括:选择(852)与场景内的特定可见性模式相对应的初始照相机组,并且使用该照相机组所捕捉的图像数据的子集确定(854)候选深度估计,所述候选深度估计基于该照相机组内的相应像素在其具有最高相似性的深度而产生。在几个实施例中,所述处理类似于以上关于图8概述的处理,除了成本是对于每个图像子集确定的并且使用这些子集产生的最低成本深度估计被选为对于相关像素位置的候选深度估计。如下面进一步讨论的,然后将候选深度估计处的图像子集内的相应像素的相似性与其他候选深度估计处的其他图像子集内的相应像素的相似性进行比较以确定在给定应用的背景内最可靠的候选深度估计。在许多实施例中,被选为对于像素位置的深度估计的候选深度估计是基于该候选深度估计处的具有最相似的相应像素的图像子集确定的。
在许多实施例中,照相机组可以包括来自多个颜色通道的照相机,并且每个颜色通道中的成本度量加权相似性用于使用照相机组估计参考图像中的像素(x,y)的深度。所述处理然后遍历多个不同照相机组迭代(856、858、854),直到对于每个照相机组确定深度估计为止,所述多个不同照相机组中的每个照相机组对应于场景内的不同可见性模式。可以通过从在其中所估计的深度处的相应像素具有最高相似性的照相机组选择深度估计来获得对于参考视点的图像中的像素位置(x,y)的深度估计。如以上所指出的,可以使用对多个光谱通道中的和/或跨光谱通道的像素的相似性进行加权的成本函数来确定像素的相似性。在其中所估计的深度处的相应像素具有最高相似性的图像子集对应于特定可见性模式,并且提供Vi,Ref(x,y)的初始估计,该初始估计具有错误地识别参考视点的图像中的像素位置(x,y)在它在其中被遮挡的照相机中可见的低可能性。
尽管以上提供的讨论是在对于每个照相机组、对于参考图像中的像素位置(x,y)执行搜索的背景下呈现的,但是可以使用与特定可见性模式相对应的每个照相机组来对于参考图像中的像素分别估计深度图。这样,可以对使用特定照相机组对于像素位置(x,y)确定的成本度量进行滤波以消除成本函数中的噪声。因此,可以使用对于具有最小的滤波后的成本度量的照相机组的深度估计来选择对于像素位置(x,y)的深度估计。应用于使用特定照相机组确定的成本度量的滤波器可以是固定的,或者可以是空间自适应的。根据本发明的实施例,可以基于特定应用的要求来确定所用的特定滤波器。在选择了对于参考图像中的像素的深度估计之后,可以执行额外的滤波来进一步平滑初始深度图中的噪声。
用于检测场景内的特定可见性模式的照相机集群或分组可以取决于阵列照相机中的照相机的数量、被选为参考照相机的照相机、和/或来自不同颜色通道的照相机在阵列内的分布。图8B-8I中示出了成5×5阵列的八个照相机组,这八个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这八个组通过旋转并且翻转同一包括12个照相机的组模板而产生。根据组模板的方位,这包括七个绿色照相机、以及三个红色照相机和2个蓝色照相机、或者3个蓝色照相机和2个红色照相机。如以上所指出的,组模板可以用于当对于位于5×5阵列的中心处的参考绿色照相机中的像素(x,y)估计深度时选择照相机组。可以通过从在其中所估计的深度处的、三个颜色通道中的相应像素具有最高相似性的照相机组选择深度估计来估计像素位置(x,y)的深度。
尽管特定组在图8B-8I中被示为用于选择照相机组,但是可以利用与场景内的常见可见性模式相对应的各种模板中的任何一种。例如,可以如下面参照图10描述的那样选择沿着单条核线的照相机组。在许多实施例中,这些组被选择为使得包含参考照相机的颜色通道中的相同数量的照相机出现在每个照相机组中。另外,这些组可以被确定为在每个照相机组中存在在其他颜色通道中的至少两个照相机。如果这些组包括奇数个照相机,则相对于不同大小的组的成本度量可能有偏差,可以通过规范化来考虑该偏差。在许多实施例中,照相机组被选择为提供基线多样性(与图10中所示的基于共享公共基线而选择的组形成对比)。对其执行深度搜索的不同径向核线的数量越多,照相机组所捕捉的图像之一将越有可能包含可以帮助识别错误深度的信息。在几个实施例中,照相机组被选择为使得每组的核线所限定的扇区的中心角度相同。
在较小的阵列照相机(诸如(但不限于)4×4阵列照相机)中,根据该阵列内所用的滤色器的模式,可能不能选择在每个颜色通道中包含相同数量的照相机的照相机组。在几个实施例中,使用滤色器模式,以使得与常见可见性模式相对应的照相机组在单个颜色通道中包含相同数量的照相机。这样,颜色通道内所捕捉的图像数据可以用于通过比较使用不同子组获得的深度估计的滤波后的成本来对于被遮挡的或者以其他方式不匹配的像素估计深度。图8J-8M中示出了成4×4阵列的四个照相机组,这四个照相机组对应于有可能在场景内相对于位于阵列的中心处的参考照相机中的像素存在的不同可见性模式。这四个组通过旋转并且翻转同一包括4个照相机的组模板而产生。在所示的实施例中,存在三个颜色通道:红色、绿色和蓝色。每个照相机组包括三个绿色照相机和一个蓝色或红色照相机。由于存在单个红色或蓝色照相机,所以在几个实施例中,使用在绿色颜色通道中捕捉的图像数据来确定深度估计。对于给定像素位置(x,y),得到最可靠的深度估计(即,最低成本)的组的红色或蓝色照相机中的图像数据被假定为在参考视点的图像中是可见的。因此,为了计算相应像素在红色或蓝色颜色通道内的其他图像中的可见性的目的,可以使用红色或蓝色图像中的与参考视点的图像中的像素位置(x,y)相对应的像素位置上的像素值作为参考像素。对于图8J-8M中所示的每个组,从该组排除光谱通道之一。然而,为了确定像素在被排除的颜色通道中的可见性的目的,可以利用π滤波器组的使用来识别被排除的颜色通道中的图像中的哪个应被用作参考图像。当π照相机组的中央照相机的视点用作参考视点时,被排除的颜色通道中的两个图像将已经从参考视点的相对侧的视点捕捉。在典型的自然场景中,参考视点的图像内的像素位置有可能在被排除的颜色通道中的相邻照相机所捕捉的图像中的至少一个中是可见的。为了确定图像中的哪个(如果有的话)最有可能获得与参考视点的图像中的可见的像素位置相对应的像素,两个子组内的相应像素的相似性包含这两个图像。假定子组中的至少一个中的相应像素实现阈值水平的相似性,那么在其中相应像素具有最高相似性水平的子组中的图像可以被选为被排除的颜色通道的参考图像。这样,被排除的颜色通道内的任何图像中的相应像素的可见性可以基于其与被排除的颜色通道的参考图像的相应像素的相似性而确定。在从与参考视点相邻的视点捕捉的图像均不可靠地包含与参考视点的图像内的像素位置相应的可见像素的情况下,可以利用替代技术来识别被排除的颜色通道内的包含可见的相应像素的图像和/或确定来自被排除的颜色通道的个体图像内的像素的可见性。在几个实施例中,可以通过以本文中所描述的方式执行核线搜索来确定可见性。在若干个实施例中,互通道相似性度量可以用于确定被排除的颜色通道中的图像内的可以用作参考像素的相应像素。在几个实施例中,为了确定被排除的颜色通道中的图像中的其他相应像素的可见性的目的,可以利用在其中围绕相应像素的邻域表现出与参考图像的最高互相关性(或任何其他适合的互通道相似性度量)的图像作为参考像素。在阵列照相机包括不同大小的照相机阵列的情况下,可以采取类似的方法。
在许多实施例中,用于对于参考照相机中的像素估计深度的照相机组对应于阵列内的照相机对。通过使用阈值,可以识别在其中像素(x,y)有可能可见的照相机,并且构造初始可见性图Vi,Ref(x,y)。阈值可以是硬阈值、和/或基于参考图像中的SNR的阈值。同样也适用于更大的照相机组,诸如图8B-8I中所示的那些照相机组。阈值可以用于检测相应像素集内的一个或多个离群值像素的存在。然后可以组合被发现不包含离群值的照相机组,并且重新用该新的组合集计算深度,以改进深度估计的精度。以类似的方式,可以通过一开始假定所有照相机在可见性图Vi,Ref(x,y)中都是可见的来构造初始深度图。各种技术中的任何一种可以用于确定像素(x,y)在照相机阵列中的照相机中的至少一个中是否可见,包括(但不限于)以以上概述的方式使用阈值、和/或沿着核线执行遮挡搜索。然后可以再次使用与以上关于图8A概述的处理类似的处理来估计有可能在阵列中的照相机中的至少一个中被遮挡的像素的深度。这样,可以迅速地识别在其中像素被遮挡的照相机。
尽管以上参照图8A-8I描述了用于当对于参考图像内的像素估计深度时确定深度图和可见性图的各种处理,但是根据本发明的实施例,可以利用各种处理中的任何一种处理来根据特定应用的要求确定初始深度图和/或可见性图。下面进一步讨论用于识别被遮挡像素的处理,包括涉及沿着核线执行对于被遮挡像素的搜索的处理。
识别被遮挡像素
与从初始深度图识别被遮挡像素相关联的挑战是,使用被遮挡像素确定的深度图内的深度可能是错误的。最可靠的深度估计是场景中的最靠近照相机的对象的那些深度估计。这些是还引起最大视差并且可能导致最大数量的像素遮挡(这依场景内的对象的分布而定)的对象。因此,可以通过沿着基线矢量在参考图像中搜索遮挡像素来确定在参考图像中可见的像素在第二图像中是否被遮挡。遮挡像素是这样的像素,该像素足够靠近照相机以至于从第二图像的角度观察到的视差将大得足以遮挡在参考图像中可见的像素。可以参照图9来理解对于遮挡像素的搜索。图9中示出了从参考视点900捕捉的图像。为了确定阵列照相机所捕捉的第二图像中的具有深度d1的像素(x1,y1)的可见性,沿着与捕捉参考图像的照相机与捕捉第二图像的照相机之间的基线平行的线902进行搜索。当像素(x2,y2)更靠近照相机(即,位于深度d2<d1)时,像素(x1,y1)将被遮挡。因此,在d2≥d1的情况下,所有像素(x2,y2)都可以被忽视。在每个像素的场景相关的几何移位(分别是s2和s1)大于沿着与基线矢量平行的线902的这两个像素之间的距离的情况下,像素(x2,y2)将遮挡像素(x1,y1)。换句话说,当下列情况时像素(x2,y2)遮挡像素(x1,y1):
阈值
在几个实施例中,以上表达式中的阈值可以被确定为在随后的超分辨率处理期间使用的超分辨率因子的倒数(例如,当超分辨率处理试图实现3倍的分辨率提高时,像素的1/3的阈值是适合的)。当没有找到满足以上表达式的像素时,像素(x1,y1)可以被推断为在第二图像中是可见的。在对于某一像素(x2,y2)满足以上表达式的情况下,像素(x1,y1)可以被认为被遮挡。因此,可以重复图8中所示的处理来在忽视第二图像(以及在其中像素(x,y)被遮挡的任何其他图像)的情况下创建对于像素(x,y)的更新的深度估计。可以容易地意识到,初始深度估计中的错误深度可以导致可见像素在用于确定深度图的处理的未来的迭代中被忽视。使用自适应支持来提供光度一致的深度降低了噪声将导致检测到错误像素遮挡(这从后续处理迭代消除有用信息)的可能性。在许多实施例中,将像素指定为被遮挡的决策考虑像素的相似性以及像素(x1,y1)和(x2,y2)的估计深度的置信度。如下面进一步讨论的,可以相对于参考图像的深度图产生置信图,置信图指示特定深度图的可靠性。因此,使用以上提供的表达式识别的可能的遮挡可以被忽视,在以上提供的表达式中,每个像素的场景相关的几何移位(分别是s2和s1)基于不可靠的深度估计。类似地,涉及下述像素的可能的遮挡可以被忽视,在所述像素中,这些像素的强度的差异低于预定阈值。在像素值足够相似的情况下,即使像素被遮挡,在像素上产生的深度估计也将几乎不受影响。在其他实施例中,当根据特定应用的要求视情况决定是否在可见性图中将像素指示为被遮挡时,可以考虑各种其他考虑因素。
以上关于图9所讨论的搜索可以沿着与用于执行深度估计的每一个照相机相对应的核线进行。当所捕捉的图像被正确地修正时,可以通过相对于从参考视点捕捉的像素的行和列对齐照相机的基线来简化搜索(参见以上对于修正的讨论)。对于遮挡像素的搜索无需对于参考图像中的每一个像素执行。相反,可以对于有可能在阵列照相机所捕捉的一个或多个图像中被遮挡的像素(包括(但不限于)与深度转变邻近的像素)进行初始搜索。然后可以对于被认为有可能被遮挡的像素执行对于遮挡像素的搜索。另外,可以通过预先基于距离计算像素的投影(这些投影指示其中沿着基线的相邻像素将被遮挡的深度)来更高效率地执行对于遮挡像素的搜索。另外,一旦像素被确定为被遮挡,就可以通过利用遮挡像素的投影来简化用于检测相邻像素的遮挡的处理。在其他实施例中,可以利用各种技术中的任何一种技术来更高效率地找出遮挡像素和被遮挡像素,包括(但不限于)根据本发明的实施例基于深度渲染图像。
如以上所指出的,将被遮挡像素包括在初始深度图的确定中可以在所得的像素深度中引入误差。当使用与以上概述的任一处理类似的处理检测到遮挡并且深度图被更新时,深度图中的误差被去除。当深度图中的误差被去除时,可以更精确地预测被遮挡的像素。因此,可以迭代地执行检测遮挡的处理,直到达到停止标准为止。在若干个实施例中,停止标准可以是(但不限于)在特定迭代中检测到的被遮挡像素(以前未被检测到)的数量降至低于预定数量和/或预定次数的迭代的完成。
回头参照图6,例示了根据本发明的实施例的用于产生并且细化深度图的处理。在许多情况下,用于确定(602)初始深度图的处理将具有高估被遮挡像素的视差的趋势。这具有将被遮挡像素推送到前景中的效果。因此,在若干个实施例中,为了更新(606)深度图的目的,也可以将遮挡另一个像素的像素如被遮挡像素那样进行处理。这样,可以检测并且更新具有错误初始深度测量的背景像素的深度。如下面进一步讨论的,一旦深度图敲定,就可以分别地确定(610)被忽略的像素的可见性。在若干个实施例中,诸如图6中所示的处理600的处理还涉及将双边滤波器应用于深度图以帮助随着该处理迭代使深度图稳定。
深度估计的精度通常随着产生深度估计时所用的阵列照相机所捕捉的光场中的图像的数量提高。然而,考虑到较少数量的图像可以降低获得深度估计的计算复杂度。当深度转变发生时,遮挡通常将在参考视点的一侧捕捉的图像中发生。因此,与上述搜索类似的对于遮挡像素的搜索可以用于确定像素在参考照相机的一侧所捕捉的一组图像中是否被遮挡。如果搜索指示没有发生遮挡,则可以使用该组图像来确定像素的深度,并且更新深度图。
图10中例示了可以用于使用阵列中的绿色照相机构造深度图的5×5阵列照相机。阵列照相机1010包括中央参考绿色照相机(1012)。为了确定在绿色照相机所捕捉的图像中的至少一个中被遮挡的像素的深度的目的,利用阵列中的其余绿色照相机来形成八个径向的三个绿色照相机的组。尽管图10中例示了径向组,但是还可以利用围绕参考视点的四个象限中的每个象限中的照相机组。一个组可以如一个照相机对那么小,所述照相机对之一是从参考视点捕捉图像的照相机。在许多实施例中,还可以利用诸如以上参照图8A-8I所讨论的那些组的组。
尽管以上关于图6、8A-8I、9和10讨论了用于检测像素遮挡的特定处理,但是根据本发明的实施例,可以利用各种处理中的任何一种处理来产生深度图,包括(但不限于)降低检测遮挡的计算复杂度的处理。在几个实施例中,确定每个像素的深度的处理可以涉及基于假设深度和假设可见性的搜索,并且得到最高像素对应性的深度和可见性组合被选为最有可能的深度和遮挡集合。这样确定的可见性可以通过使用上述用于检测遮挡像素的方法来确认。
在许多实施例中,在包括(但不限于)超分辨率处理的处理中利用关于从参考视点捕捉的图像中的像素的可见性的信息。下面进一步讨论根据本发明的实施例的用于使用深度图确定阵列照相机从参考视点捕捉的图像中的像素的可见性的处理。
确定像素的可见性
像素可见性可以用于确定深度图和各种其他应用中,所述各种其他应用包括(但不限于)超分辨率处理。在几个实施例中,使用与以上概述的处理类似的处理产生的、关于从参考视点捕捉的图像的深度图被用于产生关于阵列照相机所捕捉的其他图像(即,从替代视点捕捉的图像)的可见性图。在几个实施例中,可以关于替代视图图像中的像素从参考视点来看是否可见以及第一替代视图图像中的像素在其他任一替代视图图像中是否可见来确定可见性图。在若干个实施例中,用于确定关于在单个颜色通道内捕捉的图像的可见性图的处理涉及比较与从参考视点捕捉的图像中的像素相对应的像素的光度相似性。被认为具有预定相似性水平的像素可以被认为是可见的,低于阈值相似性水平的像素可以被认为被遮挡。用于确定相应像素的光度相似性的阈值可以基于这些相应像素的相似性而改动。在几个实施例中,阈值被确定为参考图像的像素和与参考图像的该像素最相似的相应像素之间的光度距离的函数。当阵列捕捉多个颜色通道中的图像数据时,单个颜色通道中的像素的可见性可以用于确定其他通道中的像素的可见性。
图11中例示了根据本发明的实施例的用于确定与参考图像内的像素相应的像素的可见性的处理。处理1100包括从从参考视点捕捉的图像选择(1102)像素。使用与上述处理类似的处理产生的深度图可以用于确定所选像素的深度。基于所选像素的深度,可以确定(1104)阵列照相机所捕捉的每个图像中的相应像素的位置。这些相应像素与参考图像的所选像素的相似性可以用于确定这些相应像素的可见性。在若干个实施例中,像素的光度距离用作相似性度量以及用于确定有可能可见的像素和有可能被遮挡的像素的阈值。在许多实施例中,阈值根据被比较的像素的特性而变化。在某些实施例中,通过使用参考像素的强度作为被发现在给定颜色通道中可见的相应像素的像素强度值的子集的平均值来确定用于确定相应像素的相似性的阈值。在几个实施例中,被求平均值的特定相应像素强度可以取决于相应照相机基线、这些像素的置信度值(如果可获得的话)、以及这些像素的相关联的匹配成本。在几个实施例中,阈值被确定(1106)为参考图像的所选像素与光度上最靠近该所选像素的相应像素之间的光度距离的函数。在若干个实施例中,阈值基于参考图像中的相应像素的像素强度和/或替代视图图像中的像素的强度。在某些实施例中,使用关于所捕捉的图像的SNR模型确定阈值。在若干个实施例中,缩放所选像素和最靠近的相应像素的光度距离和/或添加偏移以获得适当的阈值。在其他实施例中,各种技术中的任何一种技术可以用于确定相应像素的可见性的阈值,包括(但不限于)使用固定阈值。
比较(1108)参考图像的所选像素和相应像素,并且使用阈值来确定(1110)像素的相似性。当参考图像的所选像素和相应像素之一的光度距离小于阈值时,确定(1112)该相应像素是可见的。当参考图像的所选像素和相应像素之一的光度距离超过阈值时,确定(1114)该相应像素被遮挡。
可以对于参考图像中的像素子集或全部像素重复图11中所示的处理(1100)以产生关于阵列照相机所捕捉的其他图像中的相应像素的可见性图。在从参考视点捕捉图像的照相机中的所有像素都在单个颜色通道中的实施例中,与图11中所示的处理类似的处理有效地产生在单个颜色通道内捕捉的图像的可见性。当阵列照相机还包括在其他颜色通道中捕捉的图像时,可以通过对光谱通道内的图像的已知或者有可能在参考视点中可见的相应像素执行与上述比较类似的比较,来确定与参考图像不在相同的颜色通道中的图像中的像素的可见性。在其他实施例中,捕捉参考图像的照相机采用使得能够从参考视点捕捉多个颜色通道中的图像数据的Bayer滤波器(或另一适当的滤波器模式)。在这种情况下,与图11中所示的处理类似的处理可以用于产生关于多个颜色通道中的图像的可见性信息,其中,该处理涉及对Bayer滤波器模式进行去马赛克以获得参考视图中的每个位置处的红色和蓝色像素值。
尽管以上在图11的背景下讨论了特定处理,但是各种处理中的任何一种处理可以用于根据本发明的实施例确定阵列照相机所捕捉的图像中的像素的可见性,包括(但不限于)作为产生深度图的处理的一部分的、迭代地细化可见性信息的处理。在许多实施例中,产生深度图和可见性图的处理还包括产生置信度图,该置信度图可以在该置信度图中提供关于所估计的深度的可靠性的信息。下面进一步讨论根据本发明的实施例的用于确定置信度图的处理。
置信度图
用于产生深度图的处理(包括上述那些处理)可以导致深度图内的在其中深度估计不可靠的区域。图18A中例示了使用阵列照相机捕捉的图像数据合成的图像的无纹理区域,图18B中例示了根据本发明的实施例的使用与上述处理类似的处理产生的关于该图像的深度图。在无纹理区域1800中,用于以上述方式确定深度的成本度量是有噪声的,不过可以找到最小成本(即,在照相机显示出最大对应性的深度处),结果很大程度上取决于传感器和光子噪声,而非任何重要的底层信号。这样的区域中的像素对应性(用成本度量测量)实际上在所示的深度处最大,但是所示的所得深度不是物体的正确深度。相反,在边缘区域1802中,成本函数显示出成本在其非常肯定地最小的深度。在那里,边缘信号比噪声大得多,所以可以以更高的置信度检测到与物体的实际深度相对应的视差。
然而,深度误差不限于无纹理区域。另一类深度误差发生在遮挡区域中,在遮挡区域中,某些背景区域在一些照相机中是可见的,而在其他照相机中是不可见的。可以沿着轮胎的轮缘看到这种误差,在轮胎的轮缘中,前景区域与背景区域交叉。在深度图中,出现了包含前景或背景之间的界面处的错误深度估计的区域1804。
当产生深度图时,可以产生置信度图,该置信度图通过某一度量用数字方式描述深度图内的不同深度估计的可靠性。置信度图可以被后续处理阶段或第三方应用用于确定深度图的哪些区域可能最依赖于进一步的处理。例如,深度测量效用可以使得用户点击使用超分辨率处理合成的图像的区域以获得特定像素的深度。如果用户点击图像的像素,则可以在返回结果之前检查置信度图。如果所请求的位置处的深度的置信度低,则用户接口可以回避报告该位置处的深度。如果置信度图高,则用户接口可以安全地报告所选位置处的深度。也就是说,置信度图可以用于使结果适宜于特定应用,而不是返回其中已知深度图包含误差的不精确值。
置信度图可以以各种方式进行编码,并且可以存在在单个置信度图内编码的多类或多轴置信度。下面讨论根据本发明的实施例的可以用于对置信度图中的置信度度量进行编码的各种置信度度量。
在几个实施例中,基于像素的深度估计是否在图像内的无纹理区域内使用置信度度量对置信度图进行编码。如以上所指出的,可以基于包围给定像素的区域中的SNR来检测无纹理区域。如果SNR高于已知的可调阈值,则可以以二进制方式将该区域标记为无纹理。可替代地,可以重新对SNR本身(不被阈值化)进行线性或非线性映射,并且使用该SNR来用作连续的置信度指示符。
在许多实施例中,可以计算梯度边缘图(例如,Prewitt或Canny),并且使用该梯度边缘图作为置信度图内的置信度度量。因为边缘和纹理通常具有高置信度,所以梯度图和SNR图通常提供对于深度图的良好的粗略的置信度测量。
在若干个实施例中,可以基于特定区域是否由于照相机之间的遮挡和/或不匹配和冲突测量(即,在通过SNR图检测到的区域中可能存在纹理,但是因为在该区域中,视差检测处理检测到遮挡和/或不能分辨遮挡或者要不由于任何其他原因自信地估计深度,所以可能仍然出现深度误差)而为低置信度来对置信度图进行编码。
在若干个实施例中,置信度度量被确定为在深度估计处理期间实现的“最佳成本”、或者该量的线性、非线性或量化的重测图。如果在深度估计期间实现的最小成本高于所选阈值,则可以基于所估计的深度处的多个视图之间没有对应性将所述区域标记为低置信度。
在若干个实施例中,可以通过比较不同子组或者在不同照相机组之间产生的深度图之间的最佳成本来检测遮挡,并且如果最佳成本之间的差值大于阈值,则对于在图像子集中找到的成本在其不同的像素位置标记低置信度。
在若干个实施例中,可以基于特定区域是否由于深度估计处理本身中的自适应处理步骤而为低置信度来对置信度图进行编码。例如,如果在特定区域中搜索到较少的深度,则可以在置信度图中用数字将该信息编码为突出显示该深度不太可靠。在许多实施例中,深度图的某些区域实际上是通过对应性搜索来搜索的,而深度图的其他区域,则是基于对于稀疏点集的深度搜索的结果对深度进行插值。在这样的情况下,具有插值深度的像素被给予的置信度值低于在其实际上搜索到对应性的像素。
在几个实施例中,还可以在置信度图中将预期精度的深度测量编码为数字量。在许多情况下,离照相机较远的深度的测量误差较大,所以不应太受信任。在这样的情况下,置信度图可以将这样的区域标记为涉及较低置信度深度估计。置信度可以与该深度处的相邻搜索位置之间的预期深度误差成比例。在某些实施例中,可以确定与视差搜索所支持的最小距离相对应的视差(即,这将是在任何两个照相机之间对于所有支持深度观察到的最大视差)。一旦找到最大视差,搜索就将搜索直到最大视差的若干个视差。在许多实施例中,最大视差是D个低分辨率像素,所搜索的深度的数量为N。沿着核线的相邻搜索位置之间的视差的像素的数量为DI(N-1)。所搜索的N个视差中的任何一个(索引n<N)的以米为单位的深度为dn=CI(n*DI(N-1)),其中,C是合并关于具有最大基线的单个的低分辨率照相机的基线和焦距的信息的常数。如果在深度图中的特定点处,深度为dn,则dn处的预期测量误差为en=1/2*max(|dn-dn+1|,|dn-dn-1|)。基本上,预期测量误差是由于沿着核线搜索固定的离散数量的点而导致的误差。可以对误差值本身进行线性或非线性映射以在深度图内提供关于特定像素位置处的深度估计的置信度值。误差越高,深度估计的置信度越低。在几个实施例中,所搜索的视差的间隔不等,但是在一些区域中可以比其他区域中更粗略。因此,可以将误差计算为相邻索引之间的相似性(不管搜索位置沿着核线怎么分布),以使得置信度图反映所计算的深度误差。在若干个实施例中,置信度图反映所估计的视差(不是深度)的最大误差,以上列出的量的倒数。这对于诸如图像融合之类的应用可能更有用,而深度误差对于在真实世界坐标系中发生的测量应用(诸如,但不限于,3D建模)将更有用。
在若干个实施例中,置信度图可以由于已知的或检测到的使得深度图不可靠的透镜或传感器缺陷而将区域标记为低置信度。可以在图像处理期间或者在预处理校准步骤中离线地检测有缺陷像素(包括传感器上的有缺陷像素以及受透镜缺陷影响的像素这两者的术语)。在一个实施例中,如果任何参考照相机中的特定像素(x,y)的半径内的像素缺陷总数超过预设阈值,则由于像素缺陷,在深度图中将像素(x,y)标记为低置信度。在另一实施例中,可以定义类似的置信度值,其中,置信度根据包围参考像素(x,y)(或者已知受透镜缺陷影响的像素)的半径和/或区域内的任何照相机中的像素缺陷数量(而不是根据硬阈值)成比例地增大。在另一实施例中,置信度可以是预先对于已知创建不同严重程度的误差的有缺陷像素的特定构造计算的值。在几个实施例中,缺陷的置信度值考虑计算置信度值时的局部图像内容。
在几个实施例中,置信度图可以将在其中参考图像表现为无纹理、但是在其他颜色通道中存在有纹理的内容的地方标记为低置信度区域。在一个实施例中,在局部半径和/或区域内搜索参考照相机中的像素(x,y)。如果在该局部半径和/或区域内,内容被认为在绿色中是无纹理的,但是如果红色和/蓝色照相机的另一(可能更大的)局部半径/区域内的相同搜索在红色和/或蓝色颜色通道内的图像中发现足够的纹理,则由于绿色颜色通道对于该检测情况不太有用并且深度结果将不太可靠(尽管通常是正确的)的事实,可以将该区域标记为低置信度。
在若干个实施例中,置信度图将由于透镜光晕或场景中的特征导致存在光度不匹配的情况数字地编码为低置信度情况。在许多实施例中,可以计算围绕像素位置(x,y)的感兴趣区域的局部统计数据(均值和方差),并且将该局部统计数据与另一照相机中的类似区域的局部统计数据进行比较。这样,可以比较多个图像的同一个普通区域中的两个邻域之间的局部图像统计数据以检测其存在降低置信度的可能的透镜光晕。在其他实施例中,各种技术中的任何一种技术可以用于比较多个图像中的邻域以检测透镜光晕。所得的置信度度量可以是多个照相机所捕捉的图像上的区域的均值和方差之间的差值的缩放或非线性映射函数。照相机所捕捉的图像之间的均值和方差越大,深度越不可能可靠,并且置信度将越低。
在若干个实施例中,置信度图适应照明状况以降低当图像非常暗并且有噪声时的置信度。在某些实施例中,图像被拍摄时的传感器增益将导致所有深度的置信度的绝对降低。在另一实施例中,当计算SNR比或者用于不同噪声水平时的边缘梯度的阈值时,考虑传感器的模拟增益和曝光时间。在许多实施例中,用于不同焦平面的模拟增益和曝光时间可以用于照相机阵列中的用于捕捉图像集合的不同照相机。
为了检测由于遮挡而导致置信度低的区域,可以在视差搜索期间存储最佳实现的成本度量。对于显示出显著遮挡的区域,最佳实现的成本度量通常大大地超过如果不存在遮挡并且所有照相机都看见相同内容、那么将发生的最小值。因此,阈值可以应用于最佳实现的成本。如果最佳实现的成本超过阈值,则将所述区域标记为有可能已经被遮挡或者具有一些其他问题(诸如光度不均匀性)。
对于某些相似性度量,可以针对区域的平均强度以及传感器的噪声统计数据来校正用于遮挡的低置信度阈值。在许多实施例中,使用以感兴趣像素为中心的空间箱式N×N平均滤波器来计算参考图像中的区域的均值。在其他实施例中,一旦知道了均值,就可以通过将特定曝光和增益时的特定均值与期望阈值相关的查找表来计算对于包含参考照相机的颜色通道的噪声统计数据。如果最佳匹配值大大地超过预期噪声,则由于可能的遮挡,可以将像素标记为不可靠。
可以使用下列公式获得由于大体不匹配而导致的非二进制置信度度量:
Confidence(x,y)=F(Costmin(x,y),Costd(x,y),l(x,y)cam,Sensor,Cameraintrinsics)
其中,Costmin(x,y)是期望深度范围上的视差搜索的最小成本,
Costd(x,y)表示任何一个深度或多个深度(除了最小深度之外)的成本数据,
任何照相机捕捉的I(x,y)cam图像数据可以用于增大置信度;
Sensor是传感器先验性质,其可以包括传感器的已知性质,诸如(但不限于)噪声统计数据或特征、有缺陷像素、传感器的影响任何捕捉图像的性质(诸如增益或曝光),
Camera intrinsics是照相机内在要素,其指定照相机和照相机阵列内在的可以影响置信度的要素,包括(但不限于)该阵列中的照相机之间的基线间隔(影响深度测量的精度)、以及滤色器的布置(在某些情况下影响遮挡区域中的性能)。
在几个实施例中,Confidence(x,y)可以对于所有参量使用相邻像素位置(x,y)(即,空间邻域)的值。
在许多实施例中,可以基于包括(但不限于)以上因素中的一个或多个的因素对置信度图进行编码。可以以二进制方式对每个因素进行编码,或者可以将每个因素表示为(量化)置信度的范围,或者每个因素可以是非量化范围或者其导数。例如,沿着特定轴的置信度可以不表示为单个比特,而是表示为表示区域无纹理的置信度水平的多个比特。在某些实施例中,沿着特定轴的置信度可以表示为连续的或近似连续的(即,浮点)量。根据本发明的实施例,可以根据特定应用的要求视情况使用各种置信度范围中的任何一个来确定当确定置信度时所考虑的其他因素。在几个实施例中,在置信度图中针对在其可以指定这些状况中的任何一个或全部的特定像素包括任意数量的置信度代码或值。下面进一步讨论特定置信度度量。
在仅考虑最小成本并且传感器的噪声统计数据遵循线性模式的特定实施例中,可以使用简化形式:
其中,Avg(x,y)是参考图像的包围(x,y)的空间邻域中的平均强度、或者该邻域中的平均强度的估计,其用于基于参考图像的(x,y)的区域中的强度调整置信度,
a和offset是用于用关于传感器的增益和噪声统计数据的先验信息调整置信度的、凭经验选择的缩放和偏移因子。
在这种情况下,更高的值将指示更低的置信度,并且将由图像处理流水线确定如何对结果进行阈值化。
通常,置信度图提供描述深度图内所包含的深度估计的元数据,该元数据数字地量化图像中的所检测的深度的精度。在许多实施例中,可以连同深度图一起以外部递送格式提供置信度图以供与深度图一起用于包括(但不限于)下列应用的应用中:机器视觉、手势识别、后期捕捉图像再聚焦、实时应用、图像特殊效果、超分辨率或其他应用。图18C-18H中例示了根据本发明的实施例的在深度估计处理中利用置信度图对深度图进行滤波的方式的例子。首先翻到图18C,是包含不同深度处的物体的场景的图像,该图像是使用超分辨率处理从在不同颜色通道(具体地讲,红色、绿色和蓝色颜色通道)中捕捉的多个图像合成的。图18D中例示了使用与以上概述的处理类似的处理从参考视点产生的深度图。可以容易地意识到,深度图有噪声。可以作为产生深度图的处理的一部分、产生使用以上概述的各种度量中的任何一个产生的置信度图。图18E中例示了根据本发明的实施例的通过对SNR进行阈值化而产生的二进制置信度图。图18F中例示了根据本发明的实施例的基于SNR而产生的8比特置信度图。图18G中例示了根据本发明的实施例的二进制置信度图,该二进制置信度图通过组合通过对SNR进行阈值化而产生的置信度因子和通过对被遮挡的相应像素的数量进行阈值化而产生的置信度因子而产生。在几个实施例中,置信度图可以用于对深度图进行滤波。图18H中例示了根据本发明的实施例的基于通过对SNR进行阈值化而产生的二进制置信度图进行滤波的深度图。比较图18D和18E中所示的深度图揭示了在解释使用任何深度估计处理产生的深度信息时置信度图的使用的值。尽管以上参照图18C-18H描述了特定的置信度度量和滤波处理,但是根据本发明的实施例,在深度估计和/或深度图的滤波和/或额外的处理中可以利用各种置信度度量中的任何一个。在图18I-18L中所示的特写图像中进一步例示了根据本发明的实施例的置信度图的产生以及置信度图用于对深度图进行滤波的使用。具体关于图18I,示出了使用超分辨率处理从在红色、绿色和蓝色颜色通道中捕捉的图像(每个图像包含单个颜色通道中的图像数据)的光场合成的物体的特写图像。图18J中例示了使用以上概述的技术产生的深度图。图18K中例示了根据本发明的实施例产生的通过对SNR进行阈值化而产生的二进制置信度图。图18L中例示了使用SNR根据本发明的实施例产生的多比特分辨率置信度图。图18M中例示了根据本发明的实施例的二进制置信度图,该二进制置信度图通过下述方式而产生,即,对包围每个像素的区域的SNR进行阈值化,以及对光场内的图像中的与参考视点的图像中的一个像素位置相对应的被遮挡的像素的数量进行阈值化。图18N中例示了使用图18M中所示的二进制置信度图滤波的深度图。
在几个实施例中,使用上述度量中的一个或多个而产生的置信度图可以作为额外的信息通道插入到JPEG-DZ文件格式或其他文件格式中。在几个实施例中,使用与Venkataraman等人于2012年9月28日提交的、标题为“Systems and Methods for EncodingLight Field Image Files”的美国专利申请No.13/631,731中所概述的那些处理类似的处理对置信度图进行编码和解码。美国专利申请No.13/631,731的全部公开内容通过引用并入本文。尽管以上描述了用于确定置信度的特定度量,但是根据本发明的实施例,可以利用适合于特定应用的要求的用于确定置信度的各种度量中的任何一个。
降低计算复杂度
各种策略可以用于降低以上概述的用于确定深度图以及用于确定照相机阵列捕捉的图像的可见性的处理的计算复杂度。在几个实施例中,仅通过在缩小的(即,稀疏的)像素位置子集处搜索深度来构造深度图。深度搜索在较少的点(即,图像中的系数的点集)处针对深度未被计算的点进行,深度是通过其他手段分配的。到最后,该稀疏深度搜索提供参考图像中的每一个像素位置的深度,其中,一些像素被搜索,其他像素则通过插值来填充。如前所述,并不是最终深度图中的每一个像素都具有通过比较该像素与所捕捉的图像中的相应像素的相似性而获得的深度。相反,在不进行对应搜索的区域中,使用包括(但不限于)下列处理的处理来确定所述像素中的许多像素的深度:对周围像素(其中,已经运行了对应搜索)的深度求平均值、或者对已经计算的相邻像素的深度进行插值。通过减少对其执行深度测量的像素的数量,可以减少用于产生深度图的计算量。在几个实施例中,还可以通过下述方式来减少当检测深度图时所使用的计算量,即,检测图像的无纹理区域,并且使用包括(但不限于)下列处理的处理来确定图像的无纹理区域中的像素的深度:从其中深度已经被计算的最近指示器像素起分配单个深度值,对周围像素的深度求平均值、或者对相邻像素的深度进行插值。在其他实施例中,根据本发明的实施例,可以根据特定应用的要求视情况利用用于降低产生深度图的计算复杂度的各种处理中的任何一种,包括基于包括(但不限于)包含边缘的区域的场景的特性和/或基于物距来改变深度图内的深度估计的精度。下面进一步讨论根据本发明的实施例的用于从稀疏深度搜索产生深度图以及用于检测图像中的无纹理区域的处理。
从稀疏深度搜索产生深度图
根据本发明的实施例的用于通过稀疏搜索产生深度图的处理通常涉及确定在整个参考图像中隔开的或分布的稀疏像素集合的深度。基于由稀疏点构成的这个初始深度图,可以检测到深度转变,并且可以使用以上概述的处理来直接测量包围这些深度转变的像素的深度。可以基于深度图中的稀疏像素的深度来确定其余像素的深度。在许多实施例中,使用参考图像中的像素的子集以它们在其被捕捉的分辨率来执行深度测量。
图13中例示了根据本发明的实施例的用于通过稀疏搜索确定深度图的处理。处理1300包括:将参考图像划分(1302)为空间块(或者关联像素组),并且对于这些空间块内的指示器像素的稀疏子集产生(1304)深度测量。这里,空间块可以被看作互换地指代矩形像素块、或者无需符合任何特定形状的关联像素子集。
指示器像素是空间块(或者关联像素组)内的像素的子集,通常被选为提供关于空间块上的深度变化的信息。图14中例示了根据本发明的实施例的包括多个指示器像素1402的空间块1400。指示器像素1402是在边缘处以及在空间块的中心处选择的。尽管图14中例示了特定指示器像素,但是可以改变指示器在空间块或关联像素组内的布置,和/或可以根据特定应用的要求视情况选择空间块内的各个像素中的任何一个作为指示器像素。在若干个实施例中,利用不同形状的空间块,并且可以改变空间块的形状。在几个实施例中,可以改变指示器像素在空间块内的布置。在许多实施例中,基于场景内容选择指示器像素。在某些实施例中,基于空间块内的哪些点在参考图像中具有最高SNR来选择指示器像素,以提高使用最有可能给予置信度深度结果的点的可能性。在另一实施例中,对于所有块,对于一些指示器像素选择固定空间位置(如图14中所指示),并且将指示器像素的某个子集分配给空间块中的具有最高SNR的点(即,混合构造)。在另一实施例中,可以使用分割处理来基于场景内容创建相关的空间区域。尽管示出了矩形空间块,但是其他技术可以用于将图像划分为包含如上所述的一些指示器像素的空间集群。此外,空间块在图像的某些部分中可以比在其他部分中更大。
回头参照图13,可以基于指示器像素的深度将深度分配(1306)给每个块中的像素。在几个实施例中,通过相邻指示器像素的插值获得所分配的深度。在几个实施例中,可以将非指示器像素的深度计算为到固定邻域内的最近指示器像素的距离的规范化(归一化)加权平均值。可替代地,可以利用最近近邻插值(1308)来基于指示器像素的深度测量将深度分配给空间块中的像素。在另一实施例中,用于插值的权重可以合并强度相似性以及到最近指示器像素的空间距离。在另一实施例中,诸如(但不限于)核回归的非线性回归可以用于填充在指示器像素位置处采样的深度之间的缺失位置。在另一实施例中,通过最小化块内的指示器像素的总计成本来对整个块分配单个深度。在其他实施例中,各种技术中的任何一种可以用于产生关于空间块内的像素的深度信息。
在许多实施例中,确定(1310)每个空间块在深度图中的可靠性。在空间块内,将对于指示器像素(其中搜索已经发生)和非指示器像素(其中已经基于指示器像素结果对深度进行了插值)两者估计深度。对于指示器像素和非指示器像素,确定块内的所估计的深度的成本。对块中的每个像素的成本进行总计以创建可靠性指示符。如果块内的所有像素的总成本大于阈值,则由于对于一些像素所估计的深度表现为具有不良对应性的事实,将空间块标记为不可靠。在已经确定空间块具有可靠性低的不良空间对应性的情况下,该块有可能包含深度转变或遮挡。如果情况如此,则可以在空间块内运行全对应性搜索和遮挡处理。
如果按照以上标准确定空间块具有深度转变,则可以“划分”空间块,并且在两个子空间块中的每个中选择新的指示器像素集合,并且迭代进行所述处理。在一个实施例中,可以将块划分成两半。在另一实施例中,可以根据空间块内的指示器像素所求解的深度将块划分成不等区域。
在空间块内和/或之间检测到深度转变的情况下,可以通过在包含深度转变的空间块内执行额外的深度测量来细化(1312)深度图。这样,通过减少在产生精确的深度图时所执行的深度测量的次数来降低产生深度图的计算复杂度。
尽管图13中例示了根据本发明的实施例的用于从稀疏搜索产生深度图的特定处理,但是根据本发明的实施例,可以利用通过在类似的或缓慢转变的深度的区域中执行较少的深度测量来产生深度图的各种处理中的任何一种。
减少图像的无纹理区域中的计算
在许多实施例中,产生深度图的处理涉及减少图像的无纹理区域所需的计算量。无纹理区域可以是与视差模糊不清,因为许多假设深度处的相应像素可能是相似的。因此,无纹理区域内的深度测量可以产生不可靠的且有噪声的结果。在许多实施例中,当确定像素的深度以识别该像素是否在无纹理区域中时,使用包围该像素的区域中的SNR。可以基于先前已经对于其确定了深度的至少一个相邻像素的深度来确定对于给定像素的初始深度估计或初始深度估计集合。当给定像素的相应像素的方差(或者任何其他相似性度量)低于包围该像素的区域中的SNR阈值时,可以假定该像素是无纹理区域的一部分,并且可以使用下述方法(之一)来选择像素的深度。或者,可以使用与上述处理类似的处理来执行深度测量。
在许多实施例中,可以使用SNR上的固定阈值来检测无纹理区域。可以通过减少所搜索的深度的数量来减少用于这样的区域中的搜索的计算。在许多实施例中,将搜索整个深度集合,直到识别出最小成本深度为止,所述最小成本深度低于考虑传感器的噪声特性的噪声相关阈值。当发现最小成本低于阈值时,接受该深度为无纹理区域的深度,并且不再搜索更多的深度(即,一找到具有“足够接近的”对应性的深度,就终止搜索)。在许多实施例中,无纹理区域中的搜索可以通过搜索整个视差范围、但是增量大于对于具有纹理的区域的正常搜索中所进行的搜索(即,减少所搜索的深度的数量)来节省计算——最佳成本将被选为无纹理区域中的像素的深度。
图15中例示了根据本发明的实施例的用于使用包围像素的SNR检测无纹理区域的处理。处理1500包括:从参考图像选择(1502)像素,并且检测(1504)所选像素周围的区域中的SNR。可以对于该像素确定(1506)初始假设深度。在许多实施例中,基于包围所选像素的区域中的一个或多个像素的深度来确定初始假设深度d。然后确定(1508)假设深度处的相应像素的方差或成本是否低于阈值,所述阈值可以(但不限于)是预定的或者是包围所选像素的区域中的SNR的函数。在其他实施例中,各种相似性度量中的任何一种可以用于确定包围所述像素的区域是否是无纹理的。在相应像素的方差或成本低于噪声或预定阈值的情况下,基于所述像素位于无纹理区域内的假设,选择假设深度作为最有可能的深度。当相应像素的方差或成本超过噪声或预定阈值时,根据与上述处理类似的处理确定像素的深度。
尽管以上关于图15描述了用于检测参考图像内的无纹理区域的特定处理,但是根据本发明的实施例,可以利用各种用于检测图像中的无纹理区域的处理中的任何一种处理。此外,根据本发明的实施例,各种处理中的任何一种技术可以用于检测图像的可以依赖于用以减少在产生可靠的深度图时所进行的深度测量的次数的其他特性。
从虚拟视点产生深度图
虽然以上提供的大部分讨论描述了产生关于参考照相机所捕捉的图像的深度图,但是根据本发明的实施例的系统和方法可以合成虚拟视点的图像。虚拟视点是不对应于照相机阵列内的任何照相机的视点的参考视点。因此,不论照相机阵列内的颜色通道的数量如何,没有一个颜色通道包括在其中从参考视点捕捉图像数据的照相机。图12中例示了根据本发明的实施例的可以定义的虚拟视点的例子。阵列照相机模块1200包括4×4照相机阵列,其包括8个绿色照相机、4个红色照相机和4个蓝色照相机。用阵列照相机模块的中心处的虚拟视点定义虚拟照相机1202。尽管图12中例示了特定虚拟视点,但是可以对于照相机阵列内的照相机任意地定义任何虚拟视点。
当确定虚拟视点深度图时,不存在明确的可以被搜索并且用于成本度量比较的参考照相机。在许多实施例中,通过对于阵列中的所有其他照相机从虚拟成像器计算有效基线来确定从虚拟视点合成的、图像中的给定像素(x,y)的深度。相对于虚拟视点的位置(i,j)处的照相机的基线将是(i,j)-(iv,jv),其中,(iv,jv)是虚拟视点1202的位置。一旦相对于虚拟视点确定了单个的照相机之间的基线,估计深度的处理就通过搜索相应像素在其具有最高相似性的深度继续进行。对于虚拟参考照相机(即,虚拟视点的图像)中的每个像素(x,y),搜索可以几乎如典型的视差情况中那样继续进行,其中,对于每个深度d,在该深度处确定相对于每个替代视图照相机的视差,然后使用适当的成本度量来确定颜色通道中的一个或多个中的相应像素的相似性。在许多实施例中,可以利用上述用于确定不包含参考照相机的颜色通道中的像素的相似性的组合成本度量。在许多实施例中,为了确定所选参考照相机中的像素与特定颜色通道中的其他照相机所捕捉的图像数据中的相应像素的相似性的目的,该颜色通道中的与虚拟视点相邻的照相机可以用作参考照相机。在许多实施例中,为了确定相应绿色像素的相似性的目的,绿色照相机选作参考照相机,并且组合成本度量用于其他颜色通道中的相应像素。在许多实施例中,确定关于虚拟视点的初始深度图的处理可以涉及以与以上关于图8A-8I所描述的方式类似的方式形成与场景内的可见性模式相对应的照相机组。
对于虚拟视点产生的深度图可以用于使用根据本发明的实施例的超分辨率处理从虚拟视点合成高分辨率图像。从虚拟视点合成高分辨率图像的主要不同之处是,高分辨率网格是来自虚拟视点的,并且使用所计算的与相对于虚拟视图位置、而不是物理参考照相机的基线的对应性来将像素融合到高分辨率网格。在这种情况下,不存在具有有规律地映射在高分辨率网格上的像素的物理参考照相机。可以容易地意识到,可以使用类似的适应性调节来确定用于确定关于相对于虚拟视点的深度图的置信度图的处理,所述适应性调节与分析合成的参考图像或者选择接近虚拟视点的图像作为用于执行SNR和/或其他相关测量的代理相关。尽管以上描述了用于产生相对于虚拟视点的深度图的特定处理,但是合并以上概述的成本度量和技术的各种处理中的任何一种处理可以用于根据本发明的实施例产生对于虚拟视点的深度估计。下面进一步讨论根据本发明的实施例的用于执行视差检测和校正以及用于产生深度图的系统。
用于执行视差检测的系统
图16中例示了用于使用与上述处理类似的处理产生深度图和可见性信息的系统。该系统包括视差检测模块1600,其将形成光场的捕捉图像和关于阵列照相机的校准信息取作输入,并且输出深度图以及捕捉图像的像素的所估计的可见性。在许多实施例中,视差检测模块1600还输出指示对于参考图像内的特定像素的深度测量的可靠性的置信度图。如下面进一步讨论的,深度图、所估计的可见性信息、和/或置信度图可以提供给阵列照相机内的超分辨率处理模块以从捕捉图像产生更高分辨率的图像,并且可以提供给可以利用深度、置信度和/或可见性信息的各种应用中的任何一种应用。在许多实施例中,视差检测模块和超分辨率模块用阵列照相机内的微处理器上的软件和/或固件实现。在几个实施例中,与视差检测模块和超分辨率模块相关联的软件存储在阵列照相机内的存储器内。在其他实施例中,视差检测模块和/或超分辨率模块可以使用任何适当地配置的硬件和/或软件来实现。下面进一步讨论根据本发明的实施例的使用所产生的深度图从阵列照相机所捕捉的光场产生高分辨率图像。
使用深度图的超分辨率处理
如美国专利申请NO.12/967,807(以上通过引用并入)中所指出的,当执行超分辨率处理时,图像之间的视差可以引入显著的伪像。因此,美国专利申请NO.12/967,807中所公开的超分辨率处理可以涉及在使用阵列照相机所捕捉的图像合成更高分辨率图像之前将场景相关的几何校正应用于这些图像中的每个像素的位置。阵列照相机中的照相机的基线和后焦距可以容易确定,因此,估计在捕捉图像中观察到的场景相关的几何移位中的未知量是阵列照相机与场景的不同部分之间的距离。当根据以上概述的处理产生深度图和可见性信息时,可以确定由每个像素的深度造成的场景相关的几何移位,并且当执行超分辨率处理时,可以忽略被遮挡像素。在许多实施例中,作为产生深度图的处理的一部分,产生置信度图,并且将置信度图作为输入提供给超分辨率处理以当执行输入图像的像素的融合时帮助超分辨率处理评估深度图内所包含的深度估计的可靠性。
图17中例示了根据本发明的实施例的用于使用阵列照相机所捕捉的光场产生高分辨率图像的处理,该处理涉及产生深度图。处理1700涉及:使用阵列照相机捕捉(1702)光场,并且选择(1704)可以用于合成高分辨率图像的参考视点。在许多实施例中,参考视点基于阵列照相机的构造预定。在若干个实施例中,校准信息用于提高(1706)捕捉图像之间的对应性。在许多实施例中,捕捉图像之间的对应性涉及重新对这些图像进行采样。确定(1708)初始深度图,并且确定遮挡,并且使用这些遮挡来更新(1710)深度图。在几个实施例中,检测遮挡并且更新深度图的处理是迭代的。
在若干个实施例中,深度图用于产生(1712)关于从参考视点捕捉的光场内的像素的可见性的信息。在几个实施例中,对于深度图内所包含的深度估计(可选地)产生(1713)置信度图,并且深度图、可见性信息和/或置信度图被提供(1714)给超分辨率处理流水线。在几个实施例中,超分辨率处理流水线类似于美国专利申请No.12/967,807中所公开的超分辨率处理流水线中的任何一个。超分辨率处理流水线利用包括光场、深度图、可见性信息和置信度图的信息来从参考视点合成(1718)高分辨率图像,该高分辨率图像被阵列照相机输出(1718)。在几个实施例中,合成更高分辨率图像的处理涉及将来自光场的图像数据试验性地融合到更高分辨率网格上。试验性融合的结果然后可以用作使用超分辨率处理合成更高分辨率图像的起始点。
如美国专利申请No.12/967,807中所描述的,可以执行图17中所示的处理来从所捕捉的光场合成立体3D图像对。尽管图17中例示了用于从所捕捉的光场合成高分辨率图像的特定处理,但是根据本发明的实施例,可以利用用于从所捕捉的光场合成高分辨率图像的、涉及测量光场内的像素的深度的各种处理中的任何一种处理。
虽然以上描述包含本发明的许多特定实施例,但是这些不应被解释为对于本发明的范围的限制,而是相反应被解释为其一个实施例的例子。因此,本发明的范围不应由所例示的实施例确定,而是应由所附权利要求书及其等同形式确定。
Claims (10)
1.一种使用由图像处理应用程序配置的处理器根据光场估计到场景内的对象的距离的方法,所述光场包括从不同视点并且在多个颜色通道内捕捉的图像集合,所述方法包括:
相对于从不同视点并且在多个颜色通道内捕捉的图像集合的视点选择参考视点;
规范化所述图像集合以提高来自所述图像集合的、在所述多个颜色通道的特定颜色通道中相应的像素的相似性;
使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的深度估计,其中对于参考视点的图像中的给定像素位置的深度估计通过以下步骤确定:
基于多个深度处的预期视差,识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素;
在从所述多个颜色通道中选择的多个颜色通道的每一个颜色通道中,比较在所述多个深度中的每个深度处在所选择的颜色通道中被识别为相应的像素的相似性,以及
从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计。
2.根据权利要求1所述的方法,其中,成本函数被用于确定在所述多个颜色通道中被识别为相应的像素的相似性。
3.根据权利要求2所述的方法,其中,确定相应像素的相似性还包括对所计算的成本进行空间滤波。
4.根据权利要求3所述的方法,其中,所计算的成本的空间滤波使用滤波器,所述滤波器选自由以下组成的组:
固定系数滤波器;和
边缘保持滤波器。
5.根据权利要求4所述的方法,其中,从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计还包括:从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素的空间滤波成本函数指示最高相似水平的深度。
6.根据权利要求2所述的方法,其中,所述成本函数包含来自所述多个颜色通道的像素的L1范数。
7.根据权利要求2所述的方法,其中,所述成本函数包含来自所述多个颜色通道的像素的L2范数。
8.一种图像处理系统,包括
处理器;
存储器,其包含从不同视点并且在多个颜色通道内捕捉的图像集合以及图像处理应用程序;
其中所述图像处理应用程序将所述处理器配置为:相对于从不同视点并且在多个颜色通道内捕捉的图像集合的视点选择参考视点;
规范化所述图像集合以提高所述图像集合的、在所述多个颜色通道的特定颜色通道中相应的相应像素的相似性;
使用所述图像集合的至少一个子集来确定对于参考视点的图像中的像素位置的深度估计,其中对于参考视点的图像中的给定像素位置的深度估计通过以下步骤确定:
基于多个深度处的预期视差,识别所述图像集合的所述至少一个子集中的与参考视点的图像中的所述给定像素位置相应的像素;
在从所述多个颜色通道中选择的多个颜色通道的每一个颜色通道中,比较在所述多个深度中的每个深度处在所选择的颜色通道中被识别为相应的像素的相似性,以及
从所述多个深度中选择所述多个颜色通道中的每个颜色通道中所识别的相应像素具有最高相似度的深度作为对于参考视点的图像中的给定像素位置的深度估计。
9.根据权利要求8所述的图像处理系统,其中,所述图像处理应用程序还将所述处理器配置为:
通过以下步骤来确定参考视点的图像集合中的像素的可见性:
使用最终深度估计来识别所述图像集合中的相应像素;以及
当给定图像中的像素未能满足基于所述像素所属的颜色通道内的相应像素的比较确定的光度相似性标准时,确定所述像素在所述参考视点中不可见;以及
使用所述深度估计来融合所述图像集合的像素以通过下述步骤创建分辨率大于所述图像集合中的图像的分辨率的融合图像:
使用可见性信息识别所述图像集合的在参考视点的图像中可见的像素;
将场景相关的几何移位应用于所述图像集合的在参考视点的图像中可见的所述像素以将所述像素移位到参考视点中,其中,所述场景相关的几何移位使用最终深度估计而被确定;以及
融合所述图像集合的移位后的像素以创建参考视点的分辨率大于所述图像集合中的图像的分辨率的融合图像。
10.根据权利要求8所述的图像处理系统,其中,所述图像处理系统是阵列相机的一部分,所述阵列相机还包括具有不同场景视点的多个相机,并且所述图像处理应用程序将所述处理器配置为使用所述多个相机捕捉所述多个图像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261691666P | 2012-08-21 | 2012-08-21 | |
US61/691,666 | 2012-08-21 | ||
US201361780906P | 2013-03-13 | 2013-03-13 | |
US61/780,906 | 2013-03-13 | ||
CN201380048735.5A CN104662589B (zh) | 2012-08-21 | 2013-08-21 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380048735.5A Division CN104662589B (zh) | 2012-08-21 | 2013-08-21 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107346061A true CN107346061A (zh) | 2017-11-14 |
CN107346061B CN107346061B (zh) | 2020-04-24 |
Family
ID=49776057
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710550511.4A Active CN107346061B (zh) | 2012-08-21 | 2013-08-21 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
CN201380048735.5A Active CN104662589B (zh) | 2012-08-21 | 2013-08-21 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380048735.5A Active CN104662589B (zh) | 2012-08-21 | 2013-08-21 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
Country Status (8)
Country | Link |
---|---|
US (12) | US8619082B1 (zh) |
EP (3) | EP2888720B1 (zh) |
KR (1) | KR102111181B1 (zh) |
CN (2) | CN107346061B (zh) |
AU (1) | AU2013305770A1 (zh) |
CA (1) | CA2881131A1 (zh) |
SG (1) | SG11201500910RA (zh) |
WO (1) | WO2014031795A1 (zh) |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180197035A1 (en) | 2011-09-28 | 2018-07-12 | Fotonation Cayman Limited | Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata |
US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
CN108323208A (zh) * | 2018-02-12 | 2018-07-24 | 深圳市汇顶科技股份有限公司 | 图像获取方法和装置 |
CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
US10225543B2 (en) | 2013-03-10 | 2019-03-05 | Fotonation Limited | System and methods for calibration of an array camera |
CN109521434A (zh) * | 2018-12-27 | 2019-03-26 | 合肥泰禾光电科技股份有限公司 | 一种激光测量方法及控制处理器 |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
US10334241B2 (en) | 2012-06-28 | 2019-06-25 | Fotonation Limited | Systems and methods for detecting defective camera arrays and optic arrays |
US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US10375302B2 (en) | 2011-09-19 | 2019-08-06 | Fotonation Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
US10380752B2 (en) | 2012-08-21 | 2019-08-13 | Fotonation Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
US10455218B2 (en) | 2013-03-15 | 2019-10-22 | Fotonation Limited | Systems and methods for estimating depth using stereo array cameras |
US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
US10462362B2 (en) | 2012-08-23 | 2019-10-29 | Fotonation Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US10540806B2 (en) | 2013-09-27 | 2020-01-21 | Fotonation Limited | Systems and methods for depth-assisted perspective distortion correction |
CN110853073A (zh) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | 确定关注点的方法、装置、设备、系统及信息处理方法 |
US10674138B2 (en) | 2013-03-15 | 2020-06-02 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
US10742861B2 (en) | 2011-05-11 | 2020-08-11 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
CN111815696A (zh) * | 2019-04-11 | 2020-10-23 | 曜科智能科技(上海)有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
CN112384945A (zh) * | 2018-08-09 | 2021-02-19 | 谷歌有限责任公司 | 使用应用于用户设备的自然手持运动的超分辨率 |
US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
CN115439720A (zh) * | 2022-11-08 | 2022-12-06 | 成都数联云算科技有限公司 | Cam图像的重构方法、训练方法、装置、设备及介质 |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
Families Citing this family (375)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
JP5627498B2 (ja) * | 2010-07-08 | 2014-11-19 | 株式会社東芝 | 立体画像生成装置及び方法 |
US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
JP5682291B2 (ja) * | 2010-12-20 | 2015-03-11 | ソニー株式会社 | 補正値演算装置、複眼撮像装置、および、補正値演算装置の制御方法 |
JP2012221103A (ja) * | 2011-04-06 | 2012-11-12 | Denso Corp | 車両用画像処理装置 |
EP2509324A1 (en) * | 2011-04-08 | 2012-10-10 | Thomson Licensing | Method and apparatus for analyzing stereoscopic or multi-view images |
EP2530642A1 (en) * | 2011-05-31 | 2012-12-05 | Thomson Licensing | Method of cropping a 3D content |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013003276A1 (en) | 2011-06-28 | 2013-01-03 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
JP5822322B2 (ja) * | 2011-09-12 | 2015-11-24 | インテル・コーポレーション | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ |
US9113043B1 (en) * | 2011-10-24 | 2015-08-18 | Disney Enterprises, Inc. | Multi-perspective stereoscopy from light fields |
US9762881B2 (en) * | 2011-11-03 | 2017-09-12 | Texas Instruments Incorporated | Reducing disparity and depth ambiguity in three-dimensional (3D) images |
US8903088B2 (en) | 2011-12-02 | 2014-12-02 | Adobe Systems Incorporated | Binding of protected video content to video player with encryption key |
US8879731B2 (en) | 2011-12-02 | 2014-11-04 | Adobe Systems Incorporated | Binding of protected video content to video player with block cipher hash |
CN103988227B (zh) * | 2011-12-16 | 2017-08-04 | 诺基亚技术有限公司 | 用于图像捕获目标锁定的方法和装置 |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
JP6003983B2 (ja) * | 2012-06-22 | 2016-10-05 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US10109063B2 (en) * | 2012-07-04 | 2018-10-23 | Apple Inc. | Image processing in a multi-channel camera |
EP2842334B1 (en) * | 2012-07-05 | 2019-02-20 | MediaTek Inc. | Method and apparatus of unified disparity vector derivation for 3d video coding |
US9661296B2 (en) * | 2012-07-12 | 2017-05-23 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
WO2014013405A1 (en) * | 2012-07-20 | 2014-01-23 | Koninklijke Philips N.V. | Metadata for depth filtering |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
WO2014049667A1 (ja) * | 2012-09-28 | 2014-04-03 | 株式会社島津製作所 | デジタル画像処理方法および撮影装置 |
US9064318B2 (en) | 2012-10-25 | 2015-06-23 | Adobe Systems Incorporated | Image matting and alpha value techniques |
JP2014096062A (ja) * | 2012-11-09 | 2014-05-22 | Yamaguchi Univ | 画像処理方法及び画像処理装置 |
US9355649B2 (en) | 2012-11-13 | 2016-05-31 | Adobe Systems Incorporated | Sound alignment using timing information |
US10638221B2 (en) | 2012-11-13 | 2020-04-28 | Adobe Inc. | Time interval sound alignment |
US9201580B2 (en) | 2012-11-13 | 2015-12-01 | Adobe Systems Incorporated | Sound alignment user interface |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
US10249321B2 (en) | 2012-11-20 | 2019-04-02 | Adobe Inc. | Sound rate modification |
EP2736011B1 (en) * | 2012-11-26 | 2019-04-24 | Nokia Technologies Oy | Method, apparatus and computer program product for generating super-resolved images |
US9451304B2 (en) | 2012-11-29 | 2016-09-20 | Adobe Systems Incorporated | Sound feature priority alignment |
US9135710B2 (en) * | 2012-11-30 | 2015-09-15 | Adobe Systems Incorporated | Depth map stereo correspondence techniques |
US10455219B2 (en) | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
US9208547B2 (en) | 2012-12-19 | 2015-12-08 | Adobe Systems Incorporated | Stereo correspondence smoothness tool |
US10249052B2 (en) | 2012-12-19 | 2019-04-02 | Adobe Systems Incorporated | Stereo correspondence model fitting |
US9214026B2 (en) | 2012-12-20 | 2015-12-15 | Adobe Systems Incorporated | Belief propagation and affinity measures |
WO2014107634A2 (en) | 2013-01-05 | 2014-07-10 | Tinz Optics, Inc. | Methods and apparatus relating to the use of multipe optical chains |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US9412172B2 (en) * | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
US9762875B2 (en) * | 2013-06-14 | 2017-09-12 | Sony Corporation | Methods and devices for parallax elimination |
KR102103984B1 (ko) * | 2013-07-15 | 2020-04-23 | 삼성전자주식회사 | 깊이 영상 처리 방법 및 장치 |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9557520B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Synchronized image capture methods and apparatus |
US9325906B2 (en) | 2013-10-18 | 2016-04-26 | The Lightco Inc. | Methods and apparatus relating to a thin camera device |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
CN104567758B (zh) * | 2013-10-29 | 2017-11-17 | 同方威视技术股份有限公司 | 立体成像系统及其方法 |
US9426365B2 (en) | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
KR102172954B1 (ko) * | 2013-11-08 | 2020-11-02 | 삼성전자주식회사 | 보행 보조 로봇 및 보행 보조 로봇의 제어 방법 |
US9390505B2 (en) * | 2013-12-12 | 2016-07-12 | Qualcomm Incorporated | Method and apparatus for generating plenoptic depth maps |
CN104735360B (zh) * | 2013-12-18 | 2017-12-22 | 华为技术有限公司 | 光场图像处理方法和装置 |
EP2887312A1 (en) * | 2013-12-18 | 2015-06-24 | Nokia Corporation | Method, apparatus and computer program product for depth estimation of stereo images |
US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US10931866B2 (en) | 2014-01-05 | 2021-02-23 | Light Labs Inc. | Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture |
US10311633B2 (en) * | 2014-01-17 | 2019-06-04 | Nokia Technologies Oy | Method and apparatus for visualization of geo-located media contents in 3D rendering applications |
JP6313063B2 (ja) * | 2014-02-17 | 2018-04-18 | 日立オートモティブシステムズ株式会社 | 車載用認識装置 |
US9930349B2 (en) * | 2014-02-20 | 2018-03-27 | Konica Minolta Laboratory U.S.A., Inc. | Image processing to retain small color/gray differences |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
US9462170B2 (en) | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
JP5999127B2 (ja) * | 2014-03-12 | 2016-09-28 | トヨタ自動車株式会社 | 画像処理装置 |
US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
US9729857B2 (en) * | 2014-04-08 | 2017-08-08 | Semyon Nisenzon | High resolution depth map computation using multiresolution camera clusters for 3D image generation |
US9712820B2 (en) * | 2014-04-24 | 2017-07-18 | Lytro, Inc. | Predictive light field compression |
US20150309663A1 (en) * | 2014-04-28 | 2015-10-29 | Qualcomm Incorporated | Flexible air and surface multi-touch detection in mobile platform |
AT515520B1 (de) * | 2014-05-08 | 2015-10-15 | Ait Austrian Inst Technology | Verfahren zur Bestimmung des Abstands eines abgebildeten Gegenstands |
WO2015183824A1 (en) * | 2014-05-26 | 2015-12-03 | Pelican Imaging Corporation | Autofocus system for a conventional camera that uses depth information from an array camera |
US9785828B2 (en) * | 2014-06-06 | 2017-10-10 | Honda Motor Co., Ltd. | System and method for partially occluded object detection |
US8988317B1 (en) * | 2014-06-12 | 2015-03-24 | Lytro, Inc. | Depth determination for light field images |
US20150363913A1 (en) * | 2014-06-12 | 2015-12-17 | Samsung Electronics Co., Ltd. | Adaptive filter demosaicizing for super resolution |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US9888229B2 (en) | 2014-06-23 | 2018-02-06 | Ricoh Company, Ltd. | Disparity estimation for multiview imaging systems |
WO2016004422A1 (en) | 2014-07-04 | 2016-01-07 | The Lightco Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
WO2016003253A1 (en) * | 2014-07-04 | 2016-01-07 | Samsung Electronics Co., Ltd. | Method and apparatus for image capturing and simultaneous depth extraction |
US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
US9225889B1 (en) | 2014-08-18 | 2015-12-29 | Entropix, Inc. | Photographic image acquisition device and method |
US20160073094A1 (en) * | 2014-09-05 | 2016-03-10 | Microsoft Corporation | Depth map enhancement |
WO2016061565A1 (en) | 2014-10-17 | 2016-04-21 | The Lightco Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
DE102014115292A1 (de) * | 2014-10-21 | 2016-04-21 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug |
US20160148279A1 (en) * | 2014-11-26 | 2016-05-26 | Adobe Systems Incorporated | Content Creation, Deployment Collaboration, and Badges |
EP3235243A4 (en) | 2014-12-17 | 2018-06-20 | Light Labs Inc. | Methods and apparatus for implementing and using camera devices |
US9544503B2 (en) * | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
WO2016106694A1 (en) * | 2014-12-31 | 2016-07-07 | SZ DJI Technology Co., Ltd. | System and method for adjusting a baseline of an imaging system with microlens array |
WO2016113429A2 (en) * | 2015-01-16 | 2016-07-21 | Imra Europe S.A.S. | Self-rectification of stereo camera |
US9412034B1 (en) * | 2015-01-29 | 2016-08-09 | Qualcomm Incorporated | Occlusion handling for computer vision |
US10511787B2 (en) * | 2015-02-12 | 2019-12-17 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Light-field camera |
CN107431800A (zh) * | 2015-02-12 | 2017-12-01 | 奈克斯特Vr股份有限公司 | 用于进行环境测量和/或使用此类测量的方法和装置 |
US9978135B2 (en) * | 2015-02-27 | 2018-05-22 | Cognex Corporation | Detecting object presence on a target surface |
JP6494328B2 (ja) | 2015-03-02 | 2019-04-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6516510B2 (ja) * | 2015-03-02 | 2019-05-22 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6275174B2 (ja) * | 2015-03-10 | 2018-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、および、撮像装置 |
CN112492194B (zh) * | 2015-03-10 | 2023-04-14 | 佳能株式会社 | 图像处理方法和图像处理装置 |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10412373B2 (en) * | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US9942474B2 (en) * | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
KR20230008893A (ko) | 2015-04-19 | 2023-01-16 | 포토내이션 리미티드 | Vr/ar 응용에서 심도 증강을 위한 다중-기선 카메라 어레이 시스템 아키텍처 |
US9930233B2 (en) | 2015-04-22 | 2018-03-27 | Light Labs Inc. | Filter mounting methods and apparatus and related camera apparatus |
CN107077742B (zh) * | 2015-04-28 | 2020-06-26 | 华为技术有限公司 | 一种图像处理装置和方法 |
EP3094076A1 (en) | 2015-05-13 | 2016-11-16 | Thomson Licensing | Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter |
CN104935909B (zh) * | 2015-05-14 | 2017-02-22 | 清华大学深圳研究生院 | 一种基于深度信息的多幅图超分辨方法 |
US10326981B2 (en) * | 2015-05-15 | 2019-06-18 | Semyon Nisenzon | Generating 3D images using multi-resolution camera set |
CN104851100B (zh) * | 2015-05-22 | 2018-01-16 | 清华大学深圳研究生院 | 可变光源下的双目视图立体匹配方法 |
EP3296722B1 (en) * | 2015-05-26 | 2021-12-22 | Mitsubishi Electric Corporation | Detection device and detection method |
JP6582557B2 (ja) * | 2015-05-28 | 2019-10-02 | 株式会社ソシオネクスト | 描画装置、描画方法および描画プログラム |
EP3104595A1 (en) * | 2015-06-08 | 2016-12-14 | Thomson Licensing | Light field imaging device |
EP3107007B1 (en) * | 2015-06-17 | 2020-05-20 | InterDigital CE Patent Holdings | Method and apparatus for data retrieval in a lightfield database |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US9609242B2 (en) * | 2015-06-25 | 2017-03-28 | Intel Corporation | Auto-correction of depth-sensing camera data for planar target surfaces |
TW201702937A (zh) * | 2015-07-02 | 2017-01-16 | Alibaba Group Services Ltd | 圖像預處理方法及裝置 |
CN107810520B (zh) * | 2015-07-03 | 2020-11-10 | 华为技术有限公司 | 图像处理装置和方法 |
WO2017014693A1 (en) * | 2015-07-21 | 2017-01-26 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map based on stereo images of a scene |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US10699476B2 (en) * | 2015-08-06 | 2020-06-30 | Ams Sensors Singapore Pte. Ltd. | Generating a merged, fused three-dimensional point cloud based on captured images of a scene |
CN105184780B (zh) * | 2015-08-26 | 2018-06-05 | 京东方科技集团股份有限公司 | 一种立体视觉深度的预测方法和系统 |
WO2017035498A1 (en) * | 2015-08-26 | 2017-03-02 | Olympus Corporation | System and method for depth estimation using multiple illumination sources |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
EP3136291A1 (de) * | 2015-08-31 | 2017-03-01 | Continental Automotive GmbH | Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung |
CN110598685B (zh) * | 2015-09-14 | 2023-06-30 | 原相科技股份有限公司 | 分辨前景的成像装置 |
WO2017048927A1 (en) * | 2015-09-18 | 2017-03-23 | The Regents Of The University Of California | Cameras and depth estimation of images acquired in a distorting medium |
US9928605B2 (en) * | 2015-09-25 | 2018-03-27 | Intel Corporation | Real-time cascaded object recognition |
US9940701B2 (en) * | 2015-09-25 | 2018-04-10 | Intel Corporation | Device and method for depth image dequantization |
US10051182B2 (en) | 2015-10-05 | 2018-08-14 | Light Labs Inc. | Methods and apparatus for compensating for motion and/or changing light conditions during image capture |
US10176554B2 (en) * | 2015-10-05 | 2019-01-08 | Google Llc | Camera calibration using synthetic images |
US20170096144A1 (en) | 2015-10-05 | 2017-04-06 | Ford Global Technologies, Llc | System and Method for Inspecting Road Surfaces |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
EP3362987B1 (en) * | 2015-10-14 | 2021-09-22 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image correction |
TWI579776B (zh) * | 2015-10-27 | 2017-04-21 | 財團法人國家實驗研究院 | 利用影像擷取裝置給定一全域場景影像之方法 |
US10554956B2 (en) | 2015-10-29 | 2020-02-04 | Dell Products, Lp | Depth masks for image segmentation for depth-based computational photography |
US10659766B2 (en) * | 2015-10-30 | 2020-05-19 | Canon Kabushiki Kaisha | Confidence generation apparatus, confidence generation method, and imaging apparatus |
FR3043234B1 (fr) * | 2015-11-03 | 2017-11-03 | B<>Com | Procede de suivi d'une cible clinique dans des images medicales |
US9699380B2 (en) * | 2015-11-03 | 2017-07-04 | Intel Corporation | Fusion of panoramic background images using color and depth data |
KR102446442B1 (ko) * | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
US10021371B2 (en) | 2015-11-24 | 2018-07-10 | Dell Products, Lp | Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair |
CN107851321B (zh) * | 2015-11-30 | 2020-09-11 | 华为技术有限公司 | 图像处理方法和双摄像头系统 |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
US9762893B2 (en) * | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
US10477181B2 (en) | 2015-12-16 | 2019-11-12 | Intel Corporation | Multiview video stabilization |
JP6611588B2 (ja) * | 2015-12-17 | 2019-11-27 | キヤノン株式会社 | データ記録装置、撮像装置、データ記録方法およびプログラム |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
EP3395064B1 (en) * | 2015-12-21 | 2023-06-21 | Koninklijke Philips N.V. | Processing a depth map for an image |
US20170180652A1 (en) * | 2015-12-21 | 2017-06-22 | Jim S. Baca | Enhanced imaging |
KR102466996B1 (ko) | 2016-01-06 | 2022-11-14 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
KR101721632B1 (ko) * | 2016-01-21 | 2017-03-30 | 인천대학교 산학협력단 | 변형된 커널 회귀 방법을 이용한 영상 보간 장치, 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체 |
CN105627926B (zh) * | 2016-01-22 | 2017-02-08 | 尹兴 | 四像机组平面阵列特征点三维测量系统及测量方法 |
EP3200151A1 (en) * | 2016-01-29 | 2017-08-02 | Thomson Licensing | Method and device for obtaining a depth map |
JP6643122B2 (ja) * | 2016-02-03 | 2020-02-12 | キヤノン株式会社 | 距離画像装置、撮像装置、および距離画像補正方法 |
US10175867B2 (en) * | 2016-02-03 | 2019-01-08 | Adobe Inc. | User input-based object selection using multiple visual cues |
EP3206164B1 (en) | 2016-02-12 | 2022-05-25 | Cognex Corporation | System and method for efficiently scoring probes in an image with a vision system |
US10194139B2 (en) * | 2016-02-22 | 2019-01-29 | Ricoh Company, Ltd. | Disparity-to-depth calibration for plenoptic imaging systems |
US10003783B2 (en) * | 2016-02-26 | 2018-06-19 | Infineon Technologies Ag | Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image |
NZ785500A (en) | 2016-03-01 | 2023-03-31 | Magic Leap Inc | Depth sensing systems and methods |
US10136116B2 (en) * | 2016-03-07 | 2018-11-20 | Ricoh Company, Ltd. | Object segmentation from light field data |
EP3410387B1 (en) * | 2016-03-10 | 2022-11-02 | Sony Group Corporation | Information processor and information-processing method |
CN105791803B (zh) * | 2016-03-16 | 2018-05-18 | 深圳创维-Rgb电子有限公司 | 一种将二维图像转化为多视点图像的显示方法及系统 |
US20190110028A1 (en) * | 2016-03-21 | 2019-04-11 | Thomson Licensing | Method for correcting aberration affecting light-field data |
US9934557B2 (en) * | 2016-03-22 | 2018-04-03 | Samsung Electronics Co., Ltd | Method and apparatus of image representation and processing for dynamic vision sensor |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
US10764561B1 (en) | 2016-04-04 | 2020-09-01 | Compound Eye Inc | Passive stereo depth sensing |
CN109076148B (zh) | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
US20170318273A1 (en) * | 2016-04-28 | 2017-11-02 | Qualcomm Incorporated | Shift-and-match fusion of color and mono images |
US20170332000A1 (en) * | 2016-05-10 | 2017-11-16 | Lytro, Inc. | High dynamic range light-field imaging |
DE102016208210A1 (de) | 2016-05-12 | 2017-11-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3d-multiaperturabbildungsvorrichtungen, multiaperturabbildungsvorrichtung, verfahren zum bereitstellen eines ausgangssignals einer 3d-multiaperturabbildungsvorrichtung und verfahren zum erfassen eines gesamtgesichtsfeldes |
JP6525921B2 (ja) * | 2016-05-13 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、検索装置 |
US10325370B1 (en) * | 2016-05-31 | 2019-06-18 | University Of New Brunswick | Method and system of coregistration of remote sensing images |
US10097777B2 (en) | 2016-06-03 | 2018-10-09 | Recognition Robotics, Inc. | Depth map from multi-focal plane images |
US10257485B2 (en) * | 2016-06-08 | 2019-04-09 | Google Llc | Generating a composite image from a physical item |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10298864B2 (en) * | 2016-06-10 | 2019-05-21 | Apple Inc. | Mismatched foreign light detection and mitigation in the image fusion of a two-camera system |
US10469821B2 (en) * | 2016-06-17 | 2019-11-05 | Altek Semiconductor Corp. | Stereo image generating method and electronic apparatus utilizing the method |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
KR101915843B1 (ko) * | 2016-06-29 | 2018-11-08 | 한국과학기술원 | 복굴절 매질을 이용한 영상 깊이 추정 방법 및 장치 |
US10127812B2 (en) | 2016-08-29 | 2018-11-13 | Allstate Insurance Company | Electrical data processing system for monitoring or affecting movement of a vehicle using a traffic device |
US10538326B1 (en) * | 2016-08-31 | 2020-01-21 | Amazon Technologies, Inc. | Flare detection and avoidance in stereo vision systems |
GB2553782B (en) * | 2016-09-12 | 2021-10-20 | Niantic Inc | Predicting depth from image data using a statistical model |
US10074160B2 (en) * | 2016-09-30 | 2018-09-11 | Disney Enterprises, Inc. | Point cloud noise and outlier removal for image-based 3D reconstruction |
CN109997170B (zh) * | 2016-10-18 | 2023-08-11 | 弗托斯传感与算法公司 | 用于从视图中获得距离信息的设备和方法 |
US10026014B2 (en) * | 2016-10-26 | 2018-07-17 | Nxp Usa, Inc. | Method and apparatus for data set classification based on generator features |
US10271033B2 (en) * | 2016-10-31 | 2019-04-23 | Verizon Patent And Licensing Inc. | Methods and systems for generating depth data by converging independently-captured depth maps |
US11055830B2 (en) * | 2016-10-31 | 2021-07-06 | Victoria Link Limited | Rendering process and system |
CN106504292B (zh) * | 2016-11-03 | 2019-02-05 | 浙江大学 | 基于成像本质属性的立体颜色校正方法 |
JP7014175B2 (ja) * | 2016-11-08 | 2022-02-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
CN108076338B (zh) * | 2016-11-14 | 2022-04-08 | 北京三星通信技术研究有限公司 | 图像视觉处理方法、装置及设备 |
JP6853376B2 (ja) * | 2016-11-25 | 2021-03-31 | テレダイン・ダルサ・ベー・フェーTeledyne Dalsa B.V. | 複数のx線画像から2d画像を再構築する方法 |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
RU2754721C2 (ru) | 2016-12-06 | 2021-09-06 | Конинклейке Филипс Н.В. | Устройство и способ для генерирования изображения интенсивности светового излучения |
US10451714B2 (en) | 2016-12-06 | 2019-10-22 | Sony Corporation | Optical micromesh for computerized devices |
US10536684B2 (en) * | 2016-12-07 | 2020-01-14 | Sony Corporation | Color noise reduction in 3D depth map |
KR102534875B1 (ko) | 2016-12-08 | 2023-05-22 | 한국전자통신연구원 | 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치 |
US10275855B2 (en) | 2017-01-11 | 2019-04-30 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
US10339631B2 (en) | 2017-01-11 | 2019-07-02 | Microsoft Technology Licensing, Llc | Image demosaicing for hybrid optical sensor arrays |
EP3358844A1 (en) * | 2017-02-07 | 2018-08-08 | Koninklijke Philips N.V. | Method and apparatus for processing an image property map |
US10495735B2 (en) | 2017-02-14 | 2019-12-03 | Sony Corporation | Using micro mirrors to improve the field of view of a 3D depth map |
US10795022B2 (en) | 2017-03-02 | 2020-10-06 | Sony Corporation | 3D depth map |
US20180260929A1 (en) * | 2017-03-08 | 2018-09-13 | Intel Corporation | Digital camera methods and devices optimized for computer vision applications |
JP6929094B2 (ja) * | 2017-03-27 | 2021-09-01 | キヤノン株式会社 | 電子機器、撮像装置、及び制御方法、並びにプログラム |
US10593718B2 (en) * | 2017-03-28 | 2020-03-17 | Mitutoyo Corporation | Surface profiling and imaging system including optical channels providing distance-dependent image offsets |
TWI641264B (zh) * | 2017-03-30 | 2018-11-11 | 晶睿通訊股份有限公司 | 影像處理系統及鏡頭狀態判斷方法 |
TWI672938B (zh) * | 2017-03-31 | 2019-09-21 | 鈺立微電子股份有限公司 | 可校正遮蔽區的深度圖產生裝置 |
JP6800797B2 (ja) * | 2017-03-31 | 2020-12-16 | キヤノン株式会社 | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10979687B2 (en) | 2017-04-03 | 2021-04-13 | Sony Corporation | Using super imposition to render a 3D depth map |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10142543B1 (en) * | 2017-05-12 | 2018-11-27 | Mediatek Inc. | Power reduction in a multi-sensor camera device by on-demand sensors activation |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US11227405B2 (en) | 2017-06-21 | 2022-01-18 | Apera Ai Inc. | Determining positions and orientations of objects |
CN111213372B (zh) * | 2017-07-26 | 2022-06-14 | 惠普发展公司,有限责任合伙企业 | 成像设备的动态范围的评估 |
CN107545586B (zh) * | 2017-08-04 | 2020-02-28 | 中国科学院自动化研究所 | 基于光场极线平面图像局部的深度获取方法及系统 |
US10477064B2 (en) * | 2017-08-21 | 2019-11-12 | Gopro, Inc. | Image stitching with electronic rolling shutter correction |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
RU2659745C1 (ru) * | 2017-08-28 | 2018-07-03 | Общество с ограниченной ответственностью "Аби Продакшн" | Реконструкция документа из серии изображений документа |
CN111052633B (zh) | 2017-09-11 | 2023-06-06 | 昕诺飞控股有限公司 | 利用滚动快门照相机来检测编码光 |
US10545215B2 (en) * | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10776995B2 (en) * | 2017-10-17 | 2020-09-15 | Nvidia Corporation | Light fields as better backgrounds in rendering |
US10484667B2 (en) | 2017-10-31 | 2019-11-19 | Sony Corporation | Generating 3D depth map using parallax |
WO2019089049A1 (en) | 2017-11-06 | 2019-05-09 | Google Llc | Systems and methods for improved feature extraction using polarization information |
KR102459853B1 (ko) | 2017-11-23 | 2022-10-27 | 삼성전자주식회사 | 디스패리티 추정 장치 및 방법 |
US10643383B2 (en) | 2017-11-27 | 2020-05-05 | Fotonation Limited | Systems and methods for 3D facial modeling |
CN108053368B (zh) * | 2017-12-18 | 2020-11-03 | 清华大学 | 跨尺度分辨率的光场图像超分辨率及深度估计方法及装置 |
CN108090872B (zh) * | 2017-12-18 | 2021-07-16 | 武汉大学 | 基于梯度提取的单帧多光谱影像超分辨率重建方法及系统 |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
CN109840922B (zh) * | 2018-01-31 | 2021-03-02 | 中国科学院计算技术研究所 | 基于双目光场相机的深度获取方法和系统 |
EP3522106A1 (en) * | 2018-01-31 | 2019-08-07 | InterDigital CE Patent Holdings | A filter array enabling easy demosaicing |
US11024046B2 (en) | 2018-02-07 | 2021-06-01 | Fotonation Limited | Systems and methods for depth estimation using generative models |
CN108364309B (zh) * | 2018-02-09 | 2020-09-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的空间光场恢复方法 |
US10306152B1 (en) * | 2018-02-14 | 2019-05-28 | Himax Technologies Limited | Auto-exposure controller, auto-exposure control method and system based on structured light |
JP2019149621A (ja) * | 2018-02-26 | 2019-09-05 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10510178B2 (en) * | 2018-02-27 | 2019-12-17 | Verizon Patent And Licensing Inc. | Methods and systems for volumetric reconstruction based on a confidence field |
JP2019149767A (ja) * | 2018-02-28 | 2019-09-05 | パナソニック液晶ディスプレイ株式会社 | 表示装置用校正システム、表示装置、撮影装置、サーバ装置、及び、表示装置の校正方法 |
US10839541B2 (en) * | 2018-03-14 | 2020-11-17 | Google Llc | Hierarchical disparity hypothesis generation with slanted support windows |
CN108520495B (zh) * | 2018-03-15 | 2021-09-07 | 西北工业大学 | 基于聚类流形先验的高光谱图像超分辨重建方法 |
US10972643B2 (en) | 2018-03-29 | 2021-04-06 | Microsoft Technology Licensing, Llc | Camera comprising an infrared illuminator and a liquid crystal optical filter switchable between a reflection state and a transmission state for infrared imaging and spectral imaging, and method thereof |
US10529085B2 (en) * | 2018-03-30 | 2020-01-07 | Samsung Electronics Co., Ltd. | Hardware disparity evaluation for stereo matching |
JP7233150B2 (ja) * | 2018-04-04 | 2023-03-06 | 日本放送協会 | 奥行推定装置およびそのプログラム |
US11308577B2 (en) * | 2018-04-04 | 2022-04-19 | Sony Interactive Entertainment Inc. | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method |
CN112470189B (zh) * | 2018-04-17 | 2024-03-29 | 上海科技大学 | 光场系统的遮挡消除 |
US11089265B2 (en) | 2018-04-17 | 2021-08-10 | Microsoft Technology Licensing, Llc | Telepresence devices operation methods |
US10477220B1 (en) | 2018-04-20 | 2019-11-12 | Sony Corporation | Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling |
SE542050C2 (en) | 2018-04-24 | 2020-02-18 | Superannotate Ai Inc | Method for merging superpixels |
CA3097202A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
US11079285B2 (en) | 2018-05-04 | 2021-08-03 | Raytheon Technologies Corporation | Automated analysis of thermally-sensitive coating and method therefor |
US10958843B2 (en) | 2018-05-04 | 2021-03-23 | Raytheon Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US11268881B2 (en) * | 2018-05-04 | 2022-03-08 | Raytheon Technologies Corporation | System and method for fan blade rotor disk and gear inspection |
US10943320B2 (en) | 2018-05-04 | 2021-03-09 | Raytheon Technologies Corporation | System and method for robotic inspection |
US10902664B2 (en) | 2018-05-04 | 2021-01-26 | Raytheon Technologies Corporation | System and method for detecting damage using two-dimensional imagery and three-dimensional model |
US10914191B2 (en) | 2018-05-04 | 2021-02-09 | Raytheon Technologies Corporation | System and method for in situ airfoil inspection |
US10685433B2 (en) | 2018-05-04 | 2020-06-16 | Raytheon Technologies Corporation | Nondestructive coating imperfection detection system and method therefor |
US10928362B2 (en) | 2018-05-04 | 2021-02-23 | Raytheon Technologies Corporation | Nondestructive inspection using dual pulse-echo ultrasonics and method therefor |
US10832427B1 (en) * | 2018-05-07 | 2020-11-10 | Apple Inc. | Scene camera retargeting |
US10924692B2 (en) | 2018-05-08 | 2021-02-16 | Microsoft Technology Licensing, Llc | Depth and multi-spectral camera |
US10996335B2 (en) | 2018-05-09 | 2021-05-04 | Microsoft Technology Licensing, Llc | Phase wrapping determination for time-of-flight camera |
US10607352B2 (en) | 2018-05-17 | 2020-03-31 | Microsoft Technology Licensing, Llc | Reduced power operation of time-of-flight camera |
US10783656B2 (en) * | 2018-05-18 | 2020-09-22 | Zebra Technologies Corporation | System and method of determining a location for placement of a package |
US10477173B1 (en) | 2018-05-23 | 2019-11-12 | Microsoft Technology Licensing, Llc | Camera with tunable filter and active illumination |
WO2019232806A1 (zh) * | 2018-06-08 | 2019-12-12 | 珊口(深圳)智能科技有限公司 | 导航方法、导航系统、移动控制系统及移动机器人 |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
EP3804328A4 (en) | 2018-06-29 | 2022-03-09 | Proprio, Inc. | SYNTHESIS OF AN IMAGE FROM A VIRTUAL PERSPECTIVE USING PIXELS FROM A PHYSICAL IMAGING ARRANGEMENT |
CN108924434B (zh) * | 2018-06-29 | 2020-08-18 | 宁波大学 | 一种基于曝光变换的立体高动态范围图像合成方法 |
CN110660088B (zh) * | 2018-06-30 | 2023-08-22 | 华为技术有限公司 | 一种图像处理的方法和设备 |
US10692184B2 (en) * | 2018-07-05 | 2020-06-23 | SVXR, Inc. | Super-resolution X-ray imaging method and apparatus |
JP7179515B2 (ja) * | 2018-07-13 | 2022-11-29 | キヤノン株式会社 | 装置、制御方法、及びプログラム |
EP3598389A1 (en) * | 2018-07-19 | 2020-01-22 | Thomson Licensing | Method for detecting occlusions in an image, corresponding device and computer program product |
EP3598390A1 (en) * | 2018-07-19 | 2020-01-22 | Thomson Licensing | Method for estimating a depth for pixels, corresponding device and computer program product |
US11145046B2 (en) * | 2018-07-24 | 2021-10-12 | The Regents Of The University Of Michigan | Detection of near-field occlusions in images |
CN109191512B (zh) * | 2018-07-27 | 2020-10-30 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
US11178373B2 (en) | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
US11212506B2 (en) | 2018-07-31 | 2021-12-28 | Intel Corporation | Reduced rendering of six-degree of freedom video |
US10922832B2 (en) * | 2018-07-31 | 2021-02-16 | Intel Corporation | Removal of projection noise and point-based rendering |
US10893299B2 (en) | 2018-07-31 | 2021-01-12 | Intel Corporation | Surface normal vector processing mechanism |
US10762394B2 (en) | 2018-07-31 | 2020-09-01 | Intel Corporation | System and method for 3D blob classification and transmission |
US10887574B2 (en) | 2018-07-31 | 2021-01-05 | Intel Corporation | Selective packing of patches for immersive video |
CN110798677B (zh) * | 2018-08-01 | 2021-08-31 | Oppo广东移动通信有限公司 | 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备 |
CN110798674B (zh) * | 2018-08-01 | 2022-04-08 | 中兴通讯股份有限公司 | 图像深度值获取方法、装置、设备、编解码器及存储介质 |
US10554914B1 (en) * | 2018-08-10 | 2020-02-04 | Apple Inc. | Adjusting confidence values for correcting pixel defects |
JP7005458B2 (ja) * | 2018-09-12 | 2022-01-21 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
US11689707B2 (en) * | 2018-09-20 | 2023-06-27 | Shoppertrak Rct Llc | Techniques for calibrating a stereoscopic camera in a device |
CN109151334B (zh) * | 2018-09-21 | 2020-12-22 | 中国计量大学 | 一种无人车相机系统 |
US11367305B2 (en) * | 2018-09-28 | 2022-06-21 | Apple Inc. | Obstruction detection during facial recognition processes |
US10896516B1 (en) * | 2018-10-02 | 2021-01-19 | Facebook Technologies, Llc | Low-power depth sensing using dynamic illumination |
US10901092B1 (en) * | 2018-10-02 | 2021-01-26 | Facebook Technologies, Llc | Depth sensing using dynamic illumination with range extension |
US11057631B2 (en) | 2018-10-10 | 2021-07-06 | Intel Corporation | Point cloud coding standard conformance definition in computing environments |
CN109543544B (zh) * | 2018-10-25 | 2021-04-09 | 北京市商汤科技开发有限公司 | 跨光谱图像匹配方法及装置、电子设备和存储介质 |
US11055866B2 (en) * | 2018-10-29 | 2021-07-06 | Samsung Electronics Co., Ltd | System and method for disparity estimation using cameras with different fields of view |
US10931894B2 (en) | 2018-10-31 | 2021-02-23 | Microsoft Technology Licensing, Llc | Tunable spectral illuminator for camera |
US10979648B2 (en) * | 2018-11-07 | 2021-04-13 | Inuitive Ltd. | Stereoscopic apparatus and a method for determining exposure time |
FR3088510A1 (fr) * | 2018-11-09 | 2020-05-15 | Orange | Synthese de vues |
TWI757658B (zh) * | 2018-11-14 | 2022-03-11 | 宏達國際電子股份有限公司 | 影像處理系統及影像處理方法 |
US20220005203A1 (en) * | 2018-11-19 | 2022-01-06 | Nec Corporation | Image processing method and image processing device |
CN109685748B (zh) * | 2018-12-07 | 2021-03-30 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备、计算机可读存储介质 |
US10708557B1 (en) * | 2018-12-14 | 2020-07-07 | Lyft Inc. | Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors |
US11357593B2 (en) | 2019-01-10 | 2022-06-14 | Covidien Lp | Endoscopic imaging with augmented parallax |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
CN109648210B (zh) * | 2019-02-14 | 2024-03-15 | 北京志恒达科技有限公司 | 激光灼刻装置及系统 |
KR102658474B1 (ko) * | 2019-03-19 | 2024-04-17 | 한국전자통신연구원 | 가상 시점 합성을 위한 영상 부호화/복호화 방법 및 장치 |
WO2020188121A1 (en) | 2019-03-21 | 2020-09-24 | Five AI Limited | Perception uncertainty |
JP7007324B2 (ja) * | 2019-04-25 | 2022-01-24 | ファナック株式会社 | 画像処理装置、画像処理方法、及びロボットシステム |
US12022589B2 (en) * | 2019-04-30 | 2024-06-25 | Signify Holding B.V. | Camera-based lighting control |
CN110210541B (zh) * | 2019-05-23 | 2021-09-03 | 浙江大华技术股份有限公司 | 图像融合方法及设备、存储装置 |
US10937232B2 (en) * | 2019-06-26 | 2021-03-02 | Honeywell International Inc. | Dense mapping using range sensor multi-scanning and multi-view geometry from successive image frames |
US11494953B2 (en) * | 2019-07-01 | 2022-11-08 | Microsoft Technology Licensing, Llc | Adaptive user interface palette for augmented reality |
US11270464B2 (en) | 2019-07-18 | 2022-03-08 | Microsoft Technology Licensing, Llc | Dynamic detection and correction of light field camera array miscalibration |
US11553123B2 (en) * | 2019-07-18 | 2023-01-10 | Microsoft Technology Licensing, Llc | Dynamic detection and correction of light field camera array miscalibration |
US11082659B2 (en) | 2019-07-18 | 2021-08-03 | Microsoft Technology Licensing, Llc | Light field camera modules and light field camera module arrays |
US11064154B2 (en) | 2019-07-18 | 2021-07-13 | Microsoft Technology Licensing, Llc | Device pose detection and pose-related image capture and processing for light field based telepresence communications |
JP7431527B2 (ja) * | 2019-08-07 | 2024-02-15 | キヤノン株式会社 | 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム |
US11303877B2 (en) | 2019-08-13 | 2022-04-12 | Avigilon Corporation | Method and system for enhancing use of two-dimensional video analytics by using depth data |
US10861422B1 (en) * | 2019-08-16 | 2020-12-08 | Facebook Technologies, Inc. | Display rendering |
CN110533731B (zh) * | 2019-08-30 | 2023-01-17 | 无锡先导智能装备股份有限公司 | 相机解析度的标定方法及相机解析度的标定装置 |
US11729364B2 (en) | 2019-09-18 | 2023-08-15 | Gopro, Inc. | Circular stitching of images |
CN111028281B (zh) * | 2019-10-22 | 2022-10-18 | 清华大学 | 基于光场双目系统的深度信息计算方法及装置 |
US20220383585A1 (en) * | 2019-11-01 | 2022-12-01 | Visionary Machines Pty Ltd | Systems And Methods For Generating And/Or Using 3-Dimensional Information With Camera Arrays |
US11030478B1 (en) | 2019-11-27 | 2021-06-08 | Compound Eye, Inc. | System and method for correspondence map determination |
DE102019133515B3 (de) * | 2019-12-09 | 2021-04-01 | Cubert GmbH | Verfahren und Vorrichtung zur Parallaxenbestimmung von Aufnahmen eines Multilinsen-Kamerasystems |
US11315266B2 (en) * | 2019-12-16 | 2022-04-26 | Robert Bosch Gmbh | Self-supervised depth estimation method and system |
US11663728B2 (en) * | 2020-01-16 | 2023-05-30 | Samsung Electronics Co., Ltd. | Depth estimation method and apparatus |
WO2021150784A1 (en) * | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for camera calibration |
WO2021150779A1 (en) | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for egomotion estimation |
US20210245047A1 (en) | 2020-02-10 | 2021-08-12 | Intel Corporation | Continuum architecture for cloud gaming |
US11816855B2 (en) * | 2020-02-11 | 2023-11-14 | Samsung Electronics Co., Ltd. | Array-based depth estimation |
CN111582196B (zh) * | 2020-02-13 | 2021-05-04 | 牧今科技 | 用于确定相机视场内的遮挡的方法和系统 |
US11006039B1 (en) | 2020-02-13 | 2021-05-11 | Mujin, Inc. | Method and system for determining occlusion within a camera field of view |
AT523556A1 (de) | 2020-02-26 | 2021-09-15 | Vexcel Imaging Gmbh | Verfahren zur Bildkorrektur |
CN113542721B (zh) * | 2020-04-20 | 2023-04-25 | 阿里巴巴集团控股有限公司 | 深度图处理方法、视频重建方法及相关装置 |
EP4128746A1 (en) | 2020-04-22 | 2023-02-08 | Huawei Technologies Co., Ltd. | Device and method for depth estimation using color images |
US11520052B2 (en) * | 2020-06-26 | 2022-12-06 | Microsoft Technology Licensing, Llc | Adaptive processing in time of flight imaging |
US20220005217A1 (en) * | 2020-07-06 | 2022-01-06 | Toyota Research Institute, Inc. | Multi-view depth estimation leveraging offline structure-from-motion |
US11212503B1 (en) * | 2020-07-14 | 2021-12-28 | Microsoft Technology Licensing, Llc | Dual camera HMD with remote camera alignment |
WO2022019049A1 (ja) * | 2020-07-20 | 2022-01-27 | ソニーグループ株式会社 | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム |
WO2022025741A1 (en) * | 2020-07-27 | 2022-02-03 | Samsung Electronics Co., Ltd. | Array-based depth estimation |
CN112053425B (zh) * | 2020-09-29 | 2022-05-10 | 广州极飞科技股份有限公司 | 多光谱图像处理方法、装置及电子设备 |
KR102317182B1 (ko) * | 2020-11-25 | 2021-10-27 | 주식회사 리얼이매진 | 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 |
CN112614161A (zh) * | 2020-12-28 | 2021-04-06 | 之江实验室 | 一种基于边缘置信度的三维物体跟踪方法 |
WO2022162616A1 (en) * | 2021-01-28 | 2022-08-04 | Visionary Machines Pty Ltd | Systems and methods for combining multiple depth maps |
US11995156B2 (en) | 2021-02-03 | 2024-05-28 | Samsung Electronics Co., Ltd. | Confidence aided upsampling of categorical maps |
WO2022195537A1 (en) * | 2021-03-17 | 2022-09-22 | The Trustees Of Princeton University | Microlens amplitude masks for flying pixel removal in time-of-flight imaging |
US20220319026A1 (en) * | 2021-03-31 | 2022-10-06 | Ernst Leitz Labs LLC | Imaging system and method |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
CN114759991B (zh) * | 2022-03-28 | 2023-09-22 | 扬州大学 | 一种基于可见性图的循环平稳信号检测及调制识别方法 |
US11889033B2 (en) * | 2022-05-11 | 2024-01-30 | Samsung Electronics Co., Ltd. | Flare mitigation via deconvolution using high dynamic range imaging |
CN114897951B (zh) * | 2022-05-30 | 2023-02-28 | 中国测绘科学研究院 | 聚合多视角深度信息的单张光场影像深度估计方法及系统 |
JP2024014138A (ja) * | 2022-07-21 | 2024-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11704864B1 (en) * | 2022-07-28 | 2023-07-18 | Katmai Tech Inc. | Static rendering for a combination of background and foreground objects |
CN115171030B (zh) * | 2022-09-09 | 2023-01-31 | 山东省凯麟环保设备股份有限公司 | 基于多级特征融合的多模态图像分割方法、系统及器件 |
US20240129604A1 (en) * | 2022-10-14 | 2024-04-18 | Motional Ad Llc | Plenoptic sensor devices, systems, and methods |
KR102635346B1 (ko) * | 2022-11-04 | 2024-02-08 | 주식회사 브이알크루 | 가상 객체의 폐색을 구현하기 위한 방법 |
CN116188558B (zh) * | 2023-04-27 | 2023-07-11 | 华北理工大学 | 基于双目视觉的立体摄影测量方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994020875A3 (en) * | 1993-03-03 | 1995-01-12 | Street Graham S B | Method and apparatus for image alignment |
JPH0756112A (ja) * | 1993-08-19 | 1995-03-03 | Nittetsu Eretsukusu:Kk | 立体像表示装置 |
CN1619358A (zh) * | 2003-09-08 | 2005-05-25 | 株式会社东芝 | 立体显示装置及图像显示方法 |
CN1985524A (zh) * | 2004-09-29 | 2007-06-20 | 株式会社东芝 | 三维图像数据的结构,其记录方法及其显示再现方法 |
CN201043890Y (zh) * | 2006-11-17 | 2008-04-02 | 中国科学院上海光学精密机械研究所 | 单孔径多重成像的光学成像测距装置 |
Family Cites Families (954)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4124798A (en) | 1965-12-09 | 1978-11-07 | Thompson Kenneth B | Optical viewing apparatus |
JPS5925483B2 (ja) | 1977-12-09 | 1984-06-18 | パイオニア株式会社 | プツシユプル増幅回路 |
US4198646A (en) | 1978-10-13 | 1980-04-15 | Hughes Aircraft Company | Monolithic imager for near-IR |
US4323925A (en) | 1980-07-07 | 1982-04-06 | Avco Everett Research Laboratory, Inc. | Method and apparatus for arraying image sensor modules |
JPS5769476A (en) | 1980-10-16 | 1982-04-28 | Fuji Xerox Co Ltd | Reader control system |
JPS5925483A (ja) | 1982-08-04 | 1984-02-09 | Hitachi Denshi Ltd | 固体撮像装置 |
US4652909A (en) | 1982-09-14 | 1987-03-24 | New York Institute Of Technology | Television camera and recording system for high definition television having imagers of different frame rate |
US4460449A (en) | 1983-01-03 | 1984-07-17 | Amerace Corporation | Apparatus for making a tool |
US4888645A (en) | 1984-01-16 | 1989-12-19 | International Business Machines Corporation | Method for encoding and decoding a digital image |
JPS6140709U (ja) | 1984-08-20 | 1986-03-14 | 三洋電機株式会社 | 磁気ヘツド |
EP0289885A1 (de) | 1987-05-08 | 1988-11-09 | Siemens Aktiengesellschaft | Blendensystem zur Erzeugung mehrerer Teilchensonden mit veränderbarem Querschnitt |
JPS6437177A (en) | 1987-08-03 | 1989-02-07 | Canon Kk | Image pickup device |
JPS6437177U (zh) | 1987-08-31 | 1989-03-06 | ||
DE58902538D1 (de) | 1988-05-19 | 1992-12-03 | Siemens Ag | Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens. |
JPH02285772A (ja) | 1989-04-26 | 1990-11-26 | Toshiba Corp | 画像読取装置 |
US5070414A (en) | 1988-09-20 | 1991-12-03 | Kabushiki Kaisha Toshiba | Method and apparatus for reading image information formed on material |
US4962425A (en) | 1988-10-27 | 1990-10-09 | National Research Council Of Canada/Conseil National Deresherches Canada | Photometric device |
US5157499A (en) | 1990-06-29 | 1992-10-20 | Kabushiki Kaisha N A C | High-speed video camera using solid-state image sensor |
US5144448A (en) | 1990-07-31 | 1992-09-01 | Vidar Systems Corporation | Scanning apparatus using multiple CCD arrays and related method |
US5463464A (en) | 1991-10-04 | 1995-10-31 | Kms Fusion, Inc. | Electro-optical system for gauging surface profile deviations using infrared radiation |
US5325449A (en) | 1992-05-15 | 1994-06-28 | David Sarnoff Research Center, Inc. | Method for fusing images and apparatus therefor |
JP3032382B2 (ja) | 1992-07-13 | 2000-04-17 | シャープ株式会社 | デジタル信号のサンプリング周波数変換装置 |
JPH06129851A (ja) | 1992-10-13 | 1994-05-13 | Sumitomo Electric Ind Ltd | ステレオカメラの校正方法 |
US5659424A (en) | 1993-05-25 | 1997-08-19 | Hitachi, Ltd. | Projecting lens and image display device |
JPH0715457A (ja) | 1993-06-18 | 1995-01-17 | Hitachi Ltd | ディジタル通信切替方式 |
US6419638B1 (en) | 1993-07-20 | 2002-07-16 | Sam H. Hay | Optical recognition methods for locating eyes |
US6095989A (en) | 1993-07-20 | 2000-08-01 | Hay; Sam H. | Optical recognition methods for locating eyes |
EP0677821A3 (en) | 1994-04-14 | 1996-03-06 | Hewlett Packard Co | Enlargement of a digital image by slaving. |
WO1995034044A1 (en) | 1994-06-09 | 1995-12-14 | Kollmorgen Instrument Corporation | Stereoscopic electro-optical system for automated inspection and/or alignment of imaging devices on a production assembly line |
US20020195548A1 (en) | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
US5629524A (en) | 1995-02-21 | 1997-05-13 | Advanced Scientific Concepts, Inc. | High speed crystallography detector |
EP0739039A3 (en) | 1995-04-18 | 1998-03-04 | Interuniversitair Micro-Elektronica Centrum Vzw | Pixel structure, image sensor using such pixel, structure and corresponding peripheric circuitry |
US5963664A (en) | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
US6005607A (en) | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
GB2302978A (en) | 1995-07-04 | 1997-02-05 | Sharp Kk | LIquid crystal device |
US5880691A (en) | 1995-11-07 | 1999-03-09 | California Institute Of Technology | Capacitively coupled successive approximation ultra low power analog-to-digital converter |
US5757425A (en) | 1995-12-19 | 1998-05-26 | Eastman Kodak Company | Method and apparatus for independently calibrating light source and photosensor arrays |
JP3502713B2 (ja) | 1995-12-21 | 2004-03-02 | 本田技研工業株式会社 | 車両用距離測定装置 |
JPH09181913A (ja) | 1995-12-26 | 1997-07-11 | Olympus Optical Co Ltd | カメラシステム |
US5793900A (en) | 1995-12-29 | 1998-08-11 | Stanford University | Generating categorical depth maps using passive defocus sensing |
US6124974A (en) | 1996-01-26 | 2000-09-26 | Proxemics | Lenslet array systems and methods |
US5973844A (en) | 1996-01-26 | 1999-10-26 | Proxemics | Lenslet array systems and methods |
US6493465B2 (en) | 1996-02-21 | 2002-12-10 | Canon Kabushiki Kaisha | Matching point extracting method and apparatus therefor |
US5832312A (en) * | 1996-02-22 | 1998-11-03 | Eastman Kodak Company | Watertight body for accommodating a photographic camera |
MY118360A (en) | 1996-04-30 | 2004-10-30 | Nippon Telegraph & Telephone | Scheme for detecting shot boundaries in compressed video data using inter-frame/inter field prediction coding and intra-frame/intra-field coding |
US6002743A (en) | 1996-07-17 | 1999-12-14 | Telymonde; Timothy D. | Method and apparatus for image acquisition from a plurality of cameras |
GB9616262D0 (en) * | 1996-08-02 | 1996-09-11 | Philips Electronics Nv | Post-processing generation of focus/defocus effects for computer graphics images |
US6141048A (en) | 1996-08-19 | 2000-10-31 | Eastman Kodak Company | Compact image capture device |
US6137535A (en) | 1996-11-04 | 2000-10-24 | Eastman Kodak Company | Compact digital camera with segmented fields of view |
US5808350A (en) | 1997-01-03 | 1998-09-15 | Raytheon Company | Integrated IR, visible and NIR sensor and methods of fabricating same |
JPH10232626A (ja) | 1997-02-20 | 1998-09-02 | Canon Inc | 立体画像表示装置 |
JPH10253351A (ja) | 1997-03-14 | 1998-09-25 | Kyocera Corp | 測距装置 |
US5801919A (en) | 1997-04-04 | 1998-09-01 | Gateway 2000, Inc. | Adjustably mounted camera assembly for portable computers |
US6097394A (en) | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
US6515701B2 (en) | 1997-07-24 | 2003-02-04 | Polaroid Corporation | Focal plane exposure control system for CMOS area image sensors |
US6563537B1 (en) | 1997-07-31 | 2003-05-13 | Fuji Photo Film Co., Ltd. | Image signal interpolation |
JP3430935B2 (ja) | 1997-10-20 | 2003-07-28 | 富士ゼロックス株式会社 | 画像読取装置及びレンズ |
NO305728B1 (no) | 1997-11-14 | 1999-07-12 | Reidar E Tangen | Optoelektronisk kamera og fremgangsmÕte ved bildeformatering i samme |
JP4243779B2 (ja) | 1997-11-14 | 2009-03-25 | 株式会社ニコン | 拡散板の製造方法および拡散板、並びにマイクロレンズアレイの製造方法およびマイクロレンズアレイ |
US6069365A (en) | 1997-11-25 | 2000-05-30 | Alan Y. Chow | Optical processor based imaging system |
JPH11242189A (ja) | 1997-12-25 | 1999-09-07 | Olympus Optical Co Ltd | 像形成法、像形成装置 |
US6721008B2 (en) | 1998-01-22 | 2004-04-13 | Eastman Kodak Company | Integrated CMOS active pixel digital camera |
US6833863B1 (en) | 1998-02-06 | 2004-12-21 | Intel Corporation | Method and apparatus for still image capture during video streaming operations of a tethered digital camera |
JPH11223708A (ja) | 1998-02-09 | 1999-08-17 | Nikon Corp | 圧子およびマイクロ光学素子アレイの製造方法 |
US6054703A (en) | 1998-03-20 | 2000-04-25 | Syscan, Inc. | Sensing module for accelerating signal readout from image sensors |
US6160909A (en) | 1998-04-01 | 2000-12-12 | Canon Kabushiki Kaisha | Depth control for stereoscopic images |
KR100307883B1 (ko) | 1998-04-13 | 2001-10-19 | 박호군 | 정합화소수를이용한유사도측정방법및이를구현하기위한장치 |
JP3745117B2 (ja) | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP3931936B2 (ja) | 1998-05-11 | 2007-06-20 | セイコーエプソン株式会社 | マイクロレンズアレイ基板及びその製造方法並びに表示装置 |
JP3284190B2 (ja) | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
US6205241B1 (en) | 1998-06-01 | 2001-03-20 | Canon Kabushiki Kaisha | Compression of stereoscopic images |
US6137100A (en) | 1998-06-08 | 2000-10-24 | Photobit Corporation | CMOS image sensor with different pixel sizes for different colors |
US6069351A (en) | 1998-07-16 | 2000-05-30 | Intel Corporation | Focal plane processor for scaling information from image sensors |
US6903770B1 (en) | 1998-07-27 | 2005-06-07 | Sanyo Electric Co., Ltd. | Digital camera which produces a single image based on two exposures |
JP2000055658A (ja) * | 1998-08-06 | 2000-02-25 | Sony Corp | 画像処理装置および方法、並びに提供媒体 |
US6340994B1 (en) | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
US6269175B1 (en) | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
EP1418766A3 (en) * | 1998-08-28 | 2010-03-24 | Imax Corporation | Method and apparatus for processing images |
US6879735B1 (en) | 1998-09-14 | 2005-04-12 | University Of Utah Reasearch Foundation | Method of digital image enhancement and sharpening |
US6310650B1 (en) | 1998-09-23 | 2001-10-30 | Honeywell International Inc. | Method and apparatus for calibrating a tiled display |
GB2343320B (en) | 1998-10-31 | 2003-03-26 | Ibm | Camera system for three dimentional images and video |
JP3596314B2 (ja) | 1998-11-02 | 2004-12-02 | 日産自動車株式会社 | 物体端の位置計測装置および移動体の通行判断装置 |
US6700588B1 (en) | 1998-11-09 | 2004-03-02 | Broadcom Corporation | Apparatus and method for blending graphics and video surfaces |
US6611289B1 (en) | 1999-01-15 | 2003-08-26 | Yanbin Yu | Digital cameras using multiple sensors with multiple lenses |
JP3875423B2 (ja) | 1999-01-19 | 2007-01-31 | 日本放送協会 | 固体撮像素子およびそれ用の映像信号出力装置 |
US6603513B1 (en) * | 1999-02-16 | 2003-08-05 | Micron Technology, Inc. | Using a single control line to provide select and reset signals to image sensors in two rows of a digital imaging device |
JP3634677B2 (ja) | 1999-02-19 | 2005-03-30 | キヤノン株式会社 | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 |
US6563540B2 (en) | 1999-02-26 | 2003-05-13 | Intel Corporation | Light sensor with increased dynamic range |
US20020063807A1 (en) | 1999-04-19 | 2002-05-30 | Neal Margulis | Method for Performing Image Transforms in a Digital Display System |
US6819358B1 (en) | 1999-04-26 | 2004-11-16 | Microsoft Corporation | Error calibration for digital image sensors and apparatus using the same |
US6292713B1 (en) | 1999-05-20 | 2001-09-18 | Compaq Computer Corporation | Robotic telepresence system |
US6864916B1 (en) | 1999-06-04 | 2005-03-08 | The Trustees Of Columbia University In The City Of New York | Apparatus and method for high dynamic range imaging using spatially varying exposures |
JP2001008235A (ja) | 1999-06-25 | 2001-01-12 | Minolta Co Ltd | 3次元データの再構成のための画像入力方法及び多眼式データ入力装置 |
JP2001042042A (ja) | 1999-07-27 | 2001-02-16 | Canon Inc | 撮像装置 |
US6801653B1 (en) | 1999-08-05 | 2004-10-05 | Sony Corporation | Information processing apparatus and method as well as medium |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US6647142B1 (en) | 1999-08-19 | 2003-11-11 | Mitsubishi Electric Research Laboratories, Inc. | Badge identification system |
US6771833B1 (en) | 1999-08-20 | 2004-08-03 | Eastman Kodak Company | Method and system for enhancing digital images |
US6628330B1 (en) | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
US6358862B1 (en) | 1999-09-02 | 2002-03-19 | Micron Technology, Inc | Passivation integrity improvements |
US7477284B2 (en) | 1999-09-16 | 2009-01-13 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for capturing and viewing stereoscopic panoramic images |
JP3280001B2 (ja) | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
US6639596B1 (en) | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
US6628845B1 (en) | 1999-10-20 | 2003-09-30 | Nec Laboratories America, Inc. | Method for subpixel registration of images |
US6774941B1 (en) | 1999-10-26 | 2004-08-10 | National Semiconductor Corporation | CCD output processing stage that amplifies signals from colored pixels based on the conversion efficiency of the colored pixels |
US6671399B1 (en) | 1999-10-27 | 2003-12-30 | Canon Kabushiki Kaisha | Fast epipolar line adjustment of stereo pairs |
US6674892B1 (en) | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP2001195050A (ja) | 1999-11-05 | 2001-07-19 | Mitsubishi Electric Corp | グラフィックアクセラレータ |
DE60014420T2 (de) | 1999-11-26 | 2005-10-13 | Sanyo Electric Co., Ltd., Moriguchi | Verfahren zur 2d/3d videoumwandlung |
JP3950926B2 (ja) | 1999-11-30 | 2007-08-01 | エーユー オプトロニクス コーポレイション | 画像表示方法、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス |
JP3728160B2 (ja) * | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
US7068851B1 (en) | 1999-12-10 | 2006-06-27 | Ricoh Co., Ltd. | Multiscale sharpening and smoothing with wavelets |
FI107680B (fi) | 1999-12-22 | 2001-09-14 | Nokia Oyj | Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite |
US6502097B1 (en) | 1999-12-23 | 2002-12-31 | Microsoft Corporation | Data structure for efficient access to variable-size data objects |
US6476805B1 (en) | 1999-12-23 | 2002-11-05 | Microsoft Corporation | Techniques for spatial displacement estimation and multi-resolution operations on light fields |
JP2001194114A (ja) | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
EP3620210A1 (en) | 2000-02-18 | 2020-03-11 | William Beaumont Hospital | Cone-beam computerized tomography with a flat-panel imager |
US6523046B2 (en) | 2000-02-25 | 2003-02-18 | Microsoft Corporation | Infrastructure and method for supporting generic multimedia metadata |
JP2001264033A (ja) | 2000-03-17 | 2001-09-26 | Sony Corp | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 |
US6571466B1 (en) | 2000-03-27 | 2003-06-03 | Amkor Technology, Inc. | Flip chip image sensor package fabrication method |
JP2001277260A (ja) | 2000-03-30 | 2001-10-09 | Seiko Epson Corp | マイクロレンズアレイ、その製造方法及びその製造用原盤並びに表示装置 |
WO2001075949A1 (fr) | 2000-04-04 | 2001-10-11 | Advantest Corporation | Appareil d'exposition multifaisceau comprenant une lentille electronique multiaxe, et procede de fabrication d'un dispositif a semi-conducteur |
US20020015536A1 (en) | 2000-04-24 | 2002-02-07 | Warren Penny G. | Apparatus and method for color image fusion |
JP2001337263A (ja) | 2000-05-25 | 2001-12-07 | Olympus Optical Co Ltd | 測距装置 |
JP4501239B2 (ja) | 2000-07-13 | 2010-07-14 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、並びに、記憶媒体 |
KR20030028553A (ko) | 2000-07-21 | 2003-04-08 | 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 | 이미지 모자이크 방법 및 장치 |
AU2001277110A1 (en) | 2000-07-21 | 2002-02-05 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for reducing distortion in images |
US7154546B1 (en) | 2000-08-07 | 2006-12-26 | Micron Technology, Inc. | Pixel optimization for color |
ATE313218T1 (de) | 2000-08-25 | 2005-12-15 | Fuji Photo Film Co Ltd | Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung |
US7085409B2 (en) | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US6734905B2 (en) | 2000-10-20 | 2004-05-11 | Micron Technology, Inc. | Dynamic range extension for CMOS image sensors |
US6774889B1 (en) | 2000-10-24 | 2004-08-10 | Microsoft Corporation | System and method for transforming an ordinary computer monitor screen into a touch screen |
US7262799B2 (en) | 2000-10-25 | 2007-08-28 | Canon Kabushiki Kaisha | Image sensing apparatus and its control method, control program, and storage medium |
US6476971B1 (en) | 2000-10-31 | 2002-11-05 | Eastman Kodak Company | Method of manufacturing a microlens array mold and a microlens array |
JP3918499B2 (ja) | 2000-11-01 | 2007-05-23 | セイコーエプソン株式会社 | 間隙測定方法、間隙測定装置、形状測定方法、形状測定装置並びに液晶装置の製造方法 |
US6573912B1 (en) | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
US6788338B1 (en) | 2000-11-20 | 2004-09-07 | Petko Dimitrov Dinev | High resolution video camera apparatus having two image sensors and signal processing |
US7490774B2 (en) | 2003-11-13 | 2009-02-17 | Metrologic Instruments, Inc. | Hand-supportable imaging based bar code symbol reader employing automatic light exposure measurement and illumination control subsystem integrated therein |
JP2002171537A (ja) | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
ATE552572T1 (de) | 2000-12-01 | 2012-04-15 | Imax Corp | Verfahren und vorrichtung zum erzeugen hochauflösender bilder |
WO2002047031A2 (en) | 2000-12-05 | 2002-06-13 | Yeda Research And Development Co. Ltd. | Apparatus and method for alignment of spatial or temporal non-overlapping image sequences |
JP2002252338A (ja) | 2000-12-18 | 2002-09-06 | Canon Inc | 撮像装置及び撮像システム |
JP2002195910A (ja) | 2000-12-26 | 2002-07-10 | Omron Corp | 光学部品の検査装置 |
JP2002209226A (ja) | 2000-12-28 | 2002-07-26 | Canon Inc | 撮像装置 |
US7805680B2 (en) | 2001-01-03 | 2010-09-28 | Nokia Corporation | Statistical metering and filtering of content via pixel-based metadata |
JP3957460B2 (ja) | 2001-01-15 | 2007-08-15 | 沖電気工業株式会社 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
JP2002250607A (ja) | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
US6635941B2 (en) | 2001-03-21 | 2003-10-21 | Canon Kabushiki Kaisha | Structure of semiconductor device with improved reliability |
JP2002324743A (ja) | 2001-04-24 | 2002-11-08 | Canon Inc | 露光方法及び装置 |
US6443579B1 (en) | 2001-05-02 | 2002-09-03 | Kenneth Myers | Field-of-view controlling arrangements |
US20020167537A1 (en) | 2001-05-11 | 2002-11-14 | Miroslav Trajkovic | Motion-based tracking with pan-tilt-zoom camera |
US7235785B2 (en) | 2001-05-11 | 2007-06-26 | Irvine Sensors Corp. | Imaging device with multiple fields of view incorporating memory-based temperature compensation of an uncooled focal plane array |
US20020190991A1 (en) | 2001-05-16 | 2002-12-19 | Daniel Efran | 3-D instant replay system and method |
US7738013B2 (en) | 2001-05-29 | 2010-06-15 | Samsung Electronics Co., Ltd. | Systems and methods for power conservation in a CMOS imager |
WO2002098112A2 (en) | 2001-05-29 | 2002-12-05 | Transchip, Inc. | Patent application cmos imager for cellular applications and methods of using such |
US6482669B1 (en) | 2001-05-30 | 2002-11-19 | Taiwan Semiconductor Manufacturing Company | Colors only process to reduce package yield loss |
US6525302B2 (en) | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
DE10137570A1 (de) * | 2001-07-30 | 2003-02-27 | Infineon Technologies Ag | Verfahren und Vorrichtung zur Herstellung mindestens einer Vertiefung in einem Halbleitermaterial |
US7113634B2 (en) | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
US20030025227A1 (en) | 2001-08-02 | 2003-02-06 | Zograph, Llc | Reproduction of relief patterns |
WO2003014796A1 (en) | 2001-08-09 | 2003-02-20 | The Trustees Of Columbia University In The City Of New York | Adaptive imaging using digital light processing |
DE60141901D1 (de) | 2001-08-31 | 2010-06-02 | St Microelectronics Srl | Störschutzfilter für Bayermusterbilddaten |
JP3978706B2 (ja) | 2001-09-20 | 2007-09-19 | セイコーエプソン株式会社 | 微細構造体の製造方法 |
JP2003139910A (ja) | 2001-10-30 | 2003-05-14 | Sony Corp | 光学素子、その製造方法およびその製造装置、並びにそれを用いた液晶表示装置および画像投影型表示装置 |
DE10153237A1 (de) | 2001-10-31 | 2003-05-15 | Lfk Gmbh | Verfahren und Vorrichtung zur automatisierten Bestimmung der Modulations-Transfer-Funktion (MTF) von Focal-Plane-Array (FPA)- Kameras |
JP3705766B2 (ja) | 2001-11-28 | 2005-10-12 | 独立行政法人科学技術振興機構 | 画像入力装置 |
JP4249627B2 (ja) | 2001-12-18 | 2009-04-02 | ザ ユニバーシティ オブ ロチェスター | 多重焦点非球面レンズを使用して拡大焦点距離を得る撮像 |
US7212228B2 (en) | 2002-01-16 | 2007-05-01 | Advanced Telecommunications Research Institute International | Automatic camera calibration method |
US7302118B2 (en) | 2002-02-07 | 2007-11-27 | Microsoft Corporation | Transformation of images |
US20030179418A1 (en) | 2002-03-19 | 2003-09-25 | Eastman Kodak Company | Producing a defective pixel map from defective cluster pixels in an area array image sensor |
US8369607B2 (en) | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP2003298920A (ja) | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
US20030188659A1 (en) | 2002-04-05 | 2003-10-09 | Canadian Bank Note Company Limited | Method and apparatus for reproducing a color image based on monochrome images derived therefrom |
WO2003087929A1 (en) | 2002-04-10 | 2003-10-23 | Pan-X Imaging, Inc. | A digital imaging system |
US6856314B2 (en) | 2002-04-18 | 2005-02-15 | Stmicroelectronics, Inc. | Method and system for 3D reconstruction of multiple views with altering search path and occlusion modeling |
US6917702B2 (en) | 2002-04-24 | 2005-07-12 | Mitsubishi Electric Research Labs, Inc. | Calibration of multiple cameras for a turntable-based 3D scanner |
JP3567327B2 (ja) | 2002-05-08 | 2004-09-22 | 富士写真光機株式会社 | 撮像レンズ |
US6783900B2 (en) | 2002-05-13 | 2004-08-31 | Micron Technology, Inc. | Color filter imaging array and method of formation |
JP2004048644A (ja) | 2002-05-21 | 2004-02-12 | Sony Corp | 情報処理装置、情報処理システム、及び対話者表示方法 |
JP2003347192A (ja) | 2002-05-24 | 2003-12-05 | Toshiba Corp | エネルギービーム露光方法および露光装置 |
US7129981B2 (en) | 2002-06-27 | 2006-10-31 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
JP2004088713A (ja) | 2002-06-27 | 2004-03-18 | Olympus Corp | 撮像レンズユニットおよび撮像装置 |
JP4147059B2 (ja) | 2002-07-03 | 2008-09-10 | 株式会社トプコン | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 |
JP2004037924A (ja) | 2002-07-04 | 2004-02-05 | Minolta Co Ltd | 撮像装置 |
WO2004008403A2 (en) | 2002-07-15 | 2004-01-22 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
US20040012689A1 (en) | 2002-07-16 | 2004-01-22 | Fairchild Imaging | Charge coupled devices in tiled arrays |
JP2004078296A (ja) | 2002-08-09 | 2004-03-11 | Victor Co Of Japan Ltd | 画像生成装置 |
US20070166447A1 (en) | 2002-08-27 | 2007-07-19 | Select Milk Producers, Inc. | Dairy compositions and method of making |
AU2003274951A1 (en) | 2002-08-30 | 2004-03-19 | Orasee Corp. | Multi-dimensional image system for digital image input and output |
US7447380B2 (en) | 2002-09-12 | 2008-11-04 | Inoe Technologies, Llc | Efficient method for creating a viewpoint from plurality of images |
US20040050104A1 (en) | 2002-09-18 | 2004-03-18 | Eastman Kodak Company | Forming information transfer lens array |
US20040207836A1 (en) | 2002-09-27 | 2004-10-21 | Rajeshwar Chhibber | High dynamic range optical inspection system and method |
US7084904B2 (en) | 2002-09-30 | 2006-08-01 | Microsoft Corporation | Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time |
US7477781B1 (en) | 2002-10-10 | 2009-01-13 | Dalsa Corporation | Method and apparatus for adaptive pixel correction of multi-color matrix |
US20040075654A1 (en) | 2002-10-16 | 2004-04-22 | Silicon Integrated Systems Corp. | 3-D digital image processor and method for visibility processing for use in the same |
JP4171786B2 (ja) | 2002-10-25 | 2008-10-29 | コニカミノルタホールディングス株式会社 | 画像入力装置 |
US7742088B2 (en) | 2002-11-19 | 2010-06-22 | Fujifilm Corporation | Image sensor and digital camera |
KR101237945B1 (ko) | 2002-11-21 | 2013-02-28 | 비젼 Ⅲ 이미징 인코퍼레이티드 | 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법 |
US20040105021A1 (en) | 2002-12-02 | 2004-06-03 | Bolymedia Holdings Co., Ltd. | Color filter patterns for image sensors |
US20040114807A1 (en) | 2002-12-13 | 2004-06-17 | Dan Lelescu | Statistical representation and coding of light field data |
US6878918B2 (en) | 2003-01-09 | 2005-04-12 | Dialdg Semiconductor Gmbh | APS pixel with reset noise suppression and programmable binning capability |
US7340099B2 (en) | 2003-01-17 | 2008-03-04 | University Of New Brunswick | System and method for image fusion |
DE10301941B4 (de) | 2003-01-20 | 2005-11-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kamera und Verfahren zur optischen Aufnahme eines Schirms |
US7379592B2 (en) | 2003-01-21 | 2008-05-27 | United States Of America As Represented By The Secretary Of The Navy | System and method for significant dust detection and enhancement of dust images over land and ocean |
US7005637B2 (en) | 2003-01-31 | 2006-02-28 | Intevac, Inc. | Backside thinning of image array devices |
AU2003272936A1 (en) | 2003-01-31 | 2004-08-23 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program for creating high resolution color image |
US7308157B2 (en) | 2003-02-03 | 2007-12-11 | Photon Dynamics, Inc. | Method and apparatus for optical inspection of a display |
US7595817B1 (en) | 2003-02-12 | 2009-09-29 | The Research Foundation Of State University Of New York | Linear system based, qualitative independent motion detection from compressed MPEG surveillance video |
US20040165090A1 (en) | 2003-02-13 | 2004-08-26 | Alex Ning | Auto-focus (AF) lens and process |
JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
US7106914B2 (en) | 2003-02-27 | 2006-09-12 | Microsoft Corporation | Bayesian image super resolution |
US7148861B2 (en) | 2003-03-01 | 2006-12-12 | The Boeing Company | Systems and methods for providing enhanced vision imaging with decreased latency |
US8218052B2 (en) | 2003-03-07 | 2012-07-10 | Iconix Video, Inc. | High frame rate high definition imaging system and method |
US7218320B2 (en) | 2003-03-13 | 2007-05-15 | Sony Corporation | System and method for capturing facial and body motion |
US6801719B1 (en) | 2003-03-14 | 2004-10-05 | Eastman Kodak Company | Camera using beam splitter with micro-lens image amplification |
US7206449B2 (en) | 2003-03-19 | 2007-04-17 | Mitsubishi Electric Research Laboratories, Inc. | Detecting silhouette edges in images |
US7425984B2 (en) | 2003-04-04 | 2008-09-16 | Stmicroelectronics, Inc. | Compound camera and methods for implementing auto-focus, depth-of-field and high-resolution functions |
US7373005B2 (en) | 2003-04-10 | 2008-05-13 | Micron Technology, Inc. | Compression system for integrated sensor devices |
US7097311B2 (en) | 2003-04-19 | 2006-08-29 | University Of Kentucky Research Foundation | Super-resolution overlay in multi-projector displays |
US6958862B1 (en) | 2003-04-21 | 2005-10-25 | Foveon, Inc. | Use of a lenslet array with a vertically stacked pixel array |
US7428330B2 (en) | 2003-05-02 | 2008-09-23 | Microsoft Corporation | Cyclopean virtual imaging via generalized probabilistic smoothing |
SE525665C2 (sv) | 2003-05-08 | 2005-03-29 | Forskarpatent I Syd Ab | Matris av pixlar samt elektronisk bildanordning innefattande nämnda matris av pixlar |
CN1802847A (zh) | 2003-05-13 | 2006-07-12 | 艾科悉德成像有限公司 | 用于增强图像分辨率的光学方法和系统 |
JP2004348674A (ja) | 2003-05-26 | 2004-12-09 | Noritsu Koki Co Ltd | 領域検出方法及びその装置 |
US20040239782A1 (en) | 2003-05-30 | 2004-12-02 | William Equitz | System and method for efficient improvement of image quality in cameras |
US20040240052A1 (en) | 2003-06-02 | 2004-12-02 | Pentax Corporation | Multiple-focal imaging device, and a mobile device having the multiple-focal-length imaging device |
JP2004363478A (ja) | 2003-06-06 | 2004-12-24 | Sanyo Electric Co Ltd | 半導体装置の製造方法 |
KR100539234B1 (ko) | 2003-06-11 | 2005-12-27 | 삼성전자주식회사 | 투명 고분자 소재를 적용한 씨모스형 이미지 센서 모듈 및그 제조방법 |
US6818934B1 (en) | 2003-06-24 | 2004-11-16 | Omnivision International Holding Ltd | Image sensor having micro-lens array separated with trench structures and method of making |
US7362918B2 (en) | 2003-06-24 | 2008-04-22 | Microsoft Corporation | System and method for de-noising multiple copies of a signal |
US8204330B2 (en) | 2009-06-29 | 2012-06-19 | DigitalOptics Corporation Europe Limited | Adaptive PSF estimation technique using a sharp preview and a blurred image |
US7090135B2 (en) | 2003-07-07 | 2006-08-15 | Symbol Technologies, Inc. | Imaging arrangement and barcode imager for imaging an optical code or target at a plurality of focal planes |
US7388609B2 (en) | 2003-07-07 | 2008-06-17 | Zoran Corporation | Dynamic identification and correction of defective pixels |
US20050007461A1 (en) | 2003-07-11 | 2005-01-13 | Novatek Microelectronic Co. | Correction system and method of analog front end |
JP3731589B2 (ja) | 2003-07-18 | 2006-01-05 | ソニー株式会社 | 撮像装置と同期信号発生装置 |
US7233737B2 (en) | 2003-08-12 | 2007-06-19 | Micron Technology, Inc. | Fixed-focus camera module and associated method of assembly |
US7643703B2 (en) | 2003-09-03 | 2010-01-05 | Battelle Energy Alliance, Llc | Image change detection systems, methods, and articles of manufacture |
US20050084179A1 (en) | 2003-09-04 | 2005-04-21 | Keith Hanna | Method and apparatus for performing iris recognition from an image |
WO2005027038A2 (en) | 2003-09-08 | 2005-03-24 | Honda Motor Co., Ltd. | Systems and methods for directly generating a view using a layered approach |
JP4020850B2 (ja) | 2003-10-06 | 2007-12-12 | 株式会社東芝 | 磁気記録媒体の製造方法、製造装置、インプリントスタンパ及びその製造方法 |
US7079251B2 (en) | 2003-10-16 | 2006-07-18 | 4D Technology Corporation | Calibration and error correction in multi-channel imaging |
JP4071793B2 (ja) | 2003-10-22 | 2008-04-02 | 松下電器産業株式会社 | 撮像装置とその製造方法、及び携帯機器 |
US7840067B2 (en) | 2003-10-24 | 2010-11-23 | Arcsoft, Inc. | Color matching and color correction for images forming a panoramic image |
JP4118916B2 (ja) | 2003-11-11 | 2008-07-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
JP4235539B2 (ja) | 2003-12-01 | 2009-03-11 | 独立行政法人科学技術振興機構 | 画像構成装置及び画像構成方法 |
US7453510B2 (en) | 2003-12-11 | 2008-11-18 | Nokia Corporation | Imaging device |
US7328288B2 (en) | 2003-12-11 | 2008-02-05 | Canon Kabushiki Kaisha | Relay apparatus for relaying communication from CPU to peripheral device |
US20050128509A1 (en) | 2003-12-11 | 2005-06-16 | Timo Tokkonen | Image creating method and imaging device |
JP3859158B2 (ja) | 2003-12-16 | 2006-12-20 | セイコーエプソン株式会社 | マイクロレンズ用凹部付き基板、マイクロレンズ基板、透過型スクリーン、およびリア型プロジェクタ |
US7123298B2 (en) | 2003-12-18 | 2006-10-17 | Avago Technologies Sensor Ip Pte. Ltd. | Color image sensor with imaging elements imaging on respective regions of sensor elements |
US7511749B2 (en) | 2003-12-18 | 2009-03-31 | Aptina Imaging Corporation | Color image sensor having imaging element array forming images on respective regions of sensor elements |
EP1706702A2 (en) * | 2003-12-21 | 2006-10-04 | KREMEN, Stanley H. | System and apparatus for recording, transmitting, and projecting digital three-dimensional images |
US7376250B2 (en) | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
US7496293B2 (en) | 2004-01-14 | 2009-02-24 | Elbit Systems Ltd. | Versatile camera for various visibility conditions |
US7773143B2 (en) | 2004-04-08 | 2010-08-10 | Tessera North America, Inc. | Thin color camera having sub-pixel resolution |
US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
US7453688B2 (en) | 2004-01-29 | 2008-11-18 | Inventec Corporation | Multimedia device for portable computers |
US20050185711A1 (en) | 2004-02-20 | 2005-08-25 | Hanspeter Pfister | 3D television system and method |
SE527889C2 (sv) | 2004-03-17 | 2006-07-04 | Thomas Jeff Adamo | Apparat för avbildning av ett objekt |
JP2006047944A (ja) | 2004-03-24 | 2006-02-16 | Fuji Photo Film Co Ltd | 撮影レンズ |
JP4468442B2 (ja) | 2004-03-31 | 2010-05-26 | キヤノン株式会社 | イメージングシステム性能測定 |
US7633511B2 (en) | 2004-04-01 | 2009-12-15 | Microsoft Corporation | Pop-up light field |
JP4665422B2 (ja) | 2004-04-02 | 2011-04-06 | ソニー株式会社 | 撮像装置 |
US8634014B2 (en) | 2004-04-05 | 2014-01-21 | Hewlett-Packard Development Company, L.P. | Imaging device analysis systems and imaging device analysis methods |
US7091531B2 (en) | 2004-04-07 | 2006-08-15 | Micron Technology, Inc. | High dynamic range pixel amplifier |
US8049806B2 (en) | 2004-09-27 | 2011-11-01 | Digitaloptics Corporation East | Thin camera and associated methods |
US7620265B1 (en) | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
JP2005303694A (ja) | 2004-04-13 | 2005-10-27 | Konica Minolta Holdings Inc | 複眼撮像装置 |
US7292735B2 (en) | 2004-04-16 | 2007-11-06 | Microsoft Corporation | Virtual image artifact detection |
US7773404B2 (en) | 2005-01-07 | 2010-08-10 | Invisage Technologies, Inc. | Quantum dot optical devices with enhanced gain and sensitivity and methods of making same |
US8218625B2 (en) | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
US20060034531A1 (en) | 2004-05-10 | 2006-02-16 | Seiko Epson Corporation | Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method |
JP4691552B2 (ja) | 2004-05-14 | 2011-06-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 乳癌診断システム及び方法 |
JP4610411B2 (ja) | 2004-05-17 | 2011-01-12 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 物体を含むシーンの様式化された画像を生成する方法 |
US7355793B2 (en) | 2004-05-19 | 2008-04-08 | The Regents Of The University Of California | Optical system applicable to improving the dynamic range of Shack-Hartmann sensors |
WO2006083277A2 (en) | 2004-05-25 | 2006-08-10 | Sarnoff Corporation | Low latency pyramid processor for image processing systems |
JP2005354124A (ja) | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
US20060013318A1 (en) | 2004-06-22 | 2006-01-19 | Jennifer Webb | Video error detection, recovery, and concealment |
US7330593B2 (en) | 2004-06-25 | 2008-02-12 | Stmicroelectronics, Inc. | Segment based image matching method and system |
JP4479373B2 (ja) | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
JP4408755B2 (ja) | 2004-06-28 | 2010-02-03 | Necエレクトロニクス株式会社 | デインタリーブ装置、移動通信端末及びデインタリーブ方法 |
US7447382B2 (en) | 2004-06-30 | 2008-11-04 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation |
JP2006033228A (ja) | 2004-07-14 | 2006-02-02 | Victor Co Of Japan Ltd | 画像撮像装置 |
JP2006033493A (ja) | 2004-07-16 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 撮像装置 |
US7189954B2 (en) | 2004-07-19 | 2007-03-13 | Micron Technology, Inc. | Microelectronic imagers with optical devices and methods of manufacturing such microelectronic imagers |
JP2006033570A (ja) | 2004-07-20 | 2006-02-02 | Olympus Corp | 画像生成装置 |
US8027531B2 (en) | 2004-07-21 | 2011-09-27 | The Board Of Trustees Of The Leland Stanford Junior University | Apparatus and method for capturing a scene using staggered triggering of dense camera arrays |
GB0416496D0 (en) | 2004-07-23 | 2004-08-25 | Council Of The Central Lab Of | Imaging device |
US20060023197A1 (en) | 2004-07-27 | 2006-02-02 | Joel Andrew H | Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media |
US7068432B2 (en) | 2004-07-27 | 2006-06-27 | Micron Technology, Inc. | Controlling lens shape in a microlens array |
DE102004036469A1 (de) | 2004-07-28 | 2006-02-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kameramodul, hierauf basierendes Array und Verfahren zu dessen Herstellung |
US20060028476A1 (en) | 2004-08-03 | 2006-02-09 | Irwin Sobel | Method and system for providing extensive coverage of an object using virtual cameras |
US7333652B2 (en) | 2004-08-03 | 2008-02-19 | Sony Corporation | System and method for efficiently performing a depth map recovery procedure |
JP2006050263A (ja) | 2004-08-04 | 2006-02-16 | Olympus Corp | 画像生成方法および装置 |
KR20070064319A (ko) | 2004-08-06 | 2007-06-20 | 유니버시티 오브 워싱톤 | 가변 응시 시거리 주사 광 디스플레이 |
US7430339B2 (en) | 2004-08-09 | 2008-09-30 | Microsoft Corporation | Border matting by dynamic programming |
US7609302B2 (en) | 2004-08-11 | 2009-10-27 | Micron Technology, Inc. | Correction of non-uniform sensitivity in an image array |
US7061693B2 (en) | 2004-08-16 | 2006-06-13 | Xceed Imaging Ltd. | Optical method and system for extended depth of focus |
US7645635B2 (en) | 2004-08-16 | 2010-01-12 | Micron Technology, Inc. | Frame structure and semiconductor attach process for use therewith for fabrication of image sensor packages and the like, and resulting packages |
EP1797523A4 (en) | 2004-08-23 | 2009-07-22 | Sarnoff Corp | METHOD AND DEVICE FOR PRODUCING A CONDENSED IMAGE |
CN101427372B (zh) | 2004-08-25 | 2012-12-12 | 普罗塔里斯菲洛有限责任公司 | 用于多个相机装置的设备和操作该设备的方法 |
US7795577B2 (en) | 2004-08-25 | 2010-09-14 | Richard Ian Olsen | Lens frame and optical focus assembly for imager module |
US8124929B2 (en) | 2004-08-25 | 2012-02-28 | Protarius Filo Ag, L.L.C. | Imager module optical focus and assembly method |
US7564019B2 (en) | 2005-08-25 | 2009-07-21 | Richard Ian Olsen | Large dynamic range cameras |
US7916180B2 (en) | 2004-08-25 | 2011-03-29 | Protarius Filo Ag, L.L.C. | Simultaneous multiple field of view digital cameras |
JP4057597B2 (ja) | 2004-08-26 | 2008-03-05 | 独立行政法人科学技術振興機構 | 光学素子 |
CN100489599C (zh) | 2004-08-26 | 2009-05-20 | 财团法人秋田企业活性化中心 | 液晶透镜 |
US20060046204A1 (en) | 2004-08-31 | 2006-03-02 | Sharp Laboratories Of America, Inc. | Directly patternable microlens |
JP2006080852A (ja) | 2004-09-09 | 2006-03-23 | Olympus Corp | 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム |
US20060055811A1 (en) | 2004-09-14 | 2006-03-16 | Frtiz Bernard S | Imaging system having modules with adaptive optical elements |
US7145124B2 (en) | 2004-09-15 | 2006-12-05 | Raytheon Company | Multispectral imaging chip using photonic crystals |
JP3977368B2 (ja) | 2004-09-30 | 2007-09-19 | クラリオン株式会社 | 駐車支援システム |
DE102004049676A1 (de) | 2004-10-12 | 2006-04-20 | Infineon Technologies Ag | Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium |
JP2006119368A (ja) | 2004-10-21 | 2006-05-11 | Konica Minolta Opto Inc | 広角光学系、撮像レンズ装置、モニタカメラ及びデジタル機器 |
JP4534715B2 (ja) | 2004-10-22 | 2010-09-01 | 株式会社ニコン | 撮像装置および画像処理プログラム |
DE102004052994C5 (de) | 2004-11-03 | 2010-08-26 | Vistec Electron Beam Gmbh | Multistrahlmodulator für einen Partikelstrahl und Verwendung des Multistrahlmodulators zur maskenlosen Substratsstrukturierung |
KR100603601B1 (ko) | 2004-11-08 | 2006-07-24 | 한국전자통신연구원 | 다시점 콘텐츠 생성 장치 및 그 방법 |
US7598996B2 (en) | 2004-11-16 | 2009-10-06 | Aptina Imaging Corporation | System and method for focusing a digital camera |
US7538326B2 (en) | 2004-12-03 | 2009-05-26 | Fluke Corporation | Visible light and IR combined image camera with a laser pointer |
JP2006165795A (ja) | 2004-12-03 | 2006-06-22 | Canon Inc | 画像形成装置およびその方法 |
US7483065B2 (en) | 2004-12-15 | 2009-01-27 | Aptina Imaging Corporation | Multi-lens imaging systems and methods using optical filters having mosaic patterns |
US8854486B2 (en) | 2004-12-17 | 2014-10-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
US7728878B2 (en) | 2004-12-17 | 2010-06-01 | Mitsubishi Electric Research Labortories, Inc. | Method and system for processing multiview videos for view synthesis using side information |
US20060139475A1 (en) | 2004-12-23 | 2006-06-29 | Esch John W | Multiple field of view camera arrays |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
US7073908B1 (en) | 2005-01-11 | 2006-07-11 | Anthony Italo Provitola | Enhancement of depth perception |
US7671321B2 (en) | 2005-01-18 | 2010-03-02 | Rearden, Llc | Apparatus and method for capturing still images and video using coded lens imaging techniques |
US7767949B2 (en) | 2005-01-18 | 2010-08-03 | Rearden, Llc | Apparatus and method for capturing still images and video using coded aperture techniques |
US7602997B2 (en) | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
US7408627B2 (en) | 2005-02-08 | 2008-08-05 | Canesta, Inc. | Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture |
US7965314B1 (en) | 2005-02-09 | 2011-06-21 | Flir Systems, Inc. | Foveal camera systems and methods |
US20060187322A1 (en) | 2005-02-18 | 2006-08-24 | Janson Wilbert F Jr | Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range |
US7561191B2 (en) | 2005-02-18 | 2009-07-14 | Eastman Kodak Company | Camera phone using multiple lenses and image sensors to provide an extended zoom range |
JP4871352B2 (ja) | 2005-03-11 | 2012-02-08 | クリアフォーム インク. | 3次元スキャンの自動参照システム及び装置 |
JP2006258930A (ja) | 2005-03-15 | 2006-09-28 | Nikon Corp | マイクロレンズの製造方法、及びマイクロレンズ用の型の製造方法 |
US7692147B2 (en) | 2005-03-21 | 2010-04-06 | Massachusetts Institute Of Technology | Real-time, continuous-wave terahertz imaging using a microbolometer focal-plane array |
WO2006100903A1 (ja) | 2005-03-23 | 2006-09-28 | Matsushita Electric Industrial Co., Ltd. | 車載撮像装置 |
US7297917B2 (en) | 2005-03-24 | 2007-11-20 | Micron Technology, Inc. | Readout technique for increasing or maintaining dynamic range in image sensors |
CN101147392B (zh) | 2005-03-24 | 2012-05-09 | 松下电器产业株式会社 | 成像装置及其中使用的透镜阵列 |
US7683950B2 (en) | 2005-04-26 | 2010-03-23 | Eastman Kodak Company | Method and apparatus for correcting a channel dependent color aberration in a digital image |
US7956871B2 (en) | 2005-04-28 | 2011-06-07 | Samsung Electronics Co., Ltd. | Color disparity correction in image sensors methods and circuits |
US7656428B2 (en) | 2005-05-05 | 2010-02-02 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Imaging device employing optical motion sensor as gyroscope |
US7876874B2 (en) | 2005-05-18 | 2011-01-25 | Hitachi Medical Corporation | Radiographing apparatus and image processing program |
US8411182B2 (en) | 2005-06-02 | 2013-04-02 | Xerox Corporation | System for controlling integration times of photosensors in an imaging device |
US7968888B2 (en) | 2005-06-08 | 2011-06-28 | Panasonic Corporation | Solid-state image sensor and manufacturing method thereof |
JP2006345233A (ja) | 2005-06-09 | 2006-12-21 | Fujifilm Holdings Corp | 撮像装置及びデジタルカメラ |
KR100813961B1 (ko) | 2005-06-14 | 2008-03-14 | 삼성전자주식회사 | 영상 수신장치 |
US7364306B2 (en) | 2005-06-20 | 2008-04-29 | Digital Display Innovations, Llc | Field sequential light source modulation for a digital display system |
JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
US20070102622A1 (en) | 2005-07-01 | 2007-05-10 | Olsen Richard I | Apparatus for multiple camera devices and method of operating same |
JP4577126B2 (ja) | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
US20090268983A1 (en) | 2005-07-25 | 2009-10-29 | The Regents Of The University Of California | Digital imaging system and method using multiple digital image sensors to produce large high-resolution gapless mosaic images |
CN100579185C (zh) | 2005-07-26 | 2010-01-06 | 松下电器产业株式会社 | 复眼方式的摄像装置 |
CA2553473A1 (en) | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
US7969488B2 (en) | 2005-08-03 | 2011-06-28 | Micron Technologies, Inc. | Correction of cluster defects in imagers |
US7929801B2 (en) | 2005-08-15 | 2011-04-19 | Sony Corporation | Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory |
US20070041391A1 (en) | 2005-08-18 | 2007-02-22 | Micron Technology, Inc. | Method and apparatus for controlling imager output data rate |
US20070040922A1 (en) | 2005-08-22 | 2007-02-22 | Micron Technology, Inc. | HDR/AB on multi-way shared pixels |
US20070258006A1 (en) | 2005-08-25 | 2007-11-08 | Olsen Richard I | Solid state camera optics frame and assembly |
US7566855B2 (en) | 2005-08-25 | 2009-07-28 | Richard Ian Olsen | Digital camera with integrated infrared (IR) response |
US7964835B2 (en) | 2005-08-25 | 2011-06-21 | Protarius Filo Ag, L.L.C. | Digital cameras with direct luminance and chrominance detection |
US20070083114A1 (en) | 2005-08-26 | 2007-04-12 | The University Of Connecticut | Systems and methods for image resolution enhancement |
JP4804856B2 (ja) | 2005-09-29 | 2011-11-02 | 富士フイルム株式会社 | 単焦点レンズ |
US8009209B2 (en) | 2005-09-30 | 2011-08-30 | Simon Fraser University | Methods and apparatus for detecting defects in imaging arrays by image analysis |
EP1941314A4 (en) | 2005-10-07 | 2010-04-14 | Univ Leland Stanford Junior | ARRANGEMENTS AND APPROACHES FOR MICROSCOPY |
JP4773179B2 (ja) | 2005-10-14 | 2011-09-14 | 富士フイルム株式会社 | 撮像装置 |
US8300085B2 (en) | 2005-10-14 | 2012-10-30 | Microsoft Corporation | Occlusion handling in stereo imaging |
US7806604B2 (en) | 2005-10-20 | 2010-10-05 | Honeywell International Inc. | Face detection and tracking in a wide field of view |
WO2007052191A2 (en) * | 2005-11-02 | 2007-05-10 | Koninklijke Philips Electronics N.V. | Filling in depth results |
KR100730406B1 (ko) | 2005-11-16 | 2007-06-19 | 광운대학교 산학협력단 | 중간 요소 영상을 이용한 입체 영상 표시 장치 |
JP4389865B2 (ja) | 2005-11-17 | 2009-12-24 | ソニー株式会社 | 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置 |
JP4943695B2 (ja) | 2005-11-21 | 2012-05-30 | 富士フイルム株式会社 | 多焦点カメラの撮影光学系 |
US8275195B2 (en) | 2005-11-30 | 2012-09-25 | Telecom Italia S.P.A. | Method for determining scattered disparity fields in stereo vision |
US7599547B2 (en) | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
JP4516516B2 (ja) | 2005-12-07 | 2010-08-04 | 本田技研工業株式会社 | 人物検出装置、人物検出方法及び人物検出プログラム |
TWI296480B (en) | 2005-12-19 | 2008-05-01 | Quanta Comp Inc | Image camera of an electronic device |
JP4501855B2 (ja) | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP2007180730A (ja) | 2005-12-27 | 2007-07-12 | Eastman Kodak Co | デジタルカメラおよびデータ管理方法 |
JP2009522591A (ja) | 2005-12-30 | 2009-06-11 | ノキア コーポレイション | 関心領域を追跡することによってビデオカメラの自動焦点を制御するための方法および装置 |
US7855786B2 (en) | 2006-01-09 | 2010-12-21 | Bae Systems Spectral Solutions Llc | Single camera multi-spectral imager |
US7675080B2 (en) | 2006-01-10 | 2010-03-09 | Aptina Imaging Corp. | Uniform color filter arrays in a moat |
CN101371568B (zh) | 2006-01-20 | 2010-06-30 | 松下电器产业株式会社 | 复眼方式的照相机模块及其制造方法 |
DE102006004802B4 (de) | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
JP4834412B2 (ja) | 2006-02-03 | 2011-12-14 | 富士フイルム株式会社 | 固体撮像装置およびこれを用いた電子内視鏡 |
US20070201859A1 (en) | 2006-02-24 | 2007-08-30 | Logitech Europe S.A. | Method and system for use of 3D sensors in an image capture device |
US7391572B2 (en) | 2006-03-01 | 2008-06-24 | International Business Machines Corporation | Hybrid optical/electronic structures fabricated by a common molding process |
US7924483B2 (en) | 2006-03-06 | 2011-04-12 | Smith Scott T | Fused multi-array color image sensor |
DE102006011707B4 (de) | 2006-03-14 | 2010-11-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer strukturfreien fiberskopischen Aufnahme |
US7616254B2 (en) | 2006-03-16 | 2009-11-10 | Sony Corporation | Simple method for calculating camera defocus from an image scene |
US8360574B2 (en) | 2006-03-20 | 2013-01-29 | High Performance Optics, Inc. | High performance selective light wavelength filtering providing improved contrast sensitivity |
US7606484B1 (en) | 2006-03-23 | 2009-10-20 | Flir Systems, Inc. | Infrared and near-infrared camera hyperframing |
JP4615468B2 (ja) | 2006-03-23 | 2011-01-19 | 富士フイルム株式会社 | 撮影装置 |
CN101046882A (zh) | 2006-03-27 | 2007-10-03 | 谷京陆 | 可直接输出的混合分辨率图像制作技术 |
US7342212B2 (en) | 2006-03-31 | 2008-03-11 | Micron Technology, Inc. | Analog vertical sub-sampling in an active pixel sensor (APS) image sensor |
US7916934B2 (en) | 2006-04-04 | 2011-03-29 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring, encoding, decoding and displaying 3D light fields |
US8044994B2 (en) | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
TW200740212A (en) | 2006-04-10 | 2007-10-16 | Sony Taiwan Ltd | A stitching accuracy improvement method with lens distortion correction |
US20070242141A1 (en) | 2006-04-14 | 2007-10-18 | Sony Corporation And Sony Electronics Inc. | Adjustable neutral density filter system for dynamic range compression from scene to imaging sensor |
CN101064780B (zh) | 2006-04-30 | 2012-07-04 | 台湾新力国际股份有限公司 | 利用透镜失真校正的影像接合准确度改善方法及装置 |
US20070263114A1 (en) | 2006-05-01 | 2007-11-15 | Microalign Technologies, Inc. | Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging |
US7580620B2 (en) | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
US9736346B2 (en) | 2006-05-09 | 2017-08-15 | Stereo Display, Inc | Imaging system improving image resolution of the system with low resolution image sensor |
US7889264B2 (en) | 2006-05-12 | 2011-02-15 | Ricoh Co., Ltd. | End-to-end design of superresolution electro-optic imaging systems |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US8139142B2 (en) | 2006-06-01 | 2012-03-20 | Microsoft Corporation | Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
US20070177004A1 (en) | 2006-06-08 | 2007-08-02 | Timo Kolehmainen | Image creating method and imaging device |
JP4631811B2 (ja) | 2006-06-12 | 2011-02-16 | 株式会社日立製作所 | 撮像装置 |
JP5106870B2 (ja) | 2006-06-14 | 2012-12-26 | 株式会社東芝 | 固体撮像素子 |
FR2902530A1 (fr) | 2006-06-19 | 2007-12-21 | St Microelectronics Rousset | Procede de fabrication de lentilles, notamment pour imageur comprenant un diaphragme |
TWI362550B (en) | 2007-06-21 | 2012-04-21 | Ether Precision Inc | The method for manufacturing the image captures unit |
US7925117B2 (en) | 2006-06-27 | 2011-04-12 | Honeywell International Inc. | Fusion of sensor data and synthetic data to form an integrated image |
KR100793369B1 (ko) | 2006-07-06 | 2008-01-11 | 삼성전자주식회사 | 분해능이 향상되는 이미지 센서 및 이를 이용한 이미지감지 방법 |
US20080024683A1 (en) | 2006-07-31 | 2008-01-31 | Niranjan Damera-Venkata | Overlapped multi-projector system with dithering |
JP2008039852A (ja) | 2006-08-01 | 2008-02-21 | Agc Techno Glass Co Ltd | ガラス光学素子及びその製造方法 |
US20080030592A1 (en) | 2006-08-01 | 2008-02-07 | Eastman Kodak Company | Producing digital image with different resolution portions |
US8406562B2 (en) | 2006-08-11 | 2013-03-26 | Geo Semiconductor Inc. | System and method for automated calibration and correction of display geometry and color |
EP1892688B1 (fr) | 2006-08-24 | 2010-09-01 | Valeo Vision | Procédé de détermination de passage d'un véhicule dans un goulet |
US8687087B2 (en) | 2006-08-29 | 2014-04-01 | Csr Technology Inc. | Digital camera with selectively increased dynamic range by control of parameters during image acquisition |
US8306063B2 (en) | 2006-08-29 | 2012-11-06 | EXFO Services Assurance, Inc. | Real-time transport protocol stream detection system and method |
KR100746360B1 (ko) | 2006-08-31 | 2007-08-06 | 삼성전기주식회사 | 스템퍼 제조방법 |
NO326372B1 (no) | 2006-09-21 | 2008-11-17 | Polight As | Polymerlinse |
US7918555B2 (en) | 2006-09-25 | 2011-04-05 | Ophthonix, Inc. | Methods and lenses for correction of chromatic aberration |
JP4403162B2 (ja) | 2006-09-29 | 2010-01-20 | 株式会社東芝 | 立体画像表示装置および立体画像の作製方法 |
US20080080028A1 (en) | 2006-10-02 | 2008-04-03 | Micron Technology, Inc. | Imaging method, apparatus and system having extended depth of field |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
EP2074444B1 (en) | 2006-10-11 | 2017-08-30 | poLight AS | Design of compact adjustable lens |
WO2008044938A1 (en) | 2006-10-11 | 2008-04-17 | Ignis Display As | Method for manufacturing adjustable lens |
US8073196B2 (en) | 2006-10-16 | 2011-12-06 | University Of Southern California | Detection and tracking of moving objects from a moving platform in presence of strong parallax |
US7702229B2 (en) | 2006-10-18 | 2010-04-20 | Eastman Kodak Company | Lens array assisted focus detection |
JP4349456B2 (ja) | 2006-10-23 | 2009-10-21 | ソニー株式会社 | 固体撮像素子 |
WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
US7888159B2 (en) | 2006-10-26 | 2011-02-15 | Omnivision Technologies, Inc. | Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating |
JP4452951B2 (ja) | 2006-11-02 | 2010-04-21 | 富士フイルム株式会社 | 距離画像生成方法及びその装置 |
KR20080043106A (ko) | 2006-11-13 | 2008-05-16 | 삼성전자주식회사 | 광학렌즈 및 그 제조방법 |
US8059162B2 (en) | 2006-11-15 | 2011-11-15 | Sony Corporation | Imaging apparatus and method, and method for designing imaging apparatus |
US20080118241A1 (en) | 2006-11-16 | 2008-05-22 | Tekolste Robert | Control of stray light in camera systems employing an optics stack and associated methods |
CN103776392B (zh) | 2006-11-21 | 2017-03-01 | 曼蒂斯影像有限公司 | 三维几何建模和三维视频内容创建 |
DE102006055641B4 (de) | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
KR20080047002A (ko) | 2006-11-24 | 2008-05-28 | 엘지이노텍 주식회사 | 카메라모듈의 렌즈 어셈블리 및 그 제작 방법 |
US8559705B2 (en) | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
JP4406937B2 (ja) | 2006-12-01 | 2010-02-03 | 富士フイルム株式会社 | 撮影装置 |
US20100265385A1 (en) | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
US8242426B2 (en) | 2006-12-12 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Electronic camera having multiple sensors for capturing high dynamic range images and related methods |
US8262900B2 (en) * | 2006-12-14 | 2012-09-11 | Life Technologies Corporation | Methods and apparatus for measuring analytes using large scale FET arrays |
US7646549B2 (en) | 2006-12-18 | 2010-01-12 | Xceed Imaging Ltd | Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging |
US8213500B2 (en) | 2006-12-21 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for processing film grain noise |
TWI324015B (en) | 2006-12-22 | 2010-04-21 | Ind Tech Res Inst | Autofocus searching method |
US8103111B2 (en) | 2006-12-26 | 2012-01-24 | Olympus Imaging Corp. | Coding method, electronic camera, recording medium storing coded program, and decoding method |
US20080158259A1 (en) | 2006-12-28 | 2008-07-03 | Texas Instruments Incorporated | Image warping and lateral color correction |
US20080158698A1 (en) | 2006-12-29 | 2008-07-03 | Chao-Chi Chang | Lens barrel array and lens array and the method of making the same |
US7973823B2 (en) | 2006-12-29 | 2011-07-05 | Nokia Corporation | Method and system for image pre-processing |
US20080165257A1 (en) | 2007-01-05 | 2008-07-10 | Micron Technology, Inc. | Configurable pixel array system and method |
JP4993578B2 (ja) | 2007-01-15 | 2012-08-08 | オリンパスイメージング株式会社 | 画像ファイル再生装置,画像ファイル加工編集装置 |
US8655052B2 (en) | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
JP5024992B2 (ja) | 2007-02-02 | 2012-09-12 | 株式会社ジャパンディスプレイセントラル | 表示装置 |
US7956988B1 (en) | 2007-02-06 | 2011-06-07 | Alpha Technology, LLC | Light detection and ranging systems and related methods |
US7792423B2 (en) | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
CN100585453C (zh) | 2007-02-09 | 2010-01-27 | 奥林巴斯映像株式会社 | 解码方法及解码装置 |
JP4386083B2 (ja) | 2007-02-27 | 2009-12-16 | トヨタ自動車株式会社 | 駐車支援装置 |
JP2008209761A (ja) | 2007-02-27 | 2008-09-11 | Nikon Corp | 焦点検出装置および撮像装置 |
JP4153013B1 (ja) | 2007-03-06 | 2008-09-17 | シャープ株式会社 | 撮像レンズ、撮像ユニットおよびそれを備えた携帯型情報端末 |
US7755679B2 (en) | 2007-03-07 | 2010-07-13 | Altasens, Inc. | Apparatus and method for reducing edge effect in an image sensor |
US7683962B2 (en) | 2007-03-09 | 2010-03-23 | Eastman Kodak Company | Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map |
US7859588B2 (en) | 2007-03-09 | 2010-12-28 | Eastman Kodak Company | Method and apparatus for operating a dual lens camera to augment an image |
US7729602B2 (en) | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
US7676146B2 (en) | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
US8593506B2 (en) | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
JP2008242658A (ja) | 2007-03-26 | 2008-10-09 | Funai Electric Co Ltd | 立体物体の撮像装置 |
JP4915859B2 (ja) | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
US7738017B2 (en) | 2007-03-27 | 2010-06-15 | Aptina Imaging Corporation | Method and apparatus for automatic linear shift parallax correction for multi-array image systems |
US8165418B2 (en) | 2007-03-30 | 2012-04-24 | Brother Kogyo Kabushiki Kaisha | Image processor |
US8055466B2 (en) | 2007-03-30 | 2011-11-08 | Mitutoyo Corporation | Global calibration for stereo vision probe |
WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
US8213711B2 (en) | 2007-04-03 | 2012-07-03 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada | Method and graphical user interface for modifying depth maps |
US8098941B2 (en) | 2007-04-03 | 2012-01-17 | Aptina Imaging Corporation | Method and apparatus for parallelization of image compression encoders |
JP2008258885A (ja) | 2007-04-04 | 2008-10-23 | Texas Instr Japan Ltd | 撮像装置および撮像装置の駆動方法 |
CN101281282A (zh) | 2007-04-04 | 2008-10-08 | 鸿富锦精密工业(深圳)有限公司 | 镜头模组 |
EP2667412A1 (en) | 2007-04-18 | 2013-11-27 | Invisage Technologies, INC. | Materials, systems and methods for optoelectronic devices |
WO2009023044A2 (en) | 2007-04-24 | 2009-02-19 | 21 Ct, Inc. | Method and system for fast dense stereoscopic ranging |
KR100869219B1 (ko) | 2007-05-03 | 2008-11-18 | 동부일렉트로닉스 주식회사 | 이미지 센서 및 그 제조방법 |
US8462220B2 (en) | 2007-05-09 | 2013-06-11 | Aptina Imaging Corporation | Method and apparatus for improving low-light performance for small pixel image sensors |
US7812869B2 (en) | 2007-05-11 | 2010-10-12 | Aptina Imaging Corporation | Configurable pixel array system and method |
JP4341695B2 (ja) | 2007-05-17 | 2009-10-07 | ソニー株式会社 | 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法 |
JP4337911B2 (ja) | 2007-05-24 | 2009-09-30 | ソニー株式会社 | 撮像装置、撮像回路、および撮像方法 |
US20080298674A1 (en) | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
US7733575B2 (en) | 2007-05-31 | 2010-06-08 | Artificial Muscle, Inc. | Optical systems employing compliant electroactive materials |
US8290358B1 (en) | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
WO2009001255A1 (en) | 2007-06-26 | 2008-12-31 | Koninklijke Philips Electronics N.V. | Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal |
US20100182406A1 (en) | 2007-07-12 | 2010-07-22 | Benitez Ana B | System and method for three-dimensional object reconstruction from two-dimensional images |
US8125619B2 (en) | 2007-07-25 | 2012-02-28 | Eminent Electronic Technology Corp. | Integrated ambient light sensor and distance sensor |
JP5006727B2 (ja) | 2007-07-26 | 2012-08-22 | 株式会社リコー | 画像処理装置およびデジタルカメラ |
WO2009020977A1 (en) | 2007-08-06 | 2009-02-12 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
EP2034338A1 (en) | 2007-08-11 | 2009-03-11 | ETH Zurich | Liquid Lens System |
EP2026563A1 (en) | 2007-08-14 | 2009-02-18 | Deutsche Thomson OHG | System and method for detecting defective pixels |
GB2452041B (en) | 2007-08-20 | 2012-09-26 | Snell Ltd | Video framing control |
US7782364B2 (en) | 2007-08-21 | 2010-08-24 | Aptina Imaging Corporation | Multi-array sensor with integrated sub-array for parallax detection and photometer functionality |
US20090066693A1 (en) | 2007-09-06 | 2009-03-12 | Roc Carson | Encoding A Depth Map Into An Image Using Analysis Of Two Consecutive Captured Frames |
US7973834B2 (en) | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
US20090079862A1 (en) | 2007-09-25 | 2009-03-26 | Micron Technology, Inc. | Method and apparatus providing imaging auto-focus utilizing absolute blur value |
US20090086074A1 (en) | 2007-09-27 | 2009-04-02 | Omnivision Technologies, Inc. | Dual mode camera solution apparatus, system, and method |
US7940311B2 (en) | 2007-10-03 | 2011-05-10 | Nokia Corporation | Multi-exposure pattern for enhancing dynamic range of images |
JP5172267B2 (ja) | 2007-10-09 | 2013-03-27 | 富士フイルム株式会社 | 撮像装置 |
US8049289B2 (en) | 2007-10-11 | 2011-11-01 | Dongbu Hitek Co., Ltd. | Image sensor and method for manufacturing the same |
US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
US7956924B2 (en) | 2007-10-18 | 2011-06-07 | Adobe Systems Incorporated | Fast computational camera based on two arrays of lenses |
US7787112B2 (en) | 2007-10-22 | 2010-08-31 | Visiongate, Inc. | Depth of field extension for optical tomography |
US7920193B2 (en) | 2007-10-23 | 2011-04-05 | Aptina Imaging Corporation | Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers |
US7777804B2 (en) | 2007-10-26 | 2010-08-17 | Omnivision Technologies, Inc. | High dynamic range sensor with reduced line memory for color interpolation |
WO2009061814A2 (en) | 2007-11-05 | 2009-05-14 | University Of Florida Research Foundation, Inc. | Lossless data compression and real-time decompression |
US7852461B2 (en) | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
US20090128644A1 (en) | 2007-11-15 | 2009-05-21 | Camp Jr William O | System and method for generating a photograph |
US8351685B2 (en) | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
US8126279B2 (en) | 2007-11-19 | 2012-02-28 | The University Of Arizona | Lifting-based view compensated compression and remote visualization of volume rendered images |
JP5010445B2 (ja) | 2007-11-29 | 2012-08-29 | パナソニック株式会社 | マイクロレンズアレイ用金型の製造方法 |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
WO2009073950A1 (en) | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
TWI353778B (en) | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
US7880807B2 (en) | 2007-12-26 | 2011-02-01 | Sony Ericsson Mobile Communications Ab | Camera system with mirror arrangement for generating self-portrait panoramic pictures |
US8233077B2 (en) | 2007-12-27 | 2012-07-31 | Qualcomm Incorporated | Method and apparatus with depth map generation |
TWI362628B (en) * | 2007-12-28 | 2012-04-21 | Ind Tech Res Inst | Methof for producing an image with depth by using 2d image |
US20110031381A1 (en) | 2007-12-28 | 2011-02-10 | Hiok-Nam Tay | Light guide array for an image sensor |
DE112009000101T5 (de) | 2008-01-04 | 2010-11-11 | 3M Innovative Properties Co., St. Paul | Globale Kamerawegoptimierung |
JP4413261B2 (ja) | 2008-01-10 | 2010-02-10 | シャープ株式会社 | 撮像装置及び光軸制御方法 |
JP5198295B2 (ja) | 2008-01-15 | 2013-05-15 | 富士フイルム株式会社 | 撮像素子の位置調整方法、カメラモジュール製造方法及び装置、カメラモジュール |
US7962033B2 (en) | 2008-01-23 | 2011-06-14 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
US8189065B2 (en) | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
GB0802290D0 (en) | 2008-02-08 | 2008-03-12 | Univ Kent Canterbury | Camera adapter based optical imaging apparatus |
US8319301B2 (en) | 2008-02-11 | 2012-11-27 | Omnivision Technologies, Inc. | Self-aligned filter for an image sensor |
JP2009206922A (ja) | 2008-02-28 | 2009-09-10 | Funai Electric Co Ltd | 複眼撮像装置 |
CN101520532A (zh) | 2008-02-29 | 2009-09-02 | 鸿富锦精密工业(深圳)有限公司 | 复合镜片 |
US9094675B2 (en) | 2008-02-29 | 2015-07-28 | Disney Enterprises Inc. | Processing image data from multiple cameras for motion pictures |
WO2009111499A2 (en) | 2008-03-03 | 2009-09-11 | Videoiq, Inc. | Dynamic object classification |
JPWO2009119229A1 (ja) | 2008-03-26 | 2011-07-21 | コニカミノルタホールディングス株式会社 | 3次元撮像装置及び3次元撮像装置の校正方法 |
US8497905B2 (en) | 2008-04-11 | 2013-07-30 | nearmap australia pty ltd. | Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features |
US8259208B2 (en) | 2008-04-15 | 2012-09-04 | Sony Corporation | Method and apparatus for performing touch-based adjustments within imaging devices |
US7843554B2 (en) | 2008-04-25 | 2010-11-30 | Rockwell Collins, Inc. | High dynamic range sensor system and method |
US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
US8155456B2 (en) | 2008-04-29 | 2012-04-10 | Adobe Systems Incorporated | Method and apparatus for block-based compression of light-field images |
US8724921B2 (en) | 2008-05-05 | 2014-05-13 | Aptina Imaging Corporation | Method of capturing high dynamic range images with objects in the scene |
WO2009136989A1 (en) | 2008-05-09 | 2009-11-12 | Ecole Polytechnique Federale De Lausanne | Image sensor having nonlinear response |
JP2009273035A (ja) | 2008-05-09 | 2009-11-19 | Toshiba Corp | 画像圧縮装置、画像伸張装置及び画像処理装置 |
US8208543B2 (en) | 2008-05-19 | 2012-06-26 | Microsoft Corporation | Quantization and differential coding of alpha image data |
WO2009141998A1 (ja) | 2008-05-19 | 2009-11-26 | パナソニック株式会社 | キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
WO2009142176A1 (ja) * | 2008-05-21 | 2009-11-26 | 花王株式会社 | 袋容器 |
US8442355B2 (en) | 2008-05-23 | 2013-05-14 | Samsung Electronics Co., Ltd. | System and method for generating a multi-dimensional image |
US8125559B2 (en) | 2008-05-25 | 2012-02-28 | Avistar Communications Corporation | Image formation for large photosensor array surfaces |
US8131097B2 (en) | 2008-05-28 | 2012-03-06 | Aptina Imaging Corporation | Method and apparatus for extended depth-of-field image restoration |
US8244058B1 (en) | 2008-05-30 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for managing artifacts in frequency domain processing of light-field images |
CN101593350B (zh) | 2008-05-30 | 2013-01-09 | 日电(中国)有限公司 | 深度自适应视频拼接的方法、装置和系统 |
JP2009300268A (ja) | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 3次元情報検出装置 |
KR101539935B1 (ko) | 2008-06-24 | 2015-07-28 | 삼성전자주식회사 | 3차원 비디오 영상 처리 방법 및 장치 |
US7710667B2 (en) | 2008-06-25 | 2010-05-04 | Aptina Imaging Corp. | Imaging module with symmetrical lens system and method of manufacture |
WO2009157273A1 (ja) | 2008-06-25 | 2009-12-30 | コニカミノルタオプト株式会社 | 撮像光学系及び撮像用レンズの製造方法 |
KR101000531B1 (ko) | 2008-06-26 | 2010-12-14 | 에스디씨마이크로 주식회사 | 데이터 전송 범위가 증대되는 무선랜을 이용한 씨씨티브이관리시스템 |
US7916396B2 (en) | 2008-06-27 | 2011-03-29 | Micron Technology, Inc. | Lens master devices, lens structures, imaging devices, and methods and apparatuses of making the same |
US8326069B2 (en) | 2008-06-30 | 2012-12-04 | Intel Corporation | Computing higher resolution images from multiple lower resolution images |
US7773317B2 (en) | 2008-07-01 | 2010-08-10 | Aptina Imaging Corp. | Lens system with symmetrical optics |
US7920339B2 (en) | 2008-07-02 | 2011-04-05 | Aptina Imaging Corporation | Method and apparatus providing singlet wafer lens system with field flattener |
CN100576934C (zh) | 2008-07-03 | 2009-12-30 | 浙江大学 | 基于深度和遮挡信息的虚拟视点合成方法 |
US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
KR101445185B1 (ko) | 2008-07-10 | 2014-09-30 | 삼성전자주식회사 | 복수 개의 영상촬영유닛을 구비한 플렉시블 영상촬영장치및 그 제조방법 |
EP2313737B1 (en) | 2008-08-06 | 2018-11-14 | Creaform Inc. | System for adaptive three-dimensional scanning of surface characteristics |
JP5566385B2 (ja) | 2008-08-20 | 2014-08-06 | トムソン ライセンシング | 洗練された奥行きマップ |
CN101656259A (zh) | 2008-08-20 | 2010-02-24 | 鸿富锦精密工业(深圳)有限公司 | 影像感测器封装结构、封装方法及相机模组 |
US7924312B2 (en) | 2008-08-22 | 2011-04-12 | Fluke Corporation | Infrared and visible-light image registration |
US8736751B2 (en) | 2008-08-26 | 2014-05-27 | Empire Technology Development Llc | Digital presenter for displaying image captured by camera with illumination system |
US8102428B2 (en) | 2008-08-28 | 2012-01-24 | Adobe Systems Incorporated | Content-aware video stabilization |
EP2329315A4 (en) | 2008-09-01 | 2012-01-18 | Lensvector Inc | PREPARATION OF OPTOELECTRONIC LIQUID CRYSTAL COMPONENTS AT WAF LEVEL |
JP5105482B2 (ja) | 2008-09-01 | 2012-12-26 | 船井電機株式会社 | 光学的条件設計方法及び複眼撮像装置 |
US8098297B2 (en) | 2008-09-03 | 2012-01-17 | Sony Corporation | Pre- and post-shutter signal image capture and sort for digital camera |
KR20100028344A (ko) | 2008-09-04 | 2010-03-12 | 삼성전자주식회사 | 휴대단말의 영상 편집 방법 및 장치 |
US9025136B2 (en) | 2008-09-23 | 2015-05-05 | Applied Materials, Inc. | System and method for manufacturing three dimensional integrated circuits |
JP5238429B2 (ja) | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
US8553093B2 (en) | 2008-09-30 | 2013-10-08 | Sony Corporation | Method and apparatus for super-resolution imaging using digital imaging devices |
JP5243612B2 (ja) | 2008-10-02 | 2013-07-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
US9619917B2 (en) | 2008-10-03 | 2017-04-11 | Apple Inc. | Depth of field for a camera in a media-editing application |
US9064476B2 (en) | 2008-10-04 | 2015-06-23 | Microsoft Technology Licensing, Llc | Image super-resolution using gradient profile prior |
US8310525B2 (en) | 2008-10-07 | 2012-11-13 | Seiko Epson Corporation | One-touch projector alignment for 3D stereo display |
JP5547739B2 (ja) | 2008-10-15 | 2014-07-16 | イノベイティブ テクノロジー ディストリビューターズ エルエルシー | オプティカルフローの決定のためのデジタル処理方法およびシステム |
US8416282B2 (en) | 2008-10-16 | 2013-04-09 | Spatial Cam Llc | Camera for creating a panoramic image |
JP2010096723A (ja) | 2008-10-20 | 2010-04-30 | Funai Electric Co Ltd | 物体の距離導出装置 |
US8436909B2 (en) | 2008-10-21 | 2013-05-07 | Stmicroelectronics S.R.L. | Compound camera sensor and related method of processing digital images |
KR101697598B1 (ko) | 2008-10-27 | 2017-02-01 | 엘지전자 주식회사 | 가상 뷰 이미지 합성 방법 및 장치 |
US8063975B2 (en) | 2008-10-29 | 2011-11-22 | Jabil Circuit, Inc. | Positioning wafer lenses on electronic imagers |
KR101502597B1 (ko) | 2008-11-13 | 2015-03-13 | 삼성전자주식회사 | 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법 |
US8644547B2 (en) | 2008-11-14 | 2014-02-04 | The Scripps Research Institute | Image analysis platform for identifying artifacts in samples and laboratory consumables |
AU2008246243B2 (en) | 2008-11-19 | 2011-12-22 | Canon Kabushiki Kaisha | DVC as generic file format for plenoptic camera |
US8279325B2 (en) | 2008-11-25 | 2012-10-02 | Lytro, Inc. | System and method for acquiring, editing, generating and outputting video data |
JP4852591B2 (ja) | 2008-11-27 | 2012-01-11 | 富士フイルム株式会社 | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 |
US8289440B2 (en) | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
US8013904B2 (en) | 2008-12-09 | 2011-09-06 | Seiko Epson Corporation | View projection matrix based high performance low latency display pipeline |
JP5311016B2 (ja) | 2008-12-10 | 2013-10-09 | コニカミノルタ株式会社 | ステレオカメラユニット及びステレオマッチング方法 |
KR101200490B1 (ko) | 2008-12-10 | 2012-11-12 | 한국전자통신연구원 | 영상 정합 장치 및 방법 |
US8149323B2 (en) | 2008-12-18 | 2012-04-03 | Qualcomm Incorporated | System and method to autofocus assisted by autoexposure control |
JP4631966B2 (ja) | 2008-12-22 | 2011-02-16 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
CN101770060B (zh) | 2008-12-27 | 2014-03-26 | 鸿富锦精密工业(深圳)有限公司 | 相机模组及其组装方法 |
US8405742B2 (en) | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
US8259212B2 (en) | 2009-01-05 | 2012-09-04 | Applied Quantum Technologies, Inc. | Multiscale optical system |
WO2010081010A2 (en) | 2009-01-09 | 2010-07-15 | New York University | Methods, computer-accessible medium and systems for facilitating dark flash photography |
CN102272796B (zh) | 2009-01-09 | 2014-03-12 | 柯尼卡美能达控股株式会社 | 运动向量生成装置以及运动向量生成方法 |
US20100177411A1 (en) | 2009-01-09 | 2010-07-15 | Shashikant Hegde | Wafer level lens replication on micro-electrical-mechanical systems |
US8315476B1 (en) | 2009-01-20 | 2012-11-20 | Adobe Systems Incorporated | Super-resolution with the focused plenoptic camera |
US8189089B1 (en) | 2009-01-20 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for reducing plenoptic camera artifacts |
US8300108B2 (en) | 2009-02-02 | 2012-10-30 | L-3 Communications Cincinnati Electronics Corporation | Multi-channel imaging devices comprising unit cells |
US20100194860A1 (en) | 2009-02-03 | 2010-08-05 | Bit Cauldron Corporation | Method of stereoscopic 3d image capture using a mobile device, cradle or dongle |
US8761491B2 (en) | 2009-02-06 | 2014-06-24 | Himax Technologies Limited | Stereo-matching processor using belief propagation |
US8290301B2 (en) | 2009-02-06 | 2012-10-16 | Raytheon Company | Optimized imaging system for collection of high resolution imagery |
KR101776955B1 (ko) | 2009-02-10 | 2017-09-08 | 소니 주식회사 | 고체 촬상 장치와 그 제조 방법, 및 전자 기기 |
JP4915423B2 (ja) | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体 |
WO2010095440A1 (ja) | 2009-02-20 | 2010-08-26 | パナソニック株式会社 | 記録媒体、再生装置、及び集積回路 |
US8520970B2 (en) | 2010-04-23 | 2013-08-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
KR20100099896A (ko) | 2009-03-04 | 2010-09-15 | 삼성전자주식회사 | 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치 |
US8207759B2 (en) | 2009-03-12 | 2012-06-26 | Fairchild Semiconductor Corporation | MIPI analog switch for automatic selection of multiple inputs based on clock voltages |
WO2010108119A2 (en) | 2009-03-19 | 2010-09-23 | Flextronics Ap, Llc | Dual sensor camera |
US8106949B2 (en) | 2009-03-26 | 2012-01-31 | Seiko Epson Corporation | Small memory footprint light transport matrix capture |
US8450821B2 (en) | 2009-03-26 | 2013-05-28 | Micron Technology, Inc. | Method and apparatus providing combined spacer and optical lens element |
US7901095B2 (en) | 2009-03-27 | 2011-03-08 | Seiko Epson Corporation | Resolution scalable view projection |
JP4529010B1 (ja) | 2009-03-30 | 2010-08-25 | シャープ株式会社 | 撮像装置 |
JP5222205B2 (ja) | 2009-04-03 | 2013-06-26 | Kddi株式会社 | 画像処理装置、方法及びプログラム |
US8421846B2 (en) | 2009-04-06 | 2013-04-16 | J. Roy Nelson | System and apparatus for 3D image capture and processing |
US20120113266A1 (en) | 2009-04-07 | 2012-05-10 | Nextvision Stabilized Systems Ltd | Methods of manufacturing a camera system having multiple image sensors |
US20100259610A1 (en) | 2009-04-08 | 2010-10-14 | Celsia, Llc | Two-Dimensional Display Synced with Real World Object Movement |
US8294099B2 (en) | 2009-04-10 | 2012-10-23 | Bae Systems Information And Electronic Systems Integration Inc. | On-wafer butted microbolometer imaging array |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
JP5463718B2 (ja) | 2009-04-16 | 2014-04-09 | ソニー株式会社 | 撮像装置 |
US8908058B2 (en) | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
US20120249550A1 (en) | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
ATE551841T1 (de) | 2009-04-22 | 2012-04-15 | Raytrix Gmbh | Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten |
CN101527046B (zh) | 2009-04-28 | 2012-09-05 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种运动检测方法、装置和系统 |
KR101671021B1 (ko) | 2009-04-30 | 2016-11-10 | 삼성전자주식회사 | 스테레오스코픽 영상 데이터 전송 장치 및 방법 |
US8358365B2 (en) | 2009-05-01 | 2013-01-22 | Samsung Electronics Co., Ltd. | Photo detecting device and image pickup device and method thereon |
US8271544B2 (en) | 2009-05-01 | 2012-09-18 | Creative Technology Ltd | Data file having more than one mode of operation |
DE102009003110A1 (de) | 2009-05-14 | 2010-11-18 | Robert Bosch Gmbh | Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern |
US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
KR20100130423A (ko) | 2009-06-03 | 2010-12-13 | 삼성전자주식회사 | 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 모듈 |
US8766808B2 (en) | 2010-03-09 | 2014-07-01 | Flir Systems, Inc. | Imager with multiple sensor arrays |
US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
US8745677B2 (en) | 2009-06-12 | 2014-06-03 | Cygnus Broadband, Inc. | Systems and methods for prioritization of data for intelligent discard in a communication network |
CN101931742B (zh) | 2009-06-18 | 2013-04-24 | 鸿富锦精密工业(深圳)有限公司 | 影像感测模组及取像模组 |
US20100321640A1 (en) | 2009-06-22 | 2010-12-23 | Industrial Technology Research Institute | Projection display chip |
JP5254893B2 (ja) | 2009-06-26 | 2013-08-07 | キヤノン株式会社 | 画像変換方法及び装置並びにパターン識別方法及び装置 |
WO2011008443A2 (en) | 2009-06-29 | 2011-01-20 | Lensvector Inc. | Wafer level camera module with active optical element |
US20100328456A1 (en) * | 2009-06-30 | 2010-12-30 | Nokia Corporation | Lenslet camera parallax correction using distance information |
JP2011030184A (ja) | 2009-07-01 | 2011-02-10 | Sony Corp | 画像処理装置、及び、画像処理方法 |
US8212197B2 (en) | 2009-07-02 | 2012-07-03 | Xerox Corporation | Image sensor with integration time compensation |
JP2011017764A (ja) | 2009-07-07 | 2011-01-27 | Konica Minolta Opto Inc | 撮像レンズ,撮像装置及び携帯端末 |
US8203465B2 (en) * | 2009-07-13 | 2012-06-19 | The Boeing Company | Filtering aircraft traffic for display to a pilot |
US8345144B1 (en) | 2009-07-15 | 2013-01-01 | Adobe Systems Incorporated | Methods and apparatus for rich image capture with focused plenoptic cameras |
US20110019243A1 (en) | 2009-07-21 | 2011-01-27 | Constant Jr Henry J | Stereoscopic form reader |
CN101964866B (zh) | 2009-07-24 | 2013-03-20 | 鸿富锦精密工业(深圳)有限公司 | 计算摄像型数码相机 |
GB0912970D0 (en) | 2009-07-27 | 2009-09-02 | St Microelectronics Res & Dev | Improvements in or relating to a sensor and sensor system for a camera |
US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
EP2293586A1 (en) | 2009-08-04 | 2011-03-09 | Samsung Electronics Co., Ltd. | Method and system to transform stereo content |
US8577183B2 (en) | 2009-08-05 | 2013-11-05 | Raytheon Company | Resolution on demand |
CN102483511B (zh) | 2009-08-11 | 2014-11-12 | 乙太精密有限公司 | 用于将透镜与光学系统对准的方法和设备 |
WO2011017806A1 (en) | 2009-08-14 | 2011-02-17 | Genesis Group Inc. | Real-time image and video matting |
JP2011044801A (ja) | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
US8154632B2 (en) | 2009-08-24 | 2012-04-10 | Lifesize Communications, Inc. | Detection of defective pixels in an image sensor |
KR101680300B1 (ko) | 2009-08-31 | 2016-11-28 | 삼성전자주식회사 | 액체 렌즈 및 그 제조방법 |
US9274699B2 (en) | 2009-09-03 | 2016-03-01 | Obscura Digital | User interface for a large scale multi-user, multi-touch system |
US8411146B2 (en) | 2009-09-04 | 2013-04-02 | Lockheed Martin Corporation | Single camera color and infrared polarimetric imaging |
US20120194703A1 (en) | 2009-09-07 | 2012-08-02 | Nokia Corporation | Apparatus |
FR2950153B1 (fr) | 2009-09-15 | 2011-12-23 | Commissariat Energie Atomique | Dispositif optique a membrane deformable a actionnement piezoelectrique |
US20140076336A1 (en) | 2009-09-17 | 2014-03-20 | Ascentia Health, Inc. | Ear insert for relief of tmj discomfort and headaches |
US9497386B1 (en) | 2009-09-22 | 2016-11-15 | Altia Systems Inc. | Multi-imager video camera with automatic exposure control |
CN102549507B (zh) | 2009-10-02 | 2014-08-20 | 皇家飞利浦电子股份有限公司 | 选择视点用于在3d视频中生成附加视图 |
DE102009049387B4 (de) | 2009-10-14 | 2016-05-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung |
US8199165B2 (en) | 2009-10-14 | 2012-06-12 | Hewlett-Packard Development Company, L.P. | Methods and systems for object segmentation in digital images |
JP5909187B2 (ja) | 2009-10-14 | 2016-04-26 | トムソン ライセンシングThomson Licensing | フィルタ処理およびエッジ符号化 |
US8502909B2 (en) | 2009-10-19 | 2013-08-06 | Pixar | Super light-field lens |
WO2011056574A1 (en) | 2009-10-26 | 2011-05-12 | Olaf Andrew Hall-Holt | Dental imaging system and method |
WO2011053711A1 (en) | 2009-10-30 | 2011-05-05 | Invisage Technologies, Inc. | Systems and methods for color binning |
WO2011053319A1 (en) | 2009-10-30 | 2011-05-05 | Hewlett-Packard Development Company, L.P. | Stereo display systems |
CN102598652B (zh) | 2009-10-30 | 2015-08-12 | 佳能株式会社 | 信息处理设备和方法 |
WO2011055655A1 (ja) | 2009-11-05 | 2011-05-12 | コニカミノルタオプト株式会社 | 撮像装置、光学ユニット、ウエハレンズ積層体及びウエハレンズ積層体の製造方法 |
JP5214811B2 (ja) | 2009-11-13 | 2013-06-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
TR200908688A2 (tr) * | 2009-11-17 | 2011-06-21 | Vestel Elektron�K San. Ve T�C. A.�. | Çoklu görüntülü videoda derinlik dengelemeli gürültü azaltımı. |
JP5399215B2 (ja) | 2009-11-18 | 2014-01-29 | シャープ株式会社 | 多眼カメラ装置および電子情報機器 |
US8643701B2 (en) | 2009-11-18 | 2014-02-04 | University Of Illinois At Urbana-Champaign | System for executing 3D propagation for depth image-based rendering |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
WO2011066275A2 (en) | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
KR101608970B1 (ko) | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
US8400555B1 (en) | 2009-12-01 | 2013-03-19 | Adobe Systems Incorporated | Focused plenoptic camera employing microlenses with different focal lengths |
US8730338B2 (en) | 2009-12-01 | 2014-05-20 | Nokia Corporation | Set of camera modules hinged on a body and functionally connected to a single actuator |
JP5446797B2 (ja) | 2009-12-04 | 2014-03-19 | 株式会社リコー | 撮像装置 |
US8446492B2 (en) | 2009-12-10 | 2013-05-21 | Honda Motor Co., Ltd. | Image capturing device, method of searching for occlusion region, and program |
JP5387377B2 (ja) | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
KR101281961B1 (ko) | 2009-12-21 | 2013-07-03 | 한국전자통신연구원 | 깊이 영상 편집 방법 및 장치 |
US20110153248A1 (en) | 2009-12-23 | 2011-06-23 | Yeming Gu | Ophthalmic quality metric system |
US8885067B2 (en) | 2009-12-24 | 2014-11-11 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
JP4983905B2 (ja) | 2009-12-25 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置、3dモデリングデータ生成方法、および、プログラム |
KR101643607B1 (ko) | 2009-12-30 | 2016-08-10 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
CN102118551A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业(深圳)有限公司 | 成像装置 |
CN102117576A (zh) | 2009-12-31 | 2011-07-06 | 鸿富锦精密工业(深圳)有限公司 | 电子相框 |
KR101214536B1 (ko) * | 2010-01-12 | 2013-01-10 | 삼성전자주식회사 | 뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라 |
CN102131044B (zh) | 2010-01-20 | 2014-03-26 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
WO2011097508A2 (en) | 2010-02-04 | 2011-08-11 | University Of Southern California | Combined spectral and polarimetry imaging and diagnostics |
US8593512B2 (en) | 2010-02-05 | 2013-11-26 | Creative Technology Ltd | Device and method for scanning an object on a working surface |
US8326142B2 (en) | 2010-02-12 | 2012-12-04 | Sri International | Optical image systems |
JP5387856B2 (ja) * | 2010-02-16 | 2014-01-15 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
US8648918B2 (en) | 2010-02-18 | 2014-02-11 | Sony Corporation | Method and system for obtaining a point spread function using motion information |
CN103210641B (zh) | 2010-02-19 | 2017-03-15 | 双光圈国际株式会社 | 处理多孔径像数据 |
US8749620B1 (en) | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
US9456196B2 (en) | 2010-02-23 | 2016-09-27 | Samsung Electronics Co., Ltd. | Method and apparatus for providing a multi-view still image service, and method and apparatus for receiving a multi-view still image service |
KR101802238B1 (ko) | 2010-02-23 | 2017-11-29 | 삼성전자주식회사 | 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법 |
EP2539759A1 (en) | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
JP5776173B2 (ja) | 2010-03-01 | 2015-09-09 | 株式会社リコー | 撮像装置及び距離測定装置 |
US8817015B2 (en) | 2010-03-03 | 2014-08-26 | Adobe Systems Incorporated | Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data |
US20110222757A1 (en) | 2010-03-10 | 2011-09-15 | Gbo 3D Technology Pte. Ltd. | Systems and methods for 2D image and spatial data capture for 3D stereo imaging |
US20110221950A1 (en) | 2010-03-12 | 2011-09-15 | Doeke Jolt Oostra | Camera device, wafer scale package |
WO2011116203A1 (en) | 2010-03-17 | 2011-09-22 | Pelican Imaging Corporation | Fabrication process for mastering imaging lens arrays |
EP2391142B1 (en) | 2010-03-19 | 2013-12-25 | FUJIFILM Corporation | Imaging device, method and program, and recording medium using same |
EP2549762B1 (en) | 2010-03-19 | 2017-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor |
WO2011116345A1 (en) | 2010-03-19 | 2011-09-22 | Invisage Technologies, Inc. | Dark current reduction in image sensors via dynamic electrical biasing |
US8558903B2 (en) | 2010-03-25 | 2013-10-15 | Apple Inc. | Accelerometer / gyro-facilitated video stabilization |
US8285033B2 (en) | 2010-04-01 | 2012-10-09 | Seiko Epson Corporation | Bi-affinity filter: a bilateral type filter for color images |
US9001227B2 (en) | 2010-04-05 | 2015-04-07 | Qualcomm Incorporated | Combining data from multiple image sensors |
US8896668B2 (en) | 2010-04-05 | 2014-11-25 | Qualcomm Incorporated | Combining data from multiple image sensors |
US8600186B2 (en) | 2010-04-26 | 2013-12-03 | City University Of Hong Kong | Well focused catadioptric image acquisition |
US20110267264A1 (en) | 2010-04-29 | 2011-11-03 | Mccarthy John | Display system with multiple optical sensors |
US9053573B2 (en) | 2010-04-29 | 2015-06-09 | Personify, Inc. | Systems and methods for generating a virtual camera viewpoint for an image |
US8558923B2 (en) | 2010-05-03 | 2013-10-15 | Canon Kabushiki Kaisha | Image capturing apparatus and method for selective real time focus/parameter adjustment |
US20130250150A1 (en) | 2010-05-03 | 2013-09-26 | Michael R. Malone | Devices and methods for high-resolution image and video capture |
US9256974B1 (en) | 2010-05-04 | 2016-02-09 | Stephen P Hines | 3-D motion-parallax portable display software application |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
KR20110124473A (ko) | 2010-05-11 | 2011-11-17 | 삼성전자주식회사 | 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법 |
KR101756910B1 (ko) | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
US20130147979A1 (en) | 2010-05-12 | 2013-06-13 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
JP5545016B2 (ja) | 2010-05-12 | 2014-07-09 | ソニー株式会社 | 撮像装置 |
WO2011143501A1 (en) | 2010-05-12 | 2011-11-17 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
WO2011142774A1 (en) | 2010-05-14 | 2011-11-17 | Omnivision Technologies, Inc. | Alternative color image array and associated methods |
US8576293B2 (en) | 2010-05-18 | 2013-11-05 | Aptina Imaging Corporation | Multi-channel imager |
SG176327A1 (en) | 2010-05-20 | 2011-12-29 | Sony Corp | A system and method of image processing |
US8602887B2 (en) | 2010-06-03 | 2013-12-10 | Microsoft Corporation | Synthesis of information from multiple audiovisual sources |
US20120062697A1 (en) | 2010-06-09 | 2012-03-15 | Chemimage Corporation | Hyperspectral imaging sensor for tracking moving targets |
DE102010024666A1 (de) | 2010-06-18 | 2011-12-22 | Hella Kgaa Hueck & Co. | Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens |
US20110310980A1 (en) | 2010-06-22 | 2011-12-22 | Qualcomm Mems Technologies, Inc. | Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id |
CN102184720A (zh) | 2010-06-22 | 2011-09-14 | 上海盈方微电子有限公司 | 一种支持多层多格式输入的图像合成显示的方法及装置 |
KR20120000485A (ko) | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
US8493432B2 (en) | 2010-06-29 | 2013-07-23 | Mitsubishi Electric Research Laboratories, Inc. | Digital refocusing for wide-angle images using axial-cone cameras |
EP2403234A1 (en) | 2010-06-29 | 2012-01-04 | Koninklijke Philips Electronics N.V. | Method and system for constructing a compound image from data obtained by an array of image capturing devices |
CN101883291B (zh) | 2010-06-29 | 2012-12-19 | 上海大学 | 感兴趣区域增强的视点绘制方法 |
WO2012001975A1 (ja) | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体視表示用撮像の際の撮像領域内の障害物を判定する装置、方法およびプログラム |
JP5392199B2 (ja) | 2010-07-09 | 2014-01-22 | ソニー株式会社 | 画像処理装置および方法 |
US9406132B2 (en) | 2010-07-16 | 2016-08-02 | Qualcomm Incorporated | Vision-based quality metric for three dimensional video |
GB2482022A (en) | 2010-07-16 | 2012-01-18 | St Microelectronics Res & Dev | Method for measuring resolution and aberration of lens and sensor |
US8386964B2 (en) | 2010-07-21 | 2013-02-26 | Microsoft Corporation | Interactive image matting |
US20120019700A1 (en) | 2010-07-26 | 2012-01-26 | American Technologies Network Corporation | Optical system with automatic mixing of daylight and thermal vision digital video signals |
US20120026342A1 (en) | 2010-07-27 | 2012-02-02 | Xiaoguang Yu | Electronic system communicating with image sensor |
US20120026451A1 (en) | 2010-07-29 | 2012-02-02 | Lensvector Inc. | Tunable liquid crystal lens with single sided contacts |
US8605136B2 (en) | 2010-08-10 | 2013-12-10 | Sony Corporation | 2D to 3D user interface content data conversion |
CN102375199B (zh) | 2010-08-11 | 2015-06-03 | 鸿富锦精密工业(深圳)有限公司 | 相机模组 |
US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
US8836793B1 (en) | 2010-08-13 | 2014-09-16 | Opto-Knowledge Systems, Inc. | True color night vision (TCNV) fusion |
US8493482B2 (en) | 2010-08-18 | 2013-07-23 | Apple Inc. | Dual image sensor image processing system and method |
US8724000B2 (en) | 2010-08-27 | 2014-05-13 | Adobe Systems Incorporated | Methods and apparatus for super-resolution in integral photography |
US8665341B2 (en) | 2010-08-27 | 2014-03-04 | Adobe Systems Incorporated | Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data |
US8749694B2 (en) | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
WO2012029298A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置および画像処理方法 |
GB2483434A (en) | 2010-08-31 | 2012-03-14 | Sony Corp | Detecting stereoscopic disparity by comparison with subset of pixel change points |
US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US9013550B2 (en) | 2010-09-09 | 2015-04-21 | Qualcomm Incorporated | Online reference generation and tracking for multi-user augmented reality |
WO2012037075A1 (en) * | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
KR20130139242A (ko) | 2010-09-14 | 2013-12-20 | 톰슨 라이센싱 | 차폐 데이터의 압축 방법 및 장치 |
US9013634B2 (en) | 2010-09-14 | 2015-04-21 | Adobe Systems Incorporated | Methods and apparatus for video completion |
US8780251B2 (en) | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
JP5392415B2 (ja) | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
US20120086803A1 (en) | 2010-10-11 | 2012-04-12 | Malzbender Thomas G | Method and system for distance estimation using projected symbol sequences |
US20140192238A1 (en) | 2010-10-24 | 2014-07-10 | Linx Computational Imaging Ltd. | System and Method for Imaging and Image Processing |
US8531535B2 (en) | 2010-10-28 | 2013-09-10 | Google Inc. | Methods and systems for processing a video for stabilization and retargeting |
JP5657343B2 (ja) | 2010-10-28 | 2015-01-21 | 株式会社ザクティ | 電子機器 |
WO2012056437A1 (en) | 2010-10-29 | 2012-05-03 | École Polytechnique Fédérale De Lausanne (Epfl) | Omnidirectional sensor array system |
US9137503B2 (en) | 2010-11-03 | 2015-09-15 | Sony Corporation | Lens and color filter arrangement, super-resolution camera system and method |
US9065991B2 (en) | 2010-11-04 | 2015-06-23 | Lensvector Inc. | Methods of adjustment free manufacture of focus free camera modules |
US20120113232A1 (en) | 2010-11-10 | 2012-05-10 | Sony Pictures Technologies Inc. | Multiple camera system and method for selectable interaxial separation |
WO2012064106A2 (en) | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
MY150361A (en) | 2010-12-03 | 2013-12-31 | Mimos Berhad | Method of image segmentation using intensity and depth information |
WO2012078126A1 (en) | 2010-12-08 | 2012-06-14 | Thomson Licensing | System and method for trinocular depth acquisition with triangular sensor |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP5963422B2 (ja) | 2010-12-17 | 2016-08-03 | キヤノン株式会社 | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム |
US8682107B2 (en) | 2010-12-22 | 2014-03-25 | Electronics And Telecommunications Research Institute | Apparatus and method for creating 3D content for oriental painting |
US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
US8565709B2 (en) | 2010-12-30 | 2013-10-22 | Apple Inc. | Digital signal filter |
TWI535292B (zh) | 2010-12-31 | 2016-05-21 | 派力肯影像公司 | 使用具有異質的成像器的整體式相機陣列的影像捕捉和處理 |
JP5699609B2 (ja) | 2011-01-06 | 2015-04-15 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US9448338B2 (en) | 2011-01-20 | 2016-09-20 | Fivefocal Llc | Passively athermalized infrared imaging system and method of manufacturing same |
US8581995B2 (en) | 2011-01-25 | 2013-11-12 | Aptina Imaging Corporation | Method and apparatus for parallax correction in fused array imaging systems |
US8717467B2 (en) | 2011-01-25 | 2014-05-06 | Aptina Imaging Corporation | Imaging systems with array cameras for depth sensing |
JP5594477B2 (ja) * | 2011-01-26 | 2014-09-24 | Nltテクノロジー株式会社 | 画像表示装置、画像表示方法、及びプログラム |
US9235894B2 (en) | 2011-01-27 | 2016-01-12 | Metaio Gmbh | Method for determining correspondences between a first and a second image, and method for determining the pose of a camera |
US20120200726A1 (en) | 2011-02-09 | 2012-08-09 | Research In Motion Limited | Method of Controlling the Depth of Field for a Small Sensor Camera Using an Extension for EDOF |
US8717464B2 (en) | 2011-02-09 | 2014-05-06 | Blackberry Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
US8698885B2 (en) | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
US20140176592A1 (en) | 2011-02-15 | 2014-06-26 | Lytro, Inc. | Configuring two-dimensional image processing based on light-field parameters |
US8406548B2 (en) | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
EP2683166B1 (en) | 2011-02-28 | 2017-12-13 | Fujifilm Corporation | Color imaging device |
US8537245B2 (en) | 2011-03-04 | 2013-09-17 | Hand Held Products, Inc. | Imaging and decoding device with quantum dot imager |
CA2769358C (en) | 2011-03-08 | 2016-06-07 | Research In Motion Limited | Quantum dot image sensor with dummy pixels used for intensity calculations |
US9565449B2 (en) | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
KR101792501B1 (ko) | 2011-03-16 | 2017-11-21 | 한국전자통신연구원 | 특징기반의 스테레오 매칭 방법 및 장치 |
US8824821B2 (en) | 2011-03-28 | 2014-09-02 | Sony Corporation | Method and apparatus for performing user inspired visual effects rendering on an image |
US20120249853A1 (en) | 2011-03-28 | 2012-10-04 | Marc Krolczyk | Digital camera for reviewing related images |
US8422770B2 (en) | 2011-03-30 | 2013-04-16 | Mckesson Financial Holdings | Method, apparatus and computer program product for displaying normalized medical images |
US9030528B2 (en) | 2011-04-04 | 2015-05-12 | Apple Inc. | Multi-zone imaging sensor and lens array |
FR2974449A1 (fr) | 2011-04-22 | 2012-10-26 | Commissariat Energie Atomique | Circuit integre imageur et dispositif de capture d'images stereoscopiques |
US20120274626A1 (en) | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
EP2705495B1 (en) | 2011-05-04 | 2015-07-08 | Sony Ericsson Mobile Communications AB | Method, graphical user interface, and computer program product for processing of a light field image |
WO2012155119A1 (en) | 2011-05-11 | 2012-11-15 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
US8843346B2 (en) | 2011-05-13 | 2014-09-23 | Amazon Technologies, Inc. | Using spatial information with device interaction |
US8629901B2 (en) | 2011-05-19 | 2014-01-14 | National Taiwan University | System and method of revising depth of a 3D image pair |
US20120293489A1 (en) | 2011-05-20 | 2012-11-22 | Himax Technologies Limited | Nonlinear depth remapping system and method thereof |
JP5797016B2 (ja) | 2011-05-30 | 2015-10-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5762142B2 (ja) | 2011-05-31 | 2015-08-12 | キヤノン株式会社 | 撮像装置、画像処理装置およびその方法 |
US8823813B2 (en) | 2011-06-06 | 2014-09-02 | Apple Inc. | Correcting rolling shutter using image stabilization |
US8648919B2 (en) | 2011-06-06 | 2014-02-11 | Apple Inc. | Methods and systems for image stabilization |
US9635274B2 (en) | 2011-06-15 | 2017-04-25 | Microsoft Technology Licensing, Llc | High resolution multispectral image capture |
JP2013005259A (ja) | 2011-06-17 | 2013-01-07 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
WO2013003276A1 (en) | 2011-06-28 | 2013-01-03 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US8773513B2 (en) | 2011-07-01 | 2014-07-08 | Seiko Epson Corporation | Context and epsilon stereo constrained correspondence matching |
US9300946B2 (en) | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
JP5854673B2 (ja) * | 2011-07-12 | 2016-02-09 | キヤノン株式会社 | 固体撮像装置 |
JP2013024886A (ja) | 2011-07-14 | 2013-02-04 | Sanyo Electric Co Ltd | 撮像装置 |
JP5780865B2 (ja) | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
US20140168424A1 (en) * | 2011-07-21 | 2014-06-19 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
US9363535B2 (en) | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
US9264689B2 (en) | 2011-08-04 | 2016-02-16 | Semiconductor Components Industries, Llc | Systems and methods for color compensation in multi-view video |
US9402066B2 (en) | 2011-08-09 | 2016-07-26 | Samsung Electronics Co., Ltd. | Method and device for encoding a depth map of multi viewpoint video data, and method and device for decoding the encoded depth map |
US8432435B2 (en) | 2011-08-10 | 2013-04-30 | Seiko Epson Corporation | Ray image modeling for fast catadioptric light field rendering |
US8866951B2 (en) | 2011-08-24 | 2014-10-21 | Aptina Imaging Corporation | Super-resolution imaging systems |
US8704895B2 (en) | 2011-08-29 | 2014-04-22 | Qualcomm Incorporated | Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera |
US9009952B2 (en) | 2011-08-29 | 2015-04-21 | Asm Technology Singapore Pte. Ltd. | Apparatus for assembling a lens module and an image sensor to form a camera module, and a method of assembling the same |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
US9100639B2 (en) | 2011-09-20 | 2015-08-04 | Panasonic Intellectual Property Management Co., Ltd. | Light field imaging device and image processing device |
WO2013042440A1 (ja) | 2011-09-21 | 2013-03-28 | 富士フイルム株式会社 | 画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 |
US8724893B2 (en) | 2011-09-27 | 2014-05-13 | Thomson Licensing | Method and system for color look up table generation |
US8908083B2 (en) | 2011-09-28 | 2014-12-09 | Apple Inc. | Dynamic autofocus operations |
IN2014CN02708A (zh) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
JP5831105B2 (ja) | 2011-09-30 | 2015-12-09 | ソニー株式会社 | 撮像装置及び撮像方法 |
SG11201401363UA (en) | 2011-10-11 | 2014-05-29 | Pelican Imaging Corp | Lens stack arrays including adaptive optical elements |
EP2592823A3 (en) | 2011-10-12 | 2013-06-19 | Canon Kabushiki Kaisha | Image-capturing device |
US20130107061A1 (en) | 2011-10-31 | 2013-05-02 | Ankit Kumar | Multi-resolution ip camera |
JP5149435B1 (ja) | 2011-11-04 | 2013-02-20 | 株式会社東芝 | 映像処理装置および映像処理方法 |
US9692991B2 (en) | 2011-11-04 | 2017-06-27 | Qualcomm Incorporated | Multispectral imaging system |
EP2590138B1 (en) | 2011-11-07 | 2019-09-11 | Flir Systems AB | Gas visualization arrangements, devices, and methods |
GB201119405D0 (en) | 2011-11-10 | 2011-12-21 | Univ East Anglia | Spectral estimation method,system and reference target design system |
US20140313315A1 (en) | 2011-11-15 | 2014-10-23 | Technion Research & Development Foundation Limited | Method and system for transmitting light |
US20130121559A1 (en) | 2011-11-16 | 2013-05-16 | Sharp Laboratories Of America, Inc. | Mobile device with three dimensional augmented reality |
US20130127988A1 (en) | 2011-11-17 | 2013-05-23 | Sen Wang | Modifying the viewpoint of a digital image |
JP6019568B2 (ja) | 2011-11-28 | 2016-11-02 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
US9661310B2 (en) | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
EP2600316A1 (en) | 2011-11-29 | 2013-06-05 | Inria Institut National de Recherche en Informatique et en Automatique | Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation |
KR101862404B1 (ko) | 2011-12-09 | 2018-05-29 | 엘지이노텍 주식회사 | 스테레오 영상의 노이즈 제거장치 및 방법 |
US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
JP5414947B2 (ja) | 2011-12-27 | 2014-02-12 | パナソニック株式会社 | ステレオ撮影装置 |
US8941722B2 (en) | 2012-01-03 | 2015-01-27 | Sony Corporation | Automatic intelligent focus control of video |
WO2013119706A1 (en) | 2012-02-06 | 2013-08-15 | Pelican Imaging Corporation | Systems and methods for extending dynamic range of imager arrays by controlling pixel analog gain |
US9172889B2 (en) | 2012-02-09 | 2015-10-27 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating auto-exposed high-dynamic-range images |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
JP5860304B2 (ja) | 2012-02-23 | 2016-02-16 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 |
JP5924978B2 (ja) | 2012-02-28 | 2016-05-25 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
JP6112824B2 (ja) | 2012-02-28 | 2017-04-12 | キヤノン株式会社 | 画像処理方法および装置、プログラム。 |
EP2637139A1 (en) | 2012-03-05 | 2013-09-11 | Thomson Licensing | Method and apparatus for bi-layer segmentation |
US9338439B2 (en) | 2012-04-02 | 2016-05-10 | Intel Corporation | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system |
EP2836869B1 (en) | 2012-04-13 | 2020-10-14 | Automation Engineering, Inc. | Active alignment using continuous motion sweeps and temporal interpolation |
JP2015523102A (ja) | 2012-04-16 | 2015-08-13 | チルドレンズ ナショナル メディカル センターChildren’S National Medical Center | 手術及び介入処置での追跡及び制御の為のデュアルモードステレオイメージングシステム |
US8994845B2 (en) | 2012-04-27 | 2015-03-31 | Blackberry Limited | System and method of adjusting a camera based on image data |
JP2015521411A (ja) | 2012-05-01 | 2015-07-27 | ペリカン イメージング コーポレイション | πフィルタ群を用いてパターン化されたカメラモジュール |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
US20150085073A1 (en) | 2012-05-02 | 2015-03-26 | Koninklijke Philips N.V. | Quality metric for processing 3d video |
US9300932B2 (en) | 2012-05-09 | 2016-03-29 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US9179126B2 (en) | 2012-06-01 | 2015-11-03 | Ostendo Technologies, Inc. | Spatio-temporal light field cameras |
WO2013182873A1 (en) | 2012-06-08 | 2013-12-12 | Nokia Corporation | A multi-frame image calibrator |
EP2677734A3 (en) | 2012-06-18 | 2016-01-13 | Sony Mobile Communications AB | Array camera imaging system and method |
JP5929553B2 (ja) | 2012-06-28 | 2016-06-08 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
KR20150023907A (ko) | 2012-06-28 | 2015-03-05 | 펠리칸 이매징 코포레이션 | 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US8896594B2 (en) | 2012-06-30 | 2014-11-25 | Microsoft Corporation | Depth sensing with depth-adaptive illumination |
US9147251B2 (en) | 2012-08-03 | 2015-09-29 | Flyby Media, Inc. | Systems and methods for efficient 3D tracking of weakly textured planar surfaces for augmented reality applications |
US8988566B2 (en) | 2012-08-09 | 2015-03-24 | Omnivision Technologies, Inc. | Lens array for partitioned image sensor having color filters |
AU2013305770A1 (en) | 2012-08-21 | 2015-02-26 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US9600859B2 (en) | 2012-08-31 | 2017-03-21 | Sony Corporation | Image processing device, image processing method, and information processing device |
WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
US9373088B2 (en) | 2012-09-17 | 2016-06-21 | The Board Of Trustees Of The Leland Stanford Junior University | Brain machine interface utilizing a discrete action state decoder in parallel with a continuous decoder for a neural prosthetic device |
US9143673B2 (en) | 2012-09-19 | 2015-09-22 | Google Inc. | Imaging device with a plurality of pixel arrays |
EP4307659A1 (en) | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
TW201415879A (zh) | 2012-10-12 | 2014-04-16 | Wintek Corp | 影像擷取裝置 |
WO2014070927A2 (en) | 2012-10-31 | 2014-05-08 | Invisage Technologies, Inc. | Expanded-field-of-view image and video capture |
US9185392B2 (en) | 2012-11-12 | 2015-11-10 | Spatial Integrated Systems, Inc. | System and method for 3-D object rendering of a moving object using structured light patterns and moving window imagery |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
KR101954192B1 (ko) | 2012-11-15 | 2019-03-05 | 엘지전자 주식회사 | 어레이 카메라, 휴대 단말기 및 그 동작 방법 |
US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
TWI525382B (zh) | 2012-11-21 | 2016-03-11 | 豪威科技股份有限公司 | 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法 |
CN109963059B (zh) | 2012-11-28 | 2021-07-27 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
US9001226B1 (en) | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
US9088369B2 (en) | 2012-12-28 | 2015-07-21 | Synergy Microwave Corporation | Self injection locked phase locked looped optoelectronic oscillator |
US20140183334A1 (en) | 2013-01-03 | 2014-07-03 | Visera Technologies Company Limited | Image sensor for light field device and manufacturing method thereof |
WO2014107634A2 (en) | 2013-01-05 | 2014-07-10 | Tinz Optics, Inc. | Methods and apparatus relating to the use of multipe optical chains |
KR20140094395A (ko) | 2013-01-22 | 2014-07-30 | 삼성전자주식회사 | 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법 |
US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
US20150002734A1 (en) | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014160142A1 (en) | 2013-03-13 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for using alignment to increase sampling diversity of cameras in an array camera module |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
WO2014150856A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Array camera implementing quantum dot color filters |
WO2014144157A1 (en) | 2013-03-15 | 2014-09-18 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
WO2014149902A1 (en) | 2013-03-15 | 2014-09-25 | Pelican Imaging Corporation | Systems and methods for providing an array projector |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
WO2014181220A1 (en) | 2013-05-10 | 2014-11-13 | Koninklijke Philips N.V. | Method of encoding a video data signal for use with a multi-view rendering device |
KR102103983B1 (ko) | 2013-07-31 | 2020-04-23 | 삼성전자주식회사 | 시프트된 마이크로 렌즈 어레이를 구비하는 라이트 필드 영상 획득 장치 |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US20150098079A1 (en) | 2013-10-09 | 2015-04-09 | Hilti Aktiengesellschaft | System and method for camera based position and orientation measurement |
US20150104101A1 (en) | 2013-10-14 | 2015-04-16 | Apple Inc. | Method and ui for z depth image segmentation |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
JP6211435B2 (ja) | 2014-02-26 | 2017-10-11 | 株式会社アドバンテスト | 半導体装置の製造方法 |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
KR102397254B1 (ko) | 2014-03-28 | 2022-05-12 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 장면의 정량적인 3차원 영상 |
WO2015183824A1 (en) | 2014-05-26 | 2015-12-03 | Pelican Imaging Corporation | Autofocus system for a conventional camera that uses depth information from an array camera |
US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
US9992483B2 (en) | 2014-09-03 | 2018-06-05 | Intel Corporation | Imaging architecture for depth camera mode with mode switching |
EP3201877B1 (en) | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
US10187560B2 (en) | 2015-10-15 | 2019-01-22 | Omnivision Technologies, Inc. | Notched-spacer camera module and method for fabricating same |
US10621433B1 (en) | 2015-12-18 | 2020-04-14 | EControls Holdings, KKC | Multiscopic whitetail scoring game camera systems and methods |
KR102672599B1 (ko) | 2016-12-30 | 2024-06-07 | 삼성전자주식회사 | Af 방법 및 이를 수행하는 전자 장치 |
US11315321B2 (en) | 2018-09-07 | 2022-04-26 | Intel Corporation | View dependent 3D reconstruction mechanism |
-
2013
- 2013-08-21 AU AU2013305770A patent/AU2013305770A1/en not_active Abandoned
- 2013-08-21 KR KR1020157006433A patent/KR102111181B1/ko active IP Right Grant
- 2013-08-21 EP EP13830945.5A patent/EP2888720B1/en active Active
- 2013-08-21 EP EP21155002.5A patent/EP3869797B1/en active Active
- 2013-08-21 CN CN201710550511.4A patent/CN107346061B/zh active Active
- 2013-08-21 WO PCT/US2013/056065 patent/WO2014031795A1/en active Application Filing
- 2013-08-21 EP EP23185907.5A patent/EP4296963A3/en active Pending
- 2013-08-21 US US13/972,881 patent/US8619082B1/en active Active
- 2013-08-21 SG SG11201500910RA patent/SG11201500910RA/en unknown
- 2013-08-21 CN CN201380048735.5A patent/CN104662589B/zh active Active
- 2013-08-21 CA CA2881131A patent/CA2881131A1/en not_active Abandoned
- 2013-12-30 US US14/144,458 patent/US8780113B1/en active Active
-
2014
- 2014-07-11 US US14/329,754 patent/US9240049B2/en active Active
- 2014-10-28 US US14/526,407 patent/US9129377B2/en active Active
- 2014-10-28 US US14/526,364 patent/US9123117B2/en active Active
- 2014-10-28 US US14/526,377 patent/US9123118B2/en active Active
- 2014-10-28 US US14/526,392 patent/US9235900B2/en active Active
- 2014-10-28 US US14/526,398 patent/US9147254B2/en active Active
-
2016
- 2016-01-05 US US14/988,680 patent/US9858673B2/en active Active
-
2017
- 2017-12-29 US US15/858,974 patent/US10380752B2/en active Active
-
2019
- 2019-08-09 US US16/537,369 patent/US10909707B2/en active Active
-
2021
- 2021-01-29 US US17/162,542 patent/US12002233B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994020875A3 (en) * | 1993-03-03 | 1995-01-12 | Street Graham S B | Method and apparatus for image alignment |
JPH0756112A (ja) * | 1993-08-19 | 1995-03-03 | Nittetsu Eretsukusu:Kk | 立体像表示装置 |
CN1619358A (zh) * | 2003-09-08 | 2005-05-25 | 株式会社东芝 | 立体显示装置及图像显示方法 |
CN1985524A (zh) * | 2004-09-29 | 2007-06-20 | 株式会社东芝 | 三维图像数据的结构,其记录方法及其显示再现方法 |
CN201043890Y (zh) * | 2006-11-17 | 2008-04-02 | 中国科学院上海光学精密机械研究所 | 单孔径多重成像的光学成像测距装置 |
Cited By (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10142560B2 (en) | 2008-05-20 | 2018-11-27 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US10027901B2 (en) | 2008-05-20 | 2018-07-17 | Fotonation Cayman Limited | Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras |
US12022207B2 (en) | 2008-05-20 | 2024-06-25 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US11412158B2 (en) | 2008-05-20 | 2022-08-09 | Fotonation Limited | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US10306120B2 (en) | 2009-11-20 | 2019-05-28 | Fotonation Limited | Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps |
US10455168B2 (en) | 2010-05-12 | 2019-10-22 | Fotonation Limited | Imager array interfaces |
US10366472B2 (en) | 2010-12-14 | 2019-07-30 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US11423513B2 (en) | 2010-12-14 | 2022-08-23 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US11875475B2 (en) | 2010-12-14 | 2024-01-16 | Adeia Imaging Llc | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US10839485B2 (en) | 2010-12-14 | 2020-11-17 | Fotonation Limited | Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers |
US10742861B2 (en) | 2011-05-11 | 2020-08-11 | Fotonation Limited | Systems and methods for transmitting and receiving array camera image data |
US10375302B2 (en) | 2011-09-19 | 2019-08-06 | Fotonation Limited | Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures |
US10984276B2 (en) | 2011-09-28 | 2021-04-20 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
US10275676B2 (en) | 2011-09-28 | 2019-04-30 | Fotonation Limited | Systems and methods for encoding image files containing depth maps stored as metadata |
US10430682B2 (en) | 2011-09-28 | 2019-10-01 | Fotonation Limited | Systems and methods for decoding image files containing depth maps stored as metadata |
US11729365B2 (en) | 2011-09-28 | 2023-08-15 | Adela Imaging LLC | Systems and methods for encoding image files containing depth maps stored as metadata |
US20180197035A1 (en) | 2011-09-28 | 2018-07-12 | Fotonation Cayman Limited | Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata |
US10311649B2 (en) | 2012-02-21 | 2019-06-04 | Fotonation Limited | Systems and method for performing depth based image editing |
US10334241B2 (en) | 2012-06-28 | 2019-06-25 | Fotonation Limited | Systems and methods for detecting defective camera arrays and optic arrays |
US10261219B2 (en) | 2012-06-30 | 2019-04-16 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US11022725B2 (en) | 2012-06-30 | 2021-06-01 | Fotonation Limited | Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors |
US10380752B2 (en) | 2012-08-21 | 2019-08-13 | Fotonation Limited | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US12002233B2 (en) | 2012-08-21 | 2024-06-04 | Adeia Imaging Llc | Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints |
US10462362B2 (en) | 2012-08-23 | 2019-10-29 | Fotonation Limited | Feature based high resolution motion estimation from low resolution images captured using an array source |
US10390005B2 (en) | 2012-09-28 | 2019-08-20 | Fotonation Limited | Generating images from light fields utilizing virtual viewpoints |
US11272161B2 (en) | 2013-03-10 | 2022-03-08 | Fotonation Limited | System and methods for calibration of an array camera |
US11570423B2 (en) | 2013-03-10 | 2023-01-31 | Adeia Imaging Llc | System and methods for calibration of an array camera |
US10958892B2 (en) | 2013-03-10 | 2021-03-23 | Fotonation Limited | System and methods for calibration of an array camera |
US10225543B2 (en) | 2013-03-10 | 2019-03-05 | Fotonation Limited | System and methods for calibration of an array camera |
US11985293B2 (en) | 2013-03-10 | 2024-05-14 | Adeia Imaging Llc | System and methods for calibration of an array camera |
US10127682B2 (en) | 2013-03-13 | 2018-11-13 | Fotonation Limited | System and methods for calibration of an array camera |
US10091405B2 (en) | 2013-03-14 | 2018-10-02 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10547772B2 (en) | 2013-03-14 | 2020-01-28 | Fotonation Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10542208B2 (en) | 2013-03-15 | 2020-01-21 | Fotonation Limited | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US10182216B2 (en) | 2013-03-15 | 2019-01-15 | Fotonation Limited | Extended color processing on pelican array cameras |
US10674138B2 (en) | 2013-03-15 | 2020-06-02 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US10638099B2 (en) | 2013-03-15 | 2020-04-28 | Fotonation Limited | Extended color processing on pelican array cameras |
US10455218B2 (en) | 2013-03-15 | 2019-10-22 | Fotonation Limited | Systems and methods for estimating depth using stereo array cameras |
US10540806B2 (en) | 2013-09-27 | 2020-01-21 | Fotonation Limited | Systems and methods for depth-assisted perspective distortion correction |
US10767981B2 (en) | 2013-11-18 | 2020-09-08 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US11486698B2 (en) | 2013-11-18 | 2022-11-01 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US10708492B2 (en) | 2013-11-26 | 2020-07-07 | Fotonation Limited | Array camera configurations incorporating constituent array cameras and constituent cameras |
US10574905B2 (en) | 2014-03-07 | 2020-02-25 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
US11546576B2 (en) | 2014-09-29 | 2023-01-03 | Adeia Imaging Llc | Systems and methods for dynamic calibration of array cameras |
CN108459417A (zh) * | 2018-02-05 | 2018-08-28 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
CN108459417B (zh) * | 2018-02-05 | 2020-06-26 | 华侨大学 | 一种单目窄带多光谱立体视觉系统及其使用方法 |
CN108323208A (zh) * | 2018-02-12 | 2018-07-24 | 深圳市汇顶科技股份有限公司 | 图像获取方法和装置 |
CN110853073A (zh) * | 2018-07-25 | 2020-02-28 | 北京三星通信技术研究有限公司 | 确定关注点的方法、装置、设备、系统及信息处理方法 |
CN112384945A (zh) * | 2018-08-09 | 2021-02-19 | 谷歌有限责任公司 | 使用应用于用户设备的自然手持运动的超分辨率 |
CN109521434A (zh) * | 2018-12-27 | 2019-03-26 | 合肥泰禾光电科技股份有限公司 | 一种激光测量方法及控制处理器 |
CN111815696A (zh) * | 2019-04-11 | 2020-10-23 | 曜科智能科技(上海)有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
CN111815696B (zh) * | 2019-04-11 | 2023-08-22 | 曜科智能科技(上海)有限公司 | 基于语义实例分割的深度图优化方法、装置、设备和介质 |
CN110211115A (zh) * | 2019-06-03 | 2019-09-06 | 大连理工大学 | 一种基于深度引导元胞自动机的光场显著性检测实现方法 |
US11270110B2 (en) | 2019-09-17 | 2022-03-08 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
US11699273B2 (en) | 2019-09-17 | 2023-07-11 | Intrinsic Innovation Llc | Systems and methods for surface modeling using polarization cues |
US11525906B2 (en) | 2019-10-07 | 2022-12-13 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11982775B2 (en) | 2019-10-07 | 2024-05-14 | Intrinsic Innovation Llc | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
US11842495B2 (en) | 2019-11-30 | 2023-12-12 | Intrinsic Innovation Llc | Systems and methods for transparent object segmentation using polarization cues |
US11302012B2 (en) | 2019-11-30 | 2022-04-12 | Boston Polarimetrics, Inc. | Systems and methods for transparent object segmentation using polarization cues |
US11580667B2 (en) | 2020-01-29 | 2023-02-14 | Intrinsic Innovation Llc | Systems and methods for characterizing object pose detection and measurement systems |
US11797863B2 (en) | 2020-01-30 | 2023-10-24 | Intrinsic Innovation Llc | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11683594B2 (en) | 2021-04-15 | 2023-06-20 | Intrinsic Innovation Llc | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
CN115439720B (zh) * | 2022-11-08 | 2023-01-24 | 成都数联云算科技有限公司 | Cam图像的重构方法、训练方法、装置、设备及介质 |
CN115439720A (zh) * | 2022-11-08 | 2022-12-06 | 成都数联云算科技有限公司 | Cam图像的重构方法、训练方法、装置、设备及介质 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104662589B (zh) | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 | |
US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
US9214013B2 (en) | Systems and methods for correcting user identified artifacts in light field images | |
CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
CN103221975B (zh) | 三维成像系统 | |
TW201724026A (zh) | 基於場景之拍攝圖像而產生合併、融合三維點雲 | |
US20180315213A1 (en) | Calibrating texture cameras using features extracted from depth images | |
Taylor | Implementing high resolution structured light by exploiting projector blur | |
CN110827338B (zh) | 一种分区域自适应匹配的光场数据深度重建方法 | |
Mustaniemi et al. | Parallax correction via disparity estimation in a multi-aperture camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190816 Address after: Ai Er Langeerwei Applicant after: DIGITALOPTICS CORPORATION EUROPE LIMITED Address before: American California Applicant before: FOTONATION Cayman Ltd |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |