CN101720480B - 计算深度图 - Google Patents
计算深度图 Download PDFInfo
- Publication number
- CN101720480B CN101720480B CN2008800231901A CN200880023190A CN101720480B CN 101720480 B CN101720480 B CN 101720480B CN 2008800231901 A CN2008800231901 A CN 2008800231901A CN 200880023190 A CN200880023190 A CN 200880023190A CN 101720480 B CN101720480 B CN 101720480B
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- value
- degree
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 11
- 241000283973 Oryctolagus cuniculus Species 0.000 claims description 2
- 239000013598 vector Substances 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 102000004127 Cytokines Human genes 0.000 description 5
- 108090000695 Cytokines Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Instructional Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Credit Cards Or The Like (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
一种用于针对图像的各个像素计算深度图的系统，该深度图包括表示到观众的距离的深度值。所述系统包括：优化单元(902)，用于在多个候选成本值之中确定当前像素的最小深度相关成本值，其中至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性和当前像素的对应颜色属性之间的差，且至少一个候选成本值基于与局部邻域外至少一个像素有关的深度相关成本值、以及基于局部邻域外至少一个像素的颜色属性和当前像素的对应颜色属性之间的差。
Description
技术领域
本发明涉及计算深度图。
背景技术
为了在多视图显示设备上产生3D印象，必须再现来自不同虚拟视点的图像。这就需要存在多输入视图或一些3D或深度信息。从多视图相机系统产生的或从传统的2D视频资料产生的该深度信息可被记录。为了从2D视频产生深度信息，可以应用多种类型的深度暗示：诸如运动恢复结构(structure from motion)、聚焦信息、几何形状以及动态遮蔽。所得到的深度图随后被用于再现多视图图像以给观众提供深度印象。
WO2005/083631公开了针对图像的各个像素产生深度图的方法，该深度图包括表示到观众的距离的深度值。该方法包括：通过结合像素(所述像素设置在从第一个像素到属于图像像素的预定子集的第二个像素的路径上)值之间的差，计算针对图像的第一个像素的成本值；并基于成本值来分配对应于第一个像素的第一个深度值。
所引用的方法基于以下观察。场景中将要成像的对象具有不同的尺寸、亮度以及颜色，并且具有一定的空间部署。一些对象遮蔽了图像中的其它对象。图像中像素的亮度和/或色值间的差主要与对象表面的光特性间的差有关、以及与场景内对象相对于光源的空间位置有关。表面的光特性包括例如颜色和反射率。因此，亮度和/或颜色的较大转变或者邻近像素的像素值之间的较大差对应于第一图像段和第二图像段之间的转变，籍此，在被成像的场景中，第一图像段对应于第一对象，而第二图像段对应于第二对象。通过针对图像的像素确定亮度和/或颜色转变的次数和延伸、或者在从各个像素到图像的预定位置的路径上的像素值之间的差，可以获得与场景中对象的空间部署有关的相应度量。这些度量或成本值随后被转换成深度值。这种转换优选是成本值与预定常数相乘。可替代地，这种转换对应于各个成本值到预定范围的深度值的借助于归一化的映射。应注意，背景也形成一个或多个对象，例如天空或森林或牧场。
基于亮度和/或颜色瞬变的深度值能够被直接用作用于再现多视图图像的深度值。
发明内容
拥有用于计算深度图的改良系统将是有利的。为了更好地解决该问题，在本发明的第一方面，提出了一种能够针对图像的各个像素计算深度图的系统，该深度图包括表示到观众的距离的深度值，该系统包括：
优化单元，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中：
至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的深度相关成本值、以及基于局部邻域内至少一个像素的颜色属性和当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
该系统还包括分配器，用于依赖所确定的深度相关成本值向当前像素分配深度值。
该系统基于以下构思：深度的变化通常与对象边界一致，且对象边界通常与颜色属性的变化一致。因此，通过考虑当前像素的局部邻域内的像素的深度以及相对于与这些像素有关的至少一个颜色属性的差，可估计当前像素的深度。所述局部邻域优选包括距当前像素足够近以便能够观察发生在当前像素上的颜色属性的局部变化的像素。然而，只查看邻域中的像素导致不切实际的深度图，因为不能确定当前像素是否属于在图像的其它任何地方也可见的对象，因此，对象的不同部分不总是被分配相似的深度值。通过考虑邻域外的至少一个像素，这种情形得到改进。
优选地，所提到的差是绝对差。同样优选地，与至少一个像素(邻域内或外)有关的成本值被加到相应的绝对差上，以获得候选成本值。
作为中间步骤，与深度值有关的成本函数被确定，例如成本函数可与深度一致或者与深度成反比。优选地，低成本函数对应于指示远离观众的位置的深度值，而高成本函数对应于指示靠近观众的位置的深度值
实施例包括选择器，用于从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择局部邻域外的至少一个像素。这样，在处理了较少量的当前像素之后，跨越较大图像区的像素已被考虑。
实施例包括：统计单元908，用于根据与局部邻域外至少一个像素中的各个像素有关的各个成本值，计算与局部邻域外所述至少一个像素有关的成本值；以及
统计单元910，用于根据与局部邻域外的至少一个像素中的各个像素有关的各个颜色属性，计算与局部邻域外所述至少一个像素有关的颜色属性。
通过使用统计值，减小了噪声和异常值的负面影响。
实施例包括迭代器912，用于使优化单元处理图像的连续像素，其中被处理的像素是当前像素，迭代器被设置成在图像顶部开始并向下操作，或者从图像底部开始并向上操作。假定图像的布局通常如此：越在图像的下部，对象离观众越近。当从顶部向底部或从底部向顶部处理图像时，容易创建满足该假定的深度图。
在实施例中，迭代器被设置成使优化单元处理图像的连续行，从左到右和从右到左交替进行。这有助于避免图像左侧的深度值和右侧的深度值之间任何非期望的差。
实施例包括选择器，用于从跨越具有大于图像宽度一半的宽度的图像区的一组候选者中随机选择局部邻域外的至少一个像素，其中所述图像区是个基本水平带。由于所跨越的图像区是个基本水平带，因此图像中所有候选者具有近似相同的高度，考虑到上述关于图像布局的假定，这有助于就由候选者的竖直位置可能造成的任何成本值之差而言使候选者彼此更加相近。
在实施例中，局部邻域外的至少一个像素是跨越图像的基本水平线段的多个像素。这样，图像中该多个像素具有相同的高度。考虑到上述有关图像布局的假定，这有助于计算更为可靠的统计量。
在实施例中，颜色属性依赖于亮度和色度中的至少一个。这些是图像中出现的共同颜色属性。
在实施例中，优化单元被设置成还依赖基于预定深度模型的深度暗示计算成本值。这样，通过结合基于颜色属性差的深度和任何先前获取的深度信息来获得更为精确的深度信息。尽管先前获取的这类深度信息本身可能不可靠，但是与如所提及的成本值计算的结合导致深度估计的质量得到了意外提高。
实施例包括选择性模糊单元，用于在优化单元确定成本值之前，根据预定深度模型使背景中的图像的至少一个区域模糊。如果背景对象被稍微模糊，则深度估计的质量提高，因为在图像的模糊区域中，颜色属性之差更小了。
在实施例中，预定深度模型是运动深度模型。具体地，已经发现基于运动深度的预定深度模型与所提及的选择性模型单元的结合提供了高质量的深度图。
实施例包括集成电路，用于针对图像的各个像素计算深度图，该深度图包括表示到观众的距离的深度值，该集成电路包括：
用于确定当前像素的深度相关成本值的电路，该深度相关成本值是多个候选成本值中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
该系统还包括用于依赖所确定的深度相关成本值向当前像素分配深度值的分配器。
实施例包括电视，该电视包括：
3D显示器，用于根据深度图来提供具有三维外观的视频再现；以及
用于针对图像的各个像素来计算深度图的系统，该深度图包括表示到观众的距离的深度值，该系统包括：
优化单元，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中：
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
该系统还包括用于依赖所确定的深度相关成本值向当前像素分配深度值的分配器。
实施例包括相机，该相机包括：
捕获装置，用于捕获包括图像序列的视频信号；
用于针对图像之一中的各个像素来计算深度图的系统，该深度图包括表示到观众的距离的深度值，该系统包括：
优化单元，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
分配器，用于依赖所确定的各个深度相关成本值向各个当前像素分配相应深度值，以获得深度图；
第一输出，用于提供捕获的视频信号；以及
第二输出，用于提供深度图。
实施例包括针对图像的各个像素计算深度图的方法，该深度图包括表示到观众的距离的深度值，该方法包括：
确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中：
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
该方法还包括依赖所确定的深度相关成本值向当前像素分配深度值
实施例包括计算机程序产品，用于针对图像的各个像素计算深度图，该深度图包括表示到观众的距离的深度值，该计算机程序产品包括用于使处理器执行以下步骤的计算机可执行指令：
确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中：
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于该局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；以及
依赖所确定的深度相关成本值向当前像素分配深度值。
附图说明
将参考附图进一步阐明和描述本发明的这些方面以及其它方面，其中：
图1图示了视频系统的结构；
图2、3、4、5和6图示了图像细节的处理；
图7图示了图像的多个行；
图8图示了图像细节的处理；以及
图9图示了多个实施例。
具体实施例
图1示出了给出深度估计算法实施例的高层概览框图。当输入Y、U、V时，提供亮度(Y)和色度(U，V)值的文件可被使用。以本领域公知的方式在框114中检测水平和竖直黑条(也被称为幕)。该框114返回源窗口，其包含真实有效视频的坐标。该黑条检测器在源窗口变化的情况下能够支配场景变化检测器112。
场景变化检测器112优选在预定边界之间被剪辑的场景变化后输出帧数。场景变化检测器112例如计算源窗口内当前帧和前前帧(即前一帧之前的帧)之间的差。如果该差大于每像素的预定门限，则报告场景变化。场景变化检测器在本领域是公知的。
运动深度(DFM)框102例如利用已知方法(例如参考WO99/40726、US6563873以及WO01/91468)提供基于输入运动矢量场124的深度图。基于进入的运动矢量场124(即来自运动估计器)，运动深度框102计算深度暗示。例如，实施DFM框102的一种可能的方法是通过比较运动矢量场和背景运动矢量场。在那种情况下，基于图像的整体运动(例如平移-缩放参数)来计算背景运动矢量场。基于运动矢量场124和背景运动矢量场，计算运动深度。这通过计算针对矢量场中矢量的AVD(绝对矢量距离，即背景运动矢量和输入运动矢量的X和Y分量差的绝对值之和)来完成。其结果是表示视频信号的运动估计的矢量场。不过，背景矢量场和平移-缩放参数的使用是可选的。该运动估计被转换成深度图。
在框106中，深度图被平滑化。在框108和110中，输入图像被高斯核过滤。框108处理亮度(Y)，而框110处理色度(U，V)。优选地使用边缘保持过滤器。其结果是模糊的图像。
据观察，通过使用由具有浅聚焦深度的相机拍摄的图像快照，改进了深度估计。换句话说，当背景模糊而前景对象明显时，深度估计算法执行得较好。为了模拟该特性，在框116中，使图像的背景部分模糊而使前景部分不模糊。利用基于运动的深度图、原始输入以及模糊图像，依赖基于运动的深度图，通过混合原始输入和模糊图像来创建新的中间混合图像。首先，从运动深度值中减去门限以减小噪声。基于所得到的值，计算范围从0到1的混合因子，其中对于背景区域，混合因子较大，而对于前景区域，混合因子较小。因此，框116的输出为：
输出图像＝混合因子*模糊图像+(1-混合因子)*输入图像
背景的模糊可减小深度估计框118的输出中的光晕。
在框118中，框116的部分模糊的图像输出、框106的平滑的运动深度输出被结合以获得改进的深度图。为此，计算与像素有关的成本值。在框118中，图像线被扫描(被弯曲)，从最高线开始向下到最低线，并从左到右和从右到左交替进行。当前像素的成本值是取自一组候选成本值中的最小值。候选成本值是另一像素的亮度值和当前像素的亮度值之差的绝对值与所述另一像素的成本值之和。任何像素参数(诸如色度相关值或任何颜色相关值)可以用来代替亮度值。
图2A和2B描述了对应于候选成本值的候选像素。图2A示出了当线从左向右穿过时的情形，而图2B示出了当线从右向左穿过时的情形。在两幅图中，当前像素用叉表示。箭头指示像素被处理的次序。被编号的像素1-4指示对应于候选成本值的候选像素。由于从上至下地处理所述线，可以看出：在紧邻当前像素的像素已经被处理的情况下使用它们。因此，当前像素之上的三个像素和先前处理的像素被用来确定候选成本值。
成本值可以如下来计算。首先，计算候选值，即针对图2A或2B所示的候选像素1-4中的每个像素来计算候选成本值。该候选成本值是候选像素的成本值加上候选像素的亮度与当前像素的亮度之间的绝对差，即：
候选成本＝候选像素成本+ABS(候选像素的亮度-当前像素的亮度)
在对应于四个候选像素1-4的四个候选成本值中，确定最小值，并且这是分配给当前像素的成本值。随后针对每个像素的成本值可用作深度暗示。例如，通过用固定常数除以成本值而从成本函数中导出像素的深度值。
成本值的计算可用多种方式来增强。现在来概述一些示例性的增强。例如，直接的延伸是，除亮度之外，也可以使用色度。取代单个的像素(图2A-2B中的1-4)，可以对像素组取平均以减小噪声影响。例如可使用3x 3核来对成本值取平均，以便进一步减小噪声影响。另外，可包括针对先前帧计算的成本值以便增加时间稳定性。而且，不仅使用与四个相邻(成组)像素有关的候选值，而且另外使用取自先前线段的平均值：背景校正形式。这允许所述算法穿过图像扫描而不需要总是分配越来越大的成本值，从而防止非期望的高值。这在具有高的运动深度值的对象中尤为重要。
在选择了最小成本候选者之后，通过将对应像素的运动深度(DfM)加到候选成本值上以获得当前像素的最终成本值而实现进一步的改进。这优选地在递推核心内进行。考虑到DfM的易变特性，DfM值的这种使用是关于可靠性和稳定性的良好折中。
通过将基于图像的局部纹理的值加到成本值上可实现进一步的改进，这可以利用较复杂的过滤器(如边缘检测器)来扩展。
通过不从如图2A/2B中的紧邻邻域像素(或像素组)中选择候选成本值可实现进一步的改进。例如，可使用如图5所示的距当前(成组)像素两行和/或两列远的像素。这导致更一致的深度暗示。
图3图示了在“像素叉”中如何处理亮度(luma)和色度(chroma)。考虑由方格指示的像素格栅构成的图像片段300。每个像素具有与之关联的亮度值Y。每个像素仅具有与之关联的色度的U或V坐标，其取决于所示的图像中的列。当估计像素302的亮度时，对4个周围像素304(由虚线块指示)的亮度取平均。优选地不使用像素302本身的亮度。当估计色度的U分量时，对像素302之上和之下的两个虚线像素取平均。当估计色度的V分量时，对像素302的向左和向右的两个虚线像素取平均。可以实现其它组合来代替取平均。图像片段310示出了相似的星座，不过待估计的像素(在图像片段310中表示为黑方格)处于所指示的V列；因此，当估计色度的U分量时，对图像片段310中黑色像素向左和向右的两个虚线像素取平均，而当估计色度的V分量时，对图像片段310中黑色像素之上和之下的两个虚线像素取平均。使用“像素叉”是处理图像数据(其中并非全部像素都包含所有属性)的有利方式，尤其是在交替列或行包含两个交替类型的属性的情况下。所有的样本都取自当前图像。然而，可替代地，来自先前或后续帧的像素数据可被结合以改进时间稳定性。
尽管在该说明书中讨论了交替色度的U和V坐标的示例，但是“像素叉”的构思可扩展到任何种类的属性。应理解，该文本中所描述的方法和系统不受限于具有交替U和V列的图像。例如，可以使用其中每个像素具有Y、U和V属性的图像。可对U和V值取平均以获得表示色度的度量的单个值。
在该说明书中，作为示例，Y，U和V被用作颜色属性。不过，还可以使用其它种类的颜色属性，如RGB属性。这些颜色属性以及不同像素的颜色属性之差可以被直接使用，或者可以以本领域公知的方式根据给出的颜色属性来计算颜色属性Y，U和/或V中的一个或多个。
图4图示了一个实施例，其中，当估计先前计算的成本值时，对围绕中心像素的3x3块(“像素块”)的成本值取平均，以获得空间过滤的成本值。可使用加权平均来给中心像素更多的权重。优选地，可包括与前一或后一帧相关的成本值，以改进时间稳定性。例如，在该3x3像素块中的一些成本值可以简单地被前一帧中的对应成本值代替。
图5图示了一个实施例，其中，使用位于两行和/或列间距处的像素，而非使用如图2所示的紧邻的像素。这样，成本候选者并非设置为紧挨当前像素。这与上述像素叉和像素块的使用有利地组合。
图6图示了在具有两个相应中心像素602和604的两个像素叉中亮度和色度值的成对比较。可以看到，中心像素之上的像素被比较，中心像素之右的像素被比较，中心像素之下的像素被比较，以及中心像素之左的像素被比较。对于亮度，可对四个对应差取平均。对于色度，有两种类型的样本(U和V)，其应分别被减去。当计算针对像素叉的统计量时同样是正确的：平均亮度基于四个像素，而平均色度U和平均色度V基于两个像素。
图7图示了除图5所示的四个候选者1-4之外，基于先前线段的统计量使用第五候选者。为此，计算像素叉的统计量。对出现在像素叉中的亮度值、色度U和色度V值取平均，以获得像素叉的统计量。这些统计量是针对当前像素的像素叉来计算的。
进而，当前像素的统计量和与第五候选者有关的统计量比较。该第五候选者伪随机地选自一组统计候选者。每个统计候选者与例如聚合在线段内的多个像素有关。该统计候选者产生第五候选成本值。像素的最终成本值是所有候选成本值中的最小值。
图7图示了图像的部分700，该部分700包括图像的多个行。行702表示当前被处理的行，即当前像素是行702的一部分。每行具有给定宽度708的多个“有效线段”。这些有效线段被指示为虚线。图中剩余像素被指示为白色。
例如，图像的列数为740，而针对每行的有效线段的数量被设置成4。例如，有效线段沿每行均匀分布。例如，有效线段的长度被设置成45，剩余像素不是任何有效线段的一部分。对于每个有效线段，计算包括例如平均亮度、色度U、色度V以及成本值的统计量。
当处理当前像素以计算成本值时，针对围绕当前像素的像素叉集合统计量。当到达线段末端时，对沿线段的像素叉的统计量取平均以获得与该线段有关的统计量。
根据定义，暗区具有低的亮度值和低的色度值。因此，在(部分)背景是黑暗的场景中，图像中的暗色对象将使来源于该黑暗背景的统计候选者作为最小候选成本值，因而作为这些黑暗对象的一部分的像素的成本值将受到黑暗背景像素的影响。这将深度整体引入到图像中。这种影响通过将损失添加到与这些暗区相关的统计量上而得到减小。当确定最小候选成本值时将该损失加到成本值上，以减小黑暗候选统计成本值将被选择为最小候选者的可能性。
仅仅使用少数统计候选者或仅仅单个统计候选者作为针对每个像素的候选者是有利的。这减少了所需要的计算量。它还改进了所得到的深度图。选择一个(伪)随机选择的统计候选者是有利的。还可以使用更多的统计候选者。优选地，统计候选者选自来自行的线段，该行离包括当前像素的行不太远。例如，在最后几行中的线段的统计量被存储，并且从这些线段中随机选择候选者。有利地，除了图像的第一部分，候选统计量应与从当前像素向上至少预定数量行的线段有关，这有助于避免振铃伪影(ringing artifact)。
在已经选择了作为最小值的最佳候选成本值后，运动深度值被加到该最佳候选成本值上，以形成最终成本值。在相加之前，运动深度首先乘以加权因子。有利的是，对于图像的较高行，加权因子较大，而对于图像的较低行较小。例如，在每行之后加权因子线性下降，这有助于避免或减小“倾斜”效应，该效应使得对象在最终深度图中看起来向后倾斜。该效应还可通过直接校正成本值而减小。
由于像素叉的使用，对围绕当前像素的若干像素取平均，而不是直接使用单个像素的亮度和色度值。这可导致对象边缘附近的性能下降，并且尤其可导致边缘处成本值低，从而低深度“漏”入对象，尤其是与统计候选成本值结合。为避免或减小该效应，可例如通过估计亮度和/或色度中的跳跃来检测边缘。例如，在将加权因子应用到与像素叉中不同像素有关的亮度和/或色度值之间的绝对差之后，可将该绝对差加到成本值上。
类似于上述基于运动深度和基于边缘检测对成本值的贡献，可合并其它信息来进一步改善成本值，从而增强所得到的深度图。例如，根据估计场景的物理结构的算法的深度信息、天空检测器(sky detector)等可以以类似方式被合并。
如果黑幕和邻近的黑色图像部分以“正常”方式来处理，那么低深度值将经由该幕传播入邻近的黑暗图像区并产生深度孔。
为避免这个，在对线进行扫描之前，设置“黑幕状态”。黑幕是至少4个像素宽，即使在这头4个像素内检测到有效视频。这允许以特殊方式来处理开头的像素(最左或最右，根据扫描方向)，避免边界附近复杂的数据提取(即剪辑)。事实上，在黑幕中，仅仅当前的像素叉是重要的。每像素，在当前行之上的行中仅仅提取一个像素叉，以及在当前行中提取一个，分别是图8中围绕3和X的叉。该图还示出左图像边界902。这样，仅从第五像素起，候选者用图像数据以正常方式填充。
在那4个像素之后，提取当前像素叉的平均亮度值并将其与门限比较。如果平均值在门限之下，维持黑幕状态。如果它超过该门限预定次数，则释放黑幕状态，且操作被规范化。
黑幕中的成本值如下来计算。使用最后或最开头的有效列的成本，将其增加小的损失值。因此，在该黑幕中，成本值独立于当前的像素叉。另外，黑幕中的深度值与不必接触边界的图像部分有关。
在针对所有像素计算了成本值之后，可执行按比例缩放。另外，可执行按比例缩减来减小存储每个成本值所需的比特数。还可以执行剪辑。同样，可执行空间和/或时间过滤。
图9图示了本发明的若干实施例。该图总体示出了用于针对图像的各个像素计算深度图的系统，该深度图包括表示到观众的距离的深度值。该系统包括：输入916，用于获得应针对其计算深度图的图像；以及输出918，用于提供最终计算的深度图。该系统还包括优化单元902、分配器904、选择器906、两个统计单元908和910、迭代器912、以及选择性模糊单元914。
从输入916获得的图像被提供给优化单元902，该优化单元确定当前像素的深度相关成本值，其中该深度相关成本值是多个候选成本值中最小的成本值。为此，优化单元902定义了围绕当前像素的局部邻域。局部邻域的示例为：邻近当前像素的所有像素；距当前像素预定距离内的所有像素；距当前像素至多一个像素远、三个像素远、或五个像素远的所有像素。至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的深度相关成本值、以及基于局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差。优选地，局部邻域这样选择：使得所述差与发生在当前像素处的颜色属性的变化有关。而且，至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外的至少一个像素的颜色属性和当前像素的对应颜色属性之间的差。最后提到的差优选与发生在当前像素处的颜色属性的变化不相关。相反，它优选地包括和与局部邻域外的某处有关的参考值的比较。
该系统还包括分配器904，该分配器用于依赖所确定的深度相关成本值向当前像素分配深度值。该分配器可以简单地拷贝该深度相关成本值。它还可以分配该深度相关成本值的相反值或求反。它还可以分配对应于该深度相关成本值的某些函数的值，这样的函数优选为单调函数。
实施例还包括选择器906，该选择器用于选择当前像素的局部邻域外的至少一个像素，使得连接当前像素和局部邻域外所述至少一个像素的直线穿过图像中对象边界的概率大于连接当前像素和局部邻域内至少一个像素的线穿过图像中对象边界的概率。
在另一实施例中，选择器906从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择局部邻域外的至少一个像素。
实施例包括：统计单元908，用于基于与局部邻域外的至少一个像素中的各个像素有关的相应成本值，计算与局部邻域外所述至少一个像素有关的成本值；以及统计单元910，用于基于与局部邻域外至少一个像素中的各个像素有关的相应颜色属性，计算与局部邻域外所述至少一个像素有关的颜色属性。这样，参考值基于统计量，其提供更稳定的性能。
实施例包括：迭代器912，用于使优化单元处理图像的连续像素，其中被处理的像素是当前像素，该迭代器被设置成在图像顶部开始并向下操作，或者在图像底部开始并向上操作。
在实施例中，迭代器被设置成使优化单元处理图像的连续行，从左到右和从右到左交替进行。在实施例中，选择器906从跨越具有大于图像宽度一半的宽度的图像区的一组候选者中随机选择局部邻域外的至少一个像素，其中该图像区是基本水平带。
优选地，局部邻域外所述至少一个像素是跨越图像的基本水平线段的多个像素。颜色属性优选地依赖于亮度和色度中的至少一个。优选地，优化单元被设置成还依赖基于预定深度模型的深度暗示来计算成本值。优选地，选择性模糊单元914被提供用于在优化单元确定成本值之前，根据预定深度模型使处于背景中的图像的至少一个区域模糊。优选地，预定深度模型是运动深度模型。
所提及的系统可实施为集成电路(例如视频处理芯片)的一部分。所提及的系统或所提及的集成电路可以是能够再现三维图像的电视(例如设置有透镜屏的LCD电视)的一部分，其允许再现具有深度印象的图像，而无须观众戴上立体眼镜。当然，也可以使用带有立体眼镜(例如LCD快门眼镜或红/绿眼镜)的系统。
所提及的系统还可合并到相机或视频控制工具中。
在此描述针对图像的各个像素计算深度图的方法，该深度图包括表示到观众的距离的深度值。该方法包括：确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，且至少一个候选成本值基于与局部邻域外至少一个像素有关的深度相关成本值、以及基于局部邻域外至少一个像素的颜色属性和当前像素的对应颜色属性之间的差。该方法还包括依赖所确定的深度相关成本值向当前像素分配深度值。
所述方法和系统还可以以计算机程序产品来实施，该计算机程序产品用于针对图像的各个像素计算深度图，该深度图包括表示到观众的距离的深度值。该计算机程序产品包括用于使处理器执行以下步骤的计算机可执行指令：确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于局部邻域内至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，且至少一个候选成本值基于与局部邻域外至少一个像素有关的深度相关成本值、以及基于局部邻域外至少一个像素的颜色属性和当前像素的对应颜色属性之间的差。该计算机程序产品还包括用于使处理器执行以下步骤的计算机可执行指令：依赖所确定的深度相关成本值向当前像素分配深度值。
应理解，本发明还延伸到适于使本发明得到实施的计算机程序，尤其是在载体上或载体内的计算机程序。该程序可以是源代码、目标代码、码中间源和目标代码(如部分编译形式)形式、或适合于在实现按照本发明的方法中使用的任何其它形式。还应理解，这样的程序可具有多种不同的结构设计。例如，实现按照本发明方法或系统的功能的程序代码可以细分成一个或多个子程序。对于普通技术人员而言，在这些子程序中分布所述功能的多种不同方式将是显然的。所述子程序可以一起被存储在一个可执行文件中以构成自包含程序。这样的可执行文件可包括计算机可执行指令，例如处理器指令和/或解释器指令(例如Java解释器指令)。可替代地，一个或多个或所有子程序可被存储在至少一个外部库文件中并与主程序例如在运行时间静态或动态链接。该主程序包含对至少一个子程序的至少一个调用。同时，子程序可包括对彼此的函数调用。与计算机程序产品有关的实施例包括与所提及的至少一个方法的每个处理步骤对应的计算机可执行指令。这些指令可被细分成子程序和/或被存储在可被静态或动态链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括与所提及的至少一个系统和/或产品中每个装置对应的计算机可执行指令。这些指令可被细分为子程序和/或被存储在可被静态或动态链接的一个或多个文件中。
计算机程序的载体可以是能够承载程序的任何实体或设备。例如，该载体可以包括存储介质，如ROM(例如CD ROM或半导体ROM)，或磁记录介质(例如软盘或硬盘)。此外，载体还可以是可传输载体，如电或光信号，其可以经由电缆或光缆进行传送，或者通过无线电或其它装置进行传送。当程序被包含在这样的信号中时，该载体可以由这类电缆或其它设备或装置构成。可替代地，该载体可以是内嵌程序的集成电路，该集成电路适于执行相关方法，或在相关方法的操作中使用。
应注意，上述实施例对本发明进行说明而非进行限制，且在不背离所附权利要求书范围的情况下，本领域的普通技术人员将能够设计多种替选实施例。在权利要求书中，置于括号内的任何参考标记不应解释为限制该权利要求。动词“包括”及其变化形式的使用并不排除除权利要求中陈述的那些之外的元件或步骤的存在。元件前的冠词“一”并不排除多个这样的元件的存在。本发明可借助于包括若干不同元件的硬件、以及借助于被适当编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干装置可由同一项硬件来体现。在相互不同的从属权利要求中记载了某些措施，这个起码的事实并不代表这些措施的组合不能被有利地利用。
Claims (13)
1.一种用于针对图像的各个像素计算深度图的系统，该深度图包括表示到观众的距离的深度值，所述系统包括：
优化单元(902)，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的深度相关成本值、以及基于局部邻域内的所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差，以及
至少一个所述候选成本值基于局部邻域外的至少一个像素的深度相关成本值、以及基于局部邻域外的所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
所述系统还包括：
分配器(904)，用于根据所确定的深度相关成本值向所述当前像素分配深度值；以及
选择器(906)，用于从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择所述局部邻域外的至少一个像素。
2.根据权利要求1所述的系统，其中所述局部邻域外的至少一个像素是跨越图像的水平的线段的多个像素。
3.根据权利要求1所述的系统，还包括迭代器(912)，用于使优化单元处理图像的连续像素，其中被处理的像素是当前像素，所述迭代器被设置成在图像顶部开始并向下操作，或者从图像底部开始并向上操作。
4.根据权利要求3所述的系统，其中所述迭代器被设置成使所述优化单元处理所述图像的连续行，从左到右和从右到左交替进行。
5.根据权利要求3所述的系统，其中所述图像区是个水平带。
6.根据权利要求1所述的系统，其中所述颜色属性取决于亮度和色度中的至少一个。
7.根据权利要求1所述的系统，其中所述优化单元被设置成还依赖基于预定深度模型的深度暗示来计算所述深度相关成本值。
8.根据权利要求1所述的系统，还包括选择性模糊单元(914)，用于在所述优化单元确定深度相关成本值之前，根据预定深度模型使背景中图像的至少一个区域模糊。
9.根据权利要求7或8所述的系统，其中所述预定深度模型是运动深度模型。
10.一种用于针对图像的各个像素计算深度图的集成电路，该深度图包括表示到观众的距离的深度值，所述集成电路包括：
用于确定当前像素的深度相关成本值的电路，该深度相关成本值是多个候选成本值中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的深度相关成本值、以及基于局部邻域内的所述至少一个像素的颜色属性与所述当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与所述局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外的所述至少一个像素的颜色属性和所述当前像素的对应颜色属性之间的差；
所述集成电路还包括：
用于依赖所确定的深度相关成本值向所述当前像素分配深度值的分配器；以及
选择器(906)，用于从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择所述局部邻域外的至少一个像素。
11.一种电视，包括：
3D显示器，用于根据深度图来提供具有三维外观的视频再现；以及
用于针对图像的各个像素来计算深度图的系统，该深度图包括表示到观众的距离的深度值，所述系统包括：
优化单元，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于所述局部邻域内所述至少一个像素的颜色属性与所述当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外的所述至少一个像素的颜色属性和所述当前像素的对应颜色属性之间的差；
所述系统还包括：
用于依赖所确定的深度相关成本值向所述当前像素分配深度值的分配器；以及
选择器(906)，用于从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择所述局部邻域外的至少一个像素。
12.一种相机，包括：
捕获装置，用于捕获包括图像序列的视频信号；
用于针对所述图像之一中的各个像素来计算深度图的系统，该深度图包括表示到观众的距离的深度值，所述系统包括：
优化单元，用于确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内的至少一个像素的深度相关成本值、以及基于局部邻域内所述至少一个像素的颜色属性与当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外的所述至少一个像素的颜色属性和当前像素的对应颜色属性之间的差；
分配器，用于依赖所确定的各个深度相关成本值向各个当前像素分配相应深度值，以获得所述深度图；
第一输出，用于提供所捕获的视频信号；以及
第二输出，用于提供所述深度图；以及
选择器(906)，用于从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择所述局部邻域外的至少一个像素。
13.一种针对图像的各个像素计算深度图的方法，该深度图包括表示到观众的距离的深度值，所述方法包括：
确定当前像素的深度相关成本值，该深度相关成本值是多个候选成本值之中的最小成本值，其中
至少一个候选成本值基于当前像素的局部邻域内至少一个像素的深度相关成本值、以及基于局部邻域内所述至少一个像素的颜色属性与所述当前像素的对应颜色属性之间的差，以及
至少一个候选成本值基于与局部邻域外的至少一个像素有关的深度相关成本值、以及基于局部邻域外所述至少一个像素的颜色属性和所述当前像素的对应颜色属性之间的差；
所述方法还包括：
依赖所确定的深度相关成本值向所述当前像素分配深度值；以及
从跨越具有大于图像宽度一半的长度的图像区的一组候选者中随机选择所述局部邻域外的至少一个像素。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP07111578 | 2007-07-03 | ||
| EP07111578.6 | 2007-07-03 | ||
| PCT/IB2008/052506 WO2009004527A2 (en) | 2007-07-03 | 2008-06-24 | Computing a depth map |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101720480A CN101720480A (zh) | 2010-06-02 |
| CN101720480B true CN101720480B (zh) | 2012-07-18 |
Family
ID=40002985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008800231901A Expired - Fee Related CN101720480B (zh) | 2007-07-03 | 2008-06-24 | 计算深度图 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9418433B2 (zh) |
| EP (1) | EP2174293B1 (zh) |
| JP (1) | JP4921591B2 (zh) |
| CN (1) | CN101720480B (zh) |
| AT (1) | ATE507542T1 (zh) |
| DE (1) | DE602008006555D1 (zh) |
| WO (1) | WO2009004527A2 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369341A (zh) * | 2013-07-09 | 2013-10-23 | 宁波大学 | 一种深度图像的后处理方法 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| EP2174293B1 (en) | 2007-07-03 | 2011-04-27 | Koninklijke Philips Electronics N.V. | Computing a depth map |
| KR101547151B1 (ko) * | 2008-12-26 | 2015-08-25 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| EP2251832A1 (en) * | 2009-05-14 | 2010-11-17 | Alcatel Lucent | Method for generating a 3-dimensional model of an object |
| US8514269B2 (en) * | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
| US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
| US8718356B2 (en) * | 2010-08-23 | 2014-05-06 | Texas Instruments Incorporated | Method and apparatus for 2D to 3D conversion using scene classification and face detection |
| US9177381B2 (en) * | 2010-12-22 | 2015-11-03 | Nani Holdings IP, LLC | Depth estimate determination, systems and methods |
| CN102812715B (zh) * | 2011-01-27 | 2015-08-19 | 松下电器产业株式会社 | 三维图像摄影装置以及三维图像拍摄方法 |
| US20120206440A1 (en) * | 2011-02-14 | 2012-08-16 | Dong Tian | Method for Generating Virtual Images of Scenes Using Trellis Structures |
| WO2012114236A1 (en) * | 2011-02-23 | 2012-08-30 | Koninklijke Philips Electronics N.V. | Processing depth data of a three-dimensional scene |
| JP5927570B2 (ja) * | 2011-04-22 | 2016-06-01 | パナソニックＩｐマネジメント株式会社 | ３次元撮像装置、光透過部、画像処理装置、およびプログラム |
| US9118902B1 (en) | 2011-07-05 | 2015-08-25 | Lucasfilm Entertainment Company Ltd. | Stereoscopic conversion |
| US8786681B1 (en) * | 2011-07-05 | 2014-07-22 | Lucasfilm Entertainment Company, Ltd. | Stereoscopic conversion |
| CN103053165B (zh) * | 2011-08-18 | 2015-02-11 | 北京世纪高蓝科技有限公司 | 基于图像运动信息的2d转3d方法 |
| US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
| JP5840114B2 (ja) * | 2011-11-30 | 2016-01-06 | 三菱電機株式会社 | 仮想画像を生成する方法 |
| EP2618586B1 (en) | 2012-01-18 | 2016-11-30 | Nxp B.V. | 2D to 3D image conversion |
| CN102663741B (zh) * | 2012-03-22 | 2014-09-24 | 侯克杰 | 对彩色数字图像进行视觉立体感知增强的方法及系统 |
| CN102724528B (zh) * | 2012-05-18 | 2015-01-14 | 清华大学 | 一种深度图生成装置 |
| JP5337282B1 (ja) * | 2012-05-28 | 2013-11-06 | 株式会社東芝 | ３次元画像生成装置および３次元画像生成方法 |
| US9098911B2 (en) * | 2012-11-01 | 2015-08-04 | Google Inc. | Depth map generation from a monoscopic image based on combined depth cues |
| US9483830B2 (en) * | 2013-07-22 | 2016-11-01 | Stmicroelectronics S.R.L. | Depth map generation method, related system and computer program product |
| US9729857B2 (en) * | 2014-04-08 | 2017-08-08 | Semyon Nisenzon | High resolution depth map computation using multiresolution camera clusters for 3D image generation |
| JP2016053849A (ja) * | 2014-09-03 | 2016-04-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに固体撮像装置 |
| US10326981B2 (en) * | 2015-05-15 | 2019-06-18 | Semyon Nisenzon | Generating 3D images using multi-resolution camera set |
| CN105100772B (zh) * | 2015-07-16 | 2017-03-15 | 深圳市华星光电技术有限公司 | 一种三维图像处理方法及装置 |
| US10003787B1 (en) * | 2016-12-21 | 2018-06-19 | Canon Kabushiki Kaisha | Method, system and apparatus for refining a depth map |
| US10445861B2 (en) * | 2017-02-14 | 2019-10-15 | Qualcomm Incorporated | Refinement of structured light depth maps using RGB color data |
| EP3598389A1 (en) * | 2018-07-19 | 2020-01-22 | Thomson Licensing | Method for detecting occlusions in an image, corresponding device and computer program product |
| EP3598390A1 (en) * | 2018-07-19 | 2020-01-22 | Thomson Licensing | Method for estimating a depth for pixels, corresponding device and computer program product |
| US11100664B2 (en) | 2019-08-09 | 2021-08-24 | Google Llc | Depth-aware photo editing |
| EP4013049A1 (en) * | 2020-12-09 | 2022-06-15 | Koninklijke Philips N.V. | Apparatus and method for processing a depth map |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1541485A (zh) * | 2001-08-15 | 2004-10-27 | �ʼҷ����ֵ��ӹɷ�����˾ | 3d视频会议系统 |
| CN1173296C (zh) * | 1997-12-05 | 2004-10-27 | 动力数字深度研究有限公司 | 改进的图像转换和编码技术 |
| CN1669053A (zh) * | 2002-06-07 | 2005-09-14 | 动态数字视距研究有限公司 | 改进的变换和编码技术 |
| CN1870005A (zh) * | 2005-05-23 | 2006-11-29 | 株式会社东芝 | 图像识别装置及其方法 |
| CN1922631A (zh) * | 2004-02-17 | 2007-02-28 | 皇家飞利浦电子股份有限公司 | 创建深度图 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001520781A (ja) | 1998-02-06 | 2001-10-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 動き又はデプス推定 |
| JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
| KR20010025045A (ko) * | 1999-03-18 | 2001-03-26 | 요트.게.아. 롤페즈 | 비디오 신호 처리 |
| JP2000348208A (ja) * | 1999-06-07 | 2000-12-15 | Minolta Co Ltd | ３次元データ生成装置および３次元データ生成方法 |
| EP1290895B1 (en) | 2000-05-19 | 2006-07-12 | Koninklijke Philips Electronics N.V. | Block-based motion or depth estimation |
| US6847728B2 (en) * | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
| WO2006003577A1 (en) | 2004-06-29 | 2006-01-12 | Koninklijke Philips Electronics N.V. | Creating a depth map |
| WO2006136978A1 (en) | 2005-06-22 | 2006-12-28 | Koninklijke Philips Electronics N.V. | Method and system for rendering image data on a 3d display |
| EP2174293B1 (en) | 2007-07-03 | 2011-04-27 | Koninklijke Philips Electronics N.V. | Computing a depth map |
-
2008
- 2008-06-24 EP EP08776466A patent/EP2174293B1/en not_active Not-in-force
- 2008-06-24 AT AT08776466T patent/ATE507542T1/de not_active IP Right Cessation
- 2008-06-24 JP JP2010514205A patent/JP4921591B2/ja not_active Expired - Fee Related
- 2008-06-24 WO PCT/IB2008/052506 patent/WO2009004527A2/en active Application Filing
- 2008-06-24 CN CN2008800231901A patent/CN101720480B/zh not_active Expired - Fee Related
- 2008-06-24 DE DE602008006555T patent/DE602008006555D1/de active Active
- 2008-06-24 US US12/667,241 patent/US9418433B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1173296C (zh) * | 1997-12-05 | 2004-10-27 | 动力数字深度研究有限公司 | 改进的图像转换和编码技术 |
| CN1541485A (zh) * | 2001-08-15 | 2004-10-27 | �ʼҷ����ֵ��ӹɷ�����˾ | 3d视频会议系统 |
| CN1669053A (zh) * | 2002-06-07 | 2005-09-14 | 动态数字视距研究有限公司 | 改进的变换和编码技术 |
| CN1922631A (zh) * | 2004-02-17 | 2007-02-28 | 皇家飞利浦电子股份有限公司 | 创建深度图 |
| CN1870005A (zh) * | 2005-05-23 | 2006-11-29 | 株式会社东芝 | 图像识别装置及其方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103369341A (zh) * | 2013-07-09 | 2013-10-23 | 宁波大学 | 一种深度图像的后处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4921591B2 (ja) | 2012-04-25 |
| US9418433B2 (en) | 2016-08-16 |
| EP2174293B1 (en) | 2011-04-27 |
| ATE507542T1 (de) | 2011-05-15 |
| CN101720480A (zh) | 2010-06-02 |
| US20100182410A1 (en) | 2010-07-22 |
| JP2010532036A (ja) | 2010-09-30 |
| WO2009004527A2 (en) | 2009-01-08 |
| WO2009004527A3 (en) | 2009-02-19 |
| DE602008006555D1 (de) | 2011-06-09 |
| EP2174293A2 (en) | 2010-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101720480B (zh) | 计算深度图 | |
| US9800856B2 (en) | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies | |
| CN101605209B (zh) | 摄像装置及图像再生装置 | |
| US7764827B2 (en) | Multi-view image generation | |
| CN101669142B (zh) | 用于调整将核应用于信号的效果以在信号上取得预期效果的技术 | |
| US8179466B2 (en) | Capture of video with motion-speed determination and variable capture rate | |
| US8036451B2 (en) | Creating a depth map | |
| KR101650702B1 (ko) | 이미지들로부터의 깊이 맵들의 생성 | |
| CN102025959B (zh) | 从低清晰度视频产生高清晰度视频的系统与方法 | |
| CN1975782B (zh) | 视频序列中感兴趣区域的校正方法 | |
| CN104395931A (zh) | 图像的深度图的生成 | |
| US20080260288A1 (en) | Creating a Depth Map | |
| JPH0863601A (ja) | 領域分割方法および装置 | |
| WO2006046180A1 (en) | Disparity map | |
| CN102883175A (zh) | 深度图提取、判断视频场景切换及深度图边缘优化方法 | |
| WO2010073177A1 (en) | Image processing | |
| US10074209B2 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
| KR101458986B1 (ko) | 키넥트 기반 실시간 다시점 영상 생성 방법 | |
| US9787980B2 (en) | Auxiliary information map upsampling | |
| US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
| US9082176B2 (en) | Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion | |
| WO2013080898A2 (en) | Method for generating image for virtual view of scene | |
| US9736456B1 (en) | Two dimensional to three dimensional video conversion | |
| Akyüz et al. | Ghosting in HDR Video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120718 Termination date: 20170624 |