CN100568281C - 创建深度图 - Google Patents

创建深度图 Download PDF

Info

Publication number
CN100568281C
CN100568281C CNB200580005096XA CN200580005096A CN100568281C CN 100568281 C CN100568281 C CN 100568281C CN B200580005096X A CNB200580005096X A CN B200580005096XA CN 200580005096 A CN200580005096 A CN 200580005096A CN 100568281 C CN100568281 C CN 100568281C
Authority
CN
China
Prior art keywords
pixel
value
image
depth
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200580005096XA
Other languages
English (en)
Other versions
CN1922631A (zh
Inventor
P·-A·雷德特
F·E·厄恩斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1922631A publication Critical patent/CN1922631A/zh
Application granted granted Critical
Publication of CN100568281C publication Critical patent/CN100568281C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Credit Cards Or The Like (AREA)
  • Adornments (AREA)
  • Slot Machines And Peripheral Devices (AREA)

Abstract

公开了一种用于为图像(100)的各个像素生成深度图(122)的方法，该深度图包括表示到观看者的距离的深度值。该方法包括：通过合并布置在从图像的第一像素(108)到第二像素(110)的路径(112)上的像素的值之间的差，为该第一像素(108)计算代价值，该第二像素属于该图像的像素的预定子集；以及在代价值的基础上，指配对应于第一像素(108)的第一深度值。

Description

创建深度图
技术领域
本发明涉及用于为一个图像的各个像素生成深度图(depth map)的方法，该深度图包含表示到观看者的距离的深度值。
本发明还涉及深度图生成单元，用于为一个图像的各个像素生成深度图，该深度图包含表示到观看者的距离的深度值。
本发明还涉及图像处理设备，该设备包括：
-接收装置，用于接收对应于一幅图像的信号；并且
-这样的深度图生成单元，用于生成深度图。
本发明还涉及由计算机装置装载的计算机程序产品，包括用于为一个图像的各个像素生成深度图的指令，该深度图包含表示到观看者距离的深度值，该计算机装置包括处理设备和存储器。
发明背景
为了在多视域(multi-view)显示设备上生成3D效果，必须呈现(render)来自不同虚视点的图像。这需要存在多输入视域或一些3D或深度信息。该深度信息可以被记录、从多视域相机系统生成或从传统的2D视频素材生成。为了从2D视频生成深度信息，可以应用几种类型的深度线索(depth cue)：比如来自运动、聚焦信息、几何形状和动态闭锁(dynamic occlusion)的结构。目的是生成密集的深度图，即每像素一个深度值。该深度图随后被用于呈现多视域图像，以给观看者一个深度印象。由P.A.Redert，E.A.Hendriks和J.Biemond发表在Proceedings of International Conference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，Page2749-2752，IEEE Computer Society，Los Alamitos，California，1997上的文章“Synthesis of multi viewpoint images at non-intermediate positions(在非中间位置处多视点图像的合成)”公开了在输入图像和深度图的基础上提取深度信息和呈现多视域图像的方法。
发明内容
本发明的一个目的是提供在开始段落中描述的那种方法，该方法基于新的深度线索。
实现本发明的此目的是因为该方法包括：
-通过合并布置在从该图像的一第一像素到一第二像素的路径上的像素的值之间的差，为第一像素计算代价值(cost value)，该第二像素属于该图像的像素的预定子集；以及
-在代价值的基础上，指配对应于该第一像素的第一深度值。
本发明基于下面的观测资料。在将被成像的场景中的对象具有不同的大小、亮度、和颜色并且具有一定的空间布置。一些对象遮蔽图像中的其它对象。图像中的像素的亮度和/或颜色值之间的差主要与对象的表面的光特性之间的差有关，还与对象相对于场景内的光源的空间位置有关。表面的光特性包括例如颜色和反射。因此，亮度和/或颜色中的相对大的过渡，即相邻像素的像素值之间的相对大的差对应于第一图像部分和第二图像部分之间的过渡，由此在被成像的场景中第一图像部分对应于第一对象以及第二图像部分对应于第二对象。通过为图像的像素确定亮度和/或颜色中的过渡的数量和范围，即在从各个像素到图像的预定位置的路径上的像素值之间的差，可以获得与场景中的对象的空间位置有关的各个测度。这些测度即代价值随后被翻译成深度值。该翻译优选地是代价值乘以预定常数。可选地，该翻译对应于借助归一化的各个代价值到预定范围的深度值的映射。
应当看到，背景也形成一个或多个对象，例如天空或森林或草地。
基于亮度和/或颜色瞬变的深度值可以被直接用作用来呈现多视域图像的深度值，例如如所引用的文章中所描述的。优选地，根据本发明的深度值结合了其它的、基于上面所提及的可选深度线索的深度值。
在根据本发明的方法的一个实施例中，第一差等于布置于该路径上的相邻像素的各个值之间的差。计算两个相邻像素之间的差比较容易。可选地，差是基于两个以上的像素值。在另一个备选方案中，差是在都处于该路径上但在不相邻的两个像素之间计算的，例如差是在最小和最大像素值之间计算的，由此最小和最大像素值对应于位于预定距离内的相应像素。优选地，计算布置于该路径上的各个像素值之间的绝对差。
在根据本发明的方法的一个实施例中，用于第一像素的代价值通过累积布置于该路径上的像素值之间的差而计算。差的累积，即积分、求和或者相加实现起来相对容易。优选地，仅有那些大于预定阈值的差通过累积的方式来被合并。应用一个阈值的优点是：深度值确定对于图像内的噪声不太敏感。
在根据本发明的方法的另一个实施例中，用于第一像素的代价值通过累积布置于该路径上的像素值之间的差与用于该差的各个加权因子的乘积来计算。通过应用加权因子，有可能控制像素值差对那些对应于各个像素的深度值计算的贡献。例如，与特定像素值和其邻近像素值之间的差有关的第一加权因子，是基于该特定像素和该第一像素之间的距离。如果特定像素和第一像素之间的距离比较大的话，第一加权因子通常比较低。例如，与特定像素值和其邻近像素值之间的差有关的第二加权因子，是基于与该特定像素有关的邻近像素的位置，例如如果邻近像素位于特定像素之上的话，第二加权因子通常比较高，并且如果邻近像素位于特定像素之下的话，第二加权因子通常比较低。可选地，第二加权因子与第一矢量和第二矢量之间的角度有关，由此第一矢量对应于与特定像素有关的邻近像素的位置，并且第二矢量对应于与第二像素有关的第一像素的位置。
根据本发明的一个实施例，还包括：
-通过合并布置在该图像的第一像素到一第三像素的第二路径上的像素值之间的差，为该第一像素计算第二代价值，该第三像素属于该图像的像素的预定子集；
-确定所述代价值与第二代价值中的最小值；
-在最小值的基础上，指配对应于第一像素的第一深度值。
根据本发明的该实施例，第一深度值基于与多条路径有关的多个值的一个特定选择，即从第一像素到第二像素的最佳路径。注意第二像素和第三像素可以彼此相等，即相同。与各条路径有关的代价值的备选类型的选择或合并是有益的。例如可以计算出与多条路径有关的平均代价值。
根据本发明的方法的又一个实施例，还包括基于第一像素的代价值为第三像素计算第二代价值。对已计算的代价值进行重新使用导致计算的有效实现。通常地，计算第二代价值通过合并第一像素的代价值与一个差来执行，该差是位于从第三像素到第一像素的第二路径上的另外像素的另外值之间的差。
根据本发明的方法的一个实施例，由此对应于图像的各个像素的代价值接连地基于为另外像素计算的另外代价值来计算，用于图像的第一行像素代价值的接连计算的第一扫描方向与用于图像的第二行像素的代价值的接连计算的第二扫描方向相反。通常地，必须为图像的每个像素计算一个深度值。优选地，当为特定像素计算特定代价值时，使用已经为其它像素计算的代价值。其中连续像素被处理的次序，即深度值被计算的次序是相关的。优选地，该次序使得图像的像素被逐行或可选地逐列处理。如果像素被逐行处理，那么以反序处理后续行是有利的，例如偶数行从左到右而奇数行从右到左，或者反之亦然。发明人已经观察到，该Z字型处理导致比一个所有行均以相同扫描方向处理的处理更好的结果。基于此Z字型处理创建的深度图的质量比得上为各条路径确定代价值的更昂贵的方法所得的结果。更昂贵意味着要评估更多的路径从而确定最佳路径。
本发明的又一个目的是提供在开始段中描述的那种基于新深度线索的深度图生成单元。
实现本发明的此目的是因为生成单元包括：
-计算装置，通过合并布置于从图像的第一像素到第二像素的路径上的像素值之间的差来为该第一像素计算代价值，该第二像素属于该图像的像素的预定子集；以及
-指配装置，用于在代价值的基础上指配对应于第一像素的第一深度值。
本发明的又一个目的是提供图像处理设备，其包括在开始段中描述的那种被安排来基于新深度线索生成深度图的深度图生成单元。
实现本发明的此目的是因为生成单元包括：
-计算装置，通过合并布置于从图像的第一像素到第二像素的路径上的像素值之间的差来为该第一像素计算代价值，该第二像素属于该图像的像素的预定子集；以及
-指配装置，用于在代价值的基础上指配对应于第一像素的第一深度值。
本发明的又一个目的是提供在开始段中描述的那种基于新深度线索的计算机程序产品。
实现本发明的此目的是因为计算机程序产品在被装载之后给所述处理装置提供能力以执行：
-通过合并布置于从图像的第一像素到第二像素的路径上的像素值之间的差来为该第一像素计算代价值，该第二像素属于该图像的像素的预定子集；以及
-在代价值的基础上指配对应于第一像素的第一深度值。
其中深度图生成单元的修改及其变化可以对应于其中被描述的图像处理设备、方法及其计算机程序产品的修改和变化。
附图简述
根据本发明的深度图生成单元、图像处理设备、方法以及计算机程序产品的这些和其它方面，将参照以下描述的实现和实施例并且结合附图进行说明，并因此变得更明白，其中：
图1示意性示出了一幅图像和使用根据本发明的方法生成的相应的深度图；
图2示意性示出了两条路径；
图3示意性示出了从第一像素到第二像素的一条路径、在该路径上的从第一像素到第二像素的第一矢量和从第三像素到第四像素的第二矢量；
图4示意性示出了一个多视域图像生成单元，包括根据本发明的深度图生成单元；
图5示意性示出了根据本发明的图像处理设备的一个实施例；以及
图6示意性示出了处理图像的各个像素的顺序。
在全部附图中，同样的参考数字用于表示同样的部分。
具体实施例
图1示意性示出了一幅图像100和使用根据本发明的方法生成的相应的深度图122。图1示出了图像100，描绘了第一对象106、位于第一对象106后面的第二对象104、以及位于第二对象104后面的第三对象102。图1还示出了从第一像素108到第二像素110的路径112。该路径对应于一组被连的像素。
通常，图像中的一个像素被连到8个邻近像素，即2个像素相对该像素而被水平地定位，2个像素相对该像素而被垂直地定位，以及4个像素相对该像素而被对角地定位。路径112的成对的像素相互以这3种方式的其中一种方式来定位，即相对彼此水平地、垂直地或对角地定位。
在图1中，描述了两对像素，包括具有各个参考数字为114、116和118、120的像素。第一对像素114、116被布置于路径112上的一个对应于第一对象106到第二对象104之间的过渡的位置。第二对像素118、120被布置于路径112上的另一个对应于第二对象104和第一对象102之间的过渡的位置。
图1还示出了深度图122。该深度图包括对应于第一对象106的第一组128深度值，包括对应于第二对象104的第二组126深度值，且包括对应于第三对象102的第三组124深度值。深度值中的第一组128深度值小于深度值的第二组126深度值，指的是第一对象106比第二对象104更接近于图像100或者基于图像100的多视域图像的观看者。
深度图122在根据本发明的方法的基础上生成。为了生成对应于第一像素108的深度值130，执行下面的步骤：
-通过合并被布置于从第一像素108到第二像素110的路径112上的成对被连像素114、116和118、120的值之间的差，而计算图像的第一像素108的代价值，所述第二像素属于图像100的像素的预定子集；以及
-对应于第一像素108的深度值130通过将一个常数值除以第一像素108的代价值来计算。
第二像素110属于图像100的像素的预定子集。在该情况下，预定子集包括在图像边界处的像素。在备选实施例中，该子集包括一部分边界的像素，例如只有图像的上边界的像素或者图像的下边界的像素。在又一个备选实施例中，该子集包括图像的中心像素。
如上所述，第一像素108的指配的深度值与第一像素108的代价函数有关。该代价函数是基于过渡，即当从第一108像素到第二像素110的路径上有更多和/或更大的过渡时，代价值增加。该指配的深度值可以基于下列方法之一：
-如果相应代价值比较低，则第一像素被指配比较低的深度值；或者
-如果相应代价值比较高，则第一像素被指配比较高的深度值。
总之，在代价值和第二像素110的位置之间存在关系并且在指配的深度值和代价值之间存在关系。表1示出了在这些量之间的多个可能的关系。在如表1所列的情况中，假定第一像素108位于图像的中心。
表1位置、代价值和深度值之间的关系
  第二像素的位置   第一像素的代价值   第一像素的深度值
  上边界   高   高
  上边界   高   低
  下边界   高   高
  下边界   高   低
  左/右边界   高   高
  左/右边界   高   低
  中心   低   高
  中心   低   低
比较低的深度值意味着第一像素比较靠近于在该图像的基础上生成的多视域图像的观看者，并且比较高的深度值意味着第一像素相对地远离所述多视域图像的观看者。
优选地，代价值V(x′，y′)的计算是基于像素值差的累积，这些像素值差被分配给位于从第一像素到第二像素的路径Pi上的像素，i为一下标，用来指示来自具有坐标(x′，y′)的像素的路径中的特定路径。
V(x′，y′)＝∑{E(x，y)|(x，y)∈Pi}                (1)
公式2中给出了一个像素值差E(x，y)的计算的第一例子：
E(x，y)＝|I(x，y)-I(x-a，y-b)|                     (2)
I(x，y)为具有图像的坐标x和y的像素的亮度值，并且-1≤a≤1和-1≤b≤1。
可选地，像素值差E(x，y)基于颜色值进行计算：
E(x，y)＝|C(x，y)-C(x-a，y-b)|                     (3)
C(x，y)为具有图像的坐标x和y的像素的颜色值。在公式4中给出了另一个可选的例子，用于基于三个不同的颜色分量R(红)G(绿)和B(兰)计算像素值差E(x，y)。
E(x，y)＝max(|R(x，y)-R(x-a，y-b)|，|G(x，y)-G(x-a，y-b)|，|B(x，y)-B(x-a，y-b)|)
                                                                                (4)
替换地，像素值差信号
Figure C20058000509600101
通过修剪所有低于预定阈值的像素值差到一个常数例如零而进行滤波。
如所述的，优选地代价值V(x′，y′)的计算是基于被分配给位于从第一像素到第二像素的路径Pi上的像素的像素值差的累积。有几种方法来从一组路径中选择这条路径Pi。
图1示意性示出了基于简单策略的一条路径，即从第一像素108到为位于图像左边界的像素的预定组中的一个像素的最短距离。那意味着第一像素108和第二像素110具有同样的y坐标。
图2示意性示出了备选路径216、202。这些备选路径的第一路径216对应于从第一像素108到为位于图像左边界的像素的预定组中的第二像素214的最短路径。在这种情况中，第一像素108和第二像素214具有相互相等的y坐标的限制是不适用的。第二像素214对应于可以以最小代价到达的左边界像素的像素。在这些备选路径的第一路径216上，布置了具有下列参考数字218-224的像素。
图2还示出了备选路径中的第二路径202，其对应于到达上边界并且具有最小代价的路径。可以清楚地看到备选路径中的第二路径202具有不规则形状。在备选路径中的第二路径202上，布置了具有下列参考数字206-212的像素。
代替基于单个路径计算代价值V(x′，y′)，该代价值可以是基于路径的组合，例如可以计算平均代价值。
用于计算代价值V(x′，y′)的又一个备选方案是基于对不同像素值差的加权因子。
V(x′，y′)＝∑{W(j)E(x，y)|(x，y)∈Pl}                (5)
这个加权因子W(j)优选地与为其计算像素值差E(x，y)的像素对的像素之一和第一像素之间的空间距离j有关。通常，这个加权因子对于较大的空间距离来说比较低。
可选地，加权因子W(j)与两个矢量之间的角度有关。图3示意性示出了从第一像素108到第二像素110的一条路径、在该路径300上的从第一像素108到第二像素110的第一矢量308和从第三像素302到第四像素304的第二矢量306。通常，如果第一矢量308和第二矢量306之间的角度比较低，即第四像素304相对于第三像素302的方位匹配于第二像素110相对于第一像素108的方位，则加权因子W(j)比较高。那意味着与第一矢量308匹配的过渡被看作比例如与第一矢量308垂直的过渡更相关。
图4示意性示出了一个多视域图像生成单元400，包括根据本发明的深度图生成单元401。该多视域图像生成单元400被安排来基于一个视频图像序列生成一个多视域图像序列。该多视域图像生成单元400在输入连接器408处被提供一个视频图像流并且在输出连接器410和412处分别提供两个相关的视频图像流。这两个相关的视频图像流被提供给一个多视域显示设备，该设备被安排来在相关的视频图像流中的第一视频图像流的基础上可视化第一系列视图，并且被安排来在相关的视频图像流中的第二视频图像流的基础上可视化第二系列视图。如果用户即观看者用他的左眼观察到第一系列视图并且用他的右眼观察到第二系列视图，那么他看到一个3D效果。可能是第一相关视频图像流对应于所接收的视频图像的序列，并且第二相关视频图像流在所接收的视频图像序列的基础上被呈现。优选地，两个视频图像流在所接收的视频图像序列的基础上被呈现。该呈现例如象由P.A.Redert，E.A.Hendriks和J.Biemond发表在Proceedings of International Conference onAcoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，Page 2749-2752，IEEE Computer Society，Los Alamitos，California，1997上的文章“Synthesis of multi viewpoint imagesat non-intermediate positions(在非中间位置处多视点图像的合成)”所描述的。可选地，该呈现如由R.P.Berretty和F.E.Ernst发表在Proceedings Eurographics，Granada，2003，Short Note 124上的文章“High-quality images from 2.5D video(自2.5D视频的高质量图像)”所描述的。
该多视域图像生成单元400包括：
-深度图生成单元401，用于在图像中的过渡的基础上为各个输入图像生成深度图；以及
-呈现单元406，用于在输入图像和由深度图生成单元401提供的各个深度图的基础上呈现多视域图像。
用于为图像的各个像素生成深度图的深度图生成单元401，所述深度图包括表示到观看者的距离的深度值，该深度图生成单元401包括：
-代价值计算单元402，用于通过合并布置于从第一像素到第二像素的路径上的像素值之间的差来计算图像的第一像素的代价值，该第二像素属于该图像的像素的预定子集。代价值的计算是如结合图1、2和3所描述的；并且
-深度值指配单元404，用于在代价值的基础上指配对应于第一像素的第一深度值。
计算单元402被安排来提供代价值信号VF＝V(x′，y′，n)，具有在时间n上图像的坐标x′和y′，表示每像素的代价值。
在计算代价值信号VF之后确定深度图。这由公式6所指定：
D(x′，y′，n)＝F(VF)                    (6)
D(x′，y′，n)为在时间n上具有图像的坐标x′和y′的像素的深度值，并且函数F(j)为代价值V(x′，y′，n)到深度值D(x′，y′，n)的线性或非线性变换。这个函数F(j)优选地为代价值V(x′，y′，n)与预定常数的简单乘法：
D(x′，y′，n)＝α·V(x′，y′，n)        (7)
应当看到，对于特定像素的代价值的计算，可以为一个邻近像素应用计算的代价值。换句话说，该代价值的计算优选地以递归的方式来执行。还参见结合附图6的描述。
代价值计算单元402、深度值指配单元404和呈现单元406可以使用一个处理器来实现。正常地，这些功能可以在一个软件程序产品的控制下来执行。在执行期间，正常地软件程序产品被装载到一个存储器如RAM中，并且从那里执行。该程序可以从后台存储器如ROM、硬盘或磁和/或光存储器来装载，或者可以通过网络如因特网来装载。任选地，一种专用电路提供所公开的功能性。
应当看到，尽管如结合图4所描述的多视域图像生成单元400被设计来处理视频图像，根据本发明的深度图生成单元的备选实施例被安排来基于个体图像即静止图片生成深度图。
图5示意性示出了根据本发明的图像处理设备500的一个实施例，包括：
-接收单元502，用于接收表示输入图像的视频信号；
-多视域图像生成单元401，用于基于接收的输入图像生成多视域图像，如结合图4描述的；并且
-多视域显示设备506，用于显示多视域图像，如多视域图像生成单元401所提供的。
该视频信号可以为通过天线或电缆接收的广播信号，但还可以是来自存储设备如VCR(视频盒式录像机)或者数字通用光盘(DVD)的信号。该信号在输入连接器510处提供。图像处理设备500可能例如为电视机TV。可选地，图像处理设备500不包括任选的显示设备，但提供输出图像到确实包括显示设备506的设备。然后图像处理设备500可能例如为机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。任选地，图像处理设备500包括存储装置，如硬盘或用于在可移动媒质例如光盘上存储的装置。该图像处理设备500还可能是由影片映播室或广播公司应用的系统。
图6示意性示出了处理图像100的各个像素600-614的顺序。依靠箭头616-620在图6示出了像素被处理的次序。图像100的第一行，包括具有参考数字610-614的像素，从左到右进行处理。图像100的第二行，包括具有参考数字604-608的像素，从右到左进行处理。图像100的第三行，包括具有参考数字600-602的像素，再次从左到右进行处理。因此图像100的像素的随后的行以相反的次序进行处理。
处理一个特定像素指：
-通过合并布置于从该特定像素到一第二像素的路径上的像素值之间的差来为该特定像素计算特定代价值，该第二像素属于该图像的像素的预定子集；以及
-在计算的特定代价值的基础上指配对应于该特定像素的特定深度值给修建中的深度图。
为其它像素计算特定代价值是基于已计算的代价值。下面的例子被提供来阐述这一点。假设对应于第一和第二行的像素604-614的深度值已经被确定，并且因此对应于各条路径的各个代价值是已知的。此外第三行的多个像素602也已经被处理。紧接着，必须确定参考数字为600的特定像素的深度值。优选地，这通过估计随后的候选代价值组来完成：
-基于位于特定像素600左方的像素602的代价值的第一候选代价值以及在这两个像素之间的一个像素值差；
-基于位于特定像素600上方的像素606的代价值的第二候选代价值以及在这两个像素之间的一个像素值差；
-基于位于特定像素600左上方的像素604的代价值的第三候选代价值以及在这两个像素之间的一个像素值差；
-基于位于特定像素600右上方的像素608的代价值的第四候选代价值以及在这两个像素之间的一个像素值差。
在从该组候选代价值确定了最小代价值之后，从特定像素开始的路径是已知的，相应的代价值是已知的并且相应的深度值可以被指配。
很清楚该组候选代价值通常取决于扫描方向。例如在扫描方向从右到左的情况中，该组候选代价值可以包括基于位于考虑中的特定像素右方的像素代价值的候选代价值。该组候选代价值可以包括另外的代价值。可选地，该组候选代价值包括较少的代价值。
应当看到，上面所提到的实施例是示例而不是限制本发明，并且本领域的技术人员将能够设计替换实施例而不背离所附权利要求的范围。在权利要求中，放置在圆括号中的任何参考符号将不构成对权利要求的限制。单词“包括”不排除未列在权利要求中的元素或步骤的存在。在元素前面的单词“一个”不排除多个这样的元素的存在。本发明可以采用包括几个明显元素的硬件和适当编程的计算机来实现。在列举了几个装置的单元权利要求中，这些装置中的几个可以由一项且同样的硬件来具体化。单词第一、第二和第三等等的使用不表示任何排序。这些单词不被解释为名称。

Claims (13)

1.一种用于从单视域输入图像(100)为图像(100)的各个像素生成深度图(122)的方法，该深度图包括表示到观看者的距离的深度值，该方法包括：
-通过基于布置在从该图像(100)的像素中的第一像素(108)到第二像素(110)的路径(112)上的像素的亮度值和颜色值中至少一个的差的绝对值来累积值，而为该第一像素(108)计算代价值，该第二像素属于该图像的像素的预定子集；以及
-在代价值的基础上，指配对应于该像素中的第一像素(108)的、该深度值中的第一深度值。
2.如权利要求1所要求的方法，由此所述预定子集包括位于图像的边界处的像素。
3.如权利要求1所要求的方法，由此该差中的第一差等于布置于该路径(112)上的邻近像素的相应值之间的绝对差。
4.如权利要求1所要求的方法，由此所述第一像素(108)的代价值通过累积被布置于该路径(112)上的像素的值之间的差的绝对值来计算，该差的绝对值大于预定阈值。
5.如权利要求1所要求的方法，由此所述第一像素的代价值通过累积被布置于该路径(112)上的像素的值之间的差的绝对值与对于该差的绝对值的各个加权因子的乘积来计算。
6.如权利要求5所要求的方法，由此与一个特定像素值和其邻近像素值之间的差的绝对值有关的第一所述加权因子，是基于该特定像素和第一像素(108)之间的距离。
7.如权利要求5所要求的方法，由此与一个特定像素值和其邻近像素值之间的差的绝对值有关的第二所述加权因子，是基于与该特定像素有关的邻近像素的位置。
8.如权利要求1所要求的方法，其还包括：
-通过合并布置在从图像的第一像素(108)到第三像素(204)的第二路径(202)上的像素值之间的差，为该第一像素(108)计算第二代价值，该第三像素属于该图像的像素的预定子集；
-确定所述代价值与该第二代价值中的最小值；
-在最小值的基础上，指配对应于第一像素(108)的第一深度值。
9.如权利要求1所要求的方法，其还包括在第一像素的代价值的基础上计算第三像素的第二代价值。
10.如权利要求9所要求的方法，包括通过合并第一像素的代价值与一个差而计算第二代价值，该差是布置于从第三像素到第一像素的第二路径上的另外像素值之间的差。
11.如权利要求9或10所要求的方法，由此对应于该图像的各个像素的代价值接连地在为另外的像素计算的另外代价值的基础上被计算，对该图像第一行像素的代价值的接连计算的第一扫描方向与对该图像第二行像素的代价值的接连计算的第二扫描方向相反。
12.一种用于从单视域输入图像(100)为图像(100)的各个像素生成深度图(122)的深度图生成单元(401)，该深度图包括表示到观看者的距离的深度值，该生成单元包括：
-计算装置，通过基于布置于从图像的第一像素(108)到第二像素(110)的路径(112)上的像素的亮度值和颜色值中至少一个的差的绝对值来累积值，而为该第一像素(108)计算代价值，该第二像素属于该图像的像素的预定子集；以及
-指配装置，用于在代价值的基础上指配对应于第一像素(108)的第一深度值。
13.一种图像处理设备(500)，包括：
-接收装置(502)，用于接收对应于图像(100)的信号；以及
-如权利要求12所要求的深度图生成单元(401)，用于生成深度图(122)。
CNB200580005096XA 2004-02-17 2005-02-07 创建深度图 Expired - Fee Related CN100568281C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04100625.5 2004-02-17
EP04100625 2004-02-17

Publications (2)

Publication Number Publication Date
CN1922631A CN1922631A (zh) 2007-02-28
CN100568281C true CN100568281C (zh) 2009-12-09

Family

ID=34896072

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200580005096XA Expired - Fee Related CN100568281C (zh) 2004-02-17 2005-02-07 创建深度图

Country Status (8)

Country Link
US (1) US8036451B2 (zh)
EP (1) EP1719079B1 (zh)
JP (1) JP4898459B2 (zh)
KR (1) KR101183863B1 (zh)
CN (1) CN100568281C (zh)
AT (1) ATE382919T1 (zh)
DE (1) DE602005004125T2 (zh)
WO (2) WO2005083630A2 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
KR20090071624A (ko) 2006-10-04 2009-07-01 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 개선
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8488868B2 (en) * 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2009004527A2 (en) * 2007-07-03 2009-01-08 Koninklijke Philips Electronics N.V. Computing a depth map
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
CN102498720B (zh) 2009-06-24 2015-09-02 杜比实验室特许公司 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
TWI398158B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 產生立體影像之影像深度的方法
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9426441B2 (en) * 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
GB2483285A (en) 2010-09-03 2012-03-07 Marc Cardle Relief Model Generation
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
KR101700621B1 (ko) * 2010-12-15 2017-02-01 한국전자통신연구원 임의의 측정거리에 적용가능한 적응형 초고속 및 고해상도 3차원 영상복원 방법
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US20120236114A1 (en) * 2011-03-18 2012-09-20 Te-Hao Chang Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
JP5291755B2 (ja) * 2011-04-21 2013-09-18 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
JP5355616B2 (ja) * 2011-04-21 2013-11-27 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
KR101811637B1 (ko) 2011-05-02 2017-12-26 삼성전자주식회사 선택적인 픽셀 비닝 장치 및 방법
CN102903143A (zh) * 2011-07-27 2013-01-30 国际商业机器公司 用于将二维图像三维化的方法和系统
US20130235155A1 (en) * 2011-08-18 2013-09-12 Beijing Goland Tech Co., Ltd. Method of converting 2d into 3d based on image motion information
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9661307B1 (en) 2011-11-15 2017-05-23 Google Inc. Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
WO2013109192A1 (en) * 2012-01-18 2013-07-25 Agency For Science, Technology And Research Method and device for image processing
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
EP2747028B1 (en) 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
US9299152B2 (en) * 2012-12-20 2016-03-29 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for image depth map generation
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US10764561B1 (en) 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
US10134198B2 (en) 2016-04-19 2018-11-20 Adobe Systems Incorporated Image compensation for an occluding direct-view augmented reality system
US10403045B2 (en) 2017-08-11 2019-09-03 Adobe Inc. Photorealistic augmented reality system
US10612929B2 (en) 2017-10-17 2020-04-07 AI Incorporated Discovering and plotting the boundary of an enclosure
US11393114B1 (en) 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
WO2021108626A1 (en) 2019-11-27 2021-06-03 Compound Eye Inc. System and method for correspondence map determination
US11069071B1 (en) 2020-01-21 2021-07-20 Compound Eye, Inc. System and method for egomotion estimation
US11270467B2 (en) 2020-01-21 2022-03-08 Compound Eye, Inc. System and method for camera calibration
DE102020108898A1 (de) 2020-03-31 2021-09-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum betreiben einer fahrzeugkameravorrichtung, fahrzeugkameravorrichtung und fahrzeug
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11561102B1 (en) 2020-04-17 2023-01-24 AI Incorporated Discovering and plotting the boundary of an enclosure
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
US11615594B2 (en) * 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244435A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd 画像の階層符号化方法および画像符号化装置
TW335466B (en) * 1995-02-28 1998-07-01 Hitachi Ltd Data processor and shade processor
JPH08287253A (ja) * 1995-04-11 1996-11-01 N T T Data Tsushin Kk 物体形状の推定方法および物体形状推定装置
JP3531585B2 (ja) * 2000-06-05 2004-05-31 松下電器産業株式会社 映像表示装置
JP2004520660A (ja) * 2001-05-23 2004-07-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 深度マップの計算
KR100912418B1 (ko) * 2001-07-23 2009-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 스테레오스코픽 영상 처리 장치 및 방법
US7024054B2 (en) * 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
CN1739119A (zh) * 2003-01-17 2006-02-22 皇家飞利浦电子股份有限公司 全深度图采集

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Reconstruction of the 3-D Shape of an Object from a2-DIntensity Image. Yasuhlko Numagami ET AL.CCECUCCGEI '95. 1995
Reconstruction of the 3-D Shape of an Object from a2-DIntensity Image. Yasuhlko Numagami ET AL.CCECUCCGEI '95. 1995 *
Shape From Shading. Emmanuel Prados, Olivier Faugeras.Shape From Shading. 1988
Shape From Shading. Emmanuel Prados, Olivier Faugeras.Shape From Shading. 1988 *

Also Published As

Publication number Publication date
KR20060124704A (ko) 2006-12-05
CN1922631A (zh) 2007-02-28
DE602005004125D1 (de) 2008-02-14
EP1719079A2 (en) 2006-11-08
WO2005083630A3 (en) 2006-03-09
US8036451B2 (en) 2011-10-11
JP4898459B2 (ja) 2012-03-14
KR101183863B1 (ko) 2012-09-19
ATE382919T1 (de) 2008-01-15
DE602005004125T2 (de) 2008-12-18
WO2005083630A2 (en) 2005-09-09
EP1719079B1 (en) 2008-01-02
JP2007522589A (ja) 2007-08-09
WO2005083631A3 (en) 2006-02-23
US20070146232A1 (en) 2007-06-28
WO2005083631A2 (en) 2005-09-09

Similar Documents

Publication Publication Date Title
CN100568281C (zh) 创建深度图
KR101038452B1 (ko) 멀티뷰 이미지 생성
KR101168384B1 (ko) 깊이 맵을 생성하는 방법, 깊이 맵 생성 유닛, 이미지 처리 장치, 및 컴퓨터 프로그램 제품
JP3554930B2 (ja) 色−テクスチャ距離の測定方法及び装置並びにこれらを用いた映像の領域区分方法及び装置
CN102203829B (zh) 用于生成深度图的方法和设备
US9030469B2 (en) Method for generating depth maps from monocular images and systems using the same
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
US7894669B2 (en) Foreground detection
US7418131B2 (en) Image-capturing device and method for removing strangers from an image
US8542929B2 (en) Image processing method and apparatus
US20080260288A1 (en) Creating a Depth Map
CN102257827B (zh) 从图像创建深度图
US8346005B2 (en) System and method for “Bokeh-Aji” shot detection and region of interest isolation
KR20050084442A (ko) 세그먼트 기반 움직임 추정
KR20070120403A (ko) 영상 편집장치 및 방법
CN104756151A (zh) 用于增强和处理数字图像的系统及方法
CN106851168A (zh) 视频格式识别方法、装置及播放器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091209

Termination date: 20170207

CF01 Termination of patent right due to non-payment of annual fee