CN1930585B - 建立深度图 - Google Patents

Abstract

公开了一种产生深度图(122)的方法，该深度图包括表示图像(100)的各个像素到观察者的距离的深度值。该方法包括：基于图像(100)的像素值来确定轮廓(106)，该轮廓包括邻近点的集合；计算在多个点处的曲率向量(108-114)；以及基于曲率向量(108-114)来分配与第一像素对应的第一深度值。

Description

建立深度图

技术领域

本发明涉及一种产生深度图的方法，该深度图包括表示图像的各个像素到观察者的距离的深度值。

本发明进一步涉及一种用于产生深度图的深度图产生单元，该深度图包括表示图像的各个像素到观察者的距离的深度值的深度图。

本发明进一步涉及一种图像处理设备，该图像处理设备包括：

-用于接收与图像对应的信号的接收装置；以及

-用于产生深度图的这种深度图产生单元。

本发明进一步涉及一种将由计算机装置加载的计算机程序产品，该计算机程序产品包括产生深度图的指令，该深度图包括表示图像的各个像素到观察者的距离的深度值，该计算机装置包括处理装置和存储器。

背景技术

为了在多视角(multi-view)显示设备上产生3D效果，必须从不同的虚拟视点呈现图像。这需要存在多输入视角或者一些3D或深度信息。该深度信息可以由多视角照相机系统记录、产生或者从常规2D视频素材中产生。为了从2D视频中产生深度信息，可以应用若干类型的深度暗示(cue)：例如运动的结构、聚焦信息、几何形状和动态封闭。该目的在于产生密集的深度图，即每个像素一个深度值。随后将该深度图用于呈现多视角图像以向观察者给予深度效果。在文章“Synthesisof multi viewpoint images at non-intermediate positions”by P.A.Redert，E.A.Hendriks，and J.Biemond，in Proceedings of InternationalConference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN0-8186-7919-0，pages 2749-2752，IEEE Computer Society，Los Alamitos，California，1997中公开了一种提取深度信息并基于输入图像和深度图来呈现多视角图像的方法。

发明内容

本发明的一个目的在于提供一种在开始段落中所述类型的方法，其基于新的深度暗示。

本发明的该目的的实现在于，该方法包括：

-基于图像的像素值来确定轮廓，该轮廓包括邻近点的集合；

-在多个点处计算曲率向量；

其特征在于，该方法包括：

-通过使用所述曲率向量确定什么在该轮廓之内和在该轮廓之外来利用所述曲率向量确定相对的深度排序；以及基于曲率向量来分配与第一像素对应的第一深度值，使得在该轮廓之内的像素的深度值表示离观察者的深度比在该轮廓之外的像素的深度值更近。

本发明背后的基本原理是大多数物体具有球形拓扑，即它们不含有孔，至少在图像内的有关范围内。这适用于地面、人、电话、汽车等。然后，基于物体轮廓的曲率，能够确定相对的深度排序。因为可视物体将比它们的背景更接近观察者。这意味着在轮廓内图像区域的像素，即与物体轮廓对应的像素，必须被分配比轮廓之外的像素更低的深度值。相对低的深度值意味着对应的物体离观察者相对较近。确定什么在轮廓内和轮廓外是基于曲率向量。曲率向量是朝着深度减小而定向的。

在图像处理领域中有几种基于像素值来确定轮廓的已知技术。像素值是指颜色和/或亮度值。轮廓例如可以通过边缘检测、均匀性计算或者基于时间滤波来确定。轮廓可以是打开的或者闭合的。

计算曲线的曲率向量是数学中公知的技术。在这种情况下曲线是轮廓。曲线上特定点的曲率向量的一个特征是它的定向(orientation)正交于在该特定点处的局部曲线段。曲线上特定点的曲率向量的另一个特征是它的长度与在特定点和邻近点之间的第一线段和在特定点和其另一邻近点之间的第二线段之间的角度有关。

优选地，分配第一深度值包括基于各个曲率向量来计算深度导数以及基于第一深度导数来计算第一深度值。基于深度导数来计算深度值在标题为“Full Depth Map Acquisition”的专利申请中进行了描述。该专利申请具有的申请号为EP 03100092.0(代理人案卷号为PHNL030006)。为了计算第一深度导数，应用以下步骤：

-基于第一曲率向量的长度来计算第一深度导数的大小；以及

-基于第一曲率向量的定向来计算第一深度导数的方向。

计算其它的深度导数是基于类似的规则。

根据本发明的方法的实施例进一步包括：

-基于曲率向量来计算平均向量的集合，所述平均向量具有彼此相等的长度；以及

-基于平均向量来分配与第一像素对应的第一深度值。

如图1所示，圆提供了恒定曲率，因此相对于其环境沿着其边界提供了恒定深度导数。然而参见图3，方块提供了非常不均匀的深度导数，该深度导数在拐角处最大，而在其他各处都是0。为了对于属于相同物体的像素获得彼此相等的深度值，需要对曲率向量进行某种平滑。这意味着轮廓的曲率向量被转换为一组新的平均向量。随后，这些平均向量被应用于计算深度导数以及随后的深度值。

优选地，平均向量的集合是通过平行传送来计算的。

优选地，分配第一深度值包括基于各个平均向量来计算深度导数以及基于第一深度导数来计算第一深度值。然后，为了计算第一深度导数，应用以下步骤：

-基于第一平均向量的长度来计算第一深度导数的大小；以及

-基于第一平均向量的定向计算来第一深度导数的方向。

计算其它的深度导数是基于类似的规则。

基于曲率向量、可选地基于平均向量的深度值可以直接用作用于呈现(再现)多视角图像的深度值，例如如在所引用的文章中所述。优选地，根据本发明的深度值与基于如上所述的可选深度暗示的其他深度值进行结合。

本发明的另一个目的在于提供一种在开始段落中所述类型的深度图产生单元，其基于新的深度暗示。

本发明的该目的的实现在于，该深度图产生单元包括：

-确定装置，用于基于图像的像素值来确定轮廓，该轮廓包括邻近点的集合；

-计算装置，用于计算在多个点处的曲率向量；

其特征在于，该深度图产生单元包括：

-分配装置，用于通过使用所述曲率向量确定什么在该轮廓之内和在该轮廓之外来利用所述曲率向量确定相对的深度排序，以及基于曲率向量来分配与第一像素对应的第一深度值，使得在该轮廓之内的像素的深度值表示离观察者的深度比在该轮廓之外的像素的深度值更近。

本发明的另一个目的在于提供一种图像处理设备，该图像处理设备包括：

接收装置，用于接收与图像对应的信号；和

在开始段落中所述类型的深度图产生单元，用于基于新的深度暗示来产生深度图。

本发明的该目的的实现在于，该深度图产生单元包括：

-确定装置，用于基于图像的像素值来确定轮廓，该轮廓包括邻近点的集合；

-计算装置，用于计算在多个点处的曲率向量；以及

-分配装置，用于通过使用所述曲率向量确定什么在该轮廓之内和在该轮廓之外来利用所述曲率向量确定相对的深度排序，以及基于曲率向量来分配与第一像素对应的第一深度值，使得在该轮廓之内的像素的深度值表示离观察者的深度比在该轮廓之外的像素的深度值更近。

本发明的另一个目的在于提供一种在开始段落中所述类型的计算机程序产品，其基于新的深度暗示。

本发明的该目的的实现在于，计算机程序产品在被加载之后提供具有执行下列步骤的能力的所述处理装置：

-基于图像的像素值来确定轮廓，该轮廓包括邻近点的集合；

-计算在多个点处的曲率向量；以及

-基于曲率向量来分配与第一像素对应的第一深度值。

对深度图产生单元的修改及其变化可以对应于对所述图像处理设备、方法和计算机程序产品的修改及其变化。

附图说明

根据下文所述的实现方式和实施例以及附图，根据本发明的深度图产生单元、图像处理设备、方法和计算机程序产品的这些和其他方面将变得显而易见，以及参考下文所述的实现方式和实施例并参考附图对其进行阐明，其中：

图1A示意性地示出图像以及利用根据本发明的方法产生的相应深度图；

图1B示意性地示出轮廓的一部分和曲率向量；

图1C示意性地示出基于深度导数对深度值的计算；

图2示意性地示出基于曲率向量对平均向量的计算；

图3示意性地示出另一个图像以及利用根据本发明的方法产生的相应深度图；

图4示意性地示出包括根据本发明的深度图产生单元的多视角图像产生单元；以及

图5示意性地示出根据本发明的图像处理设备的实施例。

在整个附图中，相同的附图标记用于表示相同的部分。

具体实施方式

图1A示意性地示出图像100以及利用根据本发明的方法产生的相应深度图122。图1示出表示第一物体104和位于第一物体104之后的第二物体102的图像100。应该注意，背景可以形成一个或多个物体，例如天空或森林或草地。

图1A示出深度图122，该深度图122包括与第一物体104对应的第一组深度值116，以及包括与第二物体102对应的第二组深度值118。第一组深度值116的深度值比第二组深度值118的深度值低，从而意味着第一物体104比第二物体102更接近图像100的观察者或者基于图像100的多视角图像。

深度图122是基于根据本发明的方法产生的。为了产生深度值，执行以下步骤：

A：轮廓106是基于图像100的像素值确定的。在这种情况下，轮廓106对应于第一物体104的边缘。轮廓是通过边缘检测找到的。轮廓106包括邻近点的集合。这些邻近点可以与像素坐标相对应。可选择地，这些点以与图像100的像素矩阵相关的浮点来表示。

B：为集合中的多个点计算曲率向量108-114。通常，基于特定点126的坐标与邻近点124和128的相应坐标，为特定点126计算特定曲率向量112。参见结合图1B的说明。

C：深度导数是基于曲率向量108-114计算的。深度导数的值与各个曲率向量的长度有关，并且深度导数的方向基于各个曲率向量的定向。在公式1中规定了如何基于点p的相应曲率向量来计算点p的深度导数

值α是常数。

$\stackrel{\→}{\▿}D\left(p\right)=-\mathrm{\α}\stackrel{\→}{C}\left(p\right)---\left(1\right)$

参见结合图1C对基于深度导数计算深度值的说明。

图1B示意性地示出一部分轮廓106和属于这部分轮廓106的特定曲率向量112。轮廓106包括邻近点的集合，该集合的三个点124、126、128在图1B中进行了描绘。特定曲率112的定向正交于在特定点126处的轮廓的部分。特定点126的特定曲率向量112的另一个特征是它的长度与在特定点126和邻近点124之间的第一线段130和在特定点126和其另一邻近点128之间的第二线段132之间的角度有关。

图1C示意性地示出基于深度导数对深度值的计算，尤其是基于特定深度导数

对与第一像素142对应的第一深度值的计算，所述深度导数已基于点p 126的相应曲率向量而为特定点p 126确定。该深度值的计算与申请号为EP 03100092.0的专利申请中所公开的内容一致。特定深度导数的值 $\stackrel{\→}{\▿}D\left(p\right)=-3,$ 即长度为3并且具有与曲率向量相反的方向。对于原始像素140，深度值已被设置为精选的预定偏移深度值，其在这种情况下等于10。与第一像素142对应的第一深度值的计算相对较容易，即10-3＝7。

图2示意性地示出基于曲率向量202-216对平均向量222-236的计算。该计算是基于沿着曲线的向量的所谓的平行传送。该计算包括以下步骤：

D：轮廓106被展开为直线208。在展开时，保持了曲率向量202-216的长度和它们相对于轮廓106的方向。根据定义，展开的曲率向量点或者向上或者向下。这意味着它们中的每个都可以用实数来表示。

E：然后将展开的曲率向量即实数累计，并可选择地除以曲率向量的数目或者预定的常数值(例如2π)，从而产生平均向量222-236。

F：然后用平均向量222-236来代替原始曲率向量202-216。平均向量202-216具有以下特征：

-它们都具有相同的长度；

-它们中的每个被定向为正交于其局部曲线段；

-它们中的每个被定向为平行于其对应的原始曲率向量。

这意味着它要么指向相同的方向，要么指向相反的方向。

图3示意性地示出另一个图像300以及利用根据本发明的方法产生的对应深度图324。图3示出表示第一物体104即圆物体、第三物体105即位于第一物体104之后的方物体、以及第二物体102即位于第三物体105之后的背景的图像300。

图3示出深度图324，该深度图包括与第一物体104对应的第一组深度值328，以及包括与第二物体102对应的第二组深度值327。深度图324进一步包括与第三物体105对应的第三组深度值326。第一组深度值328的深度值比第二组深度值327的深度值低，从而意味着第一物体104比第二物体102更接近图像300的观察者或者基于图像300的多视角图像。

深度图324是基于根据本发明的方法而产生的。为了产生深度值，执行以下步骤：

A：基于图像300的像素值来确定三个打开的轮廓302-306。在这种情况下，第一轮廓302对应于第一物体104的边缘的一部分，第二轮廓304对应于第三物体105的边缘的一部分，以及第三轮廓306对应于第一物体的边缘的另一部分。这三个打开的轮廓302-306是根据T接头检测之后的边缘检测而确定的。

B：然后为各个打开的轮廓302-306计算曲率向量组308-312。正如可以看到的，与第二轮廓304对应的曲率向量310相对较高。

E：然后为结合图2所述的各个曲率向量组308-312计算平均向量组318-322；

C：然后基于平均向量318-322来计算深度导数。深度导数的值与各个平均向量的长度有关，并且深度导数的方向基于各个平均向量的定向。深度值是基于如在申请号为EP 03100092.0的专利申请中所公开的深度导数而计算的。在公式2中规定了如何基于点p的相应平均向量来计算点p的深度导数值α是常数。

$\stackrel{\→}{\▿}D\left(p\right)=-\mathrm{\α}{\stackrel{\→}{C}}_{\mathrm{average}}\left(p\right)---\left(2\right)$

图4示意性地示出一种包括根据本发明的深度图产生单元401的多视角图像产生单元400。该多视角图像产生单元400被设置成基于视频图像的序列而产生多视角图像的序列。该多视角图像产生单元400在输入连接器408处被提供视频图像流，并且分别在输出连接器410和412提供两个相关的视频图像流。这两个相关的视频图像流将被提供给多视角显示设备，所述显示设备被设置成基于第一相关视频图像流来可视化第一视图系列，以及基于第二相关视频图像流来可视化第二视图系列。如果用户即观察者用他的左眼观察第一视图系列，并用他的右眼观察第二视图系列，那么他就注意到了3D效果。可能的是，第一相关视频图像流对应于接收时的视频图像序列，以及第二相关视频图像流基于接收时的视频图像序列而呈现。优选地，两个视频图像流都基于接收时的视频图像序列而呈现。所述呈现例如在文章“Synthesis of multi viewpoint images at non-intermediate positions”byP.A.Redert，E.A.Hendriks，and J.Biemond，in Proceedings ofInternational Conference on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，pages 2749-2752，IEEE Computer Society，Los Alamitos，California，1997中进行了描述。可选择地，所述呈现在“High-quality images from 2.5D video”，by R.P.Berretty and F.E.Ernst，in Proceedings Eurographics，Granada，2003，Short Note 124中进行了描述。

该多视角图像产生单元400包括：

-深度图产生单元401，用于基于图像中的转变来为各个输入图像产生深度图；以及

-呈现单元406，用于基于输入图像和由深度图产生单元401提供的各个深度图来呈现多视角图像。

用于产生深度图的深度图产生单元401包括表示图像的各个像素到观察者的距离的深度值，包括：

-确定单元402，用于基于图像100的像素值来确定轮廓，该轮廓包括邻近点的集合；

-计算单元403，用于计算在多个点处的曲率向量；以及

-分配单元404，用于基于曲率向量108-114来分配与第一像素对应的第一深度值。

确定单元402、计算单元403、分配单元404和呈现单元406可以利用一个处理器来实现。通常，这些功能是在软件程序产品的控制下执行的。在执行过程中，通常将软件程序产品加载到诸如ROM之类的存储器中并由其执行。该程序可以从诸如ROM、硬盘或者磁性和/或光存储装置之类的后台存储器中进行加载，或者可以经由诸如因特网之类的网络进行加载。可选择地，专用集成电路提供所公开的功能。

应该注意，尽管如结合图4所述的多视角图像产生单元400被设计成处理视频图像，但是根据本发明的深度图产生单元的可选实施例被设置成基于各个图像即静止图像来产生深度图。

图5示意性地示出根据本发明的图像处理设备500的实施例，包括：

-接收单元502，用于接收表示输入图像的视频信号；

-多视角图像产生单元401，用于基于接收的输入图像来产生多视角图像，如结合图4所述；以及

-多视角显示设备506，用于显示如由多视角图像产生单元401提供的多视角图像。

视频信号可以是经由天线或者电缆接收的广播信号，但也可以是来自诸如VCR(录像机)或者数字通用光盘(DVD)之类的存储设备的信号。在输入连接器510处提供该信号。图像处理设备500例如可以是TV。可选择地，图像处理设备500不包括可选显示设备，而是将输出图像提供给包括显示设备506的装置。那么图像处理设备500例如可以是机顶盒、卫星调谐器、VCR播放器、DVD播放器或者记录器。可选地，图像处理设备500包括诸如硬盘之类的存储装置或者在可移动介质上存储的装置例如光盘。图像处理设备500也可以是由电影制片厂或者广播公司应用的系统。

应该注意，上述实施例是说明而非限制本发明，并且本领域的技术人员将能够设计可替换实施例而不脱离所附权利要求书的范围。在权利要求书中，置于括号之间的附图标记不应该解释为限制权利要求。“包括”一词不排除未在权利要求中列出的元件或步骤的存在。元件之前的“一”或“一个”不排除多个这种元件的存在。本发明可以利用包括若干不同元件的硬件以及利用适当编程的计算机来实现。在列举若干装置的单元权利要求中，这些装置中的若干可由同一项硬件来实现。第一、第二和第三等词的使用不表示任何排序。这些词要解释为名称。

Claims (5)

1.一种产生深度图的方法，所述深度图包括表示图像(100)中的各个像素到观察者的距离的深度值，所述方法包括：

-基于图像(100)的像素值来确定轮廓(106)，所述轮廓(106)包括邻近点的集合；

-计算在多个点上的曲率向量(108-114)；

其特征在于，所述方法包括：

-通过使用所述曲率向量确定什么在所述轮廓之内和在所述轮廓之外来使用所述曲率向量确定相对深度排序，以及基于曲率向量(108-114)来分配与第一像素相对应的第一深度值，使得在所述轮廓之内的像素的深度值表示离观察者的深度比在所述轮廓之外的像素的深度值更近，其中分配第一深度值包括基于各个曲率向量(108-114)来计算深度导数以及基于第一深度导数来计算第一深度值，所述深度导数的计算使得：基于第一曲率向量的长度来计算第一深度导数的大小，并且第一深度导数的方向与第一曲率向量平行。

2.如权利要求1所述的产生深度图的方法，所述方法进一步包括：

-基于曲率向量(310)来计算平均向量(320)的集合，所述平均向量(320)具有彼此相等的长度；以及

-基于平均向量(320)来分配与第一像素相对应的第一深度值，第一曲率向量是平均向量之一。

3.如权利要求2所述的产生深度图的方法，由此通过平行传送来计算平均向量(320)的集合。

4.一种用于产生深度图的深度图产生设备(401)，所述深度图包括表示图像(100)中的各个像素到观察者的距离的深度值，所述深度图产生设备(401)包括：

-确定装置(402)，用于基于图像(100)的像素值来确定轮廓(106)，所述轮廓(106)包括邻近点的集合；

-计算装置(403)，用于计算在多个点上的曲率向量(108-114)；

其特征在于，所述深度图产生设备包括：

-分配装置(404)，用于通过使用所述曲率向量确定什么在所述轮廓之内和在所述轮廓之外来使用所述曲率向量确定相对深度排序，以及基于曲率向量(108-114)来分配与第一像素相对应的第一深度值，使得在所述轮廓之内的像素的深度值表示离观察者的深度比在所述轮廓之外的像素的深度值更近，其中所述分配装置基于各个曲率向量(108-114)来计算深度导数以及基于第一深度导数来计算第一深度值，所述深度导数的计算使得：基于第一曲率向量的长度来计算第一深度导数的大小，并且第一深度导数的方向与第一曲率向量平行。

5.一种图像处理设备(500)，包括：

-接收装置(502)，用于接收与图像(100)相对应的信号；和

-如权利要求4所述的用于产生深度图的深度图产生设备(401)。

Images