CN101536534B

CN101536534B - 视频深度图对准

Info

Publication number: CN101536534B
Application number: CN2007800407497A
Authority: CN
Inventors: S·德瓦尔; P·S·牛顿; H·李; M·巴比里; J·韦达
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-10-30
Filing date: 2007-10-26
Publication date: 2011-07-06
Anticipated expiration: 2027-10-26
Also published as: JP5462629B2; US20100067864A1; JP2010508691A; US8358301B2; CN101536534A; EP2080385A1; WO2008053417A1

Abstract

一种用于产生视频序列的深度图的系统(1)，包括由网络(N)连接起来的客户机(C)和服务器(S)。在客户机(C)处可用的次级视频序列(M*)是从在服务器(S)处可用的初级视频序列(M)中得出的，初级视频序列(M)具有初级深度图(D)。该服务器包括用于向该客户机传送初级深度图(D)的传送单元。该客户机包括：对准单元，用于将初级深度图(D)与次级视频序列(M*)对准，以便产生对准信息(AI)；和，得出单元，用于使用对准信息(AI)从初级深度图(D)中得出次级深度图(D*)。

Description

视频深度图对准

技术领域

本发明涉及视频深度图对准。更加具体地讲，本发明涉及一种用于通过编辑或其它处理产生从初级视频序列中得出的次级视频序列的深度图的方法和系统。

背景技术

产生视频序列(比如运动图像或任何其它图像序列)的深度图是公知的，该深度图提供使二维(2D)图像能够得被转换为三维(3D)图像的深度信息。

例如，美国专利US 6377257(IBM)公开了一种用于生成和在计算机网络上传递合成内容的图像的系统，所述合成内容包含三维几何模型。该系统使用服务器计算机和客户计算机，并且视频流可以包含用于服务器所呈现的对象的与时间有关的深度图。视频序列被从该服务器发送到该客户机进行本地呈现，如果该客户机不具备3D能力，则不传送该深度图。

在一些应用中，视频序列可能在客户机中已经是可用的，并且深度图可能在以后被添加。当用户拥有二维运动图像的录制版本并且想要增加深度以获得三维运动图像时，可能是这种情况。运动图像的录制版本可以例如被存储在DVD(数字通用光盘)上、在硬盘式摄像机上或者在计算机系统的硬盘上。应该可以从(远程)服务器中获得与运动图像相关联的深度图。不过，录制版本通常与原始版本不相同。录制版本可以例如是从电视中录制的。与原始版本不同，运动图像的电视版本可能包含广告，同时某些暴力镜头可能已经被删除。此外，录制时间可能与电视播出的持续时间不完全一致，并且用户可能已经编辑过她的版本。出于这些原因，可从服务器得到的深度图通常会与录制的视频序列并不匹配，这导致不希望有的深度失配。

当然，也可能从服务器获得视频序列的原始版本(就是说，与深度图匹配的版本)并且对初级的(原始的)与次级的(修改过的)视频序列进行对准，以便为深度图获得正确的对准。不过，传送原始的或修改过的视频序列都需要相对较大的带宽，同时大量信息是重复的，因为服务器处的大部分原始视频序列与客户机处的修改过的(例如经过编辑的)视频序列是相同的。

发明内容

本发明的一个目的是克服现有技术的这些和其它问题并且提供一种用于产生次级视频序列的深度图的方法和系统，所述次级视频序列是从原始或初级视频序列得出的，所述方法和系统避免了初级或次级视频序列的传送，同时提供了深度图与次级视频序列之间的优良匹配。

因此，本发明提供了一种用于产生次级视频序列的次级深度图的方法，其中次级视频序列从具有初级深度图的初级视频序列得出，其中次级视频序列在客户机处是可用的并且其中初级深度图在服务器处是可用的，所述客户机和服务器通过网络被连接，该方法包括下列步骤：

从服务器向客户机传送初级深度图，

在客户机处，将初级深度图与次级视频序列对准，以便产生对准信息，和

在客户机处，使用所述对准信息从初级深度图得出次级深度图。

通过在客户机处将初级深度图与次级深度图对准以产生对准信息并且基于初级深度图和所述对准信息得出次级深度图，不用传送初级视频序列就可以获得次级深度图。次级深度图通常将与次级视频序列完美地对准，因此完全补足了次级视频序列而不引入任何伪影。通过仅仅传送初级深度图(加上除初级视频序列以外的任何可选的附加数据)，极大地节约了带宽。

初级深度图与次级视频序列的对准包括将深度图的图像与视频序列的图像进行匹配，以便产生表示各图像的对应关系的对准信息。所述对应关系可以通过使用应用于单个图像或者应用于这些图像的特征的相似度度量(比如互相关)来确定。对准信息可以例如表示(初级)深度图的哪个图像与(次级)视频序列的图像相对应，例如通过列出相关图像编号来表明。取代于图像号码，可以使用其它的指示符或标记，比如从某一点开始的持续时间、时间标记等。

使用对准信息从初级深度图中得出次级深度图的步骤可以例如包括使用包含在对准信息中的任何图像编号或其它指示符来从初级深度图中选择对应的段并且将所选择的段编辑成与次级视频序列对应的次级深度图。

在客户机处将初级深度图与次级视频序列对准的步骤可以包括：

从次级视频序列中提取特征，

从初级深度图中提取特征，和

对所提取的特征进行匹配。

通过从次级视频序列和初级深度图二者中提取特征，能够实现相对简单的对准。所提取的特征可以包括镜头切换(即，场景变化)、颜色和/或亮度统计结果(比如亮度直方图)、边缘图像等。匹配步骤可以包括相似度度量，比如互相关、距离等等。

在一种可替换的实施方式中，将初级深度图与次级视频序列对准的步骤可以包括：

从次级视频序列中得出初步的次级深度图，和

对初步的次级深度图和初级深度图进行匹配。

在这一实施方式中，初步的次级深度图是使用本身可能公知的技术在客户机处从次级视频序列得出的。然后将这一初步次级深度图与从服务器接收的初级深度图进行匹配。该匹配步骤可能在特征提取步骤之后进行。这一实施方式涉及对准步骤中减少的数据量，因为深度图通常比他们被从中得出的视频序列包含更少的信息。

在以上提到的实施方式中，对准是在客户机处进行的。不过，本发明并不限于此，并且在可替换的的实施方式中，该对准是在服务器处进行的。因此，本发明还提供了一种用于产生次级视频序列的次级深度图的方法，其中次级视频序列从具有初级深度图的初级视频序列被得出，其中次级视频序列在客户机处是可用的，并且其中初级视频序列和初级深度图在服务器处是可用的，所述客户机和服务器通过网络被连接，该方法包括下列步骤：

在服务器处，从初级视频序列中提取初级特征，

在客户机处，从次级视频序列中提取次级特征，

从客户机向服务器传送次级特征，

在服务器处，将初级特征与次级特征对准，以便产生对准信息，

在服务器处，使用对准信息从初级深度图中得出次级深度图，和

从服务器向客户机传送次级深度图。

通过在客户机处从次级视频序列中提取特征，可以在不传送次级视频序列的情况下在服务器处执行对准。相反，所提取的特征被传送，这导致带宽需求相对于传送次级视频序列本身而言要低。次级深度图的特征提取、对准和得出可以与第一实施方式中它们的对应部分相同，只不过在第一实施方式中这些步骤是在客户机处执行的。在服务器处执行这些步骤所具有的优点是，服务器通常具有比客户机更强的处理能力，这使所述方法步骤被更快地执行。

将会理解，这一第二实施方式和前面讨论的第一实施方式二者都具有既不传送初级视频序列也不传送次级视频序列的优点，因此节省了带宽。

在第三实施方式中，在服务器处进行的提取步骤包括从初级深度图中提取特征，而不是从初级视频序列中提取特征。因此，在这一实施方式中，初级特征以初级深度图为基础并且被与从次级视频序列中提取的次级特征相比较。这一第三实施方式所具有的优点是，需要较少的处理能力，因为深度图通常包含比对应的视频序列更少的信息。

本发明还提供了一种用于检测视频序列中的广告或其它添加的场景的方法和系统。取代于或附加于产生次级深度图，可以使用对准信息来表示次级视频序列的哪些部分在原始的、初级视频序列中不存在。

本发明还提供了一种用于执行上面所定义的方法的计算机程序产品。计算机程序产品可以包括存储在诸如CD或DVD之类的数据载体上的一组计算机可执行指令。使可编程计算机能够执行上面所定义的方法的这一组计算机可执行指令也可以通过从远程服务器上下载(例如，经由因特网)来得到。

本发明此外还提供了一种用于产生次级视频序列的次级深度图的系统，其中次级视频序列从具有初级深度图的初级视频序列中被得出，其中次级视频序列在客户机处是可用的并且其中初级深度图在服务器处是可用的，客户机和服务器通过网络连接起来，在该系统中，服务器包括：

传送单元，用于向客户机传送初级深度图，并且该客户机包括：

对准单元，用于将初级深度图与次级视频序列对准，以便产生对准信息，和

得出单元，用于使用对准信息从初级深度图得出次级深度图。

这一系统具有与相应方法相同的优点。

在按照本发明的系统的第二实施方式中，客户机包括用于从次级视频序列中提取次级特征的客户机提取单元和用于向服务器传送所提取的次级特征的客户机传送单元，而服务器包括用于从初级视频序列中提取特征的服务器提取单元并且对准单元位于服务器处，从而在服务器处产生次级深度图。在这一第二实施方式中，服务器传送单元向客户机传送次级深度图，而不是传送初级深度图。

在按照本发明的系统的第三实施方式中，服务器提取单元从初级深度图中提取特征，而不是从初级视频序列中提取。

本发明的系统还可以用作用于检测视频序列中的广告或其它添加的场景或图像的广告检测器。

本发明此外还提供了用在上面所定义的系统中的客户机单元和服务器单元。客户机单元可以包括计算机系统、数字电视装置、硬盘式摄像机或者任何其它适当的设备。服务器单元可以包括配备有用于执行本发明的方法步骤的适当软件程序的专用或通用计算机系统。

附图说明

下文中将会参照附图中所图示的示例性实施方式进一步解释本发明，其中：

附图1示意性地示出了本发明方法的第一实施方式。

附图2示意性地示出了本发明方法的第二实施方式。

附图3示意性地示出了本发明方法的第三实施方式。

附图4示意性地示出了本发明方法的第四实施方式。

附图5示意性地示出了按照本发明的视频发布系统。

附图6示意性地示出了通过本发明减轻的原始的与录制视频序列之间的偏差。

附图7示意性地示出了用在按照本发明的方法和系统中的客户机单元。

附图8示意性地示出了用在按照本发明的方法和系统中的服务器单元。

具体实施方式

附图1中仅仅以非限制性的实例所示出的本发明的方法涉及借助网络N被连接或可被连接的客户机C和服务器S。如附图5中所示，客户机C可以包括硬盘式摄像机和电视装置，和/或诸如计算机系统的等效装置，而服务器S可以包括运行适当软件程序的专用计算机系统或通用计算机系统。网络N可以包括因特网、POTS(普通老式电话业务)网络、ISDN网络、LAN(局域网)、直接电缆连接和/或服务器S与客户机C之间的任何其它适当的链路。

在服务器S处，原始的或初级的视频序列M是可用的。这个初级视频序列(可以例如是运动图像或视频片段)可以存储在服务器自身的硬盘或其它存储设备上，或者存储于外部的，但可与服务器S连接的存储设备处。与初级视频序列M对应的原始的或初级的深度图D在服务器处也是可用的。这一深度图D包含使适当的视频呈现设备能够产生视频序列M的三维呈现的信息。换句话说，深度图D包含附加的深度信息。这一深度信息可以是为每个视频序列图像单独提供的，但是通常是为每个图像组(例如序列的一组5个、10个或20个连续图像)提供的，以减小所需的数据量，客户机C处的视频呈现装置能够对深度信息进行内插和/或外插，以便为视频序列的每个单个图像产生深度信息。

客户机C存储着视频序列的修正版本M*。修正的或次级视频序列M*可以是通过编辑、在引入误差的时候进行的拷贝等等从初级视频序列M得来的。这在附图6中进行了图解说明，其中存储在附图5的系统中的服务器S处的原始(初级)视频序列M被显示为具有长度L。这个原始视频序列M可能包括未播出的或者已经从租赁或下载版本中被删除了的暴露镜头。次级视频序列M*可以是通过录制广播、拷贝DVD(数字通用光盘)或从因特网下载而获得的。广播版本通常包含广告Y。当用户录制广播视频序列时，录制起始时间和广播起始时间之间可能存在偏差，这导致在实际的视频序列之前和之后分别增加了持续时间X和Z。结果，修正的(次级)视频序列M*具有大于原始长度L的长度L*。即使除掉广告Y和增加的段X和Z，原始视频序列M与录制视频序列M*之间仍然会存在偏差。这一偏差可能通过任何质量损失而被加剧，例如通过从模拟源(模拟电视或VHS录像带)中录制。结果，原始深度图D将不与录制视频序列M*匹配，这可能导致图像失真和不希望有的伪影。

为了解决这个问题，当然可以从服务器向客户机(重新)传送原始视频序列M。不过，这需要相当大量的带宽(即，数据传输容量)并且会导致视频数据倍增。此外，对于客户而言，不太可能存储原始视频序列的精确拷贝，例如当客户使用模拟录像机时。

按照本发明，不会传送或重新传送原始视频序列M。而是，会传送原始(初级)深度图D以在客户机处产生修正(次级)深度图D*(附图1和2)，或者传送修正的(次级)视频序列M*的特征以在服务器处产生修正的(次级)深度图D*(附图3和4)。将会理解，深度图通常包含比对应的视频序列少得多的信息，所以传送深度图而不是视频序列会带来带宽明显减小的结果。类似地，视频序列的特征通常也包含比该视频序列本身少得多的信息，并且在这种情况下也可以实现带宽明显减小。

在附图1中，示意性地图解说明了本发明的第一实施方式的方法步骤。在服务器S处，初级视频序列M和相关联的深度图D是可用的，而在客户机C处，次级视频序列M*是可用的。要注意的是，在服务器处和在实施本发明的时候初级视频序列M的可用性并非必要的。

按照本发明，初级深度图D从服务器S经由网络N被传送到客户机C，以便在客户机处得出次级深度图D*，而并没有传送原始视频序列M(要注意的是，原始视频序列M可以在早前的阶段被传送，这产生了修正视频序列M*；本发明尤其适用于在客户机处次级视频序列M*可用的情形)。如上所述，网络N可以由单独一条电缆构成，但是通常由因特网和/或电话网构成。

在客户机C处，将次级视频序列M*与初级深度图D对准(步骤AL)，以产生表示序列M*与深度图D的对准(或″匹配″)的对准信息AI。然后使用对准信息AI来调整或″编辑″(步骤ED)初级深度图D，以便得出与客户机的次级视频序列M*对应的次级、经过调整的深度图D*。可以将次级深度图D*和次级视频序列M*馈送给适于三维观看的呈现设备，比如3D电视机。

在附图1的实施方式中，初级深度图D与次级视频序列M*的对准(步骤AL)跟在可选的特征提取(FE)步骤之后，所述特征提取步骤分别产生初级深度图特征FD和次级视频序列特征FM*。特征的在先提取通过减少所涉及的数据量方便了对准。

可以提取各种特征并且将它们单独地或组合地用于对准。非常合适的特征是镜头切换(就是说，场景变化)，因为镜头切换检测方式是公知技术。其它特征包括颜色(包括颜色统计结果)、亮度(包括亮度直方图)、边缘图、峰值和/或谷值等等。如果视频序列伴有音频序列，则还可以使用音频特征，例如静默期。原则上，可以使用使初级深度图D与次级视频序列M*的图像(组)对应关系能够被确定的任何特征。对准(AL)步骤可以包括近似字符串匹配这一公知技术。取代于或附加于使用特征，可以使用像素相关技术。

编辑(ED)步骤牵涉到对准信息AI和初级深度图D二者，以便得出次级深度图D*。这一编辑步骤可能包括对深度图D的所选定的段进行解码，所述选定的段由对准信息表示。随后对这些段重新编码，以创建次级深度图D*。

在附图2的实施方式中，对准(AL)步骤前面还有深度图估计(DME)步骤，该深度图估计步骤产生从次级视频序列M*得出的初步次级深度图D**。深度图得出技术本身是公知的。初步次级深度图D**可以直接与初级深度图D对准，或者如附图2中所示经由各自的特征提取(FE)步骤而被对准。特征从深度图中的提取可以与特征从视频序列中的提取相同。

除了初级深度图D之外，还可以从服务器S向客户机C传送与初级视频序列M相关联的元数据。适当的元数据可以包括时间戳、镜头切换指示符、入口点等等。

在附图1和2的实施方式中，次级深度图D*的对准和产生是在客户机C处进行的。在附图3和4的可替换的实施方式中，这些步骤是在服务器S处进行的。

如附图3中所示，在特征提取(FE)步骤，首先在客户机C处提取次级视频序列M*的特征FM*。这个步骤明显减少要传送到服务器S的数据量。在服务器处，还要提取初级视频序列M的特征FM，这允许了特征FM与FM*的对准，并得到对准信息AI。在编辑(ED)步骤，使用这一对准信息AI来″编辑″初级深度图D，以产生次级深度图D*，然后将次级深度图D*传送到客户机C。可以看出，这些步骤紧密地对应于附图1的实施方式的步骤。

附图4的实施方式基本上与附图3的实施方式相同，除了在服务器处进行的特征提取之外。而在附图3的实施方式中，在服务器处提取初级视频序列M的特征FE，在附图4的实施方式中，提取(步骤FE)初级深度图D的特征FD。这消除了初级视频序列M存在于服务器S端的必要。

在附图7中，示意性地图解说明了客户机单元10的示例性的实施方式。在附图7的仅仅为示例性和非限制性的实施方式中，客户机单元10包括第一特征(FE)提取单元11、第二特征提取(FE)单元12、对准(AL)单元13、编辑(ED)单元14、组合(CO)单元15、存储(ST)单元16、接口(IF)单元17和可选的深度图估计(DME)单元18。客户机单元10可以包括其它部件，这些其它部件出于图示简明的原因而没有示出，比如传送单元。

存储单元16存储次级视频序列M*，该次级视频序列M*被直接或经由可选的深度图估计单元18馈送给第一特征提取单元11。接口单元17从服务器(附图1中的S)接收初级深度图D并且将这一深度图D馈送给第二特征提取单元12。在对准单元13中将所提取的特征对准(就是说，匹配)，并且将得到的对准信息与初级深度图D一起馈送给编辑单元14。将由编辑单元14产生的次级深度图D*馈送给组合单元15，在组合单元15中，将次级深度图D*与次级视频序列组合起来并且传送给适当的呈现设备，比如3D电视设备。

在附图8中，示意性地图解说明了服务器单元20的示例性的实施方式。在附图8的仅仅为示范性和非限制性的实施方式中，服务器单元20包括特征提取(FE)单元21、对准(AL)单元23、编辑(ED)单元24、存储(ST)单元26、接口(IF)单元27和传送(TR)单元29。服务器单元20可以包括其它部件，这些其它部件出于图示简明的原因而没有示出。

初级深度图D和(可选地)初级视频序列M保存在存储单元26中，存储单元26将深度图D馈送给编辑单元24并且将深度图D或初级视频序列M馈送给特征提取单元21。接口单元27从客户机C中接收从次级视频序列中提取的特征FM*并且将这些特征传给对准单元23，对准单元23还接收由提取单元21提取的特征。由编辑单元24使用所得到的对准信息以及初级深度图来产生次级深度图D*，由传送单元29将该次级深度图D*传送到客户机。

本发明还可以用于广告检测。如附图6中所示，广告Y可能会中断原始视频序列M。在这些广告期间，初级深度图D将不再与次级视频序列M*匹配。更加具体地讲，在广告期间不再可能对准。结果，对准信息(附图1-4中的AI)表示(初级)视频序列的广告和类似中断的存在与否。

可以将本发明概括为一种用于产生次级视频序列的次级深度图的方法，其中次级视频序列在之前已经从具有初级深度图的初级视频序列中被得到，其中次级视频序列在客户机处是可用的并且其中初级视频序列和初级深度图在服务器端是可用的，所述客户机和服务器由网络连接，该方法排除了在服务器和客户机之间传送视频序列的步骤。

本发明所基于的认识是，通过从初级深度图中或从次级视频序列中提取特征并且通过从初级深度图和所提取的特征中得出次级深度图，能够避免视频序列的传送。

必须注意的是，本文中使用的任何术语都不应被解释为限制本发明的范围。具体地说，词″包括″和“包含”并不意味着排除任何未明确列出的要素。单个的(电路)要素可以由多个(电路)要素或者它们的等价物来替代。

本领域技术人员将会理解，本发明并不局于上面图解说明的实施方式，而是在不偏离所附权利要求中限定的本发明的范围的情况下，可以做出很多的改变和附加。

Claims

1.一种用于产生次级视频序列(M*)的次级深度图(D*)的方法，其中次级视频序列(M*)从具有初级深度图(D)的初级视频序列(M)中得到，其中次级视频序列(M*)在客户机(C)处是可用的并且其中初级深度图(D)在服务器(S)处是可用的，所述客户机和服务器通过网络(N)而被连接，该方法包括下列步骤：

-从该服务器向该客户机传送初级深度图(D)，

-在该客户机处，将初级深度图(D)与次级视频序列(M*)对准，以便产生对准信息(AI)，和

-在该客户机处，使用对准信息(AI)从初级深度图(D)中得出次级深度图(D*)。

2.按照权利要求1所述的方法，其中该对准步骤包括：

-从次级视频序列(M*)中提取特征，

-从初级深度图(D)中提取特征，和

-对所提取的特征进行匹配。

3.按照权利要求1所述的方法，其中该对准步骤包括：

-从次级视频序列得出初步次级深度图(D**)，和

-对初步次级深度图(D**)与初级深度图(D)进行匹配。

4.按照权利要求1所述的方法，其中初级视频序列(M)也在服务器(S)处是可用的。

5.一种用于产生次级视频序列(M*)的次级深度图(D*)的方法，其中次级视频序列(M*)是从具有初级深度图(D)的初级视频序列(M)中得出的，其中次级视频序列(M*)在客户机(C)处是可用的并且其中初级视频序列(M)和初级深度图(D)在服务器(S)处是可用的，所述客户机和服务器通过网络(N)而被连接，该方法包括下列步骤：

-在该服务器处，从初级视频序列(M)中提取初级特征(F)，

-在该客户机处，从次级视频序列(M*)中提取次级特征(F*)，

-从该客户机向该服务器传送次级特征(F*)，

-在该服务器处，将初级特征(F)与次级特征(F*)对准，以便产生对准信息(AI)，

-在该服务器处，使用对准信息(AI)从初级深度图(D)中得出次级深度图(D*)，和

-从该服务器向该客户机传送次级深度图(D*)。

6.按照权利要求2或5所述的方法，其中所提取的特征包括镜头切换、边缘图、颜色统计结果和/或亮度统计结果。

7.按照权利要求5所述的方法，其中在该服务器处进行的提取步骤包括从初级深度图(D)中提取特征，而不是从初级视频序列(M)中提取特征。

8.按照权利要求1或5所述的方法，其中该对准步骤还包括从服务器(S)向客户机(C)传送的元数据。

9.一种用于产生次级视频序列(M*)的次级深度图(D*)的系统(1)，其中次级视频序列(M*)从具有初级深度图(D)的初级视频序列(M)中得出，其中次级视频序列(M*)在客户机(C)处是可用的并且其中初级深度图(D)在服务器(S)处是可用的，所述客户机和服务器通过网络(N)而被连接并且分别包括客户机单元和服务器单元，服务器单元(20)包括：

-传送单元(29)，用于向该客户机传送初级深度图(D)，

而客户机单元(10)包括：

-对准单元(13)，用于将初级深度图(D)与次级视频序列(M*)对准，以便产生对准信息(AI)，和

-得出单元(14)，用于使用对准信息(AI)从初级深度图(D)得出次级深度图(D*)。

10.按照权利要求9所述的系统，其中客户机单元(10)包括：

-第一提取单元(11)，用于从次级视频序列(M*)中提取特征，

-第二提取单元(12)，用于从初级深度图(D)中提取特征，和

其中，所述对准单元被用于对准所提取的特征。

11.按照权利要求9所述的系统，其中客户机单元(10)包括：

-另一个得出单元(18)，用于从次级视频序列得出初步次级深度图(D**)，和

其中，所述对准单元被用于将初步次级深度图(D**)与初级深度图(D)对准。

12.按照权利要求11所述的系统，还包括：

-第一提取单元(11)，用于从初步次级深度图(D**)中提取特征，

-第二提取单元(12)，用于从初级深度图(D)中提取特征。

13.一种用于产生次级视频序列(M*)的次级深度图(D*)的系统(1)，其中次级视频序列(M*)从具有初级深度图(D)的初级视频序列(M)中得出，其中次级视频序列(M*)在客户机(C)处是可用的并且其中初级视频序列(M)和初级深度图(D)在服务器(S)处是可用的，所述客户机和服务器通过网络(N)而被连接，在该系统中，该客户机包括：

-客户机提取单元(11)，用于从次级视频序列(M*)中提取次级特征(F*)，

-客户机传送单元(15)，用于向该服务器传送次级特征(F*)，并且其中该服务器包括：

-服务器提取单元(21)，用于从初级视频序列(M)中提取初级特征(F)，

-对准单元(23)，用于将初级特征(F)与次级特征(F*)对准，以便产生对准信息(AI)，

-得出单元(24)，用于使用对准信息(AI)从初级深度图(D)得出次级深度图(D*)，和

-服务器传送单元(29)，用于向该客户机传送次级深度图(D*)。

14.按照权利要求10或13所述的系统，其中所提取的特征包括镜头切换、边缘图、颜色统计结果和/或亮度统计结果。

15.一种用在按照权利要求9所述的系统中的客户机单元(10)，所述客户机单元包括：

16.一种用在按照权利要求13所述的系统中的客户机单元(10)，所述客户机单元包括：

-客户机传送单元(15)，用于向该服务器传送次级特征(F*)。

17.一种用在按照权利要求13所述的系统中的服务器单元(20)，所述服务器单元包括：

-服务器传送单元(29)，用于向该客户机传送次级深度图(D*)。