CN104412595A - 根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备 - Google Patents

根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备 Download PDF

Info

Publication number
CN104412595A
CN104412595A CN201380024059.8A CN201380024059A CN104412595A CN 104412595 A CN104412595 A CN 104412595A CN 201380024059 A CN201380024059 A CN 201380024059A CN 104412595 A CN104412595 A CN 104412595A
Authority
CN
China
Prior art keywords
view
image
pixel
occlusion image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380024059.8A
Other languages
English (en)
Other versions
CN104412595B (zh
Inventor
M·格兰齐托
M·卢森特福特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel Technology SRL
Sisvel SpA
Original Assignee
Sisvel SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel SpA filed Critical Sisvel SpA
Publication of CN104412595A publication Critical patent/CN104412595A/zh
Application granted granted Critical
Publication of CN104412595B publication Critical patent/CN104412595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

描述了一种通过从视频图像的序列开始生成三维视频流的方法，所述序列包含第一视图(V0)、场景的至少一个第二视图(V1)、以及所述第一视图(V0)的深度图(D0)、或者所述至少一个第二视图(V1)相对于第一视图(V0)的视差图，对于一个图像，所述方法包含以下步骤：通过从所述深度图(D0)或者从所述视差图开始，获得包含所述第二视图(V1)的被遮蔽像素的至少一个遮蔽图像(O1)；通过空间重新放置所述至少一个遮蔽图像(O1)的所述被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成压紧的遮蔽图像(OC1)；对于一个图像，所述三维视频流包含所述第一视图(V0)、所述深度图(D0)或所述视差图、和所述至少一个压紧的遮蔽图像(OC1)。

Description

根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备
技术领域
本发明涉及处理三维视频信号的系统的领域，更具体地，涉及根据遮蔽图的使用来生成和重构三维视频流的方法和对应的生成和重构设备。
背景技术
立体(即，三维)视频应用的发展极大地取决于表现和压缩三维视频信号的高效格式的可用性。此外，在电视广播应用(3D-TV)中，必须维持与现有2D系统的最大可能程度的向下兼容性。
目前最普及的技术解决方案基于所谓的“帧兼容排列”，其中如果需要或者适宜，那么与相同时刻相关的两个视图(待分别呈现给左眼和右眼的视频图像)被适当地重新缩放，随后放在一起，以形成单一图像。最典型的解决方案被称为上下排列和并排排列，其中使两个视图一个在另一个之上，或者从左到右并排地进入单一帧中。这些解决方案允许利用全部的现有视频信号分发基础设施(地面、卫星或有线广播，或者经IP网络的流式传输)，不需要新的表现和压缩标准。另外，AVC/H.264编码标准已包括用信号发送立体信号的这种构成的可能性，以致立体信号可被接收器正确地重构和显示。
比立体视学更先进的应用利用多于两个视频，导致必须表现、编码和传送更大的一组视频序列。在这种帧中，现有技术用MVC标准(AVC/H.264的附件G)表示。MVC利用已知的变换类混合视频编码范例，允许消除各个视图之间的某些冗余。对于盘保存的立体视频和蓝光播放器，选择了所述标准。
最后，另一种可能性由不仅利用视频信号的3D视频表现组成。最著名的例子由称为视频加深度图(V+D，即视频+深度)的方法，及其具有更多视图和深度图的变形代表。深度图使新方法，比如合成几乎接近主视图的中间视点的可能性能够与自立体3D显示器一起使用。目前仅仅存在一种用信号发送这种格式的标准，即，MPEG-C。利用适当的传感器，可以估计或测量深度图的值。所述值通常被表示成具有256灰度级的图像，并利用标准技术(MPEG-x，H.26x)压缩。
已知解决方案的技术问题和缺陷
目前可用的解决方案存在许多技术问题和缺陷。
帧打包排列方法只允许表现两个视图，从而在空间分辨率方面牺牲图像质量。它们还对标准压缩器的效率存在不利影响，同时还不能生成中间视点。
MVC标准的使用和具有许多视点的序列的使用会造成许多问题。首先，MVC编码器的效率随内容的类型而变化很大，编码增益通常相当低。对具有许多视图的情况来说，编码效率的确不足。另外，视图间编码选项的计算成本很高。
V+D表现看起来在编码效率和生成中间视点的可能性方面都有前途。
迄今提出的压缩深度信号D(Depth)的系统使用标准编码器或者专门设计的解决方案。在两种情况下，已观察到与视频相比，信号D更易于压缩，从而需要较小的带宽。V+D系统的最关健方面是可从V+D开始合成的图像的质量。给定视图和相关的深度图，除了由于几何原因或深度估计误差而被遮蔽的一些区域之外，可以生成新的视图。这需要利用插值和/或修补机制(即，缺失或破坏的部分的重构)，这通常产生质量并非最佳的图像。为了减少遮蔽，另一种选择是增大在合成处理中使用的视图和深度图的数目。例如，MPGE标准化委员会使用的软件通过从2个视图和2个深度图开始，产生中间视图；一方面，这通过减少合成图像的被遮蔽区域，改善合成图像的质量，但是另一方面，它需要两个视频信号的压缩，从而就传输带宽占用来说，使这种解决方案不是很可行。一种可能的备选方案是在编码阶段，估计被遮蔽的区域，以便编码它们，随后把它们明确地发送给解码器，从而解码器能够重构质量更好的补充视图。
US专利2010/0195716 A1提出只编码仅仅一个视图(中间的一个视图)以及关联的深度图，并在编码处理中，估计将用于视图合成和立体视觉的右视图和左视图的被遮蔽区域。通过利用固定值(例如，值0)，明确地用信号发送未被遮蔽的区域，而被遮蔽像素构成图像的有限部分；这样获得的由只包含对解码处理有用的那些被遮蔽像素的图像组成的视频信号可由标准编码器压缩。测试已表明所需的比特率可达到3D视频的总比特率的较大百分比，尽管被遮蔽像素通常远远小于包含在一个图像中的像素的总数。
于是，需要借助能够降低为存储和/或传输遮蔽图像所需的比特率的适当技术来优化遮蔽图像的压缩。另外，适当的是采用被遮蔽区域的一般有限的扩展，以便通过利用不论何时可能的现有编码设备和解码设备，确保其更高效的编码和复用。
发明内容
因此，本发明的一个目的是提供一种根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备，所述方法和设备适合于克服所有上述缺陷。
本发明属于例如V+D编码的范围。
生成的视频流可经历编码，以便传输，随后经历解码，以便接收。作为备选方案，可在生产阶段，例如在其中编码操作是可选的可移除存储介质(DVD、蓝光等)上，对未压缩的立体内容进行存储和/或视频编辑操作。
在一个可能的实施例中，通过从基准视图(例如，左视图)、对应的深度图、和与另一个视图(例如，右视图)的遮蔽对应的视频序列开始，对图像序列编码，来编码立体视频。
序列的类属图像的遮蔽图由表示一个视图相对于基准视图(也称为主视图)的被遮蔽像素的位置的图像组成；它是通过利用左视图和对应的深度图获得的。例如，可以把相同的合成算法用于右视图，以便定位不能被合成，并且称为遮蔽的那些像素。
可以可替换地利用其它技术，例如根据识别具有较大深度变化的区域的深度图的导数，估计被遮蔽的区域；具有较大深度变化的区域一般对应于当视点被改变时产生遮蔽的前景中的物体的边缘。无论如何，在生成阶段计算的遮蔽的位置的映射，和其可能的编码是作为后续压缩操作的函数进行的，不过不必被明确地编码和传送给解码器。事实上，在重构阶段，根据相同的重构视图和深度，能够重复在生成阶段进行的估计，从而隐含地获得遮蔽的位置，即，相同的遮蔽映射。
于是，本发明提供识别被遮蔽图像，以使通过编码操作进行的被遮蔽图像的后续压缩更高效的选择。解码器必须通过采用遮蔽图的知识，进行该操作的逆操作。如下所述，所述图可由解码器重新获得，而不需要明确地编码和传送所述图。
当重构视频流时，可能在视频流已被编码和传送之后，必须知道并且可能被明确地编码和传送的是被遮蔽像素的值，同时在重构阶段，可隐含地获得被遮蔽像素和它们所属于的位置之间的对应性，根据下面的详细说明，这将变得清楚。
本发明利用在生成阶段和视频流重构阶段的相同遮蔽映射信息的可用性，更有效地表现与所述遮蔽相关的视频信息，从而使得能够减小为包含遮蔽图的视频流的可能编码所需的比特率，和减小图像的尺寸，并且在本发明的一些实施例，还降低其频率。
特别地，由于当重构视频流时，被遮蔽像素的位置是隐含地已知的，因此在生成阶段，能够按照目的在于改善遮蔽图像的可压缩性的策略，将被遮蔽像素重新放置在遮蔽图像中。例如，可以逐行地工作，并朝着左边缘对齐所有的被遮蔽像素，从而把被遮蔽图像压挤到比图像小的区域中。
当逐行地，并且例如从左到右，或者如先前在生成阶段一样地以任何方式处理被遮蔽像素时，可在重构阶段翻转像素的这种空间重组。通过知道遮蔽的映射，第m行的第n个像素被再次放入与遮蔽图的第m行的第n个被遮蔽像素对应的位置；从而把被遮蔽像素的值正确地放回它们的初始位置。最后，通过从左视图和深度图开始，利用合成算法，合成右视图；通过上述过程，能够获得其中合成处理不成功的被遮蔽区域。
按照本发明，可以使用目的在于改善后续压缩过程的被遮蔽像素的任何其它空间重组。
如下更详细所述，在某些条件下，这种空间重组操作允许减少为按照V+D+O模式(它代表视频+深度+遮蔽或者视频+视差+遮蔽，也称为VDO)表现给定立体内容，即，包含视图序列、深度或视差序列和遮蔽序列，所需的图像的数目，因为多个适当压紧的图像(它们包含在不同时刻获得的视图的遮蔽)可被一起放入由多个压紧的组成图像构成的复合图像中。
按照权利要求1，本发明的特定目的是提供一种通过从视频图像序列开始生成三维视频流的方法，所述序列包含第一视图、场景的至少一个第二视图、以及所述第一视图的深度图、或者所述至少一个第二视图相对于第一视图的视差图，对于一个图像，所述方法包含以下步骤：从所述深度图或者从所述视差图开始，获得包含所述第二视图的被遮蔽像素的至少一个遮蔽图像；通过空间重新放置所述至少一个遮蔽图像的所述被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成压紧的遮蔽图像；对于一个图像，所述三维视频流包含所述第一视图、所述深度图或所述视差图、和所述至少一个压紧的遮蔽图像。
按照权利要求13，本发明的另一个目的是提供一种通过从视频图像序列开始生成三维视频流的设备，所述设备适合于实现所述生成三维视频流的方法。
按照权利要求16，本发明的另一个目的是提供一种重构包含视频图像序列的三维视频流的方法，对于一个图像，所述方法包含以下步骤：接收所述视频图像序列的第一视图、所述第一视图的深度图、或所述第一视图和所述视频图像序列的至少一个第二视图之间的视差图，和通过空间重新放置所述至少一个第二视图的至少一个遮蔽图像的被遮蔽像素以便彼此将所述像素移动到彼此更靠近而获得的至少一个压紧的遮蔽图像；获得至少一个重构的遮蔽图像，所述至少一个重构的遮蔽图像包含所述至少一个第二视图的被遮蔽像素，所述至少一个第二视图的被遮蔽像素被重新放置为获得所述至少一个压紧的遮蔽图像而进行的压紧操作之前它们所在的位置；通过从所述第一视图、从所述深度图、或者分别地从所述视图图、和从所述至少一个重构的遮蔽图像开始，重构所述至少一个第二视图；所述重构的三维视频流包含所述接收的第一视图和所述至少一个重构的第二视图。
按照权利要求20，本发明的另一个目的是提供一种重构三维视频流的设备，所述设备适合于实现所述重构三维视频流的方法。
按照权利要求25和26，本发明的另一个目的是提供一种通过从视频图像序列开始生成三维视频流的方法和关联设备，所述方法和设备适合于处理多于2个视图的许多视图。
按照权利要求27和28，本发明的另一个目的是提供一种通过从视频图像序列开始重构三维视频流的方法和关联设备，所述方法和设备适合于处理多于2个视图的许多视图。
按照权利要求24，本发明的另一个目的是提供一种表现三维图像序列的视频流。
如在作为本说明的组成部分的附加权利要求中记载的，本发明的一个特殊目的是提供一种根据遮蔽图的使用来生成和重构三维视频流的方法，以及对应的生成和重构设备。
附图说明
根据优选实施例(及变形例)的以下详细说明，以及根据只是作为非限制性例子提供的附图，本发明的其它目的和优点将变得明显，附图中：
图1是按照本发明的三维视频信号生成器的方框图；
图1bis表示图1的示图的变形；
图1ter表示图1的示图到具有多于两个视图的三维视频信号的情况的可能扩展；
图2-14表示按照本发明的原理，遮蔽图和图像的例子以及压紧的遮蔽图的创建的例子的表现变形；
图15是按照本发明的三维视频信号重构器的方框图；
图15bis表示图15的示图的变形；
图15ter表示图15的示图到具有多于两个视图的三维视频信号的情况的可能扩展；
图16-21表示在通过应用本发明的原理而进行的测试期间获得的真实图像的例子；
图22表示在通过应用本发明的原理而进行的所述测试期间获得的峰值噪声信号比的曲线。
附图中，相同的附图标记识别相同的项或组件。
具体实施方式
图1表示本发明的三维视频流生成器100的一种可能实施例的方框图。
图1中所示的图涉及在电视机或另一个立体视频再现设备上显示的立体视频的情况。在这种情况下，用户不能选择视点，束缚于具有固定视差的两个视图V0和V1的视觉。作为输入数据，生成器需要第一视频序列V0，对应的深度图序列D0，和第二视频序列V1。通过从所述两个视图开始，可以测量或估计深度图序列D0，深度图序列D0通常被表示成单色视频，即，由具有强度值介于0和255之间的像素的图像序列组成。可通过适合于从知道的V0和/或V1获得视频序列D0的适当功能块，在生成器100的上游或者在生成器100本身内部，利用任何方法无差别地获得所述视频序列。视频序列D0也可由从最初通过对大小与视图序列V0或V1相同的图像进行的估计处理而获得的那些图像中欠采样的图像构成。图1的方框图涉及第一种假设，因此，该功能块不存在，假定先前已通过从V0和/或V1开始，利用无论什么手段获得了D0。
按照本发明，也可利用适当的压缩技术，例如通过标准视频编码器，比如AVC/H.264类视频编码器之一，对信号V0和D0编码。
借助软件实现的视频编码器通常还提供输入视频信号或视频流的解码图像，因为它们用在编码器的运动估计/补偿处理中。如果在标准编码器中难以获得解码的图像，那么在使用相同的视频压缩和解压缩技术的情况下，可以利用适当的解码器解码由编码器产生的编码图像。对应的解码视频信号Vdec0或流Ddec0随后可被遮蔽估计器块STOC使用。
块STOC可包含例如通过合成算法实现的，能够产生视图V1的估计序列(称为Vsyn1)的功能(视图合成)：该序列不被输出，但是可用于确定形成所谓的遮蔽图的被遮蔽像素的位置。合成阶段隐含地产生由表示一组遮蔽OM0,1的二值图像组成的遮蔽图的视频序列(也称为视频流，或者简单地称为视频)。OM0,1中的值1指示不能通过从V0和D0的对应图像开始合成V1的图像的对应像素。值0表示合成成功，即，对其来说在序列Vsyn1中存在估计值的那些区域。
与遮蔽图的定义有关的技术和规则可随使用的合成算法而变化。例如，通过从解码视频序列Vdec0和Ddec0的图像开始，可以使用遮蔽估计技术，取决于估计的可靠性，遮蔽估计技术产生具有与概率结果有效性值关联的合成像素的图像。取决于合成可靠性是高于还是低于预置的阈值，或者根据被认为适当的任何判定标准，判定块可向像素赋予值0或1。在编码侧，也可以使用不生成任何合成的像素值，但是能够估计对于对应视频序列的图像的给定像素，视图V1的合成算法将给出或不给出正确值的概率的视频处理算法。
与初始视频序列V0和D0相反，优选地使用解码的视频序列Vdec0和Ddec0，以便获得与可在不能访问初始视频序列的重构阶段能够获得的那些过程和结果一致的过程和结果。如果存在视频信号编码器，那么也存在与视频编码器级联布置的解码器，以通过从编码流Vcod0和Dcod0开始，获得解码视频序列Vdec0和Ddec0。
当借助在生成侧的编码和在重构侧的解码实现本发明，以减小立体内容对信道的占用(用于传输)或对存储介质的占用(用于存储)时，以上所述适用。如果不进行编码和解码处理，那么可根据V0和D0，直接计算视图V1。在这种情况下，V+D+O三元组将由三个未编码的序列V0、D0和OC1构成，其中后者将已按照本发明被空间压缩或压紧。于是，遮蔽估计器块STOC也将利用序列V0、D0，而不是Vdec0和Ddec0(图1bis)。
此时，能够取回包含仅仅对于其中存在对应值的遮蔽像素，具有除0(或者另一个预定中性值)外的像素值的那些图像的遮蔽O1的视频图像序列。当0被选为未被遮蔽像素的值时，通过简单地相乘序列OM0,1和V1的图像的位置相同的系数，可以获得O1的图像。
一般，包含遮蔽图像的视频序列的图像200由包含被遮蔽像素，即，在视频序列V0的对应图像中不可见的那些像素，的一系列隔离区域组成。图2中表示了O1的典型组成图像的一种可能表现。该图像由n行m列像素构成，通常具有与V0和V1的一个图像相同的尺寸。在图2中，假定包含被遮蔽像素的区域(为简单起见，也称为被遮蔽区域)是用字母A、B、C、D和E指示的那些区域。为更清楚起见，选择了具有不同和相当简单的规则几何形状的区域，尽管它们实际上可能具有不规则和复杂的形状，或者可包含例如环形区域，即，包含由未被遮蔽的像素构成的一个或多个区域的内部不相连的区域。图像200的未被被遮蔽区域覆盖的区域包含具有中性值，例如0的像素，以指示它不包含被遮蔽像素，或者至少它已被编码器的估计器块通过选择的合成算法的使用估计为不包含被遮蔽像素。
按照本发明的遮蔽空间压紧器块CSO可按照还考虑到结果的视频序列可能经历标准视频编码器的压缩的事实的各种方式，处理被遮蔽图像的视频序列O1。现在参考图3和4说明最简单的第一实施例。如图2和3中所示，假定作为被遮蔽像素，前nA行只包含矩形区域A的那些像素，即，该组行的前mA像素。空间压紧器块生成n行×m列的新图像400，并把nA×mA像素的矩形块复制到输出图像的左上角；连同所述矩形块一起，前nA行的包含中性值的剩余部分也被复制。获得的是属于输出视频OC1的输出图像400的前nA行，在本特定例子中，与对应于O1的输入图像200的前nA行一致。
继续图像200的逐行扫描，空间压紧器块检测到从nA+1到nA+nB的下一组nB行包括区域A的mA个被遮蔽像素，和矩形区域B的mB个被遮蔽像素，作为被遮蔽像素。所述块从而通过把它们从左向右移动，并除去区域A和B之间的任何中性的未被遮蔽像素，按照在图像200中显示这两组被遮蔽像素的相同顺序，把这两组被遮蔽像素复制到图像400中。从而获得图4的情形，其中B的前nB行已被从左向右移动，靠着图像200的A的属于相同行的那些(从第nA+1行到第nA+nB行)。
在下一组的nC1-nD1行(从第nA+nB+1行到第nA+nB+nC1-nD1行)中，存在属于被遮蔽区域C1的上部的另外的被遮蔽像素，被遮蔽区域C1又构成更大的被遮蔽区域C的上部，被遮蔽区域C具有四边形的箭头形状，一条对角线平行于图像200的水平边。空间压紧器块跳过A和B之间，以及B和C1之间的所有未被遮蔽像素，把属于区域A、B和C1的所有被遮蔽像素逐行复制到序列OC1的图像400中。应注意，在被复制并被向左压紧之后，在图像400中靠在B上的区域C1的各个像素形成形状与它们在图像200中的形状不同的图形。
对图像200的接下来的nD1行(从第nA+nB+nC1-nD1+1行到第nA+nB+nC1行)，在扫描期间，除了A、B和C1的被遮蔽像素之外，空间压紧器还遇到三角形区域D1的被遮蔽像素，三角形区域D1构成相似区域D的上部。这些像素也被向左压紧，靠在当从左向右扫描图像200时，先前遇到的C1的那些像素上，而不复制在C1和D1之间的中性的未被遮蔽像素。另外，在图像400中，由压紧处理产生的区域D1具有与它在图像200中的初始形状不同的形状。
空间压紧器CSO随后对图像200的剩余各行继续压紧操作，相继向左压紧区域C2和D2，然后是E1、D3和E2，最后是E3。图4中所示的由该操作产生的m×n图像400包含与输入图像200相同的关于被遮蔽像素的信息，但是呈被向左压紧的形式：从一开始(从左向右)，所有各行连续不中断地包含所有包含在图像200中的初始非相邻区域的被遮蔽像素。接下来的各行包含具有表示没有遮蔽的值(例如，0)的所有中性像素。必须指出的是图像400具有和初始图像200相同的大小，于是也可能包含完全由被遮蔽像素构成的一行；不过，这是极其不可能的情况，因为在一般的行中，与像素总数相比，被遮蔽像素的数目通常很小。
当然，可替换地，被遮蔽区域可被向右压紧，而不是被向左压紧：在这种情况下，压紧器可从右向左进行各行的扫描，并跳过任何可能的一对被遮蔽区域之间的未被遮蔽像素，按照在扫描图像200时遇到被遮蔽像素的相同顺序，逐行地把被遮蔽像素复制到输出图像400中：行的剩余像素将被填充有表示不存在遮蔽的值。从而获得压紧的输出图像，其中所有被遮蔽区域已被相互靠着地向右移动，从而获得与向相反侧压紧相同图像而确定的形状不同的形状并经历与之不同的分解。
重要的是指出压紧方向可完全与扫描方向和被遮蔽像素的排列无关。这些两个操作变量的任意组合都是可能的，选择可以取决于例如实现优点，或者取决于在后续压缩步骤中可获得的比特率降低。例如，假定通过从左向右，按照在一般行中显示被遮蔽像素的相同顺序排列被遮蔽像素，向右压紧图2的图像200。在这种情况下，将获得图4'中所示的压紧的遮蔽序列的输出图像OC1400'。这可通过水平翻转图4的图像400来实现，因为图像400的一般像素p(i,j)等于图像400'的像素p'(i,m-j+1)，1＝<i<＝n，并且1＝<j<＝m。作为副作用，在该特定情况下，沿给定扫描方向(从右向左，或者反过来)，在图像200和400中遇到被遮蔽图像的顺序将与在对应图像400'中遇到相同图像的顺序相反。
图5中图解说明本发明的第二实施例，图5表示按照作为先前参考图3和4说明的方式的备选方式，可如何压紧属于遮蔽O1的视频图像序列的图2的图像200。
这种情况下，取决于属于图像的上半部还是下半部，不同地压紧包含在其中的n行的图像200的一般行(其中n被假定为偶数)。
图像的前n/2行中的被遮蔽像素被从左向右地堆叠在由空间压紧器产生的图像的左边缘，而属于后n/2行的那些被遮蔽像素从右向左，按照相同的顺序被堆叠在右边缘。压紧方向由图5中的箭头指示，所述箭头初始还指示由压紧操作引起的原始被遮蔽区域A、B、C、D和E的分解。
图6图解说明由这种操作产生的图像600：结果的图像的前n/2行具有图像400的前n/2行的相同排列，而在后n/2行中，由于水平空间压紧，被遮蔽区域被不完整并且变形地压紧在图像的右边缘。必须指出的是，在与此排列顺序相反的压紧方向的这种组合的情况下，图像600的被遮蔽区域的所有像素将按照它们在原始图像200中的相同顺序显示。在多数情况下，在O1和OC1的图像的所有行中，未被遮蔽像素的数目远远大于被遮蔽像素的数目。从而一些图像空间被浪费，因为它将包含对解码器无用的信息，解码器将把包含在别处，即，在编码并且随后解码的序列V0和D0中的信息用于未被遮蔽像素。
如果不存在包含数目大于m/2的被遮蔽像素的行，那么通过把图像600的后n/2行的在右下边缘的压紧的被遮蔽区域复制到相同图像的前n/2行的右上边缘，随后除去后n/2行，能够不丢失信息地调整OC1的图像600的大小。从而获得图7中所示的图像700，其大小为m×n/2，包含原始图像200的一半像素，而不丢失关于存在于其中的遮蔽的任何信息。
输出图像可原样，即，以m×n/2的大小，经历压缩；作为一种备选方案，通过把序列的各对m×n/2半图像600(例如，两个时间上连续的图像)放入一个m×n图像中，压紧器可另外进行使输出序列的图像的数目减半的步骤。
在本发明的一个实施例中，可利用标准视频编码器ENC，压缩结果的视频序列。这种情况下，如后所述，包含在解码器1500(图15)中的空间解压紧器DSO(图15)进行通过从全尺寸m×n图像开始，获得半图像700的逆步骤。
如果图像的一行中的被遮蔽像素的数目不超过值m/4，那么能够不丢失信息地使压紧的遮蔽图像序列OC1的图像的水平尺寸减半：在多数情况下，另外对于图7中所示的压缩的遮蔽图像，验证了该假设。
图8强调图像700包含m/2列宽，由未被遮蔽像素构成的中央区域，于是从信息的观点看，所述未被遮蔽像素完全无用。空间压紧器可除去该中央区域，获得类似于图9中所示的m/2×n/2大小的遮蔽图像，所述遮蔽图像仍然包含图2的原始m×n图像200的所有被遮蔽像素，而只包含图2的原始m×n图像200的像素的1/4。由水平和垂直减半的图像900构成的视频序列可按照这种形式被提供给标准视频编码器ENC，或者在此之前，压紧器可适当地把各组4个m/2×n/2图像组成为一个m×n图像，从而与未被压紧的输入遮蔽视频O1相比，把属于待编码的输出视频序列OC1的图像的数目减少到1/4。
为了使空间压缩效率达到最大，能够按照在视频的整个长度内不变的预置配置，把输入序列的4个时间连续的m/2×n/2图像排列成一个输出图像。在这种情况下，按照本发明的解码器1500的空间解压紧器DSO也将进行与编码器的空间压紧器进行的操作相反的操作。
此时，显然原理上能够不丢失信息地对压紧器CSO接收的输入图像O1，进行r次水平减半过程，只要每一行中的被遮蔽像素的最大数不超过m/2r，即，全分辨率图像的每一行的像素数目的1/2r倍。垂直尺寸相同，压紧器可把具有m/2r水平尺寸的2r个图像集合成具有m水平尺寸的一个图像，从而与遮蔽视频序列O1相比，因而与原始视频序列V1相比，把包含在压紧的输出序列OC1中的图像的数目减小1/2r。
作为一般规则，能够不丢失任何被遮蔽像素地除去一行中的任意数目的像素，只要所述数目小于或等于遮蔽图像的未被遮蔽像素的数目。这导致对任意数目的像素，实现尺寸减小，从而使图像的宽度变更任意量的可能性，所述任意量甚至可以不是图像的水平尺寸的整数约数。
根据上面所述，显然能够把构成未被压紧的遮蔽视频O1的图像200的各行分成两个压紧区(参见图5)，随后按照不同的方式，压紧所述区域的被遮蔽像素，如用图6的例子所示。
现在还能够定义更大数目的这种区域，如用图10中的例子所示，其中定义了4个压紧区I、II、III和IV，每个压紧区由具有m个像素的n/4行图像构成。通过如当压紧图5和6中的图像200的两个区域时进行的那样，利用与用箭头所示的方向相反的方向作为分类方向，被遮蔽像素被交替地向左和向右压紧，如用箭头所示。从而获得图11中所示的m×n压紧的遮蔽图像1100。
在这种情况下，压紧器也可通过把遮蔽从右下边缘复制到具有m×n/2大小的两个上半部图像和下半部图像的右上边缘的操作，使结果的图像的垂直尺寸减半，以致区域II的被遮蔽像素将被堆叠在区域I的右边缘，而区域IV的被遮蔽像素将被堆叠在区域III的右边缘。此时，区域II和IV将不存在被遮蔽像素，从而可被消除，以获得图12中所示的具有减半的垂直尺寸m×n/2的图像1200。
如对于图8的图像700图解所示，由于每一行的被遮蔽像素的最大数小于m/2，因此能够不丢失任何被遮蔽像素地除去图像1200的m/2像素宽的中央区域，获得水平尺寸和垂直尺寸减半的图像1300。如果对O1的所有图像进行这种操作，那么将获得m/2×n/2尺寸的序列OC1，序列OC1随后可经历标准编码器的压缩。可替换地，在这种情况下，压紧器也可通过把m/2×n/2大小的4个图像1300集合成m×n大小的一个图像，减少构成视频OC1的图像的数目。
显然，遮蔽图像一般可被分成要经历给定类型的压紧的任意整数的压紧区域，结果随着其数目的增大，待执行的操作的复杂性也增大，尤其是压紧器进行的那些操作，然而也增大了减小图像的中性区域占据的区域的可能性，同时仍然不丢失任何被遮蔽像素，如果其减小的数目允许的话。
通常，归因于彼此靠着地放入小空间中的不同被遮蔽区域之间，以及被遮蔽区域和中性区域之间的像素值的突然转变，空间压紧器CSO输出的压紧的遮蔽OC1的序列的各个图像由富于信息内容、具有大视差、并且具有许多高频分量的一些区域表征。如果遮蔽序列要被编码，那么这种情况会增大编码所需的比特率。为了减少这些高频分量的存在，从而进一步增大标准视频编码器的压缩效率，在压紧处理期间，可在被遮蔽区域之间插入一定数目的缓冲像素，从而产生由具有适当计算的值的像素构成的中间过渡区，以减小两个相邻的被遮蔽区之间和被遮蔽区和相邻的中性区之间的信号电平差。
可按照许多不同的方式，进行压紧的遮蔽OC1的图像的视频中的突然转变的这种去除：可以使用每一行固定或可变数目的像素，可利用许多不同的机制计算缓冲像素的值；此外，可以与到目前为止说明的压紧技术任意之一结合地进行这种去除处理。实现这种措施的一种简单方式是利用固定数目的像素，最好仅仅几个单元的较小数目(例如，1、3、5或7个缓冲像素)，最好是奇数。图14表示通过利用和用于图4的图像400相同的压紧方法获得的图像1400，同时在任意一对被遮蔽区之间，或者在被遮蔽区和中性区之间，增加了具有恒定水平厚度的缓冲区；在图14中，假定例如缓冲区是通过逐行输入对图像的所有各行都相同的预定数目的像素而获得的。
在一个简单的实施例中，缓冲像素的值可以仅仅取决于属于相同行的像素，可被计算成相邻像素的平均值。假定由3个连续的像素z1、z2和z3按该顺序构成的缓冲区被插入位于z1之前的像素r1和位于z3之后的像素r2之间，其中r1和r2属于两个区域R1和R2，所述两个区域R1和R2被假定与未被中断的一行中性像素隔开，在不存在缓冲器区的情况下，它们将被压紧器彼此靠着地放置。
向缓冲像素赋值的一种可能方式如下：z2＝(r1+r2)/2，z1＝(r1+z2)/2和z3＝(z2+r2)/2。本质上，对由3个像素构成的缓冲区来说，输入的中间像素可被计算成与该区域相邻的两个行像素之间的平均值，而该区域的两个最外侧像素又是中间像素和最近的相邻像素之间的平均值。通常，可以利用更复杂或不太复杂的缓冲像素计算公式，所述计算公式还可考虑到存在于除缓冲像素所在行之外的各行中的像素。甚至可以考虑存在于除当前图像涉及的时间之外，涉及在先时间的遮蔽视频的图像中的相同行或不同行的像素。
由缓冲区的插入引起的附加复杂化是微小的。首先，它只涉及包含在编码器中的压紧器：解码侧的解压紧器只需要从压紧的遮蔽视频的图像中，丢弃由编码侧的压紧器增加的缓冲像素，于是它只需要知道这些增加的像素是哪些像素。另一个副作用是在不从具备缓冲区的遮蔽视频中丢失任何被遮蔽像素的情况下，能够表现的视频序列中的遮蔽的最大容许数目减小。然而在许多情况下，这种影响是可忽略的，尤其是当利用不减小遮蔽图像的大小的压紧方式(图4,5和6)时更是如此，因为与像素的总数相比，每一行的被遮蔽像素的数量较小，或者其中缓冲像素的增加不妨碍压紧的遮蔽图像的水平和垂直尺寸的期望减小。
返回参见图1的编码器图，一旦按照本发明的任何实施例压紧了遮蔽视频序列O1，不管具有或不具有大小减小和/或缓冲区的增加，在空间压紧器块的输出处，将存在压紧的遮蔽视频序列OC1，遮蔽视频序列OC将与视频序列V0和D0一起构成按照本发明的一个方面产生的视频流。
正如其它视频序列V0和D0一样，压紧的遮蔽视频序列OC1可被标准编码器ENC(图1)压缩。标准编码器从而生成分别代表编码序列V0,D0和OC1的3个编码视频流Vcod0,Dcod0和OCcod1，按照本发明的另一个方面，所述3个编码视频流Vcod0,Dcod0和OCcod1构成例如将在视频通道上传送的三维视频序列VDO(视频-深度-遮蔽)。
作为一种备选方案，可按照组合和协同的方式，把内容的三元组以未编码形式保存在任何介质上，可能添加有再生器为重建原始分量序列，尤其是未被压紧的遮蔽序列O1而需要的信令。这种情况下(图1bis)，可将视频序列V0,D0和OC1的三元组聚合在例如进行复用功能的MUL单元中。
通常，也可存在多于一个标准编码器，每个标准编码器压缩待编码的3个视频流V0,D0和OC1的子集，以致可用按照视频序列的特性优化的方式压缩序列。无论如何，从逻辑的观点看，编码视频流或信号将由对应于V0,D0和OC1的3个数据流Vcod0,Dcod0和OCcod1构成。数据流的三元组将构成编码器100的输出。例如，在DVD传输流，或者在适合于同时传送多个输入视频流的任何其它种类的数据流容器中，可利用已知技术，把所述输出物理复用到单一数据流中；在这种情况下，该任务由图1中未图示的复用器设备进行。当编码器按照实时模式工作时，这种解决方案特别有利。相反，如果编码被延迟，那么视频流可作为单一视频流被单独保存和/或传送。
图15表示按照本发明适合于重构三维视频流的接收设备1500的一种可能实现，例如，当传送和接收按照本发明的各个方面之一编码的视频流时，可以使用所述接收设备。接收器可包含至少一个标准视频解码器DEVC，所述至少一个标准视频解码器DEVC适合于解压缩包括由编码器100的视频编码器产生的Vcod0,Dcod0和OCcod1的视频序列VDO的三元组，以便获得视频序列Vdec0,Ddec0和OCdec1的三元组，所述视频序列Vdec0,Ddec0和OCdec1非常类似于3个原始序列V0,D0和OC1，唯一的差别在于由压缩及其后续压缩，以及由传送视频信号时引入的误差(例如，传输和/或数据读/写误差，噪声等)导致的可能的不期望差异引起的伪像。所述序列可能已被复用在视频流容器中，在这种情况下，可以包括解复用器(图15中未图示)。这种情况下，标准视频解码器(例如，AVC H.264类视频解码器)实际上也可由多个标准视频解码器构成，每个视频解码器作用于输入三元组的子集，以优化解码处理，从而解码处理适合于不同视频序列的特定特性(例如，图像大小，每秒的图像数，等等)。这样的解码器也可并行工作，可在协调它们的管理单元的控制下，交换对其操作来说必需的数据。
当接收设备1500(图15bi s)进行通过从上述视频序列分量V0、D0和OC1开始重构视频流的操作时，标准视频解码器块DECV可能不存在，因为所述视频序列V0、D0和OC1将对应于相应序列Vdec0、Ddec0和OCdec1。在输入侧可存在解复用设备DEMUL，以进行与图1bis的MUL进行的那些操作相反的操作。
与第一视图相关的解码视频序列Vdec0可被发送给显示器，以便按照使用的特定技术，被三维表现，所述特定技术例如可以是立体或自立体技术。解码的深度图的视频序列Ddec0(或D0)被用于通过执行用于从立体对及其深度图的通用视图开始合成第二视图的算法的块SIV，从第一视图Vdec0(或V0)开始合成与第二视图Vsyn1相关的视频序列。与编码侧相反，这里必须生成包含可由该算法合成的所有像素的序列Vsyn1的合成图像。通常，它们由几乎占据整个m×n图像的绝大部分合成像素构成，而具有未知值的被遮蔽像素的一些区域将占据图像的剩余部分，如用图3中的例子所示。这些未知值可被赋予适当的预置值，例如0。所述算法优选地和在生成和/或编码侧，可能用于估计遮蔽的算法相同，以便获得与在生成器100中获得的遮蔽图OM0,1的视频序列等同或者无论如何尽可能类似的遮蔽图OM0,1的视频序列。所述合成算法隐含地确定遮蔽图OM0,1，如参考编码器所述。
遮蔽图OM0,1用于通过适当的遮蔽空间解压紧器块，恢复被遮蔽像素的位置，所述遮蔽空间解压紧器块按照相反的顺序，执行与空间压紧器块进行的操作相反的解压紧操作以及扩展水平和/或垂直尺寸，和消除缓冲区的任何操作。这从解码的压紧的遮蔽图像OCdec1(或OC1)和遮蔽图OM0,1的视频序列开始操作，从而获得包含未被压紧的遮蔽图像的输出视频序列Odec1(或O1)。例如，参见图3和4中所示的实施例，空间解压紧器进行利用合成算法供给的图3的图像OM0,1的逐行扫描，找出OM0,1的非合成像素的位置，并把图4对应的压紧的遮蔽图像OCdec1的压紧的被遮蔽像素的值代入原始位置。
OM0,1的前nA行的mA像素包含构成遮蔽区域A的mA×nA矩形区的像素的位置的未知像素，所述遮蔽区域A被压紧到图4的类似区域中。对于该组像素，于是不进行任何重新放置，因为对这nA行来说，Odec1的未被压紧的被遮蔽像素的位置与OCdec1(或OC1)的压紧的被遮蔽像素的那些位置一致。对OM0,1的还包含属于被遮蔽区域B的mB像素的下一nB行的前mA个像素来说，同样如此。解压紧器从而把该行组的前mA个像素留在原地，而把该行组的接来下的mB个像素的值向右移动，到被相同nB行的OM0,1的被遮蔽像素占据的位置。在Odec1中，在传输之前，先前被B的像素占据的位置中的图像的像素值可被设定成赋予未被遮蔽像素的中性区的值。按照相同的方式，对OM0,1和OCdec1(或OC1)的图像的剩余各行继续进行处理，从而获得Odec1的图像，它包含未被压紧的被遮蔽像素，即，被遮蔽像素在它们涉及的视图，即，V1的原始的未被压紧的遮蔽视图O1中，它们所在的相同位置。
通常，可沿矩阵方向，相增Odec1和Vsyn1的视频序列的对应图像，从而获得解码的第二视图Vdec1的视频序列，其图像包含对来自Vsyn1的未被遮蔽像素，和来自Odec1的被遮蔽像素都有效的值。在本发明的这个特殊实施例中，通过简单地按照在从左向右扫描各行时，遇到像素的顺序，把OCdec1的像素的值逐行复制到在遮蔽图OM0,1中指示的Vsyn1的非合成像素的位置中，可实际进行该操作：从而可直接从Vsyn1获得Vdec1，而不必生成中间的未被压紧的遮蔽图像Odec1。
在图15bis中所示的情况下，对序列O1和Vsyn1进行以上操作，从而获得第二视图V1的图像。
当然，遮蔽空间解压紧器DSO考虑在编码阶段，空间压紧器对被遮蔽像素使用的压紧方向和重新放置顺序。这确保获得与通过从第二视图V1开始获得的序列O1类似的未被压紧的遮蔽序列Odec1，即，被遮蔽像素在它们在相应视图中所在的位置。就如图4'中所示的压紧的遮蔽视频序列的实施例来说，即，其中遮蔽重新放置顺序和压紧顺序相同，即，从左向右，在其第一个并且尤其简单的实施例中，空间压紧器可进行水平翻转解码的压紧遮蔽图像OCdec1的第一步骤。通过相反地应用由压紧器应用的利用公式定义的变换，可以进行所述步骤，按照所述公式，未被翻转的图像200的一般像素p(i,j)等于水平翻转的图像400'的像素p'(i,m-j+1)，1＝<i<＝n，并且1＝<j<＝m。在进行所述逆变换之后，空间解压紧器可执行已说明的获得与图4中所示类似的压紧的遮蔽视频序列的解压紧对应的序列Odec1的相同操作，即，被遮蔽像素的重新放置顺序从左向右。
遮蔽空间压紧器CSO的另一个实施例允许获得具有图7中所示的那种m×n/2大小的组成图像的压紧遮蔽的输入视频序列。这种情况下，解压紧器DSO将首先重构通过构成m×n大小的输出图像获得的与图6中所示类似的图像，解压紧器将把输入图像的前n/2行复制到输出图像的前n/2行中，把可能已从右向左被移动先前具有中性值的行像素的数目的最后n/2行复制到输出图像的后n/2行中。
此时，将已获得与图4中所示的图像等同的图像，通过执行已参考该图说明的步骤，解压紧器将能够获得未被压紧的遮蔽的输出视频序列。如果压紧器执行了通过把各对m×n/2图像集合到单一m×n图像中，减少图像数目的额外步骤，那么解压紧器最初必须执行分解包含在输入视频序列的m×n图像中的图7的各对m×n/2半图像，并把它们的内容复制到其中后n/2行最初取中性值的两个完整m×n图像的前n/2行中的逆步骤。
空间压紧器可能在编码阶段执行了如图8中所示的、减小构成遮蔽序列的图像700的水平尺寸，以获得m/2×n/2大小的图像900的额外步骤。在这种情况下，解压紧器将首先必须进行使图像的水平尺寸加倍，以便产生m×n/2大小的图像的额外步骤，在所述m×n/2大小的图像中，它将把输入图像的前m/4列输入前m/4列中，把输入图像的剩余m/4列输入最后的m/4列中。
照常，属于未被复制区域的像素将取赋予未被遮蔽像素的预置值。如果压紧器另外把各组4个m/2×n/2图像900集合成单一的m×n图像，那么在上述步骤之前，解压紧器必须另外把包含在输入序列的一个m×n图像中的4个子图像900分解成各对m×n图像，每个m×n图像包含通过执行与先前执行的操作相反的操作而获得的两个m×n/2大小的子图像800，以便从图像800切换到图像900。通过迭代分解步骤，所述各对m×n图像的每一对都将又产生都包含一个图像600(图6)的一对m×n图像，从而在图像大小扩展操作结束时，对于每个输入m×n图像900，产生总共4个输出m×n图像。
类似的考虑适用于按照图11、12和13中所示的任意模态，解压紧包含压紧的遮蔽图像的视频序列的处理；这些图像是通过利用具有交替的压紧方向的4个压紧区域，而不是2个压紧区域获得的，并且在其垂直和/或水平维度，可能已被或者未被减半。同样，为了重构对应的未被压紧的遮蔽图像，空间解压紧器DSO将从压紧器进行的最后操作开始，并终止于压紧器进行的第一个操作，按照相反的顺序，进行与在编码侧进行的操作相反的操作。通常，对于序列O1，解压紧器DSO总是能够重构未被压紧的遮蔽视频序列Odec1，同时被遮蔽像素被置于它们被包含在编码器中的遮蔽估计器放置在的位置，而不需要接收遮蔽图序列OM0,1。
返回参见解码器1500的方框图(图15)，通过逐个像素地恰当组合包含视图V1的被遮蔽区域的像素的值的序列Odec1的图像，和视图Vsyn1的时间上对应的图像，合成视图Vsyn1和未被压紧的遮蔽序列Odec1被恰当合并，从而形成提供给显示器的视图Vdec1，视图Vsyn1包含缺少被遮蔽像素的有效值的相同视图的合成像素的值，例如，它可包含空值。
在较简单的情况下，沿矩阵方向简单地相加合成视图和遮蔽，以致遮蔽将占据合成算法不能估计的那些像素的位置。为了改善重构图像的质量，有益的是采用适合于在安放合成视图和被遮蔽区域时，减少在合成像素和解码的被遮蔽像素之间的不连续区域中产生的伪像的滤波技术。这种操作由可选的组合伪像补偿块CART进行，CART位于加法器的下游，由适当的现有数值滤波器构成。特别地，可沿着遮蔽区和未被遮蔽区之间的不连续点，采用平滑(或低通)滤波技术。
解码器1500从而将已重构所述两个原始视图V0和V1，视图V0和V1随后被再现设备用于按照任何立体技术，以三维模式显示视频流。
为了能够正确地重构包含遮蔽图像的视频序列，即，当在编码侧利用相应图确定遮蔽像素的位置时，解压紧器必须知道进行压紧处理的模式。
特别地，这样的模式可能涉及：
-压紧区域的数目，所述数目可以是大于或等于1的整数；
-在给定压紧区域中使用的压紧方向，它可以是从左到右，或者从右到左，或者更简洁地，向右或向左；
-给定区域中的被遮蔽像素的扫描或放置的顺序，它也可以是向右或向左；
-水平尺寸减小，即，允许确定在未被遮蔽图像的各行中，哪些未被遮蔽像素已被消除的参数；
-垂直尺寸减小，即，允许确定是否通过把被遮蔽像素移动到上部的压紧区域中和从图像中除去包含被遮蔽像素的压紧区域，执行了垂直压紧遮蔽的操作及其次数的参数；
-缓冲区的可能存在及其特性。
通常，这些模式可以因压紧的遮蔽视频序列中的图像而异。为简单起见，假定在一个视频序列或其一部分中，这些模式不变。
就如何把所述模式传送给解压紧器而论，可以设想各种情形。在第一种情形中，可以一劳永逸地定义特定的压紧模式，任何压紧器总是默认地对任何序列应用该压紧模式。在这种情况下，解压紧器将知道这种模式，只需要进行对应的解压紧操作。
如果这种假设未被验证，那么取决于输入的遮蔽视频序列，压紧器可利用不同的压紧模式，例如，数目更少或更多的压紧区，不同的压紧方向和顺序，等等。在这种情况下，解压紧器可按两种不同的方式确定压紧模式。在第一种方式中，解压紧器分析压紧的遮蔽OCdec1的图像，可能比较它们和序列OM0,1的对应图像，从而后验地确定在编码侧使用的压紧模式。这种解决方案具有不需要传送任何压紧参数的优点，然而对解压紧器来说，意味更高的计算成本，这也可能产生错误的分析或者非常复杂的分析。
在第二种方式中，操作参数可由压紧器添加，或者可由压紧器传送给标准视频编码器，标准视频编码器可利用任何手段，把它们输入编码视频流OCcod1中。这可通过利用为未来应用保留的并且已包含在当前的视频编码标准中的数据来实现，或者通过利用包括在包含VDO信号三元组的视频流容器格式，比如DVB传输流、Matroska等中的现有或新定义的字段来实现。
在一个特别改进的实施例中，压紧器可按照可能考虑了存在于视频序列中的遮蔽的特性(例如，被遮蔽像素的数目，被遮蔽像素的空间和时间分布)的不同模式，执行多个压紧测试。对于测试的每种模式，通过随后解码并重构相关视图，计算相关的比特率；最后，应用从测试产生的最有效的压紧模式。当编码和解码处理被延迟时，当就编码速度来说不存在特殊要求时，另外对优先考虑尽可能地降低传输和/或存储所需的比特率的视频序列来说，这种技术尤其有利。
对于用于3D视频编码实验的视频序列，测试了本发明。FraunhoferHeinrich Hertz Institut使用了可供科学界用于实验和研究用途的称为“book arr iva l”的立体序列。视频分辨率为1024×768，频率为16.67Hz。在进行的所有测试中，2个立体视图的300帧被编码。对于使用的序列，还获得利用适当算法估计的深度图。
图16-22图解说明进行的测试。
图16表示从所述立体序列获取的视图之一V的图像。
图17全维度地表示属于相应序列D的图16的图像的全尺寸深度图。
图18表示水平和垂直方向，按50％欠采样的图17的相同深度图图像；对应的序列被指定为D/2。
图19表示由从V和D开始的合成算法产生的未被压紧的与图16的图像相关的遮蔽图像。从其产生的相应序列用O表示。在所述测试中，选择中间灰度值表示属于中性区的未被遮蔽像素。该图像中只表示了被遮蔽像素，而图像的剩余部分被设定成固定的预定亮度和色度值，例如0或128。注意，与图像的一行中的像素的总数相比，存在于其中的那部分被遮蔽像素很小。
图20图解说明仍然对应于图16的视图图像的压紧的遮蔽视频序列O*的一个图像，其中按照从左到右的重新放置顺序，使用在左侧的单一压紧区域，同时不存在水平或垂直尺寸减小。本质上，这是压紧的被遮蔽图像的本发明的最简单实施例，如图4中所示。和不存在水平或垂直尺寸减小的所有实施例一样，在其中图像的普通行的被遮蔽像素的最大数目小于或者最多等于视频序列V0的图像的该行的像素数目m的情况下，本实施例尤其有利，因为这确保所有被遮蔽像素存在于压紧的遮蔽序列中。
图21表示通过应用图6-9中表示的压紧模式，即，在存在两个压紧区域，上面的一个压紧区域向左，下面的一个压紧区域向右，同时在第一个区域中，遮蔽被顺序地向右重新放置，在第二个区域中，遮蔽被顺序地向左重新放置，并且水平尺寸和垂直尺寸都被减小为1/2，对于图19的相同的未被遮蔽图像获得的属于相应序列O/2*的尺寸减小的压紧的遮蔽图像。
进行3种测试，以便编码和解码该测试信号。在用作基准的第一种测试中，V、D/2和O，即，主视图的视频序列，按50％欠采样的深度图的视频序列，和未被压紧的遮蔽图像(即，被遮蔽像素的值在其原始位置)的视频序列被编码和解码。第二种测试利用V、D/2和O*，即，主视图的视频序列，按50％欠采样的深度图的视频序列，和压紧的遮蔽图像的视频序列。第三种测试涉及序列V、D和O*/2，即，主视频的视频序列，非欠采样的深度图的视频序列，和在水平和垂直方向都被减小1/2的压紧的遮蔽图像的视频序列。对于所有测试，利用标准H.264 AVC编码器以恒定的质量参数QP，编码所有的序列。为了获得各种编码比特率，以不同的QP进行了几个实验。视图合成算法是按照现有技术专门开发的。所述视图合成算法接收输入的视频信号和相关的深度图，并估计从相对于原始视频水平位移的新视点获得的视频。所述视图合成算法未利用解析遮蔽的任何策略(比如图像修复技术)，并且输出合成视频和遮蔽图。
图22表示由关于用于对序列D和O编码的比特率，对测试序列进行的编码和解码测试产生的峰值信噪比(PSNR)(单位dB)的曲线。图22表明与当利用O时相比，利用压紧的遮蔽图像O*和O*/2的视频序列时，编码效率较高。不管是否使用深度图的欠采样的版本，都是如此。可能减小大小的压紧步骤并不影响视频编码处理的效率；相反，它改善视频编码处理的效率，以致能够在两个方向，空间压紧遮蔽图像的序列，当像通常那样，普通行中的被遮蔽像素仅仅是总数的一小部分时，所述遮蔽图像也可和其它图像一起被组合成分辨率更高的图像。
上述实施例可存在许多变化，而不脱离本发明的保护范围，包括对本领域的技术人员来说等同的所有实施例。
本发明也适用于多于2个视图。在图1ter中表示了当使用编码时，具有多于两个视图的三维视频流的生成器的实施例的非限制性例子，即，图1的立体生成器范例的扩展。在这种情况下，同样在生成侧，编码器ENC对用于合成k-1个视图V1,V2,Vk-1的主视图和深度图V0和D0编码。所述k-1个视图可按照某个标准，例如，根据到主视图的距离被分类，并且对于它们中的每个视图，通过从视图V1,..,Vk-1的估计序列Vsyn1,..,Vsynk-1开始，能够隐含地找出被遮蔽像素OM0,1,OM0,2,…,OM0,k-1相对于主视图V0的位置。通过把在以上段落中说明的压紧标准之一应用于被遮蔽像素O1…Ok-1的图像，遮蔽空间压紧器块CSO将逐行收集并压紧在传输侧可从多视图采集系统获得的这种像素。在压紧之前，模块CSO将通过如图2bi s中所示，并排地放置被遮蔽像素的k-1个图像，组合所述k-1个图像。这将生成所有备选视图的压紧的遮蔽帧OC1,..,k-1的单一序列，所述序列将与V0和D0一起被传送或保存，并在重构侧用于填充合成视图的被遮蔽区域。
重构处理遵循图15ter中所示的示图，图15ter表示图15的2视图重构器的扩展，仍然适用于其中进行编码和解码操作的非限制性情况。与图15的差异如下：
-合成块SIV通过从k-1个交替视图V1,V2,Vk-1的V0和D0开始，进行合成；
-遮蔽空间解压紧器块DSO通过遵守在生成侧定义的视图顺序，进行把被遮蔽像素重新放置到对应位置和视图的任务，并输出未被压紧的遮蔽图像Odec1,…Odeck-1。
最后，独立地把伪像补偿块CART应用于通过组合未被压紧的遮蔽和从合成块SIV接收的合成视图Vsyn1,…Vsynk-1而获得的k-1个重构的合成视图。
在立体视频，即具有两个视图的视频信号的特定情况下，可以使用本发明，以便实现通过利用帧打包排列策略，把左视图、深度图和遮蔽输入单一帧中，能够向下兼容的视频传输系统。例如，能够利用分块(tile)格式，在分块格式的右下角中，发送720p格式的左视图和按2的因子欠采样的深度图；可作为分块格式的右视图，输入按照本发明重组的遮蔽图像。另一方面，可以利用全分辨率深度图，并通过采用如图9和21中所示的遮蔽图像的尺寸缩减，在右下角中输入遮蔽。
如果利用编码器以便减小表现立体内容所需的比特率，那么本发明要求在遮蔽的编码之前，进行左视图和深度图的编码。后者事实上，必须根据解码的左视图和深度图被计算。当利用重复使用实时工作的标准编码和传输链的帧打包类的传输格式时，这造成技术问题。这种情况下，不能构成包括与相同时刻相关的视频、深度和遮蔽的单一图像，除非能够允许遮蔽估计误差。通过在产生遮蔽图像时，引入一图像延迟，可以解决该问题。在时间t0，用帧打包方法，编码左视图及其深度。在被解码之后，在编码侧利用这样的信息来计算在时间t0的遮蔽。然而，所述遮蔽信息是在晚于t0的时间t1，按帧打包模式发送的。这意味在时间t1，将在编码侧建立复合帧，所述复合帧将包含在时间t1的左视图、深度图、和在时间t0的遮蔽图像。通过遵循这种过程，解码器将能够延迟一帧地重构立体视频，延迟一帧不是问题，因为它非常短暂(约1秒的几百分之一)，于是不能被观看者察觉。此外，它只是视频流解码操作引起的延迟的极小部分。必须指出时间t0,t1,t2与现代压缩标准的编码顺序相关，所述编码顺序一般不同于相同图像的显示时间。
上面说明了本发明在V+D+O三维视频编码，即，利用包含主视图、深度图和遮蔽的3个视频序列的情况下的实现。然而，本发明可用于利用视差图的任意种类的视频编码，比如利用视图、视差图和遮蔽序列的视频编码。
获取第二视图V1相对于第一视图V0的视差图的方法本身是已知的。这种情况下，块STOC(图1)的“视图合成”功能将通过采用本身已知的另一种适当的合成算法产生视图V1的估计序列，所述另一种适当的合成算法利用视差图，而不是深度图。
在本说明书中，已假定应使用标准视频编码器和解码器，以确保与目前使用的视频处理、存储和传输设备和基础结构的最大兼容性。不过，这不排除还把本发明应用于采用为特定种类的视频处理优化的非标准编码器和解码器的视频编码和解码系统。
在本说明书中，已数次强调最好避免对遮蔽图像进行尺寸缩减，尺寸缩减可能意味被遮蔽像素的丢失；事实上，如果在所述缩减期间被除去，那么空间解压紧器将不能从压紧的遮蔽图像中获得它们。对于待编码的视频序列的给定并且一般有限数量的图像，可能发生这种情况，被遮蔽像素的数目是这样的，以致它们被空间压紧器进行的尺寸缩减操作除去。这种丢失通常可被容许，产生几乎或者根本不能被观看者察觉到的伪像，因为被遮蔽区域一般覆盖很小的区域。此外，包含在解码器中的可选的组合伪像补偿块通常可利用邻近图像区域的视频信息和适当的视频处理技术，填充在编码处理期间除去的被遮蔽像素留下的空间。于是可想到压紧器决定对遮蔽序列应用一定的尺寸缩减，而不核实是否会在其将被传送给解码器的压紧表现中导致被遮蔽像素的丢失，或者至少它只对有限的预定部分进行这种核实。
所述核实可以局限于序列的初始部分，随后整个遮蔽视频序列可经历不会导致被遮蔽像素的丢失的最大尺寸缩减，而不担心会在序列的一些其它部分中导致所述丢失。
有利的是，可通过计算机程序实现本发明，所述计算机程序包含当计算机执行所述程序时，实现上述方法的一个或多个步骤的编码装置。因此理解保护范围扩展到所述计算机程序，以及包含记录的消息的计算机可读装置，所述计算机可读装置包含当计算机执行所述程序时，实现上述方法的一个或多个步骤的程序编码装置。对说明的非限制性例子来说，另外的变形例也是可能的，而不脱离本发明的范围，包括对本领域的技术人员来说等同的所有实施例。
在各种形式的优选实施例中说明的元件和特性可被相互组合，而不脱离本发明的范围。
从本发明的应用得到的优点是明显的。
本发明允许利用目前的视频压缩技术，按V+D+O格式，高效地压缩立体视频。本技术的创新元素在于遮蔽位置表现不需要被明确地编码和发送给解码器，以及重组被遮蔽像素以形成便于利用标准技术进行的后续压缩的图像。此外，这里提出的技术不取决于特定的中间视图合成算法，并且可容易地适应于在不久的将来可用的技术。此外，本发明确保与2D系统的向下兼容性，同时，允许对于自立体显示器的多视图传输的推广。
根据上面的说明，本领域的技术人员能够在不引入任何另外的构造细节的情况下，实现本发明的目的。

Claims (28)

1.一种用于通过从视频图像序列开始来生成三维视频流的方法，所述序列包含第一视图(V0)、场景的至少一个第二视图(V1)、以及所述第一视图(V0)的深度图(D0)、或者所述至少一个第二视图(V1)相对于第一视图(V0)的视差图，对于一个图像，所述方法包含以下步骤：
-通过从所述深度图(D0)或者从所述视差图开始，获得包含所述第二视图(V1)的被遮蔽像素的至少一个遮蔽图像(O1)；
-通过空间重新放置所述至少一个遮蔽图像(O1)的所述被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成压紧的遮蔽图像(OC1)；
-对于一个图像，所述三维视频流包含所述第一视图(V0)、所述深度图(D0)或所述视差图、和所述至少一个压紧的遮蔽图像(OC1)。
2.按照权利要求1所述的方法，其中所述至少一个第二视图(V1)的所述至少一个压紧的遮蔽图像(OC1)是通过以下步骤获得的：
-通过从所述第一视图(V0)的解码值(Vdec0,Ddec0)开始，或者通过从所述第一视图(V0)和对应于所述第一视图(V0)的所述深度图(D0)开始，确定所述至少一个第二视图(V1)的至少一个第一估计序列(Vsyn1)的至少一个第一遮蔽图(OM0,1)，所述第一遮蔽图(OM0,1)包含所述遮蔽的位置的表现；
-确定在与在所述至少一个第一遮蔽图(OM0,1)中表现的遮蔽的那些位置对应的位置中，具有与所述图像的所述至少一个第二视图(V1)的值对应的值的所述至少一个遮蔽图像(O1)；
-对于与在所述至少一个遮蔽图(OM0,1)中表现的遮蔽的那些位置对应的所述位置，确定所述至少一个遮蔽图像(O1)的空间压紧，从而获得所述至少一个第二视图(V1)的所述至少一个压紧的遮蔽图像(OC1)。
3.按照权利要求2所述的方法，其中所述空间压紧是通过朝着所述至少一个遮蔽图像(O1)的图像的一侧或多侧，移动所述至少一个遮蔽图像(O1)的位于与在所述至少一个遮蔽图(OM0,1)中表现的遮蔽的那些位置对应的所述位置中的遮蔽像素来获得的。
4.按照权利要求3所述的方法，其中朝着所述至少一个第一视频序列(O1)的图像的各侧之一逐行地移动所述遮蔽像素，所述移动通过除去所述至少一个遮蔽图像(O1)的不对应于遮蔽位置的中间像素，同时逐行地保持遮蔽像素的相对序列，或者水平地翻转所述相对序列来进行。
5.按照权利要求3所述的方法，其中通过除去所述至少一个遮蔽图像(O1)的不对应于遮蔽位置的中间像素，朝着所述至少一个遮蔽图像(O1)的图像的两侧、朝着所述至少一个遮蔽图像(O1)的图像的第一组行的第一侧、以及朝着第二组行的第二侧，逐行地移动所述遮蔽像素，所述第一组行和第二组行是相邻或者交替的行。
6.按照权利要求3所述的方法，其中通过除去所述至少一个遮蔽图像(O1)的不对应于遮蔽位置的中间像素，并且留下没有像素的所述第二组行，朝着所述至少一个遮蔽图像(O1)的图像的两侧，逐行地移动所述遮蔽像素，第一组行的像素被朝着所述第一组行中的图像的第一侧移动，第二组行的像素被朝着所述至少一个遮蔽图像(O1)的图像的所述第一组行中的图像的第二侧移动。
7.按照权利要求6所述的方法，其中通过减小所述图像的大小，从所述至少一个遮蔽图像(O1)的所述图像中除去所述第二组行。
8.按照权利要求6或7所述的方法，其中从所述至少一个遮蔽图像(O1)的所述图像中除去所述至少一个遮蔽图像(O1)的所述图像的未被所述遮蔽像素占据的一组列(m/2)，从而减小所述图像的大小。
9.按照前述权利要求任意之一所述的方法，其中在所述至少一个遮蔽图像(O1)的图像中存在多个遮蔽区域的情况下，通过除去所述至少一个遮蔽图像(O1)的不对应于遮蔽位置的像素，顺序地安置所述遮蔽像素。
10.按照权利要求1-8任意之一所述的方法，其中在所述至少一个遮蔽图像(O1)的图像中存在多个遮蔽区域的情况下，通过在不同的遮蔽区域的像素之间放置缓冲像素，顺序地安置所述遮蔽像素。
11.按照权利要求10所述的方法，其中所述缓冲像素具有按照如下方式计算的值，所述方式通过在不同遮蔽区域的像素之间引入中间过渡区，以减小两个相邻遮蔽区域之间、和/或一个遮蔽区域和无遮蔽的相邻中性区域之间的信号电平的间距。
12.按照前述权利要求任意之一所述的方法，包括生成编码图像(Vcod0,Dcod0,OCcod0)的序列，其中编码图像包含所述第一视图(V0)的编码、所述深度图(D0)的编码或所述视差图的编码、和所述至少一个压紧的遮蔽图像(OC1)的编码。
13.一种通过从视频图像序列开始来生成三维视频流的设备，所述序列包含第一视图(V0)、场景的至少一个第二视图(V1)、以及所述第一视图(V0)的深度图(D0)、或者所述至少一个第二视图(V1)相对于第一视图(V0)的视差图，所述设备包含：
-用于通过从所述第一视图(V0)的深度图(D0)或者从所述至少一个第二视图(V1)相对于第一视图(V0)的视差图开始，获得包含所述至少一个第二视图(V1)的被遮蔽像素的至少一个遮蔽图像(O1)的装置；
-用于通过空间重新放置所述至少一个遮蔽图像(O1)的所述被遮蔽像素，以便将所述像素移动到彼此更靠近，来生成所述至少一个压紧的遮蔽图像(OC1)的装置；
-用于获得所述三维视频流的装置，对于一个图像，所述三维视频流包含所述第一视图(V0)、所述深度图(D0)或所述视差图、和所述至少一个压紧的遮蔽图像(OC1)。
14.按照权利要求13所述的设备，其中所述用于生成所述至少一个压紧的遮蔽图像(OC1)的装置包括：
-用于通过从所述第一视图(V0)的所述解码值(Vdec0,Ddec0)开始，或者通过从所述第一视图(V0)和对应于所述第一视图(V0)的所述深度图(D0)开始，确定所述至少一个第二视图(V1)的所述至少一个第一估计序列(Vsyn1)的所述至少一个第一遮蔽图(OM0,1)的装置，所述第一遮蔽图(OM0,1)包含所述遮蔽的位置的表现；
-用于确定在与在所述至少一个第一遮蔽图(OM0,1)中表现的遮蔽的那些位置对应的位置中，具有与所述图像的所述至少一个第二视图(V1)的值对应的值的图像的所述至少一个遮蔽图像(O1)的装置；
-用于对于所述至少一个遮蔽图(OM0,1)的遮蔽的那些位置对应的所述位置，确定所述至少一个遮蔽图像(O1)的所述空间压紧，从而获得所述至少一个第二视图(V1)的所述至少一个压紧的遮蔽图像(OC1)的装置。
15.按照权利要求13或14所述的设备，包括用于生成编码图像(Vcod0,Dcod0,OCcod0)的序列的装置，其中编码图像包含所述第一视图(V0)的编码、所述深度图(D0)的编码或所述视差图的编码、和所述至少一个压紧的遮蔽图像(OC1)的编码。
16.一种用于重构包含视频图像序列的三维视频流的方法，对于一个图像，所述方法包含以下步骤：
-接收所述视频图像序列的第一视图(Vdec0,V0)、所述第一视图(Vdec0,V0)的深度图(Ddec0,D0)、或所述第一视图(Vdec0,V0)和所述视频图像序列的至少一个第二视图(Vdec1,V1)之间的视差图、和通过空间重新放置所述至少一个第二视图(Vdec1)的至少一个遮蔽图像(O1)的被遮蔽像素以便将所述像素移动到彼此更靠近而获得的至少一个压紧的遮蔽图像(OCdec1,OC1)；
-获得至少一个重构的遮蔽图像(Odec1,O1)，所述至少一个重构的遮蔽图像(Odec1,O1)包含所述至少一个第二视图(Vdec1,V1)的被遮蔽像素，所述至少一个第二视图(Vdec1,V1)的被遮蔽像素被重新放置在它们在为获得所述至少一个压紧的遮蔽图像(OC1)而进行的压紧操作之前的位置；
-通过从所述第一视图(Vdec0,V0)、从所述深度图(Ddec0,D0)或者分别地从所述视差图、和从所述至少一个重构的遮蔽图像(Odec1,O1)开始，重构所述至少一个第二视图(Vdec1,V1)；
-所述重构的三维视频流包含所述接收的第一视图(Vdec0,V0)和所述至少一个重构的第二视图(Vdec1,V1)。
17.按照权利要求16所述的方法，其中所述至少一个第二视图(Vdec1,V1)是通过以下步骤重构的：
-通过利用从所述第一视图(Vdec0,V0)和从所述深度图(Ddec0,D0)获得的值，确定所述至少一个第二视图(Vdec1,V1)的至少一个第二估计序列(Vsyn1)，其中所述至少一个第二估计序列(Vsyn1)适合于包含遮蔽区域；
-确定所述至少一个第二估计序列(Vsyn1)的至少一个第二遮蔽图(OM0,1)，所述遮蔽图(OM0,1)包含所述遮蔽的位置的表现；
-根据在遮蔽图(OM0,1)中表现的位置，空间解压紧所述至少一个压紧的遮蔽图像(OCdec1,OC1)的压紧的遮蔽，以便获得包含未被压紧的遮蔽图像的至少一个第二遮蔽图像(OCdec1,OC1)，从而恢复所述至少一个第二视图的(Vdec1,V1)的所述遮蔽的初始位置；
-将所述至少一个第二遮蔽图像(Odec1)的遮蔽位置的像素放回在所述至少一个第二估计序列(Vsyn1)的对应位置中，同时使所述至少一个第二估计序列(Vsyn1)的其它位置保持不变，从而获得至少一个第二视图(Vdec1,V1)。
18.按照权利要求16或17所述的方法，其中所述至少一个第二视图(Vdec1)经历组合伪像补偿操作。
19.按照权利要求16-18任意之一所述的方法，包含编码图像(Vcod0,Dcod0,OCcod0)的序列的解码，其中编码图像包含所述第一视图(V0)的编码、所述深度图(D0)的编码或所述视差图的编码、和所述至少一个压紧的遮蔽图像(OC1)的编码，从而从所述深度图(Ddec0)，或者分别从所述视差图、和所述至少一个压紧的遮蔽图像(OCdec1)获得所述第一视图(Vdec0)。
20.一种用于重构包含视频图像序列的三维视频流的设备，所述设备包括：
-用于接收所述视频图像序列的第一视图(Vdec0,V0)、所述第一视图(Vdec0,V0)的深度图(Ddec0,D0)、或所述第一视图(Vdec0,V0)和所述视频图像序列的至少一个第二视图(Vdec1,V1)之间的视差图、和通过空间重新放置所述至少一个第二视图(Vdec1)的至少一个遮蔽图像(O1)的被遮蔽像素以便将所述像素移动到彼此更靠近而获得的至少一个压紧的遮蔽图像(OCdec1,OC1)的装置；
-用于通过把所述至少一个第二视图(Vdec1,V1)的所述被遮蔽像素重放置到它们在为获得所述至少一个压紧的遮蔽图像(OC1)而进行的压紧操作之前的位置，来获得至少一个重构的遮蔽图像(Odec1,O1)的装置；
-用于通过从所述第一视图(Vdec0,V0)、从所述深度图(Ddec0,D0)，或者分别地从所述视差图、和从所述至少一个重构的遮蔽图像(Odec1,O1)开始，重构所述至少一个第二视图(Vdec1,V1)的装置。
21.按照权利要求20所述的设备，其中所述用于重构所述至少一个第二视图(Vdec1,V1)的装置包括：
-用于通过利用从所述第一视图(Vdec0,V0)和从所述解码的深度图(Ddec0,D0)获得的值，获得所述至少一个第二视图(Vdec1,V1)的至少一个第二估计序列(Vsyn1)的装置，其中所述至少一个第二估计序列(Vsyn1)能够包含遮蔽区域；
-用于确定所述至少一个第二估计序列(Vsyn1)的所述至少一个第二遮蔽图(OM0,1)的装置，所述遮蔽图(OM0,1)包含所述遮蔽的位置的表现；
-用于根据在所述至少一个遮蔽图(OM0,1)中表现的遮蔽的位置，空间解压紧所述至少一个压紧的遮蔽图像(OCdec1,OC1)的所述压紧的遮蔽，以便获得包含未被压紧的遮蔽图像的所述至少一个第二遮蔽图像(OCdec1,OC1)，从而恢复所述至少一个第二视图的(Vdec1,V1)的所述遮蔽的实际原始位置的装置；
-用于将所述至少一个第二遮蔽图像(Odec1)的遮蔽位置的像素放回在所述至少一个第二估计序列(Vsyn1)的对应位置中，同时使所述至少一个第二估计序列(Vsyn1)的其它位置保持不变，从而获得所述至少一个第二视图(Vdec1,V1)的装置。
22.按照权利要求20或21所述的设备，包括用于解码所述编码图像的序列，以便从所述深度图(Ddec0)、或者分别从所述视差图、和所述至少一个压紧的遮蔽图像(OCdec1)获得所述第一视图(Vdec0)的装置，所述编码图像包含所述第一视图(V0)的编码、所述深度图(D0)的编码或所述视差图的编码、和所述至少一个压紧的遮蔽图像(OC1)的编码。
23.按照权利要求20-22任意之一所述的设备，包括用于所述至少一个重构的第二视图(Vdec1)的组合伪像补偿块(CART)。
24.一种表现三维图像序列的视频流，所述三维图像序列包含第一视图(V0)和图像序列的至少一个第二视图(V1)，所述视频流包含：
-所述第一视图(V0)的编码(Vcod0)；
-对应于所述第一视图(V0)的深度图、或者所述至少一个第二视图(V1)相对于第一视图(V0)的视差图的编码(Dcod0)；
-所述至少一个第二视图(V1)的压紧的遮蔽图像(OC1)的编码(OCcod1)；
其中所述压紧的遮蔽图像(OC1)是通过空间重新放置至少一个遮蔽图像(O1)的被遮蔽像素，以便将所述像素移动到彼此更靠近而获得的。
25.一种用于按照权利要求1-11任意之一、通过从视频图像序列开始生成三维视频流的方法，其中所述至少一个第二视图(V1)包含(k-1)个视图(V1,…Vk-1)，其中k>1，并为整数，对于一个图像，所述方法包含以下步骤：
-建立包含作为主视图的所述第一视图(V0)的视图(V0,V1,…,Vk-1)的顺序；
-通过从所述深度图(D0,Ddec0)或者所述视差图和从所述主视图(V0,Vdec0)开始，获得(k-1)个遮蔽图像(O1,…Ok-1,)，每个遮蔽图像包含具有对应索引的所述第二视图(V1,...Vk-1)之一的被遮蔽像素；
-通过空间重新放置所述(k-1)个遮蔽图像(O1,…Ok-1)的所述被遮蔽像素，以便将各个像素移动到彼此更靠近，来生成(k-1)个压紧的遮蔽图像(OC1,2,k-1,OCcod1,2,..k-1)；
对于一个图像，所述三维视频流包含所述第一视图(V0)、所述第一视图(V0)的所述深度图(D0)和所述压紧的遮蔽图像(OC1,2,k-1,OCcod1,2,..k-1)。
26.一种用于通过从视频图像序列开始，生成三维视频流的设备，所述序列包含第一视图(V0)和场景的至少一个第二视图(V1)，其中所述至少一个第二视图(V1)包含(k-1)个视图(V1,…Vk-1)，其中k>1，并为整数，所述设备包含用于实现权利要求25的方法的装置。
27.一种用于按照权利要求17-20任意之一重构包含视频图像序列的三维视频流的方法，其中所述至少一个第二视图(V1)包含(k-1)个视图(V1,…Vk-1)和通过空间重新放置所述(k-1)个视图(V1,…Vk-1)的遮蔽图像(O1,…Ok-1)的被遮蔽像素以便将所述像素移动到彼此更靠近而获得的压紧的遮蔽图像(OC1,2,k-1,OCcod1,2,..k-1)，其中k>1，并为整数，对于一个图像，所述方法包括以下步骤：
-获得(k-1)个重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)，所述(k-1)个重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)包含所述k-1个视图(V1,…,Vk-1)的被遮蔽像素，所述k-1个视图(V1,…,Vk-1)的被遮蔽像素被重新放置到它们在为获得所述压紧的遮蔽图像(OCdec1,2,..k-1,OC1,2,..k-1)而进行的压紧操作之前的位置；
-通过从所述第一视图(Vdec0,V0)、从所述深度图(Ddec0,D0)，或者分别从所述视差图和从所述重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)开始，重构所述k-1个视图(V1,…,Vk-1)；
所述重构的三维视频流包含所述接收的第一视图(Vdec0,V0)和所述(k-1)个重构的视图(Vdec1,…Vdeck-1,V1,…,Vk-1)。
28.一种用于如权利要求20-23任意之一、重构包含视频图像序列的三维视频流的设备，其中所述至少一个第二视图(V1)包含(k-1)个视图(V1,…,Vk-1)和通过空间重新放置所述(k-1)个视图(V1,…Vk-1)的遮蔽图像(O1,…Ok-1)的被遮蔽像素以便将所述像素移动到彼此更靠近而获得的压紧的遮蔽图像(OC1,2,k-1,OCcod1,2,..k-1)，其中k>1，并为整数，所述设备包括：
-用于获得(k-1)个重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)的装置，所述(k-1)个重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)包含所述k-1个视图(V1,…,Vk-1)的被遮蔽像素，所述k-1个视图(V1,…,Vk-1)的被遮蔽像素被重新放置到它们在为获得所述压紧的遮蔽图像(OCdec1,2,..k-1,OC1,2,..k-1)而进行的压紧操作之前的位置；
-用于通过从所述第一视图(Vdec0,V0)、从所述深度图(Ddec0,D0)，或者分别从所述视差图和从所述重构的遮蔽图像(Odec1,…Odeck-1；O1,…Ok-1)开始，重构所述k-1个视图(V1,…,Vk-1)的装置；
所述重构的三维视频流包含所述接收的第一视图(Vdec0,V0)和所述(k-1)个重构的视图(Vdec1,…Vdeck-1,V1,…,Vk-1)。
CN201380024059.8A 2012-05-08 2013-05-07 根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备 Active CN104412595B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ITTO2012A000413 2012-05-08
IT000413A ITTO20120413A1 (it) 2012-05-08 2012-05-08 Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
PCT/IB2013/053660 WO2013168091A1 (en) 2012-05-08 2013-05-07 Method for generating and reconstructing a three-dimensional video stream, based on the use of the occlusion map, and corresponding generating and reconstructing device

Publications (2)

Publication Number Publication Date
CN104412595A true CN104412595A (zh) 2015-03-11
CN104412595B CN104412595B (zh) 2018-07-06

Family

ID=46466752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024059.8A Active CN104412595B (zh) 2012-05-08 2013-05-07 根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备

Country Status (8)

Country Link
US (1) US10051286B2 (zh)
EP (1) EP2847994B1 (zh)
JP (1) JP2015520989A (zh)
KR (1) KR20150017350A (zh)
CN (1) CN104412595B (zh)
IT (1) ITTO20120413A1 (zh)
TW (1) TW201351961A (zh)
WO (1) WO2013168091A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6365540B2 (ja) * 2013-07-17 2018-08-01 ソニー株式会社 画像処理装置および方法
CN103997640B (zh) * 2014-05-13 2016-01-27 深圳超多维光电子有限公司 带宽优化方法和带宽优化装置
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
JP2018514968A (ja) * 2015-03-01 2018-06-07 ネクストブイアール・インコーポレイテッド ３ｄ画像レンダリングにおいて環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
CA2998690A1 (en) 2015-09-17 2017-03-23 Thomson Licensing Method for encoding a light field content
CN106101706B (zh) * 2016-06-30 2019-11-19 华为技术有限公司 一种图像编码方法及装置
EP3273686A1 (en) * 2016-07-21 2018-01-24 Thomson Licensing A method for generating layered depth data of a scene
WO2019153196A1 (zh) * 2018-02-08 2019-08-15 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备
FR3093884A1 (fr) * 2019-03-15 2020-09-18 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues
US20230224447A1 (en) * 2020-06-16 2023-07-13 Dolby Laboratories Licensing Corporation Supporting multi-view video operations with disocclusion atlas

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131501A (zh) * 2007-09-20 2008-02-27 友达光电股份有限公司 显示装置、形成显示装置的方法及呈现立体影像的方法
US20110064299A1 (en) * 2009-09-14 2011-03-17 Fujifilm Corporation Image processing apparatus and image processing method
US20110149037A1 (en) * 2008-08-26 2011-06-23 Koninklijke Philips Electronics N.V. Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal.
US20110211083A1 (en) * 2010-03-01 2011-09-01 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
US20120039528A1 (en) * 2010-08-16 2012-02-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
EP2432232A1 (en) * 2010-09-19 2012-03-21 LG Electronics, Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
WO2012036901A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3551467B2 (ja) * 1994-04-13 2004-08-04 松下電器産業株式会社 視差演算装置、視差演算方法及び画像合成装置
KR101545008B1 (ko) 2007-06-26 2015-08-18 코닌클리케 필립스 엔.브이. 3ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, 동봉된 3ｄ 비디오 신호, 3ｄ 비디오 신호용 디코더에 대한 방법 및 시스템
CN101911124B (zh) * 2007-12-26 2013-10-23 皇家飞利浦电子股份有限公司 用于覆盖图形对象的图像处理器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101131501A (zh) * 2007-09-20 2008-02-27 友达光电股份有限公司 显示装置、形成显示装置的方法及呈现立体影像的方法
US20110149037A1 (en) * 2008-08-26 2011-06-23 Koninklijke Philips Electronics N.V. Method and system for encoding a 3D video signal, encoder for encoding a 3-D video signal, encoded 3D video signal, method and system for decoding a 3D video signal, decoder for decoding a 3D video signal.
US20110064299A1 (en) * 2009-09-14 2011-03-17 Fujifilm Corporation Image processing apparatus and image processing method
US20110211083A1 (en) * 2010-03-01 2011-09-01 Stmicroelectronics, Inc. Border handling for motion compensated temporal interpolator using camera model
US20120039528A1 (en) * 2010-08-16 2012-02-16 Samsung Electronics Co., Ltd. Image processing apparatus and method
WO2012036901A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
EP2432232A1 (en) * 2010-09-19 2012-03-21 LG Electronics, Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service

Also Published As

Publication number Publication date
US10051286B2 (en) 2018-08-14
WO2013168091A1 (en) 2013-11-14
EP2847994B1 (en) 2020-11-18
KR20150017350A (ko) 2015-02-16
US20150092845A1 (en) 2015-04-02
CN104412595B (zh) 2018-07-06
JP2015520989A (ja) 2015-07-23
TW201351961A (zh) 2013-12-16
EP2847994A1 (en) 2015-03-18
ITTO20120413A1 (it) 2013-11-09

Similar Documents

Publication Publication Date Title
CN104412595A (zh) 根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备
JP6356286B2 (ja) 多視点信号コーデック
JP6113782B2 (ja) マルチレイヤフレーム準拠ビデオ配信のためのシステム及び方法
KR101840308B1 (ko) 3차원 콘텐츠에 관한 영상들을 조합하기 위한 방법
US9172942B2 (en) Method and apparatus for generating header information of stereoscopic image data
US10038890B2 (en) Method and device for generating, storing, transmitting, receiving and reproducing depth maps by using the color components of an image belonging to a three-dimensional video stream
AU2010334367B2 (en) Method for generating, transmitting and receiving stereoscopic images, and related devices
KR20080108884A (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
CN103609111A (zh) 用于使用预滤波的层间预测的视频编码的方法和设备，以及用于使用后滤波的层间预测的视频解码的方法和设备
CN104838648A (zh) 用于创建和重建视频流的装置和方法
JP6019520B2 (ja) 立体画像を生成、送信、および、受信するための方法、および関連するデバイス
KR20140044332A (ko) 스테레오스코픽 이미지들을 생성하고, 송신하고 수신하기 위한 방법, 및 관련 디바이스들
KR101349459B1 (ko) 영상 제공 장치 및 방법, 그리고 영상 재생 장치 및 방법
KR20080114450A (ko) 블록 인터리브드 방식의 양안 영상 정보를 포함하는 양안식영상 비트스트림 생성 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant