CN103299619A - 遮挡数据的压缩方法和装置 - Google Patents

遮挡数据的压缩方法和装置 Download PDF

Info

Publication number
CN103299619A
CN103299619A CN2011800546848A CN201180054684A CN103299619A CN 103299619 A CN103299619 A CN 103299619A CN 2011800546848 A CN2011800546848 A CN 2011800546848A CN 201180054684 A CN201180054684 A CN 201180054684A CN 103299619 A CN103299619 A CN 103299619A
Authority
CN
China
Prior art keywords
data
block
blocking
blocks
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800546848A
Other languages
English (en)
Inventor
田栋
赖旺霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN103299619A publication Critical patent/CN103299619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

公开了编解码诸如3D视频中的遮挡视频数据和遮挡深度数据那样的遮挡层的方法和装置。解码方法包含如下步骤：为接收的遮挡数据提取表示原始格式的指示符（S702），该原始格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；解码接收遮挡数据以生成解码的遮挡数据（S703）；以及当该指示符将原始格式指示成填充遮挡数据格式时，将解码遮挡数据从稀疏遮挡数据格式转换成填充遮挡数据格式（S706），该转换进一步包括：用来自与遮挡数据相关联的视频数据帧中的2D数据的各自共地点样本取代用所定义特征表示的非遮挡区数据（S706）；以及输出解码遮挡数据，和当存在时，转换的解码遮挡数据（S705）。

Description

遮挡数据的压缩方法和装置
相关申请的交叉引用
本申请要求如下待审、共同拥有的美国临时专利申请的优先权的利益：2010年9月14日提交和发明名称为“Compression Methods For Occlusion Data（遮挡数据的压缩方法）”的第61/403345号（专利代理人案号PU100192）。
本申请涉及如下待审、共同拥有的专利申请：国际申请日为2010年4月30日和发明名称为“3D Video Coding Formats（3D视频编解码格式）”的PCT申请第PCT/US2010/001286号（专利代理人案号PU090045）；国际申请日为2010年4月30日和发明名称为“Reference Picture Lists for3DV（3DV的参考画面列表）”的PCT申请第PCT/US2010/001291号（专利代理人案号PU090049）；以及国际申请日为2010年4月30日和发明名称为“Inter-LayerDependency Information for3DV（3DV的层间相关性信息）”的PCT申请第PCT/US2010/001292号（专利代理人案号PU100026）。
技术领域
本发明涉及视频编解码系统，尤其涉及三维（3D）图像编码和解码系统。
背景技术
电视节目越来越广泛地以3D形式出现。已经播出体育比赛和音乐会供家庭消费。随着3D销售份额上升以及随着对3D的需求不断增长，预计在不久的将来在大多数流行TV频道上将广泛提供3D节目。
为了促进像3D电视和自由视点视频（FVV）那样的新视频应用，可以利用由传统2D视频和深度—一般称为“2D数据”—两者组成的3D视频数据格式，以便可以为最终用户或观众呈现附加视图。存在许多不同3D视频模式，包括，例如：2D加深度（2D+Z）、分层深度视频（LDV）、多视图加深度（MVD）、视差增强立体（DES）、和层深视频加右视图（LDV+R），仅举几例。2D加深度（2D+Z）格式由2D视频元素和它的相应深度图组成。分层深度视频（LDV）格式包括2D+Z格式元素和遮挡视频以及遮挡深度。多视图加深度（MVD）格式由一组多个2D+Z格式元素组成，每个2D+Z格式元素与不同视点有关。视差增强立体（DES）格式由两个LDV格式元素组成，其中每个LDV格式元素与两个不同视点之一有关。层深视频加右视图（LDV+R）格式由来自左视图的一个LDV格式元素和来自右视图的2D视频元素组成。
人们已经使用编解码来保护具有这些各种格式的数据以及提高可能的传输或甚至处理效率。编解码，如本文拟使用该术语那样，应该理解为包含编码和解码操作。编解码通常涉及多个视图以及可能涉及相应深度图的3D内容通常是一项富有挑战性的任务。3D内容的每个帧可能要求系统管理巨量数据。尽管这样格式化数据的编解码仍然是正在进行研究的主题，但已知在上面标识的PCT申请第PCT/US2010/001286中给出了编码和解码大量具有这些格式的3D视频内容的至少一种框架。不过，似乎大多数编解码努力主要针对如与像深度和遮挡数据那样的补充数据截然不同的实际视频或纹理信息。
遮挡数据，即，遮挡视频或遮挡深度不能被观看TV显示的最终用户直接看到，或不能直接向观看TV显示的最终用户展示。相反，它被用于接收器的虚拟视图呈现目的。遮挡数据呈现与正常视频或深度信息不同的特征。它通常包含从电视观众的观察点看过去看不见的像素值（即，对于遮挡视频数据）或深度值（即，对于遮挡深度数据）。尽管至少早在2008年在MPEG3DV特设团队内在LDV格式中遮挡数据问题就已出现，但目前已知还没有高效管理和编解码遮挡数据的技术。
对LDV格式的一些编解码实验使用把遮挡数据当作正常2D视图对待的多视图视频编解码（MVC）来进行。但是，该手段不是管理遮挡视频数据和遮挡深度数据的高效方式。
面对对物美价廉3D内容的不断增长需求，例如，在传输带宽、存储容量和处理能力方面的局限性将继续强调在整个3D系统中对更高效率的需要。然而，在现有技术中还没有一种已知的技术适合高效编解码遮挡数据。因此，为了在处理，存储，和传输3D内容方面提供更高的系统效率，似乎需要对包括遮挡视频数据和遮挡深度数据两者的遮挡数据的更高效编解码技术。
到目前为止对遮挡数据的编解码处理似乎忽略了在呈现处理中，就算是有，也很稀少地引用遮挡数据，以及在呈现处理中在任何单个点上通常只使用遮挡数据的帧中的很小区域的事实。通常，当视图被扭曲到虚拟位置之后观察到空洞时才引用遮挡视频。即使那时，也只引用与扭曲视图中的空洞的位置相对应的遮挡视频的一个或多个小区域。类似的基本原理也适用于遮挡深度的使用。然后可以将这些观察用在开发遮挡数据的高效编解码策略中。
发明内容
依照本发明的原理，像3D视频中的遮挡视频数据和遮挡深度数据那样的遮挡层的编解码方法旨在提高管理这种数据的系统中的传输和处理效率。这些遮挡数据的编解码方法包括：指示遮挡格式；将所有遮挡数据转换成稀疏数据格式；用像单色那样的所定义特征填充非遮挡区或宏块；在参考画面列表内重排2D数据的位置；使用与深度边界的接近性检测遮挡和非遮挡区或宏块；将跳过模式编解码用于非遮挡区或宏块；将率失真成本用于编解码遮挡区或宏块；以及编解码单个遮挡帧而跳过接着的n-1个遮挡帧。这些技术的每一种无论分开应用还是组合在一起应用，都为3D数据的整个位流提供了改进的和甚至显著提高的编解码和传输增益。
按照本原理的一个方面，提供了处理视频数据帧的序列中的遮挡数据的方法，该方法包括如下步骤：确定遮挡数据的格式，该格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；当遮挡数据的格式被确定为填充遮挡数据格式时，在编码之前将遮挡数据转换成稀疏遮挡数据格式；编码遮挡数据以生成编码遮挡数据；以及与表示对遮挡数据确定的格式的指示符一起输出编码遮挡数据。
按照本原理的另一个方面，提供了处理视频数据帧的序列中的遮挡数据的装置，该装置包括编码器，用于：确定遮挡数据的格式，该格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；当遮挡数据的格式被确定为填充遮挡数据格式时，在编码之前将遮挡数据转换成稀疏遮挡数据格式；编码遮挡数据以生成编码的遮挡数据；以及与表示对遮挡数据确定的格式的指示符一起输出编码遮挡数据。
按照本原理的另一个方面，提供了处理视频数据帧的序列中的遮挡数据的方法，该方法包括如下步骤：为接收的遮挡数据提取表示原始格式的指示符，该原始格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；解码接收的遮挡数据以生成解码的遮挡数据；以及当该指示符将原始格式指示成填充遮挡数据格式时，将解码的遮挡数据从稀疏遮挡数据格式转换成填充遮挡数据格式，该转换进一步包括用来自与遮挡数据相关联的视频数据帧中的2D数据的各自共地点（collocated）样本取代用所定义特征表示的非遮挡区数据的步骤；以及输出解码的遮挡数据，和当存在时，转换的解码遮挡数据。
按照本原理的另一个方面，提供了处理视频数据帧的序列中的遮挡数据的装置，该装置包括解码器，用于：为接收的遮挡数据提取表示原始格式的指示符，该原始格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；解码接收的遮挡数据以生成解码的遮挡数据；以及当该指示符将原始格式指示成填充遮挡数据格式时，将解码的遮挡数据从稀疏遮挡数据格式转换成填充遮挡数据格式，该转换进一步包括用来自与遮挡数据相关联的视频数据帧中的2D数据的各自共地点样本取代用所定义特征表示的非遮挡区数据；以及输出解码的遮挡数据，和当存在时，转换的解码遮挡数据。
在附图和下面的描述中展示了一种或多种实现方式的细节。即使以一种特定方式描述，也应该清楚可以以各种方式配置或具体化这些实现方式。例如，一种实现方式可以作为方法来执行，或具体化成配置成执行一组操作的装置，或具体化成存储执行一组操作的指令的装置。其他方面和特征将从结合附图和权利要求书考虑的如下详细描述中清楚看出。
附图说明
通过参考结合附图所作的本发明实施例的如下描述，本发明的上述和其他特征和优点，以及实现它们的方式将变得更加显而易见，以及本发明将得到更好理解，在附图中：
图1是示范性3D视频（3DV）编码器的框图；
图2是示范性3D视频（3DV）解码器的框图；
图3是示范性3D视频（3DV）层编码器的框图；
图4是示范性3D视频（3DV）层解码器的框图；
图5在（a）-（f）中示出了LDV格式的成分，其中（c）和（d）代表填充遮挡数据，以及（e）和（f）代表可以用在分别取代（c）和（d）中的稀疏遮挡数据；
图6和7示出了依照本发明的原理实现、与遮挡数据的键控技术一起涉及稀疏和填充遮挡数据的指示的编码和解码遮挡数据的一个实施例的流程图；
图8和9示出了依照本发明的原理实现、涉及将跳过模式用于遮挡数据的编码和解码遮挡数据的第二实施例的流程图；
图10和11示出了依照本发明的原理实现、涉及将深度跳过模式用于遮挡数据的编码和解码遮挡数据的第三实施例的流程图；
图12和13示出了依照本发明的原理实现、涉及将更新用于遮挡数据的编码和解码遮挡数据的第四实施例的流程图；
具体实施方式
本文展示的示范性实施例例示了本发明优选实施例，这样的示范性实施例决不应该理解为以任何方式限制本发明的范围。
本文描述旨在提高管理遮挡视频数据和遮挡深度数据的系统中的传输和处理效率、像遮挡视频数据和遮挡深度数据那样的遮挡层的编解码方法。公开了几种改进的编解码方法。另外，该描述还包括有关包括在帧首标或额外开销消息中传达有关遮挡数据的实际类型的细节的语法的信息和可用在实施本发明中的其他信息。
一个目的是使本文所述的编码和解码技术可应用于遮挡数据，一般说来，无论该数据是遮挡深度数据还是遮挡视频数据都可应用，除非明确指定了一种特定类型的遮挡数据。此外，还有一个目的使本文所述的编码和解码技术可应用于遮挡数据的任何格式，一般说来，无论该数据格式是稀疏的还是填充的都可应用，除非明确指定了一种特定类型的遮挡数据格式。
描述一些术语很重要，以便在本申请的背景下适当地理解它们。一些有用术语定义如下：
“2D数据”包括2D视频数据和深度数据之一或两者，其中术语“数据”可以与术语“层”交换使用。
“2D视频”层在这里一般用于指传统视频信号。
“深度”层在这里一般用于指指示场景物体的距离信息的数据。
“深度图”是深度层的典型例子。
“遮挡视频”层在这里一般用于指从某个视点看过去被遮挡的视频信息。遮挡视频层通常包括2D视频层的背景信息。
“遮挡深度”层在这里一般用于指从某个视点看过去被遮挡的深度信息。遮挡深度层通常包括深度层的背景信息。
“透明”层在这里一般用于指指示深度不连续或深度边界的画面。典型透明层含有二元信息，两个值之一指示深度相对于相邻深度值具有大于特定阈值的不连续性的位置。
“3DV视图”在这里被定义成来自一个观看位置的数据集，它不同于用在MVC中的“视图”。例如，3DV视图可以包括比MVC中的视图多的数据。对于2D+Z格式，3DV视图可以包括两个层：2D视频加上它的深度图。对于LDV格式，3DV视图可以包括四个层：2D视频、深度图、遮挡视频、和遮挡深度图。另外，除了别的以外，透明图可以是3DV视图内的另一种层数据类型。
“3DV层”被定义成3DV视图的几个层之一。3DV层的例子是，例如，2D视图或视频、深度、遮挡视频、遮挡深度、和透明图。除了2D视图或视频之外的其他层也定义成“3DV补充层”。在一个或多个实施例中，3DV解码器可以配置成使用3dv layer id来标识层和将那个层与其他层区分开。在一种实现方式中，像在表1中那样定义3dv layer id。但是，应该注意到，如本领域的普通技术人员基于本文提供的教导所理解的那样，可以以其他方式定义和标识层。
表1-3DV层
3d_layer-id的值 说明
0 2D视频
1 深度
2 遮挡视频
3 遮挡深度
4 透明图
≥5 保留
在像描述在PCT申请第PCT/US2010/001286号中的那种通用3DV编码器/解码器（编解码器）框架中，如上所标识，在特定3DV层中处理遮挡视频和遮挡深度使得设计新或附加编解码模式成为可能。在本描述中，来自PCT申请第PCT/US2010/001286号中的图3-6的3DV编解码框架在这里分别包括在图1-4中。对于有关这种框架的进一步细节，建议参考PCT申请第PCT/US2010/001286号。
图1和2分别例示了高级通用3DV编码器300和解码器400。编码器300/解码器400由层编码器/解码器和3DV参考缓冲器组成。例如，如图1所示，将可以包括，例如，2D视图、深度、遮挡视图、遮挡深度、和透明图层的3DV内容信号302输入各种层编码器中。具体地说，编码器系统/装置300包括可以与AVC兼容的配置成编码2D层的2D层编码器304、配置成编码增强2D层的增强2D层编码器306、配置成编码深度层的深度层编码器308、配置成编码遮挡视图层的遮挡视图层编码器310、配置成编码遮挡深度层的遮挡深度层编码器312、和配置成编码透明层的透明层编码器314。因此，可以使用不同编码器和/或编码技术编码每个层。
增强2D层在这里一般用于将这样的层来和与AVC、MVC、SVC或一些其他底层标准兼容的层区分开。例如，增强2D层通常不与MVC兼容，因为这样的层允许像，例如，使用层间参考那样的新编解码工具。因此，这样的层一般不与MVC向后兼容。
注意，术语“增强2D层（或补充层）”也可以用于指利用MVC编解码，但预期不显示，因此通常不描述成利用MVC编解码的层。例如，一系列深度层可以通过MVC当作一系列画面和可以通过MVC来编解码。但是，通常不显示深度层，因此，除了使用MVC之外，常常希望拥有标识和编解码这样的层的不同方式。
每个层也可以使用不同参考。该参考可以来自与正在编码（解码）的画面/块不同的层。来自不同层的参考可以从3DV参考缓冲器316（3DV参考/输出缓冲器414）中获得。如图1所示，每个层编码器与3DV参考缓冲器316信号通信，以便允许编码输入信号302的各种模式生成输出信号318。
通过利用3DV参考缓冲器316，可以使用像，例如，带有运动和/或视差补偿的相同层内的临时参考和/或视图间参考那样来自其自身层的参考，和/或使用各种层之间的层间预测编码3DV格式的每个层。例如，层间预测可以重新使用来自另一个层的像，例如，运动矢量、参考指数那样的运动信息来编码当前层，这也称为运动跳过模式。这样，可以将输出信号318与一个或多个3DV视图的各种层信息交织。层间预测可以是基于对其他层访问的任何类型的技术。
关于解码器系统/装置400，系统400包括如图2所示可以输入信号318的各种层解码器。尤其，解码器系统/装置400包括可以与AVC兼容、配置成解码2D层的2D层解码器402、配置成解码增强2D层的增强2D层解码器404、配置成解码深度层的深度层解码器406、配置成解码遮挡视图层的遮挡视图层解码器408、配置成解码遮挡深度层的遮挡深度层解码器410、和/或配置成解码透明层的透明层解码器412。
如图2所例示，每个层解码器与3DV参考/输出缓冲器414信号通信，3DV参考/输出缓冲器414可以配置成解析从层解码器接收的解码层信息和确定包括在输入信号的层如何适应支持3D处理的结构。这样的3D处理可以包括，例如，对如本文所述的3D层的编解码或附加画面在接收器或显示单元上的呈现（合成）。呈现可以使用，例如，扭曲2D视频和/或遮挡画面的深度画面以便利用背景信息填充所呈现画面的空洞。
另外，3DV参考/输出缓冲器414可以配置成以3DV兼容格式生成输出信号416以便向用户展示。格式化的3DV内容信号416当然可以包括，例如，2D视图、深度、遮挡视图、遮挡深度、和透明图层。如图2所示，输出缓冲器可以与参考缓冲器一起实现，或可替代地，在其他实施例中，参考缓冲器和输出缓冲器可以分开。
编码器300和解码器400的其他实现方式可以使用更多或更少层。另外，可以使用与所示的那些不同的层。应该清楚，如在3DV参考缓冲器316和3DV参考/输出缓冲器414中所使用，术语“缓冲器”是一种智能缓冲器。这样的缓冲器可以用于，例如，存储画面，提供参考（或部分参考），以及记录画面以便加以输出。另外，这样的缓冲器可以用于，例如，进行像，例如，假设参考解码器测试、标记命令的处理（例如，AVC中的存储器管理控制操作）、和解码画面缓冲器管理那样的各种其他处理操作。
图3和4分别描绘了可以用于分别实现层编码器304-314的任何一个或多个和层解码器402-412的任何一个或多个的一般3DV层编码器500和解码器600的高级方框/流程图。注意，层编码器304-314的每一个可以如，例如，图3所描绘对它们的相应层以相同的一般方式设计，以便有利于特定用途。相反，如基于本文提供的教导所理解，这些层编码器可以配置得不同，以便更好地利用它们的独特特性。类似地，层解码器402-412可以如，例如，图4所描绘对它们的相应层以相同的一般方式设计。相反，这些层解码器可以配置得不同，以便更好地利用它们的独特特性。
应该注意到，关于MVC编码器，输入由多个视图组成。每个视图是传统2D视频。因此，与AVC编码器相比，典型的MVC编码器包括像视差估计块、视差补偿块、和视图间参考缓冲器那样的附加块。类似地，图3和4包括用于3DV参考和层间预测的块。对于3DV编码器，输入由多个3D视图组成。如上所述，3D视图可以包含几个层。于是，编码每个层的编码方法可以不同地设计以便利用它们的独特特征。因此，如图1所示，可以将3DV编码器划分成层编码器。但是，层编码器也可以紧密地耦合。用在层编码器中的技术可以如给定系统所希望的那样调整。由于每个层表现为视频信号，所以这些层如图3所述在高级别上具有相似结构。应该注意到，层编码器在较低、更具体级别上可以设计得不同。当然，一个实施例也可以使用配置成编码所有层的单个编码器。
关于例示在图3中的高级框图，3DV层编码器500可以包括配置成接收和在输入信号502内将3DV视图层互相划分为3DV视图i的层划分器504。划分器504与加法器或组合器506信号通信，与位移（运动/视差）补偿模块508信号通信，以及与位移（运动/视差）估计模块510信号通信，它们的每一个都从划分器504接收一组划分层。到加法器506的另一个输入是通过开关512接收的多种可能参考画面信息之一。
例如，如果与开关512信号通信的模式判定模块536参考当前正在编码的相同块或切片确定编码模式应该是帧内预测（intra-prediction），则加法器从帧内预测模块530接收它的输入。可替代地，如果模式判定模块536参考当前正在处理的相同帧、3DV视图或3DV层的，或另一个以前处理的帧、3DV视图或3DV层的、与当前正在编码的块或切片不同的块或切片，确定编码模式应该是位移补偿和预测，则如图3所示，加法器从位移补偿模块508接收它的输入。并且，如果模式判定模块536参考当前正在处理的相同帧或3DV视图的，或另一个以前处理的帧或3DV视图的、与当前正在编码的层不同的3DV层，确定编码模式应该是3DV层间预测，则加法器从与3DV参考缓冲器532信号通信的3DV层间预测模块534接收它的输入。
加法器506将包括3DV层的信号和预测、补偿和/或估计信息提供给变换模块514，变换模块514被配置成变换它的输入信号，并将变换的信号提供给量化模块516。量化模块516被配置成对它的接收信号进行量化，并将量化信息输出到熵编码器518。熵编码器518被配置成对它的输入信号进行熵编码以生成位流520。逆量化模块522被配置成从量化模块516接收量化信号，并对量化信号进行逆量化。接着，逆变换模块524被配置成从模块522接收逆量化信号，并对它的接收信号进行逆变换。模块522和524重建或重构从加法器506输出的信号。
加法器或组合器526相加（组合）从逆变换模块524和开关512接收的信号，并将所得信号输出到帧内预测模块530和去块滤波器528。并且，帧内预测模块530使用它的接收信号进行如上述所讨论的帧内预测。类似地，去块滤波器528滤波从加法器526接收的信号，并将滤波的信号提供给3DV参考缓冲器532。
3DV参考缓冲器532接着解析它的接收信号。3DV参考缓冲器532通过元件534，508和510帮助如上所讨论的层间和位移补偿/估计编码。3DV参考缓冲器532提供，例如，各种3DV层的所有或一部分层。
再次参照图4，3DV层解码器600可以配置成使用位流接收器602接收位流318，位流接收器602又与位流解析器604信号通信并将位流提供给解析器604。位流解析器604可以配置成将残差位流605提供给熵解码器606，将控制语法元素607提供给模式选择模块622，将位移（运动/视差）矢量信息609发送给位移补偿（运动/视差）模块618，以及将来自除了当前解码的3DV层之外的其他3DV层的编解码信息611发送给3DV层间预测模块620。逆量化模块608可以配置成对从熵解码器606接收的熵解码信号进行逆量化。另外，逆变换模块610可以配置成对从逆量化模块608接收的逆量化信号进行逆变换，并将逆变换信号输出到加法器或组合器612。
加法器612可以取决于应用的解码模式地接收多种其他信号之一。例如，模块判定模块622可以通过解析和分析控制语法元素607确定编码器500对当前处理块进行了3DV层间预测、位移补偿或帧内预测编码。取决于解码的模式，模式选择控制模块622可以根据控制语法元素607访问和控制开关623，以便加法器612可以接收来自3DV层间预测模块620、位移补偿模块618或帧内预测模块614的信号。
这里，帧内预测模块614可以配置成，例如，进行帧内预测以便使用当前正在解码的相同块或切片的参考解码一个块或切片。接着，位移补偿模块618可以配置成，例如，进行位移补偿以便使用当前正在处理的相同帧、3DV视图或3DV层的，或另一个以前处理的帧、3DV视图或3DV层的、与当前正在解码的块或切片不同的块或切片的参考解码一个块或切片。并且，3DV层间预测模块620可以配置成，例如，进行3DV层间预测以便使用当前正在处理的相同帧或3DV视图的，或另一个以前处理的帧或3DV视图的、与当前正在解码的层不同的3DV层的参考解码一个块或切片。
在接收到预测或补偿信息信号之后，加法器612可以将预测或补偿信息信号与逆变换信号相加以便发送给去块滤波器602。去块滤波器602可以配置成滤波它的输入信号，并输出解码画面。加法器612也可以将相加信号输出到帧内预测模块614以便用在帧内预测中。并且，去块滤波器602可以将滤波信号发送给3DV参考缓冲器616。3DV参考缓冲器616可以配置成解析它的接收信号，以便通过3DV参考缓冲器616向元件618和620的每一个提供解析信号允许和帮助如上所讨论的层间和位移补偿解码。这样的解析信号可以是，例如，各种3DV层的所有或一部分层。
应该明白，系统/装置300，400，500和600可以配置得不同，以及可以包括如本领域的普通技术人员基于本文所公开的教导所理解的不同元件。
遮挡数据在分层深度视频（LDV）格式中起着关键作用。图5在（a）-（f）中示出了LDV格式的成分。在LDV视频格式中存在四种成分：彩色视频（图5（a））、深度（图5（b））、遮挡视频（图5（c/e））、和遮挡深度（图5d/f）。彩色视频显示在图5（a）中；深度显示在图5（b）中。图5（c）示出了非遮挡区被来自彩色视频的相应像素填充的遮挡视频。图5（d）描绘了非遮挡区被来自深度的相应深度样本填充的遮挡深度。图5（c）和（d）分别代表填充的遮挡视频和深度数据。在可替代配置中，图5（e）和（f）分别代表稀疏遮挡视频和深度数据。稀疏遮挡数据可以用在取代填充的遮挡数据中，反之亦然。
在图5（e）和（f）中，非遮挡区被显示成遮挡视频为黑色和遮挡深度为白色。在正常情况下，遮挡数据被表示成如图5（c）和（d）所示，在本文中称为填充遮挡数据。当遮挡数据含有被如图5（e）和（f）所示，像黑色或白色那样的某种均匀颜色填充的非遮挡区时，这种表示在本文中被称为稀疏遮挡数据。
就为观众呈现视频的目的而言，应该明白，认为稀疏遮挡数据等效于配对填充遮挡数据，因为在3D扭曲和空洞填充操作中一般一点也不涉及非遮挡数据。因此，可以没有任何混乱或丧失一般性地编码具有LDV格式的填充遮挡数据或稀疏遮挡数据。
稀疏和填充遮挡数据就呈现而言相互等效和可相互交换。但是，呈现处理可能需要知道一个像素属于遮挡区还是非遮挡区，譬如，当在呈现中进行空洞填充处理时。在这样的情况下，当空洞像素位于遮挡区中时，可以将遮挡数据用于填充空洞像素。要不然，可以将相邻背景像素用于填充空洞像素。
如上所述，遮挡格式的指示至少可用于帮助遮挡区或非遮挡区的确定。对于3D视频信号，遮挡数据格式的指示可以包括在高级语法中。如本文所使用，“高级语法”指的是存在于在分层结构中位于宏块层上面的位流中的语法。例如，高级语法如本文所使用，可以指，但不限于，切片首标级别、补充增强信息（SEI）级别、画面参数集（PPS）级别、序列参数集（SPS）级别、视图参数集（VPS）、和网络抽象层（NAL）单元首标级别上的语法。表2展示了包括这样指示标志的修改SPS的例子，其中将3DV序列的扩展SPS用作一个例子。
表2.修改SPS
Figure BDA00003184358400121
上面表2中的所有带阴影条目的语义完整描述在共同拥有和同时待审PCT申请第PCT/US2010/001286号（专利代理人案号PU090045）中有关表13的至少第50-55页上。其余条目occlusion_data_format的语义如下：
·值0指示编解码遮挡视频/深度是填充遮挡数据；
·值1指示编解码遮挡视频/深度是稀疏遮挡数据；以及
·大于1的值此时还保留着。
图6和7示出了与遮挡数据的键控技术一起涉及稀疏和填充遮挡数据的指示的编码和解码遮挡数据的一个实施例的流程图。下面马上更详细地描述这些处理的步骤。
图6中的编码方法从步骤S601开始。将控制直接传递给步骤S602。在步骤S602中，确定编码器原始接收的输入遮挡数据格式。尽管其他技术可以应用于这种确定，但一种直截了当的示范性技术分析与所接收视频帧相关联的遮挡数据格式的指示符或指示。指示符的一个实施例在上面高级语法中被显示成occlusion_data_format条目。该指示符将相关联的遮挡数据表征成具有“填充”格式或具有“稀疏”格式。在一些情况下，这个指示符也被称为标志。当该指示符指示编码器接收到稀疏遮挡数据时，将控制转移到步骤S603。当该指示符指示编码器接收到填充遮挡数据时，将控制转移到步骤S604。
在步骤S603中，使用标准视频编码技术编码稀疏遮挡数据以生成编码遮挡数据。标准视频编码技术包括，但不限于，多视图视频编解码（MVC）、H.264/高级视频编解码（AVC）、和至少包括MPEG-2的MPEG编解码。这些编解码技术是标准化的，并且不言而喻，是本技术领域中的普通技术人员公知的。本文将不对这些技术作进一步描述。将控制转移到步骤S605。
在步骤S605中，准备好位流以便加以发送。该位流包括编码遮挡数据以及原始接收遮挡数据的遮挡数据格式的指示符（即，稀疏还是填充的指示）。将控制转移到步骤S606，在步骤S606中结束该编码方法。
在步骤S604中，处理接收的遮挡数据以便将遮挡数据格式从填充格式改变成稀疏格式。当接收的遮挡数据用稀疏格式表示时，每个非遮挡区被表示成像所定义颜色或数据值那样的所定义特征。这是通过用像所定义颜色或所定义深度级别的所定义特征取代非遮挡区中的数据样本以便变成稀疏遮挡数据格式实现的。该处理类似于一个图像中的颜色用于揭示后面另一个图像的颜色键控技术。由于标准编解码技术引起的效率，将表示改变成稀疏遮挡数据格式比相反（即，将稀疏格式改变成填充格式）更可取。
因为可以以跳过模式编解码用某种均匀颜色均匀表示的大多数非遮挡区，所以通过传统编码实现效率。在跳过格式编码中，将宏块编码成跳过宏块，从而减少编码器输出的编码遮挡数据的数据量。当使用跳过模式编解码时，解码器通过参照周围宏块和/或周围宏块内的分区的运动矢量解码宏块。不言而喻，跳过模式编解码是本技术领域中的普通技术人员所公知的。本文将不对这种编解码技术作进一步描述。然后将控制转移到步骤S603。
在这个步骤中，有必要对遮挡数据识别至少一个遮挡区和至少一个非遮挡区。这些遮挡区域是相互排斥的。这种识别使非遮挡区可以被像所定义颜色那样的所定义特征填充。
进行这样遮挡或非遮挡区识别的一种示范性技术包括将来自与遮挡数据相同的帧的深度数据用于检测与遮挡数据相关联的视频数据帧中的一个或多个深度不连续。然后在遮挡数据中将沿着每个所检测深度不连续的区域分类成遮挡区。其他技术也可以用于进行本文所述的检测和/或分类。
在另一种示范性技术中，与填充遮挡数据一起输入视频数据。通过计算视频帧与填充遮挡视频帧之间的差帧暴露非遮挡区。在差帧内非遮挡区中的样本具有零或接近零的值。
图7中的解码方法从步骤S701开始。将控制直接转移到步骤S702。在步骤S702中，提取代表在编码器上原始接收的遮挡数据的遮挡数据格式的指示符或标志。这种标志或指示符将遮挡数据格式标识成稀疏遮挡数据格式或填充遮挡数据格式。应该记得，编码器如上面参照图6中的编码方法所述，实际上以稀疏数据格式输出编码遮挡数据。然后将控制转移到步骤S703。
在步骤S703中，使用标准视频解码技术解码稀疏遮挡数据以生成解码遮挡数据。标准视频编码技术包括，但不限于，多视图视频编解码（MVC）、H.264/高级视频编解码（AVC）、和至少包括MPEG-2的MPEG编解码。将控制转移到步骤S704。
在步骤S704中，确定在接收器上原始接收的遮挡数据的遮挡数据格式。这种确定至少部分基于在步骤S702中提取的标志或指示符。当该指示符指示编码器原始接收了稀疏遮挡数据时（图6），将控制转移到步骤S705。当该指示符指示编码器原始接收了填充遮挡数据时（图6），将控制转移到步骤S706。
在步骤S705中，以稀疏遮挡数据格式（来自步骤S704）或填充遮挡数据格式（来自步骤S706）输出解码遮挡数据。在步骤S707中结束该方法。
因为在步骤S704中已经确定了编码器原始接收的遮挡数据是如在步骤S702中提取的接收标志或指示符所标识的填充遮挡数据格式，所以进入步骤S706。如上所述，步骤S704以稀疏数据模式输出解码遮挡数据。为了将稀疏遮挡数据格式转换成原始接收的填充遮挡数据格式，有必要，例如，利用该帧的相应视频或深度成分中的共地点数据样本填充用像所定义颜色那样的所定义特征标识的非遮挡区。当遮挡数据是遮挡视频时，则将来自相同帧的相应视频成分用于填充解码遮挡数据中的非遮挡区数据样本。类似地，当遮挡数据是遮挡深度成分时，则将来自相同帧的相应深度成分用于填充解码遮挡数据中的非遮挡区数据样本。当解码遮挡数据被转换回到适当原始接收格式时，将控制转移到步骤S705。
在本发明的另一个实施例中，在参考画面列表中改变可以是遮挡视频或遮挡深度的遮挡数据的地点。参考画面列表的结构通常附在参考画面列表中临时画面和视图间参考画面之后的层间参考画面上。各种参考画面列表的例子描述在上面标识的PCT申请第PCT/US2010/001291号中。关于这方面，也可以参阅Pandit等人共同拥有的美国专利申请第2010/0118933号中。在本发明中，当编码遮挡数据时，将来自视频层的参考画面放置在参考画面列表中的地点0上。换句话说，当编码遮挡数据时，将具有相同时间戳（即，相同视频帧）的2D数据放置在参考画面列表中的地点0上。
当使用这种重排序参考画面列表编码遮挡数据时，可以在处理非遮挡区中的块中达到一定编解码效率。应该注意到，本文所述的编码可以应用于遮挡视频数据或遮挡深度数据，该数据可以具有稀疏遮挡数据格式或填充遮挡数据格式。因为在非遮挡区的编码期间可以应用跳过模式编码，使得不用对非遮挡区中的数据作任何进一步修改地直接复制与非遮挡区相对应的深度或视频数据，所以可以提高编解码效率。通过让非遮挡区信息可立即从参考画面中的地点0上的遮挡视频或深度数据中获得，使这种效率成为可能。
非遮挡区的识别通过上面参照图6中的步骤S604讨论的任何技术实现。确定和识别非遮挡区以及甚至遮挡区的任何公知技术在本文中都拟作相同用途。当视频数据的块（或宏块）被识别成在非遮挡数据中或与非遮挡数据相关联时，编码器为那个块选择跳过模式编码。当视频数据的块被识别成在遮挡区中或与遮挡区相关联时，编码器根据率失真成本（即，RD成本）为那个块选择编解码模式。编码解决方案的RD成本常常计及编码宏块中的失真和计数因编码解决方案而生成的实际位数。视频编码中的RD成本的计算和使用被认为是公知的处理，在本文中不作任何进一步详细描述。
对于依照本发明的这个方面实现的解码器，将来自视频参考帧的数据复制到非遮挡块。如果在解码器上希望稀疏遮挡数据格式，则跳过解码器中的复制处理，解码器通过像上述的所定义颜色那样的所定义特征简单地填充块。
图8和9示出了如上面所讨论，根据参考画面列表的重排序以及将跳过模式用于编码/解码某些遮挡数据来编码和解码遮挡数据的实施例的流程图。
图8中的编码方法从步骤S801开始。将控制立即转移到步骤S802。
在步骤S802中，通过将具有相同时间戳的2D数据放置在地点0上排列参考画面列表。术语“2D数据”应该理解为包括2D视频数据和深度数据之一或两者。然后将控制转移到步骤S803。
应当理解的是，通过处理接收的遮挡数据以便将遮挡数据格式从填充格式转换成稀疏格式来实现本发明的优选实施例。上面参照图6已经对此作了描述。当接收的遮挡数据用稀疏格式表示时，每个非遮挡区被表示成像所定义颜色或数据值那样的所定义特征。这是用像所定义颜色或所定义深度级别那样的所定义特征取代非遮挡区中的数据样本以便变成稀疏遮挡数据格式实现的。该处理类似于一个图像中的颜色用于揭示后面另一个图像的颜色键控技术。由于标准编解码技术引起的效率，将表示改变成稀疏遮挡数据格式比相反（即，将稀疏格式改变成填充格式）更可取。
在步骤S803中，进行数据的编码。当正在编码的数据的块被识别成处在非遮挡区中时，将跳过模式编码用于那个块进行编码。否则，对于识别成未处在非遮挡区中（即，处在遮挡区中）的块，在率失真成本（RD成本）的传统基础上选择编解码模式。然后将控制转移到步骤S804。
在步骤S804中，准备好位流以便加以输出。该位流包括编码遮挡数据以及原始接收遮挡数据的遮挡数据格式的指示符或标志（即，稀疏还是填充的指示）。这种指示符在上面参照，例如，图6已经详细描述过。将控制转移到步骤S805，在步骤S805中结束该编码方法。
图9中的解码方法从步骤S901开始。将控制立即转移到步骤S902。
在步骤S902中，通过将具有相同时间戳的2D数据放置在地点0上再次排列参考画面列表。如上所述，术语“2D数据”应该理解为包括2D视频数据和深度数据之一或两者。然后将控制转移到步骤S903。
在步骤S903中，以传统视频解码方式解码切片或画面中的所有宏块。然后将控制转移到步骤S904。
在步骤S904中，根据与视频数据一起接收的指示符或标志，将两种可能技术之一用于遮挡数据。当指示符对原始接收的遮挡数据将遮挡数据格式标识成稀疏的时，利用像所定义颜色或所定义深度值那样的所定义特征填充非遮挡区。当指示符对原始接收的遮挡数据将遮挡数据格式标识成填充的时，利用来自2D视频的相应部分的数据样本填充非遮挡区。然后将控制转移到步骤S905，在步骤S905中对这个数据结束解码方法。
这里应该认识到，对于描述在上面实施例中的修改参考画面列表结构，参考画面指数对于编解码遮挡块未必是最佳的。引起这种有关优化的问题是因为遮挡区中的块有可能将临时参考画面用于最佳匹配而不是层间参考画面。另一方面，对于非遮挡区中的块，如上面标识的PCT申请第PCT/US2010/001291号所示，将层参考画面放在参考画面列表的末端上未必好。因此，参考画面列表的重排可能无法单独为编码/解码块（与遮挡区相关联的块和与非遮挡区相关联的块两者）提供完全适当的和有效的解决方案。
遮挡数据的编码器和解码器方法的另一个实施例涉及深度的使用和深度边界的检测。这个实施例描绘在图10和11中。图10和11示出了涉及将深度跳过模式编码用于某些遮挡数据的编码和解码遮挡数据的流程图。如上所述，本文所述的技术可交换地可应用于遮挡视频数据和遮挡深度数据两者。
为了有利于编解码遮挡区块和非遮挡区块两者，对于本发明的这个实施例，通过将层间参考画面附在参考画面列表的末端上排列参考画面列表。这样参考画面列表的例子描述在PCT申请第PCT/US2010/001291号中。
在编码处理中，对重构深度样本进行边界检测，以确定通常用像素度量的当前宏块与所检测深度边界的接近性。重构深度样本通常可在图3的编码器中去块滤波器528的输出端上获得。将重构深度样本用在编码器中是因为编码器和解码器必须将基本相同的信息用于边界检测，以及因为重构深度样本（图）是可在解码器中获得的唯一样本。解码器没有存在于编码器之中的原始深度数据。因此，如果保持编码器和解码器必须使用基本相同的深度信息的约束，则编码器将原始深度样本用于边界检测是不合适的。
如果确定宏块在所检测深度边界的l个像素之内，则将这个宏块标记成遮挡区宏块，并如上所述使用率失真（RD）成本选择编码模式。另一方面，如果确定宏块未在所检测深度边界的l个像素之内，则层间跳过编码模式将被用于编码这个宏块。
在解码中，经由跳过模式编码而编码的块以如下方式利用深度数据。确定宏块与深度边界之间的距离。对于在编码处理中跳过的任何宏块，当从宏块到最近检测深度边界之间的距离在l个像素的阈值上或内（即，小于l个像素的阈值）时，将那个宏块标识成临时跳过块。否则，当从跳过宏块到最近检测深度边界之间的距离大于（即，超过）l个像素的阈值时，将那个宏块标识成非遮挡区宏块，并进一步认为是层间跳过宏块。
深度边界的检测对于编解码实施例的操作很重要。注意，在解码器中优选的是应该使用与用在编码器中相同的算法检测深度边界。这保证了重构的深度样本在编码器上和在解码器上具有相同重构。深度边界检测可以通过任何数量的公知技术来完成。本文将不对这些公知技术作进一步描述。
图10中的编码方法从步骤S1001开始。将控制立即转移到步骤S1002。在步骤S1002中，通过将具有相同时间戳的2D数据放置在参考画面列表中临时和视图间参考画面两者之后排列参考画面列表。然后将控制转移到步骤S1003。
在步骤S1003中，从重构深度图中检测一个或多个深度边界。测量从每个宏块到最近深度边界的距离。当从宏块到其最近深度边界的距离小于或等于l个像素时，将宏块标记成遮挡区宏块。否则，将宏块标记成非遮挡区宏块。由于该标记或标志将宏块标识成遮挡区宏块，所以该标记或标志的缺乏自动将相关联的宏块标识成非遮挡区宏块。应该注意到，双状态标志足以将每个宏块适当标识成非遮挡区宏块（例如，flag=0）或遮挡区宏块（例如，flag=1）。然后将控制转移到步骤S1004。
在步骤S1004中，读取宏块的标志或标记。当该标记指示宏块是非遮挡区宏块时，则将传统跳过模式编码用于编码宏块。当该标记指示宏块是遮挡区宏块时，根据传统率失真成本（RD成本）选择和使用编码模式。然后将控制转移到步骤S1005。
在步骤S1005中，准备好位流以便加以输出发送。该位流包括编码遮挡数据以及原始接收遮挡数据的遮挡数据格式的指示符或标志（即，稀疏还是填充的指示）。这种指示符在上面参照，例如，图6已经详细描述过。将控制转移到步骤S1006，在步骤S1006中结束该编码方法。
图11中的解码方法从步骤S1101开始。将控制立即转移到步骤S1102。
在步骤S1102中，通过将具有相同时间戳的2D数据放置在参考画面列表中临时和视图间参考画面两者之后排列参考画面列表。然后将控制转移到步骤S1103。
在步骤S1103中，正如在编码方法的步骤S1002中，从重构深度图中检测一个或多个深度边界。测量从每个宏块到最近深度边界的距离。当从宏块到其最近深度边界的距离小于或等于l个像素时，将宏块标记成遮挡区宏块。否则，将宏块标记成非遮挡区宏块。由于该标记或标志将宏块标识成遮挡区宏块，所以该标记或标志的缺乏自动将相关联的宏块标识成非遮挡区宏块。如上面参照图10所述，双状态标志足以将每个宏块适当标识成非遮挡区宏块（例如，flag=0）或遮挡区宏块（例如，flag=1）。然后将控制转移到步骤S1104。
然后在步骤S1104中进行宏块解码。最初根据与视频数据一起接收的指示符或标志进行解码：一个标志或标记将宏块指示成非遮挡/遮挡区宏块，其他指示符或标志将遮挡数据格式标识成稀疏的或填充的。首先，与显示在图9中的步骤S903类似，以传统视频解码方式解码切片或画面中的所有宏块。
当对于原始接收的遮挡数据通过指示非遮挡区宏块的一个标志和将遮挡数据格式标识成稀疏的其他指示符标识跳过的宏块时，用像所定义颜色或所定义深度值那样的所定义特征填充非遮挡区。当对于原始接收的遮挡数据通过指示非遮挡区宏块的一个标志和将遮挡数据格式标识成填充的其他指示符标识跳过的宏块时，利用来自2D视频的相应部分的数据样本填充非遮挡区。对于所有其他宏块，如上所述，使用传统解码。然后将控制转移到步骤S1105。在步骤S1105中对这个数据结束解码处理。
图12和13示出了依照本发明的原理实现、涉及将更新机制用于遮挡数据的应用更新机制来编码和解码遮挡数据的另一个实施例的流程图。
在这个实施例中，预期遮挡帧在预定时段（或帧）内从一个帧到下一个帧基本相同或不变。在编码器侧，遮挡数据可以使用一个代表性遮挡数据帧获得。可替代地，来自一个视频场景的许多相继遮挡数据帧可以以组合方式合并以实现代表性遮挡数据帧。对于编码和解码两者，代表性遮挡数据帧接着对定义的许多帧（即，时段）有效，直到被一个新代表性遮挡数据帧取代。这种方法可以应用在遮挡视频数据或遮挡深度数据上。
为了实现这种技术，有必要确定代表性遮挡数据帧有效直到下一更新的帧数n。另外，有必要在经由消息从编码器发送到解码器的语法中包括代表性遮挡数据帧有效直到下一更新的帧数n，以便解码器可以适当地操作。虽然代表性遮挡数据帧有效期间的帧一般是有意相继的，但可以设想这些帧在某些环境下甚至可能是非相继的。例如，当频繁地切换两个场景时，一个场景的遮挡数据可以用于与交替场景序列中的那个场景有关的帧。由于那些帧与来自第二场景的帧交替，所以该时段的帧数n实际上涵盖非相继帧。
图12示出了实现应用更新机制编码遮挡数据的流程图。该方法从将控制传递给步骤S1202的步骤S1201开始。
在步骤S1202中，确定时段n。这个时段一般被表达成整数个帧。它代表单个代表性遮挡数据帧（视频或深度）有效的时段。将控制传递给步骤S1203。
在步骤S1203中，编码代表性遮挡数据帧。在接着的n-l个相继遮挡数据帧不进行编码或发送。有效地跳过它们。代表性遮挡数据帧可以是从代表性遮挡数据帧有效的时段n中的n个相继遮挡数据帧中选择的一个遮挡数据帧。如上所述，代表性遮挡数据帧可以是从代表性遮挡数据帧有效的时段n中的n个相继遮挡数据帧中选择的两个或更多个遮挡数据帧的特征的组合。将控制传递给步骤S1204。
在步骤S1204中，与指示时段n的语法消息一起发送编码代表性遮挡数据帧。将控制传递给步骤S1205。
在判定步骤S1205中，确定时段n是否已经到期，以便可以编码新代表性遮挡数据帧来更新和取代当前代表性遮挡数据帧。如果该时段已经到期，以及存在准备编码的另一个代表性遮挡数据帧，则使控制返回到步骤S1202。如果没有更多准备编码的遮挡数据帧，则将控制传递给结束处理的步骤S1206。
在这个实施例中，解码的遮挡帧将按解码次序为它的相关帧和所有n-l个随后相继帧保持有效直到解码另一个代表性遮挡帧来更新和取代前代表性遮挡帧。
解码处理从将控制传递给步骤S1302的步骤S1301开始。在步骤S1302中，解码语法消息以确定时段n。将控制转移到步骤S1303。
在步骤S1303中，解码代表性遮挡数据帧。然后使那个代表性遮挡数据帧在时段n内，即，在接着的n-l个相继帧内保持有效。将控制传递给步骤S1304。
在判定步骤S1304中，确定时段n是否已经到期，以便可以解码新代表性遮挡数据帧来更新和取代当前代表性遮挡数据帧。如果该时段n已经到期，以及存在准备解码的另一个代表性遮挡数据帧，则使控制返回到步骤S1302。如果没有更多准备解码的遮挡数据帧，则将控制传递给结束处理的步骤S1305。
本文所述的方法拟用在基于计算机处理器的实现方式中，用在计算机可读存储介质上，或像本文描绘在图1-4中的编码/解码装置那样的其他装置中。
上面对编码和解码遮挡数据的描述和例示是对本发明的各种实施例的示范。像使用不同类型的遮挡数据、进行某些编码或解码步骤的不同次序，或甚至省略方法中的一个或多个步骤那样的某些修改和变化也可以用于实施本发明。
在此叙述的所有示例和条件性语言意欲用于教导的目的以便帮助读者理解本原理以及由本发明人贡献以促进现有技术的构思，并且应该被解释为不限制这种具体叙述的示例和条件。
另外，在这里叙述本发明的原理、方面和实施例及其特定示例的所有陈述意欲包括其结构和功能等效物。另外，意图是：这样的等效物包括当前已知的等效物以及将来开发的等效物二者，即所开发的执行相同功能的任何元件，而不论其结构如何。
本文描述了许多实现方式。不过，应当明白，可以作出各种修改。例如，可以组合，补充，修改或除去不同实现方式的元件以形成其他实现方式。另外，本领域的普通技术人员应当明白，其他结构和处理可以取代所公开的那些，所得实现方式将以至少基本相同的方式执行至少基本相同的功能，以取得与所公开的实现方式至少基本相同的结果。尤其，尽管本文参照附图已经描述了例示性实施例，但要明白的是，本原理不局限于那些确切实施例，本领域的普通技术人员可以不偏离本原理的范围或精神地实现各种改变和修改。于是，这些和其他实现方式通过本申请规划，并在所附权利要求书的范围之内。

Claims (32)

1.一种处理视频数据帧的序列中的遮挡数据的方法，所述方法包含：
确定所述遮挡数据的格式，所述格式选自稀疏遮挡数据格式和填充遮挡数据格式之一（S602）；
当所述遮挡数据的所述格式被确定为所述填充遮挡数据格式时，在编码之前将所述遮挡数据转换成稀疏遮挡数据格式（S604）；
编码所述遮挡数据以生成编码遮挡数据（S603）；以及
与表示对所述遮挡数据确定的所述格式的指示符一起输出所述编码遮挡数据（S605）。
2.如权利要求1所述的方法，其中所述转换进一步包括：利用所定义特征表示包括在所述遮挡数据中的每个非遮挡区中的每个样本（S604）。
3.如权利要求2所述的方法，其中所述转换进一步包括在所述表示之前，识别所述遮挡数据的至少一个遮挡区和至少一个非遮挡区，所述至少一个遮挡区与所述至少一个非遮挡区互斥。
4.如权利要求2所述的方法，其中所述识别进一步包括至少响应深度数据，检测与所述遮挡数据相关联的所述视频数据帧中的一个或多个深度不连续，所述深度数据包括在与所述遮挡数据相关联的所述视频数据帧中；以及
沿着所述一个或多个深度不连续分类每个区域作为所述遮挡数据中的非遮挡区。
5.如权利要求2所述的方法，其中所述所定义特征包括所定义颜色。
6.如权利要求2所述的方法，其中所述所定义特征包括所定义深度值。
7.如权利要求2所述的方法，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
8.如权利要求2所述的方法，其中所述编码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
9.如权利要求1所述的方法，其中所述编码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
10.如权利要求1所述的方法，其中代表对所述遮挡数据确定的所述格式的所述指示符包括在切片首标、序列参数集、画面参数集、视图参数集、网络抽象层单元首标、和补充增强信息消息的至少一个中。
11.如权利要求1所述的方法，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
12.一种处理视频数据帧的序列中的遮挡数据的装置，所述装置包括编码器，其用于：
确定所述遮挡数据的格式，所述格式选自稀疏遮挡数据格式和填充遮挡数据格式之一（S602）；
当所述遮挡数据的所述格式被确定为所述填充遮挡数据格式时，在编码之前将所述遮挡数据转换成稀疏遮挡数据格式（S604）；
编码所述遮挡数据以生成编码遮挡数据（S603）；以及
与表示对所述遮挡数据确定的所述格式的指示符一起输出所述编码遮挡数据（S605）。
13.如权利要求12所述的装置，其中所述转换进一步包括：利用所定义特征表示包括在所述遮挡数据中的每个非遮挡区中的每个样本（S604）。
14.如权利要求13所述的装置，其中所述转换进一步包括在所述表示之前，识别所述遮挡数据的至少一个遮挡区和至少一个非遮挡区，所述至少一个遮挡区与所述至少一个非遮挡区互斥。
15.如权利要求13所述的装置，其中所述识别进一步包括至少响应深度数据，检测与所述遮挡数据相关联的所述视频数据帧中的一个或多个深度不连续，所述深度数据包括在与所述遮挡数据相关联的所述视频数据帧中；以及
沿着所述一个或多个深度不连续分类每个区域作为所述遮挡数据中的非遮挡区。
16.如权利要求13所述的装置，其中所述所定义特征包括所定义颜色。
17.如权利要求13所述的装置，其中所述所定义特征包括所定义深度值。
18.如权利要求13所述的装置，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
19.如权利要求13所述的装置，其中所述编码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
20.如权利要求12所述的装置，其中所述编码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
21.如权利要求12所述的装置，其中代表对所述遮挡数据确定的所述格式的所述指示符包括在切片首标、序列参数集、画面参数集、视图参数集、网络抽象层单元首标、和补充增强信息消息的至少一个中。
22.如权利要求12所述的装置，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
23.一种处理视频数据帧的序列中的遮挡数据的方法，所述方法包含：
为接收的遮挡数据提取表示原始格式的指示符（S702），所述原始格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；
解码所述接收遮挡数据以生成解码的遮挡数据（S703）；以及
当所述指示符将所述原始格式指示成填充遮挡数据格式时，将所述解码遮挡数据从稀疏遮挡数据格式转换成所述填充遮挡数据格式（S706），所述转换进一步包括：
用来自与所述遮挡数据相关联的所述视频数据帧中的2D数据的各自共地点样本取代用所定义特征表示的非遮挡区数据（S706）；
输出所述解码遮挡数据，和当存在时，转换的解码遮挡数据（S705）。
24.如权利要求1所述的方法，其中所述所定义特征包括所定义颜色。
25.如权利要求1所述的方法，其中所述所定义特征包括所定义深度值。
26.如权利要求1所述的方法，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
27.如权利要求1所述的方法，其中所述解码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
28.一种处理视频数据帧的序列中的遮挡数据的装置，所述装置包括解码器，其用于：
为接收的遮挡数据提取表示原始格式的指示符（S702），所述原始格式选自稀疏遮挡数据格式和填充遮挡数据格式之一；
解码所述接收遮挡数据以生成解码的遮挡数据（S703）；以及
当所述指示符将所述原始格式指示成填充遮挡数据格式时，将所述解码遮挡数据从稀疏遮挡数据格式转换成所述填充遮挡数据格式（S706），所述转换进一步包括：
用来自与所述遮挡数据相关联的所述视频数据帧中的2D数据的各自共地点样本取代用所定义特征表示的非遮挡区数据（S706）；以及
输出所述解码遮挡数据，和当存在时，转换的解码遮挡数据（S705）。
29.如权利要求28所述的装置，其中所述所定义特征包括所定义颜色。
30.如权利要求28所述的装置，其中所述所定义特征包括所定义深度值。
31.如权利要求28所述的装置，其中所述遮挡数据包括遮挡视频数据和遮挡深度数据之一。
32.如权利要求28所述的装置，其中所述解码依照包括H.264/AVC、MVC、和MPEG-2之一的视频编解码标准来进行。
CN2011800546848A 2010-09-14 2011-08-31 遮挡数据的压缩方法和装置 Pending CN103299619A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40334510P 2010-09-14 2010-09-14
US61/403,345 2010-09-14
PCT/US2011/049877 WO2012036901A1 (en) 2010-09-14 2011-08-31 Compression methods and apparatus for occlusion data

Publications (1)

Publication Number Publication Date
CN103299619A true CN103299619A (zh) 2013-09-11

Family

ID=44583508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800546848A Pending CN103299619A (zh) 2010-09-14 2011-08-31 遮挡数据的压缩方法和装置

Country Status (8)

Country Link
US (3) US9883161B2 (zh)
EP (1) EP2617194A1 (zh)
JP (1) JP2013538534A (zh)
KR (1) KR20130139242A (zh)
CN (1) CN103299619A (zh)
AU (1) AU2011302448A1 (zh)
BR (1) BR112013006006A2 (zh)
WO (3) WO2012036902A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210722A (zh) * 2016-07-08 2016-12-07 上海大学 基于hevc的分层深度视频残差层数据的编码方法
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911124B (zh) * 2007-12-26 2013-10-23 皇家飞利浦电子股份有限公司 用于覆盖图形对象的图像处理器
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
US9094660B2 (en) * 2010-11-11 2015-07-28 Georgia Tech Research Corporation Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2677755A1 (en) * 2011-02-18 2013-12-25 Sony Corporation Image processing device and image processing method
US20120262545A1 (en) * 2011-04-18 2012-10-18 Paul Kerbiriou Method for coding and decoding a 3d video signal and corresponding devices
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
EP2717572B1 (en) * 2011-06-24 2018-08-08 LG Electronics Inc. Encoding/decoding method and apparatus using a skip mode
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
ITTO20120413A1 (it) * 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
EP2670139A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding a video stream having a transparency information channel
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN103533325B (zh) * 2012-07-06 2017-07-07 乐金电子(中国)研究开发中心有限公司 一种深度图像帧内编解码方法、装置及编解码器
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
KR101664758B1 (ko) * 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
WO2014050830A1 (ja) * 2012-09-25 2014-04-03 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US20150237372A1 (en) * 2012-10-08 2015-08-20 Samsung Electronics Co., Ltd. Method and apparatus for coding multi-layer video and method and apparatus for decoding multi-layer video
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
KR102698537B1 (ko) * 2013-04-08 2024-08-23 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
WO2015048694A2 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9648333B2 (en) * 2013-10-11 2017-05-09 Vid Scale, Inc. High level syntax for HEVC extensions
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP2017513426A (ja) * 2014-03-14 2017-05-25 サムスン エレクトロニクス カンパニー リミテッド 類型情報を利用した、マルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号方法
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术（北京）有限公司 照片的分类存储方法及装置
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN108353188B (zh) 2015-09-17 2022-09-06 交互数字Vc控股公司 用于编码光场内容的方法
CN108702534B (zh) * 2016-02-22 2021-09-14 索尼公司 文件生成装置、文件生成方法以及再现装置和再现方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3698332A4 (en) * 2017-10-18 2021-06-30 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO
US11509878B2 (en) * 2018-09-14 2022-11-22 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations for network based media processing
EP3900363A1 (en) 2018-12-21 2021-10-27 Koninklijke KPN N.V. Streaming volumetric and non-volumetric video
US10881956B2 (en) * 2018-12-28 2021-01-05 Intel Corporation 3D renderer to video encoder pipeline for improved visual quality and low latency
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11589032B2 (en) * 2020-01-07 2023-02-21 Mediatek Singapore Pte. Ltd. Methods and apparatus for using track derivations to generate new tracks for network based media processing applications
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009134482A2 (en) * 2008-01-31 2009-11-05 The Board Of Trustees Of The University Of Illinois Recognition via high-dimensional data classification
WO2010010077A2 (en) * 2008-07-21 2010-01-28 Thomson Licensing Coding device for 3d video signals
CN101690249A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、封装的3d视频信号、用于3d视频信号解码器的方法和系统
WO2010049850A1 (en) * 2008-10-28 2010-05-06 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327509A (en) 1992-04-27 1994-07-05 Star Technologies, Inc. Compressed image system for texture patterns
JP3826236B2 (ja) 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
US5892554A (en) 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
DE19623888A1 (de) 1996-06-05 1997-12-11 Hertz Inst Heinrich Digitaler optischer Schalter
US7058027B1 (en) 1998-09-16 2006-06-06 Scientific Research Corporation Systems and methods for asynchronous transfer mode and internet protocol
CA2388095A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
US6740069B2 (en) 2000-12-15 2004-05-25 Sca Hygiene Products Ab Absorbent article such as a sanitary napkin, a diaper, an incontinence guard, or a panty-liner
US7079667B2 (en) 2000-12-19 2006-07-18 Xerox Corporation Method and apparatus for implementing occlusion glyph code tilings
EP1374429A4 (en) 2001-03-05 2009-11-11 Intervideo Inc SYSTEMS AND METHOD FOR CODING AND DECODING REDUNDANT MOTION VECTORS IN COMPRESSED VIDEO BITSTRAMS
US7301537B2 (en) 2002-12-20 2007-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Graphics processing apparatus, methods and computer program products using minimum-depth occlusion culling and zig-zag traversal
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
JP2005130428A (ja) 2003-09-29 2005-05-19 Ntt Communications Kk 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム
KR100965881B1 (ko) 2003-10-10 2010-06-24 삼성전자주식회사 비디오 데이터 인코딩 시스템 및 디코딩 시스템
CA2557533A1 (en) 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
US7671894B2 (en) 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7929776B2 (en) 2005-03-10 2011-04-19 Qualcomm, Incorporated Method and apparatus for error recovery using intra-slice resynchronization points
EP1897056B1 (en) 2005-06-23 2016-08-10 Koninklijke Philips N.V. Combined exchange of image and related data
US8384763B2 (en) 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
WO2007080223A1 (en) 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
EP1806930A1 (en) 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
WO2007081189A1 (en) 2006-01-16 2007-07-19 Electronics And Telecommunications Research Institute Method and apparatus for selective inter-layer prediction on macroblock basis
JP5213064B2 (ja) 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
KR100934674B1 (ko) 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
JP5317955B2 (ja) 2006-03-31 2013-10-16 コーニンクレッカ フィリップス エヌ ヴェ 複数の視野の効率的な符号化
JP5013993B2 (ja) 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
CN101166282B (zh) 2006-10-16 2010-12-08 华为技术有限公司 摄像机参数编码传输的方法
CA2666452C (en) 2006-10-16 2014-12-16 Nokia Corporation System and method for implementing efficient decoded buffer management in multi-view video coding
AP2545A (en) 2006-10-20 2012-12-20 Nokia Corp Virtual decoded reference picture marking and reference picture list
US20100027615A1 (en) 2006-10-24 2010-02-04 Purvin Bibhas Pandit Picture identification for multi-view video coding
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
EP2103136B1 (en) 2006-12-21 2017-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
KR101059178B1 (ko) * 2006-12-28 2011-08-25 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호방법, 그들의 장치, 그들의 프로그램을 기록한 기억매체
JP5284982B2 (ja) 2007-01-04 2013-09-11 トムソン ライセンシング ハイレベル・シンタックスで伝送されるマルチビュー情報のための方法および装置
CN101242530B (zh) 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
US20100118933A1 (en) 2007-04-04 2010-05-13 Thomson Licensing Reference picture list management
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
KR101301181B1 (ko) 2007-04-11 2013-08-29 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
EP2512135B1 (en) 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
CN101690220B (zh) 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
EP2757788B1 (en) 2007-06-19 2020-03-11 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
CN101690231A (zh) 2007-06-28 2010-03-31 汤姆森特许公司 多视图编码视频的单环解码
CN101415114B (zh) 2007-10-17 2010-08-25 华为终端有限公司 视频编解码方法和装置以及视频编解码器
WO2009091383A2 (en) 2008-01-11 2009-07-23 Thomson Licensing Video and depth coding
US8855199B2 (en) 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
CN100563339C (zh) 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法
KR101749893B1 (ko) * 2008-07-24 2017-06-22 코닌클리케 필립스 엔.브이. 다목적 ３―ｄ 화상 포맷
WO2010023592A1 (en) * 2008-08-26 2010-03-04 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, encoder for encoding a 3-d video signal, encoded 3d video signal, method and system for decoding a 3d video signal, decoder for decoding a 3d video signal
CN102239506B (zh) 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US20100226444A1 (en) 2009-03-09 2010-09-09 Telephoto Technologies Inc. System and method for facilitating video quality of live broadcast information over a shared packet based network
EP2775724A3 (en) 2009-03-19 2014-10-15 LG Electronics, Inc. Method for processing three dimensional (3D) video signal and digital broadcast receiver for performing the processing method
US20120007951A1 (en) 2009-03-29 2012-01-12 Nomad3D Sas System and format for encoding data and three-dimensional rendering
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US8515134B2 (en) 2009-12-11 2013-08-20 Nxp B.V. System and method for motion estimation using image depth information
US8576341B2 (en) 2010-03-01 2013-11-05 Stmicroelectronics, Inc. Occlusion adaptive motion compensated interpolator
WO2011133496A2 (en) 2010-04-21 2011-10-27 Samir Hulyalkar System, method and apparatus for generation, transmission and display of 3d content
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690249A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 用于编码3d视频信号的方法和系统、封装的3d视频信号、用于3d视频信号解码器的方法和系统
WO2009134482A2 (en) * 2008-01-31 2009-11-05 The Board Of Trustees Of The University Of Illinois Recognition via high-dimensional data classification
WO2010010077A2 (en) * 2008-07-21 2010-01-28 Thomson Licensing Coding device for 3d video signals
WO2010049850A1 (en) * 2008-10-28 2010-05-06 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210722A (zh) * 2016-07-08 2016-12-07 上海大学 基于hevc的分层深度视频残差层数据的编码方法
CN108696739A (zh) * 2017-03-31 2018-10-23 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置
CN108696739B (zh) * 2017-03-31 2023-04-07 钰立微电子股份有限公司 可校正遮蔽区的深度图产生装置

Also Published As

Publication number Publication date
KR20130139242A (ko) 2013-12-20
AU2011302448A1 (en) 2013-03-21
US9485492B2 (en) 2016-11-01
US20130162773A1 (en) 2013-06-27
WO2012036901A1 (en) 2012-03-22
BR112013006006A2 (pt) 2017-07-18
US9883161B2 (en) 2018-01-30
JP2013538534A (ja) 2013-10-10
WO2012036903A1 (en) 2012-03-22
WO2012036902A1 (en) 2012-03-22
EP2617194A1 (en) 2013-07-24
US20130176394A1 (en) 2013-07-11
US20130162774A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
CN103299619A (zh) 遮挡数据的压缩方法和装置
CN101375594B (zh) 处理多视图视频
CN102577375B (zh) 用于三维视频的层间依赖性信息
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN104025602B (zh) 三维视频译码中用信号通知视图合成预测支持
CN105393541B (zh) 使用基于深度的块分割编解码纹理块的方法和装置
JP5916266B2 (ja) ビデオコーディング方法および装置
CN101641954A (zh) 用于解码/编码视频信号的方法和装置
KR20090099589A (ko) 다시점 비디오의 처리
CN103181171A (zh) 深度指示图的产生
CN106105216A (zh) 用于3d视频译码的受约束深度帧内模式译码
CN104126305A (zh) 用于多视图视频译码mvc兼容三维视频译码3dvc的序列等级信息
CN107529705A (zh) 解码器、编码器、解码和编码视频的方法及存储介质
CN104247432A (zh) 使用深度图估计和更新的高效多视点编码
CN101578881A (zh) 基于全局视差向量对多视图图像编码和解码的方法和设备
CN102450010A (zh) 定向内插和数据后处理
CN105612747A (zh) 用于深度帧内译码的楔波样式扩展
CN103636222A (zh) 用于对多视点视频进行统一可分级视频编码的方法和设备以及对多视点视频进行统一可分级视频解码的方法和设备
CN103875250A (zh) 摄像机和／或深度参数的信号通知
CN109068143A (zh) 视频数据解码方法和视频数据解码设备
CN110062245A (zh) 三维视频编码的摄像机参数发信的方法和装置
CN101945277B (zh) 处理多视图视频
CN102438141B (zh) 一种立体视频码流处理方法及装置
CN104412238A (zh) 三维视频编码中视图间运动矢量预测和视差矢量预测的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130911