CN102656891B - 用于多视野视频压缩的方法和装置 - Google Patents

用于多视野视频压缩的方法和装置 Download PDF

Info

Publication number
CN102656891B
CN102656891B CN201080047493.4A CN201080047493A CN102656891B CN 102656891 B CN102656891 B CN 102656891B CN 201080047493 A CN201080047493 A CN 201080047493A CN 102656891 B CN102656891 B CN 102656891B
Authority
CN
China
Prior art keywords
video
data
information
stream
visuals field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080047493.4A
Other languages
English (en)
Other versions
CN102656891A (zh
Inventor
珀·福罗德亨
克林顿·普里德尔
托马斯·卢瑟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102656891A publication Critical patent/CN102656891A/zh
Application granted granted Critical
Publication of CN102656891B publication Critical patent/CN102656891B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Abstract

本发明公开了用于在数据处理实体中压缩和解压N流多视野3D视频的方法和装置，例如在数据提供节点和数据呈现节点中。该方法和装置涉及将N流多视野3D视频的N个流中的至少一些复用(802)到一个伪2D流中，该伪2D流对2D编码器表现为2D视频流。此外，向可替换2D编码器提供(804)伪2D流，用于伪2D流的编码，产生具有2D编解码格式的编码数据。这种对3D压缩和解压缩的编解码不可知的模块化方案确保了快速和方便地使用灵活的虚拟3D编解码器来处理N流多视野3D视频。

Description

用于多视野视频压缩的方法和装置
技术领域
本发明涉及用于视频压缩的方法和装置，具体地，涉及处理多视野视频流。
背景技术
在3D(3维)视频应用中，通过两个或更多个视频视野来向观看者提供深度感知。多视频视野的提供允许对视频场景的立体观看，例如使得观看者的眼睛从稍有不同的视点看到场景。观察点可以由用户控制。
具有两个视野的3D视频被称为立体视频。在如今的媒体中，对3D视频的多数引用指的是立体视频。针对立体视频的编码或压缩，存在着多个标准化的方案。通常，这些标准化的方案是对常规的之前标准化的2D(2维)视频编码的扩展。
众所周知的是，由于视频流每秒包括例如24帧到60帧(或图像)，在两个连续的帧之间，图像中描绘的图案将很可能不会改变太多。从而，连续帧的内容将非常类似，这意味着视频流包括帧间或“流内”的冗余。当具有多个视野时(例如，在3D视频中)，不同的视野将从稍有不同的角度或视点描绘相同的图案。因此，由于不同角度的图像的相似性，除了流内冗余之外，不同的视野或流还将包括“视野间”或“流间”的冗余。
编码或压缩立体视频的两个视野的一种方式是分别编码每个视野或流，这被称为“联播(simulcast)”。然而，联播没有利用视频视野之间的冗余。
H.264/AVC
又被称为H.264和MPEG-4部分10的高级视频编码(AVC)是来自ITU-T(国际电信联盟-电信标准化部门)和MPEG(运动图像专家组)(ISO/IECJTC1/SC29/WG11)的最新的2D视频编码标准。H.264编解码是混合编解码，其利用了消除帧之间以及一帧内的冗余的优点。编码过程的输出是VCL(视频编码层)数据，在发送或储存之前，还将VCL数据封装到NAL(网络提取层)单元中。
压缩立体视频的一种方案是“H.264/AVC立体SEI”或“H.264/AVC帧打包布置SEI”方案，在H.264/AVC标准[1]的稍后版本中对其进行了定义。在“H.264/AVC立体SEI”或者“H.264/AVC帧打包布置SEI”方案中，H.264编解码适于采用两个视频流作为输入，然后，将其编码到一个2D视频流中。H.264编解码还适于在所谓的补充增强信息(SEI)消息中指示2D视频流包含立体对。在SEI消息中，有指示如何将两个视野布置在视频流中的多个标记，包括视野的空间和时间交织的可能性。
MVC
此外，另一方案是MVC(多视野视频编码)，在H.264/AVC规范[1]的最新版本中对其进行了定义。在MVC中扩展了联播方案，以使得可以通过差异补偿预测来利用两个视野之间的冗余。已经将MVC比特流语法和语义保持为与AVC比特流语法和语义相似。
MPEG-2多视野简档
“MPEG-2多视野简档”(运动图像专家组)是使用与“MVC”方案类似的原理的用于立体编码的另一标准化方案。MPEG-2多视野简档扩展了常规的MPEG-2编码，并在MPEG-2规范[2]中进行了标准化。
视野综合
为了在需要多个视野时提高3D视频编码的性能，已呈现了具有基于额外信息(例如，深度信息)的解码器侧视野综合的一些方案。其中有MPEG-C部分3，MPEG-C部分3指定了在复用编码深度和纹理的情况下，解释深度数据所需的信令。更近的方案是多视野加深度编码(MVD)、分层深度视频编码(LVD)和深度增强立体(DES)。所有以上的方案将一个或多个2D视频的编码与用于视野综合的额外信息相结合。MVD、IDV和DES没有被标准化。
3D视频编码标准
3D视频编码标准几乎完全在其2D对等视频编码标准上构建，即，其是特定的2D编解码标准的继续开发或扩展。在特定的2D视频编解码的标准化之后，到基于该特定的2D编解码来开发和标准化对应的3D编解码，可能要花费多年。换言之，相当长的时间可能过去，在这段时间，与同期的当前3D压缩标准相比，当前的2D压缩标准具有好得多的压缩机制。图1中示意性地示出了该情况。一个示例是AVC的标准化(2003)和MVC的标准化(2008)之间的时间。从而，适当的3D视频编解码的开发和标准化被延迟如此长的时间，这被认为是个问题。
发明内容
缩短从2D编解码器的开发和标准化到可以使用对应的3D编解码器的时间可以是所希望的。本发明的目的是在2D编解码器的开发和/或标准化之后不久便使得对应的3D压缩成为可能。此外，本发明的目的是提供用于使得可以使用任何优选的2D视频编解码器来执行多视野视频压缩的方法和装置。通过根据所附独立权利要求的方法和装置，可以达到这些目标。由从属权利要求来定义可选的实施例。可以在相同的实体或节点内，或者在不同的实体或节点内执行下面描述的压缩和解压。
根据第一方面，在视频处理(或视频提供)实体中提供了用于压缩N流多视野3D视频的方法。该方法包括将N流多视野3D视频的N个流中的至少一些复用到一个伪2D流中，该伪2D流对2D编码器表现为2D视频流。该方法还包括向可替换2D编码器提供伪2D流，用于伪2D流的编码，产生具有2D编码或编解码格式的编码数据。
根据第二方面，在视频处理(或视频提供)实体中提供了适于压缩N流多视野3D视频的装置。该装置包括适于将N流多视野3D视频的N个流中的至少一些复用到一个伪2D流中的功能单元，该伪2D流对2D编码器表现为2D视频流。该功能单元还适于向可替换2D编码器提供伪2D流，用于伪2D流的编码，产生具有2D编解码格式的编码数据。
根据第三方面，在视频处理(或视频呈现)实体中提供了用于解压N流多视野3D视频的方法。该方法包括获得用于解压的数据和确定任何获得的2D编码的N流多视野3D视频数据的2D编解码格式。该方法还包括向支持所确定的2D格式的可替换2D解码器提供所获得的数据，以解码所获得的数据，产生伪2D视频流。该方法还包括将伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流。
根据第四方面，在视频处理(或视频呈现)实体中提供了适于解压N流多视野3D视频的装置。该装置包括适于获得用于解压的数据的功能单元。该装置还包括功能单元，适于确定所获得的2D编码的N流多视野3D视频数据的2D编解码格式；以及还适于向支持所确定的2D格式的可替换2D解码器提供所述获得的数据，以解码所获得的数据。解码产生伪2D视频流。装置还包括功能单元，适于将伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流。
上述方法和装置使得可以通过编解码不可知的方式压缩和解压缩N流多视野3D视频。通过使用上述方法和装置，可以针对3D功能直接利用针对2D视频压缩开发的最新的压缩技术。不需要或者仅需要少量的标准化以在3D场景下使用新的2D编解码器。通过这种方式，3D编解码技术的研制时间将被减少或者与2D视频编解码开发和标准化保持相同水平。此外，所描述的方案不仅可以应用于或者倾向用于立体3D视频，而且非常灵活并易于扩展到同时压缩多于两个的视野，这是相对于现有技术的显著的优点。
可以在不同的实施例中实现以上方法和装置。在一些实施例中，在传递到例如另一数据处理实体之前，以指示编码3D视频的数据格式来封装具有2D编解码格式的编码数据。这确保了仅仅能够处理这样封装的3D数据的接收机才将尝试解码和显示数据。可以向储存单元(例如，存储器)或者向解压数据的实体提供(例如，传递或发送)已压缩编码并可能封装的数据。可以在相同实体或节点内压缩和解压多视野3D数据。
在一些实施例中，至少部分与编码数据相关联地向编码数据的接收机提供与复用多视野3D视频有关的元数据。可以至少部分地例如隐式传递关于所使用的复用方案的信息，或者可以预先协定关于所使用的复用方案的信息。在任何情况下，在压缩数据时，要解压压缩数据的实体应该能够使用或者被提供与所使用的复用方案有关的信息。
可以将其他信息与视频流一起复用到伪2D流中，该其他信息例如是深度信息、差异信息、遮挡信息、分段信息和/或透明度信息。该特征使得可以非常方便地处理补充信息。
可以根据需要、需求或偏好，以不同的方式组合以上示例性实施例的不同特征。
已根据用于压缩多视野3D视频的方法基本上描述了以上的示例性实施例。然而，所描述的用于压缩多视野3D视频的装置具有对应的实施例，在该对应的实施例中，不同的单元适于执行上述的方法实施例。此外，还公开了用于解压压缩多视野3D视频的方法和装置的对应实施例。
附图说明
现在根据示例性实施例并参考附图，将对本发明进行更详细的描述，在附图中：
图1是示出根据现有技术，新的编解码标准的开发的时间方面的示意图。
图2是示出当应用本发明的实施例时，新的编解码标准的开发的时间方面的示意图。
图3和5是示出N流多视野3D视频的复用和解复用的示意图。
图6a-c是示出结合不同的解码装置使用不同的信令方案的显示结果的示意图。
图7是示出N流多视野3D视频的解复用的示意图。
图8是示出根据示例实施例，视频处理或视频提供实体中用于3D视频压缩的过程的流程图。
图9是示出根据示例实施例，适于视频处理或视频提供实体中3D视频压缩的装置的方框图。
图10是示出根据示例实施例，视频处理或视频呈现实体中用于3D视频解压缩的过程的流程图。
图11是示出根据示例实施例，适于视频处理或视频呈现实体中用于3D视频解压缩的装置的方框图。
图12是示出根据示例实施例，适于视频处理或视频呈现实体中用于3D视频解压缩的装置的方框图。
图13是示出根据实施例，视频处理实体中的装置的示意图。
具体实施方式
简言之，提供了使符合标准的3D视频压缩和解压缩成为可能的模块化方案，在该方案中，可以利用现有的视频编解码以及还在定义中的视频压缩方案。这基本上是通过以下方式实现的：将与2D编码共有的压缩方案(例如，预测宏块编码)和3D特有的压缩方案相分离，并从而使得N流多视野3D视频压缩是编解码不可知的，即，不取决于特定的编解码或者不专门地与特定的编解码集成。
该模块化方案使得可以基于已经存在或者即将开发出的2D编解码来快速“开发”多视野3D编解码。图2中从时间的视角示出了这种情景的示例。应该将图2与图1相比较来研读，图1示出了如今的情景。当访问将N流多视野3D视频的多个流合并为伪2D流的设备202(其可以被标准化)时，实际上可以使用任何可用的符合标准的2D编码器来编码该伪2D流。在图2中，将其示出为例如3D编解码器206，3D编解码器206由3D至2D复用/解复用器202和2D编解码器1204的组合形成。在稍后的时间点，可以代之以将3D至2D复用/解复用器202与例如最近标准化的2D编解码器3208一起使用，并从而形成3D编解码器210。
在从特定的2D编解码器开发定制的3D编解码器时(如图1中所示，其中，从2D编解码器开发3D编解码器104)，该定制的3D编解码器当然可以被优化为从其开发出该定制的3D编解码器的特定2D编解码器。这可以意味着与图2中的3D编解码器206相比，使用相同的2D编码器，3D编解码器104在某些其他方面更快或更好。然而，3D编解码器206的显著优点在于：其完全可用的时间远远早于图1中的3D编解码器104。在3D编解码器104完全可用之前，作为2D编解码器3208的标准化的结果，图2中的3D编解码器210已经可用。与图1中的3D编解码器104相比，图2中的3D编解码器210进而可以提供更好的压缩、在一些其他方面更快或者更好。
在本文档内，当讨论压缩视频的过程时将使用一些表述，其中的一些将在此处简要定义。
使用术语“3D”来指3维，即，具有3个维度。在视频的术语中，可以通过N流视频(其中，N≥2)，在被适当地向观看者显示时，使得视频被所述观看者感知为具有3个维度(宽度、高度和深度)来对此进行实现。“深度”在宽度和高度之后作为第三维度的可用性还允许观看者“环顾”所显示的对象，就如同她/他在显示器前四处移动一样。该特征被称为“自由视野”，并且可以例如通过所谓的自动立体多视野显示来实现。
使用术语2D来指2维，即，具有2个维度。在视频方面，这指的是1流视频，使得视频在被适当地向观看者显示时被所述观看者感知为具有2个维度：宽度和高度。
使用在例如“伪2D视频流”上下文中的术语“伪2D”来指代以下流：该流向2D编解码器显现为2D视频的流，但是事实上是包括多个复用的(例如，交织的)流的3D视频的流。
使用术语“3D桶格式(bucketformat)”来指代向数据的接收机指示接收到的数据包括3D视频的特定数据格式，该接收机能够识别所述格式，3D视频是使用2D编解码器来压缩的。还可以将3D桶格式称为“3D视频格式”、“指示3D视频的数据格式”或者“3D视频编解码格式”。
以其常规的含义来使用术语“编解码”，即，指代编码器和/或解码器。
使用术语“视频处理实体”来指代期望在其中压缩或解压多视野3D视频的实体或节点。也可以将可在其中压缩3D视频的实体表示为“视频提供实体”。也可以将可在其中解压已压缩的3D视频的实体表示为“视频呈现实体”。同时地或者在不同的时刻，视频处理实体可以是视频提供实体和视频呈现实体之一或者两者。
在此描述的3D压缩方案可以利用3D压缩的3个主要的概念，它们是：
1)多视野视频压缩：在此，利用流内和流间冗余将多个(即，两个或更多)视野一起编码到一个或多个比特流中。可以将多视野视频压缩应用于从多个视点捕获的常规多视野视频数据。此外，可以将其应用于在视野综合中进行辅助的附加或者“额外”的信息，例如，深度图(参见下面的2)。
2)视野综合：除了视野的实际编码和解码之外，可以使用视野综合来综合新颖的视野。除了相邻视野之外，给出有助于新颖视野的综合的附加或“额外”的信息。这种信息的示例是深度图、差异图、遮挡信息、分段信息和透明度信息。还可以将该额外信息称为元数据，与下面在3)中描述的元数据类似。
3)元数据：最后，可以提供元数据，例如与摄像机位置、剪切平面等有关的信息。元数据还可以包括例如与在多视野压缩中使用哪些编码/解码模块有关的信息，以使得可以例如向接收机指示将哪个解码模块用于多视野视频的解压。
常规来说，已经定义了多视野视频压缩，以使得可以使用适合的3D编解码器(例如，MVC编解码器)来提供对多视野的压缩。在本公开内建议了新的多视野视频压缩方案，该方案使用可替换的编解码器。自此，在本公开内，多视野视频压缩指代用于将来自一个或多个视野的帧布置或者“排序”为帧的一个或多个序列(即，复用多个视野)，并将这些帧输入到可替换的编码模块中的机制。要在解码侧执行相反的过程。不应为了在该新的多视野视频压缩方案中运行而必须适配或修改所使用的可替换编解码器(即，编码和解码模块)。
此外，可以将深度图流、差异图流、遮挡信息流、分段信息流和透明度信息流中的一个或多个布置或者“排序”到帧的一个或多个序列中(即，复用)，并输入到编码模块中。在一些实施例中，可以将深度图或者其他的元数据帧和视频帧布置在帧的相同序列中(即，复用在一起)，以在第一编码模块中编码。还可以由分离的编码模块来编码深度图流、差异流、遮挡流等，该分离的编码模块可以与第一编码器模块遵循相同的规范，或者可以是遵循另一规范的另一编码模块。用于视野和例如深度图的编码器都可以是可替换的。例如，可以根据例如H.264/AVC的视频编解码器来编码视频视野，而可以根据特别适于分段信息这种数据的编解码器(例如，二进制图像编解码器)来编码分段信息。
在一些实施例中，可以将像素或像素组(例如，宏块)布置在帧中，然后，将帧输入到编码模块中。
示例装置/过程、图3、编码
图3中示意性地示出了多视野3D视频压缩装置的示例实施例。在该实施例中，逐帧地将3D视频的多个视野或流重新组织到单个的伪2D视频流中。
编码过程可以包括对从多个视点捕获的常规视频视野的编码，和/或对可以在视野综合过程中使用的附加或“额外”信息(例如，深度信息)的编码。
对应的编码装置包括以下单独或“分离”的组件：
1)3D至2D复用器
2)2D编码器
3D至2D复用器采用多个视野以及很可能采用元数据(例如，深度地帧、差异图帧、遮挡帧等)来作为输入，并提供帧的单个流来作为输出，该输出被用作2D编码器的输入。对所使用的实际重新布置方案或复用方案的选择不限于本公开中的示例，而是应该显式地(例如，作为元数据)或者隐式地向解码器提供与重新布置方案有关的信息。复用立体视野的两个同步流的简单示例是利用在时间上交织的视野来形成单个2D流，例如，第一编码视野1(“左边”)针对于具体的时间点，然后视野2(“右边”)针对于相同的时间点，然后针对下一个时间点重复视野配对。可以通过对来自不同视野和时间的帧的任意的重新布置，使用更高级的复用方案来形成新的伪2D流。
如之前解释的，2D编码器意指完全符合2D标准的视频编码器，并从而对任何其他符合2D标准的视频编码器来说是可替换的。2D编码器不需要知道输入实际上是复用的3D数据。在一些实施例中，可用通过特别适于该目的的方式来设置2D编码器。其示例是要作为参考使用的参考画面和帧的标记。参考画面和帧的标记向2D编码器指示其应该考虑使用哪些画面和帧来作为例如用于视野内预测或视野间预测的参考画面或帧。可以根据3D至2D复用来导出该指示。如果例如复用的流由三个不同的视频视野以流1的画面、然后流2的画面、然后图3的画面的周期性顺序组成，可以向编码器指示例如：可以有利地每隔三个画面使用其中的一幅作为流内预测的参考，即，流1的画面是由流1的另一画面预测的，等等。应该注意到，这没有影响编码器对标准的符合或者标准解码器对流的可解码性。
示例装置/过程、图4、解码
图4中示意性地示出了N流多视野3D视频解压装置的示例实施例。解码过程是对应编码过程的逆。首先，解码视频帧，并将其作为单个流与例如元数据和/或与所使用的复用方案有关的隐式信息一起向2D至3D解复用器输入。解复用器将流重新布置为原始的N个视野，然后可以对其进行显示。
根据编码过程，解码过程可以包括对从多个视点捕获的常规视频视野的解码，和/或对可以在视野综合过程中使用的额外信息(例如，深度信息)的编码。
和之前描述的实施例一样，3D至2D复用器和2D至3D解复用器可以在像素的级别、或者像素组的级别或者帧的级别上工作。在像素的级别上复用多个视野的示例是将两个或多个帧的像素布置在单个帧中，例如，如图5中示出的，并排地(side-by-side)布置。又一示例是将来自两个视野的像素布置到棋盘风格的配置中，或者逐行地对帧进行交织。伪2D流的帧大小不需要与伪2D流中包括的流的帧大小相同。
解压过程将是对应的压缩过程的逆。首先，解码视频帧，并将其作为单个流输入到2D至3D解复用器。解复用器使用与在压缩期间使用的复用方案有关的辅助信息(作为例如元数据和/或隐式信息提供)，在像素的级别上将流重新布置为原始数目的压缩视野。
如前所述，所要处理的数据可以是从多个视点捕获的常规视频数据，和/或要在例如视野合成中使用的额外信息，例如，深度数据、差异数据、遮挡数据、分段数据、透明度数据等等。
传输和信令
之前已经提到，可以使用元数据来发信号通知或者指示比特流实际上是3D比特流，而不是2D比特流。然而，使用辅助信息(例如，元数据)来指示3D视频的结果可以是：不理解辅助信息或者这种元数据的概念的简单的2D解码器、传统2D解码器和/或视频处理实体可将3D比特流误解为真实的2D比特流。将“2D伪装”的3D视频流误解为真实的2D视频流将导致在显示解码的视频流时令人烦恼的闪烁。图6a中示意性地示出了该情况。可以如下避免这种误解：
3D数据格式
可以将N流多视野3D视频作为新类型的3D数据格式或3D视频编解码格式来传输或者以信号方式通知，该N流多视野3D视频已被复用到伪2D流中并且已经使用符合标准的2D编码器进行编码。此时，该新的3D数据格式可以“包含”不同分量的编解码格式(例如，常规的视频数据和深度数据)，此时其“隐藏在3D数据格式之后”。可以将这种封装另一数据格式的数据格式称为“桶”格式。使用这种格式的优点在于当在3D数据格式中以信号通知时，没有3D能力的简单2D解码器将不会尝试解码比特流，因为其将不会识别该格式。这在图6b中进行了示意。
然而，当应用本发明的涉及3D数据格式的实施例时，在3D数据格式内传输或者“隐藏在3D数据格式之后”的伪2D流将被正确地解释，并从而使得可以如图6c中示出的适当地显示3D视频。例如，在已编码的3D数据格式包括已压缩的3D视频分组的序列的情况下，每个“3D视频分组”可以包含将其指示为“3D视频分组”的首部信息，然而在分组内部，可以符合2D数据格式的格式来携带数据(即，一个或多个流或其部分)。由于简单的2D解码器可以首先检查分组的首部，以及由于该首部将流指示为“3D数据”，简单的2D解码器将不尝试解码分组。备选地，已编码的3D数据格式可以实际上由符合2D数据格式的视频分组的序列组成，然而3D数据流之外的附加信息(例如，在文件储存器的情况下，文件首部中的信令)或者SDP(会话描述协议)中的信令可以指示数据符合3D数据格式。
在一些实施例中，可以通过与传输实际的2D视频时相同的方式来发信号通知视频编解码格式，然而伴随有与3D有关的补充信息，和/或关于3D采取的措施。当通过在帧的级别上交织来复用不同视野的流时，一个示例是使复用流中与一个具体视野(第一视野)相对应的帧对于传统的2D解码器或者视频处理实体是可识别的，而使得其他视野(例如，第二、第三以及其他的视野)仅对于有3D意识的装置、视频处理实体或编解码器是可识别的。
这可以通过以下方式来完成：在2D编码后，通过与编码视频中表示第一视野的帧的那些部分不同的方式来标记编码视频中表示第二、第三以及其他视野的帧的那些部分，由此使得接收机可以将第一视野与其他视野和/或数据区分开。具体地，可以标记编码视频中表示第二、第三以及其他视野的帧的部分，使得：根据2D视频解码器的规范，这些部分将被这种2D解码器忽略。例如，在H.264/AVC的情况下，可以使用根据H.264/AVC规范指示了有效的NAL单元的NAL(网络提取层)单元首部来标记流中表示第一视野的帧的那些部分，而可以使用符合H.264/AVC的解码器必须忽略的NAL单元首部(指定于H.264/AVC标准)来标记流中表示其他视野的帧的那些部分。然而，符合H.264/AVC的解码器必须忽略的那些NAL单元首部可以被有3D意识的装置所理解，并相应地处理。备选地，例如，在传输数据(例如，使用RTP，实时传输协议)的情况下，可以通过与编码视频中表示第一视野的帧的部分不同的传输信道(例如，在不同的RTP会话中)来传输编码视频中表示第二、第三以及其他视野的帧的部分，以及2D视频设备仅可以从传输表示第一视野的帧的编码视频的传输信道接收数据，而3D设备可以从两个传输信道接收数据。通过这种方式，可以由2D视频设备和3D视频设备正确呈现同一个流。
示例性实施例，图7
图7示出了用于3D解压的装置的示例实施例。该示例装置中使用的输入包括：多视野视频，即，编码在一起的多个摄像机视野；额外信息，例如，用于视野合成的深度信息；以及元数据。使用常规的2D视频解码器来解码多视野视频，该常规的2D视频解码器是根据元信息中的信令来选择的。然后，在2D至3D复用器中，将已解码的视频帧重新布置到所输入的多视野视频中包括的分别的多个视图中。还使用常规的2D视频解码器如元数据中以信号通知地解码额外信息，以及如元数据中以信号通知的进行重新布置。将已解码并重新布置的多视野视频和额外信息馈送到视野合成器中，视野合成器根据要求创建多个视野。然后，向显示器发送已合成的视野。备选地，可以基于用户输入来控制视野合成模块，以根据用户的请求例如仅合成一个视野。可以在3D数据流的信令区中以信号通知多视野的可用性和潜在的元数据(例如，深度数据、差异数据、遮挡数据、透明度数据)，该信令区例如在H.264/AVC的情况下，是3DSEI(补充增强信息)消息，或者在文件储存器的情况下，是文件中的3D首部区。这种SEI或首部区可以向3D解码器指示在3D数据流中携带了哪些成分，以及可以如何对其进行识别，例如，通过解析和解释视频分组首部、NAL单元首部、RTP首部等等。
示例过程、图8、压缩
现在将关于图8描述使用实际上任何可用的2D视频编码器来压缩N流多视野3D视频的过程的实施例。可以在视频处理实体中执行该过程，可以将视频处理实体表示为视频提供实体。起初，在动作802中将多个N流3D视频复用到伪2D视频流中。可以从多个摄像机或摄像机阵列接收该多个视频流。然后，在动作804中，向可替换的2D视频编码器提供2D视频流。2D视频编码器是可替换的(即，压缩装置中专用于3D的部分与所使用的编解码器无关)这一事实是显著的优点，因为其使得可以使用实际上任何可用的2D视频编解码器。可以在任何时候更新2D编解码器，例如，更新为当前最佳的现有2D视频编解码器，或者更新为即将开发出来的优选2D视频编解码器。例如，当已经开发了新的高效的2D视频编解码器并且可以获得(例如，市场上有售或者免费下载)时，可以将用于3D数据的压缩的“旧的”2D视频编解码器与新的更高效的2D视频编解码器置换，而不用必须将新的编解码器适配于压缩3D视频的目的。
在编码后，在动作806中可以从可替换的2D视频编码器获得已编码的伪2D视频流，例如以用于其他处理。这种其他处理的示例是将已编码的伪2D视频流封装为向例如已封装数据的接收机指示该流包括已压缩的3D视频的数据格式。可以在虚线示出的可选动作808中执行该其他处理。在动作810中，不管有没有其他处理，可以向例如另一节点或实体和/或向储存设施或单元发送或提供来自可替换的2D视频编码器的输出。
示例装置、图9、压缩
下面，将参考图9描述适于使得能够执行上述压缩N流多视野3D视频的过程的示例性装置900。将该装置示为位于视频处理或视频提供实体901中，实体901可以是例如计算机、移动终端或者视频专用设备。装置900包括复用单元902，适于将N流多视野3D视频的N个流中的至少一些复用到一个伪2D流中。可以从多个摄像机或摄像机阵列接收该多个视频流。复用单元902还适于向可替换的2D编码器906提供伪2D流，以编码该伪2D流，产生编码数据。复用单元902还可以适于生成或提供与复用多视野3D视频有关的元数据，例如，对使用哪个复用方案的指示。
装置900还可以包括提供单元904，提供单元904适于从可替换2D视频编码器906获得编码数据，并向例如视频处理实体提供所述编码数据，以用于压缩，和/或向内部或外部存储器或储存单元提供所述编码数据，以用于储存。装置900还可以包括可选的封装单元908，用于编码数据的进一步处理。提供单元904还可以适于例如在向储存单元提供数据之前或者在向视频处理实体发送编码数据之前，向封装单元908提供编码数据。封装单元908可以适于以指示编码3D视频的数据格式来封装编码数据，该编码数据具有取决于2D视频编码器的格式。
关于复用方案的信息
必须向例如压缩3D视频的接收机提供关于在压缩期间如何复用3D视频的不同流的信息(即，当前使用的复用方案)，以使得可以正确解压压缩视频流。例如，根据图9中示出的装置，可以由复用单元902产生和/或提供该信息。关于复用的信息可以例如与压缩的3D视频数据一起以信号通知或存储，或者与压缩的3D视频数据相关联。可以例如将信令存储在文件中的首部信息区(例如，在MPEG-4文件的特定的“3D盒”中)，或者在H.264/AVCSEI消息中发信号通知。
还例如可以在压缩视频之前或之后发信号通知关于复用的信息，很可能经由所谓的“带外信令”进行，即，在与用于实际的压缩视频的通信信道不同的通信信道上进行。这种带外信令的示例是SDP(会话描述协议)。备选地，可以例如在节点之间协商、预协定或者标准化复用方案，并且从而复用方案为解压实体所知。可以显式地或者隐式地向解压实体通信或传送关于复用方案的信息。不应将关于复用的信息与同样也伴随着压缩3D数据的其他3D相关元数据或额外信息(例如，用于视野合成的深度信息和差异数据)以及2D编解码相关信息相混淆。
示例过程、图10、解压
现在将关于图10描述解压N流多视野3D视频的过程的实施例。可以在可被表示为视频呈现实体的视频处理实体中执行该过程。起初，在动作1002中获得用于解压的数据，即，要被解压的数据和任何相关联的信息。该数据可以是例如从数据发送节点(例如，视频处理或视频提供实体)接收到的，或者是从储存器(例如，内部储存单元，如存储器)取得的。
该过程还可以包括动作1004，其中，可以确定所获得的数据是否包括已压缩的2D编码的N流多视野3D视频。例如，可以确定所获得的数据是否具有指示编码3D视频的数据格式(例如，封装在这种数据格式中)，和/或确定所获得的数据是否伴随有指示编码3D视频的元数据，并从而包括具有2D编解码格式的2D编码的N流多视野3D视频。至少在以指示编码3D视频的数据格式来封装2D编码的数据时，可以将2D编解码格式称为指示编码3D视频的数据格式的“基本格式”。
在动作1006中确定所获得的数据的可能的“基本”2D视频编解码格式。2D视频编解码格式指示将哪种类型的2D编解码器用于编码数据。然后，在动作1008中，向支持所确定的2D视频编解码格式的可替换2D视频解码器提供所获得的数据。可替换解码器中的解码应该产生伪2D视频流。
在动作1010中将伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流。动作1010需要知道如何在3D视频压缩期间复用包括在所获得的数据中的N流多视野3D视频的分离的流。可以通过多种不同的方式提供该知识或信息，例如，如前所述，作为与压缩数据相关联的元数据。
示例装置、图11、解压
下面，将参考图11描述适于使得能够执行上述解压压缩N流多视野3D视频的过程的示例性装置1100。将该装置示出为驻留视频处理或视频呈现实体1101中，实体1101可以是例如计算机、移动终端或者视频专用设备。结合图9描述的视频处理或提供实体901与视频处理(或呈现)实体1101可以是相同或不同的实体。装置1100包括获得单元1102，获得单元1102适于获得用于解压的数据和任何的相关信息。该数据可以是从例如数据发送节点(例如，另一视频处理/视频提供实体)接收到的，或者是从储存器(例如，内部储存单元，如存储器)取得的。
装置1100还包括确定单元1104，确定单元1104适于确定所获得的2D编码的N流多视野3D视频数据的2D编码(或编解码)格式。确定单元1104还可以适于例如通过分析所获得的数据的数据格式和/或通过分析与所获得的数据相关联的元数据，确定所获得的数据是否包括2D编码的N流多视野3D视频。元数据可以通过指示所包括的2D编码的N流多视野3D视频的方式来与3D视频相关，和/或所获得的数据的格式可以是指示(例如，根据预定规则或由控制节点或类似设备提供的指令)所获得的数据包括2D编码的N流多视野3D视频的类型。
确定单元1104还适于向可替换2D解码器1108(其支持所确定的2D编解码格式)提供所获得的数据，以解码所获得的数据，产生伪2D视频流。图11中通过双向箭头示出了2D编解码器是可替换或可置换的事实，并且编解码器的轮廓是虚线。此外，可以有支持不同格式的多个不同的2D编解码器可用于解码，并从而可以与在压缩侧使用的2D编解码器匹配。图12中示出了这种实施例，其中，装置1200适于确定2D编解码器1208a-d中哪个2D编解码器适于解码特定的接收到的流。通过相应的双向箭头示出了编解码器1208a-d的可替换性。类似地，在视频压缩实体中还可以有多个2D编码器可用于数据压缩，例如，用于在知道压缩视频的接收机或接收机组无法使用特定类型的编解码器时作为备选。
装置1100还包括解复用单元1106，解复用单元1106适于将伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流。应该向解复用单元1106提供与以下有关的信息：在3D视频压缩期间，如何复用所获得的数据中包括的N流多视野3D视频的分离的流，即与复用方案有关的信息。可以通过多种不同的方式提供该信息，例如，如前所述，作为与压缩数据相关联的元数据或者预先确定。然后，可以向显示单元1110提供多视野3D视频的多个流，显示单元可以包括在视频处理(或呈现)实体中，或者在视频处理(或呈现)实体外部。
示例装置、图13
图13示意性地示出了视频处理或视频呈现实体中的装置1300的实施例，其还可以是公开图11中示出的视频处理/呈现实体中用于解压的装置的实施例的备选方式。在此，装置1300中包括处理单元1306，例如，具有DSP(数字信号处理器)以及编码和解码模块。处理单元1306可以是执行在此描述的过程的不同动作的单个单元或多个单元。装置1300还可以包括用于从其他实体接收信号的输入单元1302，以及用于向其他实体提供信号的输出单元1304。可以将输入单元1302和输出单元1304配置为集成的实体。
此外，装置1300包括至少一个非易失性存储器形式的计算机程序产品1308，例如，EEPROM(电可擦除可编程只读存储器)、闪存或者盘驱动器。计算机程序产品1308包括计算机程序1310，计算机程序1310包括代码工具(codemeans)，当在装置1300中的处理单元1306中运行时，该代码工具使装置和/或视频处理/呈现实体执行之前结合图10描述的过程的动作。
计算机程序1310可以被配置为计算机程序模块结构的计算机程序代码。因此，在所描述的示例性实施例中，装置1300的计算机程序1310中的代码工具包括用于获得数据的获得模块1310a，例如，从数据发送实体接收数据或者从存储器(例如，内存中)取得数据。计算机程序还包括确定模块1310b，用于确定所获得的2D编码的N流多视野3D视频数据的2D编码或编解码格式。确定单元模块1310b还向可替换2D解码器(其支持所确定的2D编解码格式)提供所获得的数据，以解码所获得的数据，产生伪2D视频流。2D解码器可以作为计算机程序的模块包括，或者可以不作为计算机程序的模块包括。2D解码器可以是多个可用解码器中的一个，以及以硬件和/或软件中实现，并且可以作为插件实现，其可以被容易地替换或置换为另一2D解码器。计算机程序1310还包括解复用模块1310c，解复用模块1310c用于将伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流。
模块1310a-c基本上可以执行图10中示出的流程的动作，以模拟图11中示出的视频处理/呈现实体中的装置。换言之，当在处理单元1306上运行不同模块1310a-c时，其对应于图11中的单元1102-1106。
类似地，图7和9中示出的相应装置的对应备选是可能的。
虽然将以上结合图13公开的实施例中的代码工具作为计算机程序模块(当在处理单元上运行时，使得装置和/或视频处理/呈现实体执行以上结合上述的图来描述的动作)来实现，在备选实施例中，至少一个代码工具可至少部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元)，然而也可以包括两个或更多处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片集和/或专用微处理器，例如ASIC(专用集成电路)。处理器还可以包括用于高速缓冲目的的板存储器(boardmemory)。可以由连接到处理器的计算机程序产品来携带计算机程序。计算机程序产品包括在其上存储计算机程序的计算机可读介质。例如，计算机程序产品可以闪存、RAM(随机存取存储器)、ROM(只读存储器)或者EEPROM(电可擦可编程只读存储器)，以及在备选实施例中，上述的计算机程序模块可以通过数据接收单元内的存储器的格式分布在不同的计算机程序产品上。
虽然已参考所提供的特定实施例作为示例来对以上建议的过程进行了描述，该描述一般仅旨在示出发明性的概念，并且不应被视为限制所建议的方法和装置的范围，所建议的方法和装置的范围由所附权利要求来限定。虽然在一般性的方面进行了描述，使用通常可用的通信技术(例如，GSM/EDGE、WCDMA和LTE)或者基于卫星、陆地或线缆的广播技术(例如，DVB-S、DVB-T或DVB-C)，方法和装置可应用于例如不同类型的通信系统。
还应该理解，交互单元或模块的选择以及该单元的命名仅是用于示例的目的，可以通过多种备选方式来配置适于执行上述方法中的任何方法的视频处理实体，以能够执行所建议的过程动作。
应该注意到，本公开中描述的单元或模块要被视为逻辑实体，而不是必须视为分离的物理实体。
参考文献
[1]ITU-TRecommendationH.264(03/09)：″Advancedvideocodingforgenericaudiovisualservices″|ISO/IEC14496-10：2009：″Informationtechnology-Codingofaudio-visualobjects-Part10：AdvancedVideoCoding″.
[2]ISO/IEC13818-2：2000：“Informationtechnology--Genericcodingofmovingpicturesandassociatedaudioinformation-Part2：Video”

Claims (30)

1.一种视频处理实体中的方法，用于压缩N流多视野3D视频，所述方法包括：
-将N流多视野3D视频的N个流中的至少一些复用到一个伪2D流中(802)，所述伪2D流对2D编码器表现为2D视频流；
-向能够以另一2D编码器替换的可替换2D编码器提供所述伪2D流(804)，用于所述伪2D流的编码，产生具有2D编解码格式的编码数据，其中，压缩装置中专用于3D视频的部分与可替换2D编码器无关。
2.根据权利要求1所述的方法，其中，所述方法还包括：
-向以下至少一项提供所述编码数据(810)：
a)视频处理实体，以及
b)储存单元。
3.根据权利要求1或2所述的方法，其中，提供与多视野3D视频的复用有关的元数据。
4.根据权利要求1或2所述的方法，其中，将其他信息与所述视频流一起复用到所述伪2D流中。
5.根据权利要求4所述的方法，其中，所述其他信息包括以下至少一项：
-深度信息；
-差异信息；
-遮挡信息；
-分段信息；以及
-透明度信息。
6.根据权利要求1或2所述的方法，还包括：
-以指示编码3D视频的数据格式来封装所述编码数据(808)。
7.根据权利要求1或2所述的方法，其中，所复用的视频流的数目大于2。
8.一种视频处理实体中的装置(900)，适于压缩N流多视野3D视频，所述装置包括：
-复用单元(902)，适于将N流多视野3D视频的N个流中的至少一些复用到一个伪2D流中，所述伪2D流对2D编码器表现为2D视频流，所述复用单元还适于向能够以另一2D编码器替换的可替换2D编码器提供所述伪2D流，用于所述伪2D流的编码，产生具有2D编解码格式的编码数据，其中，压缩装置中专用于3D视频的部分与可替换2D编码器无关。
9.根据权利要求8所述的装置，还包括：提供单元(904)，适于向以下至少一项提供所述编码数据：
a)视频处理实体，
b)储存单元。
10.根据权利要求8或9所述的装置，还适于：提供与多视野3D视频的复用有关的元数据。
11.根据权利要求8或9所述的装置，还适于：将其他信息与所述视频流一起复用到所述伪2D流中。
12.根据权利要求11所述的装置，其中，所述其他信息包括以下至少一项：
-深度信息；
-差异信息；
-遮挡信息；
-分段信息；以及
-透明度信息。
13.根据权利要求8或9所述的装置，还包括：
-封装单元(908)，适于以指示编码3D视频的数据格式来封装所述编码数据。
14.根据权利要求8或9所述的装置，适于：复用多于两个的视频流。
15.一种视频处理实体中的方法，用于解压N流多视野3D视频，所述方法包括：
-获得用于解压的数据(1002)；
-确定所获得的2D编码的N流多视野3D视频数据的2D编解码格式(1006)；
-向支持所确定的2D格式的能够以另一2D解码器替换的可替换2D解码器提供所获得的数据(1008)，以解码所获得的数据，产生伪2D视频流；以及
-将所述伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流(1010)，其中，解压装置中专用于3D视频的部分与可替换2D解码器无关。
16.根据权利要求15所述的方法，其中，所述解复用基于与多视野3D视频的复用有关的元数据。
17.根据权利要求16所述的方法，其中，所述元数据至少部分地包括在所获得的数据中。
18.根据权利要求16或17所述的方法，其中，所述元数据至少部分地是隐式的。
19.根据权利要求16或17所述的方法，还包括：
-基于以下至少一项，确定所获得的数据是否包括具有2D编解码格式的2D编码的N流多视野3D视频：
-所获得的数据的数据格式；以及
-与所获得的数据相关联的元数据。
20.根据权利要求16或17所述的方法，包括：
-将所述伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流以及包括在所获得的数据中的任何其他信息(1010)。
21.根据权利要求20所述的方法，其中，所包括的其他信息包括以下至少一项：
-深度信息；
-差异信息；
-遮挡信息；
-分段信息；以及
-透明度信息。
22.根据权利要求16或17所述的方法，其中，要解压的所获得的数据包括至少3个复用的视频流。
23.一种视频处理实体中的装置(1100)，适于解压N流多视野3D视频，所述装置包括：
-获得单元(1102)，适于获得用于解压缩的数据；
-确定单元(1104)，
适于确定所获得的2D编码的N流多视野3D视频数据的2D编码格式，以及
适于向支持所确定的2D格式的能够以另一2D解码器替换的可替换2D解码器提供所获得的数据，以解码所获得的数据，产生伪2D视频流；以及
-解复用单元(1106)，适于将所述伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流，其中，解压装置中专用于3D视频的部分与可替换2D解码器无关。
24.根据权利要求23所述的装置，其中，所述解复用器基于与多视野3D视频的复用有关的元数据。
25.根据权利要求24所述的装置，其中，所述元数据至少部分地包括在所获得的数据中。
26.根据权利要求24或25所述的装置，其中，所述元数据至少部分地是隐式的。
27.根据权利要求24或25所述的装置，其中，所述确定单元还适于基于以下至少一项，来确定所获得的数据是否包括2D编码的N流多视野3D视频数据：
-与所获得的数据相关联的元数据；以及
-所获得的数据的格式。
28.根据权利要求24或25所述的装置，还适于：将所述伪2D视频流解复用为包括在所获得的数据中的N流多视野3D视频的分离的流以及任何其他信息。
29.根据权利要求28所述的装置，其中，所述其他信息包括以下至少一项：
-深度信息；
-差异信息；
-遮挡信息；
-分段信息；
-透明度信息。
30.根据权利要求24或25所述的装置，适于：对包括至少3个复用的视频流在内的数据进行解复用。
CN201080047493.4A 2009-10-20 2010-10-18 用于多视野视频压缩的方法和装置 Expired - Fee Related CN102656891B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US25309209P 2009-10-20 2009-10-20
US61/253,092 2009-10-20
PCT/SE2010/051121 WO2011049519A1 (en) 2009-10-20 2010-10-18 Method and arrangement for multi-view video compression

Publications (2)

Publication Number Publication Date
CN102656891A CN102656891A (zh) 2012-09-05
CN102656891B true CN102656891B (zh) 2015-11-18

Family

ID=43900547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080047493.4A Expired - Fee Related CN102656891B (zh) 2009-10-20 2010-10-18 用于多视野视频压缩的方法和装置

Country Status (4)

Country Link
US (1) US20120212579A1 (zh)
EP (1) EP2491723A4 (zh)
CN (1) CN102656891B (zh)
WO (1) WO2011049519A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2235685B1 (en) * 2007-12-26 2014-06-18 Koninklijke Philips N.V. Image processor for overlaying a graphics object
CA2749065C (en) 2009-01-28 2017-01-17 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP5482254B2 (ja) * 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
IT1399417B1 (it) * 2010-04-12 2013-04-16 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video stereoscopico compatibile e relativi dispositivi di codifica e decodifica.
WO2012045319A1 (en) * 2010-10-05 2012-04-12 Telefonaktiebolaget L M Ericsson (Publ) Multi-view encoding and decoding technique based on single-view video codecs
MX2013004068A (es) * 2010-10-25 2013-05-22 Panasonic Corp Metodo de codificacion, dispositivo de visualizacion, metodo de codificacion.
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치
US8913104B2 (en) * 2011-05-24 2014-12-16 Bose Corporation Audio synchronization for two dimensional and three dimensional video signals
KR101507919B1 (ko) * 2011-07-01 2015-04-07 한국전자통신연구원 가상 데스크탑 서비스를 위한 방법 및 장치
EP2745517A1 (en) 2011-08-15 2014-06-25 Telefonaktiebolaget LM Ericsson (PUBL) Encoder, method in an encoder, decoder and method in a decoder for providing information concerning a spatial validity range
ITTO20120134A1 (it) * 2012-02-16 2013-08-17 Sisvel Technology Srl Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d.
JP6035842B2 (ja) * 2012-04-25 2016-11-30 ソニー株式会社 撮像装置、撮像処理方法、画像処理装置および撮像処理システム
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
US9674499B2 (en) 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
JP6150277B2 (ja) * 2013-01-07 2017-06-21 国立研究開発法人情報通信研究機構 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10726593B2 (en) 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10176592B2 (en) 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
US10275935B2 (en) 2014-10-31 2019-04-30 Fyusion, Inc. System and method for infinite synthetic image generation from multi-directional structured image array
US9940541B2 (en) 2015-07-15 2018-04-10 Fyusion, Inc. Artificially rendering images using interpolation of tracked control points
US10262426B2 (en) 2014-10-31 2019-04-16 Fyusion, Inc. System and method for infinite smoothing of image sequences
US10852902B2 (en) 2015-07-15 2020-12-01 Fyusion, Inc. Automatic tagging of objects on a multi-view interactive digital media representation of a dynamic entity
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
TWI574547B (zh) * 2015-11-18 2017-03-11 緯創資通股份有限公司 立體影像的無線傳輸系統、方法及其裝置
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US11470140B2 (en) * 2019-02-20 2022-10-11 Dazn Media Israel Ltd. Method and system for multi-channel viewing
US11457053B2 (en) * 2019-02-20 2022-09-27 Dazn Media Israel Ltd. Method and system for transmitting video
EP4038886A4 (en) * 2019-10-01 2023-10-25 INTEL Corporation IMMERSIVE VIDEO CODING USING OBJECT METADATA
CN116248642A (zh) * 2020-10-14 2023-06-09 腾讯科技（深圳）有限公司 媒体文件的封装方法、媒体文件的解封装方法及相关设备
CN114697690A (zh) * 2020-12-30 2022-07-01 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP1978750A2 (en) * 2007-01-09 2008-10-08 Mitsubishi Electric Corporation Method and system for processing multiview videos for view synthesis using skip and direct modes
CN101346998A (zh) * 2006-01-05 2009-01-14 日本电信电话株式会社 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US20040120404A1 (en) * 2002-11-27 2004-06-24 Takayuki Sugahara Variable length data encoding method, variable length data encoding apparatus, variable length encoded data decoding method, and variable length encoded data decoding apparatus
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8922621B2 (en) * 2007-10-19 2014-12-30 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
KR101154051B1 (ko) * 2008-11-28 2012-06-08 한국전자통신연구원 다시점 영상 송수신 장치 및 그 방법
US20100309287A1 (en) * 2009-03-20 2010-12-09 Rodriguez Tony F 3D Data Representation, Conveyance, and Use
US9432723B2 (en) * 2009-08-03 2016-08-30 Google Technology Holdings LLC Method of encoding video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
CN101346998A (zh) * 2006-01-05 2009-01-14 日本电信电话株式会社 视频编码方法及解码方法、其装置及其程序以及记录程序的存储介质
EP1978750A2 (en) * 2007-01-09 2008-10-08 Mitsubishi Electric Corporation Method and system for processing multiview videos for view synthesis using skip and direct modes

Also Published As

Publication number Publication date
CN102656891A (zh) 2012-09-05
US20120212579A1 (en) 2012-08-23
WO2011049519A1 (en) 2011-04-28
EP2491723A1 (en) 2012-08-29
EP2491723A4 (en) 2014-08-06

Similar Documents

Publication Publication Date Title
CN102656891B (zh) 用于多视野视频压缩的方法和装置
JP5614900B2 (ja) ３ｄ映像符号化フォーマット
CN101548548B (zh) 用于在视频编码中提供画面输出指示的系统和方法
KR101564461B1 (ko) 비디오 데이터 신호, 인코딩된 비디오 데이터 신호를 인코딩하는 방법 및 시스템, 및 비디오 데이터 신호 디코딩 방법 및 시스템
JP6159507B2 (ja) ３ｄ映像フォーマット
CN103404140B (zh) 指示比特流子集的方法和设备
KR102406846B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN114930813B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN115443652B (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN114946178B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN116684666A (zh) 点云数据发送装置和方法、点云数据接收装置和方法
KR102518819B1 (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102126813B1 (ko) 디지털 비디오를 코딩 및 디코딩하기 위한 방법, 및 관련된 코딩 및 디코딩 디바이스들
CN104255034A (zh) 视频编码系统及其操作方法
CN115769583A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN115918093A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
CN114946179A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN115380528B (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
KR20070111880A (ko) 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR20140035065A (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
CN115804096A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
EP2985996B1 (en) Depth information encoding and decoding method and device
CN117978996A (zh) 点云数据发送设备和方法、点云数据接收设备和方法
CN117978993A (zh) 对点云数据进行编码/解码的设备
CN117978994A (zh) 对点云数据进行编码/解码的方法和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151118

Termination date: 20191018

CF01 Termination of patent right due to non-payment of annual fee