CN105657404A - 3d视频格式 - Google Patents

3d视频格式 Download PDF

Info

Publication number
CN105657404A
CN105657404A CN201610096375.1A CN201610096375A CN105657404A CN 105657404 A CN105657404 A CN 105657404A CN 201610096375 A CN201610096375 A CN 201610096375A CN 105657404 A CN105657404 A CN 105657404A
Authority
CN
China
Prior art keywords
view
image
video
group
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610096375.1A
Other languages
English (en)
Other versions
CN105657404B (zh
Inventor
田栋
波-林·莱
罗健聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42269685&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105657404(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Priority claimed from CN201080008695.8A external-priority patent/CN102326390B9/zh
Publication of CN105657404A publication Critical patent/CN105657404A/zh
Application granted granted Critical
Publication of CN105657404B publication Critical patent/CN105657404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及3D视频格式。多种实施方式涉及3D视频格式。一种或多种实施方式涉及为MVC和SVC提供适应性修改，以使3D视频格式被使用。根据一般方面，包括视频和深度的一组图像被编码。该组图像被根据特定的3D视频格式相关联，并且被以利用该组图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式以特定顺序排列在比特流中。比特流中的该特定顺序被利用信令信息来指示。根据另一方面，包括该组编码后的图像的比特流被访问。信令信息也被访问。该组图像被利用信令信息来解码。

Description

3D视频格式
本申请是申请日为2010年2月19日，申请号为201080008695.8，名称为“3D视频格式”的发明专利申请的分案申请。
技术领域
描述了涉及编码系统的实施方式。各种特定的实施方式涉及三维(3D)视频格式。
背景技术
为了方便诸如三维电视(3DTV)和自由视点视频(FVV)之类的新的视频应用，可以使用包括传统的二维(2D)视频和深度二者的3D视频(3DV)数据格式，以使额外的视频能够被呈现在用户端。这种3DV格式的示例包括2D加深度(2D+Z)(其包括2D视频和相应的深度贴图)和分层深度视频LDV(其包括2D+Z中的数据和一个遮挡视频(occlusionvideo)及一个遮挡深度(occlusiondepth))。多视角加深度(MVD)是2D+Z的扩展，包括来自不同视点的多个2D+Z。视差增强立体图像(DES)是相当于来自不同视角的两个LDV的另一种格式。如何传送(编码并发送)这些数据格式是一个重要问题，因为必须在用户端联合使用不同分量。
发明内容
根据一个概括方面，一组图像被编码。该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像中的图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。编码后的图像被基于与这些图像有关的特定的3D视频格式，以特定次序排列在比特流中。该特定次序在比特流中被使用信令信息指示出来。
根据另一概括方面，包括一组编码后的图像的比特流被访问，该组图像包括视频图像和与该视频图像相对应的深度图像。该组图像被根据特定的3D视频格式相关联。该组图像被以利用该组图像中的图像之间的冗余的方式编码。指示特定次序的信令信息被访问，其中该组编码后的图像被以该特定次序排列在比特流中。该特定次序是以与该组图像有关的特定的3D视频格式为基础的。该组图像被使用信令信息解码。
根据又一概括方面，视频信号被格式化为包括信息。该视频信号包括信令部分，该信令部分包括信令信息。该信令信息指示特定次序，其中该组编码后的图像被以该特定次序排列在比特流中。该特定次序是以与该组图像有关的特定的3D视频格式为基础的。
下面的描述和附图中阐述了一种或多种实施方式的细节。即使仅以一种特定方式进行描述，也应该明白实施方式可以被以各种方式配置或实现。例如，一种实施方式可以被作为一种方法执行，或者被实现为一种装置(诸如，被配置为执行一组操作的装置、或者存储用于执行一组操作的指令的装置)、或者被实现为一种信号。结合附图和权利要求，其他方面和特征将通过下面的详细描述变得显而易见。
附图说明
图1是深度贴图(depthmap)的示例。
图2是示出LDV格式的四个分量的示例。
图3是3DV编码器的实施方式的示意图。
图4是3DV解码器的实施方式的示意图。
图5是视频传输系统的实施方式的示意图。
图6是视频接收系统的实施方式的示意图。
图7是视频处理设备的实施方式的示意图。
图8是示出对MVC结构中的MVD格式进行编码的示例的示意图。
图9是示出对MVC结构中的LDV格式进行编码的示例的示意图。
图10是示出对MVC结构中的DES格式进行编码的示例的示意图。
图11是第一编码处理的实施方式的示意图。
图12是第一解码处理的实施方式的示意图。
图13是示出对MVC结构中的MVD格式进行编码的另一示例的示意图。
图14是示出对MVC结构中的LDV格式进行编码的另一示例的示意图。
图15是示出对MVC结构中的DES格式进行编码的另一示例的示意图。
图16是第二编码处理的实施方式的示意图。
图17是第二解码处理的实施方式的示意图。
图18是示出对SVC结构中的LDV格式进行编码的示例的示意图。
图19是第三编码处理的实施方式的示意图。
图20是第三解码处理的实施方式的示意图。
图21是第四编码处理的实施方式的示意图。
图22是第四解码处理的实施方式的示意图。
具体实施方式
可以利用诸如既包括传统的2D视频又包括深度的数据格式之类的3DV数据格式，来使例如附加的视频视图可以被呈现在用户端。但是，发明人认为缺陷在于，在诸如可分层视频编码(SVC)和多视角视频编码(MVC)之类的当前标准中并不支持3DV格式。多视角视频序列是包括从不同视点捕捉相同场景的两个以上视频序列的一组视频序列。
所以，在至少一种实施方式中，我们提出重新使用现有的对于高级视频编码(AVC)的MVC或SVC扩展，在用信号指示如何正确提取3DV内容的帮助下发送3DV内容。可以利用包括但不限于例如，序列参数集(SPS)、画面参数集(PPS)、条带头、辅助增强信息(SEI)消息等的任意高级语法来进行信号指示。在本申请中，其他信令机制也是可能的，并且是可以想到的。
在至少一种实施方式中，我们提出使用SVC或MVC的构架来对3DV分量进行编码，而不要求系统级的同步。使用SVC或MVC中的技术，本原理可以更有效地利用分量间(cross-component)冗余。另外，后向兼容性更加灵活，因为可以仅利用整个比特流的一部分来对传统的2D视频进行发送/解码(例如，用于SVC的基本层、或者MVC中的基本视图)。
在至少一种实施方式中，我们还提出使用高级语法来用信号指示如何理解3DV背景中的视图(MVC中)或者层(SVC中)，从而使得3D显示器可以正确使用信息。
在至少一种实施方式中，我们提出了用于用信号指示不同3DV格式的MVC和SVC的构架中的“3DV格式SEI消息”。这种实施方式可能会具有以下优点中的一个以上优点、或者全部优点：
·避免了对系统级的不同分量进行同步的需要，因为它们可以被以分层方式(SVC)或者同步视角(MVC)方式相关联。
·更好地利用了分量间冗余：通过相对于利用交织法的AVC而言可以潜在地提供更高编码效率的SVC/MVC将使能分量间预测。
·更灵活的后向兼容性：在用户端，传统的2D视频应用只需要部分数据。
应该明白，尽管至少一种实施方式涉及到SEI消息，但是以上所述的原理不限于使用SEI消息。所以，例如，可以使用包括但不限于SPS、PPS、条带头等的其他高级语法。
3D视频(3DV)再现格式包括视频分量和深度分量二者，这些格式诸如是2D+Z(MVD)和LDV(DES)等，并且随着3DV应用吸引了更多的市场关注而变得更加重要。图1示出了根据本原理的实施例的可以应用本原理的与被称为“Leaving_Laptop”的MPEG测试序列相对应的示例性深度贴图100。图2示出了根据本原理的实施例的可以应用本原理的LDV格式中的四种分量。具体地，左上部分201示出了2D视频视图，右上部分202示出了深度，左下部分203示出了遮挡视频层，右下部分204示出了遮挡深度层。以上数据格式的编码和传输对于各种应用来说非常关键，并且是具有挑战性的。包括编码效率在内的诸如同步和后向兼容(对于传统的单视场2D视频)之类的功能应该被考虑，以使老式解码器可以根据比特流示出一些东西。
相对简单的解决方案是多播，其中每个分量被独立编码并发送。这种方式的典型实施方式需要多个编码器/解码器、以及系统级或应用级的同步。换言之，多播的代价可以被简单地增加3DV分量的数目倍。另外，由于不同分量被独立编码，所以将无法利用分量之间的任何冗余。
MPEG-CPart3(ISO/IEC23002-3)规定了一种用于2D+Z的系统架构。MPEG-CPart3还要求视频和深度之间的系统级同步。可以利用任何现有的视频编码标准对视频和深度进行编码，但是视频和深度的编码被拆开进行，从而无法在这两种分量之间获得任何编码好处。MPEG-CPart3中没有规定LDV(DES)。用于2D+Z(MVD)和LDV(DES)的编码方案还处于例如，MPEG的3DV组的探索阶段。
为了将2D+Z(MVD)和LDV(DES)格式结合到诸如SVC和MVC之类的现有的编码机制中，在至少一种实施方式中，我们提出利用一些高级语法来用信号指示如何从SVC或MVC比特流提取3DV分量。这种方法的好处在于，不需要系统级的不同3DV分量之间的同步，因为它们将被结合在编码后的比特流中(诸如，SVC中的基本/增强层或者MVC中的不同视角)。另一个潜在的好处在于，当以这种方式执行编码时可以去除分量间冗余。
术语
“3DV视图”在这里被定义为来自一个视图位置的数据组，其不同于MVC中使用的“视角”。对于2D+Z格式，3DV视图包括两个分量序列，即，2D视图及其深度贴图。对于LDV格式，3DV视图包括四个分量序列，即，2D视图、深度贴图、遮挡视图、以及遮挡深度贴图。
当MVC(SVC)解码器接收到包括所提出的SEI消息的比特流时，MVC(SVC)解码器可以通过3D显示器可以输出适当图像的方式来组成3DV数据。
图3是根据本原理的实施例的可以应用本原理的3DV编码器300的实施方式的示意图。编码器300包括3D视图分量组成器355，该组成器具有与MVC/SVC编码器305的输入端进行信号通信的第一输出端。MVC/SVC编码器305的输出端以信号通信的方式与比特流复用器360的第一输入端连接。3D视图分量组成器355的第二输出端以信号通信的方式连接SEI消息组成器365的第一输入端。SEI消息组成器365的输出端以信号通信的方式连接比特流复用器360的第二输入端。3D视图分量组成器355的输入端可被用作编码器300的输入端，用于接收3DV内容(例如，一个或多个2D视图、深度、一个或多个遮挡视图、遮挡深度、一个或多个透明贴图等)。比特流复用器360的输出端可被用作编码器300的输出端，用于输出3DV比特流。
在这种实施方式中，MVC/SVC编码器305中的每个3DV分量编码器(未示出)是MVC编码器或SVC编码器。在使用MVC编码器的情况中，每个3DV分量编码器是用于一个SVC视图的SVC编码器。3D视图分量组成器355是用于发送SVC层或MVC视图的3DV分量以及发送这样的控制信息给SEI消息组成器365的分配器。SEI消息组成器365将SEI消息组成为比特流中的信号。比特流复用器360将复用该比特流。
图4是根据本原理的实施例的可以应用本原理的3DV解码器400的实施方式的示意图。解码器400包括比特流解复用器460，该解复用器具有以信号通信的方式与SEI消息解析器465的输入端和MVC/SVC解码器405的输入端连接的输出端。SEI消息解析器465的输出端以信号通信的方式与3D视图分量分解器455的第一输入端连接。MVC/SVC解码器405的输出端以信号通信的方式与3D视图分量分解器455的第二输入端连接。比特流解复用器460的输入端可以被用作解码器400的输入端，用于接收3DV比特流。3D视图分量分解器455的输出端可以被用作解码器400的输出端，用于输出格式化后的3DV内容(例如，一个或多个2D视图、深度、一个或多个遮挡视图、遮挡深度、一个或多个透明贴图等)。
图3和图4示出了特定实施方式，但是可以预见其他实施方式。例如，另一种实施方式不具有图3(或图4)的一个或多个块上的独立输入端。相反，单个输入端被用来接收多个信号。作为具体示例，比特流复用器360可以只具有一个输入端。单个输入端接收来自MVC/SVC编码器305的输出以及来自SEI消息组成器365的输出。另外，3D视图分量组成器355的另一种实施方式只具有单个输出端，该输出端既向SEI消息组成器365提供信号又向MVC/SVC编码器305提供信号。可以想到对于图4以及其他附图的实施方式以及贯穿说明书描述的实施方式的类似适应修改。
图5示出了根据本原理的实施例的可以应用本原理的示例性视频传输系统700。视频传输系统700可以是例如用于使用诸如(例如)卫星、线缆、电话线、或者陆地广播之类的各种媒介中的任意一种来发送信号的头端、或传输系统。可以通过互联网或者一些其他网络来提供传输。
视频传输系统700能够生成并递送例如视频内容和深度。这是通过生成一个或多个编码后的信号来实现的，其中编码后的信号包括深度信息或者能够被用来在可能具有例如解码器的接收器端合成深度信息的信息。
视频传输系统700包括编码器710和能够发送编码后的信号的发送器720。编码器710接收视频信息，并基于深度信息和/或视频信息生成一个或多个编码后的信号。编码器710可以是例如以上详细描述的编码器300。编码器710可以包括子模块，这些子模块包括例如用于接收各种信息项并将这些信息项装配为结构化的格式以供存储或传输的装配单元。各种信息项可以包括例如，编码后或未编码的视频、编码后或未编码的深度信息、以及诸如运动矢量、编码模式指示符、以及语法元素之类的编码后或未编码的元素。
发送器720可以被用来例如发送具有代表编码后的画面和/或与其有关的信息的一个或多个比特流的节目信号。一般发送器执行诸如提供误差校正编码、对信号中的数据进行交织、使得信号中的能量随机化、以及将信号调制到一个或多个载波上之类的处理中的一个或多个处理的功能。发送器可以包括天线(未示出)，或者可以与天线接口。因此，发送器720的各种实施方式可以包括或者被限制为调制器。
图6示出了根据本原理的实施例的可以应用本原理的示例性视频接收系统800。视频接收系统800可以被配置为通过诸如(例如)卫星、线缆、电话线、或者陆地广播之类的各种媒介接收信号。这些信号可以通过互联网或者一些其他网络被接收。
视频接收系统800可以是例如蜂窝电话、计算机、机顶盒、电视机、或者接收编码后的视频并提供例如解码后的视频以供显示给用户或者以供存储的其他设备。所以，视频接收系统800可以将其输出提供给例如电视机的屏幕、计算机监控器、计算机(用于存储、处理、或显示)、或者一些其他存储、处理、或显示设备。
视频接收系统800能够接收并处理包括视频信息的视频内容。视频接收系统800包括能够接收诸如在本申请的实施方式中描述的信号之类的编码后的信号的接收器810、以及能够对所接收的信号进行解码的解码器820。
接收器810可以被用于例如接收具有代表编码后的画面的多个比特流的节目信号。一般接收器执行诸如接收调制并编码后的数据信号、从一个或多个载波解调数据信号、使信号中的能量去随机化、对信号中的数据进行解交织、以及对信号进行误差校正解码中的一个或多个处理的功能。接收器810可以包括天线(未示出)，或者可以与天线相接口。接收器810的实施方式可以包括或者被限制为解调器。
解码器820输出包括视频信息和深度信息的视频信号。解码器820可以是例如以上描述的解码器400。
图7示出了根据本原理的实施例的可以利用本原理的示例性视频处理设备900。视频处理设备900可以是例如机顶盒、或者接收编码后的视频并且提供例如解码后的视频以供向用户显示或者以供存储的其他设备。所以，视频处理设备900可以将其输出提供给电视机、计算机监控器、或者计算机或其他处理设备。
视频处理设备900包括前端(FE)设备905和解码器910。前端设备905可以是例如被用来接收具有代表编码后的画面的多个比特流的节目信号、以及从多个比特流中选择一个或多个比特流以供解码的接收器。一般接收器执行诸如接收调制并编码后的数据信号、对数据信号进行解调、对数据信号的一个或多个编码(例如，信道编码和/或源编码)进行解码、和/或对数据信号进行误差校正中的一个或多个处理的功能。前端设备905可以从例如天线(未示出)接收节目信号。前端设备905向解码器910提供所接收的数据信号。
解码器910接收数据信号920。数据信号920可以包括例如，一个或多个高级视频编码(AVC)、可缩放视频编码(SVC)、或者多视角视频编码(MVC)兼容的流。
AVC更具体地指现有的国际标准化组织/国际电工委员会(ISO/IEC)移动画面专家组4(MPEG-4)，部分10，高级视频编码(AVC)标准/国际电信联盟，电信部门(ITU-T)H.264推荐(InternationalOrganizationforStandardization/InternationalElectrotechnicalCommission(ISO/IEC)MovingPictureExpertsGroup-4(MPEG-4)Part10AdvancedVideoCoding(AVC)standard/InternationalTelecommunicationUnion，TelecommunicationSector(ITU-T)H.264Recommendation)(下文中，称为“H.264/MPEG-4AVCStandard”或者其变型，诸如“AVC标准”或者简称为“AVC”)。
MVC更具体地指AVC标准的多视角视频编码(MVC)扩展(附件H)，被称为H.264/MPEG-4AVC，MVC扩展(“MVC扩展”或者简称为“MVC”)。
SVC更具体地指AVC标准的可缩放视频编码(SVC)扩展(附件G)，被称为H.264/MPEG-4AVC，SVC扩展(“SVC扩展”或者简称为“SVC”)。
解码器910对所接收的信号920的部分或全部进行解码，并提供解码后的视频信号930作为输出。解码后的视频930被提供给选择器950。设备900还包括接收用户输入970的用户接口960。用户接口960基于用户输入970将画面选择信号980提供给选择器950。画面选择信号980和用户输入970指示用户期望显示多个画面、序列、可缩放版本、视图、或者可用的编码后数据的其他选择中的哪一种。选择器950提供所选择的一个或多个画面作为输出990。选择器950使用画面选择信息980来选择解码后的视频930中的哪些画面作为输出990来提供。
在各种实施方式中，选择器950包括用户接口960，并且在其他实施方式中，由于选择器950直接接收用户输入970而不需要单独的接口功能被执行，所以不需要用户接口960。选择器950可以用软件实现，或者可以被实现为例如集成电路。在一种实施方式中，选择器950被与解码器910结合在一起，并且在另一种实施方式中，解码器910、选择器950、以及用户接口960被全部集成在一起。
在一个应用中，前端905接收各种电视节目的广播，并且选择一种进行处理。对一个节目的选择是以收看的期望频道的用户输入为基础的。尽管图7中没有示出对于前端设备905的用户输入，但是前端设备905接收到了用户输入970。前端905接收广播，通过解调广播频谱的相关部分并解码解调后的节目的任意外部编码(outerencoding)来处理期望的节目。前端905将解码后的节目提供给解码器910。解码器910是包括设备960和950的集成单元。所以，解码器910接收用户输入，其中该用户输入是由用户提供的期望收看的节目中的视图的指示。解码器910对所选择的视图以及来自其他视图的任意需要的参考画面进行解码，并且将解码后的视图990提供在电视机(未示出)上进行显示。
继续以上应用，用户可能期望切换所显示的视图，然后可以将新的输入提供给解码器910。在接收到来自用户的“视图改变”后，解码器910对旧视图和新视图、以及介于旧视图和新视图之间的任意视图进行解码。即，解码器910对由物理上位于拍摄旧视图的相机和拍摄新视图的相机之间的相机所拍摄的任意视图进行解码。前端设备905还接收标识旧视图、新视图、以及它们之间的视图的信息。这种信息可以由例如，解码器910或者具有关于视图位置的信息的控制器(图7中未示出)提供。其他实施方式可以使用具有与前端设备集成在一起的控制器的前端设备。
解码器910提供所有这些解码后的视图作为输出990。后处理器(图7中未示出)在这些视图之间进行内插以提供从旧视图到新视图的平滑过渡，并且将这种过渡显示给用户。在过渡到新视图之后，后处理器(通过一个或多个未示出的通信链路)向解码器910和前端设备905通知只需要新视图。然后，解码器910仅提供新视图作为输出990。
系统900还可以被用来接收一系列图像的多个视图，呈现用于显示的单个视图，以及以平滑方式在各种视图之间切换。平滑方式可以包括在视图之间进行内插以移动到另一视图。另外，系统900还允许用户旋转对象或场景，或者观看对象或场景的三维再现。对象的旋转例如可以对应于从视图到视图的移动、在视图之间进行内插以获得视图之间的平滑过渡或者简单地获取三维再现。也就是说，用户可以“选择”内插后的视图作为将要显示的“视图”。
应该明白，视频传输系统700、视频接收系统800、以及视频处理设备900全部可以被用来与本申请中描述的各种实施方式一起使用。例如，系统700、800和900可以被用于利用如上所述的3DV格式中的一种格式的数据进行操作，以及利用相关联的信令信息进行操作。
实施例1：用于MVC的3DV格式SEI消息
在MVC的架构中，3DV分量序列被作为不同的“视图”进行编码。所以，可以通过作为MVC的一个特征的视图间预测(inter-viewprediction)来去除分量间冗余。例如，2D视图和遮挡视图之间的冗余可以被有效去除。表1示出了根据实施例1的提议用于MVC的3DV格式SEI消息的语法。注意，在本实施例中MVC比特流可以包括除3DV分量序列以外的更多视图。
表1
表1的语法元素的语义如下。
three_dv_format_id包括可以被用来标识3DV格式SEI消息的使用的标识号。该值应该被包含在0到232-2的范围中。应该注意，从0到255以及从512到231-2的值可以在被本应用确定之后被使用。从265到511以及从231到232-2的值被保存以供将来使用。解码器应该忽略(从比特流中去除并且丢弃)包括处于从265到511的范围中或者从231到232-2的范围中的three_dv_format_id的值的所有3DV格式SEI消息，并且比特流不应该包括这些值。
three_dv_format_flag等于1指示3DV格式SEI消息按照输出顺序消除了任意一个先前的3DV格式SEI消息的存留。three_dv_format_cancel_flag等于0指示3DV格式信息跟在后面。
num_three_dv_view_minus1加1指示具有3DV数据的视图的数目。每个视图在3DV格式的背景中具有唯一ID号，即包括在从0到num_three_dv_view_minus的范围中并在该范围中变化的3dv_view_id。应该注意，3dv_view_id不同于MVC背景中的view_id。对于来自一个视图(例如，2D视图)的3DV数据，其深度贴图等被当作MVC中的不同视图并具有不同view_id，但是因为它们与相同视图位置的不同分量序列相对应所以共享同一个3dv_view_id。
basic_three_dv_format_type_id指示MVC比特流中包括的基本3D格式类型。3DV格式可以为两种类型：2D+Z或者LDV。2D+Z格式包括来自一个视图位置的2D视图及其深度贴图。LDV格式包括来自一个视图位置的2D视图、其深度贴图、遮挡视图、以及遮挡深度贴图。
basic_three_dv_format_type_id等于0指示MVC比特流包括(num_three_dv_view_minus1+1)组2D+Z数据。每个数据组对应于一个视图位置。num_three_dv_view_minus1等于0代表2D+Z格式。num_three_dv_view_minus1等于或大于1代表MVD格式。
basic_three_dv_format_type_id等于1指示MVC比特流包括(num_three_dv_view_minus+1)组LDV数据。每个数据组对应于一个视图位置。num_three_dv_view_minus1等于0代表LDV格式。num_three_dv_view_minus1等于1代表DES格式。应该注意，大于1的值是不允许的。
video_present_flag[3dv_view_id]指示针对当前的3D视图是否存在2D视频分量。值为1指示存在2D视图分量。值为0指示不存在2D视图分量。
video_id[3dv_view_id]指示与具有3dv_view_id的3DV视图相对应的MVC比特流中的view_id。值为-1指示不存在用于3DV视图的2D视图分量可用在比特流中。
depth_present_flag[3dv_view_id]指示针对当前的3D视图是否存在深度贴图分量。值为1指示存在深度贴图分量。值为0指示不存在深度贴图分量。
depth_id[3dv_view_id]指示与具有3dv_view_id的3DV深度分量相对应的MVC比特流中的view_id。值为-1指示不存在用于3DV视图的深度分量可被用在比特流中。
occlusion_video_present_flag[3dv_view_id]指示针对当前的3D视图是否存在遮挡视频分量。值为1指示存在遮挡视频分量。值为0指示不存在遮挡视频分量。
occlusion_video_id[3dv_view_id]指示与具有3dv_view_id的遮挡视频分量相对应的MVC比特流中的view_id。值为-1指示不存在用于3DV视图的遮挡视频分量可用在比特流中。
occlusion_depth_present_flag[3dv_view_id]指示针对当前的3D视图是否存在遮挡深度分量。值为1指示存在遮挡深度分量。值为0指示不存在遮挡深度分量。
occlusion_depth_id[3dv_view_id]指示与具有3dv_view_id的遮挡深度分量相对应的MVC比特流中的view_id。值为-1指示不存在用于3DV视图的遮挡深度分量可被用在比特流种。
three_dv_format_repetition_period规定了3DV格式SEI消息的存留，并且可以规定画面序列号间隔(其中的另一3DV格式SEI具有相同的three_dv_format_id值)，或者规定编码后的视频序列的尾部存在于比特流中。所以，该语法指定当SEI有效时的时间范围。一个示例性实施方式包括使用POC(画面序列号)间隔。POC可以被理解为正被编码的帧的索引，其随着显示时间的增加而上升。three_dv_format_repetition_period的值应该被包括在0到16384的范围中。three_dv_format_repetitioni_period等于0规定3DV格式SEI消息仅应用于当前解码的画面。
three_dv_format_repetition_period等于1规定，在以下条件中的任意条件为真之前3DV格式SEI消息保持输出顺序：
-新的编码后的视频序列开始。
-当PicOrderCnt()大于PicOrderCnt(CurrPic)时，包括具有相同的three_dv_format_id值的3DV格式SEI消息的访问单元中的画面被输出。
three_dv_format_repetition_period等于0或等于1指示是否存在具有相同的three_dv_format_id值的另一3DV格式SEI消息。three_dv_format_repetition_period大于1规定，在以下条件中的任意条件为真之前，3DV格式SEI消息保持不变：
-新的编码后的视频序列开始。
-当PicOrderCnt()大于PicOrderCnt(CurrPic)并且小于或者等于PicOrderCnt(CurrPic)+three_dv_format_repetition_period时，包括具有相同的three_dv_format_id值的3DV格式SEI消息的访问单元中的画面被输出。
three_dv_format_repetition_period大于1指示针对所输出的访问单元中的画面存在具有相同的three_dv_format_id值的另一3DV格式SEI消息，除非在没有这样的画面输出的情况下比特流结束或者新的编码后的视频序列开始。其中该访问单元是具有大于PicOrderCnt()并且小于或等于PicOrderCnt(CurrPic)+three_dv_format_repetition_period的输出端。
additional_extension_flag等于0指示在3DV格式SEI消息中随后没有额外的数据。additional_extension_flag的值应该等于0。additional_extension_flag的值1被保留以供ITU-T和ISO/IEC将来使用。遵循H.264标准的解码器将忽略空间交织后的画面SEI消息中的值为1的addtional_extension_flag后的所有数据。
下面给出了三个示例。
示例1：图8是示出对MVC结构中的MVD格式进行编码的示例1000的示意图。本示例中存在两个3DV视图。左侧视图的3dv_view_id为0，右侧视图的3dv_view_id为1。左侧视图被当作基本视图，其可以被AVC兼容的解码器解码。左侧视图1010的view_id为1。左侧深度1005、右侧视图1015、以及右侧深度1020的view_id分别为0、2、和3。表2示出了与实施例1的示例1相对应的用于MVC的3DVSEI消息的MVD示例。
表2
注意，图8中所示的视图依赖信息被通过用于H.264附件H的SPS扩展(也被称为H.264的MVC扩展或者简称为MVC扩展)用信号指示。
示例2：图9是示出对MVC结构中的LDV格式进行编码的示例1100的示意图。该示例中只存在一个3DV视图。2D视图被当作基本视图，其可以被AVC兼容的解码器解码。2D视图1110的view_id为1。深度贴图1105、遮挡视频1115、以及遮挡深度贴图1120的view_id分别为0、2、和3。表3示出了与实施例1中的示例2相对应的用于MVC的3DVSEI消息的LDV示例。
表3
示例3：图10是示出对MVC结构中的DES格式进行编码的示例1200的示意图。在该示例中存在两个3DV视图。来自左侧的2D视图被当作基本视图，其可以被AVC兼容的解码器解码。来自左侧的2D视图1220的view_id为3。来自左侧的深度贴图1215、遮挡视频1210、以及遮挡深度贴图1205的view_id分别为2、1、和0。来自右侧的2D视图1225、深度贴图1230、遮挡视频1235、以及遮挡深度1240的view_id分别为4、5、6、以及7。表4示出了与实施例1的示例3相对应的用于MVC的3DVSEI消息的DES示例。
表4
注意，在以上三个示例中，除了3DV视图以外，只具有2D视频数据的一些其他视图也可以被交织在相同比特流中。解码器仍可以正确地从比特流中提取正确的3DV视图。额外的视图可以被用来例如增强接收器端的渲染质量。
图11是根据本原理的实施例的用于对3DV格式进行编码的示例性方法1300的流程图。图11针对实施例1，并且统一覆盖与其对应的示例1至示例3。在步骤1305，对语法元素three_dv_format_id进行编码。在步骤1310，对语法元素three_dv_format_cancel_flag进行编码。在步骤1315，确定three_dv_format_cancel_flag是否等于0。如果是，则控制传递到步骤1385。如果不是，则控制传递到步骤1320。在步骤1320，对语法元素num_three_dv_view_minus1进行编码。在步骤1325，对语法元素basic_three_dv_format_type_id进行编码。在步骤1330，对于3dv_view_id＝0，3dv_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，开始循环。在步骤1335，如果3dv_view_id！＝0，则对语法元素video_present_flag[3dv_view_id]进行编码；否则，假设语法元素3dv_view_id等于1。在步骤1340，如果video_present_flag[3dvview_id]＝＝1，则对语法元素video_id[3dv_view_id]进行编码。在步骤1345，对语法元素depth_present_flag[3dv_view_id]进行编码。在步骤1350，如果depth_present_flag[3dv_view_id]＝＝1，则对语法元素depth_id[3dv_view_id]进行编码。在步骤1355，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_video_present_flag[3dv_view_id]进行编码；否则，假设语法元素basic_three_dv_format_type_id等于0。在步骤1360，如果occlusion_video_present_flag[3dv_view_id]！＝0，则对语法元素occlusion_video_id[3dv_view_id]进行编码。在步骤1365，如果basic_three_dv_format＝＝1，则对语法元素occluson_depth_present_flag[3dv_view_id]进行编码；否则，假设语法元素basic_three_dv_format等于0。在步骤1370，如果occlusion_depth_present_flag[3dv_view_id]！＝0，则对语法元素occlusion_depth_id[3dv_view_id]进行编码。在步骤1375，对于3dv_view_id＝0，3dv_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，结束循环。在步骤1380，对语法元素three_dv_format_repetition_period进行编码。在步骤1385，对语法元素additional_extension_flag进行编码。
图12是示出根据本原理的实施例的用于对3DV格式进行解码的示例性方法1400的流程图。图12针对实施例1，并且统一覆盖与其对应的示例1至示例3。在步骤1405，对语法元素three_dv_format_id进行解码。在步骤1410，对语法元素three_dv_format_cancel_flag进行解码。在步骤1415，确定three_dv_format_cancel_flag是否等于0。如果是，则控制传递到步骤1485。如果不是，则控制传递到步骤1420。在步骤1420，对语法元素num_three_dv_view_minus1进行解码。在步骤1425，对语法元素basic_three_dv_format_type_id进行解码。在步骤1430，对于3dv_view_id＝0，3dv_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，开始循环。在步骤1435，如果3dv_view_id！＝0，则对语法元素video_present_flag[3dv_view_id]进行解码；否则假设语法元素3dv_view_id等于1。在步骤1440，如果video_present_flag[3dvview_id]＝＝1，则对语法元素video_id[3dv_view_id]进行解码。在步骤1445，对语法元素depth_present_flag[3dv_view_id]进行解码。在步骤1450，如果depth_present_flag[3dv_view_id]＝＝1，则对语法元素depth_id[3dv_view_id]进行编码。在步骤1455，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_video_present_flag[3dv_view_id]进行解码；否则，假设语法元素basic_three_dv_format_type_id等于0。在步骤1460，如果occlusion_video_present_flag[3dv_view_id]！＝0，则对语法元素occlusion_video_id[3dv_view_id]进行解码。在步骤1465，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_depth_present_flag[3dv_view_id]进行解码；否则，假设语法元素basic_three_dv_format_type_id等于0。在步骤1470，如果occlusion_depth_present_flag[3dv_view_id]！＝0，则对语法元素occlusion_depth_id[3dv_view_id]进行解码。在步骤1475，对于3dv_view_id＝0，3dv_view_id＜＝num_three_dv_view_minu1，以及3dv_view_id++，结束循环。在步骤1480，对语法元素three_dv_format_repetition_period进行解码。在步骤1485，对语法元素additional_extension_flag进行解码。
实施例2：用于MVC的简化后的3DV格式SEI消息
注意，在另一实施例中，期望以隐含方式将view_id映射到3dv_view_id，并且语法可以相对于实施例1被简化。表5示出了用于MVC的简化后的3DV格式SEI消息。
表5
利用简化后的SEI消息，view_id被以下面的隐含方式映射到3dv_view_id。当basic_3dv_format_id为0时，如表6中所示，上升顺序的view_id被映射到3dv_view_id。当basic_3dv_format_id为1时，如表7中所示，上升顺序的view_id被映射到3dv_view_id。
表6
按照上升次序分类的view_id 3dv_view_id
view_id(0) 3dv_view_id＝0，2D视图
view_id(1) 3dv_view_id＝0，深度贴图
view_id(2) 3dv_view_id＝1，2D视图
view_id(3) 3dv_view_id＝1，深度贴图
… …
… …
表7
示例1：
图13是示出对MVC结构中的MVD格式进行编码的另一示例1500的示意图。其中在MVC结构中使用了表6的从view_id到3dv_view_id的映射。框1505、1510、1515、以及1520中分别示出的数字V0、V1、V2、以及V3代表该框的相应view_id。每个框的相应3dv_view_id分别被指示在每个框下面。箭头从参考视图指向将要预测的视图。框1505指示左侧视图的2D视频。框1510指示左侧视图的深度。框1515指示右侧视图的2D视频。框1520指示右侧视图的深度。
示例2：
图14是示出对MVC结构中的LDV格式进行编码的另一示例1600的示意图。其中，在MVC结构中使用了表7的从view_id到3dv_view_id的映射。框1605、1610、1615、以及1620中分别示出的数字V0、V1、V2、以及V3代表该框的相应view_id。每个框下面是在3DV背景下该框的角色的指示。箭头从参考视图指向将要预测的视图。框1605指示2D视频。框1610指示相应深度。框1615指示相应遮挡视频。框1620指示相应遮挡深度。
示例3：
图15是示出对MVC结构中的DES格式进行编码的另一示例1700的示意图。其中，在MVC结构中，使用了表7的从view_id到3dv_view_id的映射。框1705、1710、1715、1720、1725、1730、1735、以及1740中分别示出的数字V0、V1、V2、V3、V4、V5、V6、以及V7代表该框的相应view_id。每个框下面是3DV背景中该框的角色的指示。箭头从参考视图指向将要预测的视图。框1705指示左侧视图的2D视频。框1710指示左侧视图的相应深度。框1715指示左侧视图的相应遮挡视频。框1720指示左侧视图的相应遮挡深度。框1725指示右侧视图的2D视频。框1730指示右侧视图的相应深度。框1735指示右侧视图的相应遮挡视频。框1740指示右侧视图的相应遮挡深度。
图16是示出根据本原理的实施例的用于对3DV格式进行编码的示例性方法800的流程图。图16针对实施例2，并且统一覆盖与其对应的示例1至示例3。在步骤1805，对语法元素three_dv_format_id进行编码。在步骤1810，对语法元素three_dv_format_cancel_flag进行编码。在步骤1815，确定three_dv_format_cancel_flag是否等于0。如果是，则控制传递到步骤1835。如果不是，则控制传递到步骤1820。在步骤1820，对语法元素num_three_dv_view_minus1进行编码。在步骤1825，对语法元素basic_three_dv_format_type_id进行编码。在步骤1830，对语法元素three_dv_format_repetition_period进行编码。在步骤1835，对语法元素additional_extension_flag进行编码。
图17是示出根据本原理的实施例的用于对3DV格式进行解码的示例性方法1900的流程图。图17针对实施例2，并且统一覆盖与其对应的示例1至示例3。在步骤1905，对语法元素three_dv_format_id进行解码。在步骤1910，对语法元素three_dv_format_cancle_flag进行解码。在步骤1915，确定three_dv_format_cancle_flag是否等于0。如果是，则控制传递到步骤1935。如果不是，则控制传递到1920。在步骤1920，对语法元素num_three_dv_view_minus1进行解码。在步骤1925，对语法元素basic_three_dv_format_type进行解码。在步骤1930，对语法元素three_dv_format_repetition_period进行解码。在步骤1935，对语法元素additonal_extension_flag进行解码。
实施例3：用于SVC的3DV格式SEI
作为AVC的另一个扩展，SVC支持分层编码结构，以在时域、空间域、或者质量域中提供可缩放性。在该实施例中，我们提出用于SVC的3DV格式SEI消息，以用信号指示3DV格式，如表8中所示。使用SVC的好处之一是可以利用层间预测(cross-layer)来去除分量间冗余(例如，视频中的运动和深度贴图中的运动之间的冗余)。
表8
video_present_flag[3dv_view_id]指示是否存在针对当前的3D视图的2D视图分量。值为1指示存在2D视图分量。值为0指示不存在2D视图分量。
video_dependency_id[3dv_view_id]、video_quality_id[3dv_view_id]、以及video_temporal_id[3dv_view_id]分别指示来自具有特定的3dv_view_id的3DV视图的2D视图分量序列的dependency_id、quality_id、以及temporal_id。在H.264附件G中规定了dependency_id、quality_id、以及temporal_id的各个定义。
depth_present_flag[3dv_view_id]指示是否存在针对当前的3D视图的深度贴图分量。值为1指示存在深度贴图分量。值为0指示不存在深度贴图分量。
depth_dependency_id[3dv_view_id]、depth_quality_id[3dv_view_id]、以及depth_temporal_id[3dv_iew_id]分别指示来自具有特定的3dv_view_id的3DV视图的dependency_id、quality_id、以及temporal_id。在H.264附件G中规定了dependency_id、quality_id、以及temporal_id的各个定义。
occlusion_video_present_flag[3dv_view_id]指示是否存在针对当前3D视图的遮挡视频分量。值为1指示存在遮挡视频分量。值为0指示不存在遮挡视频分量。
occlusion_video_dependency_id[3dv_view_id]、occlusion_video_quality_id[3dv_view_id]、以及occlusion_video_temporal_id[3dv_view_id]分别指示来自具有特定的3dv_view_id的3DV视图的遮挡视图分量序列的dependency_id、quality_id、以及temporal_id。H.264附件G中规定了dependency_id、quality_id、以及temporal_id的各个定义。
occlusion_depth_present_flag[3dv_view_id]指示是否存在针对当前3D视图的遮挡深度分量。值为1指示存在遮挡深度分量。值为0指示不存在遮挡深度分量。
occlusion_depth_dependency_id[3dv_view_id]、occlusion_depth_quality_id[3dv_view_id]、以及occlusion_depth_temporal_id[3dv_view_id]分别指示来自具有特定的3dv_view_id的3DV视图的遮挡深度贴图分量序列的dependency_id、quality_id、以及temporal_id。在H.264附件G中规定了dependency_id、quality_id、以及temporal_id的各个定义。
应该明白，实施例1中列出的所有三个示例(涉及图8至图10)被映射到SVC架构。例如，LDV格式可以被实现在图18中的SVC中，其对应于实施例1中的图9。框2005、2010、2015、和2020中分别示出的数字L3、L2、L1、和L0代表该框的相应dependency_id。这些框的左侧是3DV背景下的角色的指示。箭头从参考层指向将要预测的层。框2020指示2D视频。框2015指示相应深度。框2010指示相应遮挡视频。框2005指示相应遮挡深度。
表9示出了根据本原理的实施例的用于SVC的3DV格式SEI消息的示例。
表9
图19是示出根据本原理的实施例的用于对3DV格式进行编码的示例性方法2100的流程图。在步骤2105，对语法元素three_dv_format_id进行编码。在步骤2110，对语法元素three_dv_format_cancel_flag进行编码。在步骤2115，确定three_dv_format_cancle_flag是否等于0。如果是，则控制传递到步骤2185。如果不是，则控制传递到步骤2120。在步骤2120，对语法元素num_three_dv_view_minus1进行编码。在步骤2125，对语法元素basic_three_dv_format_type_id进行编码。在步骤2130，对于3dv_view_id＝0，3DV_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，开始循环。在步骤2135，如果3dv_view_id！＝0，则对语法元素video_present_flag[3dv_view_id]进行编码；否则，假设语法元素3dv_view_id等于1。在步骤2140，如果video_present_flag[3dv_view_id]＝＝1，则对语法元素video_dependency_id[3dv_view_id]、video_quality_id[3dv_view_id]、以及video_temporal_id[3dv_view_id]进行编码。在步骤2145，对语法元素depth_present_flag[3dv_view_id]进行编码。在步骤2150，如果depth_present_flag[3dv_view_id]＝＝1，则对语法元素depth_dependency_id[3dv_view_id]、depth_quality_id[3dv_view_id]、以及depth_temporal_id[3dv_view_id]进行编码。在步骤2155，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_video_present_flag[3dv_view_id]进行编码；否则，假设语法元素basic_three_dv_format_type_id等于0。在步骤2160，如果occlusion_video_present_flag[3dv_view_id]＝＝1，则对语法元素occlusion_video_dependency_id[3dv_view_id]、occlusion_video_quality_id[3dv_view_id]、以及occlusion_video_temporal_id[3dv_view_id]进行编码。在步骤2165，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_depth_present_flag[3dv_view_id]进行编码；否则，假设语法元素occlusion_depth_present_fiag[3dv_view_id]等于0。在步骤2170，如果occlusion_depth_present_fiag[3dv_view_id]＝＝1，则对语法元素occlusion_depth_dependency_id[3d_view_id]、occlusion_depth_quality_id[3dv_view_id]、以及occlusion_depth_temporal_id[3dv_view_id]进行编码。在步骤2175，对于3dv_view_id＝0，3dv_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，结束循环。在步骤2180，对语法元素three_dv_format_repetition_period进行编码。在步骤2185，对语法元素additional_extension_flag进行编码。
图20是示出根据本原理的实施例的用于对3DV格式进行解码的示例性方法2200的流程图。图20针对实施例3。在步骤2205，对语法元素three_dv_format_id进行解码。在步骤2210，对语法元素three_dv_format_cancel_flag进行解码。在步骤2215，确定three_dv_format_cancle_flag是否等于0。如果是，则控制传递到步骤2285。如果不是，则控制传递到步骤2120。在步骤2220，对语法元素num_three_dv_view_minus1进行解码。在步骤2225，对语法元素basic_three_dv_format_type_id进行解码。在步骤2230，针对3dv_view_id＝0，3DV_view_id＜＝num_three_dv_view_minus1，以及3dv_view_id++，开始循环。在步骤2235，如果3dv_view_id！＝0，则对语法元素video_present_flag[3dv_view_id]进行解码；否则，假设语法元素3dv_view_id等于1。在步骤2240，如果video_present_flag[3dv_view_id]＝＝1，则对语法元素video_dependency_id[3dv_view_id]、video_quality_id[3dv_view_id]、以及video_temporal_id[3dv_view_id]进行解码。在步骤2245，对语法元素depth_present_flag[3dv_view_id]进行解码。在步骤2250，如果depth_present_flag[3dv_view_id]＝＝1，则对语法元素depth_dependency_id[3dv_view_id]、depth_quality_id[3dv_view_id]、以及depth_temporal_id[3dv_view_id]进行解码。在步骤2255，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_video_present_flag[3dv_view_id]进行解码；否则假设语法元素basic_three_dv_format_type_id等于0。在步骤2260，如果occlusion_video_present_flag[3dv_view_id]＝＝1，则对语法元素occlusion_video_dependency_id[3dv_view_id]、occlusion_video_quality_id[3dv_view_id]、以及occlusion_video_temporal_id[3dv_view_id]进行解码。在步骤2265，如果basic_three_dv_format_type_id＝＝1，则对语法元素occlusion_depth_present_flag[3dv_view_id]进行解码，否则假设语法元素occlusion_depth_present_flag[3dv_view_id]等于0。在步骤2270，如果occlusion_depth_present_flag[3dv_view_id]＝＝1，则对语法元素occlusion_depth_dependency_id[3dv_view_id]、occlusion_depth_quality_id[3dv_view_id]、以及occlusion_depth_termporal_id[3dv_view_id]进行解码。在步骤2275，对于3dv_view_id＝0，3dv_view_id＜＝＝num_three_dv_view_minus1、以及3dv_view_id++，结束循环。在步骤2280，对语法元素three_dv_format_repetition_period进行解码。在步骤2285，对语法元素additional_extension_flag进行解码。
实施例4：用于SVC/MVC的3DV格式SEI
在先前的三个实施例中，每个3DV分量被独立地当作MVC中的视图或者SVC中的层。在该实施例中，提出首先对一些3DV分量进行空间交织，然后将空间交织后的分量当作MVC中的视图或者SVC中的层。
在实施方式中存在很多不同的组合。在MVD再现格式中，一个示例是逐侧放置2D及其深度，然后将每个2D+Z图像序列当作MVC中的一个视图(或者SVC中的一层)。在另一示例中，两个2D图像首先被逐侧排列，然后两个深度贴图被逐侧排列。然后，我们将组合后的2D图像序列当作一个视图(或者一层)，并且将组合后的深度贴图当作另一个视图(或者另一层)。
应该明白，在这里提出的本原理的教导下，本领域以及相关领域的普通技术人员可以很容易地利用各种相应的实施方式将本原理扩展到LDV情况中。
空间交织可以是逐侧的、从上到下的(above-below)、棋盘格式的、行交织的、或者列交织的，等等。
先前的实施例的信令方法也可以被应用于或用于这些实施例。
图21是示出根据本原理的实施例的用于对3DV格式进行编码的示例性方法2300的流程图。图21针对实施例4。在步骤2305，针对一些3DV分量执行空间交织，该空间交织是例如逐侧的、从上到下的、棋盘格式的、行交织的、或者列交织的。在步骤2310，确定空间交织后的3DV分量是否将被当作MVC下的视图。如果是，则控制传递到步骤2315。如果不是，则控制传递到2320。在步骤2315，利用MVC编码器对交织后的“视图”进行编码。在步骤2320，确定空间交织后的3DV分量是否将被当作SVC下的视图。如果是，则控制传递到步骤块2325。如果不是，则控制传递到步骤2330。在步骤2325，利用SVC编码器对交织后的“层”进行编码。在步骤2330，为其他编码器预留处理。
图22是示出根据本原理的实施例的用于对3DV格式进行解码的示例性方法2400的流程图。图22针对实施例4。在步骤2405，确定空间交织的3DV分量是否将被当作MVC下的视图。如果是，则控制传递到步骤2410。如果不是，控制传递到步骤2415。在步骤2410，利用MVC解码器对交织后的“视图”进行解码。在步骤2415，确定空间交织后的3DV分量是否将被当作SVC下的视图。如果是，则控制传递到步骤2420。如果不是，控制传递到步骤2425。在步骤2420，利用SVC解码器对交织后的“层”进行解码。在步骤2425，为其他解码器预留处理。在步骤2430，对一些3DV分量执行空间解交织处理。空间解交织例如是逐侧的、从上到下的、棋盘格式的、行交织的、或者列交织的。
所以，我们提供了一种或多种具有特定特征和方面的实施方式。然而，所描述的实施方式的多个特征和方面也可以被用于其他实施方式。
另外，所描述的实施方式可以被以各种方式使用。例如，这些实施方式可以增大在各种所描述的实施方式的语法和语义中规定的3DV视图的数目和/或3DV格式类型的数目。另外，这些实施方式可以执行时间上的预测。例如，可以根据相同3DV分量(例如，图8中所示)、不同3DV分量(例如，在图10中，右侧3DV视图中的V4是根据左侧3DV视图中的V3预测出来的)、和/或不同时间点出现的不同3DV分量中的参考预测出3DV分量。例如，可以将来自先前出现的3DV视图的左侧深度图像作为参考预测出图8的左侧深度图像1005。
本申请中描述的一些实施方式和特征可以用在H.264/MPEG-4AVC(AVC)标准、或者具有MVC扩展的AVC标准、或者具有SVC扩展的AVC标准的背景中。但是，这些实施方式和特征也可以被用在另一标准(现有或者将来的标准)的背景中，或者被用在不包括标准的背景中。所以，我们提供了一种或多种具有特定特征和方面的实施方式。但是，所描述的实施方式的特征和方面可以被用于其他实施方式。
多种实施方式可以使用各种技术来用信号指示信息，这些技术包括但不限于SEI消息、条带头、其他高级语法、非高级语法、带外(out-of-band)信息、数据流数据、以及隐含信令。因此，尽管可以在特定背景下描述这里描述的实施方式，但是这些描述不应该被看作将特征和概念限制到这些实施方式或背景。
另外，可以在编码器、解码器、处理来自解码器的输出的后处理器、以及向编码器提供输入的前处理器中实现很多种实施方式。另外，本公开还想到了其他实施方式。
说明书中对于本原理的“一个实施例”、或者“实施例”、或者“一种实施方式”、或者“实施方式”及它们其他变型的引用是指结合实施例描述的特定特征、结构、特性等被包括在本原理的至少一个实施例中。所以，短语“在一个实施例中”、或者“在实施例中”、或者“在一种实施方式中”、或者“在实施方式中”、以及任何其他变型贯穿说明书在不同位置的出现不必全部指向同一实施例。
应该理解，例如在“A/B”、“A和/或B”、以及“A和B中的至少一个”的情况中对于“/”、“和/或”、以及“其中的至少一个”中任意一个的使用意指覆盖仅选择第一个列出的选项A、或者仅选择第二个列出的选项B、或者选择选项A和B二者。作为进一步的示例，在“A、B、和/或C”、“A、B、以及C中的至少一个”、以及“A、B、或C中的至少一个”的情况中，这种措词意指覆盖仅选择第一个列出的选项A、或者仅选择第二个列出的选项B、或者仅选择第三个列出的选项C、或者仅选择第一个和第二个列出的选项A和B、仅选择第一个和第三个列出的选项A和C、仅选择第二个和第三个列出的选项B和C、或者选择所有三个选项A、B、C。如本领域以及相关领域的普通技术人员显而易见的，这可以延伸到很多条目被列出的情况中。
另外，如这里所使用的，词“画面”和“图像”被交换使用，并且指来自视频序列的全部或部分静止图像或全部或部分画面。更一般地，画面是指例如人意一组图像或视频数据。画面还可以是例如像素、宏块、条带、帧、场、全画面、限制画面中的对象的区域、画面的前景、画面的背景、或者画面中的一个特定的坐标组(x，y)。类似地，画面的“部分”可以是例如像素、宏块、条带、帧、场、限制画面中的对象的区域、画面的前景、画面的背景、或者画面中的一个特定的坐标组(x，y)。作为另一示例，深度画面(深度贴图)可以是例如完整的深度贴图或者进包括例如相应的视频帧的单个宏块的深度信息的局部深度贴图。
另外，本申请或其权利要求可以指“确定”各种信息项。确定信息可以包括例如估计信息、计算信息、预测信息、或者从存储器检索信息中的一项或多项。
类似地，“访问”意指广播术语。访问一个信息项可以包括使用、存储、发送、接收、检索、修改、或者提供信息的任意操作。
这里描述的实现可以被实现为例如一种方法或者处理、装置、软件程序、数据流或者数据。即使只以一种形式的实现讨论(例如，只被作为一种方法讨论)，所讨论的特征的实现也可以被以其他形式实现(例如，装置或程序)。装置可以被实现在例如适当的硬件、软件、以及固件中。这些方法可以被实现在例如诸如处理器之类的装置中，其中处理器包括例如计算机、微处理器、集成电路、或者可编程逻辑设备等并被统称为处理设备。处理器还包括诸如例如计算机、蜂窝电话、便携式/个人数字助理(PDA)、以及方便中断用户之间的信息通信的其他设备。
这里描述的各种处理和特征的实现可以被包含在各种不同装备或应用中，尤其是可以被包含在例如与数据编码和解码相关联的装备或应用中。这种装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的前处理器、视频编码器、视频解码器、视频编解码器、web服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA、以及其他通信设备。应该明白，该装备可以是移动得，甚至被安装在移动车辆中。
另外，这些方法可以通过处理器所执行的指令来实现，并且这些指令(和/或通过实现产生的数据值)可以被存储在处理器可读介质上，处理器可读介质例如是集成电路、软件载体、或者诸如例如硬盘、压缩盘、随机存取存储器(RAM)或者只读存储器(ROM)之类的其他存储设备。这些指令可以形成可以有形地实现在处理器可读介质上的应用程序。这些指令可以在硬件、固件、软件、或者组合中。指令可以被建立在例如操作系统、独立应用、或者二者的组合中。处理器可以被特征化为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备中。另外，处理器可读介质除了可以存储只另外还可以存储由实现产生的数据值，或者可以存储由实现产生的数据值来替代指令。
对于本领域技术人员显而易见的是，实现可以产生被格式化为携带可以被例如存储或发送的信息的各种信号。该信息可以包括例如，用于执行一种方法的指令、或者由所描述的实现之一产生的数据。例如，信号可以被格式化为携带作为用于写入或读取所描述的实施例的语法的规则的数据、或者携带由所描述的实施例写入的实际的语法值的数据。这种信号可以被格式化为电磁波(例如，使用频谱的无线电频率部分)或者基带信号。格式化可以包括例如，对数据流进行编码并利用编码后的数据流对载波进行调制。信号携带的信息可以是例如模拟或数字信息。信号可以在已知的各种不同的优先或无线链路上发送。信号可以被存储在处理器可读介质上。
描述了大量实现。但是，将会理解可以做出各种变型。例如，不同实现的元素可以被结合、补充、修改、或者去除，以产生其他实现。另外，操作可以在功能块之间相互交换。另外，本领域普通技术人员将理解，其他结构和处理可以替代所公开的这些结构和处理，并且得到的实现将以至少基本相同的方式执行至少基本相同的功能，以实现至少与所公开的实现基本相同的结果。因此，这些其他实现可以被该应用预测，并且落入后面的权利要求的范围中。
类似地，应该明白，在以上描述的实现中，为了方便公开并且帮助理解各个方面的一个或多个方面，各种特征有时可以被组合在一个实现、附图、或者描述中。但是，本公开的方法不应该被解释为反映这样的意图：请求保护的发明需要比每个权利要求中清楚陈述的特征更多的特征。相反，如下面的权利要求所反映的，发明方面可以在于少于单个前面公开的实施例的所有特征。所以，应该理解，每个权利要求也提供单独的实现。

Claims (7)

1.一种方法，包括：
对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；
基于与所述图像有关的特定顺序将编码后的图像排列在比特流中；以及
使用信令信息来指示所述特定顺序。
2.一种方法，包括：
访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；
访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序与所述一组图像有关；以及
使用所述信令信息对所述一组图像进行解码。
3.一种处理器可读介质，其上存储有用于使处理器至少执行以下处理的指令：
对包括视频图像和与所述视频图像相对应的深度图像的一组图像进行编码，其中所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；
基于与所述图像有关的特定顺序将所述编码后的图像排列在比特流中；以及
使用信令信息指示所述特定顺序。
4.一种处理器可读介质，其上存储有使得处理器至少执行以下处理的指令：
访问包括编码后的一组图像的比特流，其中所述一组图像包括视频图像和与所述视频图像相对应的深度图像，所述一组图像以利用所述一组图像中的图像之间的冗余的方式被编码；
访问指示特定顺序的信令信息，其中所述编码后的一组图像以所述特定顺序排列在所述比特流中，所述特定顺序与所述一组图像有关；以及
使用所述信令信息对所述一组图像进行解码。
5.一种视频信号，该视频信号被格式化为包括信息，所述视频信号包括信令部分，所述信令部分包括指示特定顺序的信令信息，其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序与所述一组图像有关。
6.一种包括信令部分的视频信号结构，所述信令部分包括指示特定顺序的信令信息，其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序与所述一组图像有关。
7.一种处理器可读介质，其上存储有视频信号结构，所述视频信号结构包括信令部分，所述信令部分包括指示特定顺序的信令信息，其中编码后的一组图像以所述特定顺序排列在比特流中，所述特定顺序与所述一组图像有关。
CN201610096375.1A 2009-02-19 2010-02-19 视频编码和解码的装置 Active CN105657404B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US20801309P 2009-02-19 2009-02-19
US61/208,013 2009-02-19
CN201080008695.8A CN102326390B9 (zh) 2009-02-19 2010-02-19 3d视频格式

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080008695.8A Division CN102326390B9 (zh) 2009-02-19 2010-02-19 3d视频格式

Publications (2)

Publication Number Publication Date
CN105657404A true CN105657404A (zh) 2016-06-08
CN105657404B CN105657404B (zh) 2018-06-08

Family

ID=42269685

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610096654.8A Active CN105744284B (zh) 2009-02-19 2010-02-19 使用3d视频格式的装置
CN201610097222.9A Active CN105657405B (zh) 2009-02-19 2010-02-19 3d视频格式
CN201610096375.1A Active CN105657404B (zh) 2009-02-19 2010-02-19 视频编码和解码的装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610096654.8A Active CN105744284B (zh) 2009-02-19 2010-02-19 使用3d视频格式的装置
CN201610097222.9A Active CN105657405B (zh) 2009-02-19 2010-02-19 3d视频格式

Country Status (8)

Country Link
US (1) US12120326B2 (zh)
EP (1) EP2399394B1 (zh)
JP (2) JP6159507B2 (zh)
KR (2) KR101972962B1 (zh)
CN (3) CN105744284B (zh)
BR (1) BRPI1013339B1 (zh)
HK (1) HK1224496A1 (zh)
WO (1) WO2010096189A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189345A (zh) * 2018-03-30 2021-01-05 交互数字Vc控股公司 体积式视频格式的方法，装置和流

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744284B (zh) 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
US20120050475A1 (en) 2009-05-01 2012-03-01 Dong Tian Reference picture lists for 3dv
MX338309B (es) * 2010-09-03 2016-04-12 Sony Corp Dispositivo de codificacion, metodo de codificacion, dispositivo de descodificacion, y metodo de descodificacion.
US9883161B2 (en) 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
WO2012067399A2 (ko) * 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
CN107274475A (zh) * 2011-03-18 2017-10-20 索尼公司 图像处理设备、图像处理方法和计算机可读存储介质
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
WO2013014177A1 (en) * 2011-07-25 2013-01-31 Sony Corporation In-painting method for 3d stereoscopic views generation
US9635355B2 (en) * 2011-07-28 2017-04-25 Qualcomm Incorporated Multiview video coding
US9674525B2 (en) 2011-07-28 2017-06-06 Qualcomm Incorporated Multiview video coding
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
HRP20231385T1 (hr) 2011-09-22 2024-03-01 Lg Electronics Inc. Postupak i uređaj za signaliziranje slikovnih informacija, te postupak i uređaj za dekodiranje korištenjem istih
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP2015503281A (ja) * 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
EP2783509A4 (en) * 2011-11-25 2016-06-22 Thomson Licensing METHOD AND DEVICE FOR GENERATING A BITSTROM FROM A 3D MODEL COMPRESSION BASED ON THE RECOGNITION OF A REPEATED STRUCTURE
US10158873B2 (en) * 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US9258559B2 (en) 2011-12-20 2016-02-09 Qualcomm Incorporated Reference picture list construction for multi-view and three-dimensional video coding
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
KR101653319B1 (ko) * 2012-08-10 2016-09-01 엘지전자 주식회사 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치
US9554146B2 (en) 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
KR101664758B1 (ko) 2012-09-21 2016-10-10 노키아 테크놀로지스 오와이 비디오 코딩 방법 및 장치
US9479779B2 (en) * 2012-10-01 2016-10-25 Qualcomm Incorporated Sub-bitstream extraction for multiview, three-dimensional (3D) and scalable media bitstreams
US9648299B2 (en) 2013-01-04 2017-05-09 Qualcomm Incorporated Indication of presence of texture and depth views in tracks for multiview coding plus depth
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
WO2016153273A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
BR112018009070A8 (pt) * 2015-11-11 2019-02-26 Sony Corp aparelhos de codificação e de decodificação, e, métodos para codificação por um aparelho de codificação e para decodificação por um aparelho de decodificação.
WO2019098728A1 (ko) * 2017-11-16 2019-05-23 삼성전자 주식회사 3차원 영상을 처리하는 방법 및 장치
CN112513938A (zh) * 2018-08-06 2021-03-16 松下电器（美国）知识产权公司 三维数据保存方法、三维数据获得方法、三维数据保存装置以及三维数据获得装置
WO2020091404A1 (ko) * 2018-10-30 2020-05-07 엘지전자 주식회사 비디오 송신 방법, 비디오 전송 장치, 비디오 수신 방법 및 비디오 수신 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
US20090219282A1 (en) * 2008-02-29 2009-09-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
CN102326390B (zh) * 2009-02-19 2016-03-09 汤姆逊许可证公司 3d视频格式

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5193000A (en) 1991-08-28 1993-03-09 Stereographics Corporation Multiplexing technique for stereoscopic video system
US5689641A (en) 1993-10-01 1997-11-18 Vicor, Inc. Multimedia collaboration system arrangement for routing compressed AV signal through a participant site without decompressing the AV signal
US5748786A (en) 1994-09-21 1998-05-05 Ricoh Company, Ltd. Apparatus for compression using reversible embedded wavelets
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
DE19619598A1 (de) 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
US6075905A (en) 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6173087B1 (en) 1996-11-13 2001-01-09 Sarnoff Corporation Multi-view image registration with application to mosaicing and lens distortion correction
US6157396A (en) * 1999-02-16 2000-12-05 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
US6390980B1 (en) 1998-12-07 2002-05-21 Atl Ultrasound, Inc. Spatial compounding with ultrasonic doppler signal information
US6223183B1 (en) 1999-01-29 2001-04-24 International Business Machines Corporation System and method for describing views in space, time, frequency, and resolution
US7254265B2 (en) 2000-04-01 2007-08-07 Newsight Corporation Methods and systems for 2D/3D image conversion and optimization
DE10016074B4 (de) 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
CN1210645C (zh) 2000-09-18 2005-07-13 国际商业机器公司 管理计算机显示器上的视图的方法
KR100397511B1 (ko) 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
CN1295655C (zh) 2001-11-24 2007-01-17 Tdv技术公司 从2d图像序列生成立体图像序列
US7263240B2 (en) 2002-01-14 2007-08-28 Eastman Kodak Company Method, system, and software for improving signal quality using pyramidal decomposition
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
WO2003092305A1 (en) 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Image encodder, image decoder, record medium, and image recorder
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7724818B2 (en) 2003-04-30 2010-05-25 Nokia Corporation Method for coding sequences of pictures
US7489342B2 (en) 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US20040260827A1 (en) 2003-06-19 2004-12-23 Nokia Corporation Stream switching based on gradual decoder refresh
US7496234B2 (en) * 2003-06-20 2009-02-24 Microsoft Corporation System and method for seamless multiplexing of embedded bitstreams
KR100519776B1 (ko) 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
KR100587952B1 (ko) 2003-12-05 2006-06-08 한국전자통신연구원 좌우영상의 비대칭적 크기로의 축소에 의한 보상을 수행하는 영상 부호화/복호화 장치 및 그 방법
GB2412519B (en) 2004-03-23 2010-11-03 British Broadcasting Corp Monitoring system
JP4542447B2 (ja) 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
KR100679740B1 (ko) 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
RU2402811C2 (ru) 2004-07-29 2010-10-27 Майкрософт Корпорейшн Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений
WO2006041261A1 (en) 2004-10-16 2006-04-20 Electronics And Telecommunications Research Institute Method and system for encoding/decoding multi-view video based on layered-depth image
EP1667448A1 (en) 2004-12-02 2006-06-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals
US7728878B2 (en) 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US20060176318A1 (en) 2005-02-09 2006-08-10 Martin Virginia L Method for manipulating artwork to form decorative pieces
US8228994B2 (en) 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
KR100716999B1 (ko) 2005-06-03 2007-05-10 삼성전자주식회사 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
ES2557476T3 (es) 2005-06-23 2016-01-26 Koninklijke Philips N.V. Intercambio combinado de datos de imágenes y de datos de profundidad asociados
US7668366B2 (en) 2005-08-09 2010-02-23 Seiko Epson Corporation Mosaic image data processing
WO2007046957A1 (en) 2005-10-12 2007-04-26 Thomson Licensing Method and apparatus for using high-level syntax in scalable video encoding and decoding
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
JP2009521174A (ja) 2005-12-21 2009-05-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号化
US8457219B2 (en) 2005-12-30 2013-06-04 Ikanos Communications, Inc. Self-protection against non-stationary disturbances
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100943914B1 (ko) 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
WO2007096816A2 (en) 2006-02-27 2007-08-30 Koninklijke Philips Electronics N.V. Rendering an output image
US20070205367A1 (en) 2006-03-01 2007-09-06 General Electric Company Apparatus and method for hybrid computed tomography imaging
KR101245251B1 (ko) 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
JP2008034892A (ja) 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置
JP5213064B2 (ja) * 2006-03-29 2013-06-19 トムソン ライセンシング マルチビュービデオ符号化方法及びその装置
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
WO2008024345A1 (en) 2006-08-24 2008-02-28 Thomson Licensing Adaptive region-based flipping video coding
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
EP2103136B1 (en) 2006-12-21 2017-11-01 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
US8515194B2 (en) 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
EP2512135B1 (en) 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
JP4418827B2 (ja) 2007-05-16 2010-02-24 三菱電機株式会社 画像表示装置及び方法、並びに画像発生装置及び方法
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
EP2757788B1 (en) 2007-06-19 2020-03-11 Electronics and Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
US8471893B2 (en) 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8218855B2 (en) 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
WO2009077929A1 (en) * 2007-12-14 2009-06-25 Koninklijke Philips Electronics N.V. 3d mode selection mechanism for video playback
BRPI0822032A2 (pt) * 2007-12-20 2015-07-21 Koninkl Philips Electronics Nv Método de codificação de imagem que permite renderização estereoscópica, portador de dados, codificador de imagem, decodificador de imagem, e, produto de programa de computador
KR101506217B1 (ko) 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US20090219985A1 (en) 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
KR101506219B1 (ko) 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
WO2009131287A1 (en) * 2008-04-23 2009-10-29 Lg Electronics Inc. Method for encoding and decoding image of ftv
US20110135005A1 (en) 2008-07-20 2011-06-09 Dolby Laboratories Licensing Corporation Encoder Optimization of Stereoscopic Video Delivery Systems
BRPI0916367A2 (pt) * 2008-07-21 2018-05-29 Thompson Licensing dispositivo de codificação para sinais de vídeo em 3d
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
WO2010035193A1 (en) * 2008-09-25 2010-04-01 Koninklijke Philips Electronics N.V. Three dimensional image data processing
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
ES2563728T3 (es) * 2009-01-20 2016-03-16 Koninklijke Philips N.V. Transferencia de datos de imágenes 3D
WO2010084437A2 (en) * 2009-01-20 2010-07-29 Koninklijke Philips Electronics N.V. Transferring of 3d image data
US9036714B2 (en) * 2009-01-26 2015-05-19 Thomson Licensing Frame packing for video coding
WO2010108024A1 (en) * 2009-03-20 2010-09-23 Digimarc Coporation Improvements to 3d data representation, conveyance, and use
JP5813236B2 (ja) * 2011-09-16 2015-11-17 ドルビー ラボラトリーズ ライセンシング コーポレイション フレーム互換なフル解像度立体視３ｄ圧縮および復元

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
US20090219282A1 (en) * 2008-02-29 2009-09-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
CN102326390B (zh) * 2009-02-19 2016-03-09 汤姆逊许可证公司 3d视频格式

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PANDIT P ET AL: "《H.264/AVC extension for MVC using SEI message》", 《JOINT VIDEO TEAM OF ISO/IEC MEPG&ITU-T VCEG,NO.JVT-X061》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189345A (zh) * 2018-03-30 2021-01-05 交互数字Vc控股公司 体积式视频格式的方法，装置和流
CN112189345B (zh) * 2018-03-30 2023-02-21 交互数字Vc控股公司 用于编码或解码表示3d场景的数据的方法、设备或介质
US11647177B2 (en) 2018-03-30 2023-05-09 Interdigital Madison Patent Holdings, Sas Method, apparatus and stream for volumetric video format

Also Published As

Publication number Publication date
EP2399394B1 (en) 2020-09-30
WO2010096189A1 (en) 2010-08-26
CN102326390A (zh) 2012-01-18
JP6159849B2 (ja) 2017-07-05
CN105657404B (zh) 2018-06-08
CN105744284A (zh) 2016-07-06
KR20160107357A (ko) 2016-09-13
CN102326390B (zh) 2016-03-09
KR101940023B1 (ko) 2019-01-21
BRPI1013339A2 (pt) 2016-03-29
CN105744284B (zh) 2019-04-19
JP2016213842A (ja) 2016-12-15
HK1224496A1 (zh) 2017-08-18
KR101972962B1 (ko) 2019-04-26
JP2012518367A (ja) 2012-08-09
CN105657405A (zh) 2016-06-08
EP2399394A1 (en) 2011-12-28
JP6159507B2 (ja) 2017-07-05
US12120326B2 (en) 2024-10-15
BRPI1013339B1 (pt) 2021-09-21
KR20110116239A (ko) 2011-10-25
CN105657405B (zh) 2018-06-26
US20110298895A1 (en) 2011-12-08

Similar Documents

Publication Publication Date Title
CN105657404A (zh) 3d视频格式
EP2329653B1 (en) Refined depth map
CN102017632B (zh) 虚拟基准视图
CN104717521B (zh) 用于视频解码的方法
CN102577375A (zh) 用于三维视频的层间依赖性信息
WO2009131688A2 (en) Inter-view skip modes with depth
CN102326390B9 (zh) 3d视频格式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1224863

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: France's Nigeria - Billancourt City

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190308

Address after: Paris France

Patentee after: Interactive Digital Madison Patent Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190308

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING