CN104380743A - 用于立体显示器和自动立体显示器的深度图传送格式 - Google Patents

用于立体显示器和自动立体显示器的深度图传送格式 Download PDF

Info

Publication number
CN104380743A
CN104380743A CN201380031244.XA CN201380031244A CN104380743A CN 104380743 A CN104380743 A CN 104380743A CN 201380031244 A CN201380031244 A CN 201380031244A CN 104380743 A CN104380743 A CN 104380743A
Authority
CN
China
Prior art keywords
data
picture
view
depth map
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380031244.XA
Other languages
English (en)
Other versions
CN104380743B (zh
Inventor
戈皮·拉克希米纳拉亚南
萨米尔·胡利亚尔卡尔
陈涛
克拉斯·海因里希·许伊尔
阿米特·古拉蒂
哈里哈兰·加纳帕蒂
菲利普·克雷策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Dolby Laboratories Licensing Corp
Original Assignee
Dolby International AB
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB, Dolby Laboratories Licensing Corp filed Critical Dolby International AB
Publication of CN104380743A publication Critical patent/CN104380743A/zh
Application granted granted Critical
Publication of CN104380743B publication Critical patent/CN104380743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

使用编码的基本层和一个或更多个编码的增强层对用于立体显示器和自动立体显示器的立体视频数据和相应的深度图数据进行编码。给定3D输入图片和相应的输入深度图数据，基于输入图片生成并排图片和上下图片。使用编码器，对并排图片进行编码以生成编码基本层。使用该编码器和纹理参考处理单元(RPU)，对上下图片进行编码以生成第一增强层，其中基于基本层流对第一增强层进行编码，并且使用该编码器和深度图RPU，对并排图片的深度数据进行编码以生成第二增强层，其中基于基本层对第二增强层进行编码。还给出了替选的单层深、双层和多层深度图传送系统。

Description

用于立体显示器和自动立体显示器的深度图传送格式
相关申请的交叉引用
本申请要求以下美国临时专利申请的优先权：于2012年6月14日提交的美国临时专利申请No.61/659,588；于2012年10月10日提交的美国临时专利申请No.61/712,131；于2012年12月20日提交的美国临时专利申请No.61/739,886；于2013年2月21日提交的美国临时专利申请No.61/767,416；于2013年4月1日提交的美国临时专利申请No.61/807,013；于2013年4月2日提交的美国临时专利申请No.61/807,668；以及于2013年5月10日提交的美国临时专利申请No.61/822,060，其全部内容通过引用合并到本文中。
技术领域
本发明一般地涉及图像。更具体地，本发明的实施方式涉及用于立体显示器和自动立体显示器的深度图的传送的格式。
背景技术
3D视频系统获得无论在电影院还是在家中增强消费者体验的极大兴趣。这些系统使用立体或自动立体的呈现方法，包括：
(i)立体照片——通过经由二色滤光器(通常一只眼红色，另一只眼青色)对光进行滤光来提供左/右眼分离；
(ii)线性偏振——通过经由(通常)竖直取向的线性偏振器对左眼进行滤光并且经由水平取向的线性偏振器对右眼图像进行滤光，在投影仪处提供分离；
(iii)圆偏振——通过经由(通常)左手圆偏振器对左眼图像进行滤光并且经由右手圆偏振器对右眼图像进行滤光，在投影仪处提供分离；
(iv)快门眼镜——通过在时间上将左图像与右图像复用来提供分离，以及
(v)光谱分离——通过在光谱上对左眼和右眼进行滤光在投影仪处提供分离，其中，左眼和右眼各自接收红色、绿色和蓝色光谱的互补部分。
现今市场上可得到的大部分3D显示器是立体TV，其要求用户佩戴专用的3D眼镜以便体验3D效果。3D内容到这些显示器的传送仅要求携带两个分离的视图：左视图和右视图。出现了自动立体(无眼镜)显示器。这些显示器提供一定量的运动视差；观看者可以来回移动他/她的头，当他们来回移动时如同他们从不同的角度观看对象一样。
传统的立体显示器提供单个3D视图；然而，要求自动立体显示器基于显示器的设计来提供多个视图如5个视图、9个视图、28个视图等。当给自动立体显示器提供规则的立体内容时，显示器提取深度图，并且基于该深度图来创建或呈现多个视图。如本文中所使用的，术语“深度图”表示包括与场景对象的表面到视点的距离有关的信息的图像或其他比特流。可以容易地将深度图转换成视差图，并且在该文档的上下文中，术语深度图和视差图相同，并且可互换。
深度图也可以用于对具有不同分辨率的不同显示器类型(例如，1080p显示器或2K显示器)的3D体验进行重定向。大量研究表示出：为3D电影院设计的深度量不适于较小的移动装置，并且为较小的移动装置设计的深度量不适于3D电影院。另外，存在对3D深度量的观看者偏好，该观看者偏好可以取决于年龄(年轻人比老年人更喜欢较大的深度体验)，取决于文化(亚洲文化比西方文化更喜欢较高的深度)，或简单地取决于观看者。深度图信息可以用于重新呈现立体视图以增加或降低感知深度或其他调节。如发明人在此理解的，期望用于将深度图信息与内容一起传送的改进的技术提高使用自动立体显示器和立体显示器的用户体验。还应当理解的是，这些改进的技术优选地与现有的单视图和3D系统后向兼容。
本部分中所描述的方法是可以实行的方法，但并不一定是先前已经构思或实行的方法。因此，除非另外指出，否则不应当仅仅因为被包括在本部分中就假设本部分中所描述的任何方法是现有技术。相似地，除非另外指出，否则不应基于本部分而假设关于一种或更多种方法而确定的问题已经在任何现有技术中被意识到。
附图说明
在附图的图中通过示例但并非限制性方式示出了本发明的实施方式，在附图中相似的附图标记指代相似的元素，在附图中：
图1A和图1B描绘了3D视频的示例帧兼容全分辨率(FCFR)编码器和解码器；
图1C描绘了不具有深度数据的3D FCFR格式的简化表示；图1D示出了相应解码器的简化表示；
图2A描绘了根据本发明的实施方式的示例3层深度图传送格式，其中基本层包括并排3D信号；图2B描绘了可以由适当的解码器提取的相应比特流的示例；
图2C描绘了根据本发明的实施方式的示例3层深度图传送格式，其中基本层包括上下3D信号；
图3A描绘了根据本发明的实施方式的示例3层深度图传送格式；图3B描绘了可以由适当的解码器提取的相应比特流的示例；
图4A描绘了根据本发明的实施方式的示例3层深度图传送格式；图4B描述了可以由适当的解码器提取的相应比特流的示例；
图5描绘了根据本发明的实施方式的示例单层深度图传送格式；
图6描绘了根据本发明的实施方式的示例双层深度图传送格式；
图7A描绘了根据本发明的实施方式的示例2层深度图传送格式；图7B描绘了可以由适当的解码器提取的相应比特流的示例；
图8A描绘了根据本发明的实施方式的示例3层深度图传送格式；图8B描绘了可以由适当的解码器提取的相应比特流的示例；
图9A描绘了根据本发明的实施方式的示例3层深度图传送格式；图9B描绘了可以由适当的解码器提取的相应比特流的示例；
图10A描绘了根据本发明的实施方式的示例2层深度图传送格式；图10B描绘了可以由适当的解码器提取的相应比特流的示例；
图11A描绘了根据本发明的实施方式的示例2层深度图传送格式；图11B描绘了可以由适当的解码器提取的相应比特流的示例；
图12A和图12B描绘了根据本发明的实施方式的单层深度图传送格式的示例；
图13A描绘了根据本发明的实施方式的示例2层深度图传送格式；图13B描绘了可以由适当的解码器提取的相应比特流的示例；
图14描绘了根据本发明的实施方式的示例单层深度图传送格式；
图15A和图15B描绘了根据本发明的实施方式的示例单层深度图传送格式；
图15C描绘了根据本发明的实施方式的分割的深度图的复用的示例；
图16A至图16E描绘了根据本发明的实施方式的示例3层深度图传送格式。
图17A至图17B描绘了根据本发明的实施方式的示例2层深度图传送格式。
具体实施方式
在本文中描述立体显示器和自动立体显示器的深度图的传送格式。格式支持各种视频传送场景，包括传统的线缆、卫星或无线(over the air)广播和云上(over-the-top)传送。在一些实施方式中，格式使得传统的解码器能够提取后向兼容的2D或3D流，而较新的解码器能够呈现立体显示器或自动立体显示器的多个视图和相关联的深度图数据。在下面的描述中，出于说明的目的，阐述了大量具体的细节以便提供本发明的透彻理解。然而，明显的是，可以在没有这些具体的细节的情况下实践本发明。在其他实例中，为了避免不必要地模糊本发明，未彻底详细地描述公知的结构和装置。
概述
本文中所描述的示例实施方式涉及立体显示器和自动立体显示器的深度图信息的传送格式。给定3D输入图片和相应的输入深度图数据，基于该输入图片生成并排图片和上下图片。使用编码器，对并排图片进行编码以生成经编码的基本层。使用编码器和纹理参考处理单元(RPU)，对上下图片进行编码以生成第一增强层，其中部分地基于基本层流对第一增强层进行编码。使用编码器和深度图RPU(在下面表示为Z-RPU或RPUZ)，对并排图片的深度数据进行编码以生成第二增强层，其中部分地基于基本层对第二增强层进行编码。
在一些实施方式中，代替将深度图直接编码成基本层和增强层，编码器可以对残留深度图数据进行编码，残留深度数据包括输入深度图数据与由Z-RPU生成的估计深度图数据之间的差异。
在一些实施方式中，将深度图数据和视频数据编码成单个层，该单个层包括：第一视图的半分辨率数据，以及第二视图的半分辨率数据或第一视图的半分辨率数据的深度图数据。
在一些实施方式中，将深度图数据和视频数据编码成两个基本层。第一基本层包括第一视图的全分辨率数据，第二基本层包括第二视图的全分辨率数据或第一视图的全分辨率深度数据。
在一些实施方式中，将深度图数据和视频数据编码成三个层。基本层包括第一视图的半分辨率数据及其相应深度图数据。第一增强层包括上下图片，并且第二增强层包括第二视图的半分辨率数据及其相应深度图数据。
在一些实施方式中，将深度图数据和视频数据编码成两个层。基本层包括并排图片的亮度分量和色度分量。增强层的亮度分量包括上下图片的亮度分量，并且增强层的色度分量包括上下图片的深度图数据。
在一些实施方式中，填充并排图片和上下图片，使得它们的水平和竖直空间尺寸是预定义的宏块大小(例如，16)的整数倍。因此，经填充的数据包括原始的深度图数据的二次采样版本。
在一些实施方式中，也可以用深度图数据或残留深度图数据替换增强层中的色度像素值。
3D的示例FCFR格式
图1A描绘了不具有任何深度信息的3D视频数据的帧兼容全分辨率(FCFR)编码器的示例。该编码器根据于2011年9月29日提交的T.Chen等人的美国临时专利申请61/541,005“Dual-layer frame-compatiblefull-resolution stereoscopic 3D delivery(双层帧兼容全分辨率立体3D传送)”(并且于2012年9月26日作为PCT申请No.PCT/US2012/057302提交)中所描述的方法来操作，通过引用将其全部内容合并到本文中。
如图1A中所描绘的，对输入3D信号(105)的全分辨率(例如，1920×1080)左视图(105-1)和右视图(105-2)进行滤波，二次采样(水平地或竖直地)和复用以生成并排视图112和上下视图117。并排图片和上下图片包括输入的两个视图，但是每个视图具有较低的分辨率。例如，对于1920×1080输入，并排子图片(L，R)每个可以为960×1080，并且上下子图片(L’，R’)每个可以为1920×540。并排信号112被BL编码器120编码以生成编码基本层(BL)比特流122。BL编码器120可以是已知的视频编码器中的任何一种，如由ISO/IEC MPEG-2、MPEG-4部分2或H.264(AVC)标准指定的那些编码器，或其他编码器如谷歌的VP8、微软的VC-1、HEVC等。
上下信号117可以被第二编码器，增强层(EL)编码器130，编码以生成编码增强层(EL)流132。EL编码器可以以与BL编码器120相同的格式(例如，H.264)或以不同的格式进行编码。在一些实施方式中，EL编码器130可以使用来自上下信号117和并排信号112两者的参考帧对信号117进行编码。例如，BL编码器120、EL编码器130以及相关联的存储装置(未示出)可以包括由多视图编解码器(MVC)的ISO/IECH.264规范指定的多视图编解码器。
在一些实施方式中，图1A的编码器也可以包括参考处理单元(RPU)125。如本文中关于RPU所使用的，术语“参考”不意在暗示或表达且不应当被理解为表示该图片明确地用作完全编码处理中的参考(例如，从“参考图片”的意义上说)。RPU可以遵照下面两个依照专利合作条约(PCT)提交的专利申请公布中所阐述的描述，出于所有目的，通过引用将其合并到本文中，如同在本文中充分阐述一样：(1)Tourapis.A等人的WO2010/123909A1，“Directed Interpolation/Post-processing Methods forVideo Encoded Data(用于视频编码数据的定向内插/后处理方法)”；以及(2)Tourapis.A等人的WO 2011/005624A1，“Encoding and DecodingArchitecture for Frame Compatible 3D Video Delivery(用于帧兼容3D视频传送的编码和解码架构)”。除非另外相反指出，RPU的下面的描述应用于编码器的RPU和解码器的RPU两者。涉及视频编码的领域中的普通技术人员应当理解该差异，并且当阅读本公开内容时能够区分编码器专用、解码器专用和通用RPU描述、功能和处理。在如图1A中所描绘的3D视频编码系统的背景下，RPU(125)根据选择不同的RPU滤波器和处理的一组规则对来自BL编码器120的解码图像进行访问和内插。
RPU 125使得内插处理能够以区域等级自适应，其中根据该区域的特性内插图片/序列的每个区域。RPU 125可以使用水平、竖直或二维(2D)滤波器、边缘自适应或基于频率的区域相关滤波器和/或像素复制滤波器或用于内插和图像处理的其他方法或装置。
例如，一个像素复制滤波器可以简单地执行零阶保持，例如，内插图像中的每个样本可以等于低分辨率图像中的相邻样本的值。另一像素复制滤波器可以执行跨视图复制操作，例如，一个视图中的每个内插样本可以等于来自相对视图的非内插同位样本。
另外地或替代地，也可以在RPU中使用视差补偿复制方案。例如，滤波器可以复制其中可以使用视差矢量来指定要被复制的区域(其也可以是来自不同视图的区域)的位置的样本的非同位区域。可以使用整数或亚像素精度来指定视差矢量，并且可以包括简单的例如平移运动参数，或更复杂的运动模型如仿射或透视运动信息和/或其他。
编码器可以选择RPU滤波器并且输出区域处理信号，区域处理信号被作为输入数据提供至解码器RPU(例如，140)。信令(例如RPUL 127)基于每个区域指定滤波方法。例如，可以在RPUL相关数据报头中指定关于区域属性的参数如数量、大小、形状和其他特性。一些滤波器可以包括固定的滤波器系数，在这种情况下，不需要明确地由RPU用信号通知滤波器系数。其他滤波器模式可以包括显式模式，在显式模式下可以明确地用信号通知滤波器参数如系数值以及水平/竖直抽头的数量。
也可以每颜色分量地指定滤波器。RPU可以指定线性滤波器。也可以在RPU中指定非线性滤波器如边缘自适应滤波器、双边滤波器等。此外，也可以用信号通知指定先进的运动补偿方法的预测模型如仿射或透视运动模型。
RPU数据信令127可以被嵌入在编码比特流中或被分离地发送至解码器。可以用信号通知RPU数据以及被执行RPU处理的层。另外地或替代地，可以在一个RPU数据包内用信号通知所有层的RPU数据，该RPU数据包在嵌入层2编码数据之前或之后被嵌入在比特流中。对于给定的层，RPU数据的提供可以是可选的。在不可得到RPU数据的情况下，从而可以使用默认方案用于该层的上转换。同样地，增强层编码比特流的提供也是可选的。
实施方式允许最佳选择每个RPU中的滤波器和滤波区域的多个可能的方法。可以单独地或结合确定最佳RPU选择来使用多种标准。最佳RPU选择标准可以包括基本层比特流的解码质量、增强层比特流的解码质量、编码每个层包括RPU数据所需要的比特率、和/或数据的解码和RPU处理的复杂度。
可以与增强层中的后续处理无关地优化RPU。从而，可以确定RPU的最佳滤波器选择，使得受到其他约束如比特率和滤波器复杂度使所内插的基本层与原始的左眼和右眼图像之间的预测误差最小化。
RPU 125可以用作前处理级，该前处理级在将该信息用作EL编码器130中的增强层的潜在预测符(predictor)之前对来自BL编码器120的信息进行处理。如图1B中所描绘的，可以使用RPU层(RPUL)流127将关于RPU处理的信息发送(例如，作为元数据)至解码器。RPU处理可以包括多种图像处理操作，如：颜色空间变换、非线性量化、亮度和色度上采样、以及滤波。在典型的实现中，EL 132、BL 122和RPUL 127信号被复用成单个编码的比特流(未示出)。
图1B描绘了用于对由图1A中描绘的编码器编码的比特流进行解码的示例解码器。解码器将所接收的比特流复用以创建BL流122、EL流132和RPUL流127。具有单个BL解码器135的解码器可以自己对BL流122进行解码以生成解码的并排比特流137。解码器可以使用信号137来生成单个2D流(通过选择信号的左视图或右视图)或后向兼容的3D流。支持另外的EL解码器145的解码器也可以对上下流147进行解码，并且将其与BL流137组合以生成全分辨率3D流152。可以根据先前引用的美国临时专利申请61/541,005中所描述的方法来执行上下流和并排流的去复用和组合以创建全分辨率3D视频流。
BL解码器135(例如，MPEG-2或H.264解码器)对应于BL编码器120。EL解码器145(例如，MPEG-2或H.264解码器)对应于EL编码器130。解码器RPU 140对应于编码器RPU 125，并且在RPUL输入127的指导下可以通过执行与由编码器RPU 125执行的操作对应的操作来辅助EL层132的解码。
图1C描绘了由图1A中描绘的双层编码器编码的3D FCFR编码格式的简化表示。根据图1C的符号，编码BL信号包括并排信号112，并排信号112包括亮度(luminance)或亮度(luma)分量(112-Y)和相应的色度分量(112-UV)。例如，在一些实施方式中，BL信号112可以以4:2:0YUV格式编码。在一些其他实施方式中，其可以以4:2:0YCbCr格式编码。如图1C中所描绘的，输入信号的色度分量可以具有比亮度分量低的像素分辨率；然而，本文中所描述的所有方法应用于色度可以具有与亮度分量相同的分辨率的颜色格式(例如，4:4:4YCbCr或4:4:4YUV)。BL信号112可以使用图1A中描绘的编码器独立地被编码。可以部分地基于来自BL流112的参考数据使用RPUT 125对EL上下流117进行编码。EL流117包括其自己的亮度(117-Y)分量和色度(117-UV)分量。
给定由图1C中描绘的编码器表示所生成的编码比特流，图1D描绘了相应的接收器实施方式的简化表示。图1D也可以被视为图1B的简化版本。所先前所说明的，具有单个BL解码器135的传统解码器可以从该流提取传统的(例如，半分辨率)帧兼容(FC)3D流，而较新的解码器(例如，H.264MVC解码器或具有EL解码器145和RPU140的解码器)还可以提取增强层从而重建较高分辨率和质量的FCFR 3D流。出于符号目的，两个解码器之间如BL解码器135与EL解码器145之间的连接(例如，137)表示EL解码器可以例如通过解码器RPU 140(未示出)利用从基本层提取和后处理的帧作为参考帧。换言之，部分地基于来自BL流的数据来对编码EL流进行解码。
具有后向兼容层的3D的示例深度格式
图2A描绘了用于除了FCFR 3D数据之外还传送深度图数据的示例三层传送格式。如图2A中所指出的，前两个层BL 212和EL-1217对应于传统的3D FCFR层BL 112和EL 117。类似于3D FCFR编码，可以使用RPUT 225参照BL层212对EL-1层217编码。EL-2层219S表示被编码为主通道219S-A和次通道219S-B的深度图信息。深度图数据通常被编码为8位灰度数据；即，它们不包括任何色度信息。在EL-2219S中，ZL表示左视图(例如，105-1)的水平二次采样的深度数据，ZR表示右视图(例如，105-2)的水平二次采样的深度数据。由于在该实施方式中深度数据被二次采样，所以丢失的深度信息也可以合并到次深度通道219S-B中。例如，在一种实施方式中，给定左视图的原始的w x h深度图，在竖直二次采样之后，得到的w x h/2深度图可以被分成w/2x h/2深度图，表示为ZL’和ZL”。
可以使用第二EL编码器对EL-2219S独立地编码，或如图2A中所描绘的，可以通过参照从BL流212提取的深度数据使用RPUZ 230对其编码。
深度图RPU 230(也称作RPUZ或Z-RPU，因为其操作深度或Z缓存数据)与纹理RPU 225(或RPU 125)(也称作RPUT，因为其操作纹理数据)在操作和功能方面很类似，只是其具有从基线输入(例如，BL 212)提取(或预测)估计深度图数据的附加功能。可以使用本领域中的已知技术中的任何技术如以下技术从2D或3D数据提取深度图信息：DanielScharstein和Richard Szeliski的“High-Accuracy Stereo Depth MapsUsing Structured Light(使用结构光的高精确度立体深度图)”，发表于IEEE Computer Society Conference on Computer Vision and PatternRecognition，第1卷，第195至202页，2003年6月，通过引用将其全部内容合并到本文中。
在一些实施方式中，EL-2层219S可以携带下面的数据：不具有任何修改的原始深度图(例如，由相机拍摄的深度图)、或原始深度图与由RPUZ预测的深度图之间的差、或来自原始深度图的特定区域。类似于RPUT比特流(例如，127)，相同的格式也可以用于携带定义RPUZ处理所需的各种参数作为深度图的一部分或分离的RPUZ比特流的一部分。
给定图2A的深度图编码格式，依赖于接收器的能力，图2B描绘了大量替选的解码比特流。例如，具有单个解码器BL解码器250的接收器可以仅提取帧兼容(FC)3D流。具有BL解码器250和EL解码器1255(例如，MVC解码器)两者的接收器也可以对FCFR 3D流进行解码。具有第二EL解码器(265)和解码器RPUZ(未示出)的接收器也可以对深度图ZL和ZR进行解码。具有BL解码器250和仅EL解码器2(265)的接收器可以对FC 3D流以及深度图ZL和ZR进行解码。
如图2A中描绘的，基本层212包括并排复用的L/R编码数据(例如，112)，并且EL-1层包括上下L’/R’复用数据(例如，117)；然而，在本文中所讨论的深度图的所有传送格式中，使用基本层中的并排3D数据可与使用上下3D数据互换。因此，如图2C中所描绘的，在替选实施方式中，BL可以包括上下L’/R’信号217(例如，117)，EL-1可以包括并排L/R信号212(例如，112)，并且EL-2可以包括上下深度图数据ZL’/ZR’(219T)。可以针对说明书中描述的其他示例实施方式得出类似的实施方式。
图3A描绘了图2A中所描绘的深度图传送格式的变型。如图3A中描绘的，使用第二基本层BL-2319对深度图数据进行编码。为了提高编码效率，代替对原始深度数据ZL和ZR进行编码，编码器可以利用可选的RPUZ 330来创建估计深度图数据。
在一种实施方式中，RPUZ 330可以利用来自基本层312的信息得出预测深度数据ZEL和ZER。然后，BL-2的编码器可以对深度残留RZL＝ZL-ZEL和RZR＝ZR-ZER进行编码，而不是直接对ZL和ZR进行编码。类似的深度图残留编码可应用于说明书中所描述的所有示例实施方式。
给定根据图3A编码的深度图数据，依赖于接收器的能力，图3B描绘了替选解码场景。例如，具有单个解码器BL解码器1350的接收器可以对FC 3D流进行解码。具有第二BL解码器(BL解码器2360)的接收器可以对深度数据ZL和ZR或残留深度数据(RZL，RZR)进行解码。具有第二BL解码器360和解码器RPUZ的接收器可以使用BL流来重建估计深度数据(ZEL和ZER)，估计深度数据(ZEL和ZER)可以(例如，经由相加器365)被加到解码的残留深度数据(RZL，RZR)以生成输出深度数据ZL和ZR。注意，可以由解码器的RPUZ或由单独的处理电路实现另外的功能365。最后，具有BL解码器1350和EL解码器355的接收器可以使用来自BL比特流的比特流EL-1和参考数据来重建FCFR 3D流。
图4A描绘了使用复用的半分辨率3D数据和两个增强层针对左视图和右视图深度数据的深度图传送格式。在示例实施方式中，EL-1417携带L’和R’上下信号(117)的“上”半(L’)和ZL数据。EL-2419携带L’和R’上下信号(117)的“下”半和ZR数据。可以使用纹理和Z缓存RPU(425和430)来提高增强层的编码效率。RPUZ 425用于L’和R’数据的编码，而RPUZ 430用于ZL和ZR数据的编码。如以前，EL-1和EL-2色度通道(417-UV和419-UV)可以用于携带相应的L’或R’数据的色度数据(例如，L’u和L’v)或另外的深度数据(ZL’和ZL”)。
给定根据图4A编码的深度图数据，图4B描绘了替选解码场景。具有单个BL解码器450的接收器可以对FC 3D流进行解码。具有另外的EL解码器(455或460)以及RPUT和RPUZ(或类似的)功能的接收器也可以对全分辨率(FR)左视图流、半分辨率(HR)右视图流和左视图深度数据(ZL)进行解码，或者它们可以对FR右视图、HR左视图和右视图深度数据(ZR)进行解码。具有两个另外的EL解码器(455和460)的接收器也可以对来自两个视图的FCFR 3D流和深度数据进行解码。
图7A描绘了使用基本层712和增强层717传送深度图信息的双层方法的示例实施方式。BL层712传送两个视图(例如，并排图片)的半分辨率。EL层717传送它们相应深度图。编码器可以利用RPUZ(730)，使得从BL 712提取的深度图数据可以用作参考以对EL数据717进行编码。
在一些实施方式中，RPUZ 730可以全部一起被跳过，并且EL层717可以不参照基本层而独立地被编码为第二基本层。
在一些实施方式中，RPUZ 730可以利用来自基本层712的信息来提取估计深度数据ZEL和ZER。然后，增强层717可以代替地包括深度图残留值如RZL＝ZL-ZEL和RZR＝ZR-ZER，而不是包括原始的ZL和ZR深度数据。
给定图7A中所描绘的编码器格式，图7B描绘了替选解码实施方式。具有单个BL解码器735的接收器可以对FC 3D流进行解码。具有另外的EL解码器(745)的接收器也可以对相应的ZL和ZR深度图数据进行解码。
在另一实施方式中，可以使用上下L’/R’数据(例如，117)，而不是使用并排L/R数据(例如，112)作为BL层712。在这样的实施方式中，EL流717也将携带相应的上下深度图数据。
具有非后向兼容层的3D的示例深度格式
到目前为止所描述的大部分深度图数据传送格式使得传统接收器能够至少对后向兼容的半分辨率(FC)3D流进行解码。当不要求与单个解码器的后向兼容时，那么可以得到替选实施方式。
图5描绘了用于传送深度图的单层方法的示例。信号BL 512包括半分辨率左视图(L)及其相关联的深度图(ZL)。与ZL(512-UV)相关联的色度通道可以用于发送ZL的另外的分辨率数据。编码器也可以替换和发送半分辨率右视图数据(R)而不是左视图深度数据ZL。在解码器侧，具有单个BL解码器的视频解码器可以提取半分辨率左视图及其深度图或并排图片来生成FC 3D视频流。也可以发送包括关于每图片上的图片布置的信息的辅助数据(或元数据)。
可以在如下替选实施方式中使用相同的传送格式：其中在BL 512中可以由半分辨率右视图(R)或上下L’/R’信号(147)的上(L’)或上下L’/R’信号(147)的下(R’)代替半分辨率左视图(L)并且由相应深度图代替左视图深度图。
图6描绘了用于传送深度图信息的双层方法的示例实施方式。如图6中描绘的，BL-1层(612)和BL-2层(617)两者彼此独立地被编码。BL-1层612包括左视图(L)的全分辨率。BL-2617包括左视图深度图的全分辨率或右视图(R)的全分辨率。当层BL-2携带深度图数据ZL时，相应色度数据(617-UV)可以保留为空或携带其他元数据。
对该格式进行解码要求至少两个BL解码器：一个用于对左视图数据(L)进行解码，一个用于对左视图深度图数据或右视图数据进行解码。也可以发送包括关于基于每个图片的图片布置的信息的辅助数据(或元数据)。该格式使得具有一个解码器的接收器能够重建2D视频，并且使得具有两个解码器的接收器能够重建FCFR 3D或FC 3D视频。
在一些实施方式中，BL-1(612)可以携带右视图数据(R)，并且BL-2(617)可以携带右视图深度数据(ZR)或左视图数据(L)。
图8A描绘了使用基本层(BL)和两个增强层(EL-1和EL-2)的深度图传送格式。基本层812包括全分辨率左视图。EL-1层包括全分辨率右视图。可以使用传统的MVC编码器对层BL和EL-1编码或者也可以利用纹理RPU(未示出，例如RPU 125)。第二增强层EL-2819包括左视图和右视图两者的半分辨率深度图数据。EL-2层的色度分量(819-B)还可以包括另外的深度图数据以提高核心深度数据(819-A)的分辨率。RPUZ 830可以提供从输入全分辨率L和R图片提取的深度图预测数据，深度图预测数据可以用于提高EL-2流的编码效率。
给定图8A中所描绘的传送格式，图8B描绘了使用传统且兼容的解码器的替选解码场景。具有单个BL解码器850的接收器可以提取2D流。具有MVC解码器或具有EL-解码器855的解码器可以提取FCFR 3D流。具有另外的EL解码器860(或3-层MVC解码器)的接收器还可以提取左视图和右视图深度图数据。具有单个BL解码器850和EL解码器2的解码器可以提取2D流以及相应的深度数据。
图9A描绘了使用基本层912和两个增强层(917，919)的深度图传送的实施方式。基本层912包括半分辨率左视图(L)及其相应的深度图ZL。层EL-1包括L’/R’上下图片(例如，147图像)。当对EL-1917的L’进行时编码，RPUZ(925)可以用于通过基于BL 912的L分量生成适当的参考帧来提高编码效率。EL-2层919也包括半分辨率右视图(R)及其相应深度图数据ZR。当对EL-2919的R分量进行编码时，RPUT(925)可以用于基于EL-1917的R’分量生成适当的参考帧。可以由相同的RPU925或由不同的RPU执行RPUT 925A和925B的操作。如早前的实施方式中所讨论的，RPUZ 930可以从BL 912和EL-1917流提取L、L’和R’分量以提高EL-2919中的ZR数据的编码效率。在一种实施方式中，也可以切换BL层和EL-2层。
给定图9A中所描绘的传送格式，图9B描绘了接收器中的解码场景的示例。具有单个BL解码器950的接收器可以对半分辨率(HR)左视图和半分辨率ZL进行解码。具有另外的EL解码器1955的接收器也可以对L’/R’上下信号进行解码，从而，其可以重建全分辨率左视图(或FR右视图)以及半分辨率右视图(或HR左视图)；这两种信号可以用于重新创建3D视图。具有第二EL解码器(例如，960)的接收器也可以对半分辨率右视图R和半分辨率ZR进行解码，从而能够生成FCFR 3D信号。具有BL解码器950和仅第二EL解码器960的接收器可以对帧兼容3D信号以及深度数据进行解码。
图10A描绘了其中基本层BL 1012携带半分辨率左视图和半分辨率左视图深度图(ZL)并且增强层(1017)携带半分辨率右视图和半分辨率右视图深度图(ZR)的深度图传送格式。编码器可以使用标准的MVC编码器来对两个层进行编码，或者，其可以使用RPUT(未示出)(例如，RPU 125)。
关于接收器，如图10B中所描绘的，具有单个BL解码器1035的接收器可以对半分辨率左视图及其深度图进行解码。具有另外的EL解码器1045(例如，可以包括或不包括接收器RPU 140的MVC解码器)的接收器也可以对半分辨率右视图及其深度图进行解码。通过将这两个视图组合，接收器可以呈现半分辨率(或帧速率兼容的)3D信号。
在替选实施方式中，在图10A中，在EL流1017中，可以发送竖直半分辨率信号R’(例如，上下信号117的下)和竖直半分辨率ZR’，而不是发送水平半分辨率R信号和水平半分辨率ZR。解码器操作保持相同。
图11A描绘了使用两个层BL 1112和EL 1117的深度图数据传送的实施方式。基本层1112包括并排L/R图片(例如，112)的亮度和色度分量两者。EL 1117层包括两个数据组：(a)使用纹理RPU 1125(1117-Y)参照基本层并排信号编码的上下L’/R’信号(例如，117)的亮度的编码表示，以及(b)深度图数据，其被携带在为上下信号(L’/R’)(1117-UV)的色度分量保留的空间中。ZL和ZL’是原始左视图深度图的竖直四分之一分辨率和水平半分辨率。组合的ZL和ZL’表示原始左视图深度图的四分之一分辨率，例如水平和竖直方向上的半分辨率。关于解码器，可以使用来自并排图片(例如，1112-UV)的色度数据内插与上下图片(1117-Y)相关联的色度数据。
如图11B中描绘的，具有单个BL解码器1135的接收器可以对FC 3D信号进行解码。具有双层解码器的接收器也可以对上下L’/R’信号和深度图数据进行解码，从而能够重建两个视图的FCFR 3D信号和深度图数据。
图12A描绘了使用单个层的深度图传送格式的示例实施方式。层1205A包括全分辨率左视图和右视图(L和R)两者以及它们的相应全分辨率深度图数据(ZL和ZR)。在一些实施方式中，L和R视图可以被细分成较低分辨率的子图片以适应传统的显示器。例如，4K分辨率图片可以包括4个2K子图片，或者2K子图片可以携带4个四分之一分辨率图片。如图12A中所描绘的，色度通道1205-UV可以携带色度数据和另外的深度图数据(例如，Z’L和Z’R)。
如图12A中描绘的，可以将图像数据(例如，L或R)以及它们的相应深度数据(例如，ZL或ZR)竖直对准。在另一实施方式中，如图12B中描绘的，也可以将图像数据以及它们的相应深度数据水平对准。
图13A描绘了双层深度图传送格式的示例实施方式。该格式类似于图7中所描绘的格式，然而，代替携带半分辨率左视图和右视图，该方法在基本层(1305)和增强层(1325)两者中携带全分辨率数据。可以以二倍帧速率发送L和R图片。RPUZ 1330可以用于通过预测来自基本层的深度图数据并且将它们用作用于编码增强层的替选的参考帧，来提高增强层的编码效率。
一些实施方式可以跳过RPUZ 1330并且将深度图数据1325独立地编码为另一基本层。
在一些实施方式中，RPUZ 1330可以利用来自基本层1305的信息来提取估计深度数据ZEL和ZER。然后，增强层1325可以替代地包括深度图残留值如RZL＝ZL-ZEL和RZR＝ZR-ZER，而不是包括原始的ZL和ZR深度数据。
给定图13A中所描绘的传送格式，图13B描绘了替选接收器配置。具有单个BL解码器1335的接收器可以对全分辨率3D流进行解码。具有另外的EL解码器1345的接收器也可以对相应深度数据进行解码。
图14描绘了用于携带图片数据和深度图数据两者的单层传输格式的示例实施方式。例如，在帧或场景等级以交织方式发送图片数据和深度数据。可以以四倍于每个视图的帧速率的速度发送图片。基本层1305可以包括下面的层分量：全分辨率左视图1305-L、全分辨率左深度图1305-ZL、全分辨率右视图1305-R和全分辨率右深度图1305-ZR。一些实施方式可以决定选择性地跳过1305层的分量。例如，编码器可以发送视频帧的集合(例如，电影场景)的所有左视图和右视图(L+R)，但是仅在场景的开始处发送深度图数据。或者，编码器可以仅发送L+ZL或R+ZR数据。该格式下的另外的元数据可以向解码器指示层分量的次序。
不对称的空间复用
图15A描绘了根据实施方式的用于传送深度图的单层方法的示例。该方法类似于早前所描绘的单层或双层方法(例如，图5、图9A和图10A)，只是其使用不对称的空间复用；也就是说，在组合图片视图以及相关联的深度图(例如，1512)的复用图片中，图片视图(例如，左视图(L))及其相关联的深度图(例如，ZL)的分辨率具有不等的大小。
给定具有像素分辨率h x w(例如，h＝1080且w＝1920)的复用输入帧(例如，1512)，在一种实施方式中，二次采样的左视图(L)可以相比其相关联的深度图被分配更多的像素。从而，给定比例a，其中1＞a≥1/2，原始左视图图片可以被缩放(例如，二次采样)成大小h x aw，而深度图可以被缩放成大小h x(1-a)w。该方法可以产生比不对称的左视图和右视图图片(例如，当a＝1/2时)更高锐度的3D图片。
如早前所讨论的，可选地，也可以将另外的深度数据(例如，ZL’和ZL”)嵌入在编码的帧(例如，1512-UV)的相应色度分量中。
在一种实施方式中，可以通过使用编码比特流中的剪裁矩形和纵横比语法参数定义图片的有效区域(例如，h x aw)来实现后向兼容性，类似于在AVC/H.264或即将到来的HEVC视频编码标准中定义的。根据这样的实现，传统的3D接收器可以仅提取、解码和显示由这些参数定义的图片区域(例如，L)，并且忽略深度图信息(例如，ZL)。具有3D能力的接收器可以对整个图片进行解码，使用剪裁参数确定图片区域和深度图区域，然后使用深度图信息来呈现多个视图。3D接收器可以使用所接收的剪裁和纵横比参数根据需要对2D图片和深度进行缩放。也可以发送包括关于基于每个图片的图片布置的信息的辅助数据(或元数据)。
也可以在如下替选实施方式中使用相同的传送格式：其中在BL 1512中由亚分辨率右视图(R)或上下L’/R’信号(147)的上(L’)或上下L’/R’信号(147)的下(R’)的缩放的版本替换亚分辨率左视图(L)，并且由相应深度图替换左视图深度图。在一些实施方式中(例如，如图4A和图15B中所示)，不对称的空间复用也可以应用于竖直方向。在一些实施方式(未示出)中，不对称的空间复用可以用于水平方向和竖直方向两者。
在一种实施方式中，图15C描绘了基于分割的深度图的替选深度传送格式的示例。这种实施方式使得所发送的深度图的纵横比能够更密切地匹配所发送的图像视图的纵横比。作为示例，考虑输入1080×1920图像和如图15A中所描绘的不对称的复用格式，其中，非限制性地，a＝2/3。那么，在一种实施方式中，亮度信号1512-Y(或1512C-Y)可以包括以1080×1280分辨率缩放的一个视图(例如，左视图L)和以1080×640分辨率缩放的相应的深度图(例如，ZL)。在一些实施方式中，发送540×960深度图可能更有利，这更好匹配原始纵横比。这样的深度图可以被水平分割成两个连续的部分(例如，ZLA和ZLB)，如图15C中所描绘的，这可以通过彼此堆叠它们来复用。在此，在示例实施方式中，亮度信号1512C-YS可以包括两个复用的部分：以第一分辨率(例如，1080×1440)缩放的图像部分(例如，左视图L)以及被一起复用以形成深度图部分的两个或更多个深度图片段。在一个示例中，可以竖直地堆叠540×960输入深度图的两个深度图片段(例如，540×480ZLA和540×480ZLB)。
在一些实施方式中，深度图可以被分割成多于两个片段。在一些实施方式中，深度图可以跨竖直方向被分割。在一些实施方式中，深度图可以跨竖直方向和水平方向两者被分割。在一些实施方式中，深度图可以被分割成不等的片段。在一些实施方式中，可以水平地、竖直地或水平和竖直两者地堆叠片段。
在一些实施方式中，所分割的深度图中的一个或更多个可以在被存储为复用图像的一部分之前被水平或竖直地翻转。实验已示出这样的翻转减少编码复用图像(例如，1512C-YS)的纹理部分与深度部分之间的边界处的编码伪像。此外，在分割的深度图图像的中心处具有较少的编码伪像。
在示例实施方式中，使d[i，j]表示深度图的片段(例如，ZLB)的像素值。使Dw表示该片段的宽度。如果跨左竖直轴翻转该片段的像素值，那么对于第i行，可以将水平翻转的片段(d_hf[i，j])的像素值确定为：
对于(j＝0；j＜Dw；j++)
d_hf[i，j]＝d[i，Dw-j]。
接收具有分割的深度图(例如，1512C-YS)的图像的解码器可以使用元数据来正确地将所有解码深度图片段对准以重建原始深度图(例如，ZL)，从而重新生成正确的3D输出图像。任何翻转的深度图片段将需要在用于呈现最终输出之前被翻转回到它们原始取向。
在一些实施方式中，非对称空间复用和深度图分割也可以应用于包括输入图像的两个图像视图的深度传送格式(例如，图12A和图12B)。
替选的三层传送格式
图16A描述了根据基于三层传送格式的实施方式的发送3D视频和深度数据的另一示例。图16A可以被认为是图2A和图2C中所描绘的实施方式的变型。如图16A中所描绘的，前两个层BL 212和EL-1217对应于传统的3D FCFR层BL 112和EL 117。使用可以对应于RPUT 225和RPUZ 230的RPUT和可选的RPUZ(1620)基于来自BL 212的预测数据独立于EL-1217地对层EL-21610进行编码。在该示例中，相同的L’视频数据(或者R’数据)被编码在EL-1和EL-2层中。如图16B中所描绘的，在仅具有两个解码器(例如，BL解码器250和EL解码器1255)的接收器中，用户可以选择性地对BL和EL-1流进行解码以生成FCFR 3D流，或者对BL和EL-2流进行解码以生成适合于自动立体显示的FR流和深度数据(例如，FR L+ZL)。具有全部三个解码器的接收器可以生成FCFR 3D数据和ZL数据两者。
在一种实施方式中，可以消除1620的RPUZ处理。在EL-21610层的编码处理期间，编码器可以简单地使用恒定的平灰度值来预测ZL深度数据(例如，可以对于8位图片将预测符的所有像素值设置成等于128)。
图16C描绘了根据实施方式的用于传送3D视频和深度数据的另一示例。该实施方式类似于图16A中描绘的实施方式；然而，EL流均不携带任何色度数据。在一种实施方式中，EL-1(1630)和EL-2(1635)的所有色度信息被设置成固定值(例如，8位图片的128)。实验示出这对于视觉质量具有最小的影响，同时提供总的比特率的显著节省。仍可以基于BL流(212-UV)的色度数据重建色度数据。为了正确解码，编码器RPU可能需要通知解码器(例如，通过RPU信令或其他元数据)忽视EL-1或EL-2流中的任何解码色度数据。
图16D描绘了图16A的另一示例变型，其中EL-2信号1640中携带ZL和ZR数据两者，但每个具有降低的竖直和水平分辨率。如图16E中所示，具有两个解码器的接收器现在可以使用自动立体3D应用的左深度数据和右深度数据对FCFR 3D信号或FC 3D信号进行解码。
使用深度图数据的替选两层FCFR传送格式
图17A描绘了根据基于两层传送格式的实施方式的发送3D视频和深度数据的另一示例。在很多压缩标准如H.264中，视频序列中的编码图片的大小为预定义的宏块大小(例如，16×16)的整数倍。如果不是这种情况，那么在图片的底部和/或侧部添加额外的像素以相应地修改图片大小。作为示例，考虑具有大小1920×1080的HD信号的编码。1920是16的倍数；而1080不是16的倍数。在示例实施方式中，这样的流的每个图片可以由8个额外的行填充来形成1920×1088图片。在一种实施方式中，如图17A中所示，该填充(例如，1710和1715)可以用于发送深度数据。
在一种实施方式中，如图17A中所描绘的，基本层(BL)包括两部分：并排(例如，1920×1080)复用的图片(112)和左视图或右视图的深度数据的二次采样版本(例如，1920×8ZL’1710)。由于深度数据不具有色度信息，在一种实施方式中，BL信号(1735)的额外的填充行的色度相关数据可以简单地被设置成恒定值(例如，128)。
在一种实施方式中，可以如下被创建信号ZL’1710。使ZL表示高分辨率左视图深度数据信号(例如，960×540)。该信号可以被水平和竖直两者地滤波和二次采样以生成可以适合于填充数据的分辨率(例如，1920×8)的二次采样的版本。例如，给定960×540信号，可以生成240×60信号ZL’。然后，可以使用任何适当的打包方案将240*60＝14,400ZL’字节打包成1920*8＝15,360字节的可用空间。
在一种实施方式中，如图17A中描绘的，增强层(EL)包括上下数据亮度数据(117-Y)、较低分辨率左视图或右视图深度数据(例如，ZR’1715)和高分辨率左视图和右视图深度数据(1745-U和1745-V)。例如，在亮度信号中，ZR’1715可以包括被打包成1920×8填充区域的原始ZR深度数据的240×60二次采样版本。对于色度(1745)，可以发送高分辨率ZR和ZL深度数据而不是发送上下信号(117)的色度。在一种实施方式中，可以发送ZR和ZL(ZR-e、ZL-e 1745-U)的偶数列而不是发送U(或Cb)色度数据，可以发送ZR和ZL(ZR-o、ZL-o 1745-V)的奇数列而不是发送117的V(或Cr)数据。如在BL中，ZR’数据1715不具有色度信息，因此它们的相应色度数据(1740)可以被设置成固定值(例如，128)。
因为中间层预测要求和对宏块进行编码和解码的顺序属性，实际上，在时间t编码的帧的至少深度数据ZR’(1715)可以实际上表示先前，假设时间t-1或更早处，编码的帧的深度数据。为了RPUZ 1730能够完全重建对增强层(1765)中的ZL和ZR进行编码(或解码)所需要的所有深度数据(例如，ZR’)，该延迟可能是必要的。例如，在编码期间，在时间T0处，EL(T0)帧可以包括虚拟(dummy)ZR’数据(例如，设置所有值等于128)。那么，EL(T1)帧可以包括T0帧的深度数据，EL(T2)帧可以包括T1帧的深度数据，等等。在解码期间，将忽略第一解码帧的虚拟深度数据，并且将使用至少一帧延迟来恢复深度数据。
如图17A中所描绘的，可以使用第二EL编码器独立地对EL的亮度进行编码，或者可以参照基本层使用纹理RPUT 1725对其进行编码。还可以使用深度图RPUZ(1730)，使得可以通过考虑二次采样ZL’(1710)和ZR’数据(1715)对EL的“色度”空间中的高分辨率深度数据进行编码。例如，在一种实施方式中，RPUZ(1730)可以包括简单的上采样器。
给定图17A中所描绘的比特流，单个解码器可以对BL流进行解码，并且提取视图之一的帧兼容(FC)3D流以及二次采样的深度数据。双层(例如，MVC)解码器可以对FCFR 3D流以及ZL和ZR深度数据进行解码。
图17B描绘了图17A中所描绘的深度图传送格式的变型。为了提高编码效率，代替对原始深度数据ZR和ZL(1745-U和1745-V)进行编码，编码器可以使用深度RPUZ 1730来生成和编码深度残留RZL＝ZL-ZPL和RZR＝ZR-ZPR，其中ZPL和ZPR表示基于ZL’(1710)和ZR’(1715)信号预测的ZR和ZL数据。然后，这些深度残留被编码为EL流中的“色度”信息(1765-U和1765-V)的部分。在一种实施方式中，在编码处理和解码处理期间，残留深度数据RZL和RZR数据(1765)可以参照先前编码的残留深度图数据或固定值如128被编码(或解码)；因此，它们不依赖于编码ZR’(1715)和ZL’(1710)数据，并且如早前所讨论的，不要求使用来自先前编码帧的ZR’深度数据。
在另一实施方式中，如图17A或图17B中所描绘的EL流可以包括EL-U(1745-U或1765-U)或EL-V(1745-V或1765-V)区域的仅部分中的深度数据。例如，ZR-o、ZL-o 1745-V流或PZR-o、PZL-o 1765-V流可以被恒定值(例如，128)代替。该方法以较低深度图分辨率为代价降低比特率要求。
降低比特率要求的另一方法包括仅发送一个视图(例如，ZR)的深度图数据。在这样的场景中，另一视图深度区域(例如，ZL)的所有数据可以被填充以恒定值(例如，128)。或者，可以以先前分辨率的两倍的分辨率发送单个视图(例如，ZR)的深度图数据。例如，在一种实施方式中，ZL-o和ZL-e深度数据可以被另外的ZR数据代替。
图17A和图17B两者描绘了其中基本层包括并排流并且增强层包括上下流的实施方式。在其他实施方式中，相同的处理可以应用于BL包括上下流并且EL包括并排流的系统。
示例计算机系统实现
可以使用计算机系统、被配置成电子电路系统和部件的系统、集成电路(IC)装置如微控制器、现场可编码门阵列(FPGA)或另外的可配置的或可编程的逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这样的系统、装置或部件中的一个或更多个的设备来实现本发明的实施方式。计算机和/或IC可以进行、控制或执行与对深度图传送格式进行编码和解码有关的指令如本文中所描述的那些。计算机和/或IC可以计算与如本文中所描述的对深度图传送格式进行编码和解码有关的各种参数或值中的任一个。可以以硬件、软件、固件或其各种组合来实现图像和视频动态范围扩展实施方式。
本发明的某些实施方式包括执行使处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、代码转换器等中的一个或更多个处理器可以通过执行能够由处理器访问的程序存储器中的软件指令来实现如上面所描述的对深度图传送格式进行编码和解码的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组包括指令的计算机可读信号的任何介质，当指令被数据处理器执行时，使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中的任一种。例如，程序产品可以包括物理介质如包括软磁盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光学数据存储介质、包括ROM、闪存RAM的电子数据存储介质等。可选地，程序产品上的计算机可读信号可以被压缩或加密。
在上面提到部件(例如，软件模块、处理器、组件、器件、电路等)时，除非另外指出，是指该组件(包括提到“装置”)应当被解释为包括该组件的等同，执行所描述的组件的功能的任何组件(例如，功能上等同的)，包括结构上不等同于执行本发明的示例实施方式中的功能的所公开的结构的部件。
等同物、扩展、替代和其他事项
如此描述了涉及对深度图传送格式进行编码和解码的示例实施方式。在上述说明书中，已经参照因实现而异的大量具体细节来描述了本发明的示例实施方式。因此，本发明是什么并且申请人意在本发明是什么的唯一并且排他的指示是以其中包括任何后续修改的权利要求发布的具体形式的根据本申请发布的一组权利要求。关于权利要求中包括的术语的本文明确阐述的任何定义可以支配权利要求中所使用的这些术语的含义。因此，在权利要求中没有明确阐述的限制、元素、特性、特征、优点或属性不应当以任何方式限制权利要求的范围。因此，本说明书和附图被认为是说明性的，而非限制性意义。

Claims (42)

1.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
基于所述输入图片生成并排图片和上下图片；
使用编码器对所述并排图片进行编码以生成编码基本层流(212)；
使用所述编码器和纹理RPU(225)对所述上下图片进行编码以生成编码第一增强层(EL-1，217)，其中基于所述基本层流部分地对所述编码第一增强层进行编码；以及
使用所述编码器和Z-RPU(230)对所述并排图片的深度数据进行编码以生成编码第二增强层(EL-2)，其中基于所述基本层部分地编码所述编码第二增强层，并且基于所述输入图片的所述输入深度数据生成所述并排图片的所述深度数据。
2.根据权利要求1所述的方法，还包括：将所述编码基本层、所述编码第一增强层和所述编码第二增强层复用到输出编码比特流中。
3.根据权利要求1所述的方法，其中，所述Z-RPU基于所述输入图片生成第一视图深度图的估计和第二视图深度图的估计。
4.一种用于生成输出视频的方法，所述方法包括：
使用BL解码器(250)对编码基本层(BL)流(212)进行解码以生成帧兼容(FC)3D视频流；
使用第一EL解码器(255)和纹理RPU对编码第一增强层(EL)流(217)进行解码以生成帧兼容全分辨率(FCFR)3D视频流，其中对所述第一EL流的解码部分地基于根据所述基本层流生成的数据；以及
使用第二EL解码器(265)和Z-RPU对编码第二增强层流(219S)进行解码以生成输出深度图数据，其中对所述编码第二增强层流进行解码部分地基于根据所述基本层流生成的数据。
5.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
基于所述输入图片生成并排图片和上下图片；
使用编码器对所述上下图片进行编码以生成编码基本层流(217)；
使用所述编码器和纹理RPU(225)对所述并排图片进行编码以生成编码第一增强层(EL-1，212)，其中基于所述基本层流部分地编码所述编码第一增强层；以及
使用所述编码器和Z-RPU(230)对所述上下图片的深度数据进行编码以生成编码第二增强层(EL-2)，其中基于所述基本层部分地编码所述编码第二增强层，并且基于所述输入图片的所述输入深度数据生成所述上下图片的所述深度数据。
6.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度图数据；
基于所述输入图片生成并排图片和上下图片；
使用编码器对所述并排图片进行编码以生成编码基本层流(312)；
使用所述编码器和纹理RPU(325)对所述上下图片进行编码以生成编码第一增强层(EL-1，317)，其中基于所述基本层流部分地编码所述编码第一增强层；以及
使用所述编码器对并排深度图数据进行编码以生成编码第二增强层(319)，其中所述并排深度图数据基于所述输入图片的所述输入深度图数据。
7.根据权利要求6所述的方法，其中，所述并排深度图数据包括残留深度图数据，生成所述残留深度图数据的方法包括：
使用Z-RPU(330)基于所述输入图片生成估计深度图数据；以及
基于所述输入深度图数据与所述估计深度图数据之间的差异来生成所述残留深度图数据。
8.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
基于所述输入图片生成并排图片；
生成具有是所述输入图片的所述第一视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第一视图相同的水平像素分辨率的第一半图片(L’)；
生成具有是所述输入图片的所述第二视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第二视图相同的水平像素分辨率的第二半图片(R’)；
使用编码器对所述并排图片进行编码以生成编码基本层(412)；
使用所述编码器、Z-RPU(430)和纹理RPU(425)对所述第一半图片和所述第一半图片的深度图数据进行编码以生成编码第一增强层(417)，其中对所述第一增强层的编码部分地基于来自所述基本层的数据；以及
使用所述编码器、所述Z-RPU(430)和所述纹理RPU(425)对所述第二半图片和所述第二半图片的深度图数据进行编码以生成编码第二增强层(419)，其中对所述第二增强层的编码部分地基于来自所述基本层的数据。
9.一种用于生成输出视频的方法，所述方法包括：
使用BL解码器(450)对编码基本层(BL)流进行解码以生成帧兼容3D视频流；
使用第一EL解码器(455)、纹理RPU和Z-RPU对编码第一增强层(EL-1)流进行解码以生成第一视图的全分辨率视频、第二视图的半分辨率和所述第一视图的深度图数据，其中对所述第一增强流的解码部分地基于来自所述基本层的数据；以及
使用第二EL解码器(460)、所述纹理RPU和所述Z-RPU对编码第二增强层流(419)进行解码以生成FCFR 3D视频和第二视图的深度图数据，其中对所述第二增强流的解码部分地基于来自所述基本层的数据。
10.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
生成具有是所述输入图片的所述第一视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第一视图相同的竖直像素分辨率的第一半图片；
生成具有是所述输入图片的所述第二视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第二视图相同的竖直像素分辨率的第二半图片；以及
使用编码器对复用图片进行编码以生成编码基本层(512)，所述复用图片包括所述第一半图片和第三半图片，其中所述第三半图片包括所述第一半图片或所述第二半图片的任一深度图数据(ZL)。
11.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片；
访问所述输入图片的输入深度图数据；
使用编码器对所述输入图片的所述第一视图进行编码以生成第一编码基本层流(612)；以及
使用所述编码器对第三图片进行编码以生成第二编码基本层流(617)，其中所述第三图片包括所述输入图片的所述第一视图或所述第二视图的任一深度图数据。
12.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
生成具有是所述输入图片的所述第一视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第一视图相同的竖直像素分辨率的第一半图片；
生成具有是所述输入图片的所述第二视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第二视图相同的竖直像素分辨率的第二半图片；
生成具有是所述输入图片的所述第一视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第一视图相同的水平像素分辨率的第三半图片；
生成具有是所述输入图片的所述第二视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第二视图相同的水平像素分辨率的第四半图片；
使用编码器对所述第一半图片和所述第一半图片的深度图数据进行编码以生成编码基本层流(912)；
使用所述编码器和纹理RPU(925)对所述第三半图片(L’)和所述第四半图片(R’)进行编码以生成编码第一增强层流(EL-1，917)，其中对所述编码第一EL流中的所述第三半图片的编码部分地基于所述第一半图片；
使用所述编码器、所述纹理RPU(925)和Z-RPU(930)对所述第二半图片和所述第二半图片的深度图数据进行编码以生成编码第二增强层(EL-2，919)，其中对所述编码第二EL中的所述第二半图片的编码部分地基于所述第四半图片，并且对所述第二半图片的所述深度图数据的编码部分地基于通过所述Z-RPU根据所述输入图片生成的数据。
13.一种用于生成输出视频的方法，所述方法包括：
使用BL解码器(950)对编码基本层(BL)流(412)进行解码以生成第一视图的半分辨率信号和所述第一视图的深度图；
使用第一EL解码器(955)和纹理RPU对编码第一增强层(EL-1)流进行解码以生成帧兼容3D视频和第二视图的半分辨率信号，其中对所述EL-1层的解码部分地基于从所述基本层提取的数据；以及
使用第二EL解码器(960)、所述纹理RPU和Z-RPU对编码第二增强层流(EL-2)进行解码以生成FCFR 3D视频和所述第二视图的深度图数据，其中对所述EL-2层的解码部分地基于从所述基本层和所述第一增强层提取的数据。
14.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
基于所述输入图片生成并排图片；
基于所述输入图片生成上下图片；
使用编码器对所述并排图片进行编码以生成编码基本层流(1112)；
使用所述编码器、纹理RPU(1125)和Z-RPU对包括第一部分(1117-Y)和第二部分(1117-UV)的编码增强层(EL)流(1117)进行编码，其中所述第一部分包括来自所述上下图片的亮度分量数据，并且所述第二部分包括基于所述输入图片的所述输入深度数据的深度数据。
15.一种用于生成输出视频的方法，所述方法包括：
使用基本层解码器(1135)对编码基本层流进行解码以生成FC 3D视频输出；
使用增强层解码器(1145)、纹理RPU和Z-RPU对编码增强层流进行解码以生成输出亮度数据和深度图数据，其中对所述编码增强流的解码部分地基于来自所述基本层的数据；以及
基于所述FC 3D流和所述输出亮度数据生成FCFR 3D流。
16.根据权利要求16所述的方法，还包括：
使用所述BL解码器对包括亮度并排数据和色度并排数据的并排图片进行解码；
基于所述输出亮度数据生成上下图片的亮度数据；以及
基于所述并排图片的所述色度并排数据内插所述上下图片的色度数据。
17.根据权利要求1、5、6或15所述的方法，还包括：
生成具有是所述输入图片的所述第一视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第一视图相同的竖直像素分辨率的第一半图片；
生成具有是所述输入图片的所述第二视图的所述水平像素分辨率的一半的水平像素分辨率和与所述输入图片的所述第二视图相同的竖直像素分辨率的第二半图片；以及
将所述第一半图片和所述第二半图片复用以生成所述并排图片。
18.根据权利要求1、5、6或15所述的方法，还包括：
生成具有是所述输入图片的所述第一视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第一视图相同的水平像素分辨率的第三半图片；
生成具有是所述输入图片的所述第二视图的所述竖直像素分辨率的一半的竖直像素分辨率和与所述输入图片的所述第二视图相同的水平像素分辨率的第四半图片；以及
将所述第三半图片和所述第四半图片复用以生成所述上下图片。
19.一种用于传送3D深度图数据的方法，所述方法包括：
访问输入立体图片和输入深度数据；
响应于所述输入立体图片生成第一空间大小的图像数据分区；
响应于所述输入深度数据生成深度图数据分区，其中所述深度图数据分区具有不同于所述第一大小的第二空间大小；
将所述图像数据分区与所述深度图数据分区复用以形成复用输出图片；以及
使用编码器对所述复用输出图片进行编码以生成编码比特流。
20.根据权利要求19所述的方法，其中，所述图像数据分区和所述深度图数据分区具有相等的水平分辨率。
21.根据权利要求19所述的方法，其中，所述图像数据分区的水平分辨率高于所述深度图数据分区。
22.根据权利要求19所述的方法，其中，所述图像数据分区基于所述输入立体图片的第一视图或第二视图，并且所述深度图数据分区基于所述输入立体图片的第一视图或第二视图的深度数据。
23.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有水平像素分辨率和竖直像素分辨率；
访问所述输入图片的输入深度数据；
基于所述输入图片生成并排图片和上下图片；
使用编码器对所述并排图片进行编码以生成编码基本层流(212)；
使用所述编码器和纹理RPU(225)对所述上下图片进行编码以生成编码第一增强层(EL-1，217)，其中基于所述基本层流部分地编码所述编码第一增强层；以及
使用所述编码器和所述纹理RPU对所述上下图片的一部分和第二深度数据进行编码以生成编码第二增强层(EL-2)，其中基于所述基本层部分地编码所述编码第二增强层，并且基于所述输入图片的所述输入深度数据生成所述第二深度数据。
24.根据权利要求23所述的方法，其中，在对所述第一增强层和所述第二增强层编码之前，将所述上下图片的色度像素的值设置成固定的像素值。
25.根据权利要求23所述的方法，其中，所述第二深度数据包括仅来自所述输入图片的一个视图的水平二次采样的深度数据。
26.根据权利要求23所述的方法，其中，所述第二深度数据包括来自所述输入图片的左视图和右视图两者的水平二次采样和竖直二次采样的深度数据。
27.一种用于传送3D深度图数据的方法，所述方法包括：
访问包括第一视图和第二视图的输入图片，其中每个视图具有第一水平像素分辨率和第一竖直像素分辨率；
访问所述输入图片的第一输入深度数据和来自先前编码的图片的第二输入深度数据；
基于所述输入图片(117)生成并排图片(112)和上下图片；
使用填充数据来填充所述并排图片和所述上下图片以生成填充并排图片和填充上下图片，其中所述填充数据包括基于所述第一输入深度数据、所述第二输入深度数据或所述第一输入深度数据和所述第二输入深度数据的组合的第一编码深度数据；
使用编码器对所述填充并排图片进行编码以生成编码基本层流；
用基于所述第二输入深度数据的第二编码深度数据代替所述填充上下图片的色度像素值以生成第二填充上下图片；以及
使用所述编码器和纹理RPU(1725)对所述第二填充上下图片进行编码以生成编码增强层流，其中基于所述基本层流部分地编码所述编码增强层流。
28.根据权利要求27所述的方法，其中，所述填充并排图片和所述填充上下图片中的每个的竖直空间像素分辨率和水平空间像素分辨率为预定义的宏块大小的整数倍。
29.根据权利要求27所述的方法，其中，所述第一水平分辨率或所述第一竖直分辨率中至少之一不是预定义的宏块大小的整数倍。
30.根据权利要求27所述的方法，其中，所述第一编码深度数据包括根据所述第一输入深度数据或所述第二输入深度数据得出的二次采样深度数据。
31.根据权利要求27所述的方法，其中，所述第二编码深度数据包括根据空间分辨率高于所述第一编码深度数据的所述第二输入深度数据得出的深度数据。
32.根据权利要求27所述的方法，其中，所述第二编码深度数据包括基于所述第一输入深度数据和预测深度数据生成的残留深度数据，其中所述预测深度数据基于所述第一编码深度数据。
33.根据权利要求27所述的方法，还包括：使用Z-RPU(1730)对所述EL流的所述第二编码深度数据进行压缩，其中参考所述第一编码深度数据部分地编码所述增强层流中的经压缩的第二编码深度数据。
34.一种用于传送3D深度图数据的方法，所述方法包括：
访问输入立体图片和输入深度数据；
响应于所述输入立体图片生成第一空间大小的图像数据分区；
响应于所述输入深度数据生成经缩放的深度图；
将所述经缩放的深度图分割成两个或更多个深度图片段；
生成包括所述深度图片段中的两个或更多个的深度图分区，其中所述深度图数据分区具有不同于所述第一大小的第二空间大小；
将所述图像数据分区和所述深度图数据分区复用以形成复用输出图片，其中将所述深度图分区中的至少一个深度图片段的位置相对地平移到其在所述经缩放的深度图中的原始位置；以及
使用编码器对所述复用输出图片进行编码以生成编码比特流。
35.根据权利要求34所述的方法，其中，在水平方向或竖直方向上分割所述经缩放的深度图像。
36.根据权利要求34所述的方法，其中，生成所述深度图数据分区包括竖直地定位所述深度图片段中的至少两个，其中在所述经缩放的深度图中水平定位所述深度图片段中的所述至少两个。
37.根据权利要求34所述的方法，其中，生成所述深度图数据分区包括水平地定位所述深度图片段中的至少两个，其中在所述经缩放的深度图中竖直定位所述深度图片段中的所述至少两个。
38.一种用于对3D深度图数据进行解码的方法，所述方法包括：
对编码比特流进行解码以生成图像数据分区和深度图数据分区，其中所述深度图数据分区包括定位在第一空间位置的经平移的深度图片段；
将所述经平移的深度图片段从所述第一空间位置平移到第二空间位置以在不同于所述第一空间位置的第二空间位置生成深度图片段；以及
至少响应于所述图像数据分区和所述第二空间位置的所述深度图片段生成解码输出信号。
39.根据权利要求34所述的方法，还包括：在所述编码步骤之前，水平地或竖直地翻转所述深度图分区中的至少一个深度图片段。
40.根据权利要求38所述的方法，还包括：在生成所述解码输出信号之前，水平地或竖直地翻转所述经平移的深度图片段。
41.一种设备，其包括处理器，并且被配置成执行根据权利要求1至4所述的方法中的任一种方法。
42.一种其上存储有计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令用于执行根据权利要求1至4中任一项所述的方法。
CN201380031244.XA 2012-06-14 2013-06-12 用于立体显示器和自动立体显示器的深度图传送格式 Active CN104380743B (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201261659588P 2012-06-14 2012-06-14
US61/659,588 2012-06-14
US201261712131P 2012-10-10 2012-10-10
US61/712,131 2012-10-10
US201261739886P 2012-12-20 2012-12-20
US61/739,886 2012-12-20
US201361767416P 2013-02-21 2013-02-21
US61/767,416 2013-02-21
US201361807013P 2013-04-01 2013-04-01
US61/807,013 2013-04-01
US201361807668P 2013-04-02 2013-04-02
US61/807,668 2013-04-02
US201361822060P 2013-05-10 2013-05-10
US61/822,060 2013-05-10
PCT/US2013/045447 WO2013188552A2 (en) 2012-06-14 2013-06-12 Depth map delivery formats for stereoscopic and auto-stereoscopic displays

Publications (2)

Publication Number Publication Date
CN104380743A true CN104380743A (zh) 2015-02-25
CN104380743B CN104380743B (zh) 2018-04-24

Family

ID=48699960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380031244.XA Active CN104380743B (zh) 2012-06-14 2013-06-12 用于立体显示器和自动立体显示器的深度图传送格式

Country Status (9)

Country Link
US (1) US10165251B2 (zh)
EP (2) EP2862357B1 (zh)
JP (3) JP5973067B2 (zh)
KR (3) KR101939969B1 (zh)
CN (1) CN104380743B (zh)
HK (1) HK1206182A1 (zh)
PL (1) PL2862357T3 (zh)
TW (3) TWI630815B (zh)
WO (1) WO2013188552A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945868A (zh) * 2017-07-25 2020-03-31 皇家飞利浦有限公司 用于生成场景的平铺三维图像表示的装置和方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560719B2 (en) * 2011-09-14 2013-10-15 Mobitv, Inc. Fragment server directed device fragment caching
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US10791315B2 (en) * 2013-01-04 2020-09-29 Qualcomm Incorporated Signaling of spatial resolution of depth views in multiview coding file format
KR20150126037A (ko) * 2013-03-13 2015-11-10 후아웨이 테크놀러지 컴퍼니 리미티드 깊이 룩업 테이블을 코딩하는 방법
RU2667605C2 (ru) * 2013-05-10 2018-09-21 Конинклейке Филипс Н.В. Способ кодирования сигнала видеоданных для использования с многовидовым устройством визуализации
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale
CA2820305A1 (en) 2013-07-04 2015-01-04 University Of New Brunswick Systems and methods for generating and displaying stereoscopic image pairs of geographical areas
JP6127964B2 (ja) * 2013-12-26 2017-05-17 ソニー株式会社 信号切換装置および信号切換装置の動作制御方法
TWI558167B (zh) 2014-12-30 2016-11-11 友達光電股份有限公司 立體影像顯示系統與顯示方法
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
CA2992304A1 (en) 2015-07-15 2017-01-19 Blinxel Pty Ltd System and method for image processing
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
EP3252713A1 (en) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
US10482379B2 (en) * 2016-07-29 2019-11-19 Google Llc Systems and methods to perform machine learning with feedback consistency
TW201834455A (zh) * 2016-12-05 2018-09-16 晨星半導體股份有限公司 立體影像串流處理裝置與立體影像串流處理處理方法
CN110009595B (zh) * 2019-04-12 2022-07-26 深圳市道通智能航空技术股份有限公司 一种图像数据处理方法、装置、图像处理芯片及飞行器
DE102020100695A1 (de) * 2020-01-14 2021-07-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Übertragung von Multi-View-Videodaten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100070A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 立体视频传送系统的编码器优化
WO2012012584A1 (en) * 2010-07-21 2012-01-26 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998039927A1 (en) * 1997-03-07 1998-09-11 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
WO2003017680A1 (en) * 2001-08-15 2003-02-27 Koninklijke Philips Electronics N.V. 3d video conferencing system
US20030198290A1 (en) 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
RU2516499C2 (ru) * 2007-12-18 2014-05-20 Конинклейке Филипс Электроникс Н.В. Передача данных стереоскопического изображения через интерфейс устройства отображения
EP2235957A1 (en) * 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
AU2009273297B8 (en) * 2008-07-21 2013-03-07 Interdigital Madison Patent Holdings Coding device for 3D video signals
WO2010010521A2 (en) * 2008-07-24 2010-01-28 Koninklijke Philips Electronics N.V. Versatile 3-d picture format
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 中間画像合成およびマルチビューデータ信号抽出
WO2010048632A1 (en) 2008-10-24 2010-04-29 Real D Stereoscopic image format with depth information
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
EP3258688A2 (en) * 2010-02-09 2017-12-20 Koninklijke Philips N.V. 3d video format detection
US20110280311A1 (en) * 2010-05-13 2011-11-17 Qualcomm Incorporated One-stream coding for asymmetric stereo video
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치
WO2012007867A1 (en) 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (it) 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
WO2012020358A1 (en) 2010-08-09 2012-02-16 Koninklijke Philips Electronics N.V. Encoder, decoder, bit-stream, method of encoding, method of decoding an image pair corresponding with two views of a multi-view signal
KR20120018269A (ko) * 2010-08-20 2012-03-02 한국전자통신연구원 스테레오스코프 3차원 비디오 데이터의 다차원 계층 송수신 장치 및 방법
DE112011103496T5 (de) 2010-11-15 2013-08-29 Lg Electronics Inc. Verfahren zum Umwandeln eines Einzelbildformats und Vorrichtung zur Benutzung dieses Verfahrens
CN103202019A (zh) 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
JP5813236B2 (ja) 2011-09-16 2015-11-17 ドルビー ラボラトリーズ ライセンシング コーポレイション フレーム互換なフル解像度立体視３ｄ圧縮および復元
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
WO2013103490A1 (en) 2012-01-04 2013-07-11 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2618586B1 (en) * 2012-01-18 2016-11-30 Nxp B.V. 2D to 3D image conversion
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
TWI558166B (zh) * 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
ITTO20130503A1 (it) * 2013-06-18 2014-12-19 Sisvel Technology Srl Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100070A (zh) * 2008-07-20 2011-06-15 杜比实验室特许公司 立体视频传送系统的编码器优化
WO2012012584A1 (en) * 2010-07-21 2012-01-26 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110945868A (zh) * 2017-07-25 2020-03-31 皇家飞利浦有限公司 用于生成场景的平铺三维图像表示的装置和方法
CN110945868B (zh) * 2017-07-25 2022-04-01 皇家飞利浦有限公司 用于生成场景的平铺三维图像表示的装置和方法

Also Published As

Publication number Publication date
US10165251B2 (en) 2018-12-25
JP2016174364A (ja) 2016-09-29
EP2862357B1 (en) 2018-03-28
KR20150017354A (ko) 2015-02-16
TW201731289A (zh) 2017-09-01
KR20160087931A (ko) 2016-07-22
WO2013188552A3 (en) 2014-03-20
TW201613348A (en) 2016-04-01
JP2015525028A (ja) 2015-08-27
CN104380743B (zh) 2018-04-24
EP3399755A1 (en) 2018-11-07
TWI630815B (zh) 2018-07-21
JP2016167823A (ja) 2016-09-15
JP5973067B2 (ja) 2016-08-23
KR101939971B1 (ko) 2019-01-18
KR101675780B1 (ko) 2016-11-14
JP6309993B2 (ja) 2018-04-11
JP6248133B2 (ja) 2017-12-13
TW201412093A (zh) 2014-03-16
TWI521940B (zh) 2016-02-11
KR101939969B1 (ko) 2019-01-18
KR20160087932A (ko) 2016-07-22
EP3399755B1 (en) 2019-09-04
EP2862357A2 (en) 2015-04-22
TWI594616B (zh) 2017-08-01
WO2013188552A2 (en) 2013-12-19
US20150201178A1 (en) 2015-07-16
PL2862357T3 (pl) 2018-08-31
HK1206182A1 (zh) 2015-12-31

Similar Documents

Publication Publication Date Title
CN104380743B (zh) 用于立体显示器和自动立体显示器的深度图传送格式
EP2591609B1 (en) Method and apparatus for multi-layered image and video coding using reference processing signals
US8923403B2 (en) Dual-layer frame-compatible full-resolution stereoscopic 3D video delivery
Chen et al. Overview of the MVC+ D 3D video coding standard
CN103026706B (zh) 用于多层帧兼容视频传输的系统及方法
KR100934676B1 (ko) 다시점 비디오의 처리
CN103999466B (zh) 多层交错帧相容增强分辨率视频传输
JP5906462B2 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
US9973779B2 (en) 3D visual dynamic range coding
US9473788B2 (en) Frame-compatible full resolution stereoscopic 3D compression and decompression
US20130222539A1 (en) Scalable frame compatible multiview encoding and decoding methods
EP2995081A1 (en) Depth map delivery formats for multi-view auto-stereoscopic displays
Lucas et al. Multiview Video Coding (MVC)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1206182

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant