CN105847780B - 用于多层帧兼容视频传输的解码方法 - Google Patents

用于多层帧兼容视频传输的解码方法 Download PDF

Info

Publication number
CN105847780B
CN105847780B CN201610224073.8A CN201610224073A CN105847780B CN 105847780 B CN105847780 B CN 105847780B CN 201610224073 A CN201610224073 A CN 201610224073A CN 105847780 B CN105847780 B CN 105847780B
Authority
CN
China
Prior art keywords
frame
enhancement layer
viewpoint
layer
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610224073.8A
Other languages
English (en)
Other versions
CN105847780A (zh
Inventor
阿萨纳西奥斯·莱昂塔里斯
亚历山德罗斯·图拉皮斯
佩沙拉·V·帕哈拉瓦达
凯文·斯特茨
沃尔特·胡萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105847780A publication Critical patent/CN105847780A/zh
Application granted granted Critical
Publication of CN105847780B publication Critical patent/CN105847780B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

描述了多层帧兼容视频传输。提供了一种用于多层帧兼容视频传输的解码方法，包括：在包括一个或更多个处理器的解码器中，接收包括以多层格式编码的输入帧的输入视频信号，其中多层格式包括：编码基本层帧，包括以并排打包布置交织的第一视点的偶数列和第一视点的奇数列；编码增强层帧，包括以并排打包布置交织的第一视点的奇数列和第一视点的偶数列；对编码基本层帧进行解码和解包以生成解码基本层第一视点和解码基本层第二视点；对编码增强层帧进行解码和解包以生成解码增强层第一视点和解码增强层第二视点；以及对解码基本层第一视点或解码基本层第二视点进行上采样以生成帧兼容格式的输出帧。

Description

用于多层帧兼容视频传输的解码方法
本发明申请为申请日为2011年7月20日并于2013年1月21日进入中国国家阶段的发明名称为“用于多层帧兼容视频传输的系统及方法”的第201180035724.4号发明专利申请的分案申请。
相关申请的交叉引用
本申请要求于2010年7月21日提交的美国临时专利申请No.61/366,512的优先权，其全部内容通过引用合并到本申请中。
技术领域
本公开内容涉及图像处理和视频压缩。更具体地，本发明的实施方式涉及用于多层帧兼容视频传输的编码和解码系统及方法。
背景技术
近来，产业对于立体(3D)视频传输已经有了相当大的兴趣和吸引力。高票房的电影已经使3D立体视频成为主流，同时大型体育赛事也正在用3D来制作和播放。具体地，动画电影正在越来越多地以立体格式生成和呈现。
然而，虽然3D功能的电影屏幕已经有了足够大的安装基础，但对消费者的3D应用来说并不是这样。这个领域的努力仍然处于初期阶段，但一些业界各方在消费者3D功能的显示器[参考文献1]的开发和市场营销方面正在投入相当大的努力。
立体显示技术和立体内容创作是必须得到妥善解决以确保足够高质量的体验的问题。3D内容的传输同样很关键。内容传输包括几个部分，包括压缩。立体传输是具有挑战性的，因为立体传输系统处理的信息是2D传输系统的两倍。此外，计算和存储吞吐量要求也显著地增加了。
通常，存在两种主要的分配渠道，立体内容可以通过这两个主要的分配渠道传输给消费者：如蓝光光盘等固定介质以及其中内容首先传输给机顶盒然后再传输给PC的流解决方案。
大多数目前配置的蓝光播放器和机顶盒仅支持编解码器，例如基于ITU-T/ISO/IECH.264/14496-10[参考文献2]现有技术视频编码标准(也已知为MPEG-4第10部分AVC)和SMPTE VC-1标准[参考文献3]的附录A的规范的这些编解码器。
这些编解码器解决方案中的每个使得服务提供商能够以1920×1080像素的分辨率传输单个HD(高清)图像序列。然而，传输立体内容包括传送左序列和右序列两个序列的信息。直接的方法是对两个单独的比特流进行编码，每个比特流用于一个视点，这种方法也已知为同时联播。
首先，同时联播或类似的方法的压缩效率低。它们还使用高的带宽以维持可接受的质量等级。这是因为，左视点序列和右视点序列独立编码，即使它们是相关的。
其次，在两个适当地同步的解码器中对两个单独的比特流并行地进行解复用和解码。为了实现这样的解码器，可以使用两个现有的非专门设计的解码器。此外，并行解码适合图形处理单元架构。
支持多个层的编解码器可以为立体视频提供高的压缩效率，同时维持向后兼容性。
多层的或可伸缩的比特流由用预先定义的依赖关系表征的多个层组成。这些层中的一个或更多个层为在任何其他层之前解码并且是独立地可解码的所谓的基本层。
其他层通常已知为增强层，因为它们的功能是改善通过对一个或更多个基本层进行解析和解码而获得的内容。这些增强层也是依赖层，因为它们依赖于基本层。增强层使用某种层间预测，增强层中的一个或更多个通常也可以依赖于对其他较高优先级的增强层的解码。因此，解码也可以在中间层之一处终止。
多层的或可伸缩的比特流在质量/信号噪声比(SNR)、空间分辨率和/或时间分辨率和/或甚至额外的视点的可用性方面使能可伸缩性。例如，使用基于H.264/MPEG-4第10部分、VC-1或VP8的附录A规范的编解码器，可以产生时间上可伸缩的比特流。
第一基本层如果被解码则可以以每秒15帧(fps)提供图像序列的版本，而第二增强层如果被解码则可以结合已经解码的基本层以30fps提供相同的图像序列。
SNR和空间可伸缩性也是可能的。例如，当采用H.264/MPEG-4第10部分AVC视频编码标准(附录G)的可伸缩视频编码(SVC)扩展时，基本层(根据附录A编码的)生成粗劣质量版本的图像序列。一个或更多个增强层可以在视觉质量方面提供额外的增加。类似地，基本层可以提供低分辨率版本的图像序列。可以通过对额外的增强层、空间和/或时间地进行解码来提高分辨率。可伸缩的或多层的比特流对于提供多视点可伸缩性也是有用的。
最近，H.264/AVC的多视点编码(MVC)扩展(附录H)的立体高规范已经完成并且已被采用作为用于以立体内容为特征的下一代蓝光光盘(蓝光3D)的视频编解码器。这种编码方法尝试在一定程度上解决对立体视频流的高比特率的要求。
立体高规范利用符合H.264/AVC的附录A的高规范并且对被称为基本视点的视点之一(通常为左视点)进行压缩的基本层。然后，增强层对被称为视点相关视点(dependentview)的另一视点进行压缩。虽然基本层就其本身而言是有效的H.264/AVC比特流，并且是独立于增强层可解码的，然而，对增强层来说可能不是并且通常不是这样。这是因为增强层可以利用来自基本层的已解码图片作为经运动补偿的预测参考。因此，视点相关视点(增强层)可以受益于视点间预测，并且，对于具有高视点间相关性(即，低的立体视差)的场景，压缩可以得到相当大地改善视点。因此，MVC扩展方法试图通过利用立体视差来解决增加的带宽的问题。
然而，这种方法可能无法提供与现有的配置的机顶盒和蓝光播放器基础设施的兼容性。尽管现有的H.264解码器能够对基本视点进行解码和显示，然而，它会简单地丢弃和忽视相关(右)视点。因此，现有的解码器不具有对使用MVC编码的3D内容进行解码和显示的能力。因此，虽然MVC保留了2D相容性，然而，MVC不能在传统的设备中传输3D内容。向后兼容性的缺乏是消费者3D立体视频的快速采用的另外的障碍。
根据本申请的一个方面，提供了一种用于多层帧兼容视频传输的解码方法，包括：在包括一个或更多个处理器的解码器中，接收包括以多层格式编码的输入帧的输入视频信号，其中多层格式包括：编码基本层帧，包括以并排打包布置交织的第一视点的偶数列和第二视点的奇数列；编码增强层帧，包括以并排打包布置交织的第一视点的奇数列和第二视点的偶数列；对编码基本层帧进行解码和解包以生成解码基本层第一视点和解码基本层第二视点；对编码增强层帧进行解码和解包以生成解码增强层第一视点和解码增强层第二视点；以及对解码基本层第一视点或解码基本层第二视点进行上采样以生成帧兼容格式的输出帧，其中，对编码增强层帧进行解码和解包还包括：对编码基本层帧进行解码以生成解码基本层帧；应用基本层至增强层预测器以生成增强层预测帧；对增强层预测帧进行解包以生成增强层预测第一视点和增强层预测第二视点；以及基于增强层预测第一视点和增强层预测第二视点生成解码增强层第一视点和解码增强层第二视点。
根据本申请的另一个方面，提供了一种包括存储在非暂态机器可读介质上的比特流的装置，该比特流的特征在于：以多层格式编码的输入帧，其中多层格式包括：编码基本层帧，包括以并排打包布置交织的第一视点的偶数列和第二视点的奇数列；编码增强层帧，包括以并排打包布置交织的第一视点的奇数列和第二视点的偶数列；限定编码基本层帧中的采样格式和打包布置的信息；以及限定编码增强层帧中的采样格式和打包布置的信息。
根据本申请的另一个方面，还提供了一种用于使用处理器对比特流进行编码的方法，包括：采用处理器接收立体视频信号中的第一视点和第二视点；对第一视点的偶数列和第二视点的奇数列进行采样和打包以生成并排打包布置的基本层帧；对第一视点的奇数列和第二视点的偶数列进行采样和打包以生成并排打包布置的增强层帧；采用编码器对基本层帧进行编码以生成编码基本层帧；以及采用编码器对增强层帧进行编码以生成编码增强层帧，其中，生成编码增强层帧还包括：基于基本层帧生成并存储参考图片帧；应用基本层至增强层预测器以基于基本层帧生成一个或更多个预测增强层帧；以及基于一个或更多个预测增强层帧生成编码增强层帧。
根据本申请的另一个方面，还提供了一种其上存储有程序的非暂态机器可读介质，当该程序由处理器执行时，使得执行如下方法：接收立体视频信号中的第一视点和第二视点；对第一视点的偶数列和第二视点的奇数列进行采样和打包以生成并排打包布置的基本层帧；对第一视点的奇数列和第二视点的偶数列进行采样和打包以生成并排打包布置的增强层帧；对基本层帧进行编码以生成编码基本层帧；以及对增强层帧进行编码以生成编码增强层帧，其中，生成编码增强层帧还包括：基于基本层帧生成并存储参考图片帧；应用基本层至增强层预测器以基于基本层帧生成一个或更多个预测增强层帧；以及基于一个或更多个预测增强层帧生成编码增强层帧。
附图说明
并入到本说明书中并且构成本说明书的一部分的附图示出了本公开内容的一种或更多种实施方式，并且，附图连同对示例实施方式的描述一起用于说明本公开内容的原理和实现。
图1描绘了用于立体素材的传输的棋盘交织布置。
图2描绘了用于立体素材的传输的水平采样/列交织布置。
图3描绘了用于立体素材的传输的垂直采样/行交织布置。
图4描绘了用于立体素材的传输的水平采样/并排布置。
图5描绘了用于立体素材的传输的垂直采样/上下(over-under)布置。
图6描绘了用于立体素材的传输的梅花形采样/并排布置。
图7描绘了具有用于层间预测的参考处理的帧兼容全分辨率3D立体可伸缩视频编码系统。
图8描绘了具有用于层间预测的参考处理的帧兼容全分辨率3D立体可伸缩视频解码系统。
图9描绘了具有用于层间预测的参考处理单元的可伸缩视频编码系统。
图10描绘了用于帧兼容全分辨率两层传输系统的重建模块。
图11描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率执行运动/视差补偿(帧兼容)。
图12描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率执行运动/视差补偿(帧兼容)。
图13描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。
图14描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。
图15描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)进行编码。
图16描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)进行编码。
图17描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率执行运动/视差补偿(帧兼容)。
图18描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率执行运动/视差补偿(帧兼容)。
图19描绘了根据本公开实施例的多层分辨率可伸缩视频编码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。
图20描绘了根据本公开实施例的多层分辨率可伸缩视频解码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。
具体实施方式
根据本公开内容的第一方面，提供了一种用于多层帧兼容视频传输的编码方法，所述编码方法包括：a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括：i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，包括：i)提供所述多个数据类别的图像或视频帧的增强层帧兼容表示，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿，其中，所述一个或更多个增强层中的每个对所有的所述多个数据类别进行处理。
根据本公开内容的第二方面，提供了一种用于多层帧兼容视频传输的编码方法，包括：a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括：i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括：i)针对所述多个数据类别之一提供图像或视频的增强层表示，ii)在每个增强层中维持增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行运动或视差补偿。
根据本公开内容的第三方面，提供了一种用于多层帧兼容视频传输的解码方法，所述解码方法包括：a)通过基本层对多个基本层比特流信号进行基本层处理，包括：i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层对多个增强比特流信号进行增强层处理，包括：i)针对多个数据类别提供至少一个增强层已解码图像或视频帧，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。
根据本公开内容的第四方面，提供了一种用于多层帧兼容视频传输的解码方法，所述解码方法包括：a)通过基本层对通过基本层的多个基本层比特流信号进行基本层处理，包括：i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层，针对多个数据类别，对通过一个或更多个增强层的多个增强比特流信号进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括：i)针对所述多个数据类别之一提供至少一个增强层已解码图像或视频帧，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。
鉴于现有的编解码器缺乏向后兼容性，利用机顶盒、蓝光播放器和高清晰度电视机的安装基础可以加速消费者3D部署。大多数显示器制造商提供支持3D立体显示的高清晰度电视机。这些电视机包括所有的专业显示技术的模型：LCD、等离子和DLP[参考文献1]。关键是提供具有包含两个视点但仍然符合单个帧的限定的内容的显示，同时还利用现有和配置的编解码器，如VC-1和H.264/AVC。这样的方法是所谓的帧兼容方法，该方法对立体内容进行格式化，使得内容适合单个图片或帧。帧兼容表示的大小不需要与原始视点帧的大小相同。
与H.264的MVC扩展类似，杜比(Dolby)的立体3D消费者传输系统[参考文献4]以基本层和增强层为特征。与MVC方法相对地，视点可以复用到两个层中以向消费者提供：通过携带视点子采样版本的两个视点而帧兼容的基本层；以及当与基本层结合时导致两个视点的全分辨率重建的增强层。
向后兼容的3D视频传输系统可以通过现有的或传统的2D视频硬件和系统向家庭或其他场所提供3D视频。帧兼容3D视频系统提供了这样的向后兼容的传输架构。在这种情况下，可以使用分层方法，其中，基本层提供以“帧兼容”格式布置的低分辨率版本的左眼和右眼。帧兼容格式包括并排、上下和梅花/棋盘交织。图1至图6示出了一些示意性的示例。此外，可以有额外的预处理阶段，该预处理阶段在使用增强层帧作为用于预测增强层的的运动补偿参考之前考虑基本层已解码帧对增强层帧进行预测。图7和图8分别示出了用于[参考文献4]中所公开的系统的编码器和解码器。
甚至非帧兼容编码布置如MVC的编码布置也可以使用预处理器(例如，参考处理单元(RPU)/预测器)来增强，预处理器在使用取自基本视点的参考作为用于视点预测相关视点的参考之前对取自基本视点的参考进行改进。这种架构也公开在[参考文献4]中并且在图9中示出。
[参考文献4]的帧兼容技术确保了帧兼容的基本层。通过预处理器/RPU元件的使用，这些技术减少在实现立体视点的全分辨率重建时的开销。图10示出了全分辨率重建的处理。
基于增强层的可用性，存在若干用于获取最终的重建视点的方法。其中的一些方法可以考虑对增强层中的实际的像素数据进行编码，或者可以考虑对残差数据进行编码或通常与基本层(例如，高频率与低频率)数据不同的数据编码，该基本层数据如果以一定的形式结合则可以使得能够对重建信号进行较高质量/分辨率的表示。任意分辨率可以用于这些方法，例如：其中的一些方法可以以二分之一分辨率，而其中的一些方法可以以全分辨率或甚至更低、更高，或介于两者之间的分辨率。本公开的实施例可以针对任何分辨率。它们可以根据基本层(图10的VFC,BL(1002))的帧兼容输出被插值并且可选地被后处理以产生V0,BL,out(1004)和V1,BL,out(1006)。可替代地，它们可以通过增强层的适当的样本被复用以产生每个视点的较高的表示重建V0,FR,out(1008)和V1,FR,out(1010)。在这两种情况下所得到的重建视点可以具有相同的分辨率。然而，在第二种情况下，针对所有样本对信息进行编码，而在第一种情况下，重建视点的信息的一半通过使用智能算法的插入获得，如[参考文献4]中所公开的。从图10中可以观察到：继对基本层和增强层的解码之后，使用额外的和潜在地为存储密集型和带宽密集型的操作以获得最终的全分辨率重建视点。
本公开提供了使得帧兼容3D视频系统能够实现全分辨率3D传输的技术。本公开还提供了用于通过在一些较高表示/分辨率的样本域中执行运动和立体视差补偿来改善增强层中的内部预测精度的方法。这些域可以与以帧兼容表示的样本相比具有更高的空间或频率分辨率。在一些实施例中，这些域可以具有等于全分辨率的分辨率，即，在每个类别的帧被滤波、采样和复用到帧兼容表示之前的这些帧的原始分辨率。用于对通过这些布置而压缩的数据进行处理的额外的方法在[参考文献5]中可以找到。贯穿整个说明书，术语“数据类别”或“类别”指代数据组。不同的数据类别可以指代可能具有或不具有组间关系的不同的数据组。对于涉及3D或立体图像或视频传输的本公开的实施例，术语“数据类别”或“类别”指代3D图像或视频的单个视点。
图11示出了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率(例如，二分之一水平或竖直分辨率)执行运动/视差补偿。图12示出了根据本公开实施例的与图11中所示的编码器相对应的解码器。根据该实施方式，提供了用于视频序列的压缩的多层编解码器，该视频序列由属于给定时间实例的多个数据类别的帧组成。
根据本公开的实施例，图11的基本层(1102)提供了多个数据类别的帧兼容表示。这里，帧兼容表示指的是将不同的数据类别采样和复用为单个帧。这种单个帧可以与包括原始类别的帧具有不同的大小。根据本公开内容的另外的实施例，图11的基本层(1102)可以使用任意可用的或未来的视频编解码器(如H.264/AVC、VP8和VC-1)来实现和编码。
继续参照图11，在将数据发送给基本层编码器(1104)之前，通过采样器(1106)对数据进行采样并且通过复用器(1108)对数据进行复用。在另外的实施例中，采样也可以包括滤波。此外，滤波在不同的数据类别之间可以是非对称的。例如，在又一实施例中，可以对一种类别进行滤波和采样，使得少于一半的信息(例如，频率内容)被保留。可以对另一种类别进行滤波和采样，使得多于一半的信息被保留。图1至图6示出了两种类别的图像数据的示意性的采样和复用布置。
根据图11中所示的实施例，提供了额外的增强层(1152)。根据其他实施例，额外的增强层的数量取决于在基本层之内已经采样和交织的数据和帧数据的类别的数量。选择在增强层中被采样和交织的数据，使得当与已经在基本层中存在的数据相结合时，采样和交织的数据导致对大多数类别的数据的有效表示和重建。根据图11中所示的实施例，其中包括两种类别的数据，一个增强层(1152)用于对所有的原始数据进行编码。根据该实施例，基本层(1102)可以携带每个类别的一半样本，增强层(1152)可以提供每个数据类别的另一半缺失的样本。
根据本公开内容的另外的实施例，基本层对一种类别的三分之一的样本进行压缩，其余三分之二的样本被存储在增强层中。相反的情况也是可能的。类似地，正如基本层，增强层中的每个类别的数据内容可以与另一数据类别的内容不相同。这可以通过使用不同类型的滤波或者不同数量和布置的样本(例如，梅花形相对基于行的子采样)来实现。根据该实施例，采样操作获得用于增强层处理的样本，采样操作可以包括对这些样本的滤波。
根据图11中所示的实施例，增强层(1152)采用混合视频编码模型，该模型可以在现代视频编解码器如VC-1和H.264/AVC中找到。可以根据相同的图片或帧中的相邻的样本(使用帧内预测)来预测输入数据，或者根据来自属于相同的层并且在所谓的参考图片缓冲区内缓冲为运动补偿预测参考的过去的已解码帧的样本(帧间预测)来预测输入数据。如果来自优先级较低的层(如基本层)的已解码信息对于增强层可用，则层间预测也是可能的。对这些信息进行访问的一种方法是通过将来自优先级较低的层的已解码图片作为运动补偿的参考。预测之后，对预测残差(1154)进行变换(1156)和量化(1158)，然后使用熵编码(1160)对量化系数进行编码。图12中示出的解码器的增强层(1252)逆转这个处理。
与图11的具有包含过去的已解码图片/帧的单个参考图片缓冲区(1110)的基本层(1102)不同，增强层(1152)维持多个内部参考图片缓冲区(1162)，每个内部参考图片缓冲区(1162)用于每个数据类别。在图11的实施例中，存储在这些缓冲区中的参考图片的生成是通过使用解复用器和RPU处理器(1164)来实现的。解复用器和RPU处理器(1164)对预测残差和预测帧(其通过帧内或帧间预测获得)之和进行处理。
图11的解复用器(1164)也执行对每个类别的丢失样本的上采样和插值。每个参考图片缓冲区(1162)仅包括属于相同的数据类别的帧。缓冲区(1162)以比输入至增强层(1102)的样本的分辨率高的分辨率存储图像或帧、或可选地以增强分辨率存储图像或帧。此外，用于将帧存储在每个参考图片缓冲区中的分辨率可以彼此不同。一个缓冲区可以以一种分辨率存储图片，而第二图片缓冲区可以以另一分辨率存储图片。在执行视差补偿(即运动补偿或帧内预测)(1168)之前，使用采样器(1170)下采样并且使用复用器(1172)复用所选择的来自每个图片缓冲区(1162)的参考，以生成现在可以在帧兼容布置中被格式化的单个参考图片。根据另外的实施例，下采样和复用为帧兼容格式的操作可以包括更复杂的操作，如将两个参考线性或非线性地组合成最终的帧兼容参考图片。根据再一实施例，内部缓冲区中的帧的分辨率可以与增强分辨率配。
根据图11中所示的实施例，在对内部多个(可选地，增强分辨率的)参考图片缓冲区提供的参考图片进行采样(1170)和复用(1172)之后，进行增强层(1152)内的帧间预测。因此，帧间预测在“帧兼容”域中进行，但是不一定在与基本层相同的域中。根据立体视频的另外的实施例，基本层帧兼容格式可以包括来自左视点的偶数列和来自右视点的奇数列，而在增强层处，帧兼容格式可以包括来自左视点的奇数列和来自右视点的偶数列。类似的布置对于其他的交织布置(如上下、并排等)也是可能的，选择适当的布置方法，使得在帧兼容的基本层图片中编码的样本与在一个或更多个增强层中编码的样本的组合应当产生数据类别的增强分辨率重建。根据本公开内容的另一实施例，这样的技术可以扩展到任何数量的层或视点。此外，帧间预测处理包括对每个增强层的运动参数的集合进行估计，该参数被编码并且被传送给解码器。
根据图11中所示的实施例，增强层参考图片缓冲区(1162)包括图片，该图片不限于增强层(1152)的已经解复用和上采样(1164)的解码图片。基本层至增强层参考处理单元(RPU)/预处理器模块(BL至EL RPU)(1166)将来自基本层(1102)的参考图片缓冲区(1110)的帧兼容解码图片作为输入，然后对帧数据进行复用和上采样以对属于不同的数据类别的较高的表示(可选地，增强分辨率的)帧进行估计。
根据另外的实施例，BL至ELRPU(1166)处理可以包括滤波、放大、丢失样本的插入、以及频率内容的恢复或估计。当例如基本层对低频率进行编码并且增强层对高频率进行编码时，使用频率内容的恢复或估计。然后，这些BL至EL RPU(1166)处理图像被放置以及用作增强层(1152)的较高的表示(可选地为增强分辨率)的参考图片缓冲区(1162)中的额外的运动补偿预测参考。编码器处的BL至EL RPU模块(1166)生成预测/上采样处理的信息并且将该信息(“RPU比特流”)(1174)传送给图12的相同的BL至EL RPU(1254)，其位于图12中所示的解码器模块处。以这种方式，可以在解码器处复制编码器预测操作。使用这个RPU模块的插值和预测可以包括[参考文献6]中公开的技术。
根据本公开的另外的实施例，内部缓存器以增强分辨率存储帧，解码器在内部重建每个数据类别的增强分辨率帧并且将其存储在参考图片缓冲区中。因此，为了显示增强分辨率数据，本实施例中不使用图10的处理模块。替代地，根据本实施例，可以直接从增强层的参考图片缓冲区中提取和显示增强分辨率重建帧。根据本公开内容的另一实施例，每个类别的增强分辨率是不相等的。在本实施例中，编码器和解码器将增强层的缓冲区中的图片重新缩放为某个相同的增强分辨率。
在另外的实施例中，在基本层中编码的帧的大小可以与属于每个类别的帧的大小相同。在另外的实施例中，增强层中的参考图片缓冲区包含原始帧的分辨率(全分辨率)的帧。
根据本公开的实施例，其中被施加运动补偿的帧兼容的域可以与基本层的域相同。在另外的实施例中，基本层可以以并排格式交织，并且增强层也可以对以相同的并排格式交织的帧进行编码。
根据本公开的实施例，基本层帧兼容格式可以包括来自第一视点的偶数列和来自第二视点的奇数列，而在增强层，帧兼容格式可以包括来自第一视点的奇数列和来自第二视点的偶数列。
根据本公开的实施例，层可以以不同的空间分辨率对帧进行编码，在这种情况下，可以建立具有空间可伸缩性的系统。根据另外的实施例，编解码器系统具有1280×720并排帧兼容基本层和可以以1920×1080重建这两个视点的增强层。在本实施例中，BL至EL RPU首先将帧兼容数据解复用为不同的类别，然后可以执行以下操作之一。在一个方案中，BL至EL RPU首先对该种类别的丢失样本进行插值，然后在将所得到的帧(1280×720)存储在增强层中的相应的参考图片缓冲区中之前将该所得到的帧重新缩放至预期空间分辨率(1920×1080)。在第二个方案中，将可用的和经解复用的样本从较低的分辨率重新缩放至较高的分辨率，例如，从640×720至960×1080。然后，额外的插值操作确定丢失的列，以及可选地还对现有的样本进行滤波以推导全分辨率帧。
根据本公开的实施例，增强层中的多个参考图片缓冲区也可以通过存储管理控制操作(MMCO)来控制，如[参考文献2]中所公开的操作。MMCO操作对参考图片如何添加至缓冲区中以及如何从缓冲区中移除进行控制。根据另外的实施例，MMCO操作针对增强层被发生。在本实施例中，每个参考图片缓冲区的MMCO的集合是相同的，或者，MMCO操作的集合是用信号通知的。这适用于两个参考图片缓冲区。因此，图片缓冲区的操作维持同步。再一实施例可以使用用于参考图片列表修正/重新排序信令(reordering signaling)的类似的方法，包括但不限于[参考文献2]中所公开的方法。
信令信息控制缓冲区中的参考图片列表的生成。然后，在运动补偿预测中使用这些列表。根据另外的实施例，修正信息对于每个数据类别的参考图片列表来说是相同的。在再一实施例中，修正信息的单个集合被发生并且将被应用于增强层中的所有列表。根据本公开的另外的实施例，在利用对参考图片缓冲区的内容进行控制的信令和对其参考图片列表的初始化和修改进行控制的信令的编解码器中使用类似的方法。
根据本公开的实施例，可以将这样的解复用器和上采样器RPU实现为如[参考文献6]中所公开的参考处理单元：其在得到增强分辨率的单个类别帧之后将帧存储到参考图片缓冲区中。
根据本公开内容的另外的实施例，基本层可以使用第一范围的频率内容对表示进行编码，而额外的增强层可以提供第二范围的频率内容。也可以在解码器处对它们的输出进行组合以提供原始数据类别的更好的表示。
图13示出了根据本公开的实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。图14示出了根据本公开实施例的、与图13中所示的编码器相对应的解码器。
图13和图14中所示的实施例与图11和图12中所示的实施例类似。但是，与图11和图12中所示的实施例不同，根据图13中所示的实施例，采样器(1354)和复用器(1356)被放置在视差补偿模块(1358)之后。事实上，有多少数据类别就有多少视差补偿模块(1358)。根据图13中所示的立体视频传输的实施例，有两个视差补偿模块(1358)，每个视点一个模块。在对每个较高表示参考执行视差补偿之后，将所得到的帧传递给执行下采样处理的采样器(1354)，下采样处理可以在滤波之前或之后进行(在两个视点的情况下，它将保留一半的样本)。然后，将来自每个数据类别的经下采样的数据馈送给生成帧兼容图片(1360)的复用器(1356)。然后，这个帧兼容图片(1360)被用作预测残差(1362)被添加到增强层混合视频编码回路内的预测。
根据图13中所示的实施例，视差补偿模块(1358)使得较多的样本可用(较高表示图片)，并且能够产生更好的预测。另外，视差补偿模块可以在运动补偿中具有更多的空间上的精确分区。例如，当使用并排格式时，帧兼容参考图片中的4×4的分区大小等于全分辨率图片中的8×4的分区大小。类似地，16×16的分区实际上是全分辨率图片中的32×16分区。因此，在本实施例中，视差补偿模块(1358)可以具有更大和更准确的分区。
根据图13中所示的实施例，可以在增强层处多次(例如两次)执行视差估计和补偿，从而增加了系统复杂度。另外，由于运动补偿的空间精确度增加而得到的益处取决于如何从通过将预测残差添加到图13的帧兼容预测图片VFC,PRED(1362)所获得的帧兼容图片中上采样较高表示参考图片。此外，根据本实施例，增强层对运动矢量信息的量进行两次压缩。根据另外的实施例，参考图片缓冲区采用增强分辨率，并且执行每个数据类别的最终重建，作为生成存储在增强层的参考图片缓冲区中的参考的一部分。因此，与图中所示的解码器不同，本实施例不对基本层和增强层的输出进行进一步处理。
根据本公开的另外的实施例，多层编解码器可以考虑空间可伸缩性，这与第一方法的附加实施例类似。与图11和图12中所示的实施例类似，再一实施例提供了参考图片列表修改和用信号发送给解码器的MMCO操作。
根据本公开内容的另外的实施例，由于在多个视差/运动估计器和补偿模块中使用的运动参数中存在足够的相互关系，选择这些运动参数以使得能够根据来自其他模块的参数对一个模块的参数进行高效的预测。在再一实施例中，将运动参数选择为相同的，并且针对每个增强层，仅发送一个集合的参数。在另一实施例中，每个模块的参数的集合是用信号发送的。运动参数预测也可以使用从优先级较高的视差估计/补偿模块用信号发送的相邻的或并排的参数的信息。
根据本公开内容的另外的实施例，在基本层中编码的帧的大小可以与属于每个类别的帧的大小相同。根据另一实施例，增强层中的参考图片缓冲区包含原始帧的分辨率(全分辨率)的帧。根据再一实施例，在被存储到参考图片缓冲区中之前得到增强分辨率的单个类别帧的解复用器和上采样器可以被实现为[参考文献6]中所公开的参考处理单元。在再一实施例中，基本层可以以第一范围的频率内容对表示进行编码，而额外的增强层可以提供第二范围的频率内容。也可以在解码器处对它们的输出进行组合以提供原始数据类别的更好的表示。
图15示出了根据本公开的实施例的多层分辨率可伸缩视频编码器，其中，基本层(1502)对数据的帧兼容版本进行编码，并且多个增强层中的两个(1532，1562)对两个增强分辨率数据类别中的每个(3D立体视频传输情况下的每个视点)进行编码。图16示出了根据本公开实施例的相应的解码器。
根据图15中所示的实施例，基本层(1502)的结构与图11至图14中所示的实施例的结构相同。根据图15中所示的实施例，基本层(1502)可以对多个数据类别的帧兼容版本进行编码。在本实施例中，针对每个数据类别设置增强层(1532，1562)。根据用于立体视频传输的另外的实施例，每个增强层(1532，1562)提供对每个数据类别的增强分辨率重建。根据本实施例，每个增强层(1532，1562)包含单个参考图片缓冲区(1534，1564)，并且使用与基本层(1502)非常类似的结构。在本实施例中，增强层(1532，1562)直接接收每个类别的增强(例如全)分辨率帧。相反，根据图11至图14中所示的实施例，增强层的输入由所有数据类别的帧兼容表示组成。
根据图15中所示的实施例，每个层(1532，1562)的参考图片缓冲区(1534，1564)存储可以用于运动补偿预测(1536，1566)的参考。这些参考包括相同层的之前的解码帧。根据另外的实施例，增强层(1532，1562)中的附加的参考可以从基本层(1502)插入，如通过H.264的MVC扩展所完成的一样。在本实施例中，在被插入之前，使用RPU/预处理器(1538，1568)对这些参考进行处理，以获得与存储在目标参考图片缓冲区中的帧相对应的经处理的参考。根据用于立体视频传输的另外的实施例，基本层帧兼容图片被解复用为属于不同类别的样本。然后，在样本被存储在每个增强层(1532，1562)的参考图片缓冲区(1534，1564)中之前，将样本在RPU/预处理器(1538，1568)之内上采样为增强(例如全)分辨率。根据本实施例，在RPU/预处理器(1538，1568)之内的预测、插值和上采样处理可以采用[参考文献6]中所公开的技术。
根据图15中所示的实施例，可以实现单独的RPU(1538，1568)，以产生每个参考，每个参考将被存储在增强层的参考图片缓冲区(1534，1564)中的每个中。根据另一实施例，可以设置单个模块，以共同地优化和执行将基本层解码帧兼容图片解复用和上采样为多个全参考图片，每个增强层用于一个全参考图片。
根据本公开内容另一实施例，提供了增强层的除了对于基本层的依赖关系(dependency)之外的附加的依赖关系。在本实施例中，增强层可以依赖于对另一增强层的解析和解码。继续参照图15，除了基本层(1502)之外，对增强层1(1562)的解码处理也可以依赖于增强层0(1532)。存储在增强层0(1532)的参考图片缓冲区(1534)中的用于显示的图片(1572)被馈送到额外的RPU/预处理器模块(1570)中。额外的RPU/预处理器(1570)将馈送的参考输入(1572)处理成与增强层1(1562)的格式类似。然后，将经处理的结果(1574)存储到增强层1(1562)的参考图片缓冲区(1564)中，并且可用于运动补偿预测(1566)。根据用于立体视频传输的另外的实施例，每个增强层对其中的一个视点进行编码，RPU将使用运动和空间处理对一个视点进行处理，以便产生较接近于另一视点的参考图片。根据再一实施例，运动处理可以包括高阶运动模型，如仿射和透视运动模型。
根据另外的实施例，与图11至图14中所示的实施例类似，多层编解码器可以考虑空间可伸缩性。在本实施例中，根据基本层执行对增强层的预测的预处理器模块(例如，图15的1538和1568)还可以包括重新缩放至目标层分辨率。如果增强层不具有相同的空间分辨率，则根据第二增强层(例如，图15的1570)对一个增强层进行预测的预处理器模块还可以包括重新缩放。
图17示出了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率(帧兼容)执行运动/视差补偿。图18示出了根据本公开的实施例的相应的解码器。
根据图17中所示的实施例，基本层(1702)对帧兼容信号进行编码，当对一个或更多个增强层(1752)进行解码以及将它们与基本层(1702)的输出组合时，该信号可以被进一步改进(尤其是，在分辨率或空间频率内容方面)。根据本实施例，增强层(1752)对经滤波、经采样和经复用的残差(1754)进行编码[参考文献7]，该残差是减去原始的全分辨率数据类别帧的预测(1756)的结果。这个预测(1756)是使用RPU处理器(1758)的结果，RPU处理器将来自帧兼容基本层(1702)的解码图片(1760)作为输入，并且以原始的(全)分辨率输出原始的帧类别的预测(1756)。在另外的实施例中，RPU(1758)可以使用如[参考文献6]中所公开的那些技术，包括滤波，插值，重新缩放等。根据图17中所示的实施例，增强层(1752)的内部图片缓冲区(1762)不通过RPU从基本层缓冲区(1704)接收经处理的参考。
在图18中所示的解码器处，类似的RPU(1854)将来自基本层(1802)的图片缓冲区(1804)的解码基本层图片作为输入，将其处理为原始的(全)分辨率以得到每个类别的全分辨率帧(1856)，然后将这些帧(1856)添加到已经在增强层参考图片缓冲区(1860)中解码的帧(1858)以产生每个数据类别的最终的重建帧(1862)。
根据图11和图12中所示实施例的与图11和图12中所示实施例以及图17和图18中所示实施例之间的差异不相冲突的所有的另外的实施例也适用于根据图17和图18中所示实施例的另外的实施例。根据另外的实施例，基本层的分辨率、增强层的分辨率以及增强层的内部参考图片缓冲区可以不同。
在根据图17和图18中所示实施例的另外的实施例中，与图13和图14中所示的实施例类似，增强层提供了多个视差补偿模块，每个数据类别的每个参考图片缓冲区一个视差补偿模块。在此，根据图13和图14中所示的实施例的所有适用的另外的实施例同样适用。
图19示出了根据本公开实施例的多层分辨率可伸缩视频编码器，其中，基本层对数据的帧兼容版本进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。图20示出了根据本公开的实施例的相应的解码器。
根据图19中所示的实施例，与图17和图18中所示的实施例类似，增强层(1932，1962)采用残差编码。根据本实施例，每个增强层(1932，1962)对应于每个数据类别并且对残差(1934，1964)进行编码，该残差为减去原始的全分辨率数据类别帧的预测(1936，1966)的结果[参考文献7]。这个预测是针对每个增强层(1932，1962)使用RPU处理器(1938，1968)的结果，RPU处理器使来自帧兼容基本层(1902)的解码图片作为输入，并且以给定层的原始的(全)分辨率输出原始帧类别的预测(1736，1966)。根据另外的实施例，RPU(1938，1968)可以使用如[参考文献6]中所公开的那些技术，包括滤波、插值、重新缩放等。根据图19中所示的实施例，增强层(1932，1962)的内部图片缓冲区(1940，1970)不通过RPU从基本层缓冲区(1904)接收经处理的参考。
在图20中所示的解码器处，对于每个增强层(2032，2062)，类似的RPU(2034，2064)将来自基本层(2002)的图片缓冲区(2004)的解码基本层图片作为输入，将其处理成原始的(全)分辨率以得到给定的类别的全分辨率帧(2036，2066)，然后将这个帧(2036，2066)添加到已经在增强层参考图片缓冲区(2040，2070)中解码的帧(2038，2068)以产生给定的数据类别的最终的重建帧(2042，2072)。
根据图15和图16中所示实施例的与图15和图16中所示的实施例与图19和图20中所示的实施例之间的差异不相冲突的所有另外的实施例也适用于根据图19和图20中所示实施例的另外的实施例。根据另外的实施例，基本层的分辨率与增强层的分辨率以及增强层的内部参考图片缓冲区可以不同。而且，每个增强层的分辨率可以不同。
本公开所描述的方法及系统可以用硬件、软件、固件或其组合来实现。以块、模块或部件描述的特征可以一起实现(如，在如集成逻辑器件的逻辑器件中)或单独实现(如，单独连接的逻辑器件)。本公开的方法的软件部分可以包括计算机可读介质，其包括当被执行时至少部分地执行所描述的方法的指令。上述计算机可读介质可以包括如随机存取存储器(RAM)和/或只读存储器(ROM)。上述指令可以由处理器(如，数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程门阵列(FPGA))来执行。
因此，已经对本发明的实施例进行了描述，这些实施例涉及以下顺序地、直接地列举的示例实施例中的一个或更多个。
因此，本发明可以用本文中所描述的任何形式来实施，包括但不限于下面的描述本发明的某些部分的结构、特征和功能的列举的示例实施例(EEE)：
EEE1.一种用于多层帧兼容视频传输的编码方法，包括：
a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括：
i)提供多个数据类别的图像或视频帧的基本层帧兼容表示；以及
b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，包括：
i)提供多个数据类别的图像或视频帧的增强层帧兼容表示；
ii)维持至少一个增强层参考图片缓冲区；
ⅲ)针对对于基本层或不同的增强层的至少一个依赖关系进行参考处理；以及
iv)执行运动或视差补偿，
其中，一个或更多个增强层中的每个对所有的多个数据类别进行处理。
EEE2.根据列举的示例实施例1所述的编码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。
EEE3.根据列举的示例实施例1或2所述的编码方法，其中，提供多个数据类别的图像或视频帧的基本层帧兼容表示包括：
将多个数据类别的图像或视频帧基本层采样和基本层复用为单个帧。
EEE4.根据列举的示例实施例1至3中的任一项所述的编码方法，其中，基本层处理符合多个现有的视频编解码器之一。
EEE5.根据列举的示例实施例4所述的编码方法，其中，多个现有的视频编解码器包括H.264/AVC、VP8和VC-1。
EEE6.根据列举的示例实施例3至5中的任一项所述的编码方法，其中，基本层处理的采样包括对该多个数据类别的图像或视频帧进行对称或非对称滤波。
EEE7.根据列举的示例实施例3至6中的任一项所述的编码方法，其中，基本层采样包括水平采样、垂直采样或梅花形采样。
EEE8.根据列举的示例实施例3至7中的任一项所述的编码方法，其中，所述基本层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。
EEE9.根据列举的示例实施例2至8中的任一项所述的编码方法，其中，基本层处理还包括：对多个视点的图像或视频帧的等量或不等量的样本进行处理。
EEE10.根据列举的示例实施例2至9中的任一项所述的编码方法，其中，增强层处理采用混合视频编码模型，所述混合视频编码模型符合多个现有的编解码器中的任一个。
EEE11.根据列举的示例实施例10所述的编码方法，其中，多个现有的编解码器包括VC-1和H.264/AVC。
EEE12.根据列举的示例实施例2至11中的任一项所述的编码方法，其中，增强层处理还包括：
通过根据相同的图像或帧中的样本或者根据来自相同的增强层中的之前的已解码帧的样本预测至少一个预测图像，来生成至少一个参考图像或视频帧，以及
将至少一个参考图像或视频帧存储在至少一个增强层参考图片缓冲区中。
EEE13.根据列举的示例实施例12所述的编码方法，其中，生成至少一个参考图像或视频帧还包括：对至少一个预测残差图像与至少一个预测图像之和进行解复用和参考处理。
EEE14.根据列举的示例实施例13所述的编码方法，其中，解复用还包括：对至少一个预测残差图像与至少一个预测图像之和进行上采样和插值。
EEEl5.根据列举的示例实施例2至14中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区之一以与至少一个增强层参考图片缓冲区中的其余缓冲区不同的分辨率来存储图像或视频帧。
EEE16.根据列举的示例实施例1至15中的任一项所述的编码方法，其中，增强层处理还包括：
针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；
将所选择的至少一个参考图像增强层采样和增强层复用为至少一个帧兼容图像；以及
基于至少一个帧兼容图像执行视差补偿或帧间预测。
EEE17.根据列举的示例实施例16所述的编码方法，其中，
对所选择的至少一个参考图像的增强层采样包括水平采样、垂直采样或梅花形采样中的任一种；以及
对所选择的至少一个参考图像的增强层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。
EEE18.根据列举的示例实施例16或17所述的编码方法，其中，增强层处理还包括：
对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；
将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。
EEE19.根据列举的示例实施例18所述的编码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。
EEE20.根据列举的示例实施例19所述的编码方法，其中，BL至EL处理还包括：对至少一个基本层已解码帧兼容图像进行滤波、放大和插值。
EEE21.根据列举的示例实施例18至20中的任一项所述的编码方法，其中，增强层处理还包括：将与BL至EL处理有关的信息提供给相应的解码器。
EEE22.根据列举的示例实施例1至21中的任一项所述的编码方法，其中，针对多个数据类别中的每个数据类别，至少一个增强层参考图片缓冲区以相同的或不同的增强分辨率存储图像。
EEE23.根据列举的示例实施例1至22中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区以与原始输入图像相同的分辨率存储图像。
EEE24.根据列举的示例实施例1至23中的任一项所述的编码方法，其中，基本层复用和增强层复用使用相同的帧兼容打包布置。
EEE25.根据18至24中任一项所述的编码方法，其中，基本层处理和增强层处理以不同的空间分辨率对图像进行处理。
EEE26.根据列举的示例实施例25所述的编码方法，其中，BL至EL处理包括：
对至少一个基本层解码帧兼容图像进行解复用；
对经解复用的至少一个基本层已解码帧兼容图像进行插值；以及
将经插值和解复用的至少一个基本层解码帧兼容图像重新缩放至目标空间分辨率。
EEE27.根据列举的示例实施例25所述的编码方法，其中，BL至EL处理包括：
对至少一个基本层已解码帧兼容图像进行解复用；
将经解复用的至少一个基本层解码帧兼容图像重新缩放至不同的空间分辨率；以及
将经解复用和重新缩放的至少一个基本层解码帧兼容图像插值至目标空间分辨率。
EEE28.根据列举的示例实施例27所述的编码方法，还包括：将经解复用和重新缩放的至少一个基本层已解码帧兼容图像滤波至目标空间分辨率。
EEE29.根据列举的示例实施例1至28中的任一项所述的编码方法，其中，增强层处理还包括：通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。
EEE30.根据列举的示例实施例29所述的编码方法，其中，根据MMCO的一个或更多个集合，使至少一个增强层参考图片缓冲区中的每个同步。
EEE31.根据列举的示例实施例29或30所述的编码方法，其中，增强层处理还包括：将与MMCO有关的信息提供给相应的解码器。
EEE32.根据列举的示例实施例1至31中任一项所述的编码方法，其中，基本层处理对在第一频率范围内的图像内容进行编码，并且，增强层处理对在第二频率范围内的图像内容进行编码。
EEE33.根据列举的示例实施例1至15中任一项所述的编码方法，其中，增强层处理还包括：
针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；
通过基于至少一个参考图像执行视差补偿或帧间预测来获取多个数据类别中的每个的至少一个补偿图像；以及
将至少一个补偿图像增强层采样和增强层复用为至少一个帧兼容图像。
EEE34.根据列举的示例实施例33所述的编码方法，其中，增强层处理还包括：通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。
EEE35.根据列举的示例实施例34所述的编码方法，其中，增强层处理还包括：将与MMCO有关的信息提供给相应的解码器。
EEE36.根据列举的示例实施例33至35中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区针对多个数据类别中的每个以相同的或不同的增强分辨率存储图像。
EEE37.根据列举的示例实施例33至36中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区以与原始输入图像相同的分辨率存储图像。
EEE38.根据列举的示例实施例33至37中的任一项所述的编码方法，其中，基本层处理对第一频率范围内的图像内容进行编码，并且增强层处理对第二频率范围内的图像内容进行编码。
EEE39.一种用于多层帧兼容视频传输的编码方法，包括：
a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括：
i)提供多个数据类别的图像或视频帧的基本层帧兼容表示；以及
b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，其中，多个数据类别中的每个在单独的增强层中被单独地处理，一个或更多个增强层中的每个包括：
i)针对多个数据类别之一提供图像或视频的增强层表示；
ii)维持每个增强层中的增强层参考图片缓冲区；
ⅲ)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及
iv)执行运动或视差补偿。
EEE40.根据列举的示例实施例39所述的编码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。
EEE41.根据列举的示例实施例39或40所述的编码方法，其中，提供多个数据类别的图像或视频帧的基本层帧兼容表示包括：
将多个数据类别的图像或视频帧基本层采样和基本层复用为单个帧。
EEE42.根据列举的示例实施例39至41中的任一项所述的编码方法，其中，基本层处理符合多个现有的视频编解码器之一。
EEE43.根据列举的示例实施例42所述的编码方法，其中，多个现有的视频编解码器包括H.264/AVC、VP8和VC-1。
EEE44.根据列举的示例实施例41至43中的任一项所述的编码方法，其中，基本层处理的采样包括：对该多个数据类别的图像或视频帧进行对称或非对称滤波。
EEE45.根据列举的示例实施例41至44中的任一项所述的编码方法，其中，基本层采样包括水平采样、垂直采样或梅花形采样。
EEE46.根据列举的示例实施例41至45中的任一项所述的编码方法，其中，基本层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。
EEE47.根据列举的示例实施例40至46中的任一项所述的编码方法，其中，基本层处理还包括：对多个视点的图像或视频帧的等量或不等量的样本进行处理。
EE48.根据列举的示例实施例40至47中的任一项所述的编码方法，其中，增强层处理采用混合视频编码模型，混合视频编码模型符合多个现有的编解码器中的任一个。
EEE49.根据列举的示例实施例48所述的编码方法，其中，多个现有的编解码器包括VC-1和H.264/AVC。
EEE50.根据列举的示例实施例39至49中的任一项所述的编码方法，其中，运动或视差补偿的执行基于存储在增强层参考图片缓冲区中的至少一个图像。
EEE51.根据列举的示例实施例39至49中的任一项所述的编码方法，其中，增强层处理还包括：
对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；
将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。
EEE52.根据列举的示例实施例51所述的编码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。
EEE53.根据列举的示例实施例52所述的编码方法，其中，对一个或更多个增强层中的每个的BL至EL处理是由单个处理单元处理的，所述处理单元共同执行和优化对至少一个基本层已解码帧兼容图像的参考处理、解复用和上采样。
EEE54.根据列举的示例实施例39至53中的任一项所述的编码方法，其中，增强层处理还包括：
对存储在不同的增强层中的增强层参考图片缓冲区中的至少一个参考图像进行增强层至增强层(EL至EL)处理；
将经EL至EL处理的至少一个增强层参考图像存储在该至少一个增强层参考图像的至少一个增强层参考图片缓冲区中。
EEE55.根据列举的示例实施例51至54中的任一项所述的编码方法，其中，BL至EL处理还包括：将经BL至EL处理的至少一个基本层解码帧兼容图像重新缩放至目标空间分辨率。
EEE56.根据列举的示例实施例54或55所述的编码方法，其中，EL至EL处理还包括：将经EL至EL处理的至少一个增强层参考图像重新缩放至目标空间分辨率。
EEE57.根据列举的示例实施例1所述的编码方法，其中，提供多个数据类别的图像或视频帧的增强层帧兼容表示包括：
对多个数据类别的原始全分辨率图像的差分图像和至少一个基本层至增强层(BL至EL)预测进行滤波、采样和复用。
EEE58.根据列举的示例实施例57所述的编码方法，其中，BL至EL预测通过对来自所述基本层的至少一个帧兼容已解码图片进行解复用和参考处理来获得。
EEE59.根据列举的示例实施例58所述的编码方法，其中，所述解复用和参考处理还包括：滤波、插值或重新缩放。
EEE60.根据列举的示例实施例57所述的编码方法，其中，针对所述多个数据类别中的每个执行所述运动或视差补偿。
EEE61.根据列举的示例实施例39所述的编码方法，其中，针对多个数据类别之一提供图像或视频的增强层表示包括：针对多个数据类别中的一个，获取至少一个原始的全分辨率图像的至少一个差分图像和至少一个基本层至增强层(BL至EL)预测。
EEE62.根据列举的示例实施例61所述的编码方法，其中，所述至少一个BL至EL预测通过对来自基本层的至少一个帧兼容已解码图片进行解复用和参考处理来获得。
EEE63.根据列举的示例实施例62所述的编码方法，其中，解复用和参考处理还包括：滤波、插值或重新缩放。
EEE64.一种用于多层帧兼容视频传输的解码方法，包括：
a)通过基本层对多个基本层比特流信号进行基本层处理，包括：
i)提供至少一个帧兼容基本层解码图像或视频帧；以及
b)通过一个或更多个增强层对多个增强比特流信号进行增强层处理，包括：
i)针对多个数据类别提供至少一个增强层已解码图像或视频帧；
ii)维持至少一个增强层参考图片缓冲区；
ⅲ)针对对于基本层或不同的增强层的至少一个依赖关系进行参考处理；以及
iv)执行视差补偿，
其中，在相同的增强层中对所有的多个数据类别进行解码和处理。
EEE65.根据列举的示例实施例64所述的解码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。
EEE66.根据列举的示例实施例64或65所述的解码方法，其中，基本层处理符合多个现有的视频编解码器之一。
EEE67.根据列举的示例实施例66所述的解码方法，其中，多个现有的视频编解码器包括H.264/AVC、VP8和VC-1。
EEE68.根据列举的示例实施例64至67中的任一项所述的解码方法，其中，增强层处理采用混合视频编码模型，混合视频编码模型符合多个现有的编解码器中的任一个。
EEE69.根据列举的示例实施例68所述的解码方法，其中，多个现有的编解码器包括VC-1和H.264/AVC。
EEE70.根据列举的示例实施例64至69中的任一项所述的解码方法，其中，增强层处理还包括：
通过根据相同的图像或帧中的样本或根据相同的增强层中的之前的已解码帧的样本预测至少一个预测图像来生成至少一个参考图像或视频帧，以及
将至少一个参考图像或视频帧存储在至少一个增强层参考图片缓冲区中。
EEE71.根据列举的示例实施例70所述的解码方法，其中，生成至少一个参考图像或视频帧还包括：对从多个增强比特流信号解码的至少一个图像与至少一个预测图像之和进行解复用和参考处理。
EEE72.根据列举的示例实施例71所述的解码方法，其中，解复用还包括：对至少一个预测残差图像与至少一个预测图像之和进行上采样和插值。
EEE73.根据列举的示例实施例65至72中的任一项所述的解码方法，其中，至少一个增强层参考图片缓冲区之一以与所述至少一个增强层参考图片缓冲区中的其余缓冲区不同的分辨率来存储图像或视频帧。
EEE74.根据列举的示例实施例64至73中的任一项所述的解码方法，其中，所述增强层处理还包括：
所述多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；
将所选择的至少一个参考图像增强层采样和增强层复用为至少一个帧兼容图像；以及
基于至少一个帧兼容图像执行视差补偿或帧间预测。
EEE75.根据列举的示例实施例73或74所述的解码方法，其中，增强层处理还包括：
对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；
将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。
EEE76.根据列举的示例实施例75所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。
EEE77.根据列举的示例实施例76所述的解码方法，其中，BL至EL处理还包括：对至少一个基本层已解码帧兼容图像进行滤波、放大和插值。EEE78.根据列举的示例实施例75至77中的任一项所述的解码方法，其中，所述增强层处理还包括从相应的编码器接收与BL至EL处理有关的信息。
EEE79.根据列举的示例实施例75至78中的任一项所述的解码方法，其中，基本层处理和增强层处理以不同的空间分辨率对图像进行处理。
EEE80.根据列举的示例实施例79所述的解码方法，其中，BL至EL处理包括：
对至少一个基本层已解码帧兼容图像进行解复用；
对经解复用的至少一个基本层已解码帧兼容图像进行插值；以及
将经插值和解复用的至少一个基本层已解码帧兼容图像重新缩放至目标空间分辨率。
EEE81.根据列举的示例实施例79所述的解码方法，其中，BL至EL处理包括：
对至少一个基本层已解码帧兼容图像进行解复用；
将经解复用的至少一个基本层已解码帧兼容图像重新缩放至不同的空间分辨率；以及
将经解复用和重新缩放的至少一个基本层已解码帧兼容图像插值至目标空间分辨率。
EEE82.根据列举的示例实施例81所述的解码方法，还包括：将经解复用和重新缩放的至少一个基本层已解码帧兼容图像滤波至目标空间分辨率。
EEE83.根据列举的示例实施例64至82中的任一项所述的解码方法，其中，增强层处理还包括：通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。
EEE84.根据列举的示例实施例83所述的解码方法，其中，根据MMCO的一个或更多个集合，使至少一个增强层参考图片缓冲区中的每个同步。
EEE85.根据列举的示例实施例83或84所述的解码方法，其中，增强层处理还包括：从相应的编码器接收与所述MMCO有关的信息。
EEE86.根据列举的示例实施例64至67中的任一项所述的解码方法，其中，增强层处理还包括：
针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；
通过基于至少一个参考图像执行视差补偿或帧间预测来获取多个数据类别中的每个的至少一个补偿图像；以及
将所述至少一个补偿图像增强层采样和增强层复用为至少一个帧兼容图像。
EEE87.根据列举的示例实施例86所述的解码方法，其中，增强层处理还包括：通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。
EEE88.根据列举的示例实施例87所述的解码方法，其中，增强层处理还包括从相应的编码器接收与MMCO有关的信息。
EEE89.一种用于多层帧兼容视频传输的解码方法，包括：
a)通过基本层对通过基本层的多个基本层比特流信号进行基本层处理，包括：
i)提供至少一个帧兼容基本层解码图像或视频帧；以及
b)通过一个或更多个增强层，对多个数据类别的、通过一个或更多个增强层的多个增强比特流信号进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括：
i)针对多个数据类别之一提供至少一个增强层已解码图像或视频帧；
ii)维持至少一个增强层参考图片缓冲区；
ⅲ)对对于基本层或不同的增强层的至少一个依赖性进行参考处理；以及
iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。
EEE90.根据列举的示例实施例89所述的解码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。
EEE91.根据列举的示例实施例89或90所述的解码方法，其中，基本层处理符合多个现有的视频编解码器之一。
EEE92.根据列举的示例实施例91所述的解码方法，其中，多个现有的视频编解码器包括H.264/AVC、VP8和VC-1。
EEE93.根据列举的示例实施例89至92中的任一项所述的解码方法，其中，编码层处理采用混合视频编码模型，所述混合视频编码模型符合多个现有的编解码器中的任一个。
EEE94.根据列举的示例实施例93所述的解码方法，其中，多个现有的编解码器包括VC-1和H.264/AVC。
EEE95.根据列举的示例实施例89至94中的任一项所述的解码方法，其中，运动或视差补偿的执行基于存储在增强层参考图片缓冲区中的至少一个图像。
EEE96.根据列举的示例实施例89至95中的任一项所述的解码方法，其中，增强层处理还包括：
对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；
将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。
EEE97.根据列举的示例实施例96所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。
EEE98.根据列举的示例实施例97所述的解码方法，其中，对一个或更多个增强层中的每个的BL至EL处理是由单个处理单元处理的，该处理单元共同执行和优化对至少一个基本层已解码帧兼容图像的参考处理、解复用和上采样。
EEE99.根据列举的示例实施例89至98中的任一项所述的解码方法，其中，增强层处理还包括：
对存储在不同的增强层中的增强层参考图片缓冲区中的至少一个参考图像进行增强层至增强层(EL至EL)处理；
将经EL至EL处理的至少一个增强层参考图像存储在该至少一个增强层参考图像的至少一个增强层参考图片缓冲区中。
EEE100.根据列举的示例实施例89至99中的任一项所述的解码方法，其中，BL至EL处理还包括：将经BL至EL处理的至少一个基本层已解码帧兼容图像重新缩放至目标空间分辨率。
EEE101.根据列举的示例实施例99或100所述的解码方法，其中，EL至EL处理还包括：将经EL至EL处理的至少一个增强层参考图像重新缩放至目标空间分辨率。
EEE102.根据列举的示例实施例89所述的解码方法，其中，针对多个数据类别提供至少一个增强层已解码图像或视频帧包括：
将存储在至少一个增强层参考图片缓冲区中的参考图像添加到至少一个基本层至增强层(BL至EL)预测。
EEE103.根据列举的示例实施例102所述的解码方法，其中，所述至少一个BL至EL预测通过对存储在基本层的参考图片缓冲区中的至少一个帧兼容已解码图片进行解复用和参考处理来获得。
EEE104.根据列举的示例实施例102所述的解码方法，其中，针对多个数据类别中的每个执行视差补偿。
EEE105.根据列举的示例实施例89所述的解码方法，其中，针对多个数据类别之一提供至少一个增强层已解码图像或视频帧包括：将存储在至少一个增强层参考图片缓冲区中的参考图像添加到至少一个基本层至增强层(BL至EL)预测。
EEE106.根据列举的示例实施例105所述的解码方法，其中，至少一个BL至EL预测通过对存储在基本层的参考图片缓冲区中的至少一个帧兼容已解码图片进行解复用和参考处理来获得。
EEE107.根据列举的示例实施例106所述的解码方法，其中，解复用和参考处理还包括：滤波、插值或重新缩放。
EEE108.一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的编码器。
EEE109.一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的装置。
EEE110.一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的系统。
EEE111.一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的解码器。
EEE112.一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的装置。
EEE113.一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的系统。
EEE114.一种包括指令的集合的计算机可读介质，所述指令的集合使得计算机执行根据列举的示例实施例1至107、117以及118中的一个或更多个中所述的方法。
EEE115.一种将根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法用于对至少一个图像或视频帧进行编码的用途。
EEE116.一种将根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法用于对至少一个图像或视频帧进行解码的用途。
EEE117.根据列举的示例实施例1至38中的任一项所述的编码方法，其中，所述至少一个增强层参考图片缓冲区包括至少两个增强层参考缓冲区。
EEE118.根据列举的示例实施例64至88中的任一项所述的解码方法，其中，所述至少一个增强层参考图片缓冲区包括至少两个增强层参考缓冲区。
本说明书中所提到的所有的专利和出版物可以表示与本公开相关的领域的普通技术人员的水平。本公开中所引用的所有参考文献通过引用而被合并，所引用的程度如同单独将每个文献的全部内容通过引用而合并。
提供以上阐述的示例，以向本领域普通技术人员给出对如何做出与使用本公开的用于多层帧兼容视频传输的实施例的完整的公开和描述，并且不意在将发明人考虑的范围限制为其公开内容。本领域普通技术人员可以使用用于执行本公开的上述模式的修改，并且这些修改意在在所附权利要求的范围内。本说明书中所提到的所有专利与出版物可以表示与本公开内容相关的领域的普通技术人员的水平。本公开内容中所引用的所有参考文献通过引而被合并，所引用的程度如同单独将每个文献的全部内容通过引用而合并。
应当理解，本公开不限于具体的方法或系统，其当然可以变化。还应当理解，本文中所使用的术语仅出于描述具体实施例的目的，无意成为限制。如在本说明书和所附权利要求所使用的，除非内容另外清楚地指出，否则单数形式“一个(a)”、“一个(an)”和“该(the)”包括多个指代对象。除非内容另外清楚地指出，否则用语“多个”包括两个或更多个对象。除非另有定义，否则本文中所使用的所有的技术和科学术语具有与本公开相关的领域的普通技术人员所通常理解的含义相同的含义。
已经对本公开的大量的实施例进行了描述。然而，应当理解，可以在不偏离本公开的精神和范围的前提下做出各种修改。因此，其他实施例在所附权利要求的范围内。
参考文献列表
[1]D.C.Hutchison,"Introducing DLP 3-D TV",http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf
[2]Advancedvideo coding for generic audiovisual services,http://www.itu.int/rec/recommendation.asp？type＝folders&lang＝e&parent＝T-REC-H.264,2010年3月.
[3]SMPTE 421M,"VC-1Compressed Video Bitstream Format and DecodingProcess",2006年4月.
[4]A.Tourapis,P.Pahalawatta,A.Leontaris,K.Stec,and W.Husak,"Encodingand Decoding Architecture for Format Compatible 3D Video Delivery,"美国临时专利申请No.61/223,027,2009年7月.
[5]A.Leontaris,A.Tourapis,and P.Pahalawatta,"Enhancement Methods forSampled and Multiplexed Image and Video Data,"美国临时专利申请No.61/365,743,2010年7月.
[6]A.Tourapis,A.Leontaris,P.Pahalawatta,andK.Stec,"DirectedInterpolation/Postprocessing methods for video encoded data,"美国临时专利申请No.61/170,995,2009年4月.
[7]P.Pahalawatta,A.Tourapis,W.Husak,"Systems andMethods for Multi-Layered Image andVideo Delivery Using Reference Processing Signals",美国临时专利申请No.61/362,661,2010年7月.

Claims (5)

1.一种用于多层帧兼容视频传输的解码方法，所述方法包括：
在包括一个或更多个处理器的解码器中，
接收包括以多层格式编码的输入帧的输入视频信号，其中所述多层格式包括：编码基本层帧，包括以并排打包布置交织的第一视点的偶数列和第二视点的奇数列；编码增强层帧，包括以并排打包布置交织的所述第一视点的奇数列和所述第二视点的偶数列；
对所述编码基本层帧进行解码和解包以生成解码基本层第一视点和解码基本层第二视点；
对所述编码增强层帧进行解码和解包以生成解码增强层第一视点和解码增强层第二视点；以及
对所述解码基本层第一视点或所述解码基本层第二视点进行上采样以生成帧兼容格式的输出帧，
其中，对所述编码增强层帧进行解码和解包还包括：
对所述编码基本层帧进行解码以生成解码基本层帧；
应用基本层至增强层预测器以生成增强层预测帧；
对所述增强层预测帧进行解包以生成增强层预测第一视点和增强层预测第二视点；以及
基于所述增强层预测第一视点和所述增强层预测第二视点生成所述解码增强层第一视点和所述解码增强层第二视点。
2.根据权利要求1所述的方法，还包括：
将所述解码基本层第一视点和所述解码增强层第一视点进行组合以生成第一三维视点；以及
将所述解码基本层第二视点和所述解码增强层第二视点进行组合以生成第二三维视点。
3.根据权利要求1所述的方法，其中，所述增强层帧的解码和解包使用第一参考图片缓冲区来生成所述解码增强层第一视点，使用第二参考图片缓冲区来生成所述解码增强层第二视点。
4.一种其上存储有程序的非暂态机器可读介质，当所述程序由处理器执行时，使得执行如下方法：
接收立体视频信号中的第一视点和第二视点；
对所述第一视点的偶数列和所述第二视点的奇数列进行采样和打包以生成并排打包布置的基本层帧；
对所述第一视点的奇数列和所述第二视点的偶数列进行采样和打包以生成并排打包布置的增强层帧；
对所述基本层帧进行编码以生成编码基本层帧；以及
对所述增强层帧进行编码以生成编码增强层帧，
其中，生成所述编码增强层帧还包括：
基于所述基本层帧生成并存储参考图片帧；
应用基本层至增强层预测器以基于所述基本层帧生成一个或更多个预测增强层帧；以及
基于所述一个或更多个预测增强层帧生成所述编码增强层帧。
5.一种用于使用处理器对比特流进行编码的方法，所述方法包括：
采用所述处理器接收立体视频信号中的第一视点和第二视点；
对所述第一视点的偶数列和所述第二视点的奇数列进行采样和打包以生成并排打包布置的基本层帧；
对所述第一视点的奇数列和所述第二视点的偶数列进行采样和打包以生成并排打包布置的增强层帧；
采用编码器对所述基本层帧进行编码以生成编码基本层帧；以及
采用所述编码器对所述增强层帧进行编码以生成编码增强层帧，
其中，生成所述编码增强层帧还包括：
基于所述基本层帧生成并存储参考图片帧；
应用基本层至增强层预测器以基于所述基本层帧生成一个或更多个预测增强层帧；以及
基于所述一个或更多个预测增强层帧生成所述编码增强层帧。
CN201610224073.8A 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法 Active CN105847780B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US36651210P 2010-07-21 2010-07-21
US61/366,512 2010-07-21
CN201180035724.4A CN103026706B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的系统及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180035724.4A Division CN103026706B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的系统及方法

Publications (2)

Publication Number Publication Date
CN105847780A CN105847780A (zh) 2016-08-10
CN105847780B true CN105847780B (zh) 2018-01-09

Family

ID=44629252

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610224073.8A Active CN105847780B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法
CN201180035724.4A Active CN103026706B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的系统及方法
CN201610224266.3A Active CN105847781B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法
CN201610224724.3A Active CN105812828B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法
CN201610224697.XA Active CN105812827B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201180035724.4A Active CN103026706B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的系统及方法
CN201610224266.3A Active CN105847781B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法
CN201610224724.3A Active CN105812828B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法
CN201610224697.XA Active CN105812827B (zh) 2010-07-21 2011-07-20 用于多层帧兼容视频传输的解码方法

Country Status (9)

Country Link
US (4) US8619852B2 (zh)
EP (2) EP3923571B1 (zh)
JP (6) JP5749340B2 (zh)
CN (5) CN105847780B (zh)
ES (1) ES2885250T3 (zh)
HK (2) HK1226568A1 (zh)
HU (1) HUE055506T2 (zh)
PL (1) PL2596637T3 (zh)
WO (1) WO2012012584A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
US9270871B2 (en) 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
WO2013090923A1 (en) 2011-12-17 2013-06-20 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
EP2613537A4 (en) * 2010-09-03 2014-08-06 Sony Corp DEVICE AND ENCODING METHOD, AND DEVICE, AND DECODING METHOD
MX2013002135A (es) * 2010-09-03 2013-04-03 Sony Corp Dispositivo de codificacion y metodo de codificacion, asi como dispositivo de decodificacion y metodo de decodificacion.
US8902976B2 (en) 2011-07-08 2014-12-02 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
WO2013033596A1 (en) 2011-08-31 2013-03-07 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
JP5813236B2 (ja) 2011-09-16 2015-11-17 ドルビー ラボラトリーズ ライセンシング コーポレイション フレーム互換なフル解像度立体視３ｄ圧縮および復元
EP2761877B8 (en) 2011-09-29 2016-07-13 Dolby Laboratories Licensing Corporation Dual-layer frame-compatible full-resolution stereoscopic 3d video delivery
TWI595770B (zh) 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
KR102559468B1 (ko) * 2012-01-19 2023-07-24 브이아이디 스케일, 인크. 비디오 코딩 기준 화상 목록들을 시그널링하고 구성하는 방법 및 장치
KR101654750B1 (ko) 2012-03-12 2016-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
EP2859724B1 (en) * 2012-06-22 2019-09-04 MediaTek Inc. Method and apparatus of adaptive intra prediction for inter-layer coding
CN102883120B (zh) * 2012-07-24 2016-07-20 冠捷显示科技（厦门）有限公司 一种双画面图像显示装置及控制方法
US20140092972A1 (en) * 2012-09-29 2014-04-03 Kiran Mukesh Misra Picture processing in scalable video systems
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
KR102550743B1 (ko) * 2012-12-04 2023-07-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 부호화 및 복호화 방법, 그를 이용한 장치
US9942545B2 (en) * 2013-01-03 2018-04-10 Texas Instruments Incorporated Methods and apparatus for indicating picture buffer size for coded scalable video
MX349993B (es) 2013-04-08 2017-08-22 Arris Entpr Llc Gestion de memoria intermedia individual en codificacion de video.
MX354337B (es) * 2013-04-15 2018-02-27 Rossato Luca Codificación y decodificación de señal compatible con versiones anteriores híbrida.
US9509999B2 (en) * 2013-06-11 2016-11-29 Qualcomm Incorporated Inter-layer prediction types in multi-layer video coding
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US9813736B2 (en) * 2013-09-27 2017-11-07 Qualcomm Incorporated Inter-view dependency type in MV-HEVC
US10783696B2 (en) 2014-04-05 2020-09-22 Sony Interactive Entertainment LLC Gradient adjustment for texture mapping to non-orthonormal grid
US9865074B2 (en) 2014-04-05 2018-01-09 Sony Interactive Entertainment America Llc Method for efficient construction of high resolution display buffers
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9836816B2 (en) 2014-04-05 2017-12-05 Sony Interactive Entertainment America Llc Varying effective resolution by screen location in graphics processing by approximating projection of vertices onto curved viewport
US9710957B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US9495790B2 (en) 2014-04-05 2016-11-15 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping to non-orthonormal grid
US9652882B2 (en) 2014-04-05 2017-05-16 Sony Interactive Entertainment America Llc Gradient adjustment for texture mapping for multiple render targets with resolution that varies by screen location
WO2015154004A1 (en) 2014-04-05 2015-10-08 Sony Computer Entertainment America Llc Method for efficient re-rendering objects to vary viewports and under varying rendering and rasterization parameters
US11302054B2 (en) 2014-04-05 2022-04-12 Sony Interactive Entertainment Europe Limited Varying effective resolution by screen location by changing active color sample count within multiple render targets
EP3142313B1 (en) 2014-05-09 2020-12-09 Electronics and Telecommunications Research Institute Signal multiplexing apparatus using layered division multiplexing and signal multiplexing method
WO2015170819A1 (ko) * 2014-05-09 2015-11-12 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 신호 멀티플렉싱 장치 및 신호 멀티플렉싱 방법
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
FI20165547A (fi) 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10951874B2 (en) * 2016-09-02 2021-03-16 Mediatek Inc. Incremental quality delivery and compositing processing
CN106803958B (zh) * 2017-01-12 2019-12-27 同济大学 一种基于叠加调制编码的数模混合视频传输方法
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming
EP3915265A4 (en) 2019-03-01 2022-06-22 Beijing Bytedance Network Technology Co., Ltd. DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
US11928452B2 (en) * 2022-02-03 2024-03-12 Red Hat, Inc. Reducing the size of image files usable for deploying software in computing environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置
CN101715647A (zh) * 2007-06-20 2010-05-26 韩国电子通信研究院 发送和接收数字广播信号的方法和设备

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO174610C (no) 1988-02-23 1994-06-01 Philips Nv Innretning for rom/tidsbestemt sub-sampling av digitale videosignaler, som representerer en fölge av linjesprang el.sekvensielle bilder, system for transmisjon av höyopplösningstelevisjonsbilder innbefattende en slik innretning
JPH042276A (ja) 1990-04-19 1992-01-07 Fuji Photo Film Co Ltd 画像信号圧縮符号化装置
JP3517455B2 (ja) 1994-09-30 2004-04-12 キヤノン株式会社 画像符号化方法及び装置
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
EP1065881B1 (en) 1998-03-05 2008-07-09 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4104895B2 (ja) * 2002-04-25 2008-06-18 シャープ株式会社 立体画像符号化装置および立体画像復号装置
US20060023782A1 (en) * 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101491099B (zh) 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
JP5170786B2 (ja) * 2006-10-25 2013-03-27 韓國電子通信研究院 マルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置
KR102044130B1 (ko) 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
EP2143141A4 (en) * 2007-04-18 2011-04-13 Invisage Technologies Inc MATERIAL SYSTEMS AND METHOD FOR OPTOELECTRONIC ARRANGEMENTS
US8487982B2 (en) 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR20090004659A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CA2702488C (en) * 2007-10-15 2013-04-02 Qualcomm Incorporated Improved enhancement layer coding for scalable video coding
KR101533114B1 (ko) * 2007-10-19 2015-07-03 삼성전자주식회사 입체영상 데이터를 수록한 기록매체 및 상기 입체영상 데이터를 기록하는 방법
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
KR101727311B1 (ko) * 2008-04-25 2017-04-14 톰슨 라이센싱 깊이 정보에 기초한 디스패리티 예측을 구비한 다중 시점 비디오 코딩
CN106507117B (zh) 2008-07-20 2020-01-21 杜比实验室特许公司 立体视频传送系统的编码器优化的方法和设备
US9237327B2 (en) * 2008-09-23 2016-01-12 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
DK2371138T3 (da) * 2008-12-25 2012-12-17 Dolby Lab Licensing Corp Rekonstruktion af de-interleaved billeder ved anvendelse af adaptiv interpolation baseret på disparitet mellem billederne til op-sampling
CN104702960B (zh) * 2009-01-26 2018-01-02 汤姆森特许公司 用于视频解码的装置
KR20120015443A (ko) * 2009-04-13 2012-02-21 리얼디 인크. 향상된 해상도의 스테레오스코픽 비디오의 엔코딩, 디코딩 및 배포
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9078008B2 (en) * 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
EP2425631B1 (en) * 2009-04-27 2015-05-20 LG Electronics Inc. Broadcast receiver and 3d video data processing method thereof
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
CN103155568B (zh) * 2010-07-08 2016-07-27 杜比实验室特许公司 用于使用参考处理信号进行多层图像和视频传输的系统和方法
CN103262532B (zh) 2010-07-19 2018-03-09 杜比实验室特许公司 用于经采样复用的图像和视频数据的增强方法
CN105847780B (zh) * 2010-07-21 2018-01-09 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法
US9674519B2 (en) * 2012-11-09 2017-06-06 Qualcomm Incorporated MPEG frame compatible video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101518086A (zh) * 2006-07-20 2009-08-26 汤姆森特许公司 在多视图视频编码中用信号通知视图可分级性的方法和装置
CN101715647A (zh) * 2007-06-20 2010-05-26 韩国电子通信研究院 发送和接收数字广播信号的方法和设备

Also Published As

Publication number Publication date
JP5749340B2 (ja) 2015-07-15
EP3923571A1 (en) 2021-12-15
US20160381343A1 (en) 2016-12-29
HK1226568A1 (zh) 2017-09-29
ES2885250T3 (es) 2021-12-13
US20130114680A1 (en) 2013-05-09
CN105847781B (zh) 2018-03-20
US9479772B2 (en) 2016-10-25
CN105847780A (zh) 2016-08-10
HK1226569B (zh) 2017-09-29
EP2596637A1 (en) 2013-05-29
CN105812828A (zh) 2016-07-27
US20190068947A1 (en) 2019-02-28
JP6175534B2 (ja) 2017-08-02
JP6175535B2 (ja) 2017-08-02
WO2012012584A1 (en) 2012-01-26
US8619852B2 (en) 2013-12-31
JP5875634B2 (ja) 2016-03-02
CN105812827A (zh) 2016-07-27
JP2013538487A (ja) 2013-10-10
JP2016149801A (ja) 2016-08-18
JP6113782B2 (ja) 2017-04-12
JP2016149800A (ja) 2016-08-18
HUE055506T2 (hu) 2021-11-29
JP2014209746A (ja) 2014-11-06
PL2596637T3 (pl) 2021-12-13
CN105847781A (zh) 2016-08-10
US10142611B2 (en) 2018-11-27
JP2016036177A (ja) 2016-03-17
JP6175473B2 (ja) 2017-08-02
US11044454B2 (en) 2021-06-22
CN103026706B (zh) 2016-04-20
US20140111614A1 (en) 2014-04-24
CN105812828B (zh) 2018-09-18
CN103026706A (zh) 2013-04-03
EP3923571B1 (en) 2023-07-19
EP2596637B1 (en) 2021-08-04
JP2015167394A (ja) 2015-09-24
CN105812827B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN105847780B (zh) 用于多层帧兼容视频传输的解码方法
CN103999466B (zh) 多层交错帧相容增强分辨率视频传输
US9282343B2 (en) Multiview and bitdepth scalable video delivery
CN108293127A (zh) 用于视频编码和解码的装置、方法和计算机程序
TW201731289A (zh) 用於立體及自動立體顯示器之深度圖傳遞格式
US10097820B2 (en) Frame-compatible full-resolution stereoscopic 3D video delivery with symmetric picture resolution and quality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1227198

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1227198

Country of ref document: HK