CN103155571B - 译码立体视频数据 - Google Patents

译码立体视频数据 Download PDF

Info

Publication number
CN103155571B
CN103155571B CN201180045415.5A CN201180045415A CN103155571B CN 103155571 B CN103155571 B CN 103155571B CN 201180045415 A CN201180045415 A CN 201180045415A CN 103155571 B CN103155571 B CN 103155571B
Authority
CN
China
Prior art keywords
data
enhancement
view
layer
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180045415.5A
Other languages
English (en)
Other versions
CN103155571A (zh
Inventor
陈盈
王洪强
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103155571A publication Critical patent/CN103155571A/zh
Application granted granted Critical
Publication of CN103155571B publication Critical patent/CN103155571B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Abstract

在一个实例中，一种解码包含具有第一分辨率的基础层数据及具有所述第一分辨率的增强层数据的视频数据的方法包括解码所述基础层数据，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述方法还包括解码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。

Description

译码立体视频数据
技术领域
本发明涉及视频译码，且更明确地说，涉及立体视频数据的译码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似者。数字视频装置实施视频压缩技术(例如，在由MPEG-2、MPEG-4、ITU-TH.263或ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准及这些标准的扩展中所描述的视频压缩技术)，以更有效率地发射及接收数字视频信息。
视频压缩技术执行空间预测及/或时间预测以缩减或移除为视频序列所固有的冗余。对于以块为基础的视频译码，可将视频帧或片段分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测来编码经帧内译码(I)帧或片段中的宏块。经帧间译码(P或B)帧或片段中的宏块可使用关于同一帧或片段中的相邻宏块的空间预测或关于其它参考帧的时间预测。
一直在努力开发出基于H.264/AVC的新视频译码标准。一个此类标准为可缩放视频译码(SVC)标准，其为对H.264/AVC的可缩放扩展。另一标准为多视图视频译码(MVC)，其已成为对H.264/AVC的多视图扩展。JVT-AB204的“关于多视图视频译码的联合草案8.0(JointDraft8.0onMultiviewVideoCoding)”(2008年7月在德国汉诺威举办的第28届JVT会议)中描述MVC的联合草案，所述文献可在http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip处获得。JVT-AD007的“对ITU-TRec.H.264|ISO/IEC14496-10高级视频译码的编者修正草案-为ITU-TSG16AAP同意做准备(以综合形式)(Editors'draftrevisiontoITU-TRec.H.264|ISO/IEC14496-10AdvancedVideoCoding-inpreparationforITU-TSG16AAPConsent(inintegratedform))”(2009年2月在瑞士日内瓦举办的第30届JVT会议)中描述AVC标准的版本，所述文献可在http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip处获得。JVT-AD007文献将SVC及MVC整合于AVC规范中。
发明内容
一般来说，本发明描述用于支持立体视频数据(例如，用以产生三维(3D)效果的视频数据)的技术。为了产生视频的三维效果，可同时地或几乎同时地展示场景的两个视图，例如，左眼视图及右眼视图。本发明的技术包括形成具有基础层及一个或一个以上增强层的可缩放位流。举例来说，本发明的技术包括形成包括个别帧的基础层，每一帧具有用于场景的两个缩减分辨率视图的数据。也就是说，所述基础层的帧包括用于来自所述场景的稍微不同的水平透视的两个图像的数据。因此，所述基础层的帧可被称为经封装帧。除了所述基础层以外，本发明的技术还包括形成对应于所述基础层的一个或一个以上视图的全分辨率表示的一个或一个以上增强层。所述增强层可被层间预测(例如，相对于用于所述基础层的同一视图的视频数据)且/或被视图间预测(例如，相对于用于与所述增强层的视图一起形成立体视图对的所述基础层的另一视图的视频数据，或相对于不同增强层的视频数据)。所述增强层中的至少一者仅含有所述立体视图中的一者的经译码信号。
在一个实例中，一种解码包含基础层数据及增强层数据的视频数据的方法包括解码具有第一分辨率的基础层数据，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述方法还包括解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。所述方法还包括组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者。
在另一实例中，一种用于解码包含基础层数据及增强层数据的视频数据的设备包括视频解码器。在此实例中，所述视频解码器经配置以解码具有第一分辨率的基础层数据，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述视频解码器还经配置以解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。所述视频解码器还经配置以组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者。
在另一实例中，一种用于解码包含基础层数据及增强层数据的视频数据的设备包括用于解码具有第一分辨率的基础层数据的装置，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述设备还包括用于解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据的装置，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。所述设备还包括用于组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者的装置。
在另一实例中，一种包含上面存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在执行时致使用于解码具有基础层数据及增强层数据的视频数据的装置的处理器解码具有第一分辨率的基础层数据，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述指令还致使所述处理器解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。所述指令还致使所述处理器组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者。
在另一实例中，一种编码包含基础层数据及增强层数据的视频数据的方法包括编码具有第一分辨率的基础层数据，其中所述基础层数据包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本。所述方法还包括编码具有第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据。
在另一实例中，一种用于编码包含场景的左视图及所述场景的右视图的视频数据的设备包括视频编码器，其中所述左视图具有第一分辨率且所述右视图具有所述第一分辨率。在此实例中，所述视频编码器经配置以编码包含所述左视图的相对于所述第一分辨率的缩减分辨率版本及所述右视图的相对于所述第一分辨率的缩减分辨率版本的基础层数据。所述视频编码器还经配置以编码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率。所述视频编码器还经配置以输出所述基础层数据及所述增强层数据。
在另一实例中，一种用于编码包含场景的左视图及所述场景的右视图的视频数据的设备包括用于编码包含所述左视图的相对于第一分辨率的缩减分辨率版本及所述右视图的相对于所述第一分辨率的缩减分辨率版本的基础层数据的装置，其中所述左视图具有所述第一分辨率且所述右视图具有所述第一分辨率。所述设备还包括用于编码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据的装置，其中所述增强数据具有所述第一分辨率。所述设备还包括用于输出所述基础层数据及所述增强层数据的装置。
在另一实例中，一种包含上面存储有指令的计算机可读存储媒体的计算机程序产品，所述指令在执行时致使用于编码视频数据的装置的处理器接收包含场景的左视图及所述场景的右视图的视频数据，其中所述左视图具有第一分辨率且所述右视图具有所述第一分辨率。所述指令还致使所述处理器编码包含所述左视图的相对于所述第一分辨率的缩减分辨率版本及所述右视图的相对于所述第一分辨率的缩减分辨率版本的基础层数据。所述指令还致使所述处理器编码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率。所述指令还致使所述处理器输出所述基础层数据及所述增强层数据。
附图说明
图1为说明实例视频编码及解码系统的框图，所述视频编码及解码系统可利用用于形成包括来自场景的两个视图的图片的可缩放多视图位流的技术。
图2A为说明可实施用于产生可缩放多视图位流的技术的视频编码器的实例的框图，所述可缩放多视图位流具有包括两个缩减分辨率图片的基础层，以及各自包括来自所述基础层的相应全分辨率图片的两个额外增强层。
图2B为说明可实施用于产生可缩放多视图位流的技术的视频编码器的另一实例的框图，所述可缩放多视图位流具有包括两个缩减分辨率图片的基础层，以及各自包括对应于所述基础层的相应全分辨率图片的两个额外增强层。
图3为说明视频解码器的实例的框图，所述视频解码器解码经编码视频序列。
图4为说明左眼视图图片及右眼视图图片的概念图，所述左眼视图图片及所述右眼视图图片由视频编码器组合以形成具有用于两个视图的缩减分辨率图片的基础层，以及所述左眼视图图片的全分辨率增强层。
图5为说明左眼视图图片及右眼视图图片的概念图，所述左眼视图图片及所述右眼视图图片由视频编码器组合以形成具有用于两个视图的缩减分辨率图片的基础层，以及所述右眼视图图片的全分辨率增强层。
图6为说明左眼视图图片及右眼视图图片的概念图，所述左眼视图图片及所述右眼视图图片由视频编码器组合以形成基础层、全分辨率左眼视图图片及全分辨率右眼视图图片。
图7为说明用于形成及编码可缩放多视图位流的实例方法的流程图，所述可缩放多视图位流包括具有两个不同视图的两个缩减分辨率图片的基础层，以及第一增强层及第二增强层。
图8为说明用于解码可缩放多视图位流的实例方法的流程图，所述可缩放多视图位流具有基础层、第一增强层及第二增强层。
具体实施方式
一般来说，本发明涉及用于支持立体视频数据(例如，用以产生三维视觉效果的视频数据)的技术。为了产生视频的三维视觉效果，同时地或几乎同时地展示场景的两个视图，例如，左眼视图及右眼视图。可从表示观看者的左眼与右眼之间的水平差别的稍微不同的水平位置俘获对应于所述场景的左眼视图及右眼视图的同一场景的两个图片。通过同时地或几乎同时地显示这两个图片，使得左眼视图图片被观看者的左眼感知且右眼视图图片被观看者的右眼感知，观看者可体验三维视频效果。
本发明提供用于形成包括具有多个经封装帧的基础层及一个或一个以上全分辨率增强层的可缩放多视图位流的技术。所述基础层的经封装帧中的每一者可对应于单一视频数据帧，所述帧具有用于对应于场景的不同视图(例如，“右眼视图”及“左眼视图”)的两个图片的数据。明确地说，本发明的技术可包括编码具有场景的左眼视图的缩减分辨率图片及所述场景的右眼视图的缩减分辨率图片的基础层，所述两个缩减分辨率图片被封装成一个帧且被编码。另外，本发明的技术包括以可缩放方式编码两个全分辨率增强层，每一全分辨率增强层包括基础层中所包括的立体对的一个视图。举例来说，除了基础层以外，本发明的技术还可包括编码具有右眼视图或左眼视图的全分辨率图片的第一增强层。本发明的技术还可包括编码具有另一相应视图(例如，未包括于第一增强层中的右眼视图或左眼视图)的全分辨率图片的第二增强层。根据本发明的一些方面，可以可缩放方式译码多视图位流。也就是说，接收可缩放多视图位流的装置可接收并利用仅基础层、基础层及一个增强层，或基础层及两个增强层。
在一些实例中，本发明的技术可针对于不对称经封装帧的使用。也就是说，在一些实例中，可将基础层与一个增强层组合以产生经译码于所述增强层中的用于一个视图的全分辨率图片，及经译码为所述基础层的一部分的用于另一视图的缩减分辨率图片。在不损失一般性的情况下，假设全分辨率图片(例如，来自第一增强层)为右眼视图且缩减分辨率图片为基础层的左眼视图部分。以此方式，目的地装置可上取样左眼视图以提供三维输出。再次，在此实例中，增强层可被层间预测(例如，相对于用于基础层中的左眼视图的数据)，且/或被视图间预测(例如，相对于用于基础层中的右眼视图的数据)。
本发明通常将图片称为视图的样本。本发明通常将帧称为包含一个或一个以上图片，所述帧将被译码为表示特定时间实例的存取单元的至少一部分。因此，帧可对应于视图的样本(即，单一图片)，或在经封装帧的情况下，包括来自多个视图的样本(即，两个或两个以上图片)。
另外，本发明通常提及可包括具有类似特性的一系列帧的“层”。根据本发明的方面，“基础层”可包括一系列经封装帧(例如，包括用于在单一时间实例处的两个视图的数据的帧)，且包括于经封装帧中的每一视图的每一图片可以缩减分辨率(例如，半分辨率)予以编码。根据本发明的方面，“增强层”可包括用于基础层的视图中的一者的数据，其可用以相对于独自地在基础层处解码数据以相对较高质量(例如，具有缩减失真)再生用于视图的全分辨率图片。根据一些实例，如上文所提到，可组合(增强层的)一个视图的全分辨率图片与来自基础层的另一视图的缩减分辨率图片以形成立体场景的不对称表示。
根据一些实例，基础层可顺应于H.264/AVC，这允许子取样两个图片且将其封装成单一帧以用于译码。另外，可关于基础层及/或关于另一增强层译码增强层。在一实例中，基础层可含有半分辨率第一图片(例如，“左眼视图”)及半分辨率第二图片(例如，“右眼视图”)，所述两个图片以特定帧封装布置(例如，上下式、并列式、交错行、交错列、梅花阵式(例如，“棋盘形”)或其它方式)封装成单一帧。另外，第一增强层可包括对应于基础层中所包括的图片中的一者的全分辨率图片，而第二增强层可包括对应于基础层中所包括的另一相应图片的另一全分辨率图片。
在一实例中，第一增强层可对应于基础层的第一视图(例如，左眼视图)，而第二增强层可对应于基础层的第二视图(例如，右眼视图)。在此实例中，第一增强层可包括从基础层的左眼视图进行层间预测及/或从基础层的右眼视图进行视图间预测的全分辨率帧。此外，第二增强层可包括从基础层的右眼视图进行层间预测及/或从基础层的左眼视图进行视图间预测的全分辨率帧。另外或替代地，第二增强层可包括从第一增强层进行视图间预测的全分辨率帧。
在另一实例中，第一增强层可对应于基础层的第二视图(例如，右眼视图)，而第二增强层可对应于基础层的第一视图(例如，左眼视图)。在此实例中，第一增强层可包括从基础层的右眼视图进行层间预测及/或从基础层的左眼视图进行视图间预测的全分辨率帧。此外，第二增强层可包括从基础层的左眼视图进行层间预测及/或从基础层的右眼视图进行视图间预测的全分辨率帧。另外或替代地，第二增强层可包括从第一增强层进行视图间预测的全分辨率帧。
本发明的技术包括根据允许接收装置(例如，具有解码器的客户端装置)接收并利用基础层、基础层及一个增强层或基础层及两个增强层的可缩放译码格式来译码数据。举例来说，各种客户端装置可能够利用同一表示的不同操作点。
明确地说，在操作点对应于仅基础层且客户端装置能够进行二维(2D)显示的实例中，客户端装置可解码基础层且舍弃与基础层的视图中的一者相关联的图片。也就是说，例如，客户端装置可显示与基础层的一个视图(例如，左眼视图)相关联的图片且舍弃与基础层的另一视图(例如，右眼视图)相关联的图片。
在操作点包括基础层且客户端装置能够进行立体或三维(3D)显示的另一实例中，客户端装置可解码基础层且显示与基础层相关联的两个视图的图片。也就是说，客户端装置可接收基础层，且根据本发明的技术，重构左眼视图及右眼视图的图片以用于显示。客户端装置可在显示基础层的左眼视图及右眼视图的图片之前上取样所述图片。
在另一实例中，操作点可包括所述基础层及一个增强层。在此实例中，具有2D“高清晰度”(HD)显示能力的客户端装置可接收所述基础层及一个增强层，且根据本发明的技术，仅重构来自所述增强层的全分辨率视图的图片。如本文中所使用，“高清晰度”可指代1920×1080个像素的原生分辨率，但应理解，构成“高清晰度”的分辨率是相对的，且还可将其它分辨率视为“高清晰度”。
在操作点包括所述基础层及一个增强层且客户端装置具有立体显示能力的另一实例中，客户端装置可解码并重构所述增强层的全分辨率视图的图片，以及所述基础层的相反视图的半分辨率图片。客户端装置可接着在显示之前上取样基础层的半分辨率图片。
在又一实例中，操作点可包括所述基础层及两个增强层。在此实例中，客户端装置可接收所述基础层及两个增强层，且根据本发明的技术，重构左眼视图及右眼视图的图片以用于3DHD显示。因此，客户端装置可利用增强层以提供与两个视图有关的全分辨率数据。因此，客户端装置可显示两个视图的原生全分辨率图片。
本发明的技术的可缩放性质允许各种客户端装置利用所述基础层、所述基础层及一个增强层或所述基础层及两个增强层。根据一些方面，能够显示单一视图的客户端装置可利用提供单一视图重构的视频数据。举例来说，此装置可接收所述基础层或所述基础层及一个增强层以提供单一视图表示。在此实例中，客户端装置可避免请求或在接收后随即舍弃与另一视图相关联的增强层数据。当装置未接收或解码第二视图的增强层数据时，装置可上取样来自基础层的一个视图的图片。
根据其它方面，能够显示一个以上视图的客户端装置(例如，三维电视、计算机、手持式装置或其类似者)可利用来自基础层、第一增强层及/或第二增强层的数据。举例来说，此装置可利用来自基础层的数据以使用处于第一分辨率的基础层的两个视图来产生场景的三维表示。或者，此装置可利用来自所述基础层及一个增强层的数据以产生场景的三维表示，其中场景的视图中的一者相比于场景的另一视图具有相对较高分辨率。或者，此装置可利用来自所述基础层及两个增强层的数据以产生场景的三维表示，其中两个视图均具有相对较高分辨率。
以此方式，多媒体内容的表示可包括三个层：具有用于两个视图(例如，左视图及右视图)的视频数据的基础层、用于所述两个视图中的一者的第一增强层，及用于所述两个视图中的另一者的第二增强层。如上文所论述，所述两个视图可形成立体视图对，因为可显示所述两个视图的数据以产生三维效果。根据本发明的技术，可从经译码于基础层中的对应视图及/或经译码于基础层中的相反视图中的任一者或两者预测第一增强层。可从经译码于基础层中的对应视图及/或第一增强层中的任一者或两者预测第二增强层。本发明将增强层从基础层的对应视图的预测称为“层间预测”，且将增强层从相反视图(不管是来自基础层还是来自另一增强层)的预测称为“视图间预测”。所述增强层中的任一者或两者可被层间预测及/或视图间预测。
本发明还提供用于在网络抽象层(NAL)处(例如，在NAL单元的补充增强信息(SEI)消息或序列参数集(SPS)中)发信号通知层相依性的技术。本发明还提供用于发信号通知(同一时间实例的)存取单元中的NAL单元的解码相依性的技术。也就是说，本发明提供用于发信号通知如何使用特定NAL单元以预测可缩放多视图位流的其它层的技术。在H.264/AVC(高级视频译码)的实例中，将经译码视频区段组织成NAL单元，所述NAL单元提供专注于例如视频电话、存储、广播或串流等应用的“网络友好性”视频表示。可将NAL单元分类为视频译码层(VCL)NAL单元及非VCLNAL单元。VCL单元可含有来自核心压缩引擎的输出，且可包括块、宏块及/或片段层级数据。其它NAL单元可为非VCLNAL单元。在一些实例中，一个时间实例中的经译码图片(通常呈现为主要经译码图片)可含于可包括一个或一个以上NAL单元的存取单元中。
在一些实例中，本发明的技术可应用于H.264/AVC编解码器，或基于高级视频译码(AVC)(例如，可缩放视频编码(SVC)、多视图视频译码(MVC)，或H.264/AVC的其它扩展)的编解码器。这些编解码器可经配置以在SEI消息与存取单元相关联时辨识SEI消息，其中SEI消息可以ISO基础媒体文件格式或MPEG-2系统位流包封于存取单元内。所述技术还可应用于未来译码标准，例如，H.265/HEVC(高效率视频译码)。
SEI消息可含有不为解码来自VCLNAL单元的经译码图片样本所必要的信息，但可帮助与解码、显示、错误恢复及其它目的有关的过程。SEI消息可含于非VCLNAL单元中。SEI消息为一些标准规范的规范性部分，且因此对于符合标准的解码器实施方案并非总是强制性的。SEI消息可为序列层级SEI消息或图片层级SEI消息。一些序列层级信息可含于SEI消息(例如，SVC的实例中的可缩放性信息SEI消息，及MVC中的视图可缩放性信息SEI消息)中。这些实例SEI消息可传达关于(例如)操作点的提取及操作点的特性的信息。
H.264/AVC提供帧封装SEI消息，其为指示用于包括两个图片(例如，场景的左视图及右视图)的帧的帧封装类型的编解码器层级消息。举例来说，支持各种类型的帧封装方法以用于两个帧的空间交错。所支持的交错方法包括棋盘式、列交错、行交错、并列式、上下式，及具有棋盘式上变频转换的并列式。在“信息技术-视听对象的译码-第10部分：高级视频译码，修正1：约束基线简档、立体高简档和帧封装布置SEI消息(Informationtechnology-Codingofaudio-visualobjects-Part10:AdvancedVideoCoding,AMENDMENT1:Constrainedbaselineprofile,stereohighprofileandframepackingarrangementSEImessage)”(N101303，ISO/IECJTC1/SC29/WG11的MPEG，中国西安，2009年10月)中描述帧封装SEI消息，所述文献并入到H.264/AVC标准的最新近的版本中。以此方式，H.264/AVC支持将左视图及右视图的两个图片交错成一个图片及将这些图片译码成视频序列。
本发明提供指示可用于经编码视频数据的操作点的操作点SEI消息。举例来说，本发明提供指示用于各种缩减分辨率及全分辨率层组合的操作点的操作点SEI消息。可基于对应于不同帧速率的不同时间子集来进一步分类这些组合。解码器可使用此信息来确定位流是否包括多个层，且将基础层适当地分离成两个视图及增强视图的构成图片。
另外，根据本发明的一些方面，本发明的技术包括提供针对H.264/AVC的序列参数集(“SPS”)扩展。举例来说，序列参数集可含有可用以解码相对大数目个VCLNAL单元的信息。序列参数集可应用于被称作经译码视频序列的一系列经连续译码图片。根据一些实例，本发明的技术可涉及提供SPS扩展以描述：(1)基础层中的左眼视图的图片的位置；(2)全分辨率增强层的次序(例如，左眼视图的图片是否在右眼视图的图片之前被编码，或反之亦然)；(3)全分辨率增强层的相依性(例如，增强层是从基础层还是从另一增强层进行预测的)；(4)用于单一视图图片的全分辨率的操作点的支持(例如，针对所述基础层及一个对应增强层的图片中的一者的支持)；(5)不对称操作点的支持(例如，针对包括帧的基础层的支持，所述帧具有用于一个视图的全分辨率图片及用于另一视图的缩减分辨率图片)；(6)层间预测的支持；及(7)视图间预测的支持。
图1为说明实例视频编码及解码系统的框图，所述视频编码及解码系统可利用用于形成包括来自场景的两个视图的图片的可缩放多视图位流的技术。如图1所示，系统10包括源装置12，其经由通信信道16将经编码视频发射到目的地装置14。源装置12及目的地装置14可包含广泛范围的装置中的任一者，例如固定或移动计算装置、机顶盒、游戏控制台、数字媒体播放器或其类似者。在一些情况下，源装置12及目的地装置14可包含无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可经由通信信道16传送视频信息的任何无线装置，在此情况下，通信信道16为无线的。
然而，涉及形成可缩放多视图位流的本发明的技术未必限于无线应用或设定。举例来说，这些技术可应用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码数字视频，或其它情形。因此，通信信道16可包含适于发射经编码视频数据的无线或有线媒体的任何组合。
在图1的实例中，源装置12包括视频源18、视频编码器20、调制器/解调器(调制解调器)22及发射器24。目的地装置14包括接收器26、调制解调器28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于形成可缩放多视图位流(例如，基础层及一个或一个以上增强层(例如，两个增强层))的技术。举例来说，基础层可包括用于两个图片的经译码数据，每一图片来自场景的不同视图(例如，左眼视图及右眼视图)，其中视频编码器20缩减两个图片的分辨率且将所述图片组合成单一帧(例如，每一图片为全分辨率帧的分辨率的一半)。第一增强层可包括用于基础层的视图中的一者的全分辨率表示的经译码数据，而第二增强层可包括用于基础层的另一相应视图的全分辨率的经译码数据。
明确地说，视频编码器20可实施视图间预测及/或层间预测以相对于基础层编码增强层。举例来说，假定视频编码器20正编码对应于基础层的左眼视图的图片的增强层。在此实例中，视频编码器20可实施层间预测方案以从基础层的左眼视图的对应图片预测增强层。在一些实例中，视频编码器20可在预测增强层的图片之前重构基础层的左眼视图的图片。举例来说，视频编码器20可在预测增强层的图片之前上取样基础层的左眼视图的图片。视频编码器20可通过基于经重构基础层执行层间纹理预测或通过基于基础层的运动向量执行层间运动预测来执行层间预测。另外或替代地，视频编码器20可实施视图间预测方案以从基础层的右眼视图的图片预测增强层。在此实例中，视频编码器20可在执行针对增强层的视图间预测之前重构基础层的右眼视图的全分辨率图片。
除了对应于基础层的左眼视图的全分辨率图片的增强层以外，视频编码器20还可编码对应于基础层的右眼视图的全分辨率图片的另一增强层。根据本发明的一些方面，视频编码器20可使用关于基础层的视图间预测及/或层间预测来预测右眼视图的增强层图片。另外，视频编码器20可使用关于另一经先前产生增强层(例如，与左眼视图对应的增强层)的视图间预测来预测右眼视图的增强层图片。
在其它实例中，源装置及目的地装置可包括其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包括集成显示装置。
图1的所说明系统10仅仅为一个实例。可由任何数字视频编码及/或解码装置执行用于产生可缩放多视图位流的技术。虽然通常由视频编码装置执行本发明的技术，但还可由视频编码器/解码器(通常被称为“编解码器”)执行所述技术。此外，还可由视频预处理器或视频后处理器(例如，文件包封单元、文件解包封单元、视频多路复用器或视频多路分用器)执行本发明的技术的方面。源装置12及目的地装置14仅仅为这些译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，装置12、14可以大致上对称方式进行操作，使得装置12、14中的每一者包括视频编码及解码组件。因此，系统10可支持在装置12、14之间的单向或双向视频发射，例如，对于视频串流、视频重放、视频广播、视频游戏或视频电话。
源装置12的视频源18可包括例如摄像机等视频俘获装置、含有经先前俘获视频的视频档案，及/或来自视频内容提供者的视频馈送。作为另一替代方案，视频源18可产生以计算机图形为基础的数据以作为源视频，或实况视频、经存档视频及经计算机产生视频的组合。在一些情况下，如果视频源18为摄像机，则源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术一般来说可适用于视频译码，且可应用于由移动计算装置或通常由非移动计算装置执行的无线及/或有线应用。在任何情况下，可由视频编码器20编码经俘获、经预俘获或经计算机产生的视频。
视频源18可将来自两个或两个以上视图的图片提供到视频编码器20。可从稍微不同的水平位置同时地或几乎同时地俘获同一场景的两个图片，使得所述两个图片可用以产生三维效果。或者，视频源18(或源装置12的另一单元)可使用深度信息或差别信息来从第一视图的第一图片产生第二视图的第二图片。深度或差别信息可由俘获第一视图的相机确定，或可从第一视图中的数据计算。
MPEG-C第3部分提供用于将图片的深度图包括于视频流中的规定格式。所述规范被描述于“辅助视频和补充信息的ISO/IECFDIS23002-3表示的文本(TextofISO/IECFDIS23002-3RepresentationofAuxiliaryVideoandSupplementalInformation)”(ISO/IECJTC1/SC29/WG11，MPEG文献，N81368，摩洛哥马拉喀什，2007年1月)中。在MPEG-C第3部分中，辅助视频可为深度图或视差图。当表示深度图时，MPEG-C第3部分可在用以表示深度图的每一深度值及分辨率的位的数目方面提供灵活性。举例来说，所述图可为由所述图描述的图像的宽度的四分之一及图像的高度的二分之一。所述图可经译码为单色视频样本，例如，在仅具有亮度分量的H.264/AVC位流内。或者，如H.264/AVC中所定义，所述图可经译码为辅助视频数据。在本发明的上下文中，深度图或视差图可具有与主要视频数据相同的分辨率。虽然H.264/AVC规范当前未规定使用辅助视频数据来译码深度图，但可结合用于使用此深度图或视差图的技术来使用本发明的技术。
可接着由调制解调器22根据通信标准来调制经编码视频信息，且经由发射器24将所述信息发射到目的地装置14。调制解调器22可包括各种混频器、滤波器、放大器，或经设计以用于信号调制的其它组件。发射器24可包括经设计以用于发射数据的电路，包括放大器、滤波器及一个或一个以上天线。
目的地装置14的接收器26经由信道16接收信息，且调制解调器28解调所述信息。再次，视频编码过程可实施本文中所描述的技术中的一者或一者以上来提供可缩放多视图位流。也就是说，视频编码过程可实施此处所描述的技术中的一者或一者以上来提供位流，所述位流具有包括两个视图的缩减分辨率图片的基础层，以及包括所述基础层的视图的对应全分辨率图片的两个增强层。
经由信道16传送的信息可包括由视频编码器20定义的语法信息，所述信息还被视频解码器30使用，所述信息包括描述宏块及其它经译码单元(例如，GOP)的特性及/或处理的语法元素。因此，视频解码器30可将基础层解封装成视图的构成图片，解码所述图片，且将缩减分辨率图片上取样到全分辨率。视频解码器30还可确定用以编码一个或一个以上增强层(例如，预测方法)及解码一个或一个以上增强层以产生包括于基础层中的一个或两个视图的全分辨率图片的方法。显示装置32可向用户显示经解码图片。
显示装置32可包含多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。显示装置32可同时地或几乎同时地显示来自多视图位流的两个图片。举例来说，显示装置32可包含能够同时地或几乎同时地显示两个视图的立体三维显示装置。
用户可佩戴主动式眼镜以快速地且交替地遮挡左透镜及右透镜，使得显示装置32可与主动式眼镜同步地在左视图与右视图之间快速地切换。或者，显示装置32可同时地显示两个视图，且用户可佩戴被动式眼镜(例如，具有偏光透镜)，其对所述视图进行滤波以致使适当视图传到用户的眼睛。作为又一实例，显示装置32可包含不需要眼镜的自动立体显示器。
在图1的实例中，通信信道16可包含任何无线或有线通信媒体，例如射频(RF)频谱或一个或一个以上物理传输线，或无线媒体与有线媒体的任何组合。通信信道16可形成以包为基础的网络(例如，局域网、广域网，或例如因特网等全球网)的一部分。通信信道16通常表示用于将视频数据从源装置12发射到目的地装置14的任何合适通信媒体或不同通信媒体的集合，包括有线或无线媒体的任何合适组合。通信信道16可包括路由器、交换器、基站，或可有用于促进从源装置12到目的地装置14的通信的任何其它设备。
视频编码器20及视频解码器30可根据视频压缩标准(例如，ITU-TH.264标准，替代地被称为MPEG-4第10部分高级视频译码(AVC))来操作。然而，本发明的技术不限于任何特定译码标准。其它实例包括MPEG-2及ITU-TH.263。虽然图1中未展示，但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包括适当多路复用器-多路分用器单元或其它硬件及软件以处置共同数据流或分离数据流中的音频及视频两者的编码。在适用时，多路复用器-多路分用器单元可遵守ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
ITU-TH.264/MPEG-4(AVC)标准被ITU-T视频译码专家小组(VCEG)连同ISO/IEC移动图片专家小组(MPEG)一起阐明为被称为联合视频团队(JVT)的集体合作伙伴的产品。在一些方面中，本发明中所描述的技术可应用于通常遵守H.264标准的装置。H.264标准被描述于由ITU-T研究小组提出且日期为2005年3月的ITU-T建议案H.264“用于通用视听服务的高级视频译码”中，所述标准在本文中可被称为H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频团队(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
本发明的技术可包括对H.264/AVC标准的修改型扩展。举例来说，视频编码器20及视频解码器30可利用修改型可缩放视频编码(SVC)、多视图视频译码(MVC)，或H.264/AVC的其它扩展。在一实例中，本发明的技术包括被称为“多视图帧兼容”(“MFC”)的H.264/AVC扩展，其包括“基础视图”(例如，在本文中被称为基础层)及一个或一个以上“增强视图”(例如，在本文中被称为增强层)。也就是说，MFC扩展的“基础视图”可包括场景的两个视图的缩减分辨率图片，所述两个图片以稍微不同的水平透视被俘获，但在时间上同时地或几乎同时地被俘获。因而，MFC扩展的“基础视图”实际上可包括来自如本文中所描述的多个“视图”(例如，左眼视图及右眼视图)的图片。另外，MFC扩展的“增强视图”可包括“基础视图”中所包括的视图中的一者的全分辨率图片。举例来说，MFC扩展的“增强视图”可包括“基础视图”的左眼视图的全分辨率图片。MFC扩展的另一“增强视图”可包括“基础视图”的右眼视图的全分辨率图片。
视频编码器20及视频解码器30各自可实施为多种合适编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包括于一个或一个以上编码器或解码器中，所述编码器或解码器中的任一者可在相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器或其类似者中集成为组合式编码器/解码器(编解码器)的一部分。
视频序列通常包括一系列视频帧。图片群组(GOP)通常包含一系列一个或一个以上视频帧。GOP可在GOP的标头中、在GOP的一个或一个以上帧的标头中或在别处包括语法数据，所述语法数据描述包括于GOP中的数个帧。每一帧可包括描述用于相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧内的视频块进行操作，以便编码视频数据。视频块可对应于宏块或宏块的分割区。视频块可具有固定或变化大小，且可根据规定译码标准而在大小上不同。每一视频帧可包括多个片段。每一片段可包括多个宏块，所述多个宏块可经布置成还被称为子块的分割区。
作为实例，ITU-TH.264标准支持以各种块大小(例如，用于明度分量的16乘16、8乘8或4乘4，及用于色度分量的8×8)的帧内预测，以及以各种块大小(例如，用于明度分量的16×16、16×8、8×16、8×8、8×4、4×8及4×4，及用于色度分量的对应经缩放大小)的帧间预测。在本发明中，“N×N”与“N乘N”可互换地用以指代在垂直尺寸及水平尺寸上块的像素尺寸，例如，16×16个像素或16乘16个像素。一般来说，16×16块在垂直方向上将具有16个像素(y=16)且在水平方向上将具有16个像素(x=16)。同样地，N×N块通常在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。可按行及列来布置块中的像素。此外，块未必需要在水平方向上具有数目与在垂直方向上的像素的数目相同的像素。举例来说，块可包含N×M个像素，其中M未必等于N。
小于16乘16的块大小可被称为16乘16宏块的分割区。视频块可包含在像素域中的像素数据块，或在变换域中的变换系数块，例如，在将例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换应用于表示经译码视频块与预测性视频块之间的像素差的残余视频块数据之后。在一些情况下，视频块可包含在变换域中的经量化变换系数块。
较小视频块可提供较好分辨率，且可用于视频帧的包括高细节水平的位置。一般来说，宏块及各种分割区(有时被称为子块)可被视为视频块。另外，片段可被视为多个视频块，例如宏块及/或子块。每一片段可为视频帧的可独立解码单元。或者，帧自身可为可解码单元，或帧的其它部分可被定义为可解码单元。术语“经译码单元”可指代视频帧的任何可独立解码单元，例如整个帧、帧的片段、还被称为序列的图片群组(GOP)，或根据适用译码技术而定义的另一可独立解码单元。
在用以产生预测性数据及残余数据的帧内预测性或帧间预测性译码之后，且在应用于残余数据以产生变换系数的任何变换(例如，H.264/AVC中所使用的4×4或8×8整数变换，或离散余弦变换DCT)之后，可执行变换系数的量化。量化通常指代量化变换系数以可能地缩减用以表示所述系数的数据的量的过程。所述量化过程可缩减与所述系数中的一些或全部相关联的位深度。举例来说，可在量化期间将n位值下舍入到m位值，其中n大于m。
在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法来执行经量化数据的熵译码。经配置以用于熵译码的处理单元或另一处理单元可执行其它处理功能，例如经量化系数的零游程长度译码及/或语法信息(例如，经译码块型样(CBP)值、宏块类型、译码模式、经译码单元(例如，帧、片段、宏块或序列)的最大宏块大小，或其类似者)的产生。
视频编码器20可(例如)在帧标头、块标头、片段标头或GOP标头中将语法数据(例如，以块为基础的语法数据、以帧为基础的语法数据，及/或以GOP为基础的语法数据)进一步发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，且帧语法数据可指示用以编码对应帧的编码/预测模式。因此，视频解码器30可包含标准视频解码器，且未必需要经特定地配置以实现或利用本发明的技术。
在适用时，视频编码器20及视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20及视频解码器30中的每一者可包括于一个或一个以上编码器或解码器中，所述编码器或解码器中的任一者可集成为组合式视频编码器/解码器(编解码器)的一部分。包括视频编码器20及/或视频解码器30的设备可包含集成电路、微处理器、计算装置及/或例如移动电话等无线通信装置。
视频解码器30可经配置以接收包括基础层及两个增强层的可缩放多视图位流。视频解码器30可进一步经配置以将基础层解封装成两个对应图片集合，例如，左眼视图的缩减分辨率图片及右眼视图的缩减分辨率图片。视频解码器30可解码所述图片，且上取样(例如，经由内插)缩减分辨率图片以产生经解码的全分辨率图片。另外，在一些实例中，视频解码器30可参考基础层的经解码图片来解码增强层，所述增强层包括对应于所述基础层的全分辨率图片。也就是说，视频解码器30还可支持视图间预测方法及层间预测方法。
在一些实例中，视频解码器30可经配置以确定目的地装置14是否能够解码及显示三维数据。如果目的地装置14不能够解码及显示三维数据，则视频解码器30可解封装所接收的基础层，但舍弃所述缩减分辨率图片中的一者。视频解码器30还可舍弃对应于基础层的经舍弃缩减分辨率图片的全分辨率增强层。视频解码器30可解码剩余缩减分辨率图片，上取样或上变频转换缩减分辨率图片，且致使视频显示器32显示来自此视图的图片以呈现二维视频数据。在另一实例中，视频解码器30可解码剩余缩减分辨率图片及对应增强层，且致使视频显示器32显示来自此视图的图片以呈现二维视频数据。因此，视频解码器30可解码所述帧的仅一部分且将经解码图片提供到显示装置32，而不试图解码全部帧。
以此方式，不管目的地装置14是否能够显示三维视频数据，目的地装置14均可接收包括基础层及两个增强层的可缩放多视图位流。因此，具有各种解码及再现能力的各种目的地装置可经配置以从视频编码器20接收同一位流。也就是说，一些目的地装置可能够解码并再现三维视频数据，而其它目的地装置可不能够解码并/或再现三维视频数据，但是所述装置中的每一者可经配置以接收并使用来自同一可缩放多视图位流的数据。
根据一些实例，可缩放多视图位流可包括多个操作点以促进解码及显示所接收的经编码数据的子集。举例来说，根据本发明的方面，可缩放多视图位流包括四个操作点：(1)包括两个视图(例如，左眼视图及右眼视图)的缩减分辨率图片的基础层；(2)所述基础层及包括左眼视图的全分辨率图片的增强层；(3)所述基础层及包括右眼视图的全分辨率图片的增强层；及(4)所述基础层、所述第一增强层及所述第二增强层，使得所述两个增强层一起包括两个视图的全分辨率图片。
图2A为说明可实施用于产生可缩放多视图位流的技术的视频编码器20的实例的框图，所述可缩放多视图位流具有包括场景的两个视图(例如，左眼视图及右眼视图)的缩减分辨率图片的基础层，以及包括所述基础层的视图中的一者的全分辨率图片的第一增强层及包括来自所述基础层的另一相应视图的全分辨率图片的第二增强层。应理解，图2A的特定组件可出于概念目的而关于单一组件予以展示及描述，但可包括一个或一个以上功能单元。另外，虽然图2A的特定组件可关于单一组件予以展示及描述，但这些组件可在物理上包含一个或一个以上离散及/或集成单元。
关于图2A，且在本发明中的别处，将视频编码器20描述为编码一个或一个以上视频数据帧。如上文所描述，层(例如，基础层及增强层)可包括构成多媒体内容的一系列帧。因此，“基础帧”可指代基础层中的单一视频数据帧。另外，“增强帧”可指代增强层中的单一视频数据帧。
通常，视频编码器20可执行视频帧内的块(包括宏块，或宏块的分割区或子分割区)的帧内及帧间译码。帧内译码依赖于空间预测以缩减或移除给定视频帧内的视频的空间冗余。帧内模式(I模式)可指代若干以空间为基础的压缩模式中的任一者，且例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干以时间为基础的压缩模式中的任一者。帧间译码依赖于时间预测以缩减或移除视频序列的邻近帧内的视频的时间冗余。
在一些实例中，视频编码器20还可经配置以执行增强层的视图间预测及层间预测。举例来说，视频编码器20可经配置以根据H.264/AVC的多视图视频译码(MVC)扩展来执行视图间预测。另外，视频编码器20可经配置以根据H.264/AVC的可缩放视频译码(SVC)扩展来执行层间预测。因此，可从基础层对增强层进行视图间预测或层间预测。另外，可从一个增强层对另一增强层进行视图间预测。
如图2A中所示，视频编码器20接收待编码视频图片内的当前视频块。在图2A的实例中，视频编码器20包括运动补偿单元44、运动/差别估计单元42、参考帧存储装置64、求和器50、变换单元52、量化单元54及熵译码单元56。为了视频块重构，视频编码器20还包括逆量化单元58、逆变换单元60及求和器62。还可包括解块滤波器(图2A中未展示)以对块边界进行滤波以从经重构视频中移除成块假影。在需要时，解块滤波器通常将对求和器62的输出进行滤波。
在编码过程期间，视频编码器20接收待译码视频图片或片段。可将所述图片或片段划分成多个视频块。运动估计/差别单元42及运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行所接收视频块的帧间预测性译码。也就是说，运动估计/差别单元42可相对于不同时间实例的一个或一个以上参考帧中的一个或一个以上块执行所接收视频块的帧间预测性译码，例如，使用同一视图的一个或一个以上参考帧的运动估计。另外，运动估计/差别单元42可相对于同一时间实例的一个或一个以上参考帧中的一个或一个以上块执行所接收视频块的帧间预测性译码，例如，使用不同视图的一个或一个以上参考帧的运动差别。帧内预测单元46可相对于与待译码块相同的帧或片段中的一个或一个以上相邻块执行所接收视频块的帧内预测性译码以提供空间压缩。模式选择单元40可(例如)基于误差结果而选择帧内译码模式或帧间译码模式中的一者，且将所得的经帧内译码块或经帧间译码块提供到求和器50以产生残余块数据，且将所得的经帧内译码块或经帧间译码块提供到求和器62以重构经编码块以供在参考帧中使用。
明确地说，视频编码器20可从形成立体视图对的两个视图接收图片。可将所述两个视图称为视图0及视图1，其中视图0对应于左眼视图图片且视图1对应于右眼视图图片。应理解，所述视图可被不同地标记，且代替地，视图1可对应于左眼视图且视图0可对应于右眼视图。
在一实例中，视频编码器20可通过以缩减分辨率(例如，半分辨率)编码视图0及视图1的图片来编码基础层。也就是说，视频编码器20可在译码视图0及视图1的图片之前将所述图片下取样二分之一。视频编码器20可将经编码图片进一步封装成经封装帧。举例来说，假设视频编码器20接收视图0图片及视图1图片，每一图片具有h个像素的高度及w个像素的宽度，其中w及h为非负的非零整数。视频编码器20可通过将视图0图片及视图1图片的高度下取样到h/2个像素的高度且将经下取样视图0布置于经下取样视图1上方来形成上下布置式经封装帧。在另一实例中，视频编码器20可通过将视图0图片及视图1图片的宽度下取样到w/2个像素的宽度且将经下取样视图0布置到经下取样视图1的相对左边来形成并列布置式经封装帧。并列式帧封装布置及上下式帧封装布置仅仅作为实例而提供，且应理解，视频编码器20可以其它布置(例如，棋盘式型样、交错列或交错行)来封装基础帧的视图0图片及视图1图片。举例来说，视频编码器20可根据H.264/AVC规范来支持帧封装。
除了基础层以外，视频编码器20还可编码对应于包括于基础层中的视图的两个增强层。也就是说，视频编码器20可编码视图0的全分辨率图片以及视图1的全分辨率图片。视频编码器20可执行视图间预测及层间预测以预测所述两个增强层。
视频编码器20可进一步提供指示可缩放多视图位流的多种特性的信息。举例来说，视频编码器20可提供指示基础层的封装布置、增强层的顺序(例如，对应于视图0的增强层是在对应于视图1的增强层之前还是之后出现)、所述增强层是否从彼此进行预测及其它信息的数据。作为一个实例，视频编码器20可以序列参数集(SPS)扩展的形式提供此信息，所述SPS扩展应用于一系列经连续译码帧。SPS扩展可根据以下表1的实例数据结构来定义：
表1-seq_parameter_set_mfc_extensionSPS消息
SPS消息可向视频解码器(例如，视频解码器30)告知所输出的经解码图片含有包括使用所指示帧封装布置方案的多个相异经空间封装构成帧的帧的样本。SPS消息还可向视频解码器30告知增强帧的特性。
明确地说，视频编码器20可将upper_left_frame_0设定到为1的值以指示每一构成帧的左上部明度样本属于左视图，进而指示基础层的哪些部分对应于左或右视图。视频编码器20可将upper_left_frame_0设定到为0的值以指示每一构成帧的左上部明度样本属于右视图。
本发明还将特定视图的经编码图片称为“视图分量”。也就是说，视图分量可包含在特定时间用于特定视图(及/或特定层)的经编码图片。因此，可将存取单元定义为包含共同时间实例的全部视图分量。存取单元及存取单元的视图分量的解码次序未必需要与输出或显示次序相同。
视频编码器20可设定left_view_enhance_first以规定每一存取单元中的视图分量的解码次序。在一些实例中，视频编码器20可将left_view_enhance_first设定到为1的值以指示全分辨率左视图帧在解码次序中位于基础帧NAL单元之后，且全分辨率右视图帧在解码次序中位于全分辨率左视图帧之后。视频编码器20可将left_view_enhance_first设定到为0的值以指示全分辨率右视图帧在解码次序中位于基础帧NAL单元之后，且全分辨率左视图帧在解码次序中位于全分辨率右视图帧之后。
视频编码器20可将full_left_right_dependent_flag设定到为0的值以指示全分辨率右视图帧及全分辨率左视图帧的解码为独立的，此意味着全分辨率左视图帧及全分辨率右视图帧的解码相依于基础视图且彼此不相依。视频编码器20可将full_left_right_dependent_flag设定到为1的值以指示全分辨率帧中的一者(例如，全分辨率右视图帧或全分辨率左视图帧)相依于另一全分辨率帧。
视频编码器20可将one_view_full_idc设定到为0的值以指示不存在用于全分辨率单一视图呈现的操作点。视频编码器20可将one_view_full_idc设定到为1的值以指示存在在解码次序中在提取第三视图分量之后所允许的全分辨率单一视图操作点。视频编码器20可将one_view_full_idc设定到为2的值以指示除了在此值等于1时所支持的操作点以外，还存在在解码次序中在提取第二视图分量之后所允许的全分辨率单一视图操作点。
视频编码器20可将asymmetric_flag设定到为0的值以指示不允许任何不对称操作点。视频编码器20可将asymmetric_flag设定到为1的值以指示允许不对称操作点，使得当解码任何全分辨率单一视图操作点时，允许全分辨率视图连同基础视图中的另一视图一起形成不对称表示。
视频编码器20可将inter_layer_pred_disable_flag设定到为1的值以指示当译码位流时且当序列参数集在作用中时不使用任何层间预测。视频编码器20可将inter_layer_pred_disable_flag设定到为0的值以指示可能使用层间预测。
视频编码器20可将inter_view_pred_disable_flag设定到为1的值以指示当译码位流时且当序列参数集在作用中时不使用任何视图间预测。视频编码器20可将inter_view_pred_disable_flag设定到为1的值以指示可能使用视图间预测。
除了SPS扩展以外，视频编码器20还可提供VUI消息。明确地说，对于对应于全分辨率帧(例如，所述增强帧中的一者)的不对称操作点，视频编码器可施加VUI消息以规定基础视图的修剪区域。与全分辨率视图组合的经修剪区域形成用于不对称操作点的表示。可描述经修剪区域，使得可区别全分辨率图片与不对称经封装帧中的缩减分辨率图片。
视频编码器20还可定义用于基础帧与增强帧的各种组合的数个操作点。也就是说，视频编码器可在操作点SEI中发信号通知多种操作点。在一个实例中，视频编码器20可经由以下表2中所提供的SEI消息而提供操作点：
表2-operation_point_info(payloadSize)SEI消息
根据本发明的一些方面，SEI消息还可为上文所描述的SPS扩展的一部分。如同大多数视频译码标准，H.264/AVC针对无错误位流定义语法、语义及解码过程，所述位流中的任一者遵守特定简档或层级。H.264/AVC未规定编码器，但编码器具有保证所产生位流对于解码器是符合标准的任务。在视频译码标准的上下文中，“简档”对应于算法、特征或工具及施加到其的约束的子集。如由H.264标准所定义，例如，“简档”为由H.264标准所规定的整个位流语法的子集。“层级”对应于解码器资源消耗(例如，解码器存储器及计算)的限制，其与图片的分辨率、位速率及宏块(MB)处理速率有关。简档可用profile_idc(简档指示符)值予以发信号通知，而层级可用level_idc(层级指示符)值予以发信号通知。
表2的实例SEI消息描述视频数据的表示的操作点。max_temporal_id元素通常对应于所述表示的操作点的最大帧速率。SEI消息还提供位流的简档及所述操作点中的每一者的层级的指示。操作点的level_idc可变化，然而，操作点可与经先前发信号通知的操作点相同，其中temporal_id等于index_j且layer_id等于index_i。SEI消息使用average_frame_rate元素来进一步描述针对temporal_id值中的每一者的平均帧速率。虽然在此实例中使用操作点SEI消息来发信号通知表示的操作点的特性，但应理解，在其它实例中，可使用其它数据结构或技术来发信号通知操作点的类似特性。举例来说，发信号通知可形成序列参数集多视图帧兼容(MFC)扩展的一部分。
视频编码器20还可产生NAL单元标头扩展。根据本发明的方面，视频编码器20可产生用于经封装基础帧的NAL单元标头，及用于增强帧的分离NAL单元标头。在一些实例中，基础层NAL单元标头可用以指示增强层的视图是从基础层NAL单元进行预测的。增强层NAL单元标头可用以指示NAL单元是否属于第二视图，以及导出第二视图是否为左视图。此外，增强层NAL单元标头可用于另一全分辨率增强帧的视图间预测。
在一实例中，可根据以下表3来定义用于基础帧的NAL单元标头：
表3-nal_unit_header_base_view_extensionNAL单元
视频编码器20可将anchor_pic_flag设定到为1的值以规定当前NAL单元属于锚存取单元。在一实例中，当non_idr_flag值等于0时，视频编码器20可将anchor_pic_flag设定到为1的值。在另一实例中，当nal_ref_idc值等于0时，视频编码器20可将anchor_pic_flag设定到为0的值。根据本发明的一些方面，对于存取单元的全部VCLNAL单元，anchor_pic_flag的值可为相同的。
视频编码器20可将inter_view_frame_0_flag设定到为0的值以规定当前视图分量(例如，当前层)的帧0分量(例如，左视图)不被当前存取单元中的任何其它视图分量(例如，其它层)用于视图间预测。视频编码器20可将inter_view_frame_0_flag设定到为1的值以规定当前视图分量的帧0分量(例如，左视图)可被当前存取单元中的其它视图分量用于视图间预测。
视频编码器20可将inter_view_frame_1_flag设定到为0的值以规定当前视图分量的帧1部分(例如，右视图)不被当前存取单元中的任何其它视图分量用于视图间预测。视频编码器20可将inter_view_frame_1_flag设定到为1的值以规定当前视图分量的帧1部分可被当前存取单元中的其它视图分量用于视图间预测。
视频编码器20可将inter_layer_frame_0_flag设定到为0的值以规定当前视图分量的帧0部分(例如，左视图)不被当前存取单元中的任何其它视图分量用于层间预测。视频编码器20可将inter_view_frame_0_flag设定到为1的值以规定当前视图分量的帧0部分可被当前存取单元中的其它视图分量用于层间预测。
视频编码器20可将inter_layer_frame_1_flag设定到为0的值以规定当前视图分量的帧1部分(例如，左视图)不被当前存取单元中的任何其它视图分量用于层间预测。视频编码器20可将inter_view_frame_1_flag设定到为1的值以规定当前视图分量的帧1部分可被当前存取单元中的其它视图分量用于层间预测。
在另一实例中，可将inter_view_frame_0_flag及inter_view_frame_1_flag组合成一个旗标。举例来说，如果帧0部分或帧1部分可用于视图间预测，则视频编码器20可将inter_view_flag(表示上文所描述的inter_view_frame_0_flag及inter_view_frame_1_flag的组合的旗标)设定到为1的值。
在另一实例中，可将inter_layer_frame_0_flag及inter_layer_frame_1_flag组合成一个旗标。举例来说，如果帧0部分或帧1部分可用于层间预测，则视频编码器20可将inter_layer_flag(表示inter_layer_frame_0_flag及inter_layer_frame_1_flag的组合的旗标)设定到为1的值。
在另一实例中，可将inter_view_frame_0_flag及inter_layer_frame_0_flag组合成一个旗标。举例来说，如果帧0部分可用于其它视图分量的预测，则视频编码器20可将inter_component_frame_0_flag(表示inter_view_frame_0_flag及inter_layer_frame_0_flag的组合的旗标)设定到为1的值。
在另一实例中，可将inter_view_frame_1_flag及inter_layer_frame_1_flag组合成一个旗标。举例来说，如果帧1部分可用于其它视图分量的预测，则视频编码器20可将inter_component_frame_1_flag(表示inter_view_frame_1_flag及inter_layer_frame_1_flag的组合的旗标)设定到为1的值。
在另一实例中，可将inter_view_flag及inter_layer_flag组合成一个旗标。举例来说，如果帧0部分或帧1部分可用于视图间或层间预测，则视频编码器20可将inter_component_flag(表示inter_view_flag及inter_layer_flag的组合的旗标)设定到为1的值。
视频编码器20可设定second_view_flag以指示相属视图分量是第二视图还是第三视图，其中“相属视图分量”指代第二视图旗标所对应的视图分量。举例来说，视频编码器20可将second_view_flag设定到为1的值以规定相属视图分量为第二视图。视频编码器20可将second_view_flag设定到为0的值以规定相属视图分量为第三视图。
视频编码器20可设定temporal_id以规定NAL单元的时间识别符。向temporal_id指派值可受到子位流提取过程约束。根据一些实例，对于全部前缀NAL单元及在存取单元的MFC扩展NAL单元中的经译码片段，temporal_id的值为相同的。当存取单元含有nal_unit_type等于5或idr_flag等于1的任何NAL单元时，temporal_id可等于0。
在一实例中，可根据以下表4来定义用于全分辨率增强帧的NAL单元标头。
表4-nal_unit_header_full_view_extensionNAL单元
表4的实例NAL单元标头可描述所述标头所对应的NAL单元。non_idr_flag可描述NAL单元是否为瞬时解码刷新(IDR)图片。IDR图片通常为可经独立地解码的图片群组(GOP)的图片(例如，经帧内译码图片)，且其中图片群组中的全部其它图片均可相对于GOP的IDR图片或其它图片来解码。因此，GOP的任何图片均不相对于在GOP外的图片来预测。anchor_pic_flag指示对应NAL单元是否对应于锚图片，即，其中全部片段仅参考同一存取单元内的片段(即，不使用帧间预测)的经译码图片。inter_view_flag指示对应于NAL单元的图片是否被当前存取单元中的任何其它视图分量用于视图间预测。second_view_flag指示对应于NAL单元的视图分量是第一增强层还是第二增强层。temporal_id值规定NAL单元的时间识别符(其可对应于帧速率)。
模式选择单元40可从视图0图片及在时间上对应于视图0图片的视图1图片接收呈块的形式的原始视频数据。也就是说，视图0图片及视图1图片可已在大致上相同时间被俘获。根据本发明的一些方面，可下取样视图0图片及视图1图片，且视频编码器可编码经下取样图片。举例来说，视频编码器20可编码经封装帧中的视图0图片及视图1图片。视频编码器20还可编码全分辨率增强帧。也就是说，视频编码器20可编码包括全分辨率视图0图片的增强帧及包括全分辨率视图1图片的增强帧。视频编码器20可将视图0图片及视图1图片的经解码版本存储于参考帧存储装置64中以促进增强帧的层间预测及视图间预测。
运动估计/差别单元42及运动补偿单元44可高度地集成，但出于概念目的而被分离地说明。运动估计是产生运动向量的过程，所述运动向量估计视频块的运动。举例来说，运动向量可指示预测性参考帧(或其它经译码单元)内的预测性块相对于经译码于当前帧(或其它经译码单元)内的当前块的位移。预测性块为被发现在像素差方面紧密地匹配于待译码块的块，所述像素差可通过绝对差和(SAD)、平方差和(SSD)或其它差量度予以确定。运动向量还可指示宏块的分割区的位移。运动补偿可涉及基于由运动估计/差别单元42确定的运动向量(或位移向量)来取出或产生预测性块。再次，在一些实例中，运动估计/差别单元42及运动补偿单元44可在功能上集成。
运动估计/差别单元42可通过比较经帧间译码图片的视频块与参考帧存储装置64中的参考帧的视频块来计算经帧间译码图片的视频块的运动向量(或差别向量)。运动补偿单元44还可内插参考帧的子整数像素，例如，I帧或P帧。ITU-TH.264标准提及参考帧“列表”，例如，列表0及列表1。列表0包括具有早于当前图片的显示次序的参考帧，而列表1包括具有迟于当前图片的显示次序的参考帧。运动估计/差别单元42比较来自参考帧存储装置64的一个或一个以上参考帧的块与当前图片(例如，P图片或B图片)的待编码块。当参考帧存储装置64中的参考帧包括子整数像素的值时，由运动估计/差别单元42计算的运动向量可指代参考帧的子整数像素位置。运动估计/差别单元42将经计算运动向量发送到熵译码单元56及运动补偿单元44。可将由运动向量识别的参考帧块称为预测性块。运动补偿单元44计算参考帧的预测性块的残余误差值。
运动估计/差别单元42还可经配置以执行视图间预测，在此情况下，运动估计/差别单元42可计算一个视图图片(例如，视图0)的块与参考帧视图图片(例如，视图1)的对应块之间的位移向量。或者或另外，运动估计/差别单元42可经配置以执行层间预测。也就是说，运动估计/差别单元42可经配置以执行以运动为基础的层间预测，在此情况下，运动估计/差别单元42可基于与基础帧相关联的经缩放运动向量来计算预测子。
如上文所描述，帧内预测单元46可相对于与待译码块相同的帧或片段中的一个或一个以上相邻块执行所接收视频块的帧内预测性译码以提供空间压缩。根据一些实例，帧内预测单元46可经配置以执行增强帧的层间预测。也就是说，帧内预测单元46可经配置以执行以纹理为基础的层间预测，在此情况下，帧内预测单元46可上取样基础帧且基于基础帧及增强帧中的经协同定位纹理来计算预测子。在一些实例中，以层间纹理为基础的预测仅可用于如下增强帧的块：所述增强帧具有在对应基础帧中的经译码为受约束帧内模式的经协同定位块。举例来说，受约束帧内模式块被帧内译码而不参考来自经帧间译码的相邻块的任何样本。
根据本发明的方面，可独立地编码所述层(例如，基础层、第一增强层及第二增强层)中的每一者。举例来说，假设视频编码器20编码三个层：(1)具有视图0(例如，左眼视图)及视图1(例如，右眼视图)的缩减分辨率图片的基础层；(2)具有视图0的全分辨率图片的第一增强层；及(3)具有视图1的全分辨率图片的第二增强层。在此实例中，视频编码器20可针对每一层实施不同译码模式(例如，经由模式选择单元40)。
在此实例中，运动估计/差别单元42及运动补偿单元44可经配置以对基础层的两个缩减分辨率图片进行帧间译码。也就是说，运动估计/差别单元42可通过比较基础帧的图片的视频块与参考帧存储装置64中的参考帧的视频块来计算基础帧的图片的视频块的运动向量，而运动补偿单元44可计算参考帧的预测性块的残余误差值。或者或另外，帧内预测单元46可对基础层的两个缩减分辨率图片进行帧内译码。
视频编码器20还可实施运动估计/差别单元42、运动补偿单元44及帧内预测单元46以帧内预测、帧间预测、层间预测或视图间预测所述增强层(即，第一增强层(例如，对应于视图0)及第二增强层(例如，对应于视图1))中的每一者。举例来说，除了帧内预测模式及帧间预测模式以外，视频编码器20还可利用基础层的视图0的缩减分辨率图片来层间预测第一增强层的全分辨率图片。或者，视频编码器20可利用基础层的视图1的缩减分辨率图片来视图间预测第一增强层的全分辨率图片。根据本发明的一些方面，在用层间或视图间预测方法来预测增强层之前，可上取样或以其它方式重构基础层的缩减分辨率图片。
当使用层间预测来预测第一增强层时，视频编码器20可使用纹理预测方法或运动预测方法。当使用以纹理为基础的层间预测来预测第一增强层时，视频编码器20可将基础层的视图0的图片上取样到全分辨率，且视频编码器20可使用基础层的视图0的图片的经协同定位纹理作为第一增强层的图片的预测子。视频编码器20可使用多种滤波器(包括自适应滤波器)来上取样基础层的视图0的图片。视频编码器20可使用与上文关于经运动补偿残余部分所描述的方法相同的方法来编码残余部分(例如，预测子与基础层的视图0的图片中的原始纹理之间的残余部分)。在解码器(例如，图1所示的视频解码器30)处，解码器30可使用预测子及残余值来重构像素值。
当使用以运动为基础的层间预测来从基础层的对应缩减分辨率图片预测第一增强层时，视频编码器20可缩放与基础层的视图0的图片相关联的运动向量。举例来说，在视图0的图片及视图1的图片并列地封装于基础层中的布置中，视频编码器20可在水平方向上缩放与基础层的视图0的经预测图片相关联的运动向量以补偿缩减分辨率基础层与全分辨率增强层之间的差。在一些实例中，视频编码器20可通过发信号通知运动向量差(MVD)值来进一步改进与基础层的视图0的图片相关联的运动向量，所述MVD值考虑同缩减分辨率基础层相关联的运动向量与同全分辨率增强层相关联的运动向量之间的差。
在另一实例中，视频编码器20可使用运动跳过技术来执行层间运动预测，所述技术被定义于对H.264/AVC的联合多视图视频模型(“JMVM”)扩展中。JMVM扩展被论述于(例如)JVT-U207(第21届JVT会议，中国杭州，2006年10月20日到27日)中，所述文献可在http://ftp3.itu.int/av-arch/jvt-site/2006_10_Hangzhou/JVT-U207.zip处获得。运动跳过技术可使视频编码器20能够通过给定差别而重新使用来自在同一时间实例中但为另一视图的图片的运动向量。在一些实例中，可将差别值全局地发信号通知且局部地扩展到使用运动跳过技术的每一块或片段。根据一些方面，视频编码器20可将差别值设定到零，因为基础层的用以预测增强层的部分被协同定位。
当使用视图间预测来预测第一增强层的帧时，类似于帧间译码，视频编码器20可利用运动估计/差别单元42来计算增强层帧的块与参考帧的对应块(例如，基础帧的视图1的图片)之间的位移向量。在一些实例中，视频编码器20可在预测第一增强层之前上取样基础帧的视图1的图片。也就是说，视频编码器20可上取样基础层的视图1分量的图片且将经上取样图片存储于参考帧存储装置64中，使得所述图片可用于预测目的。根据一些实例，当基础帧的参考块或块分割区已被帧间译码时，视频编码器20可仅使用视图间预测来编码块或块分割区。
根据本发明的一些方面，视频编码器20可与第一增强层类似地或相同地编码第二增强层(例如，对应于视图1)。也就是说，视频编码器20可利用基础层的视图1的缩减分辨率图片以使用层间预测来预测第二增强层(例如，视图1的全分辨率图片)。视频编码器20还可利用基础层的视图0的缩减分辨率图片以使用视图间预测来预测第二增强层。根据此实例，所述增强层(即，第一增强层及第二增强层)彼此不相依。而是，第二增强层出于预测目的仅使用基础层。
另外或替代地，视频编码器20可出于预测目的使用第一增强层(例如，视图0的全分辨率图片)来编码第二增强层(例如，视图1的全分辨率图片)。也就是说，第一增强层可用以使用视图间预测来预测第二增强层。举例来说，可将来自第一增强层的视图0的全分辨率图片存储于参考帧存储装置64中，使得所述图片可在编码第二增强层时用于预测目的。
变换单元52将例如离散余弦变换(DCT)、整数变换或概念上类似的变换等变换应用于残余块，从而产生包含残余变换系数值的视频块。变换单元52可执行其它变换，例如由H.264标准所定义的变换，所述变换在概念上类似于DCT。还可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换单元52将变换应用于残余块，从而产生残余变换系数块。变换单元52可将残余信息从像素值域转换到例如频域等变换域。量化单元54量化残余变换系数以进一步缩减位速率。量化过程可缩减与所述系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后，熵译码单元56熵译码经量化变换系数。举例来说，熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在由熵译码单元56进行熵译码之后，可将经编码视频发射到另一装置或予以存档以供稍后发射或检索。在上下文自适应二进制算术译码(CABAC)的情况下，上下文可基于相邻宏块。
在一些情况下，除了熵译码以外，视频编码器20的熵译码单元56或另一单元还可经配置以执行其它译码功能。举例来说，熵译码单元56可经配置以确定宏块及分割区的CBP值。而且，在一些情况下，熵译码单元56可执行宏块或其分割区中的系数的游程长度译码。明确地说，熵译码单元56可应用Z字形(zig-zag)扫描或其它扫描型样以扫描宏块或分割区中的变换系数，且编码数个零的游程以供进一步压缩。熵译码单元56还可用适当语法元素来构造标头信息以用于在经编码视频位流中发射。
逆量化单元58及逆变换单元60分别应用逆量化及逆变换以在像素域中重构残余块，例如，以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储装置64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重构残余块以计算子整数像素值以供运动估计中使用。求和器62将经重构残余块加到由运动补偿单元44产生的经运动补偿预测块以产生经重构视频块以存储于参考帧存储装置64中。经重构视频块可被运动估计/差别单元42及运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
为了使得能够进行帧间预测及视图间预测，如上文所描述，视频编码器20可维持一个或一个以上参考列表。举例来说，ITU-TH.264标准提及参考帧“列表”，例如，列表0及列表1。本发明的方面涉及构造提供用于帧间预测及视图间预测的参考图片的灵活性排序的参考图片列表。根据本发明的一些方面，视频编码器20可根据H.264/AVC规范中所描述的列表的修改型版本来构造参考图片列表。举例来说，视频编码器20可初始化参考图片列表(如H.264/AVC规范中所陈述)，其维持参考图片以用于帧间预测目的。根据本发明的方面，接着将视图间参考图片附加到所述列表。
当编码非基础层分量(例如，第一或第二增强层)时，视频编码器20可使仅一个视图间参考可用。举例来说，当编码第一增强层时，视图间参考图片可为同一存取单元内的基础层的经上取样对应图片。在此实例中，full_left_right_dependent_flag可等于1且depViewID可被设定到0。当编码第二增强层时，视图间参考图片可为同一存取单元内的基础层的经上取样对应图片。在此实例中，full_left_right_dependent_flag可等于0且depViewID可被设定到0。或者，视图间参考图片可为同一存取单元中的全分辨率第一增强层。因此，full_left_right_dependent_flag可等于0且depViewID可被设定到1。客户端装置可使用此信息来确定为了成功地解码增强层而必须检索什么数据。
参考图片列表可经修改以灵活性地布置参考图片的次序。举例来说，视频编码器20可根据以下表5来构造参考图片列表：
表5-ref_pic_list_mfc_modification()
表5的实例参考图片列表修改可描述参考图片列表。举例来说，modification_of_pic_nums_idc连同abs_diff_pic_num_minus1、long_term_pic_num或abs_diff_view_idx_minus1一起可规定参考图片或仅视图间参考分量中的哪些被再映射。对于视图间预测，视图间参考图片及当前图片可默认属于立体内容的两个相反视图。在一些实例中，视图间参考图片可对应于为基础层的一部分的经解码图片。因此，在将经解码图片用于视图间预测之前，可能需要上取样。可使用多种滤波器(包括自适应滤波器，以及AVC6分接头内插滤波器：[1,-5,20,20,-5,1]/32)来上取样基础层的低分辨率图片。
在另一实例中，对于视图间预测，视图间参考图片可对应于与当前图片相同的视图(例如，同一存取单元中的不同经解码分辨率)及不同视图。在所述情况下，如表6(下文)中所示，引入collocated_flag以指示当前图片及视图间预测图片是否对应于同一视图。如果collocated_flag等于1，则视图间参考图片及当前图片均可为同一视图的表示(例如，左视图或右视图，类似于层间纹理预测)。如果collocated_flag等于0，则视图间参考图片及当前图片可为不同视图的表示(例如，一个左视图图片及一个右视图图片)。
表6-ref_pic_list_mfc_modification()
根据本发明的一些方面，在表7(下文)中规定modification_of_pic_nums_idc的值。在一些实例中，紧接地跟在ref_pic_list_modification_flag_10或ref_pic_list_modification_flag_11之后的第一modification_of_pic_nums_idc的值可不等于3。
表7一modification_of_pic_nums_idc
根据本发明的方面，abs_diff_view_idx_minus1加上1可规定待放到参考图片列表中的当前索引的视图间参考索引与视图问参考索引的预测值之间的绝对差。在用于以上表6及7中所呈现的语法的解码过程期间，当modification_of_pic_nums_idc(表7)等于6时，视图间参考图片将被放到当前参考图片列表的当前索引位置中。
进行以下程序以将具有短期图片号码picNumLX的图片放置到索引位置refIdxLX中，将任何其它剩余图片的位置移位到列表中的较后位置，且递增refIdxLX的值：
其中viewID()返回到每一视图分量的view_id。当参考图片为来自基础层的图片的经上取样版本时，viewID()可返回到基础层的同一view_id，其为O。当参考图片不属于基础层(例如，参考图片为第一增强层)时，viewID()可返回到适当视图的view_id，其可为1(第一增强层)或2(第二增强层)。
视频编码器20还可用经编码视频数据(例如，由解码器(解码器30，图1)使用的信息)来提供特定语法以适当地解码经编码视频数据。根据本发明的一些方面，为了使得能够进行层间预测，视频编码器20可在片段标头中提供语法元素以指示：(1)在片段中，没有块被层间纹理预测；(2)在片段中，全部块均被层间纹理预测；或(3)在片段中，一些块可被层间纹理预测且一些块可不被层间纹理预测。另外，视频编码器20可在片段标头中提供语法元素以指示：(1)在片段中，没有块被层间运动预测；(2)在片段中，全部块均被层间运动预测；或(3)在片段中，一些块可被层间运动预测且一些块可不被层间运动预测。
另外，为了使得能够进行层间预测，视频编码器20可提供块层级处的一些语法数据。举例来说，本发明的方面包括名称为mb_base_texture_flag的语法元素。此旗标可用以指示是否针对整个块(例如，整个宏块)调用层间纹理预测。视频编码器20可将mb_base_texture_flag设定为等于1以发信号通知将对应基础层中的经重构像素用作参考以使用层间纹理预测来重构当前块。另外，视频编码器可将mb_base_texture_flag设定为等于1以发信号通知跳过当前块中的其它语法元素的译码，用于残余译码的语法元素(即，CBP、8×8变换旗标及系数)除外。视频编码器20可将mb_base_texture_flag设定为等于0以发信号通知应用规则块译码。如果块为规则帧内块，则译码过程等同于H.264/AVC规范中所陈述的规则帧内块译码。
为了使得能够进行层间预测，视频编码器20可提供块层级处的其它语法数据。举例来说，本发明的方面包括名称为mbPart_texture_prediction_flag[mbPartIdx]的语法元素，其经译码以指示视频编码器20是否使用层间预测来编码分割区mbPartIdx。此旗标可应用于具有帧间16×16、8×16、16×8及8×8的分割区类型的块，但通常不应用于8×8以下的分割区类型的块。视频编码器20可将mbPart_texture_prediction_flag设定为等于1以指示将层间纹理预测应用于对应分割区。视频编码器20可将mbPart_texture_prediction_flag设定为等于0以指示译码被称作motion_prediction_flag_l0/1[mbPartIdx]的旗标。视频编码器20可将motion_prediction_flag_l0/1设定为等于1以指示可使用基础层中的对应分割区的运动向量来预测分割区mbPartIdx的运动向量。视频编码器20可将motion_prediction_flag_l0/1设定为等于0以指示以与H.264/AVC规范中的方式相同的方式重构运动向量。
下文所示的表8包括块层级语法元素：
表8-macroblock_layer_in_mfc_extension()
在表8所示的实例中，视频编码器20可将mb_base_texture_flag设定为等于1以指示针对整个宏块应用层间纹理预测。另外，视频编码器20可将mb_base_texture_flag设定为等于0以指示在“多视图帧兼容”MFC结构中，语法元素mb_type及其它有关语法元素存在于宏块中。
下文所示的表9也包括块层级语法元素：
表9-mb_pred_in_mfc_extension(mb_type)
在表8所示的实例中，视频编码器20可将mbPart_texture_prediction_flag[mbPartIdx]设定为等于1以指示针对对应分割区mbPartIdx调用层间纹理预测。视频编码器20可将mbPart_texture_prediction_flag设定为等于0以指示针对分割区mbPartIdx不调用层间纹理预测。另外，视频编码器20可将motion_prediction_flag_l1/0[mbPartIdx]设定为等于1以指示将使用基础层的运动向量作为参考的替代运动向量预测过程用于导出宏块分割区mbPartIdx的列表1/0运动向量，且从基础层推断宏块分割区mbPartIdx的列表1/0参考索引。
下文所示的表10也包括子块层级语法元素：
表10-sub_mb_pred_in_mfc_extension(mb_type)
在表10所示的实例中，视频编码器20可将mbPart_texture_prediction_flag[mbPartIdx]设定为等于1以指示针对对应分割区mbPartIdx调用层间纹理预测。视频编码器20可将mbPart_texture_prediction_flag设定为等于0以指示针对分割区mbPartIdx不调用层间纹理预测。
视频编码器20可将motion_prediction_flag_l1/0[mbPartIdx]设定为等于1以指示将使用基础层的运动向量作为参考的替代运动向量预测过程用于导出宏块分割区mbPartIdx的列表1/0运动向量，且从基础层推断宏块分割区mbPartIdx的列表1/0参考索引。
视频编码器20可不设定motion_prediction_flag_l1/0[mbPartIdx]旗标(例如，不存在旗标)以指示不将层间运动预测用于宏块分割区mbPartIdx。
根据本发明的一些方面，视频编码器20可启用或停用在片段标头层级处的mb_base_texture_flag、mbPart_texture_prediction_flag及motion_prediction_flag_l1/0。举例来说，当片段中的全部块均具有相同特性时，在片段层级处而非在块层级处发信号通知这些特性可提供相对位节约。
以此方式，图2A为说明可实施用于产生可缩放多视图位流的技术的视频编码器20的实例的框图，所述可缩放多视图位流具有包括对应于场景的两个视图(例如，左眼视图及右眼视图)的两个缩减分辨率图片的基础层，以及两个额外增强层。第一增强层可包括基础层的视图中的一者的全分辨率图片，而第二增强层可包括基础层的另一相应视图的全分辨率图片。
再次，应理解，图2A的特定组件可出于概念目的而关于单一组件予以展示及描述，但可包括一个或一个以上功能单元。举例来说，如关于图2B更详细地描述，运动估计/差别单元42可包含用于执行运动估计及运动差别计算的分离单元。
图2B为说明可实施用于产生可缩放多视图位流的技术的视频编码器的另一实例的框图，所述可缩放多视图位流具有基础层及两个增强层。如上文所提到，视频编码器20的特定组件可关于单一组件予以展示及描述，但可包括一个以上离散及/或集成单元。此外，视频编码器20的特定组件可高度地集成或并入到同一物理组件中，但出于概念目的而予以分离地说明。因此，图2B所示的实例可包括与图2A所示的视频编码器20的组件相同的许多组件，但以替代布置予以展示以在概念上说明三个层(例如，基础层142、第一增强层84及第二增强层86)的编码。
图2B所示的实例说明视频编码器20产生包括三个层的可缩放多视图位流。如上文所描述，所述层中的每一者可包括构成多媒体内容的一系列帧。根据本发明的方面，所述三个层包括基础层82、第一增强层84及第二增强层86。在一些实例中，基础层142的帧可包括两个并列式经封装缩减分辨率图片(例如，左眼视图(“B1”)及右眼视图(“B2”))。第一增强层可包括基础层的左眼视图的全分辨率图片(“E1”)，且第二增强层可包括基础层的右眼视图的全分辨率图片(“E2”)。然而，图2B所示的基础层布置及增强层序列仅仅作为一个实例而提供。在另一实例中，基础层82可包括呈替代封装布置(例如，上下式、行交错式、列交错式、棋盘式及其类似者)的缩减分辨率图片。此外，第一增强层可包括右眼视图的全分辨率图片，而第二增强层可包括左眼视图的全分辨率图片。
在图2B所示的实例中，视频编码器20包括三个帧内预测单元46及三个运动估计/运动补偿单元90(例如，其可与图2A所示的组合式运动估计/差别单元42及运动补偿单元44类似地或相同地被配置)，其中每一层82到86具有相关联的帧内预测单元46及运动估计/补偿单元90。另外，第一增强层84及第二增强层86各自与包括层间纹理预测单元100及层间运动预测单元102的层间预测单元(由虚线98分组)以及视图间预测单元106相关联。图2B的剩余组件可与图2A所示的组件类似地被配置。也就是说，求和器50及参考帧存储装置64可在两个表示中类似地被配置，而图2B的变换及量化单元114可与图2A所示的组合式变换单元52及量化单元54类似地被配置。另外，图2B的逆量化/逆变换单元/重构/解块单元122可与图2A所示的组合式逆量化单元58及逆变换单元60类似地被配置。模式选择单元40在图2B中表示为开关，其在所述预测单元中的每一者之间进行双态触发，其可(例如)基于误差结果而选择译码模式中的一者(帧内、帧间、层间运动、层间纹理或视图间)。
一般来说，视频编码器20可使用上文关于图2A所描述的帧内或帧间译码方法来编码基础层82。举例来说，视频编码器20可使用帧内预测单元46来帧内译码包括于基础层82中的缩减分辨率图片。视频编码器20可使用运动估计/补偿单元90(例如，其可与图2A所示的组合式运动估计/差别单元42及运动补偿单元44类似地或相同地被配置)来帧间译码包括于基础层82中的缩减分辨率图片。另外，视频编码器20可使用帧内预测单元46来帧内译码第一增强层84或第二增强层，或使用运动补偿估计/补偿单元90来帧间译码第一增强层84或第二增强层86。
根据本发明的方面，视频编码器20还可实施特定其它视图间或层间译码方法以编码第一增强层84及第二增强层86。举例来说，视频编码器20可使用层间预测单元(由虚线98分组)来编码第一增强层84及第二增强层86。举例来说，根据其中第一增强层84包括左眼视图的全分辨率图片的实例，视频编码器20可使用层间预测单元98以从基础层的左眼视图(例如，B1)的缩减分辨率图片来层间预测第一增强层84。此外，视频编码器20可使用层间预测单元98以从基础层的右眼视图(例如，B2)的缩减分辨率图片来层间预测第二增强层86。在图2B所示的实例中，层间预测单元98可从与基础层82相关联的运动估计/补偿单元90接收数据(例如，运动向量数据、纹理数据及其类似者)。
在图2B所示的实例中，层间预测单元98包括用于层间纹理预测第一增强帧84及第二增强帧86的层间纹理预测单元100，以及用于层间运动预测第一增强帧84及第二增强帧86的层间运动预测单元102。
视频编码器20还可包括视图间预测单元106以视图间预测第一增强层84及第二增强层86。根据一些实例，视频编码器20可从基础层的右眼视图(B2)的缩减分辨率图片来视图间预测第一增强层84(例如，左眼视图的全分辨率图片)。类似地，视频编码器20可从基础层的左眼视图(B1)的缩减分辨率图片来视图间预测第二增强层86(例如，右眼视图的全分辨率图片)。此外，根据一些实例，视频编码器20还可基于第一增强层84来视图间预测第二增强层86。
在由变换及量化单元114执行的残余变换系数的变换及量化之后，视频编码器20可用熵译码及多路复用单元118来执行经量化残余变换系数的熵译码及多路复用。也就是说，熵译码及多路复用单元118可译码经量化变换系数，例如，执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术(如关于图2A所描述)。另外，熵译码及多路复用单元118可产生语法信息，例如，经译码块型样(CBP)值、宏块类型、译码模式、经译码单元(例如，帧、片段、宏块或序列)的最大宏块大小或其类似者。熵译码及多路复用单元118可将此经压缩视频数据格式化成所谓的“网络抽象层单元”或NAL单元。每一NAL单元包括识别存储到NAL单元的数据的类型的标头。根据本发明的一些方面，如上文关于图2A所描述，视频编码器20可将不同于用于第一增强层84及第二增强层86的NAL格式的NAL格式用于基础层82。
再次，虽然图2B所示的特定组件可表示为相异单元，但应理解，视频编码器20的特定组件可高度地集成或并入到同一物理组件中。因此，作为一个实例，虽然图2B包括三个离散帧内预测单元46，但视频编码器20可使用同一物理组件来执行帧内预测。
图3为说明视频解码器30的实例的框图，视频解码器30解码经编码视频序列。在图3的实例中，视频解码器30包括熵解码单元130、运动补偿单元132、帧内预测单元134、逆量化单元136、逆变换单元138、参考帧存储装置142及求和器140。在一些实例中，视频解码器30可执行与关于视频编码器20(图2A及2B)所描述的编码遍次(encodingpass)大体上互逆的解码遍次(decodingpass)。
明确地说，视频解码器30可经配置以接收包括基础层、第一增强层及第二增强层的可缩放多视图位流。视频解码器30可接收指示用于基础层的帧封装布置、增强层的次序的信息，以及用于适当地解码可缩放多视图位流的其它信息。举例来说，视频解码器30可经配置以解译“多视图帧兼容”(MFC)SPS及SEI消息。视频解码器30还可经配置以确定是解码多视图位流的全部三个层，还是仅解码所述层的子集(例如，基础层及第一增强层)。此确定可基于视频显示器32(图1)是否能够显示三维视频数据、视频解码器30是否具有解码特定位速率及/或帧速率的多个视图(及上取样特定位速率及/或帧速率的缩减分辨率视图)的能力，或关于视频解码器30及/或视频显示器32的其它因素。
当目的地装置14不能够解码及/或显示三维视频数据时，视频解码器30可将所接收基础层解封装成构成缩减分辨率经编码图片，接着舍弃所述缩减分辨率经编码图片中的一者。因此，视频解码器30可选取仅解码基础层的一半(例如，左眼视图的图片)。另外，视频解码器30可选取仅解码所述增强层中的一者。也就是说，视频解码器30可选取解码对应于基础帧的经保留缩减分辨率图片的增强层，同时舍弃对应于基础帧的经舍弃图片的增强层。通过保留所述增强层中的一者，视频解码器30可能够缩减与上取样或内插基础层的经保留图片相关联的错误。
当目的地装置14能够解码及显示三维视频数据时，视频解码器30可将所接收基础层解封装成构成缩减分辨率经编码图片，且解码所述缩减分辨率图片中的每一者。根据一些实例，视频解码器30还可相依于视频解码器30及/或视频显示器32的能力而解码所述增强层中的一者或两者。通过保留所述增强层中的一者或两者，视频解码器30可缩减与上取样或内插基础层的图片相关联的错误。再次，由解码器30解码的层可相依于视频解码器30及/或目的地装置14及/或通信信道16(图1)的能力。
视频解码器30可检索经视图间编码图片的位移向量，或经帧间或层间编码图片(例如，基础层的两个缩减分辨率图片及增强层的两个全分辨率图片)的运动向量。视频解码器30可使用位移向量或运动向量来检索预测块以解码图片的块。在一些实例中，在解码基础层的缩减分辨率图片之后，视频解码器30可将经解码图片上取样到与增强层图片的分辨率相同的分辨率。
运动补偿单元132可基于从熵解码单元130所接收的运动向量来产生预测数据。运动补偿单元132可使用在位流中所接收的运动向量来识别参考帧存储装置142中的参考帧中的预测块。帧内预测单元134可使用在位流中所接收的帧内预测模式来由空间邻近块形成预测块。逆量化单元136逆量化(即，解量化)提供于位流中且由熵解码单元130解码的经量化块系数。逆量化过程可包括(例如)如由H.264解码标准所定义的常规过程。逆量化过程还可包括针对每一宏块使用由编码器20计算的量化参数QPY，以确定量化程度且同样地确定应被应用的逆量化程度。
逆变换单元58将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中产生残余块。运动补偿单元132产生经运动补偿块，从而可能地基于内插滤波器来执行内插。待用于具有子像素精确度的运动估计的内插滤波器的识别符可包括于语法元素中。运动补偿单元132可在视频块的编码期间使用如由视频编码器20使用的内插滤波器来计算参考块的子整数像素的经内插值。运动补偿单元132可根据所接收语法信息来确定由视频编码器20使用的内插滤波器，且使用所述内插滤波器来产生预测性块。
运动补偿单元132使用所述语法信息中的一些来确定用以编码经编码视频序列的帧的宏块的大小、描述如何分割经编码视频序列的帧的每一宏块的分割区信息、指示如何编码每一分割区的模式、用于每一经帧间编码宏块或分割区的一个或一个以上参考帧(或列表)，及用以解码经编码视频序列的其它信息。
求和器140对残余块与由运动补偿单元132或帧内预测单元产生的对应预测块进行求和以形成经解码块。在需要时，还可应用解块滤波器以对经解码块进行滤波，以便移除成块假影。接着将经解码视频块存储于参考帧存储装置142中，参考帧存储装置142提供参考块以用于后续运动补偿且还产生经解码视频以用于呈现于显示装置(例如，图1的显示装置32)上。
根据本发明的一些方面，视频解码器30可针对每一层分离地管理经解码图片，例如，存储于参考帧存储装置142中的经解码图片。在一些实例中，视频解码器30可根据H.264/AVC规范而针对每一层分离地管理经解码图片。在视频解码器30已解码对应增强层之后，视频解码器30可移除任何经上取样经解码图片，例如，来自基础层且出于增强层预测目的而被上取样的经解码图片。
在一实例中，视频解码器30可接收经编码可缩放多视图位流，其具有包括左眼视图及右眼视图的缩减分辨率图片的基础层，以及包括基础帧的左眼视图的全分辨率图片的第一增强层。在此实例中，视频解码器30可解码包括于基础层中的左眼视图的缩减分辨率图片，且上取样所述缩减分辨率图片以层间预测第一增强层。也就是说，视频解码器30可在解码第一增强层之前上取样基础层的缩减分辨率图片。在解码第一增强层后，视频解码器30随即可接着从参考帧存储装置142移除左眼视图(例如，来自基础层)的经上取样图片。
视频解码器30可经配置以根据所接收旗标来管理经解码图片。举例来说，特定旗标可具备识别基础层的哪些图片需要出于预测目的而被上取样的所接收经编码视频数据。根据一个实例，如果视频解码器30接收等于一(“1”)的inter_view_frame_0_flag、inter_layer_frame_0_flag或inter_component_frame_0_flag，则视频解码器30可识别应上取样帧0部分，即，基础层的对应于视图0的部分。另一方面，如果视频解码器接收等于一(“1”)的inter_view_frame_1_flag、inter_layer_frame_1_flag或inter_component_frame_1_flag，则视频解码器30可识别应上取样帧1部分，即，基础层的对应于视图1的部分。
根据本发明的一些方面，视频解码器30可经配置以提取及解码子位流。也就是说，例如，视频解码器30可能够使用多种操作点来解码(30)可缩放多视图位流。在一些实例中，视频解码器30可提取对应于基础层的帧经封装子位流(例如，根据H.264/AVC规范而封装)。视频解码器30还可解码单一视图操作点。视频解码器30还可解码不对称操作点。
解码器30可从例如图2A及2B所示的视频编码器20等编码器接收识别操作点的语法或指令。举例来说，视频解码器30可接收变量twoFullViewsFlag(在存在时)、变量twoHalfViewsFlag(在存在时)、变量tIdTarget(在存在时)及变量LeftViewFlag(在存在时)。在此实例中，视频解码器30可使用上文所描述的输入变量来应用以下操作以导出子位流：
1.将视图0、1及2标记为目标视图。
2.当twoFullViewsFlag为假时
a.如果LeftViewFlag及left_view_enhance_first均为1或0((LeftViewFlag+left_view_enhance_first)%2==0)，则将视图2标记为非目标视图；
b.否则，(LeftViewFlag+left_view_enhance_first)%2==1)，
i.如果full_left_right_dependent_flag为1，则将视图1标记为非目标视图。
3.将以下条件中的任一者为真的全部VCLNAL单元及填充数据NAL单元标记为“待从位流移除”：
a.temporal_id大于tIdTarget，
b.nal_ref_idc等于0且inter_component_flag等于0(或全部以下旗标等于0：inter_view_frame_0_flag、inter_view_frame_1_flag、inter_layer_frame_0_flag、inter_layer_frame_1_flag、inter_view_flag及inter_layer_flag)。
c.view_id等于(2-second_view_flag)的视图为非目标视图。
4.移除全部VCLNAL单元均被标记为“待从位流移除”的全部存取单元。
5.移除被标记为“待从位流移除”的全部VCLNAL单元及填充数据NAL单元。
6.当twoHalfViewsFlag为1时，移除以下NAL单元：
a.nal_unit_type等于NEWTYPE1或NEWTYPE2的全部NAL单元。
b.含有SPSmfc扩展(可能地具有新类型)及在本修正案中所定义的SEI消息(具有不同SEI类型)的全部NAL单元。
在此实例中，当不存在作为到此子分句的输入的twoFullViewsFlag时，推断twoFullViewsFlag等于1。当不存在作为到此子分句的输入的twoHalfViewsFlag时，推断twoHalfViewsFlag等于0。当不存在作为到此子分句的输入的tIdTarget时，推断tIdTarget等于7。当不存在作为此子分句的输入的LeftViewFlag时，推断LeftViewFlag为真。
虽然关于视频解码器30予以描述，但在其它实例中，可由目的地装置(例如，图1所示的目的地装置14)的另一装置或组件执行子位流提取。举例来说，根据本发明的一些方面，可将子位流识别为属性，例如，识别为被包括作为视频服务的名单(manifest)的部分的属性。在此实例中，可在客户端(例如，目的地装置14)开始播放任何特定视频表示之前发射所述名单，使得所述客户端可使用所述属性来选择操作点。也就是说，所述客户端可选择接收仅所述基础层、所述基础层及一个增强层，或所述基础层及两个增强层。
图4为说明左眼视图图片180及右眼视图图片182的概念图，左眼视图图片180及右眼视图图片182由视频编码器20组合以形成具有对应于左眼视图图片180及右眼视图图片182的缩减分辨率图片的基础层的经封装帧184(“基础层帧184”)。视频编码器20还形成对应于左眼视图图片180的增强层的帧186(“增强层帧186”)。在此实例中，视频编码器20接收包括场景的左眼视图的原始视频数据的图片180，及包括所述场景的右眼视图的原始视频数据的图片182。左眼视图可对应于视图0，而右眼视图可对应于视图1。图片180、182可对应于同一时间实例的两个图片。举例来说，图片180、182可已在大致上相同时间被相机俘获。
在图4的实例中，用X来指示图片180的样本(例如，像素)，而用O来指示图片182的样本。如图所示，视频编码器20可下取样图片180，下取样图片182，且组合所述图片以形成视频编码器20可编码的基础层帧184。在此实例中，视频编码器20以并列式布置将经下取样图片180及经下取样图片182布置于基础层帧184中。为了下取样图片180及182且将经下取样图片布置于并列式基础层帧184中，视频编码器20可抽取每一图片180及182的交替列。作为另一实例，视频编码器20可完全地移除图片180及182的交替列以产生图片180及182的经下取样版本。
然而，在其它实例中，视频编码器20可以其它布置来封装经下取样图片180及经下取样图片182。举例来说，视频编码器20可使图片180及182的列交替。在另一实例中，视频编码器20可抽取或移除图片180及182的行，且以上下式或交替布置来布置经下取样图片。在又一实例中，视频编码器20可按梅花阵式(棋盘式)取样图片180及182且将样本布置于基础层帧184中。
除了基础层帧184以外，视频编码器20还可编码对应于基础层帧184的左眼视图(例如，视图0)的图片的全分辨率增强层帧186。根据本发明的一些方面，如先前所描述，视频编码器20可使用层间预测(由虚线188表示)来编码增强层帧186。也就是说，视频编码器20可使用利用层间纹理预测的层间预测或利用层间运动预测的层间预测来编码增强层帧186。另外或替代地，如先前所描述，视频编码器20可使用视图间预测(由虚线190表示)来编码增强层帧186。
在图4的说明中，基础层帧184包括对应于来自图片180的数据的X及对应于来自图片182的数据的O。然而，应理解，对应于图片180及182的基础层帧184的数据将未必与在下取样之后的图片180及182的数据恰好对准。同样地，在编码之后，基础层帧184中的图片的数据将很可能不同于图片180、182的数据。因此，不应假设基础层帧184中的一个X或O的数据必要地等同于图片180、182中的对应X或O，或基础层帧184中的X或O为与图片180、182中的X或O的分辨率相同的分辨率。
图5为说明左眼视图图片180及右眼视图图片182的概念图，左眼视图图片180及右眼视图图片182由视频编码器20组合以形成基础层的帧184(“基础层帧184”)及对应于右眼视图图片182的增强层的帧192(“增强层帧192”)。在此实例中，视频编码器20接收包括场景的左眼视图的原始视频数据的图片180，及包括所述场景的右眼视图的原始视频数据的图片182。左眼视图可对应于视图0，而右眼视图可对应于视图1。图片180、182可对应于同一时间实例的两个图片。举例来说，图片180、182可已在大致上相同时间被相机俘获。
类似于图4所示的实例，图5所示的实例包括用X指示的图片180的样本(例如，像素)，及用O指示的图片182的样本。如图所示，视频编码器20可下取样并编码图片180，下取样并编码图片182，且组合所述图片来以与图4所示的方式相同的方式形成基础层帧184。
除了基础层帧184以外，视频编码器20还可编码对应于基础层184的右眼视图(例如，视图1)的图片的全分辨率增强层帧192。根据本发明的一些方面，如先前所描述，视频编码器20可使用层间预测(由虚线188表示)来编码增强层帧192。也就是说，视频编码器20可使用利用层间纹理预测的层间预测或利用层间运动预测的层间预测来编码增强层帧192。另外或替代地，如先前所描述，视频编码器20可使用视图间预测(由虚线190表示)来编码增强层帧192。
图6为说明左眼视图图片180及右眼视图图片182的概念图，左眼视图图片180及右眼视图图片182由视频编码器20组合以形成基础层的帧184(“基础层帧184”)、包括左眼视图180的全分辨率图片的第一增强层的帧(“第一增强层帧186”)及包括右眼视图182的全分辨率图片的第二增强层的帧(“第二增强层帧192”)。在此实例中，视频编码器20接收包括场景的左眼视图的原始视频数据的图片180，及包括所述场景的右眼视图的原始视频数据的图片182。左眼视图可对应于视图0，而右眼视图可对应于视图1。图片180、182可对应于同一时间实例的两个图片。举例来说，图片180、182可已在大致上相同时间被相机俘获。
类似于图4及5所示的实例，图6所示的实例包括用X指示的图片180的样本(例如，像素)，及用O指示的图片182的样本。如图所示，视频编码器20可下取样并编码图片180，下取样并编码图片182，且组合所述图片来以与图4及5所示的方式相同的方式形成基础层帧184。
除了基础层帧184以外，视频编码器20还可编码对应于基础层帧184的左眼视图图片(例如，视图0)的第一增强层帧186。视频编码器20还可编码对应于基础层帧184的右眼视图图片(例如，视图1)的第二增强层帧192。然而，增强层帧的排序仅仅作为一个实例而提供。也就是说，在其它实例中，视频编码器20可编码对应于基础层帧184的右眼视图的图片的第一增强层帧，及对应于基础层帧184的左眼视图的图片的第二增强层帧。
在图6所示的实例中，如先前所描述，视频编码器20可基于基础层帧184而使用层间预测(由虚线188表示)来编码第一增强层帧186。也就是说，视频编码器20可基于基础层帧184而使用利用层间纹理预测的层间预测或利用层间运动预测的层间预测来编码第一增强层帧186。另外或替代地，如先前所描述，视频编码器20可基于基础层帧184而使用视图间预测(由虚线190表示)来编码第一增强层帧186。
如上文所描述，视频编码器20还可基于基础层帧184而使用层间预测(由虚线194表示)来编码第二增强层帧192。也就是说，视频编码器20可基于基础层帧184而使用利用层间纹理预测的层间预测或利用层间运动预测的层间预测来编码第二增强层帧192。
另外或替代地，视频编码器20可基于第一增强层帧186而使用视图间预测(由虚线190表示)来编码第二增强层帧192。
根据本发明的方面，专用于每一层(即，基础层184、第一增强层186及第二增强层192)的多视图可缩放位流的带宽的量可根据所述层的相依性而变化。举例来说，一般来说，视频编码器20可将可缩放多视图位流的带宽的50%到60%指派到基础层184。也就是说，与基础层184相关联的数据构成专用于位流的整个数据的50%到60%。如果第一增强层186及第二增强层192彼此不相依(例如，第二增强层192不出于预测目的使用第一增强层186)，则视频编码器20可将剩余带宽的近似相等量指派到相应增强层186、192中的每一者(例如，用于每一相应增强层186、192的带宽的25%到20%)。或者，如果第二增强层192是从第一增强层186进行预测的，则视频编码器20可将带宽的相对较大量指派到第一增强层186。也就是说，视频编码器20可将带宽的近似25%到30%指派到第一增强层186，且将带宽的近似15%到20%指派到第二增强层192。
图7为说明用于形成及编码可缩放多视图位流的实例方法200的流程图，所述可缩放多视图位流包括具有两个不同视图的两个缩减分辨率图片的基础层，以及第一增强层及第二增强层。虽然关于图1及2A到2B的实例组件予以大体上描述，但应理解，其它编码器、编码单元及编码装置可经配置以执行图7的方法。此外，未必需要以图7所示的次序执行图7的方法的步骤，且可执行较少、额外或替代步骤。
在图7的实例中，视频编码器20首先接收左眼视图(例如，视图0)的图片(202)。视频编码器20还可接收右眼视图(例如，视图1)的图片(204)，使得两个所接收图片形成立体图像对。左眼视图及右眼视图可形成立体视图对，其还被称为互补视图对。右眼视图的所接收图片可对应于与左眼视图的所接收图片相同的时间位置。也就是说，左眼视图的图片及右眼视图的图片可已在大致上相同时间被俘获或产生。视频编码器20可接着缩减左眼视图图片的图片及右眼视图的图片的分辨率(206)。在一些实例中，视频编码器20的预处理单元可接收所述图片。在一些实例中，视频预处理单元可在视频编码器20外部。
在图7的实例中，视频编码器20缩减左眼视图的图片及右眼视图的图片的分辨率(206)。举例来说，视频编码器20可子取样所接收左眼视图图片及右眼视图图片(例如，使用逐行、逐列或梅花阵式(棋盘式)子取样)，抽取所接收左眼视图图片及右眼视图图片的行或列，或以其它方式缩减所接收左眼视图图片及右眼视图图片的分辨率。在一些实例中，视频编码器20可产生具有左眼视图的对应全分辨率图片的宽度的一半或高度的一半的两个缩减分辨率图片。在包括视频预处理器的其它实例中，视频预处理器可经配置以缩减右眼视图图片的分辨率。
视频编码器20可接着形成包括经下取样左眼视图图片及经下取样右眼视图图片两者的基础层帧(208)。举例来说，视频编码器20可形成基础层帧，其具有并列式布置、上下式布置、使左视图图片的列与右视图图片的列交错、使左视图图片的行与右视图图片的行交错，或呈“棋盘式”类型布置。
视频编码器20可接着编码基础层帧(210)。根据本发明的方面，如关于图2A及2B所描述，视频编码器20可帧内或帧间译码基础层的图片。在编码基础层帧之后，视频编码器20可接着编码第一增强层帧(212)。根据图7所示的实例，视频编码器20将左视图图片编码为第一增强层帧，但在其它实例中，视频编码器20可将右视图图片编码为第一增强层帧。视频编码器20可帧内、帧间、层间(例如，层间纹理预测或层间运动预测)或视图间译码第一增强层帧。视频编码器20可使用基础层的对应缩减分辨率图片(例如，左眼视图的图片)作为用于预测目的的参考。如果视频编码器20使用层间预测来编码第一增强层帧，则视频编码器20可首先上取样基础层帧的左眼视图图片以用于预测目的。或者，如果视频编码器20使用视图间预测来编码第一增强层帧，则视频编码器20可首先上取样基础层帧的右眼视图图片以用于预测目的。
在编码第一增强层帧之后，视频编码器20可接着编码第二增强层帧(214)。根据图7所示的实例，视频编码器20将右视图图片编码为第二增强层帧，但在其它实例中，视频编码器20可将左视图图片编码为第二增强层帧。类似于第一增强层帧，视频编码器20可帧内、帧间、层间(例如，层间纹理预测或层间运动预测)或视图间译码第二增强层帧。视频编码器20可使用基础层帧的对应图片(例如，右眼视图的图片)作为用于预测目的的参考来编码第二增强层帧。举例来说，如果视频编码器20使用层间预测来编码第二增强层帧，则视频编码器20可首先上取样基础层帧的右眼视图图片以用于预测目的。或者，如果视频编码器20使用视图间预测来编码第二增强层帧，则视频编码器20可首先上取样基础层帧的左眼视图图片以用于预测目的。
根据本发明的方面，视频编码器20可还(或替代地)使用第一增强层帧来预测第二增强层帧。也就是说，视频编码器可使用第一增强层用于预测目的来视图间编码第二增强层帧。
视频编码器20可接着输出经编码层(216)。也就是说，视频编码器20可输出包括来自基础层、第一增强层及第二增强层的帧的可缩放多视图位流。根据一些实例，视频编码器20或耦合到视频编码器20的单元可将经编码层存储到计算机可读存储媒体，广播经编码层，经由网络发射或网络广播而发射经编码层，或以其它方式提供经编码视频数据。
还应理解，视频编码器20未必需要提供指示基础层帧的帧封装布置及针对位流的每一帧提供层的次序的信息。在一些实例中，视频编码器20可针对整个位流提供单一信息集合(例如，SPS及SEI消息)，其针对所述位流的每一帧指示此信息。在一些实例中，视频编码器20可周期性地(例如，在每一视频断片之后、在图片群组(GOP)之后、在视频区段之后、每隔特定数目个帧，或以其它周期性间隔)提供信息。在一些实例中，视频编码器20或与视频编码器20相关联的另一单元还可按需求(例如，响应于针对SPS或SEI消息的来自客户端装置的请求，或针对位流的标头数据的一般请求)来提供SPS及SEI消息。
图8为说明用于解码可缩放多视图位流的实例方法240的流程图，所述可缩放多视图位流具有基础层、第一增强层及第二增强层。虽然关于图1及3的实例组件予以大体上描述，但应理解，其它解码器、解码单元及解码装置可经配置以执行图8的方法。此外，未必需要以图8所示的次序执行图8的方法的步骤，且可执行较少、额外或替代步骤。
最初，视频解码器30可接收特定表示的潜在操作点的指示(242)。也就是说，视频解码器30可接收在可缩放多视图位流中提供哪些层的指示，以及所述层的相依性。举例来说，视频解码器30可接收提供关于经解码视频数据的信息的SPS、SEI及NAL消息。在一些实例中，视频解码器30可已在接收经编码层之前先前地接收位流的SPS消息，在所述情况下，视频解码器30可已在接收经编码层之前已经确定可缩放多视图位流的层。在一些实例中，发射限制(例如，发射媒体的带宽限定或限制)可造成增强层被降级或舍弃，使得特定操作点不可用。
包括视频解码器30的客户端装置(例如，图1的目的地装置14)还可确定所述客户端装置的解码及再现能力(244)。在一些实例中，视频解码器30或其中安装有视频解码器30的客户端装置可不具有解码或再现三维表示的图片的能力，或可不具有解码所述增强层中的一者或两者的图片的能力。在另外其它实例中，网络中的带宽可用性可禁止所述基础层及一个或两个增强层的检索。因此，客户端装置可基于视频解码器30的解码能力、其中安装有视频解码器30的客户端装置的再现能力及/或当前网络条件来选择操作点(246)。在一些实例中，客户端装置可经配置以重新评估网络条件且基于新网络条件来请求不同操作点的数据，例如，以在可用带宽增加时检索较多数据(例如，一个或两个增强层)或在可用带宽减少时检索较少数据(例如，仅一个增强层或无任何增强层)。
在选择操作点之后，视频解码器30可解码可缩放多视图位流的基础层(248)。举例来说，视频解码器30可解码基础层的左眼视图的图片及右眼视图的图片，分离经解码图片，且将所述图片上取样到全分辨率。根据一些实例，视频解码器30可首先解码基础层的左眼视图的图片，继而解码基础层的右眼视图的图片。在视频解码器30将经解码基础层分离成构成图片(例如，左眼视图的图片及右眼视图的图片)之后，视频解码器30可存储左眼视图图片及右眼视图图片的复本用于参考以解码增强层。另外，基础层的左眼视图图片及右眼视图图片均可为缩减分辨率图片。因此，视频解码器30可(例如)通过内插遗失数据以形成左眼视图图片及右眼视图图片的全分辨率版本来上取样左眼视图图片及右眼视图图片。
在一些实例中，视频解码器30或其中安装有视频解码器30的装置(例如，图1所示的目的地装置14)可不具有解码所述增强层中的一者或两者的能力。在其它实例中，发射限制(例如，发射媒体的带宽限定或限制)可造成增强层被降级或舍弃。在其它实例中，视频显示器32可不具有呈现两个视图的能力，例如，可不具备3-D能力。因此，在图8所示的实例中，视频解码器30确定(步骤246的)选定操作点是否包括解码第一增强层(250)。
如果视频解码器30不解码第一增强层，或第一增强层不再存在于位流中，则视频解码器30可上取样(例如，内插)基础层的左眼视图图片及右眼视图图片，且将左眼视图图片及右眼视图图片的经上取样表示发送到视频显示器32，视频显示器32可同时地或几乎同时地显示左眼视图图片及右眼视图图片(252)。在另一实例中，如果视频显示器32不能够显示立体(例如，3D)内容，则视频解码器30或视频显示器32可在显示之前舍弃左眼视图图片或右眼视图图片。
然而，视频解码器30可解码第一增强层(254)。如上文关于图3所描述，视频解码器30可接收用以帮助视频解码器30解码第一增强层的语法。举例来说，视频解码器30可确定是帧内、帧间、层间(例如，纹理或运动)还是视图间预测用以编码第一增强层。视频解码器30可接着相应地解码第一增强层。根据本发明的一些方面，视频解码器30可在解码第一增强层之前上取样基础层的对应图片。
如上文所描述，视频解码器30或其中安装有视频解码器30的装置可不具有解码增强层两者的能力，或发射限制可造成第二增强层被降级或舍弃。因此，在解码第一增强层之后，视频解码器30确定选定操作点(步骤246)是否包括解码第二增强层(256)。
如果视频解码器30不解码第二增强层，或第二增强层不再存在于位流中，则视频解码器30可舍弃基础层的不与第一增强层相关联的图片，且将与第一增强层相关联的图片发送到显示器32(258)。也就是说，对于不能够显示立体内容的视频显示器32，视频解码器30或视频显示器32可在显示之前舍弃基础层的不与第一增强层相关联的图片。举例来说，如果第一增强层包括全分辨率左眼视图图片，则视频解码器30或显示器32可在显示之前舍弃基础层的右眼视图图片。或者，如果第一增强层包括全分辨率右眼视图图片，则视频解码器30或显示器32可在显示之前舍弃基础层的左眼视图图片。
在另一实例中，如果视频解码器20不解码第二增强层，或第二增强层不再存在于位流中，则视频解码器30可将一个经上取样图片(例如，来自基础层)及一个全分辨率图片(例如，来自增强层)发送到显示器32，显示器32可同时地或几乎同时地显示左眼视图图片及右眼视图图片。也就是说，如果第一增强层对应于左视图图片，则视频解码器30可将来自第一增强层的全分辨率左视图图片及来自基础层的经上取样右视图图片发送到显示器32。或者，如果第一增强层对应于右视图图片，则视频解码器30可将来自第一增强层的全分辨率右视图图片及来自基础层的经上取样左视图图片发送到显示器32。显示器32可同时地或几乎同时地呈现所述一个全分辨率图片及所述一个经上取样图片。
然而，视频解码器30可解码第二增强层(260)。如上文关于图3所描述，视频解码器30可接收用以帮助视频解码器30解码第二增强层的语法。举例来说，视频解码器30可确定是帧内、帧间、层间(例如，纹理或运动)还是视图间预测用以编码第二增强层。视频解码器30可接着相应地解码第二增强层。根据本发明的一些方面，视频解码器30可在解码第一增强层之前上取样基础层的对应经解码图片。或者，如果解码器30确定第二增强层是基于第一增强层来预测的，则解码器30可在解码第二增强层时使用经解码第一增强层。
在解码第一增强层(254)及第二增强层(260)两者之后，视频解码器30可将来自所述增强层的全分辨率左视图图片及全分辨率右视图图片两者发送到显示器32。显示器32可同时地或几乎同时地呈现全分辨率左视图图片及全分辨率右视图图片(262)。
在一些实例中，视频解码器30或其中安装有视频解码器30的装置(例如，图1所示的目的地装置14)可不具备三维视频重放的能力。在这些实例中，视频解码器30可不解码所述两种图片。也就是说，解码器30可仅解码基础层的左眼视图图片且跳过(例如，舍弃)基础层的右眼视图图片。另外，视频解码器30可仅解码对应于基础层的经解码视图的增强层。以此方式，装置可能够接收并解码可缩放多视图位流，而无论所述装置是否能够解码且/或再现三维视频数据。
虽然关于视频编码器及视频解码器予以大体上描述，但本发明的技术可实施于其它装置及译码单元中。举例来说，可由经配置以接收两个分离互补位流且变码所述两个位流以形成包括基础层、第一增强层及第二增强层的单一位流的变码器(transcoder)执行用于形成包括基础层、第一增强层及第二增强层的可缩放多视图位流的技术。作为另一实例，可由经配置以接收包括基础层、第一增强层及第二增强层的位流且产生对应于基础层的相应视图的两个分离位流(每一者包括用于相应视图的经编码视频数据)的变码器执行用于分解可缩放多视图位流的技术。
在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，则所述功能可作为一个或一个以上指令或代码而存储于计算机可读媒体上或经由计算机可读媒体而传输，且由以硬件为基础的处理单元执行。计算机可读媒体可包括计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包括促进(例如)根据通信协议而将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)为非暂时的有形计算机可读存储媒体，或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码及/或数据结构以用于实施本发明中所描述的技术的任何可用媒体。计算机程序产品可包括计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。而且，将任何连接适当地称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术而从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包括于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包括连接、载波、信号或其它暂时性媒体，而是针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上各者的组合也应包括于计算机可读媒体的范围内。
可由例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或一个以上处理器执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，可将本文中所描述的功能性提供于经配置以用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全地实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施于广泛多种装置或设备中，所述装置或设备包括无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必需要由不同硬件单元实现。而是，如上文所描述，可将各种单元组合于编解码器硬件单元中，或由互操作性硬件单元(包括如上文所描述的一个或一个以上处理器)的集合结合合适软件及/或固件来提供所述单元。

Claims (38)

1.一种解码包含基础层数据及增强层数据的视频数据的方法，所述方法包含：
解码具有第一分辨率的基础层数据，其中所述基础层数据的每一帧包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本；
解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据；及
组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者。
2.根据权利要求1所述的方法，其中所述增强层数据包含第一增强层数据，所述方法进一步包含与所述第一增强层数据分离地解码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据，其中所述第二增强层具有所述第一分辨率，且其中解码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分解码所述第二增强层数据。
3.根据权利要求2所述的方法，其中解码所述第二增强层数据包含从对应于所述第二增强层的所述基础层数据的所述视图的经上取样版本检索用于所述第二增强层数据的层间预测数据，其中所述经上取样版本具有所述第一分辨率。
4.根据权利要求2所述的方法，其中解码所述第二增强层数据包含从具有所述第一分辨率的所述基础层的另一视图的经上取样版本及所述第一增强层数据中的至少一者检索用于所述第二增强层数据的视图间预测数据。
5.根据权利要求4所述的方法，其进一步包含解码位于与所述第二增强层相关联的片段标头中的参考图片列表构造数据，所述参考图片列表构造数据指示所述预测数据是与具有所述第一分辨率的所述基础层的另一视图的所述经上取样版本相关联还是与所述第一增强层数据相关联。
6.根据权利要求2所述的方法，其中解码所述增强层数据包含从对应于所述第一增强层的所述基础层数据的所述视图的经上取样版本检索用于所述增强层数据的层间预测数据，其中所述经上取样版本具有所述第一分辨率。
7.根据权利要求1所述的方法，其中解码所述增强层数据包含从所述基础层数据的另一视图的经上取样版本检索用于所述增强层数据的视图间预测数据，其中所述经上取样版本具有所述第一分辨率。
8.一种用于解码包含基础层数据及增强层数据的视频数据的设备，所述设备包含视频解码器，所述视频解码器经配置以：
解码具有第一分辨率的基础层数据，其中所述基础层数据的每一帧包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本；
解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，且
其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据；及
组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者。
9.根据权利要求8所述的设备，其中所述增强层数据包含第一增强层数据，所述视频解码器进一步经配置以与所述第一增强层数据分离地解码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据，其中所述第二增强层具有所述第一分辨率，且其中解码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分解码所述第二增强层数据。
10.根据权利要求9所述的设备，其中为了解码所述第二增强层数据，所述解码器经配置以从对应于所述第二增强层的所述基础层数据的所述视图的经上取样版本检索用于所述第二增强层数据的层间预测数据，其中所述经上取样版本具有所述第一分辨率。
11.根据权利要求9所述的设备，其中为了解码所述第二增强层数据，所述解码器经配置以从具有所述第一分辨率的所述基础层的另一视图的经上取样版本及所述第一增强层数据中的至少一者检索用于所述第二增强层数据的视图间预测数据。
12.根据权利要求11所述的设备，其中所述视频解码器进一步经配置以解码位于与所述第二增强层相关联的片段标头中的参考图片列表构造数据，所述参考图片列表构造数据指示所述预测数据是与具有所述第一分辨率的所述基础层的另一视图的所述经上取样版本相关联还是与所述第一增强层数据相关联。
13.根据权利要求9所述的设备，其中为了解码所述增强层数据，所述解码器经配置以从对应于所述第一增强层的所述基础层数据的所述视图的经上取样版本检索用于所述增强层数据的层间预测数据，其中所述经上取样版本具有所述第一分辨率。
14.根据权利要求8所述的设备，其中为了解码所述增强层数据，所述解码器经配置以从所述基础层数据的另一视图的经上取样版本检索用于所述增强层数据的视图间预测数据，其中所述经上取样版本具有所述第一分辨率。
15.根据权利要求8所述的设备，其中所述设备包含下列各者中的至少一者：
集成电路；
微处理器；及
无线通信装置，其包括视频编码器。
16.一种用于解码包含基础层数据及增强层数据的视频数据的设备，所述设备包含：
用于解码具有第一分辨率的基础层数据的装置，其中所述基础层数据的每一帧包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本；
用于解码具有所述第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据的装置，且其中解码所述增强层数据包含相对于所述基础层数据的至少一部分解码所述增强层数据；及
用于组合所述经解码增强层数据与所述经解码增强层所对应的所述经解码基础层数据的所述左视图或所述右视图中的所述一者的装置。
17.根据权利要求16所述的设备，其中所述增强层数据包含第一增强层数据，所述设备进一步包含用于与所述第一增强层数据分离地解码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据的装置，其中所述第二增强层具有所述第一分辨率，且其中解码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分解码所述第二增强层数据。
18.一种编码包含基础层数据及增强层数据的视频数据的方法，所述方法包含：
编码具有第一分辨率的基础层数据，其中所述基础层数据的每一帧包含左视图的相对于所述第一分辨率的缩减分辨率版本及右视图的相对于所述第一分辨率的缩减分辨率版本；及
编码具有第一分辨率且包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中编码所述增强层数据包含相对于所述基础层数据的至少一部分编码所述增强层数据。
19.根据权利要求18所述的方法，其中所述增强层数据包含第一增强层数据，所述方法进一步包含与所述第一增强层数据分离地编码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据，其中所述第二增强层具有所述第一分辨率，且其中编码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分编码所述第二增强层数据。
20.根据权利要求19所述的方法，其中编码所述第二增强层数据包含从对应于所述第二增强层的所述基础层数据的所述视图的经上取样版本层间预测所述第二增强层数据，其中所述经上取样版本具有所述第一分辨率。
21.根据权利要求19所述的方法，其中编码所述第二增强层数据包含从具有所述第一分辨率的所述基础层的另一视图的经上取样版本及所述第一增强层数据中的至少一者视图间预测所述第二增强层数据。
22.根据权利要求19所述的方法，其进一步包含提供指示针对所述第一增强层数据及所述第二增强层数据中的至少一者是否启用层间预测及是否启用视图间预测的信息。
23.根据权利要求19所述的方法，其进一步包含提供指示包含所述基础层、所述第一增强层及所述第二增强层的表示的操作点的信息，其中指示所述操作点的所述信息指示了包括于所述操作点的每一者中的层、表示所述操作点的最大帧速率的最大时间识别符、表示所述操作点所遵守的视频译码简档的简档指示符、表示所述操作点所遵守的所述视频译码简档的层级的层级指示符及所述操作点的平均帧速率。
24.根据权利要求19所述的方法，其进一步包含编码位于与所述第二增强层相关联的片段标头中的参考图片列表构造数据，所述参考图片列表构造数据指示预测数据是与具有所述第一分辨率的所述基础层的另一视图的所述经上取样版本相关联还是与所述第一增强层数据相关联。
25.根据权利要求18所述的方法，其中编码所述增强层数据包含从所述基础层数据的对应左视图或右视图的经上取样版本层间预测所述增强层数据，其中所述经上取样版本具有所述第一分辨率。
26.根据权利要求18所述的方法，其中编码所述增强层数据包含从所述基础层数据的对应左视图或右视图的相反视图的经上取样版本视图间预测所述增强层数据，其中所述经上取样版本具有所述第一分辨率。
27.一种用于编码包含场景的左视图及所述场景的右视图的视频数据的设备，其中所述左视图具有第一分辨率且所述右视图具有所述第一分辨率，所述设备包含视频编码器，所述视频编码器经配置以：编码包含具有所述左视图的相对于所述第一分辨率的缩减分辨率版本及所述右视图的相对于所述第一分辨率的缩减分辨率版本的帧的基础层数据；编码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据，其中所述增强数据具有所述第一分辨率；及输出所述基础层数据及所述增强层数据。
28.根据权利要求27所述的设备，其中所述增强层数据包含第一增强层数据，且所述视频编码器进一步经配置以与所述第一增强层数据分离地编码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据，其中所述第二增强层具有所述第一分辨率，且其中编码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分编码所述第二增强层数据。
29.根据权利要求28所述的设备，其中编码所述第二增强层数据包含从对应于所述第二增强层的所述基础层数据的所述视图的经上取样版本层间预测所述第二增强层数据，其中所述经上取样版本具有所述第一分辨率。
30.根据权利要求28所述的设备，其中编码所述第二增强层数据包含从具有所述第一分辨率的所述基础层的另一视图的经上取样版本及所述第一增强层数据中的至少一者视图间预测所述第二增强层数据。
31.根据权利要求28所述的设备，其中所述视频编码器进一步经配置以提供指示针对所述第一增强层数据及所述第二增强层数据中的至少一者是否启用层间预测及是否启用视图间预测的信息。
32.根据权利要求28所述的设备，其中所述视频编码器进一步经配置以提供指示包含所述基础层、所述第一增强层及所述第二增强层的表示的操作点的信息，其中指示所述操作点的所述信息指示了包括于所述操作点的每一者中的层、表示所述操作点的最大帧速率的最大时间识别符、表示所述操作点所遵守的视频译码简档的简档指示符、表示所述操作点所遵守的所述视频译码简档的层级的层级指示符及所述操作点的平均帧速率。
33.根据权利要求28所述的设备，其中所述视频编码器进一步经配置以编码位于与所述第二增强层相关联的片段标头中的参考图片列表构造数据，所述参考图片列表构造数据指示预测数据是与具有所述第一分辨率的所述基础层的另一视图的所述经上取样版本相关联还是与所述第一增强层数据相关联。
34.根据权利要求27所述的设备，其中编码所述增强层数据包含从所述基础层数据的对应左视图或右视图的经上取样版本层间预测所述增强层数据，其中所述经上取样版本具有所述第一分辨率。
35.根据权利要求27所述的设备，其中编码所述增强层数据包含从所述基础层数据的对应左视图或右视图的相反视图的经上取样版本视图间预测所述增强层数据，其中所述经上取样版本具有所述第一分辨率。
36.根据权利要求27所述的设备，其中所述设备包含下列各者中的至少一者：
集成电路；
微处理器；及
无线通信装置，其包括所述视频编码器。
37.一种用于编码包含场景的左视图及所述场景的右视图的视频数据的设备，其中所述左视图具有第一分辨率且所述右视图具有所述第一分辨率，所述设备包含：
用于编码包含具有所述左视图的相对于所述第一分辨率的缩减分辨率版本及所述右视图的相对于所述第一分辨率的缩减分辨率版本的帧的基础层数据的装置；
用于编码包含用于所述左视图及所述右视图中的恰好一者的增强数据的增强层数据的装置，其中所述增强数据具有所述第一分辨率；及
用于输出所述基础层数据及所述增强层数据的装置。
38.根据权利要求37所述的设备，其中所述增强层数据包含第一增强层数据，且所述设备进一步包含用于与所述第一增强层数据分离地编码用于所述左视图及右视图中的不与所述第一增强层数据相关联的恰好一者的第二增强层数据的装置，其中所述第二增强层具有所述第一分辨率，且其中编码所述第二增强层数据包含相对于所述基础层数据的至少一部分或第一增强层数据的至少一部分编码所述第二增强层数据。
CN201180045415.5A 2010-09-24 2011-09-07 译码立体视频数据 Expired - Fee Related CN103155571B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US38646310P 2010-09-24 2010-09-24
US61/386,463 2010-09-24
US201161480336P 2011-04-28 2011-04-28
US61/480,336 2011-04-28
US13/194,656 2011-07-29
US13/194,656 US20120075436A1 (en) 2010-09-24 2011-07-29 Coding stereo video data
PCT/US2011/050699 WO2012039936A1 (en) 2010-09-24 2011-09-07 Coding stereo video data

Publications (2)

Publication Number Publication Date
CN103155571A CN103155571A (zh) 2013-06-12
CN103155571B true CN103155571B (zh) 2016-02-17

Family

ID=45870253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180045415.5A Expired - Fee Related CN103155571B (zh) 2010-09-24 2011-09-07 译码立体视频数据

Country Status (6)

Country Link
US (1) US20120075436A1 (zh)
EP (1) EP2619986A1 (zh)
JP (1) JP5866364B2 (zh)
KR (2) KR20130095282A (zh)
CN (1) CN103155571B (zh)
WO (1) WO2012039936A1 (zh)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
EP2622857A1 (en) 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2012047496A1 (en) * 2010-10-08 2012-04-12 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US9215473B2 (en) 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
MX2013008691A (es) * 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
EP2684293A4 (en) 2011-03-10 2014-10-29 Vidyo Inc SET OF DEPENDENCY PARAMETERS FOR EVOLVING VIDEO CODING
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
US9420259B2 (en) 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
WO2013009441A2 (en) * 2011-07-12 2013-01-17 Vidyo, Inc. Scalable video coding using multiple coding technologies
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
CN103828371B (zh) * 2011-09-22 2017-08-22 太阳专利托管公司 运动图像编码方法、运动图像编码装置、及运动图像解码方法以及运动图像解码装置
EP2763414B1 (en) 2011-09-29 2020-09-23 Sharp Kabushiki Kaisha Image decoding device and image decoding method for performing bi-prediction to uni-prediction conversion
US10110891B2 (en) 2011-09-29 2018-10-23 Sharp Kabushiki Kaisha Image decoding device, image decoding method, and image encoding device
KR20130046534A (ko) * 2011-10-28 2013-05-08 삼성전자주식회사 영상 부호화 방법 및 장치 그리고 영상 복호화 방법 및 장치
US9077998B2 (en) 2011-11-04 2015-07-07 Qualcomm Incorporated Padding of segments in coded slice NAL units
US9124895B2 (en) 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US20130117418A1 (en) * 2011-11-06 2013-05-09 Akamai Technologies Inc. Hybrid platform for content delivery and transcoding
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
EP3657796A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2781091B1 (en) 2011-11-18 2020-04-08 GE Video Compression, LLC Multi-view coding with efficient residual handling
JP2013110540A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
KR101977260B1 (ko) * 2011-12-04 2019-05-13 엘지전자 주식회사 입체영상 디스플레이가 가능한 디지털 방송 수신방법 및 수신장치
WO2013116539A1 (en) * 2012-02-01 2013-08-08 Futurewei Technologies, Inc. Scalable video coding extensions for high efficiency video coding
US10003810B2 (en) * 2012-03-22 2018-06-19 Mediatek Inc. Method and apparatus of scalable video coding
US9565431B2 (en) * 2012-04-04 2017-02-07 Qualcomm Incorporated Low-delay video buffering in video coding
CN104396244B (zh) * 2012-04-16 2019-08-09 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机可读存储介质
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
US9860555B2 (en) * 2012-05-22 2018-01-02 Lg Electronics Inc. Method and apparatus for processing video signal
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
TWI649999B (zh) 2012-07-09 2019-02-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼方法及視訊編碼系統
US9900593B2 (en) * 2012-08-29 2018-02-20 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
US9992490B2 (en) * 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
EP2901688B1 (en) 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
US10009619B2 (en) * 2012-09-28 2018-06-26 Sony Corporation Image processing device for suppressing deterioration in encoding efficiency
CN108401157B (zh) 2012-10-01 2022-06-24 Ge视频压缩有限责任公司 可伸缩视频解码器、编码器及可伸缩视频解码、编码方法
WO2014055222A1 (en) * 2012-10-01 2014-04-10 Vidyo, Inc. Hybrid video coding techniques
CN104704835B (zh) * 2012-10-03 2017-11-24 联发科技股份有限公司 视频编码中运动信息管理的装置与方法
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
KR20140087972A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 및 복호화 방법 및 그 장치
US10021388B2 (en) 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
US10219006B2 (en) * 2013-01-04 2019-02-26 Sony Corporation JCTVC-L0226: VPS and VPS_extension updates
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US20140218473A1 (en) * 2013-01-07 2014-08-07 Nokia Corporation Method and apparatus for video coding and decoding
WO2014107720A1 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Motion information signaling for scalable video coding
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
CN110234007B (zh) * 2013-03-21 2023-05-23 索尼公司 图像解码装置和方法
WO2014166096A1 (en) * 2013-04-11 2014-10-16 Mediatek Singapore Pte. Ltd. Reference view derivation for inter-view motion prediction and inter-view residual prediction
US9602822B2 (en) * 2013-04-17 2017-03-21 Qualcomm Incorporated Indication of cross-layer picture type alignment in multi-layer video coding
KR102325977B1 (ko) * 2013-07-08 2021-11-15 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
CA2883580A1 (en) * 2013-07-12 2015-01-15 Sony Corporation Image coding apparatus and method
CN105379276A (zh) * 2013-07-15 2016-03-02 株式会社Kt 可伸缩视频信号编码/解码方法和装置
US10390031B2 (en) 2013-07-15 2019-08-20 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
KR101869882B1 (ko) * 2013-10-11 2018-06-25 브이아이디 스케일, 인크. Hevc 확장을 위한 하이 레벨 구문
US10063887B2 (en) * 2013-10-18 2018-08-28 Lg Electronics Inc. Video decoding apparatus and method for decoding multi-view video
WO2015057032A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 멀티 뷰를 포함하는 비디오 부호화/복호화 방법 및 장치
KR20150046743A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9967575B2 (en) * 2013-10-29 2018-05-08 Kt Corporation Multilayer video signal encoding/decoding method and device
KR20150056679A (ko) * 2013-11-15 2015-05-27 광운대학교 산학협력단 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
US10230999B2 (en) 2013-12-16 2019-03-12 Lg Electronics Inc. Signal transmission/reception device and signal transmission/reception method for providing trick play service
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US10187641B2 (en) 2013-12-24 2019-01-22 Kt Corporation Method and apparatus for encoding/decoding multilayer video signal
US9485456B2 (en) 2013-12-30 2016-11-01 Akamai Technologies, Inc. Frame-rate conversion in a distributed computing system
CN112887737B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
US10547834B2 (en) 2014-01-08 2020-01-28 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
US10708606B2 (en) 2014-03-24 2020-07-07 Kt Corporation Multilayer video signal encoding/decoding method and device
US9813654B2 (en) * 2014-08-19 2017-11-07 Sony Corporation Method and system for transmitting data
US10469856B2 (en) * 2014-11-25 2019-11-05 Electronics And Telelcommunications Research Institute Apparatus and method for transmitting and receiving 3DTV broadcasting
US20180213216A1 (en) * 2015-06-16 2018-07-26 Lg Electronics Inc. Media data transmission device, media data reception device, media data transmission method, and media data rececption method
JP6528635B2 (ja) * 2015-10-05 2019-06-12 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10798422B2 (en) * 2015-10-20 2020-10-06 Intel Corporation Method and system of video coding with post-processing indication
EP3394791B1 (en) 2015-12-24 2020-10-07 Datalogic IP Tech S.r.l. Coded information reader
US11039181B1 (en) 2016-05-09 2021-06-15 Google Llc Method and apparatus for secure video manifest/playlist generation and playback
US10785508B2 (en) 2016-05-10 2020-09-22 Google Llc System for measuring video playback events using a server generated manifest/playlist
US11069378B1 (en) 2016-05-10 2021-07-20 Google Llc Method and apparatus for frame accurate high resolution video editing in cloud using live video streams
US10771824B1 (en) 2016-05-10 2020-09-08 Google Llc System for managing video playback using a server generated manifest/playlist
US10595054B2 (en) 2016-05-10 2020-03-17 Google Llc Method and apparatus for a virtual online video channel
US11032588B2 (en) * 2016-05-16 2021-06-08 Google Llc Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
CN110537202B (zh) * 2017-04-10 2022-10-04 奥林巴斯株式会社 相关值运算装置
JP2017147749A (ja) * 2017-04-20 2017-08-24 シャープ株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
CN111919448A (zh) * 2018-01-26 2020-11-10 韩国电子通信研究院 用于使用时间运动信息的图像编码和图像解码的方法和设备
WO2019147067A1 (ko) * 2018-01-26 2019-08-01 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
KR102030630B1 (ko) * 2018-04-30 2019-11-08 서울과학기술대학교 산학협력단 하이브리드 망 기반의 스테레오스코픽 3차원 360도 가상 현실 서비스 제공 시스템
KR102495915B1 (ko) 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
US10970882B2 (en) * 2019-07-24 2021-04-06 At&T Intellectual Property I, L.P. Method for scalable volumetric video coding
US10979692B2 (en) 2019-08-14 2021-04-13 At&T Intellectual Property I, L.P. System and method for streaming visible portions of volumetric video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167364A (zh) * 2005-03-10 2008-04-23 高通股份有限公司 具有两层编码和单层解码的可伸缩视频编码
CN101584217A (zh) * 2007-01-08 2009-11-18 高通股份有限公司 用于空间可缩放性的扩展的层间译码

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02126788A (ja) * 1988-11-07 1990-05-15 Nippon Telegr & Teleph Corp <Ntt> 複数ステレオ動画像符号化伝送方式
AU2003231510A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
JP4104895B2 (ja) * 2002-04-25 2008-06-18 シャープ株式会社 立体画像符号化装置および立体画像復号装置
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
WO2007035054A1 (en) * 2005-09-22 2007-03-29 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US8331433B2 (en) * 2006-08-31 2012-12-11 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
CN101888559B (zh) * 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US20080225952A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
CA2650151C (en) * 2008-01-17 2013-04-02 Lg Electronics Inc. An iptv receiving system and data processing method
US9078008B2 (en) * 2009-04-20 2015-07-07 Dolby Laboratories Licensing Corporation Adaptive inter-layer interpolation filters for multi-layered video delivery
CN102668567A (zh) * 2010-08-09 2012-09-12 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置及图像解码装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167364A (zh) * 2005-03-10 2008-04-23 高通股份有限公司 具有两层编码和单层解码的可伸缩视频编码
CN101584217A (zh) * 2007-01-08 2009-11-18 高通股份有限公司 用于空间可缩放性的扩展的层间译码

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Client-Driven Selective Streaming of Multiview Video for Interactive 3DTV"， Engin Kurutepe;Engin Kurutepe etc.;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20071130;第17卷(第11期);第1558-1565页 *

Also Published As

Publication number Publication date
JP2013542648A (ja) 2013-11-21
JP5866364B2 (ja) 2016-02-17
CN103155571A (zh) 2013-06-12
EP2619986A1 (en) 2013-07-31
WO2012039936A1 (en) 2012-03-29
US20120075436A1 (en) 2012-03-29
KR20130095282A (ko) 2013-08-27
KR20150043547A (ko) 2015-04-22

Similar Documents

Publication Publication Date Title
CN103155571B (zh) 译码立体视频数据
CN102918836B (zh) 用于非对称立体视频的帧封装
CN104769948B (zh) 一种编解码方法、装置及可读存储介质
CN104272741B (zh) 多视图译码和3d译码中的视图相依性
CN104704835B (zh) 视频编码中运动信息管理的装置与方法
CN104365105B (zh) 视频译码中的外部图片
CN105794212B (zh) 一种处理多层视频数据的方法及装置
CN109076245A (zh) 图片中的区域性随机存取
CN104782131B (zh) 视频译码中的目标输出层
EP3018908B1 (en) Method and apparatus for decoding video including a plurality of layers
CN104885459B (zh) 用于多层译码的多分辨率经解码图片缓冲器管理
CN104813668A (zh) 在三维视频译码中的自适应性明度补偿
CN104969551A (zh) 可缩放及多视角视频译码中的高级残差预测
CN105874788B (zh) 对3d视频译码中较大预测块的逐段dc译码的简化
KR20170020793A (ko) 비디오 코딩에서 ０ 번째 출력 계층 세트를 위한 프로파일, 티어, 레벨
CN105359526A (zh) 用于视频译码的跨层并行处理与偏移延迟参数
US9591254B2 (en) Device and method for processing video data
CN104509115A (zh) 用于高效视频译码(hevc)和扩展的视频参数集
CN103733620A (zh) 具有不对称空间分辨率的三维视频
CN104429083A (zh) 译码用于视频译码的定时信息
CN104137550A (zh) 用于多视图视频译码mvc兼容三维视频译码3dvc的深度分量去除
CN105580374B (zh) 一种对多层视频数据进行编解码的方法、视频解码设备及存储媒体
CN105027571A (zh) 三维视频译码中导出的视差向量
CN103444175A (zh) 全分辨率帧兼容的立体视频译码中的后滤波
CN104584557A (zh) 构造用于多视图或3dv视频译码的参考图片列表

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160217

Termination date: 20180907