CN102918836A - 用于非对称立体视频的帧封装 - Google Patents

用于非对称立体视频的帧封装 Download PDF

Info

Publication number
CN102918836A
CN102918836A CN2011800238300A CN201180023830A CN102918836A CN 102918836 A CN102918836 A CN 102918836A CN 2011800238300 A CN2011800238300 A CN 2011800238300A CN 201180023830 A CN201180023830 A CN 201180023830A CN 102918836 A CN102918836 A CN 102918836A
Authority
CN
China
Prior art keywords
picture
frame
resolution
asymmetric
asymmetric frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800238300A
Other languages
English (en)
Other versions
CN102918836B (zh
Inventor
陈盈
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102918836A publication Critical patent/CN102918836A/zh
Application granted granted Critical
Publication of CN102918836B publication Critical patent/CN102918836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

经译码视频位流的非对称帧可包含左视图的全分辨率图片以及右视图的降低分辨率图片，其中所述左和右视图形成用于三维视频播放的立体视图对。在一个实例中，一种设备包含视频编码器，所述视频编码器经配置以：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低的分辨率；形成包括所述第一图片和所述第二图片的非对称帧；以及对所述非对称帧进行编码。以此方式，不同能力的解码器可接收同一位流，且所述位流与具有立体视图对的全分辨率图片的一个或一个以上位流相比可消耗较少带宽。所述位流可具有比具有经二次取样图片的位流好的质量。

Description

用于非对称立体视频的帧封装
本申请案主张于2010年5月13日递交的第61/334,253号美国临时申请案、于2010年7月21日递交的第61/366,436号美国临时申请案以及于2011年1月14日递交的第61/433,110号美国临时申请案的权益，前述各案以引用方式全文并入本文中。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可并入到各种各样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电话、视频电话会议装置等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准以及此些标准的扩展中所描述的那些视频压缩技术，以更有效地发射和接收数字视频信息。
视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测来对经帧内译码的(I)帧或切片中的宏块进行编码。经帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于其它参考帧的时间预测。
已致力于开发基于H.264/AVC的新视频译码标准。一个此种标准是可分级视频译码(SVC)标准，其是H.264/AVC的可分级扩展。另一标准是多视点视频译码(MVC)，其已变成H.264/AVC的多视点扩展。MVC的联合草案描述于2008年7月在德国汉诺威第28次JVT会议上提出的JVT-AB204，“多视点视频译码的联合草案8.0”中，所述草案的获得地址是http://wftp3.itu.int/av-arch/jvt-site/2008_07_Hannover/JVT-AB204.zip。AVC标准的版本描述于2009年2月在瑞士日内瓦第30次JVT会议上提出的JVT-AD007，“编者对ITU-T Rec.H.264|ISO/IEC 14496-10高级视频译码的草案修订-为ITU-T SG 16AAP同意(综合形式)作准备(Editors′draft revision to ITU-T Rec.H.264|ISO/IEC14496-10 Advanced Video Coding-in preparation for ITU-T SG 16 AAP Consent(inintegrated form))”，所述修订的获得地址是http://wftp3.itu.int/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip。JVT-AD007文档将SVC和MVC整合在AVC规范中。
发明内容
一般来说，本发明描述用于支持立体视频数据(例如用以产生三维(3D)效果的视频数据)的技术。为了在视频中产生三维效果，要同时或几乎同时显示场景的两个视图，例如左眼视图和右眼视图。本发明的技术包含形成具有经封装的帧的位流，其中经封装的帧对应于具有用于场景的两个视图的数据的单个帧。明确地说，本发明的技术包含对经封装的帧进行编码，所述经封装的帧具有场景的一个视图的全分辨率帧以及所述场景的另一视图的降低分辨率帧。可相对于另一视图的帧对降低分辨率帧进行编码。以此方式，本发明还提供用于为经封装的帧的降低分辨率帧执行视图间预测的技术。
在一个实例中，一种方法包含：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨率来说降低了的分辨率；形成包括第一分辨率图片和降低分辨率图片的非对称帧；对所述非对称帧进行编码；以及输出所述非对称帧。
在另一实例中，一种用于对视频数据进行编码的设备包含视频编码器，所述视频编码器经配置以：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨率来说降低了的分辨率；形成包括所述第一图片和所述第二图片的非对称帧；以及对所述非对称帧进行编码。
在另一实例中，一种设备包含：用于接收场景的第一视图的第一图片的装置，所述第一图片具有第一分辨率；用于接收所述场景的第二视图的第二图片的装置，所述第二图片具有相对于第一分辨率来说降低了的分辨率；用于形成包括所述第一图片和所述第二图片的非对称帧的装置；以及用于对所述非对称帧进行编码的装置。
在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒体，所述指令在被执行时使处理器：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于第一分辨率来说降低了的分辨率；形成包括所述第一图片和所述第二图片的非对称帧；对所述非对称帧进行编码；以及输出经编码的非对称帧。
在另一实例中，一种方法包含：接收经编码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于第一分辨率来说降低了的分辨率；对所述非对称帧进行解码；将经解码的非对称帧分离成第一分辨率图片和降低分辨率图片；对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片；以及输出第一图片和第二图片，其中所述第一图片和所述第二图片形成立体图像对。
在另一实例中，一种设备包含视频解码器，所述视频解码器经配置以：接收经编码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于第一分辨率来说降低了的分辨率；对所述非对称帧进行解码；将经解码的非对称帧分离成第一分辨率图片和降低分辨率图片；以及对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片，其中所述第一经解码图片和所述第二经解码图片形成立体图像对。
在另一实例中，一种设备包含：用于接收非对称帧的装置，所述非对称帧包括场景的第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于第一分辨率来说降低了的分辨率；用于对所述非对称帧进行解码的装置；用于将经解码的非对称帧分离成第一分辨率图片和降低分辨率图片的装置；以及用于对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片的装置，其中所述第一经解码图片和所述第二经解码图片形成立体图像对。
在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒体，所述指令在被执行时使处理器：接收非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片和所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于第一分辨率来说降低了的分辨率；对所述非对称帧进行解码；将经解码的非对称帧分离成第一分辨率图片和降低分辨率图片；对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二图片；以及输出第一图片和第二图片，其中所述第一图片和所述第二图片形成立体图像对。
在另一实例中，一种方法包含：对场景的第一视图的第一图片进行编码以产生具有第一分辨率的经编码图片；相对于第一视图的参考图片对所述场景的第二视图的第二图片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图片；以及在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片。
在另一实例中，一种设备包含视频编码器，所述视频编码器经配置以：对场景的第一视图的第一图片进行编码以产生具有第一分辨率的经编码图片；相对于第一视图的参考图片对所述场景的第二视图的第二图片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图片；以及在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片。
在另一实例中，一种设备包含：用于对场景的第一视图的第一图片进行编码以产生具有第一分辨率的经编码图片的装置；用于相对于第一视图的参考图片对所述场景的第二视图的第二图片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图片的装置；以及用于在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片的装置。
在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒体，所述指令在被执行时使处理器：对场景的第一视图的第一图片进行编码以产生具有第一分辨率的经编码图片；相对于第一视图的参考图片对所述场景的第二视图的第二图片的至少一部分进行编码以产生具有相对于第一分辨率来说降低了的分辨率的经编码图片；以及在共同的位流中输出经编码的第一分辨率图片和经编码的降低分辨率图片。
在另一实例中，一种方法包含：从共同的位流中接收场景的第一视图的第一分辨率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片，其中所述降低分辨率的经编码图片具有相对于第一分辨率来说降低了的分辨率；对第一分辨率的经编码图片进行解码以产生第一经解码图片；相对于第一视图的参考图片对降低分辨率的经编码图片的至少一部分进行解码；对降低分辨率的图片进行上取样以产生所述场景的具有第一分辨率的第二经解码图片；以及输出第一经解码图片和第二经解码图片，其中第一经解码图片和第二经解码图片形成立体图像对。
在另一实例中，一种设备包含视频解码器，所述视频解码器经配置以：从共同的位流中接收场景的第一视图的第一分辨率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片，其中所述降低分辨率的经编码图片具有相对于第一分辨率来说降低了的分辨率；对第一分辨率的经编码图片进行解码以产生第一经解码图片；相对于第一视图的参考图片对降低分辨率的经编码图片的至少一部分进行解码；对降低分辨率图片进行上取样以产生所述场景的具有第一分辨率的第二经解码图片；以及输出第一经解码图片和第二经解码图片，其中第一经解码图片和第二经解码图片形成立体图像对。
在另一实例中，一种设备包含：用于从共同的位流中接收场景的第一视图的第一分辨率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片的装置，其中所述降低分辨率的经编码图片具有相对于第一分辨率来说降低了的分辨率；用于对第一分辨率的经编码图片进行解码以产生第一经解码图片的装置；用于相对于第一视图的参考图片对降低分辨率的经编码图片的至少一部分进行解码的装置；用于对降低分辨率的图片进行上取样以产生所述场景的具有第一分辨率的第二经解码图片的装置；以及用于输出第一经解码图片和第二经解码图片的装置，其中第一经解码图片和第二经解码图片形成立体图像对。
在另一实例中，一种计算机程序产品包含上面存储有指令的计算机可读存储媒体，所述指令在被执行时使处理器：从共同的位流中接收场景的第一视图的第一分辨率的经编码图片和所述场景的第二视图的降低分辨率的经编码图片；对第一分辨率的经编码图片进行解码以产生第一经解码图片；相对于第一视图的参考图片对降低分辨率的经编码图片的至少一部分进行解码；对降低分辨率的图片进行上取样以产生所述场景的具有第一分辨率的第二经解码图片；以及输出第一经解码图片和第二经解码图片，其中第一经解码图片和第二经解码图片形成立体图像对。
一个或一个以上实例的细节陈述于附图以及以下描述中。其它特征、目标以及优势将从描述和附图以及从权利要求书中显而易见。
附图说明
图1是说明实例视频编码和解码系统的框图，所述视频编码和解码系统可利用用于形成非对称封装的帧的技术，非对称封装的帧包含来自一场景的两个对应视图的图片。
图2是说明视频编码器的实例的框图，所述视频编码器可实施用于产生非对称封装的帧的技术。
图3是说明视频解码器的实例的框图，所述视频解码器对经编码的视频序列进行解码。
图4是说明左眼视图和右眼视图的图片通过视频编码器组合以形成具有上下帧封装布置的非对称封装的帧的概念图。
图5是说明左眼视图和右眼视图的图片通过视频编码器组合以形成具有并排帧封装布置的非对称封装的帧的概念图。
图6是说明用于形成非对称封装的帧的实例过程的概念图，所述非对称封装的帧包含编码为场的降低分辨率图片。
图7是说明对图片进行场编码以产生降低分辨率的经编码图片以供包含在非对称封装的帧中的概念图。
图8是说明非对称封装的帧的降低分辨率的经编码图片的块的视图间预测的概念图。
图9是说明用于对两个不同视图的两个图片进行编码以及将所述图片组合以形成非对称封装的帧的实例方法的流程图。
图10是说明用于对非对称帧进行解码的实例方法的流程图。
图11是说明用于根据本发明的技术执行帧场交错译码的实例方法的流程图。
图12是说明用于根据本发明的技术对经帧场交错译码的位流进行解码的实例方法的流程图。
具体实施方式
一般来说，本发明涉及用于支持立体视频数据(例如用以产生三维效果的视频数据)的技术。为了在视频中产生三维效果，要同时或几乎同时显示场景的两个视图，例如左眼视图和右眼视图。可从稍有不同的水平位置捕捉同一场景的两个图片(对应于场景的左眼视图和右眼视图)，所述水平位置表示观看者的左眼与右眼之间的水平偏离。通过同时或几乎同时显示这两个图片，使得左眼视图图片被观看者的左眼感知到且右眼视图图片被观看者的右眼感知到，观看者可体验到三维视频效果。
本发明提供用于形成包含经封装的帧的位流的技术。经封装的帧可对应于视频数据的单个帧，所述单个帧具有用于与场景的不同视图对应的两个图片的数据。明确地说，本发明的技术包含对经封装的帧进行编码，所述经封装的帧具有场景的一个视图的全分辨率图片以及所述场景的另一视图的降低分辨率图片。包含场景的第一视图的全分辨率图片以及所述场景的不同的第二视图的降低分辨率图片的经封装的帧可被称作非对称封装的帧，或简称作非对称帧。
一般来说，术语“图片”与“帧”可互换使用。本发明大体上将图片认为是视图的样本。本发明大体上将帧认为是包括一个或一个以上图片，所述图片将被译码为表示特定时刻的接入单元。因此，一个帧可对应于一个视图的一个样本(即，单个图片)，或在经封装的帧的情况下，包含来自多个视图的多个样本(即，两个或两个以上图片)。
作为实例，两个视图图片可被封装成具有上下格式的帧。在这个实例中，一个视图图片可被布置在另一图片之上。每一图片可具有w个像素的相同宽度。全分辨率图片可具有h个像素的高度，而降低分辨率图片可具有h/2个像素的高度。作为另一实例，两个视图图片可被封装成具有并排格式的帧。在这个实例中，两个视图图片可布置在彼此旁边。每一图片可具有h个像素的相同高度。全分辨率图片可具有w个像素的宽度，而降低分辨率图片可具有w/2个像素的宽度。
以此方式形成非对称帧可提供若干优点。举例来说，可将同一位流发送到经配置以呈现三维视频数据的装置以及只限于二维视频数据的装置。具有三维视频能力的装置可将非对称帧分离成构成视图，对降低分辨率视图进行上取样，且同时或几乎同时显示所述两个视图。具有二维视频能力的装置可将降低分辨率视图移除且只显示全分辨率视图。以此方式，视频内容提供商(例如基于网络的服务器或广播装置)只需要形成一个位流，且具有变动能力的装置可各自接收同一位流。此外，所述位流与包括两个或两个以上视图中的每一者的全分辨率图片的位流相比可能需要较少带宽，同时引入可忽略的主观质量降级。
因此，本发明的技术可支持与不能够呈现三维视频数据的旧式装置的向后兼容性。不同于可接收且解码对称封装的帧的装置，其中对称封装的帧包含两个经二次取样的图片，根据本发明的技术接收非对称封装的帧的装置可接收全分辨率图片和降低分辨率图片。因此，所述装置无需只为了产生二维视频呈现而对图片进行上取样。此外，根据本发明的技术的位流(例如，包含非对称封装的帧)与具有用于三维视频数据的两个全分辨率图片的位流相比可能消耗较少带宽。
在一些实例中，可相对于另一视图的帧来对降低分辨率帧进行编码。即，编码器可为非对称封装的帧的降低分辨率图片执行视图间预测。本发明描述用于将降低分辨率图片编码为场且使用位移向量对降低分辨率图片进行视图间编码的技术。以此方式，本发明还提供用于为非对称封装的帧的降低分辨率图片执行视图间预测的技术。本发明进一步提供帧场交错译码技术，其中一个视图的图片可被译码为帧，而另一视图的图片可被译码为场，且这两个视图的帧图片和场图片可在共同位流中交错。每一视图的图片可形成同一个位流的离散的、独立的接入单元。
本发明还提供用于在网络抽象层(NAL)处，例如在NAL单元的补充增强信息(SEI)消息中，用信号传输帧封装类型的技术。网络抽象层(NAL)单元可包含和/或描述经译码的音频和视频数据，例如使用SEI消息。在H.264/AVC(高级视频译码)的实例中，将经译码的视频片段组织到NAL单元中，所述NAL单元提供“网络友好的”视频表示寻址应用，例如视频电话、存储、广播或流式传输。NAL单元可分类为视频译码层(VCL)NAL单元和非VCL NAL单元。VCL单元可含有来自核心压缩引擎的输出且可包含块、宏块和/或切片级数据。其它NAL单元可以是非VCL NAL单元。在一些实例中，一个时刻中的经译码图片，通常呈现为主要经译码图片，可含在接入单元中，所述接入单元可包含一个或一个以上NAL单元。
在一些实例中，本发明的技术可应用于H.264/AVC编解码器或基于高级视频译码(AVC)(例如可分级视频编码(SVC)、多视点视频译码(MVC)或H.264/AVC的其它扩展)的编解码器。此些编解码器可经配置以在SEI消息与接入单元相关联时对SEI消息进行组织，其中SEI消息可按ISO基本媒体文件格式或MPEG-2系统位流囊封在接入单元中。所述技术也可应用于将来的译码标准，例如H.265/HEVC(高效率视频译码)。
SEI消息可含有某些信息，所述信息未必用于解码来自VCL NAL单元的经译码图片样本，但可参与到与解码、显示、错误恢复以及其它目的有关的过程中。SEI消息可含在非VCL NAL单元中。SEI消息是一些标准规范的规范性部分，且因此对于符合标准的解码器实施方案来说并不总是强制的。SEI消息可以是序列级SEI消息或图片级SEI消息。一些序列级信息可含在SEI消息中，例如SVC的实例中的可分级性信息SEI消息以及MVC中的视图可分级性信息SEI消息。这些实例SEI消息可传达关于(例如)操作点的提取以及操作点的特性的信息。
H.264/AVC提供帧封装SEI消息，其是编解码器级消息，指示用于包含两个图片(例如，场景的左视图和右视图)的帧的帧封装类型。以此方式，H.264/AVC支持左视图和右视图的两个图片交错到一个图片中且将此些图片译码成视频序列。帧封装SEI消息描述于2009年10月在中国西安提出的“信息技术--音频视觉对象的译码--第10部分：高级视频译码，修正1：受限基线档次，立体高档次和帧封装布置SEI消息(Informationtechnology-Coding of audio-visual objects-Part 10：Advanced Video Coding，AMENDMENT 1：Constrained baseline profile，stereo high profile and frame packingarrangement SEI message)”ISO/IEC JTC1/SC29/WG11 MPEG，N10703，所述文件并入到H.264/AVC标准的最新版本中。
在此SEI消息中，支持用于两个帧的空间交错的各种类型的帧封装方法。所支持的交错方法包含棋盘式、列交错、行交错、并排、上下，以及具有棋盘式上变频转换的并排。本发明提供用于支持额外帧封装类型(例如非对称帧封装布置)的技术。明确地说，本发明提供经修改的帧封装SEI消息，所述帧封装SEI消息指示非对称封装是否能够用于特定帧，且如果是，那么非对称帧是上下封装还是并排封装。举例来说，帧封装SEI消息可指示用于同一帧中的两个视图的图片在所述帧中是降低分辨率图片布置在全分辨率图片下方还是布置在全分辨率图片右边。解码器可使用这个信息来确定帧是否为非对称帧且将非对称帧适当地分离成所述两个视图的构成图片。
本发明包含用于在SEI消息中用信号传输帧是否为非对称封装的帧的技术，在一些实例中，例如，相对于H.264/AVC。作为一个实例，编码器可在独立的SEI消息中用信号传输帧是非对称封装的帧。作为另一实例，编码器可在帧封装布置SEI消息的经修改版本中用信号传输帧是非对称封装的帧。编码器也可在视频可用性信息(VUI)中用信号传输非对称封装的帧的纵横比以指示非对称封装的帧的封装布置。举例来说，编码器可用信号传输4:3(或H.264/AVC规范的表E-1的未指定值之一)的纵横比以指示并排封装布置。作为另一实例，编码器可用信号传输3:4(或同样地，H.264/AVC规范的表E-1的未指定值之一)的纵横比以指示上下封装布置。
应理解，用于降低分辨率图片的二次取样和上取样的方法不限于任何特定技术。为了示例的目的，本发明大体上描述水平或垂直下取样和上取样。然而，也可使用五点梅花式(即，棋盘式)取样。
另外，本发明提供用于通过高清晰度多媒体接口(HDMI)传送包含非对称封装的帧的位流的技术。以此方式，本发明提供例如HDMI等三维视频接口可用来接受在一个或一个以上帧中具有非对称封装的视图图像的技术。
图1是说明实例视频编码和解码系统10的框图，视频编码和解码系统10可利用用于形成非对称封装的帧的技术，非对称封装的帧包含来自一场景的两个对应视图的图片。如图1中所示，系统10包含源装置12，其经由通信信道16将经编码的视频发射到目的装置14。源装置12和目的装置14可包括各种各样的装置中的任一者，例如固定或移动计算装置、机顶盒、游戏控制台、数字媒体播放器等。在一些情况下，源装置12和目的装置14可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电话，或可在通信信道16上(在此情况下，通信信道16为无线的)传送视频信息的任何无线装置。
然而，本发明的技术未必限于无线应用或设置，本发明的技术涉及形成非对称封装的帧。举例来说，这些技术可应用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、编码到存储媒体上的经编码的数字视频，或其它情况。因此，通信信道16可包括适合于发射经编码的视频数据的无线媒体或有线媒体的任何组合。
在图1的实例中，源装置12包含视频源18、视频编码器20、调制器/解调器(调制解调器)22以及发射器24。目的装置14包含接收器26、调制解调器28、视频解码器30以及显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于形成位流的技术，所述位流包含非对称封装的帧，例如包含用于两个图片的经译码数据的帧，每一图片来自一场景的一不同视图，其中所述图片中的一者具有全分辨率且另一图片具有降低了的分辨率，例如全分辨率帧的分辨率的一半。此外，视频编码器20可经配置以对降低分辨率帧进行视图间编码。在其它实例中，源装置和目的装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样地，目的装置14可与外部显示装置对接，而不是包含一体式显示装置。
图1所说明的系统10仅为一个实例。用于产生非对称封装的帧且将非对称封装的帧分裂成构成视图的技术可通过任何数字视频编码和/或解码装置来执行。虽然大体上本发明的技术是通过视频编码装置来执行的，但所述技术也可通过视频编码器/解码器(通常被称作“编解码器”)来执行。此外，本发明的技术的方面也可通过视频预处理器或视频后处理器来执行，例如文件囊封单元、文件解囊封单元、视频多路复用器或视频多路分用器。源装置12和目的装置14仅为此些译码装置的实例，其中源装置12产生用于发射到目的装置14的经译码的视频数据。在一些实例中，装置12、14可按照实质上对称的方式操作以使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频播放、视频广播、视频游戏或视频电话。
源装置12的视频源18可包含视频捕捉装置(例如视频相机)、含有先前捕捉的视频的视频档案，和/或来自视频内容提供商的视频馈送。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为视频相机，那么源装置12和目的装置14可形成所谓的相机电话或视频电话。然而，如上所述，本发明中所描述的技术大体上可应用于视频译码，且可应用于通过移动或大体上非移动计算装置执行的无线和/或有线应用。在任何情况下，所捕捉、预先捕捉或计算机产生的视频可通过视频编码器20来编码。
视频源18可将来自两个或两个以上视图的图片提供给视频编码器20。可同时或几乎同时从稍有不同的水平位置捕捉同一场景的两个图片，以使得可使用所述两个图片来产生三维效果。或者，视频源18(或源装置12的另一单元)可使用深度信息或差异信息来从第一视图的第一图片产生第二视图的第二图片。深度或差异信息可由捕捉第一视图的相机确定，或可从第一视图中的数据计算出。
MPEG-C第3部分提供用于将图片的深度图包含在视频流中的指定格式。所述规范描述于2007年1月在摩洛哥马拉喀什(Marrakech)提出的“辅助视频和补充信息的ISO/IEC FDIS 23002-3表示的文本(Text of ISO/IEC FDIS 23002-3Representation ofAuxiliary Video and Supplemental Information)”ISO/IEC JTC 1/SC 29/WG 11，MPEG Doc，N8768中。在MPEG-C第3部分中，辅助视频可以是深度图或视差图。当表示深度图时，在用以表示深度图的每一深度值和分辨率的位数方面，MPEG-C第3部分可提供灵活性。举例来说，所述图可以是通过所述图描述的图像的宽度的四分之一和高度的二分之一。可将所述图译码为单色视频样本，例如在仅具有亮度分量的H.264/AVC位流内。或者，可将所述图译码为辅助视频数据，如H.264/AVC中所定义。在本发明的上下文中，深度图或视差图可具有与主要视频数据相同的分辨率。虽然H.264/AVC规范目前未指明辅助视频数据对深度图进行译码的用途，但本发明的技术可与用于使用此种深度图或视差图的技术结合使用。
接着，经编码的视频信息可通过调制解调器22根据通信标准来进行调制，且经由发射器24发射到目的装置14。调制解调器22可包含各种混频器、滤波器、放大器或经设计以用于信号调制的其它组件。发射器24可包含经设计以用于发射数据的电路，包含放大器、滤波器以及一个或一个以上天线。
目的装置14的接收器26通过信道16接收信息，且调制解调器28对信息进行解调制。同样地，视频编码过程可实施本文所述技术中的一者或一者以上以形成非对称封装的帧，所述非对称封装的帧具有一个视图的全分辨率图片以及另一视图的降低分辨率图片。
通过信道16传送的信息可包含通过视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，所述语法信息包含描述宏块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。因此，视频解码器30可将非对称封装的帧解封装成视图的构成图片、对图片进行解码，且对降低分辨率图片上取样到全分辨率。显示装置32可向用户显示经解码的图片。
显示装置32可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。显示装置32可同时或几乎同时显示来自非对称封装的帧的两个图片。举例来说，显示装置32可包括能够同时或几乎同时显示两个视图的立体三维显示装置。
用户可戴上主动眼镜以快速且交替地遮住左镜片和右镜片，使得显示装置32可与主动眼镜同步地在左视图与右视图之间快速切换。或者，显示装置32可同时显示所述两个视图，且用户可戴上被动眼镜(例如，具有偏光镜片)，所述被动眼镜对视图进行滤波以使适当的视图通过以到达用户的眼睛。作为又一个实例，显示装置32可包括自动立体显示器，对于自动立体显示器，不需要眼镜。
在一些实例中，调制解调器28和视频解码器30可包含在分离的装置中。所述分离的装置可通过高清晰度多媒体接口(HDMI)来耦合。在一些实例中，本发明建议修改HDMI以支持非对称封装的帧的传送。HDMI在HDMI规范的版本1.4的附录H中提供三维视频格式，所述附录的获得地址是。此规范支持用于将三维视频数据封装到一个帧中的各种格式，例如在3D_Structure字段中。根据本发明的技术，除了已由HDMI版本1.4提供的那些封装布置之外，装置还可经由HDMI交换非对称封装的帧。
作为一实例，3D_Structure字段可包含一值，所述值指示帧具有类似于H.264/AVC中的上下布置但没有二次取样的帧封装格式。在具有用于HDMI的帧封装格式的帧中可存在一些空白区域。作为另一实例，3D_Structure字段可包含一值，所述值指示帧具有场交替格式，所述场交替格式指示左视图图像和右视图图像是对应帧的场。作为另一实例，3D_Structure字段可包含一值，所述值指示帧具有并排全格式，指示视图是并排布置的且没有二次取样。
作为又一实例，3D_Structure字段可包含一值，所述值指示帧具有并排半格式，指示视图是以一半水平分辨率来进行二次取样且是并排布置的。当启用并排半格式时，还可用信号传输二次取样和位置信息，例如在3D_Ext_Data字段中。帧可支持两种类型的二次取样：水平二次取样或五点梅花式(例如，棋盘)矩阵。位置信息可提供指示经二次取样的左和右视图的相移的数据。HDMI也支持纹理图像加深度图像信息，以及具有图形表示的视频内容。
如上所述，本发明的技术包含修改HDMI以支持非对称封装的帧。举例来说，根据本发明，装置可设置HDMI数据的3D_Structure字段的值，以指示帧是非对称封装的帧。3D_Structure字段可包含一值，指示帧包含形成立体对的全分辨率图片和降低分辨率图片，且指示图片是并排或上下布置的。
在图1的实例中，通信信道16可包括任一无线或有线通信媒体，例如，射频(RF)频谱或一个或一个以上物理传输线、或无线和有线媒体的任一组合。通信信道16可形成例如局域网、广域网或例如因特网的全球网络等基于包的网络的部分。通信信道16一般表示用于将视频数据从源装置12发射到目的装置14的任何合适的通信媒体或不同通信媒体的集合，包含有线或无线媒体的任何合适组合。通信信道16可包含可用于促进从源装置12到目的装置14的通信的路由器、交换器、基站或任何其它设备。
视频编码器20和视频解码器30可根据视频压缩标准，例如ITU-T H.264标准，或者被称作MPEG-4，第10部分高级视频译码(AVC)，来操作。然而，本发明的技术不限于任何特定译码标准。其它实例包含MPEG-2和ITU-T H.263。尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件和软件，以处理对共同数据流或分离数据流中的音频与视频两者的编码。如果适用，MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(Video Coding ExpertsGroup，VCEG)连同ISO/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(JointVideo Team，JVT)的集体伙伴关系的产品。在一些方面中，本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(Advanced Video Coding for generic audiovisualservices)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
视频编码器20和视频解码器30各自可实施为多种合适编码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，视频编码器20和视频解码器30中的任一者可作为组合式编码器/解码器(CODEC)的一部分而集成于相应相机、计算机、移动装置、订户装置、广播装置、机顶盒、服务器等中。
视频序列通常包含一连串视频帧。图片群组(GOP)大体上包括一连串一个或一个以上视频帧。GOP可在GOP的标头、GOP的一个或一个以上帧的标头，或别处包含语法数据，所述语法数据描述GOP中所包含的帧数。每一帧可包含描述相应帧的编码模式的帧语法数据。视频编码器20通常对个别视频帧中的视频块起作用以便对视频数据进行编码。一视频块可对应于一宏块或一宏块的一分区。所述视频块可具有固定的或变化的大小，且可根据指定的译码标准而大小不同。每一视频帧可包含多个切片。每一切片可包含多个宏块，所述多个宏块可布置成若干分区，所述分区还被称作子块。
作为一实例，ITU-T H.264标准支持各种块大小(例如，针对亮度分量的16乘16、8乘8或4乘4，以及针对色度分量的8×8)的帧内预测，以及各种块大小(例如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4，以及针对色度分量的对应缩放的大小)的帧间预测。在本发明中，“N×N”与“N乘N”可互换使用来在垂直和水平维度方面指代块的像素维度，例如16×16像素或16乘16像素。一般来说，16×16的块将在垂直方向上具有16个像素(y＝16)且在水平方向上具有16个像素(x＝16)。同样地，N×N的块大体上在垂直方向上具有N个像素且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块在水平方向上与在垂直方向上未必具有相同的像素数。举例来说，块可包括N×M个像素，其中M未必等于N。
小于16乘16的块大小可被称作16乘16宏块的分区。视频块可包括像素域中的像素数据的块，或在变换域中的变换系数的块，例如在对表示经译码的视频块与预测视频块之间的像素差异的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后。在一些情况下，视频块可包括变换域中的经量化的变换系数的块。
较小视频块可提供较佳分辨率，且可用于包含高细节水平的视频帧的定位。一般来说，可将宏块和各种分区(有时被称作子块)视为视频块。另外，可将切片视为多个视频块，例如宏块和/或子块。每一切片可为视频帧的可独立解码的单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。术语“经译码单元”或“译码单元”可指代视频帧的任何可独立解码的单元，例如完整帧、帧的切片、图片群组(GOP)(也称作序列)，或根据可适用的译码技术定义的另一可独立解码的单元。
根据本发明的技术，视频编码器20可由两个视图的所接收的视频数据形成非对称封装的帧。即，视频编码器20可从(例如)视频源18接收两个视图的原始图像数据。一般来说，所述两个视图可包含图片序列，使得对于一个视图的每一图片，存在另一视图的与第一视图的图片形成立体对的图片。立体对大体上对应于在同时或几乎同时显示时会产生三维视频效果的两个图片。形成立体对的图片可包含描述性数据，例如时间戳，以指示另一视图的与当前图片形成立体对的对应图片。
在任何情况下，视频编码器20都可正常地编码第一视图的图片，例如，根据ITU-TH.264/AVC编码标准或根据另一编码标准，例如MPEG-2、MPEG-4、H.265等。视频编码器20或源装置12的视频预处理单元(其可包括处理器、处理单元、ASIC、DSP、FPGA或耦合在视频源18与视频编码器20之间的其它处理电路)可对第二视图的与第一视图的经编码图片形成立体对的图片进行空间下取样。空间下取样可包括(例如)通过降低垂直和/或水平像素分辨率来降低空间分辨率在一个实例中，视频编码器20可将图片的垂直像素分辨率降低一半。
接着，视频编码器20可对另一视图的降低分辨率图片进行编码。在一些实例中，视频编码器20可按照帧内预测模式(例如，作为I图片)或按照帧间预测模式(例如，作为P图片或B图片)对降低分辨率图片进行编码。以此方式，视频编码器20可相对于同一视图中在由视频编码器20产生的位流中出现较早(按解码时间次序)的其它图片来对降低分辨率图片进行编码。在一些实例中，视频编码器20可实施视图间预测，其中视频编码器20可相对于包含全分辨率图片的视图的图片来对降低分辨率视图进行编码。举例来说，视频编码器20可相对于包含全分辨率经编码图片的视图的先前经编码的图片来对降低分辨率视图图片进行编码。视频编码器20可相对于同一经封装的帧或先前经译码的帧的全分辨率图片来对降低分辨率视图图片进行编码。
作为一个实例，视频编码器20可将降低分辨率图片编码为场。可采用用于经交织视频数据译码的技术来将降低分辨率图片编码为场，在此情况下，可从全分辨率图片的像素的交替行预测降低分辨率图片的像素的水平行。即，视频编码器20可将降低分辨率图片编码为顶场或底场。在一些实例中，视频编码器20可输出一个视图的全分辨率图片作为接入单元且输出不同视图的对应的降低分辨率图片作为分离的接入单元。因此，视频编码器20无需将所述两个图片组合成非对称帧以执行用于将用于两个视图的数据组合在单个、共同的位流中的技术。
作为另一实例，视频编码器20可使用位移向量来对降低分辨率图片进行编码。位移向量可与同一视图中的降低分辨率图片或包含全分辨率图片的视图中的全分辨率图片有关。当位移向量涉及全分辨率图片时，视频编码器20可能会考虑非对称帧中降低分辨率图片的位置。举例来说，假设非对称封装的帧以在帧中降低分辨率图片在全分辨率图片下方的上下布置来包含图片。视频编码器20可通过从垂直分量减去全分辨率图片的高度且将所得差乘以二来对位移向量的垂直分量进行修改，假定降低分辨率图片具有全分辨率图片的一半分辨率。
在进行帧内预测或帧间预测译码以产生预测数据和残余数据之后，且在对残余数据应用任何变换(例如，用在H.264/AVC中的4×4或8×8整数变换或离散余弦变换DCT)以产生变换系数之后，可执行变换系数的量化。量化大体上是指其中将变换系数量化以可能地减少用于表示系数的数据量的过程。量化过程可减少与系数中的一些或全部系数相关联的位深度。举例来说，在量化期间，可将n位值向下舍入到m位值，其中n大于m。
在量化之后，可(例如)根据内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码方法来执行经量化数据的熵译码。被配置用于熵译码的处理单元或另一处理单元可执行其它处理功能，例如经量化系数的零游程长度译码和/或例如经译码块样式(CBP)值、宏块类型、译码模式、经译码单元(例如帧、切片、宏块或序列)的最大宏块大小等语法信息的产生。
视频编码器20可(例如)在帧标头、块标头、切片标头或GOP标头中进一步将语法数据，例如基于块的语法数据、基于帧的语法数据和/或基于GOP的语法数据，发送到视频解码器30。GOP语法数据可描述相应GOP中的帧数，且帧语法数据可指示用以编码对应帧的编码/预测模式。视频解码器30因此可包括标准视频解码器且无需经特别配置以施行或利用本发明的技术。
在适用时，视频编码器20和视频解码器30各自可实施为多种合适编码器或解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中，视频编码器和视频解码器中的任一者可作为组合式视频编码器/解码器(CODEC)的一部分而集成。包含视频编码器20和/或视频解码器30的设备可包括集成电路、微处理器、计算装置，和/或无线通信装置，例如移动电话。
视频解码器30可经配置以接收包含非对称封装的帧的位流。视频解码器30可进一步经配置以将此帧解封装成对应的图片，例如一个视图的全分辨率图片以及另一视图的降低分辨率图片。视频解码器30可对图片进行解码且(例如，通过内插)对降低分辨率图片进行上取样以产生两个经解码的、全分辨率图片。在一些实例中，视频解码器30可参考来自与全分辨率图片对应的视图的经解码图片来对降低分辨率图片进行解码。即，视频解码器30也可支持视图间预测。
在一些实例中，视频解码器30可经配置以确定目的装置14是否能够对三维数据进行解码和显示。如果不能，那么视频解码器30可将所接收的非对称封装的帧解封装，但丢弃降低分辨率图片。视频解码器30可对全分辨率图片以及同一视图的其它图片进行解码，且使视频显示器32显示来自这个视图的图片以呈现二维视频数据。因此，视频解码器30可对全分辨率图片进行解码且将经解码的全分辨率图片提供给显示装置32，而没有尝试对降低分辨率图片进行解码。
以此方式，无论目的装置14是否能够显示三维视频数据，目的装置14都可接收包含非对称封装的帧的位流。因此，具有各种解码和呈现能力的各种目的装置都可经配置以从源装置20接收同一位流。即，一些目的装置可能够对三维视频数据进行解码和呈现，而其它目的装置不能够对三维视频数据进行解码和/或呈现，但所述装置中的每一者可经配置以接收以及使用来自包含非对称封装的帧的同一位流的数据。
图2是说明视频编码器20的实例的框图，所述视频编码器可实施用于产生非对称封装的帧的技术。视频编码器20可对视频帧内的块(包含宏块或宏块的分区或子分区)执行帧内和帧间译码。帧内译码依赖于空间预测以减少或移除给定视频帧内的视频中的空间冗余。帧间译码依赖于时间预测以减少或移除视频序列的邻近帧内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间的压缩模式中的任一者，且帧间模式，例如单向预测(P模式)或双向预测(B模式)，可以指若干基于时间的压缩模式中的任一者。在一些实例中，视频编码器20也可经配置以执行非对称封装的帧中的降低分辨率图片的视图间预测。
如图2中所示，视频编码器20接收在待编码的视频图片内的当前视频块。在图2的实例中，视频编码器20包含运动补偿单元44、运动估计单元42、参考帧存储装置64、求和器50、变换单元52、量化单元54以及熵译码单元56。对于视频块重建，视频编码器20还包含反量化单元58、反变换单元60，以及求和器62。还可包含解块滤波器(图2中未展示)以将块边界滤波，以从经重建的视频移除成块性假影。在需要时，解块滤波器通常对求和器62的输出进行滤波。
在编码过程期间，视频编码器20接收待译码的视频图片或切片。所述图片或切片可分成多个视频块。运动估计单元42和运动补偿单元44相对于一个或一个以上参考帧中的一个或一个以上块执行对所接收的视频块的帧间预测译码以提供时间压缩。帧内预测单元46可相对于与待译码的块在同一帧或切片中的一个或一个以上相邻块来执行对所接收的视频块的帧内预测译码以提供空间压缩。模式选择单元40可(例如)基于误差结果来选择帧内或帧间译码模式中的一者，且将所得经帧内或帧间译码的块提供给求和器50以产生残余块数据以及提供给求和器62以重建经编码块以供在参考帧中使用。
明确地说，视频编码器20可接收来自形成立体视图对的两个视图的图片。所述两个视图可被称作视图0和视图1。在不丧失一般性的情况下，假定视图0是左眼视图且视图1是右眼视图。应理解，视图可不同地进行标注，且改为，视图1可对应于左眼视图，且视图0可对应于右眼视图。在一个实例中，视频编码器20可用全分辨率对视图0的图片进行编码且用降低了的分辨率对视图1的图片进行编码。视频编码器20可在水平或垂直方向上用二分之一的因数对视图1的图片进行下取样。
视频编码器20可进一步将经编码图片封装成非对称封装的帧。举例来说，假定视频编码器20接收视图0图片和视图1图片，其各自具有h个像素的高度以及w个像素的宽度，其中w和h是非负的非零整数。视频编码器20可通过对视图1图片的高度进行下取样而形成上下布置的非对称封装的帧。举例来说，在视图1图片的下取样以及编码之后，经编码、经下取样的视图1图片可具有h/2个像素的高度以及w个像素的宽度。接着，视频编码器20可形成非对称封装的帧，所述非对称封装的帧包含经编码的视图0图片以及在经编码的视图0图片下方的经编码的、经下取样的视图1图片，使得所述非对称帧具有3/2h个像素的高度以及w个像素的宽度。
作为另一实例，视频编码器20可通过对视图1图片进行下取样而形成并排布置的非对称封装的帧。举例来说，在视图1图片的下取样以及编码之后，视图1图片可具有w/2个像素的宽度以及h个像素的高度。接着，视频编码器20可形成非对称封装的帧，所述非对称封装的帧包含经编码的视图0图片以及在经编码的视图0图片右边的经编码的、经下取样的视图1图片，使得所述非对称帧具有h个像素的高度以及3/2w个像素的宽度。
视频编码器20可进一步提供指示用于非对称封装的帧的封装布置的信息。所述信息可指示所述帧是否为非对称封装的帧，且如果是，那么封装布置是并排的还是上下的。作为一个实例，视频编码器20可用帧封装布置SEI消息的形式来提供这个信息。帧封装布置SEI消息可根据下表1的实例数据结构来定义：
表1-frame_packing_arrangement SEI消息
Figure BDA00002393986900181
帧封装布置SEI消息可向视频解码器(例如，视频解码器30)告知输出的经解码图片含有由使用所指示的帧封装布置方案进行空间封装的多个不同构成帧组成的帧的多个样本。根据本发明的技术，所述帧可包括非对称封装的帧。SEI消息的信息可由解码器用来对样本进行重新布置以及适当地处理构成帧的样本以用于显示或其它目的。此SEI消息可与是帧或场的图片相关联。可根据帧的取样结构来指明样本的帧封装布置，以便定义相对于无论图片是此经封装的帧的单个场还是整个经封装的帧都没有变化的帧封装布置结构。
视频编码器20可将frame_packing_arrangement_id设置为含有识别号的值，所述识别号可用以识别帧封装布置SEI消息的使用。视频编码器20可在0到232-2(包含在内)的范围中设置frame_packing_arrangement_id的值。可使用由视频编码器20确定的从0到255以及从512到231-1的frame_packing_arrangement_id值。从256到511以及从231到232-2的frame_packing_arrangement_id值可预留给ITU-T|ISO/IEC将来使用。视频解码器可忽略(例如，从位流移除并丢弃)含有在256到511的范围中或在231到232-2的范围中的frame_packing_arrangement_id值的所有帧封装布置SEI消息。
视频编码器20可设置frame_packing_arrangement_cancel_flag等于1的值，以指示帧封装布置SEI消息按输出次序取消任何先前的帧封装布置SEI消息的持续性。视频编码器20可设置frame_packing_arrangement_cancel_flag等于0的值，以指示帧封装布置信息跟着。
视频编码器20可设置asymmetric_packing_idc(非对称封装指示符)的值以指示非对称译码的类型。举例来说，视频编码器20可将asymmetric_packing_idc设置为值0，以指示两个构成帧具有相同的分辨率，即，对应帧不是非对称封装的帧。视频编码器20可设置asymmetric_packing_idc大于0(例如，1或2)的值，以指示两个构成帧具有不同的分辨率。举例来说，帧中的一者可以是另一者的一半。
在一个实例中，视频编码器20可设置asymmetric_packing_idc等于1的值，以指示两个构成帧具有不同的分辨率，且帧1具有帧0的一半分辨率。在一个实例中，视频编码器20可设置asymmetric_packing_idc等于2的值，以指示两个构成帧具有不同的分辨率，且帧0具有帧1的一半分辨率。asymmetric_packing_idc的值3目前未指明且预留给将来使用。下表2提供用于解释asymmetric_packing_idc的值的一个实例：
表2-asymmetric_packing_idc
Figure BDA00002393986900191
视频编码器20可设置frame_packing_arrangement_type的值，以指示如在下表3中指明的帧的封装布置的类型。当视频编码器20将asymmetric_packing_idc的值设置为大于0(例如，1或2)的值时，视频编码器20可将frame_packing_arrangement_type的值设置为6、7、8或9。
表3-frame_packing_arrangement_type
Figure BDA00002393986900201
视频编码器20可设置quincunx_sampling_flag等于1的值，以指示每一构成帧的每一色彩分量平面经五点梅花式取样。视频编码器20可设置quincunx_sampling_flag等于0的值，以指示每一构成帧的色彩分量平面未经五点梅花式取样。当视频编码器20设置frame_packing_arrangement_type等于0的值时，视频编码器20也可设置quincunx_sampling_flag等于1的值。当视频编码器20设置frame_packing_arrangement_type等于5的值时，视频编码器20也可设置quincunx_sampling_flag等于0的值。
视频编码器20可设置content_interpretation_type的值，以指示如在表4中指明的构成帧的既定解释。不出现在表4中的content_interpretation_type的值可预留给ITU-T|ISO/IEC将来指明。对于每一指明的帧封装布置方案，可存在两个构成帧(图片)，在表4中被称作帧0和帧1。
表4-content_interpretation_type
Figure BDA00002393986900211
当frame_packing_arrangement_type的值等于3或4时，视频编码器20可设置spatial_fipping_flag等于1的值，以指示两个构成帧中的一者相对于其既定取向在空间上翻转以用于显示或其它此些目的。当frame_packing_arrangement_type等于3或4且spatial_flipping_flag等于1时，所指示的空间翻转的类型可如下。如果frame_packing_arrangement_type等于3，那么所指示的空间翻转是水平翻转。否则(即，当frame_packing_arrangement_type的值等于4时)，所指示的空间翻转是垂直翻转。
当frame_packing_arrangement_type不等于3或4时，视频编码器20可设置spatial_flipping_flag等于0的值。当frame_packing_arrangement_type不等于3或4时，frame_packing_arrangement_type的值1可预留给ITU-T|ISO/IEC将来使用。当frame_packing_arrangement_type不等于3或4时，视频解码器可忽略spatial_flipping_flag的值1。
视频编码器20可设置frame0_flipped_flag等于1的值，以指示两个构成帧中的哪一个被翻转。当spatial_flipping_flag等于1时，视频编码器20可设置frame0_fipped_flag等于0的值以指示帧0未经空间翻转且帧1经空间翻转，或视频编码器20可设置frame0_flipped_flag等于1的值以指示帧0经空间翻转且帧1未经空间翻转。
当视频编码器20设置spatial_flipping_flag等于0的值时，视频编码器20可设置frame0_flipped_flag等于0的值。当视频编码器20设置spatial_flipping_flag等于0的值时，spatial_flipping_flag的值1可预留给ITU-T|ISO/IEC将来使用。当spatial_flipping_flag等于0时，视频解码器可忽略frame0_flipped_flag的值。
当视频编码器20设置quincunx_sampling_flag等于0的值时，视频编码器20可提供空间位置参考信息以指明每一构成帧的左上亮度样本相对于空间参考点的位置。视频编码器20可通过视频可用性信息(VUI)参数中的chroma_sample_loc_type_top_field以及chroma_sample_loc_type_bottom_field语法元素来指示色度样本相对于亮度样本的位置。
视频编码器20可设置field_views_flag等于1的值，以指示当前经译码的视频序列中的所有图片被译码为互补场对。特定奇偶性的所有场可被视为第一构成帧，且相反奇偶性的所有场可被视为第二构成帧。当视频编码器20不设置frame_packing_arrangement_type等于2的值时，视频编码器20可设置field_views_flag等于0的值。当视频编码器20不设置frame_packing_arrangement_type等于2的值时，field_views_flag的值1可预留给ITU-T|ISO/IEC将来使用。当frame_packing_arrangement_type不等于2时，视频解码器可忽略field_views_flag的值。
当frame_packing_arrangement等于5时，视频编码器20可设置current_frame_is_frame0_flag等于1的值，以指示当前经解码的帧是构成帧0且按输出次序下一个经解码的帧是构成帧1，且构成帧0的显示时间应被延迟以与构成帧1的显示时间一致。因此，视频解码器(例如视频解码器30)可延迟构成帧0的显示时间以与构成帧1的显示时间一致。当frame_packing_arrangement等于5时，视频编码器20可设置current_frame_is_frame0_flag等于0的值，以指示当前经解码的帧是构成帧1且按输出次序前一个经解码的帧是构成帧0，且构成帧1的显示时间将不延迟，以用于立体视图配对的目的。因此，当current_frame_is_frame0_flag的值等于0时，视频解码器(例如视频解码器30)无需延迟构成帧1的显示时间。
当视频编码器20不设置frame_packing_arrangement_type等于5的值时，与经解码的帧的左上样本相关联的构成帧可被视为是构成帧0，且另一构成帧可被视为是构成帧1。当frame_packing_arrangement_type不等于5时，视频编码器20可设置current_frame_is_frame0_flag等于0的值。当frame_packing_arrangement_type不等于5时，current_frame_is_frame0flag的值1可预留给ITU-T|ISO/IEC将来使用。当frame_packing_arrangement_type不等于5时，解码器可忽略current_frame_is_frame0_flag的值。
视频编码器20可设置frame0_self_contained_flag等于1的值，以指示用于经译码的视频序列的构成帧0的样本的解码过程内没有帧间预测操作涉及任何构成帧1的样本。视频编码器20可设置frame0_self_contained_flag等于0的值，以指示用于经译码的视频序列的构成帧0的样本的解码过程内一些帧间预测操作可以或不可以涉及一些构成帧1的样本。当frame_packing_arrangement_type等于0或1时，视频编码器20可设置frame0_self_contained_flag等于0的值。当frame_packing_arrangement_type等于0或1时，frame0_self_contained_flag的值1可预留给ITU-T|ISO/IEC将来使用。当frame_packing_arrangement_type等于0或1时，视频解码器可忽略frame0_self_contained_flag的值。在经译码的视频序列中，视频编码器20可将所有帧封装布置SEI消息中的frame0_self_contained_flag的值设置为同一值。
视频编码器20可设置framel_self_contained_flag等于1的值，以指示用于经译码的视频序列的构成帧1的样本的解码过程内没有帧间预测操作涉及任何构成帧0的样本。视频编码器20可设置frame1_self_contained_flag等于0的值，以指示用于经译码的视频序列的构成帧1的样本的解码过程内一些帧间预测操作可以或不可以涉及一些构成帧0的样本。在frame_packing_arrangement_type等于0或1时，位流符合性的要求是frame1_self_contained_flag应等于0。当frame_packing_arrangement_type等于0或1时，frame1_self_contained_flag的值1可预留给ITU-T|ISO/IEC将来使用。当frame_packing_arrangement_type等于0或1时，视频解码器可忽略frame1_self_contained_flag的值。在经译码的视频序列中，视频编码器20可将所有帧封装布置SEI消息中的frame1_self_contained_flag的值设置为同一值。
当frame0_self_contained_flag等于1或frame1_self_contained_flag等于1，且frame_packing_arrangement_type等于2时，经解码的帧可以是非宏块级自适应帧/场(MBAFF)帧。
在一些实例中，视频编码器20可设置frame0_self_contained_flag等于1的值且设置frame1_self_contained_flag等于1的值。以此方式，视频编码器20可用信号传输可分开地对相应视图进行解码和呈现。
视频编码器20可设置frame0_grid_position_x的值(在存在时)以指明以构成帧0的在经解码的帧中存在的列的样本之间的亮度样本栅格间距的十六分之一为单位在空间参考点右边的构成帧0的左上样本的水平位置(在为显示或其它目的进行任何上取样之前)。
视频编码器20可设置frame0_grid_position_y的值(在存在时)以指明以构成帧0的在经解码的帧中存在的行的样本之间的亮度样本栅格间距的十六分之一为单位在空间参考点下方的构成帧0的左上样本的垂直位置(在为显示或其它目的进行任何上取样之前)。
视频编码器20可设置frame1_grid_position_x的值(在存在时)以指明以构成帧1的在经解码的帧中存在的列的样本之间的亮度样本栅格间距的十六分之一为单位在空间参考点右边的构成帧1的左上样本的水平位置(在为显示或其它目的进行任何上取样之前)。
视频编码器20可设置frame1_grid_position_y的值(在存在时)以指明以构成帧1的在经解码的帧中存在的行的样本之间的亮度样本栅格间距的十六分之一为单位在空间参考点下方的构成帧1的左上样本的垂直位置(在为显示或其它目的进行任何上取样之前)。
Frame_packing_arrangement_reserved_byte可预留给ITU-T|ISO/IEC将来使用。视频编码器20可设置frame_packing_arrangement_reserved_byte等于0的值。Frame_packing_arrangement_reserved_byte的所有其它值可预留给ITU-T|ISO/IEC将来使用。视频解码器可忽略(例如，从位流移除并丢弃)frame_packing_arrangement_reserved_byte的值。
视频编码器20可设置frame_packing_arrangement_repetition_period的值以指明帧封装布置SEI消息的持续性，所述持续性可指明视频编码器20已使具有相同frame_packing_arrangement_id值的另一帧封装布置SEI消息或经译码视频序列的结尾存在于位流中的帧序号间隔。视频编码器20可在0到16,384(包含在内)的范围中设置frame_packing_arrangement_repetition_period的值。
视频编码器20可设置frame_packing_arrangement_repetition_period等于0的值，以指明帧封装布置SEI消息只应用于当前经解码的帧。视频编码器20可设置frame_packing_arrangement_repetition_period等于1的值，以指明帧封装布置SEI消息按输出次序持续到以下条件中的任一者成立为止：新的经译码视频序列开始，或输出在含有具有相同frame_packing_arrangement_id值的帧封装布置SEI消息的接入单元中的帧，所述帧的PicOrderCnt()大于PicOrderCnt(CurrPic)。
视频编码器20可设置frame_packing_arrangement_repetition_period等于0或等于1的值，以指示具有相同frame_packing_arrangement_id值的另一帧封装布置SEI消息可以或不可以存在。视频编码器20可设置frame_packing_arrangement_repetition_period大于1的值，以指明帧封装布置SEI消息持续到以下条件中的任一者成立为止：新的经译码视频序列开始，或输出在含有具有相同frame_packing_arrangement_id值的帧封装布置SEI消息的接入单元中的帧，所述帧的PicOrderCnt()大于PicOrderCnt(CurrPic)且小于或等于PicOrderCnt(CurrPic)+frame_packing_arrangement_repetition_period。
视频编码器20可设置frame_packing_arrangement_repetition_period大于1的值，以指示针对所输出的在接入单元中的帧，存在具有相同frame_packing_arrangement_frames_id值的另一帧封装布置SEI消息，除非在没有输出此种帧的情况下位流结束或新的经译码视频序列开始，其中所述帧的PicOrderCnt()大于PicOrderCnt(CurrPic)且小于或等于PicOrderCnt(CurrPic)+frame_packing_arrangement_repetition_period。
视频编码器20可设置frame_packing_arrangement_extension_flag等于0的值，以指示在帧封装布置SEI消息内没有额外数据跟着。在这种情况下，视频编码器20可设置frame_packing_arrangement_extension_flag等于0的值。frame_packing_arrangement_extension_flag的值1可预留给ITU-T|ISO/IEC将来使用。视频解码器可忽略在帧封装布置SEI消息中frame_packing_arrangement_extension_flag的值1，且可忽略在frame_packing_arrangement_extension_flag的值1之后在帧封装布置SEI消息中跟着的所有数据。
模式选择单元40可按块的形式接收来自视图0图片的原始视频数据。在对视图0图片进行编码之后，视频编码器20可对与视图0图片对应的视图1图片进行下取样。即，视图0图片和视图1图片可能已实质上同时被捕捉。在对视图1图片进行下取样之后，视频编码器20可对视图1图片进行编码。视频编码器20还可将视图0图片的经解码版本存储在参考帧存储装置64中，使得运动估计单元42和运动补偿单元44可在对视图1图片进行编码时相对于视图0图片执行视图间预测。
运动估计单元42与运动补偿单元44可高度集成，但为了概念目的而分开说明。运动估计是产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测块是被发现在像素差异方面密切地匹配待译码的块的块，像素差异可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异量度来确定。运动向量也可指示宏块的分区的位移。运动补偿可涉及基于由运动估计单元42确定的运动向量(或位移向量)取得或产生预测块。同样地，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。
运动估计单元42可通过将经帧间译码的图片的视频块与参考帧存储装置64中的参考帧的视频块进行比较来计算所述视频块的运动向量。运动补偿单元44还可内插参考帧(例如，I帧或P帧)的子整数像素。ITU-T H.264标准涉及参考帧的“列表”，例如，列表0和列表1。列表0包含显示次序早于当前图片的参考帧，而列表1包含显示次序迟于当前图片的参考帧。运动估计单元42将来自参考帧存储装置64的一个或一个以上参考帧的块与当前图片(例如，P图片或B图片)的待编码的块进行比较。当参考帧存储装置64中的参考帧包含用于子整数像素的值时，由运动估计单元42计算的运动向量可涉及参考帧的子整数像素位置。运动估计单元42将经计算的运动向量发送到熵译码单元56和运动补偿单元44。由运动向量识别的参考帧块可称作预测块。运动补偿单元44计算参考帧的预测块的残余误差值。
运动估计单元42可经配置以对视图1图片执行视图间预测，在此情况下，运动估计单元42可计算视图1图片的块与视图0的参考帧的对应块之间的位移向量。在计算位移向量时，运动估计单元42可相对于从非对称帧分离的降低分辨率图片中当前块的位置，而不是在定位于非对称封装的帧内时当前块的位置，来设置运动向量的值。
举例来说，假设在降低分辨率图片中当前块的位置是(x0，y0)。进一步假设，视频编码器20将以上下帧封装布置来封装非对称帧。全分辨率图片可具有h个像素的高度以及w个像素的宽度。因此，运动估计单元42可相对于(x0，2*(y0-h))来计算位移向量。作为另一实例，改为假设视频编码器20将以并排帧封装布置来封装非对称帧。在这个实例中，运动估计单元42可相对于(2*(x0-w)，y0)来计算位移向量。因此，运动估计单元42可相对于只在降低分辨率帧中当前块的位置，而不是在非对称帧中当前块的位置，来计算位移向量。运动补偿单元44可基于预测块来计算预测数据。视频编码器20通过从正被译码的最初视频块减去来自运动补偿单元44的预测数据来形成残余视频块，指示待译码的块的像素值与预测块之间的残余误差。求和器50表示执行此减法运算的组件。
或者，视频编码器20可经配置以将视图1图片编码为场。然而，胜于对视图1图片的一对交织的顶和底场进行编码，视频编码器20可经配置以仅对视图1图片中的每一者的单个场进行编码。视频编码器20可相对于先前经译码的视图1图片的任一场或视图0图片的顶或底场来进一步将视图1图片编码为场。先前经译码的视图0图片中的每一者可包含顶场和底场两者。应理解，尽管视频编码器20可经配置以将视图1图片编码为场，但视频编码器20仍可将视图0图片编码为帧。
为了将视图1的图片编码为场，运动估计单元42可经配置以将视图1的图片与视图1的已解码的先前经译码的图片或已解码的先前经译码的视图0图片的顶或底场进行比较。经场译码的图片可包括全分辨率图片的垂直分辨率的一半。一般来说，图片的场可包括顶场(包括图片的偶数行)或底场(包括图片的奇数行)。因此，为了相对于现在被解码的先前经译码的视图1图片来对视图1图片进行编码，视频编码器20可选择视图1图片的场(例如，视图1图片的顶场或底场)、选择现在被解码为参考图片的先前经译码的视图1图片，且计算所选的场与参考图片之间的差异。类似地，为了相对于现在被解码的先前经译码的视图0图片来对视图1图片进行编码，视频编码器20可执行类似步骤，但另外确定是相对于视图0参考图片的顶场还是底场来对视图1图片进行编码。
变换单元52对残余块应用变换，例如离散余弦变换(DCT)、整数变换或概念上类似的变换，从而产生包括残余变换系数值的视频块。变换单元52可执行概念上类似于DCT的其它变换，例如由H.264标准定义的那些变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下，变换单元52都将变换应用于残余块，从而产生残余变换系数的块。变换单元52可将残余信息从像素值域转换到变换域，例如频域。量化单元54量化残余变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。
在量化之后，熵译码单元56对经量化的变换系数进行熵译码。举例来说，熵译码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)，或另一熵译码技术。在熵译码单元56进行的熵译码之后，可将经编码视频发射到另一装置或加以存档以用于稍后发射或检索。在上下文自适应二进制算术译码(CABAC)的情况下，上下文可基于相邻宏块。
在一些情况下，除了熵译码之外，熵译码单元56或视频编码器20的另一单元还可经配置以执行其它译码功能。举例来说，熵译码单元56可经配置以确定宏块和分区的CBP值。并且，在一些情况下，熵译码单元56可执行对宏块或其分区中的系数的游程长度译码。明确地说，熵译码单元56可应用Z字形扫描或其它扫描样式以扫描宏块或分区中的变换系数，且对零的游程进行编码以用于进一步压缩。熵译码单元56还可用适当的语法元素建构标头信息以供在经编码视频位流中进行发射。
反量化单元58和反变换单元60分别应用反量化和反变换，以在像素域中重建残余块(例如)以供稍后用作参考块。运动补偿单元44可通过将残余块加到参考帧存储装置64的帧中的一者的预测块来计算参考块。运动补偿单元44还可将一个或一个以上内插滤波器应用于经重建的残余块以计算子整数像素值以供在运动估计中使用。求和器62将经重建的残余块加到由运动补偿单元44产生的经运动补偿的预测块以产生经重建的视频块以供存储于参考帧存储装置64中。经重建的视频块可由运动估计单元42和运动补偿单元44用作用于对后续视频帧中的块进行帧间译码的参考块。
图3是说明视频解码器30的实例的框图，所述视频解码器对经编码的视频序列进行解码。在图3的实例中，视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考帧存储装置82以及求和器80。在一些实例中，视频解码器30可执行大体上与相对于视频编码器20(图2)所描述的编码遍次相反的解码遍次。
明确地说，视频解码器30可经配置以接收包含非对称封装的帧的位流。视频解码器30可接收指示位流是否包含非对称封装的帧的信息，且如果是，那么指示非对称封装的帧的帧封装布置。举例来说，视频解码器30可经配置以对帧封装布置SEI消息进行解释。视频解码器30还可经配置以确定是解码非对称封装的帧中的两个图片，还是只解码这两个图片之一，例如全分辨率图片。此确定可基于视频显示器32(图1)是否能够显示三维视频数据、视频解码器30是否具有对特定位速率和/或帧速率的两个视图进行解码(以及对降低分辨率视图进行上取样)的能力，或关于视频解码器30和/或视频显示器32的其它因素。
当目的装置40不能够解码和/或显示来自非对称封装的帧的三维视频数据时，视频解码器30可将所接收的非对称帧解封装成构成的全分辨率经编码图片以及降低分辨率的经编码图片，接着丢弃降低分辨率的经编码图片。因此，视频解码器30可选择仅解码(例如)视图0的全分辨率图片。另一方面，当目的装置40能够解码并显示非对称封装的帧的三维视频数据时，视频解码器30可将所接收的非对称帧解封装成构成的全分辨率和降低分辨率的经编码图片，对全分辨率和降低分辨率的经编码图片进行解码，对降低分辨率图片进行上取样，且将所述图片发送到视频显示器32。在一些实例中，视频解码器30可经由HDMI接收非对称封装的帧。
视频编码器30可进一步接收指示非对称帧的降低分辨率的经编码图片是编码为场还是图片的信息。当编码为图片时，视频编码器30可检索用于经视图间编码的降低分辨率图片的位移向量，或用于经视图内、帧间预测编码的降低分辨率图片的运动向量。视频编码器30可使用所述位移或运动向量来检索预测块以对降低分辨率图片的块进行解码。在对降低分辨率图片进行解码之后，视频编码器30可对经解码的图片上取样到与同一非对称帧的全分辨率图片相同的分辨率。
运动补偿单元72可基于从熵解码单元70接收到的运动向量来产生预测数据。运动补偿单元72可使用在位流中所接收的运动向量来识别参考帧存储装置82中的参考帧中的预测块。帧内预测单元74可使用在位流中所接收的帧内预测模式以由空间上邻近的块形成预测块。反量化单元76将提供于位流中且由熵解码单元70解码的经量化的块系数反量化(即，解量化)。反量化过程可包含(例如)如由H.264解码标准定义的常规过程。反量化过程也可包含使用由编码器20为每一宏块计算的量化参数QPY来确定量化程度且同样地确定将应用的反量化程度。
反变换单元58对变换系数应用反变换，例如，反DCT、反整数变换，或概念上类似的反变换过程，以便产生像素域中的残余块。运动补偿单元72产生经运动补偿的块，可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元72可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元72可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
运动补偿单元72使用一些语法信息来确定用于对经编码视频序列的(多个)帧进行编码的宏块的大小、描述经编码视频序列的帧的每一宏块经分割的方式的分割信息、指示每一分区经编码的方式的模式、用于每一经帧间编码的宏块或分区的一个或一个以上参考帧(或列表)，以及用于对经编码视频序列进行解码的其它信息。
求和器80将残余块与由运动补偿单元72或帧内预测单元产生的对应预测块进行加总，以形成经解码块。如果需要的话，还可应用解块滤波器以对经解码块进行滤波，以便移除成块性假影。接着将经解码的视频块存储于参考帧存储装置82中，参考帧存储装置82提供用于后续运动补偿的参考块且还产生经解码视频以供在显示装置(例如，图1的显示装置32)上呈现。
当非对称帧的降低分辨率图片被编码为场时，视频编码器30可使用另一视图的先前经解码的图片的顶场或底场作为用于对降低分辨率的经编码图片进行解码的参考场。视频编码器30也可使用同一视图的先前经解码的降低分辨率图片作为参考场，其中先前经解码的降低分辨率图片可在上取样之前存储在参考帧存储装置82中。以此方式，视频解码器30可相对于同一视图的降低分辨率的经解码图片，或相对于相对视图的全分辨率的经解码图片的顶或底场，对降低分辨率的经编码图片进行解码。在对降低分辨率图片进行解码之后，视频解码器30可将降低分辨率的经解码图片存储在参考帧存储装置82中，接着对降低分辨率的经解码图片进行上取样以形成对应视图的全分辨率图片。
图4是说明左眼视图和右眼视图的图片100、102由视频编码器20组合形成非对称封装的帧104的概念图。在这个实例中，视频编码器20接收图片100(包含场景的左眼视图的原始视频数据)和图片102(包含场景的右眼视图的原始视频数据)。左眼视图可对应于视图0，而右眼视图可对应于视图1。图片100、102可对应于同一时间实例的两个图片。举例来说，图片100、102可能已通过相机实质上同时被捕捉。
在图4的实例中，图片100的样本是用X指示，而图片102的样本(例如，像素)是用O指示。在这个实例中，视频编码器20对图片100进行编码、对图片102进行下取样和编码，且将所述图片组合以形成非对称封装的帧104。在这个实例中，视频编码器20将图片100的全分辨率经编码图片以及图片102的降低分辨率的经编码图片以上下布置来布置在非对称封装的帧104内。为了对图片102进行下取样，视频编码器20可对图片102的交替行进行十分之一取样。作为另一实例，视频编码器20可完全移除图片102的交替行以产生图片102的经下取样的版本。作为又一实例，视频编码器20可对图片102进行五点梅花式(棋盘式)取样，且将这些样本成行布置在非对称封装的帧104内。
在图4的示例中，非对称封装的帧104包含与来自图片100的数据对应的X以及与来自图片102的数据对应的O。然而，应理解，在下取样之后，非对称封装的帧104中对应于图102的数据将未必与图片102的数据完全对准。同样地，在编码之后，非对称封装的帧104中图片的数据将很可能不同于图片100、102的数据。因此，不应假定，非对称封装的帧104中的一个X的数据必定与图片100中的对应X相同。类似地，不应假定，非对称封装的帧104中的一个O的数据与图片102中的对应O相同，或非对称封装的帧104中的O具有与图片102的O相同的分辨率。
非对称封装的帧104可对应于上下帧封装布置。即，在非对称封装的帧104中，对应于图片100的数据放置在对应于图片102的数据之上。尽管成行地说明，但是非对称封装的帧104中对应于图片102的数据可经五点梅花式(棋盘式)取样，且因此，也可使用五点梅花式布置来进行上取样。或者，非对称封装的帧104中对应于图片102的数据可从图片102的交替行进行取样，在此情况下，数据可通过(例如)在解码之后对数据的交替行进行内插来进行上取样。
图5是说明左眼视图和右眼视图的图片100、102通过视频编码器20组合以形成非对称封装的帧106的概念图。在这个实例中，视频编码器20接收图片100(包含场景的左眼视图的原始视频数据)和图片102(包含场景的右眼视图的原始视频数据)。图片100、102可对应于同一时间实例的两个图片。举例来说，图片100、102可能已通过相机实质上同时被捕捉。
在图5的实例中，图片100的样本是用X指示，而图片102的样本是用O指示。在这个实例中，视频编码器20对图片100进行编码、对图片102进行下取样和编码，且将所述图片组合以形成非对称封装的帧106。在这个实例中，视频编码器20将图片100的全分辨率经编码图片以及图片102的降低分辨率的经编码图片以并排布置来布置在非对称封装的帧106内。为了对图片102进行下取样，视频编码器20可对图片102的交替列进行十分之一取样。或者，视频编码器20可完全移除图片102的交替列以产生图片102的经下取样的版本。
在图5的示例中，非对称封装的帧106包含与来自图片100的数据对应的X以及与来自图片102的数据对应的O。然而，应理解，在下取样之后，非对称封装的帧106中对应于图102的数据将未必与图片102的数据完全对准。同样地，在编码之后，非对称封装的帧106中图片的数据将很可能不同于图片100、102的数据。因此，不应假定，非对称封装的帧106中的一个X的数据必定与图片100中的对应X相同。类似地，不应假定，非对称封装的帧106中的一个O的数据与图片102中的对应O相同，或非对称封装的帧106中的O具有与图片102的O相同的分辨率。
非对称封装的帧106可对应于并排帧封装布置。即，对应于图片100的数据与对应于图片102的数据并排布置。尽管成列地说明，但是非对称封装的帧106中对应于图片102的数据可经五点梅花式(棋盘式)取样，且因此，也可使用五点梅花式布置来进行上取样。或者，非对称封装的帧106中对应于图片102的数据可从图片102的交替列进行取样，在此情况下，数据可通过(例如)在解码之后对数据的交替列进行内插来进行上取样。
图6是说明用于将左眼视图的图片110A-110D(图片110)编码为帧，而将右眼视图的图片112A-112D(图片112)编码为场的实例过程的概念图。在这个实例中，图片110对应于左眼视图(例如，视图0)，而图片112对应于右眼视图(例如，视图1)。一般来说，图片112可包括右眼视图的经下取样的图片。举例来说，视频处理单元可对右眼视图的传入图片的行进行十分之一取样以产生图片112。
视频编码器(例如视频编码器20)或耦合到视频编码器的视频预处理单元可接收左眼视图和右眼视图的全分辨率、未经编码图片。视频编码器20可通过对右眼视图的图片进行十分之一取样来降低右眼视图的图片的分辨率。以此方式，视频编码器20可产生具有图片110的一半垂直分辨率但具有与图片110相同的水平分辨率(宽度)的图片112。
视频编码器可正常地编码图片110，即，编码为帧。然而，在这个实例中，视频编码器20可将图片112编码为场。视频编码器20可相对于右眼视图的先前经编码(且随后经解码)的图片或左眼视图的先前经编码(且随后经解码)的图片来对图片112进行编码。举例来说，视频编码器20可相对于图片110中的一者的顶场或图片110中的一者的底场来对图片112进行编码。即，视频编码器20可(例如)通过计算图片112中的一者的场的行与图片110中的一者的交替行(从顶行开始)之间的差异来使用图片110中的一者的顶场作为参考场以对图片112中的一者进行编码。或者，视频编码器20可使用图片110中的一者的底场作为参考场，在此情况下，视频编码器20可计算图片112中的一者的行与图片110中的一者的交替行(从顶行之后的行开始)之间的差异。一般来说，视频编码器20可相对于先前经译码的图片112以及先前经译码的图片110的顶和/或底场来对图片112进行编码。
视频编码器20可由图片110和图片112形成独立的接入单元。图片110A和112A一起可形成立体图像对。同样地，图片110B和112B可形成立体图像对，图片110C和112C可形成立体图像对，且图片110D和112D可形成立体图像对。然而，胜于形成包含形成立体图像对的两个图像的非对称帧，视频编码器20可由图片110和112中的每一者形成独立的接入单元。视频编码器20可交替地输出图片110和112，如图6的实例中所说明。这种技术可被称作帧场交错译码。因此，视频编码器20可形成包含被译码为帧的图片以及被译码为场的图片的位流，且经场译码的图片相对于经帧译码的图片来说可具有降低了的分辨率。此外，经场译码的图片可相对于在位流中较早出现的经帧或场译码的图片中的一者或一者以上来进行译码。
帧场交错译码是允许从全分辨率图片预测降低分辨率图片的一个实例。通过将全分辨率图片译码为帧且将降低分辨率图片译码为场，可实现相对高的译码和位流效率。经解码的图片110可被看待成互补场对且在对降低分辨率场(即，图片112中的一者)进行译码时用作参考图片。在一些实例中，一个视图(例如，左视图或视图0)的每一图片可被译码为帧，而另一视图(例如，右视图或视图1)的每一图片可被译码为场。因此，包含全分辨率经编码图片的视图可被称作全分辨率视图或高分辨率视图，而包含降低分辨率的经编码图片的视图可被称作降低分辨率视图或低分辨率视图。
在一些实例中，这种技术可用作H.264/AVC的扩展。在一些实例中，这种技术可用作将来的译码标准(例如H.265)的扩展，假定这些标准支持帧译码和场译码两者。因此，在块级处，这些技术未必需要新的译码工具。
图7是说明对图片进行场编码以产生降低分辨率的经编码图片以供包含在非对称封装的帧中的概念图。图7将图片120说明为视图0(例如，左眼视图)参考图片，且将图片122说明为待译码为场的视图1(例如，右眼视图)图片。在这个实例中，视图0参考图片的与图片120的顶场对应的像素的行用X说明，而图片120的与图片120的底场对应的像素的行用O说明。
在这个实例中，相对于图片120的顶场将图片122编码为场。因此，可从图片120的顶场对图片122的行进行预测。换句话说，编码器可使用图片122的顶场作为参考场。对于图片122中的每一像素，视频编码器可计算所述像素与图片122的顶场的对应行中的并置像素之间的差异。视频编码器可接着对以下各项进行编码：图片122的识别符、使用图片122的顶场来预测图片122的经编码版本的指示，以及用于对图片122进行编码的残余值(即，图片122与图片120的顶场之间的所计算的差异)。视频编码器可接着输出(例如)在视图0的两个经帧译码的图片之间交错(如图6所示)的图片122的经编码版本。
图8是说明非对称封装的帧140的降低分辨率的经编码图片144的块148的视图间预测的概念图。图8说明两个实例非对称封装的帧130、140。非对称封装的帧130包含对应于左眼视图(例如，视图0)的全分辨率经编码图片132以及对应于右眼视图(例如，视图1)的降低分辨率的经编码图片134。非对称封装的帧140包含对应于左眼视图的全分辨率经编码图片142以及对应于右眼视图的降低分辨率的经编码图片144。
降低分辨率的经编码图片144包含块148，块148可(例如)相对于非对称帧130的降低分辨率的经编码图片134的块138来进行视图内预测。图8的实例说明指示块138相对于块148的位置的运动向量154。或者，块148可相对于(例如)非对称封装的帧140的全分辨率经编码图片142的块146(如通过位移向量150所展示)或非对称封装的帧130的全分辨率经编码图片132的块136(如通过位移向量152所展示)来进行视图间预测。
位移向量150可指示在全分辨率经编码图片142中块146相对于块148的位置。位移向量152可指示在非对称帧130的全分辨率经编码图片132中块136相对于块148的位置。位移向量154(其可被视为运动向量)可指示在降低分辨率的经编码图片134中块138相对于块148的位置。以此方式，可对块148进行视图内帧间编码、视图间帧内编码，或视图间帧间编码。因此，可存在三种编码模式：从同一视图(例如，右眼视图)在不同帧中对块148的预测，如通过位移向量154的实例所说明；从同一帧在另一视图(例如，左眼视图)中对块148的预测，如通过位移向量150的实例所说明；以及从不同帧和另一视图(例如，左眼视图)对块148的预测，如通过位移向量152的实例所说明。
如上所述，视频编码器(例如，视频编码器20)可相对于在非对称封装的帧140外部的参考块148的位置来计算位移向量150、152、154。即，可相对于块148的位置来计算位移向量150、152、154，好像图片144不与图片142组合而是分离的图片。为此，令非对称帧140内块148的位置被识别为在位置(x0，y0)处。令全分辨率图片142具有h个像素的高度以及w个像素的宽度。
在一个实例中，假定非对称封装的帧140具有上下封装布置(如图8的实例中所说明)，图片144可具有与全分辨率图片142相同的宽度(即，w个像素的宽度)，但高度小于全分辨率图片142的高度。举例来说，图片144可具有h/2个像素的高度。在这个实例中，可相对于位置(x0，2*(y0-h))来计算位移向量150、152。更一般来说，如果降低分辨率图片144具有n*h/d的高度，那么可相对于位置(x0，(d/n)*(y0-h))来计算位移向量150、152，且可相对于位置(x0，y0)来计算位移向量154。
作为另一实例，假定非对称封装的帧140具有并排封装布置，图片144可具有与全分辨率图片142相同的高度(即，h个像素的高度)，但宽度小于全分辨率图片142的宽度。举例来说，图片144可具有w/2个像素的宽度。在这个实例中，可相对于位置(2*(x0-w)，y0)来计算位移向量150、152。更一般来说，如果降低分辨率图片144具有n*w/d的宽度，那么可相对于位置((d/n)*(x0-w)，y0)来计算位移向量150、152。
图9是说明用于将两个不同视图的两个图片组合成非对称封装的帧以及对非对称封装的帧进行编码的实例方法的流程图。尽管相对于图1和2的实例组件大体上进行描述，但应理解，其它编码器、编码单元以及编码装置可经配置以执行图9的方法。此外，图9的方法的步骤无需按图9中所示的次序来执行，且可执行额外或替代的步骤。
在图9的实例中，视频编码器20首先接收左眼视图(例如，视图0)的图片(160)。视频编码器20也可接收右眼视图(例如，视图1)的图片(162)，使得这两个所接收的图片形成立体图像对。左眼视图和右眼视图可形成立体视图对，也被称作互补视图对。所接收的右眼视图图片可对应于与所接收的左眼视图图片相同的时间位置。即，左眼视图图片和右眼视图图片可能已实质上同时被捕捉或产生。视频编码器20可接着降低右眼视图图片的分辨率(166)。在一些实例中，视频编码器20的预处理单元可接收所述图片。在一些实例中，视频预处理单元可在视频编码器20外部。
在图9的实例中，视频编码器20降低右眼视图图片的分辨率(164)。举例来说，视频编码器20可对所接收的右眼视图图片进行二次取样(例如，使用逐行、逐列或五点梅花式(棋盘式)二次取样)、对所接收的右眼视图图片的行或列进行十分之一取样，或否则降低所接收的右眼视图图片的分辨率。在一些实例中，视频编码器20可产生具有左眼视图的全分辨率图片的一半宽度或一半高度的降低分辨率图片。在包含视频预处理器的其它实例中，视频预处理器可经配置以降低右眼视图图片的分辨率。
视频编码器20可接着形成包含所接收的左眼视图图片和经下取样的右眼视图图片两者的非对称帧(166)。举例来说，视频编码器20可形成具有上下布置的非对称帧，假定右眼视图图片具有与左眼视图图片相同的宽度。在一些实例中，视频编码器20可形成具有上下布置的非对称帧，在所述上下布置中，全分辨率图片是在降低分辨率图片上方，例如，其中左眼视图图片是放置在分辨率降低了的右眼视图图片上方。在其它实例中，视频编码器20可形成具有上下布置的非对称帧，在所述上下布置中，全分辨率图片是在降低分辨率图片下方，例如，其中左眼视图图片是放置在分辨率降低了的右眼视图图片下方。在又其它实例中，例如，在降低分辨率图片相对于全分辨率图片来说具有相同高度但宽度减少的情况下，视频编码器20可形成具有并排布置的非对称帧，且全分辨率图片可放置在降低分辨率图片左边或右边。
视频编码器20可接着对非对称帧进行编码(168)。在一些实例中，视频编码器20可经配置以仅相对于右眼视图的先前经译码的数据来对非对称帧的右眼视图图片部分进行编码。因此，视频编码器20可用帧内预测(I预测)模式相对于同一图片的其它数据，或用帧间预测(P预测或B预测)模式相对于右眼视图的一个或一个以上先前经编码的图片的数据，对降低分辨率图片进行编码。
在其它实例中，视频编码器20可经配置以相对于右眼视图或左眼视图的数据对非对称帧的降低分辨率的右眼视图图片部分进行编码。举例来说，视频编码器20可相对于非对称帧的左眼视图部分对降低分辨率的右眼视图图片进行编码。视频编码器20也可相对于先前经编码的非对称帧的左眼视图部分对非对称帧的降低分辨率的右眼视图部分进行编码。
视频编码器20可相对于右眼视图的图片或相对于先前经编码的非对称帧的左眼视图的图片对降低分辨率的右眼视图图片进行编码。因此，视频编码器20可用帧间模式相对于先前经编码的右眼视图图片的块、同一非对称帧的左眼视图图片部分的块，或先前经编码的非对称帧的先前经编码的左眼视图部分的块，对当前非对称帧的右眼视图部分的每一块进行编码。如上所述，为了对当前图片的块进行编码，视频编码器20可相对于降低分辨率的右眼视图图片中块的位置，而不是位于非对称封装的帧内的块的位置，来计算位移向量。
在对非对称帧进行编码之后，视频编码器20可用信号传输是否使用视图间预测对右眼视图图片进行编码(170)。举例来说，视频编码器20可产生帧封装布置SEI消息，所述帧封装布置SEI消息指示非对称封装的帧是否存在于由视频编码器20所形成的位流中，且如果是，那么非对称封装的帧中的任一者是否包含以视图间预测模式进行编码的降低分辨率图片。
视频编码器20还可用信号传输非对称封装的帧的帧封装类型(172)。举例来说，视频编码器20可在上述的帧封装布置SEI消息中包含指示非对称封装的帧的帧封装布置(例如，并排或上下封装)的信息。此外，视频编码器20可(例如)在帧封装布置SEI消息中包含指示全分辨率图片的数据以及降低分辨率图片的数据的相对位置的信息。
视频编码器20可接着输出非对称帧(174)。举例来说，视频编码器20或耦合到视频编码器20的单元可将非对称帧存储到计算机可读存储媒体、广播非对称帧、经由网络发射或网络广播来发射非对称帧，或否则提供经编码的视频数据。在一些实例中，视频编码器20或耦合到视频编码器20的单元可经由高清晰度多媒体接口(HDMI)来输出非对称帧。
还应理解，视频编码器20无需提供指示以下各项的信息：位流是否包含非对称封装的帧、以及对于位流的每一帧，帧封装布置以及在帧中全分辨率和降低分辨率图片的位置的指示。在一些实例中，视频编码器20可提供用于整个位流的信息的单个集合，例如，单个帧封装SEI消息，为位流的每一帧指示此信息。在一些实例中，视频编码器20可周期性地提供信息，例如，在每一视频片断、图片群组(GOP)、视频片段之后，每特定数目个帧，或以其它周期性间隔。在一些实例中，视频编码器20或与视频编码器20相关联的另一单元也可根据需要来提供帧封装布置SEI消息，例如，响应于来自客户端装置的对帧封装布置SEI消息的请求或对位流的标头数据的一般请求。
图10是说明用于对非对称帧进行解码的实例方法的流程图。尽管相对于图1和3的实例组件大体上进行描述，但应理解，其它解码器、解码单元以及解码装置可经配置以执行图10的方法。此外，图10的方法的步骤无需按图10中所示的次序来执行，且可执行额外或替代的步骤。
最初，视频解码器30可接收非对称帧(200)。在一些实例中，视频解码器30或耦合到视频解码器30的单元可经由高清晰度多媒体接口(HDMI)来接收非对称帧。视频解码器30可接着确定非对称帧的帧封装类型(202)。举例来说，视频解码器30可接收帧封装布置SEI消息，所述帧封装布置SEI消息指示非对称帧的帧封装类型(例如，上下或并排)以及非对称帧中全分辨率图片和降低分辨率图片的位置。在一些实例中，视频解码器30可在接收非对称帧之前已在先前接收用于位流的帧封装布置SEI消息，在此情况下，视频解码器30可在接收非对称帧之前已确定位流的帧(包含最近接收到的非对称帧)的帧封装类型。
基于帧封装类型信息，视频解码器30可对非对称帧进行解码(204)。视频解码器30可首先对非对称帧的左眼视图部分进行解码，之后才是非对称帧的右眼视图部分。视频解码器30可基于帧封装类型信息来确定非对称帧的左眼视图和右眼视图部分的位置。在一些实例中，视频解码器30可相对于左眼视图图片对右眼视图图片进行解码。
在对非对称帧进行解码之后，视频解码器30可将经解码的帧分离成构成图片，例如左眼视图图片和右眼视图图片(206)。视频解码器30可存储左眼视图图片的拷贝，用于对其它左眼视图图片以及在一些实例中右眼视图图片进行解码的参考。视频解码器30也可存储经解码的右眼视图图片的拷贝(例如，在上取样之前)，供用作用于对随后接收到的非对称帧的右眼视图部分进行解码的参考图片。
继续上述实例，右眼视图图片也可具有降低了的分辨率，尽管在其它实例中，右眼视图图片可具有全分辨率且左眼视图图片可具有降低了的分辨率。因此，视频解码器30可(例如)通过对缺失的信息进行内插以形成右眼视图图片的全分辨率版本来对右眼视图图片进行上取样(208)。以此方式，视频解码器30可形成具有与左眼视图图片相同的分辨率的右眼视图图片。视频解码器30可接着将经解码的左眼和右眼视图图片发送到视频显示器32，视频显示器32可同时或几乎同时显示左眼和右眼视图图片(212)。
图11是说明用于根据本发明的技术执行帧场交错译码的实例方法的流程图。尽管相对于图1和2的实例组件大体上进行描述，但应理解，其它编码器、编码单元以及编码装置可经配置以执行图11的方法。此外，图9的方法的步骤无需按图11中所示的次序来执行，且可执行额外或替代的步骤。
最初，视频编码器20可接收左眼视图图片，例如视图0的图片(220)。视频编码器20可接着以帧内或帧间预测模式将左眼视图图片编码(例如)为帧(222)。因此，视频编码器20可相对于同一图片的其它数据，或相对于左眼视图的一个或一个以上参考图片，对左眼视图图片进行编码。
视频编码器20也可接收右眼视图(例如，视图1)的图片(224)，使得右眼视图图片和左眼视图图片形成立体图像对。左眼视图和右眼视图可形成立体视图对，也被称作互补视图对。所接收的右眼视图图片可对应于与所接收的左眼视图图片相同的时间位置。即，左眼视图图片和右眼视图图片可能是实质上同时被捕捉或产生。视频编码器20可接着降低右眼视图图片的分辨率(226)。在一些实例中，视频编码器20的视频预处理单元可接收右眼视图图片且在编码之前降低右眼视图图片的分辨率。在一些实例中，视频预处理单元可在视频编码器20外部。
为了降低右眼视图图片的分辨率，在一些实例中，视频编码器20(或视频预处理单元)可对右眼视图图片进行十分之一取样。以此方式，视频编码器20可降低右眼视图图片的分辨率，在此实例中，右眼视图图片可具有左眼视图图片的一半垂直分辨率。
视频编码器20可接着基于左眼视图的图片对右眼视图图片的降低分辨率图片进行编码(228)。即，视频编码器20可使用先前经译码的左眼视图图片作为用于对右眼视图图片进行编码的参考图片。尽管在一些情况下视频编码器20可使用在步骤222处编码的左眼视图图片作为用于对右眼视图图片进行编码的参考图片，但一般来说，视频编码器20可使用左眼视图的任何先前经编码的图片作为参考图片。因此，视频编码器20不限于使用在步骤222处编码的左眼视图图片作为用于对右眼视图图片进行编码的参考图片。在一些实例中，视频编码器20可使用先前经编码的右眼视图图片作为用于对当前右眼视图图片进行编码的参考图片。即，视频编码器20可确定是使用先前经编码的左眼视图图片还是先前经编码的右眼视图图片作为用于对当前右眼视图图片进行编码的参考图片。此外，在一些实例中，视频编码器20可在当前右眼视图图片的帧内与帧间模式编码之间进行选择。
视频编码器20可将右眼视图图片编码为场。因此，为了对右眼视图图片进行编码，视频编码器20可计算右眼视图图片的行与参考的左眼视图图片的交替行之间的差异。以此方式，视频编码器20可参考先前经编码的左眼视图图片的顶场或底场将右眼视图图片编码为场。
视频编码器20可接着输出经编码的左眼视图图片(230)和经编码的右眼视图图片(232)。在这个实例中，视频编码器20可将经编码的图片输出到同一位流中作为分离的接入单元，而不是形成非对称封装的帧。位流可因此包含左眼视图的全分辨率的经编码图片以及右眼视图的降低分辨率的经编码图片，其中左眼视图图片是编码为帧且右眼视图图片是编码为场。位流可类似图6的示例，使得位流经帧场交错编码。
图12是说明用于根据本发明的技术对经帧场交错译码的位流进行解码的实例方法的流程图。尽管相对于图1和3的实例组件大体上进行描述，但应理解，其它解码器、解码单元以及解码装置可经配置以执行图12的方法。此外，图10的方法的步骤无需按图12中所示的次序来执行，且可执行额外或替代的步骤。
视频解码器30可经配置以接收且解码经帧场交错编码的位流。因此，视频解码器30可接收左眼视图(例如，视图0)的经编码图片(240)。视频解码器30可接着对左眼视图图片进行解码(242)。视频解码器30也可接收右眼视图(例如，视图1)的经编码图片(244)。左眼视图和右眼视图可形成立体视图对，也被称作互补视图对。在这个实例中，左眼视图图片和右眼视图图片可形成独立的接入单元，即使所述两个图片可能对应于同一时间段也如此。举例来说，所述两个图片可能已几乎同时被捕捉，使得所述两个图片形成立体图像对，用于产生三维视频播放。
视频解码器30可基于先前经解码的左眼视图图片对右眼视图图片进行解码(246)。即，在对右眼视图图片进行解码时，视频解码器30可使用左眼视图图片作为参考图片。尽管参考图片可包括在步骤242处解码的图片，但参考图片可大体上包括左眼视图的任何先前经解码的图片。为了对右眼视图图片进行解码，视频解码器30可将所接收的、经编码的右眼视图图片的行的值加到参考图片的交替行(例如参考图片的顶场或底场)。位流可包含指示右眼视图图片的参考图片以及是使用顶场还是底场作为用于对右眼视图图片进行解码的参考场的信息。在其它实例中，视频解码器30可进一步经配置以确定是相对于左眼视图图片的顶场或底场还是相对于先前经解码的右眼视图图片对右眼视图图片进行解码。
在对右眼视图图片进行解码之后，视频解码器30可对经解码的右眼视图图片进行上取样(248)。举例来说，视频解码器30可经配置以对经解码的右眼视图图片的信息的缺失行进行内插。视频解码器30可输出经解码的右眼视图图片(250)以及经解码且经上取样的右眼视图图片(252)。举例来说，视频解码器30可将经解码的图片发送到显示器，所述显示器可同时或几乎同时显示所述图片。
在一些实例中，视频解码器30可包含在不能够进行三维视频播放的装置内。在此些实例中，视频解码器30可只对左眼视图图片进行解码且跳过(例如，丢弃)右眼视图图片。以此方式，装置可能够接收且解码经帧场交错编码的位流，无论所述装置能否解码和/或呈现三维视频数据。
尽管相对于视频编码器和视频解码器大体上进行描述，但本发明的技术可在其它装置和译码单元中实施。举例来说，用于形成非对称封装的帧的技术可通过转码器来执行，所述转码器经配置以接收两个分离的、互补位流以及对这两个位流进行转码以形成包含非对称封装的帧的单个位流。作为另一实例，用于拆解非对称封装的帧的技术可通过转码器来执行，所述转码器经配置以接收包含非对称封装的帧的位流以及产生与非对称封装的帧的相应视图对应的两个分离的位流，所述位流各自包含用于相应视图的经编码视频数据。
在一个或一个以上实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果以软件实施，那么功能可作为一个或一个以上指令或代码存储在计算器可读媒体上或通过计算机可读媒体来传输，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体；或通信媒体，其包含促进计算机程序(例如)根据通信协议从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体上可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可以是可由一个或一个以上计算机或一个或一个以上处理器存取以检索用于实施本发明中所述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例说明且并非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置，或其它磁性存储装置、快闪存储器，或可用于以指令或数据结构的形式来存储所要的程序代码且可被计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电以及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电以及微波等无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂态媒体，而是改为针对非暂态、有形的存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘以及蓝光光盘，其中磁盘通常磁性地复制数据，而光盘使用激光光学地复制数据。上述各者的组合也应包含在计算机可读媒体的范围内。
指令可由一个或一个以上处理器来执行，例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其它等效的集成或离散的逻辑电路。因此，如本文中所使用，术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供在针对编码和解码而配置的专用硬件和/或软件模块中或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可实施在各种各样的装置或设备中，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片集)。在本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，而未必要求通过不同的硬件单元来体现。而是，如上所述，各种单元可组合在编解码器硬件单元中或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合与合适的软件和/或固件共同提供。
已描述了各种实例。这些以及其它实例属于所附权利要求书的范围内。

Claims (50)

1.一种对视频数据进行编码的方法，所述方法包括：
接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；
接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低的分辨率；
形成包括所述第一分辨率图片和所述降低分辨率图片的非对称帧；
对所述非对称帧进行编码；以及
输出所述非对称帧。
2.根据权利要求1所述的方法，其中所述第二图片的所述已降低分辨率是所述第一图片的所述第一分辨率的一半，所述方法进一步包括输出指示所述非对称帧中的所述第二图片包括所述第一图片的所述第一分辨率的一半的信息。
3.根据权利要求1所述的方法，其中形成所述非对称帧包括以并排布置来布置所述第一图片和所述第二图片，所述方法进一步包括输出指示所述非对称帧是以所述并排布置形成且所述第一图片和所述第二图片具有相同高度的信息。
4.根据权利要求1所述的方法，其中非对称封装的图片以上下布置来形成帧，所述方法进一步包括输出指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二图片具有相同宽度的信息。
5.根据权利要求1所述的方法，其进一步包括输出补充增强信息SEI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及在所述非对称帧中所述第一图片相对于所述第二图片的位置。
6.根据权利要求1所述的方法，其中输出所述经编码的非对称帧包括输出以下至少一项：符合ISO基本媒体文件格式的文件、符合ISO基本媒体文件格式的扩展的文件、符合MPEG-2传输流的数据、用于MPEG-2传输流的标头信息，以及依照超文本传输协议HTTP流式传输格式的数据。
7.一种用于对视频数据进行编码的设备，所述设备包括视频编码器，所述视频编码器经配置以：接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低的分辨率；形成包括所述第一图片和所述第二图片的非对称帧；以及对所述非对称帧进行编码。
8.根据权利要求7所述的设备，其中所述第二图片的所述已降低分辨率是所述第一图片的所述第一分辨率的一半，且其中所述视频编码器经配置以输出指示所述非对称帧中的所述第二图片包括所述第一图片的所述第一分辨率的一半的信息。
9.根据权利要求7所述的设备，其中所述视频编码器经配置以将所述第一图片和所述第二图片以并排布置来布置在所述非对称帧中，且产生指示所述非对称帧是以所述并排布置形成且所述第一图片和所述第二图片具有相同高度的信息。
10.根据权利要求7所述的设备，其中所述视频编码器经配置以将所述第一图片和所述第二图片以上下布置来布置在所述非对称帧中，且产生指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二图片具有相同宽度的信息。
11.根据权利要求7所述的设备，其中所述视频编码器经配置以产生补充增强信息SEI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及在所述非对称帧中所述第一图片相对于所述第二图片的位置。
12.根据权利要求7所述的设备，其中所述视频编码器经配置以按以下至少一项的形式输出所述经编码的非对称帧：符合ISO基本媒体文件格式的文件、符合ISO基本媒体文件格式的扩展的文件、符合MPEG-2传输流的数据、用于MPEG-2传输流的标头信息，以及依照超文本传输协议HTTP流式传输格式的数据。
13.根据权利要求7所述的设备，其中所述设备包括以下至少一项：
集成电路；
微处理器；以及
包含所述视频编码器的无线通信装置。
14.一种用于对视频数据进行编码的设备，所述设备包括：
用于接收场景的第一视图的第一图片的装置，所述第一图片具有第一分辨率；
用于接收所述场景的第二视图的第二图片的装置，所述第二图片具有相对于所述第一分辨率降低的分辨率；
用于形成包括所述第一图片和所述第二图片的非对称帧的装置；以及
用于对所述非对称帧进行编码的装置。
15.根据权利要求14所述的设备，其中所述第二图片的所述已降低分辨率是所述第一图片的所述第一分辨率的一半，所述设备进一步包括用于输出指示所述非对称帧中的所述第二图片包括所述第一图片的所述第一分辨率的一半的信息的装置。
16.根据权利要求14所述的设备，其中所述用于形成所述非对称帧的装置包括用于将所述第一图片和所述第二图片以并排布置来布置在所述非对称帧中的装置，所述设备进一步包括用于产生指示所述非对称帧是以所述并排布置形成且所述第一图片和所述第二图片具有相同高度的信息的装置。
17.根据权利要求14所述的设备，其中所述用于形成所述非对称帧的装置包括用于将所述第一图片和所述第二图片以上下布置来布置在所述非对称帧中的装置，所述设备进一步包括用于产生指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二图片具有相同宽度的信息的装置。
18.根据权利要求14所述的设备，其进一步包括用于产生补充增强信息SEI消息的装置，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及在所述非对称帧中所述第一图片相对于所述第二图片的位置。
19.一种计算机程序产品，其包括上面存储有指令的计算机可读存储媒体，所述指令在被执行时使用于对视频数据进行编码的装置的处理器：
接收场景的第一视图的第一图片，所述第一图片具有第一分辨率；
接收所述场景的第二视图的第二图片，所述第二图片具有相对于所述第一分辨率降低的分辨率；
形成包括所述第一图片和所述第二图片的非对称帧；
对所述非对称帧进行编码；以及
输出所述经编码的非对称帧。
20.根据权利要求19所述的计算机程序产品，其中所述第二图片的所述已降低分辨率是所述第一图片的所述第一分辨率的一半，所述计算机程序产品进一步包括使所述处理器输出指示所述非对称帧中的所述第二图片包括所述第一图片的所述第一分辨率的一半的信息的指令。
21.根据权利要求19所述的计算机程序产品，其中使所述处理器形成所述非对称帧的所述指令包括使所述处理器以并排布置来布置所述第一图片和所述第二图片的指令，所述计算机程序产品进一步包括使所述处理器输出指示所述非对称帧是以所述并排布置形成且所述第一图片和所述第二图片具有相同高度的信息的指令。
22.根据权利要求19所述的计算机程序产品，其中使所述处理器形成所述非对称帧的所述指令包括使所述处理器以上下布置来布置所述第一图片和所述第二图片的指令，所述计算机程序产品进一步包括使所述处理器输出指示所述非对称帧是以所述上下布置形成且所述第一图片和所述第二图片具有相同宽度的信息的指令。
23.根据权利要求19所述的计算机程序产品，其进一步包括使所述处理器输出补充增强信息SEI消息的指令，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一图片和所述第二图片具有并排布置和上下布置之一以及在所述非对称帧中所述第一图片相对于所述第二图片的位置。
24.根据权利要求19所述的计算机程序产品，其中使所述处理器输出所述经编码的非对称帧的所述指令包括使所述处理器输出以下至少一项的指令：符合ISO基本媒体文件格式的文件、符合ISO基本媒体文件格式的扩展的文件、符合MPEG-2传输流的数据、用于MPEG-2传输流的标头信息，以及依照超文本传输协议HTTP流式传输格式的数据。
25.一种对视频数据进行解码的方法，所述方法包括：
接收经编码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片以及所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨率降低的分辨率；
对所述非对称帧进行解码；
将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片；
对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图片；以及
输出所述第一图片和所述第二图片，其中所述第一图片和所述第二图片形成立体图像对。
26.根据权利要求25所述的方法，其进一步包括接收指示所述非对称帧具有上下封装布置和并排封装布置之一的信息。
27.根据权利要求26所述的方法，其中，当所述信息指示所述非对称帧具有所述上下封装布置时，分离所述经解码的非对称帧包含将所述非对称帧分离成顶部部分和底部部分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低分辨率图片。
28.根据权利要求26所述的方法，其中，当所述信息指示所述非对称帧具有所述并排封装布置时，分离所述经解码的非对称帧包含将所述非对称帧分离成左边部分和右边部分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低分辨率图片。
29.根据权利要求26所述的方法，其中接收所述信息包括接收补充增强信息SEI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位置。
30.根据权利要求25所述的方法，其中接收所述非对称帧包括经由经配置以接收非对称帧的高清晰度多媒体接口HDMI来接收所述非对称帧。
31.一种用于对视频数据进行解码的设备，所述设备包括视频解码器，所述视频解码器经配置以：接收经编码的非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片以及所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨率降低的分辨率；对所述非对称帧进行解码；将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片；以及对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图片，其中所述第一经解码图片和所述第二经解码图片形成立体图像对。
32.根据权利要求31所述的设备，其进一步包括三维视频显示器，所述三维视频显示器经配置以实质上同时显示所述第一经解码图片和所述第二经解码图片以显示三维视频数据。
33.根据权利要求31所述的设备，其中所述视频解码器经配置以接收指示所述非对称帧具有上下封装布置和并排封装布置之一的信息。
34.根据权利要求33所述的设备，其中所述视频解码器经配置以，当所述信息指示所述非对称帧具有所述上下封装布置时，将所述经解码的非对称帧分离成顶部部分和底部部分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低分辨率图片。
35.根据权利要求33所述的设备，其中所述视频解码器经配置以，当所述信息指示所述非对称帧具有所述上下封装布置时，将所述经解码的非对称帧分离成左边部分和右边部分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低分辨率图片。
36.根据权利要求33所述的设备，其中所述信息包括补充增强信息S EI消息，所述S EI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位置。
37.根据权利要求31所述的设备，其进一步包括高清晰度多媒体接口HDMI，所述接口经配置以接收非对称帧且经配置以将所述非对称帧提供到所述视频解码器。
38.根据权利要求31所述的设备，其中所述设备包括以下至少一项：
集成电路；
微处理器；以及
包含所述视频解码器的无线通信装置。
39.一种用于对视频数据进行解码的设备，所述设备包括：
用于接收非对称帧的装置，所述非对称帧包括场景的第一视图的第一分辨率图片以及所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨率降低的分辨率；
用于对所述非对称帧进行解码的装置；
用于将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片的装置；以及
用于对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图片的装置，其中所述第一经解码图片和所述第二经解码图片形成立体图像对。
40.根据权利要求39所述的设备，其进一步包括用于接收指示所述非对称帧具有上下封装布置和并排封装布置之一的信息的装置。
41.根据权利要求40所述的设备，其中在所述信息指示所述非对称帧具有所述上下封装布置时，所述分离装置包括用于将所述非对称帧分离成顶部部分和底部部分的装置，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低分辨率图片。
42.根据权利要求40所述的设备，其中在所述信息指示所述非对称帧具有所述并排封装布置时，所述分离装置包括用于将所述非对称帧分离成左边部分和右边部分的装置，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低分辨率图片。
43.根据权利要求40所述的方法，其中所述信息包括补充增强信息SEI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位置。
44.根据权利要求39所述的设备，其中所述用于接收所述非对称帧的装置包括用于经由经配置以接收非对称帧的高清晰度多媒体接口HDMI来接收所述非对称帧的装置。
45.一种计算机程序产品，其包括上面存储有指令的计算机可读存储媒体，所述指令在被执行时使用于对视频数据进行解码的装置的处理器：
接收非对称帧，所述非对称帧包括场景的第一视图的第一分辨率图片以及所述场景的第二视图的降低分辨率图片，其中所述降低分辨率图片具有相对于所述第一分辨率降低的分辨率；
对所述非对称帧进行解码；
将所述经解码的非对称帧分离成所述第一分辨率图片和所述降低分辨率图片；
对所述降低分辨率图片进行上取样以产生所述场景的具有所述第一分辨率的第二图片；以及
输出所述第一图片和所述第二图片，其中所述第一图片和所述第二图片形成立体图像对。
46.根据权利要求45所述的计算机程序产品，其进一步包括使所述处理器接收指示所述非对称帧具有上下封装布置和并排封装布置之一的信息的指令。
47.根据权利要求46所述的计算机程序产品，其中在所述信息指示所述非对称帧具有所述上下封装布置时，所述指令使所述处理器将所述非对称帧分离成顶部部分和底部部分，其中所述顶部部分对应于所述第一分辨率图片，且其中所述底部部分对应于所述降低分辨率图片。
48.根据权利要求46所述的计算机程序产品，其中在所述信息指示所述非对称帧具有所述并排封装布置时，所述指令使所述处理器将所述非对称帧分离成左边部分和右边部分，其中所述左边部分对应于所述第一分辨率图片，且其中所述右边部分对应于所述降低分辨率图片。
49.根据权利要求46所述的计算机程序产品，其中接收所述信息包括接收补充增强信息SEI消息，所述SEI消息包括：非对称封装指示符值，其指示所述非对称帧是非对称帧；以及帧封装布置类型值，其指示所述第一分辨率图片和所述降低分辨率图片具有所述并排布置和所述上下布置之一，并且指示在所述非对称帧中所述第一分辨率图片相对于所述降低分辨率图片的位置。
50.根据权利要求45所述的计算机程序产品，其中使所述处理器接收所述非对称帧的所述指令包括使所述处理器经由经配置以接收非对称帧的高清晰度多媒体接口HDMI来接收所述非对称帧的指令。
CN201180023830.0A 2010-05-13 2011-05-13 用于非对称立体视频的帧封装 Active CN102918836B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US33425310P 2010-05-13 2010-05-13
US61/334,253 2010-05-13
US36643610P 2010-07-21 2010-07-21
US61/366,436 2010-07-21
US201161433110P 2011-01-14 2011-01-14
US61/433,110 2011-01-14
US13/035,448 2011-02-25
US13/035,448 US9225961B2 (en) 2010-05-13 2011-02-25 Frame packing for asymmetric stereo video
PCT/US2011/036499 WO2011143599A1 (en) 2010-05-13 2011-05-13 Frame packing for asymmetric stereo video

Publications (2)

Publication Number Publication Date
CN102918836A true CN102918836A (zh) 2013-02-06
CN102918836B CN102918836B (zh) 2015-10-21

Family

ID=44911745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180023830.0A Active CN102918836B (zh) 2010-05-13 2011-05-13 用于非对称立体视频的帧封装

Country Status (6)

Country Link
US (2) US9225961B2 (zh)
EP (1) EP2569943A1 (zh)
JP (1) JP2013532412A (zh)
KR (1) KR101436713B1 (zh)
CN (1) CN102918836B (zh)
WO (1) WO2011143599A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179424A (zh) * 2013-03-26 2013-06-26 深圳市掌网立体时代视讯技术有限公司 立体图像合成方法及装置
CN105075258A (zh) * 2013-03-05 2015-11-18 高通股份有限公司 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN105103545A (zh) * 2013-04-04 2015-11-25 杜比国际公司 用于多视图自动立体显示器的深度图传送格式
CN105704570A (zh) * 2016-03-08 2016-06-22 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
CN107113447A (zh) * 2014-12-31 2017-08-29 汤姆逊许可公司 高帧速率‑低帧速率传输技术
CN108028921A (zh) * 2016-07-14 2018-05-11 联发科技股份有限公司 一种用于流视频内容的方法及装置
CN109302600A (zh) * 2018-12-06 2019-02-01 成都工业学院 一种立体场景拍摄装置
CN109803138A (zh) * 2017-11-16 2019-05-24 宏达国际电子股份有限公司 自适应交错图像卷绕的方法、系统以及记录介质
CN110602538A (zh) * 2018-06-13 2019-12-20 马克西姆综合产品公司 用于不对称图像分离器时钟生成的系统和方法
CN111247803A (zh) * 2017-10-20 2020-06-05 交互数字Vc控股公司 立体全向帧打包
WO2023005427A1 (en) * 2021-07-29 2023-02-02 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2348640B1 (en) 2002-10-05 2020-07-15 QUALCOMM Incorporated Systematic encoding of chain reaction codes
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
CN102484729B (zh) 2009-04-07 2016-08-24 Lg电子株式会社 广播发送器、广播接收器及其3d视频数据处理方法
KR101353115B1 (ko) * 2009-08-03 2014-01-21 제너럴 인스트루먼트 코포레이션 비디오 컨텐트를 인코딩하는 방법
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
ES2561078T3 (es) 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
MX2013008691A (es) * 2011-02-10 2013-08-21 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
CN108391137B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
JP5815326B2 (ja) * 2011-08-12 2015-11-17 ルネサスエレクトロニクス株式会社 動画像復号装置及び画像表示装置
US20130050183A1 (en) * 2011-08-25 2013-02-28 Himax Technologies Limited System and Method of Rendering Stereoscopic Images
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
EP2756681A1 (en) * 2011-09-16 2014-07-23 Dolby Laboratories Licensing Corporation Frame-compatible full resolution stereoscopic 3d compression and decompression
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US20130117418A1 (en) * 2011-11-06 2013-05-09 Akamai Technologies Inc. Hybrid platform for content delivery and transcoding
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
KR20130088636A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법
ITTO20120134A1 (it) * 2012-02-16 2013-08-17 Sisvel Technology Srl Metodo, apparato e sistema di impacchettamento di frame utilizzanti un nuovo formato "frame compatible" per la codifica 3d.
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
WO2013142990A1 (en) * 2012-03-29 2013-10-03 Tandemlaunch Technologies Inc. System and method for providing light efficient stereo projection
EP2835969A4 (en) 2012-04-06 2015-09-09 Sony Corp DECODING APPARATUS, DECODING METHOD, ENCODING APPARATUS, AND ENCODING METHOD
DE102012207420B4 (de) * 2012-05-04 2019-01-17 Olympus Winter & Ibe Gmbh Verfahren, Stereovideoendoskop und System zur Verarbeitung stereoendoskopischer Bilddaten
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
US9912941B2 (en) 2012-07-02 2018-03-06 Sony Corporation Video coding system with temporal layers and method of operation thereof
US10110890B2 (en) * 2012-07-02 2018-10-23 Sony Corporation Video coding system with low delay and method of operation thereof
CN103532563B (zh) * 2012-07-06 2016-09-14 孕龙科技股份有限公司 信号解码方法
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
JP6158929B2 (ja) * 2012-09-06 2017-07-05 ノキア テクノロジーズ オーユー 画像処理装置、方法及びコンピュータプログラム
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
EP2901688B1 (en) 2012-09-28 2019-10-23 Nokia Technologies Oy An apparatus and a method for video coding and decoding
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US9357199B2 (en) 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
CN105052157A (zh) * 2013-01-15 2015-11-11 图象公司 图像帧复用方法及系统
US20140269920A1 (en) * 2013-03-15 2014-09-18 Cisco Technology, Inc. Motion Estimation Guidance in Transcoding Operation
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
US9485456B2 (en) 2013-12-30 2016-11-01 Akamai Technologies, Inc. Frame-rate conversion in a distributed computing system
US10567765B2 (en) * 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
CN106105190B (zh) * 2014-03-13 2018-11-13 高通股份有限公司 用于3d-hevc的简化高级残余预测
CN105224879B (zh) * 2014-06-30 2019-03-15 奇点新源国际技术开发(北京)有限公司 一种图片封装、图片解封装方法及装置
US20170332092A1 (en) * 2014-10-31 2017-11-16 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9729850B2 (en) * 2015-02-17 2017-08-08 Nextvr Inc. Methods and apparatus for receiving and/or using reduced resolution images
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US10091506B2 (en) 2015-06-11 2018-10-02 Sony Corporation Data-charge phase data compression architecture
US10027968B2 (en) 2015-06-12 2018-07-17 Sony Corporation Data-charge phase data compression tool
WO2017087128A1 (en) 2015-11-16 2017-05-26 Virtual Dreamware, LLC Symmetrically mirrored video segmet
GB2545729A (en) 2015-12-23 2017-06-28 Nokia Technologies Oy Methods and apparatuses relating to the handling of a plurality of content streams
KR102571080B1 (ko) 2016-02-12 2023-08-25 삼성전자주식회사 홀로그래픽 이미지를 처리하는 방법 및 장치
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10834164B2 (en) * 2017-02-08 2020-11-10 Wyse Technology L.L.C. Virtualizing audio and video devices using synchronous A/V streaming
US9872062B1 (en) * 2017-02-22 2018-01-16 Wyse Technology L.L.C. Enforcing synchronization by embedding audio within video frame data
US10613811B2 (en) 2017-03-13 2020-04-07 Qualcomm Incorporated Driving multiple display devices with a single display port
JP6870080B2 (ja) * 2017-05-18 2021-05-12 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像表示システム、および画像生成方法
EP3649776A4 (en) 2017-07-03 2020-11-04 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
WO2019143551A1 (en) * 2018-01-16 2019-07-25 Vid Scale, Inc. Adaptive frame packing for 360-degree video coding
US11509879B2 (en) * 2018-10-02 2022-11-22 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
WO2020091404A1 (ko) * 2018-10-30 2020-05-07 엘지전자 주식회사 비디오 송신 방법, 비디오 전송 장치, 비디오 수신 방법 및 비디오 수신 장치
US11445200B2 (en) * 2020-05-12 2022-09-13 Alibaba Group Holding Limited Method and system for processing video content
TWI778749B (zh) * 2021-08-17 2022-09-21 睿至股份有限公司 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144762A (en) * 1998-02-23 2000-11-07 Olympus America Inc. Stereo video microscope
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File
CN101622879A (zh) * 2007-01-18 2010-01-06 诺基亚公司 以rtp净荷格式传输sei消息

Family Cites Families (223)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3909721A (en) 1972-01-31 1975-09-30 Signatron Signal processing system
US4365338A (en) 1980-06-27 1982-12-21 Harris Corporation Technique for high rate digital transmission over a dynamic dispersive channel
US4589112A (en) 1984-01-26 1986-05-13 International Business Machines Corporation System for multiple error detection with single and double bit error correction
GB8815978D0 (en) 1988-07-05 1988-08-10 British Telecomm Method & apparatus for encoding decoding & transmitting data in compressed form
US5136592A (en) 1989-06-28 1992-08-04 Digital Equipment Corporation Error detection and correction system for long burst errors
US5701582A (en) 1989-08-23 1997-12-23 Delta Beta Pty. Ltd. Method and apparatus for efficient transmissions of programs
US5421031A (en) 1989-08-23 1995-05-30 Delta Beta Pty. Ltd. Program transmission optimisation
US5329369A (en) 1990-06-01 1994-07-12 Thomson Consumer Electronics, Inc. Asymmetric picture compression
US5455823A (en) 1990-11-06 1995-10-03 Radio Satellite Corporation Integrated communications terminal
US5164963A (en) 1990-11-07 1992-11-17 At&T Bell Laboratories Coding for digital transmission
US5465318A (en) 1991-03-28 1995-11-07 Kurzweil Applied Intelligence, Inc. Method for generating a speech recognition model for a non-vocabulary utterance
US5379297A (en) 1992-04-09 1995-01-03 Network Equipment Technologies, Inc. Concurrent multi-channel segmentation and reassembly processors for asynchronous transfer mode
EP0543070A1 (en) 1991-11-21 1993-05-26 International Business Machines Corporation Coding system and method using quaternary codes
US5371532A (en) 1992-05-15 1994-12-06 Bell Communications Research, Inc. Communications architecture and method for distributing information services
US5425050A (en) 1992-10-23 1995-06-13 Massachusetts Institute Of Technology Television transmission system using spread spectrum and orthogonal frequency-division multiplex
US5372532A (en) 1993-01-26 1994-12-13 Robertson, Jr.; George W. Swivel head cap connector
EP0613249A1 (en) 1993-02-12 1994-08-31 Altera Corporation Custom look-up table with reduced number of architecture bits
DE4316297C1 (de) 1993-05-14 1994-04-07 Fraunhofer Ges Forschung Frequenzanalyseverfahren
AU665716B2 (en) 1993-07-05 1996-01-11 Mitsubishi Denki Kabushiki Kaisha A transmitter for encoding error correction codes and a receiver for decoding error correction codes on a transmission frame
JP2576776B2 (ja) 1993-11-10 1997-01-29 日本電気株式会社 パケット伝送方法・パケット伝送装置
US5517508A (en) 1994-01-26 1996-05-14 Sony Corporation Method and apparatus for detection and error correction of packetized digital data
US5432787A (en) 1994-03-24 1995-07-11 Loral Aerospace Corporation Packet data transmission system with adaptive data recovery method
US5757415A (en) 1994-05-26 1998-05-26 Sony Corporation On-demand data transmission by dividing input data into blocks and each block into sub-blocks such that the sub-blocks are re-arranged for storage to data storage means
US5568614A (en) 1994-07-29 1996-10-22 International Business Machines Corporation Data streaming between peer subsystems of a computer system
US5926205A (en) 1994-10-19 1999-07-20 Imedia Corporation Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program
US5659614A (en) 1994-11-28 1997-08-19 Bailey, Iii; John E. Method and system for creating and storing a backup copy of file data stored on a computer
US5617541A (en) 1994-12-21 1997-04-01 International Computer Science Institute System for packetizing data encoded corresponding to priority levels where reconstructed data corresponds to fractionalized priority level and received fractionalized packets
EP0823153A4 (en) 1995-04-27 1999-10-20 Stevens Inst Technology HIGH INTEGRITY TRANSPORT METHOD FOR TIME-CRITICAL MULTIMEDIA NETWORK APPLICATIONS
US5835165A (en) 1995-06-07 1998-11-10 Lsi Logic Corporation Reduction of false locking code words in concatenated decoders
US5805825A (en) 1995-07-26 1998-09-08 Intel Corporation Method for semi-reliable, unidirectional broadcast information services
US5751336A (en) 1995-10-12 1998-05-12 International Business Machines Corporation Permutation based pyramid block transmission scheme for broadcasting in video-on-demand storage systems
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6012159A (en) 1996-01-17 2000-01-04 Kencast, Inc. Method and system for error-free data transfer
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US5936659A (en) 1996-01-31 1999-08-10 Telcordia Technologies, Inc. Method for video delivery using pyramid broadcasting
US5903775A (en) 1996-06-06 1999-05-11 International Business Machines Corporation Method for the sequential transmission of compressed video information at varying data rates
US5936949A (en) 1996-09-05 1999-08-10 Netro Corporation Wireless ATM metropolitan area network
US6044485A (en) 1997-01-03 2000-03-28 Ericsson Inc. Transmitter method and transmission system using adaptive coding based on channel characteristics
US6011590A (en) 1997-01-03 2000-01-04 Ncr Corporation Method of transmitting compressed information to minimize buffer space
US6141053A (en) 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
US5983383A (en) 1997-01-17 1999-11-09 Qualcom Incorporated Method and apparatus for transmitting and receiving concatenated code data
EP0854650A3 (en) 1997-01-17 2001-05-02 NOKIA TECHNOLOGY GmbH Method for addressing a service in digital video broadcasting
US6014706A (en) 1997-01-30 2000-01-11 Microsoft Corporation Methods and apparatus for implementing control functions in a streamed video display system
EP1024672A1 (en) 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
US6115420A (en) 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
DE19716011A1 (de) 1997-04-17 1998-10-22 Abb Research Ltd Verfahren und Vorrichtung zur Informationsübertragung über Stromversorgungsleitungen
US5970098A (en) 1997-05-02 1999-10-19 Globespan Technologies, Inc. Multilevel encoder
US6081907A (en) 1997-06-09 2000-06-27 Microsoft Corporation Data delivery system and method for delivering data and redundant information over a unidirectional network
US5917852A (en) 1997-06-11 1999-06-29 L-3 Communications Corporation Data scrambling system and method and communications system incorporating same
KR100240869B1 (ko) 1997-06-25 2000-01-15 윤종용 이중 다이버서티 시스템을 위한 데이터 전송 방법
US5933056A (en) 1997-07-15 1999-08-03 Exar Corporation Single pole current mode common-mode feedback circuit
US6175944B1 (en) 1997-07-15 2001-01-16 Lucent Technologies Inc. Methods and apparatus for packetizing data for transmission through an erasure broadcast channel
US6047069A (en) 1997-07-17 2000-04-04 Hewlett-Packard Company Method and apparatus for preserving error correction capabilities during data encryption/decryption
US6904110B2 (en) 1997-07-31 2005-06-07 Francois Trans Channel equalization system and method
US6178536B1 (en) 1997-08-14 2001-01-23 International Business Machines Corporation Coding scheme for file backup and systems based thereon
FR2767940A1 (fr) 1997-08-29 1999-02-26 Canon Kk Procedes et dispositifs de codage et de decodage et appareils les mettant en oeuvre
US6088330A (en) 1997-09-09 2000-07-11 Bruck; Joshua Reliable array of distributed computing nodes
US6134596A (en) 1997-09-18 2000-10-17 Microsoft Corporation Continuous media file server system and method for scheduling network resources to play multiple files having different data transmission rates
US6272658B1 (en) 1997-10-27 2001-08-07 Kencast, Inc. Method and system for reliable broadcasting of data files and streams
US6163870A (en) 1997-11-06 2000-12-19 Compaq Computer Corporation Message encoding with irregular graphing
US6195777B1 (en) 1997-11-06 2001-02-27 Compaq Computer Corporation Loss resilient code with double heavy tailed series of redundant layers
US6073250A (en) 1997-11-06 2000-06-06 Luby; Michael G. Loss resilient decoding technique
US6081909A (en) 1997-11-06 2000-06-27 Digital Equipment Corporation Irregularly graphed encoding technique
US6081918A (en) 1997-11-06 2000-06-27 Spielman; Daniel A. Loss resilient code with cascading series of redundant layers
US5870412A (en) 1997-12-12 1999-02-09 3Com Corporation Forward error correction system for packet based real time media
US6243846B1 (en) 1997-12-12 2001-06-05 3Com Corporation Forward error correction system for packet based data and real time media, using cross-wise parity calculation
US6849803B1 (en) 1998-01-15 2005-02-01 Arlington Industries, Inc. Electrical connector
US6097320A (en) 1998-01-20 2000-08-01 Silicon Systems, Inc. Encoder/decoder system with suppressed error propagation
US6141788A (en) 1998-03-13 2000-10-31 Lucent Technologies Inc. Method and apparatus for forward error correction in packet networks
US6278716B1 (en) 1998-03-23 2001-08-21 University Of Massachusetts Multicast with proactive forward error correction
JP2002510947A (ja) 1998-04-02 2002-04-09 サーノフ コーポレイション 圧縮ビデオ・データのバースト状データ伝送
US6185265B1 (en) 1998-04-07 2001-02-06 Worldspace Management Corp. System for time division multiplexing broadcast channels with R-1/2 or R-3/4 convolutional coding for satellite transmission via on-board baseband processing payload or transparent payload
US6067646A (en) 1998-04-17 2000-05-23 Ameritech Corporation Method and system for adaptive interleaving
US6018359A (en) 1998-04-24 2000-01-25 Massachusetts Institute Of Technology System and method for multicast video-on-demand delivery system
US6445717B1 (en) 1998-05-01 2002-09-03 Niwot Networks, Inc. System for recovering lost information in a data stream
US6421387B1 (en) 1998-05-15 2002-07-16 North Carolina State University Methods and systems for forward error correction based loss recovery for interactive video transmission
US6333926B1 (en) 1998-08-11 2001-12-25 Nortel Networks Limited Multiple user CDMA basestation modem
KR100778647B1 (ko) 1998-09-04 2007-11-22 에이티 앤드 티 코포레이션 다중-안테나 장치내의 결합된 채널 코딩 및 공간-블록 코딩
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6320520B1 (en) 1998-09-23 2001-11-20 Digital Fountain Information additive group code generator and decoder for communications systems
US7243285B2 (en) 1998-09-23 2007-07-10 Digital Fountain, Inc. Systems and methods for broadcasting information additive codes
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US6704370B1 (en) 1998-10-09 2004-03-09 Nortel Networks Limited Interleaving methodology and apparatus for CDMA
IT1303735B1 (it) 1998-11-11 2001-02-23 Falorni Italia Farmaceutici S Acidi ialuronici reticolati e loro usi medici.
US6166544A (en) 1998-11-25 2000-12-26 General Electric Company MR imaging system with interactive image contrast control
ES2185244T3 (es) 1998-12-03 2003-04-16 Fraunhofer Ges Forschung Aparato y procedimiento para transmitir informacion y aparato y procedimiento para recibir informacion.
US6496980B1 (en) 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
US6223324B1 (en) 1999-01-05 2001-04-24 Agere Systems Guardian Corp. Multiple program unequal error protection for digital audio broadcasting and other applications
JP3926499B2 (ja) 1999-01-22 2007-06-06 株式会社日立国際電気 畳み込み符号軟判定復号方式の受信装置
US6618451B1 (en) 1999-02-13 2003-09-09 Altocom Inc Efficient reduced state maximum likelihood sequence estimator
US6466698B1 (en) 1999-03-25 2002-10-15 The United States Of America As Represented By The Secretary Of The Navy Efficient embedded image and video compression system using lifted wavelets
US6535920B1 (en) 1999-04-06 2003-03-18 Microsoft Corporation Analyzing, indexing and seeking of streaming information
US6609223B1 (en) 1999-04-06 2003-08-19 Kencast, Inc. Method for packet-level fec encoding, in which on a source packet-by-source packet basis, the error correction contributions of a source packet to a plurality of wildcard packets are computed, and the source packet is transmitted thereafter
US6154452A (en) 1999-05-26 2000-11-28 Xm Satellite Radio Inc. Method and apparatus for continuous cross-channel interleaving
US6229824B1 (en) 1999-05-26 2001-05-08 Xm Satellite Radio Inc. Method and apparatus for concatenated convolutional endcoding and interleaving
IL141800A0 (en) 1999-07-06 2002-03-10 Samsung Electronics Co Ltd Rate matching device and method for a data communication system
US6643332B1 (en) 1999-07-09 2003-11-04 Lsi Logic Corporation Method and apparatus for multi-level coding of digital signals
JP3451221B2 (ja) 1999-07-22 2003-09-29 日本無線株式会社 誤り訂正符号化装置、方法及び媒体、並びに誤り訂正符号復号装置、方法及び媒体
US6453440B1 (en) 1999-08-04 2002-09-17 Sun Microsystems, Inc. System and method for detecting double-bit errors and for correcting errors due to component failures
US6430233B1 (en) 1999-08-30 2002-08-06 Hughes Electronics Corporation Single-LNB satellite data receiver
JP4284774B2 (ja) 1999-09-07 2009-06-24 ソニー株式会社 送信装置、受信装置、通信システム、送信方法及び通信方法
US6523147B1 (en) 1999-11-11 2003-02-18 Ibiquity Digital Corporation Method and apparatus for forward error correction coding for an AM in-band on-channel digital audio broadcasting system
US6748441B1 (en) 1999-12-02 2004-06-08 Microsoft Corporation Data carousel receiving and caching
US6678855B1 (en) 1999-12-02 2004-01-13 Microsoft Corporation Selecting K in a data transmission carousel using (N,K) forward error correction
US6487692B1 (en) 1999-12-21 2002-11-26 Lsi Logic Corporation Reed-Solomon decoder
US20020009137A1 (en) 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
US6965636B1 (en) 2000-02-01 2005-11-15 2Wire, Inc. System and method for block error correction in packet-based digital communications
IL140504A0 (en) 2000-02-03 2002-02-10 Bandwiz Inc Broadcast system
WO2001057667A1 (en) 2000-02-03 2001-08-09 Bandwiz, Inc. Data streaming
DE10009443A1 (de) 2000-02-29 2001-08-30 Philips Corp Intellectual Pty Empfänger und Verfahren zum Detektieren und Dekodieren eines DQPSK-modulierten und kanalkodierten Empfangssignals
US6384750B1 (en) 2000-03-23 2002-05-07 Mosaid Technologies, Inc. Multi-stage lookup for translating between signals of different bit lengths
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6851086B2 (en) 2000-03-31 2005-02-01 Ted Szymanski Transmitter, receiver, and coding scheme to increase data rate and decrease bit error rate of an optical data link
US6473010B1 (en) 2000-04-04 2002-10-29 Marvell International, Ltd. Method and apparatus for determining error correction code failure rate for iterative decoding algorithms
US6742154B1 (en) 2000-05-25 2004-05-25 Ciena Corporation Forward error correction codes for digital optical network optimization
US6738942B1 (en) 2000-06-02 2004-05-18 Vitesse Semiconductor Corporation Product code based forward error correction system
US6694476B1 (en) 2000-06-02 2004-02-17 Vitesse Semiconductor Corporation Reed-solomon encoder and decoder
US6486803B1 (en) 2000-09-22 2002-11-26 Digital Fountain, Inc. On demand encoding with a window
US7490344B2 (en) 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US6411223B1 (en) 2000-10-18 2002-06-25 Digital Fountain, Inc. Generating high weight encoding symbols using a basis
US6694478B1 (en) 2000-11-07 2004-02-17 Agere Systems Inc. Low delay channel codes for correcting bursts of lost packets
US6732325B1 (en) 2000-11-08 2004-05-04 Digeo, Inc. Error-correction with limited working storage
US7072971B2 (en) 2000-11-13 2006-07-04 Digital Foundation, Inc. Scheduling of multiple files for serving on a server
US7240358B2 (en) 2000-12-08 2007-07-03 Digital Fountain, Inc. Methods and apparatus for scheduling, serving, receiving media-on demand for clients, servers arranged according to constraints on resources
ATE464740T1 (de) 2000-12-15 2010-04-15 British Telecomm Übertagung von ton- und/oder bildmaterial
US6850736B2 (en) 2000-12-21 2005-02-01 Tropian, Inc. Method and apparatus for reception quality indication in wireless communication
US6868083B2 (en) 2001-02-16 2005-03-15 Hewlett-Packard Development Company, L.P. Method and system for packet communication employing path diversity
US6785836B2 (en) 2001-04-11 2004-08-31 Broadcom Corporation In-place data transformation for fault-tolerant disk storage systems
US6820221B2 (en) 2001-04-13 2004-11-16 Hewlett-Packard Development Company, L.P. System and method for detecting process and network failures in a distributed system
US7010052B2 (en) 2001-04-16 2006-03-07 The Ohio University Apparatus and method of CTCM encoding and decoding for a digital communication system
US20020191116A1 (en) 2001-04-24 2002-12-19 Damien Kessler System and data format for providing seamless stream switching in a digital video recorder
US6633856B2 (en) 2001-06-15 2003-10-14 Flarion Technologies, Inc. Methods and apparatus for decoding LDPC codes
US6895547B2 (en) 2001-07-11 2005-05-17 International Business Machines Corporation Method and apparatus for low density parity check encoding of data
US6928603B1 (en) 2001-07-19 2005-08-09 Adaptix, Inc. System and method for interference mitigation using adaptive forward error correction in a wireless RF data transmission system
US7110412B2 (en) 2001-09-18 2006-09-19 Sbc Technology Resources, Inc. Method and system to transport high-quality video signals
US6990624B2 (en) 2001-10-12 2006-01-24 Agere Systems Inc. High speed syndrome-based FEC encoder and decoder and system using same
CN1625880B (zh) 2002-01-30 2010-08-11 Nxp股份有限公司 在具有可变带宽的网络上流式传输多媒体数据
AU2003211057A1 (en) 2002-02-15 2003-09-09 Digital Fountain, Inc. System and method for reliably communicating the content of a live data stream
US6677864B2 (en) 2002-04-18 2004-01-13 Telefonaktiebolaget L.M. Ericsson Method for multicast over wireless networks
KR100693200B1 (ko) 2002-04-25 2007-03-13 샤프 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 기록 매체 및 화상기록 장치
ES2445116T3 (es) 2002-06-11 2014-02-28 Digital Fountain, Inc. Descodificación de códigos de reacción en cadena por inactivación
US6956875B2 (en) 2002-06-19 2005-10-18 Atlinks Usa, Inc. Technique for communicating variable bit rate data over a constant bit rate link
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
JP4120461B2 (ja) 2002-07-12 2008-07-16 住友電気工業株式会社 伝送データ生成方法及び伝送データ生成装置
EP2348640B1 (en) 2002-10-05 2020-07-15 QUALCOMM Incorporated Systematic encoding of chain reaction codes
EP1563689B1 (en) 2002-11-18 2008-10-01 British Telecommunications Public Limited Company Transmission of video
WO2004068715A2 (en) 2003-01-29 2004-08-12 Digital Fountain, Inc. Systems and processes for fast encoding of hamming codes
US7756002B2 (en) 2003-01-30 2010-07-13 Texas Instruments Incorporated Time-frequency interleaved orthogonal frequency division multiplexing ultra wide band physical layer
EP1455504B1 (en) 2003-03-07 2014-11-12 Samsung Electronics Co., Ltd. Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
US7408486B2 (en) 2003-04-21 2008-08-05 Qbit Corporation System and method for using a microlet-based modem
US20050041736A1 (en) 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US7113773B2 (en) 2003-05-16 2006-09-26 Qualcomm Incorporated Reliable reception of broadcast/multicast content
KR100479206B1 (ko) 2003-06-14 2005-03-29 한국전자통신연구원 비대칭 축소 다중화를 이용한 3차원 영상 신호 처리 장치및 그 방법
US7254754B2 (en) 2003-07-14 2007-08-07 International Business Machines Corporation Raid 3+3
US8694869B2 (en) 2003-08-21 2014-04-08 QUALCIMM Incorporated Methods for forward error correction coding above a radio link control layer and related apparatus
JP2007506167A (ja) 2003-09-15 2007-03-15 アルミン・グラスニック ３次元的奥行き効果を有するイメージ表示法用の３次元イメージ・パターンの生成方法および３次元イメージ・パターンを表示する装置
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
KR101103443B1 (ko) 2003-10-14 2012-01-09 파나소닉 주식회사 데이터 컨버터
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7168030B2 (en) 2003-10-17 2007-01-23 Telefonaktiebolaget Lm Ericsson (Publ) Turbo code decoder with parity information update
EP1706946A4 (en) 2003-12-01 2006-10-18 Digital Fountain Inc PROCESSING DATA AGAINST ERASURES USING SUB-SYMBOL CODES
US7574706B2 (en) 2003-12-15 2009-08-11 Microsoft Corporation System and method for managing and communicating software updates
KR100834750B1 (ko) 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
US7240236B2 (en) 2004-03-23 2007-07-03 Archivas, Inc. Fixed content distributed data storage using permutation ring encoding
TW200534875A (en) 2004-04-23 2005-11-01 Lonza Ag Personal care compositions and concentrates for making the same
EP1743431A4 (en) 2004-05-07 2007-05-02 Digital Fountain Inc SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES
US20050254575A1 (en) 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US8331445B2 (en) 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
US7139660B2 (en) 2004-07-14 2006-11-21 General Motors Corporation System and method for changing motor vehicle personalization settings
US7721184B2 (en) 2004-08-11 2010-05-18 Digital Fountain, Inc. Method and apparatus for fast encoding of data symbols according to half-weight codes
JP4405875B2 (ja) 2004-08-25 2010-01-27 富士通株式会社 エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
US7751324B2 (en) 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
KR20060065482A (ko) 2004-12-10 2006-06-14 마이크로소프트 코포레이션 스트리밍 미디어 데이터의 코딩 비트 레이트의 제어 시스템및 프로세스
US7398454B2 (en) 2004-12-21 2008-07-08 Tyco Telecommunications (Us) Inc. System and method for forward error correction decoding using soft information
US7925097B2 (en) 2005-02-18 2011-04-12 Sanyo Electric Co., Ltd. Image display method, image coding apparatus, and image decoding apparatus
US7418649B2 (en) 2005-03-15 2008-08-26 Microsoft Corporation Efficient implementation of reed-solomon erasure resilient codes in high-rate applications
US7219289B2 (en) 2005-03-15 2007-05-15 Tandberg Data Corporation Multiply redundant raid system and XOR-efficient method and apparatus for implementing the same
US8228994B2 (en) 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US7676735B2 (en) 2005-06-10 2010-03-09 Digital Fountain Inc. Forward error-correcting (FEC) coding and streaming
US7644335B2 (en) 2005-06-10 2010-01-05 Qualcomm Incorporated In-place transformations with applications to encoding and decoding various classes of codes
CN101053249B (zh) 2005-09-09 2011-02-16 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US7164370B1 (en) 2005-10-06 2007-01-16 Analog Devices, Inc. System and method for decoding data compressed in accordance with dictionary-based compression schemes
EP1946563A2 (en) 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
FR2894421B1 (fr) 2005-12-07 2008-01-18 Canon Kk Procede et dispositif de decodage d'un flux video code suivant un codage hierarchique
WO2007080502A2 (en) 2006-01-11 2007-07-19 Nokia Corporation Backward-compatible aggregation of pictures in scalable video coding
JP5192393B2 (ja) 2006-01-12 2013-05-08 エルジー エレクトロニクス インコーポレイティド 多視点ビデオの処理
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8320450B2 (en) 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
WO2008054100A1 (en) 2006-11-01 2008-05-08 Electronics And Telecommunications Research Institute Method and apparatus for decoding metadata used for playing stereoscopic contents
KR20080066408A (ko) 2007-01-12 2008-07-16 삼성전자주식회사 3차원 영상 처리 장치 및 방법
SI3758380T1 (sl) * 2007-04-12 2021-04-30 Dolby International AB Apollo Building, 3E Razpostavljanje pri kodiranju in dekodiranju videa
BRPI0810584A2 (pt) 2007-04-25 2014-10-29 Thomson Licensing Predição inter-visualização
FR2917262A1 (fr) 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
US8487982B2 (en) 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8274551B2 (en) 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
US9237101B2 (en) 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
US20090125636A1 (en) 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
KR101506217B1 (ko) 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
EP2086237B1 (en) 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
US8151174B2 (en) 2008-02-13 2012-04-03 Sunrise IP, LLC Block modulus coding (BMC) systems and methods for block coding with non-binary modulus
US8855199B2 (en) 2008-04-21 2014-10-07 Nokia Corporation Method and device for video coding and decoding
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
JP5877065B2 (ja) 2009-01-26 2016-03-02 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ符号化のためのフレーム・パッキング
EP2392144A1 (en) 2009-01-29 2011-12-07 Dolby Laboratories Licensing Corporation Methods and devices for sub-sampling and interleaving multiple images, eg stereoscopic
US8621044B2 (en) 2009-03-16 2013-12-31 Microsoft Corporation Smooth, stateless client media streaming
CN102804785A (zh) 2009-04-13 2012-11-28 瑞尔D股份有限公司 编码、解码和发布增强分辨率的立体视频
CN104065945A (zh) * 2009-04-27 2014-09-24 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法
US20110032331A1 (en) * 2009-08-07 2011-02-10 Xuemin Chen Method and system for 3d video format conversion
US9438861B2 (en) 2009-10-06 2016-09-06 Microsoft Technology Licensing, Llc Integrating continuous and sparse streaming data
JP2011087103A (ja) 2009-10-15 2011-04-28 Sony Corp コンテンツ再生システム、コンテンツ再生装置、プログラム、コンテンツ再生方法、およびコンテンツサーバを提供
BR112012011581A2 (pt) 2009-11-04 2017-09-19 Huawei Tech Co Ltd sistema e método para streaming de conteúdo de mídia
KR101786050B1 (ko) 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144762A (en) * 1998-02-23 2000-11-07 Olympus America Inc. Stereo video microscope
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
CN101622879A (zh) * 2007-01-18 2010-01-06 诺基亚公司 以rtp净荷格式传输sei消息
US20090219985A1 (en) * 2008-02-28 2009-09-03 Vasanth Swaminathan Systems and Methods for Processing Multiple Projections of Video Data in a Single Video File

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105075258A (zh) * 2013-03-05 2015-11-18 高通股份有限公司 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN105075258B (zh) * 2013-03-05 2019-04-05 高通股份有限公司 针对具有不同纵横比的空间可缩放性的层间参考图片建构
CN103179424B (zh) * 2013-03-26 2015-03-11 深圳市掌网立体时代视讯技术有限公司 立体图像合成方法及装置
CN103179424A (zh) * 2013-03-26 2013-06-26 深圳市掌网立体时代视讯技术有限公司 立体图像合成方法及装置
CN105103545A (zh) * 2013-04-04 2015-11-25 杜比国际公司 用于多视图自动立体显示器的深度图传送格式
CN105103545B (zh) * 2013-04-04 2016-12-14 杜比国际公司 用于多视图自动立体显示器的深度图传送格式
CN107113447A (zh) * 2014-12-31 2017-08-29 汤姆逊许可公司 高帧速率‑低帧速率传输技术
CN105704570B (zh) * 2016-03-08 2019-05-07 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
CN105704570A (zh) * 2016-03-08 2016-06-22 上海小蚁科技有限公司 用于产生视频的一个或多个预览帧的方法和装置
CN108028921A (zh) * 2016-07-14 2018-05-11 联发科技股份有限公司 一种用于流视频内容的方法及装置
CN107046637A (zh) * 2017-01-05 2017-08-15 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
WO2018126653A1 (zh) * 2017-01-05 2018-07-12 北京大学深圳研究生院 一种针对三维图像的非对称拼接方法
CN111247803A (zh) * 2017-10-20 2020-06-05 交互数字Vc控股公司 立体全向帧打包
CN109803138A (zh) * 2017-11-16 2019-05-24 宏达国际电子股份有限公司 自适应交错图像卷绕的方法、系统以及记录介质
CN110602538A (zh) * 2018-06-13 2019-12-20 马克西姆综合产品公司 用于不对称图像分离器时钟生成的系统和方法
US11570400B2 (en) 2018-06-13 2023-01-31 Analog Devices, Inc. Systems and methods for asymmetric image splitter clock generation
CN109302600A (zh) * 2018-12-06 2019-02-01 成都工业学院 一种立体场景拍摄装置
CN109302600B (zh) * 2018-12-06 2023-03-21 成都工业学院 一种立体场景拍摄装置
WO2023005427A1 (en) * 2021-07-29 2023-02-02 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation
US11653047B2 (en) 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation

Also Published As

Publication number Publication date
WO2011143599A1 (en) 2011-11-17
EP2569943A1 (en) 2013-03-20
KR20130030270A (ko) 2013-03-26
KR101436713B1 (ko) 2014-09-02
CN102918836B (zh) 2015-10-21
US20110280316A1 (en) 2011-11-17
JP2013532412A (ja) 2013-08-15
US20110280311A1 (en) 2011-11-17
US9225961B2 (en) 2015-12-29

Similar Documents

Publication Publication Date Title
CN102918836B (zh) 用于非对称立体视频的帧封装
CN103155571B (zh) 译码立体视频数据
US9521393B2 (en) Non-nested SEI messages in video coding
RU2643463C2 (ru) Синтаксическая структура параметров гипотетического эталонного декодера
KR101951615B1 (ko) 멀티-계층 비트스트림들 파일 포맷에서의 동작 지점 샘플 그룹의 정렬
EP2898698B1 (en) Bitstream properties in video coding
CN104769948B (zh) 一种编解码方法、装置及可读存储介质
RU2771478C1 (ru) Системы и способы сигнализации параметров при кодировании видеосигналов
CN110036641A (zh) 虚拟现实视频中的用信号表示的感兴趣区域或视点的优选呈现
US20140355692A1 (en) Hypothetical reference decoder model and conformance for cross-layer random access skipped pictures
US20150016503A1 (en) Tiles and wavefront processing in multi-layer context
CN110506421B (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的系统和方法
CN113170201B (zh) 用于对视频数据进行解码的方法和设备
CN103733620A (zh) 具有不对称空间分辨率的三维视频
CN103444175A (zh) 全分辨率帧兼容的立体视频译码中的后滤波
CN104509115A (zh) 用于高效视频译码(hevc)和扩展的视频参数集
CN108353191A (zh) 在多层视频文件中支持随机存取及层与子层的切换
CN102742282A (zh) 基于块的交错
TW201223249A (en) Coding stereo video data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant