CN103999466B - 多层交错帧相容增强分辨率视频传输 - Google Patents

多层交错帧相容增强分辨率视频传输 Download PDF

Info

Publication number
CN103999466B
CN103999466B CN201280062317.7A CN201280062317A CN103999466B CN 103999466 B CN103999466 B CN 103999466B CN 201280062317 A CN201280062317 A CN 201280062317A CN 103999466 B CN103999466 B CN 103999466B
Authority
CN
China
Prior art keywords
layer
reference base
picture
compatible
base picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280062317.7A
Other languages
English (en)
Other versions
CN103999466A (zh
Inventor
A·莱昂塔瑞斯
A·多拉佩斯
P·帕哈拉瓦塔
K·J·斯特科
W·J·胡萨克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Priority to CN201710578537.XA priority Critical patent/CN107241606B/zh
Publication of CN103999466A publication Critical patent/CN103999466A/zh
Application granted granted Critical
Publication of CN103999466B publication Critical patent/CN103999466B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频基层可包含关于多个数据类别的帧相容交错表示的信息，而视频增强层可包含这些数据类别的交错或渐进式表示和/或帧相容表示。使用分层方法对视频数据进行编码和解码。

Description

多层交错帧相容增强分辨率视频传输
相关申请的交叉引用
本申请要求在2011年12月17日提交的美国临时申请No.61/576989的优先权，其全部内容通过引用被并入这里。本申请可与在2010年7月21日提交的发明名称为“Systemsand Methods for Multi-Layered Frame-Compatible Video Delivery”的美国临时申请No.61/366512有关，其全部内容通过引用被并入这里。
技术领域
本发明总体涉及图像和视频处理。具体而言，本发明的实施例涉及多层交错(interlace)帧相容(frame compatible)增强分辨率视频传输。
背景技术
立体(3D)视频传输工业受到大量的关注。虽然使用立体3D在电影院已经变得很普遍，但它对消费者3D应用通常还未实现。正在开始致力于发展消费者3D视频空间。
已经考虑了实现3D内容的高效传输。高效的内容传输包括包含压缩的若干考虑，压缩在许多视频应用中通常被视为重要的考虑。
附图说明
加入本说明书中并构成其一部分的附图示出本公开的一个或更多个实施例，并与示例性实施例的描述一起用于解释本公开的原理和实现。
图1～6示出示例性帧相容格式和相关联的采样。
图7和图8分别示出示例性立体3D消费者传输系统的编码器和解码器的示图。
图9示出交错内容传输的示例性示意图。
图10A和图10B示出可通过使用来自两个视图的输入产生帧相容交错表示的输入模块的两个可能的实现。
图11～15示出根据本公开的各种实施例的示例性框图。
图16～19示出多层编码器和解码器的多个实施例。
图20示出用于导出增强层的输入的示例性系统/方法。
图21和22示出多层编码器和多层解码器的另一实施例。
图23示出用于制备交错表示的示例性输入模块。
图24和图25示出多层编码器和多层解码器的另一实施例。
图26示出用于制备帧相容渐进式(progressive)表示的示例性输入模块。
图27～32示出多层编码器和多层解码器的示例性实施例。
具体实施方式
根据本发明的示例性实施例，提供一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；提供至少一个第二层，其中，各第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；编码至少一个第一层以产生一个或更多个编码的第一层位流；和编码至少一个第二层以产生一个或更多个编码的第二层位流。
根据本发明的示例性实施例，提供一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；提供至少一个第二层和至少一个第三层，其中，各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联，并且，各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；编码至少一个第一层以产生一个或更多个编码的第一层位流；编码至少一个第二层以产生一个或更多个编码的第二层位流；和编码至少一个第三层以产生一个或更多个编码的第三层位流。
根据本发明的示例性实施例，提供一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；提供至少一个第二层和至少一个第三层，其中，至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示，并且，至少一个第三层中的各第三层包含一个或更多个数据类别的增强分辨率渐进式表示；编码至少一个第一层以产生一个或更多个编码的第一层位流；编码至少一个第二层以产生一个或更多个编码的第二层位流；和编码至少一个第三层以产生一个或更多个编码的第三层位流。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；提供至少一个第二层、至少一个第三层和至少一个第四层，其中，至少一个第二层中的各第二层包含来自视频数据的多个数据类别的第一组帧相容渐进式表示，至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；编码至少一个第一层以产生一个或更多个编码的第一层位流；编码至少一个第二层以产生一个或更多个编码的第二层位流；编码至少一个第三层以产生一个或更多个编码的第三层位流；和编码至少一个第三层以产生一个或更多个编码的第四层位流。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；提供至少一个第二层和至少一个第三层，其中，各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，各第三层包含来自视频数据的多个数据类别的一组交错表示；编码至少一个第一层以产生一个或更多个编码的第一层位流；编码至少一个第二层以产生一个或更多个编码的第二层位流；和编码至少一个第三层以产生一个或更多个编码的第三层位流。
根据本发明的示例性实施例，提供一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，方法包括：向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流和代表至少一个第二层的一个或更多个第二层位流，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，并且，至少一个第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；解码一个或更多个第一层位流以获得重构的帧相容交错表示；和解码一个或更多个第二层位流以获得一个或更多个重构的渐进式表示。
根据本发明的示例性实施例，提供一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，方法包括：向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联，并且，各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；解码一个或更多个第一层位流以获得重构的帧相容交错表示；解码一个或更多个第二层位流以获得一个或更多个重构的交错表示；和解码一个或更多个第三层位流以获得一个或更多个重构的渐进式表示。
根据本发明的示例性实施例，提供一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，方法包括：向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示，并且，至少一个第三层中的各第三层包含一个或更多个数据类别的增强分辨率渐进式表示；解码一个或更多个第一层位流以获得重构的帧相容交错表示；解码一个或更多个第二层位流以获得一个或更多个重构的帧相容渐进式表示；和解码一个或更多个第三层位流以获得一个或更多个重构的增强分辨率渐进式表示。
根据本发明的示例性实施例，提供一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，方法包括：向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；至少一个第二层中的各第二层包含来自视频数据的多个数据类别的第一组帧相容渐进式表示，至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；解码一个或更多个第一层位流以获得第一层重构的帧相容交错表示；解码一个或更多个第二层位流以获得一个或更多个第二层重构的帧相容渐进式表示；解码一个或更多个第三层位流以获得一个或更多个第三层重构的帧相容交错表示；和解码一个或更多个第四层位流以获得一个或更多个第四层重构的帧相容渐进式表示。
根据本发明的示例性实施例，提供一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，方法包括：向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，各第三层包含来自视频数据的多个数据类别的一组交错表示；解码一个或更多个第一层位流以获得第一层重构的帧相容交错表示；解码一个或更多个第二层位流以获得一个或更多个第二层重构的帧相容交错表示；和解码一个或更多个第三层位流以获得一个或更多个重构的交错表示。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层或至少一个第二层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：被配置为从视频数据产生至少一个第一层的帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；和第二层编码器，被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流，其中，各第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联。
根据本发明的示例性实施例，提供一种用于将输入的视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：被配置为从视频数据产生至少一个第一层的帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；被配置为从视频数据产生至少一个第二层的交错输入模块，其中，各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联；第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；第二层编码器，与交错输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；和第三层编码器，被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流，其中，各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：被配置为产生至少一个第一层的帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；被配置为从视频数据产生至少一个第二层的帧相容渐进式输入模块，其中，至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示；第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；第二层编码器，与帧相容渐进式输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；和第三层编码器，被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流，其中，各第三层包含一个或更多个数据类别的增强分辨率渐进式表示。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层、至少一个第三层或至少一个第四层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：被配置为产生至少一个第一层的第一帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；被配置为产生至少一个第二层的第一帧相容渐进式输入模块，其中，至少一个第二层中的各第二层包含来自视频数据的多个数据类别的第一组帧相容渐进式表示；被配置为产生至少一个第三层的第二帧相容交错输入模块，其中，至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示；被配置为产生至少一个第四层的第二帧相容渐进式输入模块，其中，至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；第一层编码器，与第一层帧相容交错输入模块连接并被配置为编码至少一个第一层以产生至少一个编码的第一层位流；第二层编码器，与第一帧相容渐进式输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；第三层编码器，与第二帧相容交错输入模块连接并被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流；和第四层编码器，与第二帧相容渐进式输入模块连接并被配置为编码至少一个第四层以产生一个或更多个编码的第四层位流。
根据本发明的示例性实施例，提供一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：被配置为产生至少一个第一层的第一帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；被配置为产生至少一个第二层的第二帧相容交错输入模块，其中，各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示；被配置为产生至少一个第三层的第一交错输入模块，其中，各第三层包含来自视频数据的多个数据类别的一组交错表示；第一层编码器，与第一帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；第二层编码器，与第二帧相容交错输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；和第三层编码器，与第一交错输入模块连接并被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流。
根据本发明的示例性实施例，提供一种用于解码代表视频数据的并适于被从编码系统接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流和代表至少一个第二层的一个或更多个第二层位流，各位流包含与视频数据的一个或更多个数据类别相关联的数据，解码系统包括：被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；和被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个重构的渐进式表示。
根据本发明的示例性实施例，提供一种用于解码代表视频数据的并适于被从编码系统接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与视频数据的一个或更多个数据类别相关联的数据，解码系统包括：被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；被配置为解码与至少一个第二层相关的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个交错表示，各交错表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个重构的交错表示；和被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个重构的渐进式表示。
根据本发明的示例性实施例，提供一种用于解码代表视频数据的并适于被从编码系统接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包括：被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个重构的帧相容渐进式表示；和被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多个增强分辨率渐进式表示，各增强分辨率渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个重构的增强分辨率渐进式表示。
根据本发明的示例性实施例，提供一种用于解码代表视频数据的并适于被从编码系统接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流、代表至少一个第三层的一个或更多个第三层位流和代表至少一个第四层的一个或更多个第四层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包括：被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含第一组帧相容交错表示，各帧相容交错表示与一个或更多个数据类别相关联，第一层解码器由此被配置为获得一个或更多个第一层重构的帧相容交错表示；被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含第一组帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个第二层重构的帧相容渐进式表示；被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含第二组帧相容交错表示，各帧相容交错表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第三层重构的帧相容交错表示；和被配置为解码与至少一个第四层相关联的一个或更多个第四层位流的第四层解码器，其中，至少一个第四层包含第二组帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第四层重构的帧相容渐进式表示。
根据本发明的示例性实施例，提供一种用于解码代表视频数据的并适于被从编码系统接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包括：被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含第一组帧相容交错表示，各帧相容交错表示与一个或更多个数据类别相关联，第一层解码器由此被配置为获得一个或更多个第一层重构的帧相容交错表示；被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含第二组帧相容交错表示，各帧相容交错表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个第二层重构的帧相容交错表示；和被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多个交错表示，各交错表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第三层重构的交错表示。
立体传输可具有挑战性。在某种程度上，这样的挑战可能是由于相对于单视图的情况而言要被传输/传送的信息的量加倍造成的。具体而言，为了传输立体内容，对两个视图序列传送信息。例如，这两个视图序列可以分别是通常与左眼和右眼可看到的相关联的左视图序列和右视图序列。并且，相对于单视图的情况，对于立体应用，计算和存储器吞吐量规格一般也增加。
一般地，可向消费者传输立体内容的通道包含固定介质(诸如Blu-Ray盘)和流送(streaming)方案，这里，内容被一次传输到机顶盒并二次传输到PC。许多当前部署的Blu-Ray播放器和机顶盒支持编解码器，诸如基于ITU-T/ISO/IEC H.264/14496-10当前技术水平视频译码标准(也称为MPEG-4Part 10 AVC)的附录A的简档(参见参考文献[1]，其全部内容通过引用被并入这里)和SMPTE VC-1标准(参见参考文献[2]，其全部内容通过引用被并入这里)的编解码器。这些编解码器中的任一个使得服务提供商能够以1920×1080像素分辨率传输单个高清(HD)图像序列。
一种传送立体内容的方法是编码两个单独的位流，每个位流用于一个视图。这种方法一般被称为联播(simulcast)。但是，这种发送两个单独的位流的方法可能产生低效的压缩和带宽的增加以保持可接受的质量水平，其原因是尽管视图序列中的信息一般是相关的，但左右视图序列被相互独立地译码。
因此，立体内容的传输会受益于立体视频的压缩效率的提高。另外，立体内容的传输应保持与现有装置兼容(例如，向后兼容)。可通过支持多个层的编解码器实现这种兼容性。
多层或可扩缩位流包含关于多个层的信息。各层由设定的依赖性关系表征。这些层中的一个或更多个被称为基层，这些基层是可独立解码的，并在依赖于来自一个或更多个基层中的信息解码其它层之前被解码。这些剩余的层通常被称为增强层，原因是，相对于只有基层被分析和解码的情况，来自增强层的信息可一般被用于改善提供的内容。
增强层也被称为依赖层，原因是任何特定的增强层的解码可包括利用来自该特定的增强层依赖于的一个或更多个更高优先级层(例如，基层和更高优先级增强层)的信息。因此，特定的增强层依赖于的这些更高优先级层在解码该特定的增强层之前被解码。
解码可在中间层中的一个处终止。例如，考虑基层、依赖于来自基层的信息的第一增强层和依赖于来自基层和/或第一增强层的信息的第二增强层。在一种情况下，基层可被单独解码(不解码第一和第二增强层)。在另一种情况下，基层和第一增强层被解码，而第二增强层不被解码。在又一种情况下，所有的三个层按以下的次序被解码(从第一被解码层到最后被解码层)：基层、第一增强层和第二增强层。
多层或可扩缩位流可能够关于(作为例子而不是限制的)质量(例如，信号噪声比(SNR)和/或峰值信号噪声比(PSNR))、空间分辨率、时间分辨率和/或附加视图的可用性实现可扩缩性。例如，通过使用基于H.264/MPEG-4 Part 10的附录A简档、VC-1或VP8的编解码器，可产生在时间上可扩缩的位流。具体地，例如，基层如果被解码则可以15帧每秒(fps)提供图像序列的版本，而依赖于基层的增强层如果被解码则可与已解码的基层结合地以30fps提供相同的图像序列。例如，当采用H.264/MPEG-4 Part 10 AVC视频译码标准的附录G时，可实现空间和SNR可扩缩性。在这种情况下，基层如果被解码则可产生图像序列的粗制质量版本，而增强层如果被解码则可为图像序列的视觉质量提供附加的增量改善。类似地，基层可提供图像序列的低分辨率版本。可通过解码附加的增强层来增加/提高分辨率。也可利用多层或可扩缩位流来提供多视图可扩缩性。
近年来，已定稿和采用H.264/AVC的多视图编码(MVC)扩展(附录H)的Stereo HighProfile(立体高简档)作为表征立体内容(例如，左视图和右视图)的下一代Blu-Ray盘(Blu-Ray 3D)的视频编解码器。Stereo High Profile利用基层，该基层符合H.264/AVC的附录A的High Profile(高简档)并且压缩视图中的被称为基础视图的一个(通常为左视图)。增强层然后压缩另一视图，该视图被称为依赖视图(dependent view)。
虽然基层自身是有效的H.264/AVC位流且可与增强层独立地被解码，但通常这对于增强层不成立。例如，增强层可利用来自基层的解码图片作为运动补偿预测基准，由此，增强层的解码包括首先解码基层。作为结果，依赖视图(例如，增强层)会受益于视图间预测。对于具有高的视图间相关性(例如，低立体差异)场景可改善压缩。但是，与来自利用视图间相关性的编码受益相关联的可能是与现有部署的机顶盒和Blu-Ray播放器基础构架的兼容性的损失。尽管现有的H.264解码器可能能够解码和显示基本视图，但它将舍弃和忽略依赖(右)视图。作为结果，现有的H.264解码器将只能观看2D内容。由此，虽然MVC扩展保持了2D兼容性，但MVC扩展没有考虑在传统装置中的3D内容的传输。
可通过开发机顶盒、Blu-Ray播放器和3D启用HDTV机的安装基础实现消费者3D的部署。具体而言，显示器可被提供如下这样的内容，该内容包含两个视图但适配在单个帧内并且利用诸如VC-1和H.264/AVC的现有部署的编解码器。这种被称为帧相容的方法将立体内容格式化，以使得两个视图适配在单个图片或帧内。注意，帧相容表示的尺寸可以但不需要与原视图帧的尺寸相同。
与H.264的MVC扩展(附录H)类似，示例性的立体3D消费者传输系统(在参考文献[3]中提供，其全部内容通过引用被并入这里)表征基层和增强层。与MVC方法相反，为了向消费者提供帧相容的基层，视图可被复用到两个层中。基层包含两个视图的子采样版本，并且，基层和增强层的组合可导致两个视图的增强分辨率(ER)重构。
这里，术语“译码”可指的是编码和解码。类似地，术语“译码系统”可包括编码系统和解码系统中的任一个或两者。
这里，术语“图片”、“区域”和“分区”可互换地使用，并且可指的是关于像素、像素块(诸如宏块或任何其它限定的译码单位)、整个图片或帧或图片/帧的集合(诸如序列或子序列)的图像数据。作为例子而不是限制，宏块可包含图片内的4×4、4×8、8×4、8×8、8×16、16×8和16×16像素。一般地，区域可具有任何形状和尺寸。像素可不仅包含亮度成分，而且包含色度成分。像素数据可以是诸如4:0:0、4:2:0、4:2:2和4:4:4的不同的格式、不同的颜色空间(例如，YUV、RGB和XYZ)，并且可使用不同的位精度。
这里，术语“本层”和“当前层”可互换地使用，并且可指的是当前考虑的层。本层或当前层由此可是基层或增强层。
这里，术语“较高优先级层”可指的是在本层译码之前被译码的层。因此，较高优先级层可用于为本层的层间预测提供层间信息。
这里，术语“第一层”在这里被定义为指的是任何层，诸如基层或增强层，而术语“第二层”在这里被定义为指的是优先级比第一层低的任何层。第一层可以是基层，而第二层可以是增强层。作为替代方案，第一层可以是增强层，而第二层可以是优先级比第一层低的另一增强层。
这里，术语“初始信号”和“初始图像”可互换地使用，并且可指的是要通过编码器编码的输入视频或图片信息。作为例子而不是限制，初始信号/图片可包含关于一个或更多个视图和/或层、帧相容图片或图片序列等的信息。
这里，术语“全分辨率”(FR)可指的是初始信号/图像的分辨率。
这里，术语“增强分辨率”(ER)和“较高表示”可互换地使用，并且在这里被定义为指的是如下的分辨率，该分辨率比与初始图像相关的帧相容分辨率高且低于或等于初始图像的全分辨率。例如，对于帧相容表示中的特定视图，初始分辨率可指的是帧相容表示中的该特定视图的分辨率。
这里，术语“视点”可指的是从该处观看场景的位置、角度和/或方向。术语“视图”、“透视图”和“视点图像”可互换地使用，并且可指的是从特定的视点观看/捕获的场景的一部分。
这里，术语“质量”可指的是客观图像/视频质量和主观图像/视频质量两者。客观图像/视频质量一般可被量化。(客观)图像/视频质量的度量的例子包含期望图像和预测图像之间的畸变、图像信号的信号噪声比(SNR)和图像信号的峰值信号噪声比(PSNR)等。
主观图像/视频质量指的是由图像的观察者看到的图像的质量。虽然也可通过使用图像/视频质量的客观度量来测量主观视频质量，但客观图像/视频质量的增加未必导致主观图像/视频质量的增加，反之亦然。关于通过使用基于块的操作处理的图像，例如，主观图像/视频质量考虑可包括确定如何沿块边界处理像素以使得在最终的显示图像中块伪像的感知被减少。对于图像的观察者来说，主观质量测量是基于评价诸如但不限于图像中的平滑性、锐度、细节和各种特征的时间连续性的特征进行的。
这里，术语“数据类别”可指的是关于(作为例子而不是限制的)视图、来自视图的低和/或高频率信息和/或深度图的数据。
这里，术语“组”和“群”可互换地使用，并且可指的是“一个或更多个”或“至少一个”。因此，一组增强层指的是一个或更多个增强层。
这里，术语“模块”和“单元”可互换地使用，并且可指的是被配置为执行某些功能的单元。模块和单元可被以硬件、软件、固件或它们的组合实现。
示例性的帧相容格式包括并排、上下和五点形/棋盘交错。在图1～图6中示出帧相容格式和相关联的采样的一些例子。特别地，图1～图6分别示出用于通过使用棋盘交错布置、水平采样/列交错布置、垂直采样/行交错布置、水平采样/并排布置、垂直采样/上下布置和五点形采样/并排布置传输立体材料的帧相容格式。
此外，可存在附加基准处理单元(RPU)，在给定基层解码帧的情况，在使用基层解码帧作为用于预测增强层的运动补偿基准之前，该RPU预测增强层帧。图7和图8分别示出参考文献[3]的示例性立体3D消费者传输系统的编码器和解码器的示图。
在参考文献[3]中提供的帧相容技术涉及帧相容基层，并且，通过使用RPU，可允许降低实现立体视图的全分辨率重构的开销。基于一个或更多个增强层的可用性，可通过例如在图8中示出的不同方式获得最终的重构视图。
在一个例子中，可从基层的帧相容输出VFC,BL,out内插最终的重构视图，帧相容输出VFC,BL,out可以可选地通过与各视图相关联的一个或更多个后处理器单元被后处理，以产生第一视图V0,BL,out和第二视图V1,BL,out。在另一例子中，最终的重构视图可通过增强层的采样被复用以产生各视图的较高表示(也称为增强分辨率)重构V0,FR,out(840)和V1,FR,out。可在2010年7月21日提交的发明名称为“Systems and Methods for Multi-Layered Frame-Compatible Video Delivery”的美国临时申请No.61/366512中找到增强分辨率多层3D传输的额外技术，其全部内容通过引用被并入这里。
视频内容可作为渐进式内容(例如，渐进式帧)或作为交错内容(例如，一系列的顶部字段(top field)和底部字段(bottom field))被传输。在渐进式内容传输中，对各时间实例以光栅扫描的次序传送帧，这里，采样网格中的像素位置一般对于图像序列的持续期保持恒定。
图9示出交错内容传输的示例性示意图。在图9所示的交错内容传输的示例性示意图中，在时间实例2n传送顶部字段(包含帧的偶数行)，而在时间实例2n+1传送底部字段(包含同一帧的奇数行)。因此，每两个时间单位(对于给定的n，为2n和2n+1)传送一个完整的帧。作为替代方案，可首先(例如，时间实例2n)传送底部字段，随后是顶部字段(例如，时间实例2n+1)。一般地，对帧序列的持续期保持这些次序中的任一个(例如，首先传送顶部字段或底部字段)。
注意对于帧相容表示的交错和线交织之间的相似性。例如，如果利用线交织来制备图片的帧相容表示，那么帧相容图片的顶部字段可以是左视图，而帧相容图片的底部字段可以是右视图。顶部字段可一般被定义为保持渐进式表示的偶数线，而底部字段可一般被定义为保持渐进式表示的奇数线。
为了例如减少或避免混叠问题、执行去噪声、提高质量(例如，客观质量或主观质量)并且/或者提高压缩效率，可以预处理/滤波顶部字段和底部字段。
对于去交错，对于给定的时间实例(偶数或奇数)，可对于字段中的仅仅一个或者对于两个字段访问信息。在仅可访问来自字段中的一个的信息的情况下，可以使用内插(以及，可选地，来自先前译码字段的运动补偿预测)来估计给定时间实例的丢失采样。然后，可使可访问字段和来自不可访问字段的预测采样交织以导出给定时间实例的渐进式表示。在对于给定的时间实例可访问来自两个字段的信息的替代性情况下，两个字段可被交织以导出给定时间实例的渐进式表示。可选地，得到的渐进式表示可被滤波以避免由于例如各层的单独译码而导致的问题(例如，一般是感知问题)。
根据本公开的许多实施例，提供了如下这样的系统和方法，该系统和方法在基层传输帧相容交错3D立体内容表示，同时保持能够通过附加增强层/依赖层的解码导出多视图内容的增强分辨率交错或增强分辨率渐进式表示。系统和方法也可扩展到多于两个的视图。
根据本公开的许多实施例，帧相容交错表示中的各字段包含来自所有视图的信息。例如，对于立体内容的顶-底帧相容交织，字段的上半部分可包含一个视图且下半部分可包含另一视图。类似地，对于立体内容的并排帧相容交织，字段的左半部分可包含一个视图且字段的右半部分可包含另一视图。
图10A和图10B示出可通过使用来自两个视图的输入产生帧相容交错表示的输入模块的两个可能的实现。在图10A中，首先在预处理器导出帧相容渐进式表示，并然后将其采样以导出字段。在图10B中，可首先对各视图导出字段并然后对字段进行采样以导出帧相容输出字段。增强分辨率交错表示可包含在给定时间实例的用于各视图的一个字段。一般地，例如在时间实例2n具有顶部/底部字段的视图可在时间实例2n+1具有底部/顶部字段。此外，输入中的视图不必须对于任何给定的时间实例具有相同类型的字段。通过对同一时间实例采用立体视觉掩蔽，顶部字段可包含关于第一视图的信息，而底部字段可包含关于第二视图的信息。
作为例子而不是限制，以下简要描述并且在本公开中将更详细地给出五种方法：
根据本公开的第一实施例，描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。如上所述，数据类别可以是关于(作为例子而不是限制的)视图、来自视图的低和/或高频率信息和/或深度图的数据。
图11示出根据第一实施例的示例性框图。在根据第一实施例的编码和解码布置中，基层压缩数据类别的帧相容交错表示(1105)，并且，第一组增强层(例如，每个数据类别一个增强层)产生增强分辨率渐进式表示(1110)，这里，增强分辨率可以是数据类别的全分辨率。第一组增强层可利用例如来自基层的通过一个或更多个RPU元件的层间预测。
根据本公开的第二实施例，描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。图12示出根据第二实施例的示例性框图。在根据第二实施例的编码和解码布置中，基层压缩数据类别的帧相容交错表示(1205)，第一组增强层(例如，每个数据类别一个增强层)产生数据类别的增强分辨率交错表示(1210)，并且，第二组增强层(例如，每个数据类别一个增强层)产生数据类别的增强分辨率渐进式表示(1215)。第二组增强层中的增强层的优先级比第一组增强层中的增强层的优先级低。第一组增强层可使用来自基层的通过一个或更多个RPU元件的层间预测。第二组增强层可利用来自基层和/或第一组增强层的通过一个或更多个RPU元件的层间预测。
应当注意，在本公开中提供的实施例(诸如以上已描述的那些和以下描述的那些)中，增强分辨率包括比初始图像中的分辨率高的分辨率(例如，帧相容分辨率中的特定视图的分辨率)。在以上的情况中，增强分辨率交错表示(1210)可以但不需要与增强分辨率渐进式表示(1215)具有相同的分辨率。
根据本公开的第三实施例，描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。图13示出根据第三实施例的示例性框图。在根据第三实施例的编码和解码布置中，基层压缩数据的帧相容交错表示(1305)，第一组增强层产生数据类别的帧相容渐进式表示(1310)，并且，第二组增强层产生数据类别的增强分辨率渐进式表示(1315)。第二组增强层中的增强层的优先级比第一组增强层中的增强层的优先级低。第一组增强层可使用来自基层的通过一个或更多个RPU元件的层间预测。第二组增强层可利用来自基层和/或第一组增强层的通过一个或更多个RPU元件的层间预测。
根据本公开的第四实施例，描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。图14示出根据第四实施例的示例性框图。在根据第四实施例的编码和解码布置中，基层压缩数据类别的帧相容交错表示(1405)，第一组增强层产生数据类别的帧相容渐进式表示(1410)，第二组增强层产生数据类别的互补(complementary)帧相容交错表示(1415)，并且，第三组增强层产生数据类别的互补帧相容渐进式表示(1420)。
第三组增强层中的增强层的优先级比第一组和第二组增强层中的增强层的优先级低，而第二组增强层中的增强层的优先级比第一组增强层中的增强层的优先级低。第一组和第二组增强层可使用来自基层的通过一个或更多个RPU元件的层间预测。第二组增强层还可利用来自第一组增强层的通过一个或更多个RPU元件的层间预测。第三组增强层可利用来自第二组增强层的通过一个或更多个RPU元件的层间预测。
根据本公开的第五实施例，描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。图15示出根据第五实施例的示例性框图。在根据第五实施例的编码和解码布置中，基层压缩数据的帧相容交错表示(1505)，第一组增强层产生数据类别的互补帧相容交错表示(1510)，第二组增强层产生极性在字段次序(field ordering)方面与基层和第一组增强层相反的数据类别的增强分辨率渐进式表示(1515)(例如，如果基层和第一组增强层利用顶-底，那么第二组增强层利用底-顶)。第二组增强层中的增强层的优先级比第一组增强层中的增强层的优先级低。第一组增强层可使用来自基层的通过一个或更多个RPU元件的层间预测。第二组增强层可利用来自基层和第一组增强层的通过一个或更多个RPU元件的层间预测。
应当注意，在本公开中提供的实施例中的每一个中，增强层的数量可以少于、多于或者等于数据类别的数量。作为一个例子，单个数据类别可被提供给基层并被上采样以提供第二层数据类别(不使用增强层)。作为另一例子，多于一个的增强层可与单个数据类别相关联。
以下详细描述系统和方法中的每一个。
图11示出根据第一实施例的示例性框图。描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。
根据第一布置/方法的许多实施例，基层提供多个数据类别的帧相容交错表示(1105)，这里，帧相容表示是通过采样和复用不同的数据类别至单个字段中而产生的。注意，该字段不需要具有与包含初始数据类别的字段相同的尺寸。
基层可通过使用诸如但不限于H.264/AVC、VP8、VC-1和HEVC的任何可用的或将来的视频编解码器被实现和编码。在将数据输入到基层之前，数据可例如如图10A和图10B所示地被采样和复用。采样也可包含滤波。在不同的数据类别之间，滤波可以是不对称的(例如，产生不同的质量、分辨率和频率内容等)。例如，在一些实施例中，一个数据类别可被滤波和采样，以使得与该数据类别相关联的信息中的一小半(例如，频率内容的一小半)被保持。相反，另一数据类别可被滤波和采样，使得多于一半的信息被保持。如上所述，图1～6提供了图像数据的两个类别的示例性的采样和复用配置。
注意，对于包含两个数据类别(例如，两个视图和关于两个频率范围的信息等)的实施例，对于两个数据类别的各帧相容表示，还存在相关联的互补帧相容表示。帧相容表示与其互补表示之间的组合(例如，复用)可在处理之后产生一个或两个数据类别的增强分辨率表示。
例如，两个帧相容表示可在采样偏移方面是互补的。作为例子而不是限制，可以利用并排复用，使得一个帧相容表示保持数据类别0的偶数列采样和数据类别1的奇数列采样。其互补帧相容表示保持数据类别0的奇数列采样和数据类别1的偶数列采样。当两个帧相容表示都可用时，可以提取两个数据类别的增强分辨率表示(例如，全分辨率表示)。该示例性方法也可被称为基于采样偏移的方法。
在另一例子中，一个帧相容表示保持低通滤波系数(有时抽取一半)，而其互补表示承载与丢失的频率信息相关联的滤波系数。如果两个表示都可用，那么通过适当的滤波，可以导出增强分辨率表示(例如，全分辨率表示)。该示例性方法可被称为基于频率/滤波的方法。
这里，术语“帧相容”和“互补帧相容”可涉及基于采样偏移的方法或基于频率/滤波的方法。应当注意，这两种方法是示例性的，并且，对于本公开所描述的实施例可利用本领域技术人员可识别的其它方法。
重新参照第一实施例，除了基层之外，第一组附加增强层可被译码。附加增强层的数量依赖于与帧数据和已被采样并在基层内交织的数据相关联的数据类别的数量。各增强层与一个或更多个数据类别相关联，并且，增强层对用于将增强分辨率渐进式表示译码的相关联数据类别的信息进行译码。对于各增强层的输入可以是给定数据类别的增强分辨率渐进式表示的预处理版本。
分别在图16和图17中示出示例性的编码器及其相关联解码器。图16示出将包含两个数据类别V0(1605)和V1(1610)的输入数据译码的多层编码器(1600)。多层编码器(1600)在基层中译码数据类别(1605、1610)的帧相容交错表示，并且在一组增强层(在图17中表示为EL0和EL1)中译码增强分辨率渐进式表示。图17示出多层解码器(1700)，其解码基层中的数据类别的帧相容交错表示和第一组增强层中的增强分辨率渐进式表示。图17的解码器(1700)被配置为与图16的编码器(1600)一起使用。
增强层可采用混合视频译码模型，该混合视频译码模型也在诸如例如VC-1和H.264/AVC的现代视频编解码器中被找到。这种混合视频译码模型包含通过使用帧内预测(例如，空间预测)或帧间预测(例如，运动补偿或时间预测)执行当前图像(或其区域)的预测、基于得到当前图像与当前图像的预测之间的差(例如，逐个像素差)产生残差以产生预测残差、变换预测残差(例如，通过离散余弦变换、傅立叶变换和Hadamard变换等)、量化变换后的残差和将量化后的变换残差进行熵译码。也可对基层利用这种译码方法。应当注意，可在本公开的实施例中的每一个中利用这种译码方法。
例如，参照图16，考虑对数据类别V1的输入数据(1610)进行编码的增强层EL1。增强层EL1处的图片或帧可被从同一图片或帧中的相邻采样预测(使用帧内预测)或者从来自属于增强层EL1的过去解码帧的采样预测(使用帧间预测)，并可作为基准图片缓存在基准图片缓冲器(1615)内以用于运动补偿预测。如果来自较高优先级层(诸如基层)的解码信息可用于增强层EL1，那么层间预测也是可能的。一种访问这种信息的方式是将来自较高优先级层的解码图片视为执行运动估计和补偿的基准。
如图16所示，基于增强层EL1的输入数据中的当前(可选地，通过预处理器(1620)被预处理(1620))的图片或帧和基准图片，可执行运动估计(1625)和补偿(1630)以获得差异补偿预测图片(1632)。通过取得差异补偿预测图片(1632)与输入数据中的图片或帧之间的差(1635)，可产生预测残差(1638)。预测残差经受变换(1640)和量化(1645)，并且，这种经变换和量化系数(1652)可然后通过使用熵译码(1650)被译码，以产生与增强层EL1相关联的位流(1694)。可选的预处理(1620)可包含但不限于诸如执行低通滤波、去噪声、抗混叠、空间时间滤波、解块(伪像去除)、颜色校正和伽马校正的处理。图17所示的增强层解码器执行该处理的你逆操作。这种输入数据中的当前图片或帧到一个或更多个位流的译码也适用于其它层中的每一个。
给定层的基准图片可被如下地产生。继续参照增强层EL1，经变换和量化的系数(1652)可被逆量化(1661)和逆变换(1665)以产生经逆处理的残差(1653)。一般地，逆量化(1661)和逆变换(1665)去除了量化(1645)和变换(1640)步骤的对预测残差(1638)的量化和变换。可通过组合(1654)经逆处理的残差(6153)与差异补偿预测图片(1632)获得增强层EL1的重构数据(例如，增强层EL1的重构图像或区域)(1664)。重构数据(1664)然后可以但不必需被环路滤波(1672)，该环路滤波可包含解块滤波、去噪声滤波、Wiener滤波和显式滤波等中的一个或更多个。
注意，这种操作也应用于也在图16中示出的增强层EL0，以及一般在本公开中提供的不同组的增强层(例如，与帧相容对渐进式表示相关联、与帧相容交错对互补帧相容交错表示相关联，等等)。
继续参照图16和图17，增强层EL0和EL1可受益于通过使用基准处理单元(RPU)(图16中的1665和1670、图17中的1765和1770)从存储于基层的基准图片缓冲器(图16中的1660、图17中的1760)中的基准图片产生的附加运动补偿预测基准。各RPU(图16中的1665和1670、图17中的1765和1770)从基层基准图片缓冲器(图16中的1660、图17中的1760)取得输入，并且处理该输入，以便估计与其基准图片缓冲器(图16中的1615和1675、图17中的1715和1775)存储RPU(图16中的1665和1670、图17中的1765和1770)的输出的增强层相关联的数据类别。
在第一实施例中，数据类别的帧相容交错表示可被处理(例如，通过内插)以产生增强分辨率渐进式表示的估计。RPU(图16中的1665和1670、图17中的1765和1770)取得包含来自给定层的基准图片缓冲器(图16中的1615和1675、图17中的1715和1775)的帧相容解码图片的数据作为输入，并然后解复用并上采样输入数据以估计属于不同的数据类别的图片或帧的增强分辨率渐进式表示。另外，RPU(图16中的1665和1670、图17中的1765和1770)可执行包括但不限于滤波、上扩缩、去交错、丢失采样内插以及频率内容恢复和/或估计等的处理。当基层主要译码特定的频率内容(例如，低频率)而在较低的程度上译码(或丢弃)其它频率内容时，可执行频率内容恢复和/或估计。
编码器的RPU(图16中的1665和1670)产生关于用于预测和上采样等的技术的信息，并将该信息传送到位于解码器的相应的RPU(图17中的1765和1770)，使得可在解码器复制编码器预测操作。被RPU使用的示例性内插和预测技术(以及其它)可包括例如在参考文献[5]中提供的技术，该参考文献的全部内容通过引用被并入这里。
在附加的实施例中，可在包含EL0和EL1的第一组增强层内执行层间预测。RPU可通过使用来自另一类别(例如，V1)的基准图片缓冲器(图16中的1615和1675、图17中的1715和1775)的解码帧产生预测一个数据类别(例如，V0)的增强分辨率渐进式表示的基准图片。用于两个数据类别的这种实施例被示为EL0至EL1RPU(图16中的1680、图17中的1780)。这种RPU(图16中的1680、图17中的1780)可被配置为从一种数据类别估计另一种数据类别的数据。用于估计这种数据的技术可包括高次运动模型运动和差异补偿。
在另一附加实施例中，包含EL0和EL1的第一组增强层可以比全分辨率低(与等于全分辨率相反)的分辨率(可被称为增强或经增强的分辨率)译码各数据类别。在这种情况下，可在解码器侧利用附加的上采样器和/或RPU模块(也可执行上采样)，以从为增强分辨率的数据类别导出各数据类别的全分辨率重构。此外，分辨率对于各数据类别可能是不同的。
在另一实施例中，可通过使用诸如在参考文献[1]中限定的那些的存储器管理控制操作(MMCO)或将来译码标准(例如，HEVC)中的操作来控制编码器(图16中的1600)和解码器(图17中的1700)系统中的多个基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)中的每一个。这些MMCO操作可控制如何在基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)中添加、去除和/或排序基准图片。一般地，MMCO操作在基层处产生并然后在后面的译码层(例如，一组或更多组的增强层)中被利用。
在对增强层传送MMCO操作的情况下，与各基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)对应的信令信息组可以相同，或者，可以信令对于基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)中的每一个应用于一组操作。这可允许基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)的操作保持同步化。关于诸如但不限于在参考文献[1]中限定的方法的基准图片列表修改/再排序信令，可存在这种同步化。该信令信息控制指向基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)中的基准图片的基准图片列表的产生。这些基准图片列表然后在预测期间被使用。作为替代方案，可以传送应用于增强层的所有基准图片列表的单个组。
注意，这种信令可被应用于利用用于控制基准图片缓冲器(图16中的1615、1660和1675；图17中的1715、1770和1775)的内容的信令和用于控制基准图片列表的初始化和修改的信令的任何编解码器。
根据第一布置/方法的另一实施例(相对于前面的第一方法的实施例保持相同的来自各层的输入和输出)，可相对于前面的实施例通过不同的方式操作增强层EL0和EL1。图18和图19分别示出涉及两个数据类别的示例性的多层编码器(1800)和解码器(1900)。可以利用基层到增强层RPU(图18中的1865和1870、图19中的1965和1970)以处理基层基准图片缓冲器(图18中的1860、图19中的1960)中的解码图片，并产生各数据类别的增强分辨率渐进式表示的估计图片。
但是，作为将这些预测图片存储于各第一组增强层的基准图片缓冲器(1875、1880)中的替代，从各数据类别的(可选地，被预处理)增强分辨率渐进式表示输入减去(1822、1882)这些预测图片。增强层由此译码预测残差(差信号)而不是数据类别内容自身。具体地，多层编码器(1800)通过使用残差在基层中译码数据类别V0(1805)和V1(1810)的帧相容交错表示并且在增强层EL0和EL1中译码增强分辨率渐进式表示。可选地，源自各差(例如，1822、1835)的差信号/残差(例如，1824、1838)可被抵消/修剪以允许在增强层编码器中进行正确的操作(例如，由于潜在的负值和/或增强层编码器未必支持的其它值)。
图19示出通过使用残差解码基层中的数据类别的帧相容交错表示以及增强层EL0和EL1中的增强分辨率渐进式表示的多层解码器(1900)。为了导出与增强层相关另的数据类别的增强分辨率渐进式表示，图19的解码器(1900)将来自RPU(1965、1970)的RPU预测信号添加(1985、1990)到增强层输出上。
与存储器管理控制操作和空间可扩缩性相关的特征也可应用于第一布置/方法的本实施例。
在第一布置/方法的另一实施例中，可保持来自前面的实施例的基层操作和输入，而多个增强层(每个数据类别一个的增强层)可被对所有数据类别的帧相容增强分辨率表示进行译码的单个增强层替代。也可利用其它数量的增强层。
图20示出对于两个数据类别V0(2005)和V1(2010)的用于导出增强层的输入的示例性系统/方法。一般地，属于不同的数据类别(2005、2010)的增强分辨率帧可通过多路复用器(2015)被复用(例如，没有抽取)到封装的帧中。可根据帧相容交错的类型(例如，并排、基于线、上下等)并根据采样类型执行预处理(例如，滤波以减少混叠、去噪声和低通滤波等)。也可在没有预处理的情况下复制数据。注意，增强层的帧相容封装布置无需与基层的帧相容封装布置对应。
图21和图22示出根据本实施例的示例性的多层编码器(2100)和多层解码器(2200)。具体地，图21示出多层编码器(2100)，其在基层中译码帧相容交错表示和在单个增强层中译码增强分辨率渐进式表示作为单个帧。类似地，图22示出多层解码器(2200)，其解码被封装为单个帧的基层中的帧相容交错表示和单个增强层中的增强分辨率渐进式表示。应当注意，两个数据类别V0(图21中的2105)和V1(图21中的2110)被提供给单个增强层，并且，单个增强层的输出(图22中的2295)包含具有两个数据类别的单个帧。
RPU(图21中的2165、图22中的2265)的操作与前面描述的第一方法的实施例不同。对于RPU(图21中的2165、图22中的2265)的输入包含来自所有数据类别的帧相容交错数据。使用该帧相容交错数据，RPU(图21中的2165、图22中的2265)可被用于预测数据类别中的每一个的帧相容增强分辨率表示。例如，可执行数据类别中的每一个的帧相容全分辨率表示的预测。除了交错以外，RPU(图21中的2165、图22中的2265)还考虑可能用于各层(例如，基层和增强层)的不同的帧相容布置。如上所述，增强分辨率中的每一个可以但不需要具有相同的分辨率。具体地，在以上的情况下，与数据类别的表示相关联的增强分辨率可以但不需要相同。
在一种情况下，对于两个层使用相同的帧相容布置。RPU(图21中的2165、图22中的2265)可利用用于空间可扩缩应用的上采样技术。
在另一种情况下，可对各层使用不同的帧相容布置。RPU(图21中的2165、图22中的2265)可重新布置基层基准图片以匹配在增强层中使用的布置，然后上采样新布置的数据以预测增强层中的数据。
虽然图22将增强层解码器的输出示为包含所有数据类别的帧，但可在增强层解码器的输出添加去解复用器以将各数据类别分离成为附加的处理和/或显示作好准备的单独的帧。
与存储器管理控制操作和空间可扩缩性相关的特征也可应用于第一方法的本实施例。
图12示出根据第二实施例的示例性框图。描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。图11所示的与第一布置/方法一起使用的基层构架也可被用于第二方法中。可以看出，第一和第二布置/方法之间的增强层构架不同。
可以利用第一组增强层以编码各数据类别的增强分辨率交错表示。一般地，一个增强层可与一个数据类别相关联。图23示出用于准备交错表示的示例性输入模块。具体地，输入模块取得数据类别的渐进式表示作为输入，并可被配置为在时间实例2n输出顶部/底部字段并在时间实例2n+1输出底部/顶部字段。注意，在给定的时间实例，对于各第一组增强层的输入不需要具有相同的字段奇偶性。在一些情况下，相反的奇偶性可能是希望的。例如，当利用相反奇偶性时，立体视觉掩蔽可有助于增加感觉的分辨率。
这里，术语“奇偶性”可指的是字段是顶部字段还是底部字段。在相反奇偶性的情况下，一个视图可被译码为顶/底，而另一视图可被译码为底/顶。因此，在以上的例子中，在时间实例2n，左视图可译码顶部字段，而右视图可译码底部字段，而在时间实例2n+1反过来。
图24和图25示出两个数据类别V0(2405)和V1(2410)的多层编码器(2400)和多层解码器(2500)的实施例。具体地，图24的编码器(2400)在基层中译码帧相容交错表示，在第一组增强层中译码增强分辨率交错表示并且在第二组增强层中译码增强分辨率渐进式表示。图25的解码器(2500)可被配置为解码通过图24的编码器(2400)译码的信息。一个增强层可与一个数据类别相关联。各层(例如，基层和增强层)的输入可被预处理。
应当注意，一个增强分辨率交错表示的分辨率可以但不必需与另一增强分辨率交错表示的分辨率相同，并且，类似地，不同的增强分辨率渐进式表示之间的分辨率可以但不必需相同。类似地，与增强分辨率交错表示相关联的分辨率可以但不必需和与增强分辨率渐进式表示相关联的分辨率相同。
第一组增强层被指定为EL0和EL1。该第一组增强层可受益于来自基层的层间预测。可通过使用RPU(2415、2420)执行层间预测，以通过使用存储于基层的基准图片缓冲器(2425)中的帧相容字段作为输入来预测附加的增强分辨率字段并将其存储在第一组增强层的基准图片缓冲器(2430、2435)中。一个这种RPU(2415、2420)可与一个第一组增强层相关联。还应注意，被预测的增强层处的字段类型/奇偶性与基层处的字段类型/奇偶性在给定时间实例可以不同。RPU(2415、2420)考虑这种奇偶性并可被配置为适当地内插相反奇偶性的采样。另外，应当注意，可在图25的解码器中找到相应的基准图片缓冲器(2525、2530、2535)和RPU(2515、2520)。
第二组增强层编码各数据类别的增强分辨率渐进式表示。第二组增强层在图24和图25中被指定为EL2和EL3。该第二组增强层可受益于来自第一组增强层的层间预测。可通过使用RPU(2440、2445)实现这一点，以通过使用存储于与同一数据类别相关联的第一组增强层的基准图片缓冲器(2430、2435)中的增强分辨率字段作为输入来预测附加的增强分辨率渐进式帧并将其存储在第二组增强层的基准图片缓冲器(2450、2455)中。一个这种RPU模块(2440、2445)可与每一第二组增强层相关联。RPU(2440、2445)可执行诸如去交错、重采样、内插和修补(inpainting)等的处理，该处理可考虑第一组增强层基准图片缓冲器(2430、2435)中的多个先前译码的字段。在图25的解码器(2500)中也可存在相应的RPU(2540、2545)和基准图片缓冲器(2530、2535、2550、2555)。
在附加的实施例中，可在第一组增强层中的增强层之间执行层间预测。如图24所示，可以使用EL0与EL1之间的RPU(2460)以从存储于EL0的基准图片缓冲器(2430)中的字段(即使具有相反的奇偶性)预测附加的字段并将其存储在EL1的基准图片缓冲器(2435)中。类似地，虽然没有示出，但RPU可被放置于EL1与EL0之间，使得EL1可利用来自EL0的信息以用于层间预测。一般地，第一组增强层可基于其它第一组增强层中的字段来预测并存储附加的字段。这些RPU(例如，2460)可尤其受益于更高次的运动模型和差异补偿技术。也可在图25的解码器(2500)中存在相应的EL0到EL1RPU(2560)。
在附加的实施例中，可在第二组增强层之间执行层间预测。如图24所示，可以使用EL3与EL2之间的RPU(2465)，以从存储于EL2的基准图片缓冲器(2450)中的字段(即使具有相反的奇偶性)预测附加的字段并将其存储在EL3的基准图片缓冲器(2455)中。类似地，虽然没有示出，但RPU可被放置于EL3与EL2之间，使得EL2可利用来自EL3的信息进行层间预测。一般地，第二组增强层可基于其它第二组增强层中的字段来预测并存储附加的字段。这些RPU(例如，2465)可尤其受益于更高次运动模型和差异补偿技术。也可在图25的解码器(2500)中存在相应的EL2到EL3 RPU(2560)。
通过组合第一方法的各种实施例，附加的实施例也是可能的。具体而言，第一和第二组增强层中的任一个或两者可通过重定向RPU(图24中的2415、2420、2440、2445、2460、2465；图25中的2515、2520、2540、2545、2560、2565)的输出来编码预测残差。作为替代方案，第一和第二组增强层中的任一个或两者可被将各组中的所有数据类别译码为单个帧的单个层替代。
与存储器管理控制操作和空间可扩缩性相关的特征也可应用于第二方法的各种实施例。
图13示出根据第三实施例的示例性框图。描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。在前面的方法中利用的基层构架也可被用于第三方法中。第三方法与前面描述的第一和第二方法之间的不同之处在于增强层构架。
第一组增强层可编码所有数据类别的帧相容渐进式表示。图26示出用于准备这种帧相容渐进式表示的示例性输入模块。具体而言，输入模块取得两个数据类别V0(2605)和V1(2610)的增强分辨率渐进式表示作为输入，并可被配置为输出包含两个数据类别(2605、2610)的帧相容渐进式表示。
图27和图28示出两个数据类别V0(2705)和V1(2710)的多层编码器(2700)和多层解码器(2800)的实施例。在图27和图28中，第一组增强层包含指定为EL0的单个增强层。该第一组增强层可受益于来自基层的层间预测。可通过使用RPU(2715)执行层间预测，以通过使用存储于基层的基准图片缓冲器(2720)中的帧相容字段作为输入来预测附加的帧相容帧并将其存储在第一组增强层的基准图片缓冲器(2725)中。由于从帧相容交错表示预测帧相容渐进式表示，因此RPU(2715)可执行尤其包括但不限于滤波、上扩缩、去交错、丢失采样内插以及频率内容恢复和/或估计的处理。
第二组增强层编码各数据类别的增强分辨率渐进式表示。第二组中的各增强层可与一个数据类别相关联。各层的输入可被预处理。第二组增强层被指定为EL1和EL2。第二组增强层可受益于来自第一组增强层的层间预测。可通过使用RPU(2730、2735)执行层间预测，以通过使用存储于第一组增强层的基准图片缓冲器(2725)中的帧相容渐进式帧作为输入来预测附加的增强分辨率渐进式帧并将其存储在第二组增强层的基准图片缓冲器(2740、2745)中。各第二组增强层与一个这种RPU(2730、2735)相关联。
在附加的实施例中，可在第二组增强层中的增强层之间执行层间预测。如图27所示，可以使用EL1与EL2之间的RPU(2750)以从存储于EL1的基准图片缓冲器(2740)中的帧预测附加帧，并将其存储在EL2的基准图片缓冲器(2745)中。类似地，虽然没有示出，但RPU可被放置于EL2与EL1之间，使得EL1可利用来自EL2的信息以用于层间预测。这些RPU(例如，2750)可尤其受益于较高次运动模型和差异补偿技术。
应当注意，在图28的解码器中示出相应的基准图片缓冲器和RPU。
通过组合第一和第二布置/方法与第三布置/方法的各种实施例，附加的实施例也是可能的。具体而言，第二组增强层可通过重定向RPU(2715、2730、2735、2750)的输出来编码预测残差。作为替代方案，第二组增强层可由将所有数据类别译码为单个帧的单个层或多个层(每个层译码一个或更多个数据类别)替代。
其它的实施例可包括组合第三布置/方法与在2010年7月21日提交的发明名称为“Systems and Methods for Multi-Layered Frame-Compatible Video Delivery”的美国临时申请No.61/366512的教导。具体而言，第一增强层可采用多个内部基准图片缓冲器，每个数据类别一个。这通常增加了可用于层间预测的RPU的数量。此外，增强层中的差异补偿可按基准图片缓冲器的分辨率或者增强层的帧相容输入的分辨率和格式进行。
与存储器管理控制操作和空间可扩缩性相关的特征也可应用于第三方法的各种实施例。
图14示出根据第四实施例的示例性框图。描述用于视频序列的压缩的多层编解码器的编码和解码布置，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。在前面的方法中利用的基层构架也可被用于第四方法中。第四方法与前面描述的方法之间的不同之处在于增强层构架。
第一组增强层编码所有数据类别的帧相容渐进式表示。可以使用图26所示的示例性输入模块以准备帧相容表示。
图29和图30示出针对两个数据类别V0(2905)和V1(2910)的多层编码器(2900)和多层解码器(3000)的实施例。在图29和图30中，第一组增强层包含指定为EL0的单个增强层。该第一组增强层可受益于来自基层的层间预测。可通过使用RPU(2915)执行层间预测，以通过使用存储于基层的基准图片缓冲器(2920)中的帧相容字段作为输入来预测并附加的帧相容帧并将之存储在第一组增强层的基准图片缓冲器(2925)中。由于从帧相容交错表示预测帧相容渐进式表示，因此RPU(2915)可执行尤其包括但不限于滤波、上扩缩、去交错、丢失采样内插以及频率内容恢复和/或估计的处理。
第二组增强层编码与基层的帧相容交错表示互补的所有数据类别的帧相容交错表示。可通过使用诸如图10A和图10B所示的那些输入模块准备互补帧相容交错表示，另外需要注意的是，输入模块将如下这样的信息译码，该信息在与基层信息组合时可产生所有数据类别的增强分辨率交错表示。
在图29和图30中，第二组增强层包含指定为EL1的单个增强层。第二组增强层可受益于来自基层的层间预测。可通过使用RPU(2935)执行层间预测，以通过使用存储于基层的基准图片缓冲器(2920)中的帧相容字段作为输入来预测附加的帧相容字段并将其存储在第二组增强层的基准图片缓冲器(2930)中。
第三组增强层可编码与第一组增强层的帧相容渐进式表示互补的所有数据类别的帧相容渐进式表示。可通过使用诸如图20所示的输入模块准备互补帧相容渐进式表示，另外需要注意的是，输入模块将如下这样的信息译码，该信息当和与第一组增强层相关联的信息组合时可产生所有数据类别的增强分辨率渐进式表示。
在图29和图30中，第三组增强层包含指定为EL2的单个增强层。第三组增强层可受益于来自第二组增强层的层间预测。可通过使用RPU(2945)执行层间预测，以通过使用存储于第二增强层的基准图片缓冲器(2930)中的帧相容字段作为输入来预测附加的帧相容帧并将其存储在第三组增强层的基准图片缓冲器(2940)中。应当注意，虽然图29没有明确示出，但第三组增强层也可受益于来自第一组增强层的层间预测。具体而言，可在图29中放置EL0～EL2RPU，从而允许基于与第一组增强层相关联的帧相容渐进式表示的与第三组增强层相关联的帧相容渐进式表示的层间预测。
应当注意，在图30中的解码器中示出相应的基准图片缓冲器和RPU。
附加的实施例可包括组合第四布置/方法与在2010年7月21日提交的发明名称为“Systems and Methods for Multi-Layered Frame-Compatible Video Delivery”的美国临时申请No.61/366512的教导。具体而言，各增强层可采取多个内部基准图片缓冲器，每个数据类别一个。这通常增加了可用于层间预测的RPU的数量。此外，各增强层中的差异补偿可或者以基准图片缓冲器的分辨率进行，或者以于各增强层的帧相容输入的分辨率和格式出现。
与存储器管理控制操作和空间可扩缩性相关联的特征也适用于第四方法的各种实施例。
在附加的实施例中，与第一组增强层相关联的帧相容格式可包含来自第一视图(例如，图29中的V0(2905))的偶数列和来自第二视图(例如，图29中的V1(2910))的奇数列，而与第三组增强层相关联的帧相容格式可包含来自第一视图的奇数列和来自第二视图的偶数列。图30的解码器(3000)处的第一和第三组增强层的组合可提供被提供给图29的编码器(2900)的初始数据类别(2905、2910)的增强分辨率渐进式表示。
类似地，在附加的实施例中，第一组增强层可译码具有第一范围的频率内容(例如，低频率)的表示，而第三组增强层可提供第二范围的频率内容(例如，不与第一组增强层相关联的频率)。来自各增强层的输出可在图30的解码器(3000)处组合以提供被提供给提供给图29的编码器(2900)的初始数据类别(2905、2910)的更好的渐进式表示(例如，增强分辨率，可能是全分辨率)。
在其它的实施例中，与基层相关联的帧相容格式可包含来自第一视图的偶数列和来自第二视图的奇数列，而与第二组增强层相关联的帧相容格式可包含来自第一视图的奇数列和来自第二视图的偶数列。在图30的解码器(3000)处的基层与第二组增强层的组合可提供被提供给图29的编码器(2900)的初始数据类别(2905、2910)的增强分辨率交错表示。
在另一实施例中，基层可译码具有第一范围的频率内容的表示，而第二组增强层可译码具有第二范围的频率内容的表示。来自基层和第二组增强层中的每一个的输出可在图30的解码器(3000)处组合以提供被提供给图29的编码器(2900)的初始数据类别(2905、2910)的更好的交错表示(例如，增强分辨率，可能是全分辨率)。
在一种情况下，基层和第二组增强层的解码器输出可组合以产生增强分辨率顶-底交错表示。类似地，在相同的情况下或者在另一情况下，第一和第三组增强层的解码器输出可组合以产生增强分辨率顶-底渐进式表示。
图14示出根据第五实施例的示例性框图。描述用于视频序列的压缩的多层编解码器的编码和解码布置/方法，这里，视频序列包括包含在给定的时间实例来自多个数据类别的数据的帧。在前面的布置/方法中利用的基层构架也可被用于第五布置/方法中。第五方法与前面描述的方法之间的不同可在于增强层构架。
第一组增强层可编码所有数据类别的互补帧相容交错表示。图10A和图10B示出用于准备这种互补帧相容交错表示的示例性输入模块，另外需要注意的是，输入模块译码如下这样的信息，该信息在与基层信息组合时可产生所有数据类别的增强分辨率交错表示。
图31和32示出针对两个数据类别V0(3105)和V1(3110)的多层编码器(3100)和多层解码器(3200)的实施例。在图31和图32中，第一组增强层包含指定为EL0的单个增强层。该第一组增强层可受益于来自基层的层间预测。可通过使用RPU(3115)执行层间预测，以通过使用存储于基层的基准图片缓冲器(3120)中的帧相容字段作为输入来预测附加的帧相容字段并将其存储在第一组增强层的基准图片缓冲器(3125)。在这种情况下，基层和第一组增强层可具有相同的字段奇偶性以避免交错。但是，基层和第一组增强层又可具有不同的字段奇偶性。
第二组增强层可编码各数据类别的增强分辨率交错底-顶表示。第二组中的各增强层可与一个数据类别相关联。可通过使用例如诸如图23所示的输入模块准备交错表示。作为例子，输入模块可对于时间实例2n产生底/顶部字段，并对于时间实例2n+1产生顶/底部字段。在给定的时间实例，第二组各增强层具有字段奇偶性彼此相同的输入，并且，该奇偶性与基层和第一增强层的奇偶性相反。在本例子中，基层和第一组增强层的组合可产生增强分辨率顶部/底部字段，而第一组增强层与第二组增强层的组合可产生增强分辨率底部/顶部字段。应当注意，被称为与各字段相关联的增强分辨率的分辨率可以但不必需相互相同。这四个得到的字段的组合可产生所有数据类别的增强分辨率渐进式表示。
第二组增强层可指定为EL1和EL2。该第二组增强层可受益于来自基层和第一组增强层的层间预测。可通过使用RPU(3140)执行层间预测，以通过使用存储于基层和第一组增强层的基准图片缓冲器(3120、3125)中的帧相容字段作为结合输入来预测附加的增强分辨率字段并将其存储在第二组增强层中的增强层的基准图片缓冲器(3130)中。通过组合从基层与第一组增强层输出的信息，可形成可在预测底-顶表示时被利用的用于给定类别的增强分辨率交错顶-底表示。各第二组增强层与一个这种RPU(3140)相关。应当注意，虽然在图31中只示出BL+EL0到EL1RPU(3140)，但图31也可包含BL+EL0到EL2RPU。
在附加的实施例中，可在第二组增强层中的增强层之间执行层间预测。如图31所示，可以使用EL1与EL2之间的RPU(3145)以从存储于EL1(3130)的基准图片缓冲器中的字段预测附加的字段并将存储在EL2(3135)的基准图片缓冲器中。类似地，虽然没有示出，但RPU可被放置于EL2与EL1之间，使得EL1可利用来自EL2的信息以用于层间预测。这些RPU(例如，3145)尤其受益于较高次运动模型和差异补偿技术。
应当注意，在图32中的解码器中示出相应的基准图片缓冲器和RPU。
通过组合前面的方法的各种实施例与第五方法，附加的实施例也是可能的。具体而言，第二组增强层可通过重定向RPU(3115、3140、3145、3150)的输出来编码预测残差。作为替代方案，第二组增强层可被将所有数据类别译码为单个字段的单个层或每个层译码一个或更多个数据类别的多个层替代。
其它的实施例可包括组合第五布置/方法与在2010年7月21日提交的发明名称为“Systems and Methods for Multi-Layered Frame-Compatible Video Delivery”的美国临时申请No.61/366512的教导。具体而言，第一增强层可采取多个内部基准图片缓冲器，每个数据类别一个。这通常增加了可被用于层间预测的RPU的数量。并且，第一组增强层中的差异补偿可被以基准图片缓冲器的分辨率进行或者以第一组增强层的帧相容输入的分辨率和格式进行。
与存储器管理控制操作和空间可扩缩性相关的特征也可应用于第五方法的此实施例。
在附加的实施例中，与基层相关联的帧相容格式可包含来自第一视图(例如，图31中的V0(3105))的偶数列和来自第二视图(例如，图31中的V1(3110))的奇数列，而与第一组增强层相关联的帧相容格式可包含来自第一视图的奇数列和来自第二视图的偶数列。图32的解码器(3200)处的基层与第一组增强层的组合可提供被提供给图31的编码器(3100)的初始数据类别(3105、3110)的增强分辨率交错表示。
类似地，在附加的实施例中，基层可译码具有第一范围的频率内容(例如，低频率)的表示，而第一组增强层可提供第二范围的频率内容(例如，不与基层相关联的频率)。来自各层的输出可在图32的解码器(3200)处组合以提供被提供给图31的编码器(3100)的初始数据类别(3105、3110)的更好的交错表示(例如，增强分辨率，可能是全分辨率)。
在一种情况下，基层与第一组增强层的解码器输出可被组合以产生增强分辨率顶-底交错表示。类似地，在相同的情况下或另一情况下，所有层的解码器输出可被组合以产生增强分辨率渐进式表示。
在以上提供的方法中的每一个中，以下方面可适用。在多个差异/运动估计器和补偿模块中所使用的运动参数具有足够的相关性的情况下，运动参数可被设定以使得能够从来自一模块的参数高效地预测另一个模块的参数。在一个这种实施例中，运动参数可被设定为相同并且对于每个增强层可仅发送一组运动参数。在另一情况下，可对于各模块信令一组参数。另外，运动参数预测也可受益于从较高优先级差异估计(disparityestimation)/补偿模块信令的相邻或共位的参数，这些模块是与较高优先级层相关联的那些模块。
本公开中描述的方法和系统可被以硬件、软件、固件或它们的组合中实现。描述为块、模块或部件的特征可一起实现(例如，在诸如集成逻辑器件的逻辑器件中)或者单独实现(例如，作为分别连接的逻辑器件)。本公开的方法的软件部分可包括计算机可读介质，其包含当被执行时执行描述的方法的至少一部分的指令。计算机可读介质可包含例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可由处理器(例如，数字信号处理器(DSP)、专用集成电路(ASIC)或场可编程逻辑阵列(FPGA))执行。
在说明书中提到的所有专利和公开可指示本公开相关的本领域技术人员的技术水平。在本公开中引用的所有参考文献通过引用被加入，如同各参考文献的全文通过引用被分别加入那样。
提供以上阐述的例子以向本领域技术人员提供如何完成和使用公开的多层交错帧相容增强分辨率视频传输的实施例的完整的公开和描述，并且这些例子不是打算要限制发明人认作其公开的范围。视频领域技术人员可利用上述的公开的实施方式的变型，并且这些变型将处于以下的权利要求的范围内。
应当理解，本公开不限于特定的方法或系统，这些方法或系统当然可改变。还应理解，这里使用的术语仅是出于描述特定的实施例的目的，而不是为了限制。如在本说明书和所附的权利要求中所使用的，除非内容清楚地另外指示，否则单数形式“一种”、“一个”和“该”包括多个指示物。除非另外限定，否则，这里使用的所有技术和科学术语具有与本公开所述的领域的技术人员通常理解的意思相同的意思。
这里，本发明的实施例可由此涉及以下在表1中列出的示例性实施例中的一个或更多个。然而，应当理解，可以在不背离本公开的精神和范围的情况下提出各种修改。因此，其它的实施例处于以下的示例性实施例或列出的权利要求的范围内。
表1
列举的示例性实施例
EEE1.一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
提供至少一个第二层，其中，各第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；
编码所述至少一个第一层以产生一个或更多个编码的第一层位流；和
编码所述至少一个第二层以产生一个或更多个编码的第二层位流。
EEE2.根据EEE 1的方法，其中，编码所述至少一个第二层包含：对特定的第二层，
基于来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片对与该特定的第二层相关联的一个或更多个渐进式表示执行差异估计以产生差异参数；
基于所述差异参数对所述第二层基准图片执行差异补偿以产生预测的渐进式图片；
取得与该特定的第二层相关联的各渐进式表示与对应的预测的渐进式图片之间的差以获得第二层残差，各第二层残差与数据类别相关联；
对第二层残差执行变换和量化以获得第二层量化变换残差；以及
对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE3.根据EEE 2的方法，其中，来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片基于存储于与所述至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，该方法还包括：
基于所述第一层基准图片对所述帧相容交错表示执行差异估计以产生与各数据类别相关的差异参数；
基于所述差异参数对所述第一层基准图片执行差异补偿以产生预测的帧相容交错图片；
取得所述帧相容交错表示与预测的帧相容交错图片之间的差以获得第一层残差；和
基于第一层残差和预测的帧相容交错图片产生第一层重构图片，其中，第一层基准图片基于第一层重构图片。
EEE4.根据EEE 3的方法，其中，产生第一层重构图片包含：
执行第一层残差的变换和量化以获得第一层量化变换残差；
执行第一层量化变换残差的逆量化和逆变换以获得第一层逆处理残差；和
通过组合第一层逆处理残差和预测的帧相容交错图片产生第一层重构图片。
EEE5.根据EEE 3或4的方法，还包括：
对第一层重构图片进行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
EEE6.根据EEE 5的方法，其中，环路滤波包含执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE7.根据EEE 3～6中的任一项的方法，还包括：
通过处理帧相容交错表示以获得预测的渐进式表示来产生来自与特定的第二层相关联的基准图片缓冲器的第二层基准图片，其中，第二层基准图片基于预测的渐进式表示。
EEE8.根据EEE 3～6中的任一项的方法，还包括：
从第一层基准图片产生第二层基准图片包含通过基准处理单元对第一层基准图片执行基准处理，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE9.根据前面的权利要求中的任一项的方法，其中，提供至少一个第二层包含：对于特定的第二层，
处理一个或更多个渐进式表示中的每一个以获得预测的增强分辨率渐进式表示。
EEE10.根据EEE 9的方法，其中，处理基于以下中的至少一个：
一个或更多个渐进式表示内的采样；
来自与特定的第二层相关联的基准图片缓冲器的一个或更多个基准图片；和
来自至少一个第一层的先前编码图片内的采样。
EEE11.根据EEE 9或10的方法，其中，处理基于与所述至少一个第二层中的另一第二层相关联的先前编码图片内的采样。
EEE12.根据EEE 2～11中的任一项的方法，其中，来自与特定的第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片是来自至少一个第一层的先前编码图片。
EEE13.根据EEE 2～12中的任一项的方法，其中，来自与特定的第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片基于来自另一第二层基准图片缓冲器的一组第二层基准图片。
EEE14.根据EEE 3～6中的任一项的方法，其中，编码所述至少一个第二层包含：对于特定的第二层，
通过第一层基准处理单元对第一层基准图片执行基准处理以获得各数据类别的一组预测的渐进式图片，其中，预测的渐进式图片适于被存储于与该特定的第二层相关联的基准图片缓冲器中；
基于来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片对该特定的第二层的一个或更多个渐进式表示执行差异估计，以产生差异参数；
基于所述差异参数对第二层基准图片执行差异补偿以产生一组差异补偿渐进式图片；
取得各预测的差异补偿渐进式图片与一个或更多个渐进式表示中的相应渐进式表示之间的差以获得第二层残差；
执行第二层残差的变换和量化以获得第二层量化变换残差；和
对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE15.根据EEE 3～6中的任一项的方法，其中，编码所述至少一个第二层包含：对于特定的第二层，
通过第一层基准处理单元对第一层基准图片执行基准处理以获得各数据类别的预测的渐进式图片；
取得与该特定的第二层相关联的各渐进式表示与相应的预测的渐进式图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
基于来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片对第一组残差执行差异估计以产生差异参数；
基于差异参数对第二层基准图片执行差异补偿以产生预测的第二层残差；
取得各预测的第二层残差与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得第二组量化变换残差；和
对第二组量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE16.根据前面的EEE中的任一项的方法，其中，各第二层与来自所述多个数据类别的一个数据类别相关联。
EEE17.根据前面的EEE中的任一个的方法，其中，至少一个第二层是包含所述多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第二层。
EEE18.一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
提供至少一个第二层和至少一个第三层，其中，
各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联，并且，
各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；
编码所述至少一个第一层以产生一个或更多个编码的第一层位流；
编码所述至少一个第二层以产生一个或更多个编码的第二层位流；和。
编码所述至少一个第三层以产生一个或更多个编码的第三层位流。
EEE19.根据EEE 18的方法，其中，编码所述至少一个第二层或编码所述至少一个第三层包含：对于作为第二层或第三层的特定层，
基于来自与特定层相关联的基准图片缓冲器的基准图片对与特定层相关联的一个或更多个表示执行差异估计以产生差异参数；
基于所述差异参数对特定层的基准图片执行差异补偿以产生预测的图片；
取得与特定层相关联的各表示与对应的预测的图片之间的差以获得特定层残差，各特定层残差与数据类别相关联；
对特定层残差执行变换和量化以获得特定层量化变换残差；
对特定层量化变换残差执行熵编码以产生一个或更多个第二或第三层位流。
EEE20.根据EEE 18或19的方法，其中，来自与特定层相关联的基准图片缓冲器的基准图片基于存储于与所述至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，该方法还包括：
基于第一层基准图片对帧相容交错表示执行差异估计，以产生与各数据类别相关联的差异参数；
基于差异参数对帧相容交错表示上执行差异补偿以产生预测的帧相容交错图片；
取得帧相容交错表示与预测的帧相容交错图片之间的差以获得第一层残差；和
基于第一层残差和预测的帧相容交错图片产生第一层重构图片，其中，第一层基准图片基于第一层重构图片。
EEE21.根据EEE 20的方法，其中，产生第一层重构图片包含：
执行第一层残差的变换和量化以获得量化变换残差；
执行该量化变换残差的逆量化和逆变换以获得逆处理残差；和
通过组合逆处理残差和预测的帧相容交错图片来产生第一层重构图片。
EEE22.根据EEE 20或21的方法，还包括：
对第一层重构图片进行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
EEE23.根据EEE 18～22中的任一个的方法，其中，提供一组第二层包含：对于特定的第二层，
基于来自至少一个第一层的相应的交错表示产生与特定的第二层相关联的数据类别的预测交错表示。
EEE24.根据EEE 20～23中的任一个的方法，还包括：
通过处理帧相容交错表示以获得预测的第二层交错表示，产生与特定的第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE25.根据EEE 20～23中的任一个的方法，其中，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理，从第一层基准图片产生与特定的第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE26.根据EEE 20～23中的任一个的方法，还包括：
通过处理一个或更多个第二层交错表示以获得预测的第二层渐进式表示，从第二层基准图片产生与特定的第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第二层渐进式表示。
EEE27.根据EEE 20～23中的任一个的方法，还包括：
通过经由基准处理单元对第二层基准图片执行基准处理，从第二层基准图片产生与特定的第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：去复用、上采样、去交错、频率滤波和内插第二层基准图片以获得第三层基准图片。
EEE28.根据EEE 18～27中的任一个的方法，其中，提供至少一个第二层或设置至少一个第三层包含：对于特定层，
处理一个或更多个表示中的每一个以获得预测的增强分辨率表示。
EEE29.根据EEE 28的方法，其中，处理基于以下中的至少一个：
一个或更多个表示内的采样；和
来自与特定层相关联的基准图片缓冲器的一个或更多个基准图片。
EEE30.根据EEE 28或29的方法，其中，处理基于来自另一层的先前译码图片内的采样。
EEE31.根据EEE 28～30中的任一个的方法，其中，
特定层包含第三层，并且，
处理基于与第二层相关联的先前译码图片内的采样。
EEE32.根据EEE 18～31中的任一个的方法，其中，至少一个第一层和至少一个第二层的字段奇偶性不同。
EEE33.根据EEE 20～32中的任一个的方法，其中，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于被存储于与特定层相关联的基准图片缓冲器中；
基于来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
取得各预测差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
执行特定层残差的变换和量化以获得特定层量化变换残差；和
对特定的量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE34.根据EEE 20～32中的任一个的方法，其中，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片；
取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
对来自与特定层相关联的基准图片缓冲器的特定层基准图片执行差异估计以产生差异参数；
基于差异参数对特定层基准图片执行差异补偿以产生一组差异补偿图片；
取得各差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得特定层量化变换残差；和
对特定量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE35.根据EEE 33或34的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
预测图片包含与特定层相关联的一个或更多个数据类别的交错表示。
EEE36.根据EEE 33或34的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
预测图片包含与特定层相关联的一个或更多个数据类别的渐进式表示。
EEE37.根据EEE 18～36中的任一个的方法，其中，各第二层或第三层与多个输入数据类别中的一个输入数据类别相关联。
EEE38.根据EEE 18～36中的任一个的方法，其中，至少一个第二层是包含所述多个数据类别中的所有数据类别的帧相容全分辨率交错表示的一个第二层。
EEE39.根据EEE 18～36或38中的任一个的方法，其中，至少一个第三层是包含所述多个数据类别中的所有数据类别的帧相容全分辨率渐进式表示的一个第三层。
EEE40.一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的所述多个数据类别的帧相容交错表示；
提供至少一个第二层和至少一个第三层，其中，
至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示，并且，
至少一个第三层中的各第三层包含一个或更多个数据类别的增强分辨率渐进式表示；
编码至少一个第一层以产生一个或更多个编码的第一层位流；
编码至少一个第二层以产生一个或更多个编码的第二层位流；和。
编码至少一个第三层以产生一个或更多个编码的第三层位流。
EEE41.根据EEE 40的方法，还包括：
通过处理帧相容交错表示以获得预测的第二层渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于该预测的第二层渐进式表示。
EEE42.根据EEE 40的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与至少一个第二层中的特定的第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片。
EEE43.根据EEE 40的方法，还包括：
通过处理一个或更多个第二层渐进式表示以获得预测的第二层增强分辨率渐进式表示，从与至少一个第二层中的第二层相关联的基准图片产生与至少一个第三层中的特定的第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第二层增强分辨率渐进式表示。
EEE44.根据EEE 40的方法，还包括：
通过经由基准处理单元对第二层基准图片执行基准处理，从与至少一个第二层中的第二层相关联的第二层基准图片产生与至少一个第三层中的特定的第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第二层基准图片以获得第三层基准图片。
EEE45.根据EEE 40～44中的任一个的方法，其中，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于被存储于与特定层相关联的基准图片缓冲器中；
对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
取得各预测差异补偿图片与和该特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
执行特定层残差的变换和量化以获得特定层量化变换残差；和
对特定的量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE46.根据EEE 40～44中的任一个的方法，其中，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片；
取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
取得各预测差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得特定层量化变换残差；和
对特定层量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE47.根据EEE 45或46的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE48.根据EEE 45或46的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的渐进式表示。
EEE49.根据EEE 40～48中的任一个的方法，其中，各第二层或第三层与多个数据类别中的一个数据类别相关联。
EEE50.根据EEE 40～49中的任一个的方法，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容渐进式表示的一个第二层。
EEE51.根据EEE 40～50中的任一个的方法，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第三层。
EEE52.一种用于将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；
提供至少一个第二层、至少一个第三层和至少一个第四层，其中，
至少一个第二层中的各第二层包含来自视频数据的多个数据类别的第一组帧相容渐进式表示，
至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示，
至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；
编码至少一个第一层以产生一个或更多个编码的第一层位流；
编码至少一个第二层以产生一个或更多个编码的第二层位流；
编码至少一个第三层以产生一个或更多个编码的第三层位流；和
编码至少一个第三层以产生一个或更多个编码的第四层位流。
EEE53.根据EEE 52的方法，其中，
第一组帧相容交错表示与第二组帧相容交错表示互补，并且，
第一组帧相容渐进式表示与第二组帧相容渐进式表示互补。
EEE54.根据EEE 52或53的方法，其中，
第一组帧相容交错表示包含来自视频数据的第一组采样，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的采样。
EEE55.根据EEE 52～54中的任一个的方法，其中，
第一组帧相容渐进式表示包含来自视频数据的第一组采样，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的采样。
EEE56.根据EEE 52～55中的任一个的方法，其中，
第一组帧相容交错表示包含视频数据的第一组频率成分，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的频率成分。
EEE57.根据EEE 52～56中的任一个的方法，其中，
第一组帧相容渐进式表示包含视频数据的第一组频率成分，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的频率成分。
EEE58.根据EEE 52～56中的任一个的方法，其中，
至少一个层和至少一个第三层适于被组合以形成多个数据类别中的各数据类别的增强分辨率交错表示，并且，
至少一个第二层和至少一个第四层适于被组合以形成多个数据类别中的各数据类别的增强分辨率渐进式表示。
EEE59.根据EEE 52～58中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第二层帧相容渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层渐进式表示。
EEE60.根据EEE 52～58中的任一个的方法，还包括：
通过经由基准处理单元在第一层基准图片执行基准处理，从第一层基准图片产生与至少一个第二层中的特定第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE61.根据EEE 52～58中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第三层帧相容交错表示，产生与至少一个第三层中的特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层帧相容交错表示。
EEE62.根据EEE 52～60中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理，从第一层基准图片产生与至少一个第三层中的特定第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第三层基准图片。
EEE63.根据EEE 52～62中的任一个的方法，还包括：
通过处理第一组帧相容渐进式表示以获得预测的第四层帧相容渐进式表示，产生与至少一个第四层中的特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE64.根据EEE 52～62中的任一个的方法，还包括：
通过对第二层基准图片执行基准处理从第二层基准图片产生与至少一个第四层中的特定第四层相关联的第四层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第二层基准图片以获得第四层基准图片。
EEE65.根据EEE 52～64中的任一个的方法，还包括：
通过处理第二组帧相容交错表示以获得预测的第四层帧相容渐进式表示，产生与至少一个第四层中的特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE66.根据EEE 52～64中的任一个的方法，还包括：
通过对第三层基准图片执行基准处理从第三层基准图片产生与至少一个第四层中的特定第四层相关联的第四层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第三层基准图片以获得第四层基准图片。
EEE67.根据EEE 52～66中的任一个的方法，其中，编码至少一个第二层、编码至少一个第三层或编码至少一个第四层中的每一个包含：对于作为第二层、第三层或第四层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与该特定层相关联的基准图片缓冲器中；
对来自与该特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
取得各预测的差异补偿图片与和该特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
执行特定层残差的变换和量化以获得特定层量化变换残差；和
对特定量化变换残差执行熵编码以产生与第二层、第三层或第四层相关联的一个或更多个位流。
EEE68.根据EEE 52～66中的任一个的方法，其中，编码至少一个第二层、编码至少一个第三层或编码至少一个第四层中的每一个包含：对于作为第二层、第三层或第四层的特定层，
对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；
取得与特定的第二层相关联的各表示与相应的预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于该差异参数在基准图片执行差异补偿以产生一组补偿图片；
取得各差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得特定层量化变换残差；和
对特定层量化变换残差执行熵编码以产生与第二层、第三层或第四层相关联的一个或更多个位流。
EEE69.根据EEE 67或68的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE70.根据EEE 67或68的方法，其中，
特定层是第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE71.根据EEE 67或68的方法，其中，
特定层包含第四层，
执行基准处理是对于与至少一个第二层相关联的基准图片和/或与至少一个第三层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE72.根据EEE 52～71中的任一个的方法，其中，至少一个第三层是包含多个数据类别中的所有数据类别的全分辨率表示的一个第三层。
EEE73.一种用于将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；
提供至少一个第二层和至少一个第三层，其中，
各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示，
各第三层包含来自视频数据的多个数据类别的一组交错表示；
编码至少一个第一层以产生一个或更多个编码的第一层位流；
编码至少一个第二层以产生一个或更多个编码的第二层位流；和
编码至少一个第三层以产生一个或更多个编码的第三层位流。
EEE74.根据EEE 73的方法，其中，第一组帧相容交错表示与第二组帧相容交错表示互补。
EEE75.根据EEE 73或74的方法，其中，在给定的时间实例，各第一层和各第二层的字段奇偶性相同。
EEE76.根据EEE 73～75中的任一个的方法，其中，在给定的时间实例，各第三层的字段奇偶性与各第一层和各第二层的奇偶性相反。
EEE77.根据EEE 73～76中的任一个的方法，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的增强分辨率交错表示。
EEE78.根据EEE 77的方法，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的全分辨率交错表示。
EEE79.根据EEE 73～78中的任一个的方法，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的增强分辨率交错表示。
EEE80.根据EEE 79的方法，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的全分辨率交错表示。
EEE81.根据EEE 73～80中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第二层帧相容交错表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE82.根据EEE 73～80中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与特定第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE83.根据EEE 73～82中的任一个的方法，还包括：
通过处理第一组和/或第二组帧相容交错表示以获得预测的第三层交错表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE84.根据EEE 73～82中的任一个的方法，还包括：
通过对第一层基准图片和/或第二层基准图片执行基准处理从第一层基准图片和/或第二层基准图片产生与特定第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片和/或第二层基准图片以获得第三层基准图片。
EEE85.根据EEE 73～84中的任一个的方法，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
取得各预测的差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
执行特定层残差的变换和量化以获得特定层量化变换残差；和
对特定量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE86.根据EEE 73～84中的任一个的方法，其中，编码至少一个第二层或编码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；
取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
对来自与特定层相关联的基准图片缓冲器的基准图片上执行差异估计以产生差异参数；
基于差异参数对基准图片执行差异补偿以产生预测残差；
取得各预测残差与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得特定层量化变换残差；以及
对第二组特定层量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE87.根据EEE 85或86的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE88.根据EEE 85或86的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第一层和/或至少一个第二层相关联的基准图片执行的，并且，
预测图片包含与该特定层相关联的一个或更多个数据类别的交错表示。
EEE89.根据前面的EEE中的任一个的方法，其中，与各编码相关联的差异参数适于被信令到解码器。
EEE90.根据EEE 89的方法，其中，一组差异参数适于被信令到各层的解码器。
EEE91.根据EEE 89的方法，其中，一组差异参数适于被信令到所有层的解码器。
EEE92.根据前面的EEE中的任一个的方法，其中，提供至少一个第一层包含：
对多个数据类别中的每一个执行采样以产生多个采样的数据类别；
执行所述多个采样的数据类别的复用以产生所述多个数据类别的帧相容交错表示。
EEE93.根据EEE 92的方法，其中，执行采样包含滤波来自所述多个数据类别的至少一个数据类别，其中，滤波包含执行低通滤波、去噪声、抗混叠、空间时间滤波、去块化、颜色校正和伽马校正中的至少一个。
EEE94.一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，该方法包括：
向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流和代表至少一个第二层的一个或更多个第二层位流，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，并且，至少一个第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；
解码一个或更多个第一层位流以获得重构的帧相容交错表示；和
解码一个或更多个第二层位流以获得一个或更多个重构的渐进式表示。
EEE95.根据EEE 94的方法，其中，解码一个或更多个第二层位流包含：对于与至少一个第二层中的特定第二层相关联的特定第二层位流，
对特定第二层位流执行熵解码以获得与特定第二层相关联的第二层量化变换残差；
基于差异参数对来自与特定第二层相关联的基准图片缓冲器的第二层基准图片执行差异补偿以产生预测的渐进式图片，其中，差异参数适于被解码系统从编码系统接收；
对第二层量化变换残差执行逆量化和逆变换以获得第二层逆处理残差；和
组合第二层逆处理残差与预测的渐进式图片，以获得与特定第二层相关联的一个或更多个重构渐进式表示，其中，一个或更多个重构渐进式表示适于存储于与特定第二层相关联的基准图片缓冲器中。
EEE96.根据EEE 95的方法，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，该方法还包括：
对一个或更多个第一层位流执行熵解码以获得与至少一个第一层相关联的第一层量化变换残差；
对第一层量化变换残差执行逆量化和逆变换以获得第一层逆处理残差；
基于差异参数对第一层基准图片执行差异补偿以产生预测的帧相容交错图片，其中，差异参数适于被解码系统从编码系统接收；和
组合第一层逆处理残差与预测的帧相容交错图片，以获得与至少一个第一层相关联的重构的帧相容交错表示，其中，重构的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE97.根据EEE 96的方法，还包括：
对重构的帧相容交错表示进行环路滤波以获得经滤波的帧相容交错表示，其中，经滤波的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE98.根据EEE 97的方法，其中，环路滤波包含执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE99.根据EEE 96～98中的任一个的方法，还包括：
通过处理第一层基准图片以获得预测的渐进式表示，产生来自与特定第二层相关联的基准图片缓冲器的第二层基准图片，其中，第二层基准图片基于该预测的渐进式表示。
EEE100.根据EEE 96～98中的任一个的方法，还包括：
从第一层基准图片产生第二层基准图片包含通过基准处理单元对第一层基准图片执行基准处理，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE101.根据EEE 95～100中的任一个的方法，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片是来自至少一个第一层的先前译码图片。
EEE102.根据EEE 95～101中的任一个的方法，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片基于来自另一第二层基准图片缓冲器的一组第二层基准图片。
EEE103.根据EEE 94～102中的任一个的方法，其中，重构渐进式表示中的一个或更多个中的至少一个具有比全分辨率低的分辨率，该方法还包含：
对具有比全分辨率低的分辨率的至少一个渐进式表示执行上采样，以产生至少一个渐进式表示的预测的全分辨率渐进式表示。
EEE104.根据EEE 96～98中的任一个的方法，其中，解码一个或更多个第二层位流包含：对于与至少一个第二层中的特定第二层相关联的特定第二层位流，
对该特定第二层位流执行熵解码以获得与该特定第二层相关联的第二层量化变换残差；
通过第一层基准处理单元在第一层基准图片上执行基准处理以获得各数据类别的一组预测的渐进式图片，其中，预测的渐进式图片适于存储于与特定的第二层相关联的基准图片缓冲器中；
对第二层量化变换残差执行逆量化和逆变换以获得第二层逆处理残差；和
基于差异参数对第二层基准图片执行差异补偿以产生一组差异补偿渐进式图片，其中，差异参数适于被解码系统从编码系统接收，
组合第二层逆处理残差与该组差异补偿渐进式图片，以获得与特定第二层相关联的一个或更多个重构渐进式表示，其中，一个或更多个重构渐进式表示适于存储于与特定第二层相关联的基准图片缓冲器中。
EEE105.根据EEE 96～98中的任一个的方法，其中，解码一个或更多个第二层位流包含：对于与来自至少一个第二层的特定第二层相关联的特定第二层位流，
通过第一层基准处理单元对第一层基准图片执行基准处理以获得各数据类别的预测的渐进式图片；和
组合预测的渐进式图片与来自与该特定第二层相关联的基准图片缓冲器的第二层基准图片以获得与该特定第二层相关联的一个或更多个重构的渐进式表示。
EEE106.根据EEE 94～105中的任一个的方法，其中，各第二层与多个数据类别中的一个数据类别相关联。
EEE107.根据EEE 94～106中的任一个的方法，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第二层。
EEE108.一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，该方法包括：
向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，
至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联，并且，
各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；
解码一个或更多个第一层位流以获得一个或更多个重构的帧相容交错表示；
解码一个或更多个第二层位流以获得一个或更多个重构的交错表示；和
解码一个或更多个第三层位流以获得一个或更多个重构的渐进式表示。
EEE109.根据EEE 108的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与该特定层相关联的位流执行熵解码以获得与该特定层相关联的量化变换残差；
基于差异参数对来自与该特定层相关联的基准图片缓冲器的基准图片执行差异补偿以产生预测的图片，其中，差异参数适于被解码系统从编码系统接收；
对量化变换残差执行逆量化和逆变换以获得与该特定层相关联的逆处理残差；和
组合逆处理残差与预测的图片，以获得与该特定层相关联的一个或更多个重构的表示，其中，一个或更多个重构的表示适于存储于与该特定层相关联的基准图片缓冲器中。
EEE110.根据EEE 109的方法，其中，来自与该特定层相关联的基准图片缓冲器的基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，该方法还包括：
对一个或更多个第一层位流执行熵解码以获得与至少一个第一层相关联的第一层量化变换残差；
对第一层量化变换残差执行逆量化和逆变换以获得第一层逆处理残差；
基于差异参数对第一层基准图片执行差异补偿以产生预测的交错图片，其中，差异参数适于被解码系统从编码系统接收；和
组合第一层逆处理残差与预测的交错图片，以获得与至少一个第一层相关联的重构的帧相容交错表示，其中，重构的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE111.根据EEE 109或110的方法，其中，还包括：
对第一层重构的图片进行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
EEE112.根据EEE 111的方法，其中，环路滤波包含执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE113.根据EEE 110～112中的任一个的方法，其中，还包括：
通过处理帧相容交错表示以获得预测的第二层交错表示来产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE114.根据EEE 110～112中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与特定第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE115.根据EEE 110～112中的任一个的方法，还包括：
通过处理一个或更多个第二层交错表示以获得预测的第二层渐进式表示，从第二层基准图片产生与特定的第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第二层渐进式表示。
EEE116.根据EEE 110～112中的任一个的方法，还包括：
通过经由基准处理单元对第二层基准图片执行基准处理来从第二层基准图片产生与特定的第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第二层基准图片以获得第三层基准图片。
EEE117.根据EEE 108～116中的任一个的方法，其中，至少一个第一层和至少一个第二层的字段奇偶性不同。
EEE118.根据EEE 110～117中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与该特定层相关联的位流执行熵解码以获得与该特定层相关联的量化变换残差；
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测的图片适于存储于与该特定层相关联的基准图片缓冲器中；
对量化变换残差执行逆量化和逆变换以获得与特定层相关联的逆处理残差；
基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片，其中，差异参数适于被解码系统从编码系统接收；和
组合逆处理残差与该组差异补偿图片以获得与特定层相关联的一个或更多个重构的表示，其中，一个或更多个重构的表示适于存储于与特定层相关联的基准图片缓冲器中。
EEE119.根据EEE 110～117中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片；和
组合该组预测的图片与来自与特定层相关联的基准图片缓冲器的基准图片以获得与该特定层相关联的一个或更多个重构表示。
EEE120.根据EEE 118或119的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的交错表示。
EEE121.根据EEE 118或119的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的渐进式表示。
EEE122.根据EEE 108～121中的任一个的方法，其中，各第二层或第三层与多个数据类别中的一个数据类别相关联。
EEE123.根据EEE 108～121中的任一个的方法，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率交错表示的一个第二层。
EEE124.根据EEE 108～121或123中的任一个的方法，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率渐进式表示的一个第三层。
EEE125.一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，该方法包括：
向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，其中，
至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示，
至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示，并且，
至少一个第三层中的各第三层包含一个或更多个数据类别的增强分辨率渐进式表示；
解码一个或更多个第一层位流以获得重构的帧相容交错表示；
解码一个或更多个第二层位流以获得一个或更多个重构的帧相容渐进式表示；和
解码一个或更多个第三层位流以获得一个或更多个重构的增强分辨率渐进式表示。
EEE126.根据EEE 125的方法，还包括：
通过处理帧相容交错表示以获得预测的第二层帧相容渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层帧相容渐进式表示。
EEE127.根据EEE 125的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与至少一个第二层中的特定的第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE128.根据EEE 125的方法，还包括：
通过处理一个或更多个第二层渐进式表示以获得预测的第三层增强分辨率渐进式表示，从与至少一个第二层中的第二层相关联的基准图片产生与至少一个第三层中的特定的第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层增强分辨率渐进式表示。
EEE129.根据EEE 125的方法，还包括：
通过经由基准处理单元对基准图片执行基准处理，从与至少一个第二层中的第二层相关联的基准图片产生与至少一个第三层中的特定的第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插与第二层相关联的基准图片以获得第三层基准图片。
EEE130.根据EEE 125～129中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与该特定层相关联的位流执行熵解码以获得与该特定层相关联的量化变换残差；
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
对量化变换残差执行逆量化和逆变换以获得与特定层相关联的逆处理残差；
基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片，其中，差异参数适于被解码系统从编码系统接收；和
组合逆处理残差与该组差异补偿图片以获得与该特定层相关联的一个或更多个重构的表示，其中，一个或更多个重构的表示适于存储于与该特定层相关联的基准图片缓冲器中。
EEE131.根据EEE 125～129中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片；和
组合该组预测图片与来自与该特定层相关联的基准图片缓冲器的基准图片以获得与该特定层相关联的一个或更多个重构表示。
EEE132.根据EEE 130或131的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE133.根据EEE 130或131的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个输入数据类别的渐进式表示。
EEE134.根据EEE 125～133中的任一个的方法，其中，各第二层或第三层与多个数据类别中的一个数据类别相关联。
EEE135.根据EEE 125～134中的任一个的方法，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容渐进式表示的一个第二层。
EEE136.根据EEE 125～135中的任一个的方法，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第三层。
EEE137.一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，该方法包括：
向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流、和代表至少一个第三层的一个或更多个第三层位流，其中，
至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示，
至少一个第二层中的各第二层包含来自视频数据的多个数据类别的第一组帧相容渐进式表示，
至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，
至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；
解码一个或更多个第一层位流以获得第一层重构的帧相容交错表示；
解码一个或更多个第二层位流以获得一个或更多个第二层重构的帧相容渐进式表示；和
解码一个或更多个第三层位流以获得一个或更多个第三层重构的帧相容交错表示；和
解码一个或更多个第四层位流以获得一个或更多个第四层重构的帧相容渐进式表示。
EEE138.根据EEE 137的方法，其中，
第一组帧相容交错表示与第二组帧相容交错表示互补，并且，
第一组帧相容渐进式表示与第二组帧相容渐进式表示互补。
EEE139.根据EEE 137或138的方法，其中，
第一组帧相容交错表示包含来自视频数据的第一组采样，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的采样。
EEE140.根据EEE 137～139中的任一个的方法，其中，
第一组帧相容渐进式表示包含基于视频数据的第一组采样，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的采样。
EEE141.根据EEE 137～140中的任一个的方法，其中，
第一组帧相容交错表示包含视频数据的第一组频率成分，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的频率成分。
EEE142.根据EEE 137～141中的任一个的方法，其中，
第一组帧相容渐进式表示包含视频数据的第一组频率成分，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的频率成分。
EEE143.根据EEE 137～141中的任一个的方法，其中，
至少一个层和至少一个第三层适于被组合以形成多个数据类别中的各数据类别的增强分辨率交错表示，并且，
至少一个第二层和至少一个第四层适于被组合以形成多个数据类别中的各数据类别的增强分辨率渐进式表示。
EEE144.根据EEE 137～143中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第二层帧相容渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层渐进式表示。
EEE145.根据EEE 137～143中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理，从第一层基准图片产生与至少一个第二层中的特定第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE146.根据EEE 137～145中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第三层帧相容交错表示，产生与至少一个第三层中的特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE147.根据EEE 137～145中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与至少一个第三层中的特定第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第三层基准图片。
EEE148.根据EEE 137～147中的任一个的方法，还包括：
通过处理第一组帧相容渐进式表示以获得预测的第四层帧相容渐进式表示，产生与至少一个第四层的特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE149.根据EEE 137～147中的任一个的方法，还包括：
通过对第二层基准图片执行基准处理从第二层基准图片产生与至少一个第四层中的特定第四层相关联的第四层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第二层基准图片以获得第四层基准图片。
EEE150.根据EEE 137～149中的任一个的方法，还包括：
通过处理第二组帧相容交错表示以获得预测的第四层帧相容渐进式表示，产生与至少一个第四层的特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE151.根据EEE 137～149中的任一个的方法，还包括：
通过对第三层基准图片执行基准处理从第三层基准图片产生与至少一个第四层中的特定第四层相关联的第四层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第三层基准图片以获得第四层基准图片。
EEE152.根据EEE 137～151中的任一个的方法，其中，解码至少一个第二层、解码至少一个第三层或解码至少一个第四层中的每一个包含：对于作为第二层、第三层或第四层的特定层，
对与该特定层相关联的位流执行熵解码以获得与该特定层相关联的量化变换残差；
对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与该特定层相关联的基准图片缓冲器中；
对量化变换残差执行逆量化和逆变换以获得与该特定层相关联的逆处理残差；
基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片，其中，差异参数适于被解码系统从编码系统接收；和
组合逆处理残差与该组差异补偿图片以获得与该特定层相关联的一个或更多个重构的表示，其中，该一个或更多个重构的表示适于存储于与该特定层相关联的基准图片缓冲器中。
EEE153.根据EEE 137～151中的任一个的方法，其中，解码至少一个第二层、解码至少一个第三层或解码至少一个第四层中的每一个包含：对于作为第二层、第三层或第四层的特定层，
对基准图片执行基准处理以获得各数据类别的一组预测图片；和
组合该组预测图片与来自与该特定层相关联的基准图片缓冲器的基准图片以获得与该特定层相关联的一个或更多个重构表示。
EEE154.根据EEE 152或153的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE155.根据EEE 152或153的方法，其中，
特定层是第三层，
执行基准处理是对于与至少一个第二层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE156.根据EEE 152或153的方法，其中，
特定层包含第四层，
执行基准处理是对于与至少一个第二层相关联的基准图片和/或与至少一个第三层相关联的基准图片执行的，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE157.根据EEE 137～156中的任一个的方法，其中，至少一个第三层是包含多个数据类别中的所有数据类别的全分辨率表示的一个第三层。
EEE158.一种用于通过使用解码系统解码代表视频数据的多个位流的方法，多个位流适于被解码系统从编码系统接收，各位流包含与一个或更多个数据类别相关联的数据，该方法包括：
向解码系统提供多个位流，其中，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流、和代表至少一个第三层的一个或更多个第三层位流，其中，
至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示，并且，
各第三层包含来自视频数据的多个数据类别的一组交错表示；
解码一个或更多个第一层位流以获得第一层重构的帧相容交错表示；
解码一个或更多个第二层位流以获得一个或更多个第二层重构的帧相容交错表示；和
解码一个或更多个第三层位流以获得一个或更多个重构的交错表示。
EEE159.根据EEE 158的方法，其中，第一组帧相容交错表示与第二组帧相容交错表示互补。
EEE160.根据EEE 158或159的方法，其中，在给定的时间实例，各第一层和各第二层的字段奇偶性相同。
EEE161.根据EEE 158～160中的任一个的方法，其中，在给定的时间实例，各第三层的字段奇偶性与各第一层和各第二层的奇偶性相反。
EEE162.根据EEE 158～161中的任一个的方法，其中，至少一个第一层和该组第二层适于被组合以形成对于多个数据类别中的各数据类别的第一奇偶性的增强分辨率交错表示。
EEE163.根据EEE 158～162中的任一个的方法，其中，至少一个第一层和至少一个第二层适于被组合以形成对于多个数据类别中的各数据类别的第一奇偶性的全分辨率交错表示。
EEE164.根据EEE 158～163中的任一个的方法，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的增强分辨率交错表示。
EEE165.根据EEE 164的方法，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的全分辨率交错表示。
EEE166.根据EEE 158～165中的任一个的方法，还包括：
通过处理第一组帧相容交错表示以获得预测的第二层帧相容交错表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE167.根据EEE 158～165中的任一个的方法，还包括：
通过经由基准处理单元对第一层基准图片执行基准处理从第一层基准图片产生与特定第二层相关联的第二层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
EEE168.根据EEE 158～167中的任一个的方法，还包括：
通过处理第一组和/或第二组帧相容交错表示以获得预测的第三层交错表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE169.根据EEE 158～167中的任一个的方法，还包括：
通过对第一层基准图片和/或第二层基准图片执行基准处理从第一层基准图片和/或第二层基准图片产生与特定第三层相关联的第三层基准图片，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片和/或第二层基准图片以获得第三层基准图片。
EEE170.根据EEE 158～167中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与该特定层相关联的位流执行熵解码以获得与该特定层相关联的量化变换残差；
对与该特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与该特定层相关联的基准图片缓冲器中，
对量化变换残差执行逆量化和逆变换以获得与该特定层相关联的逆处理残差；
基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片，其中，差异参数适于被解码系统从编码系统接收；和
组合逆处理残差与该组差异补偿图片以获得与该特定层相关联的一个或更多个重构的表示，其中，该一个或更多个重构的表示适于存储于与该特定层相关联的基准图片缓冲器中。
EEE171.根据EEE 158～167中的任一个的方法，其中，解码至少一个第二层或解码至少一个第三层包含：对于作为第二层或第三层的特定层，
对与该特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；和
组合该组预测图片与来自与该特定层相关联的基准图片缓冲器的基准图片以获得与该特定层相关联的一个或更多个重构表示。
EEE172.根据EEE 170或171的方法，其中，
特定层包含第二层，
执行基准处理是对于与至少一个第一层相关联的基准图片执行的，并且，
预测图片包含与该特定层相关联的一个或更多个输入数据类别的帧相容交错表示。
EEE173.根据EEE 170或171的方法，其中，
特定层包含第三层，
执行基准处理是对于与至少一个第一层和/或至少一个第二层相关联的基准图片执行的，并且，
预测图片包含与该特定层相关联的一个或更多个数据类别的交错表示。
EEE174.一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层或至少一个第二层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：
帧相容交错输入模块，被配置为从视频数据产生至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；和
第二层编码器，被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流，
其中，各第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联。
EEE175.根据EEE 174的编码系统，其中，第二层编码器包含：对于特定第二层，
第二层差异估计模块，被配置为基于来自与特定第二层相关联的基准图片缓冲器的第二层基准图片对与特定第二层相关联的一个或更多个渐进式表示执行差异估计以产生差异参数；
第二层差异补偿模块，与第二层差异估计模块连接并被配置为基于该差异参数对第二层基准图片执行差异补偿以产生预测的渐进式图片；
第二层加算模块，与第二层差异补偿模块连接并被配置为取得与特定第二层相关联的各渐进式表示与相应的预测的渐进式图片之间的差以获得第二层残差，各第二层残差与数据类别相关联；
第二层变换模块，与第二层加算模块和第二层量化模块连接，其中，第二层变换模块和第二层量化模块被配置为分别对第二层残差执行变换和量化以获得第二层量化变换残差；和
第二层熵编码器，与第二层量化模块连接并被配置为对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE176.根据EEE 175的编码系统，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，其中，第一层编码器包含：
第一层差异估计模块，与帧相容交错输入模块连接并被配置为基于第一层基准图片对帧相容交错表示执行差异估计以产生与各数据类别相关联的差异参数；
第一层差异补偿模块，与第一层差异估计模块连接并被配置为基于差异参数对第一层基准图片执行差异补偿以产生预测的帧相容交错图片；和
第一层加算模块，与第一层差异补偿模块连接并被配置为取得帧相容交错表示与预测的帧相容交错图片之间的差以获得第一层残差；
第一层变换模块，与第一层加算模块和第一层量化模块连接，其中，第一层变换模块和第一层量化模块被配置为分别执行第一层残差的变换和量化以获得第一层量化变换残差；
第一层逆量化模块，与第一层量化模块和第一层逆变换模块连接的，其中，第一层逆量化模块和第一层逆变换模块被配置为分别执行第一层量化变换残差的逆量化和逆变换以获得第一层逆处理残差；和
第一层组合模块，与第一层逆变换模块连接并被配置为通过组合第一层逆处理残差与预测的帧相容交错图片来产生第一层重构图片。
EEE177.根据EEE 176的编码系统，还包括：
环路滤波器，被配置为对第一层重构图片执行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
EEE178.根据EEE 177的编码系统，其中，环路滤波器被配置为执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE179.根据EEE 176～178中的任一个的编码系统，其中，通过处理帧相容交错表示以获得预测的渐进式表示来产生来自与特定第二层相关联的基准图片缓冲器的第二层基准图片，第二层基准图片基于该预测的渐进式表示。
EEE180.根据EEE 176～179中的任一个的编码系统，其中，通过基准处理单元产生第二层基准图片，所述基准处理单元被配置为对第一层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第二层基准图片。
EEE181.根据EEE 174～180中的任一个的编码系统，还包括：
预处理模块，与第二层差异估计模块和第二层加算模块连接，其中，预处理模块被配置为对一个或更多个渐进式表示中的每一个执行处理以获得预测的增强分辨率渐进式表示以产生特定第二层。
EEE182.根据EEE 181的编码系统，其中，预处理模块被配置为基于以下中的至少一个执行处理：
一个或更多个渐进式表示内的采样；
来自与特定第二层相关联的基准图片缓冲器的一个或更多个基准图片；和
来自至少一个第一层的先前译码图片内的采样。
EEE183.根据EEE 181或182的编码系统，其中，预处理模块被配置为基于与至少一个第二层中的另一第二层相关联的先前译码图片内的采样执行处理。
EEE184.根据EEE 175～183中的任一个的编码系统，其中，来自与特定第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片是来自与至少一个第一层相关联的基准图片缓冲器的先前译码图片。
EEE185.根据EEE 175～184中的任一个的编码系统，其中，来自与特定第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片基于来自另一第二层基准图片缓冲器的一组第二层基准图片。
EEE186.根据EEE 176～179中的任一个的编码系统，其中，第二层编码器包含：对于特定第二层，
第一层基准处理单元，被配置为对第一层基准图片执行基准处理以获得各数据类别的一组预测渐进式图片，其中，预测渐进式图片适于存储于与特定第二层相关联的基准图片缓冲器中；
第二层差异估计模块，被配置为基于来自与特定第二层相关联的基准图片缓冲器的第二层基准图片对与特定第二层相关联的一个或更多个渐进式表示执行差异估计以产生差异参数；
第二层差异补偿模块，与第二层差异估计模块连接并被配置为基于差异参数对第二层基准图片执行差异补偿以产生一组差异补偿渐进式图片；
第二层加算模块，与第二层差异补偿模块连接并被配置为取得各预测差异补偿渐进式图片与一个或更多个渐进式表示中的相应渐进式表示之间的差以获得第二层残差；
第二层变换模块，与第二层加算模块和第二层量化模块连接，其中，第二层变换模块和第二层量化模块被配置为分别对第二层残差执行变换和量化以获得第二层量化变换残差；和
第二层熵编码器，与第二层量化模块连接并被配置为对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE187.根据EEE 176～179中的任一个的编码系统，其中，第二层编码器包含：对于特定的第二层，
第一层基准处理单元，被配置为对第一层基准图片执行基准处理以获得各数据类别的预测的渐进式图片；
第一加算模块，与第一层基准处理单元连接并被配置为取得与特定的第二层相关联的各渐进式表示与相应的预测的渐进式图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
第二层差异估计模块，与第一加算模块连接并被配置为基于来自与特定的第二层相关联的基准图片缓冲器的第二层基准图片在第一组残差上执行差异估计以产生差异参数；
第二层差异补偿模块，与第二层差异估计模块连接并被配置为基于该差异参数对第二层基准图片执行差异补偿以产生预测的第二层残差；
第二加算模块，与第一加算模块和第二层差异补偿模块连接，其中，第二加算模块被配置为取得各预测的第二层残差与第一组残差中的相应残差之间的差以获得第二组残差；
第二层变换模块，与第二加算模块和第二层量化模块连接，其中，第二层变换模块和第二层量化模块被配置为分别对第二组残差执行变换和量化以获得第二层量化变换残差；和
第二层熵编码器，与第二层量化模块连接并被配置为对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
EEE188.根据EEE 174～187中的任一个的编码系统，其中，各第二层与多个数据类别中的一个数据类别相关联。
EEE189.根据EEE 174～188中的任一个的编码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第二层。
EEE190.根据EEE 175～189中的任一个的编码系统，其中，各基准处理单元被配置为执行一个或更多个存储器管理控制操作，存储器管理控制操作包含在各基准处理单元中加算、去除和排序基准图片。
EEE191.一种被配置为执行根据EEE1～17中的任一个的方法的编码系统。
EEE192.一种用于将输入的视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：
帧相容交错输入模块，被配置为从视频数据产生至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
交错输入模块，被配置为从视频数据产生至少一个第二层，其中，各第二层包含一个或更多个第二层交错表示，各第二层交错表示与数据类别中的一个或更多个相关联；
第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；
第二层编码器，与交错输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；和
第三层编码器，被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流，
其中，各第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联。
EEE193.根据EEE 192的编码系统，其中，第二层编码器或第三层编码器包含：对于作为第二层或第三层的特定层，
特定层差异估计模块，被配置为基于来自与特定层相关联的基准图片缓冲器的基准图片，对与特定层相关联的一个或更多个表示执行差异估计以产生差异参数；
特定层差异补偿模块，与特定层差异估计模块连接并被配置为基于该差异参数对特定层基准图片执行差异补偿以产生预测图片；
特定层加算模块，与特定层差异补偿模块连接并被配置为取得与特定层相关联的各表示与相应预测图片之间的差以获得特定层残差，各特定层残差与数据类别相关联；
与特定层加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
特定层熵编码器，与特定层量化模块连接并被配置为对特定量化变换残差执行熵编码以产生一个或更多个第二层或第三层位流。
EEE194.根据EEE 192或193的编码系统，其中，来自与特定层相关联的基准图片缓冲器的基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，编码系统还包括：
第一层差异估计模块，与帧相容交错输入模块连接并被配置为基于第一层基准图片对帧相容交错表示执行差异估计以产生与各数据类别相关联的差异参数；
第一层差异补偿模块，与第一层差异估计模块连接并被配置为基于该差异参数对帧相容交错表示执行差异补偿以产生预测的交错图片；
第一层加算模块，与第一层差异补偿模块连接并被配置为取得帧相容交错表示与预测的交错图片之间的差以获得第一层残差；
与第一层加算模块和第一层量化模块连接的第一层变换模块，其中，第一层变换模块和第一层量化模块被配置为分别执行第一层残差的变换和量化以获得量化变换残差；
第一层逆量化模块，与第一层量化模块和第一层逆变换模块连接，其中，第一层逆量化模块和第一层逆变换模块被配置为分别执行量化变换残差的逆量化和逆变换以获得逆处理残差；和
第一层组合模块，与第一层逆变换模块连接并被配置为通过组合逆处理残差与预测的交错图片产生第一层重构图片。
EEE195.根据EEE 194的编码系统，还包括：
环路滤波器，对第一层重构图片执行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
EEE196.根据EEE 195的编码系统，其中，环路滤波器被配置为执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE197.根据EEE 192～196中的任一个的编码系统，还包括：
预处理模块，与第二层差异估计模块和第二层加算模块连接，其中，预处理模块被配置为基于来自至少一个第一层的相应的交错表示产生与特定第二层相关联的数据类别的预测交错表示。
EEE198.根据EEE 194～197中的任一个的编码系统，其中，通过处理帧相容交错表示以获得预测的第二层交错表示，产生与特定第二层相关联的第二层基准图片，第二层基准图片基于预测的第二层交错表示。
EEE199.根据EEE 194～197中的任一个的编码系统，其中，通过基准处理单元来从第一层基准图片产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE200.根据EEE 194～197中的任一个的编码系统，其中，通过处理一个或更多个第二层交错表示以获得预测的第二层渐进式表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第二层渐进式表示。
EEE201.根据EEE 194～197中的任一个的编码系统，其中，通过基准处理单元来产生与特定第三层相关联的第三层基准图片，该基准处理单元被配置为对第二层基准图片执行以下中的至少一个以获得第三层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE202.根据EEE 192～201中的任一个的编码系统，还包括：对于作为第二层或第三层的特定层，
与特定层差异估计模块和特定层加算模块连接的预处理模块，其中，预处理模块被配置为对一个或更多个表示执行处理以获得预测的增强分辨率表示。
EEE203.根据EEE202的编码系统，其中，预处理模块被配置为基于以下中的至少一个执行处理：
一个或更多个表示内的采样；和
来自与特定层相关联的基准图片缓冲器的一个或更多个基准图片。
EEE204.根据EEE 202或203的编码系统，其中，预处理模块被配置为基于来自另一层的先前译码图片内的采样执行处理。
EEE205.根据EEE 202～204中的任一个的编码系统，其中，
特定层包含第三层，并且，
预处理模块被配置为基于与第二层相关联的先前译码图片内的采样执行处理。
EEE206.根据EEE 192～205中的任一个的编码系统，其中，至少一个第一层和至少一个第二层的场奇偶性不同。
EEE207.根据EEE 194～206中的任一个的编码系统，其中，第二层编码器或第三层编码器包含：对于作为第二层或第三层的特定层，
基准处理单元，被配置为对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
特定层差异估计模块，与基准处理单元连接并被配置为基于来自与特定层相关联的基准图片缓冲器的特定层基准图片执行差异估计以产生差异参数；
特定层差异补偿模块，与特定层差异估计模块连接并被配置为基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
特定层加算模块，与特定层差异补偿模块连接并被配置为取得各预测差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
与特定层加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
特定层熵编码器，与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流。
EEE208.根据EEE 194～206中的任一个的编码系统，其中，第二层编码器或第三层编码器包含：对于作为第二层或第三层的特定层，
基准处理单元，被配置为对基准图片执行基准处理以获得各数据类别的一组预测图片；
第一加算模块，与基准处理单元连接并被配置为取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
特定层差异估计模块，与第一加算模块连接并被配置为对来自与特定层相关联的基准图片缓冲器的特定层基准图片执行差异估计以产生差异参数；
特定层差异补偿模块，与特定层差异估计模块连接并被配置为基于该差异参数对基准图片上执行差异补偿以产生一组差异补偿图片；
与第一加算模块和特定层差异补偿模块连接的第二层加算模块，其中，第二层加算模块被配置为取得各差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
与第二加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
特定层熵编码器，与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流。
EEE209.根据EEE 207或208的编码系统，其中，
特定层包含第二层，
基准处理单元被配置为对与至少一个第一层相关联的基准图片执行基准处理，并且，
预测图片包含与特定层相关联的一个或更多个数据类别的交错表示。
EEE210.根据EEE 208或208的编码系统，其中，
特定层包含第三层，
基准处理单元被配置为对与至少一个第二层相关联的基准图片执行执行基准处理，并且，
预测图片包含与特定层相关联的一个或更多个数据类别的渐进式表示。
EEE211.根据EEE 192～210中的任一个的编码系统，其中，各第二层或第三层与多个输入数据类别中的一个输入数据类别相关联。
EEE212.根据EEE 192～210中的任一个的编码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率交错表示的一个第二层。
EEE213.根据EEE 192～210或212中的任一个的编码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率渐进式表示的一个第三层。
EEE214.一种被配置为执行根据EEE 18～39中的任一个的方法的编码系统。
EEE215.一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：
帧相容交错输入模块，被配置为产生至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
帧相容渐进式输入模块，被配置为从视频数据产生至少一个第二层，其中，至少一个第二层中的各第二层包含一个或更多个数据类别的帧相容渐进式表示；
第一层编码器，与帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；
第二层编码器，与帧相容渐进式输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；和
第三层编码器，被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流，
其中，各第三层包含一个或更多个数据类别的增强分辨率渐进式表示。
EEE216.根据EEE 215的编码系统，其中，通过处理帧相容交错表示以获得预测的第二层渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层渐进式表示。
EEE217.根据EEE 215的编码系统，其中，通过基准处理单元产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE218.根据EEE 215的编码系统，其中，通过处理一个或更多个第二层渐进式表示以获得预测的第二层增强分辨率渐进式表示，产生与特定的第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第二层增强分辨率渐进式表示。
EEE219.根据EEE 215的编码系统，其中，通过基准处理单元产生与特定的第三层相关联的第三层基准图片，该基准处理单元被配置为对与第二层相关联的基准图片执行以下中的至少一个以获得第三层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE220.根据EEE 215～219中的任一个的编码系统，其中，第二层编码器或第三层编码器包含：对于作为第二层或第三层的特定层，
基准处理单元，被配置为对基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
特定层差异估计模块，与基准处理单元连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片上执行差异估计以产生差异参数；
特定层差异补偿模块，与特定层差异估计模块连接并被配置为基于该差异参数对基准图片上执行差异补偿以产生一组差异补偿图片；
特定层加算模块，与特定层差异补偿模块连接并被配置为取得各预测差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差；
与特定层加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
特定层熵编码器，与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流。
EEE221.根据EEE 215～219中的任一个的编码系统，其中，第二层编码器或第三层编码器包含：对于作为第二层或第三层的特定层，
基准处理单元，被配置为对基准图片执行基准处理以获得各数据类别的一组预测图片；
第一加算模块，与基准处理单元连接并被配置为取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
特定层差异估计模块，与第一加算模块连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数；
特定层差异补偿模块，与特定层差异估计模块连接并被配置为基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片；
与第一加算模块和特定层差异补偿模块连接的第二加算模块，其中，第二加算模块被配置为取得各差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
与第二加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
特定层熵编码器，与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流。
EEE222.根据EEE 220或221的编码系统，其中，
特定层包含第二层，
基准处理单元被配置为对与至少一个第一层相关联的基准图片执行基准处理，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE223.根据EEE 220或221的编码系统，其中，
特定层包含第三层，
基准处理单元被配置为对与至少一个第二层相关联的基准图片执行基准处理，并且，
该组预测图片包含与该特定层相关联的一个或更多个数据类别的渐进式表示。
EEE224.根据EEE 215～223中的任一个的编码系统，其中，各第二层或第三层与多个输入数据类别中的一个输入数据类别相关联。
EEE225.根据EEE 215～224中的任一个的编码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容渐进式交错表示的一个第二层。
EEE226.根据EEE 215～224中的任一个的编码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第三层。
EEE227.一种被配置为执行根据EEE 40～51中的任一个的方法的编码系统。
EEE228.一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层、至少一个第三层或至少一个第四层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：
被配置为产生至少一个第一层的第一帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；
被配置为产生至少一个第二层的第一帧相容渐进式输入模块，其中，至少一个第二层中的各第二层包含来自视频数据的一个或更多个数据类别的第一组帧相容渐进式表示；
被配置为产生至少一个第三层的第二帧相容交错输入模块，其中，至少一个第三层中的各第三层包含来自视频数据的多个数据类别的第二组帧相容交错表示；
被配置为产生至少一个第四层的第二帧相容渐进式输入模块，其中，至少一个第四层中的各第四层包含来自视频数据的多个数据类别的第二组帧相容渐进式表示；
第一层编码器，与第一帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流；
第二层编码器，与第一帧相容渐进式输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流；
第三层编码器，与第二帧相容交错输入模块连接并被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流；和
第四层编码器，与第二帧相容渐进式输入模块连接并被配置为编码至少一个第四层以产生一个或更多个编码的第四层位流。
EEE229.根据EEE 228的编码系统，其中，
第一组帧相容交错表示与第二组帧相容交错表示互补，并且，
第一组帧相容渐进式表示与第二组帧相容渐进式表示互补。
EEE230.根据EEE 228或229的编码系统，其中，
第一组帧相容交错表示包含来自视频数据的第一组采样，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的采样。
EEE231.根据EEE 228～230中的任一个的编码系统，其中，
第一组帧相容渐进式表示包含来自视频数据的第一组采样，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的采样。
EEE232.根据EEE 228～231中的任一个的编码系统，其中，
第一组帧相容交错表示包含视频数据的第一组频率成分，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的频率成分。
EEE233.根据EEE 228～232中的任一个的编码系统，其中，
第一组帧相容渐进式表示包含视频数据的第一组频率成分，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的频率成分。
EEE234.根据EEE 228～232中的任一个的编码系统，其中，
至少一个层和至少一个第三层适于被组合以形成多个数据类别中的各数据类别的增强分辨率交错表示，并且，
至少一个第二层和至少一个第四层适于被组合以形成多个数据类别中的各数据类别的增强分辨率渐进式表示。
EEE235.根据EEE 228～234中的任一个的编码系统，其中，通过处理第一组帧相容交错表示以获得预测的第二层帧相容渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层渐进式表示。
EEE236.根据EEE 228～234的编码系统，其中，通过基准处理单元产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE237.根据EEE 228～234中的任一个的编码系统，其中，通过处理第一组帧相容交错表示以获得预测的第三层帧相容交错表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层帧相容交错表示。
EEE238.根据EEE 228～236中的任一个的编码系统，其中，通过基准处理单元，产生与特定第三层相关联的第三层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第三层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE239.根据EEE 228～238中的任一个的编码系统，其中，通过处理第一组帧相容渐进式表示以获得预测的第四层帧相容渐进式表示，产生与特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE240.根据EEE 228～238中的任一个的编码系统，其中，通过基准处理单元，产生与特定第四层相关联的第四层基准图片，该基准处理单元被配置为对第二层基准图片执行以下中的至少一个以获得第四层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE241.根据EEE 228～240中的任一个的编码系统，其中，通过处理第二组帧相容交错表示以获得预测的第四层帧相容渐进式表示，产生与特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE242.根据EEE 228～240中的任一个的编码系统，其中，通过基准处理单元，产生与特定第四层相关联的第四层基准图片，该基准处理单元被配置为对第三层基准图片执行以下中的至少一个以获得第四层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE243.根据EEE 228～242中的任一个的编码系统，其中，第二层编码器、第三层编码器或第四编码器中的每一个包含：对于作为第二层、第三层或第四层的特定层，
被配置为对基准图片执行基准处理以获得各数据类别的一组预测图片的基准处理单元，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
与基准处理单元连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数的特定层差异估计模块；
与特定层差异估计模块连接并被配置为基于该差异参数对基准图片上执行差异补偿以产生一组差异补偿图片的特定层差异补偿模块；
与特定层差异补偿模块连接并被配置为取得各预测差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差的特定层加算模块；
与特定层加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流的特定层熵编码器。
EEE244.根据EEE 228～242中的任一个的编码系统，其中，第二层编码器、第三层编码器或第四编码器中的每一个包含：对于作为第二层、第三层或第四层的特定层，
被配置为对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片的基准处理单元；
与基准处理单元连接并被配置为取得与特定第二层相关联的各表示与相应预测图片之间的差以获得第一组残差的第一加算模块，第一组残差中的各残差与数据类别相关联；
与第一加算模块连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数的特定层差异估计模块；
与特定层差异估计模块连接并被配置为基于该差异参数对基准图片执行差异补偿以产生一组差异补偿图片的特定层差异补偿模块；
与第一加算模块和特定层差异补偿模块连接的第二加算模块，其中，第二加算模块被配置为取得各差异补偿图片与第一组残差中的相应残差之间的差以获得第二组残差；
与第二加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流的特定层熵编码器。
EEE245.根据EEE 243或244的编码系统，其中，
特定层包含第二层，
基准处理单元被配置为对与至少一个第一层相关联的基准图片执行基准处理，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE246.根据EEE 243或244的编码系统，其中，
特定层包含第三层，
基准处理单元被配置为对与至少一个第二层相关联的基准图片执行执行基准处理，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE247.根据EEE 243或244的编码系统，其中，
特定层包含第四层，
基准处理单元被配置为对与至少一个第二层相关联的基准图片和/或与至少一个第三层相关联的基准图片执行基准处理，并且，
该组预测图片包含与特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE248.根据EEE 228～247中的任一个的编码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的全分辨率表示的一个第三层。
EEE249.一种被配置为执行根据EEE 52～72中的任一个的方法的编码系统。
EEE250.一种用于将视频数据编码为多个位流的编码系统，各位流与至少一个第一层、至少一个第二层或至少一个第三层相关联，视频数据包含来自多个数据类别的数据，编码系统包括：
被配置为产生至少一个第一层的第一帧相容交错输入模块，其中，至少一个第一层包含来自视频数据的多个数据类别的第一组帧相容交错表示；
被配置为产生至少一个第二层的第二帧相容交错输入模块，其中，各第二层包含来自视频数据的多个数据类别的第二组帧相容交错表示；
被配置为产生至少一个第三层的第一交错输入模块，其中，各第三层包含来自视频数据的多个数据类别的一组交错表示；
与第一帧相容交错输入模块连接并被配置为编码至少一个第一层以产生一个或更多个编码的第一层位流的第一层编码器；
与第二帧相容交错输入模块连接并被配置为编码至少一个第二层以产生一个或更多个编码的第二层位流的第二层编码器；和
与第一交错输入模块连接并被配置为编码至少一个第三层以产生一个或更多个编码的第三层位流的第三层编码器。
EEE251.根据EEE 250的编码系统，其中，第一组帧相容交错表示与第二组帧相容交错表示互补。
EEE252.根据EEE 250或251的编码系统，其中，在给定的时间实例，各第一层和各第二层的场奇偶性相同。
EEE253.根据EEE 250～252中的任一个的编码系统，其中，在给定的时间实例，各第三层的场奇偶性与各第一层和各第二层的奇偶性相反。
EEE254.根据EEE 250～253中的任一个的编码系统，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的增强分辨率交错表示。
EEE255.根据EEE 254的编码系统，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的全分辨率交错表示。
EEE256.根据EEE 250～252中的任一个的编码系统，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的增强分辨率交错表示。
EEE257.根据EEE 256的编码系统，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的全分辨率交错表示。
EEE258.根据EEE 250～257中的任一个的编码系统，其中，通过处理第一组帧相容交错表示以获得预测的第二层帧相容交错表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层帧相容交错表示。
EEE259.根据EEE 250～257中的任一个的编码系统，其中，通过基准处理单元产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE260.根据EEE 250～259中的任一个的编码系统，其中，通过处理第一组和/或第二组帧相容交错表示以获得预测的第三层交错表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE261.根据EEE 250～259中的任一个的编码系统，其中，通过基准处理单元产生与特定第三层相关联的第三层基准图片，该基准处理单元被配置为对第一层基准图片和/或第二基准图片执行以下中的至少一个以获得第三层基准图片：解复用、上采样、去交错、频率滤波和内插。
EEE262.根据EEE 250～261中的任一个的编码系统，其中，第二层编码器或第三层编码器包含，对于作为第二层或第三层的特定层，
被配置为对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片的基准处理单元，其中，预测图片适于存储于与特定层相关联的基准图片缓冲器中；
与基准处理单元连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数的特定层差异估计模块；
与特定层差异估计模块连接并被配置为基于差异参数对基准图片执行差异补偿以产生一组差异补偿图片的特定层差异补偿模块；
与特定层差异补偿模块连接并被配置为取得各预测的差异补偿图片与和特定层相关联的一个或更多个表示中的相应表示之间的差以获得特定层残差的特定层加算模块；
与特定层加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流的特定层熵编码器。
EEE263.根据EEE 250～261中的任一个的编码系统，其中，第二层编码器或第三层编码器包含，对于作为第二层或第三层的特定层，
被配置为对与特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片的基准处理单元；
与基准处理单元连接并被配置为取得与特定层相关联的各表示与相应预测图片之间的差以获得第一组残差的第一加算模块，第一组残差中的各残差与数据类别相关联；
与第一加算模块连接并被配置为对来自与特定层相关联的基准图片缓冲器的基准图片执行差异估计以产生差异参数的特定层差异估计模块；
与特定层差异估计模块连接并被配置为基于差异参数对基准图片执行差异补偿以产生预测残差的特定层差异补偿模块；
与第一加算模块和特定层差异补偿模块连接的第二加算模块，其中，第二加算模块被配置为取得各预测残差与第一组残差中的相应残差之间的差以获得第二组残差；
与第二加算模块和特定层量化模块连接的特定层变换模块，其中，特定层变换模块和特定层量化模块被配置为分别对特定层残差执行变换和量化以获得特定层量化变换残差；和
与特定层量化模块连接并被配置为对特定层量化变换残差执行熵编码以产生与特定层相关联的一个或更多个位流的特定层熵编码器。
EEE264.根据EEE 262或263的编码系统，其中，
特定层包含第二层，
基准处理单元被配置为对与至少一个第一层相关联的基准图片执行基准处理，并且，
预测图片包含与该特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE265.根据EEE 262或263的编码系统，其中，
特定层包含第三层，
基准处理单元被配置为对与至少一个第一层和/或至少一个第二层相关联的基准图片执行基准处理，并且，
预测图片包含与特定层相关联的一个或更多个输入数据类别的交错表示。
EEE266.一种被配置为执行根据EEE 73～88中的任一个的方法的编码系统。
EEE267.一种用于解码代表视频数据并适于从编码系统被接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流和代表至少一个第二层的一个或更多个第二层位流，各位流包含与视频数据的一个或更多个数据类别相关联的数据，解码系统包含：
被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；和
被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个重构的渐进式表示。
EEE268.根据EEE 267的解码系统，其中，第二层解码器包含：对于特定第二层，
被配置为对与特定第二层相关联的一个或更多个第二层位流执行熵解码以获得与特定第二层相关联的第二层量化变换残差的第二层熵解码器；
被配置为基于差异参数对来自与特定第二层相关联的基准图片缓冲器的第二层基准图片执行差异补偿以产生预测的渐进式图片的第二层差异补偿模块，其中，差异参数适于被解码系统从编码系统接收；
与第二层熵编码器和第二层逆变换模块连接的第二层逆量化模块，其中，第二层逆量化模块和第二层变换模块被配置为分别对第二层量化变换残差执行逆量化和逆变换以获得第二层逆处理残差；和
与第二层逆变换模块和第二层差异补偿模块连接并被配置为组合第二层逆处理残差与预测的渐进式图片以获得与特定第二层相关联的一个或更多个重构的渐进式表示的第二层加算模块，其中，一个或更多个重构的渐进式表示适于存储于与特定第二层相关联的基准图片缓冲器中。
EEE269.根据EEE 267的解码系统，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，其中，第一层解码器包含：
被配置为对一个或更多个第一层位流执行熵解码以获得与至少一个第一层相关联的第一层量化变换残差的第一层熵解码器；
与第一层熵解码器和第一层逆变换模块连接的第一层逆量化模块，其中，第一层逆量化模块和第一层逆变换模块被配置为分别对第一层量化变换残差执行逆量化和逆变换以获得第一层逆处理残差；
被配置为基于差异参数对第一层基准图片执行差异补偿以产生预测的帧相容交错图片的第一层差异补偿模块，其中，差异参数适于被解码系统从编码系统接收；和
与第一层逆变换模块和第一层差异补偿模块连接并被配置为组合第一层逆处理残差与预测的帧相容交错图片以获得与至少一个第一层相关联的重构的帧相容交错表示的第一层加算模块，其中，重构的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE270.根据EEE 269的解码系统，其中，第一层解码器还包含：
被配置为对重构的帧相容交错表示执行环路滤波以获得经滤波的帧相容交错表示的第一层环路滤波器，其中，经滤波的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE271.根据EEE 270的解码系统，其中，第一层环路滤波器被配置为执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE272.根据269～271中的任一个的解码系统，其中，通过处理第一层基准图片以获得预测的渐进式表示，产生来自与特定第二层相关联的基准图片缓冲器的第二层基准图片，其中，第二层基准图片基于预测的渐进式表示。
EEE273.根据EEE 269～271中的任一个的解码系统，其中，通过基准处理单元产生第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插，该基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE274.根据EEE 268～273中的任一个的解码系统，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片是来自至少一个第一层的先前译码图片。
EEE275.根据EEE 268～274中的任一个的解码系统，其中，来自与特定第二层相关联的基准图片缓冲器的第二层基准图片基于来自另一第二层基准图片缓冲器的一组第二层基准图片。
EEE276.根据EEE 267～275中的任一个的解码系统，其中，重构的渐进式表示中的一个或更多个中的至少一个具有比全分辨率低的分辨率，解码系统还包含：
与第二层编码器连接并被配置为对具有比全分辨率低的分辨率的至少一个渐进式表示执行上采样以产生至少一个渐进式表示的预测的全分辨率渐进式表示的上采样器。
EEE277.根据EEE 267～276中的任一个的解码系统，还包括：
与第一层解码器和第二层解码器连接并被配置为对来自第一层基准图片缓冲器的第一层基准图片执行基准处理以获得各数据类别的一组预测的渐进式图片的基准处理单元，其中，该组预测的渐进式图片适于存储于与至少一个第二层相关联的基准图片缓冲器中，
其中，与至少一个第二层相关联的一个或更多个重构的渐进式表示基于该组的预测的渐进式图片。
EEE278.根据EEE 268～270中的任一个的解码系统，还包括：
与第一层解码器连接并被配置为对来自第一层基准图片缓冲器的第一层基准图片执行基准处理以获得各数据类别的一组预测的渐进式图片的基准处理单元；和
与基准处理单元和第二层解码器连接并被配置为组合该组预测的渐进式图片与来自与至少一个第二层中的一个或更多个相关联的基准图片缓冲器的第二层基准图片以获得与至少一个第二层相关联的一个或更多个重构的渐进式表示的加算模块。
EEE279.根据EEE 267～278中的任一个的解码系统，其中，各第二层与来自多个数据类别中的一个数据类别相关联。
EEE280.根据EEE 267～279中的任一个的解码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第二层。
EEE281.一种用于解码代表视频数据并适于从编码系统被接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与视频数据的一个或更多个数据类别相关联的数据，解码系统包含：
被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；
被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个交错表示，各交错表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得重构的交错表示；和
被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个重构的渐进式表示。
EEE282.根据EEE 281的解码系统，其中，第二层解码器或第三层解码器包含：对于作为第二层或第三层的特定层，
被配置为对与特定层相关联的位流执行熵解码以获得与特定层相关联的量化变换残差的特定层熵解码器；
被配置为基于差异参数对来自与特定层相关联的基准图片缓冲器的基准图片执行差异补偿以产生预测的图片的特定层差异补偿模块，其中，差异参数适于被解码系统从编码系统接收；
与特定层熵解码器和特定层逆变换模块连接的特定层逆量化模块，其中，特定层逆量化模块和特定层变换模块被配置为分别对量化变换残差执行逆量化和逆变换以获得与特定层相关联的逆处理残差；和
与特定层逆变换模块和特定层差异补偿模块连接并被配置为组合逆处理残差与预测的图片以获得与特定层相关联的一个或更多个重构的表示的特定层加算模块，其中，一个或更多个重构的表示适于存储于与特定层相关联的基准图片缓冲器中。
EEE283.根据EEE 282的解码系统，其中，来自与特定层相关联的基准图片缓冲器的基准图片基于存储于与至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，其中，第一层解码器包含：
被配置为对一个或更多个第一层位流执行熵解码以获得与至少一个第一层相关联的第一层量化变换残差的第一层熵解码器；
与第一层熵解码器和第一层逆变换模块连接的第一层逆量化模块，其中，第一层逆量化模块和第一层逆变换模块被配置为分别对第一层量化变换残差执行逆量化和逆变换以获得第一层逆处理残差；
被配置为基于差异参数对第一层基准图片执行差异补偿以产生预测的交错图片的第一层差异补偿模块，其中，差异参数适于被解码系统从编码系统接收；和
与第一层逆变换模块和第一层差异补偿模块连接并被配置为组合第一层逆处理残差与预测的交错图片以获得与至少一个第一层相关联的重构的帧相容交错表示的第一层加算模块，其中，重构的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE284.根据EEE 282或283的解码系统，其中，第一层解码器还包含：
被配置为对重构的帧相容交错表示执行环路滤波以获得经滤波的帧相容交错表示的第一层环路滤波器，其中，经滤波的帧相容交错表示适于存储于与至少一个第一层相关联的基准图片缓冲器中。
EEE285.根据EEE 284的解码系统，其中，第一层环路滤波器被配置为执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
EEE286.根据EEE 283～285中的任一个的解码系统，其中，通过处理第一层基准图片以获得预测的第二层交错表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE287.根据EEE 283～285中的任一个的解码系统，其中，通过基准处理单元来产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行以下中的至少一个以获得第二层基准图片：解复用、上采样、去交错、频率滤波和内插，基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE288.根据EEE 283～285中的任一个的解码系统，其中，通过处理一个或更多个第二层交错表示以获得预测的第三层渐进式表示，产生来自第二层基准图片的与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层渐进式表示。
EEE289.根据EEE 283～285中的任一个的解码系统，其中，通过被配置为对第二层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第三层基准图片的基准处理单元，产生与特定第三层相关联的第三层基准图片，基准处理单元和与特定第三层相关联的基准图片缓冲器以及与至少一个第二层相关联的基准图片缓冲器连接。
EEE290.根据EEE 283～289中的任一个的解码系统，其中，至少一个第一层和至少一个第二层的字段奇偶性不同。
EEE291.根据EEE 281～290中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与第二特定层相关联的基准图片缓冲器中，
其中，与第二特定层相关联的表示基于该组预测图片。
EEE292.根据EEE 283～290中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；和
加算模块，与基准处理单元和第二解码器连接并被配置为组合该组预测图片与来自与第二特定层相关联的基准图片缓冲器的基准图片以获得与第二特定层相关联的一个或更多个重构的表示。
EEE293.根据EEE 291或292的解码系统，其中，
第一特定层包含至少一个第一层中的第一层，并且，第一解码器是第一层解码器，
第二特定层包含至少一个第二层中的第二层，并且，第二解码器是第二层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的交错表示。
EEE294.根据EEE 291或292的解码系统，其中，
第一特定层包含至少一个第二层中的第二层，并且，第一解码器是第二层解码器，
第二特定层包含至少一个第三层中的第三层，并且，第二解码器是第三层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的渐进式表示。
EEE295.根据EEE 281～294中的任一个的解码系统，其中，各第二层或第三层与多个数据类别中的一个数据类别相关联。
EEE296.根据EEE 281～294中的任一个的解码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容全分辨率交错表示的一个第二层。
EEE297.根据EEE 281～294或296中的任一个的解码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率渐进式表示的一个第三层。
EEE298.一种用于解码代表视频数据并适于从编码系统被接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包含：
被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含一个或更多个数据类别的帧相容交错表示，第一层解码器由此被配置为获得重构的帧相容交错表示；
被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含一个或更多个帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个重构的帧相容渐进式表示；和
被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多个增强分辨率渐进式表示，各增强分辨率渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个重构的增强分辨率渐进式表示。
EEE299.根据EEE 298的解码系统，其中，通过处理第一层基准图片以获得预测的第二层帧相容渐进式表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层帧相容渐进式表示。
EEE300.根据EEE 298的解码系统，其中，通过基准处理单元产生与特定第二层相关联的第二层基准图片，该基准处理单元被配置为对第一层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第二层基准图片，基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE301.根据EEE 298的解码系统，其中，通过处理第二层基准图片以获得预测的第三层增强分辨率渐进式表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层增强分辨率渐进式表示。
EEE302.根据EEE 298的解码系统，其中，通过基准处理单元产生与特定第三层相关联的第三层基准图片，该基准处理单元被配置为对第二层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第三层基准图片，基准处理单元和与特定第三层相关联的基准图片缓冲器以及与至少一个第二层相关联的基准图片缓冲器连接。
EEE303.根据EEE 298～302中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与第二特定层相关联的基准图片缓冲器中，
其中，与第二特定层相关联的表示基于该组预测图片。
EEE304.根据EEE 298～302中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；和
加算模块，与基准处理单元和第二解码器连接并被配置为组合该组预测图片与来自与第二特定层相关联的基准图片缓冲器的基准图片以获得与第二特定层相关联的一个或更多个重构的表示。
EEE305.根据EEE 303或304的解码系统，其中，
第一特定层包含至少一个第一层中的第一层，并且，第一解码器是第一层解码器，
第二特定层包含至少一个第二层中的第二层，并且，第二解码器是第二层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE306.根据EEE 303或304的解码系统，其中，
第一特定层包含至少一个第二层中的第二层，并且，第一解码器是第二层解码器，
第二特定层包含至少一个第三层中的第三层，并且，第二解码器是第三层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的增强分辨率渐进式表示。
EEE307.根据EEE 298～306中的任一个的解码系统，其中，各第二层或第三层与多个数据类别中的一个数据类别相关联。
EEE308.根据EEE 298～307中的任一个的解码系统，其中，至少一个第二层是包含多个数据类别中的所有数据类别的帧相容渐进式表示的一个第二层。
EEE309.根据EEE 298～308中的任一个的解码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的帧相容全分辨率表示的一个第三层。
EEE310.一种用于解码代表视频数据并适于从编码系统被接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流、代表至少一个第三层的一个或更多个第三层位流和代表至少一个第四层的一个或更多个第四层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包含：
被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含第一组帧相容交错表示，各帧相容交错表示与一个或更多个数据类别相关联，第一层解码器由此被配置为获得一个或更多个第一层重构的帧相容交错表示；
被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含第一组帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个第二层重构的帧相容渐进式表示；
被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含第二组帧相容交错表示，各帧相容交错表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第三层重构的帧相容交错表示；和
被配置为解码与至少一个第四层相关联的一个或更多个第四层位流的第四层解码器，其中，至少一个第四层包含第二组帧相容渐进式表示，各帧相容渐进式表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第四层重构的帧相容渐进式表示。
EEE311.根据EEE 310的解码系统，其中，
第一组帧相容交错表示与第二组帧相容交错表示互补，并且，
第一组帧相容渐进式表示与第二组帧相容渐进式表示互补。
EEE312.根据EEE 310或311的解码系统，其中，
第一组帧相容交错表示包含来自视频数据的第一组采样，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的采样。
EEE313.根据EEE 310～312中的任一个的解码系统，其中，
第一组帧相容渐进式表示包含基于视频数据的第一组采样，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的采样。
EEE314.根据EEE 310～313中的任一个的解码系统，其中，
第一组帧相容交错表示包含视频数据的第一组频率成分，并且，
第二组帧相容交错表示包含不与第一组帧相容交错表示相关联的视频数据的频率成分。
EEE315.根据EEE 310～314中的任一个的解码系统，其中，
第一组帧相容渐进式表示包含视频数据的第一组频率成分，并且，
第二组帧相容渐进式表示包含不与第一组帧相容渐进式表示相关联的视频数据的频率成分。
EEE316.根据EEE 310～314中的任一个的解码系统，其中，
至少一个层和至少一个第三层适于被组合以形成多个数据类别中的各数据类别的增强分辨率交错表示，并且，
至少一个第二层和至少一个第四层适于被组合以形成多个数据类别中的各数据类别的增强分辨率渐进式表示。
EEE317.根据EEE 310～316中的任一个的解码系统，其中，通过处理第一组帧相容交错表示以获得预测的第二层帧相容渐进式表示，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层帧相容渐进式表示。
EEE318.根据EEE 310～316中的任一个的解码系统，其中，通过被配置为对第一层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第二层基准图片的基准处理单元，产生与至少一个第二层中的特定第二层相关联的第二层基准图片，基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE319.根据EEE 310～318中的任一个的解码系统，其中，通过处理第一组帧相容交错表示以获得预测的第三层帧相容交错表示，产生与至少一个第三层中的特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE320.根据EEE 310～318中的任一个的解码系统，其中，通过被配置为对第一层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第三层基准图片的基准处理单元，产生与特定第三层相关联的第三层基准图片，基准处理单元和与特定第三层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE321.根据EEE 310～320中的任一个的解码系统，其中，通过处理第一组帧相容渐进式表示以获得预测的第四层帧相容渐进式表示，产生与特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE322.根据EEE 310～320中的任一个的解码系统，其中，通过被配置为对第二层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第四层基准图片的基准处理单元，产生与特定第四层相关联的第四层基准图片，基准处理单元和与特定第四层相关联的基准图片缓冲器以及与至少一个第二层相关联的基准图片缓冲器连接。
EEE323.根据EEE 310～322中的任一个的解码系统，其中，通过处理第二组帧相容交错表示以获得预测的第四层帧相容渐进式表示，产生与特定第四层相关联的第四层基准图片，其中，第四层基准图片基于预测的第四层帧相容渐进式表示。
EEE324.根据EEE 310～322中的任一个的解码系统，其中，通过被配置为对第三层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第四层基准图片的基准处理单元，产生与特定第四层相关联的第四层基准图片，基准处理单元和与特定第四层相关联的基准图片缓冲器以及与至少一个第三层相关联的基准图片缓冲器连接。
EEE325.根据EEE 310～324中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与第二特定层相关联的基准图片缓冲器中，
其中，与第二特定层相关联的表示基于该组预测图片。
EEE326.根据EEE 310～324中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器和与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；和
加算模块，与基准处理单元和第二解码器连接并被配置为组合该组预测图片与来自与第二特定层相关联的基准图片缓冲器的基准图片以获得与第二特定层相关联的一个或更多个重构的表示。
EEE327.根据EEE 325或326的解码系统，其中，
第一特定层包含至少一个第一层中的第一层，并且，第一解码器是第一层解码器，
第二特定层包含至少一个第二层中的第二层，并且，第二解码器是第二层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE328.根据EEE 325或326的解码系统，其中，
第一特定层包含至少一个第二层中的第二层，并且，第一解码器是第二层解码器，
第二特定层包含至少一个第三层中的第三层，并且，第二解码器是第三层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE329.根据EEE 325或326的解码系统，其中，
第一特定层包含至少一个第二层中的第二层和/或至少一个第三层中的第三层，并且，第一解码器包含第二层解码器和/或第三层解码器，
第二特定层包含至少一个第四层中的第四层，并且，第二解码器包含第四层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的帧相容渐进式表示。
EEE330.根据EEE 310～329中的任一个的解码系统，其中，至少一个第三层是包含多个数据类别中的所有数据类别的全分辨率表示的一个第三层。
EEE331.一种用于解码代表视频数据并适于从编码系统被接收的多个位流的解码系统，多个位流包含代表至少一个第一层的一个或更多个第一层位流、代表至少一个第二层的一个或更多个第二层位流和代表至少一个第三层的一个或更多个第三层位流，各位流包含与一个或更多个数据类别相关联的数据，解码系统包含：
被配置为解码与至少一个第一层相关联的一个或更多个第一层位流的第一层解码器，其中，至少一个第一层包含第一组帧相容交错表示，各帧相容交错表示与一个或更多个数据类别相关联，第一层解码器由此被配置为获得一个或更多个第一层重构的帧相容交错表示；
被配置为解码与至少一个第二层相关联的一个或更多个第二层位流的第二层解码器，其中，至少一个第二层包含第二组帧相容交错表示，各帧相容交错表示与数据类别中的一个或更多个相关联，第二层解码器由此被配置为获得一个或更多个第二层重构的帧相容交错表示；和
被配置为解码与至少一个第三层相关联的一个或更多个第三层位流的第三层解码器，其中，至少一个第三层包含一个或更多交错表示，各交错表示与数据类别中的一个或更多个相关联，第三层解码器由此被配置为获得一个或更多个第三层重构的交错表示。
EEE332.根据EEE 331的解码系统，其中，第一组帧相容交错表示与第二组帧相容交错表示互补。
EEE333.根据EEE 331或332的解码系统，其中，在给定的时间实例，各第一层和各第二层的字段奇偶性相同。
EEE334.根据EEE 331～333中的任一个的解码系统，其中，在给定的时间实例，各第三层的字段奇偶性与各第一层和各第二层的奇偶性相反。
EEE335.根据EEE 331～334中的任一个的解码系统，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的增强分辨率交错表示。
EEE336.根据EEE 331～335中的任一个的解码系统，其中，至少一个第一层和至少一个第二层适于被组合以形成多个数据类别中的各数据类别的第一奇偶性的全分辨率交错表示。
EEE337.根据EEE 331～336的解码系统，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一奇偶性相反的增强分辨率交错表示。
EEE338.根据EEE 337的解码系统，其中，各第三层包含奇偶性与多个数据类别中的各数据类别的第一层奇偶性相反的全分辨率交错表示。
EEE339.根据EEE 331～338中的任一个的解码系统，其中，通过处理第一组帧相容交错表示以获得预测的第二层帧相容交错表示，产生与特定第二层相关联的第二层基准图片，其中，第二层基准图片基于预测的第二层交错表示。
EEE340.根据EEE 331～338中的任一个的解码系统，其中，通过被配置为对第一层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第二层基准图片的基准处理单元，产生与特定第二层相关联的第二层基准图片，基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层相关联的基准图片缓冲器连接。
EEE341.根据EEE 331～340中的任一个的解码系统，其中，通过处理第一组和/或第二组帧相容交错表示以获得预测的第三层交错表示，产生与特定第三层相关联的第三层基准图片，其中，第三层基准图片基于预测的第三层交错表示。
EEE342.根据EEE 331～340中的任一个的解码系统，其中，通过被配置为对第一层基准图片和/或第二层基准图片执行解复用、上采样、去交错、频率滤波和内插中的至少一个以获得第三层基准图片的基准处理单元，产生与特定第三层相关联的第三层基准图片，基准处理单元和与特定第二层相关联的基准图片缓冲器以及与至少一个第一层和/或至少一个第二层相关联的一个或更多个基准图片缓冲器连接。
EEE343.根据EEE 331～340中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片，其中，预测图片适于存储于与第二特定层相关联的基准图片缓冲器中，
其中，与第二特定层相关联的表示基于该组预测层。
EEE344.根据EEE 331～340中的任一个的解码系统，还包括：
基准处理单元，和与第一特定层相关联的第一解码器以及与第二特定层相关联的第二解码器连接并被配置为对与第一特定层相关联的基准图片执行基准处理以获得各数据类别的一组预测图片；和
加算模块，与基准处理单元和第二解码器连接并被配置为组合该组预测图片与来自与第二特定层相关联的基准图片缓冲器的基准图片以获得与第二特定层相关联的一个或更多个重构的表示。
EEE345.根据EEE 343或344的解码系统，其中，
第一特定层包含至少一个第一层中的第一层，并且，第一解码器是第一层解码器，
第二特定层包含至少一个第二层中的第二层，并且，第二解码器是第二层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
一组预测图片包含与第二特定层相关联的一个或更多个数据类别的帧相容交错表示。
EEE346.根据EEE 343或344的解码系统，其中，
第一特定层包含至少一个第一层中的第一层和/或至少一个第二层中的第二层，并且，第一解码器包含第一层解码器和/或第二层解码器，
第二特定层包含至少一个第三层中的第三层，并且，第二解码器包含第三层解码器，
基准处理单元被配置为对与第一特定层相关联的基准图片执行基准处理，并且，
该组预测图片包含与第二特定层相关联的一个或更多个数据类别的交错表示。
EEE347.根据EEE 1～173中的任一个的方法，其中，各第一层包含基层且各第二层包含增强层。
EEE348.根据EEE 18～88和94～173中的任一个的方法，其中，各第一层包含基层且剩余的层中的每一个包含增强层。
EEE349.一种用于根据EEE 1～93中的任一个的方法编码视频信号的编码系统。
EEE350.一种用于根据EEE 94～173中的任一个的方法解码视频信号的编码系统。
EEE351.一种用于解码通过根据EEE 174～266中的任一个的编码系统编码的视频信号的解码系统。
EEE352.一种包括导致计算机执行根据EEE 1～173中的一个或更多个的方法的一组指令的计算机可读介质。
EEE353.根据EEE 1～93中的一个或更多个的方法的用于编码至少一个图像或视频帧的用途。
EEE354.根据EEE 93～174中的一个或更多个的方法的用于解码至少一个位流的用途。
引文列表
[1]Advanced video coding for generic audiovisual services，
itu.int/rec/recommendation.asp？type＝folders&lang＝e&parent＝T-REC-H.264，March 2010(last retrieved：15 December 2011).
[2]SMPTE 421M，"VC-1 Compressed Video Bitstream Format and DecodingProcess"，April 2006.
[3]A.Tourapis,P.Pahalawatta,A.Leontaris,K.Stec,and W.Husak,"Encodingand Decoding Architecture for Format Compatible 3DVideo Delivery".USProvisional Patent Application No.61/223,027，July 2009.
[4]A.Leontaris,A.Tourapis,and P.Pahalawatta,"Enhancement Methods forSampled and Multiplexed Image and Video Data",US Provisional PatentApplication No.61/365,743，July2010.
[5]A.Tourapis.A.Leontaris,P.Pahalawatta,and K.Stec,"DirectcdInterpolation/Post-processing methods for video encoded data",US ProvisionalPatent Application No.61/170,995，April 2009.
[6]P.Pahalawatta,A.Tourapis,W.Husak."System And Method For Multi-Layered Image And Video Delivery Using Reference Processin,g Signals",USProvisional Patent Application No.61/362,661，July 2010.

Claims (16)

1.一种用于通过使用编码系统将视频数据编码为多个位流的方法，视频数据包含来自多个数据类别的数据，该方法包括：
提供至少一个第一层，其中，至少一个第一层包含来自视频数据的多个数据类别的帧相容交错表示；
提供至少一个第二层，其中，各第二层包含一个或更多个渐进式表示，各渐进式表示与数据类别中的一个或更多个相关联；
编码至少一个第一层以产生一个或更多个编码的第一层位流；和
编码至少一个第二层以产生一个或更多个编码的第二层位流；
其中数据类别指的是关于来自视图的低和/或高频率信息和/或深度图的数据。
2.根据权利要求1的方法，其中，编码至少一个第二层包含：对特定的第二层，
基于来自与所述特定的第二层相关联的基准图片缓冲器的第二层基准图片，对与所述特定的第二层相关联的一个或更多个渐进式表示执行差异估计以产生差异参数；
基于该差异参数对第二层基准图片执行差异补偿以产生预测的渐进式图片；
取得与所述特定的第二层相关联的各渐进式表示与对应的预测的渐进式图片之间的差以获得第二层残差，各第二层残差与数据类别相关联；
对第二层残差执行变换和量化以获得第二层量化变换残差；以及
对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
3.根据权利要求2的方法，其中，来自与所述特定的第二层相关联的基准图片缓冲器的第二层基准图片基于存储于与所述至少一个第一层相关联的基准图片缓冲器中的第一层基准图片，该方法还包括：
基于第一层基准图片对所述帧相容交错表示执行差异估计以产生与各数据类别相关联的差异参数；
基于该差异参数对第一层基准图片执行差异补偿以产生预测的帧相容交错图片；
取得所述帧相容交错表示与所述预测的帧相容交错图片之间的差以获得第一层残差；和
基于第一层残差和所述预测的帧相容交错图片产生第一层重构图片，其中，第一层基准图片基于第一层重构图片。
4.根据权利要求3的方法，其中，产生第一层重构图片包含：
执行第一层残差的变换和量化以获得第一层量化变换残差；
执行第一层量化变换残差的逆量化和逆变换以获得第一层逆处理残差；和
通过组合第一层逆处理残差和所述预测的帧相容交错图片产生第一层重构图片。
5.根据权利要求3的方法，还包括：
对第一层重构图片进行环路滤波以获得经滤波的第一层重构图片，其中，第一层基准图片基于经滤波的第一层重构图片。
6.根据权利要求5的方法，其中，环路滤波包含执行解块滤波、去噪声滤波、Wiener滤波和显式滤波中的一个或更多个。
7.根据权利要求3～6中的任一项的方法，还包括：
通过处理所述帧相容交错表示以获得预测的渐进式表示，产生来自与所述特定的第二层相关联的基准图片缓冲器的第二层基准图片，其中，第二层基准图片基于预测的渐进式表示。
8.根据权利要求3～6中的任一项的方法，还包括：
从第一层基准图片产生第二层基准图片包含通过基准处理单元对第一层基准图片执行基准处理，基准处理包含以下中的至少一个：解复用、上采样、去交错、频率滤波和内插第一层基准图片以获得第二层基准图片。
9.根据权利要求1的方法，其中，提供至少一个第二层包含：对于特定的第二层，
处理所述一个或更多个渐进式表示中的每一个以获得预测的增强分辨率渐进式表示。
10.根据权利要求9的方法，其中，所述处理基于以下中的至少一个：
一个或更多个渐进式表示内的采样；
来自与所述特定的第二层相关联的基准图片缓冲器的一个或更多个基准图片；和
来自至少一个第一层的先前编码图片内的采样。
11.根据权利要求9或10的方法，其中，所述处理基于与至少一个第二层中的另一第二层相关联的先前编码图片内的采样。
12.根据权利要求2～6中的任一项的方法，其中，来自与所述特定的第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片是来自至少一个第一层的先前编码图片。
13.根据权利要求2～6中的任一项的方法，其中，来自与所述特定的第二层相关联的基准图片缓冲器的一个或更多个第二层基准图片基于来自另一第二层基准图片缓冲器的一组第二层基准图片。
14.根据权利要求3～6中的任一项的方法，其中，编码至少一个第二层包含：对于特定的第二层，
通过第一层基准处理单元对第一层基准图片执行基准处理以获得各数据类别的一组预测的渐进式图片，其中，预测的渐进式图片适于存储于与该特定的第二层相关联的基准图片缓冲器中；
基于来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片对该特定的第二层的一个或更多个渐进式表示执行差异估计，以产生差异参数；
基于该差异参数对第二层基准图片执行差异补偿以产生一组差异补偿渐进式图片；
取得各预测的差异补偿渐进式图片与一个或更多个渐进式表示中的相应渐进式表示之间的差以获得第二层残差；
执行第二层残差的变换和量化以获得第二层量化变换残差；和
对第二层量化变换残差执行熵编码以产生一个或更多个第二层位流。
15.根据权利要求3～6中的任一项的方法，其中，编码至少一个第二层包含：对于特定的第二层，
通过第一层基准处理单元对第一层基准图片执行基准处理以获得各数据类别的预测的渐进式图片；
取得与该特定的第二层相关联的各渐进式表示与相应的预测的渐进式图片之间的差以获得第一组残差，第一组残差中的各残差与数据类别相关联；
基于来自与该特定的第二层相关联的基准图片缓冲器的第二层基准图片对第一组残差执行差异估计以产生差异参数；
基于该差异参数对第二层基准图片执行差异补偿以产生预测的第二层残差；
取得各预测的第二层残差与第一组残差中的相应残差之间的差以获得第二组残差；
执行第二组残差的变换和量化以获得第二组量化变换残差；和
对第二组量化变换残差执行熵编码以产生一个或更多个第二层位流。
16.根据权利要求1的方法，其中，各第二层与所述多个数据类别中的一个数据类别相关联。
CN201280062317.7A 2011-12-17 2012-12-17 多层交错帧相容增强分辨率视频传输 Expired - Fee Related CN103999466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710578537.XA CN107241606B (zh) 2011-12-17 2012-12-17 解码系统、方法和设备以及计算机可读介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161576989P 2011-12-17 2011-12-17
US61/576,989 2011-12-17
PCT/US2012/070172 WO2013090923A1 (en) 2011-12-17 2012-12-17 Multi-layer interlace frame-compatible enhanced resolution video delivery

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710578537.XA Division CN107241606B (zh) 2011-12-17 2012-12-17 解码系统、方法和设备以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN103999466A CN103999466A (zh) 2014-08-20
CN103999466B true CN103999466B (zh) 2017-08-15

Family

ID=48613279

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201280062317.7A Expired - Fee Related CN103999466B (zh) 2011-12-17 2012-12-17 多层交错帧相容增强分辨率视频传输
CN201710578537.XA Active CN107241606B (zh) 2011-12-17 2012-12-17 解码系统、方法和设备以及计算机可读介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710578537.XA Active CN107241606B (zh) 2011-12-17 2012-12-17 解码系统、方法和设备以及计算机可读介质

Country Status (4)

Country Link
US (2) US9014263B2 (zh)
EP (1) EP2792146A4 (zh)
CN (2) CN103999466B (zh)
WO (1) WO2013090923A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
WO2014052740A1 (en) * 2012-09-28 2014-04-03 Vid Scale, Inc. Adaptive upsampling for multi-layer video coding
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
US20140198846A1 (en) * 2013-01-16 2014-07-17 Qualcomm Incorporated Device and method for scalable coding of video information
TWI508527B (zh) * 2013-05-09 2015-11-11 Mstar Semiconductor Inc 影像顯示方法以及影像顯示裝置
KR102104403B1 (ko) * 2013-05-28 2020-04-28 한화테크윈 주식회사 단일영상 내의 안개 제거 방법 및 장치
EP3090549A1 (en) 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
WO2015168581A1 (en) * 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
US20160080771A1 (en) * 2014-09-17 2016-03-17 Mediatek Inc. Motion compensation apparatus having at least one processing circuit shared by normal mode and resized reference frame mode and related motion compensation method
US10880566B2 (en) 2015-08-28 2020-12-29 Boe Technology Group Co., Ltd. Method and device for image encoding and image decoding
CN105163124B (zh) * 2015-08-28 2019-01-18 京东方科技集团股份有限公司 一种图像编码方法、图像解码方法及装置
US10015513B2 (en) * 2016-05-06 2018-07-03 Himax Technologies Limited Image processing apparatus and image processing method thereof
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
US10523895B2 (en) 2016-09-26 2019-12-31 Samsung Display Co., Ltd. System and method for electronic data communication
US10616383B2 (en) 2016-09-26 2020-04-07 Samsung Display Co., Ltd. System and method for electronic data communication
US10075671B2 (en) 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
JP7183304B6 (ja) * 2018-05-25 2022-12-20 ライン プラス コーポレーション 複数のチャネルを利用して動的ビットレートのビデオを配信および再生する方法およびシステム
CN110677649B (zh) * 2019-10-16 2021-09-28 腾讯科技（深圳）有限公司 基于机器学习的去伪影方法、去伪影模型训练方法及装置
US11711491B2 (en) 2021-03-02 2023-07-25 Boe Technology Group Co., Ltd. Video image de-interlacing method and video image de-interlacing device
GB2619096A (en) * 2022-05-27 2023-11-29 V Nova Int Ltd Enhancement interlacing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
WO2010123862A1 (en) * 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
WO2011094034A2 (en) * 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI89546C (fi) 1988-02-23 1993-10-11 Philips Nv Anordning foer spatialtemporal undersampling av digitala videosignaler representerade en foeljd av successiva bilder och anordning foer transmission av hdtv-bilder
US5652616A (en) 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US5886736A (en) 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6151362A (en) 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100556826B1 (ko) 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
WO2005064948A1 (en) * 2003-12-22 2005-07-14 Koninklijke Philips Electronics N.V. Compatible interlaced sdtv and progressive hdtv
WO2006044370A1 (en) * 2004-10-13 2006-04-27 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
MY159176A (en) 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
US20080043832A1 (en) * 2006-08-16 2008-02-21 Microsoft Corporation Techniques for variable resolution encoding and decoding of digital video
KR101365441B1 (ko) * 2007-10-11 2014-02-19 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
CN101420609B (zh) 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
BRPI0916367A2 (pt) 2008-07-21 2018-05-29 Thompson Licensing dispositivo de codificação para sinais de vídeo em 3d
KR20100089705A (ko) 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
EP2420068A4 (en) * 2009-04-13 2012-08-08 Reald Inc ENCRYPTION, DECOMPOSITION AND DISTRIBUTION OF STEREOSCOPIC VIDEO CONTENT WITH REINFORCED RESOLUTION
CN102450010A (zh) 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9774882B2 (en) 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US20110255003A1 (en) * 2010-04-16 2011-10-20 The Directv Group, Inc. Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US9438881B2 (en) 2010-07-19 2016-09-06 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
CN105847781B (zh) 2010-07-21 2018-03-20 杜比实验室特许公司 用于多层帧兼容视频传输的解码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101461244A (zh) * 2006-04-04 2009-06-17 三星电子株式会社 使用扩展宏块跳过模式进行编码/解码的方法和装置
WO2010123862A1 (en) * 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
WO2011094034A2 (en) * 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs

Also Published As

Publication number Publication date
WO2013090923A1 (en) 2013-06-20
EP2792146A4 (en) 2015-12-09
US9961357B2 (en) 2018-05-01
US9014263B2 (en) 2015-04-21
CN107241606B (zh) 2020-02-21
CN103999466A (zh) 2014-08-20
US20140321540A1 (en) 2014-10-30
US20150201206A1 (en) 2015-07-16
CN107241606A (zh) 2017-10-10
EP2792146A1 (en) 2014-10-22

Similar Documents

Publication Publication Date Title
CN103999466B (zh) 多层交错帧相容增强分辨率视频传输
US11044454B2 (en) Systems and methods for multi-layered frame compatible video delivery
US10798412B2 (en) Encoding and decoding architectures for format compatible 3D video delivery
US9282343B2 (en) Multiview and bitdepth scalable video delivery
EP2591609B1 (en) Method and apparatus for multi-layered image and video coding using reference processing signals
CN103262532B (zh) 用于经采样复用的图像和视频数据的增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170815

Termination date: 20181217