CN101167364A - 具有两层编码和单层解码的可伸缩视频编码 - Google Patents

具有两层编码和单层解码的可伸缩视频编码 Download PDF

Info

Publication number
CN101167364A
CN101167364A CNA2006800145112A CN200680014511A CN101167364A CN 101167364 A CN101167364 A CN 101167364A CN A2006800145112 A CNA2006800145112 A CN A2006800145112A CN 200680014511 A CN200680014511 A CN 200680014511A CN 101167364 A CN101167364 A CN 101167364A
Authority
CN
China
Prior art keywords
layer
data
coefficient
ground floor
coded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800145112A
Other languages
English (en)
Other versions
CN101167364B (zh
Inventor
陈培松
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36693137&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101167364(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101167364A publication Critical patent/CN101167364A/zh
Application granted granted Critical
Publication of CN101167364B publication Critical patent/CN101167364B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一些实施例包括一种对视频位流进行解码的方法，所述方法包含：接收第一层数据和第二层数据；将所述接收到的第一层数据与所述接收到的第二层数据组合；以及对所述组合的数据进行解码。此外，一种视频编码方法包含：选择用于在第一层和第二层中进行编码的数据，以便允许在单个组合层中对所述数据进行解码；以及通过在所述第一层中对系数进行编码，并在所述第二层中对所述第一层系数的差分改进进行编码而在所述第一层和在所述第二层中对选择的数据进行编码。实现将反量化步骤的数目减少到一个步骤，以便在硬件内核中支持管线反量化。

Description

具有两层编码和单层解码的可伸缩视频编码
主张35U.S.C.§119下的优先权
本专利申请案主张2005年3月10日申请的标题为“TWO PARALLEL ENCODINGAND SINGLE LAYER DECODING”的第60/660/877号临时申请案，以及2005年9月1日申请的标题为“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING ANDSINGLE LAYER DECODING”的第60/713,208号临时申请案的优先权，所述两个申请案均以引用的方式明确并入本文中。
技术领域
本发明涉及用于编码和解码可伸缩视频数据的方法和设备。
背景技术
由于因特网和无线通信的迅猛发展和巨大成功以及对多媒体服务的增加的需求，在因特网和移动/无线信道上串流传输数据已引起极大关注。在异类因特网协议(IP)网络中，视频由服务器提供且可由一个或一个以上客户端串流传输。有线连接包含拨号、ISDN、电缆、xDSL、光纤、LAN(局域网)、WAN(广域网)等。传输模式可为单播或多播。各种个别客户端装置(包含PDA(个人数字助理)、膝上型计算机、台式计算机、机顶盒、TV、HDTV(高清晰度电视机)、移动电话等)针对相同内容的同时需要不同带宽的位流。连接带宽可随着时间迅速变化(从9.6kbps到100Mbps及以上)，且可比服务器的反应快速。
与异类IP网络相似的是移动/无线通信。在移动/无线信道上传输多媒体内容非常具有挑战性，因为这些信道常由于以下因素而严重受损：多径衰减、遮蔽、符号间干扰以及噪声扰动。其它一些原因(例如移动性和竞争业务)也会导致带宽变化和损耗。信道噪声和服务的用户数目确定信道环境的随着时间变化的特性。除了环境条件之外，由于地理位置以及移动漫游，目的地网络可从第二到第三代蜂窝网络变化到仅限宽带数据的网络。所有这些变量均要求对多媒体内容的自适应速率调整，甚至是在运作中进行调整。因此，在异类的有线/无线网络上成功地传输视频要求有效的编码，以及对变化的网络条件、装置特征和用户偏好的适应性，同时还对损耗具有弹性。
为了满足不同的用户要求并适应信道变化，可产生多个独立版本的位流，每个版本符合基于传输带宽、用户显示和/或计算能力的一类约束因素，但这对于服务器存储和多播应用并不有效。在可伸缩编码中，在于服务器处建立适应高端用户的单个宏位流的情况下，将用于低端应用的位流嵌入为宏位流的子集。由此，单个位流可通过选择性地传输子位流而适用于不同的应用环境。可伸缩编码提供的另一优点是在容易出错的信道上稳固地传输视频。可易于处置错误保护和错误隐藏。可向含有最高有效信息的基础层位应用更加可靠的传输信道或更好的错误保护。
在混合编码器中存在空间、时间和信噪比(SNR)可伸缩性，所述编码器如MPEG-1、MPEG-2、MPEG-4(统称为MPEG-x)、H.261、H.262、H.263以及H.264(统称为H.26x)。在混合编码中，通过运动补偿预测(MCP)去除时间冗余。通常将视频划分成一系列的图片群组(GOP)，其中每个GOP以内部编码帧(I)开始，随后是前向(和/或后向)预测帧(P)与双向预测帧(B)的布置。P帧和B帧均是采用MCP的中间预测帧。基础层可含有较低质量水平的I帧、P帧或B帧的最高有效信息，且增强层可含有相同帧或基础层中不含有的额外时间伸缩帧的较高质量信息。可通过以下方式在解码器处实现SNR可伸缩性：选择性地忽略增强层中的较高质量数据的解码，同时对基础层数据进行解码。依据数据如何在基础层与增强层之间解析，对基础层和增强层数据的解码可引入增加的复杂性和存储器要求。增加的计算复杂性和增加的存储器要求可能会降低例如PDA(个人数字助理)、移动电话等的功率有限且计算能力有限的装置的性能。所需要的是，对基础层和增强层进行解码却不会显著增加此类装置的计算复杂性和存储器需求。
发明内容
揭示一种用于对多媒体位流进行解码的方法和设备，其包括用于以下操作的方法和装置：接收第一层编码数据和第二层编码数据；组合所述接收到的第一层解码数据和所述接收到的第二层解码数据；以及将组合数据进行解码；其中所述第一层包括基础层且所述第二层包括增强层。
另一方面，一种用于对多媒体位流进行解码的设备包括：接收器，用以接收第一层编码数据和第二层编码数据；组合器，用以组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及解码器，用以对组合数据进行解码；其中所述第一层包括基础层且所述第二层包括增强层。
在以上方面中，用于解码的方法和设备可进一步包括用于以下操作的方法或装置：接收基础层数据中的残留错误系数和接收增强层数据中的对基础层残留错误系数的差分改进；将所述残留错误系数和差分改进与所述组合的第一层和第二层数据组合；以及对所述组合的第一层、第二层和组合的残留错误系数和差分改进进行解码。或者，所述方法和设备可进一步包括用于以下操作的方法或装置：接收基础层数据中的残留错误系数和接收增强层数据中的对基础层残留错误系数的差分改进，其中基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且增强层差分改进是基于残留错误系数和原始增强层残留错误系数而确定的。用于解码的方法和设备可进一步包括用于以下操作的方法或装置：接收基础层数据中的残留错误系数和接收增强层数据中的对基础层残留错误系数的差分改进，其中基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且增强层差分改进是基于基础层残留错误系数和原始增强层残留错误系数而确定的。用于解码的方法和设备可进一步包括用于将第一层数据从第一量化步长转换成第二量化步长的方法或装置，其中以第二量化步长对接收到的第二层数据进行编码。用于解码的方法和设备可进一步包括用于以下步骤的方法或装置：识别组合数据中的中间编码数据，所述中间编码数据与第一层相关联；识别组合数据中的中向编码数据，所述中间编码数据与第二层相关联；以及对识别出的与第一层相关联的中间编码数据或识别出的与第一和第二层相关联的中间编码数据进行解码。
用于解码的方法和设备可进一步包括用于以下操作的方法或装置：识别出所述组合数据中的内部编码数据，所述内部编码数据与第一层相关联；以及对识别出的内部编码数据进行解码。用于解码的方法和设备可进一步包括用于以下操作的方法或装置：识别所述组合数据中的内部编码数据，所述内部编码数据与第一层相关联；识别所述组合数据中的中间编码数据，所述中间编码数据与第二层相关联；以及对识别出的内部编码数据或识别出的中间编码数据进行解码。
用于解码的方法和设备可进一步包括用于以下操作的方法或装置：将第一层数据从第一量化步长转换成第二量化步长，其中将接收到的第二层数据以第二量化步长进行编码。用于解码的方法和设备可进一步包括用于以下操作的方法或装置：在第一回合中识别第一层内部编码数据，以在第二回合中对识别出的第二层内部编码数据进行解码；以及将经解码的第一层内部编码数据和经解码的第二层内部编码数据进行组合。用于解码的方法和设备可进一步包括用于以下操作的方法或装置：将组合的第一层和第二层数据反量化；并对经反量化的数据进行反变换。
此外，可通过计算机可读媒体和/或处理器来实施以上方面。
在又一方面中，用于对多媒体数据进行编码的方法和设备可包括用于以下操作的方法或装置：选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对数据进行解码；以及在第一层和第二层中对选择的数据进行编码。
在又一方面中，用于对多媒体数据进行编码的设备包括：接收器，其经配置以选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及编码器，其经配置以在第一层和第二层中对选择的数据进行编码。
在以上方面中，编码可包括：在第一层中编码系数；和在第二层中编码第一层系数的差分改进。第一层编码数据可包括第一系数，且第二层编码数据可包括第二系数，其中第一和第二系数用于解码。所述数据可包括内部编码数据。如果是的话，则用于编码的方法和设备可进一步包括用于在第一层中或在第一和第二层中对内部编码数据进行编码的方法或装置。
所述数据可包括中间编码数据。如果是的话，则用于编码的方法和设备可进一步包括用于在第二层中对中间编码数据进行编码的方法或装置。
用于编码的方法和设备可进一步包括用于以下操作的方法或装置：在第一层中将一些选择的数据作对中间编码数据进行编码，且在第二层中将一些选择的数据作对中间编码数据进行编码。
如果是的话，则用于编码的方法和设备可进一步包括用于在第一层中将选择的数据作对内部编码数据进行编码的方法或装置。
51.根据权利要求40所述的方法，其中编码进一步包括在第一层中将一些选择的数据作对内部编码数据进行编码，且在第二层中将一些选择的数据作对中间编码数据进行编码。
用于编码的方法和设备可进一步包括用于以下操作的方法或装置：基于第一和第二系数选择第一主系数；以及基于第一和第二系数计算第二主系数，其中编码进一步包括使用第一主系数在第一层中进行编码和使用第二主系数在第二层中进行编码。第一系数可为基础层残留错误系数，且第二系数为增强层残留错误系数，且所述方法和设备可进一步包括用于以下操作的方法或装置：将第一主系数选择为第一系数和第二系数中的最小者或零，且计算进一步包括将第二主系数设定为等于第二系数。
用于编码的方法和设备可进一步包括将块标头信息和运动向量信息与第一层相关联，所述块标头信息和运动向量信息源自接收到的数据。用于编码的方法和设备可进一步包括以第一步长将第一层编码数据量化以及以第二步长将第二层编码数据量化，其中第一步长和第二步长通过换算因数相关。
用于编码的方法和设备可进一步包括对额外开销信息进行编码，其中额外开销信息是由以下各数据组成的群组中的成员：识别层的数目的数据；将层识别为基础层的数据；将层识别为增强层的数据；识别层之间的相互关系的数据；以及将层识别为最终增强层的数据。
此外，可通过计算机可读媒体和/或处理器来实施以上方面。
附图说明
图1是用于传递流视频的通信系统的实例的图示；
图2A是对SNR可伸缩流视频进行编码的一个实例的流程图；
图2B是在单层中对SNR可伸缩流视频进行解码的一个实例的流程图；
图3是P帧构造过程的实例的图示；
图4是用于对基础层和增强层系数进行编码的编码器过程的实例的图示；
图5是用于图4所示的过程的基础层和增强层系数选择器过程的实例的图示；
图6是用于图4所示的过程的基础层和增强层系数选择器过程的另一实例的图示；
图7是用于图4所示的过程的基础层和增强层系数选择器过程的另一实例的图示；
图8是用于对基础层数据进行解码的解码器过程的实例的图示；
图9是用于对基础层和增强层数据进行解码的解码器过程的实例的图示；以及
图10是用于对基础层和增强层数据进行解码的解码器过程的另一实例的图示。
具体实施方式
描述用以提供具有减少的解码器额外开销的多层视频的方法和设备，所述多层视频包含基础层和一个或一个以上增强层。编码算法产生基础层和增强层系数，其可在两层均可用于解码时在反量化之前在解码器处组合。有些实施例的方面在增强层不可用或解码器可能出于例如节省功率等原因选择不对增强层进行解码时提供可接受的基础层视频。在以下描述中，给出具体细节以提供对实施例的全面了解。然而，所属领域的技术人员将了解，可在没有这些具体细节的情况下实践实施例。举例来说，可在方框图中展示电组件，以免以不必要的细节混淆实施例。在其它实例中，可详细展示此种组件、其它结构和技术以进一步解释实施例。
也请注意，可将实施例描述为过程，将所述过程描绘为流程图、作业图、结构图或方框图。虽然流程图可将操作描述为循序过程，但许多操作可并行或同时执行，且过程可重复。此外，操作次序可重新排列。当操作完成时，过程终止。过程可对应于方法、函数、程序、子例行程序、子程序等。当过程对应于函数时，其终止对应于函数返回到调用函数或主函数。
图1是用于传递流视频的通信系统的实例的图示。系统100包含编码器装置105和解码器装置110。编码器装置105进一步包含变换组件115、量化组件120、SNR可伸缩编码器组件125、存储器组件130、处理器组件135和通信组件140。处理器135提供计算平台以执行其它组件的过程。变换组件115将视频数据从空间域变换成另一种域，例如在DCT(离散余弦变换)的情况下为频率域。正被变换的数据可为变换实际视频数据的内部编码数据；或者其可为变换空间预测冗余的内部编码数据；或者其可为变换残留错误的中间编码数据。其它数字变换包含Hadamard变换、DWT(离散子波变换)和例如H.264中使用的整数变换。
量化组件120分派一定数目的位以表示每个经变换的系数。可针对每个块或每个宏块改变经变换的系数的量化。宏块可为16×16个像素的块(由16×16Luma块以及两个8×8Chroma块构成)。量化参数QP确定所执行的量化的水平。通过增加用于可在SNR可伸缩视频流的基础层中编码的系数的低质量数字表示形式的QP来实现更多的数字压缩。减少QP允许可在SNR可伸缩视频流的增强层中编码的系数的高质量数字表示形式。SNR可伸缩编码器组件125(例如)并行地执行对系数的交互选择，所述交互选择将系数解析成基础层系数和增强层系数。可以使得解码器装置能够在单层中解码两层(基础层和增强层数据)的方式完成对基础层和增强层系数的交互选择，且将在下文中更详细论述。存储器组件130用来存储信息，例如待编码的原始视频数据、待传输的经编码视频数据或由各个编码器组件操作的中间数据。
变换组件115和量化组件120还分别执行反变换和反量化。在编码器中执行这些反向操作，以便允许用与解码器装置以相同的方式重新构造系数，使得残留错误计算和增强层系数计算尽可能地准确。
通信组件140含有用以从外部来源145接收待编码数据的逻辑(例如，接收器)。外部来源145可(例如)为外部存储器、因特网、现场视频和/或音频馈入，且接收数据可包含有线和/或无线通信。通信组件140还含有用以在因特网150上传输(Tx)经编码的数据的逻辑。经编码的数据可包括经变换的数据、经量化的数据、可变长度编码数据或其任何组合。网络150可为例如电话、电缆和光纤的有线系统或无线系统的一部分。在无线通信系统的情况下，网络150可包括(例如)码分多址(CDMA或CDMA2000)通信系统的一部分，或者，系统可为频分多址(FDMA)系统、时分多址(TDMA)系统，例如用于服务行业的GSM/GPRS(通用包无线电服务)/EDGE(增强型数据GSM环境)或TETRA(陆地集群无线电)移动电话技术、宽带码分多址(WCDMA)、高数据速率(1xEV-DO或1xEV-DO Gold Multicast)系统，或一般来说任何使用技术组合的无线通信系统。编码器装置105中的一个或一个以上元件可重新布置和/或组合。举例来说，处理器组件135可在编码器装置105外部。
解码器装置110含有与编码器装置105类似的组件，其中包含反变换组件155、反量化组件160、单层解码器组件165、存储器组件170、通信组件175和处理器组件180。解码器装置110接收已在网络150上传输的经编码数据或从外部存储设备185接收经编码的数据。经编码的数据可包括经变换的数据、经量化的数据、可变长度编码数据或其任何组合。通信组件175含有用于结合网络150接收(Rx)经编码数据的逻辑，以及用于从外部存储设备185接收经编码的数据的逻辑。外部存储设备185可为(例如)外部RAM或ROM，或远程服务器。单层解码器组件165含有用于对基础层和增强层数据进行解码的逻辑。如果(例如)未接收到增强层或是接收到处于破坏状态的增强层，或为了节省电池电力或处理功率，那么基础层数据通过其自身进行解码。单层解码器组件165也含有用于将基础层与增强层数据组合以便在单层中对组合数据进行解码的逻辑。通过反量化组件160处理内部编码数据，随后通过反变换组件155处理内部编码数据，从而产生可在显示组件190上显示的经解码图片。
可在解码参考帧(根据其预测中间编码数据)之后解码中间编码数据。通过单层解码器组件165、反量化组件160和反变换组件155处理残留错误系数，从而导致经解码的残留错误。接着，将残留错误与来自参考帧的最佳匹配宏块组合。可用显示组件190显示经解码的帧、将其存储在外部存储设备185中或存储在处理器组件180的内部存储器中。显示组件190可为解码装置的含有例如视频显示硬件和逻辑(包含显示屏)等部分的集成部分，或者其可为外部外围装置。通信组件175还含有用以将经解码的帧传送到外部存储组件185或显示组件190的逻辑。下文更详细地论述分别通过SNR可伸缩编码器组件125和单层解码器组件165执行的两层编码和单层解码。解码器装置110的一个或一个以上元件可被重新布置和/或组合。举例来说，处理器组件180可在解码器装置110外部。
在视频解码中，(例如)硬件视频内核可用来加速计算密集型解码过程(特别是反量化和反变换)。硬件视频内核可含有能够同时执行(或管线化)若干功能的专用电路和/或处理器。管线化使得能够减少解码时间。标准管线流动中的任何中断(例如额外的反变换、额外的反量化操作或乃至额外的添加)均可能减慢整个过程。所属领域的技术人员将容易了解，可通过硬件、软件、固件、中间件、微码或其任何组合来实施视频内核的一个或一个以上实施例。在常规的单层解码器中，对I帧、P帧和B帧的解码全部遵循相似途径。不论系数是代表内部编码视频还是残留错误，均将其反量化、反变换并接着分别与空间预测系数或最佳匹配宏块系数组合。下文描述的编码和解码过程使得对基础层和/或增强层的可伸缩解码对于解码器硬件视频内核是透明的。实现这样的一种方法是单独解码每个层(各在其自身的回合中)，并接着将经解码的层组合。出于高效起见，这种两回合方法可重新使用相同的硬件电路。对解码器的透明度也可通过以下方式实现：先组合基础层数据和对基础层数据的增强层修改，然后在单个回合中在硬件视频内核中解码组合数据，从而提供更高的效率。举例来说，例如DSP(数字信号处理器)的处理器可执行组合操作。
图2A是对SNR可伸缩流视频编码的一个实例的流程图。过程200描绘对GOP编码的流程，所述GOP由初始的I帧和随后的多个P和/或B帧构成。每个帧可含有基础层数据和/或增强层数据。所属领域的技术人员也可选择提供额外层的数据。
用完全内部编码的宏块(内部MB)对I帧编码(205)。在H.264中，用完全开发的空间预测对I帧中的内部MB编码，此提供大量的编码增益。存在两种子模式：内部4×4和内部16×16。如果待编码基础层和/或增强层将利用由空间预测提供的编码增益，则在对增强层进行编码和重新构造之前对基础层进行编码和重新构造。使用对I帧的两回合编码和重新构造。在基础层中，基础层量化参数QPb向变换系数提供粗糙的量化步长。可在增强层处对原始帧与重新构造的基础层帧之间的逐像素差异进行编码。增强层使用量化参数QPe，其提供较精细的量化步长。例如图1的SNR可伸缩编码器125等编码装置可执行编码动作205。
在步骤210处，编码器针对GOP中的P和/或B帧对基础层数据和增强层数据编码。例如图1的SNR可伸缩编码器125的编码装置可执行编码动作210。确定(215)是否还有其它P或B帧待编码。例如图1的SNR可伸缩编码器125等的编码装置可执行确定215。如果仍有其它P或B帧，则步骤210重复，直到GOP中的所有帧均已完成编码为止。P和B帧由中间编码宏块(中间MB)组成，但是如下文所论述，P和B帧中可存在内部MB。
为了使解码器能够区分基础层和增强层数据，编码器对额外开销信息编码(步骤217)。额外开销信息的类型包含(例如)识别层的数目的数据、将层识别为基础层的数据、将层识别为增强层的数据、识别层之间的相互关系(例如，第二层是第一层或基础层的增强层，或第三层为第二层的增强层)的数据，或将层识别为一串增强层中的最终增强层的数据。额外开销信息可包含在与和其相关的基础层和/或增强层数据连接的标头中，或包含在单独的数据消息中。例如图1的SNR可伸缩编码器125等编码装置可执行动作217。可省略、重新布置和/或组合处理器200的一个或一个以上元件。
图2B是在单层中对由处理器200编码的SNR可伸缩流视频解码的一个实例的流程图。过程220描绘对GOP解码的流程，所述GOP由初始的I帧和随后的多个P和/或B帧组成。
解码器用识别符提取(222)额外开销信息，以便识别包含在其接收的位流中的各个层，以及层之间的相互关系。这种额外开销信息使得解码器能够识别基础层信息并选择单独将其解码。在步骤225中，作出是只对基础层解码，还是对组合的基础层和增强层解码的决策。例如单层解码器组件165的解码装置可执行步骤225。如果只将对基础层解码，则解码器执行对内部MB和中间MB的常规单层解码，步骤260。例如图1的单层解码器组件165等解码装置可执行动作260。在此实例中，如果也将对增强层解码，则在两回合方案或一回合方案中对内部MB解码，同时在单回合中对中间MB的层解码，如下文将更详细描述。解码器可使用识别层的数目的额外开销数据、或将层识别为最终层的额外开销数据、连同识别层之间的相互关系的数据，了解其何时已接收到位流中可用于其正在处理的当前部分的所有层。例如图1的单层解码器165的提取装置可执行动作222。
在此实例中，针对每个I帧使用两回合解码过程。在步骤230处，在第一回合中对基础层I帧解码，且在步骤235中，将包括对基础层的差分改进的增强层进行解码，并与基础层组合(如同具有零运动向量的P帧)以形成增强层I帧。例如图1的单层解码器165的解码装置可执行动作230和235。如果解码器装置不用于经解码的基础层I帧Ib，则含有Ib的存储器缓冲器可被覆写，且经解码的增强层I帧Ie可用作对后续预测帧的参考。在步骤240中执行此种存储器覆写或存储器改组(memory shuffling)。例如图1的存储器组件170的存储器改组装置可执行动作240。如果编码器不使用Ib来进行任何后续的运动补偿预测，则解码器装置可能能够覆写Ib。
对P和B帧使用单回合解码。如下文所论述，以允许单回合解码的方式对P和B帧基础层和增强层系数编码。解码器在接收基础层和增强层系数之后将其组合(步骤245)，并在单层中对其解码(步骤250)，正如同其对待正常编码的P或B帧一样。例如图1的通信组件175的接收装置(例如，接收器)可执行接收步骤(图2B中未展示接收步骤)。下文论述组合步骤245和解码步骤250的细节。组合装置(例如，组合器)和例如图1的单层解码器组件165的解码装置可执行步骤245和250。决策步骤255检验位流以识别正被解码的GOP是否完整。如果GOP是完整的，则过程结束，且接着在下一GOP处再次重新开始。如果GOP中还剩余其它P和/或B帧，则重复步骤245和250，直到GOP完全被解码为止。例如图1的单层解码器组件165的解码装置可执行动作255。
为了具有单层解码，在反量化之前将两层的系数组合。因此，可交互地产生两层的系数；否则这可能引入大量额外开销。额外开销增加的一个原因在于，基础层编码和增强层编码可能使用不同的时间参考。需要这样一种算法：其用以产生基础层和增强层系数，所述系数可在两层均可用时在反量化之前在解码器处组合。同时，所述算法可在增强层不可用或解码器可能出于例如节省功率等原因选择不对增强层解码时提供可接受的基础层视频。在论述所述算法的细节之前，论述标准的预测编码将是有用的。可省略、重新布置和/或组合处理器220的一个或一个以上元件。
P帧(或任何中间编码区段)可利用当前图片中的区域与参考图片中的最佳匹配预测区域之间的时间冗余。可在一组运动向量中编码最佳匹配预测区域在参考帧中的位置。当前区域与最佳匹配参考预测区域之间的差异称为残留错误(或预测错误)。图3是例如MPEG-4中的P帧构造过程的实例的图示。过程300是可能在图2A的步骤210中发生的实例过程的更加详细的图示。过程300包含由5×5宏块组成的当前图片325，其中在此实例中宏块数目是任意的。宏块由16×16个像素组成。可通过8位亮度值(Y)和两个8位色度值(Cr和Cb)来界定像素。在MPEG中，Y、Cr和Cb分量可用4∶2∶0的格式存储，其中Cr和Cb分量在X和Y方向上降低2倍取样。因此，每个宏块将由256个Y分量、64个Cr分量以及64个Cb分量组成。根据参考图片330预测当前图片325的宏块335。当前图片325和参考图片330均位于图片序列中。在参考图片330中进行搜索，以定位出在Y、Cr和Cb值方面最接近正被编码的当前宏块335的最佳匹配宏块340。可在运动向量345中编码最佳匹配宏块340在参考图片330中的位置。参考图片330可为I帧或P帧，解码器可能在构造当前图片325之前已将其重新构造。从当前宏块335中减除最佳匹配的宏块340(计算Y、Cr和Cb分量中每一者的差异)，从而产生残留错误350。用2D离散余弦变换(DCT)355编码残留错误350并接着将其量化360。可执行量化360以通过(例如)向高频系数分配较少的位同时向低频系数分派较多的位而提供空间压缩。残留错误350的量化系数连同识别信息的运动向量345和参考图片330均是代表当前宏块335的经编码的信息。经编码的信息可存储在存储器中，以供将来使用或操作，用于(例如)错误校正或图像增强或在网络365上传输。
残留错误350的经编码的量化系数连同经编码的运动向量345可用来在编码器中重新构造当前宏块335，以用作用于后续运动估计和补偿的参考帧的一部分。编码器可仿真用于此P帧重新构造的解码器程序。解码器的仿真可导致编码器和解码器均对相同的参考图片工作。重新构造过程不论是在编码器中进行以用于进一步的中间编码还是在解码器中进行，均在此处提供。可在重新构造参考帧(或正被参考的图片或帧的一部分)之后开始对P帧进行重新构造。将经过编码的量化系数反量化370，并接着执行2D反DCT或IDCT375，从而导致经解码或重新构造的残留错误380。经编码的运动向量345经解码且用来在已经重新构造的参考图片330中定位已经重新构造的最佳匹配宏块385。接着，向重新构造的最佳匹配宏块385添加重新构造的残留错误380以形成重新构造的宏块390。重新构造的宏块390可存储在存储器中、独立显示或与其它重新构造的宏块一起在图片中显示，或者进一步处理以用于图像增强。
B帧(或任何用双向预测编码的区段)可利用当前图片中的区域与先前图片中的最佳匹配预测区域和后续图片中的最佳匹配预测区域之间的时间冗余。将后续最佳匹配预测区域与先前最佳匹配预测区域组合以形成组合的双向预测区域。当前图片区域与最佳匹配组合双向预测区域之间的差异是残留错误(或预测错误)。可在两个运动向量中对最佳匹配预测区域在后续参考图片中的位置和最佳匹配预测区域在先前参考图片中的位置进行编码。
图4是用于对基础层和增强层系数编码的编码器过程的实例的图示。将基础层和增强层编码以提供SNR可伸缩位流。过程400描绘用于如图2A的步骤210中将进行的一样对中间MB残留错误系数编码的实例。然而，类似的方法也可用于对内部MB系数编码。例如图1的SNR可伸缩编码器组件125的编码装置可执行过程400和图2A的步骤210。将原始(待编码的)视频数据406(视频数据在此实例中包括Luma和Chroma信息)输入到基础层最佳匹配宏块回路402和增强层最佳匹配宏块回路404。所述两个回路402和404分别试图将在加法器422和438处计算的残留错误最小化。回路402和404可并行地(如图所示)或循序地执行。回路402和404分别包含用于搜索含有参考帧的缓冲器420和436以便识别出最佳匹配宏块的逻辑，所述最佳匹配宏块将最佳匹配宏块与原始数据406之间的残留错误最小化(缓冲器420和436可为同一缓冲器)。回路402和回路404的残留错误可不同，因为基础层回路402一般可利用比增强层回路404粗糙的量化步长(较高的QP值)。变换块408和424变换每个回路的残留错误。在一个实例中，编码器将最佳匹配宏块(或任何大小的像素块)标头信息和相应的运动向量信息与基础层相关联，所述块标头信息和运动向量信息源自接收到的原始数据。
接着，将变换的系数在选择器410中解析成基础层和增强层系数。选择器410的解析可采用若干形式，如下文所论述。解析技术的一个共同特征是将增强层主系数C′cnh计算成使得其为基础层主系数C′base的差分改进。将增强层计算为基础层的改进使得解码器可自身对基础层系数解码，且具有对图像的合理表示，或者将基础层和增强层系数组合并具有对图像的改进表示。由选择器410选择和计算的主系数接着由量化器412和426量化。量化的主系数C′base和C′cnh(分别用量化器412和426计算)可存储在例如图1中的存储器组件130的存储器装置中，或者在网络上传输到解码器。
为了在解码器中匹配对宏块的重新构造，反量化器414将基础层残留错误系数反量化。经过反量化的残留错误系数经反变换416，并添加418到在缓冲器420中找到的最佳匹配宏块，从而产生与可能在解码器中重新构造的宏块匹配的重新构造宏块。量化器426、反量化器428、反变换器432、加法器434和缓冲器436在增强回路404中执行与基础层回路402类似的计算。此外，加法器430用于组合在重新构造增强层的过程中使用的反量化增强层和基础层系数。增强层量化器和反量化器一般可利用比基础层精细的量化器步长(较低的QP)。可省略、重新布置和/或组合处理器400的一个或一个以上元件。
图5、6和7展示可在图4的选择器410中使用的基础层和增强层系数选择器过程的实例。例如图1的SNR可伸缩编码器组件125的选择装置可执行图5、6和7中描绘的过程。以图5为例，将经变换的系数解析成如下基础层和增强层主系数：
Figure S2006800145112D00121
C′enh＝Cenh-Qb -1(Qb(C′base))(2)
其中“min”函数是两个自变量中的数学最小者，且
Figure S2006800145112D00122
在图5中，公式(1)描绘为方框505，且公式(2)描绘为加法器510。在公式(2)中，Qb代表基础层量化器412，且Qb -1代表基础层的反量化器414。公式(2)将增强层系数转换成用公式(1)计算的基础层系数的差分改进。
图6是基础层和增强层系数选择器410的另一实例的图示。在此实例中方框605中包含的公式(·)用以下等式表示基础层主系数：
Figure S2006800145112D00131
加法器610将增强层主系数计算如下：
C′enh＝Cenh-Qb -1(Qb(Cbase′))  (4)
其中由公式(3)给出C′base。
图7是基础层和增强层选择器410的另一实例的图示。在此实例中，基础层主系数与原始基础层系数相比并未改变，且增强层主系数等于量化/反量化的基础层系数与原始增强层系数之间的差异。视过程而定，选择器410可与作为中间编码或内部编码系数的原始基础层和原始增强层系数一起使用。
不论选择器410利用的是图5、6或7中所示的示范性过程中的哪个过程，解码器均在解码时执行相同操作，如下文将论述。回路402和404可同步地操作，其中两个层参考同一匹配宏块；或者异步地操作，其中每一者指向不同的参考宏块(基础层参考信息和增强层参考信息均可被编码在额外开销信息中，如下文所论述)。如果回路402和404指向不同的参考宏块，则解码器可使用编码的基础层参考信息以用于只对基础层进行解码，或者其可使用编码的增强层参考信息以用于对组合的基础层和增强层进行解码。
除了基础层和增强层残留错误系数之外，解码器需要识别如何对MB编码的信息。例如图1的SNR可伸缩编码器组件125的编码装置在执行图2A的步骤210时，对可包含内部编码和中间编码部分的映射的额外开销信息编码，所述映射例如为MB映射，其中(例如)用识别器将宏块(或子宏块)识别为内部编码或中间编码(还识别包含何种类型的中间编码，如前向、后向或双向)以及中间编码部分参考哪个(哪些)帧。在示范性实施例中，MB映射和基础层系数被编码在基础层中，且增强层系数被编码在增强层中。
图8是例如在图2B的步骤260中执行的用于对单层视频数据(在此实例中为基础层数据)解码的解码器过程的实例的图示。在过程800中，量化的系数
Figure S2006800145112D00132
表示内部编码数据或中间编码残留错误数据。将系数反量化805、反变换810并添加815到存储在缓冲器820中的空间或时间预测数据。反量化步骤805利用基础层量化参数QPb。所得的解码的基础层视频数据825可存储在例如图1中的存储器组件170的存储器装置中，或者显示在如图1的显示组件190的显示装置上。
过程800可在步骤805中在第二回合中重复，其中用增强层系数
Figure S2006800145112D00141
取代基础层系数
Figure S2006800145112D00142
且用增强层量化参数QPe取代基础层参数QPb。所得的输出可为解码的增强层视频输出。基础层视频输出825可接着在像素域中与增强层视频输出组合。出于高效起见，这个两回合过程可重新使用同一解码器硬件电路。不论使用的是图5、6或7中的编码过程中的哪一个，均可使用这个解码过程。
图9是如图2B的步骤245和250中将执行的用于对基础层和增强层数据解码的解码器过程的实例的图示。在过程900中，量化的系数C′base和C′enh分别在步骤905和910处被反量化，并在加法步骤915处在变化(或频率)域中进行组合。反量化动作905利用基础层量化参数QPb，同时反量化动作910利用较小的增强层量化参数QPe。接着，将组合的系数反变换920并添加(步骤925)到缓冲器930中存储的空间或时间预测数据。不论使用的是图5、6或7中的编码过程中的哪一个，均可使用这个解码过程。所得的增强层视频输出935可存储在存储器中或进行显示。
过程900在一个主要方面与过程800不同。过程900利用两个反量化动作905和910，而不是过程800中的一个反量化动作805。如果反量化在硬件内核中管线化，则非常需要只具有一个反量化步骤以用于增强层解码，如同在基础层解码过程800中一样。用于将反量化步骤的数目减少到一个的一个实例涉及利用相关于某一数学特征的量化参数。对于H.264，量化步长对于QP的每6个的增量加倍。如果QPb＝QPe+6，则基础层系数可转换成增强层标度并用以下公式组合：
C ^ enh = Q e - 1 ( ( C ~ &prime; base < < 1 ) + C ~ &prime; enh ) - - - ( 5 )
图10是用于对基础层和增强层数据解码的解码器过程的另一实例的图示。过程1000利用基础层和增强层量化，其中QPb＝QPe+6。如公式(5)所示，在步骤1005处通过将基础层系数向左移动(一种伸缩形式)一个位而将所述系数转换成增强层标度，并在1010处将所述系数添加到增强层系数。因此，只需要步骤1015处的一个反量化动作和步骤1020处的一个反变换动作。如果基础层系数等于零，则移位是不必要的。因此，为了利用这种特性，当
Figure S2006800145112D00151
和
Figure S2006800145112D00152
均为非零时，QPb与QPe之间的差异可为6的倍数。也可利用移位之外的其它方法，例如(如)通过换算器以某一换算因数倍增。
P帧和B帧可含有内部MB以及中间MB。通常混合视频编码器使用速率失真(RD)优化来决定将P或B帧中的特定宏块编码为内部MB。为了具有单层解码(其中内部MB不依赖于基础层和/或增强层中间MB)，任何相邻的中间MB均不用于基础层内部MB的空间预测。为了使计算复杂性对于增强层解码保持不改变，对于基础层P或B帧中的内部MB，可取消增强层处的改进。
P或B帧中的内部MB需要比中间MB多许多位。为此原因，仅可以较高QP以基础层质量对P或B帧中的内部MB进行编码。这可导致在视频质量中出现一些降低，但如果其如上所述在随后的帧中用基础层和增强层中的中间MB系数来改进，则这种降低应当不显著。有两个原因使得这种降低不显著。第一个原因是人类视觉系统(HVS)的特征，且另一个原因是中间MB改进内部MB。通过改变从第一帧到第二帧的位置的对象，第一帧中的一些像素在第二帧中看不见(待覆盖信息)，且第二帧中的一些像素首次可见(未覆盖信息)。人眼对于未覆盖和待覆盖视觉信息不敏感。因此，对于未覆盖信息，即使其是以较低质量编码的，眼睛可能仍然无法辨别出差别。如果在随后的P帧中维持相同的信息，则很可能增强层处的随后的P帧可改进其，因为增强层具有较低的QP。
另一种在P或B帧中引入内部MB的常用技术称为内部刷新。在此情况下，有些MB被编码为内部MB，即使标准的R-D优化将规定其可能是中间编码的MB也是如此。可用QPb或QPe来编码这些包含在基础层中的内部编码MB。如果针对基础层使用QPe，那么在增强层处不需要任何改进。如果针对基础层使用QPb，那么改进可能是合适的，否则质量在增强层处的下降可能会是显著的。由于在编码效率意义上中间编码比内部编码有效，所以增强层处的这些改进可能被中间编码。以此方式，基础层系数可能不用于增强层。因此，在不引入新操作的情况下质量在增强层处得到提高。
B帧普遍用于增强层中，因为其提供较高的压缩质量。然而，B帧可能不必参考P帧的内部MB。如果要以增强层质量对B帧的像素进行编码，则其可能需要过多的位，因为P帧内部MB的质量较低，如上文所论述。如上文所论述，通过利用HVS的质量，在参考P帧的较低质量的内部MB时，可以较低的质量对B帧MB进行编码。
P或B帧中的内部MB的一个极端的情况是，当由于正被编码的视频中存在场景变化而导致P或B帧中的全部MB均以内部模式编码时。在此情况下，可用基础层质量对整个帧编码，而在增强层处没有任何改进。如果场景变化发生在B帧处，且假设只在增强层中编码B帧，那么可以基础层质量编码B帧或者干脆将其丢弃。如果场景变化发生在P帧处，则没有必要进行任何改变，但可丢弃或者以基础层质量来编码P帧。
上述编码示范性过程利用了在对原始数据进行变换之后选择基础层和增强层系数的方法。在对系数进行变换之前可使用类似的解析技术。
所属领域的技术人员将了解，可使用各种不同科技和技术中的任一者来表示信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁性颗粒、光场或光学颗粒或其任何组合来表示所有以上描述中可能参考的数据、指令、命令、信息、信号、位、符号和芯片。
所属领域的技术人员将进一步了解，结合本文揭示的实例描述的各种说明性逻辑块、模块和算法步骤可实施为电子硬件、计算机软件或二者的组合。为了清楚地说明硬件与软件的这种可互换性，上文中大体上就其功能性说明各种说明性组件、块、模块、电路和步骤。这种功能性是实施为硬件还是软件取决于强加在整个系统上的特定应用和设计约束因素。所属领域的技术人员可针对每个特定应用以不同的方式实施所描述的功能性，但是这些实施决策不应理解为导致偏离所揭示的方法的范围。
可通过经设计以执行本文描述的功能的通用处理器、数字信号处理器(DSP)、特殊应用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程的逻辑装置、离散门或晶体管逻辑、离散的硬件组件或其任何组合来实施或执行结合本文揭示的实例描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但作为替代，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、一个或一个以上微处理器结合DSP内核，或任何其它此类配置。
可直接以硬件实施、以由处理器执行的软件模块实施、或以两者的组合来实施结合本文揭示的实例描述的方法或算法的步骤。软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动光盘、CD-ROM或此项技术中已知的其它任何形式的存储媒体中。举例来说，存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到存储媒体。作为替代方案，存储媒体可与处理器成为一体。处理器和存储媒体可驻留在特殊应用集成电路(ASIC)中。ASIC可驻留在无线调制解调器中。作为替代方案，处理器和存储媒体可作为离散组件驻留在无线调制解调器中。
提供对所揭示的实例的先前描述以使所属领域的技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将容易了解对这些实例的各种修改，且在不偏离所揭示的方法和设备的精神或范围的情况下，本文界定的原理可应用于其它实例。
因此，已描述了一种以最小的解码器额外开销在基础层处提供可接受质量的视频并在增强层处提供较高质量的视频的方法和设备。

Claims (81)

1.一种用于对多媒体位流进行解码的方法，其包括：
接收第一层编码数据和第二层编码数据；
组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及
对所述组合数据进行解码；其中所述第一层包括基础层，且所述第二层包括增强层。
2.根据权利要求1所述的方法，其进一步包括：
接收所述基础层数据中的残留错误系数，并接收所述增强层数据中的对所述基础层残留错误系数的差分改进；
将所述残留错误系数和所述差分改进与所述组合的第一层和第二层数据组合；以及
对所述组合的第一层、第二层及所述组合的残留错误系数和差分改进进行解码。
3.根据权利要求1所述的方法，其进一步包括：
接收所述基础层数据中的残留错误系数，并接收所述增强层数据中的对所述基础层残留错误系数的差分改进，其中所述基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且基于所述残留错误系数和所述原始增强层残留错误系数来确定所述增强层差分改进。
4.根据权利要求1所述的方法，其进一步包括：
将所述第一层数据从第一量化步长转换成第二量化步长，其中以所述第二量化步长对所述接收到的第二层数据进行编码。
5.根据权利要求1所述的方法，其进一步包括：识别所述接收到的第一层数据中的内部编码数据，并识别所述接收到的第二层数据中的对所述接收到的第一层内部编码数据的差分改进。
6.根据权利要求5所述的方法，其进一步包括：
在第一回合中对所述识别出的第一层内部编码数据进行解码；
在第二回合中对所述识别出的第二层内部编码数据进行解码；以及
组合所述经解码的第一层内部编码数据和所述经解码的第二层内部编码数据。
7.根据权利要求1所述的方法，其进一步包括：
将所述组合的第一层和第二层数据反量化；以及
对所述反量化的数据进行反变换。
8.根据权利要求1所述的方法，其进一步包括：
识别所述组合数据中的中间编码数据，所述中间编码数据与所述第一层相关联；
识别所述组合数据中的中间编码数据，所述中间编码数据与所述第二层相关联；以及
对与所述第一层相关联的所述识别出的中间编码数据或与所述第一和第二层相关联的所述识别出的中间编码数据进行解码。
9.根据权利要求1所述的方法，其进一步包括：
识别所述组合数据中的内部编码数据，所述内部编码数据与所述第一层相关联；以及
对所述识别出的内部编码数据进行解码。
10.根据权利要求1所述的方法，其进一步包括：
识别所述组合数据中的内部编码数据，所述内部编码数据与所述第一层相关联；
识别所述组合数据中的中间编码数据，所述中间编码数据与所述第二层相关联；以及
对所述识别出的内部编码数据或所述识别出的中间编码数据进行解码。
11.一种用于对多媒体位流进行解码的设备，其包括：
接收装置，其用于接收第一层编码数据和第二层编码数据；
组合装置，其用于组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及
解码装置，其用于对所述组合数据进行解码；其中所述第一层包括基础层，且所述第二层包括增强层。
12.根据权利要求11所述的设备，其中所述接收装置进一步包括：
接收装置，其用于接收所述基础层数据中的残留错误系数，且用于接收所述增强层数据中的对所述基础层残留错误系数的差分改进；
组合装置，其用于组合所述残留错误系数和所述差分改进与所述组合的第一层和第二层数据；以及
解码装置，其用于对所述组合数据进行解码，其中所述解码进一步包括对所述组合的第一层、第二层及所述组合的残留错误系数和差分改进进行解码。
13.根据权利要求11所述的设备，其中所述接收装置进一步包括：
接收装置，其用于接收所述基础层数据中的残留错误系数，且用于接收所述增强层数据中的对所述基础层残留错误系数的差分改进，其中所述基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且基于所述残留错误系数和所述原始增强层残留错误系数来确定所述增强层差分改进。
14.根据权利要求11所述的设备，其进一步包括：
转换装置，其用于将所述第一层数据从第一量化步长转换成第二量化步长，其中以所述第二量化步长对所述接收到的第二层数据进行编码。
15.根据权利要求14所述的设备，其中所述换算装置进一步包括：
移位装置，其用于将所述第一层数据移位。
16.根据权利要求11所述的设备，其中所述接收装置进一步包括：
识别装置，其用于识别所述接收到的第一层数据中的内部编码数据，且用于识别所述接收到的第二层数据中的对所述接收到的第一层内部编码数据的差分改进。
17.根据权利要求16所述的设备，其进一步包括：
用于在第一回合中对所述识别出的第一层内部编码数据进行解码的装置；
用于在第二回合中对所述识别出的第二层内部编码数据进行解码的装置；以及
用于组合所述经解码的第一层内部编码数据和所述经解码的第二层内部编码数据的装置。
18.根据权利要求11所述的设备，其中所述解码装置进一步包括：
反量化装置，其用于将所述组合的第一层和第二层数据反量化；以及
反变换装置，其用于对所述反量化的数据进行反变换。
19.一种用于对多媒体位流进行解码的设备，其包括：
接收器，其接收第一层编码数据和第二层编码数据；
组合器，其组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及
解码器，其对所述组合数据进行解码；其中所述第一层包括基础层，且所述第二层包括增强层。
20.根据权利要求19所述的设备，其中所述接收器进一步经配置以接收所述基础层数据中的残留错误系数，且接收所述增强层数据中的对所述基础层残留错误系数的差分改进，所述组合器进一步经配置以将所述残留错误系数和所述差分改进与所述组合的第一层和第二层数据组合，且所述解码器进一步经配置以对所述组合的第一层、第二层及所述组合的残留错误系数和差分改进进行解码。
21.根据权利要求19所述的设备，其中所述接收器进一步经配置以接收所述基础层数据中的残留错误系数，且接收所述增强层数据中的对所述基础层残留错误系数的差分改进，其中所述基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且基于所述残留错误系数和所述原始增强层残留错误系数来确定所述增强层差分改进。
22.根据权利要求19所述的设备，其进一步包括换算器，所述换算器经配置以将所述第一层数据从第一量化步长转换成第二量化步长，其中以所述第二量化步长对所述接收到的第二层数据进行编码。
23.根据权利要求19所述的设备，其进一步包括识别器，所述识别器经配置以识别所述接收到的第一层数据中的内部编码数据，且识别所述接收到的第二层数据中的对所述接收到的第一层内部编码数据的差分改进。
24.根据权利要求19所述的设备，其中所述解码器进一步经配置以在第一回合中对所述识别出的第一层内部编码数据进行解码，在第二回合中对所述识别出的第二层内部编码数据进行解码，且所述组合器进一步经配置以组合所述经解码的第一层内部编码数据和所述经解码的第二层内部编码数据。
25.根据权利要求19所述的设备，其进一步包括：反量化器，其经配置以将所述组合的第一层和第二层数据反量化；以及变换器，其经配置以对所述反量化的数据进行反变换。
26.一种计算机可读媒体，其包含一种用于对多媒体位流进行解码的方法，所述方法包括：
接收第一层编码数据和第二层编码数据；
组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及
对所述组合数据进行解码；其中所述第一层包括基础层，且所述第二层包括增强层。
27.根据权利要求26所述的计算机可读媒体，其中所述方法进一步包括：
接收所述基础层数据中的残留错误系数，并接收所述增强层数据中的对所述基础层残留错误系数的差分改进；
将所述残留错误系数和所述差分改进与所述组合的第一层和第二层数据组合；以及
对所述组合的第一层、第二层及所述组合的残留错误系数和差分改进进行解码。
28.根据权利要求26所述的计算机可读媒体，其中所述方法进一步包括：接收所述基础层数据中的残留错误系数，并接收所述增强层数据中的对所述基础层残留错误系数的差分改进，其中所述基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且基于所述残留错误系数和所述原始增强层残留错误系数来确定所述增强层差分改进。
29.根据权利要求26所述的计算机可读媒体，其中所述方法进一步包括：
将所述第一层数据从第一量化步长转换成第二量化步长，其中以所述第二量化步长对所述接收到的第二层数据进行编码。
30.根据权利要求26所述的计算机可读媒体，其中所述方法进一步包括：识别所述接收到的第一层数据中的内部编码数据，且识别所述接收到的第二层数据中的对所述接收到的第一层内部编码数据的差分改进。
31.根据权利要求30所述的计算机可读媒体，其中所述方法进一步包括：
在第一回合中对所述识别出的第一层内部编码数据进行解码；
在第二回合中对所述识别出的第二层内部编码数据进行解码；以及
组合所述经解码的第一层内部编码数据和所述经解码的第二层内部编码数据。
32.根据权利要求26所述的计算机可读媒体，其中所述方法进一步包括：
将所述组合的第一层和第二层数据反量化；以及
对所述反量化的数据进行反变换。
33.一种用于对多媒体位流进行解码的处理器，所述处理器经配置以：
接收第一层编码数据和第二层编码数据；
组合所述接收到的第一层编码数据和所述接收到的第二层编码数据；以及
对所述组合数据进行解码；其中所述第一层包括基础层，且所述第二层包括增强层。
34.根据权利要求33所述的处理器，其进一步经配置以：接收所述基础层数据中的残留错误系数，且接收所述增强层数据中的对所述基础层残留错误系数的差分改进；组合所述残留错误系数和所述差分改进与所述组合的第一层和第二层数据；以及对所述组合的第一层、第二层及所述组合的残留错误系数和差分改进进行解码。
35.根据权利要求33所述的处理器，其进一步经配置以：接收所述基础层数据中的残留错误系数，并接收所述增强层数据中的对所述基础层残留错误系数的差分改进，其中所述基础层残留错误系数是原始基础层残留错误系数和原始增强层残留错误系数中的最小者或零，且所述增强层差分改进是所述最小残留错误系数与所述原始增强层残留错误系数之间的差异。
36.根据权利要求33所述的处理器，其进一步经配置以将所述第一层数据从第一量化步长转换成第二量化步长，其中以所述第二量化步长对所述接收到的第二层数据进行编码。
37.根据权利要求33所述的处理器，其经配置以识别所述接收到的第一层数据中的内部编码数据，且识别所述接收到的第二层数据中的对所述接收到的第一层内部编码数据的差分改进。
38.根据权利要求37所述的处理器，其进一步经配置以在第一回合中对所述识别出的第一层内部编码数据进行解码，在第二回合中对所述识别出的第二层内部编码数据进行解码，以及组合所述经解码的第一层内部编码数据和所述经解码的第二层内部编码数据。
39.根据权利要求33所述的处理器，其进一步经配置以将所述组合的第一层和第二层数据反量化，且对所述反量化的数据进行反变换。
40.一种用于对多媒体数据进行编码的方法，其包括：
选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及
在所述第一层和所述第二层中对所述选择的数据进行编码。
41.根据权利要求40所述的方法，其中编码包括：
在所述第一层中对系数进行编码；以及
在所述第二层中对所述第一层系数的差分改进进行编码。
42.根据权利要求40所述的方法，其中所述第一层编码数据包括第一系数，再其中所述第二层编码数据包括第二系数，且又其中所述第一系数和第二系数用于解码。
43.根据权利要求42所述的方法，其进一步包括：
基于所述第一和第二系数选择第一主系数；以及
基于所述第一和第二系数计算第二主系数，其中编码进一步包括使用所述第一主系数用于在所述第一层中进行编码，和使用所述第二主系数用于在所述第二层中进行编码。
44.根据权利要求43所述的方法，其中所述第一系数是基础层残留错误系数，且所述第二系数是增强层残留错误系数，且再其中选择进一步包括将所述第一主系数选择为所述第一系数和所述第二系数中的最小者或零，且计算进一步包括将所述第二主系数设定为等于所述第二系数。
45.根据权利要求40所述的方法，其中所述方法进一步包括将块标头信息和运动向量信息与所述第一层相关联，所述块标头信息和运动向量信息源自所述接收到的数据。
46.根据权利要求40所述的方法，其中所述方法进一步包括以第一步长将所述第一层编码数据量化，以及以第二步长将所述第二层编码数据量化，其中所述第一步长和第二步长相关于某一换算因数。
47.根据权利要求40所述的方法，其中所述数据包括内部编码数据，且再其中编码进一步包括在所述第一层中或在所述第一层和第二层中对所述内部编码数据进行编码。
48.根据权利要求40所述的方法，其中所述数据包括中间编码数据，其中编码进一步包括在所述第二层中对所述中间编码数据进行编码。
49.根据权利要求40所述的方法，其中编码进一步包括在所述第一层中将所述选择的数据中的一些数据编码为中间编码数据，且在所述第二层中将所述选择的数据中的一些数据编码为中间编码数据。
50.根据权利要求40所述的方法，其中编码进一步包括在所述第一层中将所述选择的数据编码为内部编码数据。
51.根据权利要求40所述的方法，其中编码进一步包括在所述第一层中将所述选择的数据中的一些数据编码为内部编码数据，且在所述第二层中将所述选择的数据中的一些数据编码为中间编码数据。
52.根据权利要求40所述的方法，其进一步包括对额外开销信息进行编码，其中所述额外开销信息是由以下各数据组成的群组中的成员：识别层的数目的数据；将层识别为基础层的数据；将层识别为增强层的数据；识别层之间的相互关系的数据；以及将层识别为最终增强层的数据。
53.一种用于对多媒体数据进行编码的设备，其包括：
选择装置，其用于选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及
编码装置，其用于在所述第一层和所述第二层中对所述选择的数据进行编码。
54.根据权利要求53所述的设备，其中所述编码装置包括：
用于在所述第一层中对系数进行编码的装置；以及
用于在所述第二层中对所述第一层系数的差分改进进行编码的装置。
55.根据权利要求53所述的设备，其中所述第一层编码数据包括第一系数，再其中所述第二层编码数据包括第二系数，且又其中所述第一系数和第二系数用于解码。
56.根据权利要求55所述的设备，其进一步包括：
选择装置，其用于基于所述第一和第二系数选择第一主系数；以及
计算装置，其用于基于所述第一和第二系数计算第二主系数，其中编码进一步包括使用所述第一主系数用于在所述第一层中进行编码，和使用所述第二主系数用于在所述第二层中进行编码。
57.根据权利要求56所述的设备，其中所述第一系数是基础层残留错误系数，且所述第二系数是增强层残留错误系数，且再其中所述选择装置进一步包括用于将所述第一主系数选择为所述第一系数和所述第二系数中的最小者或零的装置，且所述计算装置进一步包括用于将所述第二主系数设定为等于所述第二系数的装置。
58.根据权利要求53所述的设备，其进一步包括：
用于将块标头信息和运动向量信息与所述第一层相关联的装置，所述块标头信息和运动向量信息源自所述接收到的数据。
59.根据权利要求53所述的设备，其进一步包括：
用于以第一步长将所述第一层编码数据量化的装置；以及
用于以第二步长将所述第二层编码数据量化的装置，其中所述第一步长和第二步长相关于某一换算因数。
60.根据权利要求53所述的设备，其中所述数据是内部编码数据，且再其中编码装置在所述第一层中或在所述第一层和第二层中对所述内部编码数据进行编码。
61.根据权利要求53所述的设备，其中所述数据是中间编码数据，且再其中编码装置在所述第二层中对所述中间编码数据进行编码。
62.根据权利要求53所述的设备，其进一步包括：
编码装置，其用于对额外开销信息进行编码，其中所述额外开销信息是由以下各数据组成的群组中的成员：识别层的数目的数据；将层识别为基础层的数据；将层识别为增强层的数据；识别层之间的相互关系的数据；以及将层识别为最终增强层的数据。
63.一种计算机可读媒体，其包含一种用于对多媒体数据进行编码的方法，所述方法包括：
选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及
在所述第一层和所述第二层中对所述选择的数据进行编码。
64.根据权利要求63所述的计算机可读媒体，其中编码包括：
在所述第一层中对系数进行编码；以及
在所述第二层中对所述第一层系数的差分改进进行编码。
65.根据权利要求63所述的计算机可读媒体，其中所述第一层编码数据包括第一系数，再其中所述第二层编码数据包括第二系数，且又其中所述第一系数和第二系数用于解码。
66.根据权利要求65所述的计算机可读媒体，其中所述方法进一步包括：
基于所述第一和第二系数选择第一主系数；以及
基于所述第一和第二系数计算第二主系数，其中编码进一步包括使用所述第一主系数用于在所述第一层中进行编码，和使用所述第二主系数用于在所述第二层中进行编码。
67.根据权利要求66所述的计算机可读媒体，其中所述第一系数是基础层残留错误系数，且所述第二系数是增强层残留错误系数，且再其中选择进一步包括将所述第一主系数选择为所述第一系数和所述第二系数中的最小者或零，且计算进一步包括将所述第二主系数设定为等于所述第二系数。
68.根据权利要求63所述的计算机可读媒体，其中所述方法进一步包括将块标头信息和运动向量信息与所述第一层相关联，所述块标头信息和运动向量信息源自所述接收到的数据。
69.根据权利要求63所述的计算机可读媒体，其中所述方法进一步包括以第一步长将第一层编码数据量化，以及以第二步长将第二层编码数据量化，其中所述第一步长和第二步长相关于某一换算因数。
70.根据权利要求63所述的计算机可读媒体，其中所述方法进一步包括对额外开销信息进行编码，其中所述额外开销信息是由以下各数据组成的群组中的成员：识别层的数目的数据；将层识别为基础层的数据；将层识别为增强层的数据；识别层之间的相互关系的数据；以及将层识别为最终增强层的数据。
71.一种用于对多媒体数据进行编码的处理器，所述处理器经配置以控制包括以下步骤的方法：
选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及
在所述第一层和所述第二层中对所述选择的数据进行编码。
72.根据权利要求71所述的处理器，其中编码包括：
在所述第一层中对系数进行编码；以及
在所述第二层中对所述第一层系数的差分改进进行编码。
73.根据权利要求71所述的处理器，其中所述第一层编码数据包括第一系数，再其中所述第二层编码数据包括第二系数，且又其中所述第一系数和第二系数用于解码。
74.根据权利要求73所述的处理器，其中所述方法进一步包括：
基于所述第一和第二系数选择第一主系数；以及
基于所述第一和第二系数计算第二主系数，其中编码进一步包括使用所述第一主系数用于在所述第一层中进行编码，和使用所述第二主系数用于在所述第二层中进行编码。
75.根据权利要求74所述的处理器，其中所述第一系数是基础层残留错误系数，且所述第二系数是增强层残留错误系数，且再其中选择进一步包括将所述第一主系数选择为所述第一系数和所述第二系数中的最小者或零，且计算进一步包括将所述第二主系数设定为等于所述第二系数。
76.根据权利要求71所述的处理器，其中所述方法进一步包括将块标头信息和运动向量信息与所述第一层相关联，所述块标头信息和运动向量信息源自所述接收到的数据。
77.根据权利要求71所述的处理器，其中所述方法进一步包括以第一步长将所述第一层编码数据量化，以及以第二步长将所述第二层编码数据量化，其中所述第一步长和第二步长相关于某一换算因数。
78.根据权利要求71所述的处理器，其中所述方法进一步包括：对额外开销信息进行编码，其中所述额外开销信息是由以下各数据组成的群组中的成员：识别层的数目的数据；将层识别为基础层的数据；将层识别为增强层的数据；识别层之间的相互关系的数据；以及将层识别为最终增强层的数据。
79.一种用于对多媒体数据进行编码的设备，其包括：
接收器，其经配置以选择用于在第一层和第二层中进行编码的数据，以允许在单个组合层中对所述数据进行解码；以及
编码器，其经配置以在所述第一层和所述第二层中对所述选择的数据进行编码。
80.根据权利要求79所述的设备，其中所述编码器进一步包括：
在所述第一层中对系数进行编码；以及
在所述第二层中对所述第一层系数的差分改进进行编码。
81.根据权利要求79所述的设备，其中所述第一层编码数据包括第一系数，再其中所述第二层编码数据包括第二系数，且又其中所述第一系数和第二系数用于解码。
CN2006800145112A 2005-03-10 2006-03-10 具有两层编码和单层解码的可伸缩视频编码 Expired - Fee Related CN101167364B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US66087705P 2005-03-10 2005-03-10
US60/660,877 2005-03-10
US71320805P 2005-08-30 2005-08-30
US60/713,208 2005-08-30
PCT/US2006/008761 WO2006099221A2 (en) 2005-03-10 2006-03-10 Scalable video coding with two layer encoding and single layer decoding

Publications (2)

Publication Number Publication Date
CN101167364A true CN101167364A (zh) 2008-04-23
CN101167364B CN101167364B (zh) 2011-05-25

Family

ID=36693137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800145112A Expired - Fee Related CN101167364B (zh) 2005-03-10 2006-03-10 具有两层编码和单层解码的可伸缩视频编码

Country Status (24)

Country Link
US (1) US7995656B2 (zh)
EP (1) EP1856917B1 (zh)
JP (3) JP2008533850A (zh)
KR (1) KR100950273B1 (zh)
CN (1) CN101167364B (zh)
AR (1) AR056939A1 (zh)
AU (1) AU2006223285C1 (zh)
BR (1) BRPI0608284A2 (zh)
CA (1) CA2600450C (zh)
DK (1) DK1856917T3 (zh)
ES (1) ES2674351T3 (zh)
HU (1) HUE038079T2 (zh)
IL (1) IL185827A (zh)
MX (1) MX2007011087A (zh)
NO (1) NO20075125L (zh)
NZ (1) NZ561351A (zh)
PL (1) PL1856917T3 (zh)
PT (1) PT1856917T (zh)
RU (1) RU2372743C2 (zh)
SI (1) SI1856917T1 (zh)
TR (1) TR201808894T4 (zh)
TW (1) TWI457001B (zh)
UA (1) UA90889C2 (zh)
WO (1) WO2006099221A2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938659A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 移动多媒体广播系统中业务扩展方法与装置
CN102158693A (zh) * 2010-02-11 2011-08-17 联发科技股份有限公司 自适应解码嵌入式视频比特流的方法及接收系统
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN103155571A (zh) * 2010-09-24 2013-06-12 高通股份有限公司 译码立体视频数据
CN103931173A (zh) * 2011-06-30 2014-07-16 维德约股份有限公司 可伸缩视频编码中的运动预测

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006031737A2 (en) * 2004-09-14 2006-03-23 Gary Demos High quality wide-range multi-layer compression coding system
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US7925955B2 (en) * 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
US8693540B2 (en) * 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
WO2006099082A2 (en) 2005-03-10 2006-09-21 Qualcomm Incorporated Content adaptive multimedia processing
ATE456256T1 (de) * 2005-03-10 2010-02-15 Qualcomm Inc Decoder-architektur für optimiertes fehlermanagement in multimedia-strömen
US8705617B2 (en) 2005-09-27 2014-04-22 Qualcomm Incorporated Multiple layer video encoding
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
DE102005060968B4 (de) * 2005-12-20 2008-05-08 Infineon Technologies Ag Verfahren und Ablaufsteuerung zur Übertragung von Daten verschiedener Verkehrstypen durch ein xDSL-Modem
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
PL2123052T3 (pl) * 2007-01-18 2011-05-31 Fraunhofer Ges Forschung Strumień danych wideo o skalowalnej jakości
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
KR100937030B1 (ko) * 2007-05-31 2010-01-15 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US9648325B2 (en) 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
US8161166B2 (en) * 2008-01-15 2012-04-17 Adobe Systems Incorporated Information communication using numerical residuals
TWI386063B (zh) * 2008-02-19 2013-02-11 Ind Tech Res Inst 可調性視訊編碼標準的位元流分配系統與方法
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8503460B2 (en) 2008-03-24 2013-08-06 Qualcomm Incorporated Dynamic home network assignment
US8082320B1 (en) 2008-04-09 2011-12-20 Adobe Systems Incorporated Communicating supplemental information over a block erasure channel
JP5238069B2 (ja) * 2008-04-25 2013-07-17 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ トランスポート・データストリーム内で参照するフレキシブル・サブストリーム
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
KR101691050B1 (ko) * 2008-09-16 2016-12-29 톰슨 라이센싱 스케일러블 비디오 코딩을 사용한 디지털 선형 ｔｖ 프로그래밍의 송신 방법
US20100135379A1 (en) * 2008-12-02 2010-06-03 Sensio Technologies Inc. Method and system for encoding and decoding frames of a digital image stream
US9185159B2 (en) * 2008-12-31 2015-11-10 Cy-Play Communication between a server and a terminal
WO2011005563A1 (en) * 2009-06-24 2011-01-13 Delta Vidyo, Inc. System and method for an active video electronic programming guide
US8345749B2 (en) * 2009-08-31 2013-01-01 IAD Gesellschaft für Informatik, Automatisierung und Datenverarbeitung mbH Method and system for transcoding regions of interests in video surveillance
EP2577489A4 (en) * 2010-06-02 2014-09-10 Onmobile Global Ltd METHOD AND APPARATUS FOR ADAPTING MULTIMEDIA CONTENT
US10033485B2 (en) 2010-08-25 2018-07-24 Qualcomm Incorporated Managing acknowledgement messages from multiple destinations for multi user MIMO transmissions
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
RU2448370C1 (ru) * 2011-03-22 2012-04-20 Открытое акционерное общество "Концерн радиостроения "Вега" Способ обнаружения модификации электронного изображения
RU2477891C1 (ru) * 2011-09-02 2013-03-20 Открытое акционерное общество "Концерн радиостроения "Вега" Способ обнаружения модификации электронного изображения (варианты)
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9819949B2 (en) * 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US9591303B2 (en) * 2012-06-28 2017-03-07 Qualcomm Incorporated Random access and signaling of long-term reference pictures in video coding
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
EP3273691B1 (en) * 2012-12-18 2021-09-22 Sony Group Corporation Image processing device and image processing method
JP6139701B2 (ja) * 2013-01-07 2017-05-31 ヴィド スケール インコーポレイテッド スケーラブルビデオ符号化のための動き情報シグナリング
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
KR101754527B1 (ko) * 2015-03-09 2017-07-06 한국항공우주연구원 패킷 부호화 장치 및 방법
US11636100B2 (en) * 2020-11-27 2023-04-25 Verizon Patent And Licensing Inc. Systems and methods for compression-based search engine

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3576660B2 (ja) 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6275531B1 (en) * 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6600836B1 (en) * 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
GB2364842A (en) * 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality
GB2384638B (en) 2002-01-24 2004-04-28 Motorola Inc Scalable video communication
EP1570674A1 (en) * 2002-11-22 2005-09-07 Koninklijke Philips Electronics N.V. Transcoder for a variable length coded data stream
US8315307B2 (en) * 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
US7991053B2 (en) * 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938659A (zh) * 2009-06-30 2011-01-05 中兴通讯股份有限公司 移动多媒体广播系统中业务扩展方法与装置
CN102158693A (zh) * 2010-02-11 2011-08-17 联发科技股份有限公司 自适应解码嵌入式视频比特流的方法及接收系统
US8908774B2 (en) 2010-02-11 2014-12-09 Mediatek Inc. Method and video receiving system for adaptively decoding embedded video bitstream
CN103155571A (zh) * 2010-09-24 2013-06-12 高通股份有限公司 译码立体视频数据
CN103155571B (zh) * 2010-09-24 2016-02-17 高通股份有限公司 译码立体视频数据
WO2012167711A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN103621081A (zh) * 2011-06-10 2014-03-05 联发科技股份有限公司 可伸缩视频编码方法及装置
CN103621081B (zh) * 2011-06-10 2016-12-21 寰发股份有限公司 可伸缩视频编码方法及装置
CN106851319A (zh) * 2011-06-10 2017-06-13 寰发股份有限公司 推导方法及推导装置
US9860528B2 (en) 2011-06-10 2018-01-02 Hfi Innovation Inc. Method and apparatus of scalable video coding
CN103931173A (zh) * 2011-06-30 2014-07-16 维德约股份有限公司 可伸缩视频编码中的运动预测
CN103931173B (zh) * 2011-06-30 2016-12-21 维德约股份有限公司 可伸缩视频编码中的运动预测

Also Published As

Publication number Publication date
CA2600450C (en) 2013-02-12
PL1856917T3 (pl) 2018-09-28
BRPI0608284A2 (pt) 2009-12-22
US20060230162A1 (en) 2006-10-12
NZ561351A (en) 2010-11-26
AU2006223285C1 (en) 2010-10-28
EP1856917B1 (en) 2018-04-18
KR100950273B1 (ko) 2010-03-31
HUE038079T2 (hu) 2018-09-28
AU2006223285A1 (en) 2006-09-21
TW200706006A (en) 2007-02-01
UA90889C2 (uk) 2010-06-10
RU2372743C2 (ru) 2009-11-10
AU2006223285B2 (en) 2010-04-22
JP5619688B2 (ja) 2014-11-05
ES2674351T3 (es) 2018-06-29
KR20070117623A (ko) 2007-12-12
DK1856917T3 (en) 2018-06-25
SI1856917T1 (en) 2018-06-29
JP2012120211A (ja) 2012-06-21
PT1856917T (pt) 2018-06-28
JP2008533850A (ja) 2008-08-21
WO2006099221A3 (en) 2007-01-04
JP5619790B2 (ja) 2014-11-05
WO2006099221A2 (en) 2006-09-21
TR201808894T4 (tr) 2018-07-23
RU2007137490A (ru) 2009-04-20
CA2600450A1 (en) 2006-09-21
TWI457001B (zh) 2014-10-11
CN101167364B (zh) 2011-05-25
AR056939A1 (es) 2007-11-07
US7995656B2 (en) 2011-08-09
MX2007011087A (es) 2007-11-14
IL185827A0 (en) 2008-01-06
JP2011254500A (ja) 2011-12-15
NO20075125L (no) 2007-10-24
EP1856917A2 (en) 2007-11-21
IL185827A (en) 2012-06-28

Similar Documents

Publication Publication Date Title
CN101167364B (zh) 具有两层编码和单层解码的可伸缩视频编码
JP5384694B2 (ja) 多層ビデオ設計のためのレート制御
CN1981531B (zh) 构建用于时间可分级的双向预测帧的方法和装置
US8446960B2 (en) Picture coding using adaptive color space transformation
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
US20070189626A1 (en) Video encoding/decoding method and apparatus
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
JP2008533850A5 (zh)
CN101946515A (zh) Cabac译码器的二回合量化
CN101313583B (zh) 多层视频编码
US6996172B2 (en) Method and structure for scalability type selection in digital video
Pandey et al. An Innovative Approach towards the Video Compression Methodology of the H. 264 Codec: Using SPIHT Algorithms
Nakachi et al. A study on multiresolution lossless video coding using inter/intra frame adaptive prediction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110525

Termination date: 20190310