CN101313583A - 多层视频编码 - Google Patents

多层视频编码 Download PDF

Info

Publication number
CN101313583A
CN101313583A CNA2006800433622A CN200680043362A CN101313583A CN 101313583 A CN101313583 A CN 101313583A CN A2006800433622 A CNA2006800433622 A CN A2006800433622A CN 200680043362 A CN200680043362 A CN 200680043362A CN 101313583 A CN101313583 A CN 101313583A
Authority
CN
China
Prior art keywords
quantization parameter
group
video
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800433622A
Other languages
English (en)
Other versions
CN101313583B (zh
Inventor
石方
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101313583A publication Critical patent/CN101313583A/zh
Application granted granted Critical
Publication of CN101313583B publication Critical patent/CN101313583B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本文所揭示的某些实施例提供用于处理多媒体数据的系统和方法。所述系统和方法包含：接收表示至少一个视频帧的第一组量化系数；接收表示所述至少一个视频帧的第二组量化系数；以及使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数。在某些实施例中，将与所述第一组和第二组相关联的量化参数用于产生所述第三组量化系数。

Description

多层视频编码
相关申请案的交叉参考
本专利申请案主张2005年9月27日申请的题为“A METHOD OF COEFFICIENTEXPANSION FOR SCALABLE CODING ON MULTIPLE CHIP SYSTEM”的第60/721,435号临时申请案的优先权，所述临时申请案以引用的方式明确地并入本文中。
技术领域
本揭示案针对一种用以处理多层视频数据的方法和设备。
背景技术
由于因特网和无线通信的蓬勃增长和极大成功，以及对于多媒体服务的越来越多的需求，因此经由因特网和移动/无线信道的串流媒体已引起极大的注意。在异质因特网协议(IP)网络中，视频由服务器提供且可由一个或一个以上客户端串流。有线连接包括拨号、ISDN、电缆、xDSL、光纤、LAN(局域网)、WAN(广域网)和其它连接。传输模式可为单播或多播。包括PDA(个人数字助理)、膝上型计算机、台式计算机、机顶盒、TV、HDTV(高清晰度电视)、移动电话和其它装置在内的个别客户端装置的多样性，需要同时针对相同内容而具有不同带宽的位流。连接带宽可随时间(从9.6kbps到100Mbps和以上)快速变化，且可快于服务器的反应。
与异质IP网络相似的是移动/无线通信。经由移动/无线信道的多媒体内容的传送非常具有挑战性，因为这些信道通常由于多路径衰退、遮蔽、符号间干扰和噪音扰动而严重减损。例如迁移率和竞争业务等某些其它原因也导致带宽变动和损耗。信道噪音和所服务的用户数目决定信道环境的时变性。除环境条件以外，目的地网络可由于地理位置以及移动漫游的缘故而从第二到第三代蜂窝式网络变动到宽带仅数据网络(broadbanddata-only network)。所有这些变化需要对甚至在运行中的多媒体内容进行自适应速率调整。因此，经由异质有线/无线网络成功地传输视频需要有效的编码，以及对于变动网络条件、装置特性和用户偏好的适应性，同时还对损耗有弹性。
为了满足不同用户需求且适应信道变动，可产生多个独立版本的位流，每一者满足基于传输带宽、用户显示和/或计算能力的一个等级的约束，但这对于服务器存储和多播应用来说效率不佳。在可缩放编码中，在服务器处建立适应高端用户的单个宏位流，用于低端应用的位流被嵌入作为所述宏位流的子集。如此，通过选择性地传输子位流，单个位流可适应不同的应用环境。由可缩放编码提供的另一优点是在易出错信道上进行稳健的视频传输。可轻易处理错误保护和错误隐匿。可将较可靠的传输信道或较好的错误保护应用于含有最重要信息的基础层位。
在例如MPEG-1、MPEG-2、MPEG-4(统称为MPEG-x)、H.261、H.262、H.263和H.264(统称为H.26x)的混合编码器中存在空间、时间和信噪比(SNR)可缩放性。在混合编码中，通过运动补偿预测(MCP)来去除时间冗余。视频通常被分为一系列图片组(GOP)，其中每一GOP始于帧内编码帧(I)，之后是前向(和/或后向)预测帧(P)与双向预测帧(B)的配置。P帧和B帧两者均是采用MCP的帧间预测帧。基础层可以较低质量等级含有I帧、P帧或B帧的最重要信息，且增强层可含有相同帧的较高质量信息或基础层中所不含有的额外时间缩放帧。SNR可缩放性可在解码器处通过在解码基础层数据的同时选择性地略去对增强层中的较高质量数据的解码而实现。视如何在基础层与增强层之间剖析数据而定，对基础层加增强层数据的解码可引入增加的复杂性和存储器要求。增加的计算复杂性和增加的存储器要求可对功率受限和计算能力受限的装置(例如PDA(个人数字助理)、移动电话和类似物)的性能有害。理想的是：对基础层加增强层的解码并不显著增加此类装置的计算复杂性和存储器要求。
发明内容
因此，开发一种用于解码基础层加增强层而不显著增加计算复杂性和所需的存储器的系统和方法将是有利的。
一个实施例包括一种用于处理多媒体数据的方法。所述方法包含：接收表示至少一个视频帧的第一组量化系数；接收表示至少一个视频帧的第二组量化系数；以及使用第一组量化系数和第二组量化系数产生表示至少一个视频帧的第三组量化系数。
在某些实施例中，所述方法进一步包含：接收表示至少一个视频帧的可变长度系数(VLC)数据；以及处理所述VLC数据以产生所述第一组量化系数和所述第二组量化系数，其中导致所述第一组和第二组量化系数的产生的VLC数据处理由单个处理器执行。在某些实施例中，第二组量化系数指示对第一组量化系数的至少一个改进。在某些实施例中，通过将所述第一组量化系数添加到所述第二组量化系数而产生第三组量化系数。在某些实施例中，所述第一组量化系数与所述第二组量化系数组合以产生所述第三组量化系数部分基于与所述第一组量化系数相关联的第一量化参数和与所述第二组量化系数相关联的第二量化参数。在某些实施例中，第一量化参数和第二量化参数具有除1之外的公分母。
另一实施例包括一种用于处理多媒体数据的设备。所述设备包含：用于接收表示至少一个视频帧的第一组量化系数的装置；用于接收表示至少一个视频帧的第二组量化系数的装置；以及用于使用第一组量化系数和第二组量化系数产生表示至少一个视频帧的第三组量化系数的装置。
在某些实施例中，所述设备进一步包含：用于接收表示至少一个视频帧的VLC数据的装置；以及用于处理所述VLC数据以产生第一组量化系数和第二组量化系数的装置，其中导致所述第一组和第二组量化系数的产生的VLC数据处理由单个处理器执行。在某些实施例中，与所述第一组量化系数和所述第二组量化系数相关联的量化参数具有除1之外的公分母。在某些实施例中，所述公分母为6。在某些实施例中，用于产生所述第三组量化系数的装置使用添加到第二组量化系数的第一组量化系数。在某些实施例中，将所述第一组量化系数添加到所述第二组量化系数以产生所述第三组量化系数部分基于与所述第一组量化系数相关联的第一量化参数和与所述第二组量化系数相关联的第二量化参数。在某些实施例中，第二组量化系数指示对所述第一组量化系数的至少一个改进。
另一实施例包括一种用于处理多媒体数据的设备。所述设备包含：接收模块，其经配置以接收表示至少一个视频帧的第一组量化系数和表示至少一个视频帧的第二组量化系数；以及处理模块，其经配置以使用第一组量化系数和第二组量化系数产生表示至少一个视频帧的第三组量化系数。
另一实施例包括一种包含用于处理多媒体数据的指令的机器可读媒体，其中所述指令在执行时导致一机器：确定表示至少一个视频帧的第一组量化系数；确定表示至少一个视频帧的第二组量化系数；且使用第一组量化系数和第二组量化系数编码表示至少一个视频帧的第三组量化系数。
另一实施例包括一种用于处理多媒体的处理器。所述处理器经配置以确定表示至少一个视频帧的第一组量化系数；确定表示至少一个视频帧的第二组量化系数；且使用第一组量化系数和第二组量化系数编码表示至少一个视频帧的第三组量化系数。
此概述和以下详细描述均不意图界定本发明。本发明由权利要求书界定。
附图说明
图1A是用于递送串流视频的编码系统的实例的说明；
图1B是图1A的编码系统的例示性第一处理器和第二处理器的说明；
图2是编码视频的一个实例的流程图；
图3是图1A的第一处理器所执行的一个例示性过程的流程图；以及
图4是产生表示起初由第一和第二组量化系数表示的视频的第三组量化系数的一个例示性过程的流程图。
具体实施方式
本发明描述以降低的解码器额外开销提供包括基础层和一个或一个以上增强层的多个视频层的方法和设备。基础层和增强层系数可在解量化之前在两层均可用于解码时根据本文所揭示的某些实施例通过解码器装置进行组合，从而改进解码效率。
在以下描述中，给出特定细节以提供对实施例的彻底理解。然而，所属领域的一般技术人员将了解，可在没有这些特定细节的情况下实践所述实施例。举例来说，电子组件可以框图展示，以便不致因不必要的细节而使实施例难以理解。在其它实例中，可详细展示此类组件、其它结构和技术以进一步解释所述实施例。
还应注意，实施例可描述为一过程，所述过程描绘为流程图、流程图表、结构图表，或框图。尽管流程图可将操作描述为一顺序过程，但所述操作中的许多操作可并行或同时执行且所述过程可重复。另外，操作的次序可重新配置。当一过程的操作完成时，所述过程终止。一过程可对应于方法、函数、程序、子例程、子程序等。当一过程对应于函数时，所述过程的终止对应于所述函数返回到调用函数或主函数。
在常规单层解码器中，I帧、P帧和B帧的解码均遵循相似路径。无论表示帧内编码视频还是残余错误的系数均经解量化、逆变换且然后分别与空间预测系数或最佳匹配宏区块系数组合。
下文中描述的编码和解码过程以增加效率的方式使基础层和/或增强层的可缩放解码对于负责解码视频数据的组件来说为透明的。替代于在每一层的自身通过中单独解码每一层，且然后组合经解码的层(其为低效的使双层解码透明的两次通过方式)，对解码器有效的透明性可通过例如使用预处理器(例如数字信号处理器(DSP))在组合数据在单次通过中在硬件视频核心中解码之前，组合基础层数据和增强层对基础层数据的修改而完成，从而提供较高效率。
图1A是用于解码多个视频层的解码器装置100的一实例的说明。解码器装置100含有：视频核心110，其包括解量化组件120和逆变换组件115；存储器组件130；通信组件140；第一处理器180；和第二处理器135。所述解码器装置100接合到：(a)存储组件145，其可在解码器装置100的内部或外部；和(b)显示组件190。出于与图1相关联进行论述和说明的目的，假设存储组件145在解码器装置100的外部。
解码器装置100接收来自外部存储装置145或来自从网络150接收的传输的经编码数据。经编码数据可包含经变换数据、量化数据、可变长度编码(VLC)数据或其任意组合。此外，经编码数据可包含用于单独视频层的数据，例如基础层数据和增强层数据。举例来说，通信组件140可接收表示基础层、增强层的VLC数据，和用于将针对所述两层的VLC数据变换为量化系数的查找表。通信组件140含有用以与网络150协同接收(Rx)经编码数据的逻辑，以及用于接收来自外部存储装置145的经编码数据的逻辑。外部存储装置145可为(例如)外部RAM或ROM，或远程服务器。
第一处理器180含有用于处理VLC数据的逻辑。第一处理器180含有用于VLC符号产生(也称为执行VLC表查找)、VLC运行长度(run length)扩充和逆Z字形扫描的逻辑。因此，第一处理器180可当给定表示量化(或残余)系数的VLC数据时产生非压缩(unpacked)的量化(或残余)系数。在某些实施例中，第一处理器为精简指令集计算机(RISC)处理器。
第二处理器135含有用于组合表示基础层和增强层的数据(例如量化系数)的逻辑，使得经组合的数据可稍后在单个层中解码(如在下文中参看图3更详细地讨论)。在某些实施例中，第二处理器135可含有用于在(例如)未接收到或以一毁坏状态接收到增强层时或为了节省电池电力或节省处理能力而产生基础层可解码数据的逻辑。在某些实施例中，第二处理器135为DSP。
当接收帧内编码数据时，第二处理器135首先处理数据且然后将经处理的数据发送到视频核心110的解量化组件120进行解量化，之后由视频核心110的逆变换组件115进行逆变换，得到可显示于显示组件190上的经解码的图片。另一方面，帧间编码数据在参考帧(从所述参考帧预测帧间编码数据)被解码之后予以解码。残余错误系数由第二处理器135、解量化组件120和逆变换组件115处理，得到经解码的残余错误。然后，所述残余错误与来自参考帧的最佳匹配宏区块组合。经解码的帧可由显示组件190显示、存储于外部存储装置145中或存储于内部存储器130中。
显示组件190可为含有例如视频显示硬件和逻辑的部分的解码装置的集成部分(包括显示屏幕)，或其可为外部外围装置。通信组件175也含有用以将经解码的帧传递到外部存储组件185或显示组件190的逻辑。解码器装置100的一个或一个以上元件可重新配置和/或组合。
视频核心110含有两个组件：解量化组件120和逆变换组件115。在某些实施例中，视频核心110可实施为专用集成电路(ASIC)。解量化组件120和逆变换组件115分别执行解量化和逆变换。这些逆操作系经执行以允许重建表示原始视频数据的系数和视频帧，以使得残余错误计算和增强层系数计算尽可能精确。
当执行逆量化时，解量化组件120将经分配以表示经变换系数中的每一者的位的数目用作量化系数以重新产生经变换系数。所述经变换系数的量化/解量化可针对每一区块或每一宏区块而不同。宏区块可为16×16像素区块(由一16×16Luma区块，和两个8×8Chroma区块组成)。量化参数(QP)确定当变换系数量化为量化系数时所执行的量化等级。通过增加QP而实现较多数字压缩，借此提供对系数的较低质量的数字表示。在一个实例中，较低质量系数可在SNR可缩放视频流的基础层中进行编码。减少QP实现系数的较高质量的数字表示。这些较高质量系数可在SNR可缩放视频流的增强层中进行编码。
当执行逆变换时，逆变换组件115将经变换系数变换为来自空间域的视频数据，例如经解码的视频帧。如果使用DCT(离散余弦变换)，那么经变换系数可表示频域。经变换系数可为其中变换实际视频数据的帧内编码数据，或其可为其中变换空间预测残余的帧内编码数据，或其可为其中变换残余错误的帧间编码数据。其它数字变换包括Hadamard变换、DWT(离散小波变换)，和例如H.264中所使用的整数变换。
在视频解码中，例如可使用视频核心的硬件实施例来加速计算密集解码过程，尤其是解量化和逆变换。硬件视频核心可含有能够同时执行(管线操作)若干功能的特殊电路和/或处理器。管线操作可使解码时间减少。标准管线流中的任何中断，例如额外逆变换、额外解量化操作或甚至额外加法可使整个过程减慢。所属领域的技术人员将了解，视频核心的一个或一个以上实施例可由硬件、软件、固件、中间件、微码或其任意组合实施。
通信组件140含有用以从外部源(例如网络150)接收经编码数据的逻辑。外部源也可为(例如)外部存储装置145、实况视频和/或音频馈入，且接收所述数据可包括有线和/或无线通信。如上所述，经编码数据可包含经变换数据、量化数据、可变长度编码数据或其任意组合。网络150可为例如电话系统、电缆系统或光纤系统的有线系统的一部分，或所述网络150可为无线系统。在无线通信系统的状况下，网络150可包含(例如)码分多址(CDMA或CDMA2000)通信系统的一部分，或者所述系统可为频分多址(FDMA)系统、时分多址(TDMA)系统(例如GSM/GPRS(通用无线分组业务)/EDGE(增强数据GSM环境)或用于服务业的TETRA(地面中继无线电)移动电话技术)、宽带码分多址(WCDMA)、高数据速率(1xEV-DO或1xEV-DO黄金多播)系统，或大体来说任何采用技术组合的无线通信系统。可重新配置和/或组合解码器装置100的一个或一个以上元件。举例来说，通信组件140可在解码器装置100的外部。
图1B是图1A的编码系统的例示性第一处理器180和第二处理器135的说明。第一处理器180包括用于接收VLC数据的模块181和用于处理VLC数据的模块182。第二处理器135包括用于接收第一组量化系数的模块136、用于接收第二组量化系数的模块137，和用于产生第三组量化系数的模块138。
在某些实施例中，第一处理器180经由其用于接收VLC数据的模块181接收VLC数据。在某些实施例中，所述VLC数据可表示单层或多层视频数据。举例来说，可从如图1中所示的解码器装置100的通信组件140接收VLC数据。在某些实施例中，用于接收表示至少一个视频帧的VLC数据的装置包含用于接收VLC数据的模块181。用于接收VLC数据的模块181进一步经配置以将VLC数据发送到用于处理VLC数据的模块182。在某些实施例中，用于处理VLC数据以产生第一组量化系数和第二组量化系数的装置包含用于处理VLC数据的模块182，其中导致所述第一组和第二组量化系数的产生的VLC数据处理由单个处理器执行。用于处理VLC数据的模块182经配置以使用VLC数据中所包括的信息扩充VLC数据。举例来说，用于处理VLC数据的模块182可含有用于产生VLC符号，也称为使用VLC数据中所包括的VLC表信息执行VLC表查找的逻辑。用于处理VLC数据的模块182可进一步含有VLC运行长度扩充，和逆Z字形扫描。VLC处理器可进一步经配置以将经扩充的VLC数据、量化系数发送到第二处理器135。在某些实施例中，经扩充的VLC数据可包括表示多个视频数据层的多组量化系数。
在某些实施例中，第二处理器135经由用于接收第一组量化系数的模块136和用于接收第二组量化系数的模块137来接收量化系数数据，例如多组量化系数。在某些实施例中，用于接收表示至少一个视频帧的第一组量化系数的装置包含用于接收第一组量化系数的模块136。在某些实施例中，用于接收表示至少一个视频帧的第二组量化系数的装置包含用于接收第二组量化系数的模块137。第一和第二组量化系数可(例如)分别表示基础层和增强层视频数据。接收模块136和137可进一步经配置以将所接收的量化系数数据发送到用于产生第三组量化系数的模块138。在某些实施例中，用于使用第一组量化系数和第二组量化系数产生表示至少一个视频帧的第三组量化系数的装置包含用于产生第三组量化系数的模块138。在某些实施例中，用于产生第三组量化系数的模块138经配置以使用本文中所讨论的多层视频编码技术(例如参看图4所揭示的过程)将第一组量化系数与第二组量化系数组合。因此，用于产生第三组量化系数的模块138可产生表示第一和第二组量化系数的第三组量化系数。在某些其它实施例中，用于产生第三组量化系数的模块138经配置以在即使未从两个接收模块136和137中的一者处接收一组系数的状况下也产生第三组量化系数。
所属领域的一般技术人员将了解，可使用多种不同的技艺和技术中的任一者表示信息和信号。举例来说，在整个以上描述中可能引用的数据、指令、命令、信息、信号、位、符号和码片可由电压、电流、电磁波、磁场或粒子、光场或粒子，或其任一组合来表示。
图2是根据本发明一个实施例解码SNR可缩放视频的过程的流程图。虽然图2展示一个使用本文所揭示的多层视频编码的实施例解码SNR可缩放视频的过程，但其它过程也可与本文所讨论的多层视频编码的某些实施例结合使用，例如题为″Scalable VideoCoding with Two Layer Encoding and Single Layer Decoding″且全文以引用的方式并入本文中的第60/660,877号美国专利申请案中描述的那些过程。
过程200描绘使用多层视频编码来解码由基础层和增强层组成的视频流的流程。在步骤201中，解码器装置的通信模块从网络接收针对SNR可缩放视频流的VLC数据。所述SNR可缩放视频流具有两层：基础层和增强层。然后，通信模块在步骤202中将VLC数据发送到第一处理器180。在步骤203中，第一处理器180使用VLC符号产生过程(也称为VLC表查找)之后是VLC运行长度扩充连同逆Z字形扫描来扩充VLC数据，以产生非压缩的量化系数。因此，第一处理器180为基础层和增强层两者产生单独量化系数组。然后所述两组量化系数发送到第二处理器135。在步骤204中，第二处理器135使用在下文中将参看图3讨论的某些发明特征将表示基础层的第一组量化系数和表示增强层的第二组量化系数组合为第三组量化系数。在其它实施例中，替代于第一处理器180执行扩充VLC数据的整个过程，第一处理器180改为可执行VLC符号产生且接着第二处理器135可执行VLC运行长度扩充和逆Z字形扫描以便得到表示基础层和增强层的两组量化系数。
将第三组量化系数发送到视频核心的解量化组件，其中在步骤205中，所述组件对所述组执行解量化，产生表示第三组量化系数的一组经变换系数。然后将经变换系数发送到逆变换组件，其中在步骤206中，现将应用于视频流以产生经变换系数的初始变换函数的逆函数应用于经变换系数以颠倒所述过程且重新产生视频流。接着将视频流放置于内部存储器中且使用通信组件传递到显示器，且过程200完成。
图3是接收且组合表示两个单独视频数据层的两组量化系数的一个例示性过程的流程图。所说明的过程提供图2的步骤203的更多细节。在某些实施例中，例如图1中所展示的系统和图2中所展示的流程图，可由RISC处理器执行所述过程。在其它实施例中，可使用另一类型的处理器。在另外实施例中，可使用多个处理器接收和组合量化系数数据。所述过程在步骤301中始于首先接收第一组量化系数。在某些实施例中，所述第一组量化系数可表示视频数据层。举例来说，第一组系数可表示基础层。接着，在步骤302中，接收第二组量化系数。在某些实施例中，所述第二组量化系数也可表示视频数据层。举例来说，第二组系数可表示增强层。在其它实施例中，可在第二组系数之后接收第一组系数。在另外实施例中，可同时接收两组系数。
在步骤303中，使用第一组系数和第二组系数产生第三组系数。在某些实施例中，可通过将第一组系数与第二组系数组合而产生第三组系数。在某些实施例中，如将在下文中参看图4进一步讨论，可使用与第一组系数和/或第二组系数相关联的量化参数来产生第三组系数。在产生第三组系数之后，所述过程完成。
图4是为起初由第一和第二组量化系数表示的视频产生第三组量化系数的一个例示性过程的流程图。所展示的过程是针对其中与系数组相关联的量化参数具有公分母6的实施例。在其它实施例中，量化参数可不具有公分母。在一个实施例中，解码器装置100可在将表示基础层与增强层两者的量化系数组组合时动态地确定QP。
在步骤401中，过程始于基础层系数组中的第一系数。然后，在步骤402中，所述过程移动进入迭代回路(iterative loop)，其中组合基础层和增强层系数组中的每一系数。明确地说，始于基础层系数组中的第一系数B1，组合系数组中的相应系数C1的值基于涉及B1、增强层系数组中的相应系数E1以及相关于基础层系数组QPB和增强层系数组QPE的量化系数的等式。明确地说，在步骤403中，等式为Ci＝((QPB-QPE)/3)*Bi+Ei，其中i＝1...n，且其中n为基础层系数组与增强层系数组之间的最长系数组中的系数的数目。所说明的过程利用基础层和增强层量化，其中QPB＞QPE，且两个QP均具有公分母6。等式因此通过将系数向左移(缩放的一种形式)一个位而将基础层系数转换到增强层标度。
在步骤404中针对基础层系数组中的每一系数重复将来自基础层和增强层的系数相加以使用以上等式产生组合层的系数的这一过程，所述基础层系数组在所展示的实施例中与增强层系数组在长度上相等。接着，当基础层系数组中无剩余待处理的系数时，所述过程结束。在其它实施例中，可使用其它等式计算组合系数组值，其可涉及具有不同公分母或无公分母的量化参数。
一般技术人员将进一步了解：结合本文所揭示的实例描述的各种说明性逻辑区块、模块和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为了清晰地说明硬件与软件的此可互换性，以上已大体上关于其功能性描述了各种说明性组件、区块、模块、电路和步骤。此功能性实施为硬件还是软件视特定应用和施加于整个系统的设计约束而定。熟练的技术人员可针对每一特定应用以变动的方式实施所描述的功能性，但此实施决策不应被解释为导致脱离所揭示的方法的范围。
结合本文所揭示的实例所描述的各种说明性逻辑区块、模块和电路可通过经设计以执行本文中所描述的功能的通用处理器、DSP、ASIC、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件，或其任一组合来实施或执行。通用处理器可为微处理器，但在替代方案中，所述处理器可为任一常规处理器、控制器、微控器或状态机。处理器也可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、一个或一个以上与DSP核心结合的微处理器，或任一其它此种配置。
结合本文所揭示的实例描述的方法或算法的步骤可直接实施于硬件中、由处理器执行的软件模块中，或两者的组合中。软件模块可驻留于RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除式磁盘、CD-ROM，或此项技术中已知的任何其它形式的存储媒体中。例示性存储媒体耦合到处理器以使得所述处理器可从所述存储媒体读取信息且将信息写入到所述存储媒体。在替代方案中，存储媒体可与处理器成一体式。所述处理器和所述存储媒体可驻留于ASIC中。所述ASIC可驻留于无线调制解调器中。在替代方案中，处理器和存储媒体可作为离散组件驻留于无线调制解调器中。
提供对所揭示实例的先前描述以使所属领域的一般技术人员能够制作或使用所揭示的方法和设备。所属领域的技术人员将易于了解对这些实例的多种修改，且本文中所定义的原理可应用于其它实例而不脱离所揭示的方法和设备的精神或范围。
因此，已描述一种通过产生单个表示基础层和增强层两层的量化系数组，而以最小解码器额外开销在基础层处提供可接受质量视频且在增强层处提供较高质量视频的方法和设备。

Claims (18)

1.一种用于处理多媒体数据的方法，其包含：
接收表示至少一个视频帧的可变长度系数(VLC)数据；
处理所述VLC数据以产生表示至少一个视频帧的第一组量化系数和表示所述至少一个视频帧的第二组量化系数，其中由单个处理器执行导致产生所述第一组和第二组量化系数的所述VLC数据处理；
接收所述第一组量化系数；
接收所述第二组量化系数；以及
使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数。
2.根据权利要求1所述的方法，其中所述第二组量化系数指示对所述第一组量化系数的至少一个改进。
3.根据权利要求1所述的方法，其中通过将所述第一组量化系数添加到所述第二组量化系数而产生所述第三组量化系数。
4.根据权利要求3所述的方法，其中将所述第一组量化系数与所述第二组量化系数组合以产生所述第三组量化系数是部分基于与所述第一组量化系数相关联的第一量化参数和与所述第二组量化系数相关联的第二量化参数。
5.根据权利要求4所述的方法，其中所述第一量化参数并非所述第二量化参数的因子。
6.根据权利要求4所述的方法，其中所述第一量化参数和第二量化参数不具有公分母。
7.根据权利要求4所述的方法，其中所述第一量化参数和第二量化参数具有除1之外的公分母。
8.根据权利要求7所述的方法，其中所述公分母为6。
9.一种用于处理多媒体数据的设备，其包含：
用于接收表示至少一个视频帧的VLC数据的装置；
用于处理所述VLC数据以产生表示至少一个视频帧的第一组量化系数和表示所述至少一个视频帧的第二组量化系数的装置，其中由单个处理器执行导致产生所述第一组和第二组量化系数的所述VLC数据处理；
用于接收所述第一组量化系数的装置；
用于接收所述第二组量化系数的装置；以及
用于使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数的装置。
10.根据权利要求9所述的设备，其中所述第一量化参数和第二量化参数不具有公分母。
11.根据权利要求9所述的设备，其中与所述第一组量化系数和所述第二组量化系数相关联的量化参数具有除1之外的公分母。
12.根据权利要求11所述的设备，其中所述公分母为6。
13.根据权利要求9所述的设备，其中所述用于产生所述第三组量化系数的装置使用添加到所述第二组量化系数的所述第一组量化系数。
14.根据权利要求13所述的设备，其中将所述第一组量化系数添加到所述第二组量化系数以产生所述第三组量化系数是部分基于与所述第一组量化系数相关联的第一量化参数和与所述第二组量化系数相关联的第二量化参数。
15.根据权利要求9所述的设备，其中所述第二组量化系数指示对所述第一组量化系数的至少一个改进。
16.一种用于处理多媒体数据的设备，其包含：
VLC接收模块，其经配置以接收表示至少一个视频帧的可变长度系数(VLC)数据；
处理模块，其经配置以处理所述VLC数据以产生表示至少一个视频帧的第一组量化系数和表示所述至少一个视频帧的第二组量化系数，其中由单个处理器执行导致产生所述第一组和第二组量化系数的所述VLC数据处理；
量化系数接收模块，其经配置以接收所述第一组量化系数和所述第二组量化系数；以及
产生模块，其经配置以使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数。
17.一种机器可读媒体，其包含用于处理多媒体数据的指令，其中所述指令在执行时导致一机器：
接收表示至少一个视频帧的可变长度系数(VLC)数据；
处理所述VLC数据以产生表示至少一个视频帧的第一组量化系数和表示所述至少一个视频帧的第二组量化系数，其中由单个处理器执行导致产生所述第一组和第二组量化系数的所述VLC数据处理；
接收所述第一组量化系数；
接收所述第二组量化系数；且
使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数。
18.一种用于处理多媒体的处理器，所述处理器经配置以：
接收表示至少一个视频帧的可变长度系数(VLC)数据；
处理所述VLC数据以产生表示至少一个视频帧的第一组量化系数和表示所述至少一个视频帧的第二组量化系数，其中由单个处理器执行导致产生所述第一组和第二组量化系数的所述VLC数据处理；
接收所述第一组量化系数；
接收所述第二组量化系数；且
使用所述第一组量化系数和第二组量化系数产生表示所述至少一个视频帧的第三组量化系数。
CN2006800433622A 2005-09-27 2006-09-27 多层视频编码 Expired - Fee Related CN101313583B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72143505P 2005-09-27 2005-09-27
US60/721,435 2005-09-27
PCT/US2006/037999 WO2007038730A2 (en) 2005-09-27 2006-09-27 Multiple layer video encoding

Publications (2)

Publication Number Publication Date
CN101313583A true CN101313583A (zh) 2008-11-26
CN101313583B CN101313583B (zh) 2013-04-24

Family

ID=37763800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800433622A Expired - Fee Related CN101313583B (zh) 2005-09-27 2006-09-27 多层视频编码

Country Status (8)

Country Link
US (1) US8705617B2 (zh)
EP (1) EP1929787A2 (zh)
JP (2) JP2009510940A (zh)
KR (1) KR100964778B1 (zh)
CN (1) CN101313583B (zh)
AR (1) AR055662A1 (zh)
TW (1) TWI325724B (zh)
WO (1) WO2007038730A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850130A (zh) * 2014-01-03 2016-08-10 高通股份有限公司 在多层视频译码中对不同编解码器的基础层的支持

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239766B2 (en) 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP5197238B2 (ja) * 2008-08-29 2013-05-15 キヤノン株式会社 映像送信装置、その制御方法、および制御方法を実行するプログラム
JP5174737B2 (ja) * 2009-05-05 2013-04-03 国立大学法人広島大学 画像配信システム、符号装置及び復号装置
GB2496862B (en) * 2011-11-22 2016-06-01 Canon Kk Communication of data blocks over a communication system
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654196A (ja) 1992-07-31 1994-02-25 Canon Inc 画像処理装置
JPH06244736A (ja) 1993-02-15 1994-09-02 Toshiba Corp 符号化装置
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories
US6757438B2 (en) 2000-02-28 2004-06-29 Next Software, Inc. Method and apparatus for video compression using microwavelets
JP3170193B2 (ja) * 1995-03-16 2001-05-28 松下電器産業株式会社 画像信号の符号化装置及び復号装置
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
JPH11346366A (ja) 1998-06-01 1999-12-14 Sony Corp 符号化装置とその方法および復号化装置とその方法
US20020001412A1 (en) 1998-07-21 2002-01-03 Hewlett-Packard Company System for variable quantization in jpeg for compound documents
JP2001245301A (ja) 2000-02-28 2001-09-07 Sharp Corp 符号化装置および符号化方法
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US6882685B2 (en) 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US7158684B2 (en) 2002-04-25 2007-01-02 Texas Instruments Incoporated Entropy coding scheme for video coding
WO2004030369A1 (en) 2002-09-27 2004-04-08 Videosoft, Inc. Real-time video coding/decoding
JP2005057738A (ja) 2003-07-18 2005-03-03 Canon Inc 信号処理装置、信号処理方法及びプログラム
JP2005094054A (ja) * 2003-09-11 2005-04-07 Hiroshima Univ 画像符号化装置、その方法およびプログラム、並びにストリーム合成器、その方法およびプログラム
KR100834748B1 (ko) 2004-01-19 2008-06-05 삼성전자주식회사 스케일러블 비디오 스트림 재생 방법 및 장치
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
US7778327B2 (en) * 2005-02-08 2010-08-17 Texas Instruments Incorporated H.264 quantization
US7995656B2 (en) 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105850130A (zh) * 2014-01-03 2016-08-10 高通股份有限公司 在多层视频译码中对不同编解码器的基础层的支持
CN105850130B (zh) * 2014-01-03 2019-07-16 高通股份有限公司 用于译码视频信息的方法和设备及计算机可读存储介质

Also Published As

Publication number Publication date
US8705617B2 (en) 2014-04-22
JP2012239193A (ja) 2012-12-06
CN101313583B (zh) 2013-04-24
JP2009510940A (ja) 2009-03-12
KR100964778B1 (ko) 2010-06-21
TW200737986A (en) 2007-10-01
KR20080066709A (ko) 2008-07-16
AR055662A1 (es) 2007-08-29
EP1929787A2 (en) 2008-06-11
TWI325724B (en) 2010-06-01
US20070071093A1 (en) 2007-03-29
JP5675719B2 (ja) 2015-02-25
WO2007038730A3 (en) 2007-05-24
WO2007038730A2 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
CN101313583B (zh) 多层视频编码
CN101167364B (zh) 具有两层编码和单层解码的可伸缩视频编码
CN1965587B (zh) 在允许时域分级的混合视频压缩中进行帧预测的方法和装置
JP5226818B2 (ja) 時間的なスケーラビリティのために２方向予測されたフレームを組み立てるための方法及び装置
US20070014349A1 (en) Residual prediction mode in scalable video coding
CN1636407A (zh) 具有运动补偿的完全嵌入式fgs视频编码
US20030118097A1 (en) System for realization of complexity scalability in a layered video coding framework
KR20040046320A (ko) 동영상 부호화 방법
Wang et al. Robust multiple description distributed video coding using optimized zero-padding
TWI416962B (zh) 在併合視訊壓縮中用於框架預測以致動暫時可擴充性之方法、裝置、及電腦可讀取媒體
Beg et al. Video over wireless networks: A brief review
Shen et al. RD optimal motion estimation for fast H. 264/AVC bit-rate reduction
Hsu et al. A new seamless bitstream switching scheme for H. 264 video adaptation with enhanced coding performance
Zhao et al. Influence of MPEG-4 parameters on system energy
KR20040091939A (ko) 인트라 휘도 예측 모드 결정방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20150927

EXPY Termination of patent right or utility model