CN102724496A - 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法 - Google Patents

用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法 Download PDF

Info

Publication number
CN102724496A
CN102724496A CN2012101485439A CN201210148543A CN102724496A CN 102724496 A CN102724496 A CN 102724496A CN 2012101485439 A CN2012101485439 A CN 2012101485439A CN 201210148543 A CN201210148543 A CN 201210148543A CN 102724496 A CN102724496 A CN 102724496A
Authority
CN
China
Prior art keywords
layer
prediction
enhancement
quantized coefficients
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101485439A
Other languages
English (en)
Other versions
CN102724496B (zh
Inventor
陈培松
维贾雅拉克希米·R·拉韦恩德拉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102724496A publication Critical patent/CN102724496A/zh
Application granted granted Critical
Publication of CN102724496B publication Critical patent/CN102724496B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明涉及用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法。本发明揭示一种处理与多个层相关联的多媒体数据的方法。所述方法可包括：确定基础层残留；及如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第一选定条件，则实施层间预测以产生增强层残留。一种对多媒体位流进行解码的方法可包括：接收具有基础层及增强层的多媒体位流，及对所述基础层进行解码以确定应该使用层内预测还是层间预测来对所述增强层进行解码。

Description

用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
分案申请
本发明专利申请是申请日为2006年5月3日，申请号为200680022774.8，以及发明名称为“用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法”的发明专利申请案的分案申请。 
根据35 U.S.C§119主张优先权
本专利申请案主张优先于2006年4月4日申请的题为″DATA PROCESSING WITH SCALABILITY″的临时申请案第60/789,271号、2005年5月3日申请的题为″BASE LAYER VIDEO QUALITY COMPARISON″的临时申请案第60/677,607号、2005年5月3日申请的题为″INTRODUCING NEW MB MODES″的临时申请案第60/677,609号、2005年5月3日申请的题为″SHARING INFORMATION IN TWO LAYER CODING″的临时申请案第60/677,610号及2005年5月3日申请的题为″INTERLAYER PREDICTION FOR INTER MBS IN SCALABLE VIDEO CODING″的临时申请案第60/677,611号，所有所述专利均受让于本专利的受让人且明确地以引用方式并入本文中。 
技术领域
本发明涉及可包含音频数据、视频数据或两者的多媒体数据的可缩放编码及解码。更特定来说，本发明涉及用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法。 
背景技术
国际电信联盟(ITU)已公布数字视频编码的H.261、H.262、H.263及H.264标准。这些标准规定经编码数字视频数据的语法及如何解码这一数据以供呈现或重放。然而，这些标准允许以灵活方式使用各种不同的技术(例如，算法或压缩工具)将数字视频数据从未压缩格式变换为经压缩或经编码格式。因此，目前有许多不同的数字视频数据编码器可用。这些数字视频编码器能够以各种成本及质量水平实现各种程度的压缩。 
可缩放视频编码产生用于编码视频数据的多个层，例如，基础层及增强层。所述两层通常在具有不同传输特性的不同信道上传输，从而导致不同的包错误率。所述基础层通常具有与所述增强层相比时较低的包错误率。所述基础层通常含有最有价值的信息且所述增强层通常提供对所述基础层的完善。多数可缩放视频压缩技术利用了如下事实：与图像的更单调、低频率区域相比人类视觉系统更易于忽略高频率去中的噪声(由于压缩所致)。因此，所述基础层主要地含有低频率信息且所述增强层主要地含有高频率信息。当网络带宽不足时，有较高的可能仅接收经编码视频的基础层(无增强层)。在这种情况中，经重构视频是模糊不清的且解块滤波器甚至可能加重这种效果。 
解码器通常解码所述基础层或所述基础层及所述增强层。当解码所述基础层及所述增强层时，与单层解码器相比多层解码器通常需要增加的计算复杂性及存储器。由于所述增加的计算复杂性及存储器需要所致许多移动装置不利用多层解码器。 
发明内容
处理与多个层相关联的多媒体数据的方法可包括确定基础层残留。如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第一选定条件，则可实施层间预测以产生增强层残留。所述第一选定条件可以是所述基础层残留的非零或零系数的数量大于、小于或等于阈值。如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件，则可实施时间预测以产生所述增强层残留。所述第二选定条件可以是所述基础层残留的非零或零系数的数量大于、小于或等于阈值。 
本发明揭示一种使用基础层预测增强层的方法。多媒体数据块可用于产生包括多个基础量化系数的基础残留。所述多媒体数据块还可用于产生包括多个增强量化系数的增强残留。基于所述多个基础量化系数可确定第一值，且基于所述多个增强量化系数可确定第二值。可通过使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。 
解码多媒体位流的方法可包括接收具有基础层及增强层的多媒体位流。所述基层可经解码以确定是使用层内预测或还是应用层间预测解码所述增强层。 
附图说明
结合附图阅读下文的详细阐释将更易于了解本发明的特征、目的及优点。 
图1是用于编码及解码多媒体数据的系统的框图； 
图2是H.264视频数据位流的框图； 
图3是具有层间预测的多层可缩放编码器的框图； 
图4模式决策模块(MDM)的流程图，所述模式决策模块可以是图3的预测模块的一部分； 
图5是变换+熵编码模块(TECM)的流程图，所述变换+熵编码模块可以是图3的预测模块的一部分； 
图6是图解在宏块基础或块基础上的层间预测的流程图； 
图7显示变换域中的六个4x4块以图解在dct逐系数基础上的层间预测。 
图8图解在dct逐系数基础上的层间预测的方法。 
图9是使用层内预测或层间预测解码多媒体位流的方法的流程图；及 
图10具有层内预测及层间预测的解码器的框图。 
具体实施方式
现将参考所述图示阐述实施本发明的各个特征的实施例的系统及方法。提供所述图示及相关联说明是为了图解本发明的某些实施例而非限制本发明的范围。在所有图示中，重复使用各个参考编号以指示所参考元件之间的一致性。此外，每一参考编号的第一位数字指示所述元件第一次出现的图示。 
图1是编码及解码多媒体(例如，视频、音频或两者)数据的系统100的框图。系统100可经配置以编码(例如，压缩)及解码(例如，解压缩)视频数据(例如，图片及视频帧)。系统100可包括服务器105、装置110及将服务器105连接到装置110的通信信道115。系统100可用于图解下文所述的用于编码及解码视频数据的方法。系统100可由硬件、软件、固件、中间件、微码或其任一组合实施。一个或多个元件可被重排及/或组合，且其他系统可用于替代系统100，同时仍维持本发明的精神及范围。额外元件可添加到系统100或可从系统100移除，同时仍维持本发明的精神及范围。 
服务器105可包括处理器120、存储媒介125、编码器130及I/O装置135(例如，收发器)。处理器120及/或编码器130可经配置以接收呈一系列视频帧形式的视频数据。处理器120及/或编码器130可以是高级RISC机器(ARM)、控制器、数字信号处理器(DSP)、微处理器或能够处理数据的任一其他装置。处理器及/或编码器130可将所述系列的视频帧传输到存储媒介125进行存储及/或可编码所述系列的视频帧。存储媒介125还可存储由处理器120及/或编码器130使用以控制服务器105的操作及功能的计算机指令。存储媒介125可表示用于存储所述视频数据的一个或多个装置及/或用于存储信息的其他机器可读媒介。术语“机器可读媒介”包括(但不限于)随机存取存储器(RAM)、闪速存储器、(只读存储器)ROM、EPROM、EEPROM、寄存器、硬盘、可拆卸磁盘、CD-ROM、DVD、无线信道及能够存储、包含或负载指令及/或数据的各种其他媒介。 
使用从存储媒介125所接收的计算机指令，编码器130可经配置以实施所述系列视频帧的平行及串行处理(例如，压缩)两者。可如下文方法中所述实施所述计算机指令。一旦编码了所述系列的帧，则可将所述经编码数据发送到I/O装置135以经由 通信信道115传输到装置110。 
装置110可包括处理器140、存储媒介145、解码器150及I/O装置155(例如，收发器)及显示装置或屏幕160。装置110可以是计算机、数字录像机、手持装置(例如，蜂窝式电话、黑莓手机(Blackberry)等)、机顶盒、电视机及能够接收、处理(例如，解压缩)及/或显示一系列视频帧的其他装置。I/O装置155接收所述经编码数据且将所述经编码数据发送到存储媒介145及/或解码器150以供解码。解码器150经配置以使用所述经编码数据再产生所述系列的视频帧。一旦经解码，则所述系列的视频帧可存储于存储媒介145中。使用从存储媒介145所检索的计算机指令，解码器150可经配置以实施所述经编码数据的平行及串行处理(例如，解压缩)两者以再产生所述系列的视频帧。可如下文方法中所述实施所述计算机指令。处理器140可经配置以从存储媒介145及/或解码器150接收所述系列的视频帧且将所述系列的视频帧显示于显示装置160上。存储媒介145还可存储由处理器140及/或解码器150使用以控制装置110的操作及功能的计算机指令。 
通信信道115可用于在服务器105与装置110之间传输所述经编码数据。通信信道115可以是有线连接或有线网络及/或无线连接或无线网络。举例来说，通信信道115可包括因特网、同轴电缆、光纤线路、卫星链路、陆地链路、无线链路、能够传播信道的其他媒介及其任一组合。 
图2是H.264视频数据位流200的框图。位流200可组织或分割为多个存取单元205(例如，存取单元1、存取单元2、存取单元3等)。每一存取单元205可包括对应于经编码视频帧的信息。每一存取单元205可组织或分割为多个NAL单元210。每一NAL单元210可包括NAL前缀215、NAL标头220及数据块225。NAL前缀215可以是指示数据块225的开始处的一系列位(例如，00000001)，且NAL标头220可包括NAL单元类型230(例如，I、P或B帧)。数据块225可包括标头235及数据240。数据块225可组织或分割为16x16的数据宏块、整帧数据或所述视频数据的一部分(例如，2x2块或4x4块)。术语“宏块”及“块”可相互替代地使用。 
标头135可包括模式245、参考图列表250及QP值255。模式245可向编码器130指示如何组织或分割所述宏块、如何确定及传输运动信息及如何确定及传输残留信息。数据240可包括运动信息(例如，运动向量285)及残留信息(例如，DC 260及AC 265残留)。对于I帧来说，数据240可包括DC残留260及AC残留265。AC残留265可包括编码块模式(CBP)值270、拖尾1的数量275及残留量化系数280。对I帧来说，可不需要运动信息，这是因为其是第一帧。对于P及B帧来说，数据240可包括运动向量285、DC残留290及AC残留295。 
图3是多层可缩放编码器130的基础层编码模块300及增强层编码模块305的框图。多层编码引入多个时间预测环路。举例来说，双层编码可引入两个时间预测环路。可在所述两个层之间共享视频数据以允许针对所述两个层的某一位指派及降低开销。层间预测可用于所述增强层处以降低总编码开销。基础层编码模块300可用于所述基 础层视频且增强层编码模块305可用于所述增强层视频。在一些实施例中，所述基础层视频可与所述增强层视频是相同的或近似相同的。在基础层编码模块300及增强层编码模块305接收之前可编码视频数据。 
可在输入310及315处提供经编码视频数据。基础层编码模块300可包括变换(Tb)模块320、量化(Qb)模块325、逆变换(Tb -1)模块330及逆量化(Qb -1)模块335。增强层编码模块305可包括变换(Te)模块340、量化(Qe)模块345、逆变换(Te -1)模块350及逆量化(Qe -1)模块355。量化模块325、335、345及355可包括一个或多个可用于确定所得图像的质量的的量化参数。一般来说，用于基础层编码模块300的量化参数大于用于增强层编码模块305的量化参数。较大量化参数指示较低质量的图像。基础层编码模块300可产生用于所述基础层的残留信息360，且增强层编码模块305可产生用于所述增强层的残留信息365。基础层编码模块300及增强层编码模块305还可分别包括预测模块370及375。预测模块370及375可组合为单个预测模块。预测模块370及375可用于实施所述多媒体数据的层内及层间编码。 
对于I帧来说，所述经解码基础层可用作所述增强层的参考。对于P及B帧来说，通过运动补偿一个或多个先前帧计算出的经组配的基础帧和参考可用于所述增强层。层间预测可实施于宏块基础上、块基础上(例如，4x4块基础上)或dct系数基础上。 
对于P或B帧中的每一宏块来说，可依据诸如层间预测或层内预测(例如，时间预测)。如果使用层间预测，则可通过使用经组配的基础层宏块来预测增强层宏块。在一些实施例中，预测误差可经编码且然后传输到解码器150。如果使用时间预测，则可通过将来自一个或多个先前帧及/或随后帧的一个或多个宏块用作参考及使用(例如，复制)来自所述基础层及宏块模式信息及运动向量来预测增强层宏块。 
图4是模式决策模块(MDM)400的流程图，其可以是图3的预测模块370及375的一部分。MDM 400可包括运动估计模块405及决策模块410。MDM 400可由处理器120及/或编码器130实施。运动估计模块405产生用于各种模式的所述增强层的运动信息(例如，运动向量)。可通过使用来自所述基础层及所述增强层的信息(例如，运动向量及残留)确定所述模式。数种模式存在于H.264运动估计中。举例来说，模式“a”可以是16x16宏块(输出MVx及MVy)，模式“b”可以是两个8x16块或两个16x8块(每一分区输出MVx及MVy)，且模式“c”可以是四个8x8块(每一分区输出8x8子分区模式及每一子分区输出MVx及MVy)。每一宏块及每一块可具有其特有的运动信息。对于双层编码来说，数种模式允许位指派的大量灵活性。在某些模式中，与所述基础层相比因为更高质量的增强层视频所以所述增强层产生更精确的运动向量。在双层编码中，所述基础层及所述增强层两者可均使用对应于所述基础层的相同运动信息。可通过使用所预测宏块且从当前宏块减去其而产生残留信息。 
编码器130可选择跳跃模式，其为层内预测模式。在所述跳跃模式中，编码器130不将任何关于所述当前宏块或块的运动及残留信息传输到解码器150。所述当前块的运动信息可从一个或多个相邻块得到。在一个模式中，编码器130可传输运动信息且 可不传输残留信息。此可通过将编码_块_模式设置为0而完成。在H.264标准中，当将编码_块_模式设置为0时，所有变换系数为0。当编码_块_模式＝0时，解码器150被通知编码器130没有正在发送任何残留信息。为编码所述编码_块_模式值，可将如表I中所示的代码编号指派给所述编码_块_模式。可使用Exp-Golomb代码编码所述代码编号。解码器150可从编码器130接收如表I中所示的代码编号。 
  代码编号 编码_块_模式 位串
  0 0 1
  1 16 010
  2 1 011
  3 2 00100
  4 4 00101
  5 8 00110
  ... ... ....
表I 
决策模块410可选择模式，所述模式影响各种因素，例如，编码运动信息的位成本、编码效率、运动精确性、开销、性能、速率-失真优化等。一种模式可能产生所述基础层的更好的结果，同时另一种模式可能产生所述增强层的更好的结果。因此，可能需要进行某些折衷以实现所述基础层及所述增强层两者的“最佳模式”或“最优模式”。如果同一模式产生所述基础层及所述增强层两者的最佳结果，则不需要任何折衷。可基于(例如)速率失真优化选择所述最佳模式，这是因为所述速率失真优化表示运动精确性与编码运动信息的位成本之间的最佳折衷。为优化目的，决策模块410可利用TECM 500(参阅图5)。所述模式可向处理器120及/或编码器130提供一组方针、函数、指令、参数、例程或其任一组合以实施所述视频数据的编码。 
下述说明提供三种不同模式(a、b及c)的实例。假定所述基础层在模式a下具有最佳性能，且所述增强层在模式b下具有最佳性能。如果决策模块410选择模式a，则在所述增强层处引入ΔRa_enh开销，且在所述基础层处不引入开销。如果决策模块410选择模式b，则在所述基础层处引入ΔRb_base开销，且在所述增强层处不引入开销。如果决策模块410选择模式c，则在所述基础层处引入ΔRc_base开销，且在所述增强层处引入ΔRc_enh开销。根据这些变化，可确定对每一模式来说每一层的开销的成本。 
可如下确定两层的总成本。标准1：如果所述总成本定义为C＝ΔRx_base，其中x可以是a、b及c，则所述基础层具有最高编码效率且所述增强层的结果是不重要的。标准2：如果所述总成本定义为C＝ΔRx_enh，其中x可以是a、b及c，则所述增强层具有最高编码效率且所述基础层的结果是不重要的。标准3：如果所述总成本定义为C＝ΔRx_base/2+ΔRx_enh/2，其中x可以是a、b及c，则平等地或类似地对待所述基础层及所述增强层两者。标准4：如果用于整个基础层帧的总开销应不大于5％，则可确定在 宏块基础上的所定义需要。举例来说，当编码所述基础层的宏块j时，所允许的开销的上界可计算为：上界＝(Bj-1-Ej-1+bj)*5％-Ej-1，其中Bj-1是编码先前j-1宏块所使用的位的总数量，Ej-1是在Bj-1中的开销位，且bj是在所述基础层的最佳模式下编码宏块j时所使用的位。在编码宏块j之后，Bj及Ej可更新用于随后的宏块。 
图5是变换+熵编码模块(TECM)500的流程图，其可以是图3的预测模块370及375的一部分。TECM 500可包括基础层编码模块505、解码模块510、检验模块515、层间预测模块520及时间预测模块525。TECM 500可由处理器120及/或编码器130实施。TECM 500使用所述经编码基础层预测所述增强层。基础层编码模块505可用于确定所述基础层的运动信息(例如，运动向量)。解码模块510可用于层间预测之前解码所述经编码基础层。检验模块515可用于确定经变换基础层残留中零及/或非零系数的数量。依据所述系数，可选择层间预测(520)或时间预测(525)以预测所述增强层。 
图6是图解在宏块基础上或块基础上的层间预测的流程图。层间预测可实施于宏块基础上或块基础上(也就是，所述宏块(例如，4x4块基础上)的任何部分)。对于4x4块基础或2x2块基础上的层间预测来说，来自所述基础层中的宏块的运动信息及/或残留信息可用于确定是使用层间预测还是时间预测。基础层编码模块505可确定所述基础层的运动信息及残留信息(605)。基础层编码模块505还可获得用于所述增强层的参考(例如，宏块或帧)。基础层编码模块505可确定所述基础层的残留信息的非零或零系数的数量(610)。如果来自所述基础层的残留信息含有多于来自所述增强层的参考的信息，则所述基础层内的残留信息可用于所述增强层。检验模块515可确定非零及零系数的数量是否满足选定条件(615)。举例来说，检验模块515可检查所述基础层的所述残留信息以确定非零系数的数量是否大于、小于或等于阈值(T)或零系数的数量是否大于、小于或等于阈值(T)。如果所述残留信息包括所有非零系数或一些非零系数，则所述基础层中的所述残留信息可用于所述增强层，且编码器130可使用层间预测来预测所述增强层中的宏块(625)。如果所述残留信息包括所有零或一些零，则所述基础层中的所述残留信息可能不能用于所述增强层，且编码器130可使用时间预测来预测所述增强层中的宏块(620)。编码器130可将所述经编码宏块或经编码块传输到解码器150(630)。 
图7显示变换域中的六个4x4块以图解在dct逐系数基础上的层间预测，且图8图解在dct逐系数基础上的层间预测的方法。顶行包括所述基础层经运动补偿预测(MCP)或参考块700、残留块705及经重构块710。底行包括所述增强层的MCP或参考块715、残留块720及重构块725。图中显示MCP及残留块700、705、715及720已从空间(例如，像素)域转换到变换(例如，频率)域(805)。MCP块700可是通过使用所述基础层中的运动信息所产生。重构块710可以是通过使用来自MCP及残留块700及705的系数所形成。重构块725可以是使用(例如，复制)来自重构块710的系数所形成。 
所述层间预测可实施于所述基础层的残留块705的非零系数上。在图7中， 表示MCP块700中的系数，且Et+1表示残留块705中的经编码非零系数。重构块710的重构系数可由 
Figure BDA00001633684900082
表示且可用于层间预测。所述增强层的相同位置处的重构系数可可以是所述基础层的重构系数的副本。如果Et+1＝0或近似0，则所述系数可能不能用于所述增强层且时间预测模块525可实施时间预测以通过使用MCP块715及残留块720产生重构块725。如果Et+1≠0或近似0，则所述系数可用于所述增强层且层间预测模块520可使用所述系数实施层间预测。因此，可从所述基础层复制用于所述增强层的重构系数。还可将每一系数与阈值相比较以确定是使用层间预测还是时间预测。可将用于所述增强层的系数从编码器130发送到解码器150。 
术语“编码块模式(CBP)”是指宏块中的所有非零系数的总和。使用残留宏块705中的残留系数，层间预测模块520可确定用于所述基础层的CBP(CBPb)(810)。使用残留宏块720中的残留系数，层间预测模块520可确定用于所述增强层的CBP(CBPe)(815)。 
如果CBPb＝0或CBPb＜T(阈值)，则层间预测模块520可将残留宏块705中的所有系数指派为零(820)且可将残留宏块720传输到解码器150(825)。在某些实施例中，T可以是4(或近似为4)，其中可通过基于宏块705中残留系数的位置的残留系数的线性总和或经加权总和确定所有非零系数的总和。 
如果CBPb+CBPe≠0，则层间预测模块520可使用所述基础层及所述增强层的残留系数确定最小量化系数(830)。举例来说，可使用方程MQC(i，j)＝-min[Cb(i，j)，Ce(i，j)]确定最小量化系数，其中Ce可以是所述增强层的残留系数，且Cb可以是所述基础层的残留系数。层间预测模块520可将所述MQC(i，j)传输到解码器150(835)。 
如果Ce(i，j)的符号≠Cb(i，j)的符号，则层间预测模块520可将所述基础层的所有残留系数(Cb(i，j))指派为零(840)且可将所述增强层的所有残留系数(Ce(i，j))传输到解码器150(845)。 
图9是使用层内预测或层间预测解码多媒体位流的方法900的流程图。处理器140可接收具有基础层及增强层的多媒体位流(905)。解码器150可解码所述基础层以确定应该使用层内预测还是层间预测来解码所述增强层(910)。所述基础层可包括多个基础层系数。在某些实施例中，为确定应该使用层内预测还是层间预测来解码所述增强层，解码器150可确定所述多个基础层系数是否包括至少一个非零系数。如果所有所述多个基础层系数均具有零值，则解码器150可使用层内预测解码所述基础层，且如果所述多个基础层系数中的至少一者具有非零值，解码器150可使用层间预测解码所述基础层。 
图10是具有层内预测及层间预测的解码器1000的框图。解码器1000可以是处理器140及/或解码器1500的一部分且可用于实施图9的方法。解码器1000可由硬件、软件、固件、中间件、微码或其任一组合实施。解码器1000可包括决策模块1005、层内预测模块1010及层间预测模块1015。决策模块1005可接收具有基础层及增强层 的多媒体位流，且可解码所述基础层以确定应该使用层内预测还是层间预测解码所述增强层。层内预测模块1010可用于使用层内预测解码所述增强层。层间预测模块1015可用于使用层间预测解码所述增强层。 
在本发明的某些实施例中，揭示一种处理与多个层相关联的多媒体数据的设备。所述设备可包括用于确定基础层残留的装置。所述用于确定基础层残留的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、运动估计模块405、决策模块410及/或基础层编码模块505。所述设备可包括用于如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第一选定条件则实施层间预测以产生增强层残留的装置。所述用于实施层间预测的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、基础层编码模块505及/或层间预测模块520。所述设备可包括用于如果所述基础层残留的非零系数的数量或所述基础层残留的零系数的数量中的至少一者满足第二选定条件则实施时间预测以产生所述增强层残留的装置。所述用于实施时间预测的装置可以是处理器120、编码器130、基础层编码模块300、增强层编码模块305、预测模块370及375、基础层编码模块505及/或时间预测模块525。 
在本发明的某些实施例中，揭示一种用于解码多媒体位流的设备。所述设备可包括用于接收具有基础层及增强层的多媒体位流的装置。所述用于接收多媒体位流的装置可以是处理器140、解码器150及/或决策模块1005。所述设备可包括用于解码所述基础层以确定应该使用层内预测还是层间预测来解码所述增强层的装置。所述用于解码的装置可以是处理器140、解码器150、决策模块1005、层内预测模块1010及/或层间预测模块1015。 
所属技术领域的技术人员应了解，结合本文所揭示实例所阐述的各种说明性逻辑块、模块、及算法步骤可实施为电子硬件、计算机软件或两者的组合。为清晰地说明硬件与软件的互换性，上文是基于功能性来概述各种说明性组件、块、模块、电路、及步骤。此种功能性是作为硬件还是软件取决于特定应用及施加于整个系统的设计制约条件。所属技术领域的技术人员可针对每一特定应用以不同的方式实施所述功能性，但此种实施方案决策不应视为导致背离所揭示方法的范围。 
结合本文所揭示实例阐述的各种说明性逻辑块、模块及电路可使用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、或设计用于执行本文所述功能的其任一组合来构建或实施。通用处理器可以是微处理器，但另一选择为，处理器还可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP核心的联合，或任意其它此类配置。 
结合本文所揭示实例来阐述的方法或算法的步骤可直接实施于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可驻留于RAM存储器、闪速存储器、 ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸磁盘、CD-ROM或现有技术中已知的任一其它形式的存储媒体中。实例性存储媒体耦合到处理器以使处理器可从存储媒体读取信息及将信息写入到存储媒体。或者，所述储存媒体可以是处理机的组成部分。处理器及储存媒体可驻留于专用集成电路(ASIC)中。ASIC可驻留于无线调制解调器中。另一选择为，处理器及储存媒体可作为离散组件驻留于无线调制解调器中。 
上文对所揭示实例的说明旨在使任何所属技术领域的技术人员均可制作或利用所揭示方法及设备。所属技术领域的技术人员将易知对所述实例的各种修改，且本文所界定的一般原理还可应用于其他实例，此并不背离所揭示方法及装置的精神或范围。所述实施例在所有方法均应视为说明性而非限制性，且因此本发明的范围由随附权利要求书指出而非由前述说明指出。所有仍归属于权利要求书的等价意义及范围内的修改均将涵盖在权利要求书的范畴内。 

Claims (20)

1.一种使用基础层预测增强层的方法，其包含：
使用多媒体数据块产生包括多个基础量化系数的基础残留；
使用所述多媒体数据块产生包括多个增强量化系数的增强残留；
基于所述多个基础量化系数确定第一值；
基于所述多个增强量化系数确定第二值；及
使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。
2.如权利要求1所述的方法，其进一步包含：如果所述第一值等于所述第二值，则传输所述多个基础量化系数中的最小值。
3.如权利要求1所述的方法，其进一步包含从所述多个基础量化系数及所述多个增强量化系数中确定最小值。
4.如权利要求1所述的方法，其进一步包含：如果第一总和小于阈值，则将所述第一值设置至零。
5.如权利要求1所述的方法，其进一步包含：如果所述多个基础量化系数的符号不等于所述多个增强量化系数的符号，则传输所述多个增强量化系数。
6.如权利要求1所述的方法，其进一步包含使用时间预测产生基础运动向量及所述基础残留。
7.如权利要求1所述的方法，其进一步包含使用时间预测产生增强运动向量及所述增强残留。
8.如权利要求1所述的方法，其进一步包含使用层间预测产生基础运动向量及所述基础残留。
9.如权利要求1所述的方法，其进一步包含使用层间预测产生增强运动向量及所述增强残留。
10.一种用于使用基础层预测增强层的设备，其包含：
运动估计模块，其用于使用多媒体数据块产生包括多个基础量化系数的基础残留且用于使用所述多媒体数据块产生包括多个增强量化系数的增强残留；及
预测模块，其用于基于所述多个基础量化系数确定第一值，用于基于所述多个增强量化系数确定第二值及用于使用所述多个基础量化系数或所述多个增强量化系数中的至少一者确定所述增强层。
11.如权利要求10所述的设备，其中所述预测模块进一步包含在所述第一值等于所述第二值的情况下传输所述多个基础量化系数中的最小值。
12.如权利要求10所述的设备，其中所述预测模块进一步包含从所述多个基础量化系数及所述多个增强量化系数中确定最小值。
13.如权利要求10所述的设备，其中所述预测模块进一步包含在第一总和小于阈值的情况下将所述第一值设置至零。
14.一种对多媒体位流进行解码的方法，其包含：
接收具有基础层及增强层的多媒体位流；及
对所述基础层进行解码以确定应该使用层内预测还是层间预测对所述增强层进行解码。
15.如权利要求14所述的方法，其中在NxM块基础上或在系数基础上实施所述层内预测。
16.如权利要求14所述的方法，其中在NxM块基础上或在系数基础上实施所述层间预测。
17.如权利要求14所述的方法，其中在宏块基础上或在系数基础上实施所述层内或层间预测。
18.如权利要求14所述的方法，其进一步包含：
确定多个基础层系数是否包括至少一个非零系数；
如果所有所述多个基础层系数均具有零值，则使用层内预测对所述基础层进行解码；及
如果所述多个基础层系数中至少一者具有非零值，则使用层间预测对所述基础层进行解码。
19.一种用于对多媒体位流进行解码的设备，其包含：
决策模块，其用于接收具有基础层及增强层的多媒体位流；及
层间预测模块，其用于对所述基础层进行解码以确定应该使用层内预测还是层间预测对所述增强层进行解码。
20.如权利要求19所述的设备，其进一步包含层内预测模块且其中：
所述决策模块确定多个基础层系数是否包括至少一个非零系数；
如果所有所述多个基础层系数均具有零值，则所述层内预测模块使用层内预测对所述基础层进行解码；及
如果所述多个基础层系数中的至少一者具有非零值，则所述层间预测模块使用层间预测对所述基础层进行解码。
CN201210148543.9A 2005-05-03 2006-05-03 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法 Expired - Fee Related CN102724496B (zh)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US67761005P 2005-05-03 2005-05-03
US67760905P 2005-05-03 2005-05-03
US67760705P 2005-05-03 2005-05-03
US67761105P 2005-05-03 2005-05-03
US60/677,611 2005-05-03
US60/677,609 2005-05-03
US60/677,607 2005-05-03
US60/677,610 2005-05-03
US78927106P 2006-04-04 2006-04-04
US60/789,271 2006-04-04
CN2006800227748A CN101542926B (zh) 2005-05-03 2006-05-03 使用多个层进行可缩放编码及解码

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800227748A Division CN101542926B (zh) 2005-05-03 2006-05-03 使用多个层进行可缩放编码及解码

Publications (2)

Publication Number Publication Date
CN102724496A true CN102724496A (zh) 2012-10-10
CN102724496B CN102724496B (zh) 2017-04-12

Family

ID=37308713

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201210148543.9A Expired - Fee Related CN102724496B (zh) 2005-05-03 2006-05-03 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
CN201410330918.2A Expired - Fee Related CN104079935B (zh) 2005-05-03 2006-05-03 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
CN2006800227748A Expired - Fee Related CN101542926B (zh) 2005-05-03 2006-05-03 使用多个层进行可缩放编码及解码

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201410330918.2A Expired - Fee Related CN104079935B (zh) 2005-05-03 2006-05-03 用于对使用多个层的多媒体数据进行可缩放编码及解码的系统及方法
CN2006800227748A Expired - Fee Related CN101542926B (zh) 2005-05-03 2006-05-03 使用多个层进行可缩放编码及解码

Country Status (9)

Country Link
US (2) US8619860B2 (zh)
EP (1) EP1877959A4 (zh)
JP (2) JP4902642B2 (zh)
KR (1) KR100942396B1 (zh)
CN (3) CN102724496B (zh)
BR (1) BRPI0610903A2 (zh)
CA (1) CA2608279A1 (zh)
TW (1) TWI326186B (zh)
WO (1) WO2006119443A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105209A (zh) * 2014-03-17 2016-11-09 高通股份有限公司 多层视频编解码器的级别定义

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7383421B2 (en) * 2002-12-05 2008-06-03 Brightscale, Inc. Cellular engine for a data processing system
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
US7451293B2 (en) * 2005-10-21 2008-11-11 Brightscale Inc. Array of Boolean logic controlled processing elements with concurrent I/O processing and instruction sequencing
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101416513A (zh) * 2006-01-09 2009-04-22 诺基亚公司 具有运动补偿的用于低复杂性精细粒度可伸缩视频编码的系统和装置
WO2007082042A2 (en) * 2006-01-10 2007-07-19 Brightscale, Inc. Method and apparatus for processing sub-blocks of multimedia data in parallel processing systems
US20080059764A1 (en) * 2006-09-01 2008-03-06 Gheorghe Stefan Integral parallel machine
US20080059467A1 (en) * 2006-09-05 2008-03-06 Lazar Bivolarski Near full motion search algorithm
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
BRPI0815735A2 (pt) * 2007-08-28 2019-09-24 Thomson Licensing difusão alternada sem retardo durante a troca entre canais.
US8700792B2 (en) * 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8752092B2 (en) 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8306153B2 (en) * 2009-09-21 2012-11-06 Techwell Llc Method and system for tracking phase in a receiver for 8VSB
CN101742321B (zh) * 2010-01-12 2011-07-27 浙江大学 基于图层分解的视频编、解码方法及装置
KR101432771B1 (ko) 2010-03-05 2014-08-26 에스케이텔레콤 주식회사 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
US9357244B2 (en) 2010-03-11 2016-05-31 Arris Enterprises, Inc. Method and system for inhibiting audio-video synchronization delay
US9338458B2 (en) * 2011-08-24 2016-05-10 Mediatek Inc. Video decoding apparatus and method for selectively bypassing processing of residual values and/or buffering of processed residual values
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
GB2499865B (en) * 2012-03-02 2016-07-06 Canon Kk Method and devices for encoding a sequence of images into a scalable video bit-stream, and decoding a corresponding scalable video bit-stream
GB2501115B (en) 2012-04-13 2015-02-18 Canon Kk Methods for segmenting and encoding an image, and corresponding devices
KR20130107861A (ko) * 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
KR102001415B1 (ko) 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
WO2014007590A1 (ko) * 2012-07-06 2014-01-09 삼성전자 주식회사 랜덤 억세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 억세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치
US9900593B2 (en) 2012-08-29 2018-02-20 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US10194158B2 (en) 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
US9906786B2 (en) 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US9491459B2 (en) 2012-09-27 2016-11-08 Qualcomm Incorporated Base layer merge and AMVP modes for video coding
WO2014053517A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using derivation of subblock subdivision for prediction from base layer
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US9247256B2 (en) 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
GB2509705B (en) * 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
KR20140092198A (ko) 2013-01-07 2014-07-23 한국전자통신연구원 계층적 비디오 부호화에서의 스케일러빌리티 정보 표현방식
US10616607B2 (en) 2013-02-25 2020-04-07 Lg Electronics Inc. Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
KR20150140635A (ko) * 2013-02-25 2015-12-16 엘지전자 주식회사 스케일러빌러티를 지원하는 멀티 레이어 구조의 비디오 인코딩 방법 및 비디오 디코딩 방법과 이를 이용하는 장치
US9807421B2 (en) * 2013-04-05 2017-10-31 Sharp Kabushiki Kaisha NAL unit type restrictions
US10045021B2 (en) 2013-04-05 2018-08-07 Samsung Electronics Co., Ltd. Multi-layer video coding method for random access and device therefor, and multi-layer video decoding method for random access and device therefor
JPWO2015005137A1 (ja) * 2013-07-12 2017-03-02 ソニー株式会社 画像符号化装置および方法
MX359902B (es) 2013-10-22 2018-10-16 Kt Corp Metodo y dispositivo para codificar/descodificar una señal de video de multicapa.
WO2015064990A1 (ko) * 2013-10-29 2015-05-07 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
GB2538531A (en) * 2015-05-20 2016-11-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN113810699A (zh) 2016-04-29 2021-12-17 世宗大学校产学协力团 用于对图像信号进行编码和解码的方法和装置
US11140368B2 (en) 2017-08-25 2021-10-05 Advanced Micro Devices, Inc. Custom beamforming during a vertical blanking interval
US11539908B2 (en) * 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
US11398856B2 (en) 2017-12-05 2022-07-26 Advanced Micro Devices, Inc. Beamforming techniques to choose transceivers in a wireless mesh network
US10904563B2 (en) * 2019-01-02 2021-01-26 Tencent America LLC Method and apparatus for improved zero out transform
US11699408B2 (en) 2020-12-22 2023-07-11 Ati Technologies Ulc Performing asynchronous memory clock changes on multi-display systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置
WO2000033583A1 (en) * 1998-11-30 2000-06-08 Microsoft Corporation Efficient macroblock header coding for video compression

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04177992A (ja) 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
IL127274A (en) * 1997-04-01 2006-06-11 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
KR100261254B1 (ko) 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6275531B1 (en) 1998-07-23 2001-08-14 Optivision, Inc. Scalable video coding method and apparatus
US6263022B1 (en) 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US6788740B1 (en) * 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
EP1161839A1 (en) * 1999-12-28 2001-12-12 Koninklijke Philips Electronics N.V. Snr scalable video encoding method and corresponding decoding method
US6700933B1 (en) 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US20020126759A1 (en) * 2001-01-10 2002-09-12 Wen-Hsiao Peng Method and apparatus for providing prediction mode fine granularity scalability
WO2003036978A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Method and apparatus for spatial scalable compression
US7317759B1 (en) * 2002-02-28 2008-01-08 Carnegie Mellon University System and methods for video compression mode decisions
US6674376B1 (en) * 2002-09-13 2004-01-06 Morpho Technologies Programmable variable length decoder circuit and method
JP4425801B2 (ja) * 2002-11-15 2010-03-03 株式会社荏原製作所 基板処理装置
KR20060105408A (ko) 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7406176B2 (en) * 2003-04-01 2008-07-29 Microsoft Corporation Fully scalable encryption for scalable multimedia
KR100505961B1 (ko) * 2003-09-09 2005-08-03 주식회사 엠투시스 슬라이딩 방식 개폐장치를 갖는 휴대용 단말기
JP4153410B2 (ja) 2003-12-01 2008-09-24 日本電信電話株式会社 階層符号化方法及びその装置と、階層復号方法及びその装置と、階層符号化プログラム及びそのプログラムを記録した記録媒体と、階層復号プログラム及びそのプログラムを記録した記録媒体
KR101031588B1 (ko) * 2004-02-24 2011-04-27 주식회사 포스코 현열 회수가 가능한 미립 슬래그 제조장치
US20060008009A1 (en) * 2004-07-09 2006-01-12 Nokia Corporation Method and system for entropy coding for scalable video codec
KR20060059772A (ko) 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20060101847A (ko) 2005-03-21 2006-09-26 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
AU2006201490B2 (en) 2005-04-19 2008-05-22 Samsung Electronics Co., Ltd. Method and apparatus for adaptively selecting context model for entropy coding
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
KR100878811B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR100682405B1 (ko) * 2005-07-29 2007-02-15 김재홍 폴리에틸렌 발포원단에 액상수지 코팅과 코팅층에 엠보싱되는 엠보싱 폴리에틸렌 발포원단의 제조장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
JPH09182084A (ja) * 1995-10-27 1997-07-11 Toshiba Corp 動画像符号化装置および動画像復号化装置
WO2000033583A1 (en) * 1998-11-30 2000-06-08 Microsoft Corporation Efficient macroblock header coding for video compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YILIANG BAO ET AL.: "Extension to AVC-based scalable video coding", 《JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG 12TH MEETING: REDMOND, WA, USA》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106105209A (zh) * 2014-03-17 2016-11-09 高通股份有限公司 多层视频编解码器的级别定义

Also Published As

Publication number Publication date
BRPI0610903A2 (pt) 2008-12-02
EP1877959A4 (en) 2013-01-02
WO2006119443A2 (en) 2006-11-09
CN104079935A (zh) 2014-10-01
JP2008543130A (ja) 2008-11-27
JP4902642B2 (ja) 2012-03-21
CA2608279A1 (en) 2006-11-09
TWI326186B (en) 2010-06-11
JP5335833B2 (ja) 2013-11-06
TW200718214A (en) 2007-05-01
WO2006119443A3 (en) 2009-04-16
KR100942396B1 (ko) 2010-02-17
CN102724496B (zh) 2017-04-12
US8619860B2 (en) 2013-12-31
CN101542926A (zh) 2009-09-23
KR20080015830A (ko) 2008-02-20
EP1877959A2 (en) 2008-01-16
US20060262985A1 (en) 2006-11-23
CN104079935B (zh) 2018-02-16
CN101542926B (zh) 2012-07-04
JP2011120281A (ja) 2011-06-16
US20120219060A1 (en) 2012-08-30

Similar Documents

Publication Publication Date Title
CN101542926B (zh) 使用多个层进行可缩放编码及解码
US11375234B2 (en) Method and apparatus for decoding video signal
CN101601296B (zh) 使用套叠式模式标记的用于可分级视频编码的系统和方法
CN104813667B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
CN101529911B (zh) 用于对多层比特流数据进行信号指示的方法和系统
KR100636229B1 (ko) 신축형 부호화를 위한 적응적 엔트로피 부호화 및 복호화방법과 그 장치
CN1843038B (zh) 用于解码混合内部-相互编码块的方法和装置
CN101946515A (zh) Cabac译码器的二回合量化
CN101578877A (zh) 对mpeg-4avc高层编码中cavlc4:4:4帧内、高4:4:4帧内和高4:4:4预测简档使用针对coded block flag语法元素和coded_block_pattern语法元素的语法的方法和装置
CN103597827A (zh) 可伸缩视频编码方法及其装置
CN102656885A (zh) 合并编码比特流
CN101502118A (zh) 用于可伸缩视频编码的转换滤波器上采样机制
CN104067621A (zh) 使用偶数-奇数整数变换后台的视频和数据处理
CN103108180B (zh) 一种基于基础设施能力及当前条件确定视频编码子块大小的方法及其装置
CN102833542A (zh) 一种提高可伸缩视频编码质量增强层编码速度装置和方法
RU2409857C2 (ru) Система и способ масштабируемого кодирования и декодирования мультимедийных данных с использованием множества уровней
KR20140048806A (ko) 공간 해상도에 기반한 계층 간 예측 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170412

Termination date: 20190503