CN103636202A - 视频译码中的量化参数预测 - Google Patents
视频译码中的量化参数预测 Download PDFInfo
- Publication number
- CN103636202A CN103636202A CN201280030355.4A CN201280030355A CN103636202A CN 103636202 A CN103636202 A CN 103636202A CN 201280030355 A CN201280030355 A CN 201280030355A CN 103636202 A CN103636202 A CN 103636202A
- Authority
- CN
- China
- Prior art keywords
- increment
- video
- block
- actual
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
- H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
- H04N19/428—Recompression, e.g. by spatial or temporal decimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在实例中,本发明的方面涉及一种对视频数据进行译码的方法,所述方法包含识别与多个视频数据参考块相关联的多个量化参数QP值。所述方法还包含基于所述多个QP产生用于所述多个参考块的参考QP。所述方法还包含存储所述参考QP,及基于所述所存储的参考QP来对视频数据块进行译码。
Description
本申请案主张2011年6月22日申请的第61/500,103号美国临时专利申请案、2011年7月2日申请的第61/504,182号美国临时专利申请案、2011年9月29日申请的第61/540,886号美国临时专利申请案及2011年10月28日申请的第61/552,895号美国临时专利申请案的优先权,所述申请案中的每一者的全部内容全文特此以引用的方式并入。
技术领域
本发明涉及视频译码技术,且更具体来说,涉及视频译码中的量化。
背景技术
数字视频能力可并入到各种各样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置等。
数字视频装置可实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术,以更有效地发射和接收数字视频信息。正开发新的视频译码标准,例如正由“视频译码联合协作小组”(JCT-VC)开发的高效视频译码(HEVC)标准,所述HEVC标准为MPEG与ITU-T之间的协作。新兴HEVC标准有时被称作H.265,但尚未正式地使用此标号。
发明内容
本发明的技术大体上涉及视频译码及视频译码中的量化。举例来说,本发明的技术大体上涉及减少为了视频译码期间的量化而存储的数据量。即,可在视频译码期间使用量化参数(QP)来执行量化。在一些情况下,QP可从另一所存储的QP来预测,所述另一所存储的QP可被称作参考QP。本发明的技术大体上涉及减少为了预测QP而存储的数据量。举例来说,本发明的技术涉及限制所存储的参考QP数据量。根据本发明的方面,可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片(例如,用于预测其它图片的图片)的每一块的参考QP。
根据其它方面,本发明包含用于通过预测参考QP且存储与所预测的参考QP相关的参考QP来限制所存储的参考QP数据量的技术。举例来说,QP可不展现出在给定区域内的很大差异。在此些实例中,可针对区域预测参考QP,且可仅存储所预测的参考QP与实际参考QP之间的差。通过存储差值(其可被称作增量参考QP),可减少所存储的参考QP数据量。
根据其它方面,本发明包含用于使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP的技术。即,本发明的技术包含使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来产生用于当前块的增量QP。根据本发明的一些方面,可使用多个参考QP来产生加权QP预测值。
在实例中,本发明的方面涉及一种对视频数据进行译码的方法,所述方法包括:识别与多个视频数据参考块相关联的多个量化参数(QP)值;基于所述多个QP产生用于所述多个参考块的参考QP;存储所述参考QP;以及基于所述所存储的参考QP来对视频数据块进行译码。
在另一实例中,本发明的方面涉及一种用于对视频数据进行译码的设备,所述设备包括一个或一个以上处理器,其中所述一个或一个以上处理器经配置以:识别与多个视频数据参考块相关联的多个量化参数(QP)值;基于所述多个QP产生用于所述多个参考块的参考QP;存储所述参考QP;以及基于所述所存储的参考QP来对视频数据块进行译码。
在另一实例中,本发明的方面涉及一种用于对视频数据进行译码的设备,所述设备包括:用于识别与多个视频数据参考块相关联的多个量化参数(QP)值的装置;用于基于所述多个QP产生用于所述多个参考块的参考QP的装置;用于存储所述参考QP的装置;以及用于基于所述所存储的参考QP来对视频数据块进行译码的装置。
在另一实例中,本发明的方面涉及一种非暂时性计算机可读存储媒体,其具有存储于其上的指令,所述指令在执行时致使一个或一个以上处理器:识别与多个视频数据参考块相关联的多个量化参数(QP)值;基于所述多个QP产生用于所述多个参考块的参考QP;存储所述参考QP;以及基于所述所存储的参考QP来对视频数据块进行译码。
在另一实例中,本发明的方面涉及一种对视频数据进行译码的方法,所述方法包括:确定用于一个或一个以上视频数据参考块的所预测的参考QP;确定用于所述一个或一个以上参考块的每一参考块的实际QP;基于所述实际QP与所述所预测的参考QP之间的差产生用于所述一个或一个以上参考块的每一参考块的增量参考QP;以及存储用于每一参考块的所述增量参考QP。
在另一实例中,本发明的方面涉及一种用于对视频数据进行译码的设备,所述设备包括一个或一个以上处理器,其中所述一个或一个以上处理器经配置以:确定用于一个或一个以上视频数据参考块的所预测的参考QP;确定用于所述一个或一个以上参考块的每一参考块的实际QP;基于所述实际QP与所述所预测的参考QP之间的差产生用于所述一个或一个以上参考块的每一参考块的增量参考QP;以及存储用于每一参考块的所述增量参考QP。
在另一实例中,本发明的方面涉及一种对视频数据进行译码的方法,所述方法包括:识别与具有第一时间实例的一个或一个以上视频数据块相关联的第一参考QP;识别与具有第二时间实例的一个或一个以上视频数据块相关联的第二参考QP,其中所述第二时间实例不同于所述第一时间实例;以及产生用于具有第三时间实例的视频数据块的QP预测子,其中所述第三时间实例不同于所述第一时间实例及所述第二时间实例,且其中所述QP预测子是基于所述第一参考QP及所述第二参考QP。
在另一实例中,本发明的方面涉及一种用于对视频数据进行译码的设备,所述设备包括一个或一个以上处理器,其中所述一个或一个以上处理器经配置以:识别与具有第一时间实例的一个或一个以上视频数据块相关联的第一参考QP;识别与具有第二时间实例的一个或一个以上视频数据块相关联的第二参考QP,其中所述第二时间实例不同于所述第一时间实例;以及产生用于具有第三时间实例的视频数据块的QP预测子,其中所述第三时间实例不同于所述第一时间实例及所述第二时间实例,且其中所述QP预测子是基于所述第一参考QP及所述第二参考QP。
本发明的一个或一个以上方面的细节在附图及以下描述中陈述。从描述和图式并从权利要求书将明白本发明中所描述的技术的其它特征、目的和优点。
附图说明
图1为说明可利用本发明的技术的实例视频编码及解码系统的框图。
图2为说明可实施本发明的技术中的任一者或全部的视频编码器的实例的框图。
图3为说明对经编码的视频序列进行解码的视频解码器的实例的框图。
图4A及4B为说明实例四分树及对应的最大译码单元(LCU)的概念图。
图5为说明减少由视频译码装置存储的参考QP数据量的概念图。
图6为说明图片组(GOP)的一部分的概念图。
图7为说明用于减少由视频译码装置存储的参考QP数据量的实例技术的流程图。
图8为说明用于减少由视频译码装置存储的参考QP数据量的另一实例技术的流程图。
图9为说明用于确定来自一个以上参考QP的确定所预测的QP的实例技术的流程图。
具体实施方式
本发明的技术大体上涉及减少在量化期间存储的数据量。更具体来说,本发明的技术涉及减少在执行QP预测时所存储的参考量化参数(QP)数据量。
一股来说,经编码的视频数据可包含预测数据及残余数据。举例来说,视频编码器可在帧内预测模式或帧间预测模式期间产生预测数据。帧内预测通常涉及相对于同一图片的相邻先前经译码的块中的参考样本来预测图片块中的像素值。帧间预测通常涉及相对于先前经译码的图片的数据来预测图片块中的像素值。
在帧内预测或帧间预测之后,视频编码器可计算用于所述块的残余像素值。残余值通常对应于用于所述块的所预测的像素值数据与所述块的真像素值数据之间的差。举例来说,残余值可包含指示经译码的像素与预测像素之间的差的像素差值。经译码的像素可与待译码的像素块相关联,且预测像素可与用以预测经译码的块的一个或一个以上像素块相关联。
为了进一步压缩块的残余值,视频编码器可将残余值变换成一组变换系数,所述变换系数将尽可能多的数据(也被称作“能量”)压紧成尽可能少的系数。所述变换将像素的残余值从空间域转换成变换域中的变换系数。变换系数对应于一股与原始块具有相同大小的系数的二维矩阵。换句话说,一股存在与原始块中的像素一样多的变换系数。然而,归因于变换,许多变换系数可具有等于零的值。
视频编码器接着可对变换系数进行量化以进一步压缩视频数据。量化通常涉及将相对大范围内的值映射到相对小范围中的值,因此减少表示经量化的变换系数所需要的数据量。视频编码器可通过应用根据预定义算法的量化参数(QP)来对变换系数进行量化。视频编码器可通过调整QP来修改应用于变换系数值的量化程度。在一些实例中,视频编码器可在-26到+25的范围内选择QP。
在一些实例中,视频编码器可使QP在切片(或图片)内的一个块到另一块之间变化。举例来说,使QP在块之间变化(有时被称作自适应量化)以视觉质量改进为目标。即,人眼通常对视觉上“平坦”区域(例如,无太多亮度或色彩变化的切片或图片的区域)内的降级比对视觉上“忙”区域内的降级更敏感。因此,自适应量化试图通过对平坦区域执行较精细量化且对忙区域执行较粗略量化来利用这些视觉限制。
为了减少视频编码器必须在位流中用信号发出的数据量,视频编码器可预测用于给定块的QP。举例来说,视频编码器可识别用于当前块的实际QP与某一参考QP(例如,与不同块相关联的QP)之间的改变(即,增量),而不是包含QP自身。视频编码器接着可在位流中用信号发出用于当前块的增量QP。
当产生增量QP时,视频编码器可识别与空间上与当前块相邻的块(例如,同一切片或图片中的相邻块)相关联的参考QP。举例来说,与H.264相符合的编码器可用信号发出宏块层级处的增量QP,使用相邻宏块的QP作为用于当前宏块的参考QP。固有地一致的宏块大小及光栅扫描次序自然地保留存在于相邻宏块的QP之间的空间相关。
然而,如下文更详细所描述,所提出的HEVC标准引入译码单元(CU)的概念,CU的大小可变化。CU的可变大小及扫描次序可能打断H.264中所流行的空间相关。在此些情况下,时间实例不同于当前QP的参考QP可提供比空间相邻QP更准确的预测子。因此,在一些实例中,视频编码器可在产生用于当前块的增量QP时识别与来自不同于当前块的时间实例的块相关联的参考QP。即,视频编码器可识别与先前经编码的图片的先前经编码的块相关联的QP作为用于当前图片的当前块的QP的参考QP。在帧间预测当前块的实例中,参考QP可与由运动向量信息识别的参考块相关联。视频编码器接着可使用参考QP产生用于当前块的增量QP。
为了使用不同时间实例中的参考QP来有效地预测当前块的QP,视频编码器必须存储数个QP。举例来说,视频编码器必须存储用于可由当前块参考的每一参考图片的每一块的QP。同样地,视频解码器还必须存储参考QP数据以执行反量化。可能需要显著存储来存储此些QP。举例来说,所提出的HEVC标准允许使用至多16个参考图片,且可针对每一图片内的每一8x8块产生且存储QP。此外,QP可在0到51之间变化。如果参考图片的所有QP经存储以用作参考QP,那么可能消耗显著的存储量。
本发明的技术大体上涉及减少为了预测QP而存储的数据量。举例来说,本发明的技术涉及限制所存储的参考QP数据量。在一些实例中,针对参考图片(或切片)可仅存储参考QP数据的一部分。在其它实例中,可产生所预测的参考QP,且可存储所预测的参考QP与实际参考QP之间的差。
举例来说,如上文所注明,视频译码器可确定用于视频数据块的增量QP,所述增量QP指示相对于某一其它QP用以对所述块的变换系数进行量化的QP。在一些情况下,为了使用与其它时间实例的参考块相关联的参考QP产生增量QP,视频译码器可存储用于每一8x8参考块(例如,用于预测的参考图片的块)的参考QP。在一个实例中,根据本发明的方面,视频译码器可产生用于多个参考块的平均参考QP。即,视频译码器可对参考图片的预定义区域内的参考QP求平均值。在一些实例中,视频译码器可对与位于16x16区域、32x32区域、64x64区域等中的块相关联的参考QP求平均值。参考QP求平均值区域通常可与块边界对准以使得求平均值区域包含一个或一个以上全块(例如,而不在两个单独求平均值区域之间划分块)。可根据最小块大小、所要存储节省量等来选择被求平均值的QP的数目。
在另一实例中,为了减少所存储的参考QP数据量,视频译码器可对来自特定区域的参考QP作二次抽样。举例来说,视频译码器可识别包含具有数个相关联的QP(例如,可在译码期间被用作参考QP的QP)的数个块的区域。替代对整个区域上的QP求平均值(如上文所描述),视频译码器可选择参考QP中的一者作为所述区域的代表参考QP。在一些实例中,如上文关于求平均值实例所描述,视频译码器可选择通常与块边界一致的16x16、32x32、64x64或其它区域。
根据本发明的其它方面,视频译码器可通过预测参考QP且存储与所预测的参考QP相关的参考QP值来限制所存储的参考QP数据量。举例来说,QP可不展现出在给定区域内的很大差异。在此些实例中,可针对区域预测参考QP,且可仅存储所预测的参考QP与实际参考QP之间的差。通过存储差值(其可被称作增量参考QP),可减少所存储的参考QP数据量。
在实例中,视频译码器可使用切片QP(或增量QP)作为所预测的QP以用于确定增量参考QP。举例来说,根据一些视频译码标准(例如,所提出的HEVC标准),可在切片层级处识别QP(或增量QP)。根据本发明的方面,视频译码器可通过计算块的实际QP与切片QP(所预测的QP)之间的差,产生用于切片的每一块的增量参考QP。接着可存储增量参考QP值,且在译码期间使用所述增量参考QP值确定增量QP。在其它实例中,视频译码器可选择或产生不同的所预测的参考QP(例如,切片或图片内的块的均值、中值、最小或最大QP)。另外,在一些实例中,视频译码器可在存储增量参考QP之前截短(例如,舍入或剪切)与增量参考QP相关联的位的数目。
根据其它方面,本发明包含用于使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP的技术。即,本发明的技术包含使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来产生用于当前块的增量QP。根据本发明的一些方面,可使用多个参考QP来产生加权QP预测值。
因此,本发明的某些实例可指QP(或实际QP)、参考QP、增量QP及/或增量参考QP。一股来说,QP(或实际QP)指用于对一个或一个以上变换系数进行量化或反量化的QP。增量QP可是基于实际QP与某一其它QP(其可被称作参考QP)之间的差。举例来说,视频编码器可确定实际QP、参考QP之间的增量,且在经编码的位流中指示此增量QP。视频解码器可接收经编码的位流中的增量QP,且使用增量QP及由视频编码器使用的同一参考QP来确定实际QP。
在一些情况下,视频编码器或视频解码器可存储参考QP,使得参考QP可用于产生增量QP(在视频编码器处,例如基于实际QP与参考QP之间的差)或用于产生实际QP(在视频解码器处,例如基于增量QP与参考QP的组合)。在此些实例中,根据本发明的方面(如下文所描述),可产生增量参考QP以减少用于存储参考QP数据的存储要求。因此,一股来说,增量参考QP可指参考QP与某一其它QP之间的差,即,增量。
图1为说明实例视频编码及解码系统10的框图,实例视频编码及解码系统10可执行本发明的技术以用于执行变换系数的量化(包含反量化)。如图1中所示,系统10包含源装置12,源装置12提供稍后待由目的地装置14解码的经编码的视频数据。特定来说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括各种各样的装置中的任一者,包括桌上型计算机、笔记本(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如,所谓的“智能”电话)、所谓的“智能”板、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些状况下,源装置12及目的地装置14可经配备以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码的视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使得源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。经编码的视频数据可根据例如无线通信协议等通信标准来调制,且经发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一个或一个以上物理传输线。通信媒体可形成例如局域网、广域网或例如因特网等全球网络等基于包的网络的部分。通信媒体可包含可用于促进从源装置12到目的地装置14的通信的路由器、交换器、基站或任何其它设备。
在一些实例中,经编码的数据可从输出接口22输出到存储装置。类似地,经编码的数据可通过输入接口从存储装置来存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器,或用于存储经编码的视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可对应于文件服务器或可存储由源装置12产生的经编码的视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码的视频数据且将所述经编码的视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包括网页服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由包含因特网连接的任何标准数据连接存取经编码的视频数据。这可包含适用于存取存储于文件服务器上的经编码的视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本发明通常可指将某一信息“用信号发出”到另一装置(例如视频解码器30)的视频编码器20。然而,应理解,视频编码器20可通过将某些语法元素与视频数据的各种经编码的部分相关联来用信号发出信息。即,视频编码器20可通过将某些语法元素存储到视频数据的各种经编码的部分的标头来“用信号发出”数据。在一些状况下,此些语法元素可经编码及存储(例如,存储到存储媒体34或文件服务器36),之后由视频解码器30接收及解码。因此,术语“用信号发出”通常可指用于对经压缩的视频数据进行解码的语法或其它数据的传达,而不管此通信是实时地或近实时地发生还是在一时间跨度内发生,例如,可在编码的时候将语法元素存储到媒体时发生,所述语法元素接着可在被存储到此媒体之后的任何时间由解码装置进行检索。
通常是指对数据进行熵译码的本发明的技术不必限于无线应用或设定。所述技术可应用于支持例如以下各者的多种多媒体应用中的任一者的视频译码:空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如,HTTP上的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码,或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图1的实例中,源装置12包含视频源18、视频编码器20及输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用用于对运动向量进行译码且用于执行HEVC及其扩展(例如,多视图或3DV扩展)中的双向预测的技术。在其它实例中,源装置及目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如,外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而不是包含集成的显示装置。
图1的所说明的系统10仅为一个实例。用于对视频数据进行熵译码的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术通常由视频编码装置执行,但所述技术也可由视频编码器/解码器(通常称作“CODEC”)执行。此外,本发明的技术也可由视频预处理器执行。源装置12及目的装置14仅为这些译码装置的实例,其中源装置12产生用于发射到目的装置14的经译码的视频数据。在一些实例中,装置12、14可以大体上对称的方式操作以使得装置12、14中的每一者包含视频编码及解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射,例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频俘获装置(例如,摄像机)、含有先前所俘获的视频的视频存档,及/或用以从视频内容提供者接收视频的视频馈入接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或直播视频(live video)、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为摄像机,那么源装置12及目的装置14可形成所谓的相机电话或视频电话。然而,如上文所提及,本发明中描述的技术大体上可适用于视频译码,且可适用于无线和/或有线应用。在每一情况下,可由视频编码器20来编码经俘获的、经预先俘获的或计算机产生的视频。经编码的视频信息接着可由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含例如无线广播或有线网络发射等暂态媒体或例如硬盘、闪盘驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体等存储媒体(即,非暂时性存储媒体)。在一些实例中,网络服务器(未图示)可从源装置12接收经编码的视频数据,且将经编码的视频数据提供到目的地装置14(例如,经由网络发射)。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据,且生产含有经编码的视频数据的光盘。因此,可理解,在各种实例中,计算机可读媒体16包含各种形式的一个或一个以上计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息(视频解码器30也使用所述语法信息),所述语法信息包含描述块及其它经译码的单元(例如,GOP)的特性及/或处理的语法元素。特定来说,本发明将“经译码的单元”称作包含多个块(例如,切片、图片、波前集合或平铺块)的数据单元。因此,应理解术语“经译码的单元”包含多个块,例如多个最大译码单元(LCU)。此外,术语“经译码的单元”不应与如HEVC中所使用的术语“译码单元”或CU混淆。显示装置32向用户显示经解码的视频数据,且可包括多种显示装置中的任一者,例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如当前在开发中的高效视频译码(HEVC)标准等视频译码标准而操作,且可符合HEVC测试模型(HM)。或者,视频编码器20和视频解码器30可根据其它专有或工业标准(例如,ITU-T H.264标准,或者称为MPEG-4第10部分,高级视频译码(AVC))或此些标准的扩展而操作。然而,本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2及ITU-T H.263。尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包括适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,那么MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
ITU-T H.264/MPEG-4(AVC)标准是由ITU-T视频译码专家组(Video Coding ExpertsGroup,VCEG)连同ISO/IEC动画专家组(MPEG)制定以作为被称为联合视频小组(JointVideo Team,JVT)的集体伙伴关系的产品。在一些方面中,本发明中所描述的技术可应用于通常符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(Advanced Video Coding for generic audiovisualservices)”中描述了H.264标准,其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。
JCT-VC正致力于HEVC标准的开发。HEVC标准化努力是基于视频译码装置的演进模型,其被称作HEVC测试模型(HM)。HM假设视频译码装置相对于根据(例如)ITU-TH.264/AVC的现有装置的若干额外能力。举例来说,尽管H.264提供九个帧内预测编码模式,但HM可提供多达三十三个帧内预测编码模式。
一股来说,HM的工作模型描述视频图片(或可与“图片”互换地使用的“帧”)可划分成包含亮度及色度样本两者的树块或最大译码单元(LCU)的序列。位流内的语法数据可定义LCU的大小,LCU为在像素数目方面的最大译码单元。切片包含按译码次序的数个连续树块。视频图片可分割成一个或一个以上切片。每一树块可根据四分树分裂为译码单元(CU)。一股来说,四分树数据结构针对每一CU包含一个节点,其中根节点对应于树块。如果将CU分裂为四个子CU,那么对应于所述CU的节点包含四个叶节点,所述叶节点中的每一者对应于所述子CU中的一者。
四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说,在四分树中的节点可包含指示对应于节点的CU是否分裂为若干子CU的分裂旗标。用于CU的语法元素可递归地定义,且可取决于CU是否分裂为子CU。如果CU未进一步分裂,那么其被称作叶CU。在本发明中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的显式分裂。举例来说,如果16x16大小的CU未进一步分裂,那么四个8x8子CU也将被称作叶CU,但16x16CU绝不会分裂。
CU具有与H.264标准的宏块类似的目的,不同之处在于CU不具有大小差别。举例来说,树块可分裂为四个子节点(亦被称作子CU),且每一子节点又可为父节点且分裂为另四个子节点。被称作四分树的叶节点的最终未经分裂的子节点包括也被称作叶CU的译码节点。与经译码的位流相关联的语法数据可定义树块可分裂的最大次数(其被称作最大CU深度),且还可定义译码节点的最小大小。因此,位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指在HEVC的上下文中CU、PU或TU中的任一者,或在其它标准的上下文中类似的数据结构(例如,在H.264/AVC中的宏块及其子块)。
CU包含译码节点及预测单元(PU)以及与译码节点相关联的变换单元(TU)。CU的大小对应于译码节点的大小,且形状必须为正方形。CU的大小范围可在8x8像素直到具有最大64x64像素或更大的树块的大小之间。每一CU可含有一个或一个以上PU及一个或一个以上TU。举例来说,与CU相关联的语法数据可描述将CU分割成一个或一个以上PU。在CU是经跳过或直接模式编码、经帧内预测模式编码还是经帧间预测模式编码之间,分割模式可不同。PU可经分割而在形状上为非正方形的。举例来说,与CU相关联的语法数据还可描述根据四分树将CU分割成一个或一个以上TU。TU的形状可为正方形或非正方形(例如,矩形)。
HEVC标准允许根据TU进行变换,对于不同CU而言,所述变换可为不同的。TU通常是基于针对经分割LCU而定义的给定CU内的PU的大小而设定大小,但这可不总是这样。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可使用称作“残余四分树”(RQT)的四分树结构细分为较小单元。RQT的叶节点可被称作变换单元(TU)。与TU相关联的像素差值可经变换以产生变换系数,所述变换系数可经量化。
叶CU可包含一个或一个以上预测单元(PU)。一股来说,PU表示对应于对应CU的全部或一部分的空间区域,且可包含用于检索用于所述PU的参考样本的数据。此外,PU包含与预测有关的数据。举例来说,当对PU进行帧内模式编码时,用于PU的数据可包含于残余四分树(RQT)中,所述残余四分树(RQT)可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例,当对PU进行帧间模式编码时,PU可包含定义用于PU的一个或一个以上运动向量的数据。定义用于PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片及/或用于运动向量的参考图片列表(例如,列表0、列表1或列表C)。
具有一个或一个以上PU的叶CU还可包含一个或一个以上变换单元(TU)。可使用RQT(也被称作TU四分树结构)来指定变换单元,如上文所论述。举例来说,分裂旗标可指示叶CU是否分裂为四个变换单元。接着,每一变换单元可进一步分裂为另外子TU。当TU未进一步分裂时,其可被称作叶TU。一股来说,对于帧内译码,属于叶CU的所有叶TU共享相同的帧内预测模式。即,相同的帧内预测模式通常经应用以计算用于叶CU的所有TU的所预测的值。对于帧内译码,视频编码器20可使用帧内预测模式计算用于每一叶TU的残余值,作为对应于TU的CU的部分与原始块之间的差。TU不必限于PU的大小。因此,TU可大于或小于PU。对于帧内译码,PU可与用于同一CU的对应叶TU搭配。在一些实例中,叶TU的最大大小可对应于对应叶CU的大小。
此外,叶CU的TU还可与被称作残余四分树(RQT)的相应的四分树数据结构相关联。即,叶CU可包含指示如何将叶CU分割成TU的四分树。TU四分树的根节点通常对应于叶CU,而CU四分树的根节点通常对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一股来说,本发明使用术语CU及TU来分别指叶CU及叶TU,除非另有注明。
视频序列通常包含一系列视频图片。图片组(GOP)通常包括一系列视频图片中的一者或一者以上。GOP可将描述GOP中所包含的图片的数目的语法数据包含在GOP的标头、图片中的一者或一者以上的标头中或其它地方。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作,以便对视频数据进行编码。视频块可对应于CU内的译码节点。所述视频块可具有固定的或变化的大小,且可根据指定的译码标准而大小不同。
作为实例,HM支持在各种PU大小下的预测。假定特定CU的大小为2Nx2N,HM支持在2Nx2N或NxN的PU大小下的帧内预测,及在2Nx2N、2NxN、Nx2N或NxN的对称PU大小下的帧间预测。HM还支持用于在2NxnU、2NxnD、nLx2N及nRx2N的PU大小下的帧间预测的非对称分割。在非对称分割中,CU的一个方向未经分割,而另一方向被分割成25%及75%。对应于25%分割的CU的部分由“n”指示,接着是“上”、“下”、“左”或“右”的指示。因此,例如,“2NxnU”是指经水平地分割的2Nx2NCU,其中2Nx0.5N PU在上且2Nx1.5N PU在下。
在本发明中,“NxN”及“N乘N”可互换地使用以指视频块在垂直和水平尺寸方面的像素尺寸(例如,16x16像素或16乘16像素)。一股来说,16x16块将在垂直方向上具有16个像素(y=16)且在水平方向上具有16个像素(x=16)。同样,NxN块通常在垂直方向上具有N个像素且在水平方向上具有N个像素,其中N表示非负整数值。一块中的像素可布置成若干行及若干列。此外,块不必在水平方向具有与在垂直方向上相同数目的像素。举例来说,块可包括NxM个像素,其中M不必等于N。
在使用CU的PU进行帧内预测或帧间预测译码之后,视频编码器20可计算用于CU的TU的残余数据。PU可包括描述产生空间域(也被称作像素域)中的预测像素数据的方法或模式的语法数据,且TU可包括在将变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后在变换域中的系数。残余数据可对应于未经编码的图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU,且接着对TU进行变换以产生用于CU的变换系数。
视频编码器20接着可对变换系数进行量化以进一步压缩视频数据。量化通常是指将变换系数量化以可能地减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说,在量化期间,可将n位值向下舍入到m位值,其中n大于m。
可根据量化参数(QP)应用量化,所述QP经编制索引到在量化期间应用于变换系数的量化器步长。视频编码器20可通过调整QP来修改量化的程度(例如,量化器步长)。举例来说,根据一些视频译码标准(例如,H.264及新兴的HEVC标准),视频编码器20可在0到51的范围内选择QP,全部为整数递增(但其它范围是可能的,例如-26到+25或另一范围)。视频编码器20可应用与选定QP相关联的量化器步长。
为了进一步减少视频编码器20在位流中用信号发出的数据量,视频编码器20可预测用于给定块的QP。举例来说,视频编码器20可识别用于当前块的实际QP与某一参考QP(例如,与不同块相关联的QP)之间的改变(即,增量),而不是包含QP自身。视频编码器20接着可在位流中用信号发出用于当前块的增量QP。在一些实例中,参考QP可与空间上与当前正被编码的块相邻的块相关联。在其它实例中,参考QP可与在不同于当前正被编码的块的时间实例中的块相关联。在任何情况下,视频编码器20必须存储用于可由当前块参考的每一块的参考QP(例如,用于产生增量QP)。
本发明的某些技术大体上涉及减少针对参考QP而存储的数据量。举例来说,根据本发明的方面,视频编码器20可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片(例如,用于预测其它图片的图片)的每一块的参考QP。即,视频编码器20可对QP求平均值、对QP作二次抽样,或以其它方式减少此参考QP数据量,而不是存储用于每一参考图片的每一块的参考QP(用于产生预测像素数据),如下文更详细所描述。当产生增量QP(例如,包含于经编码的位流中)时,视频编码器20接着可基于所存储的参考QP数据与实际QP之间的差来确定增量QP。
根据其它方面,本发明包含用于通过预测参考QP且存储与所预测的参考QP相关的参考QP来限制所存储的参考QP数据量的技术。举例来说,视频编码器20可预测用于图片的区域的参考QP,且视频编码器20可仅所预测的参考QP与实际参考QP之间的差。通过存储差值(其可被称作增量参考QP),视频编码器20可减少所存储的参考QP数据量。当产生增量QP(例如,包含于经编码的位流中)时,视频编码器20可基于增量参考QP来确定参考QP。即,视频编码器20可基于增量参考QP与所预测的参考QP的组合来重构参考QP。视频编码器20接着可基于参考QP与实际QP之间的差来确定增量QP。
根据其它方面,本发明包含用于使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP的技术。即,视频编码器20可使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来确定用于当前块的增量QP。根据本发明的一些方面,视频编码器20可使用多个参考QP来确定加权QP预测值。
在量化之后,视频编码器可扫描变换系数,从而从包含经量化的变换系数的二维矩阵产生一维向量。扫描可经设计以将较高的能量(及因此较低的频率)系数置于阵列的前部,且将较低的能量(及因此较高的频率)系数置于阵列的后部。在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化的变换系数,以产生可经熵编码的串行化向量。在其它实例中,视频编码器20可执行自适应扫描。
在扫描经量化的变换系数以形成一维向量之后,视频编码器20可对一维向量进行熵编码,例如,根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法。视频编码器20还可对与经编码的视频数据相关联的语法元素进行熵编码以用于视频解码器30在对视频数据进行解码时使用。
为了执行CABAC,视频编码器20可选择上下文模型应用于某一上下文以对待发射的符号进行编码。举例来说,上下文可涉及相邻值是否为非零。视频编码器20还可对语法元素(例如,在执行自适应扫描时产生的有效系数旗标及最后系数旗标)进行熵编码。根据本发明的技术,视频编码器20可基于(例如)帧内预测方向、对应于语法元素的系数的扫描位置、块类型及/或变换类型以及用于上下文模型选择的其它因素来选择用以对语法元素进行编码的上下文模型。
一股来说,由视频解码器30执行的视频解码过程可包含与由视频编码器20执行的编码技术互逆的技术。尽管一股来说是互逆的,但在一些情况下,视频解码器30可执行类似于由视频编码器20执行的技术的技术。视频解码器30还可依赖于语法元素或所接收的位流中所含有的其它数据,所述所接收的位流包含关于视频编码器20所描述的数据。
特定来说,根据本发明的方面,视频解码器30可执行与上文关于视频编码器20所描述的技术类似或相同的技术来在对视频数据进行解码时确定QP。即,视频解码器30可实施本发明的技术以用于减少针对参考QP而存储的数据量。举例来说,视频解码器30可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片(例如,用于预测其它图片的图片)的每一块的参考QP。即,视频解码器30可对QP求平均值、对QP作二次抽样,或以其它方式减少此参考QP数据量,而不是存储用于每一参考图片的每一块的参考QP(用于产生预测像素数据),如下文更详细所描述。视频解码器可基于所接收的增量QP与所存储的参考QP数据的组合来产生实际QP(例如,用于对视频数据块进行反量化)。
根据其它方面,视频解码器30可通过预测参考QP且存储与所预测的参考QP相关的参考QP来限制所存储的参考QP数据量。举例来说,视频解码器30可预测用于图片的区域的参考QP,且视频解码器30可仅存储所预测的参考QP与实际参考QP之间的差,所述差可被称作增量参考QP。当产生用于对视频数据块进行反量化的实际QP时,视频解码器30最初可基于所存储的增量参考QP来确定参考QP。即,视频解码器30可基于增量参考QP与所预测的参考QP的组合来重构参考QP。视频解码器30接着可基于所接收的增量QP(在经编码的位流中接收)与参考QP的组合来确定用于对块进行反量化的实际QP。
根据其它方面,视频解码器30可使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP。即,视频解码器30可使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来确定用于当前块的增量QP。根据本发明的一些方面,视频解码器30可使用多个参考QP来确定加权QP预测值。
在一些实例中,视频编码器20可产生可在对视频数据进行解码时使用的某些参数集,且视频解码器30可接收所述参数集。举例来说,在H.264/AVC(高级视频译码)标准中,经译码的视频区段被组织成NAL单元,所述NAL单元提供“网络友好”视频表示寻址应用,例如视频电话、存储、广播或流式传输。可将NAL单元分类为视频译码层(VCL)NAL单元及非VCL NAL单元。VCL单元可含有核心压缩引擎,且可包含块、宏块及/或切片层级数据。其它NAL单元可为非VCL NAL单元。在一些实例中,在一个时间实例中的经译码的图片(一股表示为基本经译码的图片)可含于存取单元中,所述存取单元可包含一个或一个以上NAL单元。
除了别的之外,非VCL NAL单元可包含参数集NAL单元及SEI NAL单元。参数集可含有序列层级标头信息(在序列参数集(SPS)中)及很少改变的图片层级标头信息(在图片参数集(PPS)中)。就参数集(例如,PPS及SPS)来说,对于每一序列或图片,很少改变的信息不需要重复,因此可改进译码效率。此外,参数集的使用可使得能够带外发射重要的标头信息,从而避免对用于错误恢复的冗余发射的需要。在带外发射的实例中,参数集NAL单元可在不同于其它NAL单元(例如,SEI NAL单元)的信道上发射。
补充增强信息(SEI)可含有对来自VCL NAL单元的经译码的图片样本进行解码并非必需的信息,但可有助于与解码、显示、错误恢复及其它目的有关的过程。非VCL NAL单元中可能含有SEI消息。SEI消息为一些标准规范的规范部分,且因此对于与标准相符合的解码器实施方案并不总是强制的。SEI消息可为序列层级SEI消息或图片层级SEI消息。
尽管图1中未展示,但在一些方面中,视频编码器20及视频解码器30可各自与音频编码器及解码器集成,且可包含适当的MUX-DEMUX单元或其它硬件及软件,以处理对共同数据流或单独数据流中的音频与视频两者的编码。如果适用,那么在一些实例中,MUX-DEMUX单元可符合ITU H.223多路复用器协议或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可经实施为例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合的多种合适编码器电路中的任一者。当技术是部分以软件来实施时,装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中,且使用一个或一个以上处理器执行硬件中的指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含于一个或一个以上编码器或解码器中,其中任一者可集成为相应装置中的组合式编码器/解码器(CODEC)的部分。
图2为说明视频编码器20的实例的框图,视频编码器20可实施用于控制在视频译码期间应用于一个或一个以上变换系数的量化的量的技术。应理解,可出于概念目的而关于单个组件展示及描述图2的某些组件,但所述组件可包含一个或一个以上功能单元。另外,虽然关于单个组件展示及描述图2的某些组件,但此些组件物理上可包括一个或一个以上离散及/或集成单元。
如图2所示,视频编码器20接收视频帧内的待编码的当前视频块。在图2的实例中,视频编码器20包含模式选择单元40、运动估计单元42、运动补偿单元44、帧内预测单元46、参考帧存储器64、求和器50、变换处理单元52、具有参考QP存储器55的量化单元54及熵编码单元56。对于视频块重构,视频编码器20还包含反量化单元58、反变换单元60及求和器62。
视频编码器20通常说明对视频切片内的待编码的视频块进行编码的组件。切片可划分成多个视频块(且可能划分成被称作平铺块的视频块集合)。模式选择单元40可能基于错误结果(例如,译码速率及失真程度)选择用于当前视频块的多个可能的译码模式中的一者,例如,如下文所描述的多个帧内译码模式中的一者或多个帧间译码模式中的一者。模式选择单元40可将所得经帧内译码或经帧间译码的块提供到求和器50以产生残余块数据,及提供到求和器62以重构经编码的块以用作参考图片。
运动估计单元42和运动补偿单元44相对于一个或一个以上参考图片中的一个或一个以上块执行对所接收的视频块的帧间预测译码。运动估计单元42与运动补偿单元44可高度集成,但出于概念上的目的而分开予以说明。
一股来说,如由运动估计单元42所执行的运动估计为产生估计视频块的运动的运动向量的过程。运动向量(例如)可指示预测参考图片(或其它经译码的单元)内的预测块相对于当前图片(或其它经译码的单元)内正被译码的当前块的位移。预测块是经发现在像素差方面密切地匹配待译码的块的块,其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在帧间预测期间提及预测块时,预测块还可被称作“参考块”。
因此,运动估计单元42可通过比较当前正被译码的块与参考图片存储器64中的参考图片的参考块来计算用于经帧间译码的图片的视频块的运动向量。ITU-T H.264标准提及参考图片的“列表”,例如列表0及列表1。列表0包含具有先于当前图片的显示次序的参考图片,而列表1包含具有晚于当前图片的显示次序的参考图片。在其它译码方案中,可以维持单个列表。运动估计单元42将经计算的运动向量发送到熵编码单元56及运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计确定的运动向量来提取或产生预测块,可能对子像素精度执行内插。在接收到用于当前视频块的运动向量之后,运动补偿单元44可将运动向量所指向的预测块定位在参考图片列表中的一者中。视频编码器20通过从经译码的当前视频块的像素值减去预测块的像素值而形成残余视频块,从而形成像素差值。像素差值形成用于块的残余数据,且可包含亮度及色度差分量两者。求和器50表示执行此减法运算的一个或一个以上组件。运动补偿单元44还可产生与视频块及视频切片相关联的语法元素以用于视频解码器30在对视频切片的视频块进行解码时使用。
帧内预测单元46可帧内预测当前块,以作为如上文描述的由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案。特定来说,帧内预测单元46可确定用以对当前块进行编码的帧内预测模式。在一些实例中,帧内预测单元46可(例如)在单独编码遍次期间使用各种帧内预测模式来对当前块进行编码,且帧内预测单元46(或模式选择单元40,在一些实例中)可从所测试的模式选择适当的帧内预测模式来使用。
举例来说,帧内预测单元46可使用针对各种所测试的帧内预测模式的速率失真分析来计算速率失真值,且在所测试的模式之间选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码的块与曾经被编码的原始的未经编码的块之间的失真(或误差)量以产生经编码的块,以及用以产生经编码的块的位速率(即,位的数目)。帧内预测单元46可计算用于各种经编码的块的失真和速率的比率以确定哪一帧内预测模式展现块的最佳速率失真值。
在任何情况下,在选择用于块的帧内预测模式之后,帧内预测单元46可将指示用于块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可根据本发明的技术对指示选定帧内预测模式的信息进行编码。视频编码器20可在所发射的位流配置数据(其可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(也被称作码字映射表))中包含用于各种块的编码上下文的定义,及用于所述上下文中的每一者的最有可能的帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
变换处理单元52对残余块应用例如离散余弦变换(DCT)、整数变换或概念上类似的变换等变换,从而产生包括残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换,例如由H.264标准定义的变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。在任何情况下,变换处理单元52将变换应用于残余块,从而产生残余变换系数的块。变换处理单元52可将残余信息从像素值域转换到变换域(例如,频域)。
量化单元54对残余变换系数进行量化以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。举例来说,量化通常涉及将相对大范围内的值映射到相对小范围中的值,因此减少表示经量化的变换系数所需要的数据量。视频编码器可通过应用根据预定义算法的量化参数(QP)来对变换系数进行量化。视频编码器可通过调整QP来修改应用于变换系数值的量化程度。在一些实例中,视频编码器可在0到51的范围内选择QP,但可使用其它QP范围(例如,-26到26,或其它范围)。
在实例中,量化单元54可根据下文所示的等式(1)进行量化:
Zij=round(Yij/Qstep) (1)
其中Yij为变换系数(上文所描述)的层级(即,值),Qstep为量化器步长,且Zij为经量化的系数的层级。在一些实例中,可根据量化参数(QP)支持总计为52的Qstep的值,且对其编制索引。
量化单元54可使QP在切片(或图片)内的一个块到另一块之间变化。使QP在块或切片之间变化(有时被称作自适应量化)以视觉质量改进为目标。即,人眼通常对视觉上“平坦”区域(例如,无太多亮度或色彩变化的切片或图片的区域)内的降级比对视觉上“忙”区域内的降级更敏感。因此,自适应量化试图通过对平坦区域执行较精细量化且对忙区域执行较粗略量化来利用这些视觉限制。
为了减少在位流中用信号发出的数据量,量化单元54可预测用于给定块的QP。举例来说,量化单元54可识别用于当前块的实际QP与某一参考QP(例如,与不同块相关联的QP)之间的改变(即,增量),而不是包含QP自身。量化单元54接着可在位流中用信号发出用于当前块的增量QP,即用于由解码器30使用。在一些实例中,参考QP数据可存储于参考QP存储器55中,但QP数据还可存储于另一位置中,例如参考图片存储器64或与视频编码器20相关联的另一存储器。
当产生增量QP时,量化单元54可识别与空间上与当前块相邻的块(例如,同一切片或图片中的相邻块)相关联的参考QP。举例来说,与H.264相符合的编码器可用信号发出宏块层级处的增量QP,使用相邻宏块的QP作为用于当前宏块的参考QP。固有地一致的宏块大小及光栅扫描次序可自然地保留存在于相邻宏块的QP之间的空间相关。
然而,如上文所注明,所提出的HEVC标准引入CU的概念,CU的大小可变化。CU的可变大小及扫描次序可能打断H.264中所流行的空间相关。在此些情况下,时间实例不同于当前QP的参考QP可提供比空间相邻QP更准确的预测子。因此,在一些实例中,量化单元54可在确定增量QP时识别与来自不同于当前块的时间实例的块相关联的参考QP。即,量化单元54可识别与先前经编码的图片的先前经编码的块相关联的QP作为用于当前图片的当前块的QP的参考QP。在帧间预测当前块的实例中,参考QP可与由运动向量信息识别的参考块相关联。量化单元54接着可使用参考QP产生用于当前块的增量QP。
然而,为了使用不同时间实例中的参考QP来有效地预测当前块的QP,量化单元54必须将数个参考QP存储于(例如)参考QP存储器55中。举例来说,量化单元54可存储用于可在对当前块进行编码时识别(例如,由运动估计单元42在帧间译码期间识别)的每一参考图片的每一块的参考QP。可需要参考QP存储器55中的显著存储空间以存储此些QP。举例来说,所提出的HEVC标准允许使用至多16个参考图片,且可针对每一参考图片内的每一8x8块产生且存储QP。作为实例,1920x1080像素参考图片(例如,用于1080p视频)可含有多达32,400个块(8x8个块),所述块中的每一者可具有相关联的参考QP。此外,根据HEVC标准,QP可在0到51之间变化(例如,每一QP8个位)。因此,存储用于每一参考图片的参考QP数据可消耗显著的存储量。
量化单元54可应用本发明的某些技术以减少在预测QP(例如,用于产生增量QP)时所存储的数据量。即,根据本发明的方面,量化单元54可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片(例如,用于预测其它图片的图片)的每一块的参考QP。举例来说,在上文所描述的实例中,量化单元54可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片的每一8x8块的参考QP。在一些实例中,量化单元54可在存储参考QP数据之前对QP求平均值,对QP作二次抽样,或以其它方式减少参考QP数据量。
在出于说明目的的实例中,量化单元54可使用一个以上块的QP产生平均参考QP。举例来说,量化单元54可对预定义区域内的参考QP求平均值。即,量化单元54可对与位于16x16区域、32x32区域、64x64区域等中的块相关联的参考QP求平均值。求平均值区域通常可与块边界对准。即,求平均值区域通常可包含一个或一个以上全尺寸的块(或CU)。根据一些实例,由量化单元54求平均值的QP的数目可根据用于进行译码的最小CU大小来确定(例如,较小的CU大小可导致相对较小的求平均值区域)。在其它实例中,由量化单元54求平均值的QP的数目可根据所要的存储节省量来确定(例如,其中相对较大的求平均值区域达成较大的存储节省)。
量化单元54可将多种求平均值算法应用于求平均值区域中的QP,以便产生平均参考QP。在实例中,量化单元54可使用以下等式(2)产生平均参考QP:
其中N等于被求平均值的QP的数目,且QPk表示被求平均值的QP中的每一者。
在另一实例中,为了减少所存储的参考QP数据量,量化单元54可对来自特定区域的参考QP作二次抽样。举例来说,量化单元54可识别包含具有数个相关联的QP(其可在译码期间被用作参考QP)的数个块的区域。替代在整个区域上求平均值(如上文实例中所描述),量化单元54可选择参考QP中的一者作为所述区域的代表QP。在一些实例中,如上文关于求平均值实例所描述,量化单元54可选择通常与CU边界一致的16x16、32x32、64x64或其它区域。
视频编码器20可(例如)在经编码的位流中用信号发出求平均值区域及/或二次抽样选择准则以用于由视频解码器(例如,视频解码器30)使用。举例来说,视频编码器20可在经编码的位流的标头信息(例如,切片标头)或参数集(例如,图片参数集(PPS)或序列参数集(SPS))中包含求平均值区域的指示。在另一实例中,视频编码器20可包含在确定标头、参数集等中的参考QP时对哪一块作二次抽样的指示。
根据其它方面,量化单元54可通过确定差(例如,增量)参考QP及存储增量参考QP而不是用于一个或一个以上参考块的参考QP,限制所存储的参考QP数据量。举例来说,量化单元54可通过计算实际参考QP与某一其它QP之间的差来产生增量参考QP值。在一些实例中,其它QP可为所预测的参考QP。举例来说,量化单元54可预测用于图片的区域的参考QP,且量化单元54可仅存储实际参考QP与所预测的参考QP之间的差。
在出于说明目的的实例中,量化单元54可通过计算参考块的QP(例如,经存储为参考QP)与用于参考块所属于的切片的QP(“切片QP”)之间的差来确定用于参考块的增量参考QP。举例来说,根据所提出的HEVC标准,量化单元54可确定用于视频数据的每一切片的QP值(或增量QP值)。在此实例中,量化单元54可通过计算参考块的QP与切片QP(或增量QP)之间的差值来产生用于切片中的每一参考块的增量参考QP。在其它实例中,量化单元54可出于确定增量参考QP的目的而预测QP。举例来说,量化单元54可通过产生用于预定区域(例如,切片的预定区域、整个切片、整个图片)的均值QP、中值QP、最小QP、最大QP等来预测用于确定增量参考QP的QP。量化单元54可出于确定及存储增量参考QP的目的而使用所预测的QP。
在一些实例中,为了进一步减少所存储的参考QP数据量,量化单元54可在存储所确定的增量参考QP之前截短(例如,舍入或剪切)与所述增量参考QP相关联的位的数目。举例来说,量化单元54可在存储增量参考QP之前将增量参考QP减少到较小的位深度。
根据其它方面,量化单元54可使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP。即,量化单元54可使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来确定用于当前块的增量QP。在实例中,对于经双向预测的图片(例如,B帧),量化单元54可识别先前图片(例如,先前时间实例)中的参考QP及未来图片(例如,在时间上晚于当前图片而发生的时间实例)中的参考QP。量化单元54接着可通过对两个参考QP求平均值来产生QP预测子。量化单元54可在产生用于当前块的增量QP时使用QP预测子,如上文所注明。即,量化单元54可通过计算实际当前QP与QP预测子(使用两个参考QP产生所述QP预测子)之间的差来产生用于当前块的增量QP。
在量化之后,熵编码单元56对经量化变换系数进行熵译码。举例来说,熵编码单元56可执行内容自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)或另一熵译码技术。在由熵编码单元56进行熵译码之后,可将经编码的视频发射到另一装置或存档以供稍后发射或检索。在上下文自适应二进制算术译码(CABAC)的情况下,上下文可是基于相邻宏块。
在一些状况下,熵编码单元56或视频编码器20的另一单元可经配置以执行除了熵译码之外的其它译码功能。举例来说,熵编码单元56可经配置以确定用于宏块及分区的CBP值。而且,在一些状况下,熵编码单元56可执行宏块或其分区中的系数的游程长度译码。特定来说,熵编码单元56可应用曲折扫描或其它扫描模式来扫描宏块或分区中的变换系数,且对若干串零进行编码以用于进一步压缩。熵编码单元56还可建构具有适当语法元素的标头信息以用于在经编码的视频位流中传输。
反量化单元58及反变换处理单元60分别应用反量化和反变换以在像素域中重构残余块,例如以供稍后用作参考块。运动补偿单元44可通过将残余块添加到参考图片存储器64的图片中的一者的预测块来计算参考块。运动补偿单元44也可将一个或一个以上内插滤波器应用于经重构的残余块来计算子整数像素值以用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44所产生的经运动补偿的预测块以产生经重构的视频块以供存储于参考图片存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用作用于对后续视频图片中的块进行帧间译码的参考块。
图3为说明对经编码的视频序列进行解码的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元130、具有运动补偿单元132及帧内预测单元134的预测单元131、具有参考QP存储器137的反量化单元136、反变换单元138、参考图片存储器142及求和器140。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码的视频切片的视频块及相关联的语法元素的经编码的视频位流。视频解码器30的熵解码单元130对位流进行熵解码以产生经量化的系数、运动向量及其它语法元素。熵解码单元130将运动向量及其它语法元素转发到预测单元131。视频解码器30可接收在视频切片层级及/或视频块层级处的语法元素。
当将视频切片译码为经帧内译码(I)的切片时,预测单元131的帧内预测单元134可基于来自当前帧或图片的先前经解码的块的用信号发出的帧内预测模式及数据来产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即,B、P或GPB)的切片时,预测单元131的运动补偿单元132基于从熵解码单元130接收的运动向量及其它语法元素产生用于当前视频切片的视频块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于参考图片存储器142中的参考图片使用默认建构技术来建构参考帧列表,列表0及列表1。
运动补偿单元132通过剖析运动向量及其它语法元素来确定用于当前视频切片的视频块的预测信息,且使用预测信息来产生用于经解码的当前视频块的预测块。举例来说,运动补偿单元132使用所接收的语法元素中的一些来确定用以对视频切片的视频块进行译码的预测模式(例如,帧内预测或帧间预测)、帧间预测切片类型(例如,B切片、P切片或GPB切片)、用于切片的参考图片列表中的一者或一者以上的建构信息、用于切片的每一经帧内译码的视频块的帧间预测状态,以及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元132还可基于内插滤波器执行内插。运动补偿单元132可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。在此状况下,运动补偿单元132可从所接收的语法元素来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。帧内预测单元134可使用在位流中所接收的帧内预测模式以从空间上邻近的块形成预测块。
反量化单元136将提供于位流中且由熵解码单元130解码的经量化的块系数反量化(即,解量化)。根据本发明的一些方面,反量化单元136可经配置以一股与上文关于图2的实例中所示的视频编码器20所描述的量化单元54的方式互逆的方式来操作。举例来说,反量化单元136可接收由视频编码器(例如,视频编码器20)用信号发出的增量QP。增量QP可为用于进行反量化的实际QP与存储于参考QP存储器137中的一个或一个以上参考QP之间的差。因此,反量化单元136可识别一个或一个以上参考QP,且基于增量QP及一个或一个以上参考QP产生实际QP。即,在相对于图2所描述的量化单元54基于实际QP与一个或一个以上参考QP之间的差产生增量QP的情况下,反量化单元136可基于所接收的增量QP与一个或一个以上参考QP的组合产生用于对块进行反量化的实际QP。虽然描述为存储于参考QP存储器137中,但应理解,在一些实例中,参考QP可与其它参考数据一起存储于参考图片存储器142中或存储于与视频解码器30相关联的其它存储器中。
反量化单元136可应用本发明的某些技术以减少在预测QP(例如,用于产生增量QP)时所存储的数据量。即,根据本发明的方面,反量化单元136可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片(例如,用于预测其它图片的图片)的每一块的参考QP。举例来说,在上文所描述的实例中,反量化单元136可仅存储此参考QP数据的一部分,而不是存储用于每一参考图片的每一8x8块的参考QP。在一些实例中,反量化单元136可在存储参考QP数据之前对QP求平均值,对QP作二次抽样,或以其它方式减少参考QP数据量。
举例来说,如上文关于视频编码器20所描述,反量化单元136可使用一个以上块(例如,在预定义区域内)的QP产生平均参考QP。在另一实例中,为了减少所存储的参考QP数据量,反量化单元136可对来自特定区域的参考QP作二次抽样。举例来说,反量化单元136可选择参考QP中的一者而不是预定义区域中的平均QP作为区域的代表QP。
视频解码器30可(例如)根据经编码的位流中所接收的一个或一个以上语法元素来确定求平均值区域及/或二次抽样选择准则。举例来说,视频解码器30可对来自经编码的位流的标头信息(例如,切片标头)或参数集(例如,图片参数集(PPS)或序列参数集(SPS))中的求平均值区域的指示进行解码。在另一实例中,视频解码器30可对在确定标头、参数集等中的参考QP时对哪一块作二次抽样的指示进行解码。在其它实例中,视频解码器30可经配置以执行用于存储参考QP数据的与视频编码器20相同的过程。因此,在一些实例中,可不用信号发出求平均值区域及/或二次抽样选择准则。
根据其它方面,反量化单元136可通过确定差(例如,增量)参考QP及存储增量参考QP而不是用于一个或一个以上参考块的参考QP,限制所存储的参考QP数据量。举例来说,反量化单元136可通过计算实际参考QP与某一其它QP之间的差来产生增量参考QP值。在一些实例中,其它QP可为所预测的参考QP。举例来说,反量化单元136可预测用于图片的区域的参考QP,且反量化单元136可仅存储实际参考QP与所预测的参考QP之间的差。
在实例中,反量化单元136可通过计算参考块的QP(例如,经存储为参考QP)与用于参考块所属于的切片的QP(“切片QP”)之间的差来确定用于参考块的增量参考QP。在其它实例中,反量化单元136可出于确定增量参考QP的目的而预测QP。举例来说,反量化单元136可通过产生用于预定区域(例如,切片的预定区域、整个切片、整个图片)的均值QP、中值QP、最小QP、最大QP等来预测用于确定增量参考QP的QP。反量化单元136可出于确定及存储增量参考QP的目的而使用所预测的QP。在一些实例中,为了进一步减少所存储的参考QP数据量,反量化单元136可在存储所确定的增量参考QP之前截短(例如,舍入或剪切)与所述增量参考QP相关联的位的数目。
根据其它方面,反量化单元136可使用一个以上参考QP(例如,来自一个以上参考块)来预测用于对当前块进行译码的QP。即,反量化单元136可使用基于一个以上参考QP(例如,来自一个以上参考图片)的所预测的QP来确定用于当前块的增量QP。在实例中,对于经双向预测的图片(例如,B帧),反量化单元136可识别先前图片中的参考QP及未来图片中的参考QP。反量化单元136接着可通过对两个参考QP求平均值或以其它方式将其组合来产生QP预测子。反量化单元136可在产生用于当前块的增量QP时使用QP预测子,如上文所注明。即,反量化单元136可通过计算实际当前QP与QP预测子(使用两个参考QP产生所述QP预测子)之间的差来产生用于当前块的增量QP。
反变换处理单元138对变换系数应用反变换(例如,反DCT、反整数变换,或概念上类似的反变换过程),以便产生像素域中的残余块。运动补偿单元132产生经运动补偿的块,可能执行基于内插滤波器的内插。待用于具有子像素精度的运动估计的内插滤波器的识别符可包含在语法元素中。运动补偿单元132可使用如由视频编码器20在视频块的编码期间所使用的内插滤波器来计算参考块的子整数像素的内插值。运动补偿单元132可根据所接收的语法信息来确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测块。
运动补偿单元132使用语法信息中的一些来确定用以对经编码的视频序列的图片进行编码的宏块的大小,描述如何分割经编码的视频序列的图片的每一宏块的分割信息,指示如何对每一分区进行编码的模式,用于每一经帧间编码的宏块或分区的一个或一个以上参考图片(或列表),以及用以对经编码的视频序列进行解码的其它信息。
求和器140将残余块与由运动补偿单元132或帧内预测单元产生的对应预测块求和以形成经解码的块。如果需要的话,还可应用去块滤波器以对经解码块进行滤波,以便移除成块假影。接着将经解码的视频块存储于参考图片存储器142中,参考图片存储器142提供用于后续运动补偿的参考块且还产生用于在显示装置(例如,图1的显示装置32)上呈现的经解码的视频。
图4A及4B为说明实例四分树150及对应的最大译码单元172的概念图。图4A描绘实例四分树150,四分树150包含按分级方式布置的节点。根据所提出的HEVC标准,四分树150可与(例如)树块相关联。四分树(例如,四分树150)中的每一节点可为不具有子节点的叶节点,或具有四个子节点。在图4A的实例中,四分树150包含根节点152。根节点152具有四个子节点,包含叶节点156A到156C(叶节点156)及节点154。因为节点154不为叶节点,所以节点154包含四个子节点,所述子节点在此实例中为叶节点158A到158D(叶节点158)。
四分树150可包含描述对应最大译码单元(LCU)的特性的数据,例如在此实例中的LCU172。举例来说,四分树150通过其结构可描述LCU分裂为子CU。假定LCU172具有2Nx2N的大小。在此实例中,LCU172具有四个子CU176A到176C(子CU176)及174,每一子CU具有大小NxN。子CU174进一步分裂为四个子CU178A到178D(子CU178),每一子CU具有大小N/2xN/2。在此实例中,四分树150的结构对应于LCU172的分裂。即,根节点152对应于LCU172,叶节点156对应于子CU176,节点154对应于子CU174,且叶节点158对应于子CU178。
用于四分树150的节点的数据可描述对应于节点的CU是否分裂。如果CU分裂,那么四个额外节点可存在于四分树150中。在一些实例中,四分树的节点可类似于以下伪代码来实施:
split_flag值可为表示对应于当前节点的CU是否分裂的一位值。如果CU未经分裂,那么split_flag值可为‘0’,而如果CU分裂,那么split_flag值可为‘1’。关于四分树150的实例,分裂旗标值的阵列可为101000000。
在一些实例中,子CU176及子CU178中的每一者可使用相同帧内预测模式来进行帧内预测编码。因此,视频编码器20可提供根节点152中的帧内预测模式的指示。
虽然图4A说明CU四分树的实例,但应理解,可将类似四分树应用于叶节点CU的TU。即,叶节点CU可包含TU四分树,所述TU四分树描述用于CU的TU的分割。TU四分树通常可类似于CU四分树,除了TU四分树可个别地用信号发出用于CU的TU的帧内预测模式之外。
在任何状况下,因为用于给定树块的CU及TU的大小可变化,如在图4A及4B中所示的实例中,所以可能失去在其它译码标准(例如,H.264)中流行的空间相关。因此,空间相邻可不提供用于当前正被译码的块的最佳参考QP。在此些情况下,视频译码器可识别在不同于当前正被译码的块的QP的时间实例中的参考QP(预测QP)。视频译码器可实施本发明的技术以减少在预测QP时所存储的数据量。举例来说,视频译码器可实施上文关于图2及3所描述的技术以有效地存储来自一个或一个以上参考图片的参考QP数据。
虽然图5到9的技术通常被描述为由视频译码器执行,但应理解,在一些实例中,图5到9的技术可由上文所描述的视频编码器20(图1及2)或视频解码器30(图1及3)进行。在其它实例中,图5到9的技术可由多种其它处理器、处理单元、例如编码器/解码器(CODEC)等基于硬件的译码单元等执行。
图5为说明减少由视频译码装置(例如,视频编码器20及/或视频解码器30)存储的参考QP数据量的概念图。图5中所示的实例包含含有多个视频数据块200的视频数据的图片或切片的一部分。在出于说明目的的实例中,块200可包含四个LCU,所述LCU的大小为32x32个像素。即,块200可从左到右及从上到下包含第一未经划分的LCU202(32x32个像素)、具有子CU204A、204B及204C(统称为子CU204,每一子CU20416x16个像素)及子CU206A、206B、206C及206D(统称为子CU206,每一子CU2068x8个像素)的第二LCU、具有子CU208A、208B、208C及208D(统称为子CU208,每一子CU20832x32个像素,每一32x32个像素16x16个像素)的第三LCU,及第四未经划分的LCU210(32x32个像素)。应理解,仅出于实例的目的而提供块200的布置及大小,且下文所描述的技术可应用于其它布置及/或大小的块。
块200可包含于使用一个或一个以上其它块的帧间预测的参考图片中。因此,假定块200中的每一者包含可用以预测另一块的QP的参考QP。根据本发明的方面,视频译码器(例如,视频编码器20及/或视频解码器30)可通过仅存储QP数据的一部分而限制所存储的QP数据量,而不是存储用于所有块200的QP。
举例来说,根据一些方面,视频译码器可产生用于预定数目的块200的组合的参考QP以表示预定数目的块。在实例中,视频译码器可对图片的预定义区域内的块200的参考QP求平均值,以产生用于块的参考QP。求平均值区域可包含位于16x16区域、32x32区域、64x64区域等中的块。
在图5中所示的实例中,视频译码器可通过组合来自每一区域中的参考块的QP来产生用于四个32x32区域中的每一者的代表参考QP。举例来说,视频译码器可产生用于第一求平均值区域212A、第二求平均值区域212B、第三求平均值区域212C及第四求平均值区域212D(统称为求平均值区域212)中的每一者的平均参考QP。在图5中所示的实例中,第一求平均值区域212A包含第一未经划分的LCU202,且第四求平均值区域212D包含第四未经划分的LCU210。因此,所述求平均值区域中的每一者包含单个参考QP(即,不必求平均值)。即,区域212A具有第一参考QP,且区域212D具有第二参考QP,取决于用于区域的实际QP,所述第二参考QP可与所述第一参考QP相同或不同。然而,视频译码器可通过对与子CU204及子CU206相关联的参考QP求平均值来产生用于第二求平均值区域212B的代表参考QP。另外,视频译码器可通过对与子CU208相关联的参考QP求平均值来产生用于第三求平均值区域212C的代表参考QP。通过产生用于求平均值区域212中的每一者的代表参考QP,视频译码器可减少所存储的参考QP数据量(例如,相对于存储用于块200中的每一者的参考QP)。
视频译码器可实施多种求平均值算法以确定用于求平均值区域212的代表参考QP。在实例中,视频译码器可使用上文所描述的等式(2)来确定用于求平均值区域212中的每一者的平均参考QP。另外,虽然通常参考“求平均值”,但应理解,视频译码器可以其它方式来组合求平均值区域212内的参考QP。即,在其它实例中,视频译码器可通过确定中值、范围、模式等来确定用于求平均值区域212中的每一者的代表参考QP。
在任何状况下,在确定用于求平均值区域212中的每一者的组合的代表参考QP之后,视频译码器可存储代表参考QP。
在视频译码器为视频编码器(例如,视频编码器20)的状况下,视频编码器可在产生增量QP时使用所存储的代表参考QP。举例来说,当对从块200中的任一者进行帧间预测的视频数据的当前块进行编码时,视频编码器可使用适当代表参考QP以用于确定用于对当前块进行译码的增量QP。即,如果从子CU206A来预测当前块,而不是使用与子CU206A相关联的QP来产生增量QP,那么视频编码器基于实际QP与用于区域212B的平均参考QP之间的差产生增量QP。在确定增量QP(即,表示用于块的实际QP与用于区域的参考QP之间的差)之后,视频编码器可在经编码的位流中包含增量QP。
在视频译码器为视频解码器(例如,视频解码器30)的实例中,视频解码器可在确定用于对当前块进行反量化的实际QP时使用所存储的代表参考QP。举例来说,当对从块200中的任一者进行帧间预测的视频数据的当前块进行解码时,视频解码器可使用适当代表参考QP以用于从所接收的增量QP确定实际QP。即,如果从子CU206A来预测当前块,而不是使用与子CU206A相关联的QP来产生实际QP,那么视频解码器基于所接收的增量QP与用于区域212B的平均参考QP之间的组合产生实际QP。在确定实际QP之后,视频解码器可对当前块进行反量化。
求平均值区域212通常可与块边界对准以使得每一求平均值区域包含块200的一个或一个以上全块。在一些实例中,可根据最小块大小来选择求平均值区域212的大小。即,对于具有相对较小的CU的图片的一部分,视频译码器可使用相对较小的求平均值区域。在其它实例中,可基于所要存储节省量来选择求平均值区域212的大小(例如,对于相对较大的存储节省,选择较大的区域)。
根据其它方面,视频译码器可通过对来自求平均值区域212中的每一者的参考QP作二次抽样来减少所存储的参考QP数据量。举例来说,视频译码器可通过对求平均值区域212中的每一者作二次抽样来确定用于求平均值区域中的每一者的代表参考QP。即,视频译码器可通过选择参考QP中的一者作为代表参考QP来确定用于求平均值区域212中的每一者的参考QP,而不是组合求平均值区域的所有参考QP(如上文所描述)。
在实例中,视频译码器可通过选择与在求平均值区域212B的左上角中的块相关联的参考QP来确定用于求平均值区域212B的参考QP。在此实例中,视频译码器可使用与子CU204A相关联的参考QP作为用于求平均值区域212的所有块的参考QP。在其它实例中,视频译码器可在进行二次抽样时选择不同块。
在任何状况下,如上文所注明,视频译码器可存储用于求平均值区域212中的每一者的经二次抽样的代表QP。因此,当对从块200中的任一者进行帧间预测的视频数据的当前块进行译码时,视频译码器可使用适当代表QP以用于确定用于对当前块进行译码的增量QP。即,上文所使用的实例中,如果从子CU206A预测当前块,而不是使用与子CU206A相关联的参考QP来产生增量QP,那么视频译码器可使用用于区域212B的经二次抽样的参考QP(例如,与子CU204A相关联的参考QP)。在确定增量QP之后,视频译码器可确定实际QP且使用实际QP来对块进行译码。
根据其它方面,视频译码器可通过确定及存储用于块200中的每一者的差(例如,增量)参考QP来减少所存储的参考QP数据量。举例来说,视频译码器最初可预测用于包含块200中的一者或一者以上的预定区域的参考QP。所预测的QP可充当用于参考QP的参考QP。即,视频译码器可通过确定用于块200中的每一者的实际QP与所预测的值之间的差来确定用于块200中的每一者的增量参考QP。视频译码器可存储用于块200的增量参考QP。因此,用于块200的增量参考QP可在对块200进行译码时可用。
在视频译码器为视频编码器(例如,视频编码器20)的状况下,视频编码器可在产生增量QP时使用所存储的增量参考QP。举例来说,如果从子CU206A预测当前正被编码的块,而不是使用与子CU206A相关联的QP来产生增量QP,那么视频编码器最初可使用与子CU206A相关联的所存储的增量参考QP来重构来自子CU206A的QP。即,视频编码器可组合与子CU206A相关联的增量参考QP与用于包含子CU206A的块的所预测的QP。视频编码器接着可基于用于对块进行量化的实际QP与和子CU206A相关联的经重构QP之间的差来产生增量QP。在确定增量QP之后,视频编码器可在经编码的位流中包含增量QP。
在视频译码器为视频解码器(例如,视频解码器30)的实例中,视频解码器可在确定用于对当前块进行反量化的实际QP时使用所存储的增量参考QP。举例来说,如果从子CU206A预测当前正被解码的块,而不是使用与子CU206A相关联的QP来产生实际QP,那么视频解码器最初可使用与子CU206A相关联的所存储的增量参考QP来重构来自子CU206A的QP。即,类似上文所描述的视频编码器,视频解码器可组合与子CU206A相关联的增量参考QP与用于包含子CU206A的块的所预测的QP。视频解码器接着可基于所接收的增量QP与来自子CU206A的经重构的QP的组合产生实际QP。在确定实际QP之后,视频解码器可对当前块进行反量化。在一些实例中,视频译码器可使用切片QP作为所预测的QP(例如,用于块200所属于的切片的切片QP)。即,视频译码器可确定及存储用于块200中的每一者的切片QP与实际QP之间的差作为用于块200的增量参考QP。在其它实例中,视频译码器可通过确定用于块200的均值QP、用于块200的中值QP、用于块的最小QP、用于块200的最大QP等来预测用于块200的QP。视频译码器接着可使用用于块200的所预测的QP来确定且存储用于块200的增量参考QP。
在一些实例中,为了进一步减少所存储的参考QP数据量,视频译码器可在存储所确定的增量参考QP之前截短(例如,舍入或剪切)与所述增量参考QP相关联的位的数目。举例来说,视频译码器可在存储增量参考QP之前将增量参考QP减少到较小的位深度。
根据本发明的一些方面,视频译码器可产生增量参考QP,且在存储经截短的增量参考QP之前截短增量参考QP。在实例中,视频译码器可在产生用于块200的经剪切的增量参考QP时执行以下步骤。
1.确定用于参考图片的一个或一个以上块200的所预测的值(例如,一个或一个以上CU、PU、LCU、LCU集合)。所预测的值可为与一个或一个以上块200所属于的切片或图片相关联的QP,或另一QP(例如,均值QP、中值QP、最小QP、最大QP等)。
2.确定一个或一个以上块的QP与所预测的QP之间的差(增量参考QP=实际QP-所预测的QP)。
3.通过将增量参考QP截短(例如,舍入、剪切、量化等)到预定义的位范围而减少存储增量参考QP所需要的空间。用于剪切增量参考QP的实例算法可包含:
-经剪切的增量参考QP=Clip3(-2(N-2),2(N-2)-1,增量QP)
-经剪切的增量参考QP=Clip3(0,2(N-1)-1,增量QP)
-经剪切的增量参考QP=Clip3(-2(N-2),2(N-2)-1,Quant(增量QP))
-经剪切的增量参考QP=Clip3(0,2(N-1)-1,Quant(增量QP))
其中经剪切的增量参考QP在Clip3(min,max,a)的范围内,且N为所要的位范围。根据一些实例,Quant(a)可为任何量化方案。量化的一个实例可为Quant(A)=A/M。
4.存储经截短的增量参考QP。
在针对块200中的每一者确定增量参考QP的实例中,视频译码器可重复上文针对每一块200所描述的过程。在针对一个以上块确定增量参考QP的实例中,视频译码器可重复上文针对块200的每一预定群组所描述的过程。即,在一些实例中,如上文所描述,视频译码器可确定用于块200中的一者以上的代表QP(例如,用于求平均值区域212中的每一者)。在此些实例中,视频译码器可重复上文所描述的过程以产生用于每一代表QP的增量参考QP。
图6为说明部分图片组(GOP)200的概念图。图5中所示的GOP220的部分包含具有从222到228的图片次序计数(POC)的图片,所述图片包含六个经双向预测的图片及一个经帧内预测的图片。举例来说,用小写字母“b”标记的图片(即,图片222、224、226及228)为从两个其它图片双向帧间预测的图片,如由箭头所示。在帧间预测译码过程中,所指向到的图片使用所指向自的图片作为预测子。不使用具有小写字母“b”的图片来预测其它图片。用大写字母“B”标记的图片(即,图片223及225)也是从两个其它图片双向帧间预测的图片。
与“b”图片相对比,将用大写字母“B”标记的图片用作用于其它图片的预测子,如由箭头所示。图片I227为经帧内预测的图片。即,不参考其它图片来对图片I227进行编码,而是使用内部空间预测来对所述图片进行译码。然而,图片I207可用于预测其它图片(例如,如图5的实例中所示的图片b226及b228)。
用作用于其它图片的预测子的图片可被称作参考图片,且可存储于视频译码器(例如,视频编码器20及/或视频解码器30)的参考图片存储器中。即,在图6中所示的实例中,B帧B223及B225以及I帧I227可由视频译码器(例如,视频编码器20及/或视频解码器30)存储于参考图片存储器中,从而允许出于帧间预测的目的而存取图片。另外,如上文关于图2及3所注明,在一些实例中,视频译码器可存储于参考图片相关联的多种其它数据,例如参考QP。举例来说,参考图片的每一块可具有相关联的参考QP,即,用以对块进行量化(或反量化)的QP。
存储参考QP可允许视频译码器在确定增量QP时识别与来自不同于当前块的时间实例的块相关联的参考QP。即,在图6中所示的实例中,视频译码器当前可正在对图片b226的块进行译码。在此实例中,当确定用于当前块的增量QP时,视频译码器可识别与来自图片B225或I227的块相关联的参考QP。举例来说,视频译码器可使用与由与当前块相关联的运动向量信息所识别的任一参考块相关联的参考QP。视频译码器接着可使用参考QP产生用于当前块的增量QP。
根据本发明的方面,视频译码器可在产生用于当前正被译码的块的增量QP时识别一个以上参考QP。在一些实例中,参考QP可来自一个以上参考图片。可组合参考QP以形成单个参考QP,所述单个参考QP可被称作用于当前块的QP的QP预测子。视频译码器接着可通过确定用于当前块的实际QP与QP预测子之间的差产生用于当前块的增量QP。
在上文所描述的实例中,当确定用于图片b226的块的QP预测子时,视频译码器可识别与来自图片B225的块相关联的参考QP,以及与来自图片I227的块相关联的参考QP。视频译码器接着可通过组合两个参考QP来产生QP预测子。在一些实例中,视频译码器可通过对两个参考QP求平均值来组合两个参考QP。在其它实例中,视频译码器可以另一方式组合两个参考QP。举例来说,视频译码器可确定加权QP预测子。即,视频译码器可将权重应用于用以产生QP预测子的每一参考QP。在实例中,视频译码器可根据下文的等式(3)产生加权QP预测子:
QPPred=w0×QP0+w1×QP1 (3)
其中QPpred为QP预测子值,且QP0、QP1为来自列表0及列表1预测块的经偏移校正的QP。权重w0及w1可是基于用于运动补偿中的加权预测工具的规格化权重。在一些实例中,QP偏移校正可是基于参考切片与正被译码的当前切片之间的切片层级QP差。
图7为说明用于减少由视频译码装置(视频译码器)存储的参考QP数据量的技术的流程图。在图7的实例中,视频译码器可识别与多个视频数据参考块相关联的多个QP(240)。举例来说,多个QP可与存储于用以对视频数据进行帧间预测的参考图片存储器(例如,参考图片存储器64(图2)或参考图片存储器142(图3))中的视频数据参考块相关联。在一些实例中,多个QP可存储于参考QP存储器中,例如参考QP存储器55(图2)或参考QP存储器137(图3)。
视频译码器接着可确定表示多个QP的用于多个块的参考QP(242)。举例来说,如上文关于图5所描述,视频译码器可产生用于多个块的组合的参考QP,例如平均参考QP。在其它实例中,视频译码器可确定用于多个块的最小QP、最大QP、中值QP、模式QP、加权平均QP等。在又其它实例中,视频译码器可对来自多个块的QP作二次抽样以确定表示块的参考QP。
视频译码器接着可存储参考QP(244)。举例来说,视频译码器可将参考QP存储于QP参考存储器中,例如参考QP存储器55(图2)或参考QP存储器137(图3)。在一些实例中,视频译码器可用代表QP替换与多个参考块相关联的QP。以此方式,视频译码器可减少所存储的参考QP数据量。
根据一些方面,视频译码器接着可使用所存储的参考QP数据来对视频数据进行译码(246)。举例来说,关于视频编码器(例如,视频编码器20),视频编码器可接收与块相关联的变换系数。视频编码器接着可确定用于对变换系数进行量化的QP,且使用所确定的QP对变换系数进行量化。视频编码器可确定实际QP与所存储的参考QP之间的增量QP,而不是用信号发出用以对变换系数进行量化的实际QP。视频编码器接着可基于参考QP与用以对变换系数进行量化的实际QP之间的差来确定且用信号发出用于块的增量QP值。
关于视频解码器(例如,视频解码器30),视频解码器可接收与视频数据块相关联的经量化的变换系数且对其进行熵解码。视频解码器还可接收用于块的增量QP。视频解码器可基于所接收的增量QP与所存储的参考QP的组合确定用于对块进行反量化的实际QP。视频解码器接着可使用所确定的实际QP对经量化的变换系数进行反量化。
图7中所示的实例的部分不必一定按图7中所示的次序执行,且可执行较少的、额外的或替代的步骤。
图8为说明用于减少由视频译码器(例如,视频编码器20及/或视频解码器30)存储的参考QP数据量的技术的流程图。在图8中所示的实例中,视频译码器确定用于一个或一个以上视频数据参考块的所预测的参考QP(260)。举例来说,视频数据参考块可存储于用以对视频数据进行帧间预测的参考图片存储器(例如,参考图片存储器64(图2)或参考图片存储器142(图3))中。在一些实例中,如上文关于图5所描述,视频译码器可基于参考块所属于的切片的切片QP来预测用于参考块的参考QP。在其它实例中,视频译码器可使用用于参考块的平均QP、加权平均QP、最小QP、最大QP、中值QP、模式QP等来预测参考QP。
视频译码器还可确定用于一个或一个以上参考块的每一参考块的实际QP(262)。即,视频译码器可确定用以对参考块的变换系数进行量化(或反量化)的QP。视频译码器接着可基于实际QP与所预测的参考QP之间的差产生用于每一参考块的增量参考QP(264)。举例来说,视频译码器可从用于每一参考块的实际QP减去所预测的参考QP,以产生用于每一块的增量参考QP。在一些实例中,视频译码器还可在产生增量参考QP之后减少增量参考QP的位深度。举例来说,视频译码器可舍入、剪切或量化增量参考QP。
视频译码器接着可存储用于每一参考块的增量参考QP(266)。举例来说,视频译码器可将增量参考QP存储于QP参考存储器中,例如参考QP存储器55(图2)或参考QP存储器137(图3)。在一些实例中,视频译码器可用增量参考QP替换与多个参考块相关联的QP。与参考块的实际QP相比,增量参考QP可需要较少的位来存储。在出于说明目的的简单实例中,假定三个参考块具有QP3、4及5,且用于三个参考块的所预测的QP为4。根据本发明的一些方面,增量参考QP可为-1、0及1。在此实例中,与实际QP相比,增量参考QP需要较少的位来存储。以此方式,视频译码器可减少所存储的参考QP数据量。
根据一些方面,视频译码器接着可使用所存储的参考QP数据来对视频数据进行译码(268)。举例来说,关于视频编码器(例如,视频编码器20),视频编码器可接收与视频数据块相关联的变换系数。视频编码器接着可确定用于对变换系数进行量化的QP,且使用所确定的QP对变换系数进行量化。视频编码器可确定实际QP与可使用所存储的增量参考QP来确定的参考QP之间的增量QP,而不是用信号发出用以对变换系数进行量化的实际QP。举例来说,视频编码器可将所存储的增量参考QP与所预测的QP相加以产生参考QP。视频编码器接着可基于参考QP与用以对变换系数进行量化的实际QP之间的差来确定且用信号发出增量QP值。
关于视频解码器(例如,视频解码器30),视频解码器可接收与块相关联的经量化的变换系数且对其进行熵解码。视频解码器还可接收用于块的增量QP(如在经编码的位流中用信号发出)。视频解码器可基于所接收的增量QP与所存储的增量参考QP中的至少一者的组合确定用于对块进行反量化的实际QP。举例来说,视频解码器可将所存储的增量参考QP与所预测的QP相加以产生参考QP。视频解码器可通过将参考QP与所接收的增量QP相加来确定用于对块进行反量化的实际QP。视频解码器接着可使用所确定的实际QP对经量化的变换系数进行反量化。
图8中所示的实例的部分不必一定按图8中所示的次序执行,且可执行较少的、额外的或替代的步骤。举例来说,根据本发明的方面,关于图8所描述的技术可结合关于图7所描述的技术而使用。举例来说,关于图8的步骤264,视频译码器可基于参考QP与用于参考块的代表QP之间的差来确定增量参考QP。
图9为说明用于基于一个以上参考QP产生QP预测子的技术的流程图。在图9中所示的实例中,视频译码器识别来自具有第一时间实例的一个或一个以上参考块的第一参考QP(280)。举例来说,视频译码器可识别与存储于用以对视频数据进行帧间预测的参考图片存储器(例如,参考图片存储器64(图2)或参考图片存储器142(图3))中的一个或一个以上视频数据参考块相关联的参考QP。在一些实例中,第一参考QP可存储于参考QP存储器中,例如参考QP存储器55(图2)或参考QP存储器137(图3)。
视频译码器还可识别与具有不同于第一时间实例的第二时间实例的一个或一个以上参考块相关联的第二参考QP(282)。举例来说,视频译码器可识别与存储于用以对视频数据进行帧间预测的参考图片存储器(例如,参考图片存储器64(图2)或参考图片存储器142(图3))中的一个或一个以上其它参考块相关联的第二参考QP。在一些实例中,第二参考QP还可存储于参考QP存储器中,例如参考QP存储器55(图2)或参考QP存储器137(图3)。
在一些实例中,如上文关于图6所描述,第一参考QP可将其与经双向预测的当前块的第一参考块相关联,而第二参考QP可与经双向预测的块的第二参考块相关联。在此些实例中,第一参考QP可在时间上先于当前正被译码的块而发生,而第二参考QP可在时间上晚于当前正被译码的块而发生。
视频译码器接着可基于第一参考QP及第二参考QP产生用于当前正被译码的块的QP预测子(284)。根据本发明的一些方面,视频译码器可基于第一参考QP及第二参考QP的平均值来产生QP预测子。在一些实例中,视频译码器可使用用于运动补偿中的加权预测工具的规格化权重来产生加权平均值。在其它实例中,视频译码器可通过以任何其它方式组合第一参考QP与第二参考QP来产生QP预测子。
视频译码器可使用QP预测子对当前块进行译码(286)。举例来说,关于视频编码器(例如,视频编码器20),视频编码器可接收与块相关联的变换系数。视频编码器接着可确定用于对变换系数进行量化的QP,且使用所确定的QP对变换系数进行量化。视频编码器可确定实际QP与所预测的QP之间的增量QP,而不是用信号发出用以对变换系数进行量化的实际QP。视频编码器接着可基于QP预测子与用以对变换系数进行量化的实际QP之间的差来确定且用信号发出增量QP值。
关于视频解码器(例如,视频解码器30),视频解码器可接收与块相关联的经量化的变换系数且对其进行熵解码。视频解码器还可接收用于块的增量QP。视频解码器可基于所接收的增量QP与QP预测子之间的差确定用于对块进行反量化的实际QP。举例来说,视频解码器可将增量QP与QP预测子相加以确定用于对块进行反量化的实际QP。视频解码器接着可使用所确定的实际QP对经量化的变换系数进行反量化。
图9中所示的实例的部分不必一定按图9中所示的次序执行,且可执行较少的、额外的或替代的步骤。
应理解,取决于实例,本文中所描述的方法中的任一者的某些动作或事件可不同序列执行,可一起经添加、合并或省去(例如,不是所有所描述的动作或事件为实践方法所必须的)。此外,在某些实施例中,可同时(例如,通过多线程处理、中断处理或多个处理器)而非顺序地执行动作或事件。另外,虽然本发明的某些方面出于清楚目的起见被描述为由单个模块或单元(例如,量化单元54(图2)或反量化单元136(图3))执行,但应理解,本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
在一个或一个以上实例中,所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么功能可作为一个或一个以上指令或代码存储于计算机可读媒体上或经由所述计算机可读媒体而传输,且由基于硬件的处理单元执行。计算机可读媒体可包含对应于例如数据存储媒体等有形媒体的计算机可读存储媒体,或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何媒体的通信媒体。
以此方式,计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体,或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或者一个或一个以上处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
举例来说且并非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它媒体。并且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。
然而,应理解,计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂态媒体,而是改为针对非暂态、有形的存储媒体。如本文中所使用,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读媒体的范围内。
可由一个或一个以上处理器来执行指令,例如一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内,或并入在组合式编解码器中。并且,可将所述技术完全实施于一个或一个以上电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述了各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面,但不一定要求通过不同硬件单元来实现。而是,如上所述,各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或一个以上处理器)的集合结合合适软件和/或固件来提供。
已描述了本发明的各个方面。这些及其它方面均处于所附权利要求书的范围内。
Claims (57)
1.一种对视频数据进行译码的方法,其包括:
识别与多个视频数据参考块相关联的多个量化参数QP值;
基于所述多个QP产生用于所述多个参考块的参考QP;
存储所述参考QP;以及
基于所述所存储的参考QP来对视频数据块进行译码。
2.根据权利要求1所述的方法,其中产生所述参考QP包括产生平均QP。
3.根据权利要求2所述的方法,其中产生所述平均QP包括计算与所述多个参考块相关联的所述多个QP的平均值。
4.根据权利要求3所述的方法,其中产生所述平均QP包括基于如下等式产生所述平均QP:
其中N包括被求平均值的数个QP,且QPk包括被求平均值的所述数个QP中的每一者。
5.根据权利要求1所述的方法,其中产生所述参考QP包括从与所述多个参考块相关联的所述多个QP中选择代表QP。
6.根据权利要求1所述的方法,其中识别与所述多个参考块相关联的所述多个QP包括识别包含所述多个参考块的预定义区域,及识别用于所述预定义区域中的所述参考块的所述QP。
7.根据权利要求6所述的方法,其中所述预定义区域包括16x16区域、32x32区域及64x64区域中的一者。
8.根据权利要求1所述的方法,其中对所述块进行译码包括对所述块进行编码,且其中对所述块进行编码进一步包括:
确定用于对所述块的变换系数进行量化的实际QP;
基于所述实际QP与所述参考QP之间的差确定增量QP;以及
产生位流以包含所述增量QP的指示。
9.根据权利要求1所述的方法,其中对所述块进行译码包括对所述块进行解码,且其中对所述块进行解码进一步包括:
基于用于所述块的所接收的增量QP与所述参考QP的组合确定用于对所述块的变换系数进行反量化的实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
10.一种包括一个或一个以上处理器的用于对视频数据进行译码的设备,所述一个或一个以上处理器经配置以:
识别与多个视频数据参考块相关联的多个量化参数QP值;
基于所述多个QP产生用于所述多个参考块的参考QP;
存储所述参考QP;以及
基于所述所存储的参考QP来对视频数据块进行译码。
11.根据权利要求10所述的设备,其中所述一个或一个以上处理器经配置以通过产生平均QP来产生所述参考QP。
12.根据权利要求11所述的设备,其中所述一个或一个以上处理器经配置以通过计算与所述多个参考块相关联的所述多个QP的平均值来产生所述平均QP。
13.根据权利要求12所述的设备,其中所述一个或一个以上处理器经配置以通过基于如下等式产生所述平均QP来产生所述平均QP:
其中N包括被求平均值的数个QP,且QPk包括被求平均值的所述数个QP中的每一者。
14.根据权利要求10所述的设备,其中所述一个或一个以上处理器经配置以通过从与所述多个参考块相关联的所述多个QP中选择代表QP来产生所述参考QP。
15.根据权利要求10所述的设备,其中所述一个或一个以上处理器经配置以通过识别包含所述多个参考块的预定义区域及识别用于所述预定义区域中的所述参考块的所述QP来识别与所述多个参考块相关联的所述多个QP。
16.根据权利要求10所述的设备,其中所述设备包括视频编码器,且其中所述一个或一个以上处理器经进一步配置以:
确定用于对所述块的变换系数进行量化的实际QP;
基于所述实际QP与所述参考QP之间的差确定增量QP;以及
产生位流以包含所述增量QP的指示。
17.根据权利要求10所述的设备,其中所述设备包括视频解码器,且其中所述一个或一个以上处理器经进一步配置以:
基于用于所述块的所接收的增量QP与所述参考QP的组合确定用于对所述块的变换系数进行反量化的实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
18.一种用于对视频数据进行译码的设备,其包括:
用于识别与多个视频数据参考块相关联的多个量化参数QP值的装置;
用于基于所述多个QP产生用于所述多个参考块的参考QP的装置;
用于存储所述参考QP的装置;以及
用于基于所述所存储的参考QP来对视频数据块进行译码的装置。
19.根据权利要求18所述的设备,其中所述用于产生所述参考QP的装置包括用于产生平均QP的装置。
20.根据权利要求19所述的设备,其中所述用于产生所述平均QP的装置包括用于计算与所述多个参考块相关联的所述多个QP的平均值的装置。
21.根据权利要求18所述的设备,其中所述用于产生所述参考QP的装置包括用于从与所述多个参考块相关联的所述多个QP中选择代表QP的装置。
22.根据权利要求18所述的设备,其中所述用于识别与所述多个参考块相关联的所述多个QP的装置包括用于识别包含所述多个参考块的预定义区域及识别用于所述预定义区域中的所述参考块的所述QP的装置。
23.一种非暂时性计算机可读存储媒体,其具有存储于其上的指令,所述指令在执行时致使一个或一个以上处理器:
识别与多个视频数据参考块相关联的多个量化参数QP值;
基于所述多个QP产生用于所述多个参考块的参考QP;
存储所述参考QP;以及
基于所述所存储的参考QP来对视频数据块进行译码。
24.根据权利要求23所述的计算机可读存储媒体,其中为了产生所述参考QP,所述指令致使所述一个或一个以上处理器产生平均QP。
25.根据权利要求24所述的计算机可读存储媒体,其中为了产生所述平均QP包括,所述指令致使所述一个或一个以上处理器计算与所述多个参考块相关联的所述多个QP的平均值。
26.根据权利要求23所述的计算机可读存储媒体,其中为了产生所述参考QP,所述指令致使所述一个或一个以上处理器从与所述多个参考块相关联的所述多个QP中选择代表QP。
27.根据权利要求23所述的计算机可读存储媒体,其中为了识别与所述多个参考块相关联的所述多个QP,所述指令致使所述一个或一个以上处理器识别包含所述多个参考块的预定义区域及识别用于所述预定义区域中的所述参考块的所述QP。
28.一种对视频数据进行译码的方法,其包括:
确定用于一个或一个以上视频数据参考块的所预测的参考QP;
确定用于所述一个或一个以上参考块的每一参考块的实际QP;
基于所述实际QP与所述所预测的参考QP之间的差产生用于所述一个或一个以上参考块的每一参考块的增量参考QP;以及
存储用于每一参考块的所述增量参考QP。
29.根据权利要求28所述的方法,其进一步包括在存储所述增量参考QP之前减少与所述增量参考QP相关联的位深度。
30.根据权利要求29所述的方法,其中减少所述位深度包括对所述增量参考QP进行量化。
31.根据权利要求28所述的方法,其中确定所述所预测的QP包括确定与所述一个或一个以上参考块所属于的视频数据的切片相关联的切片QP。
32.根据权利要求28所述的方法,其进一步包括基于所述所存储的增量参考QP中的至少一者来对块进行译码。
33.根据权利要求32所述的方法,其中对所述块进行译码包括对所述块进行编码,且其中对所述块进行编码包括:
确定用于对所述块的变换系数进行量化的实际QP;
基于所述实际QP与所述至少一个所存储的增量参考QP之间的差确定增量QP;以及
产生位流以包含所述增量QP的指示。
34.根据权利要求32所述的方法,其中对所述块进行译码包括对所述块进行解码,且其中对所述块进行解码包括:
基于用于所述块的所接收的增量QP与所述至少一个所存储的参考QP的组合确定用于对所述块的变换系数进行反量化的所述实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
35.一种包括一个或一个以上处理器的用于对视频数据进行译码的设备,其中所述一个或一个以上处理器经配置以:
确定用于一个或一个以上视频数据参考块的所预测的参考QP;
确定用于所述一个或一个以上参考块的每一参考块的实际QP;
基于所述实际QP与所述所预测的参考QP之间的差产生用于所述一个或一个以上参考块的每一参考块的增量参考QP;以及
存储用于每一参考块的所述增量参考QP。
36.根据权利要求35所述的设备,其中所述一个或一个以上处理器经进一步配置以在存储所述增量参考QP之前减少与所述增量参考QP相关联的位深度。
37.根据权利要求36所述的设备,其中所述一个或一个以上处理器经配置以通过对所述增量参考QP进行量化来减少所述位深度。
38.根据权利要求35所述的设备,其中所述一个或一个以上处理器经配置以通过确定与所述一个或一个以上参考块所属于的视频数据的切片相关联的切片QP来确定所述所预测的QP。
39.根据权利要求35所述的设备,其中所述一个或一个以上处理器经进一步配置以基于所述所存储的增量参考QP中的至少一者来对块进行译码。
40.根据权利要求39所述的设备,其中所述设备包括视频编码器,且其中所述一个或一个以上处理器经进一步配置以:
确定用于对所述块的变换系数进行量化的实际QP;
基于所述实际QP与所述至少一个所存储的增量参考QP之间的差确定增量QP;以及
产生位流以包含所述增量QP的指示。
41.根据权利要求39所述的设备,其中所述设备包括视频解码器,且其中一个或一个以上处理器经进一步配置以:
基于用于所述块的所接收的增量QP与所述至少一个所存储的参考QP的组合确定用于对所述块的变换系数进行反量化的所述实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
42.一种对视频数据进行译码的方法,所述方法包含:
识别与具有第一时间实例的一个或一个以上视频数据块相关联的第一参考QP;
识别与具有第二时间实例的一个或一个以上视频数据块相关联的第二参考QP,其中所述第二时间实例不同于所述第一时间实例;以及
产生用于具有第三时间实例的视频数据块的QP预测子,其中所述第三时间实例不同于所述第一时间实例及所述第二时间实例,且其中所述QP预测子是基于所述第一参考QP及所述第二参考QP。
43.根据权利要求42所述的方法,其中所述QP预测子包括所述第一参考QP及所述第二参考QP的平均值。
44.根据权利要求42所述的方法,其进一步包括对所述第一参考QP及所述第二参考QP进行加权,且其中所述QP预测子值是基于所述加权第一参考QP及所述加权第二参考QP。
45.根据权利要求44所述的方法,其中对所述第一参考QP及所述第二参考QP进行加权包括应用在运动补偿期间所应用的加权预测工具。
46.根据权利要求42所述的方法,其中所述第一时间实例在时间上先于所述第三时间实例而发生,且所述第二时间实例在时间上晚于所述第三时间实例而发生。
47.根据权利要求42所述的方法,其进一步包括使用所述QP预测子来对所述视频数据块进行译码。
48.根据权利要求47所述的方法,其中对所述块进行译码包括对所述块进行编码,且其中对所述块进行编码进一步包括:
使用实际QP来对所述块的变换系数进行量化以产生经量化的变换系数;
确定包括所述QP预测子与所述实际QP之间的差的增量QP;以及
产生位流以包含所述增量QP的指示。
49.根据权利要求47所述的方法,其中对所述块进行译码包括对所述块进行解码,且其中对所述块进行解码进一步包括:
基于用于所述块的所接收的增量QP与所述QP预测子之间的差确定用于对所述块的变换系数进行反量化的实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
50.一种包括一个或一个以上处理器的用于对视频数据进行译码的设备,其中所述一个或一个以上处理器经配置以:
识别与具有第一时间实例的一个或一个以上视频数据块相关联的第一参考QP;
识别与具有第二时间实例的一个或一个以上视频数据块相关联的第二参考QP,其中所述第二时间实例不同于所述第一时间实例;以及
产生用于具有第三时间实例的视频数据块的QP预测子,其中所述第三时间实例不同于所述第一时间实例及所述第二时间实例,且其中所述QP预测子是基于所述第一参考QP及所述第二参考QP。
51.根据权利要求50所述的设备,其中所述QP预测子包括所述第一参考QP及所述第二参考QP的平均值。
52.根据权利要求50所述的设备,其中所述一个或一个以上处理器经进一步配置以对所述第一参考QP及所述第二参考QP进行加权,且其中所述QP预测子值是基于所述加权第一参考QP及所述加权第二参考QP。
53.根据权利要求52所述的设备,其中所述一个或一个以上处理器经配置以通过应用在运动补偿期间所应用的加权预测工具来对所述第一参考QP及所述第二参考QP进行加权。
54.根据权利要求50所述的设备,其中所述第一时间实例在时间上先于所述第三时间实例而发生,且所述第二时间实例在时间上晚于所述第三时间实例而发生。
55.根据权利要求50所述的设备,其进一步包括使用所述QP预测子来对所述视频数据块进行译码。
56.根据权利要求55所述的设备,其中所述设备包括视频编码器,且其中所述一个或一个以上处理器经进一步配置以:
使用实际QP来对所述块的变换系数进行量化以产生经量化的变换系数;
确定包括所述QP预测子与所述实际QP之间的差的增量QP;以及
产生位流以包含所述增量QP的指示。
57.根据权利要求55所述的设备,其中所述设备包括视频解码器,且其中所述一个或一个以上处理器经进一步配置以:
基于用于所述块的所接收的增量QP与所述QP预测子之间的差确定用于对所述块的变换系数进行反量化的实际QP;以及
使用所述所确定的实际QP对所述变换系数进行反量化。
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161500103P | 2011-06-22 | 2011-06-22 | |
US61/500,103 | 2011-06-22 | ||
US201161504182P | 2011-07-02 | 2011-07-02 | |
US61/504,182 | 2011-07-02 | ||
US201161540886P | 2011-09-29 | 2011-09-29 | |
US61/540,886 | 2011-09-29 | ||
US201161552895P | 2011-10-28 | 2011-10-28 | |
US61/552,895 | 2011-10-28 | ||
US13/529,508 | 2012-06-21 | ||
US13/529,508 US10298939B2 (en) | 2011-06-22 | 2012-06-21 | Quantization in video coding |
PCT/US2012/043807 WO2012178053A1 (en) | 2011-06-22 | 2012-06-22 | Quantization parameter prediction in video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103636202A true CN103636202A (zh) | 2014-03-12 |
CN103636202B CN103636202B (zh) | 2017-10-31 |
Family
ID=47361834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280030355.4A Expired - Fee Related CN103636202B (zh) | 2011-06-22 | 2012-06-22 | 视频译码中的量化参数预测 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10298939B2 (zh) |
EP (2) | EP2724535A1 (zh) |
JP (1) | JP5844460B2 (zh) |
KR (1) | KR101642615B1 (zh) |
CN (1) | CN103636202B (zh) |
WO (1) | WO2012178053A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104244003A (zh) * | 2014-08-18 | 2014-12-24 | 北京君正集成电路股份有限公司 | 一种确定运动矢量代价的方法及装置 |
CN106105215A (zh) * | 2014-03-21 | 2016-11-09 | 高通股份有限公司 | 将当前图片用作视频译码的参考 |
CN106134194A (zh) * | 2014-03-17 | 2016-11-16 | 高通股份有限公司 | 用于低复杂度编码及后台检测的系统及方法 |
CN108141590A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 用于矩形变换单元的量化的增量qp、基于短距离帧内预测sdip的视频译码 |
CN108432170A (zh) * | 2016-01-29 | 2018-08-21 | 麻省理工学院 | 用于多码分布式存储的装置和方法 |
CN109819253A (zh) * | 2017-11-21 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机设备和存储介质 |
CN111801946A (zh) * | 2018-01-24 | 2020-10-20 | Vid拓展公司 | 用于具有降低的译码复杂性的视频译码的广义双预测 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110068792A (ko) * | 2009-12-16 | 2011-06-22 | 한국전자통신연구원 | 적응적 영상 부호화 장치 및 방법 |
US9747255B2 (en) * | 2011-05-13 | 2017-08-29 | Texas Instruments Incorporated | Inverse transformation using pruning for video coding |
CN103548350B (zh) * | 2011-06-28 | 2017-03-01 | 日本电气株式会社 | 图像编码设备和图像解码设备 |
US8767824B2 (en) | 2011-07-11 | 2014-07-01 | Sharp Kabushiki Kaisha | Video decoder parallelization for tiles |
TR201906561T4 (tr) * | 2011-07-12 | 2019-05-21 | Nec Corp | Video Kod Çözümü İçin Nicemleme Parametresi Kodunun Çözülmesi İçin Kod Çözme Yöntemi Ve Kod Çözücü |
WO2013086724A1 (en) * | 2011-12-15 | 2013-06-20 | Mediatek Singapore Pte. Ltd. | Method of clippling transformed coefficients before de-quantization |
WO2013145642A1 (ja) * | 2012-03-28 | 2013-10-03 | 株式会社Jvcケンウッド | 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム |
SG11201406493RA (en) | 2012-04-13 | 2014-11-27 | Ge Video Compression Llc | Low delay picture coding |
IL305350B1 (en) | 2012-06-29 | 2024-05-01 | Ge Video Compression Llc | Video data stream concept |
US9854268B2 (en) * | 2012-10-03 | 2017-12-26 | Hfi Innovation Inc. | Method and apparatus of motion data buffer reduction for three-dimensional video coding |
US20140254659A1 (en) | 2013-03-11 | 2014-09-11 | Mediatek Inc. | Video coding method using at least evaluated visual quality and related video coding apparatus |
US9224187B2 (en) | 2013-09-27 | 2015-12-29 | Apple Inc. | Wavefront order to scan order synchronization |
US9336558B2 (en) | 2013-09-27 | 2016-05-10 | Apple Inc. | Wavefront encoding with parallel bit stream encoding |
CN110225349B (zh) * | 2013-10-14 | 2023-06-02 | 韩国电子通信研究院 | 用于支持多层的视频编码/解码方法和计算机可读记录介质 |
JP6185375B2 (ja) * | 2013-11-26 | 2017-08-23 | 株式会社シキノハイテック | 画像符号化装置 |
US10136133B2 (en) * | 2014-11-11 | 2018-11-20 | Dolby Laboratories Licensing Corporation | Rate control adaptation for high-dynamic range images |
JP2018533284A (ja) * | 2015-09-21 | 2018-11-08 | エルジー エレクトロニクス インコーポレイティド | 係数誘導予測を用いてビデオ信号を処理する方法及び装置 |
WO2017057953A1 (ko) * | 2015-09-30 | 2017-04-06 | 엘지전자 주식회사 | 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치 |
JP7406378B2 (ja) * | 2017-06-21 | 2023-12-27 | ヴィド スケール インコーポレイテッド | 360度ビデオ符号化のための適応的量子化 |
BR112020025887A2 (pt) | 2018-06-21 | 2021-03-23 | Telefonaktiebolaget Lm Ericsson (Publ) | métodos para decodificar e para codificar uma imagem parada, circuitos decodificador e codificador, decodificador, programa de computador, portadora, meio de armazenamento legível por computador não transitório, e, codificador |
MX2020013864A (es) | 2018-06-21 | 2021-03-25 | Ericsson Telefon Ab L M | Particiones de mosaicos con sub-mosaicos en codificacion de video. |
CN112602329B (zh) | 2018-06-21 | 2023-08-11 | 瑞典爱立信有限公司 | 用于360度视频解码的块置乱 |
US10638146B2 (en) * | 2018-10-01 | 2020-04-28 | Tencent America LLC | Techniques for QP coding for 360 image and video coding |
KR102629907B1 (ko) * | 2018-10-02 | 2024-01-30 | 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) | 타일 그룹 id에 기초한 화상들의 인코딩 및 디코딩 |
CN111200734B (zh) * | 2018-11-19 | 2022-03-11 | 浙江宇视科技有限公司 | 视频编码方法及装置 |
US11496745B2 (en) * | 2019-06-24 | 2022-11-08 | Qualcomm Incorporated | Binarization in transform skip residual coding |
US11146823B2 (en) * | 2019-06-25 | 2021-10-12 | Qualcomm Incorporated | Signalling chroma quantization parameter (QP) mapping tables |
US11451779B2 (en) * | 2020-03-05 | 2022-09-20 | Qualcomm Incorporated | Scaling list signalling for video coding |
CN114125451B (zh) * | 2021-12-01 | 2022-12-06 | 锐宸微(上海)科技有限公司 | 视频编码方法、视频编码装置及影像处理装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6134269A (en) * | 1996-09-25 | 2000-10-17 | At&T Corp | Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video |
CN101232618B (zh) | 2002-04-23 | 2013-03-27 | 诺基亚有限公司 | 用于在视频编码系统中指示量化器参数的方法与设备 |
US7099389B1 (en) | 2002-12-10 | 2006-08-29 | Tut Systems, Inc. | Rate control with picture-based lookahead window |
US7397855B2 (en) * | 2004-04-14 | 2008-07-08 | Corel Tw Corp. | Rate controlling method and apparatus for use in a transcoder |
JP4074868B2 (ja) * | 2004-12-22 | 2008-04-16 | 株式会社東芝 | 画像符号化制御方法及びその装置 |
US8548055B2 (en) * | 2005-03-10 | 2013-10-01 | Qualcomm Incorporated | Encoding of multimedia data |
KR100746011B1 (ko) * | 2005-08-24 | 2007-08-06 | 삼성전자주식회사 | 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더 |
SG130982A1 (en) | 2005-10-04 | 2007-04-26 | St Microelectronics Asia | Macro-block quantization reactivity compensation |
US8107537B2 (en) | 2006-02-02 | 2012-01-31 | Sharp Laboratories Of America, Inc. | Picture layer rate control for video encoding |
KR100790148B1 (ko) * | 2006-07-27 | 2008-01-02 | 삼성전자주식회사 | 실시간 영상 복잡도 측정 방법 |
US8331438B2 (en) * | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
US8265651B2 (en) | 2007-07-17 | 2012-09-11 | Honeywell International Inc. | System and apparatus for integrated wireless location detection |
WO2009041215A1 (ja) | 2007-09-25 | 2009-04-02 | Sharp Kabushiki Kaisha | 動画像符号化装置及び動画像復号装置 |
US8542730B2 (en) * | 2008-02-22 | 2013-09-24 | Qualcomm, Incorporated | Fast macroblock delta QP decision |
US20110274162A1 (en) | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
US8588297B2 (en) | 2009-12-23 | 2013-11-19 | Oracle America, Inc. | Quantization parameter prediction |
JP5484083B2 (ja) | 2010-01-14 | 2014-05-07 | 株式会社メガチップス | 画像処理装置 |
WO2011100347A2 (en) | 2010-02-09 | 2011-08-18 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
CA2801409C (en) | 2010-06-10 | 2018-10-23 | Thomson Licensing | Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters |
KR20120016980A (ko) | 2010-08-17 | 2012-02-27 | 한국전자통신연구원 | 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
JP2013005111A (ja) | 2011-06-14 | 2013-01-07 | Jvc Kenwood Corp | 画像符号化装置、画像符号化方法及び画像符号化プログラム |
-
2012
- 2012-06-21 US US13/529,508 patent/US10298939B2/en not_active Expired - Fee Related
- 2012-06-22 KR KR1020147001660A patent/KR101642615B1/ko active IP Right Grant
- 2012-06-22 EP EP12731276.7A patent/EP2724535A1/en not_active Ceased
- 2012-06-22 WO PCT/US2012/043807 patent/WO2012178053A1/en active Application Filing
- 2012-06-22 EP EP16153417.7A patent/EP3035684A1/en not_active Ceased
- 2012-06-22 JP JP2014517216A patent/JP5844460B2/ja not_active Expired - Fee Related
- 2012-06-22 CN CN201280030355.4A patent/CN103636202B/zh not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106134194A (zh) * | 2014-03-17 | 2016-11-16 | 高通股份有限公司 | 用于低复杂度编码及后台检测的系统及方法 |
CN106134194B (zh) * | 2014-03-17 | 2019-05-03 | 高通股份有限公司 | 用于低复杂度编码及后台检测的系统及方法 |
CN106105215A (zh) * | 2014-03-21 | 2016-11-09 | 高通股份有限公司 | 将当前图片用作视频译码的参考 |
CN106105215B (zh) * | 2014-03-21 | 2020-04-21 | 高通股份有限公司 | 将当前图片用作视频译码的参考 |
CN104244003A (zh) * | 2014-08-18 | 2014-12-24 | 北京君正集成电路股份有限公司 | 一种确定运动矢量代价的方法及装置 |
CN104244003B (zh) * | 2014-08-18 | 2017-08-15 | 北京君正集成电路股份有限公司 | 一种确定运动矢量代价的方法及装置 |
CN108141590A (zh) * | 2015-09-29 | 2018-06-08 | 高通股份有限公司 | 用于矩形变换单元的量化的增量qp、基于短距离帧内预测sdip的视频译码 |
CN108432170A (zh) * | 2016-01-29 | 2018-08-21 | 麻省理工学院 | 用于多码分布式存储的装置和方法 |
US11463113B2 (en) | 2016-01-29 | 2022-10-04 | Massachusetts Institute Of Technology | Apparatus and method for multi-code distributed storage |
CN109819253A (zh) * | 2017-11-21 | 2019-05-28 | 腾讯科技(深圳)有限公司 | 视频编码方法、装置、计算机设备和存储介质 |
CN111801946A (zh) * | 2018-01-24 | 2020-10-20 | Vid拓展公司 | 用于具有降低的译码复杂性的视频译码的广义双预测 |
Also Published As
Publication number | Publication date |
---|---|
KR20140024958A (ko) | 2014-03-03 |
EP3035684A1 (en) | 2016-06-22 |
JP2014520490A (ja) | 2014-08-21 |
CN103636202B (zh) | 2017-10-31 |
EP2724535A1 (en) | 2014-04-30 |
US20120328004A1 (en) | 2012-12-27 |
KR101642615B1 (ko) | 2016-07-25 |
JP5844460B2 (ja) | 2016-01-20 |
US10298939B2 (en) | 2019-05-21 |
WO2012178053A1 (en) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103636202A (zh) | 视频译码中的量化参数预测 | |
JP6081648B2 (ja) | ビデオ復号化方法及びその装置 | |
CA3007679C (en) | Method and apparatus for video encoding for each spatial sub-area, and method and apparatus for video decoding for each spatial sub-area | |
CN103190147B (zh) | 用于视频译码的语法元素的联合译码方法及设备 | |
JP5893754B2 (ja) | 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置 | |
CN103621082A (zh) | 视频译码中的量化 | |
CN103563378A (zh) | 存储器高效的上下文建模 | |
CN104823449A (zh) | 在视频译码中用信号表示关注区和逐渐解码刷新 | |
CN104303501A (zh) | 用于视频译码的量化矩阵和解块滤波器 | |
EP3206403A1 (en) | Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied | |
CN104685876A (zh) | 用于视频译码中的4:2:2样本格式的经译码块旗标(cbf)译码 | |
CN105474645A (zh) | 当执行帧内块复制时确定区 | |
CN104285447A (zh) | 用于视频译码的简化非正方形四叉树变换 | |
CN104081777A (zh) | 用于视频译码的残余四叉树(rqt)译码 | |
CN104937936A (zh) | 用于帧内预测的模式决策简化 | |
CN104704843A (zh) | 视频性质的指示 | |
CN104221378A (zh) | 在视频译码中用于量化矩阵的均匀粒度 | |
CN104604224A (zh) | 可缩放视频译码中的变换基底调整 | |
CN104081778A (zh) | 并行运动估计范围大小的隐含推导 | |
CN107079159B (zh) | 基于多核系统的并行视频解码的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171031 Termination date: 20200622 |
|
CF01 | Termination of patent right due to non-payment of annual fee |