CN106105206A - 用于使用置零系数的低复杂度正变换的系统和方法 - Google Patents

用于使用置零系数的低复杂度正变换的系统和方法 Download PDF

Info

Publication number
CN106105206A
CN106105206A CN201580013368.4A CN201580013368A CN106105206A CN 106105206 A CN106105206 A CN 106105206A CN 201580013368 A CN201580013368 A CN 201580013368A CN 106105206 A CN106105206 A CN 106105206A
Authority
CN
China
Prior art keywords
transform coefficient
coefficient matrix
video
value
video block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580013368.4A
Other languages
English (en)
Other versions
CN106105206B (zh
Inventor
钟仁肃
于洋
王翔林
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106105206A publication Critical patent/CN106105206A/zh
Application granted granted Critical
Publication of CN106105206B publication Critical patent/CN106105206B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本文中描述用于使用置零系数的低复杂度正变换的系统和方法。本发明中所描述的标的物的一个方面提供包括经配置以存储视频块的存储器的视频编码器。所述视频编码器进一步包括与所述存储器通信的处理器。所述处理器经配置以确定所述视频块的满功率值。所述处理器进一步经配置以确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域及零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小。所述处理器进一步经配置以使用所述减小的变换系数矩阵来确定所述视频块的部分功率值。所述处理器进一步经配置以基于所述满功率值及所述部分功率值使用所述减小的变换系数矩阵将所述视频块从像素域变换到系数域。所述处理器进一步经配置以编码经变换视频块。

Description

用于使用置零系数的低复杂度正变换的系统和方法
技术领域
本发明涉及视频编码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码摄像机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、智能电话、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)及此些标准的扩展。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码单元(CU)和/或译码节点。CU可进一步分割成一或多个预测单元(PU)以确定针对CU的预测视频数据。视频压缩技术还可将CU分割为残余视频块数据的一或多个变换单元(TU)，所述残余视频块数据表示待译码视频块与预测视频数据之间的差。例如二维离散余弦变换(DCT)等线性变换可应用于TU以将残余视频块数据从像素域变换到频域以实现进一步压缩。此外，图片的经帧内译码(I)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测块。残余数据表示待译码原始块与预测块之间的像素差。经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。根据帧内译码模式和残余数据而对经帧内译码块进行编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵编码以实现更多压缩。
在更早期视频标准(例如，AVC)中，正变换及反转变大小(例如，4×4及8×8)并不充当视频编码性能的障碍物。但是，更现代的视频译码标准(例如，HEVC及其扩展等)利用达16×16和32×32正变换和反变换系数矩阵大小，所述变换系数矩阵大小可在译码过程期间充当关于译码速度和效率的限制因素。当从像素域变换到系数域时，更大变换需要更多复杂度及周期来处理。在译码效率的利益中，译码性能将得益于减小视频编码器中的大的正变换的复杂度的过程。本文所揭示的技术的一些优点涉及在视频编码期间经由减小编码器中的正变换的复杂度而改善译码效率并减少计算资源要求。
发明内容
一般来说，本发明描述涉及通过在变换过程期间条件性地利用(例如，完全或部分利用)或修改(例如，置零)变换矩阵系数而改善视频编码性能的技术。举例来说，在一个实施例中，可置零所选择的系数部分，而不是执行使用全32×32变换系数矩阵的变换。此产生具有非零值内部子集区域及零值外部区域的32×32变换系数矩阵。因为所得矩阵将包含所有零值的区域(例如，外部区域)，使用经修改矩阵的后续变换操作将需要更少的计算资源且将产生改善的视频编码性能。就确定零值外部区域的方式和时间而提供条件以便将从执行此等变换操作期间的内容损耗减小或最小化。
随附图式及以下描述中阐述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书显而易见。
本发明中所描述的标的物的一个方面提供包括经配置以存储视频块的存储器的视频编码器。所述视频编码器进一步包括与所述存储器通信的处理器。所述处理器经配置以确定视频块的满功率值。所述处理器进一步经配置以确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域及零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小。所述处理器进一步经配置以使用减小的变换系数矩阵来确定视频块的部分功率值。处理器进一步经配置以基于满功率值和部分功率值使用减小的变换系数矩阵将视频块从像素域变换到系数域。处理器进一步经配置以编码经变换视频块。
本发明中描述的标的物的另一方面提供一种编码视频的方法。所述方法包含存储视频块。所述方法进一步包含确定视频块的满功率值。所述方法进一步包含确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域及零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小。所述方法进一步包含使用减小的变换系数矩阵来确定视频块的部分功率值。所述方法进一步包含基于满功率值和部分功率值使用减小的变换系数矩阵将视频块从像素域变换到系数域。所述方法进一步包含编码经变换视频块。
本发明中描述的标的物的另一方面提供非暂时性计算机可读媒体。所述媒体包括当经执行时使得设备存储视频块的代码。所述媒体进一步包括当经执行时使得设备确定视频块的满功率值的代码。所述媒体进一步包括当经执行时使得设备确定减小的变换系数矩阵的代码，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小。所述媒体进一步包括当经执行时使得设备使用减小的变换系数矩阵来确定视频块的部分功率值的代码。所述媒体进一步包括当经执行时使得设备基于满功率值和部分功率值使用减小的变换系数矩阵将视频块从像素域变换到系数域的代码。媒体进一步包括当经执行时使得设备编码经变换视频块的代码。
本发明中描述的标的物的另一方面提供一种用于编码视频的设备。所述设备包括用于存储视频块的装置。所述设备进一步包括用于确定视频块的满功率值的装置。所述设备进一步包括用于确定减小的变换系数矩阵的装置，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小。所述设备进一步包括用于使用减小的变换系数矩阵来确定视频块的部分功率值的装置。所述设备进一步包括用于基于满功率值和部分功率值使用减小的变换系数矩阵将视频块从像素域变换到系数域的装置。所述设备进一步包括用于编码经变换视频块的装置。
附图说明
图1是说明可利用根据本发明中所描述的方面的技术的实例视频编码和解码系统的框图。
图2是说明可实施根据本发明中所描述的方面的技术的视频编码器的实例的框图。
图3是说明可实施本发明中所描述的方面的技术的视频解码器的实例的框图。
图4说明可用于将视频块从像素域变换到系数域中的变换系数矩阵的一个实例。
图5A和5B说明可用于将视频块从像素域变换到系数域中的变换系数矩阵的其它实例。
图6说明用于变换处理单元以确定在矩阵乘法期间是否置零变换系数矩阵的系数子集的一个方法的流程图。
图7说明用于变换处理单元以确定在矩阵乘法期间是否置零变换系数矩阵的系数子集的另一方法的流程图。
图式中所说明的各种特征可能未按比例绘制。因此，为了清楚起见，可能任意扩大或减小各种特征的尺寸。另外，图式中的一些图式可能并未描绘给定系统、方法或装置的所有组件。最后，在整个说明书和图式中，可使用相同参考标号来表示相同特征。
具体实施方式
本发明中所描述的技术通常涉及视频编码期间的正变换。在一个实施例中，此些技术涉及高效率视频译码(HEVC)标准和其扩展。
视频译码标准包括ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称为ISO/IECMPEG-4AVC)，包括其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。此外，存在一种新的视频译码标准，高效率视频译码(HEVC)，其由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)进行开发。
如上文所提及，HEVC标准利用大小达32×32的正变换(例如，在HEVC编码器中)和反变换，而AVC标准仅利用达8×8的变换大小。举例来说，为了将视频信息从HEVC中的像素域变换到系数域中，视频像素信息的输入向量可乘以具有32×32(1024)值的变换矩阵。更大的变换大小增加HEVC中的大译码块的译码效率；但是，相较于更小的变换大小，其也增大复杂度、计算周期和处理时间。本发明中所描述的方法可通过简化正变换矩阵减小当编码器从像素域变换到系数域中时执行此些大矩阵乘法所需要的增加的复杂度和周期。
在一些实施中，在矩阵乘法期间置零变换系数的子集、区或区域可简化正变换，因为乘以零所需要的计算资源小于乘以非零的计算资源。此外，置零视频编码期间所使用的正变换中的随机零可导致最终视频质量的降低。为了防止或降低此类质量降级，本发明中所描述的方法可首先确定矩阵简化或减小是否为期望的。举例来说，在一个实施例中，方法提供于其中编码器首先计算功率的差并且将所述差与阈值相比较以确定系数置零的数目和位置，如下文结合图6至7进一步描述。通过以此有条理的方式来置零系数，此类方法可允许视频编码器的变换处理单元节省计算资源同时还保留视频质量。
在使用基于块的处理(例如，HEVC，其中视频帧可分割成视频块或译码单元)的视频编解码器中，可从原始像素减去预测块或预测单元(例如，从帧间预测或帧内预测)。如上文和下文关于图1至3进一步解释，残余数据可随后使用正变换(例如，离散余弦变换)变换成残余变换系数，经量化并且经熵编码(例如，以实现进一步压缩)。可使用下文进一步描述的各种熵译码引擎(例如，CAVLC、CABAC等)来执行熵编码。然后，且如下文还进一步描述，解码器可随后对系数进行熵解码、解量化及反变换。最终，系数可加回到预测块以形成经重建像素。
在视频译码的一个实施例中，可首先使用经重建的在时间上及/或空间上相邻的块中的像素来预测图像块。可随后对预测误差(有时被称作“残差”或“残余”)进行变换及量化。举例来说，如果S为大小N×N的残余块，那么可如下使用矩阵乘法导出经变换块K：
K＝A*S*B
其中K、A和B也具有大小N×N。A为垂直变换矩阵，且B为水平变换矩阵。在一些实施例中，A和B为彼此的转置(例如，B＝A'其中“'”意味着转置)。在其它实施例中，A及B不为彼此的转置。当A与B为彼此的转置时，先前等式变为：
K＝A*S*A'
每一变换(A和B)可包含多种变换中的任一者。在一些实施例中，变换包含离散余弦变换(DCT)、离散正弦变换(DST)、哈达玛(Hadamard)变换、哈尔(Haar)变换等中的一者。
在SVC扩展中，可存在多个视频信息层。底层可充当基础层(BL)，且顶层可充当增强型层(EL)或“增强层”。顶层与底层之间的所有层可充当EL或BL中的一者或两者。SVC可用于提供质量可扩展性(或信噪比，SNR)、空间可扩展性和/或时间可扩展性。增强型层可具有与基础层不同的空间分辨率。可使用针对SVC提供的不同层来执行当前块的预测。此预测可称作层间预测。在SVC中可利用层间预测方法以便减少层间冗余。层间预测的一些实例可包含层间帧内预测、层间运动预测和层间残余预测。层间帧内预测使用基础层中的协同定位块的重建来预测增强层中的当前块。层间运动预测使用基础层的运动来预测增强层中的运动。层间残余预测使用基础层的残差来预测增强层的残差。被称作“帧内BL模式”的用于增强层的一个特定译码模式包含可使用基础层中的对应(有时被称作“协同定位”，例如，定位于相同空间位置处)块的织构来预测织构。
在层间残余预测中，基础层的残差可用于预测增强层中的当前块。可将所述残差定义为对视频单元与源视频单元之间的时间预测的差。在残余预测中，还在预测当前块中考虑基础层的残差。举例来说，可使用从增强层的残差、从增强层的时间预测及从基础层的残差来重建当前块。可根据以下等式重建当前块：
I ^ e = r e + P e + r b
其中表示当前块的重建，re表示来自增强层的残差，Pe表示来自增强层的时间预测，且rb表示来自基础层的残差预测。
对于使用差域的帧间译码，基于增强层参考图片中的对应经预测块样本与经缩放基础层参考图片中的对应经预测块样本之间的差值来确定当前经预测块。所述差值可被称为差预测块。将协同定位的基础层经重建样本添加到差预测块以便获得增强层预测样本。
本发明中描述的技术可解决与HEVC中的正变换的矩阵乘法期间的复杂计算要求相关的问题。技术可改善编码器和/或变换处理单元可执行正变换矩阵乘法的速度、效率和功效。
下文参看附图更充分地描述新颖系统、设备和方法的各种方面。然而，本发明可以许多不同形式来体现，且不应将其解释为限于贯穿本发明所呈现的任何特定结构或功能。实际上，提供这些方面以使得本发明将为透彻且完整的，并且将向所属领域的技术人员充分传达本发明的范围。基于本文中的教示，所属领域的技术人员应了解，本发明的范围既定涵盖无论是独立于本发明的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备及方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。此外，本发明的范围既定涵盖使用作为本文中所阐述的本发明的各种方面的补充或替代的其它结构、功能性或结构与功能性来实践的此设备或方法。应理解，可通过权利要求书的一或多个要素来体现本文中所揭示的任何方面。
尽管本文中描述了特定方面，但这些方面的许多变化和排列属于本发明的范围内。虽然提及了优选方面的一些好处及优点，但本发明的范围不欲限于特定好处、用途或目标。相反地，本发明的方面希望广泛地适用于不同无线技术、系统配置、网络及发射协议，其中的一些是作为实例而在图中及在优选方面的以下描述中加以说明。具体实施方式和图式仅说明本发明，而不是限制由所附权利要求书和其等效物定义的本发明的范围。
图1是说明可利用根据本发明中描述的方面的技术的实例视频编码和解码系统的框图。如图1中所展示，视频编码和解码系统10包含源装置12，所述源装置12提供稍后由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括各种各样装置中的任一者，包含桌上型计算机、笔记本型(例如，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如，智能电话)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式装置等。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
如上文所提及，目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体(未描画)以使得源装置12能够及时将经编码视频数据直接发射到目的地装置14。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体还可形成分组网络(例如，局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包括路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
在一些实例中，经编码数据可从输出接口22输出到存储装置(未描画)。类似地，可通过输入接口28从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或另一可存储由源装置12产生的经编码视频的中间存储装置。目的地装置14可经由流式或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接式存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。数据连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线通道(例如，Wi-Fi连接)，有线连接(例如，DSL、电缆调制解调器等)或两者的组合。来自存储装置的经编码视频数据的发射可以是流式传输、下载发射或其组合。
本发明的技术未必限于无线应用或环境。所述技术可以应用于支持多种多媒体应用中的任一者的视频译码，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，动态自适应HTTP流式传输(DASH))、经编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，所述系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本发明，源装置12的视频编码器20可经配置以应用用于对包含符合多个标准或标准扩展的视频数据的位流进行译码的技术。在其它实例中，源装置12和目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置界接，而不是集成显示装置32。
尽管本发明的技术通常通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外，本发明的技术还可由视频预处理器来执行。源装置12及目的地装置14仅为此类译码装置的实例，其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中，源装置12及目的地装置14可以大致上对称的方式操作使得他们各自包含视频编码和解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频发射，例如，针对视频流式传输、视讯回放、视频广播、视频电话等。
源装置12的视频源18可包含视频捕获装置(未描画)，例如，摄像机、含有先前所捕获的视频的视频存档、从视频内容提供者接收视频的视频馈入接口等。作为另一替代方案，视频源18可产生基于计算机图形的数据，或实况视频、所存档视频和计算机产生的视频的组合。在一些情况下，如果视频源18是摄像机，那么源装置12和目的地装置14可为相机电话或视频电话。在另一实施例中，本发明中描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一种情况下，可由视频编码器20编码所捕获、经预先捕获或计算机产生的视频。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据及例如经由网络发射、直接有线通信等将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如光盘冲压设施)的计算器件可以从源器件12接收经编码视频数据并且生产含有经编码视频数据的光盘。因此，计算机可读媒体16可包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28可从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视讯编码器20定义的语法信息。语法信息还可由视频解码器30使用，所述语法信息可包含描述块及其它经译码单元的特性和/或处理的语法元素。显示装置32可将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视讯编码器20及视频解码器30可根据视频译码标准来操作，例如，高效率视频译码(HEVC)标准或其变体中的任一者(例如，HEVC测试模型(HM))。或者，视讯编码器20及视频解码器30可根据其它所有权或行业标准来操作，例如，ITU-TH.264标准(MPEG-4)第10部分高级视频译码(AVC)、ITU-T H.263、ITU-T H.262(ISO/IEC MPEG-2Visual)、ISO/IEC MPEG-1Visual、ITU-T H.261或任何此些标准的扩展。在一些方面中，视频编码器20和视频解码器30可与音频编码器、音频解码器、多路复用器-多路分用器单元(未描画)或其它硬件和软件集成，以处置共同数据流或单独数据流中的音频和视频两者的编码。
视频编码器20和视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。如果必须要执行本发明的技术，视讯编码器20和/或视频解码器30可存储用于合适的非暂时性计算机可读媒体中的软件的指令并且使用一或多个处理器执行硬件中的指令。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如，手机。
HEVC标准指定视频帧或图片可划分成树块序列或包含明度样本及色度样本两者的最大译码单元(LCU)。位流内的语法数据可定义LCU(就像素数目来说，其为最大译码单元)的大小。切片包含按译码次序的许多连续树块。视频帧或图片可被分割成一或多个切片。每一树块可根据四分树而分裂成多个译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中根节点对应于所述树块。如果CU分割成四个子CU，那么对应于CU的节点包含四个叶节点，所述叶节点中的每一者对应于所述子CU中的一者。
四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包括分裂旗标，指示对应于所述节点的CU是否分裂成子CU。用于CU的语法元素可以递归式定义，且可取决于CU是否分裂成子CU。如果CU不进一步分裂，那么将其称作叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16×16大小的CU不进一步分裂，那么四个8×8子CU也将被称作叶CU，虽然16×16CU从未分裂。
CU具有类似于H.264标准的宏块的目的，但是CU并不具有大小区别。举例来说，树块可以分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可以分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可定义树块可以分裂的最大次数(被称作最大CU深度)，并且还可定义译码节点的最小大小。因此，位流还可定义最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块及子块)。
CU包含译码节点及与所述译码节点相关联的预测单元(PU)及变换单元(TU)。CU的大小对应于译码节点的大小且形状必须是正方形。CU的大小可在8×8像素达具有最大值64×64像素或在一些情况下更大树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有区别。PU可分割为非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU可为正方形或非正方形(例如，矩形)形状。
HEVC标准允许根据TU变换，TU可针对不同CU而有所不同。TU通常是基于针对经分割LCU定义的给定CU内的PU的大小而定大小，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构而细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于对应CU的全部或一部分的空间区域，且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残余四叉树(RQT)中，残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义用于PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，及/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单位(TU)。变换单元可使用RQT(也称为TU四叉树结构)来指定，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可以进一步分裂成其它子TU。当TU不进一步分裂时，其可被称为叶TU。一般来说，对于帧内译码，所有属于叶CU的叶TU共享相同的帧内预测模式。即，通常应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可比PU大或小。对于帧内译码，PU可以与相同CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应叶CU的大小。
此外，叶CU的TU还可与相应四叉树数据结构(被称作残余四叉树(RQT))相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU，而CU四叉树的根节点通常对应于树块(或LCU)。RQT的未分裂的TU被称作叶TU。一般来说，本发明分别使用术语CU和TU指代叶CU和叶TU，除非以其它方式指出。
视频序列通常包含一系列视频帧或图片。图片群组(GOP)通常包括一系列的视频图片中的一或多者。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。图1的视频编码器20可对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可具有固定或变化的大小，且可根据指定译码标准而大小不同。
HEVC支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HEVC支持2N×2N或N×N的PU大小的帧内预测，及2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HEVC还支持用于2N×nU、2N×nD、nL×2N及nR×2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而将另一方向分割成25％和75％。CU的对应于25％分区的部分由“n”跟随有“上方”、“下方”、“左侧”或“右侧”的指示来指示。因此，例如，“2N×nU”指代经水平分割的2N×2N CU，其中顶部为2N×0.5N PU，而底部为2N×1.5N PU。
在本发明中，“N×N”与“N乘N”可互换地使用以指就垂直维度和水平维度来说的视频块的像素尺寸，例如，16×16像素或16乘16像素。一般来说，16×16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，N×N块一般来说在垂直方向上可具有N个像素，且在水平方向上可具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块可能不一定在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括N×M个像素，其中M未必等于N。
在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残余视频数据应用了变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)的变换域中的系数。残余数据可对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成包含用于CU的残余数据的TU，且接着变换所述TU以产生用于CU的变换系数。
在任何用于产生变换系数的变换之后，视频编码器20可执行变换系数的量化。量化为既定具有其最广泛一般含义的广义术语。在一个实施例中，量化是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减小与系数中的一些或全部相关联的位深度。例如，n位值可在量化期间被下舍入到m位值，其中n大于m。
在量化之后，视频编码器可以扫描变换系数，从包括经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列正面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20可利用预定义扫描次序来扫描经量化的变换系数以产生可经熵编码的串行化向量。在其它实例中，视频编码器20可执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视讯编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对一维向量进行熵编码。视频编码器20还可以对与经编码视频数据相关联的语法元素进行熵编码以供视频解码器30在解码视频数据时使用。
视频编码器20可进一步(例如)在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据及基于GOP的语法数据等语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的多个帧，及帧语法数据可指示用以编码对应帧的编码/预测模式。
图2是说明可实施根据本发明中描述的方面的技术的视频编码器的实例的框图。视频编码器20的单元中的一或多者可经配置以执行本发明的技术中的任一者或全部。作为一个实例，变换处理单元52可经配置以执行本发明中描述的变换技术中的任一者或全部。然而，本发明的方面不限于此。在一些实例中，本发明中所描述的技术可在视频编码器20的各种组件间共享。在一些实例中，处理器(未展示)可经配置以执行本发明中描述的技术中的任一者或全部。视频编码器20可对视频切片内的视频块执行帧内译码及帧间译码。帧内译码依靠空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可以指若干基于时间的译码模式中的任一者。
视频编码器20可接收待编码视频帧内的当前视频块。在图2的实例中，视频编码器20包含模式选择单元40、参考帧存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40包含运动估计单元42、运动补偿单元44、帧内预测单元46和分割单元48。为进行视频块重建，视频编码器20还可包含反量化单元58、反变换单元60和求和器62。还可包含解块过滤器(未绘制)以将块边界过滤，以从经重建视频移除成块性假影。必要时，所述解块滤波器通常将对求和器62的输出进行过滤。除了解块过滤器之外，还可使用额外过滤器(环路内或环路后)。为简洁起见未展示此些过滤器，但是必要时，此些过滤器可对求和器50的输出进行过滤(作为环路内过滤器)。
在编码过程期间，视讯编码器20可接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测单元46可替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所接收视频块的帧内预测性译码以提供空间预测。视频编码器20可执行多个译码遍次(例如)以针对每一视频数据块选择一种适当的译码模式。
此外，分割单元48可基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48最初可将帧或切片分割成LCU，并且基于速率失真分析(例如，速率失真优化)将LCU中的每一者分割成子CU。模式选择单元40可进一步产生指示LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。
模式选择单元40可(例如)基于误差结果选择译码模式(帧内或帧间)中的一者，且将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建用作参考帧的经编码块。模式选择单元40还可将语法元素(例如运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵译码单元56。
运动估计单元42和运动补偿单元44可高度集成，但出于概念目的单独地加以说明。由运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测块相对于当前帧(或其它经译码单元)内正经译码的当前块的位移。预测块是经发现在像素差方面与待译码块紧密匹配的块，其可通过绝对差总和(SAD)、平方差总和(SSD)或其它差量度来确定。在一些实例中，视频编码器20可计算存储在参考帧存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，所述参考图片列表中的每一者识别存储在参考帧存储器64中的一或多个参考图片。运动估计单元42将计算出来的运动向量发送到熵编码单元56和运动补偿单元44。
运动补偿单元44执行的运动补偿可包括基于由运动估计单元42确定的运动向量来取出或产生预测性块。又，在一些实例中，运动估计单元42和运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50可通过从经译码的当前视频块的像素值减去预测块的像素值从而形成像素差值来形成残余视频块，如下文所论述。运动估计单元42可相对于明度分量执行运动估计，且运动补偿单元44可针对色度分量和明度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素供视频解码器30在解码视频切片的视频块时使用。语法元素可表示处于视频序列层级、视频帧层级、视频切片层级、视频CU层级或视频PU层级中的一或多者的预测信息。举例来说，运动补偿单元44可产生指示包含CU、PU及TU的大小的视频块信息及用于帧内模式预测的运动向量信息的语法元素。
如上文所描述，作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测或计算。明确地说，帧内预测单元46可确定用来编码当前块的帧内预测模式。在一些实例中，帧内预测单元46可(例如)在单独的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测单元46(或在一些实例中为模式选择单元40)可从测试模式中选择适当的帧内预测模式来使用。
举例来说，帧内预测单元46可使用速率失真分析计算针对各种受测帧内预测模式的速率失真值，并且从所述受测模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定经编码块与经编码以产生所述经编码块的原始未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(即，位数目)。帧内预测单元46可从用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
在选择用于块的帧内预测模式之后，帧内预测单元46可将指示用于所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20在发射的位流中可包含配置数据，所述配置数据可包含多个帧内预测模式索引表及多个经修改的帧内预测模式索引表(还称为码字映射表)，对用于各种块的编码上下文的定义，及对将用于所述上下文中的每一者中的最可能帧内预测模式、帧内预测模式索引表及经修改的帧内预测模式索引表的指示。
视频编码器20通过从经译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50可执行此减法运算。变换处理单元52可将变换(例如离散余弦变换(DCT)或概念上类似的变换)应用于残余块，从而产生包含残余变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。也可使用小波变换、整数变换、子带变换或其它类型的变换。变换处理单元52可随后将变换应用于残余块，从而产生残余变换系数的块。变换处理单元52可使用变换将残余信息从像素值域转换到变换域，例如频域。更确切地说，在应用变换之前，TU可包括像素域中的残余视频数据，且在应用变换之后，TU可包括变换系数，所述变换系数可含有于表示频域中的残余视频数据的变换系数矩阵中。
常规地，视频编码器20针对由经实施视频压缩标准支持的不同TU大小中的每一者保持单独上下文模型。对于HEVC标准，额外变换单元大小(例如，32×32至128×128)可用于改善视频译码效率，但是额外TU大小还导致增大的存储器及用以针对额外变换单元大小中的每一者保持上下文模型的计算要求。在一些情况下，较大TU大小可使用更多上下文，所述上下文可导致增大的存储器及保持用于较大TU大小的上下文的增加的数目的计算要求。为了减小此问题的影响，变换处理单元52可进一步经配置以执行上文和下文关于在矩阵乘法期间简化正变换(例如，下文及关于图4至7所描述的系数置零方法)所描述的方法中的任一者。
在一个实施例中，置零变换系数的过程包含将变换系数矩阵内的变换系数子集的值设定为等于零。在一个实施例中，不计算或舍弃置零的变换系数；实际上，置零变换系数仅被设定成等于零并且不具有用以存储或编码的值。在一个实施例中，存储预定的变换系数矩阵(例如，32×32矩阵)；但是，仅较小的此类系数子集(例如，8×8、16×16等)用于(例如，加载到存储器中)执行正变换。在另一实施例中，所有系数最初被加载到存储器中，但此类系数的某些者随后被设定成零。在又一实施例中，不修改预定变换系数矩阵，但经配置以使用矩阵来执行矩阵乘法的处理器进一步经配置以取决于系数矩阵内的系数的位置而在某些乘法运算期间或由于某些乘法运算而使用零值。所有此类实施可被称作使用置零变换系数，或置零矩阵，或归零，或置零变换系数。
根据本发明，置零变换系数通常为关于变换系数矩阵中所保留的更低频率变换系数的更高频率变换系数。高频变换系数表示一般对应于待编码视频块与预测块之间的极小像素差的残余视频数据。高频变换系数因此可含有将值设定为等于零对经解码视频质量具有可忽略的效果的极少残余视频数据。
作为一实例，变换处理单元52可置零变换系数矩阵中的变换系数的四分之三(“外部区域”)。视频编码器20可随后仅需要在矩阵乘法期间缓冲变换系数的所保留的四分之一(“内部区域”)。以此方式，变换处理单元52可产生具有变换系数矩阵内的具有大小16×16的有效系数的置零矩阵，最初为大小32×32。此过程在图4至7中经进一步描述及表明。
在上文所描述的实例中，变换处理单元52经配置以加载预定的变换系数值矩阵，所述矩阵为预定大小(例如，32×32)，且接着置零彼等系数中的一些(“内部区域”，例如16×16左上部分)以产生置零矩阵，例如32×32变换系数矩阵的原始大小的四分之一。在其它情况下，变换处理单元52可经配置以通过取决于用于译码过程的译码复杂度要求而置零更大或更小的系数百分比而产生具有不同“内部区域”大小的置零矩阵。此外，在一些情况下，变换处理单元52可经配置以产生具有矩形区域或任何其它形状的区域的“内部区域”。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可随后量化变换系数以进一步减小位速率。量化过程可减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可随后执行对包含经量化变换系数的矩阵的扫描。替代地，熵编码单元56可执行所述扫描。
在量化之后，熵编码单元56可对经量化变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码技术。在基于上下文的熵编码的情况下，上下文可基于相邻块。在由熵编码模块56进行的熵编码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或将经编码位流存档以供稍后发射或检索。
反量化单元58和反变换单元60可分别应用反量化和反变换以在像素域中重建残余块，例如以供稍后用作参考块。运动补偿单元44可通过将残余块添加到参考帧存储器64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插过滤器应用于经重建残余块以计算子整数像素值用于运动估计。求和器62可将经重建残余块添加到由运动补偿单元44产生的运动补偿预测块以产生经重建视频块用于存储在参考帧存储器64中。经重建视频块可随后由运动估计单元42和运动补偿单元44用作参考块以对后续视频帧中的块进行帧间译码。
图3是说明可实施本发明中所描述的方面的技术的视频解码器的实例的框图。本发明中描述的技术可利用视频解码器30的各种组件。在一些实例中，处理器(未展示)可经配置以执行所述技术中的任一者或全部。
在图3的实例中，视频解码器30包含熵解码单元70，所述熵解码单元进一步包含运动补偿单元72和帧内预测单元74的预测单元81、反量化单元76、反变换单元78、参考帧存储器82和求和器80。视频解码器30可执行通常与关于视频编码器20(例如，见图1和2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量而产生预测数据，而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符而产生预测数据。
常规地，视频解码器30将针对由经实施视频压缩标准支持的不同TU大小中的每一者保持单独上下文模型。对于HEVC标准，额外变换单元大小(例如，32×32至128×128)可用于改善视频译码效率，但是额外TU大小还导致增大的存储器及用以针对额外变换单元大小中的每一者保持上下文模型的计算要求。
为了减小用于较大TU大小的中间缓冲要求，本发明中描述的技术可包含置零在具有来自图2的视频编码器20的变换系数矩阵包含的高频变换系数子集。变换系数矩阵内的经置零变换系数可仅设定成等于零。因此，熵解码单元70可接收表示与最初具有第一大小的变换系数矩阵内的具有第二大小的经保留系数块相关联的经编码系数的经编码位流。熵解码单元70可将系数解码于具有第一大小的变换系数矩阵内的经保留系数块中。变换系数矩阵可随后包含第二大小的经保留系数块内的系数，和表示变换系数矩阵内的剩余系数的零。
以此方式，置零视频编码器20中的变换系数的过程还可减少当执行视频解码器30中的反变换时用于较大TU大小的中间缓冲要求。作为一实例，反变换单元78可将第一方向上的一维反变换(例如，以行为主)应用到具有大小32×32的变换系数矩阵内的具有大小16×16的经保留系数块中的变换系数。在行反变换之后，视频解码器30可仅需要缓冲从经保留系数块内的系数变换的中间残余数据，所述经保留系数块仅包括变换系数矩阵的二分之一，例如，32×16系数。反变换单元78可随后将第二方向上的一维反变换(例如，以列为主)应用到TU中的中间残余数据。以此方式，反变换单元78可通过包含具有大小16×16的经保留系数块中的残余数据并加上零以表示TU中的剩余残余数据来产生最初大小32×32的变换系数矩阵。
在解码过程期间，视频解码器30可从视频编码器20接收表示经解码视频切片的视频块及相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码，以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70可随后将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可接收视频切片层级及/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，帧内预测单元74可基于所传信帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72可基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可使用基于存储于参考图片帧存储器82中的参考图片的默认建构技术来建构参考帧列表，列表0及列表1。运动补偿单元72可通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且可使用所述预测信息产生用于经解码当前视频块的预测性块。举例来说，运动补偿单元72可使用所接收语法元素中的一些确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元72还可基于内插过滤器执行内插。运动补偿单元72可使用如由视频编码器20在视频块的编码期间使用的内插过滤器来计算参考块的子整数像素的经内插值。在此情况下，运动补偿单元72可所接收语法元素确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测性块。
反量化单元76可将在位流中提供且由熵解码单元70解码的经量化变换系数反量化，例如，解量化。反量化过程可包含使用视频解码器30针对视频切片中的每一视频块计算以确定应应用的量化程度和同样反量化程度的量化参数QPY。
反变换单元78可对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残余块。在运动补偿单元72基于运动向量和其它语法元素产生了当前视频块的预测性块之后，视频解码器30可通过将来自反变换单元78的残余块与由运动补偿单元72产生的对应的预测性块求和来形成经解码视频块。求和器80可执行此求和运算。还可应用解块过滤器以对经解码块进行过滤以便去除成块性假影。其它环路过滤器(在译码环路中或在译码环路之后)也可用于使像素转变变平滑或者以其它方式改善视频质量。给定帧或图片中的经解码视频块可随后存储于参考图片(帧)存储器82中，所述参考图片存储器82可存储参考图片以用于后续运动补偿。参考帧存储器82还可存储经解码视频以用于稍后在显示装置上呈现，例如，图1的显示装置32。
图4说明可用于将视频块从像素域变换到系数域中的变换系数矩阵400(或“系数矩阵”或“矩阵”)的一个实例。变换系数矩阵400含有一系列行(例如，32行)和一系列列(例如，32列)以形成特定矩阵大小(例如，32×32)。变换系数矩阵400中所描绘的每一方块405含有个别变换系数值(未展示)，每一值为具有数值范围的整数。为方便起见，仅标记一个方块405。在所说明的实例中，变换系数矩阵400包含1,024个个别变换系数值(例如，32×32)。总变换系数矩阵400大小一起包含内部区域410和外部区域420。在此实例中，内部区域410可被定义为变换系数矩阵400的左上部分(例如，其整体的四分之一)，表示为M×L区域。
在一个实施例中，变换处理单元(例如，来自图2的变换处理单元52)可经配置以处理内部区域410从而确定是否置零外部区域420，如关于图6至7进一步描述。为了实现此，变换处理单元52可通过数学操控所计算的内部区域410的功率和像素域功率计算而确定外部区域420的功率与变换系数矩阵400的总功率之间的差。
如上文所论述，可基于使用本发明和下文关于图6和7进一步描述的的方法所作的确定来置零位于内部区域410外的系数(例如，外部区域420中的系数)。相反，位于内部区域410内的系数可保持未置零。变换系数矩阵400的左上中的阴影正方形边界可表示变换系数矩阵400中的置零与未置零系数之间的边界。可基于所述译码过程的译码复杂度要求来选择内部区域410的大小(例如，M×L)和形状(例如，正方形)。内部区域410可为正方形、矩形、弧形、三角形或任何其它形状。
在此实例中，变换处理单元52可经配置以产生具有变换系数矩阵420内的M×L大小(例如，在此情形下为16×16)的内部区域410，最初为大小32×32。变换系数矩阵400可具有小于或或大于32×32的大小(例如，16×16或64×64)。当已经定义内部区域410时，变换处理单元52可将超出内部区域410的变换系数矩阵400内的所有系数(例如，外部区域420中的系数的所有)置零。经置零子集(例如，变换系数矩阵400中的无阴影块)可包含具有比变换系数矩阵400的内部区域410内的系数更高的频率值的系数。相反，位于内部区域410内的系数可包含具有更低空间频率的系数。
通过将变换系数的四分之三置零，变换处理单元52可明显减小并简化在矩阵乘法期间仅计算内部区域410内的内部M×L系数而执行的计算，如上文所论述。举例来说，当内部区域410被定义为来自32×32变换系数矩阵的16×16时，那么通过将内部区域410外的系数的所有置零，变换处理单元52可将其计算减小对应百分比(例如，在此实例中达62.5％)。以此方式，这些技术可减少计算资源要求且增大视频编码器20的译码效率。因为乘以零所需要的计算资源比乘以非零所需要的资源更少，这些技术可尤其可用于更大变换单元大小(例如，在HEVC标准内，其可通常使用32×32变换系数来执行其矩阵乘法)。
在一些实施中，可在所有情况下置零(例如，“盲目地”)外部区域420中的系数。但是，盲目地置零系数可导致变换处理单元52的性能损耗较高。因此，在其它实施中，外部区域420中的系数可适应性地置零，例如，在变换处理单元52和/或视频编码器20的其它组件已经遵循预定方法之后。这些方法在下文关于图6和7进行描述。
图5A和5B分别说明可用于将视频块从像素域变换到系数域中的变换系数矩阵500A和500B的其它实例。类似于关于图4所描述的变换系数矩阵400的功能，变换系数矩阵500A和500B可经处理以确定外部区域的功率与总功率(或内部区域)之间的差从而确定是否将其相应外部区域中的系数置零。
与图4中所描述的实例相反，变换系数矩阵500A或500B可划分成对应的部分。在此实例中，变换系数矩阵500A(例如，32×32矩阵)可划分成十六等份(例如，每一者大小8×8)，并且变换系数矩阵500B(例如，另一32×32矩阵)可划分成四等份(例如，每一者大小16×16)。在一些实施中，所述部分可不具有相等大小。在变换系数矩阵500A或500B已经被划分成部分之后，内部区域可被定义为每一部分(例如，所述部分的总大小的25％)的左上阴影部分的总和。变换系数矩阵500A和500B的左上阴影部分(例如，构成相应内部区域的总和)被标记为510A_A到510A_P和510B_A到510B_D。为方便起见，仅描绘变换系数矩阵500A的左上阴影部分的标记中的一些。在一个实施中，如果AxA表示变换系数矩阵500A或500B的部分中的每一者的大小，那么那些部分中的每一者的左上阴影部分可表示为大小。在变换系数矩阵500A的情况下，所述部分可表示为520A_A到520A_P(为方便起见，不是所有部分已经被标记)，并且如上文所描述，其对应左上部分可表示为阴影区域510A_A到510A_P(又，并非所有区域已经被标记)。因此，变换系数矩阵500A的内部区域可表示为阴影区域510A_A到510A_P的总和(下文称为“内部区域A”)。类似地，在变换系数矩阵500B的情况下，所述部分可表示为520B_A到520B_D，并且其对应左上部分可表示为阴影区域520B_A到520A_D。因此，变换系数矩阵500B的内部区域可表示为阴影区域510B_A到510B_D的总和(下文称为“内部区域B”)。
如上文关于图4所解释，可基于用于译码过程的译码复杂度要求来选择内部区域A或B的大小和形状。在一个实施例中，选择较小设定大小的内部区域可减少计算要求(例如，加速计算)并且降低整体性能(例如，更低最终图片质量)。在另一实施例中，选择较大设定大小的内部区域可增加计算要求(例如，减慢计算)并且增加整体性能(例如，提高最终图片质量)。经描绘于变换系数矩阵500A或500B内部的每一方块可表示变换矩阵中的对应变换系数。可基于使用本发明和如下文关于图6和7进一步所描述的方法所作出的确定将位于内部区域A或B外的系数置零。相反，位于内部区域A或B内的系数可保持未置零。变换系数矩阵500A或500B的部分中的每一者的左上中的阴影正方形边界可表示矩阵中的置零与未置零系数之间的边界。在其它实施例中，个别内部区域区域(例如，变换系数矩阵500A的510A_A到510A_P)可为正方形、矩形、弧形、三角形或任何其它形状。
在此实例中，变换处理单元(例如，来自图2的变换处理单元52)可经配置以计算分别与变换系数矩阵500A或500B内的内部区域A或B内的系数相关联的功率。变换系数矩阵500A或500B可具有小于或大于32×32的大小(例如，16×16或64×64)。在此实例中，内部区域A包含十六个4×4块，如果将这些块布置与彼此相邻将形成16×16块。类似地，内部区域B由四个8×8块组成，如果将这些块布置与彼此相邻将形成16×16块。当内部区域A或B已经定义时，变换处理单元52可将超出内部区域A或B的变换系数矩阵500A或500B内的所有系数置零。置零子集(例如，变换系数矩阵500A或500B中的无阴影块)可包含具有比变换系数矩阵500A或500B的内部区域A或B内的系数高的频率值的系数。相反，位于内部区域A或B内的系数可包含具有更低空间频率的系数。
如图4中所展示，通过将系数矩阵520的变换系数的四分之三置零，变换处理单元52可明显减小其在矩阵乘法期间仅计算内部区域A或B内的内部M×L系数的计算。举例来说，当内部区域A或B如图5A和5B中所说明而定义时，变换处理单元52可将其计算减小对应百分比(例如，在这些实例中达62.5％)。以此方式，这些技术可减少计算资源要求并且增大视频编码器20的译码效率。此可尤其可用于较大变换单元大小，例如，32×32到128×128(例如，在HEVC标准内)。
在一些实施中，可在所有情况下置零(例如，“盲目地”)内部区域A或B外的系数。但是，盲目地置零系数可导致变换处理单元52的高的性能损耗。因此，在其它实施中，内部区域A或B外的系数可适应性地置零，例如，在变换处理单元52和/或视频编码器20的其它组件已经遵循预定方法之后。这些方法在下文关于图6和7进行描述。
图6说明用于变换处理单元(例如，图2的变换处理单元52)确定是否在矩阵乘法期间置零变换系数矩阵的系数子集的一个方法的流程图600，如关于图4所解释。此方法可被称为“模式决定过程”。如上文所描述，盲目地置零系数可导致变换处理单元52的高的性能损耗。此流程图(与图7中所说明的流程图)表示两个方法，其中变换处理单元52和/或视频编码器20可基于功率相较于阈值的差而适应性地将系数置零。
在框605处，变换处理单元52以残余像素域矩阵和定期期汇变换矩阵开始所述方法。在一个实施中，正变换矩阵可为用于HEVC的32×32正变换矩阵。变换处理单元52可使用定期期汇变换矩阵将残余像素域矩阵变换成系数域矩阵。变换处理单元52可经由使用如上文关于图4所描述的正变换的经简化置零版本而变换仅通过计算系数域中的矩阵功率的一部分而降低其计算要求。因为系数域中的总功率等于像素域中的总功率(等式(1))，此是可能的。
作为一实例，从像素域中的总功率(PI)减去系数功域中的内部区域(例如，关于图4所描述的内部区域)的功率(PP)可产生可经解释为系数域中的内部区域外的功率(PO)的值(等式(2))。将此值加至PI可产生系数域中的总功率(PC)(等式(3))。在一个实例中，可根据下文的等式(4)和(5)而分别计算PP和PI。应理解，等式(2)至(5)各自仅表示计算其相应变量的一个实例。还可以任何数目个其它方式来计算PC、PO、PP和PI，所述方式可包含以不同方式操控变量中的任一者或全部。此外上述功率计算的所有可基于平方差总和(SSE)或绝对差总和(SAD)。
PC＝PP(1)
PP-PI＝PO(2)
PO+PI＝PC(3)
其中xi是像素i的明度值(4)
其中Xi包含内部区域M×N中的经变换系数(在此实例中为16×16内部区域)(5)
作为应用上述过程的一个实例，随后在框610处，变换处理单元52可计算像素域中的整个变换块的功率(例如，像素域中的总功率PP)。随后在框615处，使用变换矩阵系数的子集(例如，如关于图4至5所描述的内部区域)，变换处理单元52可计算系数域中的内部区域的功率(例如，PI)。在一个实施中，变换矩阵系数的子集可为如上文关于图4至5所描述的内部区域，其中可置零位于内部区域外的系数。在另一个实施中，变换处理单元52可加载来自存储器的一些系数，包含零阵列，且接着在仅处理M×N行-列的系数子集时执行矩阵乘法。在任何情况下，随后在框619处，使用PI变换处理单元52可估计系数域中的外部区域的功率(例如，如上文和关于图4至5所描述的外部区域的功率PO)(例如，从PP减去PI)。上述过程仅为一个实例；在一些实施中，变换处理单元52可以其它方式或次序来执行上述步骤或计算。
在一个实例中，已经确定外部区域的功率，随后在框620处，变换处理单元52可确定外部区域的功率是否小于乘以一些经估计功率的预定阈值(例如，PO<Thresh*PP、PI>Thresh*PP、PI>Thresh*PO或任何其它等效数学比较)。如果是这样，那么在框625处，变换处理单元52可使用减小的(例如，置零)变换矩阵来执行上文和关于图4所描述的变换。如果不是，那么在框630处，变换处理单元52可使用未减小的(例如，未置零)变换矩阵来执行变换。在任一情况下，变换处理单元52在框690处结束方法。
图7说明用于变换处理单元(例如，图2的变换处理单元52)确定是否在矩阵乘法期间置零变换系数矩阵的系数子集的另一方法的流程图700，如关于图4和/或5所解释。此方法可被称为“模式决定过程”。与图6中所描述的方法相反，在此实例中，如果变换处理单元52确定根据图4中所描述的内部区域的置零方法将导致过度的功率损耗，那么变换处理单元52可又不需要使用未减小的变换矩阵。实际上，变换处理单元52可首先尝试使用不同的内部区域(例如，关于图5所描述的内部区域)以使用更简单的变换(例如，哈达玛变换或更小大小的变换，例如，4×4或8×8变换)从而使得置零方法合格。
其继续随后在框705处，变换处理单元52又以残余像素域矩阵和定期期汇变换矩阵来开始所述方法。在一个实施中，正变换矩阵可为用于HEVC的32×32正变换矩阵。变换处理单元52可经由使用如上文关于图4至6所描述的正变换的经简化置零版本(等式(1)至(3))或经由使用任何其它合适的等式而变换仅通过计算系数域中的矩阵功率的一部分而减少其计算要求。PP和PI的计算可如下文所描述而进一步不同。又，上述功率计算的所有可基于平方差总和(SSE)或绝对差总和(SAD)。
PP和PI的计算可根据所选择内部区域的大小和位置而不同。对于此实例，假设变换处理单元52已经选择使用如图5A中所说明的内部区域。因此，如上文关于图5所解释，变换系数矩阵已经被划分成十六个相等8×8部分，每一者含有左上4×4部分，所述部分的所有共计为变换系数矩阵的总内部部分。给定此情形，PP和PI可分别如等式(6)和(7)中所表示的而计算，但还可以任何数目个其它合适的方式来计算。
其中Xi为像素i的明度值且Xij为ith 8×8区块中的jth系数(6)
其中Xi为像素i的明度值且Xij为ith 8×8区块中的jth系数(7)
随后在框710、715和719处，变换处理单元52可分别计算PP、PI和PO。为了实现此，变换处理单元52可使用上文所描述的等式，或其可使用任何数目个其它合适的计算或数学换算。
在一个实例中，已经确定外部区域的功率，那么在框720处，变换处理单元52可确定外部区域的功率是否小于乘以一些经估计功率的预定阈值(例如，PO<Thresh*PP)。如果是这样，那么在框725处，变换处理单元52可使用减小的(例如，置零)变换矩阵来执行上文和关于图4所描述的变换。
如果不是，并且与图6中所描述的方法相反，那么在框730处，变换处理单元52可确定内部区域是否先前已经改变预定的时间量。如果不是，那么在框740处，变换处理单元52可改变内部区域大小、位置或两者(例如，图5中所说明的内部区域)并且接着返回至框715。但是，如果变换处理单元52已经执行此步骤超过预定的时间量，那么在框730处，变换处理单元52可使用未减小的(例如，未置零)变换矩阵来执行所述变换并且在框790处结束方法。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非循序执行动作或事件。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如，数据存储媒体)，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体通常可对应于(1)有形计算机可读存储媒体，其为非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储器或其它磁性存储装置、快闪存储器或可用于存储指令或数据结构的形式的期望程序代码并且可以通过计算机存取的任何其它媒体。又，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远程源发射指令，那么将同轴电缆、光纤缆线、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
可由一或多个处理器(例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路)来执行所述指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面，本文所述的功能性可在经配置用于编码及解码的专用硬件及/或软件模块内提供，或者并入在组合式编解码器中。又，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在多种多样的装置或设备中实施，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元来实现。实际上，如上文所描述，各种单元可配合合适的软件和/或固件组合在一个编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种视频编码器，其包括：
经配置以存储视频块的存储器；及
与所述存储器通信的处理器，所述处理器经配置以：
确定所述视频块的满功率值；
确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小；
使用所述减小的变换系数矩阵来确定所述视频块的部分功率值；
基于所述满功率值和所述部分功率值使用所述减小的变换系数矩阵将所述视频块从像素域变换到系数域；及
编码所述经变换视频块。
2.根据权利要求1所述的视频编码器，其中所述视频块包括多个明度像素值，且其中所述处理器经配置以通过对所述明度像素值的平方进行求和来确定所述满功率值。
3.根据权利要求1所述的视频编码器，其中所述视频块具有32像素×32像素的大小。
4.根据权利要求1所述的视频编码器，其中所述全变换系数矩阵具有32系数×32系数的大小，且其中所述减小的变换系数矩阵内部区域与所述全变换系数矩阵的左上16×16系数值相同。
5.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以通过将所述全变换系数矩阵存储于所述存储器中且将所述内部区域外的所有系数值转换成零来确定所述减小的变换系数矩阵。
6.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以通过仅存储所述全变换系数矩阵的在所述内部区域内的所述值来确定所述减小的变换系数矩阵。
7.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以通过使用所述减小的变换系数矩阵来变换所述视频块且对所述经变换块内的所述值的平方进行求和而确定所述视频块的所述部分功率。
8.根据权利要求1所述的视频编码器，其中所述处理器进一步经配置以在所述部分功率小于阈值和所述满功率的乘积时使用所述减小的变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
9.根据权利要求8所述的视频编码器，其中所述处理器进一步经配置以在所述部分功率不小于所述乘积时使用所述全变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
10.根据权利要求8所述的视频编码器，其中所述处理器进一步经配置以当所述部分功率不小于所述乘积时改变所述内部区域大小、位置或两者。
11.一种编码视频的方法，所述方法包括：
存储视频块；
确定所述视频块的满功率值；
确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小；
使用所述减小的变换系数矩阵来确定所述视频块的部分功率值；
基于所述满功率值和所述部分功率值使用所述减小的变换系数矩阵将所述视频块从像素域变换到系数域；及
编码所述经变换视频块。
12.根据权利要求11所述的方法，其中所述视频块包括多个明度像素值，且所述方法进一步包括通过对所述明度像素值的平方进行求和来确定所述满功率值。
13.根据权利要求11所述的方法，其中所述视频块具有32像素×32像素的大小。
14.根据权利要求11所述的方法，其中所述全变换系数矩阵具有32系数×32系数的大小，且其中所述减小的变换系数矩阵内部区域与所述全变换系数矩阵的左上16×16系数值相同。
15.根据权利要求11所述的方法，其进一步包括通过存储所述全变换系数矩阵且将所述内部区域外的所有系数值转换成零来确定所述减小的变换系数矩阵。
16.根据权利要求11所述的方法，其进一步包括通过仅存储所述全变换系数矩阵的在所述内部区域内的所述值来确定所述减小的变换系数矩阵。
17.根据权利要求11所述的方法，其进一步包括通过使用所述减小的变换系数矩阵来变换所述视频块且对所述经变换块内的所述值的平方进行求和而确定所述视频块的所述部分功率。
18.根据权利要求11所述的方法，其进一步包括当所述部分功率小于阈值和所述满功率的乘积时使用所述减小的变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
19.根据权利要求18所述的方法，其进一步包括当所述部分功率不小于所述乘积时使用所述全变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
20.根据权利要求18所述的方法，其进一步包括当所述部分功率不小于所述乘积时改变所述内部区域大小、位置或两者。
21.一种包括代码的非暂时性计算机可读媒体，所述代码在经执行时使得设备进行以下操作：
存储视频块；
确定所述视频块的满功率值；
确定减小的变换系数矩阵，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小；
使用所述减小的变换系数矩阵来确定所述视频块的部分功率值；
基于所述满功率值和所述部分功率值使用所述减小的变换系数矩阵将所述视频块从像素域变换到系数域；及
编码所述经变换视频块。
22.根据权利要求21所述的计算机可读媒体，其中所述视频块包括多个明度像素值，
且所述计算机可读媒体进一步包括代码，所述代码在经执行时使得所述设备通过对所述明度像素值的平方进行求和来确定所述满功率值。
23.根据权利要求21所述的计算机可读媒体，其进一步包括代码，所述代码在经执行时使得所述设备通过使用所述减小的变换系数矩阵来变换所述视频块且对所述经变换块内的所述值的平方进行求和而确定所述视频块的所述部分功率。
24.根据权利要求21所述的计算机可读媒体，其进一步包括代码，所述代码在经执行时使得所述设备在所述部分功率小于阈值和所述满功率的乘积时使用所述减小的变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
25.根据权利要求24所述的计算机可读媒体，其进一步包括代码，所述代码在经执行时使得所述设备在所述部分功率不小于所述乘积时使用所述全变换系数矩阵将所述视频块从所述像素域变换到所述系数域。
26.一种用于编码视频的设备，其包括：
用于存储视频块的装置；
用于确定所述视频块的满功率值的装置；
用于确定减小的变换系数矩阵的装置，其中所述减小的变换系数矩阵包括全变换系数矩阵的同一内部区域的零值或非零值的内部区域和零值的外部区域，其中所述减小的变换系数矩阵和所述全变换系数矩阵具有相同大小；
用于使用所述减小的变换系数矩阵来确定所述视频块的部分功率值的装置；
用于基于所述满功率值和所述部分功率值使用所述减小的变换系数矩阵将所述视频块从像素域变换到系数域的装置；及
用于编码所述经变换视频块的装置。
27.根据权利要求31所述的设备，其中所述视频块包括多个明度像素值，且所述设备进一步包括用于通过对所述明度像素值的平方进行求和来确定所述满功率值的装置。
28.根据权利要求31所述的设备，其进一步包括用于通过使用所述减小的变换系数矩阵来变换所述视频块且对所述经变换块内的所述值的平方进行求和而确定所述视频块的所述部分功率的装置。
29.根据权利要求31所述的设备，其进一步包括用于当所述部分功率小于阈值和所述满功率的乘积时使用所述减小的变换系数矩阵将所述视频块从所述像素域变换到所述系数域的装置。
30.根据权利要求29所述的设备，其进一步包括用于当所述部分功率不小于所述乘积时使用所述全变换系数矩阵将所述视频块从所述像素域变换到所述系数域的装置。
CN201580013368.4A 2014-03-17 2015-03-12 用于使用置零系数的低复杂度正变换的系统和方法 Expired - Fee Related CN106105206B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/216,086 2014-03-17
US14/216,086 US9432696B2 (en) 2014-03-17 2014-03-17 Systems and methods for low complexity forward transforms using zeroed-out coefficients
PCT/US2015/020177 WO2015183375A2 (en) 2014-03-17 2015-03-12 Systems and methods for low complexity forward transforms using zeroed-out coefficients

Publications (2)

Publication Number Publication Date
CN106105206A true CN106105206A (zh) 2016-11-09
CN106105206B CN106105206B (zh) 2019-06-04

Family

ID=54070452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013368.4A Expired - Fee Related CN106105206B (zh) 2014-03-17 2015-03-12 用于使用置零系数的低复杂度正变换的系统和方法

Country Status (6)

Country Link
US (1) US9432696B2 (zh)
EP (1) EP3120547A2 (zh)
JP (1) JP2017513342A (zh)
KR (1) KR20160134702A (zh)
CN (1) CN106105206B (zh)
WO (1) WO2015183375A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020172904A1 (zh) * 2019-02-26 2020-09-03 北京大学深圳研究生院 一种反量化方法、系统、设备及计算机可读介质
WO2020172903A1 (zh) * 2019-02-26 2020-09-03 北京大学深圳研究生院 一种反量化方法、系统、设备及计算机可读介质
CN112262576A (zh) * 2018-06-11 2021-01-22 光云大学校产学协力团 残差系数编码/解码方法和装置
CN113574881A (zh) * 2019-03-11 2021-10-29 佳能株式会社 图像编码设备、图像编码方法和程序
CN114222132A (zh) * 2022-01-13 2022-03-22 北京达佳互联信息技术有限公司 视频解码反变换方法及装置
CN114270817A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN115379215A (zh) * 2018-06-03 2022-11-22 Lg电子株式会社 视频信号的解码、编码和传输方法及存储视频信号的介质
CN116016915A (zh) * 2019-11-21 2023-04-25 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516345B2 (en) 2014-03-17 2016-12-06 Qualcomm Incorporated Systems and methods for low complexity forward transforms using mesh-based calculations
KR102600756B1 (ko) * 2015-03-06 2023-11-10 한국과학기술원 저 복잡도 변환에 기반한 영상 부호화 및 복호화 방법 및 이를 이용하는 장치
US9998746B2 (en) 2016-02-10 2018-06-12 Amazon Technologies, Inc. Video decoder memory optimization
CN116915995A (zh) 2016-04-29 2023-10-20 世宗大学校产学协力团 视频信号编码/解码方法和设备
CN109328461B (zh) 2016-04-29 2023-09-05 世宗大学校产学协力团 视频信号编码/解码方法和设备
AU2017264000A1 (en) 2016-05-13 2018-11-22 Sony Corporation Image processing device and method
EP3270595A1 (en) 2016-07-15 2018-01-17 Thomson Licensing Method and apparatus for last coefficient coding for adaptive transform based video compression
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10567800B2 (en) 2016-11-29 2020-02-18 Qualcomm Incorporated Transform hardware architecture for video coding
CN115834876A (zh) * 2017-12-21 2023-03-21 Lg电子株式会社 解码和编码设备、存储比特流的介质和数据发送设备
JP7334726B2 (ja) * 2018-03-28 2023-08-29 ソニーグループ株式会社 画像処理装置及び画像処理方法
JP7109961B2 (ja) * 2018-03-29 2022-08-01 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
CN111937386B (zh) * 2018-04-01 2023-09-01 Lg电子株式会社 通过向分区块应用二次变换来处理视频信号的方法及设备
US10542448B2 (en) * 2018-04-05 2020-01-21 Lg Electronics Inc. Method for measurement reporting and device supporting the same
US11533508B2 (en) * 2018-06-08 2022-12-20 Kt Corporation Method and apparatus for encoding/decoding residual data based on a plurality of transformations
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
KR102390731B1 (ko) * 2018-06-19 2022-04-25 한화테크윈 주식회사 잔차 계수 부호화/복호화 방법 및 장치
WO2020013532A1 (ko) * 2018-07-13 2020-01-16 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020073884A1 (en) 2018-10-08 2020-04-16 Mediatek Singapore Pte. Ltd. Method and apparatus of last significant coefficient coding in image and video coding
US11128866B2 (en) * 2018-10-18 2021-09-21 Qualcomm Incorporated Scans and last coefficient position coding for zero-out transforms
KR20210093336A (ko) * 2018-11-27 2021-07-27 오피 솔루션즈, 엘엘씨 픽처들에 대한 블록-기반 공간 활동 측정들
WO2020130514A1 (ko) * 2018-12-17 2020-06-25 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치
CA3224700A1 (en) * 2018-12-19 2020-06-25 Lg Electronics Inc. Video coding method on basis of secondary transform, and device for same
US11677955B2 (en) * 2019-01-15 2023-06-13 Lg Electronics Inc. Image decoding method for coding residual information on basis of high frequency zeroing in image coding system, and device therefor
JP7267785B2 (ja) * 2019-03-11 2023-05-02 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
JP2020150338A (ja) 2019-03-11 2020-09-17 キヤノン株式会社 画像復号装置、画像復号方法、及びプログラム
WO2020242238A1 (ko) * 2019-05-29 2020-12-03 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116916023A (zh) 2019-06-19 2023-10-20 Lg电子株式会社 图像解码和编码方法、存储介质及发送方法
WO2021034100A1 (ko) * 2019-08-19 2021-02-25 엘지전자 주식회사 영상 코딩 시스템에서 무손실 코딩을 적용하는 영상 디코딩 방법 및 그 장치
US20240107009A1 (en) 2021-01-25 2024-03-28 Nec Corporation Video coding device and video coding method
WO2022259614A1 (ja) * 2021-06-11 2022-12-15 ソニーグループ株式会社 情報処理装置および方法
WO2023052141A1 (en) * 2021-09-29 2023-04-06 Interdigital Vc Holdings France, Sas Methods and apparatuses for encoding/decoding a video
WO2023058254A1 (ja) * 2021-10-06 2023-04-13 日本電気株式会社 映像符号化装置、方法およびプログラム
CN114827630B (zh) * 2022-03-11 2023-06-06 华南理工大学 基于频域分布学习cu深度划分方法、系统、装置及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086816A1 (en) * 2007-09-28 2009-04-02 Dolby Laboratories Licensing Corporation Video Compression and Transmission Techniques
CN103179426A (zh) * 2011-12-21 2013-06-26 联咏科技股份有限公司 自动检测图像格式的方法与应用其的播放方法
US8594176B2 (en) * 2007-03-06 2013-11-26 Microsoft Corporation Streaming media codec with transform coefficient bounding

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE468736B (sv) 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
KR0128245B1 (ko) * 1992-10-07 1998-04-02 배순훈 화면 분할 기능을 갖는 디지탈 방식 고선명 텔레비젼
CA2156889C (en) 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
US7062098B1 (en) 2000-05-12 2006-06-13 International Business Machines Corporation Method and apparatus for the scaling down of data
JP2003069996A (ja) * 2001-08-23 2003-03-07 Mitsubishi Electric Corp 画像情報量圧縮装置及び画像情報量圧縮方法
JP4230188B2 (ja) 2002-06-06 2009-02-25 パナソニック株式会社 可変長符号化方法および可変長復号化方法
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US7366238B2 (en) * 2004-05-07 2008-04-29 Micronas Usa, Inc. Noise filter for video processing
WO2006118288A1 (ja) 2005-05-03 2006-11-09 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法およびその装置
US8571340B2 (en) 2006-06-26 2013-10-29 Qualcomm Incorporated Efficient fixed-point approximations of forward and inverse discrete cosine transforms
US8385424B2 (en) 2006-06-26 2013-02-26 Qualcomm Incorporated Reduction of errors during computation of inverse discrete cosine transform
US20080031325A1 (en) 2006-08-03 2008-02-07 Yingyong Qi Mesh-based video compression with domain transformation
JP4901450B2 (ja) * 2006-12-19 2012-03-21 株式会社東芝 動画像符号化装置
US7535387B1 (en) 2007-09-10 2009-05-19 Xilinx, Inc. Methods and systems for implementing context adaptive binary arithmetic coding
JP5411147B2 (ja) 2007-10-16 2014-02-12 トムソン ライセンシング ビット深さスケーラビリティのためのアーチファクト除去のための方法および装置
US8891615B2 (en) 2008-01-08 2014-11-18 Qualcomm Incorporated Quantization based on rate-distortion modeling for CABAC coders
KR101375668B1 (ko) 2008-03-17 2014-03-18 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치
EP2257072A1 (en) 2009-05-27 2010-12-01 Nxp B.V. Image and video coding
KR20120046727A (ko) 2009-08-06 2012-05-10 파나소닉 주식회사 부호화 방법, 복호 방법, 부호화 장치 및 복호 장치
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
CN102884792B (zh) 2010-05-12 2016-08-17 汤姆森许可贸易公司 用于统一显著图编码的方法和设备
US9185422B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Variable localized bit-depth increase for fixed-point transforms in video coding
KR20120032457A (ko) 2010-09-28 2012-04-05 삼성전자주식회사 영상의 변환 방법 및 장치, 역변환 방법 및 장치
US9378185B2 (en) 2010-09-30 2016-06-28 Texas Instruments Incorporated Transform and quantization architecture for video coding and decoding
US8902988B2 (en) 2010-10-01 2014-12-02 Qualcomm Incorporated Zero-out of high frequency coefficients and entropy coding retained coefficients using a joint context model
US20130003856A1 (en) 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
US10642921B2 (en) 2011-11-03 2020-05-05 Texas Instruments Incorporated Unified forward and inverse transform architecture
EP2777287A2 (en) 2011-11-07 2014-09-17 VID SCALE, Inc. Video and data processing using even-odd integer transforms background
US9179162B2 (en) 2011-12-02 2015-11-03 Futurewei Technologies, Inc. Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding
US9131210B2 (en) 2012-03-16 2015-09-08 Texas Instruments Incorporated Low-complexity two-dimensional (2D) separable transform design with transpose buffer management
US9516345B2 (en) 2014-03-17 2016-12-06 Qualcomm Incorporated Systems and methods for low complexity forward transforms using mesh-based calculations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594176B2 (en) * 2007-03-06 2013-11-26 Microsoft Corporation Streaming media codec with transform coefficient bounding
US20090086816A1 (en) * 2007-09-28 2009-04-02 Dolby Laboratories Licensing Corporation Video Compression and Transmission Techniques
CN103179426A (zh) * 2011-12-21 2013-06-26 联咏科技股份有限公司 自动检测图像格式的方法与应用其的播放方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379215A (zh) * 2018-06-03 2022-11-22 Lg电子株式会社 视频信号的解码、编码和传输方法及存储视频信号的介质
CN112262576A (zh) * 2018-06-11 2021-01-22 光云大学校产学协力团 残差系数编码/解码方法和装置
WO2020172903A1 (zh) * 2019-02-26 2020-09-03 北京大学深圳研究生院 一种反量化方法、系统、设备及计算机可读介质
WO2020172904A1 (zh) * 2019-02-26 2020-09-03 北京大学深圳研究生院 一种反量化方法、系统、设备及计算机可读介质
US11870994B2 (en) 2019-02-26 2024-01-09 Peking University Shenzhen Graduate School Method, system, device, and computer-readable storage medium for inverse quantization
CN113574881A (zh) * 2019-03-11 2021-10-29 佳能株式会社 图像编码设备、图像编码方法和程序
CN113574881B (zh) * 2019-03-11 2024-03-19 佳能株式会社 图像编码设备和方法、图像解码设备和方法以及存储介质
US11985352B2 (en) 2019-03-11 2024-05-14 Canon Kabushiki Kaisha Image coding apparatus, image coding method, and storage media
CN114270817A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN116016915A (zh) * 2019-11-21 2023-04-25 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
CN116016915B (zh) * 2019-11-21 2024-04-23 北京达佳互联信息技术有限公司 变换与系数信令的方法和装置
US12015798B2 (en) 2019-11-21 2024-06-18 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus on transform and coefficient signaling
CN114222132A (zh) * 2022-01-13 2022-03-22 北京达佳互联信息技术有限公司 视频解码反变换方法及装置
CN114222132B (zh) * 2022-01-13 2024-05-14 北京达佳互联信息技术有限公司 视频解码反变换方法及装置

Also Published As

Publication number Publication date
CN106105206B (zh) 2019-06-04
WO2015183375A3 (en) 2016-01-21
JP2017513342A (ja) 2017-05-25
EP3120547A2 (en) 2017-01-25
US9432696B2 (en) 2016-08-30
WO2015183375A2 (en) 2015-12-03
KR20160134702A (ko) 2016-11-23
US20150264403A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN106105206B (zh) 用于使用置零系数的低复杂度正变换的系统和方法
CN105493507B (zh) 用于帧内块复制的残余预测
CN106105205B (zh) 用于颜色空间转换译码的量化参数
CN104221381B (zh) 用于视频译码的波前并行处理的方法、装置及计算机可读存储媒体
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN103947207B (zh) 用于图片分割方案的统一设计
CN103959785B (zh) 在视频译码中用于色度分量的变换单位分割
CN108353167A (zh) 译码视频数据的正负号信息
CN108141608A (zh) 针对视频译码使用与位置相关的预测组合的改进视频帧内预测
CN109716771A (zh) 用于视频译码的线性模型色度帧内预测
CN104604224B (zh) 可缩放视频译码中的变换基底调整
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN110313182A (zh) 译码用于运动受约束图块集的识别符
CN104429076B (zh) 用于可缩放视频译码和3d视频译码的一般化残差预测
CN106134196A (zh) 在视频译码中用于帧内块复制的搜索区域确定
CN106464917A (zh) 用信号表示用于位流分区的hrd参数
CN103563378A (zh) 存储器高效的上下文建模
CN104429072B (zh) 自适应差域空间和时间参考重构及平滑
CN106664425A (zh) 视频译码中的跨分量预测
CN104205835B (zh) 导出最末位置译码的上下文以供视频译码
CN104737537A (zh) 用于可缩放视频译码的加权预测模式
CN106664420A (zh) 用于帧内块复制的块向量译码
CN104255027B (zh) 用于视频译码的层间纹理预测
CN105474646B (zh) 子pu级先进残余预测
CN105075258A (zh) 针对具有不同纵横比的空间可缩放性的层间参考图片建构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190604

Termination date: 20210312

CF01 Termination of patent right due to non-payment of annual fee