CN110024393A - 用于视频译码的低复杂度符号预测 - Google Patents

用于视频译码的低复杂度符号预测 Download PDF

Info

Publication number
CN110024393A
CN110024393A CN201780074056.3A CN201780074056A CN110024393A CN 110024393 A CN110024393 A CN 110024393A CN 201780074056 A CN201780074056 A CN 201780074056A CN 110024393 A CN110024393 A CN 110024393A
Authority
CN
China
Prior art keywords
rebuild
block
video
sample
hypothesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780074056.3A
Other languages
English (en)
Inventor
赵欣
瓦迪姆·谢廖金
张莉
马尔塔·卡切维奇
阿米尔·赛义德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN110024393A publication Critical patent/CN110024393A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明大体来说描述用于关于基于符号预测的视频译码的成本函数测量的技术。实例装置包含处理电路，所述处理电路经配置以：将第一符号组合及第二符号组合应用于视频数据的所存储块的变换系数以获得所述块的第一假设重建及第二假设重建；通过确定表示所述块的每一假设重建的样本与邻近于所述块而定位的相邻块的样本之间的差值的像素值梯度的相应集合来测量关于所述第一假设重建及所述第二假设重建的第一成本函数及第二成本函数。所述处理电路经进一步配置以比较所述相应成本函数，以基于所述比较而选择所述块的所述假设重建中的一者，且使用与所述所选择假设重建相关联的所述相应符号组合来译码所述块。

Description

用于视频译码的低复杂度符号预测
本申请案要求以下各者的权益：
2016年12月21日申请的美国临时申请案第62/437,642号；
2017年3月24日申请的美国临时申请案第62/476,375号；及
2017年8月23日申请的美国临时申请案第62/549,336号，所述临时申请案中的每一者的整个内容以引用的方式并入本文中。
技术领域
本公开涉及视频编码及视频解码。
背景技术
数字视频频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-TH.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还称为ISO/IEC MPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)完成新的视频译码标准(即，高效率视频译码(HEVC))。最新的HEVC草案说明书且下文被称作HEVC WD可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip获得。
视频译码技术包含空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的一部分)分割成视频块(其还可被称作树型块)、译码单元(CU)及/或译码节点。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致用于待译码块的预测性块。残余数据表示待译码的原始块及预测性块之间的像素差。为了进一步压缩，可将残余数据从像素域变换到变换域，从而导致可接着进行量化的残余变换系数。可应用熵译码以实现甚至更进一步压缩。
发明内容
在一实例中，本公开涉及一种译码视频数据的方法。所述方法包含：识别视频数据的预存储部分中的预存储残余样本的集合；组合预存储残余样本的所述集合以形成预存储残余样本的组合；将第一符号组合应用于预存储残余样本的所述组合的变换系数以获得关于视频数据的当前块的第一假设重建；及将第二符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第二假设重建。所述方法进一步包含：导出关于第一假设重建及第二假设重建的相应成本函数；比较所述相应导出成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的所述选定者相关联的符号预测来译码当前块。
在另一实例中，本公开涉及一种译码数据的装置。所述装置包含视频数据存储器，及耦合到视频数据存储器的处理电路。处理电路经配置以：识别存储到视频数据存储器的视频数据的一部分中的预存储残余样本的集合；组合所存储残余样本的集合以形成预存储残余样本的组合；将第一符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第一假设重建；及将第二符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第二假设重建。处理电路经进一步配置以：导出关于第一假设重建及第二假设重建的相应成本函数；比较所述相应导出成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的所述选定者相关联的符号预测来译码当前块。
在另一实例中，本公开涉及一种用于对视频数据进行译码的设备。所述设备包含：用于识别视频数据的预存储部分中的预存储残余样本的集合的装置；用于组合预存储残余样本的集合以形成预存储残余样本的组合的装置；用于将第一符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第一假设重建的装置；及用于将第二符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第二假设重建的装置。所述设备进一步包含：用于导出关于第一假设重建及第二假设重建的相应成本函数的装置；用于比较所述相应导出成本函数的装置；用于基于所述比较选择第一假设重建或第二假设重建的装置；及用于使用与第一假设重建或第二假设重建中的所述选定者相关联的符号预测来译码当前块的装置。
在另一实例中，本公开涉及编码有指令的非暂时性计算机可读媒体，所述指令当经执行时使得装置的一或多个处理器执行以下操作：识别存储到非暂时性计算机可读存储媒体的视频数据的一部分中的预存储残余样本的集合；组合预存储残余样本的集合以形成预存储残余样本的组合；将第一符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第一假设重建；及将第二符号组合应用于预存储残余样本的组合的变换系数以获得关于视频数据的当前块的第二假设重建。所述指令当经执行时进一步使得所述一或多个处理器执行以下操作：导出关于第一假设重建及第二假设重建的相应成本函数；比较所述相应导出成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的所述选定者相关联的符号预测来译码当前块。
在另一实例中，本公开涉及一种译码视频数据的方法。所述方法包含：确定视频数据的块适合于使用符号预测来译码；仅在块满足预定准则时才关于块的一或多个变换系数执行符号预测，其中预定准则是基于以下各者中的至少一者：块的宽度、块的高度、用以译码块的译码模式或块内一或多个符号预测的变换系数的位置；及基于关于块执行的符号预测来译码块。
在另一实例中，本公开涉及一种译码数据的装置。所述装置包含经配置以存储视频数据的存储器，及耦合到所述存储器的处理电路。处理电路经配置以：确定存储到存储器的视频数据的块适合于使用符号预测来译码；仅在块满足预定准则时才关于块的一或多个变换系数执行符号预测，其中预定准则是基于以下各者中的至少一者：块的宽度、块的高度、用以译码块的译码模式或块内一或多个符号预测的变换系数的位置；及基于关于块执行的符号预测来译码块。
在另一实例中，本公开涉及一种用于对视频数据进行译码的设备。所述设备包含：用于确定视频数据的块适合于使用符号预测来译码的装置；用于仅在块满足预定准则时才关于块的一或多个变换系数执行符号预测的装置，其中预定准则是基于以下各者中的至少一者：块的宽度、块的高度、用以译码块的译码模式或块内一或多个符号预测的变换系数的位置；及用于基于关于块执行的符号预测来译码块的装置。
在另一实例中，本公开涉及一种编码有指令的非暂时性计算机可读媒体。所述指令当经执行时使得装置的一或多个处理器执行以下操作：确定存储到所述非暂时性计算机可读存储媒体的视频数据块适合于使用符号预测来译码；仅在块满足预定准则时才关于块的一或多个变换系数执行符号预测，其中预定准则是基于以下各者中的至少一者：块的宽度、块的高度、用以译码块的译码模式或块内一或多个符号预测的变换系数的位置；及基于关于块执行的符号预测来译码块。
在一实例中，本公开涉及一种译码视频数据的方法。所述方法包含：将第一符号组合应用于视频数据块的变换系数以获得关于视频数据块的第一假设重建；及将第二符号组合应用于视频数据块的变换系数以获得关于视频数据块的第二假设重建；通过确定表示块的第一假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于第一假设重建的第一成本函数；及通过确定表示块的第二假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于第二假设重建的第二成本函数。所述方法进一步包含：比较第一成本函数与第二成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的选定者相关联的相应符号组合译码块。
在另一实例中，本公开涉及一种译码数据的装置。所述装置包含经配置以存储视频数据的存储器，及与所述存储器通信的处理电路。所述处理电路经配置以：将第一符号组合应用于存储到存储器的视频数据块的变换系数以获得关于视频数据块的第一假设重建；将第二符号组合应用于存储到存储器的视频数据块的变换系数以获得关于视频数据块的第二假设重建；通过确定表示块的第一假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于第一假设重建的第一成本函数；及通过确定表示块的第二假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于第二假设重建的第二成本函数。所述处理电路经进一步配置以：比较第一成本函数与第二成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的选定者相关联的相应符号组合译码块。
在另一实例中，本公开涉及一种用于对视频数据进行译码的设备。所述设备包含：用于将第一符号组合应用于视频数据块的变换系数以获得关于视频数据块的第一假设重建的装置；及用于将第二符号组合应用于视频数据块的变换系数以获得关于视频数据块的第二假设重建的装置；用于通过确定表示块的第一假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于第一假设重建的第一成本函数的装置；及用于通过确定表示块的第二假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于第二假设重建的第二成本函数的装置。所述设备进一步包含：用于比较第一成本函数与第二成本函数的装置；用于基于所述比较选择第一假设重建或第二假设重建的装置；及用于使用与第一假设重建或第二假设重建中的选定者相关联的相应符号组合译码块的装置。
在另一实例中，本公开涉及一种编码有指令的非暂时性计算机可读媒体。所述指令当经执行时使得视频译码装置的一或多个处理器执行以下操作：将第一符号组合应用于存储到非暂时性计算机可读存储媒体的视频数据块的变换系数以获得关于视频数据块的第一假设重建；将第二符号组合应用于存储到非暂时性计算机可读存储媒体的视频数据块的变换系数以获得关于视频数据块的第二假设重建；通过确定表示块的第一假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于第一假设重建的第一成本函数；及通过确定表示块的第二假设重建的样本与邻近于块定位的相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于第二假设重建的第二成本函数。所述指令当经执行时进一步使得视频译码装置的所述一或多个处理器执行以下操作：比较第一成本函数与第二成本函数；基于所述比较选择第一假设重建或第二假设重建；及使用与第一假设重建或第二假设重建中的选定者相关联的相应符号组合译码块。
在附图及以下描述中阐述本公开的一或多个实例的细节。其它特征、目标及优点将从实施方式、图式及权利要求书而显而易见。
附图说明
图1为说明经配置以实施本公开的技术的实例视频编码及解码系统的框图。
图2为说明基于系数群组的实例系数扫描的概念图。
图3A及3B为说明假设重建及预测技术的图式。
图4为说明经配置以实施本公开的技术的视频编码器的实例的框图。
图5为说明经配置以实施本公开的技术的视频解码器的实例的框图。
图6为说明作为当前块的假设重建的部分的视频译码装置可借以执行本公开的基于模板的重建技术的实例过程的流程图。
图7为说明作为译码当前视频数据块的部分的视频译码装置可借以执行本公开的选择性符号预测技术的实例过程的流程图。
图8为说明作为当前块的假设重建的部分的视频译码装置可借以执行本公开的成本函数测量技术的实例过程的流程图。
图9展示用于在视频解码器处预测符号的系统的实例。
图10展示根据本公开的技术用于在视频解码器处使用最大似然来预测符号的系统的实例。
图11展示块中的变量权重的实例。
图12展示用于确定用于似然计算的权重的集合的技术的实例。
具体实施方式
本公开涉及如应用于帧内或帧间译码块以及在其它模式中译码的块的用于视频编码及解码的变换系数符号位预测的技术。本公开的方面可用于高级视频编解码器的情形中，例如HEVC的扩展或下一代视频译码标准。
ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)现正研究对于将具有显著超过当前HEVC标准(包含其当前扩展及针对屏幕内容译码及高动态范围译码的近期扩展)的压缩能力的压缩能力的未来视频译码技术标准化的潜在需要。所述群组正共同致力于联合合作工作(被称为联合视频探索小组(JVET))中的此探索活动，以评估由此领域中的群组提议的压缩技术设计。JVET在2015年10月19日到21日期间第一次会面。为减轻各种编解码器复杂度问题，若干优化方法经设计用于联合探索模型(JEM)中的算法加速。JEM为用于下一代视频译码技术的探索的视频编解码器平台。JEM的其它方面经描述于ITU-T SG16WP 3及ISO/IEC JTC 1/SC 29/WG 11的联合视频探索小组(JVET)，2016年2月20日到26日，美国圣地亚哥第2次会议，文件号JVET-B1001_v1，“联合探索测试模型2的算法描述(Algorithm Description of Joint Exploration Test Model 2)”中。参考软件的版本(即，联合探索模型3(JEM 3))可从https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-3.0/下载。联合探索测试模型3(JEM3)的算法描述可称为JVET-C1001。
图1为说明可经配置以执行本公开的技术的实例视频编码及解码系统10的框图。如图1中所示，系统10包含源装置12，源装置12提供待在稍后时间由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等等。在一些状况下，源装置12及目的地装置14可经装备以用于无线通信。因此，源装置12及目的地装置14可为无线通信装置。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。
在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体20、视频编码器22及输出接口24。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30及显示装置32。在其它实例中，源装置12及目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置32。
图1的所说明系统10仅为一个实例。用于处理及/或译码视频数据的技术可通过任一数字视频编码及/或解码装置执行。尽管通常本公开的技术由视频编码装置或视频解码装置执行，但所述技术还可由视频编码器/解码器(通常被称为“编解码器”)执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供发射到目的地装置14的此类译码装置的实例。在一些实例中，源装置12及目的地装置14可以大体上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频发射，例如用于视频流式传输、视频播放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前捕获的视频的视频存档及/或用以从视频内容提供者接收视频数据的视频馈入接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如，存储媒体20)。本公开中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一状况下，可由视频编码器22对所捕获、预先捕获或计算机产生的视频进行编码。输出接口24可将经编码视频信息输出到计算机可读媒体16。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一些实例中，计算机可读媒体16包括通信媒体以使源装置12能够实时地将经编码视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包括经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。
在一些实例中，经编码数据可从输出接口24输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取的数据存储媒体中的任一者，例如，硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码的视频数据。此连接可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)或两者的组合。来自存储装置的经编码视频数据的发射可为流式传输发射、下载发射或其组合。
本公开中描述的技术可应用于视频译码以支持多种多媒体应用中的任一者，例如，空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如，HTTP动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射从而支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据且例如经由网络发射提供经编码视频数据到目的地装置14。类似地，例如光盘冲压设施的媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器22的视频编码器22定义的语法信息，语法信息还由视频解码器30使用，语法信息包含描述块及其它译码单元(例如，图片群组(GOP))的特性及/或处理的语法元素。存储媒体28可存储通过输入接口26接收的经编码视频数据。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器22及视频解码器单元30各自可经实施为多种合适编码器或解码器电路中的任一者，例如一或多个微处理器、处理电路(例如，固定功能电路、可编程处理电路，或固定功能电路及可编程处理电路的任何组合)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时，装置可将用于软件的指令存储于合适的非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本公开的技术。视频编码器22及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在一些实例中，视频编码器22及视频解码器30可根据视频译码标准操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(还称为ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展。另外，最近已通过ITU-T视频译码专家群(VCEG)及ISO/IEC运动图片专家群(MPEG)的视频译码联合合作小组(JCT-VC)开发新的视频译码标准(即，高效率视频译码(HEVC)或ITU-T H.265)，包含其范围及屏幕内容译码扩展、3D视频译码(3D-HEVC)及多视图扩展(MV-HEVC)及可调式扩展(SHVC)。在ITU-H.265完成后，在本公开的时间处正开发下一代视频译码标准。本公开的技术可结合使用或适合于使用符号预测的各种视频译码技术而使用，所述技术例如本文中列出的各种标准中描述的技术、当前在开发中的下一代视频译码标准中描述的技术、JEM的视频译码技术等。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片还可被称为“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本在本文中还可称为“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本的阵列。
为了产生图片的经编码表示，视频编码器22可产生译码树型单元(CTU)的集合。CTU中的每一者可包括明度样本的译码树型块、色度样本的两个对应译码树型块，及用以译码译码树型块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块及用以译码所述译码块的样本的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续地定序的整数数目个CTU。
本公开可使用术语“视频单元”或“视频块”或“块”以指代一或多个样本块及用以译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区，等等。在一些情形中，PU的论述可与宏块或宏块分区的论述互换。视频块的实例类型可包含译码树型块、译码块及视频数据的其它类型的块。
为产生经译码CTU，视频编码器22可对CTU的译码树型块递归地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可包括明度样本的译码块及具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的色度样本的两个对应译码块，以及用于译码所述译码块的样本的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块及用于译码所述译码块的样本的语法结构。
视频编码器22可将CU的译码块分割为一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块及用以预测所述预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块及用以预测所述预测块的语法结构。视频编码器22可针对CU的每一PU的预测块(例如，明度、Cb及Cr预测块)产生预测性块(例如，明度、Cb及Cr预测性块)。
视频编码器22可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器22使用帧内预测以产生PU的预测性块，那么视频编码器22可基于包含PU的图片的经解码样本产生PU的预测性块。
在视频编码器22产生CU的一或多个PU的预测性块(例如，明度、Cb及Cr预测性块)之后，视频编码器22可产生CU的一或多个残余块。作为一个实例，视频编码器22可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器22可产生用于CU的Cb残余块。在色度预测的一个实例中，CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器22还可产生用于CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块的中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。然而，应理解可使用用于色度预测的其它技术。
另外，视频编码器22可使用四分树分割以将CU的残余块(例如，明度、Cb及Cr残余块)分解成一或多个变换块(例如，明度、Cb及Cr变换块)。变换块为供应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以变换所述变换块样本的语法结构。因此，CU的每一TU可具有明度变换块、Cb变换块及Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块及用于变换所述变换块的样本的语法结构。
视频编码器22可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器22可将一或多个变换应用于TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器22可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器22可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器22可将系数块量化。量化大体上是指将变换系数量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器22量化系数块之后，视频编码器22可熵编码指示经量化的变换系数的语法元素。举例来说，视频编码器22可对指示经量化变换系数的语法元素执行上下文适应性二进制算术译码(CABAC)。
视频编码器22可输出包含形成经译码图片及相关联数据的表示的位序列的位流。因此，位流包括视频数据的经编码表示。所述位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有模拟阻止位的原始位组序列酬载(RBSP)的形式的位组的语法结构。NAL单元中的每一者可包含NAL单元标头且囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。通过NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器22产生的位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分基于从位流获得的语法元素而重建视频数据的图片。重建视频数据的过程可与由视频编码器22执行的过程大体互逆。举例来说，视频解码器30可使用PU的运动向量确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重建当前CU的TU的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
下文论述系数符号位预测的HEVC及现有技术中的变换系数译码的方面。根据HEVC变换系数译码，变换系数块(TB)首先经分成系数群组(CG)，其中每一CG表示子块，例如4×4子块。举例来说，32×32TU具有总共64个CG，且16×16TU具有总共16个CG。在CG的单元中执行TB的熵译码。根据给定扫描次序译码TB内部的CG。当译码每一CG时，根据用于4×4块的某一预定义扫描次序扫描并译码当前CG内部的系数。在JEM中，CG大小可为4×4或2×2，此取决于一个TB的高度或宽度是否等于2。
图2为说明基于系数群组的系数扫描的实例的概念图。更特定地说，图2说明在HEVC中含有4个CG的8×8TB 42的系数扫描。用于每一色彩分量，视频编码器22可首先发信一位旗标到视频解码器30以指示当前TB(在此状况下TB 42)是否具有至少一个非零系数。如果在当前TB(TB 42)中存在至少一个非零系数，那么视频编码器22接着可通过相对于TB的左上角的一坐标(或多个坐标)在TB中以系数扫描次序明确地编码最后有效系数的位置。所述(等)坐标的竖直或水平分量由其前缀及后缀表示，其中前缀通过截短的莱斯(TR)二进制化，且后缀通过固定长度二进制化。
运用此位置编码及发信，以及CG的系数扫描次序，视频编码器22可进一步发信针对除最后CG(按扫描次序)之外的所有CG的一位旗标，其指示相应CG是否含有任何非零系数。对于含有非零系数的那些CG，视频编码器22可进一步根据预定义4×4系数扫描次序编码及发信显著旗标、系数的绝对值，及每一系数的非零系数的符号信息。在HEVC变换系数熵译码方案中，符号位(如果经译码)始终经旁路译码。举例来说，视频编码器22及视频解码器30可不应用上下文，且可始终使用相等概率(EP)假定编码/解码每一符号位的一(1)位。
在此段落中论述符号数据掩蔽的方面。对于每一CG，且取决于一或多个准则，视频编码器22(在使用符号数据掩蔽(SDH)时)可省略编码最后非零系数(按反向扫描次序)的符号，所述最后非零系数按前向扫描次序为第一非零系数。实际上，视频编码器22可使用预定义定则在CG的层级的总和的奇偶校验中嵌入符号值。预定义定则描述如下：偶数对应于“+”且奇数对应于“-”。使用SDH的实例准则为CG的第一非零系数与最后非零系数之间的按扫描次序计的距离。如果CG中第一非零系数与最后非零系数之间的距离相等或大于四(4)，那么视频编码器22可使用SDH。因为值四(4)对HEVC测试序列提供最大增益，所以选择所述值。
在以下段落中描述系数符号预测的方面。为改进符号位信息的译码效率，系数符号预测方法已在各种文献中提议。举例来说，通过2016年10月，文献JVET-D0031，ITU-T SG16WP 3及ISO/IEC JTC 1/SC 29/WG 11联合视频探索小组(JVET)，Felix Henry及GordonClare的“残余系数符号预测(Residual Coefficient Sign Prediction)”(下文中，“Henry”)提议JEM上的符号预测方法。
为预测一个系数的符号，视频解码器30可使用用于相应符号的正值及负值两者重建TB 42。使用候选符号值的每一块重建被称作“假设重建”。视频解码器30可使用给定空间域成本函数评估两个假设重建，且最小化成本函数的假设产生预测的符号值。也就是说，使用不同符号或不同符号组合以产生块的每一相应假设重建，视频解码器30可产生块的相应假设重建。
另外，为预测TB 42的多个符号(例如，“N”数目个符号)，视频解码器30可使用候选符号预测值的不同组合来重建TB 42，其包含总共2N个不同假设重建。类似地，视频解码器30可使用给定空间域成本函数评估每一假设，且最小化成本函数的假设给出预测的符号值组合。
成本函数通常使用假设中的一者来测量先前经重建相邻像素与当前经测试重建块之间的空间不连续。关于上文所描述的假设预测技术，展示当前块的块边界处的最平滑像素值转变的假设被认为是最优选预测。举例来说，在Henry中，代价是使用假设重建的最左边及最顶像素来测量。
图3A及3B为说明假设重建及预测技术的图式。图3A说明Henry的假设重建及预测技术，视频解码器30结合本公开的技术使用所述技术。图3A说明TB 42的各种像素的坐标，且还指示用于假设重建的先前经重建相邻像素。图3B阐述说明视频解码器30可结合本公开的技术实施的假设重建及预测技术的数学式。
根据Henry中描述的特定符号预测方案，视频解码器30可最初解量化TU，且接着选择执行符号预测所针对的“n”个系数。视频解码器30可按光栅扫描次序扫描系数。当收集“n”个系数来处理时，超过预定义阈值的经解量化值优选优于低于预定义阈值的值。运用这些“n”个值，视频解码器30可如下文所描述针对“2n”个时机执行简化边界重建，其中针对“n”个系数，每一独特符号组合一个重建。
为减少执行符号预测的复杂度，视频解码器30可执行基于模板的假设重建。对于特定假设重建，视频解码器30可从经添加到块预测的反变换仅重新产生块的最左边及最顶像素。尽管(根据图3A中所说明的使用状况情境)第一(竖直)反变换是完整的，但第二(水平)反变换仅必须产生最左边及最顶像素输出，且因此更快。额外旗标“左上”已被添加到反变换函数以允许此。
另外，所执行的反变换操作的数目通过使用“模板”的系统而得以减少。以此方式，当预测块中的“n”个符号时，视频解码器30可仅执行“n+1”数目个反变换操作。下文列出所执行步骤的实例：
1.视频解码器30可对经解量化系数执行单一反变换操作，其中预测的所有符号的值经设定成正。在被添加到当前块的预测后，此对应于第一假设的边界重建。
2.对于视频解码器30预测符号所针对的“n”个系数中的每一者，对作为其唯一非空元素的含有对应经解量化(及正)系数的另外空块进行反变换操作。最左边及最顶边界值经保存于被称为“模板”的物中以供在稍后重建期间使用。
视频解码器30可通过取得先前假设的适当保存的重建起始稍后假设的边界重建，所述适当保存的重建仅仅使用待从正改变到负的单一预测符号以便构建所要当前假设。视频解码器30接着可通过加倍对应于预测的符号的模板的假设边界及从其中减去而接近于此符号变化。如果边界重建可用于视频解码器30以再用于构建一或多个稍后假设，那么接着保存在应用成本函数测量之后的边界重建。
以下表1将模板名映射到对应模板
模板名 如何产生
T001 inv xform single+ve第1符号隐蔽系数
T010 inv xform single+ve第2符号隐蔽系数
T100 inv xform single+ve第3符号隐蔽系数
表1
以下表2展示针对3符号、8项目使用状况的保存/恢复及模板应用
假设 如何产生 存储以供稍后再次用作
H000 inv xform所有系数增加以预测 H000
H001 H000-2*T001
H010 H000-2*T010 H010
H011 H010-2*T001
H100 H000-2*T100 H100
H101 H100-2*T001
H110 H100-2*T010 H110
H111 H110-2*T001
表2
在一些实例中，视频解码器30可仅在符号预测过程期间使用这些近似值，且并不在最终重建期间使用这些近似值。对于具有较大量值的变换系数，符号预测通常产生达成正确预测的较好概率。这是因为对于具有较大量值的变换系数的不正确符号预测通常展示关于边界样本平滑度的更多差异。
运用符号预测，而非译码明确符号值，视频编码器22及视频解码器30可编码/解码符号预测的正确性。举例来说，为了预测实际上具有正值的系数符号，如果预测符号也为正(例如如果符号预测是正确的)，那么视频编码器22可编码，且视频解码器30可解码“0”二进制数。另外，如果预测符号为负(例如，如果符号预测是不正确的)，那么视频编码器22可编码，且视频解码器30可解码“1”二进制数。以此方式，符号预测可利用变换系数的层级值(例如，量值)作为用于译码符号预测的正确性的上下文，这是因为变换系数的较大量值趋向于(或“倾向于”)朝向“0”二进制数的较高概率。
现有符号预测技术可引起一或多个可能问题。作为一个实例，现有符号预测技术展示针对编码器及解码器两者的相对较高复杂度，这是因为现有符号预测技术可使用多个反变换过程以在译码运行期间或“在运作中”产生最左边及最顶像素样本。举例来说，四个(4)符号将导致总共十六个(16)可能性，其中每一假设有多个重建。结果，视频解码器30将在每一状况下十六(16)次执行反变换、反量化，及重建。增加的复杂度可不合实际视频编解码器需要。此外，对于较大数目，预测符号的数目可以快速速率增加。也就是说，如果预测相对较大数目的符号，那么现有符号预测技术的复杂度增加可迅速增加。在一些实例中，可存在针对给定块的6、7、8或更大数目个预测符号。
本公开的各种技术通常涉及减轻或可能去除上文关于符号预测所论述问题中的一或多者。本公开的各种技术的方面在下文经描述为通过视频编码器22及视频解码器30执行。然而，应了解本文中所描述的技术可通过各种视频译码装置(包含经配置以(例如，经由“解码回路”)解码经编码视频数据的视频编码器)执行。
图4为说明可实施本公开的技术的实例视频编码器22的框图。出于解释的目的提供图4，且不应将所述图视为对如本公开中广泛例示及描述的技术的限制。本公开的技术可应用于各种译码标准或方法。
在图4的实例中，视频编码器22包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元及运动补偿单元(未展示)。
视频数据存储器101可经配置以存储待由视频编码器22的组件编码的视频数据。存储于视频数据存储器101中的视频数据可(例如)从视频源18获得。经解码图片缓冲器116可为参考图片存储器，其存储用于由视频编码器22在编码视频数据(例如，在帧内或帧间译码模式中)时使用的参考视频数据。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过相同存储器装置或独立存储器装置来提供视频数据存储器101及经解码图片缓冲器116。在各种实例中，视频数据存储器101可与视频编码器22的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体20相同或为图1的存储媒体20的部分。
视频编码器22接收视频数据。视频编码器22可编码视频数据的图片的切片中的每一CTU。所述CTU中的每一者可与图片的相等大小的明度译码树型块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行分割以将CTU的CTB分割成逐渐较小的块。所述较小块可为CU的译码块。举例来说，预测处理单元100可根据树状结构分割与CTU相关联的CTB。根据本公开的一或多种技术，对于在树型结构的每一深度层级处的树型结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的分裂图案且对应于相应非叶节点的视频块根据所述多个允许的分裂图案中的一者而分割成对应于相应非叶节点的子节点的视频块。
视频编码器22可编码CTU的CU以产生所述CU的经编码的表示(即，经译码的CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器22及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器22及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器22及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于PU是在I切片中、P切片中还是B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于I模式中编码的块，经预测块是使用来自经先前编码的同一帧内的相邻块的空间预测而形成。如果PU在P切片中，那么帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。对于PU、CU及CTU，假定从左到右、从上而下的编码次序，那么所述相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中，或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于数组预测性数据的速率/失真度量而选择用于CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于CU的译码块(例如，明度、Cb及Cr译码块)及CU的PU的所选预测性块(例如，预测性明度、Cb及Cr块)产生CU的残余块(例如，明度、Cb及Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选择预测性块中的对应样本之间的差的值。
变换处理单元104可执行四分树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块及两个色度变换块相关联。CU的TU的明度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间被舍入到m位变换系数，其中n大于m。量化单位106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器22可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比最初变换系数低的精度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重建残余块。重建单元112可将经重建的残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建的变换块。通过以此方式重建CU的每一TU的变换块，视频编码器22可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。经解码图片缓冲器116可在滤波器单元114对经重建译码块执行一或多个解块操作之后，存储经重建译码块。帧间预测处理单元120可使用含有经重建译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建译码块，以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器22的其它功能组件接收数据。在各种实例中，熵编码单元118可经配置以实施本公开的一或多种技术。举例来说，熵编码单元118可从量化单元106接收系数块且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器22可输出包含由熵编码单元118产生的经熵编码的数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
根据本公开的一些方面，视频编码器22可使用经重建残余样本的预存储集合以执行假设重建。视频编码器22使用预存储经重建残余样本所藉以的本公开的技术在本文中通常称为“基于模板的重建”技术。举例来说，预存储经重建残余样本可存储到视频编码器22的处理电路可存取(例如，经由直接或间接通信耦合)的任一存储器，例如源装置12的存储媒体20及/或视频数据存储器101。在根据本公开的方面的基于模板的重建的一些情况下，视频编码器22可存储一或多个经完全重建及/或经部分重建的残余块，且接着使用所存储信息的某一组合(例如，线性组合)以形成模板。而且，视频编码器22可使用模板来导出所有可能的经重建值。残余块的每一存储集合可使用预定义变换系数块来预计算。为执行假设重建，视频编码器22可将经完全及/或部分重建的残余块的选定群组识别为所存储集合，且使用以此方式识别的经重建残余块的某一组合产生/估计假设重建。
如上文所论述，视频编码器22(及/或其组件)可根据本公开的方面经配置以减轻与现有符号预测技术相关联的各种问题。根据本公开的基于模板的重建技术的一些实例，视频编码器22可使用预定义经量化变换系数块(TB)、给定反量化参数及给定主要变换及/或给定辅助变换来形成所存储集合的每一经重建块。下文关于特定系数论述实例，所述特定系数的位置在M×N TB中经表示为f(x,y)，其中0<＝x<M，0<＝y<N。给定反变换方法(包含主要变换及/或辅助变换)及反量化参数，视频编码器22可通过将f(x,y)设定成特定值及通过将所有其它系数设定成与经指派给f(x,y)的值不同的值而产生经量化系数块(表示为B)。举例来说，视频编码器22可将f(x,y)的值设定成一(1)，且可将所有其它系数设定成零(0)。
而且，视频编码器22可通过将给定反量化及反变换应用于经量化系数块B上而预计算经完全或部分重建的残余块(表示为R)。视频编码器22可将经重建残余块R预存储到存储器(例如，到源装置12的存储媒体20及/或到视频数据存储器101)。通过预存储经部分或完全重建的块R，视频编码器22可充分利用现有资源(例如，呈存储媒体20及/或视频数据存储器101形式)以高速缓存可用以改进待在后期执行的计算的效率的经预计算信息。以此方式，在符号预测操作期间，如果系数f(x,y)的符号需要在M×N TB中运用相同反变换及反量化参数来预测，那么本公开的技术使得视频编码器22能够避免对于f(x,y)执行反变换。实际上，视频编码器22可通过|f(x,y)|的因子缩放预存储经重建残余块R且接着使用预存储经重建残余块R的经缩放版本来估计经重建块。
在本公开的基于模板的重建技术的另一实例中，视频编码器22可预存储TB的经解量化版本。也就是说，在这些实例中，视频编码器22可使用经存储到存储媒体20的(完全或部分)重建块的经解量化版本来重建当前块。换句话说，根据这些实例，视频编码器22可使用预定义经解量化TB及给定主变换或给定辅助变换中的一者或两者来重建当前块。
下文在给定反变换方法(包含主要变换及/或辅助变换)情况下关于M×N TB中的特定系数f(x,y)描述本公开的基于模板的重建技术的基于经解量化TB的实施方案的一个使用状况情境，其中0<＝x<M，0<＝y<N。在此实例中，视频编码器22可通过将f(x,y)设定成特定值及通过将所有其它系数设定成另一值而产生经解量化系数块B。举例来说，视频编码器22可将f(x,y)设定成值一(1)，且可将所有剩余系数设定到零(0)值。而且，视频编码器22可通过将给定反变换应用于B上而预计算经完全或部分重建的残余块R，且可将经重建残余块R预存储到存储器(例如，到存储媒体20及/或视频数据存储器101)。
以此方式，在符号预测期间，如果运用相同反变换在M×N TB中预测经量化系数f(x,y)的符号，那么本公开的技术使得视频编码器22及/或视频解码器30能够避免针对f(x,y)进行反变换。实际上，视频编码器22可首先将经量化系数f(x,y)反量化成f(x,y)'(以表示经解量化系数)，接着视频编码器22可通过|f(x,y)'|的因子缩放预存储经重建残余块R。视频编码器22接着可使用预存储经解量化重建的残余块R的经缩放版本(即，使用经解量化值缩放)来估计经重建块。如上文论述中所说明，视频编码器22可通过任选地使用预存储模板的经解量化TB信息来实施本公开的基于模板的重建技术，其中不同计算复杂度起因于反量化操作的可选使用或不使用。
在本公开的基于模板的重建技术的一些实施方案中，视频编码器22可预存储具有分数精度的经部分及/或完全重建的残余块的集合。在一些实例中，视频编码器22可首先运用预定义因子(例如，2、4、8、16等)缩放经重建残余块的集合，且接着将结果降值舍位到最接近的整数，并存储经降值舍位经缩放结果到存储媒体20及/或视频数据存储器101。以此方式，视频编码器22可增加经预存储重建残余块的精度。此外，在上文所描述的分数精度实施方案及基于缩放/降值舍位的实施方案两者中，视频编码器22可利用本公开的基于模板的重建技术的益处，同时降低关于存储媒体20及/或视频数据存储器101的存储器要求。
根据本公开的基于模板的重建技术的一些实施方案，视频编码器22可预存储具有经剪辑值的经完全及/或部分重建的残余块的集合。在一些情况下，视频编码器22可在存储之前剪辑经重建残余块的值，使得经剪辑值适合表示的限制位范围。举例来说，通过使用负八(-8)的最小值(Vmin)及七(7)的最大值(Vmax)的约束而剪辑所述值，视频编码器22可形成预存储经重建残余值的项目，使得可使用最多四个(4)位呈现所有预存储经重建残余值。在各种使用状况情形中，视频编码器22可根据本公开的各种方面个别地或以任何组合方式利用基于模板的重建技术的分数精度实施方案、缩放/降值舍位实施方案，或基于剪辑的实施方案中的一或多者。
在本公开的基于模板的重建技术的一些实例中，视频编码器22可使用所存储经重建残余块的某些经识别重建残余块的线性组合来重建当前TB。举例来说，线性组合可表示所识别经存储重建残余块的加权和。为计算加权和，视频编码器22可使用预测符号所针对的经量化或经解量化(视具体情况而定)变换系数的量值(还称作“层级值”)确定相应权重。通过使用多个所存储经重建残余块的加权和，视频编码器22可通过利用来自多个先前经重建块的数据改进假设精度。
在一些实例中，视频编码器22可以利用离线计算的方式实施本公开的基于模板的重建技术。因为不同变换及/或量化方法可用于视频编码器22，所以视频编码器22可需要存储用于单一经量化系数块的多个经重建块。为减轻存储要求及减弱存取经预计算残余块的资源消耗，视频编码器22可利用离线计算能力。举例来说，视频编码器22可对预存储残余块执行合并过程，使得多个残余块经合并并由一个残余块表示。在一些实例中，视频编码器22可预定义函数f以从另一预存储残余块导出一个预存储残余块，使得若干残余块中的仅一者可需要被存储。也就是说，在这些实例中，视频编码器22可存储一个残余块，且可使用预定义函数f及单一所存储残余块导出其它残余块。
在本公开的基于模板的重建技术的一些实施方案中，视频编码器22可将经预计算残余块存储到源装置12的芯片外存储器(还称作“外部”存储器)。在一些情况下，经预计算残余块的集合的总大小可较大，且因此可难以存储于芯片上存储器中。为在可用存储约束内操作的同时继续使用本公开的基于模板的重建技术，视频编码器22可预存储经预计算残余块的集合到芯片外存储器，其在一些实例中趋向于表示比芯片上存储器更便宜的存储器。在这些实施方案中，视频编码器22可根据需要仅将残余块载入到芯片上存储器。举例来说，视频编码器22可每较大块或较大图片区域(例如用于最大译码单元(LCU))一次载入残余块。
根据本公开的基于模板的重建技术的一些实施方案，视频编码器22可使用部分残余块的预存储集合中的每一者作为用于符号预测的模板。在一些实例中，视频编码器22可仅存储经预计算残余块的最左边及最顶残余像素。在一个实例中，除了顶部行的一或多个残余像素(从直接定位于左上方残余像素的右边的残余像素开始)的及/或最左边列的一或多个残余像素(从直接定位于左上方残余像素的下方的残余像素开始)外，视频编码器22还可存储左上方残余像素。在一些实例中，视频编码器22可以模板并不由在运作中进行部分反变换而产生的此种方式，结合(本公开的)部分残余块的预存储集合应用Henry中描述的基于模板的符号预测过程。实际上，视频编码器22可通过存取部分残余块的预存储集合，及执行缩放操作而产生模板。
在一些实例中，视频编码器22可根据本公开的方面而配置以执行选择性符号预测。举例来说，视频编码器22可关于低频率变换系数执行选择性符号预测。视频编码器22还可执行选择性符号预测以避免对于离群值块大小(例如极大或极小块大小)的符号预测。下文论述视频编码器22根据本公开的技术可使用的离群值尺寸的实例。为执行本公开的选择性符号预测技术，视频编码器22可确定符号预测被执行或替代地跳过所根据的各种条件。以下段落中描述用于本公开的选择性符号选择方面的各种条件。
视频编码器22可在逐块基础上应用用于本公开的选择性符号预测方面的若干条件。这些条件可涉及各种特征，包含(但不限于)块宽度、块高度、块面积(还称作“大小”)、变换系数频率位置、最后位置、帧内预测模式、是否仅主要变换用以译码块、仅特定变换函数抑或某一变换子集用于译码块、反变换方法、块是经帧内译码还是经帧间译码块，或当前及/或相邻块的任何其它解码信息。
根据本公开的选择性符号预测技术的一些实施方案，如果当前编码块的宽度或当前编码块的高度大于预定义阈值，那么视频编码器22可不应用符号预测。对比而言，根据现有符号预测技术，不管块宽度或高度而将应用符号预测，视具体情况而定。在一些实例中，阈值可经配置，且视频编码器22可发信阈值。在各种实例中，视频编码器22可将阈值设定到包含(但不限于)以下各者的值：4、8、16、32或64。
在本公开的选择性符号预测技术的一些实例中，视频编码器22可将阈值配置为取决于用以编码块的译码模式。举例来说，视频编码器22可针对经帧内译码块及经帧间译码块将阈值配置为不同。在一个实例中，视频编码器22可针对经帧内译码块将阈值设定成32，同时针对经帧间译码块将阈值设定成64。在一些实例中，如果块宽度或块高度的最小值或最大值超过阈值，那么视频编码器22可不应用符号预测。
根据本公开的符号预测技术的一些实例，视频编码器22可不针对未定位于TB的左上方K×L部分中的变换系数应用符号预测。K×L可表示TB的正方形子块，例如具有2×2、3×3、4×4或8×8等的维度的子块。相比之下，根据现有符号预测技术，符号预测将应用于定位于TB的左上K×L部分的外部的变换系数。在一些实例中，K及/或L的值可进一步取决于译码模式及/或量化参数。在表示2×2子块的TB的K×L部分的特定实例中，可存在仅四个(4)可能预测符号。
在本公开的选择性符号预测技术的一些实施方案中，视频编码器22可将在符号预测过程中执行的反变换限制于特定反变换。举例来说，视频编码器22可在假设预测过程期间产生假设的同时强加反变换约束条件。所选择变换可不同于视频编码器22在导出实际系数符号之后所应用以产生实际经重建块的反变换。
在一个此实例中，视频编码器22可在符号预测期间仅使用离散余弦变换类型-II(DCT-II)作为主要反变换。在另一此实例中，在符号预测期间，视频编码器22可置换辅助变换与使用预定义排列矩阵的变换。预定义排列矩阵可包含“+1”及“-1”的项目。在另一实例中，视频编码器22可在符号预测期间使用辅助变换。
根据本公开的选择性符号预测技术的一些实例，视频编码器22可仅针对仅使用主要变换编码的那些块应用符号预测。通过以此方式限制符号预测，视频编码器22可减少编码复杂度，以使得反变换的复杂度可小于起因于共同应用主要变换及辅助变换的复杂度。在另一实例中，视频编码器22可仅对于使用特定变换核心或特定变换集合/子集编码的那些块应用符号预测。以此方式限制符号预测可产生潜在益处，这是因为符号预测可对于所有变换基础/核心并不有效地起作用，且译码复杂度借此可通过以此方式限制符号预测的应用而减少。
本公开的一些方面涉及用于成本函数测量的技术。根据本公开的成本函数测量方面，视频编码器22可利用经先前解码信息(经由重建回路而获得)以测量用于每一假设重建的成本函数。视频编码器22可充分利用用于成本函数测量的经先前解码信息包含(但不限于)当前块的宽度、当前块的高度、当前块的面积(本文中还被称作“大小”)、变换系数频率位置、最后位置、用于编码块的帧内预测模式、评估块是经帧内编码还是经帧间译码，抑或当前及/或邻近块的任何经编码信息。
在一些实例中，视频编码器22(或其一或多个组件)可通过测量邻近块的经重建样本与沿边界定位的当前块的经重建样本之间的差实施本公开的成本函数测量方面。所测量差在本文中还被称作“梯度”以说明差可表达为曲线的给出点处的斜率。也就是说，视频编码器22可实施本公开的成本函数测量技术以测量沿边界定位的邻近经重建样本与当前块的经重建样本之间比较的二阶(差或梯度)信息，而非测量表示样本值的一阶信息。
根据此实施方案，视频编码器22可通过从定位于当前块边界处的预测样本减去邻近经重建样本(或反之亦然)产生估计的边界残余样本。也就是说，视频编码器22可使用减法运算以获得表示为所估计边界残余样本与候选边界残余样本之间的差的二阶信息。对于符号的每一候选组合，所产生残余样本表示“候选残余样本”的集合。通过使用邻近残余样本与当前块的边界介接残余样本之间的二阶梯度信息，视频编码器22可避免重复重建过程的情况，其中相同预测样本用以多次产生候选残余样本。以此方式，本公开的技术使得视频编码器22能够减少计算资源消耗并节省为了冗余候选残余样本产生及冗余候选残余样本信息的发信而另外将被消耗的带宽。
在本公开的成本函数测量技术的一些实例中，视频编码器22可经配置以测量沿帧内预测方向的像素值差(在本文中还被称作“像素梯度值”)以测量成本函数。在一个此实例中，视频编码器22可预选择所允许帧内预测方向的部分子集，且可将每一所允许的帧内预测方向映射到可用以接近于帧内预测方向的经预先选择帧内方向中的一者。在此实例中，视频编码器22可在成本函数计算时测量沿映射方向的像素值差。
在帧内预测方向不可用于视频编码器22的状况下(例如，在所评估块中的一者经帧间译码的情况下)，视频编码器22可实际上导出帧内预测模式。视频编码器22可从空间相邻译码块或通过经译码图片中的运动向量所识别的块导出帧内预测模式。如果帧内预测方向指向分数位置，那么视频编码器22可应用内插过程以导出分数位置的值。视频编码器22可应用用于产生帧内预测块的内插滤波器，或可实际上使用不同(例如，较简单)内插滤波器。
根据本公开的成本函数测量方面中的一些，视频编码器22可使用像素值差的二阶或更高阶(N阶，其中“N”表示二或大于二的整数值)测量成本函数。举例来说，视频编码器22可使用多个参考线(例如，两个或大于两个)以测量代价值。视频编码器22用于测量代价值的参考线的数目可取决于经编码信息，包含(但不限于)帧内预测模式及/或相邻经重建值。在一些情况下，视频编码器22可将参考线的最大数目设定成等于用于帧内预测的参考线的所需要数目。
根据本公开的成本函数测量方面的一些实施方案，视频编码器22可取决于是否满足一或多个给定准则而从成本函数测量操作排除一些像素。在一个实例中，视频编码器22使用一阶、二阶(梯度)或N阶导数的绝对值是否低于给定阈值的准则。在另一实例中，视频编码器22使用用以计算N阶导数的相邻经重建样本是否可用的准则。在又一实例中，视频编码器22使用恒等变换抑或变换跳过应用于水平或竖直变换的准则。
根据本公开的成本函数测量方面的一些实施方案，视频编码器22可在使用相邻经重建值测量代价时计算多个方向的代价值。也就是说，视频编码器22可计算多个方向的代价值而非计算沿固定或预定义方向(例如，对于左边块边界的水平方向及对于顶部块边界的竖直方向)的一阶、二阶(梯度)或N阶差。实情为，根据这些实施方案，视频编码器22计算多个方向的代价值且使用最小代价用于测量代价。
在本公开的成本函数测量技术的一些实例中，对于相对较大块大小，视频编码器22可使用经下采样假设重建计算成本函数。通过使用经下采样假设重建用于成本函数测量，视频编码器22可减少关于较大块大小的成本函数应用的复杂度。根据本公开的成本函数测量技术中的一些，视频编码器22可仅对于经重建块及邻近块中的部分像素测量像素值差。部分像素可例如为拐角像素。对于拐角像素，误差通常趋向于较大。在另一实例中，视频编码器22可基于为潜在离群值的拐角像素从差测量排除拐角像素，或可指派不同权重到所选择像素。
根据本公开的成本函数测量方面的一些实施方案，视频编码器22可以预测符号的数目取决于先前经编码信息的方式确定预测符号的数目(例如，0、1、2、3、4、5、6等)。视频编码器22可用于确定预测符号的数目的先前编码信息的非限制性实例包含(但不限于)帧内预测模式、块宽度/高度、块大小(面积)、QP、彩色分量、时间层、块是经帧内编码还是经帧间编码、是应用变换跳过还是恒等变换、是否应用不可分离辅助变换、经量化系数、增强的多个变换(EMT)索引的呈现/值，或位置相依预测组合(PDPC)旗标或索引的呈现/值。
根据本公开的成本函数测量方面的一些实施方案，视频编码器22可在多个“M”符号被预测时以单元或群组方式执行符号预测。也就是说，视频编码器22可对于群组执行符号预测，而非测试所有可能的2^M个假设重建，其中“M”个符号分成“N”个群组。如果剩余符号群组尚未被预测，那么视频编码器22可通过将符号的剩余群组设定为经先前预测值或默认值而预测每一符号群组。视频编码器22可多轮反复基于群组的符号预测过程直到预定义限制满足为止。视频编码器22可在预测具有相对低系数层级的符号群组之前预测具有较大变换系数层级的符号群组。视频编码器22可在每一群组的预测符号不再变化时终止反复，或反复数目已满足预定义阈值，或反复(例如，后续反复)之间的代价差已停止超过某一阈值。
以下段落描述大体上涉及待预测的系数符号的选择的本公开的方面。根据本公开的系数符号选择方面，视频编码器22可通过利用已可用的解码信息(例如，经由通过视频编码器22实施的解码回路)选择及/或确定预测的变换系数。视频编码器22可用于系数符号选择的先前解码的信息包含(但不限于)以下各者中的一或多者：当前块的宽度、当前块的高度、当前块的面积(还称作“大小”)、当前块内的变换系数频率位置、最后位置、用以编码当前块及/或相邻块的帧内预测模式、符号数据掩蔽是否关于当前及/或相邻块而应用、当前及/或相邻块是经帧内译码还是经帧间译码，或当前及/或相邻块的任一解码信息。在各种实例中，视频编码器22(或其一或多个组件)可实施本公开的系数符号选择方面，使得预测符号的最大数目取决于当前块是经帧间译码还是经帧内译码。在一些实例中，视频编码器22可基于应用于反量化块的反变换方法(例如，其为主要及/或辅助变换)设定预测符号的最大数目。
在一些实例中，视频编码器22可甚至在符号预测应用于块(TB)时应用符号掩蔽。在这些实例中，视频编码器22可掩蔽在前向扫描次序中的最后非零系数的符号，而非掩蔽在前向扫描次序中的第一非零系数。另外，在一些此类实例中，视频编码器22可不在CG层级处执行符号数据掩蔽。也就是说，在这些情况中，连续非零系数(即使定位于不同CG中)可被联合地认为用于符号数据掩蔽。
在一些实例中，视频编码器22可预定义若干阈值(表示为t0,t1,…,tN)，其中t0>t1>…>tN。在这些实例中，视频编码器22可按降序导出若干区间为(t0,+∞)、[t1,t0),…[tN,tN-1)。此外，视频编码器22可比较经解量化系数层级与给定区间中的每一者直到视频编码器22识别或检测到涵盖反量化系数层级的一个区间。视频编码器22可根据阈值的降序识别系数的符号为经预测符号。
举例来说，视频编码器22可首先将区间(t0,+∞)中的系数的符号放置到预测符号的列表中，且接着将区间[t1,t0)中的系数的符号放置到预测符号的列表中。视频编码器22可继续针对每一区间按降序反复此过程直到预测符号的数目到达预测符号的预定义最大数目，或视频编码器22已检查所有可用区间为止。如果视频编码器22确定系数具有小于tN的层级，那么视频编码器22可不将符号认为是预测符号。(600,+∞)、[300,600)表示常用或甚到典型设定。在此实例中，视频编码器22可并不将小于300的经解量化系数层级的符号认为预测的符号。
本公开的一些方面涉及确定CABAC上下文以用于译码系数符号。也就是说，根据这些技术，视频编码器22可通过针对系数层级的不同区间设定不同上下文而定义符号的上下文值。再次，区间可基于各种特征而变化。视频编码器22用以编码系数符号的上下文值可取决于对应系数的经解量化层级(例如，绝对值)。视频编码器22可预定义若干区间，且可使用经解量化层级值所属的区间的索引来确定上下文值中的一者。
区间的实例设定为(0,600)、[600,+∞)或(0,600]、(600,+∞)。在此区间设定情况下，如果系数层级落在(0,600)的范围内，那么视频编码器22可将上下文值设定成零(0)。否则(即，如果系数层级落在(0,600)范围外部)，视频编码器22可将上下文值设定成一(1)。在各种实例中，视频编码器22(或其一或多个组件)可实施本公开的CABAC上下文确定方面以将区间确定为取决于经先前编码信息，包含(但不限于)块的QP、块面积(“大小”)、块宽度或块高度中的一或多者。
本公开的各种方面涉及用于假设的搜索次序，例如用于视频编码器22可在块的假设重建期间形成的两个假设中的一者。再次，每一假设由候选符号值的一个可能组合组成。举例来说，如果视频编码器22预测两个符号，那么视频编码器22可需要形成总共四个假设。也就是说，在两个符号情境中，视频编码器22可形成候选符号值的四个可能组合，包含以下：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,0}
假设索引3：{1,1},
其中第一数字指示第一预测符号，且第二数字指示第二预测符号。在上述实例中，零(0)指示正号，而一(1)指示负号。每一假设中的候选符号值的组合对应于假设索引的二进制化表示。举例来说，{1,1}组合产生假设索引三，这是因为2^0位及2^1位两者均设定成“1”值。如果译码装置按递增次序或递减次序搜索假设，那么在两个相邻假设之间可存在符号值的大于一个变化。如以上实例所示，从假设索引1转变到假设索引2，值发生两个符号变化(例如，通过双态切换)。因而涉及两个符号的双态切换的边界样本变化可需要在假设重建中加以考虑。
为考虑某些边界样本的两个符号双态切换，视频编码器22可根据下文所描述的技术中的一或多者实施本公开的假设搜索次序方面。为减少复杂度，根据本公开的方面，视频编码器22可在格雷(Gray)码之后实施搜索次序。根据基于格雷码的符号指派，视频编码器22可根据以下符号索引指派搜索四个假设：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,1}
假设索引3：{1,0}
如上文所示，当两个相邻假设之间发生转变时本公开的基于格雷码的假设指派导致仅一个符号值经双态触发。以此方式，基于针对先前假设产生的边界样本值，根据本公开的方面，视频编码器22可通过始终考虑通过仅一个符号引发的变化(双态触发)产生用于当前假设的边界样本值。以此方式，视频编码器22可通过并入格雷码到假设搜索次序中实施本公开的技术以减少假设产生的复杂度，且调整代价计算过程。
图5为说明经配置以实施本公开的技术的实例视频解码器30的框图。出于解释的目的而提供图5，且其并不限制如本公开中所广泛例示及描述的技术。出于解释的目的，本公开描述在HEVC译码的上下文中的视频解码器30。然而，本公开的技术可适用于其它译码标准或方法。
在图5的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重建单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的经编码视频数据，例如经编码视频位流。存储于视频数据存储器151中的视频数据可(例如)经由视频数据的有线或无线网络通信例如从计算机可读媒体16(例如，从本地视频源，例如相机)或通过存取物理数据存储媒体获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于由视频解码器30在解码视频数据(例如，以帧内或帧间译码模式)时使用，或用于输出的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或独立存储器装置提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器151可与图1的存储媒体28相同或为图1的存储媒体28的部分。
视频数据存储器151接收并存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如，NAL单元)，且可剖析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重建单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行大体上与熵编码单元118的所述过程互逆的过程。在各种实例中，熵解码单元150可经配置以实施本公开的一或多种技术。
根据本公开的一些实例，熵解码单元150可确定树型结构作为从位流获得语法元素的部分。树型结构可指定如何将初始视频块(例如，CTB)分割成较小视频块(例如，译码单元)。根据本公开的一或多种技术，对于在树型结构的每一深度层级处的树型结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的分裂图案且对应于相应非叶节点的视频块根据所述多个允许的分裂图案中的一者而分割成对应于相应非叶节点的子节点的视频块。
除从位流获得语法元素之外，视频解码器30可对未经分割的CU执行重建操作。为对CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建CU的残余块。
作为对CU的TU执行重建操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块，以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果使用帧间预测编码PU，那么熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如，预测性明度、Cb及Cr块)。
重建单元158可使用CU的TU的变换块(例如，明度、Cb及Cr变换块)及CU的PU的预测性块(例如，明度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重建CU的译码块(例如，明度、Cb及Cr译码块)。举例来说，重建单元158可添加变换块(例如，明度、Cb及Cr变换块)的样本到预测性块(例如，明度、Cb及Cr预测性块)的对应样本来重建CU的译码块(例如，明度、Cb及Cr译码块)。
滤波器单元160可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
根据本公开的一些方面，视频解码器30可使用经重建残余样本的预存储集合以执行假设重建。视频解码器30借以使用预存储经重建残余样本所藉以的本公开的技术在本文中通常称为“基于模板的重建”技术，且可表示对应于上文关于视频编码器22所描述的基于模板的重建技术的解码器侧操作。在根据本公开的方面的基于模板的重建的一些情况下，视频解码器30可存储一或多个经完全重建及/或经部分重建的残余块，且接着使用所存储信息的某一组合(例如，线性组合)以形成模板。
举例来说，预存储经重建残余样本可存储到视频解码器30的处理电路可存取(例如，经由直接或间接通信耦合)的任一存储器，例如目的地装置14的存储媒体28及/或视频数据存储器151。而且，视频解码器30可使用模板来导出所有可能的经重建值。残余块的每一存储集合可使用预定义变换系数块来预计算。为执行假设重建，视频解码器30可将经完全及/或部分重建的残余块的选定群组识别为所存储集合，且使用以此方式识别的经重建残余块的某一组合产生/估计假设重建。
如上文所论述，视频解码器30(及/或其组件)可根据本公开的方面经配置以减轻与现有符号预测技术相关联的各种问题。根据本公开的基于模板的重建技术的一些实例，视频解码器30可使用预定义经量化变换系数块(TB)、给定反量化参数及给定主要变换及/或给定辅助变换来形成所存储集合的每一经重建块。下文关于特定系数论述实例，所述特定系数的位置在M×N TB中经表示为f(x,y)，其中0<＝x<M，0<＝y<N。给定反变换方法(包含主要变换及/或辅助变换)及反量化参数，视频解码器30可通过将f(x,y)设定成特定值，及通过将所有其它系数设定成与经指派给f(x,y)的值不同的值产生经量化系数块(表示为B)。举例来说，视频解码器30可将f(x,y)的值设定成一(1)，且可将所有其它系数设定成零(0)。
而且，视频解码器30可通过对经量化系数块B应用给定反量化及反变换来预计算经完全或部分重建的残余块(表示为R)。视频解码器30可预存储经重建残余块R到存储器(例如，到目的地装置14的存储媒体28及/或到视频数据存储器101)。通过预存储经部分或完全重建的块R，视频解码器30可充分利用现有资源(例如，呈存储媒体20及/或视频数据存储器151的形式)以高速缓存可用于改进在后期执行的计算的效率的经预计算信息。以此方式，在符号预测操作期间，如果系数f(x,y)的符号需要在M×N TB中运用相同反变换及反量化参数来预测，那么本公开的技术使得视频解码器30能够避免对于f(x,y)执行反变换。实际上，视频解码器30可通过|f(x,y)|的因子缩放预存储经重建残余块R且接着使用预存储经重建残余块R的经缩放版本以估计经重建块。
在本公开的基于模板的重建技术的另一实例中，视频解码器30可预存储TB的经解量化版本。也就是说，在这些实例中，视频解码器30可使用经存储到存储媒体28的(完全或部分)重建块的经解量化版本来重建当前块。换句话说，根据这些实例，视频解码器30可使用预定义经解量化TB，及给定主要变换或给定辅助变换中的一者或两者重建当前块。
下文在给定反变换方法(包含主要变换及/或辅助变换)情况下关于M×N TB中的特定系数f(x,y)描述本公开的基于模板的重建技术的基于经解量化TB的实施方案的一个使用状况情境，其中0<＝x<M，0<＝y<N。在此实例中，视频解码器30可通过将f(x,y)设定成特定值，及通过将所有其它系数设定成另一值产生经解量化系数块B。举例来说，视频解码器30可将f(x,y)设定成值一(1)，且可将所有剩余系数设定成值零(0)。而且，视频解码器30可通过对B应用给定反变换预计算经完全或部分重建的残余块R，且可预存储经重建残余块R到存储器(例如，到存储媒体28及/或视频数据存储器151)。
以此方式，在符号预测期间，如果经量化系数f(x,y)的符号需要运用相同反变换在M×N TB中来预测，那么本公开的技术使得视频解码器30及/或视频解码器30能够避免针对f(x,y)进行反变换。实际上，视频解码器30可首先将经量化系数f(x,y)反量化成f(x,y)'(以表示经解量化系数)，接着视频解码器30可通过|f(x,y)'|的因子缩放预存储经重建残余块R。视频解码器30接着可使用预存储经解量化重建的残余块R的经缩放版本(即，使用经解量化值缩放)来估计经重建块。如上文论述中所说明，视频解码器30可通过任选地使用预存储模板的经解量化TB信息来实施本公开的基于模板的重建技术，其中不同计算复杂度起因于反量化操作的可选使用或不使用。
在本公开的基于模板的重建技术的一些实施方案中，视频解码器30可以分数精度预存储经部分及/或完全重建残余块的集合。在一些实例中，视频解码器30可首先运用预定义因子(例如，2、4、8、16等)缩放经重建残余块的集合，且接着降值舍位结果到最接近的整数，且存储降值舍位经缩放结果到存储媒体28及/或视频数据存储器151。以此方式，视频解码器30可增加经预存储重建残余块的精度。此外，在上文所描述的分数精度实施方案及基于缩放/降值舍位的实施方案两者中，视频解码器30可利用本公开的基于模板的重建技术的益处，同时减少关于存储媒体28及/或视频数据存储器151的存储器要求。
根据本公开的基于模板的重建技术的一些实施方案，视频解码器30可预存储具有经剪辑值的经完全及/或部分重建的残余块的集合。在一些情况下，视频解码器30可在存储之前剪辑经重建残余块的值，使得经剪辑值适合表示的限制位范围。举例来说，通过使用负八(-8)的最小值(Vmin)及七(7)的最大值(Vmax)的约束而剪辑所述值，视频解码器30可形成预存储经重建残余值的项目，使得可使用最多四个(4)位呈现所有预存储经重建残余值。在各种使用状况情形中，视频解码器30可根据本公开的各种方面个别地或以任何组合方式利用分数精度实施方案、缩放/降值舍位实施方案，或基于模板的重建技术的基于剪辑的实施方案中的一或多者。
在本公开的基于模板的重建技术的一些实例中，视频解码器30可使用所存储经重建残余块的某些经识别重建残余块的线性组合来重建当前TB。举例来说，线性组合可表示所识别经存储重建残余块的加权和。为计算加权和，视频解码器30可使用预测符号所针对的经量化或经解量化(视具体情况而定)变换系数的量值(还称作“层级值”)确定相应权重。通过使用多个所存储经重建残余块的加权和，视频解码器30可通过利用来自多个先前经重建块的数据改进假设精度。
在一些实例中，视频解码器30可以利用离线计算的方式实施本公开的基于模板的重建技术。因为不同变换及/或量化方法可用于视频解码器30，视频解码器30可需要存储用于单一经量化系数块的多个经重建块。为减轻存储要求及减弱存取经预计算残余块的资源消耗，视频解码器30可利用离线计算能力。举例来说，视频解码器30可对预存储残余块执行合并过程，使得多个残余块经合并并由一个残余块表示。在一些实例中，视频解码器30可预定义函数f以从另一预存储残余块导出一个预存储残余块，使得若干残余块中的仅一者可需要被存储。也就是说，在这些实例中，视频解码器30可存储一个残余块，且可使用预定义函数f及单一存储的残余块导出其它残余块。
在本公开的基于模板的重建技术的一些实施方案中，视频解码器30可存储经预计算残余块到源装置12的芯片外存储器(还称作“外部”存储器)。在一些情况下，经预计算残余块的集合的总大小可较大，且因此可难以存储于芯片上存储器中。为在可用存储约束内操作的同时继续使用本公开的基于模板的重建技术，视频解码器30可预存储经预计算残余块的集合到芯片外存储器，其在一些实例中趋向于表示比芯片上存储器更便宜的存储器。在这些实施方案中，视频解码器30仅可根据需要载入残余块到芯片上存储器。举例来说，视频解码器30可每较大块或较大图片区域(例如用于最大译码单元(LCU))一次载入残余块。
根据本公开的基于模板的重建技术的一些实施方案，视频解码器30可使用部分残余块的预存储集合中的每一者作为用于符号预测的模板。在一些实例中，视频解码器30可仅存储经存储用于经预计算残余块的最左边及最顶残余像素。在一个实例中，除了顶部行的一或多个残余像素(从直接定位于左上方残余像素的右边的残余像素开始)及/或最左边列的一或多个残余像素(从直接定位于左上方残余像素的下方的残余像素开始)外，视频解码器30还可存储左上方残余像素。在一些实例中，视频解码器30可以模板并不由在运作中进行部分反变换而产生的此种方式，结合(本公开的)部分残余块的预存储集合应用Henry中描述的基于模板的符号预测过程。实际上，视频解码器30可通过存取部分残余块的预存储集合，及执行缩放操作而产生模板。
在一些实例中，视频解码器30可根据本公开的方面而配置以执行选择性符号预测。举例来说，视频解码器30可关于低频率变换系数执行选择性符号预测。视频解码器30还可执行选择性符号预测以避免用于离群值块大小(例如极大或极小块大小)的符号预测。下文论述视频解码器30根据本公开的技术可使用的离群值尺寸的实例。为执行本公开的选择性符号预测技术，视频解码器30可确定符号预测被执行或替代地跳过所根据的各种条件。以下段落中描述用于本公开的选择性符号选择方面的各种条件。
视频解码器30可在逐块基础上应用用于本公开的选择性符号预测方面的若干条件。这些条件可涉及各种特征，包含(但不限于)块宽度、块高度、块面积(还称作“大小”)、变换系数频率位置、最后位置、帧内预测模式、是否仅主要变换用以译码块、仅特定变换函数抑或某一变换子集用于译码块、反变换方法、块是经帧内译码还是经帧间译码块，或当前及/或相邻块的任何其它解码信息。
根据本公开的选择性符号预测技术的一些实施方案，如果当前解码块的宽度或当前解码块的高度大于预定义阈值，那么视频解码器30可不应用符号预测。相比之下，根据现有符号预测技术，不管块宽度或高度而将应用符号预测，视具体情况而定。在一些实例中，阈值可为可配置的，且视频解码器30可接收通过视频编码器22发信的经编码视频位流中的阈值。在各种实例中，视频解码器30可将阈值(使用经发信信息或另外方式)设定成包含(但不限于)4、8、16、32或64的值。
在本公开的选择性符号预测技术的一些实例中，视频解码器30可将阈值配置为取决于编码块所根据的译码模式(且相反地，视频解码器30可使用所述模式来解码经编码块)。举例来说，视频解码器30可针对经帧内译码块及经帧间译码块将阈值配置为不同。在一个实例中，视频解码器30可针对经帧内译码块将阈值设定成32，同时针对经帧间译码块将阈值设定成64。在一些实例中，如果块宽度或块高度的最小值或最大值超过阈值，那么视频解码器30可不应用符号预测。
根据本公开的符号预测技术的一些实例，视频解码器30可不针对未定位于TB的左上方K×L部分中的变换系数应用符号预测。K×L可表示TB的正方形子块，例如具有2×2、3×3、4×4或8×8等的维度的子块。相比之下，根据现有符号预测技术，符号预测将应用于定位于TB的左上K×L部分的外部的变换系数。在一些实例中，K及/或L的值可进一步取决于译码模式及/或量化参数。在表示2×2子块的TB的K×L部分的特定实例中，可存在仅四个(4)可能符号预测。
在本公开的选择性符号预测技术的一些实施方案中，视频解码器30可将在符号预测过程中执行的反变换限制于某一(些)反变换。举例来说，视频解码器30可在假设预测过程期间产生假设的同时强加反变换约束条件。所选择变换可不同于视频解码器30在导出实际系数符号之后所应用以产生实际经重建块的反变换。
在一个此实例中，视频解码器30可在符号预测期间仅使用离散余弦变换类型-II(DCT-II)作为主要反变换。在另一此实例中，在符号预测期间，视频解码器30可置换辅助变换与使用预定义排列矩阵的变换。预定义排列矩阵可包含“+1”及“-1”的项目。在另一实例中，视频解码器30可在符号预测期间不使用辅助变换。
根据本公开的选择性符号预测技术的一些实例，视频解码器30可将符号预测仅应用于使用仅主要变换编码的那些编码块。通过以此方式限制符号预测，视频解码器30可减少译码复杂度，使得反变换的复杂度可小于起因于经共同应用的主要变换及辅助变换的复杂度。在另一实例中，视频解码器30可仅对于使用某一变换核心或某一变换集合/子集编码的那些编码块应用符号预测。以此方式限制符号预测可产生潜在益处，这是因为符号预测可对于所有变换基础/核心并不有效地起作用，且译码复杂度借此可通过以此方式限制符号预测的应用而减少。
本公开的一些方面涉及用于成本函数测量的技术。根据本公开的成本函数测量方面，视频解码器30可利用经先前解码信息(经由解码回路而获得)以测量用于每一假设重建的成本函数。视频解码器30可充分利用用于成本函数测量的先前解码信息包含(但不限于)：当前块的宽度、当前块的高度、当前块的面积(本文中还称作“大小”)、变换系数频率位置、最后位置、用于编码块的帧内预测模式、所评估块是经帧内译码还是经帧间译码，或当前及/或相邻块的任一解码信息。
在一些实例中，视频解码器30(或其一或多个组件)可通过测量相邻块的经重建样本与沿着边界定位的当前块的经重建样本之间的差而实施本公开的成本函数测量方面。所测量差在本文中还被称作“梯度”以说明差可表达为曲线的给出点处的斜率。也就是说，视频解码器30可实施本公开的成本函数测量技术以测量相邻经重建样本与沿着边界定位的当前块的经重建样本之间比较的二阶(差或梯度)信息，而非测量表示样本值的一阶信息。
根据此实施方案，视频解码器30可通过从定位于当前块边界处的预测样本减去相邻经重建样本(或反之亦然)产生估计的边界残余样本。也就是说，视频解码器30可使用减法运算以获得表示为所估计边界残余样本与候选边界残余样本之间的差的二阶信息。对于符号的每一候选组合，所产生残余样本表示“候选残余样本”的集合。通过使用相邻残余样本与当前块的边界介接残余样本之间的二阶梯度信息，视频解码器30可避免重复重建过程的情况，其中相同预测样本用以多次产生候选残余样本。以此方式，本公开的技术使得视频解码器30能够减少另外为冗余候选残余样本产生将耗尽的计算资源消耗。以此方式，视频解码器30还可通过减少视频编码器22发信经编码视频位流中的冗余候选残余样本信息的需要而减少带宽要求。
在本公开的成本函数测量技术的一些实例中，视频解码器30可经配置以测量沿着用以测量成本函数的帧内预测方向的像素值差(在本文中还被称作“像素梯度值”)。在一个此实例中，视频解码器30可预选择所允许帧内预测方向的部分子集，且可将每一所允许的帧内预测方向映射到可用以接近于帧内预测方向的经预先选择帧内方向中的一者。在此实例中，视频解码器30可在成本函数计算时测量沿映射方向的像素值差。
在帧内预测方向不可用于视频解码器30的状况下(例如，在所评估块中的一者经帧间译码的情况下)，视频解码器30可实际上导出帧内预测模式。视频解码器30可从空间相邻译码块，或通过经译码图片中的运动向量识别的块导出帧内预测模式。如果帧内预测方向指向分数位置，那么视频解码器30可应用内插过程以导出分数位置的值。视频解码器30可应用用于产生帧内预测块的内插滤波器，或可实际上使用不同(例如，较简单)内插滤波器。
根据本公开的成本函数测量方面中的一些，视频解码器30可使用像素值差的二阶或更高阶(N阶，其中“N”表示二或更大的整数值)测量成本函数。举例来说，视频解码器30可使用多个参考线(例如，两个或大于两个)以测量代价值。视频解码器30用于测量代价值的参考线的数目可取决于经译码信息，包含(但不限于)帧内预测模式及/或相邻经重建值。在一些情况下，视频解码器30可将参考线的最大数目设定成等于用于帧内预测的参考线的所需要数目。
根据本公开的成本函数测量方面的一些实施方案，视频解码器30可取决于是否满足一或多个给定准则而从成本函数测量操作排除一些像素。在一个实例中，视频解码器30使用一阶、二阶(梯度)或N阶导数的绝对值是否小于给定阈值的准则。在另一实例中，视频解码器30使用用以计算N阶导数的相邻经重建样本是否可用的准则。在又一实例中，视频解码器30使用恒等变换抑或变换跳过应用于水平或竖直变换的准则。
根据本公开的成本函数测量方面的一些实施方案，视频解码器30(在使用相邻经重建值测量代价时)可计算多个方向的代价值。也就是说，视频解码器30可计算多个方向的代价值，而非计算沿着固定或预定义方向(例如，对于左块边界的水平方向及对于顶部块边界的竖直方向)的一阶、二阶(梯度)或N阶差值。实情为，根据这些实施方案，视频解码器30计算多个方向的代价值，且使用用于测量代价的最小代价。
在本公开的成本函数测量技术的一些实例中，对于相对较大块大小，视频解码器30可使用经下采样假设重建来计算成本函数。通过使用经下采样假设重建用于成本函数测量，视频解码器30可减少关于较大块大小的成本函数应用的复杂度。根据本公开的成本函数测量技术中的一些，视频解码器30可仅针对经重建块及相邻块中的部分像素测量像素值差。部分像素可例如为拐角像素。对于拐角像素，误差通常趋向于较大。在另一实例中，视频解码器30可基于为潜在离群值的拐角像素从差测量排除拐角像素，或可指派不同权重到所选择像素。
根据本公开的成本函数测量方面的一些实施方案，视频解码器30可以预测符号的数目取决于先前经解码信息的方式确定预测符号的数目(例如，0、1、2、3、4、5、6等)。视频解码器30可用于确定预测符号的数目的先前解码信息的非限制性实例包含但不限于帧内预测模式、块宽度/高度、块大小(面积)、QP、色彩分量、时间层、块是经帧内译码还是经帧间译码、是一样变换跳过还是恒等变换、是否应用不可分离辅助变换、经量化系数、增强的多变换(EMT)索引的呈现/值，或位置相依预测组合(PDPC)旗标或索引的呈现/值。
根据本公开的成本函数测量方面的一些实施方案，视频解码器30可在多个“M”符号被预测时，以单元或群组方式执行符号预测。也就是说，视频解码器30可对于群组执行符号预测，而非测试所有可能的2^M个假设重建，其中“M”个符号分成“N”个群组。如果剩余群组符号尚未被预测，那么视频解码器30可通过将剩余群组符号设定为经先前预测值或默认值而预测每一群组符号。视频解码器30可多轮反复基于群组的符号预测过程直到预定义限制满足为止。视频解码器30可在预测具有相对低系数层级的群组符号之前预测具有较大变换系数层级的群组符号。视频解码器30可在每一群组的预测符号不再变化，或反复数目已满足预定义阈值，或反复(例如，后续反复)之间的代价差已停止超过某一阈值时终止反复。
以下段落描述大体上涉及待预测的系数符号的选择的本公开的方面。根据本公开的系数符号选择方面，视频解码器30可通过利用已可用的解码信息(例如，经由通过视频解码器30实施的解码回路)选择经预测变换系数。视频解码器30可用于系数符号选择的先前解码的信息包含(但不限于)以下各者中的一或多者：当前块的宽度、当前块的高度、当前块的面积(还称作“大小”)、当前块内的变换系数频率位置、最后位置、编码当前块及/或相邻块所根据的帧内预测模式、符号数据掩蔽是否关于当前及/或相邻块而应用、当前及/或相邻块是经帧内译码还是经帧间译码，或当前及/或相邻块的任一解码信息。在各种实例中，视频解码器30(或其一或多个组件)可实施本公开的系数符号选择方面，以使得预测符号的最大数目取决于当前块是经帧间译码还是经帧内译码。在一些实例中，视频解码器30可基于应用于反量化块的反变换方法(例如，其为主要及/或辅助变换)设定预测符号的最大数目。
在一些实例中，视频解码器30可甚至在符号预测应用于块(TB)时应用符号掩蔽。在这些实例中，视频解码器30可掩蔽在前向扫描次序中的最后非零系数的符号，而非掩蔽在前向扫描次序中的第一非零系数。另外，在一些这些实例中，视频解码器30可并不在CG层级处执行符号数据掩蔽。也就是说，在这些情况中，连续非零系数(即使定位于不同CG中)可被联合地认为用于符号数据掩蔽。
在一些实例中，视频解码器30可预定义若干阈值(表示为t0,t1,…,tN)，其中t0>t1>…>tN。在这些实例中，视频解码器30可按降序导出若干区间为(t0,+∞)、[t1,t0),…[tN,tN-1)。此外，视频解码器30可比较经解量化系数层级与给定区间中的每一者直到视频解码器30识别或检测到涵盖反量化系数层级的一个区间。视频解码器30可根据阈值的降序识别系数的符号为经预测符号。
举例来说，视频解码器30可首先将区间(t0,+∞)中的系数的符号放置到预测符号的列表中，且接着将区间[t1,t0)中的系数的符号放置到预测符号的列表中。视频解码器30可继续针对每一区间按降序反复此过程直到预测符号的数目到达预测符号的预定义最大数目，或视频解码器30已检查所有可用区间为止。如果视频解码器30确定系数具有小于tN的层级，那么视频解码器30可不将符号认为是预测符号。(600,+∞)、[300,600)表示常用或甚至典型设定。在此实例中，视频解码器30可并不将小于300的经解量化系数层级的符号认为预测的符号。
本公开的一些方面涉及确定CABAC上下文以用于译码系数符号。也就是说，根据这些技术，视频解码器30可通过针对系数层级的不同区间设定不同上下文而定义符号的上下文值。再次，区间可基于各种特征而变化。视频解码器30用以编码系数符号的上下文值可取决于对应系数的经解量化层级(例如，绝对值)。视频解码器30可预定义若干区间，且可使用经解量化层级值所属的区间的索引来确定上下文值中的一者。
区间的常用或甚至典型设定为(0,600)、[600,+∞)或(0,600]、(600,+∞)。在此区间设定情况下，如果系数层级落在(0,600)的范围内，那么视频解码器30可将上下文值设定成零(0)。否则(即如果系数层级落在(0,600)范围外部)，视频解码器30可将上下文值设定成一(1)。在各种实例中，视频解码器30(或其一或多个组件)可实施本公开的CABAC上下文确定方面以确定区间为取决于经先前解码信息，包含(但不限于)用于块的QP、块面积(“大小”)、块宽度或块高度中的一或多者。
本公开的各种方面涉及用于假设的搜索次序，例如用于视频解码器30可在块的假设重建期间形成的两个假设中的一者。再次，每一假设由候选符号值的一个可能组合组成。举例来说，如果视频解码器30预测两个符号，那么视频解码器30可需要形成总共四个假设。也就是说，在两个符号情境中，视频解码器30可形成候选符号值的四个可能组合，包含以下：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,0}
假设索引3：{1,1}，
其中第一数字指示第一预测符号，且第二数字指示第二预测符号。在上述实例中，零(0)指示正号，而一(1)指示负号。每一假设中的候选符号值的组合对应于假设索引的二进制化表示。举例来说，{1,1}组合产生假设索引三，这是因为2^0位及2^1位两者均设定成“1”值。如果译码装置按递增次序或递减次序搜索假设，那么在两个相邻假设之间可存在符号值的大于一个变化。如以上实例所示，从假设索引1转变到假设索引2，值发生两个符号变化(例如，通过双态切换)。因而涉及两个符号的双态切换的边界样本变化可需要在假设重建中加以考虑。
为考虑某些边界样本的两符号双态切换，视频解码器30可根据下文所描述的技术中的一或多者实施本公开的假设搜索次序方面。为减少复杂度，根据本公开的方面，视频解码器30可在格雷码之后实施搜索次序。根据基于格雷码的符号指派，视频解码器30可根据以下符号索引指派搜索四个假设：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,1}
假设索引3：{1,0}
如上文所示，当两个相邻假设之间发生转变时本公开的基于格雷码的假设指派导致仅一个符号值经双态触发。以此方式，基于针对先前假设产生的边界样本值，根据本公开的方面，视频解码器30可通过始终考虑通过仅一个符号引发的变化(双态触发)产生用于当前假设的边界样本值。以此方式，视频解码器30可通过并入格雷码到假设搜索次序中实施本公开的技术以减少假设产生的复杂度，且调整代价计算过程。
图6为说明作为当前块的假设重建的部分的视频译码装置可执行本公开的基于模板的重建技术所藉以的实例过程180的流程图。尽管多种视频译码装置可执行过程180，但图6经描述为通过视频解码器30(且更特定地说，其处理电路)执行，作为非限制性实例。过程180可在视频解码器30的处理电路识别预存储残余样本的集合时开始(182)。举例来说，视频解码器30的处理电路可识别可从视频数据存储器151获得的预存储视频数据内的预存储残余样本的集合。在一些实例中，预存储残余样本可包含于完整预存储块中，或存储到视频数据存储器151的部分块中。
在一些实例中，预存储残余样本可表示经硬译码常量，可不属于经先前重建残余块。相反地，在这些实例中，预存储残余样本可表示经重建残余数据的近似，且并非实际经重建残余数据。而且，视频解码器30的处理电路可组合预存储残余样本的所识别集合(184)。视频解码器30的处理电路可通过实施多种组合逻辑形成先前经重建残余块的所识别集合的组合。在一些实例中，视频解码器30的处理电路可形成所识别先前经重建残余块的线性组合。举例来说，为形成先前经重建残余块的所识别集合的线性组合，视频解码器30的处理电路可计算块的变换系数层级的加权和。
另外，视频解码器30的处理电路可使用预存储残余样本的组合获得当前块的多个假设重建(186)。举例来说，视频解码器30的处理电路可将不同符号或符号的不同组合应用于预存储残余样本的组合以形成每一相应假设重建。以此方式，视频解码器30的处理电路可实施本公开的技术以使用预存储残余样本(其还称作“存储模板”)来关于当前块执行假设重建。
而且，视频解码器30的处理电路可导出多个假设重建的相应成本函数(188)。基于针对多个假设重建所导出的不同成本函数的比较，视频解码器30的处理电路可选择假设重建中的一者(190)。以此方式，视频解码器30的处理电路可执行本公开的基于模板的重建技术以通过利用呈存储到视频数据存储器151的先前经重建块的形式的所存储信息对于经编码视频数据的当前块执行假设重建。
在一些情况下，预存储残余样本的所识别集合的每一预存储残余样本包含于经量化变换系数块中。在一些实例中，预存储残余样本的所识别集合的每一预存储残余样本包含于经解量化变换系数块中。根据每一预存储样本包含于经解量化变换系数块中的一些实施方案，视频解码器30可指派第一绝对值到预存储残余样本的集合的每一预存储残余样本的第一变换系数，且指派第二绝对值到除了被指派第一绝对值的相应第一变换系数之外的预存储残余样本的集合的每一预存储残余样本的所有剩余变换系数，第二绝对值不同于第一绝对值。在这些实例中，视频解码器30可将反变换应用于预存储残余样本的集合的每一预存储残余样本以形成经解量化重建残余块的集合。
根据每一预存储样本包含于经解量化变换系数块中的一些实施方案，视频解码器30可使用与第一变换系数中的每一者相关联的经解量化值缩放经解量化残余块的集合的每一经解量化残余块，且可使用经缩放解量化残余块的集合来重建当前块。在一些实例中，预存储残余样本的所识别集合的一或多个预存储残余样本以分数精度存储于视频数据的存储部分中。在一些实例中，视频解码器30可使用预定义因子剪辑预存储残余样本的所识别集合的每一预存储残余样本，以使得每一经剪辑预存储残余样本可使用数据的四个(4)位或少于四个(4)位而呈现。
在一些实例中，为组合预存储残余样本的集合以形成预存储残余样本的组合，视频解码器30可执行预存储残余样本的集合的线性组合以形成预存储残余样本的线性组合。在一些实例中，为执行预存储残余样本的集合的线性组合，视频解码器30可至少部分通过指派相应权重到预存储残余样本的集合的每一预存储残余样本而计算预存储残余样本的集合的加权和。在一些实例中，为组合预存储残余样本的集合以形成预存储残余样本的组合，视频解码器30可合并预存储残余样本的集合以形成单一合并残余块，且可在存储器装置中运用单一合并残余块改写预存储残余样本的集合。
根据一些实例，视频解码器30可使用预存储残余样本的识别集合的一或多个预存储残余样本导出单一残余块，且可在存储器装置中运用导出的单一残余块改写预存储残余样本的集合。在一些实例中，包含预存储残余样本的集合的视频数据的存储部分存储到第一存储器装置，且视频解码器30可在每图片一次或每最大译码单元(LCU)一次中的一者基础上将预存储残余样本的集合的一或多个预存储残余样本从第一存储器装置载入到第二存储器装置。第一存储器装置可表示芯片外存储器且第二存储器装置可为芯片上存储器。再次，芯片外存储器通常表示比芯片上存储器更便宜的存储器。
图7为说明作为译码当前视频数据块的部分的视频译码装置可借以执行本公开的选择性符号预测技术的实例过程220的流程图。尽管多种视频译码装置可执行过程220，但图7经描述为通过视频解码器30(且更特定地说，其处理电路)执行，作为非限制性实例。过程220可在视频解码器30的处理电路确定经编码视频数据的当前块适合于使用符号预测解码时开始(222)。而且，视频解码器30的处理电路可确定当前块是否满足基于块的准则(决定块224)。
在各种实例中，视频解码器30的处理电路可基于各种因素设定基于块的准则，各种因素包含(但不限于)当前块的宽度、当前块的高度、编码当前块所根据的译码模式，或当前块内的一或多个符号预测变换系数的位置。如果视频解码器30的处理电路确定当前块满足基于预定块的准则(决定块224的是分支)，那么视频解码器30的处理电路可关于当前块执行符号预测(226)。而且，视频解码器30的处理电路可基于所执行符号预测来译码(在此实例中，解码)当前块(228)。然而，如果视频解码器30的处理电路确定当前块不满足基于预定块的准则(决定块224的否分支)，那么视频解码器30的处理电路可译码(在此实例中，解码)当前块而不需执行符号预测(230)。
在一些实例中，视频解码器30的处理电路可仅在块的宽度等于或大于预定阈值宽度时才确定块满足预定准则。在一些实例中，视频解码器30的处理电路可仅在块的高度等于或大于预定阈值高度时才确定块满足预定的准则。在一些实例中，视频解码器30的处理电路可仅在符号预测变换系数定位于块的左上方子块中时才确定块满足预定的准则。
根据其中准则是基于定位于左上方子块中的变换系数的一些实施方案，左上方子块为正方形子块。在各种实例中，正方形子块可具有2×2、3×3、4×4或8×8中的一者的维度。在具有2×2维度的正方形子块的一些情况下，视频解码器30的处理电路可使用总共四个可能预测符号来执行符号预测。
在一些实例中，为译码视频数据，视频解码器30的处理电路可解码视频数据的经编码块。在一些这些实例中，视频解码器30的处理电路可使用第一反变换以关于编码块执行假设重建过程，基于假设重建过程从多个符号预测选择符号预测，及使用不同于第一反变换的第二反变换重建经编码块。在一些这些实例中，视频解码器30的处理电路可接收经编码视频位流中的表示预定准则的数据。在这些实例中，视频编码器22可发信经编码视频位流中的表示预定准则的数据。
图8为说明作为当前块的假设重建的部分的视频译码装置可借以执行本公开的成本函数测量技术的实例过程250的流程图。尽管多种视频译码装置可执行过程250，但图8经描述为通过视频解码器30(且更特定地说，其处理电路)执行，作为非限制性实例。过程250可在视频解码器30获得当前块的多个假设重建时通过将不同符号组合应用于当前块的变换系数而开始(252)。在其中视频解码器30使用两个符号(例如，0及1)执行假设重建的一实例使用状况中，视频解码器30可使用总共四个符号组合({0,0}、{0,1}、{1,1}及{1,0})以获得当前块的多个假设重建。
而且，视频解码器30可使用假设重建的样本与一或多个相邻块的样本之间的像素值梯度测量用于多个假设重建的相应成本函数(254)。举例来说，视频解码器30可通过计算假设重建的边界样本的绝对值与相邻块的样本的绝对值之间的二阶差信息(例如差分或微分数据)测量相应成本函数。视频解码器30可将针对多个假设重建测量的成本函数彼此进行比较(256)。
基于针对多个假设重建所测量的不同成本函数的比较，视频解码器30可选择假设重建中的一者以供用于解码当前块(258)。以此方式，视频解码器30可通过实施本公开的基于梯度的代价测量技术减少冗余。
在一些实例中，为确定像素值梯度的第一集合，视频解码器30的处理电路可确定块的第一假设重建的样本的绝对值与相邻块的样本的绝对值之间的二阶差。在这些实例中，为确定像素值梯度的第二集合，视频解码器30的处理电路可确定块的第二假设重建的样本的绝对值与相邻块的样本的绝对值之间的二阶差。
在一些实例中，用于测量第一成本函数的块的第一假设重建的样本沿着块的第一假设重建与相邻块之间的边界而定位。在这些实例中，用于测量第二成本函数的块的第二假设重建的样本沿着块的第二假设重建与相邻块之间的边界而定位。在一些实例中，视频解码器30的处理电路可将第三符号组合应用于视频数据的块的变换系数以获得关于视频数据的块的第三假设重建，且将第四符号组合应用于视频数据的块的变换系数以获得关于视频数据的块的第四假设重建。
在一些这些实例中，视频解码器30的处理电路可使用格雷码序来在第一假设重建、第二假设重建、第三假设重建及第四假设重建当中搜索。为使用格雷码来搜索，视频解码器30的处理电路可根据符号组合的以下次序搜索：{0,0}、{0,1}、{1,1}、{1,0}。
在下文以项目编号及子项目编号形式论述本公开的方面。然而，应了解在下文各种项目编号及子项目编号中列出的方面可根据本公开的技术经个别地或以任何组合方式应用。
下文列出的项目编号及子项目编号通常涉及适用于经重建残余样本的预存储集合的本公开的技术。根据本公开的这些方面，经完全或部分重建的残余块的集合(各自使用预定义变换系数块而预计算(下文进一步详细解释))经预存储用于视频编码器22及视频解码器30两者。当进行假设重建时，经重建残余块的选定群组是从所存储经重建残余块的集合而识别，且假设重建是使用这些所识别存储的经重建残余块的组合(例如，线性)而产生或估计。
a)经重建残余块的所存储集合中的每一者可为使用预定义经量化变换系数块、给定反量化参数、给定主要变换及/或给定辅助变换的经重建块。
■举例来说，对于M×N TB中的特定系数f(x,y)，其中0<＝x<M，0<＝y<N，给定反变换方法(包含主要变换及/或辅助变换)及反量化参数，经量化系数块B通过将f(x,y)设定成特定值(例如一(1))而产生，且所有其它系数设定成另一值(例如零(0))，接着经完全或部分重建的残余块R通过对B应用给定反量化及反变换而预计算。经重建残余块R预存储于存储器中。以此方式，在符号预测期间，如果系数f(x,y)的符号需要运用相同反变换及反量化参数在M×N TB中预测，那么本公开的技术使得视频编码器22及/或视频解码器30能够避免针对f(x,y)进行反变换。实际上，预存储经重建残余块R可通过|f(x,y)|因子缩放且接着用以估计经重建块。
b)所存储重建残余块的集合可为使用预定义经解量化变换系数块、给定主要变换及/或给定辅助变换的重建块。
■举例来说，对于M×N TB中的特定系数f(x,y)，其中0<＝x<M，0<＝y<N，给定反变换方法(包含主要变换及/或辅助变换)，经解量化系数块B是通过将f(x,y)设定成特定值(例如，一(1))而产生，且所有其它系数经设定成另一值(例如，零(0))，接着经完全或部分重建的残余块R是通过将给定反变换应用于B上而预计算。经重建残余块R经预存储于存储器中。以此方式，在符号预测期间，如果经量化系数f(x,y)的符号需要运用相同反变换在M×N TB中预测，那么本公开的技术使得视频编码器22及/或视频解码器30能够避免对于f(x,y)进行反变换。实际上，经量化系数f(x,y)首先经解量化为f(x,y)'，接着预存储经重建残余块R可通过因子|f(x,y)'|而缩放且接着用以估计经重建块。
c)预存储经重建残余块的集合可以分数精度存储，或等效地，经重建残余块的集合可由首先以预定义因子(即2、4、8、16)缩放而存储，且降值舍位到最接近的整数。以此方式，增加预存储经重建残余块的精度。
d)预存储经重建残余块的集合可存储有经剪辑值以适合表示的限制位范围。举例来说，通过运用最小值Vmin＝-8及最大值Vmax＝7应用剪辑，所有预存储经重建残余值的项目可以4个位呈现。项目编号(c)及(d)可联合地或个别地，运用在本公开中描述的技术的其它组合来应用。
e)在一个实例中，这些所识别存储的经重建残余块的线性组合为这些所识别存储的经重建残余块的加权和，且权重可通过预测符号所针对的经量化或经解量化变换系数的层级值决定。
f)因为不同变换及/或量化方法可供用于视频编码器22及视频解码器30，所以多个经重建块可需要预存储用于一个特定经量化系数块，其可增加存储及存取经预计算残余块的负担。为了处置此问题，根据本公开的方面可对预存储残余块进行合并过程，使得多个残余块经合并且由一个残余块表示。
替代地，函数f经预定义以从另一预存储残余块导出一个预存储残余块，使得若干残余块中的仅一者可需要被存储且其它是使用预定义函数f导出。
g)经预计算残余块的集合的总大小可为较大的，且可难以存储于芯片上存储器中。替代地，经预计算残余块的集合经预存储于外部(例如，较便宜)存储器中，且仅所需要残余块以每较大块或图片区域(例如最大译码单元(LCU))一次方式载入到芯片上存储器。
h)在一个实例中，部分残余块的预存储集合中的每一者为用于符号预测的模板(例如，仅最左边及最顶残余像素被存储)。在Henry中描述的基于模板的符号预测过程可以模板并不通过在运作中进行部分反变换产生的方式结合部分残余块的预存储集合而应用。实际上，模板是通过存取部分残余块的预存储集合及执行缩放操作而产生。
下文列出的项目编号及子项目编号通常涉及大体上涉及使用符号预测的条件的本公开的技术。根据本公开的这些方面，若干条件可应用于可应用符号预测的块。这些条件可包含(但不限于)块宽度及高度、块面积大小、变换系数频率位置、最后位置、帧内预测模式、是否仅主要变换用以译码块、是仅使用特定变换函数抑或某些变换子集、反变换方法、其是帧内还是帧间译码块，或当前及/或相邻块的任何其它解码信息。
a.在一个实例中，如果块宽度或块高度中的任一者大于阈值，那么不应用符号预测，其中阈值可经预定义。(其中另外，符号预测将根据现有符号预测技术来应用)。替代地，阈值可为可配置的且可经发信。典型阈值可为(但不限于)4、8、16、32或64。
■替代地，阈值可取决于译码模式。在一个实例中，阈值可对于帧内及帧间译码块是不同的。举例来说，对于经帧内译码块，阈值可为32，而对于帧间译码块，阈值可为64。
■替代地，如果块宽度或块高度的最小值或最大值大于阈值，那么不应用符号预测。
b.在另一实例中，符号预测不应用于并非定位于TB的左上方K×J部分中的变换系数，其中K×J值的典型设定可为2×2、3×3、4×4或8×8等(其中另外，符号预测将根据现有符号预测技术应用)。替代地，K及/或L的值可进一步取决于译码模式及/或量化参数。
c.在符号预测过程中执行的反变换(例如，估计假设)可限于某一(些)反变换。所选择变换可不同于在已导出实际系数符号之后产生实际经重建块所应用的反变换。
■在一个实例中，仅到类型-II(DCT-II)的离散余弦转换在符号预测期间用作主要反变换。
■在另一实例中，在符号预测期间，辅助变换由使用预定义排列矩阵的变换替换，且预定义排列矩阵可包含“+1”及“-1”的项目。
■在另一实例中，在符号预测期间不使用辅助变换。
d.在一个实例中，符号预测可经应用仅针对使用仅主要变换的块。在此实例中，反变换的复杂度可小于起因于共同应用主要及辅助变换的复杂度。在另一实例中，符号预测可仅针对使用某一变换核心或某一变换集合/子集的块而应用，这是因为可能的是符号预测可并不对所有变换基础/核心有效起作用，且可通过限制符号预测应用而减小复杂度。
下文列出的项目编号及子项目编号通常涉及大体上涉及成本函数的本公开的技术。根据本公开的这些方面，用于测量每一假设重建的成本函数可利用其它解码信息，包含(但不限于)块宽度及高度、块面积大小、变换系数频率位置、最后位置、帧内预测模式、块是帧内译码块还是帧间译码块，或当前块及/或相邻块的任一解码信息。在各种实例中，视频编码器22及/或视频解码器30(或其一或多个组件)可根据下文列出的技术中的一或多者实施本公开的成本函数方面。
a.成本函数可经配置以测量沿着帧内预测方向的像素值差或像素梯度值差。
a.在一个实例中，所允许帧内预测方向的部分子集经预先选择，且每一所允许帧内预测方向经映射到接近帧内预测方向的经预先选择帧内方向中的一者。另外，沿着映射方向的像素值差是在成本函数中测量。
b.在帧内预测方向并不可用(例如，一个块是运用帧间模式译码)的状况下，实际上可使用导出帧内预测模式。所导出帧内预测模式可来自空间相邻译码块，或通过经译码图片中的运动向量识别的块。
c.当帧内预测方向指向分数位置时，内插过程经应用以导出彼分数位置的值。可应用用于产生帧内预测块的内插滤波器，使用不同及/或较简单的内插滤波器。
b.成本函数可通过像素值差的二阶或N阶来测量。
a.多个参考线(例如，大于2)用以测量代价值。
b.用于测量代价值的参考线的数目可取决于经译码信息，包含(但不限于)帧内预测模式、相邻经重建值。
c.参考线的最大数目可经设定成等于用于帧内预测的参考线的所需要数目。c.一些像素取决于给定准则从测量代价值排除。
a.在一个实例中，准则包含1阶、2阶(梯度)或N阶导数的绝对值是否小于给定阈值。
b.在另一实例中，准则为用以计算N阶导数的相邻经重建样本是否可用。
c.在另一实例中，准则可包含恒等变换/变换跳过是否应用于水平/竖直变换。
d.当使用相邻经重建值测量代价，而非计算沿着固定或预定义方向(例如，对于左边块边界，其为水平方向，对于顶部块边界，其为竖直方向)的1阶、2阶(梯度)或N阶差值时，计算用于多个方向的代价值，且最小代价用于测量代价。
e.对于较大块大小，成本函数可使用经下采样假设重建，以使得应用成本函数的复杂度可对于较大块大小而减少。
f.可仅针对经重建及相邻块中的部分像素测量像素值差。那些像素可为(例如)拐角，其中通常误差较大，或那些拐角像素可从差测量值中作为潜在离群值排除，或不同权重可经指派用于那些所选择的像素。
g.所估计边界残余样本是由减去相邻经重建样本及位于当前块边界处的预测样本而产生，而非测量相邻经重建样本与位于当前块边界处的经重建样本之间的1阶、梯度(2阶)差。接着测量所估计边界残余样本与候选边界残余样本之间的差。以此方式，本公开的技术可避免重复重建过程，所述过程需要添加相同预测样本及不同候选残余样本。如本文所使用，候选残余样本指使用一个候选符号组合产生的残余样本。
h.所预测符号的数目(例如，0、1、2、3、4、5、6)可取决于经解码/经编码信息，包含(但不限于)帧内预测模式、块宽度/高度、块大小、QP、色彩分量、时间层、帧内/帧间译码、是否应用变换跳过/恒等变换、是否应用不可分离辅助变换、经量化系数、EMT索引、PDPC旗标/索引。
i.当多个“M”符号待被预测，而非测试所有可能的2M个假设重建时，“M”个符号分成“N”个群组，接着在群组单元中执行符号预测。如果每一群组符号先前尚未预测，那么其是通过将剩余群组符号设定为先前预测值或默认值而预测。此过程可反复若干轮直到预定义限制满足为止。
■具有较大变换系数层级的群组符号是在具有相对低系数层级的群组符号之前被预测。
■当每一群组的所预测符号不再变化或反复数目已满足预定义阈值，或反复(例如，后续反复)之间的代价差不超过某一阈值时，反复可终止。
下文列出的项目编号及子项目编号通常涉及大体上涉及哪些系数符号将被预测的选择的本公开的技术。根据本公开的这些方面，预测变换系数的选择可利用其它解码信息，包含(但不限于)块宽度及高度、块面积大小、变换系数频率位置、最后位置、帧内预测模式、是否应用符号数据掩蔽、块是帧内译码块还是帧间译码块，或当前及/或相邻块的任一解码信息。在各种实例中，视频编码器22及/或视频解码器30(或其一或多个组件)可根据下文列出的技术中的一或多者实施本公开的系数符号选择方面。
a.可预定义若干阈值，例如，t0,t1,…,tN，其中例如t0>t1>…>tN，且若干区间按降序而导出为(t0,+∞),[t1,t0),…[tN,tN-1)。经解量化系数层级与给定区间中的每一者相比较直到识别涵盖反量化系数层级的一个区间为止。系数的符号经识别为根据降序的预测符号。举例来说，区间(t0,+∞)中的系数的符号首先将被置入经预测符号的列表中，接着区间(t1,t0)中的系数的符号将被置入经预测符号的列表中，且此过程按降序继续用于每一区间直到预测符号的数目达到预测符号的预定义最大数目，或已检查所有可用区间为止。如果系数具有小于tN的层级，那么符号可不认为预测符号。区间的典型设定可为(600,+∞)、[300,600)，此意谓例如小于300的经解量化系数层级的符号不被视为预测符号。
a.在一个实例中，区间是取决于译码信息而选择，译码信息包含(但不限于)QP，及/或块大小、块宽度、块高度。
b.最大预测符号的数目可取决于经解码信息，例如，块是经帧间译码还是经帧内译码，或反变换方法(例如，应用哪一主要/辅助变换)。
c.当符号预测应用于某一TB时，可仍应用符号数据掩蔽。在此状况下，可隐蔽按前向扫描次序的最后非零系数的符号，而非掩蔽按前向扫描次序的第一非零系数。另外，在一个实例中，可不在CG层级处执行符号数据掩蔽。也就是说，连续非零系数(即使定位在不同CG中)可被联合地认为用于符号数据掩蔽。
本公开的一些方面涉及确定CABAC上下文以用于译码系数符号。译码系数符号的上下文值可取决于对应系数的经解量化层级(绝对值)。若干区间经预定义，通过经解量化层级值所属的区间的索引决定上下文值中的一者。区间的常用或甚到典型设定为(0,600)、[600,+∞)或(0,600]、(600,+∞)。运用此设定情况下，如果层级在(0,600)的范围内，那么上下文值为0，否则，上下文值为1。在各种实例中，视频编码器22及/或视频解码器30(或其一或多个组件)可根据下文所描述的技术中的一或多者实施本公开的CABAC上下文确定方面。
a.区间取决于译码信息，包含(但不限于)QP，及/或块大小、块宽度、块高度。
本公开的一些方面涉及用于假设的搜索次序。每一假设由候选符号值的一个可能组合组成。举例来说，当预测2个符号时，存在总计4个假设(候选符号值的4个可能组合)，包含：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,0}
假设索引3：{1,1}，
其中第一数字指示第一预测符号，且第二数字指示第二预测符号，0指示正号且1指示负号，且每一假设中的候选符号值的组合对应于假设索引的二进制化表示。应注意，如果系统按递增/递减次序搜索假设，那么可在两个相邻假设之间存在符号值的大于1的变化(例如，从假设索引1到索引2)，存在改变所述值的两个符号，此意味着需要考虑通过两个符号引发的边界样本变化。
在各种实例中，视频编码器22及/或视频解码器30(或其一或多个组件)可根据下文所描述的技术中的一或多者实施本公开的假设搜索次序方面。为减少复杂度，根据本公开的方面，应用在格雷码之后的搜索次序：
假设索引0：{0,0}
假设索引1：{0,1}
假设索引2：{1,1}
假设索引3：{1,0}，
可注意，通过指派每一假设的格雷码值，在两个相邻假设之间仅存在符号值的1变化。以此方式，基于先前假设的产生的边界样本值，对于当前假设，为产生边界样本值，本公开的系统及技术仅考虑通过一个符号引发的边界样本变化。此减少复杂度并调整代价计算过程。
本公开的一些方面涉及用于视频译码的变换系数符号的最大似然解码器侧估计的技术。在最新视频压缩标准(如HEVC)中，非零变换系数的符号(正或负)是使用每一符号一个位来译码。若干方法已经提议用以减少译码那些符号所需要的平均位速率，但使用直接估计的过程相对复杂，且产生小增益。一个实例方法是通过使解码器列举一些符号值的所有组合而间接估计符号，针对每一状况应用反变换，且发现使沿着具有已知块的边界平滑度最大化的一种状况。
本公开引入通过采用问题的新的最大似然(ML)公式扩展此方法的技术，所述公式展示现有技术实际上为ML技术的经验近似值。使用那些新的工具，本公开描述可经由统计属性及技术的较好使用而改进符号估计的若干新的技术。在下文概述稍后在本公开中更详细描述的变化：
●使用绝对差和(SAD)而非平方和的理论及实际优点；
●采用来自反变换值的任一集合的信息，及不仅沿着块边界的那些；
●基于权重的集合的决策及熵译码匹配块预测的每一类型(时间、空间、定向等)，及还匹配变换的类型；
●二阶预测的使用，使用像素预测的误差的方差的估计，以改进符号区别功能。
在视频压缩标准中，线性变换可在译码之前适用于视频信号，且非零系数具有首先译码的其量值，继之以符号(正或负)。若干技术已经提议用以使用基于上下文算术译码以更有效编码变换系数的量值，但使用符号的上下文译码的优点已大部分限于小波变换，且在对于视频块变换的应用的最新研究中，已决定使用一个位译码符号而不需上下文译码(对应于HEVC标准中的旁路模式)更有实际意义。
存在一种在一些状况下避免译码系数的集合中的一个符号的技术，称为如2012年12月，视频技术的电路及系统IEEE汇刊中，第1765到1777页，由J.Sole,R.Joshi,N.Nguyen,T.Ji,M.Karczewicz,G.Clare,F.Henry及A.在“HEVC中的变换系数译码(Transformcoefficient coding in HEVC)”中所阐述的“符号数据掩蔽”(SDH)，但这些技术可与本公开的技术不相关(即，两种技术可独立地使用)。
在其它实例中，用于猜测正确符号值的技术包含列举符号值的所有组合，针对每一状况应用反变换，且接着使用来自相邻块的信息或统计模型来选择产生最优选匹配关于正被译码的块的一些额外信息的块的组合。
图9展示用于通过评估通过应用反变换获得的边界像素，使用符号猜测的阵列来预测符号(在视频解码器处，例如视频解码器30)的系统的一实例。此想法到图像压缩的应用是在2007年1月美国加州圣何塞，国际光学工程学会会刊6497卷：图像处理算法系统V中，N.Ponomarenko,A.V.Bazhyna及K.O.Egiazarian的“对基于块的有损图像压缩中的DCT系数的符号的预测(Prediction of signs of DCT coefficients in block-based lossyimage compression)”中首先提议，且稍后适合于2012年5月波兰克拉科夫第29届图片译码会议会刊，第385到388页，J.Koyama,A.Yamori,K.Kazui,S.Shimada及A.Nakagawa的“视频译码中的系数符号位压缩(Coefficient sign bit compression in video coding)”中的视频译码，且在图9中展示基本方法。其利用运用这些列举方法正确预测的符号的概率与其对应系数的量值一起增长的事实。举例来说，如果系数的量值在相对大值的某一范围中，那么此系数的符号可平均在95％状况下被正确地预测，且如果系数量值相对较小，那么其可在仅55％百分比状况下被预测。
其为可通过算术编码器采用的此概率差，以减少用以译码块中具有最大量值的变换系数的符号的位数目，如Ponomarenko等在上文所引用的“对基于块的有损图像压缩中的DCT系数的符号的预测(Prediction of signs of DCT coefficients in block-basedlossy image compression)”中所提议。本公开可解决用于符号估计的现有技术所带有的一或多个问题。已展示图9的符号估计方法可有效地改进压缩，但其纯粹基于经验观测结果，经验观测结果对于设计改进的版本非常无用(尤其在最近版本的视频编解码器中)，最近版本的视频编解码器采用许多不同预测模式及残余变换。举例来说，如果致力于改进其功效，本公开引入将有待于测试的像素的集合扩展到整个块并使用已由编码器使用的相同预测的技术，那么方法将并不起作用。
此发生是因为变换是正交的，且因此可能残余值的平方和独立于变换系数的符号，且将对于被测试的符号的所有集合保持恒定。当考虑到大量计算通过编码器采用，以发现整个块的极好预测时，其不可用以促进估计变换系数符号是异常的。以下描述解释异常并不与估计问题本质上相关，但实际上其是使用次最优选估计方法的结果。
因此，通过本公开的技术解决的主要问题是如何使用用于预测模式的所有不同类型及变换类型的高级统计方法(而非特用技术)优化在解码器处估计变换系数符号的技术。
现将描述本公开的技术，开始于所使用的通用方法的概述。考虑到本公开的技术认为此问题可经规划为统计符号估计问题，且因此可运用高级统计方法来解决，而非仅仅采用经验最优选匹配准则来决定符号值，本公开的技术可解决上文所论述的问题。
因此，本公开的技术使用最大似然方法，且将图9的系统修改成图10中展示的一个系统，其中新的元素标记为“变换系数”、“系数权重”、“选择最大因子”、“系数索引”、“符号阵列”、“恢复块像素”、“块子集”、“模型参数”、“对数似然计算”、“预测符号”、“符号校正”及“解码像素”。本公开的以下部分论述那些阶段中的每一者如何可潜在地得以改进。此章节以一般术语概述最大似然技术如何应用于符号估计问题。
在尺寸W×H的块中，符号s指示被测试的符号的阵列，使用
cs[x,y],x＝0,1,…,W-1；y＝0,1,…,H-1，
以指示具有根据s修改的符号的变换系数，且将变换值表示为
vs[x,y],x＝0,1,…,W-1；y＝0,1,…,H-1。
另外，定义K以表示解码器可用于估计符号(例如，相邻块中的解码像素、具有已知符号的变换系数、统计模型等)的了解。
图10展示根据本公开的技术的用于使用最大似然预测符号(在例如视频解码器30的视频解码器处)的系统的实例。
寻找在给定K情况下最大化条件似然函数的阵列s
其中在给定解码器了解K的情况下，p(vs[x,y]|K)为残余的概率密度函数。等效地，对数似然函数可经最大化如下：
LK(s)＝-log(ΛK(s))。
概率分布函数通常根据用于数据的模型而定义。举例来说，在成像应用中已知残余值具有很好表示为广义高斯分布的概率，其中概率密度函数
其中r、μ、σ分别表示形状参数、平均值及标准差，且
因此，对于符号估计问题，为评估符号值的阵列s，除了常量项以外，等于对数似然的函数呈以下形式
在这些定义之后，可定义解码器侧符号估计技术可如何集成到复杂视频译码系统中。
1.对于每一预测模式及变换类型，确定在解码变换系数量值之后可用的了解，并定义残余的条件统计模型。
2.给定统计模型，确定其典型参数(例如来自训练)，且使用那些参数，设计优化符号估计方法，所述方法具有针对预测模式及变换类型中的每一者的特定规则。
3.符号估计列举到编码及解码程式中，添加方法及数据以确定优化参数及准则，其特异性针对每一预测模式及变换类型。
举例来说，在使用等式(1)时，条件统计模型完全由形状、平均值及方差参数定义，即rK,μK[x,y],σK[x,y]，其应也在编码及解码期间被估计，但具有大大减少的准确度，或简化的模型。举例来说，可使用以下准则：
●如果残余分布经假定为拉普拉斯(Laplacian)(形状参数r＝1)，那么可使用下式：
其中位置权重的阵列
此意谓在此状况下绝对差和(SAD)或加权绝对差和(WSAD)应用于测量恢复像素的集合如何适合统计模型。
●如果残余分布经假定为高斯(形状参数r＝2)，那么可使用下式：
在此状况下，平方差和(SSD)或加权平方差和(WSSD)应用于测量对模型的适合度。应注意各种现有技术可被视为此最后等式的逼近，其中如果残余在块边界中，那么权重等于一(1)，且否则，权重等于零，且所估计平均值等于当前预测与来自相邻块的像素值之间的差。本公开的接下来章节呈现关于如何使用上文所描述过程，及不同于现有技术的方式的一些细节。
现将描述关于对数似然估计中的可变权重及空间支持的本公开的方面。用于符号估计的前述方法仅使用沿块边界的像素来测量由不正确符号值产生的不连续。本公开引入用于使用对数似然函数以确定哪些像素应包含于符号决策中的技术。如由等式(1)的对数似然目标函数所指示，具有最小估计方差的像素在对数似然函数中具有更多重要性。因此，为减少估计的复杂度，本公开描述用于仅使用预期具有充分小方差的像素值的技术。此取决于统计模型、预测方法、变换类型等，且可不同于在块边界处的像素。
图11展示此可如何进行的实例。在图中，灰度值用以指示用于对数似然的权重，其中较暗指示较大，且白色指示等于零的零(及因此，忽略的像素)。现有技术可使用边界像素中的相等权重，而本公开的技术包含允许取决于统计的不同位置中的变量。
图11展示根据本公开的技术的取决于统计模型及复杂度考虑因素可如何在块中存在可变权重(较暗表示较大权重，且白色表示等于零的权重的实例)。
现将描述关于来自预测的似然权重的确定的本公开的方面。现有技术与可变权重的使用之间的一个更重要差别(如最后章节中描述)为还允许使用那些权重的两个不同模式：
●权重的集合可经预定义用于不同预测模式及变换类型，且存储于固定表中。
●在编码及解码的同时，根据可供解码器使用的了解(K)，可使用通过视频编码器22及视频解码器30共享以估计统计参数的算法比较权重的集合。
图12展示在分析块预测的特性之后编码器及解码器如何决定待用于似然计算的权重的集合。
图12展示新过程:块预测(其通过编码器及解码器共享)可用以估计残余的方差，且可从那些方差导出待用于似然函数的权重。
现将描述关于变换系数选择的本公开的额外方面。在现有技术中，需要使其符号由解码器估计的系数的集合仅仅通过系数量值来定义，其中选择最大非零系数。
估计系数的符号的效果取决于量值，但其还取决于其它因素，包含：
●用于计算对数似然函数的像素集合，及其方差；
●评估对应于系数的变换基底函数在像素的集合上的投射。
这些因素的组合可为重要的，这是因为其确定估计将如何好地起作用。举例来说，如果某一变换系数对其中似然函数被评估的像素极少有效果，或其仅影响其中方差极大的位置，那么彼系数的量值可能对于符号估计不太重要。
使用此特性，本公开引入用于改变准则以选择使其符号在解码器处运用以下所述来估计的变换系数的技术。
1.对于每一预测模式及变换，定义非负乘数的集合
mK[x,y],x＝0,1,…,W-1；y＝0,1,…,H-1,
其中量值与似然估计中的彼系数的效应的估计成比例。
2.选择具有量值与乘数的最大乘积(即，替代仅量值)的系数用于符号测试，使用所述乘积
mK[x,y]|c[x,y]|,x＝0,1,…,W-1；y＝0,1,…,H-1,
如在用于似然函数的权重的状况中，这些乘数可经预计算，或基于共享预测数据通过编码器及解码器导出。
现将描述关于熵译码的本公开的方面。根据现有技术，使用取决于其系数的量值的上下文来熵译码符号校正位。如前述章节中所指示，估计过程的效果取决于似然评估，其又取决于若干其它因素。
为潜在地改进压缩，本公开描述用于添加额外上下文到熵译码阶段的技术，包含以下：
1.上下文取决于块大小及预测类型，即帧内或帧间预测。
2.对于帧内预测，添加基于预测模式的上下文，添加基于预测模式的某一集合数据。
3.添加基于变换类型的额外上下文。更特定地说，在JEM-3.0编解码器中，变换根据经编码信息、根据嵌入的多变换(EMT)旗标及不可分离辅助变换(NSST)旗标应用于块。因此，为适应于变换，上下文可能取决于EMT及NSST旗标，或基于那些旗标的某一集合数据。
使用由变换系数量值与其对应乘数的乘积的区间定义的上下文，如前述章节中所定义。
为了说明的目的，本公开的某些方面已经关于HEVC标准的扩展而描述。然而，本公开中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本公开中所描述的视频译码器可指视频编码器或视频解码器(例如，视频编码装置或视频解码装置)。类似地，视频译码单元可指视频编码器或视频解码器。同样地，如适用，视频译码可指视频编码或视频解码。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非顺序执移动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果实施于软件中，那么所述功能可作为一或多个指令或程式码而存储于计算机可读媒体上或经由计算机可读媒体进行传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，所述通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可通过一或多个计算机或一或多个处理器存取以检索指令、程式码及/或数据结构以用于实施本公开所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
通过实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁碟存储器或其它磁性存储装置、快闪存储器或可用于存储呈指令或数据结构形式的所要程式码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术，从网站、服务器或其它远程源来传输指令，那么同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实情为关于非暂时性有形存储媒体。如本文中所使用，磁碟及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软盘及蓝光光盘，其中磁碟通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含于计算机可读媒体的范围内。
指令可由一个或多个处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、处理电路(例如，固定功能电路、可编程处理电路或固定功能电路与可编程处理电路的任何组合)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文所描述的功能可设置于经配置以供编码及解码或并入于经组合编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本公开的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。本公开中描述各种组件、模块或单元以强调经配置以执行所公开的技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合于可在编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合适合的软件及/或固件来提供所述单元。
各种实例已予以描述。这些及其它实例在以下权利要求书的范围内。

Claims (20)

1.一种译码视频数据的方法，所述方法包括：
将第一符号组合应用于所述视频数据的块的变换系数以获得关于所述视频数据的所述块的第一假设重建；
将第二符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第二假设重建；
通过确定表示所述块的所述第一假设重建的样本与邻近于所述块而定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于所述第一假设重建的第一成本函数；
通过确定表示所述块的所述第二假设重建的样本与邻近于所述块而定位的所述相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于所述第二假设重建的第二成本函数；
比较所述第一成本函数与所述第二成本函数；
基于所述比较选择所述第一假设重建或所述第二假设重建；及
使用与所述第一假设重建或所述第二假设重建中的所述选定者相关联的所述相应符号组合来译码所述块。
2.根据权利要求1所述的方法，
其中确定像素值梯度的所述第一集合包括确定所述块的所述第一假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差；且
其中确定像素值梯度的所述第二集合包括确定所述块的所述第二假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差。
3.根据权利要求1所述的方法，
其中用于测量所述第一成本函数的所述块的所述第一假设重建的所述样本沿着所述块的所述第一假设重建与所述相邻块之间的第一边界而定位，且
其中用于测量所述第二成本函数的所述块的所述第二假设重建的所述样本沿着所述块的所述第二假设重建与所述相邻块之间的第二边界而定位。
4.根据权利要求1所述的方法，其进一步包括：
将第三符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第三假设重建；
将第四符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第四假设重建；
使用格雷码序而在所述第一假设重建、所述第二假设重建、所述第三假设重建及所述第四假设重建当中进行搜索；
基于所述搜索而选择所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的一者；及
使用与所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的所述选定者相关联的所述相应符号组合。
5.根据权利要求4所述的方法，其中使用所述格雷码来搜索包括根据符号组合的以下次序来搜索：{0,0}、{0,1}、{1,1}、{1,0}。
6.一种视频译码装置，其包括：
经配置以存储视频数据的存储器；及
与所述存储器通信的处理电路，所述处理电路经配置以：
将第一符号组合应用于存储到所述存储器的所述视频数据的块的变换系数以获得关于所述视频数据的所述块的第一假设重建；
将第二符号组合应用于存储到所述存储器的所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第二假设重建；
通过确定表示所述块的所述第一假设重建的样本与邻近于所述块而定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于所述第一假设重建的第一成本函数；
通过确定表示所述块的所述第二假设重建的样本与邻近于所述块而定位的所述相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于所述第二假设重建的第二成本函数；
比较所述第一成本函数与所述第二成本函数；
基于所述比较选择所述第一假设重建或所述第二假设重建；及
使用与所述第一假设重建或所述第二假设重建中的所述选定者相关联的所述相应符号组合来译码所述块。
7.根据权利要求6所述的视频译码装置，
其中为了确定像素值梯度的所述第一集合，所述处理电路经配置以确定所述块的所述第一假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差；且
其中为了确定像素值梯度的所述第二集合，所述处理电路经配置以确定所述块的所述第二假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差。
8.根据权利要求6所述的视频译码装置，
其中用于测量所述第一成本函数的所述块的所述第一假设重建的所述样本沿着所述块的所述第一假设重建与所述相邻块之间的第一边界而定位，且
其中用于测量所述第二成本函数的所述块的所述第二假设重建的所述样本沿着所述块的所述第二假设重建与所述相邻块之间的第二边界而定位。
9.根据权利要求6所述的视频译码装置，其中所述处理电路经进一步配置以：
将第三符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第三假设重建；
将第四符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第四假设重建；
使用格雷码序而在所述第一假设重建、所述第二假设重建、所述第三假设重建及所述第四假设重建当中进行搜索；
基于所述搜索而选择所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的一者；及
使用与所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的所述选定者相关联的所述相应符号组合。
10.根据权利要求9所述的视频译码装置，其中为了使用所述格雷码来搜索，所述处理电路经配置以根据符号组合的以下次序来搜索：{0,0}、{0,1}、{1,1}、{1,0}。
11.一种设备，其包括：
用于将第一符号组合应用于视频数据的块的变换系数以获得关于所述视频数据的所述块的第一假设重建的装置；
用于将第二符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第二假设重建的装置；
用于通过确定表示所述块的所述第一假设重建的样本与邻近于所述块而定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于所述第一假设重建的第一成本函数的装置；
用于通过确定表示所述块的所述第二假设重建的样本与邻近于所述块而定位的所述相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于所述第二假设重建的第二成本函数的装置；
用于比较所述第一成本函数与所述第二成本函数的装置；
用于基于所述比较选择所述第一假设重建或所述第二假设重建的装置；及
用于使用与所述第一假设重建或所述第二假设重建中的所述选定者相关联的所述相应符号组合来译码所述块的装置。
12.根据权利要求11所述的设备，
其中所述用于确定像素值梯度的所述第一集合的装置包括用于确定所述块的所述第一假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差的装置；且
其中所述用于确定像素值梯度的所述第二集合的装置包括用于确定所述块的所述第二假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差的装置。
13.根据权利要求11所述的设备，
其中用于测量所述第一成本函数的所述块的所述第一假设重建的所述样本沿着所述块的所述第一假设重建与所述相邻块之间的第一边界而定位，且
其中用于测量所述第二成本函数的所述块的所述第二假设重建的所述样本沿着所述块的所述第二假设重建与所述相邻块之间的第二边界而定位。
14.根据权利要求11所述的设备，其进一步包括：
用于将第三符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第三假设重建的装置；
用于将第四符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第四假设重建的装置；
用于使用格雷码序而在所述第一假设重建、所述第二假设重建、所述第三假设重建及所述第四假设重建当中进行搜索的装置；
用于基于所述搜索而选择所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的一者的装置；及
用于使用与所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的所述选定者相关联的所述相应符号组合的装置。
15.根据权利要求14所述的设备，其中所述用于使用所述格雷码来搜索的装置包括用于根据符号组合的以下次序来搜索的装置：{0,0}、{0,1}、{1,1}、{1,0}。
16.一种编码有指令的非暂时性计算机可读存储媒体，所述指令在经执行时使得视频译码装置的一或多个处理器：
将第一符号组合应用于存储到所述非暂时性计算机可读存储媒体的视频数据的块的变换系数以获得关于所述视频数据的所述块的第一假设重建；
将第二符号组合应用于存储到所述非暂时性计算机可读存储媒体的所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第二假设重建；
通过确定表示所述块的所述第一假设重建的样本与邻近于所述块而定位的相邻块的样本之间的相应差值的像素值梯度的第一集合来测量关于所述第一假设重建的第一成本函数；
通过确定表示所述块的所述第二假设重建的样本与邻近于所述块而定位的所述相邻块的样本之间的相应差值的像素值梯度的第二集合来测量关于所述第二假设重建的第二成本函数；
比较所述第一成本函数与所述第二成本函数；
基于所述比较选择所述第一假设重建或所述第二假设重建；及
使用与所述第一假设重建或所述第二假设重建中的所述选定者相关联的所述相应符号组合来译码所述块。
17.根据权利要求16所述的非暂时性计算机可读存储媒体，
其中使得所述一或多个处理器确定像素值梯度的所述第一集合的所述指令包括在经执行时使得所述一或多个处理器确定所述块的所述第一假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差的指令；且
其中使得所述一或多个处理器确定像素值梯度的所述第二集合的所述指令包括在经执行时使得所述一或多个处理器确定所述块的所述第二假设重建的所述样本的绝对值与所述相邻块的所述样本的绝对值之间的二阶差的指令。
18.根据权利要求16所述的非暂时性计算机可读存储媒体，
其中用于测量所述第一成本函数的所述块的所述第一假设重建的所述样本沿着所述块的所述第一假设重建与所述相邻块之间的第一边界而定位，且
其中用于测量所述第二成本函数的所述块的所述第二假设重建的所述样本沿着所述块的所述第二假设重建与所述相邻块之间的第二边界而定位。
19.根据权利要求16所述的非暂时性计算机可读存储媒体，其进一步编码有指令，所述指令在经执行时使得所述视频译码装置的所述一或多个处理器：
将第三符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第三假设重建；
将第四符号组合应用于所述视频数据的所述块的所述变换系数以获得关于所述视频数据的所述块的第四假设重建；
使用格雷码序而在所述第一假设重建、所述第二假设重建、所述第三假设重建及所述第四假设重建当中进行搜索；
基于所述搜索而选择所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的一者；及
使用与所述第一假设重建、所述第二假设重建、所述第三假设重建或所述第四假设重建中的所述选定者相关联的所述相应符号组合。
20.根据权利要求19所述的非暂时性计算机可读存储媒体，其中使得所述一或多个处理器使用所述格雷码来搜索的所述指令包括在经执行时使得所述一或多个处理器根据符号组合的以下次序来搜索的指令：{0,0}、{0,1}、{1,1}、{1,0}。
CN201780074056.3A 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测 Pending CN110024393A (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662437642P 2016-12-21 2016-12-21
US62/437,642 2016-12-21
US201762476375P 2017-03-24 2017-03-24
US62/476,375 2017-03-24
US201762549336P 2017-08-23 2017-08-23
US62/549,336 2017-08-23
US15/848,862 US20180176582A1 (en) 2016-12-21 2017-12-20 Low-complexity sign prediction for video coding
US15/848,862 2017-12-20
PCT/US2017/067918 WO2018119247A1 (en) 2016-12-21 2017-12-21 Low-complexity sign prediction for video coding

Publications (1)

Publication Number Publication Date
CN110024393A true CN110024393A (zh) 2019-07-16

Family

ID=62557009

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201780074056.3A Pending CN110024393A (zh) 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测
CN201780072776.6A Active CN109997361B (zh) 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测
CN201780073861.4A Active CN110024392B (zh) 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201780072776.6A Active CN109997361B (zh) 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测
CN201780073861.4A Active CN110024392B (zh) 2016-12-21 2017-12-21 用于视频译码的低复杂度符号预测

Country Status (5)

Country Link
US (3) US10666937B2 (zh)
EP (3) EP3560198B1 (zh)
CN (3) CN110024393A (zh)
TW (3) TWI759389B (zh)
WO (3) WO2018119247A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102331933B1 (ko) * 2016-05-12 2021-11-29 엘지전자 주식회사 계수 유도 복원을 이용하여 비디오 신호를 처리하는 방법 및 장치
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding
GB2574733B (en) 2016-12-28 2020-05-06 Arris Entpr Llc Improved video bitstream coding
US10873763B2 (en) * 2017-06-02 2020-12-22 Apple Inc. Video compression techniques for high dynamic range data
WO2019076138A1 (en) 2017-10-16 2019-04-25 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR ENCODING
US10812797B2 (en) * 2018-02-05 2020-10-20 Tencent America LLC Method, apparatus and medium for decoding or encoding using a low-complexity transform
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
WO2019172798A1 (en) * 2018-03-07 2019-09-12 Huawei Technologies Co., Ltd. Method and apparatus for residual sign prediction in transform domain
EP3738312A1 (en) * 2018-03-07 2020-11-18 Huawei Technologies Co., Ltd. Method and apparatus for harmonizing multiple sign bit hiding and residual sign prediction
AU2019247481B2 (en) * 2018-04-04 2023-07-06 Kakadu R & D Pty Ltd A further improved method and apparatus for image compression
US11128871B2 (en) * 2018-04-25 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder for adaptively determining information related to splitting based on characteristics of neighboring samples
US10893285B2 (en) * 2018-06-29 2021-01-12 FG Innovation Company Limited Device and method for coding video data based on one or more reference lines
KR102396338B1 (ko) * 2018-09-02 2022-05-09 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
WO2020046086A1 (ko) * 2018-09-02 2020-03-05 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
KR102432406B1 (ko) * 2018-09-05 2022-08-12 엘지전자 주식회사 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
TWI831837B (zh) 2018-09-23 2024-02-11 大陸商北京字節跳動網絡技術有限公司 仿射模型的多個假設
EP3709644A1 (en) * 2019-03-12 2020-09-16 Ateme Method for image processing and apparatus for implementing the same
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN111083487B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 仿射模式的运动信息的存储
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
EP3857893A4 (en) 2018-11-12 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. BANDWIDTH CONTROL METHODS FOR INTER-PREDICTION
WO2020098713A1 (en) 2018-11-13 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for prediction
CN117319644A (zh) * 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
WO2020103877A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Coding and decoding of video coding modes
JP2022523564A (ja) 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習を使用するデータ圧縮および通信
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
US11259016B2 (en) * 2019-06-30 2022-02-22 Tencent America LLC Method and apparatus for video coding
US20210092390A1 (en) * 2019-09-23 2021-03-25 Alibaba Group Holding Limited Methods and apparatuses for prediction refinement with optical flow in reference picture resampling
US11553208B2 (en) * 2019-11-27 2023-01-10 Tencent America LLC Method and system of video coding using a subset of available intra prediction modes for multiple reference lines
US11197001B2 (en) * 2020-02-05 2021-12-07 Tencent America LLC Method and apparatus for interactions between decoder-side intra mode derivation and adaptive intra prediction modes
WO2021172910A1 (ko) * 2020-02-25 2021-09-02 엘지전자 주식회사 레지듀얼 코딩과 관련한 영상 디코딩 방법 및 그 장치
US20230142928A1 (en) * 2020-04-02 2023-05-11 Lg Electronics Inc. Transform-based image coding method and device therefor
CN116134818A (zh) * 2020-06-30 2023-05-16 交互数字Vc控股法国有限公司 混合纹理颗粒编码模式的改进
WO2023086330A1 (en) * 2021-11-10 2023-05-19 Beijing Dajia Internet Information Technology Sign prediction for block-based video coding
WO2023103521A1 (en) * 2021-12-09 2023-06-15 Mediatek Inc. Method and apparatus for sign coding of transform coefficients in video coding system
KR20230092806A (ko) * 2021-12-17 2023-06-26 주식회사 케이티 비디오 신호 부호화/복호화 방법, 그리고 비트스트림을 저장한 기록 매체
US11736731B2 (en) 2022-01-14 2023-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding a sequence of pictures
US11949915B2 (en) * 2022-01-14 2024-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding a sequence of pictures
US20230283779A1 (en) * 2022-03-01 2023-09-07 Tencent America LLC Coefficient sign prediction for transform skip
CN116800968A (zh) * 2022-03-17 2023-09-22 中兴通讯股份有限公司 编码方法及装置、解码方法及装置、存储介质、电子装置
US20230319260A1 (en) * 2022-04-04 2023-10-05 Tencent America LLC Systems and methods for frequency-dependent coefficient sign coding
WO2023198535A1 (en) * 2022-04-11 2023-10-19 Interdigital Ce Patent Holdings, Sas Residual coefficient sign prediction with adaptive cost function for intra prediction modes
WO2023200774A1 (en) * 2022-04-12 2023-10-19 Dolby Laboratories Licensing Corporation Sign prediction in video coding
US20230370603A1 (en) * 2022-05-12 2023-11-16 Tencent America LLC Systems and methods for transform coefficient sign prediction and coding
CN115022636A (zh) * 2022-06-01 2022-09-06 上海哔哩哔哩科技有限公司 率失真优化量化方法及装置
US20230412812A1 (en) * 2022-06-15 2023-12-21 Tencent America LLC Systems and methods for joint signaling of transform coefficient signs
WO2024067638A1 (en) * 2022-09-27 2024-04-04 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
WO2012175196A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Deblocking control by individual quantization parameters
CN103988500A (zh) * 2011-11-24 2014-08-13 汤姆逊许可公司 视频质量测量
CN104937936A (zh) * 2013-02-01 2015-09-23 高通股份有限公司 用于帧内预测的模式决策简化

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356477B1 (en) 2000-09-01 2008-04-08 Symbol Technologies, Inc. Frames-based advertising service with response and activity reporting
KR100867995B1 (ko) * 2006-01-07 2008-11-10 한국전자통신연구원 동영상 데이터 인코딩/디코딩 방법 및 그 장치
WO2007104266A1 (en) 2006-03-16 2007-09-20 Huawei Technologies Co., Ltd. Method and apparatus for realizing adaptive quantization in encoding process
CN101132529A (zh) * 2006-08-22 2008-02-27 中兴通讯股份有限公司 基于快速逐次逼近量化的小波图像压缩方法
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US20100226438A1 (en) * 2009-02-04 2010-09-09 Droplet Technology, Inc. Video Processing Systems, Methods and Apparatus
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5533886B2 (ja) 2010-02-12 2014-06-25 富士通株式会社 画像符号化装置及び画像復号装置
HUE026590T2 (hu) * 2010-04-13 2016-06-28 Ge Video Compression Llc Öröklés minta tömb többes fa szerkezetû alosztásban
CN103141101B (zh) * 2010-09-30 2016-05-11 富士通株式会社 动态图像加密装置、动态图像加密方法、动态图像解密装置及动态图像解密方法
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
JP6178326B2 (ja) * 2011-11-11 2017-08-09 ジーイー ビデオ コンプレッション エルエルシー デプスマップの推定および更新を用いる効率的なマルチビュー符号化
TWI606718B (zh) 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
CN108600761B (zh) * 2012-01-03 2020-05-08 寰发股份有限公司 重要性群组旗标编码方法与装置
AU2012200319B2 (en) 2012-01-19 2015-11-26 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
AU2012200345B2 (en) 2012-01-20 2014-05-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the significance map residual coefficients of a transform unit
US9313498B2 (en) * 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
SG11201407419RA (en) * 2012-05-14 2014-12-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
JPWO2014002896A1 (ja) * 2012-06-29 2016-05-30 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法
AU2012232992A1 (en) 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
CN104272736B (zh) 2013-01-16 2018-04-17 黑莓有限公司 用于对视频进行编码/解码的方法和设备及其处理器可读介质
US9369708B2 (en) 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9456210B2 (en) * 2013-10-11 2016-09-27 Blackberry Limited Sign coding for blocks with transform skipped
US9264724B2 (en) * 2013-10-11 2016-02-16 Blackberry Limited Sign coding for blocks with transform skipped
JP6445039B2 (ja) * 2014-03-13 2018-12-26 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ３ｄビデオコーディングのための制限付き深度イントラモードコーディング
FR3023112A1 (fr) * 2014-06-27 2016-01-01 Bcom Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
CN105072446B (zh) * 2015-07-27 2018-05-04 福州大学 一种彩色图像的压缩采样及重构算法
CN108028930A (zh) * 2015-09-10 2018-05-11 三星电子株式会社 编码设备、解码设备及其编码方法和解码方法
AU2015261734A1 (en) 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
AU2016231584A1 (en) 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10666937B2 (en) * 2016-12-21 2020-05-26 Qualcomm Incorporated Low-complexity sign prediction for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN102474622A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 用于视频译码的模板匹配
WO2012175196A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Deblocking control by individual quantization parameters
CN103988500A (zh) * 2011-11-24 2014-08-13 汤姆逊许可公司 视频质量测量
CN104937936A (zh) * 2013-02-01 2015-09-23 高通股份有限公司 用于帧内预测的模式决策简化

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FELIX HENRY等: "Residual Coefficient Sign Prediction", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: CHENGDU, CN, 15–21 OCTOBER 2016》 *
KIMIHIKO KAZUI等: "Description of video coding technology proposal by FUJITSU", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING: DRESDEN, DE, 15-23 APRIL, 2010》 *

Also Published As

Publication number Publication date
US10609367B2 (en) 2020-03-31
EP3560199A1 (en) 2019-10-30
US20180176563A1 (en) 2018-06-21
TWI759389B (zh) 2022-04-01
CN109997361B (zh) 2021-06-25
CN109997361A (zh) 2019-07-09
TW201830972A (zh) 2018-08-16
US10666937B2 (en) 2020-05-26
TW201826786A (zh) 2018-07-16
EP3560197A1 (en) 2019-10-30
CN110024392A (zh) 2019-07-16
WO2018119241A1 (en) 2018-06-28
WO2018119233A1 (en) 2018-06-28
EP3560198B1 (en) 2021-04-14
TW201838412A (zh) 2018-10-16
WO2018119247A1 (en) 2018-06-28
EP3560198A1 (en) 2019-10-30
CN110024392B (zh) 2021-08-10
EP3560197B1 (en) 2021-04-14
US20180176556A1 (en) 2018-06-21
US20180176582A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN110024393A (zh) 用于视频译码的低复杂度符号预测
CN107211156B (zh) 一种译码视频数据的方法、装置及计算机可读存储媒体
CN106105206B (zh) 用于使用置零系数的低复杂度正变换的系统和方法
CN108141605A (zh) 帧内块复制合并模式及不可用帧内块复制参考区域的填充
CN110447228A (zh) 运动向量差(mvd)预测
CN110393010A (zh) 视频译码中的帧内滤波旗标
CN104396247B (zh) 用于视频译码的基于lcu的自适应环路滤波的方法和装置
CN103688541B (zh) 在视频译码中缓冲预测数据的设备和方法
CN109196869A (zh) 帧内预测模式的基于邻近的发信号
CN109644275A (zh) 用于视频译码的树型译码
CN109155855A (zh) 用于视频译码的仿射运动预测
CN108781282A (zh) 在视频译码中以单独亮度-色度框架将亮度信息用于色度预测
CN108605136A (zh) 基于图片次序计数的运动矢量精简
CN107710764A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN110100439A (zh) 用于视频译码的帧内预测技术
CN110024403A (zh) 用于视频译码的仿射运动模型的运动向量生成
CN107690810A (zh) 确定用于视频译码的照明补偿状态的系统及方法
CN109076235A (zh) 用于在视频译码中的并置参考索引的一致性约束
CN108353167A (zh) 译码视频数据的正负号信息
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN108605126A (zh) 从用于视频译码的固定滤波器预测滤波器系数
CN103636225B (zh) 用信号发送用于叶层级译码单元的子集的变换系数的语法元素
CN108781289A (zh) 针对视频译码工具的受约束块层级优化和用信号发送
CN107787583A (zh) 在块内复制模式中的参考图片列表构建

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190716