CN108353167A - 译码视频数据的正负号信息 - Google Patents

译码视频数据的正负号信息 Download PDF

Info

Publication number
CN108353167A
CN108353167A CN201680065169.2A CN201680065169A CN108353167A CN 108353167 A CN108353167 A CN 108353167A CN 201680065169 A CN201680065169 A CN 201680065169A CN 108353167 A CN108353167 A CN 108353167A
Authority
CN
China
Prior art keywords
transformation coefficient
coefficient
sign
transformation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680065169.2A
Other languages
English (en)
Inventor
马尔塔·卡切维奇
张莉
陈建乐
钱威俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108353167A publication Critical patent/CN108353167A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

一种用于解码视频数据的实例装置包含被配置以存储视频数据的存储器,和使用数字逻辑电路实施的一或多个处理器,所述处理器被配置以基于相邻变换系数的一或多个正负号值,确定用于熵解码所述视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵解码用于所述变换系数的所述正负号的所述值。

Description

译码视频数据的正负号信息
本申请要求2015年11月13日递交的美国临时申请第62/255,206号的益处,其全部内容被以引用方式在此并入。
技术领域
本发明涉及视频编码。
背景技术
数字视频能力可以并入到广泛范围的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置和类似者。数字视频装置实施视频译码技术,例如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265高效视频译码(HEVC)定义的标准和此类标准的扩展中描述的视频译码技术。视频装置可通过实施此类视频译码技术而更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对基于块的视频译码,视频切片(例如,视频图片或视频图片的一部分)可分割成视频块,视频块还可被称作译码树单元(CTU)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧,且参考图片可被称作参考帧。
空间或时间预测导致用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量及指示经译码块与预测性块之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩,可将残余数据从像素域变换到变换域,从而导致残余变换系数,可接着量化所述残余变换系数。可扫描一开始按二维阵列排列的经量化变换系数,以便产生变换系数的一维向量,且可应用熵译码以达成甚至更多压缩。
发明内容
一般来说,本公开描述用于译码视频数据的正负号信息的技术。为了译码视频数据的块,视频译码器译码预测信息和残余信息。所述预测信息表示将预测所述块的方式,而所述残余信息包含表示所述块的原始型式与对所述块的预测之间的逐像素差的残余块。所述残余信息是按经量化变换系数的形式译码,其中所述残余块经变换以在变换域(例如,频域)中形成变换系数块。在一些实例中,不无变换的情况下直接量化所述残余块,例如,如果所述残余信息在空间域中。个别地译码每一变换系数的单独要素,例如,所述变换系数的量值或等级(表示所述变换系数的绝对值)和所述变换系数的正负号(所述变换系数是正还是负)。本公开描述用于译码所述正负号信息的各种技术,可单独或按任何组合一起使用所述各种技术。
在一个实例中,一种解码视频数据的方法包含基于相邻变换系数的一或多个正负号值,确定用于熵解码视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵解码用于所述变换系数的所述正负号的所述值。
在另一实例中,一种用于解码视频数据的装置包含被配置以存储视频数据的存储器,和使用数字逻辑电路实施的一或多个处理器,所述处理器被配置以基于相邻变换系数的一或多个正负号值,确定用于熵解码所述视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵解码用于所述变换系数的所述正负号的所述值。
在另一实例中,一种用于编码视频数据的装置包含用于基于相邻变换系数的一或多个正负号值来确定用于熵解码视频数据的块的变换系数的正负号的值的上下文模型的装置,和用于使用所述上下文模型熵编码用于所述变换系数的所述正负号的所述值的装置。
在另一实例中,一种计算机可读存储媒体具有存储于其上的指令,所述指令在被执行时使一处理器基于相邻变换系数的一或多个正负号值来根据模板确定一或多个相邻变换系数,和基于用于所述变换系数的所述相邻变换系数的正负号的值来确定上下文模型。
随附图式和以下描述中阐述一或多个实例的细节。其它特征、目标和优势将从所述描述和图式以及从权利要求书显而易见。
附图说明
图1是说明可利用用于译码视频数据的正负号信息的技术的实例视频编码和解码系统的框图。
图2是说明可实施用于译码视频数据的正负号信息的技术的视频编码器的实例的框图。
图3是说明可实施用于译码视频数据的正负号信息的技术的视频解码器的实例的框图。
图4是说明用于包含用字母a到j标注的10个TU和对应块分割的CU的实例残余四叉树的概念图。
图5是说明基于高效视频译码(HEVC)中的译码群组的系数扫描的概念图。
图6是说明可用于上下文模型化的局部模板的实例的概念图。
图7是说明可在正负号数据隐藏(SDH)期间使用的实例局部模板的概念图。
图8是说明用于编码当前块的实例方法的流程图。
图9是说明根据本公开的技术的用于熵编码正负号信息的实例方法的流程图。
图10是说明用于解码当前视频数据块的实例方法的流程图。
图11是说明根据本公开的技术的用于熵解码正负号信息的实例方法的流程图。
具体实施方式
本公开描述与在基于块的混合视频译码中的熵译码有关的技术,尤其对于系数等级译码。这些技术可应用于现有例如HEVC(高效视频译码)的视频编解码器中的任一个,或可为任何未来视频译码标准中的高效译码工具。
视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也称为ISO/IECMPEG-4AVC),包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。此外,视频译码标准(即,高效视频译码(HEVC)或ITU-T H.265),包含其范围扩展、多视图扩展(MV-HEVC)和可缩放扩展(SHVC),已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的关于视频译码的联合合作小组(JCT-VC)以及关于3D视频译码扩展开发的联合合作小组(JCT-3V)开发。在本文中下文被称作HEVC规范的HEVC规范版本可从phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip.获得。所述HEVC规范已在2015年4月公开为国际电信联盟的“H系列:视听和多媒体系统,视听服务的基础设施——移动视频的译码,高效视频译码(SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS,Infrastructure of audiovisual services-Coding of moving video,High efficiencyvideo coding)”,ITU-T H.265。
在HEVC中,在旁路模式中,在第四扫描遍次中译码视频数据的变换单元的每一非零变换系数的正负号。对于变换单元的每一译码群组(CG),且取决于准则,当使用正负号数据隐藏(SDH)时,简单地省略编码最后一个非零系数的正负号(在反向扫描次序中)。取而代之,使用预定义的惯例将正负号值(0代表正,或1代表负)嵌入于CG的量值的总和(由SCG表示)的奇偶性中:偶数对应于“+”,且奇数对应于“-”。即,省略的正负号值可从(SCG%2)导出,其中‘%’表示取模运算。使用SDH的准则是CG的第一与最后一个非零变换系数之间的在扫描次序上的距离。如果这距离等于或大于4,那么使用SDH。选择这个值4,是因为其提供关于HEVC测试序列的最大增益。在编码器侧,如果以下情况中的一个发生,那么应修改所述变换系数中的一个:
●CG的量值的总和为奇数,且最后一个非零系数(在反向扫描次序上)为正
●CG的量值的总和为偶数,且最后一个非零系数(在反向扫描次序上)为负
在一些例子中,当需要译码正负号旗标时,根据HEVC,使用旁路译码模式。即,假定正负号旗标(取决于其为负还是正,设定成0或1)的概率等于0.5。因此,应用固定长度译码(旁路译码)以在HEVC和其扩展中译码正负号旗标。然而,本公开认识到,实际上在当前正负号信息与相邻系数的正负号信息之间可能存在一些相关性。
此外,在SDH中,视频译码器始终检查译码群组中的变换系数的总和(由SCG表示)的奇偶(即,(SCG%2))以导出省略的正负号值,在不考虑译码群组内的变换系数的局部统计的情况下,这可为次佳的。
本公开描述可单独或按任何组合执行的各种技术,其可用视频数据的正负号信息的译码来克服这些和其它问题。
图1是说明可利用用于译码视频数据的正负号信息的技术的实例视频编码和解码系统10的框图。如图1中所展示,系统10包含源装置12,其提供稍后时间将由目的地装置14解码的经编码视频数据。明确地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一个,包含台式计算机、笔记本(例如,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如,所谓的“智能”电话、所谓的“智能”板)、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下,可装备源装置12和目的地装置14以用于无线通信。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频资料从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码视频资料直接发射到目的地装置14。经编码视频数据可根据通信标准(例如,无线通信协议)来调制,且被发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理发射线。通信媒体可形成基于数据包的网络(例如,局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含路由器、交换机、基站或可用于有助于从源装置12到目的地装置14的通信的任何其它装备。
在一些实例中,经编码数据可以从输出接口22输出到存储装置。类似地,经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一个,例如,硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中,存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据并且将那经编码视频数据发射到目的地装置14的任一类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络附接存储(NAS)装置和本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或适合于存取存储于文件服务器上的经编码视讯资料的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。
本公开的技术未必限于无线应用或设定。所述技术可应用于支持多种多媒体应用中的任一种的视频译码,例如,空中电视广播、有线电视发射、卫星电视发射、因特网流式传输视频发射(例如,HTTP动态自适应流式传输(DASH))、被编码到数据存储媒体上的数字视频,存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中,系统10可被配置以支持单向或双向视频发射,以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。
在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。根据本公开,源装置12的视频编码器20可被配置以应用用于译码视频数据的正负号信息的技术。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如,外部相机)接收视频数据。同样地,目的地装置14可以与外部显示装置接口连接,而不是包含集成显示装置。
图1的所说明的系统10仅为一个实例。用于译码视频数据的正负号信息的技术可由任一数字视频编码和/或解码装置执行。尽管本公开的技术通常由视频编码装置执行,但是所述技术也可由视频编码器/解码器(通常被称作“编解码器”)执行。此外,本公开的技术还可由视频预处理器执行。源装置12和目的地装置14仅为此类译码装置的实例,其中源装置12产生经译码视频数据以用于发射到目的地装置14。在一些实例中,装置12、14可以大体上对称的方式操作,使得装置12、14中的每一个包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频发射,例如,用于视频流式传输、视频重放、视频广播或视频电话。
源装置12的视频源18可包含视频捕获装置,例如,摄像机、含有先前所捕获视频的视频存档和/或从视频内容提供者接收视频的视频馈送接口。作为再一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或实况视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为摄像机,那么源装置12和目的地装置14可形成所谓的摄像机电话或视频电话。然而,如上所提到,本公开中所描述的技术一般可适用于视频译码,且可应用于无线和/或有线应用。在每一情况下,捕获、预先捕获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。
计算机可读媒体16可包含瞬时媒体(例如,无线广播或有线网络发射),或存储媒体(即,非暂时性存储媒体),例如,硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可从源装置12接收经编码视讯资料,且将经编码视讯资料提供到目的地装置14,例如,经由网路发射。类似地,媒体生产设施(例如,光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息,其亦由视频解码器30使用,其包含描述块和其它经译码单元的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户,且可包括多种显示装置中的任一个,例如,阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30可根据例如高效视频译码(HEVC)标准(也被称作ITU-T H.265)的视频译码标准操作。替代地,视频编码器20和视频解码器30可根据其他专属或行业标准(例如,ITU-TH.264标准,替代地被称作MPEG-4第10部分高级视频译码(AVC))或此类标准的扩展操作。然而,本公开的技术不限于任一特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。图1中虽未展示,但在一些方面中,视频编码器20和视频解码器30可各自与音频编码器和解码器集成,且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用的话,多路复用器-多路分用器单元可遵照ITU H.223多路复用器协议,或例如用户数据报协议(UDP)的其它协议。
视频编码器20和视频解码器30各可被实施为多种合适的编码器或解码器数字逻辑电路(例如,固定功能或可编程数字逻辑电路)中的任一个,例如,一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施所述技术时,装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器以硬件执行所述指令以执行本公开的技术。视频编码器20和视频解码器30中的每一个可以包含在一或多个编码器或解码器中,所述编码器或解码器中的任一个可以集成为相应装置中的组合编码器/解码器(编解码器)的部分。
一般来说,根据ITU-T H.265,视频图片可划分成可包含明度和色度样本两者的一连串译码树单元(CTU)(或最大译码单元(LCU))。CTU是切片中的最大译码单元。替代地,CTU可包含单色数据(即,仅亮度样本)。位流内的语法数据可以定义CTU(就像素数目来说的最大译码单元)的大小。切片包含按译码次序的许多连续CTU。视频图片可被分割成一或多个切片。每一CTU可根据四叉树而分裂成译码单元(CU)。一般来说,四叉树数据结构包含每个CU一个节点,其中根节点对应于CTU。即,CTU包含四叉树,四叉树的节点为译码单元。如果CU分裂成四个子CU,那么对应于CU的节点包含四个叶节点,其中叶节点中的每一个对应于所述子CU中的一个。
根据HEVC,CTU的大小可范围从HEVC主规范中的16×16到64×64(但技术上可支持8×8CTU大小)。译码单元(CU)可为CTU的相同大小或更小,例如,8×8。每一译码单元用一个模式译码。当CU经帧间译码时,其可进一步分割成2个或4个预测单元(PU),或当进一步分割不适用时变为仅一个PU。当两个PU存在于一个CU中时,其可为一半大小的矩形或具有CU的1/43/4大小的两个矩形大小。当CU经帧间译码时,针对每一PU存在运动信息的一个集合。此外,每一PU是以唯一帧间预测模式译码以导出运动信息的集合。
四叉树数据结构的每一节点可提供对应的CU的语法数据。举例来说,四叉树中的节点可包含分裂旗标,从而指示对应于所述节点的CU是否分裂成子CU。CU的语法元素可以递归地定义,且可以取决于所述CU是否分裂成子CU。如果CU未进一步分裂,那么将其称作叶CU。在本公开中,叶CU的四个子CU也将被称作叶CU,即使不存在原始叶CU的明确分裂时也是如此。举例来说,如果16×16大小的CU不进一步分裂,那么尽管16×16CU从未分裂,四个8×8子CU也将被称作叶CU。
CU具有与H.264标准的宏块类似的用途,例外情况是CU不具有大小区别。举例来说,CTU可分裂成四个子节点(也被称作子CU),且每一子节点又可为父节点且可分裂成另外四个子节点。最后未分裂的子节点(被称作四叉树的叶节点)包括译码节点,也被称作叶CU。与经译码位流相关联的语法数据可定义CTU可分裂的最大次数(被称作最大CU深度),且还可定义译码节点的最小大小。因此,位流还可定义最小译码单元(SCU)。本公开使用术语“块”指CU、预测单元(PU)或变换单元(TU)中的任一个(在HEVC的情况下),或类似数据结构(在其它标准(例如,在H.264/AVC中的宏块和其子块)的情况下)。
CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小,且通常为正方形形状。CU的大小范围可从8×8像素直到具有最大大小(例如,64×64像素或更大)的CTU的大小。每一CU可含有一或多个PU和一或多个TU。举例来说,与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可被分割成非正方形形状。举例来说,与CU相关联的语法数据还可描述CU根据四叉树划分成一或多个TU。TU的形状可为正方形或非正方形(例如,矩形)。
HEVC标准允许根据TU进行变换,TU可针对不同CU而有所不同。TU通常是基于针对经分割CTU定义的给定CU内的PU的大小而定大小,但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中,对应于CU的残余样本可使用被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数,所述变换系数可经量化。
为了适应残余块的各种特性,在HEVC中应用使用残余四叉树(RQT)的变换译码结构,其简要地描述于www.hhi.fraunhofer.de/fields-of-competence/image-processing/researchgroups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html.中。
每一图片被划分成译码树单元(CTU),其被按针对特定图像块或切片的光栅扫描次序译码。CTU是正方形块且表示四叉树的根,即,译码树。CTU大小可范围从8×8到64×64个明度样本,但通常使用64×64。每一CTU可进一步分裂成较小正方形块,称为译码单元(CU)。在CTU递归分裂成CU后,每一CU进一步划分成预测单元(PU)和变换单元(TU)。CU到TU的分割是基于四叉树方法递归地进行;因此,每一CU的残余信号通过树状结构(即,残余四叉树(RQT))译码。RQT允许从4×4直到32×32个明度样本的TU大小。图4展示CU包含用字母a到j标注的10个TU和对应块分割的实例。
RQT的每一节点实际上为变换单元(TU)。以深度优先树遍历次序处理个别TU,其在图中说明为字母次序,其跟随具有深度优先遍历的递归Z扫描。四叉树方法实现变换对残余信号的变化空间-频率特性的适应。通常,具有较大空间支持的较大变换块大小提供较好频率分辨率。然而,具有较小空间支持的较小变换块大小提供较好空间分辨率。空间和频率分辨率两者之间的折衷是例如基于速率-失真优化技术通过编码器模式决策而选择。速率-失真优化技术计算用于每一译码模式(例如,特定RQT分裂结构)的译码位和重构失真的加权和(即,速率-失真成本),且选择具有最小速率-失真成本的译码模式作为最佳模式。
RQT中定义三个参数:树的最大深度、最小允许的变换大小和最大允许的变换大小。在HEVC中,最小和最大变换大小可在范围从4×4到32×32个样本内变化,其对应于在先前段落中提到的支持的块变换。RQT的最大允许的深度限制TU的数目。最大深度等于零意味着如果包含在TU中的每一CTU到达最大允许的变换大小(例如,32×32),那么CTU不能被任何进一步地分裂。在HEVC中,不采用较大大小变换(例如,64×64变换),这是主要归因于考虑到针对相对较小分辨率视频的相对高复杂性的其有限益处。
叶CU可包含一或多个预测单元(PU)。一般来说,PU表示对应于所述对应的CU的全部或一部分的空间区域,且PU可包含用于对于PU检索及/或产生参考样本的数据。此外,PU包含与预测相关的数据。举例来说,当PU经帧内模式编码时,用于PU的数据可包含在残余四叉树(RQT)中,残余四叉树可包含描述用于对应于PU的TU的帧内预测模式的数据。RQT也可被称作变换树。在一些实例中,可在叶CU语法而不是RQT中用信号表示帧内预测模式。作为另一实例,当PU经帧间模式编码时,PU可包含定义PU的运动信息(例如,一或多个运动向量)的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如,四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片及/或运动向量的参考图片列表(例如,列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。变换单元可使用RQT(也被称作TU四叉树结构)来指定,如上所论述。举例来说,分裂旗标可以指示叶CU是否分裂成四个变换单元。接着,每一变换单元可以进一步分裂成另外子TU。当TU未进一步分裂时,其可被称作叶TU。通常,对于帧内译码,所有属于一个叶CU的叶TU共享相同的帧内预测模式。即,一般应用相同的帧内预测模式来计算叶CU的所有TU的预测值。对于帧内译码,视频编码器可以使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因此,TU可比PU大或小。对于帧内译码,PU可以与同一CU的对应叶TU并置。在一些实例中,叶TU的最大大小可以对应于对应叶CU的大小。
此外,叶CU的TU还可与相应的四叉树数据结构(被称作残余四叉树(RQT))相关联。即,叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点通常对应于叶CU,而CU四叉树的根节点通常对应于CTU(或LCU)。RQT的未分裂的TU被称作叶TU。一般来说,本公开分别使用术语CU和TU指代叶CU和叶TU,除非另有指出。
视频序列通常包含从随机存取点(RAP)图片开始的一系列视频帧或图片。视频序列可包含在表示视频序列的特性的序列参数集(SPS)中的语法数据。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块操作以便编码视频数据。视频块可对应于CU内的译码节点。视频块可以具有固定或变化的大小,并且可以根据指定译码标准而有不同大小。
作为实例,可针对各种大小的PU执行预测。假设特定CU的大小是2N×2N,那么可对2N×2N或N×N的PU大小执行帧内预测,并且可对2N×2N、2N×N、N×2N或N×N的对称PU大小执行帧间预测。还可针对2N×nU、2N×nD、nL×2N及nR×2N的PU大小执行帧间预测的不对称分割。在不对称分割中,不分割CU的一个方向,但是将另一方向分割成25%和75%。CU的对应于25%分区的部分由“n”后面跟着“上(Up)”、“下(Down)”、“左(Left)”或“右(Right)”的指示来指示。因此,举例来说,“2N×nU”指经水平地分割的2N×2N CU,其中顶部为2N×0.5NPU,而底部为2N×1.5N PU。
在本公开中,“N×N”与“N乘N”可互换使用来指在垂直和水平尺寸方面的视频块的像素尺寸,例如,16×16个像素或16乘16个像素。一般来说,16×16块将在垂直方向上具有16个像素(y=16),且在水平方向上具有16个像素(x=16)。同样,N×N块通常在垂直方向上具有N个像素,并且在水平方向上具有N个像素,其中N表示非负整数值。块中的像素可按行和列布置。此外,块未必需要在水平方向与垂直方向上具有相同数目个像素。例如,块可包括N×M个像素,其中M未必等于N。
在使用CU的PU进行帧内预测性或帧间预测性译码之后,视频编码器20可计算CU的TU的残余数据。PU可包括描述在空间域(也被称作像素域)中产生预测性像素数据的方法或模式的语法数据,并且TU可包括在对残余视频数据应用了变换(例如,离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)后的变换域中的系数。所述残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可形成TU以包含表示CU的残余数据的经量化变换系数。即,视频编码器20可计算残余数据(按残余块的形式)、变换残余块以产生变换系数的块,且接着量化变换系数以形成经量化变换系数。视频编码器20可形成包含经量化变换系数的TU,以及其它语法信息(例如,TU的分裂信息)。
如上所指出,在任何变换以产生变换系数后,视频编码器20可执行变换系数的量化。量化通常指对变换系数量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。量化过程可降低与系数中的一些或全部相关联的位深度。举例来说,可在量化期间将n位值向下舍入到m位值,其中n大于m。
在量化之后,视频编码器可以扫描变换系数,从包括经量化变换系数的二维矩阵产生一维向量。所述扫描可经设计以将较高能量(和因此较低频率)系数放置在阵列的前面,并且将较低能量(和因此较高频率)系数放置在阵列的后面。在一些实例中,视频编码器20可利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中,视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后,视频编码器20可(例如)根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率间隔分割熵(PIPE)译码或另一熵编码方法来熵编码一维向量。视频编码器还20还可以熵编码与经编码视频数据相关联的语法元素以供视频解码器30在解码视频数据时使用。
CABAC为首先在H.264/AVC中介绍并且现在在最新标准高效视频译码(HEVC)中使用的熵译码的方法。其涉及三个主要功能:二进制化、上下文模型化和算术译码。二进制化将语法元素映射到称为二进制数串的二进制符号(二进制数)。上下文模型化估计二进制数的概率。最后,二进制算术译码器基于估计的概率而将二进位压缩为位。
在HEVC中使用若干不同二进制化过程,包含一元(U)、截断一元(TU)、k阶指数-哥伦布(EGk)和固定长度(FL)。在HEVC规范中描述细节。
上下文模型化提供达成高译码效率所必要的准确概率估计。因此,其高度自适应。不同上下文模型可用于不同二进制数,其中上下文模型的概率是基于经先前译码二进制数的值而更新。具有相似分布的二进制数常常共享同一上下文模型。用于每一二进制数的上下文模型可基于语法元素的类型、语法元素(binIdx)中的二进制数位置、明度/色度、相邻信息等而选择。
上下文切换发生在每一二进制数译码后。将概率模型作为7位项(6个位针对概率状态,且1个位针对最可能符号(MPS))存储在上下文存储器中,且使用通过上下文选择逻辑计算的上下文索引来定址。
为了执行CABAC,视频编码器20可以向待发射的符号指派上下文模型内的上下文。举例来说,所述上下文可涉及符号的相邻值是否为非零。为了执行CAVLC,视频编码器20可选择用于待发射的符号的可变长度码。VLC中的码字可经建构使得相对较短码对应于更有可能符号,而较长码对应于不太可能符号。以此方式,使用VLC可较之于(例如)对待发射的每一符号使用等长码字而达成位节省。概率确定可基于指派到符号的上下文。
一般来说,视频解码器30执行尽管与由视频编码器20执行的过程互逆但与其实质上类似的过程,以解码经编码数据。举例来说,视频解码器30反量化且反变换所接收TU的系数以再生残余块。视频解码器30使用用信号表示的预测模式(帧内预测或帧间预测)以形成预测块。随后视频解码器30(在逐像素基础上)组合预测块与残余块以再生原始块。可执行额外处理,例如,执行解块过程以减少沿块边界的视觉假影。此外,视频解码器30可按尽管与视频编码器20的CABAC编码过程互逆但与其实质上类似的方式使用CABAC来解码语法元素。
视频编码器20可进一步将语法数据(例如,基于块的语法数据、基于图片的语法数据和基于序列的语法数据)发送到视频解码器30,例如,在图片标头、块标头、切片标头或其它语法数据(例如,序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))中。
在HEVC中,不管TU大小,变换单元的残余用非重叠系数群组(CG)译码,每一群组含有TU的4×4块的系数。举例来说,32×32TU具有全部64个CG,且16×16TU具有全部16个CG。TU内的CG是根据某一预定义的扫描次序而译码。当译码每一CG时,根据用于4×4块的某一预定义的扫描次序扫描和译码在当前CG内部的系数。图5说明用于含有4个CG的8×8TU的系数扫描。语法元素表如下定义:
残余译码语法
对于每一色彩分量,可首先用信号表示一个旗标以指示当前变换单元是否具有至少一个非零系数。如果存在至少一个非零系数,那么接着用相对于变换单元的左上角的坐标显式译码变换单元中按系数扫描次序的最末有效系数的位置。坐标的垂直或水平分量由其前缀和后缀表示,其中前缀用截短莱斯(TR)二进制化,且后缀用固定长度二进制化。
用于在上表中展示的语法要素的语义可如下定义:
last_sig_coeff_x_prefix指定在变换块内按扫描次序的最末有效系数的列位置的前缀。last_sig_coeff_x_prefix的值应处于0到(log2TrafoSize<<1)-1(包含性)的范围中。
last_sig_coeff_y_prefix指定在变换块内按扫描次序的最末有效系数的行位置的前缀。last_sig_coeff_y_prefix的值应处于0到(log2TrafoSize<<1)-1(包含性)的范围中。
last_sig_coeff_x_suffix指定在变换块内按扫描次序的最末有效系数的列位置的后缀。last_sig_coeff_x_suffix的值应处于0到(1<<((last_sig_coeff_x_prefix>>1)-1))-1(包含性)的范围中。
变换块内按扫描次序的最末有效系数的列位置LastSignificantCoeffX可如下导出:
如果last_sig_coeff_x_suffix不存在,那么以下适用:
LastSignificantCoeffX=last_sig_coeff_x_prefix
否则(last_sig_coeff_x_suffix存在),那么以下适用:
LastSignificantCoeffX=(1<<((last_sig_coeff_x_prefix>>1)-1))*
(2+(last_sig_coeff_x_prefix&1))+last_sig_coeff_x_suffix
last_sig_coeff_y_suffix指定在变换块内按扫描次序的最末有效系数的行位置的后缀。last_sig_coeff_y_suffix的值应处于0到(1<<((last_sig_coeff_y_prefix>>1)-1))-1(包含性)的范围中。
变换块内按扫描次序的最末有效系数的行位置LastSignificantCoeffY如下导出:
如果last_sig_coeff_y_suffix不存在,那么以下适用:
LastSignificantCoeffY=last_sig_coeff_y_prefix
否则(last_sig_coeff_y_suffix存在),那么以下适用:
LastSignificantCoeffY=(1<<((last_sig_coeff_y_prefix>>1)-1))*
(2+(last_sig_coeff_y_prefix&1))+last_sig_coeff_y_suffix
当scanIdx等于2时,交换坐标如下:
(LastSignificantCoeffX,LastSignificantCoeffY)=Swap(LastSignificantCoeffX,LastSignificantCoeffY)
通过此经译码位置并且还有CG的系数扫描次序,对于除最后CG(按扫描次序)之外的CG进一步用信号表示一个旗标,其指示最后CG是否含有非零系数。
当译码一个CG是否具有非零系数、即CG旗标(HEVC规范中的coded_sub_block_flag)时,利用相邻CG的信息来建置上下文。更具体地说,用于译码CG旗标的上下文选择被定义为:
(右边CG可用&&右边CG的旗标等于1)||(下方CG可用&&下方CG的旗标等于1)
此处,右边和下方的CG是靠近当前CG的两个相邻CG。上下文索引增量的导出的细节可在HEVC规范的9.3.4.2.4中发现。
对于可含有非零系数的那些CG,可根据预定义的4×4系数扫描次序针对每一系数进一步译码有效旗标(significant_flag)、系数的绝对值(包含coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag和coeff_abs_level_remaining)和正负号信息(coeff_sign_flag)。变换系数等级的译码分成多个扫描遍次。
在第一二进制数译码的第一遍次中,译码在一个CG内的每一位置处的变换系数的所有第一二进制数(或二进制数索引0,bin0),例外情况是,可得出特定变换系数等于0。变量sigCtx取决于相对于当前TU的左上方位置的当前位置、色彩分量索引cIdx、变换块大小和语法元素coded_sub_block_flag的先前经解码二进制数。取决于TU大小,可应用不同规则。上下文索引增量的选择的细节在HEVC规范的9.3.4.2.5中定义。
在HEVC中,在第一译码遍次期间译码所有bin0(在第一遍次期间译码的第一二进制数),例外情况是与HEVC中的最末变换系数相关联的bin0。在JEM中,针对bin0的上下文索引计算可定义如下:
c0=c0+offset(cIdx,width)
其中
基于c0的范围,一组明度上下文包含NumberLumaCtxOneset,即,18个上下文模型。用于译码明度bin0的不同变换大小(其中变换宽度由‘w’表示)必须选择其自身的集合。此外,可分开色度和明度上下文以进一步改善译码性能。对于YCbCr输入,分别用等于0、1和2的分量索引v表示三个色彩分量,即,Y、Cb及Cr。
在第二二进制数译码的第二遍次中,应用coeff_abs_level_greater1_flags的译码。上下文模型化取决于色彩分量索引、当前子块扫描索引和当前子块内的当前系数扫描索引。上下文索引增量的选择的细节在HEVC规范的第9.3.4.2.6节中定义。
在第三二进制数译码的第三遍次中,应用coeff_abs_level_greater2_flags的译码。所述上下文模型化类似于由coeff_abs_level_greater1_flags使用之上下文模型化。上下文索引增量的选择的细节在HEVC规范的第9.3.4.2.7节中定义。
为了改善处理量,第二和第三遍次可不处理CG中的所有系数。CG中的前八个coeff_abs_level_greater1_flags以规则模式译码。在那之后,剩下的值在第五遍次中通过语法coeff_abs_level_remaining以旁路模式译码。类似地,译码CG中仅具有大于1的量值的第一系数的coeff_abs_level_greater2_flags。CG的具有大于1的量值的其余系数使用coeff_abs_level_remaining译码所述值。此方法将用于系数等级的规则二进制数的数目限制为每CG最大9个:8个用于coeff_abs_level_greater1_flags且1个用于coeff_abs_level_greater2_flags。
当译码bin1(即,在第二译码遍次期间译码的第二二进制数)时,可将与局部模板中的系数相关联的bin1的值用于上下文模型化。类似地,与局部模板中的系数相关联的bin2(即,在第三译码遍次期间译码的第三二进制数)的值用以选择用于译码当前bin2的上下文模型。更具体地说:对于bin1,将上下文索引导出为:
c1=min(sum_template(1),4)+N
c1=c1k(f(x,y,5,3),cIdx)+δk(f(x,y,5,10),cIdx) (6)
对于bin2,将上下文索引导出为:
c2=min(sum_template(2),4)+N
c2=c2k(f(x,y,5,3),cIdx)+δk(f(x,y,5,10),cIdx) (7)
其中N等于1。第一bin1或bin2用等于0的上下文索引c1或c2译码,且对于其它bin1和bin2,其遵循以上方程来译码。
在最后遍次中,译码剩余二进制数。令系数的baseLevel定义为:
baseLevel=significant_flag+coeff_abs_level_greater1_flag+coeff_abs_level_greater2_flag (1)
其中旗标具有0或1的值,且如果不存在,那么推断为0。接着,系数的绝对值简单地为:
absCoeffLevel=baseLevel+coeff_abs_level_remaining。 (2)
coeff_abs_level_remaining经旁路译码,即,不需要上下文。
HEVC中的语法元素coeff_abs_level_remaining指示用于系数等级的绝对值的剩余值(如果所述值大于用于系数译码的先前扫描遍次中经译码的值)。此语法经在旁路模式中译码以便增大处理量。如在W.-J.钱(Chien)、M.卡策威茨(Karczewicz)、J.索尔(Sole)和J.陈(Chen)的“关于系数等级剩余译码(On Coefficient Level Remaining Coding)”(JCTVC-I0487,视频译码联合合作小组(JCT-VC)第9次会议,瑞士日内瓦,2012年4月-5月)中所描述,HEVC针对小值使用莱斯码,且针对较大值,切换到指数-哥伦布码。
可如下执行针对变换系数的量值的剩余二进制数的上下文模型化。如下导出莱斯参数r。对于每一扫描位置,将参数设定至0。接着,将sum_absolute_levelMinus1与阈值集tR={3,9,21}比较。换句话说,如果sum_absolute_levelMinus1属于第一间隔,那么莱斯参数是0,如果sum_absolute_levelMinus1属于第二间隔,那么莱斯参数是1,等等。莱斯参数r的导出在下文中概括。
sum_absolute_level=∑|xi|
sum_absolute_levelMinus1=∑δj(xi)
其中
其中x=sum_abslolute_levelMinus 1。
视频编码器20和视频解码器30可被配置以单独或按任何组合执行多种技术中的任一个,以译码变换系数的正负号信息。举例来说,视频编码器20和视频解码器30可被配置以单独或组合执行以下技术中的任一个。
根据本公开的技术,视频编码器20和视频解码器30(其可通常被称作“视频译码器”,使得对“视频译码器”的参考可指视频编码器或视频解码器)可使用上下文模型化来熵译码(即,编码或解码)变换系数的正负号的值。即,视频编码器20可确定用于熵解码视频数据的块的变换系数的正负号的值的上下文模型,且使用所述上下文模型熵编码变换系数的正负号的值。类似地,视频解码器30可确定用于熵解码视频数据的块的变换系数的正负号的值,且使用所述上下文模型熵编码变换系数的正负号的值。
即,视频编码器20和视频解码器30可被配置以使用上下文模型而非使用旁路模式来译码正负号信息的二进制数。视频编码器20和视频解码器30可进一步被配置以基于一或多个相邻变换系数的正负号信息选择上下文模型。视频编码器20和视频解码器30可被配置以确定相邻变换系数为位于模板中的变换系数。在一个实例中,模板与用于在译码变换系数的量值时的上下文模型化的模板相同。
在另一实例中,所述模板与在VCEG-AZ07(J.陈(Chen)、W.-J.钱(Chien)、M.卡策威茨(Karczewicz)、X.李(Li)、H.刘(Liu)、A.赛德(Said)、L.张(Zhang)、X.赵(Zhao)的“对HMKTA-1.0的进一步改善(Further improvements to HMKTA-1.0)”,ITU——电信标准化部门第16学习组,第6个问题,视频译码专家组(VCEG),Doc.VCEG-AZ07,华沙,2015年6月)中使用的模板相同。即,在此实例中,模板涵盖当前变换单元内的五个相邻者(右边两个、下侧两个且右下方一个),如图6中所描绘。替代地,相邻变换系数可位于空间或时间相邻的变换单元中。
替代地,所述模板可在一个译码群组/变换单元/一个切片/图片/序列内不同。即,视频编码器20和视频解码器30可被配置以基于正译码哪一译码群组、变换单元、切片、图片或序列来确定使用哪一模板。举例来说,所述模板可取决于扫描次序,和/或帧内/帧间译码模式,和/或帧内预测模式,和/或启用或未启用的变换,和/或变换矩阵,和/或变换大小,和/或译码群组大小。
视频编码器20和视频解码器30可被配置以基于相邻变换系数的正负号信息的函数来执行上下文选择。在一个实例中,将所述函数定义为相邻变换系数的正负号信息的总和。举例来说,可将所述函数定义为:
其中(n+1)表示相邻变换系数的总数,且xi表示第i个相邻变换系数的值。
在另一实例中,作为对以上论述的实例的额外或替代,视频编码器20和视频解码器30可被配置以基于总和的绝对值执行上下文选择,即,
其中函数abs(·)返回绝对值。
在一些实例中,上下文选择可另外或替代地取决于变换系数的当前量值、变换大小、是否跳过变换、变换矩阵、帧内预测模式或类似者。
视频编码器20和视频解码器30可被配置以基于当前变换系数和以上展示的函数f0的返回值来确定用于表示一个变换系数的正负号信息的二进制数值。在一个实例中,当函数f0的返回值(由T表示)等于0时,如果当前变换系数为正,那么视频编码器20和视频解码器30将二进制数值设定成1,并且否则,将二进制数值设定成0。替代地,可颠倒‘1’与‘0’。替代地,当T等于0时,视频编码器20和视频解码器30可使用旁路译码。
在另一实例中,当T不等于0时,视频编码器20和视频解码器30可将变量ST设定成Sign(T),且将变量Sc设定成Sign(level),其中如果x为正,那么函数Sign(x)返回1,并且如果x为负,那么返回0,且level表示当前变换系数值。视频编码器20和视频解码器30可将待译码的二进制数值设定成(ST XOR Sc),其中XOR表示异或运算。替代地,视频编码器20和视频解码器30可将待译码的二进制数值设定成(ST XNOR Sc),其等于(1-(ST XOR Sc))。替代地,此外,视频编码器20和视频解码器30可仅在应用以上函数f1时启用这方法。
在一些实例中,视频编码器20和视频解码器30可只将这些函数应用于某些变换系数。举例来说,视频编码器20和视频解码器30可只在一个变换系数的正负号信息未由SDH省略时应用这些函数。
在一些实例中,如果未省略正负号信息,那么视频编码器20和视频解码器30可另外或替代地上下文译码所述正负号信息,并且取决于位于一或多个相邻变换单元中的相同的相对位置中的前一变换系数的正负号信息,视频编码器20和视频解码器30可执行上下文模型化。在一个实例中,相邻变换单元限于在当前译码单元内。相邻变换单元可限于为具有相同变换大小/变换跳跃旗标/变换矩阵的变换单元。另外或替代地,相邻变换单元可来自参考图片。
在一个实例中,当存在多个相邻变换单元时,视频编码器20和视频解码器30可使用第一先前经译码相邻变换单元选择用于当前系数的上下文模型。替代地,视频编码器20和视频解码器30可使用在与当前变换系数相同的相对位置处含有非零系数的第一先前经译码相邻变换单元选择用于当前系数的上下文模型。替代地,视频编码器20和视频解码器30可始终使用第一经译码相邻变换单元(按译码次序)的正负号信息用于上下文模型化。视频编码器20和视频解码器30可被配置以只针对某些变换系数(例如,用于一个变换单元的DC系数)执行这些技术。
在一些实例中,替代检查在译码群组中的变换系数的总和(由SCG表示)的奇偶性(即,(SCG%2))以导出省略的正负号值,视频编码器20和视频解码器30可被配置以应用其它规则,例如,(SCG%N)是否等于K,其中N可不等于2且K从0到N-1(包含性)。当(SCG%N)等于K时,视频编码器20和视频解码器30可将正负号值设定成0以用于表示正等级(或1以用于表示负等级)。相反地,当(SCG%N)不等于K时,视频编码器20和视频解码器30可将正负号值设定成1以用于表示负等级(或0以用于表示正等级)。在一个实例中,K设定成0。在另一实例中,在一个译码群组/变换单元/译码单元/预测单元/切片/图片/序列内,N和/或K可为自适应的。在另一实例中,N可由一或多个相邻变换系数的正负号信息决定。相邻变换系数的定义可与以上论述的相邻变换系数相同(例如,根据模板)。
在一些实例中,N可取决于如上定义的函数f0的返回值。用SumNG表示返回值。举例来说,当abs(SumNG)大于阈值(例如,3)时,N被设定成4;且当abs(SumNG)大于阈值时,N被设定成2。替代地,此外,省略的正负号值可取决于SumNG和SCG%N是否等于K。举例来说,当SumNG为正且大于阈值,且SCG%N(N不等于2)等于K时,视频编码器20和视频解码器30可将省略的正负号值设定成1以用于表示负等级。在另一实例中,当SumNG为负且abs(SumNG)大于阈值,且SCG%N(N不等于2)等于K时,视频编码器20和视频解码器30可将省略的正负号值设定成0以用于表示正等级。
在一些实例中,替代隐藏译码群组中的最后一个非零系数(按反向扫描次序,或按编码/解码次序)的正负号信息,视频编码器20和视频解码器30可隐藏第一非零系数的正负号信息。在一个实例中,视频编码器20和视频解码器30可使用与在HEVC设计中相同的准则来使用SDH。即如果CG的第一与最后一个非零系数之间的按扫描次序的距离相等或大于N(在此实例中,N被设定成4),那么视频编码器20和视频解码器30可应用SDH。替代地,在其它实例中,可使用N的不同值。
替代地,或此外,N可取决于译码群组位置、预测模式和/或变换类型。替代地,视频编码器20和视频解码器30可选择不同译码群组或变换单元以隐藏第一或最后一个非零系数的正负号信息。在一些实例中,对于某些译码群组,可始终停用SDH。在一些实例中,对于不包括第一译码群组(按反向扫描次序)的所有译码群组,可停用SDH。在一些实例中,当最后一个非零系数的正负号值经隐藏时,且当视频编码器20和视频解码器30确定(SCG%N)是否不等于K的以上论述的技术也适用时,可将相邻像素定义为位于左侧、顶部侧和左上侧的像素。以下关于图7论述实例。
对于属于相同频率的系数,可强加限制,使得属于相同频率的具有小于阈值的量值的所有系数共享相同正负号值。在一个实例中,将阈值设定成2。在一些实例中,只译码具有小于阈值的量值的第一非零系数的正负号值(按译码次序),且省略其它正负号值。
与正负号数据隐藏有关的方法也可通过用变换单元替换译码群组来应用于基于变换单元的SDH。
在一个实例中,视频编码器20和视频解码器30可被配置以针对每一译码群组执行以下步骤,按以下次序:
1.检查CG的第一和最后一个非零系数是否相等或大于N(N被设定成4)。如果是,那么通过使用SDH,省略为第一非零系数(按反向扫描次序)的最后一个非零系数(按扫描次序)的正负号信息。
2.对于不包括第一非零系数(按反向扫描次序)(如果被省略)的所有非零系数,执行以下步骤以选择用于每一非零系数的上下文模型:
a.计算其中xi是相邻变换系数,如在图6中描绘。
b.基于色彩分量、当前等级和sum值的振幅、变换单元(TU)大小(等于4×4或不)和变换跳跃旗标(如果其为TU 4×4)的上下文模型化。将上下文索引增量(idx)导出为:
idx=TU4x4?(TS_Flag+2)*K):(absLevel>1?(K+abs(sum)):abs(sum))
idx+=(Luma component?0:K*4)
其中K被设定成(n+1)且absLevel表示当前变换系数level的绝对值,如果当前4×4变换单元用变换跳跃模式译码,那么TS_Flag被设定成1。
c.定义当前正负号旗标iCurrSF=level>0?1:0;
-如果abs(sum)等于0,那么译码(1-iCurrSF)(‘1’与‘0’的概率靠近相等)
-否则,译码(iCurrSF XOR iTemplateSF)其中iTemplateSF=sum>0?1:0
这里,K表示相邻变换系数的总数(由n表示)加1。在一个实例中,n被设定成5且K被设定成6。
视频编码器20和视频解码器30各可在适当时经实施为多种合适的编码器或解码器数字逻辑电路中的任一个,包含固定功能处理电路或可编程处理电路,或其组合,例如,一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。视频编码器20和视频解码器30中的每一个可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一个可集成为组合式视频编码器/解码器(编解码器)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置,例如,蜂窝式电话。
图2是说明可实施用于译码视频数据的正负号信息的技术的视频编码器20的实例的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减小或移除给定视频帧或图片内的视频的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的译码模式中的任一个。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指若干基于时间的译码模式中的任一个。
如图2中所展示,视频编码器20接收待编码的视频帧内的当前视频块。在图2的实例中,视频编码器20包含模式选择单元40、参考图片存储器64(其还可被称作经解码图片缓冲器(DPB))、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。对于视频块重构建,视频编码器20还包含反量化单元58、反变换单元60和求和器62。亦可包含解块滤波器(图2中未展示)以滤波块边界以从经重构建视频去除成块效应假影。如果需要,解块滤波器将通常滤波求和器62的输出。除了解块滤波器外,还可使用额外滤波器(回路中或回路后)。为简洁起见未展示此类滤波器,但是如果需要,此类滤波器可滤波求和器50的输出(作为回路中滤波器)。
在编码过程期间,视频编码器20接收待译码的视频帧或切片。所述帧或切片可被划分成多个视频块。运动估计单元42和运动补偿单元44执行所接收视频块相对于一或多个参考帧中的一或多个块的帧间预测性编码以提供时间预测。帧内预测单元46可替代地执行所接收视频块相对于与待译码块相同的帧或切片中的一或多个相邻块的帧内预测性编码以提供空间预测。视频编码器20可执行多个译码遍次,(例如)以针对每一视频数据块选择适当的译码模式。
此外,分割单元48可基于先前译码遍次中的先前分割方案的评估将视频数据的块分割成子块。举例来说,分割单元48可一开始将帧或切片分割成CTU,且基于速率-失真分析(例如,速率-失真优化)将CTU中的每一个分割成子CU。模式选择单元40可以进一步产生指示CTU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU及一或多个TU。
模式选择单元40可选择预测模式(帧内或帧间)中的一个,例如,基于误差结果,且将所得经预测块提供到求和器50以产生残余数据,和提供到求和器62以重构建经编码块供用作参考帧。模式选择单元40还将语法元素(例如,运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。
运动估计单元42和运动补偿单元44可高度集成,但出于概念的目的分开来说明。由运动估计单元42执行的运动估计是产生运动向量的过程,所述过程估计视频块的运动。举例来说,运动向量可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块相对于当前帧(或其它经译码单元)内正被译码的当前块的位移。预测性块是被发现在像素差方面紧密匹配待译码块的块,像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中,视频编码器20可计算存储于参考图片存储器64中的参考图片的子整数像素位置的值。举例来说,视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此,运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可选自第一参考图片列表(列表0)或第二参考图片列表(列表1),其中的每一个识别存储在参考图片存储器64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。
由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来提取或产生预测性块。再次,在一些实例中,运动估计单元42与运动补偿单元44可在功能上整合。在接收到当前视频块的PU的运动向量后,运动补偿单元44可在参考图片列表中的一个中定位所述运动向量指向的预测性块。求和器50通过从经译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块,如下文所论述。一般来说,运动估计单元42相对于亮度分量执行运动估计,并且运动补偿单元44对于色度分量及亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40也可产生与视频块和视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。
作为对如上文所描述的由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案,帧内预测单元46可帧内预测当前块。明确地说,帧内预测单元46可以确定用以编码当前块的帧内预测模式。在一些实例中,帧内预测单元46可以(例如)在分开的编码遍次期间使用各种帧内预测模式编码当前块,并且帧内预测单元46(或在一些实例中,模式选择单元40)可以从测试模式中选择适当帧内预测模式来使用。
举例来说,帧内预测单元46可使用速率-失真分析计算针对各种测试的帧内预测模式的速率-失真值,且从所述测试的模式当中选择具有最佳速率-失真特性的帧内预测模式。速率-失真分析一般确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量,以及用于产生经编码块的位速率(即,位数目)。帧内预测单元46可从用于各种经编码块的失真和速率计算比率,以确定哪一帧内预测模式对于所述块展现最佳速率-失真值。
在选择用于块的帧内预测模式后,帧内预测单元46可以将指示用于所述块的选定帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以编码指示选定帧内预测模式的信息。视频编码器20在发射的位流中可包含配置数据,其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也被称作码字映射表)、编码用于各种块的上下文的定义,和用于所述上下文中的每一个的最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。
视频编码器20通过从正译码的原始视频块减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。变换处理单元52将诸如例如离散余弦变换(DCT)或概念上相似的变换的变换应用于残余块,从而产生包括变换系数值的视频块。可使用小波变换、整数变换、子带变换、离散正弦变换(DST)或其它类型的变换来替代DCT。在任何情况下,变换处理单元52将变换应用于残余块,从而产生残余变换系数块。所述变换可将残余信息从像素域转换到变换域,例如,频域。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位率。量化过程可降低与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。
在量化后,熵编码单元56熵译码经量化变换系数。举例来说,熵编码单元56可以执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。在基于上下文的熵译码的情况下,上下文可基于相邻块。在由熵译码单元56进行熵译码之后,可以将经编码位流发射到另一装置(例如,视频解码器30),或者将所述经编码位流存档以用于稍后发射或检索。
更明确地说,熵编码单元56可熵编码用于各种变换系数语法要素的值。此类语法要素可包含(例如)指示变换系数是否具有大于零的绝对值的语法元素、指示变换系数是否具有大于一的绝对值的语法元素、指示变换系数是否具有大于二的绝对值的语法元素、指示变换系数的余数值的语法元素和变换系数的正负号。不使用旁路译码熵编码指示变换系数的正负号的语法元素的值,熵编码单元56可使用上下文模型熵编码指示变换系数的正负号的语法元素的值。这是假定未使用正负号数据隐藏(SDH)技术隐藏这变换系数的正负号信息。
根据本公开的技术,熵编码单元56可基于一或多个相邻变换系数的正负号值确定用以熵编码正负号信息的上下文模型。熵编码单元56可使用模板确定此类相邻变换系数,例如,如下关于图6更详细地论述。熵编码单元56可在不同情况下选择不同模板,例如,基于按扫描次序当前变换系数的位置、用于对应于包含当前变换系数的变换单元的预测单元的预测模式、是否启用变换、应用到变换单元的变换矩阵、变换单元的大小或用于包含变换系数的译码群组的译码群组大小中的一或多个。
在一些实例中,熵编码单元56可确定用于使用如上关于图1论述的函数f0或f1中的任一个熵编码正负号信息的上下文模型。
在一些实例中,实例熵编码单元56可避免熵编码用于变换系数的正负号信息的值。举例来说,熵编码单元56可根据本公开的技术执行正负号数据隐藏(SDH)。在一些实例中,当变换系数的量值小于阈值(例如,2)时,熵编码单元56可避免熵编码变换系数的正负号信息。在一些实例中,熵编码单元56可熵编码变换单元的具有小于阈值(例如,2)的量值的序数第一个非零变换系数的正负号信息,且隐藏用于变换单元的后续变换系数的正负号值。
反量化单元58和反变换处理单元60分别应用反量化和反变换以重构建像素域中的残余块。明确地说,求和器62将经重构建残余块添加到较早先由运动补偿单元44或帧内预测单元46产生的运动补偿预测块以产生经重构建视频块供在参考图片存储器64中存储。经重构建视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
熵编码单元56可进一步被配置以单独或按任何组合执行以上关于图1论述的各种技术中的任一个。
图2的视频编码器20表示视频编码器的实例,所述视频编码器可被配置以确定用于熵译码视频数据的块的变换系数的正负号的值的上下文模型和使用所述上下文模型熵译码变换系数的正负号的值。
视频编码器20还表示可被配置以使用正负号数据隐藏译码表示用于变换系数的正负号的值的视频编码器的实例。为了译码数据,视频编码器20可译码表示包含变换系数的译码群组的变换系数的量值的数据,确定译码群组的变换系数的量值的总和的值SCG,和基于(SCG%N)是否等于K的确定来确定正负号值,其中N是大于二的值,且K是在从零到N-1的范围中(包含性)的值。
视频编码器20还表示可被配置以隐藏用于变换单元的序数第一个非零变换系数的正负号数据和译码第一非零系数的视频编码器的实例。
图3是说明可实施用于译码视频数据的正负号信息的技术的视频解码器30的实例的框图。在图3的实例中,视频解码器30包含熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、反变换单元78、参考图片存储器82和求和器80。在一些实例中,视频解码器30可执行大体与关于视频编码器20(图2)描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据,而帧内预测单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。
在解码过程期间,视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70熵解码所述位流以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
更明确地说,视频解码器30可被配置以熵解码用于变换系数的语法要素。此类语法要素可包含(例如)指示变换系数是否具有大于零的绝对值的语法元素、指示变换系数是否具有大于一的绝对值的语法元素、指示变换系数是否具有大于二的绝对值的语法元素、指示变换系数的余数值的语法元素和变换系数的正负号。不使用旁路译码熵解码指示变换系数的正负号的语法元素的值,熵解码单元70可使用上下文模型熵解码指示变换系数的正负号的语法元素的值。这是假定未使用正负号数据隐藏(SDH)技术隐藏这变换系数的正负号信息。
根据本公开的技术,熵解码单元70可基于一或多个相邻变换系数的正负号值确定用以熵解码正负号信息的上下文模型。熵解码单元70可使用模板确定此类相邻变换系数,例如,如下关于图6更详细地论述。熵解码单元70可在不同情况下选择不同模板,例如,基于按扫描次序的当前变换系数的位置、用于对应于包含当前变换系数的变换单元的预测单元的预测模式、是否启用变换、应用于变换单元的变换矩阵、变换单元的大小或用于包含变换系数的译码群组的译码群组大小中的一或多个。
在一些实例中,熵解码单元70可确定用于使用如上关于图1论述的函数f0或f1中的任一个熵解码正负号信息的上下文模型。
在一些实例中,实例熵解码单元70可避免熵解码用于变换系数的正负号信息的值。举例来说,熵解码单元70可根据本公开的技术执行正负号数据隐藏(SDH)。在一些实例中,当变换系数的量值小于阈值(例如,2)时,熵解码单元70可避免熵解码变换系数的正负号信息。在一些实例中,熵解码单元70可熵解码变换单元的具有小于阈值(例如,2)的量值的序数第一个非零变换系数的正负号信息,且隐藏用于变换单元的后续变换系数的正负号值。
反量化单元58和反变换处理单元60分别应用反量化和反变换以重构建像素域中的残余块。明确地说,求和器62将经重构建残余块添加到较早先由运动补偿单元44或帧内预测单元46产生的运动补偿预测块以产生经重构建视频块供在参考图片存储器64中存储。经重构建视频块可由运动估计单元42和运动补偿单元44用作参考块以帧间译码后续视频帧中的块。
熵解码单元70可进一步被配置以单独或按任何组合执行以上关于图1论述的各种技术中的任一个。
当视频切片经译码为经帧内译码(I)切片时,帧内预测单元74可以基于用信号表示的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧作为经帧间译码(即,B或P)切片译码时,运动补偿单元72基于运动向量和从熵解码单元70接收的其它语法元素产生用于当前视频切片的视频块的预测性块。预测性块可从参考图片列表中的一个内的参考图片中的一个产生。视频解码器30可基于存储在参考图片存储器82中的参考图片使用默认构造技术构建参考帧列表——列表0及列表1。
运动补偿单元72通过剖析运动向量和其它语法元素来确定用于当前视频切片的视频块的预测信息,且使用所述预测信息来产生用于正被解码的当前视频块的预测性块。举例来说,运动补偿单元72使用接收的语法要素中的一些确定用以译码视频切片的视频块的预测模式(例如,帧内或帧间预测)、帧间预测切片类型(例如,B切片或P切片)、用于切片的参考图片列表中的一或多个的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态和解码当前视频切片中的视频块的其它信息。
运动补偿单元72也可基于内插滤波器执行内插。运动补偿单元72可以使用如由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下,运动补偿单元72可从接收的语法元素确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。
反量化单元76反量化(即,解量化)在位流中提供且由熵解码单元70解码的经量化变换系数。反量化过程可以包含将由视频解码器30计算出的量化参数QPY用于视频切片中的每一视频块以确定量化的程度,并且同样地,应该应用的反量化的程度。
反变换单元78将反变换(例如,反DCT、反整数变换或概念上类似的反变换过程)应用于变换系数以便产生像素域中的残余块。
在运动补偿单元72基于运动向量和其它语法元素产生当前视频块的预测性块后,视频解码器30通过对来自反变换单元78的残余块与由运动补偿单元72产生的对应预测性块求和而形成经解码的视频块。求和器80表示执行此求和运算的一或多个组件。如果需要,还可应用解块滤波器以滤波经解码块以便去除成块效应假象。还可使用其它回路滤波器(在译码回路中或在译码回路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储在参考图片存储器82中,参考图片存储器82存储用于后续运动补偿的参考图片。参考图片存储器82还存储经解码视频以用于稍后呈现在显示装置(例如,图1的显示装置32)上。
图3的视频解码器30表示视频解码器的实例,所述视频解码器可被配置以确定用于熵译码视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵译码变换系数的正负号的值。
视频解码器30还表示可被配置以使用正负号数据隐藏译码表示用于变换系数的正负号的值的数据的视频解码器的实例。为了译码所述数据,视频解码器30可译码表示包含变换系数的译码群组的变换系数的量值的数据,确定译码群组的变换系数的量值的总和的值SCG,和基于(SCG%N)是否等于K的确定来确定正负号值,其中N为大于二的值,且K为在从零到N-1的范围中(包含性)的值。
视频解码器30还表示可被配置以隐藏用于变换单元的序数第一个非零变换系数的正负号数据和译码所述第一非零系数的视频编码器的实例。
图4是说明用于包含用字母a到j标注的10个TU和对应块分割的CU的实例残余四叉树的概念图。视频编码器20可被配置以编码TU,且视频解码器30可被配置以解码TU。
图5是说明基于HEVC中的译码群组的系数扫描的概念图。明确地说,在此实例中,系数扫描按系数群组以Z形型样从右下系数前进到左上系数。图5的实例描绘8×8TU,其被划分成四个4×4系数群组。在此实例中,系数扫描针对每一系数群以相同型样前进。
图6是说明可用于上下文模型化的局部模板的实例的概念图。在J.陈(Chen)、W.-J.钱(Chien)、M.卡策威茨(Karczewicz)、X.李(Li)、H.刘(Liu)、A.赛德(Said)、L.张(Zhang)、X.赵(Zhao)的“对HMKTA-1.0的进一步改善(Further improvements to HMKTA-1.0)”(ITU--电信标准化部门第16学习组,第6个问题,视频译码专家组(VCEG),Doc.VCEG-AZ07,华沙,2015年6月)中,基于位于局部模板中的对应的值,都选择用于bin0、bin1、bin2和莱斯参数的上下文模型(bin0也被称作significant_flag,bin1和bin2也被称作coeff_abs_greater1_flag和coeff_abs_greater2_flag)。
局部模板的实例在图6中给出。对于8×8变换块,X表示位于当前扫描位置处的系数,且xi(其中i∈[0,4])表示由局部模板涵盖的相邻者。
更具体地说,在一个实例中,函数sum_template(k)可返回模板中具有大于k的量值的系数的数目,其可定义为:
sum_template(k)=∑δj(xi,k)
其中
并且函数f(x,y,n,t)可处置位置信息,且δk(u,v)可处置分量信息,如下:
在一些实例中,如果满足以下条件中的一个,那么视频编码器20和/或视频解码器30可将xi标记为在用于导出待用以熵译码用于当前变换系数的正负号信息的上下文模型的上下文索引导出过程中不可用且不使用:
●xi和当前变换系数X的位置不位于同一变换单元中;
●xi的位置位于图片水平或垂直边界之外;或
●变换系数xi尚未经编码/解码。
图7是说明可在正负号数据隐藏(SDH)期间使用的实例局部模板的概念图。
图8是说明用于编码当前块的实例方法的流程图。当前块可包括当前CU或当前CU的一部分。尽管关于视频编码器20(图1和2)描述,但应理解,其它装置可被配置以执行类似于图8的方法的方法。
在这实例中,视频编码器20一开始预测当前块(150)。例如,视频编码器20可计算用于当前块的一或多个预测单元(PU)。视频编码器20可接着计算当前块的残余块,例如,以产生变换单元(TU)(152)。为了计算残余块,视频编码器20可计算原始未译码块与用于当前块的经预测块之间的差。视频编码器20可接着变换残余块以产生变换系数,且量化残余块的变换系数(154)。接下来,视频编码器20可扫描残余块的经量化变换系数(156)。
在扫描期间,或在扫描以后,视频编码器20可熵编码所述系数(158)。举例来说,视频编码器20可使用CABAC编码所述系数。明确地说,根据本公开的技术,视频编码器20的熵编码单元56可编码经量化变换系数中的每一系数的量值信息和正负号信息。举例来说,熵编码单元56可单独或按任何组合执行以上论述的各种技术中的任一个,用于熵译码正负号和/或量值信息。
视频编码器20可接着输出块的经熵译码数据(160)。
图9是说明根据本公开的技术的用于熵编码正负号信息的实例方法的流程图。图9的方法可对应于图8的步骤158的至少部分。在此实例中,熵编码单元56(图2)可一开始确定是否执行针对当前变换系数的正负号值的正负号数据隐藏(SDH)(170)。举例来说,熵编码单元56可基于如上所论述的函数f0和/或f1中的任一个或两个的执行确定是否执行SDH。如果熵编码单元56确定执行针对当前变换系数的SDH(170的“是”分支),那么熵编码单元56可阻止正负号值的熵编码(178)。此外,虽未在图9中展示,熵编码单元56可进一步操纵一或多个其它变换系数的数据以表示当前变换系数的正负号值,例如,通过修改同一系数群组中的变换系数的一或多个量值,使得正负号值可从所述系数群组中的位的奇偶校验恢复。
另一方面,如果熵编码单元56确定不执行针对当前变换系数的SDH(170的“否”分支),那么熵编码单元56可确定当前系数的正负号值(172)。熵编码单元56可接着确定用以熵编码正负号值的上下文模型(174)。举例来说,如上所论述,熵编码单元56可根据模板确定上下文模型。此外,熵编码单元56可基于(例如)扫描次序、预测模式、是否启用变换、变换矩阵、变换大小或译码群组大小来选择模板。替代地,熵编码单元56可基于与当前变换系数共置于与包含当前变换系数的当前变换单元相邻的一或多个变换单元中的一或多个先前变换系数的正负号值来确定用于当前变换系数的上下文模型。熵编码单元56可接着使用上下文模型熵编码正负号值(176)。
以此方式,图9的方法表示编码视频数据的方法的实例,所述方法包含确定用于熵编码视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵编码变换系数的正负号的值。
图10是说明用于解码当前视频数据块的实例方法的流程图。当前块可包括当前CU或当前CU的一部分。尽管关于视频解码器30(图1和3)描述,但应理解,其它装置可被配置以执行与图10的方法类似的方法。
视频解码器30可(例如)使用帧内或帧间预测模式预测当前块(200)以计算当前块的经预测块。视频解码器30还可接收当前块的经熵译码数据,例如,对应于当前块的残余块的系数的经熵译码数据(202)。
视频解码器30可熵解码经熵译码数据以再生残余块的系数(204)。明确地说,根据本公开的技术,视频解码器30的熵解码单元70可解码经量化变换系数中的每一系数的量值信息和正负号信息。举例来说,熵解码单元70可单独或按任何组合执行以上论述的各种技术中的任一个,用于熵译码正负号和/或量值信息。
视频解码器30可接着反扫描经再生系数(206),以创建经量化变换系数的块。视频解码器30可接着反量化且反变换所述系数以产生残余块(208)。视频解码器30可最终通过组合经预测块与残余块来解码当前块(210)。
图11是说明根据本公开的技术的用于熵解码正负号信息的实例方法的流程图。图11的方法可对应于图10的步骤204的至少部分。在此实例中,熵解码单元70(图3)可一开始确定是否执行针对当前变换系数的正负号值的正负号数据隐藏(SDH)(220)。举例来说,熵解码单元70可基于如上所论述的函数f0和/或f1中的任一个或两个的执行确定是否执行SDH。如果熵解码单元70确定执行针对当前变换系数的SDH(220的“是”分支),那么熵解码单元70可使用正负号数据隐藏恢复技术恢复当前变换系数的正负号的正负号值(226)。举例来说,熵解码单元70可从包含当前变换系数的系数群组中的位的奇偶校验恢复正负号值,如上所论述。
另一方面,如果熵解码单元70确定不执行针对当前变换系数的SDH(220的“否”分支),那么熵解码单元70可确定用以熵解码正负号值的上下文模型(222)。举例来说,如上所论述,熵解码单元70可根据模板确定上下文模型。此外,熵解码单元70可基于(例如)扫描次序、预测模式、是否启用变换、变换矩阵、变换大小或译码群组大小来选择模板。替代地,熵解码单元70可基于与当前变换系数共置于与包含当前变换系数的当前变换单元相邻的一或多个变换单元中的一或多个先前变换系数的正负号值来确定用于当前变换系数的上下文模型。熵解码单元70可接着使用上下文模型熵解码正负号值(224)。
以此方式,图11的方法表示解码视频数据的方法的实例,所述方法包含确定用于熵解码用于视频数据的块的变换系数的正负号的值的上下文模型,和使用所述上下文模型熵解码变换系数的正负号的值。
应认识到,取决于实例,本文中所描述的技术中的任一个的某些动作或事件可按不同顺序来执行,可添加、合并或全部省略所述动作或事件(例如,实践所述技术未必需要所有所描述动作或事件)。此外,在某些实例中,可(例如)通过多线程处理、中断处理或多个处理器同时而非依序地执行动作或事件。
在一或多个实例中,所描述的功能可按硬件、软件、固件或其任何组合来实施。如果以软件实施,那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射,并且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体,其对应于例如数据存储媒体或通信媒体的有形媒体,通信媒体(例如)根据通信协议包含有助于将计算机程序从一处传送到另一处的任何媒体。以此方式,计算机可读媒体通常可对应于(1)为非暂时性的有形计算机可读存储媒体,或(2)通信媒体,例如,信号或载波。数据存储媒体可以是可由一或多个计算机或者一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器,或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且,恰当地将任何连接称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源发射指令,那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。但是,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再生数据,而光盘用激光以光学方式再生数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行,例如,一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效的集成或离散逻辑电路。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一个。此外,在一些方面中,本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供,或并入在组合编解码器中。并且,所述技术可完全实施于一或多个电路或逻辑元件中。
本公开的技术可实施于广泛多种装置或设备中,包含无线手机、集成电路(IC)或IC的集合(例如,芯片组)。本公开中描述各种组件、模块或单元以强调被配置以执行所公开的技术的装置的功能方面,但未必需要由不同硬件单元实现。相反地,如上文所描述,各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中,或由互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (30)

1.一种解码视频数据的方法,所述方法包括:
基于相邻变换系数的一或多个正负号值,确定用于熵解码视频数据的块的变换系数的正负号的值的上下文模型;以及
使用所述上下文模型熵解码所述变换系数的所述正负号的所述值。
2.根据权利要求1所述的方法,其进一步包括根据模板确定所述一或多个相邻变换系数。
3.根据权利要求2所述的方法,其中所述模板将所述相邻变换系数定义为包含在所述变换系数右边的两个变换系数、在所述变换系数下方的两个变换系数和在所述变换系数右下方的变换系数。
4.根据权利要求2所述的方法,其进一步包括根据所述模板,基于所述相邻变换系数的量值,确定用于熵解码所述变换系数的量值的所述上下文模型。
5.根据权利要求2所述的方法,其进一步包括基于扫描次序、预测模式、是否启用变换、变换矩阵、变换大小或译码群组大小中的一或多个选择所述模板。
6.根据权利要求2所述的方法,其中确定所述上下文模型包括基于表示所述相邻变换系数的所述正负号的所述值的总和的函数,确定所述上下文模型。
7.根据权利要求6所述的方法,其中所述函数包括
其中(n+1)表示相邻系数的总数,且xi表示第i个相邻变换系数。
8.根据权利要求6所述的方法,其中所述函数包括
其中abs(n)返回n的绝对值,其中(n+1)表示相邻系数的总数,且xi表示第i个相邻变换系数。
9.根据权利要求1所述的方法,其中确定所述上下文模型包括基于所述变换系数的量值、包含所述变换系数的变换单元的大小、是否跳过变换、变换矩阵或用于所述块的预测模式来确定所述上下文模型。
10.根据权利要求1所述的方法,其进一步包括基于所述变换系数的所述正负号和所述函数的所述值中的至少一个确定所述变换系数的所述正负号的所述值
其中(n+1)表示相邻系数的总数,且xi表示第i个相邻变换系数。
11.根据权利要求1所述的方法,其中所述变换系数包括不通过正负号数据隐藏SDH操作隐藏其所述正负号的变换系数。
12.根据权利要求1所述的方法,其中所述变换系数包括在当前变换单元的当前位置处的当前变换系数,且其中确定所述上下文模型包括基于在与对应于所述当前变换单元的所述当前位置的所述当前变换单元相邻的变换单元的位置处的前一变换系数的正负号的值确定所述上下文模型。
13.根据权利要求1所述的方法,其中所述变换系数包括第一变换系数,所述方法进一步包括当第二变换系数的量值小于阈值时,基于用于所述第二变换系数的频率,确定所述第二变换系数的第二正负号的值。
14.根据权利要求13所述的方法,其中所述阈值等于二。
15.根据权利要求13所述的方法,其进一步包括解码具有小于所述阈值的量值的序数第一个非零变换系数的正负号值,和隐藏其它变换系数的正负号值。
16.一种用于解码视频数据的装置,所述装置包括:
存储器,其被配置以存储视频数据;以及
使用数字逻辑电路实施的一或多个处理器,所述处理器被配置以:
基于相邻变换系数的一或多个正负号值,确定用于熵解码所述视频数据的块的变换系数的正负号的值的上下文模型;以及
使用所述上下文模型熵解码所述变换系数的所述正负号的所述值。
17.根据权利要求16所述的装置,其中所述处理器被配置以根据模板确定所述一或多个相邻变换系数。
18.根据权利要求17所述的装置,其中所述模板将所述相邻变换系数定义为包含在所述变换系数右边的两个变换系数、在所述变换系数下方的两个变换系数和在所述变换系数右下方的变换系数。
19.根据权利要求16所述的装置,其中所述变换系数包括在当前变换单元的当前位置处的当前变换系数,且其中所述处理器被配置以基于在与对应于所述当前变换单元的所述当前位置的所述当前变换单元相邻的变换单元的位置处的前一变换系数的正负号的值确定所述上下文模型。
20.根据权利要求16所述的装置,其中所述变换系数包括不通过正负号数据隐藏SDH操作隐藏其所述正负号的变换系数。
21.根据权利要求16所述的装置,其中所述变换系数包括第一变换系数,且其中所述处理器被进一步组态以当第二变换系数的量值小于阈值时,基于用于所述第二变换系数的频率,确定所述第二变换系数的第二正负号的值。
22.一种用于编码视频数据的装置,所述装置包括:
用于基于相邻变换系数的一或多个正负号值确定用于熵编码视频数据的块的变换系数的正负号的值的上下文模型的装置;以及
用于使用所述上下文模型熵编码所述变换系数的所述正负号的所述值的装置。
23.根据权利要求22所述的装置,其进一步包括用于根据模板确定所述一或多个相邻变换系数的装置。
24.根据权利要求22所述的装置,其中所述变换系数包括在当前变换单元的当前位置处的当前变换系数,所述装置进一步包括用于基于在与对应于所述当前变换单元的所述当前位置的所述当前变换单元相邻的变换单元的位置处的前一变换系数的正负号的值确定所述上下文模型的装置。
25.根据权利要求22所述的装置,其中所述变换系数包括第一变换系数,所述装置进一步包括用于当第二变换系数的量值小于阈值时基于用于所述第二变换系数的频率来确定所述第二变换系数的第二正负号的值的装置。
26.一种计算机可读存储媒体,其具有存储于其上的指令,所述指令在被执行时使处理器:
基于相邻变换系数的一或多个正负号值,确定用于熵解码所述视频数据的块的变换系数的正负号的值的上下文模型;以及
使用所述上下文模型熵解码所述变换系数的所述正负号的所述值。
27.根据权利要求26所述的计算机可读存储媒体,其进一步包括使所述处理器根据模板确定所述一或多个相邻变换系数的指令。
28.根据权利要求26所述的计算机可读存储媒体,其中所述变换系数包括在当前变换单元的当前位置处的当前变换系数,所述计算机可读存储媒体进一步包括使所述处理器基于在与对应于所述当前变换单元的所述当前位置的所述当前变换单元相邻的变换单元的位置处的前一变换系数的正负号的值确定所述上下文模型的指令。
29.根据权利要求26所述的计算机可读存储媒体,其中所述变换系数包括不通过正负号数据隐藏SDH操作隐藏其所述正负号的变换系数。
30.根据权利要求26所述的计算机可读存储媒体,其中所述变换系数包括第一变换系数,所述计算机可读存储媒体进一步包括使所述处理器在第二变换系数的量值小于阈值时基于用于所述第二变换系数的频率来确定所述第二变换系数的第二正负号的值的指令。
CN201680065169.2A 2015-11-13 2016-11-11 译码视频数据的正负号信息 Pending CN108353167A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562255206P 2015-11-13 2015-11-13
US62/255,206 2015-11-13
US15/348,686 2016-11-10
US15/348,686 US10440399B2 (en) 2015-11-13 2016-11-10 Coding sign information of video data
PCT/US2016/061616 WO2017083710A1 (en) 2015-11-13 2016-11-11 Coding sign information of video data

Publications (1)

Publication Number Publication Date
CN108353167A true CN108353167A (zh) 2018-07-31

Family

ID=58690160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065169.2A Pending CN108353167A (zh) 2015-11-13 2016-11-11 译码视频数据的正负号信息

Country Status (5)

Country Link
US (1) US10440399B2 (zh)
EP (1) EP3375187A1 (zh)
JP (1) JP2018537908A (zh)
CN (1) CN108353167A (zh)
WO (1) WO2017083710A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711613A (zh) * 2019-04-19 2021-11-26 字节跳动有限公司 变换跳过模式的上下文编解码
US11438618B2 (en) * 2018-03-07 2022-09-06 Huawei Technologies Co., Ltd. Method and apparatus for residual sign prediction in transform domain
WO2022188186A1 (zh) * 2021-03-12 2022-09-15 Oppo广东移动通信有限公司 系数编解码方法、编解码设备及存储介质
WO2023274302A1 (en) * 2021-06-30 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Recursive prediction unit in video coding
WO2023193260A1 (zh) * 2022-04-08 2023-10-12 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115297325A (zh) * 2017-04-13 2022-11-04 Lg 电子株式会社 熵编码和解码视频信号的方法和设备
SG11201911621SA (en) * 2017-07-07 2020-01-30 Samsung Electronics Co Ltd Video coding method and device, video decoding method and device
US11477492B2 (en) * 2017-08-04 2022-10-18 Google Inc. Adaptation for entropy coding of blocks of image data
EP3490253A1 (en) * 2017-11-23 2019-05-29 Thomson Licensing Encoding and decoding methods and corresponding devices
WO2019135630A1 (ko) * 2018-01-05 2019-07-11 에스케이텔레콤 주식회사 변환 계수의 부호 데이터 은닉
GB2570711B (en) * 2018-02-05 2023-04-05 Sony Corp Data encoding and decoding
WO2020059092A1 (ja) * 2018-09-20 2020-03-26 富士通株式会社 符号化装置、符号化方法、符号化プログラム、復号装置、復号方法及び復号プログラム
US11006150B2 (en) 2018-09-24 2021-05-11 Tencent America LLC Method and apparatus for video coding
CN116132676A (zh) 2018-11-12 2023-05-16 三星电子株式会社 用于对系数等级进行熵编码/熵解码的方法和装置
US10757568B2 (en) * 2018-12-18 2020-08-25 Naffa Innovations Private Limited System and method for communicating digital data using media content
US11671598B2 (en) * 2019-01-02 2023-06-06 Lg Electronics Inc. Image decoding method and device using residual information in image coding system
JP7282904B2 (ja) * 2019-02-19 2023-05-29 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいてレジデュアル情報を使用する映像デコーディング方法及びその装置
WO2020171668A1 (ko) * 2019-02-24 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 컨텍스트 코딩된 부호 정보를 포함하는 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
JP7148739B2 (ja) * 2019-03-04 2022-10-05 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいて文脈コーディングされたサインフラグを使用する映像デコーディング方法及びその装置
US11159795B2 (en) * 2019-03-04 2021-10-26 Tencent America LLC Max transform size control
WO2020189991A1 (ko) * 2019-03-15 2020-09-24 엘지전자 주식회사 컨텍스트 코딩된 레지듀얼 정보 기반 영상 코딩 방법 및 장치
WO2020216288A1 (en) 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Conditional use of multiple transform matrices in video coding
WO2020228762A1 (en) 2019-05-14 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Context modeling for residual coding
CN112135149B (zh) * 2019-06-24 2023-07-18 华为技术有限公司 语法元素的熵编码/解码方法、装置以及编解码器
US11516489B2 (en) * 2019-06-24 2022-11-29 Tencent America LLC Method and apparatus for video coding
CN112135135A (zh) * 2019-06-24 2020-12-25 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
CN117354527A (zh) 2019-07-26 2024-01-05 北京字节跳动网络技术有限公司 基于块尺寸的图片分割模式确定
US20220353547A1 (en) * 2021-04-16 2022-11-03 Tencent America LLC Entropy coding of sign map for transform coefficients
WO2023277451A1 (ko) * 2021-07-01 2023-01-05 세종대학교 산학협력단 부호 비트 숨김을 이용한 비디오 부호화 및 복호화 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175210A (zh) * 2006-10-30 2008-05-07 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
US20120121011A1 (en) * 2010-11-16 2012-05-17 Qualcomm Incorporated Parallel context calculation in video coding
US20140003488A1 (en) * 2012-06-30 2014-01-02 Research In Motion Limited Position-based context selection for greater-than-one flag decoding and encoding
CN104054340A (zh) * 2012-01-13 2014-09-17 高通股份有限公司 确定在视频译码中用于译码变换系数数据的上下文
CN104380737A (zh) * 2012-06-22 2015-02-25 夏普株式会社 算术解码装置、算术编码装置、图像解码装置以及图像编码装置
US20150103918A1 (en) * 2013-10-11 2015-04-16 Blackberry Limited Sign coding for blocks with transform skipped

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375668B1 (ko) * 2008-03-17 2014-03-18 삼성전자주식회사 변환 계수의 부호화, 복호화 방법 및 장치
US9338449B2 (en) 2011-03-08 2016-05-10 Qualcomm Incorporated Harmonized scan order for coding transform coefficients in video coding
RU2642373C1 (ru) * 2011-06-16 2018-01-24 ДжиИ Видео Компрешн, ЭлЭлСи Инициализация контекста при энтропийном кодировании
US20130003859A1 (en) * 2011-06-30 2013-01-03 Qualcomm Incorporated Transition between run and level coding modes
MX346677B (es) * 2011-11-04 2017-03-29 Sharp Kk * Dispositivo de decodificacion aritmetica, dispositivo de decodificacion de imagenes, dispositivo de codificacion aritmetica, dispositivo de codificacion de imagenes y metodo de decodificacion aritmetica.
US9313498B2 (en) 2012-04-16 2016-04-12 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
US20140003530A1 (en) 2012-06-28 2014-01-02 Qualcomm Incorporated Sign hiding techniques for quantized transform coefficients in video coding
US20140010278A1 (en) * 2012-07-09 2014-01-09 Motorola Mobility Llc Method and apparatus for coding adaptive-loop filter coefficients

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101175210A (zh) * 2006-10-30 2008-05-07 中国科学院计算技术研究所 用于视频预测残差系数解码的熵解码方法及熵解码装置
US20120121011A1 (en) * 2010-11-16 2012-05-17 Qualcomm Incorporated Parallel context calculation in video coding
CN104054340A (zh) * 2012-01-13 2014-09-17 高通股份有限公司 确定在视频译码中用于译码变换系数数据的上下文
CN104380737A (zh) * 2012-06-22 2015-02-25 夏普株式会社 算术解码装置、算术编码装置、图像解码装置以及图像编码装置
US20140003488A1 (en) * 2012-06-30 2014-01-02 Research In Motion Limited Position-based context selection for greater-than-one flag decoding and encoding
US20150103918A1 (en) * 2013-10-11 2015-04-16 Blackberry Limited Sign coding for blocks with transform skipped

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438618B2 (en) * 2018-03-07 2022-09-06 Huawei Technologies Co., Ltd. Method and apparatus for residual sign prediction in transform domain
CN113711613A (zh) * 2019-04-19 2021-11-26 字节跳动有限公司 变换跳过模式的上下文编解码
WO2022188186A1 (zh) * 2021-03-12 2022-09-15 Oppo广东移动通信有限公司 系数编解码方法、编解码设备及存储介质
WO2023274302A1 (en) * 2021-06-30 2023-01-05 Beijing Bytedance Network Technology Co., Ltd. Recursive prediction unit in video coding
WO2023193260A1 (zh) * 2022-04-08 2023-10-12 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Also Published As

Publication number Publication date
US20170142448A1 (en) 2017-05-18
EP3375187A1 (en) 2018-09-19
WO2017083710A1 (en) 2017-05-18
JP2018537908A (ja) 2018-12-20
US10440399B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
CN108353167A (zh) 译码视频数据的正负号信息
CN106105206B (zh) 用于使用置零系数的低复杂度正变换的系统和方法
CN105393536B (zh) 使用位移向量从预测性块的帧内预测
CN106105204B (zh) 在颜色空间变换译码中修改位深度
CN107211124B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
CN105493507B (zh) 用于帧内块复制的残余预测
CN104704833B (zh) 多视图或3维视频译码中的高级视图间残差预测
CN104685875B (zh) 用于视频译码的方法、设备、计算机可读存储媒体
CN105122812B (zh) 用于三维(3d)视频译码的高级合并模式
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN105379270B (zh) 颜色分量间残余预测
CN103563378B (zh) 存储器高效的上下文建模
CN110100436A (zh) 使用导出色度模式译码视频数据
CN104737537B (zh) 用于译码数字视频的设备、解码视频的方法、编码视频的方法及计算机可读存储媒体
CN104221381B (zh) 用于视频译码的波前并行处理的方法、装置及计算机可读存储媒体
CN104823449B (zh) 在视频译码中用信号表示关注区和逐渐解码刷新
CN105191315B (zh) 一种用于对视频信息进行译码的方法和设备
CN109565599A (zh) 使用解耦树结构的视频内译码
CN109565603A (zh) 使用解耦树结构的视频内译码
CN104704843B (zh) 视频性质的指示
CN106664425A (zh) 视频译码中的跨分量预测
CN109196869A (zh) 帧内预测模式的基于邻近的发信号
CN109716771A (zh) 用于视频译码的线性模型色度帧内预测
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN109076230A (zh) 二值化二次变换指数

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180731