CN106464873A - 基于调色板的视频译码中的预测符调色板初始化 - Google Patents

基于调色板的视频译码中的预测符调色板初始化 Download PDF

Info

Publication number
CN106464873A
CN106464873A CN201580026967.XA CN201580026967A CN106464873A CN 106464873 A CN106464873 A CN 106464873A CN 201580026967 A CN201580026967 A CN 201580026967A CN 106464873 A CN106464873 A CN 106464873A
Authority
CN
China
Prior art keywords
palette
block
piece
decoding
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580026967.XA
Other languages
English (en)
Other versions
CN106464873B (zh
Inventor
瓦迪姆·谢廖金
瑞珍·雷克斯曼·乔许
马尔塔·卡切维奇
濮伟
霍埃尔·索赖·罗哈斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106464873A publication Critical patent/CN106464873A/zh
Application granted granted Critical
Publication of CN106464873B publication Critical patent/CN106464873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93Run-length coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在实例中,一种处理视频数据的方法包含:确定用于位于第一行的块中的第一视频数据块的第一调色板;产生用于构建经译码的所述第一行的块中的至少一个第二视频数据块的至少一个第二调色板的预测符调色板;再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及使用所述第三调色板对所述第三块进行译码。

Description

基于调色板的视频译码中的预测符调色板初始化
本申请案主张2014年5月23日提交的第62/002,717号美国临时申请案、2014年6月9日提交的第62/009,772号美国临时申请案、2014年6月20日提交的第62/015,261号美国临时申请案、2014年6月30日提交的第62/019,223号美国临时申请案、2014年10月3日提交的第62/059,659号美国临时申请案、以及2014年10月17日提交的第62/065,526号美国临时申请案的权益,所述美国临时申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码和解码。
背景技术
数字视频能力可以并入到多种多样的装置中,包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术,例如,在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码,可将视频切片(即,视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧,且参考图片可被称为参考帧。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩,可将残余数据自像素域变换至变换域,从而产生残余变换系数,可接着量化所述残余变换系数。可扫描最初布置为二维阵列的经量化的系数,以便产生系数的一维向量,且可应用熵译码以实现更多压缩。
发明内容
本发明的技术涉及基于调色板的视频译码。举例来说,在基于调色板的译码中,视频译码器(视频编码器或视频解码器)可将“调色板”形成为用于表示特定区域(例如,块)的视频数据的颜色表。基于调色板的译码可尤其有用于对具有相对少量的颜色的视频数据区域进行译码。并非对实际像素值(或其残余)进行译码,视频译码器可对所述像素中的一或多者的索引值进行译码,所述索引值使所述像素与调色板中表示所述像素的颜色的条目相关。本发明中描述的技术可包含用于预测调色板条目、对调色板索引的行程进行译码以及各种其它调色板译码技术中的一或多者的各种组合的技术。
在实例中,一种处理视频数据的方法包含:确定用于位于第一行的块中的第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及使用所述第三调色板对所述第三块进行译码。
在另一实例中,一种用于处理视频数据的装置包含:存储器,其经配置以存储第一视频数据块、至少一个第二视频数据块以及第三视频数据块;以及一或多个处理器,其经配置以:确定用于位于第一行的块中的所述第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;产生用于构建所述第一行的块中在所述第一块之后经译码的所述至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;再初始化用于确定位于第二行的块中的所述第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及使用所述第三调色板对所述第三块进行译码。
在另一实例中,一种用于处理视频数据的设备包含:用于确定用于位于第一行的块中的第一视频数据块的第一调色板的装置,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;用于产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板的装置,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;用于再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板的装置,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;用于基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板的装置;以及用于使用所述第三调色板对所述第三块进行译码的装置。
在另一实例中,一种非暂时性计算机可读媒体具有存储在其上的指令,所述指令在被执行时致使一或多个处理器进行以下操作:确定用于位于第一行的块中的第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及使用所述第三调色板对所述第三块进行译码。
在另一实例中,一种处理视频数据的方法包含:确定指示视频数据块的调色板索引的行程的行程长度的行程值,其中所述调色板索引与颜色值的调色板中用于对所述视频数据块进行译码的颜色值相关联;基于所述调色板索引确定用于对表示所述行程值的数据进行上下文自适应译码的上下文;以及使用所述所确定的上下文从位流对所述表示行程值的数据进行译码。
在另一实例中,一种用于处理视频数据的装置包含:存储器,其经配置以存储视频数据块;以及一或多个处理器,其经配置以:确定指示所述视频数据块的调色板索引的行程的行程长度的行程值,其中所述调色板索引与颜色值的调色板中用于对所述视频数据块进行译码的颜色值相关联;基于所述调色板索引确定用于对表示所述行程值的数据进行上下文自适应译码的上下文;以及使用所述所确定的上下文从位流对所述表示行程值的数据进行译码。
在另一实例中,一种用于处理视频数据的设备包含:用于确定指示视频数据块的调色板索引的行程的行程长度的行程值的装置,其中所述调色板索引与颜色值的调色板中用于对所述视频数据块进行译码的颜色值相关联;用于基于所述调色板索引确定用于对表示所述行程值的数据进行上下文自适应译码的上下文的装置;以及用于使用所述所确定的上下文从位流对所述表示行程值的数据进行译码的装置。
在另一实例中,一种非暂时性计算机可读媒体具有存储在其上的指令,所述指令在被执行时致使一或多个处理器进行以下操作:确定指示视频数据块的调色板索引的行程的行程长度的行程值,其中所述调色板索引与颜色值的调色板中用于对所述视频数据块进行译码的颜色值相关联;基于所述调色板索引确定用于对表示所述行程值的数据进行上下文自适应译码的上下文;以及使用所述所确定的上下文从位流对所述表示行程值的数据进行译码。
在另一实例中,一种处理视频数据的方法包含:确定视频数据块的第一行的调色板索引,其中所述调色板索引对应于用于对所述视频数据块进行译码的一或多个颜色的调色板,并且其中所述第一行的所述调色板索引包含与所述调色板中的颜色值相关联的一或多个索引以及与所述调色板中的颜色值无关联的语法元素;以及相对于所述第一行的所述调色板索引对所述视频数据块的第二行的调色板索引的行程进行译码,其中所述行程包含与所述调色板中的颜色值无关联的所述语法元素。
在另一实例中,一种用于处理视频数据的装置包含:存储器,其经配置以存储视频数据块;以及一或多个处理器,其经配置以:确定所述视频数据块的第一行的调色板索引,其中所述调色板索引对应于用于对所述视频数据块进行译码的一或多个颜色的调色板,并且其中所述第一行的所述调色板索引包含与所述调色板中的颜色值相关联的一或多个索引以及与所述调色板中的颜色值无关联的语法元素;以及相对于所述第一行的所述调色板索引对所述视频数据块的第二行的调色板索引的行程进行译码,其中所述行程包含与所述调色板中的颜色值相关联的所述一或多个索引以及与所述调色板中的颜色值无关联的所述语法元素。
在另一实例中,一种用于处理视频数据的设备包含:用于确定视频数据块的第一行的调色板索引的装置,其中所述调色板索引对应于用于对所述视频数据块进行译码的一或多个颜色的调色板,并且其中所述第一行的所述调色板索引包含与所述调色板中的颜色值相关联的一或多个索引以及与所述调色板中的颜色值无关联的语法元素;以及用于相对于所述第一行的所述调色板索引对所述视频数据块的第二行的调色板索引的行程进行译码的装置,其中所述行程包含与所述调色板中的颜色值相关联的所述一或多个索引以及与所述调色板中的颜色值无关联的所述语法元素。
在另一实例中,一种非暂时性计算机可读媒体具有存储在其上的指令,所述指令在被执行时致使一或多个处理器进行以下操作:确定视频数据块的第一行的调色板索引,其中所述调色板索引对应于用于对所述视频数据块进行译码的一或多个颜色的调色板,并且其中所述第一行的所述调色板索引包含与所述调色板中的颜色值相关联的一或多个索引以及与所述调色板中的颜色值无关联的语法元素;以及相对于所述第一行的所述调色板索引对所述视频数据块的第二行的调色板索引的行程进行译码,其中所述行程包含与所述调色板中的颜色值相关联的所述一或多个索引以及与所述调色板中的颜色值无关联的所述语法元素。
在附图和下文描述中陈述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1是说明可利用本发明中描述的技术的实例视频译码系统的框图。
图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
图3是说明可实施本发明中描述的技术的实例视频解码器的框图。
图4是说明符合本发明的技术的确定用于基于调色板的视频译码的调色板条目的实例的概念图。
图5是说明根据高效率视频译码(HEVC)标准的实例瓦片的概念图。
图6是说明用于波前并行处理(WPP)的波前的概念图。
图7是说明符合本发明的技术的在存在多个瓦片和波前的情况下预测符调色板复位的实例的概念图。
图8是说明符合本发明的技术的确定像素块的调色板的索引的实例的概念图。
图9是说明符合本发明的技术的用于确定预测符调色板的实例过程的流程图。
图10是说明符合本发明的技术的用于对调色板索引的行程的行程值进行译码的实例过程的流程图。
图11是说明符合本发明的技术的用于对以多个调色板译码模式译码的索引的行程进行译码的实例过程的流程图。
具体实施方式
本发明的各方面涉及用于视频译码和视频数据压缩的技术。确切地说,本发明描述用于视频数据的基于调色板的译码的技术。在传统的视频译码中,假定图像为连续色调且空间上平滑。基于这些假定,已经开发了各种工具,例如基于块的变换、过滤和其它译码工具,并且此类工具已经表现出针对自然的内容视频的良好性能。
然而,在比如远程桌上型、协作式工作和无线显示的应用中,计算机生成的屏幕内容可为待压缩的主要内容。此类型的内容倾向于具有离散色调和特征清晰线,以及高对比度对象边界。连续色调和光滑的假定可能不再适用,并且因此,传统的视频译码技术可能在压缩内容时效率低下。
本发明描述基于调色板的译码,其可以尤其适用于屏幕生成的内容译码或其中一或多个传统译码工具效率低下时的其它内容。用于视频数据的基于调色板的译码的技术可与一或多个其它译码技术一起使用,例如用于帧间或帧内预测性译码的技术。举例来说,如下文更详细地描述,编码器或解码器或组合编码器-解码器(编解码器)可经配置以执行帧间和帧内预测性译码以及基于调色板的译码。
在一些实例中,基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说,高效率视频译码(HEVC)是由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。新近HEVC文本规范草案描述于布洛斯(Bross)等人的“高效率视频译码(HEVC)文本规范草案10(用于FDIS及同意)(High Efficiency Video Coding(HEVC)Text Specification Draft 10(forFDIS&Consent))”(JCVC-L1003_v13,ITU-T SG16 WP 3及ISO/IEC JCT 1/SC 29/WG 11的JCT-VC第12次会议,2013年1月14日至23日)(“HEVC草案10”)中。
相对于HEVC框架,作为实例,基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中,基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此,在CU模式的上下文中描述的所有以下所揭示的过程可另外或替代地应用于PU。然而,这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制,因为此类技术可经应用以独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下,用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。
在基于调色板的译码中,可以假定视频数据的特定区域具有相对较少数目的颜色。视频译码器(视频编码器或视频解码器)可将所谓的“调色板”译码为用于表示特定区域(例如,给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说,视频译码器可对使像素值与调色板中的适当值相关的索引进行译码。
在以上实例中,视频编码器可通过确定块的调色板、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对调色板进行编码来对视频数据块进行编码。视频解码器可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器可使像素的索引值与调色板的条目相关以重构块的像素值。像素(和/或指示像素值的相关索引值)通常可被称为样本。
假定使用水平光栅扫描次序处理(例如,扫描)块中的样本。举例来说,视频编码器可以通过使用水平光栅扫描次序来扫描索引而将索引的二维块转换成一维阵列。类似地,视频解码器可以使用水平光栅扫描次序重构索引块。因此,本发明可将先前样本指代为块中以扫描次序在当前经译码的样本之前的样本。应了解,也可以应用除水平光栅扫描之外的扫描,例如垂直光栅扫描次序。以上实例既定提供基于调色板的译码的一般描述。
调色板通常包含以索引编号并表示至少一个颜色分量(例如,RGB、YUV或类似者的至少一个分量)值或亮度的条目。视频编码器和视频解码器两者确定调色板条目的数目、每个调色板条目的颜色分量值以及当前块的调色板条目的确切排序。在本发明中,假定每一调色板条目指定样本的所有颜色分量的值。然而,本发明的概念适用于使用用于每一颜色分量的单独的调色板。
在一些实例中,可以使用来自先前经译码块或先前经译码调色板的信息形成调色板。也就是说,调色板可以含有从用来对先前块进行译码的调色板预测的经预测调色板条目。举例来说,如Wei Pu等人的标准提交文档“AHG10:用于基于RExt6.0的调色板译码的推荐软件(AHG10:Suggested Software for Palette Coding based on RExt6.0)”(JCTVC-Q0094,巴伦西亚,ES,2014年3月27日至4月4日)(以下简称JCTVC-Q0094)中所描述,调色板可包含从预测符调色板复制的条目。预测符调色板可包含来自先前使用调色板模式经译码的方块的调色板条目或其它经重构样本。预测符调色板可以使用先前经译码调色板的全部或部分,或可以由若干先前经译码调色板的条目形成。
在一些实例中,对于预测符调色板中的每一条目,二进制旗标可经译码以指示与旗标相关联的条目是否被复制到当前调色板(例如,以旗标=1指示)。所述串二进制旗标可被称为二进制调色板预测向量。用于对当前块进行译码的调色板还可包含多个新调色板条目,其可(例如,从调色板预测向量单独地)经显式译码。还可以对新条目的数目的指示进行译码。经预测条目和新条目的总和可以指示用于块的总调色板大小。
如所提出的JCTVC-Q0094,可使用三个调色板模式中的一者对以基于调色板的译码模式进行译码的块中的每一样本进行译码,如下文所阐述:
●逸出模式:在此模式中,由于针对所有颜色分量显式地用信号表示调色板条目和经量化样本值,因此样本值不包含在调色板中。其类似于用信号表示新调色板条目,但是对于新调色板条目,颜色分量值不经量化。
●CopyFromTop模式(也被称为CopyAbove模式):在此模式中,从位于块中正上方的样本复制用于当前样本的调色板条目索引。
●值模式(也被称为索引模式):在此模式中,显式地用信号表示调色板条目索引的值。
如本文所描述,调色板条目索引可被称作调色板索引或简单地被称作索引。这些术语可互换地使用以描述本发明的技术。另外,如下文更详细地描述,调色板索引可具有一或多个相关联颜色或亮度值。举例来说,调色板索引可具有与像素的单个颜色或亮度分量(例如,RGB数据的红色分量、YUV数据的Y分量或类似者)相关联的单个相关联颜色或亮度值。在另一实例中,调色板索引可具有多个相关联颜色或亮度值。在一些情况下,可应用基于调色板的译码以对单色视频进行译码。因此,“颜色值”通常可指用来产生像素值的任何颜色或非颜色分量。
对于CopyFromTop模式和值模式,还可以用信号表示行程值(其还可以简单地被称为行程)。行程值可指示经调色板译码块中经一起译码的呈特定扫描次序的多个连续样本(例如,样本的行程)。在一些情况下,样本的行程也可被称为调色板索引的行程,因为所述行程中的每一样本具有与调色板相关联的索引。
行程值可指示使用同一调色板译码模式经译码的调色板索引的行程。举例来说,关于值模式,视频译码器(视频编码器或视频解码器)可对调色板索引(也被称为调色板索引值或简单地称为索引值)进行译码,以及对指示扫描次序中具有同一调色板索引并经所述调色板索引译码的多个连续样本的行程值进行译码。关于CopyFromTop模式,视频译码器可对基于上方相邻样本(例如,定位在块中当前经译码的样本上方的样本)的索引复制的当前样本值的索引的指示进行译码,以及对指示扫描次序中也从上方相邻样本复本调色板索引并经所述调色板索引译码的多个连续样本的行程值进行译码。因此,在以上实例中,调色板索引的行程是指具有相同值的调色板索引的行程或从上方相邻调色板索引复制的调色板索引的行程。
因此,对于给定模式,行程可指定属于同一模式的后续样本的数目。在一些情况下,用信号表示索引和行程值可类似于行程长度译码。在出于说明目的的实例中,块的一连串连续索引可为0、2、2、2、2、5(例如,其中每一索引对应于块中的一个样本)。在此实例中,视频译码器可使用值模式对第二样本(例如,两个中的第一索引值)进行译码。在对等于2的索引进行译码之后,视频译码器可对为三的行程进行译码,所述行程指示也具有二的相同索引值的三个后续样本。以类似方式,在使用CopyFromTop模式对索引进行译码之后对四个的行程进行译码可指示从当前经译码的样本位置上方的行中的相应索引复制总共五个索引。
如下文更详细地描述,视频译码器(例如,视频编码器和视频解码器)可对指示是否在每样本的基础上将样本译码为逸出样本的数据进行编码或对所述数据进行解码。逸出样本(也被称为逸出像素)可为块中的不具有用于对块进行译码的调色板中表示的相应颜色的样本(或像素)。因此,可不使用来自调色板的颜色条目(或像素值)重构逸出样本。实际上,以与调色板的颜色值不同的位流用信号表示逸出样本的颜色值。一般来说,使用“逸出模式”对样本进行译码通常可指对块中的不具有用于对块进行译码的调色板中表示的相应颜色的样本进行译码。如上所述,此类样本可被称为逸出样本或逸出像素。
在一些实例中,视频译码器可对每一样本的用于指示所述样本是否经译码为逸出样本的旗标进行译码(此技术可被称为显式逸出信号表示,如下文关于图1的实例更详细地描述)。在另一实例中,视频译码器可对调色板的用于指示特定样本经译码为逸出样本的额外索引值进行译码(此技术可被称为隐式逸出信号表示,如下文关于图1的实例更详细地描述)。
本发明中描述的技术可包含用于预测调色板条目、对调色板索引的行程进行译码以及各种其它调色板译码技术的各种组合的技术。如下文更详细地描述,在一些情况下,本发明的技术当使用调色板模式对视频数据进行译码时可提高效率并提高比特率。
举例来说,本发明的某些方面涉及用于预测用于视频数据块的调色板条目的技术。在一些情况下,可为图片左边缘处的块复位预测符调色板。也就是说,当时产生用于图片左边缘处的块的调色板,预测符调色板可复位为零(例如,预测符调色板不具有条目,并且不使用预测符调色板预测当前调色板)。以此方式,可复位预测符,因为在对一条线(例如,假定从左到右光栅扫描)进行解码之后,预测符调色板可包含主要属于位于图片右侧处的方块的调色板的调色板条目。因此,在对下一行的第一块(图片最左边缘处的块)进行译码后,预测符调色板可包含位于相对远离当前经译码的块的块的颜色。因此,预测符调色板在预测用于当前块的当前调色板时可能并非很有效(例如,图片左侧处的像素的颜色可不同于图片右侧处的像素的颜色)。
然而,在一些情况下,复位预测符调色板可能导致译码损失。举例来说,在不使用预测符调色板的情况下,视频译码器(视频编码器20或视频解码器)可在位流中对指示调色板的所有条目(例如,所有调色板索引和相关颜色值)的数据进行译码。这相对于与经预测调色板条目相关联的数据来说可为相对大量的数据。因此,复位预测符调色板可不利地影响经基于调色板的译码而译码的视频数据的比特率。
根据本发明的方面,可基于另一线的一或多个块而再初始化用于构建第一线中的视频数据块的调色板的预测符调色板。举例来说,视频译码器可确定用于位于块的第一行中的第一视频数据块的第一调色板。视频译码器还可在对第一行中的一或多个其它块进行译码时产生预测符调色板。在对第二行中的块进行译码后,视频译码器可基于第一调色板的条目再初始化用于确定第二行中的块的调色板的预测符调色板。根据本发明的一些方面,所述行块可为具有一定大小的一行块(例如,一行译码树单元(CTU),如下文所述)。行长度可表示所选块单元中的图片宽度,并且行的数目可表示所选块单元中的图片高度。
在一些实例中,经再初始化的预测符调色板包含相对接近当前经译码的块定位的一或多个块的调色板的条目。因此,预测符调色板可包含具有较高可能性被包含于当前经译码的块的调色板中的条目(例如,相对于基于位于远离当前块的块的预测符调色板或已经被复位的预测符调色板)。以此方式,本发明的技术可提高译码效率,因为视频译码器可使用预测符调色板确定用于当前块的调色板,而不是在位流中对调色板的条目进行译码。
本发明的其它方面涉及对指示调色板索引的行程的行程长度的行程值进行译码(即,对其进行编码或对其进行解码)。举例来说,如上所述,对于当前经给定模式译码的索引,行程可指定使用同一模式以当前索引译码的后续样本的数目。
在一些情况下,可使用上下文自适应译码技术对指示行程值的数据进行译码,所述上下文自适应译码技术例如上下文自适应二进制算术译码(CABAC)、上下文自适应可变长度译码(CAVLC)或其它上下文自适应译码技术。举例来说,视频译码器(视频编码器或视频解码器)可选择对上下文进行操作以对与视频数据块相关联的符号进行译码的概率模型或“上下文模型”。也就是说,上下文模型(Ctx)可为索引或偏移,其经应用以选择多个不同上下文中的一者,所述多个不同上下文中的每一者可对应于特定概率模型。
在一些情况下,单个上下文可以用来对指示行程值的数据进行译码。举例来说,二进制化行程值可包含指示所述行程值是否大于零的第一二进制数、指示所述行程值是否大于一的第二二进制数、指示所述行程值是否大于二的第三二进制数,以及表示所述行程值所需的任何其它二进制数。在此实例中,可使用同一上下文来对二进制化行程值的前三个二进制数进行上下文译码。然而,使用同一概率模型对多个二进制数进行译码可能在连续译码循环之间产生延迟。此外,行程值的二进制数的相关性可不足以保证与更新概率模型相关联的时间和计算资源。
根据本发明的方面,可基于经译码的行程值的索引值选择上下文。举例来说,视频译码器可确定指示视频数据块的调色板索引的行程的行程长度的行程值。视频译码器还可基于调色板索引值确定用于对表示行程值的数据进行上下文自适应译码的上下文。所述技术可提高译码效率。
在一些实例中,用来导出用于行程译码的上下文的调色板索引可为用来从调色板检索颜色值的调色板索引。在其它实例中,用来导出用于行程译码的上下文的调色板索引可为经剖析调色板索引,即,在位流中用信号表示的调色板索引(其可与用来存取调色板颜色的调色板索引不同,如下文更详细描述)。
在一些实例中,可以使用三个上下文来对行程值进行译码。在此类实例中,根据本发明的方面,视频译码器可选择第一上下文以基于大于零的索引对行程值进行译码。视频译码器可选择第一上下文以基于大于零的索引对行程值进行译码。视频译码器可选择第二上下文以基于大于一的索引对行程值进行译码。视频译码器可选择第三上下文以基于大于二的索引对行程值进行译码。关于上文描述的经三个上下文译码的二进制数实例,视频译码器可选择三个上下文用于对三个二进制数的任何组合进行译码。虽然关于界定与索引值的三个特征相关联的三个上下文描述了以上实例,但应理解,本文中描述的技术可经扩展为基于索引值的其它特征界定其它数目个上下文。
本发明的其它方面涉及对使用多个调色板模式经译码的调色板索引的行程进行译码。一般来说,使用不同调色板模式经译码的索引可不在同一行程中进行译码。在出于说明目的的实例中,使用CopyFromTop模式经译码的行程可不包含作为逸出样本经译码的任何索引。在此实例中,经译码为逸出样本的像素可终止行程,其可归因于对于给定块的相对较短行程而不利地影响译码效率。
根据本发明的方面,行程可包含使用多个调色板模式经译码的样本。举例来说,视频译码器可确定视频数据块的第一行的调色板索引,其中所述调色板索引包含与调色板中的颜色值相关联的一或多个索引,以及与调色板中的颜色值无关联的语法元素(其可被称为调色板索引,尽管所述语法元素未必对应于索引值)。视频译码器还可相对于第一行的调色板索引对视频数据块的第二行的调色板索引的行程进行译码,其中所述行程包含与调色板中的颜色值相关联的一或多个索引以及与调色板中的颜色值无关联的语法元素。
在一些实例中,调色板索引的行程可包含以CopyFromTop模式和作为逸出样本(例如,使用逸出模式)两者译码的像素。举例来说,与调色板中的颜色值相关联的索引可以CopyFromTop模式进行译码,并且与调色板中的颜色值无关联的语法元素可经译码为逸出样本。在一些实例中,如下文更详细地描述,语法元素可与和调色板中的颜色值无关联的索引相关联。在一些实例中,可在索引的行程之后用信号表示经译码为逸出样本的像素的值,并且经译码为逸出样本的像素不需要相同。在其它实例中,逸出样本可通过CopyFromTop模式表示,并且逸出样本可与经非逸出方式译码的样本(例如,其颜色值在调色板中表示的像素)一起包含于相同像素群组中,其中通过行程值确认所述像素群组。以此方式,所述技术可以用于增加行程的长度,这可提高译码效率。
图1是说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用,术语“视频译码器”一般是指视频编码器及视频解码器两者。在本发明中,术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码系统10的视频编码器20和视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说,视频编码器20和视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式,例如由HEVC草案10指定的各种译码模式。
如图1中所示,视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此,源装置12可被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码视频数据进行解码。因此,目的地装置14可以被称为视频解码装置或视频解码设备。源装置12以及目的地装置14可以是视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括广泛范围的装置,包含桌上型计算机、移动计算装置、笔记型(例如,膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似者。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中,信道16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在此实例中,源装置12可以根据例如无线通信协议等通信标准调制经编码视频数据,并且可以将经调制的视频数据发射到目的地装置14。一或多个通信媒体可以包含无线通信媒体和/或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可形成基于包的网络的一部分,基于包的网络例如局域网、广域网或全球网络(例如,因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中,信道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在此实例中,目的地装置14可例如经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体,例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。
在另一实例中,信道16可包含存储由源装置12所产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中,目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如,用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置以及本地磁盘驱动器。
目的地装置14可通过标准数据连接(例如因特网连接)来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如,Wi-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)或两者的组合。经编码视频数据从文件服务器的发射可为流式发射、下载发射或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用,例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如,经由因特网)、对视频数据进行编码以存储于数据存储媒体上、对存储在数据存储媒体上的视频数据进行解码,或其它应用。在一些实例中,视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频流式传输、视频回放、视频广播和/或视频电话等应用。
图1中说明的视频译码系统10仅为实例,并且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如,视频编码或视频解码)。在其它实例中,可从本地存储器检索数据、在网络上流式传输数据,等等。视频编码装置可对数据进行编码并且将数据存储到存储器,和/或视频解码装置可从存储器检索数据并且对数据进行解码。在许多实例中,由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。
在图1的实例中,源装置12包含视频源18、视频编码器20以及输出接口22。在一些实例中,输出接口22可包含调制器/解调器(调制解调器)和/或发射器。视频源18可包含视频俘获装置(例如,摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口,和/或用于产生视频数据的计算机图形系统,或视频数据的此类源的组合。
视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中,源装置12经由输出接口22将经编码视频数据直接发射到目的地装置14。在其它实例中,经编码视频数据也可存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。
在图1的实例中,目的地装置14包含输入接口28、视频解码器30以及显示装置32。在一些实例中,输入接口28包含接收器和/或调制解调器。输入接口28可在信道16上接收经编码视频数据。显示装置32可与目的地装置14集成在一起或可在目的地装置14的外部。一般来说,显示装置32显示经解码视频数据。显示装置32可包括多种显示装置,例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者:一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。当部分地以软件实施技术时,装置可将软件的指令存储于合适的非暂时性计算机可读存储媒体中且可使用一或多个处理器以硬件执行指令从而执行本发明的技术。可将前述内容中的任一者(包含硬件、软件、硬件与软件的组合等)视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中,所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。
本发明可大体上将视频编码器20称为将某些信息“用信号表示”或“发射”到例如视频解码器30的另一装置。术语“用信号表示”或“发射”可大体上指代用以对经压缩视频数据进行解码的语法元素和/或其它数据的传送。此传送可实时或几乎实时发生。替代地,此通信可经过一段时间后发生,例如可在编码时以经编码位流将语法元素存储到计算机可读存储媒体时发生,解码装置接着可在所述语法元素存储到此媒体之后的任何时间检索所述语法元素。
在一些实例中,视频编码器20和视频解码器30根据视频压缩标准操作,例如上文所提到且在HEVC草案10中描述的HEVC标准。除基础HEVC标准以外,产生用于HEVC的可缩放视频译码、多视图视频译码和3D译码扩展的努力也在不断进行中。此外,可提供(例如)如本发明中所描述的基于调色板的译码模式以用于HEVC标准的扩展。在一些实例中,本发明中针对基于调色板的译码而描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来标准)操作的编码器及解码器。因此,将基于调色板的译码模式用于HEVC编解码器中的译码单元(CU)或预测单元(PU)的译码是为了实例的目的而描述。
在HEVC和其它视频译码标准中,视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列,表示为SL、SCb以及SCr。SL是亮度样本的二维阵列(即,块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下,图片可为单色的且可仅包含亮度样本阵列。
为了产生图片的经编码表示,视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可为亮度样本的译码树块、色度样本的两个对应译码树块,以及用于对译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而,CTU未必限于特定大小,并且可以包含一或多个译码单元(CU)。切片可包含光栅扫描中连续排序的整数数目的CTU。
为了产生经译码CTU,视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割,以将译码树块划分为译码块,因此命名为“译码树单元”。译码块是样本的N×N块。CU可为具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块和色度样本的两个对应译码块,以及用于对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为应用相同预测的样本的矩形(即,正方形或非正方形)块。CU的预测单元(PU)可以是图片的亮度样本的预测块,图片的色度样本的两个对应的预测块,以及用以对预测块样本进行预测的语法结构。视频编码器20可产生用于CU的每个PU的亮度预测块、Cb预测块以及Cr预测块的预测性亮度块、Cb块以及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块,则视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块,则视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时,PU可具有单个运动向量(MV)。当视频编码器20使用双向预测来产生PU的预测性块时,PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性亮度块、Cb块和Cr块之后,视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中对应的样本之间的差。另外,视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外,视频编码器20可使用四叉树分割将CU的亮度残余块、Cb残余块以及Cr残余块分解成一或多个亮度变换块、Cb变换块以及Cr变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为亮度样本的变换块、色度样本的两个对应的变换块,以及用以对变换块样本进行变换的语法结构。因此,CU的每个TU可以与亮度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用到TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用到TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如,亮度系数块、Cb系数块或Cr系数块)之后,视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后,视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说,视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
关于CABAC,作为一实例,视频编码器20和视频解码器30可选择概率模型(也被称作上下文模型),以基于上下文对与视频数据块相关联的符号进行译码。举例来说,上下文模型(Ctx)可为索引或偏移,其经应用以选择多个不同上下文中的一者,所述多个不同上下文中的每一者可对应于特定概率模型。因此,通常针对每一上下文界定不同的概率模型。在对二进制数进行编码或对其进行解码之后,基于所述二进制数的值进一步更新概率模型以反映对于所述二进制数的最新的概率估计。举例来说,概率模型可维持为有限状态机中的状态。每一特定状态可对应于特定概率值。对应于概率模型的更新的下一状态可取决于当前二进制数(例如,当前经译码的二进制数)的值。因此,概率模型的选择可受先前经译码二进制数的值影响,因为所述值至少部分地指示具有给定值的二进制数的概率。上文描述的上下文译码过程通常可称为上下文自适应译码模式。
因此,视频编码器20可使用概率模型对目标符号进行编码。类似地,视频解码器30可使用概率模型剖析目标符号。在一些情况下,视频编码器20可使用上下文自适应和非上下文自适应译码的组合对语法元素进行译码。举例来说,视频编码器20可通过选择概率模型或“上下文模型”对二进制数进行上下文译码,“上下文模型”在上下文上操作以对二进制数进行译码。相比而言,视频编码器20可通过在对二进制数进行译码时绕过或省略常规算术译码过程而对二进制数进行旁路译码。在此类实例中,视频编码器20可使用固定概率模型来对二进制数进行旁路译码。也就是说,经旁路译码的二进制数不包含上下文或概率更新。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片和相关联数据的表示的位序列。位流可包括一连串网络抽象层(NAL)单元。所述NAL单元中的每一者包含NAL单元标头且封装原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下,RBSP包含零个位元。
不同类型的NAL单元可包封不同类型的RBSP。举例来说,第一类型的NAL单元可包封用于图片参数集(PPS)的RBSP,第二类型的NAL单元可包封用于经译码切片的RBSP,第三类型的NAL单元可包封用于SEI的RBSP等等。封装视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称为视频编码层(VCL)NAL单元。
视频解码器30可以接收由视频编码器20产生的位流。另外,视频解码器30可以剖析位流以从位流对语法元素进行解码。视频解码器30可至少部分地基于从位流解码的语法元素重构视频数据的图片。用以重构视频数据的过程通常可与由视频编码器20执行的过程互逆。举例来说,视频解码器30可使用PU的MV来为当前CU的PU确定预测性块。另外,视频解码器30可逆量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性块的样本增加到当前CU的TU的变换块的对应的样本上,视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块,视频解码器30可重构图片。
HEVC含有用以使编解码器更并行友好的若干提议,包含瓦片及波前并行处理(WPP)。HEVC WD10将瓦片定义为在瓦片的译码树块光栅扫描中连续排序的以一个列和一个行同时出现的整数数目个译码树块。将每一图片划分为瓦片是分割。可针对整个序列或从图片到图片改变来界定瓦片的数目及瓦片的边界的位置。类似于切片边界的瓦片边界打破了剖析和预测的相依性,使得可独立地处理瓦片,但是环路内滤波器(解块和样本自适应偏移(SAO))仍可跨越瓦片边界。HEVC WD10还指定切片与瓦片之间的关系的一些约束。
在一些实例中,视频编码器20和视频解码器30可经配置以执行基于调色板的译码。举例来说,在基于调色板的译码中,并非执行上述帧内预测性或帧间预测性译码技术,视频编码器20和视频解码器30可将所谓的调色板译码为用于表示特定区域(例如,给定块)的视频数据的颜色的表。每一像素可与调色板中表示像素的颜色的条目相关联。举例来说,视频编码器20和视频解码器30可对使像素值与调色板中的适当值相关的索引进行译码。
在以上实例中,视频编码器20可通过确定块的调色板、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对调色板进行编码来对视频数据块进行编码。视频解码器30可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器30可使像素的索引值与调色板的条目相关以重构块的像素值。
在一些实例中,视频编码器20和视频解码器30可经配置以使用来自一或多个先前经译码块的调色板条目构造调色板。举例来说,视频编码器20和视频解码器30可经配置以从包含来自先前使用调色板模式经译码的块或其它经重构样本的调色板条目的预测符调色板复制用于对当前块进行译码的一或多个调色板条目。对于预测符调色板中的每一条目,视频编码器20和视频解码器30可经配置以对二进制旗标进行译码,从而指示与所述旗标相关联的条目是否被复制到当前调色板(例如,以旗标=1指示)。所述串二进制旗标可被称为二进制调色板预测向量。用于对当前块进行译码的调色板还可包含多个新调色板条目,其可(例如,从调色板预测向量单独地)经显式译码。
如上所述,视频编码器20和视频解码器30可使用多个不同的调色板译码模式以对调色板的索引进行译码。举例来说,视频编码器20和视频解码器30可使用逸出模式、CopyFromTop模式(也被称作CopyAbove模式)或值模式(也被称作索引模式)以对块的索引进行译码。一般来说,使用“逸出模式”对样本进行译码通常可指对块中的不具有用于对块进行译码的调色板中表示的相应颜色的样本进行译码。如上所述,此类样本可被称为逸出样本或逸出像素。
作为另一实例,在如Yu-Wen Huang等人的“屏幕内容核心实验3(SCCE3)说明:调色板模式(Description of Screen Content Core Experiment 3(SCCE3):Palette Mode)”(JCTVC-Q1123,巴伦西亚,ES,2014年3月27日至4月4日)(以下简称Q1123)中所描述的第三屏幕内容译码核心实验子测验B.6中,将另一模式引入到2014年5月26日佳能(Canon)发布的软件中。用于此模式的宏可定义为“CANON_NEW_RUN_LAST_TRANSITION”并且可在本文中称为转换行程模式。转换行程与值模式的类似之处在于视频编码器20或视频解码器30可对跟随有指定具有相同调色板索引的后续样本的数目的行程的索引值进行译码。
值模式与转换行程模式之间的一个区别在于不在位流中用信号表示转换行程模式的索引值。实际上,视频编码器20和视频解码器30可推断转换行程模式的索引值。如本文所描述,推断值可指在不参考表示在位流中经译码的值的专用语法的情况下确定值。也就是说,视频编码器20和视频解码器30可推断值而无需在位流中对用于所述值的专用语法元素进行译码。经推断的索引可被称为转换索引。
在一些实例中,可能存在用信号表示调色板模式的两种方式。用于用信号表示调色板模式的第一技术可被称为显式逸出信号表示。举例来说,在JCTVC-Q0094中,如果宏“PLT_REMOVE_ESCAPE_FLAG”为零,那么视频编码器20可显式地对用于块的每一样本的逸出旗标进行编码,从而指示在块中经译码的样本是否是以逸出模式译码的。如果所述样本不是以逸出模式译码的,那么视频编码器20可对额外数据进行编码以指示所述模式是CopyFromTop模式还是值模式。在一些情况下,额外数据可为旗标,所述旗标在本文中称为SPoint旗标(例如,SPoint旗标值“零”可指示CopyFromTop模式,且SPoint旗标值“一”可指示值模式,或反之亦然)。
因此,通过显式逸出信号表示,可以使用SPoint旗标来指示与所指示模式相关联的像素值的行程的特定行程类型。举例来说,视频编码器20可对SPoint旗标进行编码,以指示当前经译码的索引和行程中经译码的后续索引值的行程是使用CopyFromTop模式还是值模式译码的。视频编码器20不对逸出旗标(例如,“PLT_REMOVE_ESCAPE_FLAG”)和用于后续行程样本的SPoint旗标(必要时)进行编码。也就是说,视频编码器20和视频解码器30可推断逸出旗标和用于包含于行程中的样本的SPoint旗标的值。举例来说,视频编码器20和视频解码器30可推断逸出旗标和用于包含于行程中的样本的SPoint旗标的值,而无需参考在位流中表示此类值的专用语法。
用于用信号表示调色板模式的第二技术可被称为隐式逸出信号表示。举例来说,如果来自JCTVC-Q0094的宏“PLT_REMOVE_ESCAPE_FLAG”为一,那么视频编码器20和视频解码器30可经配置以将调色板的调色板条目的数目增加一,以容纳不对应于块中的任何索引的针对调色板的特定索引。在一些实例中,视频编码器20和视频解码器30可将所述额外索引包含为用于给定块的经增加调色板中的最后一个调色板索引。所述额外索引可用作逸出样本的指示。
在此隐式逸出信号表示中,视频编码器20可针对块的特定样本值对表示指示额外样本使用逸出模式译码的额外索引的数据进行编码。视频编码器20还可对逸出样本的颜色值进行编码。因此,在隐式逸出信号表示的情况下,仅存在使用显式语法用信号表示的两种可能模式(例如,CopyFromTop模式或值模式)。举例来说,仅可用信号表示SPoint旗标以区分开所述模式。如果在值模式中对样本进行译码并且值模式的索引等于逸出索引(例如,上文所述的针对调色板的额外索引),那么视频编码器20和视频解码器30可推断待以逸出模式译码的样本。在这种情况下,不用信号表示行程。当在转换行程模式下使用隐式逸出信号表示时,SPoint旗标可获得值0(例如,值模式)、1(例如,CopyFromTop模式)或2(例如,转换行程模式)。
本发明中描述的技术可包含用于调色板预测和以隐式逸出信号表示进行调色板索引的信号表示中的一或多者的各种组合的技术。举例来说,本发明的方面涉及复位预测符调色板。举例来说,复位预测符调色板可包含将预测符调色板的大小设置为零,使得可不使用预测符调色板来构造用于当前经译码块的调色板。在这种情况下,不在位流中用信号表示二进制调色板预测向量,并且不从预测符调色板预测调色板条目。
在JCTVC-Q0094中,针对图片左边缘处的译码树块(CTB)(例如,图片中的一行CTB(“CTB行”)的开始处)复位预测符调色板。用于复位CTB行开始处的预测符调色板的原因可为双重的。首先,在对一条线的CTB进行译码之后,预测符调色板可包含主要属于位于图片右侧处的块的调色板的调色板条目。因此,预测符调色板对预测用于CTB行的第一CTB的当前调色板时可能不是非常有效,所述当前调色板可定位在图片的左侧处(例如,图片左侧处的像素的颜色可不同于图片右侧处的像素的颜色)。另外,当使用两个或更多个波前对特定图片进行译码时,除了CABAC状态以外,还将必需在波前之间传播关于预测符调色板的信息。
举例来说,波前可为用于译码的视频数据单元,并且可与其它波前并行译码。举例来说,HEVC中包含了两种并行度方法,包含波前并行处理(WPP)和重叠波前(OWF)。WPP允许形成图片分区,所述分区可经并行处理而不会带来高译码损失。在WPP中,CTB的行经并行处理同时保持所有译码相依性。OWF允许使用波前重叠连续图片的执行。
然而,在一些情况下,复位预测符调色板可能导致译码损失。举例来说,在不使用预测符调色板的情况下,视频编码器20和视频解码器30可在位流中对指示调色板的所有条目(例如,所有调色板索引和相关颜色值)的数据进行译码。此调色板数据相对于经预测调色板条目来说可为相对大量的数据,经预测调色板条目可在位流中使用单个旗标指示。因此,复位预测符调色板可不利地影响经基于调色板的译码而译码的视频数据的比特率。
根据本发明的方面,视频编码器20和视频解码器30可经配置以基于用于对图片进行译码的波前的数目为一或零(即,没有波前)而停用预测符调色板的复位。也就是说,视频编码器20和视频解码器30可经配置以在用于对图片进行译码的波前的数目为一或零时不复位预测符调色板。然而,视频编码器20和视频解码器30可经配置以在两个或更多个波前用于对图片进行译码时启用预测符调色板的复位。在此实例中,视频编码器20和视频解码器30可不需要在波前之间传播关于预测符调色板的信息,同时仍避免单个波前情况下的译码损失。
根据本发明的方面,当使用多个瓦片和多个波前对图片进行译码时(例如,视频编码器20和视频解码器30使用两个或更多个瓦片和两个或更多个波前以对图片进行译码),视频编码器20和视频解码器30可经配置以复位每一瓦片CTB行的开始处的预测符调色板。瓦片CTB行可包含来自属于特定瓦片的CTB行的CTB。应理解,取决于用于对块进行译码的特定扫描次序,“行”可为垂直或水平定向的。行在本文中还可称为线,并且所述术语可在本文中互换使用。
上文描述的技术还可应用于调色板转换表。举例来说,Yu-Chen Sun等人的标准提交文档“CE6测试C.2转换复制模式(CE6 Test C.2 Transition Copy Mode)”(JCTVC-S0078,斯特拉斯堡,FR,10月17日到24日)(JCTVC-S0078)描述了转换复制模式。转换复制也可被称作转换复制行程(TC行程)模式。在TC行程模式中,解码器记录相邻的颜色索引型式并使用所述型式来预测待经译码的索引。在TC行程模式中,作为一实例,当前像素C具有等于一的试用颜色索引。根据经译码像素的因果对应范围,视频译码器(例如视频编码器20或视频解码器30)可确定等于一的颜色索引右侧的颜色索引很可能是二(例如,假定从左到右的扫描)。从一到二的此转换型式可记录在转换复制表(TC表)中以提高颜色索引预测效率。
在JCTVC-S0078中,在经译码的当前CU为切片的第一CU时,复位TC表,或在当前CU为切片的非第一CU时,当前CU沿袭先前CU的TC表。此沿袭性质可被称为“TC表传播”。可维持TC表并在CU中的像素经译码时更新TC表。
在一些实例中,在转换复制模式中,维持两个转换表,一个用于以偶数编索引的行且另一个用于以奇数编索引的行。描述的先前文献使用单个转换表。无论如何,通常,如上所述,来自先前经调色板译码CU(或块)的转换表可以用来初始化用于以调色板模式译码的当前CU(或块)的转换表。
根据本发明的方面,如上所述,当使用多个波前时在CTB行中的第一CTB或CTB行的瓦片中的第一CTB的开始处复位调色板的概念可经扩展为也在那些位置中复位调色板转换表(或表)。举例来说,视频编码器20和视频解码器30可经配置以针对当使用多个波前时的CTB行中的第一CTB或CTB行的瓦片中的第一CTB(或等效地,CTB内的第一经调色板译码的CU)将调色板转换表中的所有条目设置为零(或设置为任何其它固定的调色板索引,或任何其它型式)。根据本发明的方面,复位预测符调色板和调色板转换表可对可从一个经调色板译码的CU到另一个传播的任何其它调色板相关的数据通用。
在另一实例中,视频编码器20和视频解码器30可经配置以在瓦片层级处、在块层级处或指示在每一CTB行的开始处是否执行预测符调色板复位(和/或例如上文指出的调色板转换表等其它信息的复位)的其它地方对视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头的旗标进行译码。在其中在瓦片层级处用信号表示旗标的实例中,旗标可指示是否在每一瓦片CTB行的开始处(例如,在瓦片中的每一行CTB的开始处)执行预测符调色板复位。替代地,对于使用成一行CTB的调色板模式经译码的第一块,可用信号表示旗标以指示是否执行预测符调色板复位。
在另一实例中,可针对使用调色板模式经译码的每一块用信号表示旗标(例如,其中旗标可为一或多个语法元素)以指示是否应执行预测符调色板复位。在一些实例中,此技术可具有允许视频编码器20和视频解码器30能够在显式地用信号表示所有调色板条目的技术或使用预测符调色板以预测调色板条目中的一些的技术之间进行选择的优点。在一些实例中,可推断旗标值。举例来说,视频编码器20和视频解码器30可经配置以推断每一波前的旗标的值,使得经推断值指示预测符调色板经复位。替代地或另外,视频编码器20和视频解码器30可经配置以推断切片或瓦片的第一块的旗标的值,使得经推断值指示在每一切片和/或瓦片的开始时复位预测符调色板。
在另一实例中,视频编码器20和视频解码器30可经配置以根据规则或规则集合复位预测符调色板,而不是用信号表示旗标以指示预测符调色板复位。举例来说,视频编码器20和视频解码器30均可经配置以应用规则或规则集合。在一个实例中,视频编码器20和视频解码器30可经配置以应用以下规则从而确定是否复位预测符调色板:如果当前块中的调色板不具有从预测符调色板预测的条目,那么对于此当前块复位预测符调色板(例如,预测符调色板设置为具有零长度),使得仅当前调色板可以用作后续块的而非来自先前块的调色板条目的预测符。
在以上实例中,视频编码器20可控制调色板复位。举例来说,当调色板待复位时,视频编码器20可简单地不使用来自预测符调色板的任何条目。实施此过程的一个潜在优点是不添加新的语法元素,并且调色板复位可为更粒状且更灵活控制的。举例来说,可归因于改变执行预测符调色板复位的条件的能力而获得灵活性/粒度。
在一些实例中,视频编码器20可在以下情况中的至少一者中不使用预测符调色板:当启用波前译码时针对每一LCU行中的第一LCU、针对瓦片中的第一块、或针对切片中的第一块。
根据本发明的方面,可再初始化预测符调色板。举例来说,再初始化预测符调色板通常可涉及以新的条目替代预测符调色板的条目。举例来说,在对索引块进行译码之后,预测符调色板可包含用于预测待译码的下一块的调色板的多个条目。再初始化预测符调色板可包含清除多个条目以及添加新条目到预测符调色板以用于预测待译码的下一块的调色板。
在一些实例中,根据本发明的方面,如果当前CTB线不是图片/切片/瓦片中的第一CTB线,那么在每一CTB线的开始处,视频编码器20和视频解码器30可经配置以使用来自CTB线的在当前CTB上方的第一CTB的调色板条目再初始化用于确定当前CTB的当前调色板的预测符调色板。在这种情况下,如下文关于图5的实例更详细地描述,在完成第一CTB的译码之后且在对上方的CTB线中的第二CTB进行译码之前(假设第一CTB不是图片/切片/瓦片中的第一CTB线),视频编码器20和视频解码器30可经配置以使用预测符调色板以在当前CTB线的开始处再初始化预测符调色板。如果当前CTB线是图片/切片/瓦片中的第一个,那么视频编码器20和视频解码器30可经配置以设置预测符调色板条目的数目(例如,如JCTVC-Q0094中所描述),并且在确定当前CTB的调色板时不预测任何调色板条目。
在另一实例中,再初始化预测符调色板的概念可为通用的。举例来说,视频编码器20和视频解码器30可经配置以在对一条线的CTB中在当前经译码的CTB上方的N个CTB进行译码之后并且在开始对CTB线中在当前经译码的CTB上方的第N+1个CTB进行译码之前产生预测符调色板(假设这一条线的CTB不是图片/切片/瓦片中的第一CTB线)。视频编码器20和视频解码器30可经配置以使用所产生的预测符调色板再初始化用于确定当前经译码的CTB的调色板的预测符调色板。当前经译码的CTB可为当前CTB线的第一CTB(假设当前CTB不是图片/切片/瓦片中的第一CTB线)。此处,N可为一与CTB线中的CTB数目之间。为了在概念上匹配此预测符调色板再初始化技术与波前译码,N可经选择为小于或等于二。以此方式,可使用相同的预测符调色板再初始化过程,而不论用于对图片进行译码的波前的数目。
如上所述,CTB也可被称作LCU。在一些实例中,可对一条线的块中的第一CTB执行预测符调色板再初始化,其中使用调色板模式以预测CTB的任何块(例如,在其中各种预测(帧间或帧内模式)的情况下)或可以使用调色板模式来对CTB进行译码。虽然出于说明的目的关于CTB描述了以上实例,但应理解,所述技术可扩展到任何类型的视频数据块。
根据本发明的方面,上文描述的调色板再初始化过程可扩展为调色板转换表。举例来说,视频编码器20和视频解码器30可经配置以在对CTB线中在当前CTB上方的N个CTB进行译码之后且在开始对第N+1个CTB进行译码之前,使用所产生的调色板转换表在当前CTB行的开始处再初始化调色板转换表(假设当前CTB不是图片/切片/瓦片中的第一CTB线)。此处,N可为一与CTB线中的CTB数目之间。举例来说,视频编码器20和视频解码器30可经配置以选择小于或等于二的N的值。
在一些实例中,视频编码器20和视频解码器30可经配置以除了调色板转换表自身以外还复制转换表的大小。实际上,再初始化调色板译码信息(例如,预测符调色板信息、调色板转换表信息,或类似者)的此过程可对从经调色板译码CU传播到下一经调色板译码CU的任何其它调色板相关数据通用。举例来说,视频编码器20和视频解码器30可经配置以基于在对CTB线中在当前CTB上方的N个CTB进行译码之后且在开始对第N+1个CTB进行译码之前所产生的调色板数据而再初始化当前CTB的调色板相关数据。
在一些实例中,视频编码器20和视频解码器30可经配置以针对所有适用CTB(例如,一条线的CTB中初始地经译码的CTB)使用再初始化。在其它实例中,视频编码器20和视频解码器30可经配置以仅可在用于对图片或瓦片进行译码的波前的数目为两个或更多个时执行再初始化技术。
根据本发明的方面,当一起使用瓦片和波前对特定图片进行译码时,视频编码器20和视频解码器30可经配置以对瓦片应用再初始化技术,如同瓦片为单独的图片。举例来说,视频编码器20和视频解码器30可经配置以在第一瓦片CTB不是瓦片中的第一CTB线的情况下对第一瓦片CTB应用上述再初始化过程,如下文关于图7更详细地描述。
本发明的其它方面涉及在实例中用信号表示逸出样本,其中使用隐式逸出信号表示。举例来说,在JCTVC-Q0094中,对于上述隐式逸出技术,调色板的大小增加一,并且指派所展开的调色板中的最后一个索引以指示样本是否经译码为逸出样本。如果使用截断二进制译码对索引进行译码,那么最后一个索引可比索引零使用多一个位。类似地,如果使用另一可变长度译码策略,那么长度差可甚至更大。
通常,对于某些块大小,可能存在比其它大小的块更多的经译码为逸出样本的样本。为了充分利用此关系以改进索引的译码,对于很可能具有更多经译码为逸出样本的像素的块,视频编码器20和视频解码器30可经配置以对用于指示逸出样本的索引指派调色板的零索引。对于可能具有相对较少的经译码为逸出样本的样本的其它块,视频编码器20和视频解码器30可经配置以可能遵循从所展开的调色板指派最高索引以指示逸出样本的当前方案。
在出于说明目的的实例中,对于32×32和更小的块大小,视频编码器20和视频解码器30可经配置以对用于指示逸出样本的索引指派零索引。在此实例中,对于64×64的块和更大的块,视频编码器20和视频解码器30可经配置以对用于指示逸出样本的索引指派最高(例如,调色板索引的数值上最大)索引。
在一些实例中,视频编码器20和视频解码器30可经配置以先验地对每一块大小实施相同的逸出索引指派规则。在另一实例中,在瓦片层级或其它地方,可在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中显式地用信号表示逸出索引指派规则。
本发明的其它方面涉及在实例中用信号表示逸出样本,其中使用显式逸出信号表示。在显式逸出信号表示的情况下,可通过旗标用信号表示逸出模式。根据本发明的方面,视频编码器20和视频解码器30可经配置以基于块大小对逸出旗标进行上下文自适应译码。举例来说,上下文可设计为对逸出旗标进行译码,以便利用以下关系:即对于某些块大小可能存在相对于其它块大小更多的使用逸出样本经译码的样本。在这种情况下,用于旗标的上下文可取决于块大小。另外,在一些实例中,调色板大小可与CU中待用信号表示的逸出样本的量/数目具有一些相关性。因此,上下文可取决于调色板大小或取决于调色板大小是否等于最大调色板大小(或不等于最大调色板大小)。
本发明的其它方面涉及用信号表示使用值调色板模式经译码的多连串索引的行程值。举例来说,在纪尧姆.拉罗切(Guillaume Laroche)等人的标准提交文档“AHG10:用于调色板模式的行程译码(AHG10:Run Coding for Palette Mode)”(JCTVC-Q0066,巴伦西亚,ES,2014年3月27日至4月4日)(JCTVC-Q0066)中,提出对于使用调色板经译码的每一块,可用信号表示索引阈值。如果以值模式译码的索引大于或等于索引阈值,则对于值模式不用信号表示行程。本发明可将此方法指代为“受限行程”。
根据本发明的方面,可对Q0066中描述的过程进行修改。在第一实例中,以语法元素num_skip指示第一索引,始终用信号表示行程。在一些实例中,语法元素num_skip等于二,因此对于索引零和一始终用信号表示行程。视频编码器20和视频解码器30两者均可先验地已知语法元素num_skip指示的值(例如,在视频译码器处预定),或可在瓦片层级或其它地方在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中显式地用信号表示语法元素num_skip指示的值。
在第二实例中,如果调色板大小低于特定调色板大小阈值,那么不用信号表示索引阈值,并用信号表示行程用于每一索引。视频编码器20和视频解码器30两者均可先验地已知调色板大小阈值,或可在瓦片层级或其它地方在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中显式地用信号表示调色板大小阈值。
在第三实例中,可对其中调色板大小大于调色板大小阈值的每个块用信号表示旗标,以指示是否用信号表示索引阈值。可仅对某些块大小和/或调色板大小用信号表示旗标。如果不用信号表示索引阈值,那么用信号表示行程用于所有索引。在替代实例中,替代用信号表示显式旗标,用信号表示调色板大小的索引阈值以指示用信号表示行程用于所有索引。
在第四实例中,如果调色板大小超过调色板大小阈值,那么可以使用截断二进制化(例如,如2014年5月22日提交的第62/002,054号美国临时申请案中所描述的截断二进制译码)来对块的索引阈值进行译码。如果用信号表示如以上第三实例中的显式旗标,那么截断二进制化的最大值可为(当前调色板大小-num_skip)。如果不发送显式旗标,那么截断二进制化的最大值可为(当前调色板大小-num_skip+1)。
在第五实例中,可在调色板索引重布置、重排序或重映射之后对行程值进行译码。举例来说,可以使用一些调色板译码技术将索引分组为具有更长串的索引。在一个实例中,视频编码器20和视频解码器30可经配置以执行索引的适应性扫描或应用巴罗斯.惠勒(Burrows Wheeler)变换。
在第六实例中,在其中用信号表示上文关于第三实例描述的显式旗标的实例中,索引阈值可用信号表示为(调色板大小-索引阈值)。类似地,在其中不用信号表示此类显式旗标的实例中,索引阈值可用信号表示为(调色板大小+1-索引阈值)。在一些情况下,视频编码器20和视频解码器30可经配置以基于块大小和/或调色板大小对索引阈值或(调色板大小-索引阈值)进行译码。在一些实例中,在其中不用信号表示显式旗标的情况下,可使用类似策略。
可通过视频编码器20和视频解码器30个别地或组合地实施上述六个实例的技术。另外,可取决于块大小和/或调色板大小选择性地实施所述技术。视频编码器20和视频解码器30两者均可先验地已知对块大小和/或调色板大小的此类相依性,或可在瓦片层级或其它地方在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中显式地用信号表示对块大小和/或调色板大小的此类相依性。
与JCTVC-Q0066相比,根据本发明的方面,上述技术可为规范性的。举例来说,这意味着不准许有效位流(例如,可通过符合特定标准的解码器解码的位流)使不用信号表示的行程的索引出现在连续位置中并使用值模式进行译码。也就是说,具有相同索引值的两个连续位置不会使用值模式进行译码。这种约束可处理为对位流的规范性约束。也就是说,相符位流将不含有以值模式译码的具有不用信号表示的行程的相同索引值的任何两个或更多个连续像素。这使得能够应用2014年5月22日提交的第62/002,054号美国临时申请案中描述的所有冗余移除,以及C.吉斯凯(C.Gisquet)等人的“AHG10:调色板索引译码(AHG10:Palette Index Coding)”(JCTVC-Q0064,巴伦西亚,ES,2014年3月27日至4月4日)(JCTVC-Q0064)中描述的所谓的不可能索引值的移除。
如果还使用转换行程模式,那么受限行程技术也可扩展为转换行程模式。在这种情况下,如果模式为值模式或转换行程模式并且调色板索引(对于值模式)或经推断调色板索引(对于转换行程模式)高于索引阈值,那么不用信号表示行程并且可如上文所述应用相同的规范性位流约束。
本发明的其它方面涉及对指示调色板索引的行程的行程长度的行程值进行译码。在实例中,所述技术可用来对使用值模式经译码的索引的行程值进行译码。
举例来说,在一些实例中,经三个上下文译码的旗标可用于以值模式对行程值进行译码。在此类实例中,经三个上下文译码的旗标可包含指示行程值是否大于零的大于零旗标、指示行程值是否大于一的大于一旗标,以及指示行程值是否大于二的大于二旗标。在一些实例中,视频编码器20和视频解码器30可经配置以使用单个上下文对三个旗标中的每一者进行译码。
然而,使用单个上下文可要求视频编码器20和视频解码器30在对旗标中的每一者进行译码之后更新与上下文相关联的概率模型。此外,以上概率更新过程可将延迟引入到译码过程中。在出于说明目的的实例中,出于上下文自适应译码的目的,三个二进制数使用相同的上下文模型(例如,ctx(0))。在此实例中,第一二进制数可使用ctx(0)以确定用于译码的概率模型。第一二进制数的值影响与ctx(0)相关联的概率模型。因此,在以ctx(0)对第二二进制数进行译码之前执行概率更新。还在以ctx(0)对第三二进制数进行译码之前执行额外的概率更新。以此方式,概率更新可将延迟引入到译码循环中。
此外,行程值的第一二进制数、第二二进制数和第三二进制数之间的相关性可不足以保证与更新概率模型相关联的时间和计算资源。也就是说,上下文自适应译码的一个潜在优势是能够基于先前经译码的二进制数(给定相同上下文)适应概率模型。然而,如果第一二进制数的值与后续二进制数的值几乎不相关,那么可能几乎不存在与概率更新相关联的效率提高。因此,呈现低相关性的二进制数可能不如具有相对较高相关性的二进制数那样得益于上下文自适应译码。
根据本发明的方面,视频编码器20和视频解码器30可经配置以基于行程值的索引确定用于对行程值进行译码的上下文。另外或替代地,视频编码器20和视频解码器30可经配置以基于当前经译码的块的块大小或用于当前经译码的块的调色板的调色板大小来确定用于对行程值进行译码的上下文。在一些实例中,本发明的各方面包含使用多个上下文对行程值进行译码。
在一个实例中,根据本发明的方面,视频编码器20和视频解码器30可经配置以使用七个上下文对行程值进行译码。举例来说,可界定七个上下文用于对指示行程值大于零的旗标进行译码。此实例在以下表1中示出:
表1-用于基于索引对行程进行译码的七个上下文
索引 行程上下文
0 0
1 1
2 2
3 3
[4,7] 4
[8,15] 5
[16,31] 6
虽然表1的实例示出了七个上下文,但是在其它实例中,可基于经译码的行程的索引值界定上下文的替代数目。表1可假设MAX_PLT_SIZE语法元素为32。
在另一实例中,视频编码器20和视频解码器30可经配置以基于索引值使用两个上下文对值模式的行程值进行译码。举例来说,对于值模式索引0,视频编码器20和视频解码器30可经配置以使用行程上下文(0)对指示行程值的数据进行译码。在此实例中,对于所有其它值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(1)对指示行程值的数据进行译码。
在另一实例中,视频编码器20和视频解码器30可经配置以基于索引值使用两个上下文对值模式中的行程值进行译码。在此实例中,对于值索引0和1,视频编码器20和视频解码器30可经配置以使用行程上下文(0)对指示行程值的数据进行译码。对于大于1的值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(1)对指示行程值的数据进行译码。
在再一实例中,视频编码器20和视频解码器30可经配置以基于索引值使用三个上下文对值模式中的行程值进行译码。举例来说,对于值索引0,视频编码器20和视频解码器30可经配置以使用行程上下文(0)对指示行程的数据进行译码。对于1和2的值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(1)对指示行程的数据进行译码。对于大于2的值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(2)对指示行程值的数据进行译码。
在再一实例中,可基于索引值使用三个上下文对值模式中的行程值进行译码。举例来说,对于值索引0和1,视频编码器20和视频解码器30可经配置以使用行程上下文(0)对指示行程值的数据进行译码。对于从2到5范围内的值索引(包含2和5),视频编码器20和视频解码器30可经配置以使用行程上下文(1)对指示行程值的数据进行译码。对于大于5的值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(2)对指示行程值的数据进行译码。
在另一实例中,可取决于(例如,基于)索引值使用四个上下文对值模式中的行程值进行译码。举例来说,对于值索引0,视频编码器20和视频解码器30可经配置以使用行程上下文(0)对指示行程值的数据进行译码。对于值索引1和2,视频编码器20和视频解码器30可经配置以使用行程上下文(1)对指示行程值的数据进行译码。对于从3到6范围内的值索引(包含3和6),视频编码器20和视频解码器30可经配置以使用行程上下文(2)对指示行程值的数据进行译码。对于大于6的值索引,视频编码器20和视频解码器30可经配置以使用行程上下文(3)对指示可使用行程值的数据进行译码。在一些情况下,可使用以上技术的任何组合来确定上下文。
上述技术可用于对二进制化行程值的二进制数的任何组合进行译码。举例来说,如上所述,二进制化行程值可包含指示所述行程值是否大于零的第一二进制数、指示所述行程值是否大于一的第二二进制数、指示所述行程值是否大于二的第三二进制数,以及表示所述行程值所需的任何其它二进制数。根据本发明的方面,视频编码器20和视频解码器30可经配置以选择以上界定的上下文,用于对二进制化行程值的第一二进制数、二进制化行程值的第二二进制数、二进制化行程值的第三二进制数或其任何组合进行译码。所述技术还可应用于行程值的其它二进制化。
根据本发明的方面,上下文可基于实际索引值或经调整索引值。举例来说,在一个实例中,行程上下文可取决于语法元素adjusted_palette_index而非语法palette_index,其中语法元素adjusted_palette_index可基于以下条件指示经调整索引:
若(adjusted_palette_index>=adjustedRefIndex),则palette_index=adjusted_palette_index+1
否则,(palette_index=adjusted_palette_index)
如Wei Pu等人的“SCCE3:测试B.12-逸出样本和调色板索引的二进制化(SCCE3:Test B.12-Binarization of Escape Sample and Palette Index)”(JCTVC-R0065,札幌,JP,2014年6月30日至7月9日)(JCTVC-R0065)中所描述。也就是说,根据本发明的方面,在其中在位流中用信号表示经调整调色板索引的实例中,视频编码器20和视频解码器30可经配置以基于位流中用信号表示的调色板索引(其可与adjusted_palette_index语法元素相关联)而非实际上用于对块中的样本进行译码的调色板索引来确定用于对行程值进行译码的上下文。
在另一实例中,如果在对索引进行译码时使用截断二进制译码,那么视频编码器20和视频解码器30可经配置以基于索引语法的前‘k’位选择行程上下文(例如,如例如JCTVC-R0065的章节9.3.3.x中所描述)。举例来说,使用截断二进制译码时,基于调色板索引与变量u的相对值,表示调色板索引的语法元素可使用k个位或k+1个位,如下所述(如JCTVC-R0065的章节9.3.3.x中所描述):
此过程的输入是对具有值synVal、cMax的语法元素的TB二进制化的请求。此过程的输出是语法元素的TB二进制化。
假设n=cMax+1、k=floor(log2(n))因此2k≤n<2k+1且假设u=2k+1-n。
若synVal<u,则通过具有长度k的synVal的二进制表示来指定TB二进制数串。
否则,通过具有长度k+1的synVal+u的二进制表示来指定TB二进制数串。
在此实例中,行程上下文仅取决于前k个经解码位。因此,举例来说,视频解码器30不需要在确定上下文之前等待对可能的k+1位进行解码。
在另一实例中,视频编码器20和视频解码器30可经配置以基于索引值、当前经译码的块的调色板大小、和/或当前经译码的块的大小使用多个上下文。如果使用上文描述的受限行程模式对块进行译码,那么视频编码器20和视频解码器30可经配置以基于索引值、块的大小和/或超过时不用信号表示行程的索引阈值来选择上下文。
如果还使用转换行程模式,那么此技术也可扩展为转换行程模式。在这种情况下,对于转换行程模式,视频编码器20和视频解码器30可经配置以基于索引值、块的大小和/或超过时不用信号表示行程的索引阈值来确定用于对行程进行译码的上下文。在这种情况下,单独的上下文集合可以用于对应于值模式和转换行程模式的行程。
本发明的其它方面涉及对使用多个调色板模式经译码的多串调色板索引进行译码。举例来说,在JCTVC-Q0094中描述的CopyFromTop模式中,不可能从线中复制经译码为逸出样本或逸出旗标的样本。以下表2中示出两行索引的一个实例:
表2-实例索引
上一条线 1 2 2 4 ESC 5 1
当前线 1 2 2 4 ESC 5 2
其中数值表示索引,并且ESC表示经译码为逸出样本的样本。在此实例中,从以上实例中最左边的样本开始,根据JCTVC-Q0094,视频编码器20可用信号表示CopyFromTop模式。由于不准许复制逸出值或旗标,因此视频编码器20还可以用信号表示为三的行程值。因此,经译码为逸出样本的样本结束行程。
Jianqing Zhu等人的标准提交文档“AHG10:用于基于调色板的译码的模式的经修改复制(AHG10:Modified Copy Above Mode for Palette Based Coding)”(JCTVC-Q0174,巴伦西亚,ES,2014年3月27日至4月4日)(JCTVC-Q0174)描述了允许行程中的逸出值(例如,实际像素值)的复制。然而,此技术要求与逸出样本相关联的值相同。
根据本发明的方面,视频编码器20和视频解码器30可经配置以对指示索引的行程中的多个调色板模式的数据进行译码。举例来说,视频编码器20和视频解码器30可经配置以通过具有调色板中的相关联颜色值的其它索引复制逸出旗标(在显式逸出信号表示中)或逸出索引(在隐式逸出信号表示中)。关于以上表2的实例,视频编码器20可经配置以用信号表示CopyFromTop模式,紧接着指示为六的行程值的数据。此技术可获得增加行程的大小的优点,这可形成改进的数据压缩。
根据本发明的方面,在相对于另一行的索引对索引的行程进行译码期间,如果所述行程的样本具有位于经译码为逸出样本的样本正上方的样本,那么视频编码器20和视频解码器30可经配置以推断所述样本经译码为逸出样本。在此实例中,可在行程之后用信号表示所述样本的实际值。
在一些实例中,视频编码器20和视频解码器30可经配置以在上方相邻样本(例如,位于经译码的样本正上方的样本)经译码为逸出样本的情况下不对样本使用CopyFromTop模式。在其中经译码为逸出样本的样本准许包含于与CopyFromTop调色板模式(如上所述)相关联的行程中的实例中,可移除与用信号表示逸出模式相关联的一些冗余在第一实例中,根据本发明的方面,如果在索引的行程之后的样本具有经译码为逸出样本的上方相邻样本,那么视频编码器20和视频解码器30可经配置以不将所述之后的样本译码为逸出样本。在此实例中,所述样本可不经译码为逸出样本,因为其将另外包含于CopyFromTop行程中。在此实例中,视频编码器20和视频解码器30可经配置以跳过逸出旗标或逸出索引的译码,因为视频编码器20和视频解码器30可经配置以推断所述样本不被译码为逸出样本。
出于如上述实例的相同原因,视频编码器20和视频解码器30可经配置以不在CopyFromTop行程之后使用CopyFromTop模式对样本进行译码。因此,视频编码器20和视频解码器30可经配置以跳过模式相关的语法元素(例如,在CopyFromTop模式或值模式之间进行区分的旗标)的译码,并且视频编码器20和视频解码器30可经配置以推断在值模式中对样本进行译码。
在第二实例中,如果包含至CopyFromTop行程中的最后一个样本是逸出样本,并且之后的样本以值模式进行译码,那么视频编码器20和视频解码器30可经配置以通过检查之后的样本的上方相邻样本的索引值来调整值模式的索引(以及可在截断二进制化中使用以对值索引进行译码的最大可能索引数目)。在这种情况下,如果上方相邻像素具有索引,那么视频编码器20和视频解码器30可经配置以在索引的值大于上方索引的情况下将值索引减小一。视频编码器20和视频解码器30可经配置以将最大可能索引数目减小一从而对索引进行译码。在重构阶段,视频解码器30可检查经解码索引值以确定所述索引是否大于或等于上方相邻索引,并且如果是,则将经解码值增加一。
图2是说明可实施本发明的技术的一个实例视频编码器20的框图。图2是出于解释的目的而提供,且不应被视为将技术限制为本发明中所大致例示和描述的技术。出于解释的目的,本发明描述在HEVC译码的上下文中的视频编码器20。然而,本发明的技术可适用于其它译码标准或方法。
视频编码器20表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说,视频编码器20可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式,例如HEVC草案10指定的各种译码模式。在一个实例中,视频编码器20可经配置以产生具有指示像素值的条目的调色板,选择调色板中表示视频数据块的至少一些像素位置的像素值的像素值,且用信号表示使视频数据块的像素位置中的至少一些与调色板中分别对应于调色板的选定像素值的条目关联的信息。用信号表示的信息可由视频解码器30使用以对视频数据进行解码。
在图2的实例中,视频编码器20包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元和运动补偿单元(未示出)。视频编码器20还包含基于调色板的编码单元122,其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中,视频编码器20可包含更多、更少或不同功能组件。
视频数据存储器101可存储待通过视频编码器20的组件进行编码的视频数据。存储在视频数据存储器101中的视频数据可例如从视频源18获得。经解码图片缓冲器116可为参考图片存储器,其存储参考视频数据以供在视频编码器20(例如)在帧内或帧间译码模式中对视频数据进行编码时使用。视频数据存储器101和经解码图片缓冲器116可由多种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM),包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101和经解码图片缓冲器116可由相同存储器装置或单独的存储器装置提供。在各种实例中,视频数据存储器101可与视频编码器20的其它组件一起在芯片上,或相对于所述组件在芯片外。
视频编码器20可以接收视频数据。视频编码器20可对视频数据的图片的切片中的每个CTU进行编码。CTU中的每一者可与图片的大小相等的亮度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分,预测处理单元100可执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可以是CU的译码块。举例来说,预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块,将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即,经译码的CU)。作为对CU进行编码的部分,预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此,每一PU可与亮度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示,CU的大小可指CU的亮度译码块的大小并且PU的大小可指PU的亮度预测块的大小。假设特定CU的大小为2N×2N,视频编码器20和视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小,和用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20和视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N以及nR×2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每个PU执行帧间预测来产生用于PU的预测性数据。PU的预测性数据可包含PU的预测性块和PU的运动信息。取决于PU是在I切片中、P切片中或B切片中,帧间预测单元121可对CU的PU执行不同操作。在I切片中,所有PU都是经帧内预测。因此,如果PU是在I切片中,那么帧间预测单元121并不对PU执行帧间预测。因此,对于在I模式中编码的块,使用来自同一帧内的经先前编码的相邻块的空间预测而形成经预测块。
如果PU在P切片中,那么帧间预测处理单元120的运动估计单元可在参考图片列表(例如,“RefPicList0”)中的参考图片中搜寻用于PU的参考区。用于PU的参考区可为在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元可产生指示含有用于PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外,运动估计单元可产生指示PU的译码块与相关联于参考区的参考位置之间的空间移位的MV。举例来说,MV可为用以提供从当前经解码的图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可将参考索引和MV输出为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于在由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性块。
如果PU在B切片中,那么运动估计单元可对PU执行单向预测或双向预测。为了对PU执行单向预测,运动估计单元可在RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片中搜寻用于PU的参考区。运动估计单元可输出以下各项作为PU的运动信息:参考索引,其指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置;MV,其指示PU的预测块与相关联于参考区的参考位置之间的空间位移;以及一或多个预测方向指示符,其指示参考图片是在RefPicList0还是在RefPicList1中。帧间预测处理单元120的运动补偿单元可至少部分地基于在由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
为了对PU执行双向帧间预测,运动估计单元可在RefPicList0中的参考图片内搜寻用于PU的参考区,并且还可在RefPicList1中的参考图片内搜寻用于PU的另一参考区。运动估计单元可产生指示含有参考区的参考图片在RefPicList0以及RefPicList1中的位置的参考图片索引。另外,运动估计单元可产生指示与参考区相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可包含PU的参考索引和MV。运动补偿单元可至少部分地基于由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
根据本发明的各种实例,视频编码器20可经配置以执行基于调色板的译码。相对于HEVC框架,作为一实例,基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中,基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此,本文在CU模式的上下文中描述的所揭示过程(贯穿本发明)可另外或替代地适用于PU。然而,这些基于HEVC的实例不应被视为对本文所描述的基于调色板的译码技术的限定或限制,因为此类技术可经应用以独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下,用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。
当(例如)针对CU或PU选择基于调色板的编码模式时,基于调色板的编码单元122(例如)可执行基于调色板的解码。举例来说,基于调色板的编码单元122可配置以产生具有指示像素值的条目的调色板,选择调色板中表示视频数据块的至少一些位置的像素值的像素值,且用信号表示使视频数据块的位置中的至少一些与调色板中分别对应于选定像素值的条目关联的信息。虽然将各种功能描述为由基于调色板的编码单元122执行,但此类功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
根据本发明的方面,基于调色板的编码单元122可经配置以执行本文中描述的用于调色板译码的技术的任何组合。举例来说,如下文关于图4到7所描述,根据本发明的方面,基于调色板的编码单元122可经配置以基于另一线的一或多个块而再初始化用于构建视频数据块的调色板的预测符调色板。举例来说,如本文所描述,基于调色板的编码单元122可确定用于位于块的第一行中的第一视频数据块的第一调色板。基于调色板的编码单元122还可在对第一行中的一或多个其它块进行编码时产生预测符调色板。在对第二行中的块进行译码后,基于调色板的编码单元122可基于第一调色板的条目再初始化用于确定第二行中的块的调色板的预测符调色板。
在另一实例中,基于调色板的编码单元122可经配置以对包含使用多个调色板模式经译码的样本的索引的行程进行编码。举例来说,基于调色板的编码单元122可确定视频数据块的第一行的调色板索引,其中所述调色板索引包含与调色板中的颜色值相关联的一或多个索引以及与调色板中的颜色值无关联的语法元素。基于调色板的编码单元122还可相对于第一行的调色板索引对视频数据块的第二行的调色板索引的行程进行编码,其中所述行程包含与调色板中的颜色值相关联的一或多个索引以及与调色板中的颜色值无关联的语法元素。
帧内预测处理单元126可通过对PU执行帧内预测来产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元126可对I切片、P切片以及B切片中的PU执行帧内预测。
为了对PU执行帧内预测,帧内预测处理单元126可使用多个帧内预测模式来产生PU的多组预测性数据。帧内预测处理单元126可使用来自相邻PU的样本块的样本来产生PU的预测性块。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序,相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式,例如,33个定向帧内预测模式。在一些实例中,帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从用于PU的由帧间预测处理单元120产生的预测性数据或用于PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中,预测处理单元100基于预测性数据集的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于CU的亮度译码块、Cb译码块及Cr译码块以及CU的PU的所选预测性亮度块、Cb块及Cr块产生CU的亮度残余块、Cb残余块及Cr残余块。举例来说,残余产生单元102可产生CU的残余块以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此,TU可与亮度变换块以及两个色度变换块相关联。CU的TU的亮度变换块以及色度变换块的大小和位置可或可不基于CU的PU的预测块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用到TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说,变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中,变换处理单元104并不将变换应用于变换块。在此类实例中,变换块可被视作变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说,n位变换系数可在量化期间舍入到m位变换系数,其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的变换系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可能使得信息丢失,因此经量化的变换系数可具有比原始变换系数更低的精度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块,以从所述系数块重构残余块。重构单元112可将经重构的残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本,以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块,视频编码器20可重构CU的译码块。
滤波器单元114可执行一或多个去块操作来减少与CU相关联的译码块中的块效应。在滤波器单元114对经重构译码块执行一或多个去块操作之后,经解码图片缓冲器116可存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外,帧内预测处理单元126可使用经解码图片缓冲器116中的经重构译码块以对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。例如,熵编码单元118可从量化单元106接收系数块,并且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。例如,熵编码单元118可对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。
为执行CABAC,熵编码单元118可选择上下文模型以应用于某一上下文以对待发射的符号进行编码。根据本发明的方面,熵编码单元118可经配置以基于经译码的行程值的索引值使用上下文。举例来说,熵编码单元118可经配置以确定指示视频数据块的调色板索引的行程的行程长度的行程值。熵编码单元118可经配置以基于调色板索引值确定用于对表示行程值的数据进行上下文自适应译码的上下文。
视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。例如,位流可包含表示用于CU的RQT的数据。
图3是说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供,且不应被视为将技术限制为本发明中所大致例示和描述的技术。出于解释的目的,本发明描述在HEVC译码的上下文中的视频解码器30。然而,本发明的技术可适用于其它译码标准或方法。
视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说,视频编码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式,例如HEVC草案10指定的各种译码模式。在一个实例中,视频解码器30可经配置以产生具有指示像素值的条目的调色板,接收使视频数据块中的至少一些像素位置与调色板中的条目关联的信息,基于所述信息选择调色板中的像素值,且基于调色板中的选定像素值来重构块的像素值。
在图3的实例中,视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。视频解码器30还包含基于调色板的解码单元165,其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中,视频解码器30可包含更多、更少或不同功能组件。
视频数据存储器151可存储待通过视频解码器30的组件进行解码的视频数据,例如经编码视频位流。存储在视频数据存储器151中的视频数据可例如经由视频数据的有线或无线网络通信从计算机可读媒体16(例如,从相机等本地视频源)获得或通过存取物理数据存储媒体来获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为参考图片存储器,其存储参考视频数据以供在视频解码器30(例如)在帧内或帧间译码模式中对视频数据进行解码时使用。视频数据存储器151和经解码图片缓冲器162可由多种存储器装置中的任一者形成,例如动态随机存取存储器(DRAM),包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器151和经解码图片缓冲器162可由相同存储器装置或单独的存储器装置提供。在各种实例中,视频数据存储器151可与视频解码器30的其它组件一起在芯片上,或相对于所述组件在芯片外。
经译码图片缓冲器(CPB)可接收且存储位流的经编码视频数据(例如,NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如,NAL单元)且剖析NAL单元以对语法元素进行解码。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。
根据本发明的方面,熵解码单元150可经配置以基于经译码的行程值的索引值使用上下文。举例来说,熵解码单元150可经配置以确定指示视频数据块的调色板索引的行程的行程长度的行程值。熵解码单元150可经配置以基于调色板索引值确定用于对表示行程值的数据进行上下文自适应译码的上下文。
预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片的NAL单元。作为对位流进行解码的部分,熵解码单元150可从经译码切片的NAL单元提取语法元素且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了从位流对语法元素进行解码之外,视频解码器30可对未经分割CU执行重构操作。为对未经分割CU执行重构操作,视讯解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作,视频解码器30可重构CU的残余块。
作为对CU的TU执行重构操作的一部分,逆量化单元154可逆量化(即,解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度,且同样地确定逆量化单元154将应用的逆量化的程度。也就是说,可通过调整当量化变换系数时所使用的QP的值来控制压缩比,即,用于表示原始序列以及经压缩的序列的位的数目的比率。压缩比还可取决于所采用的熵译码的方法。
在逆量化单元154逆量化系数块之后,逆变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残余块。例如,逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果使用帧内预测对PU进行编码,那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式,以基于空间上相邻的PU的预测块产生用于PU的预测性亮度块、Cb块以及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来建构第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外,如果使用帧间预测对PU进行编码,则熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息来确定用于PU的一或多个参考区域。运动补偿单元164可基于在PU的一或多个参考块处的样本块产生用于PU的预测性亮度块、Cb块以及Cr块。
重构单元158可在适当时使用与CU的TU相关联的亮度变换块、Cb变换块和Cr变换块以及CU的PU的预测性亮度块、Cb块和Cr块(即,帧内预测数据或帧间预测数据)来重构CU的亮度译码块、Cb译码块和Cr译码块。举例来说,重构单元158可将亮度变换块、Cb变换块和Cr变换块的样本添加至预测性亮度块、Cb块和Cr块的对应样本以重构CU的亮度译码块、Cb译码块和Cr译码块。
滤波器单元160可执行去块操作以减少与CU的亮度译码块、Cb译码块和Cr译码块相关联的成块假影。视频解码器30可将CU的亮度译码块、Cb译码块和Cr译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测以及在例如图1的显示装置32等显示装置上的呈现。举例来说,视频解码器30可基于经解码图片缓冲器162中的亮度块、Cb块和Cr块对其它CU的PU执行帧内预测或帧间预测操作。
如上所述,视频解码器30可经配置以执行基于调色板的译码。当基于调色板的解码模式经选择(例如)用于CU或PU时,基于调色板的解码单元165(例如)可执行基于调色板的解码。举例来说,基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板,接收使视频数据块中的至少一些像素位置与调色板中的条目关联的信息,基于所述信息选择调色板中的像素值,且基于调色板中的选定像素值来重构块的像素值。虽然将各种功能描述为由基于调色板的解码单元165执行,但此类功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。
基于调色板的解码单元165可接收调色板译码模式信息,且当调色板译码模式信息指示调色板译码模式应用于块时执行上述操作。当调色板译码模式信息指示调色板译码模式不应用于块时,或当其它模式信息指示使用不同模式时,基于调色板的解码单元165使用非基于调色板的译码模式(例如,HEVC帧间预测性或帧内预测性译码模式)对视频数据块进行解码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。
根据本发明的方面,基于调色板的解码单元165可经配置以执行本文中描述的用于调色板译码的技术的任何组合。举例来说,如下文关于图4到7所描述,根据本发明的方面,基于调色板的解码单元165可经配置以基于另一线的一或多个块而再初始化用于构建视频数据块的调色板的预测符调色板。举例来说,如本文所描述,基于调色板的解码单元165可确定用于位于块的第一行中的第一视频数据块的第一调色板。基于调色板的解码单元165还可在对第一行中的一或多个其它块进行解码时产生预测符调色板。在对第二行中的块进行译码后,基于调色板的解码单元165可基于第一调色板的条目再初始化用于确定第二行中的块的调色板的预测符调色板。
在另一实例中,如下文关于图8所描述,基于调色板的解码单元165可经配置以对包含使用多个调色板模式经译码的样本的索引的行程进行解码。举例来说,基于调色板的解码单元165可确定视频数据块的第一行的调色板索引,其中所述调色板索引包含与调色板中的颜色值相关联的一或多个索引以及与调色板中的颜色值无关联的语法元素。基于调色板的解码单元165还可相对于第一行的调色板索引对视频数据块的第二行的调色板索引的行程进行解码,其中所述行程包含与调色板中的颜色值相关联的一或多个索引以及与调色板中的颜色值无关联的语法元素。
图4是说明符合本发明的技术的确定用于对视频数据进行译码的调色板的实例的概念图。图4的实例包含图片178,其具有与第一调色板184相关联的第一译码单元(CU)180以及与第二调色板192相关联的第二CU 188。如下文更详细描述且根据本发明的技术,第二调色板192是基于第一调色板184。图片178还包含以帧内预测译码模式译码的块196和以帧间预测译码模式译码的块200。
出于解释的目的,在视频编码器20(图1和图2)和视频解码器30(图1和图3)的上下文中且相对于HEVC视频译码标准描述图4的技术。然而,应理解,本发明的技术不限于此方式,且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。
一般来说,调色板是指对于当前经译码的CU(图4的实例中的CU 188)来说为主要和/或代表性的多个像素值。将第一调色板184和第二调色板192示出为包含多个调色板。在一些实例中,根据本发明的方面,视频译码器(例如视频编码器20或视频解码器30)可针对CU的每一颜色分量单独地对调色板进行译码。举例来说,视频编码器20可针对CU的亮度(Y)分量对调色板进行编码、针对CU的色度(U)分量对另一调色板进行编码以及针对CU的色度(V)分量对再一调色板进行编码。在此实例中,Y调色板的条目可表示CU的像素的Y值,U调色板的条目可表示CU的像素的U值,且V调色板的条目可表示CU的像素的V值。
在其它实例中,视频编码器20可针对CU的所有颜色分量对单个调色板进行编码。在此实例中,视频编码器20可对具有为包含Yi、Ui和Vi的三重值的第i条目的调色板进行编码。在这种情况下,调色板包含像素的分量中的每一者的值。因此,作为具有多个个别调色板的调色板集合的调色板184和192的表示仅是一个实例且并不希望为限制性的。
在图4的实例中,第一调色板184包含三个条目202到206,其分别具有条目索引值1、条目索引值2和条目索引值3。条目202到206使索引值相关到分别包含像素值A、像素值B和像素值C的像素值。如本文中所描述,并非对第一CU 180的实际像素值进行译码,视频译码器(例如视频编码器20或视频解码器30)可使用基于调色板的译码以使用索引1到3对块的像素进行译码。即,对于第一CU 180的每一像素位置,视频编码器20可对像素的索引值进行编码,其中所述索引值与第一调色板184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值且使用所述索引值和第一调色板184中的一或多者重构像素值。因此,第一调色板184由视频编码器20在经编码视频数据位流中发射以供视频解码器30在基于调色板的解码中使用。
在一些实例中,视频编码器20和视频解码器30可基于第一调色板184确定第二调色板192。举例来说,视频编码器20和/或视频解码器30可定位一或多个块,从所述一或多个块确定预测性调色板,在此实例中为第一调色板184。用于预测目的的条目组合可被称为预测符调色板。
在图4的实例中,第二调色板192包含三个条目208到212,其分别具有条目索引值1、条目索引值2和条目索引值3。条目208到212使索引值相关到分别包含像素值A、像素值B和像素值D的像素值。在此实例中,视频编码器20可对指示第一调色板184(表示预测符调色板,但是所述预测符调色板可包含多个块的条目)的哪些条目包含于第二调色板192中的一或多个语法元素进行译码
在图4的实例中,一或多个语法元素示出为向量216。向量216具有多个相关联二进制数(或位),其中每一二进制数指示与所述二进制数相关联的预测符调色板是否用于预测当前调色板的条目。举例来说,向量216指示第一调色板184的前两个条目(202和204)包含于第二调色板192中(向量216中的值“1”),而第一调色板184的第三条目不包含于第二调色板192中(向量216中的值“0”)。在图4的实例中,向量是布尔向量。所述向量可被称为调色板预测向量。
在一些实例中,如上所述,视频编码器20和视频解码器30可在执行调色板预测时确定预测符调色板(其也可被称作预测符调色板表或预测符调色板列表)。预测符调色板可包含来自一或多个相邻块的用于预测对当前块进行译码的调色板的一或多个条目的调色板的条目。视频编码器20和视频解码器30可同样地构造列表。视频编码器20和视频解码器30可对用以指示预测符调色板的哪些条目被复制到对当前块进行译码的调色板的数据(例如向量216)进行译码。
根据本发明的方面,可再初始化预测符调色板(例如,与向量216相关联的预测符调色板),以用于产生与视频数据的图片和/或瓦片中的某些块相关联的调色板。举例来说,如下文关于图5到7的实例更详细地描述,可基于另一线的一或多个块而再初始化用于构建第一线中的视频数据块的调色板的预测符调色板。在一个实例中,视频编码器20和视频解码器30可确定用于位于块的第一行中的第一视频数据块的第一调色板。视频编码器20和视频解码器30还可在对第一行中的一或多个其它块进行译码时产生预测符调色板。在对第二行中的块进行译码后,视频编码器20和视频解码器30可基于第一调色板的条目再初始化用于确定第二行中的块的调色板的预测符调色板。
图5是说明根据高效率视频译码(HEVC)标准的实例瓦片的概念图。HEVC含有用以使编解码器更并行友好的若干提议,包含瓦片及波前并行处理(WPP)。HEVC WD10将瓦片定义为在瓦片的CTB光栅扫描中连续排序的以一个列和一个行同时出现的整数数目个CTB。将每一图片划分为瓦片可被称为分割。图片中的瓦片在图片的瓦片光栅扫描中是连续排序的,如图5中所展示。
举例来说,图5说明对于分割成多个瓦片222A、222B、222C、222D、222E、222F、222G、222H和222I(统称为“瓦片222”)(其中以粗线指示瓦片边界)的图片220的实例CTB译码次序。图片220中的每一正方形块表示与CTB相关联的像素块。像素块的数字指示相应CTB(例如,LCU)在图片220的瓦片译码次序中的位置。
如图5的实例中所示,首先对瓦片222A中的CTB进行译码,接着是瓦片222B中的CTB、接着是瓦片222C中的CTB、接着是瓦片222D中的CTB、接着是瓦片222E中的CTB、接着是瓦片222F中的CTB、接着是瓦片222G中的CTB、接着是瓦片222H中的CTB、接着是瓦片222I中的CTB。处理瓦片222的次序通常由瓦片222中的数字说明。在瓦片222中的每一者内,根据光栅扫描次序对CTB进行译码。
可针对整个序列或从图片到图片改变来界定瓦片的数目及瓦片的边界的位置。类似于切片边界的瓦片边界打破了剖析和预测的相依性,使得可独立地处理瓦片。然而,在一些情况下,环路内滤波器(解块和样本自适应偏移(SAO)滤波器)仍可跨越瓦片边界。
使用瓦片可提高并行性,因为在用于熵解码的处理器或处理器核心与运动补偿重构之间不需要通信(或需要相对极少的通信)。另外,瓦片可在与切片相比时呈现相对更佳的译码效率,因为瓦片允许含有样本的图片分割形状相比切片具有潜在更高的相关性。瓦片还可减少切片标头开销。
根据本发明的方面,视频编码器20和视频解码器30可基于另一CTB的调色板再初始化用于确定CTB的调色板的预测符调色板。在出于说明目的的实例中,视频编码器20和视频解码器30可经配置以在每一CTB线的开始处再初始化用于确定当前CTB的当前调色板的预测符调色板。视频编码器20和视频解码器30可使用来自当前CTB上方的CTB线的第一CTB的调色板条目来再初始化预测符调色板。
在出于说明目的的实例中,在使用基于调色板的译码对(瓦片222A的)CTB(4)进行译码之后,视频编码器20和视频解码器30可经配置以产生用于确定(瓦片222A的)CTB(5)的调色板的预测符调色板。另外,视频编码器20和视频解码器30可经配置以在使用基于调色板的译码模式对CTB(5)、CTB(6)和CTB(7)中的每一者进行译码之后更新预测符调色板。也就是说,视频编码器20和视频解码器30可在对CTB(5)、CTB(6)和CTB(7)中的每一者进行译码之后更换或添加预测符调色板的一或多个条目。
根据本发明的方面,当对在包含CTB(4)的CTB线下方(假定光栅扫描次序)的CTB线的CTB(8)进行译码时,视频编码器20可在产生用于对CTB(8)进行译码的调色板之前再初始化预测符调色板。举例来说,视频编码器20和视频解码器30可基于与上方相邻CTB行的第一CTB(即,CTB(4))相关联的调色板的条目再初始化预测符调色板,而不是使用如先前基于CTB(7)更新的预测符调色板。以此方式,用于产生CTB(8)的调色板的预测符调色板可更可能具有类似于CTB(8)中所使用的那些颜色,因为CTB(4)在空间上比CTB(7)位于更接近CTB(4)。
如上所述,视频编码器20和视频解码器30可基于上方相邻CTB行的第一CTB(即,CTB(4))的调色板的条目再初始化预测符调色板。根据一些实例,视频编码器20和视频解码器30可经配置以通过用来自用于对CTB(4)进行译码的调色板的条目替代预测符调色板的条目而再初始化用于CTB(8)的预测符调色板(例如,用以产生用于对CTB(8)的样本进行译码的调色板的预测符调色板)。
在另一实例中,根据本发明的方面,视频编码器20和视频解码器30可经配置以基于与CTB(4)相关联的包含来自CTB(4)的调色板的条目的预测符调色板来而初始化所述预测符调色板。举例来说,如上所述,视频编码器20和视频解码器30可在对CTB(4)进行译码之后产生预测符调色板(或更新先前所产生的预测符调色板)。视频编码器20和视频解码器30可将来自CTB(4)的条目包含在所产生的或更新后的预测符调色板中。在这种情况下,视频编码器20和视频解码器30可基于在对CTB(4)进行译码之后以及对CTB(5)进行译码之前的预测符调色板的条目而再初始化所述预测符调色板。在此实例中,视频编码器20和视频解码器30可经配置以在完成对CTB(4)进行译码之后以及在对CTB(5)进行译码之前再初始化CTB(8)的预测符调色板。
虽然以上实例是关于CTB(4)和CTB(5)描述的,但是视频编码器20和视频解码器30可经配置以使用类似方式应用一般化技术。举例来说,关于再初始化用于CTB(8)的预测符调色板的实例,视频编码器20和视频解码器30可经配置以在对CTB(8)上方的CTB线(例如,上方相邻CTB线,其包含CTB(4))的N个CTB进行译码之后产生和/或更新预测符调色板。视频编码器20和视频解码器30可经配置以基于所产生的(或更新后的)预测符调色板并且在开始对CTB(4)上方的CTB线中的第N+1个CTB进行译码之前再初始化用于CTB(8)的预测符调色板。因此,在一些实例中,用于再初始化的预测符调色板可包含不同于用于CTB(4)的调色板的条目的条目(或除了用于CTB(4)的调色板的条目之外的条目)。
在一个实例中,针对CTB(4)的上述过程可替代地针对CTB(5)来执行。举例来说,在以上实例中,可使用在CTB(5)而非CTB(4)之后所产生的预测符调色板。在这种情况下,用于调色板再初始化过程的CTB可与用于应用于波前的CABAC上下文初始化过程的CTB相同,这将潜在地协调调色板再初始化与上下文初始化过程。
在一些实例中,视频编码器20和视频解码器30可经配置以不再初始化用于位于图片或瓦片的顶部线(假定从上到下的光栅扫描)中的初始CTB的预测符调色板。举例来说,视频编码器20和视频解码器30可经配置以不再初始化用于(瓦片222A的)CTB(0)的预测符调色板,因为在CTB(0)上方不存在CTB。
虽然出于说明的目的关于CTB描述了图5的实例,但应理解,所述技术可扩展到任何类型的视频数据块。
图6是说明用于波前并行处理(WPP)的波前的概念图。HEVC界定WPP技术。当WPP经启用时,图片的每一CTU行为分离的分区。然而,与切片及瓦片相比较,无译码相依性在CTU行边界处被破坏。另外,从先前行的第二CTU传播CABAC概率,以进一步减少译码损失。并且,WPP并不改变常规光栅扫描次序。因为相依性未被打断,所以与非并行位流相比较,WPP位流的速率失真损失较小。
当WPP经启用时,高达CTU行的数目的数目个处理器可并行地工作以处理CTU行(或线)。然而,波前相依性并不允许所有CTU行在图片的开始处开始解码。因此,CTU行也无法在图片的结束处同时完成解码。此情形引入并行度效率低下,其在使用较多数目个处理器时变得更显而易见。图6说明WPP如何并行地处理CTB的行,每一行以在处理上方行的第二CTB之后可用的CABAC概率开始。
根据本发明的方面,如下文更详细地描述,视频编码器20和视频解码器30可基于图6中说明的波前确定是否复位预测符调色板。
图7是说明符合本发明的技术的在存在多个瓦片和波前的情况下预测符调色板复位的实例的概念图。在图7的实例中,相对更粗的实线可指示瓦片边界,例如瓦片230的瓦片边界。虚线指示CTB边界。举例来说,CTB行232指示包含瓦片230的第二最多CTB的CTB的瓦片行。
一些本发明的技术包含基于用于对图片(例如,图片234)进行译码的多个波前和/或多个瓦片复位预测符调色板。举例来说,根据本发明的方面,视频编码器20和视频解码器30可在多个波前和多个瓦片用于对图片234进行译码时(例如,图5和6中分别示出的瓦片和波前)复位用于第一瓦片CTB(例如瓦片230的最左边CTB)的预测符调色板。在图7的实例中,CTB内包含的实心圆指示对其执行调色板复位的瓦片的第一瓦片CTB。视频编码器20和视频解码器30可通过将预测符调色板大小设置为零并且不预测调色板的用于对当前块进行译码的任何调色板条目来复位调色板。
图8是说明符合本发明的技术的确定像素块的调色板的索引的实例的概念图。举例来说,图5包含索引的映射240,其使与索引值相关联的像素的相应位置与调色板244的条目相关。举例来说,索引1与值A相关联,索引2与值B相关联,索引3与值C相关联。另外,当使用隐式逸出信号表示指示逸出样本时,视频编码器20和视频解码器30还可以添加额外索引到调色板244,图5中示出为索引4,其可指示映射240的与索引4相关联的样本为逸出样本。在这种情况下,如果像素值不包含于调色板244中,那么视频编码器20可对映射240中的位置的实际像素值(或其经量化版本)的指示进行编码(并且视频解码器30可从经编码位流获得所述指示。
在一些实例中,视频编码器20和视频解码器30可经配置以对指示哪些像素位置与索引值相关联的额外映射进行译码。举例来说,假定所述映射中的(i,j)条目对应于CU的(i,j)位置。视频编码器20可针对所述映射的每一条目(即,每一像素位置)对一或多个语法元素进行编码,其指示所述条目是否具有相关联索引值。举例来说,视频编码器20可对具有值“一”的旗标进行编码以指示CU中的(i,j)位置处的像素值是调色板244中的值中的一者。
在此实例中,视频编码器20还可对调色板索引(在图8的实例中示出为值1-3)进行编码,以指示调色板中的所述像素值并且允许视频解码器重构所述像素值。在其中调色板244包含单个条目和相关联像素值的实例中,视频编码器20可跳过索引值的用信号表示。视频编码器20可将旗标编码为具有值零以指示在CU中的(i,j)位置处的像素值不是调色板244中的值中的一者。在此实例中,视频编码器20还可对供视频解码器30用于重构像素值的像素值的指示进行编码。在一些实例中,可以有损方式对像素值进行译码。
CU的一个位置中的像素的值可提供所述CU的其它位置中的一或多个其它像素的值的指示。举例来说,可存在CU的相邻像素位置将具有相同像素值或可映射到相同索引值(在有损译码的情况下,其中多个像素值可映射到单个索引值)的相对高概率。因此,视频编码器20可对具有相同索引的指示给定扫描次序中的多个连续索引值的一或多个语法元素进行编码。如上所述,以此方式对索引进行译码可被称为值调色板模式。
如上所述,可结合CopyFromTop或值模式使用行程。在出于说明目的的实例中,考虑映射240的行264和268。假定水平的从左到右扫描方向的行264包含三个索引值“1”、两个索引值“2”和三个索引值“3”。行268包含五个索引值“1”、两个索引值“3”,以及不包含于调色板244中的一个样本(由索引4表示,但是样本层级的逸出旗标可用于显式逸出信号表示),其可被称为逸出样本。
在此实例中,视频编码器20可使用CopyFromTop模式对行268的数据进行编码。举例来说,视频编码器20可对指示行268的第一位置(行268的最左边位置)与行264的第一位置相同的一或多个语法元素进行编码。视频编码器20还可对指示行268中扫描方向上的两个连续条目的下一行程与行264的第一位置相同的一或多个语法元素进行编码。
在对指示行264的第一位置和两个条目的行程(上文提到)的一或多个语法元素进行编码之后,视频编码器20可使用值模式对行268的第四和第五位置(从左到右)进行编码。举例来说,视频编码器20可对指示第四位置的值1的一或多个语法元素以及指示1的行程(例如,值模式)的一或多个语法元素进行编码。因此,视频编码器20在不参考另一线的情况下对这两个位置进行编码。
根据本发明的方面,视频编码器20和视频解码器30可对使用值模式基于索引的值而译码的所述索引的行程值进行上下文译码。举例来说,如本文所描述,视频编码器20和视频解码器30可使用CABAC译码过程的上下文自适应模式对指示行程值的数据进行译码。根据本发明的方面,视频编码器20和视频解码器30可经配置以基于行程的索引确定用于对数据进行译码的上下文。
在图8的实例中,视频编码器20和视频解码器30对用于映射40的上文所指出的第四位置的索引“1”进行译码。视频编码器20和视频解码器30还可以二进制化用于映射240的第四位置的行程值“1”。在一个实例中,视频编码器20和视频解码器30可产生指示行程值大于零而非大于一的旗标(其可使用单独的旗标来指示)。
根据本发明的方面,视频编码器20和视频解码器30可基于索引值“1”选择用于对大于零的旗标进行译码的上下文。举例来说,根据一些方面,视频编码器20和视频解码器30可限定用于对行程值进行译码的一组上下文。所述组上下文可包含一个上下文、两个上下文、上下文、四个上下文或更多上下文。
在一个实例中,视频编码器20和视频解码器30可经配置以基于等于零的索引选择行程上下文(0)。在此实例中,视频编码器20和视频解码器30可经配置以基于为除零之外的任何值的索引选择行程上下文(1)。通过此实例,视频编码器20和视频解码器30基于为“1”的索引为映射240的第四位置选择行程上下文(1)。
在另一实例中,视频编码器20和视频解码器30可经配置以基于等于零的索引选择行程上下文(0)。视频编码器20和视频解码器30可经配置以基于为一的索引选择行程上下文(1)。视频编码器20和视频解码器30可经配置以基于为大于一的任何值的索引选择行程上下文(2)。通过此实例,视频编码器20和视频解码器30基于为“1”的索引为映射240的第四位置选择行程上下文(1)。
在另一实例中,视频编码器20和视频解码器30可经配置以基于等于零的索引选择行程上下文(0)。视频编码器20和视频解码器30可经配置以基于为一或二的索引选择行程上下文(1)。视频编码器20和视频解码器30可经配置以基于为大于二的索引选择行程上下文(2)。通过此实例,视频编码器20和视频解码器30基于为“1”的索引为映射240的第四位置选择行程上下文(1)。
根据本发明的方面,上下文可基于实际索引值或经调整索引值。举例来说,根据本发明的方面,在其中在位流中用信号表示经调整调色板索引的实例中,视频编码器20和视频解码器30可经配置以基于位流中用信号表示的调色板索引(其可与adjusted_palette_index语法元素相关联)而非实际上用于对块中的样本进行译码的调色板索引来确定用于对行程值进行译码的上下文。
在对与映射240的第四位置相关联的行程进行译码之后,视频编码器20接着可相对于上一行264使用CopyFromTop模式对具有行268中的索引值3的第一位置进行编码。举例来说,视频编码器20可用信号表示CopyFromTop模式和1的行程。因此,视频编码器20可在相对于线的其它值(例如,使用行程)对所述线的像素或索引值进行译码、相对于另一线(或列)的值对线的像素或索引值进行译码,或其组合之间进行选择。在一些实例中,视频编码器20可执行速率/失真优化以做出所述选择。
视频编码器20接着可对行268的最终样本的逸出样本(从左到右)进行编码,所述逸出样本不包含于第一调色板244中。举例来说,视频编码器20可将行268的最终位置编码为逸出样本。也就是说,视频编码器20可对行268的最终位置为逸出样本(例如,索引4)的指示以及样本值的指示进行编码。视频解码器30可从经编码位流获得上述语法并且使用此类语法重构行268。
如上所述,可能存在两种或更多种技术对样本经译码为逸出样本的指示进行译码。举例来说,通过显式逸出信号表示,视频编码器20和视频解码器30可对映射240的每一样本位置的显式逸出旗标进行译码。如果特定样本(例如行268的最终样本)经译码为逸出样本,那么视频编码器20和视频解码器30可对指示所述特定样本的颜色值的数据进行译码。如果样本未经译码为逸出样本,那么视频编码器20和视频解码器30可对指示模式是CopyFromTop模式还是值模式的额外数据(例如,SPoint旗标)进行译码。
通过隐式逸出信号表示,视频编码器20和视频解码器30可将额外索引添加到调色板244(条目索引4)。视频编码器20和视频解码器30可对调色板244使用额外索引以指示样本经译码为逸出样本。然而,额外索引不具有相关联颜色值。实际上,视频编码器20和视频解码器30还对与额外索引相关联的每一样本的颜色值进行译码。如果样本未经译码为逸出样本,那么视频编码器20和视频解码器30可对指示模式是CopyFromTop模式还是值模式的数据(例如,SPoint旗标)进行译码。
根据本发明的方面,视频编码器20和视频解码器30可经配置以使用CopyFromTop模式对包含经译码为逸出样本的一或多个样本的索引的行程进行译码。在一些情况下,经译码为逸出样本的样本可被称为包含于行程中的“索引”,尽管经译码为逸出样本的样本不具有映射到调色板的颜色值的索引(例如,出于指示经译码为逸出样本的样本的目的将额外索引添加到调色板但是所述额外索引不具有相应颜色值)。举例来说,视频编码器20和视频解码器30可经配置以在具有以CopyFromTop调色板模式复制的调色板中的相关联颜色值的其它索引的行程内复制逸出旗标(在显式逸出信号表示中)或逸出索引(在隐式逸出信号表示中)。逸出旗标和逸出索引两者均可称为与调色板中的颜色值无关联的语法元素,因为旗标或逸出索引均不包含于调色板中。
因此,根据本发明的方面,如果当前样本的上方相邻样本经译码为逸出样本,那么视频编码器20和视频解码器30可经配置以推断将包含于与CopyFromTop调色板模式相关联的行程中的当前样本(例如,相对于另一行的样本经译码的样本)译码为逸出样本。视频编码器20和视频解码器30还可对在行程之后经译码为逸出样本的所有样本的相关逸出值进行译码。
关于图8,行270的第三样本经译码为逸出样本,并且行272的第三样本经译码为逸出样本(假定从左到右的光栅扫描)。在图8的实例中,视频编码器20和视频解码器30可使用CopyFromTop模式对行270的第一样本进行译码。另外,视频编码器20和视频解码器30可对指示CopyFromTop模式的行程长度15的行程值进行译码。行程包含行270的第三样本和行272的第三样本两者。因此,视频编码器20和视频解码器30可对指示行270的第三样本的逸出值(例如,颜色值)的数据进行译码。视频编码器20和视频解码器30还可对指示行272的第三样本的逸出值(例如,颜色值)(所述逸出值可不同于行270的逸出值)的数据进行译码。
图9是说明符合本发明的技术的用于确定预测符调色板的实例过程的流程图。图9的过程通常描述为由视频译码器执行,视频译码器可包含视频编码器20、视频解码器30或各种其它处理器。
在图9的实例中,视频译码器可确定用于位于块的第一行中的第一视频数据块的第一调色板(290)。虽然出于说明的目的而关于“行”进行描述,但应理解,在其中视频译码器以列序扫描块的实例中,所述技术还可以应用于块的列。在任何情况下,用于第一块的第一调色板可包含一或多个调色板条目,每一调色板条目具有用于对块进行译码的与颜色值相关联的调色板索引。
视频译码器还产生用于产生或构建位于第一行中的至少一个第二块的至少一个调色板的预测符调色板(292)。举例来说,视频译码器可在对第一块进行译码之后基于第一调色板的条目产生预测符调色板。视频译码器还可更新用于第一行的使用基于调色板的译码进行译码的每一后续经译码块的预测符调色板。
根据本发明的方面,视频译码器可再初始化用于确定位于块的第二行中的第三块的第三调色板的预测符调色板(294)。第三块可为块的第二行中经译码的第一块。第三块可紧接在第一块下方定位。
视频译码器可基于第一块的调色板的条目再初始化预测符调色板。根据一些实例,视频译码器可经配置以通过用来自第一调色板的条目替代预测符调色板的条目来再初始化预测符调色板。在一些实例中,视频译码器可经配置以使用在对第一块进行译码之后(例如,在对第一行中的第二块进行译码之前)所产生的预测符调色板,或在对第一行的一或多个其它块进行译码之后更新的经更新预测符调色板再初始化预测符调色板。
视频译码器可基于经再初始化预测符调色板确定第三调色板(296)。举例来说,视频译码器可确定将预测符调色板的哪些条目复制到第三调色板并且复制相关条目。在一些实例中,如本文所描述,视频译码器可基于预测向量确定要复制的预测符调色板的条目。
视频译码器接着可使用第三调色板对块进行编码/对块进行解码(298)。举例来说,在其中视频译码器用作视频编码器(例如视频编码器20)的实例中,视频编码器可使用经编码位流中的所确定的调色板对表示第三块的索引的的数据进行编码。在其中视频译码器用作视频解码器(例如视频解码器30)的实例中,视频解码器可使用第三调色板确定第三块的索引的样本值。
图10是说明符合本发明的技术的用于对调色板索引的行程的行程值进行译码的实例过程的流程图。图10的过程通常描述为由视频译码器执行,视频译码器可包含视频编码器20、视频解码器30或各种其它处理器。
在图10的实例中,视频译码器确定指示调色板索引的行程的行程长度的行程值(310)。举例来说,视频译码器可(例如使用值调色板模式对调色板索引的指示进行译码。视频译码器还可以确定扫描次序中与经译码索引具有相同值的连续样本的数目。连续样本的数目可为行程值。
译码器还基于调色板索引确定用于对指示行程值的所确定数据进行上下文自适应译码的上下文(312)。举例来说,视频译码器可基于调色板索引确定用于对所确定行程值进行CABAC译码的一或多个上下文。在一些实例中,视频译码器可从经界定用于对行程值进行译码的多个上下文中进行选择。
视频译码器接着可使用所确定的上下文对指示行程值的数据进行编码/对所述数据进行解码(314)。举例来说,在其中视频译码器用作视频编码器(例如视频编码器20)的实例中,视频编码器可在经编码位流中对指示行程值的数据进行编码。在其中视频译码器用作视频解码器(例如视频解码器30)的实例中,视频解码器可从经编码位流中剖析指示行程值的数据(对所述数据进行解码)。
图11是说明符合本发明的技术的用于对以多个调色板译码模式译码的索引的行程进行译码的实例过程的流程图。图11的过程通常描述为由视频译码器执行,视频译码器可包含视频编码器20、视频解码器30或各种其它处理器。
视频译码器确定块的第一行的索引,所述索引包含与调色板的颜色相关联的索引以及与调色板的颜色无关联的一或多个语法元素(320)。举例来说,视频译码器可确定针对其调色板索引进行译码的样本以及以逸出调色板模式译码的样本。
视频译码器还可相对于第一行的调色板索引对第二行的索引的行程进行编码/对其进行解码(322)。举例来说,在其中视频译码器用作视频编码器(例如视频编码器20)的实例中,视频编码器可对CopyFromTop模式的指示和行程的行程长度的指示进行编码。在其中视频译码器用作视频解码器(例如视频解码器30)的实例中,视频解码器可对CopyFromTop模式的指示和行程的行程长度的指示进行解码。在任一情况下,行程包含具有相关联颜色的索引和与调色板的颜色无关联的一或多个语法元素这两者,例如,以CopyFromTop模式和作为逸出样本两者译码的样本。
视频译码器接着可对指示用于与调色板的颜色无关联的语法元素的颜色值的数据进行编码/对其进行解码(324)。举例来说,在其中视频译码器用作视频编码器(例如视频编码器20)的实例中,视频编码器可对经编码位流中指示由语法元素表示的样本的颜色值的数据进行编码。在其中视频译码器用作视频解码器(例如视频解码器30)的实例中,视频解码器可从位流对指示由语法元素表示的样本的颜色值的数据进行解码。
应理解,本文中描述的所有技术可个别地或组合地使用。本发明包含若干用信号表示方法,其可取决于某些因素而改变,例如块大小、调色板大小、切片类型等。用信号表示或推断语法元素的此类变化可为编码器和解码器先验地已知的,或可在瓦片层级或其它地方在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、切片标头中显式地用信号表示。
应认识到,取决于实例,本文中描述的技术中的任一者的某些动作或事件可用不同顺序来执行,可添加、合并或全部省略(例如,实践所述技术未必需要所有所描述动作或事件)。此外,在某些实例中,可(例如)通过多线程处理、中断处理或多个处理器同时而非依序地执行动作或事件。另外,虽然为了清晰起见,将本发明的某些方面描述为是通过单个模块或单元执行,但应理解,本发明的技术可通过与视频译码器相关联的单元或模块的组合执行。
出于说明的目的,已经相对于开发HEVC标准而描述本发明的某些方面。然而,本发明中描述的技术可有用于其它视频译码过程,包含尚未开发的其它标准或专有视频译码过程。
上文描述的技术可由视频编码器20(图1和2)和/或视频解码器30(图1和3)执行,其两者可大体上被称作视频译码器。同样地,在适用时,视频译码可指视频编码或视频解码。
虽然在上文描述所述技术的各种方面的特定组合,但提供这些组合仅为了说明本发明中描述的技术的实例。因此,本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想的组合。
在一或多个实例中,所描述功能可以用硬件、软件、固件或其任何组合来实施。如果用软件实施,则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输,且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体),或包含促进将计算机程序从一处传送到另一处(例如,根据通信协议)的任何媒体的通信媒体。以此方式,计算机可读媒体通常可对应于(1)有形计算机可读存储媒体,其是非暂时性的,或(2)通信媒体,例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
借助于实例而非限制,此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且,任何连接被恰当地称作计算机可读媒体。举例来说,如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令,那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而,应理解,所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体,而是实际上针对于非暂时性有形存储媒体。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此,如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外,在一些方面中,本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供,或者并入在组合编解码器中。而且,所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施,包含无线手持机、集成电路(IC)或一组IC(例如,芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面,但未必需要由不同硬件单元实现。实际上,如上文所描述,各种单元可以结合合适的软件和/或固件组合在编码解码器硬件单元中,或者通过互操作硬件单元的集合来提供,所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (27)

1.一种处理视频数据的方法,所述方法包括:
确定用于位于第一行的块中的第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;
产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;
再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;
基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及
使用所述第三调色板对所述第三块进行译码。
2.根据权利要求1所述的方法,其进一步包括:
在对所述第三块进行译码之前,对所述第一块和所述至少一个第二块进行译码;以及
在对所述第一块和所述至少一个第二块的一个块进行译码之后,以及在对所述至少一个第二块的任何其它块进行译码之前,产生所述初始预测符调色板。
3.根据权利要求1所述的方法,其中基于所述第一调色板或所述初始预测符调色板的所述一或多个调色板条目再初始化所述预测符调色板包括将所述第一调色板的所述一个或条目或所述初始预测符调色板的条目复制到所述预测符调色板。
4.根据权利要求1所述的方法,其中图片中的第一线的块定位在第二线的块上方,并且其中所述第一块定位在所述第三块上方并且在所述第三块向右一个块。
5.根据权利要求1所述的方法,其中所述第一块包括第一译码树块CTB并且所述第三块包括第三CTB。
6.根据权利要求1所述的方法,其中所述第一行的块包括瓦片的顶行的块,并且其中所述第一块是所述第一行的初始块,所述方法进一步包括:
确定用于预测所述第一调色板的预测符调色板具有零条目;以及
在不预测所述第一调色板的一或多个条目的情况下确定所述第一调色板。
7.根据权利要求1所述的方法,其进一步包括:
在对所述第三块进行译码之后,确定用于对多个第三行的块进行译码的多个波前,其中所述多个第三行的块被分成多个瓦片;
基于波前的数目超过一个,将与所述多个行中的每一者的每一初始块相关联的预测符调色板复位为零。
8.根据权利要求7所述的方法,其进一步包括:
基于波前的所述数目为一个或零,不将与所述多个行中的每一者的每一初始块相关联的所述预测符调色板复位为零。
9.根据权利要求1所述的方法,其中译码包括编码,并且其中使用所述第三调色板对所述第三块进行编码包括:
确定所述第三块的一或多个样本的相应索引值,其中所述相应索引值识别所述第三调色板的条目;以及
在经编码位流中对所述索引值进行编码。
10.根据权利要求1所述的方法,其中译码包括解码,并且其中使用所述第三调色板对所述第三块进行解码包括:
从经编码位流获得所述第三块的一或多个样本的相应索引值,其中所述相应索引值识别所述第三调色板的条目;以及
通过将所述相应索引值中的一或多者匹配到所述调色板的至少一个条目来确定所述一或多个样本的值。
11.一种用于处理视频数据的装置,所述装置包括:
存储器,其经配置以存储第一视频数据块、至少一个第二视频数据块以及第三视频数据块;以及
一或多个处理器,其经配置以:
确定用于位于第一行的块中的所述第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;
产生用于构建所述第一行的块中在所述第一块之后经译码的所述至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;
再初始化用于确定位于第二行的块中的所述第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;
基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及
使用所述第三调色板对所述第三块进行译码。
12.根据权利要求11所述的装置,其中所述一或多个处理器进一步经配置以:
在对所述第三块进行译码之前,对所述第一块和所述至少一个第二块进行译码;
在对所述第一块和所述至少一个第二块的一个块进行译码之后,以及在对所述至少一个第二块的任何其它块进行译码之前,产生所述初始预测符调色板。
13.根据权利要求11所述的装置,其中为了基于所述第一调色板或所述初始预测符调色板的所述一或多个调色板条目再初始化所述预测符调色板,所述一个或多个处理器经配置以将所述第一调色板的所述一个或条目或所述初始预测符调色板的条目复制到所述预测符调色板。
14.根据权利要求11所述的装置,其中图片中的第一线的块定位在第二线的块上方,并且其中所述第一块定位在所述第三块上方并且在所述第三块向右一个块。
15.根据权利要求11所述的装置,其中所述第一块包括第一译码树块CTB并且所述第三块包括第三CTB。
16.根据权利要求11所述的装置,其中所述第一行的块包括瓦片的顶行的块,并且其中所述第一块是所述第一行的初始块,并且其中所述一或多个处理器进一步经配置以:
确定用于预测所述第一调色板的预测符调色板具有零条目;以及
在不预测所述第一调色板的一或多个条目的情况下确定所述第一调色板。
17.根据权利要求11所述的装置,其中所述一或多个处理器进一步经配置以:
在对所述第三块进行译码之后,确定用于对多个第三行的块进行译码的多个波前,其中所述多个第三行的块被分成多个瓦片;
基于波前的数目超过一个,将与所述多个行中的每一者的每一初始块相关联的预测符调色板复位为零。
18.根据权利要求17所述的装置,其中所述一或多个处理器进一步经配置以:
基于波前的所述数目为一个或零,不将与所述多个行中的每一者的每一初始块相关联的所述预测符调色板复位为零。
19.根据权利要求11所述的装置,其中为了译码,所述一或多个处理器经配置以编码,并且其中为了使用所述第三调色板对所述第三块进行编码,所述一或多个处理器经配置以:
确定所述第三块的一或多个样本的相应索引值,其中所述相应索引值识别所述第三调色板的条目;以及
在经编码位流中对所述索引值进行编码。
20.根据权利要求19所述的装置,其进一步包括相机,所述相机经配置以俘获包含所述视频数据块的图片。
21.根据权利要求11所述的装置,其中为了译码,所述一或多个处理器经配置以解码,并且其中为了使用所述第三调色板对所述第三块进行解码,所述一或多个处理器经配置以:
从经编码位流获得所述第三块的一或多个样本的相应索引值,其中所述相应索引值识别所述第三调色板的条目;以及
通过将所述相应索引值中的一或多者匹配到所述调色板的至少一个条目来确定所述一或多个样本的值。
22.根据权利要求21所述的装置,其进一步包括显示器,所述显示器经配置以显示所述经解码块。
23.根据权利要求11所述的装置,其中所述装置包括以下各者中的至少一者:
集成电路;
微处理器;或
无线通信装置。
24.一种用于处理视频数据的设备,所述设备包括:
用于确定用于位于第一行的块中的第一视频数据块的第一调色板的装置,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;
用于产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板的装置,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;
用于再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板的装置,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;
用于基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板的装置;以及
用于使用所述第三调色板对所述第三块进行译码的装置。
25.根据权利要求24所述的设备,其进一步包括:
用于在对所述第三块进行译码之前对所述第一块和所述至少一个第二块进行译码的装置;
用于在对所述第一块和所述至少一个第二块的一个块进行译码之后以及在对所述至少一个第二块的任何其它块进行译码之前产生所述初始预测符调色板的装置。
26.一种非暂时性计算机可读媒体,其具有存储在其上的指令,所述指令在被执行时致使一或多个处理器进行以下操作:
确定用于位于第一行的块中的第一视频数据块的第一调色板,其中所述第一调色板包括一或多个调色板条目,每一调色板条目包含与用于对所述视频数据块进行译码的颜色值相关联的调色板索引;
产生用于构建所述第一行的块中在所述第一块之后经译码的至少一个第二视频数据块的至少一个第二调色板的预测符调色板,其中所述预测符调色板包含来自所述第一行的除所述第一块外的一或多个块的至少一个调色板条目;
再初始化用于确定位于第二行的块中的第三视频数据块的第三调色板的所述预测符调色板,其中再初始化所述预测符调色板包括基于所述第一调色板的所述一或多个调色板条目或对所述第一块进行译码之后所产生的初始预测符调色板而再初始化所述预测符调色板;
基于所述经再初始化预测符调色板确定所述第三块的所述第三调色板;以及
使用所述第三调色板对所述第三块进行译码。
27.根据权利要求26所述的非暂时性计算机可读媒体,其中所述指令进一步致使所述一或多个处理器:
在对所述第三块进行译码之前,对所述第一块和所述至少一个第二块进行译码;
在对所述第一块和所述至少一个第二块的一个块进行译码之后,以及在对所述至少一个第二块的任何其它块进行译码之前,产生所述初始预测符调色板。
CN201580026967.XA 2014-05-23 2015-05-22 处理视频数据的方法和装置 Active CN106464873B (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201462002717P 2014-05-23 2014-05-23
US62/002,717 2014-05-23
US201462009772P 2014-06-09 2014-06-09
US62/009,772 2014-06-09
US201462015261P 2014-06-20 2014-06-20
US62/015,261 2014-06-20
US201462019223P 2014-06-30 2014-06-30
US62/019,223 2014-06-30
US201462059659P 2014-10-03 2014-10-03
US62/059,659 2014-10-03
US201462065526P 2014-10-17 2014-10-17
US62/065,526 2014-10-17
US14/719,260 US11323733B2 (en) 2014-05-23 2015-05-21 Predictor palette initialization in palette-based video coding
US14/719,260 2015-05-21
PCT/US2015/032262 WO2015179814A1 (en) 2014-05-23 2015-05-22 Predictor palette initialization in palette-based video coding

Publications (2)

Publication Number Publication Date
CN106464873A true CN106464873A (zh) 2017-02-22
CN106464873B CN106464873B (zh) 2019-07-05

Family

ID=53404866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580026967.XA Active CN106464873B (zh) 2014-05-23 2015-05-22 处理视频数据的方法和装置

Country Status (10)

Country Link
US (1) US11323733B2 (zh)
EP (1) EP3146717B1 (zh)
JP (1) JP6661550B2 (zh)
KR (1) KR102388221B1 (zh)
CN (1) CN106464873B (zh)
BR (1) BR112016027428B1 (zh)
CA (1) CA2945534C (zh)
ES (1) ES2674553T3 (zh)
HU (1) HUE038133T2 (zh)
WO (1) WO2015179814A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981380A (zh) * 2013-12-18 2016-09-28 寰发股份有限公司 调色板初始化和管理的方法和装置
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
US10484696B2 (en) 2014-01-07 2019-11-19 Mediatek Inc. Method and apparatus for color index prediction
CN112351286A (zh) * 2019-08-07 2021-02-09 腾讯美国有限责任公司 视频解码方法、装置以及可读存储介质
CN113853789A (zh) * 2019-05-15 2021-12-28 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法和装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621905B2 (en) * 2012-06-29 2017-04-11 Qualcomm Incorporated Tiles and wavefront parallel processing
RU2666635C2 (ru) 2013-10-14 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Характеристики режима индексной карты основных цветов для кодирования и декодирования видео и изображения
MX2016004705A (es) 2013-10-14 2016-07-18 Microsoft Technology Licensing Llc Caracteristicas del modo de prediccion copia de bloque interno para codificacion y decodificacion de imagen y video.
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
EP3926955A1 (en) * 2013-12-10 2021-12-22 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding blocks of pixel
WO2015096647A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for major color index map coding
EP3087742B1 (en) 2013-12-27 2020-09-23 HFI Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
WO2015100726A1 (en) 2014-01-03 2015-07-09 Microsoft Corporation Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
JP2017512026A (ja) 2014-03-04 2017-04-27 マイクロソフト テクノロジー ライセンシング,エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10291940B2 (en) 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
US10687064B2 (en) 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
EP3202150B1 (en) * 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
CN106664405B (zh) * 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
JP6545570B2 (ja) * 2015-08-18 2019-07-17 株式会社東芝 符号化装置、復号装置および画像処理装置
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
GB2570879B (en) * 2018-02-06 2022-08-17 Advanced Risc Mach Ltd Encoding data arrays
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
WO2020231220A1 (ko) * 2019-05-15 2020-11-19 현대자동차주식회사 동영상 데이터의 병렬 부호화 및 복호화를 위한 방법 및 장치
WO2021137947A1 (en) * 2019-12-31 2021-07-08 Alibaba Group Holding Limited Method an apparatus for initializing predictor palette

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037982A (en) 1996-03-28 2000-03-14 Intel Corporation Multi-pass video compression
US7415154B2 (en) 2002-02-01 2008-08-19 Koninklijke Philips Electronics N.V. Compression of palettized color images with variable length color codes
CN101283377B (zh) 2005-09-23 2013-05-29 喷流数据有限公司 向调色板图像提供熵约束颜色分裂的方法和系统
US8848789B2 (en) 2006-03-27 2014-09-30 Qualcomm Incorporated Method and system for coding and decoding information associated with video compression
BRPI0721077A2 (pt) * 2006-12-28 2014-07-01 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo, aparelhos para os mesmos, programas para os mesmos, e meio de armazenamento o qual armazena os programas
US9232226B2 (en) 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression
US8406573B2 (en) 2008-12-22 2013-03-26 Microsoft Corporation Interactively ranking image search results using color layout relevance
US9491491B2 (en) 2011-06-03 2016-11-08 Qualcomm Incorporated Run-mode based coefficient coding for video coding
US9699456B2 (en) * 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
US9357185B2 (en) 2011-11-08 2016-05-31 Qualcomm Incorporated Context optimization for last significant coefficient position coding
US9479780B2 (en) 2012-02-01 2016-10-25 Google Technology Holdings LLC Simplification of significance map coding
WO2015006169A1 (en) 2013-07-08 2015-01-15 Sony Corporation Improvement for palette coding mode
GB201321850D0 (en) 2013-12-10 2014-01-22 Canon Kk Palette Prediction
BR112016012417B1 (pt) * 2013-12-18 2023-04-11 Hfi Innovation Inc Método e aparelho para inicialização e gerenciamento de paleta
GB2526337A (en) 2014-05-21 2015-11-25 Canon Kk Method and apparatus for syntax element encoding in video coding and decoding
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US10291940B2 (en) 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUILLAUME LAROCHE等: "Non-RCE4: Palette Prediction for Palette mode(JCTVC-P0114)", 《16TH MEETING: JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
GUOXIN JIN等: "Non-RCE4: Palette prediction for palette coding (JCTVC-P0160)", 《16TH MEETING: JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
WEI PU等: "Non-RCE4: Joint proposal of JCTVC-P0231 and JCTVC-P0119: Palette with limited run and lasted coded palette prediction(JCTVC-P0239)", 《16TH MEETING: JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *
XIAOYU XIU等: "Description of screen content coding technology proposal by InterDigital(JCTVC-Q0037)", 《17TH MEETING: JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
YU-CHEN SUN等: "AHG10: A triplet palette mode combining JCTVC-P0108 and JCTVC-P0198(JCTVC-Q0083)", 《17TH MEETING:JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981380A (zh) * 2013-12-18 2016-09-28 寰发股份有限公司 调色板初始化和管理的方法和装置
US10321141B2 (en) 2013-12-18 2019-06-11 Hfi Innovation Inc. Method and apparatus for palette initialization and management
CN105981380B (zh) * 2013-12-18 2019-08-20 寰发股份有限公司 利用调色板编码的编码视频数据区块的方法和装置
US10979726B2 (en) 2013-12-18 2021-04-13 Hfi Innovation Inc. Method and apparatus for palette initialization and management
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
US10531119B2 (en) 2013-12-27 2020-01-07 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
US10484696B2 (en) 2014-01-07 2019-11-19 Mediatek Inc. Method and apparatus for color index prediction
CN113853789A (zh) * 2019-05-15 2021-12-28 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法和装置
CN112351286A (zh) * 2019-08-07 2021-02-09 腾讯美国有限责任公司 视频解码方法、装置以及可读存储介质

Also Published As

Publication number Publication date
CA2945534A1 (en) 2015-11-26
BR112016027428B1 (pt) 2023-11-14
KR20170008285A (ko) 2017-01-23
EP3146717B1 (en) 2018-04-04
CA2945534C (en) 2023-03-28
EP3146717A1 (en) 2017-03-29
JP2017520163A (ja) 2017-07-20
US20150341656A1 (en) 2015-11-26
CN106464873B (zh) 2019-07-05
ES2674553T3 (es) 2018-07-02
WO2015179814A1 (en) 2015-11-26
BR112016027428A2 (zh) 2017-08-15
HUE038133T2 (hu) 2018-09-28
US11323733B2 (en) 2022-05-03
JP6661550B2 (ja) 2020-03-11
KR102388221B1 (ko) 2022-04-18

Similar Documents

Publication Publication Date Title
CN106464871B (zh) 处理视频数据的方法、装置、设备以及计算机可读媒体
CN106464872B (zh) 在基于调色板的视频译码中基于调色板索引对行程值进行译码
CN106464873B (zh) 处理视频数据的方法和装置
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN106464915B (zh) 基于调色板的视频译码中的最大调色板参数
CN105075270B (zh) 在视频译码中停用正负号数据隐藏
CN106068648B (zh) 调色板译码模式中视频块的逸出像素的量化
CN106464884B (zh) 基于调色板的视频译码中的译码行程
CN105075272B (zh) 在基于调色板的视频译码中确定调色板索引的方法及设备
CN106464883B (zh) 基于调色板的视频译码中的逃脱样本译码方法、装置及设备
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN107211148A (zh) 在视频译码中调色板块大小的限制
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN106576163A (zh) 用于调色板模式译码的从先前行复制
CN107637080A (zh) 对最后的调色板索引进行分组以及使用调色板大小和游程值的索引译码
CN107211138A (zh) 用于高吞吐量cabac译码的调色板索引分组
CN106105200A (zh) 基于调色板的视频译码
CN106717003A (zh) 调色板索引译码的解析依赖性减小
CN107113436A (zh) 用于次取样格式的调色模式
CN107409215A (zh) 用于视频译码的调色板模式译码
CN107810636A (zh) 使用混合递归滤波器的视频帧内预测

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant