CN106416249B - 用于编码/解码视频数据的方法和装置 - Google Patents

用于编码/解码视频数据的方法和装置 Download PDF

Info

Publication number
CN106416249B
CN106416249B CN201580030946.5A CN201580030946A CN106416249B CN 106416249 B CN106416249 B CN 106416249B CN 201580030946 A CN201580030946 A CN 201580030946A CN 106416249 B CN106416249 B CN 106416249B
Authority
CN
China
Prior art keywords
palette
value
encoding block
pixel
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580030946.5A
Other languages
English (en)
Other versions
CN106416249A (zh
Inventor
濮伟
霍埃尔·索赖·罗哈斯
瑞珍·雷克斯曼·乔许
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106416249A publication Critical patent/CN106416249A/zh
Application granted granted Critical
Publication of CN106416249B publication Critical patent/CN106416249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本发明描述用于基于调色板的视频译码的技术。在基于调色板的译码中，视频译码器可形成所谓的“调色板”，作为用于表示给定视频数据块的视频数据的色彩表。并非对所述给定块的实际像素值或其残差进行译码，而是，所述视频译码器可对所述像素中的一或多者的索引值进行译码。所述索引值将所述像素映射到所述调色板中的表示所述像素的所述色彩的条目。描述用于在视频编码器或视频解码器处确定将解块滤波应用于经调色板译码块的像素的技术。另外，描述用于在所述视频编码器或所述视频解码器处确定用以量化经调色板译码块的逸出像素值的量化参数QP值和差量QP值的技术。

Description

用于编码/解码视频数据的方法和装置
本申请案主张2014年6月11日申请的第62/010,979号美国临时申请案、2014年10月21日申请的第62/066,797号美国临时申请案以及2014年10月21日申请的第62/066,851号美国临时申请案的权益，所述临时申请案中的每一者的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码和解码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流装置及其类似者。数字视频装置实施视频压缩技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效率视频译码(HEVC)标准，以及此些标准的扩展。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧内译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。
空间或时间预测产生待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差系数，可接着量化所述残差系数。可扫描最初布置为二维阵列的经量化系数，以便产生系数的一维向量，且可应用熵译码以实现甚至更多压缩。
发明内容
一般来说，本发明描述用于基于调色板的视频译码的技术。在基于调色板的译码中，视频译码器(例如，视频编码器或视频解码器)可形成所谓的“调色板”，作为用于表示特定区域(例如，给定块)的视频数据的色彩表。基于调色板的译码可尤其有用于对具有相对较少数目的色彩的视频数据区域进行译码。并非对所述给定块的实际像素值或其残差进行译码，而是，所述视频译码器可对所述像素中的一或多者的索引值进行译码。所述索引值将所述像素映射到所述调色板中的表示所述像素的所述色彩的条目。在本发明中，描述用于在视频编码器或视频解码器处确定将解块滤波应用于经调色板译码块的像素的技术。另外，描述用于在所述视频编码器或所述视频解码器处确定用以量化经调色板译码块的逸出像素值的量化参数(QP)值和差量QP值的技术。
在一个实例中，本发明涉及一种处理视频数据的方法，所述方法包括：确定视频数据的第一块是经调色板译码块；确定用于所述第一块的调色板；参照所述调色板确定所述第一块内的像素的色彩值；基于所述第一块的所述调色板和所述色彩值，重构所述视频数据的所述第一块；基于所述第一块是经调色板译码块，对所述经重构第一块内的在形成于视频数据的所述经重构第一块与经重构第二块与之间的块边界处的第一像素禁用解块滤波；和确定是否将所述解块滤波应用于所述经重构第二块内的在形成于所述经重构第一块与所述经重构第二块之间的所述块边界处的第二像素。
在另一实例中，本发明涉及一种视频处理装置，其包括经配置以存储视频数据的存储器，以及与存储器通信的一或多个处理器。所述一或多个处理器经配置以：确定视频数据的第一块是经调色板译码块；确定用于所述第一块的调色板；参照所述调色板确定所述第一块内的像素的色彩值；基于所述第一块的所述调色板和所述色彩值，重构所述视频数据的所述第一块；基于所述第一块是经调色板译码块，对所述经重构第一块内的在形成于视频数据的所述经重构第一块与经重构第二块与之间的块边界处的第一像素禁用解块滤波；和确定是否将所述解块滤波应用于所述经重构第二块内的在形成于所述经重构第一块与所述经重构第二块之间的所述块边界处的第二像素。
在另一实例中，本发明涉及一种视频处理装置，其包括：用于确定视频数据的第一块是经调色板译码块的装置；用于确定用于所述第一块的调色板的装置；用于参照所述调色板确定所述第一块内的一或多个像素的色彩值的装置；用于基于所述第一块的所述调色板和所述色彩值，重构所述视频数据的所述第一块的装置；用于基于所述第一块是经调色板译码块，对所述经重构第一块内的在形成于视频数据的所述经重构第一块与经重构第二块与之间的块边界处的第一像素禁用解块滤波的装置；和用于确定是否将所述解块滤波应用于所述经重构第二块内的在形成于所述经重构第一块与所述经重构第二块之间的所述块边界处的第二像素的装置。
在另一实例中，本发明涉及一种存储有用于处理视频数据的指令的非暂时性计算机可读媒体，所述指令在执行时致使一或多个处理器：确定视频数据的第一块是经调色板译码块；确定用于所述第一块的调色板；参照所述调色板确定所述第一块内的一或多个像素的色彩值；基于所述第一块的所述调色板和所述色彩值，重构所述视频数据的所述第一块；基于所述第一块是经调色板译码块，对所述经重构第一块内的在形成于视频数据的所述经重构第一块与经重构第二块与之间的块边界处的第一像素禁用解块滤波；和确定是否将所述解块滤波应用于所述经重构第二块内的在形成于所述经重构第一块与所述经重构第二块之间的所述块边界处的第二像素。
在一个实例中，本发明涉及一种处理视频数据的方法，所述方法包括：确定经调色板译码块的调色板，所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目；确定所述经调色板译码块内的至少一个像素是否被译码为具有不包含在所述调色板中的色彩值的逸出像素；基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定经调色板译码块的调色板量化参数(QP)值，所述调色板QP值是从所预测的QP值经调整；和基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定所述逸出像素的不包含在所述调色板中的色彩值，并且根据所述调色板QP值量化所述逸出像素的色彩值。
在另一实例中，本发明涉及一种视频处理装置，其包括经配置以存储视频数据的存储器，以及与存储器通信的一或多个处理器。所述一或多个处理器经配置以：确定经调色板译码块的调色板，所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目；确定所述经调色板译码块内的至少一个像素是否被译码为具有不包含在所述调色板中的色彩值的逸出像素；基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定经调色板译码块的调色板量化参数(QP)值，所述调色板QP值是从所预测的QP值经调整；和基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定所述逸出像素的不包含在所述调色板中的色彩值，并且根据所述调色板QP值量化所述逸出像素的色彩值。
在另一实例中，本发明涉及一种视频处理装置，其包括：用于确定用于经调色板译码块的调色板的装置，所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目；用于确定所述经调色板译码块内的至少一个像素是否被译码为具有不包含在所述调色板中的色彩值的逸出像素的装置；用于基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定经调色板译码块的调色板量化参数(QP)值的装置，所述调色板QP值是从所预测的QP值经调整；和用于基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定所述逸出像素的不包含在所述调色板中的色彩值，并且根据所述调色板QP值量化所述逸出像素的色彩值的装置。
在另一实例中，本发明涉及一种存储有用于处理视频数据的指令的非暂时性计算机可读媒体，所述指令在执行时致使一或多个处理器：确定经调色板译码块的调色板，所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目；确定所述经调色板译码块内的至少一个像素是否被译码为具有不包含在所述调色板中的色彩值的逸出像素；基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定经调色板译码块的调色板量化参数(QP)值，所述调色板QP值是从所预测的QP值经调整；和基于所述经调色板译码块内的所述至少一个像素被译码为逸出像素，确定所述逸出像素的不包含在所述调色板中的色彩值，并且根据所述调色板QP值量化所述逸出像素的色彩值。
下文在附图和描述中陈述本发明的一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1是说明可使用本发明中所描述的技术的实例视频译码系统的框图。
图2是说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3是说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4是说明形成于两个邻近块之间的四个像素长垂直块边界的实例的概念图。
图5是说明视频译码器确定是否将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素的实例操作的流程图。
图6是说明视频译码器确定用以量化经调色板译码块的逸出像素值的调色板量化参数(QP)值的实例操作的流程图。
具体实施方式
本发明描述用于视频译码和压缩的技术。特定来说，本发明描述支持视频内容译码，尤其具有基于调色板的译码的屏幕内容的技术。本发明描述基于调色板的译码的多个技术方面。在一些实例中，本发明描述用于确定将环路内滤波(例如，解块滤波和/或样本自适应偏移(SAO)滤波)用于经调色板译码块的像素的设计和应用的技术。更具体来说，描述用于在视频编码器或视频解码器处确定将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素的技术。在其它实例中，本发明描述用于确定用以量化视频编码器或视频解码器处的经调色板译码块的逸出像素值的量化参数(QP)值和差量QP值的技术。
在传统的视频译码中，假设图像为连续色调且空间上平滑。基于这些假设，已经开发各种工具，例如基于块的变换、滤波等，且此些工具已展示用于自然内容视频的良好性能。然而，在例如远程桌面、合作工作和无线显示器等应用中，计算机产生的屏幕内容(例如，例如文本或计算机图形)可为待压缩的主要内容。此类型的内容趋向于具有离散色调，且以清晰线和高对比度对象边界为特征。连续色调和平滑度的假设可不再适用于屏幕内容，且因此，传统视频译码技术可能不是压缩包含屏幕内容的视频数据的高效方式。
本发明描述基于调色板的译码，其可特别适用于屏幕产生的内容译码。举例来说，假定视频数据的特定区域具有相对较少数目的色彩，那么视频译码器(例如，视频编码器或视频解码器)可形成所谓的“调色板”以表示所述特定区域的所述视频数据。调色板可表现为用于表示特定区域(例如，给定块)的视频数据的色彩表。举例来说，调色板可包含给定块中的最主要色彩(即，像素值)。在一些情况下，最主要色彩可包含于块内最频繁地出现的一或多个色彩。另外，在一些情况下，视频译码器可应用阈值以确定一色彩是否将被包含为块中的最主要色彩中的一者。可显式地编码调色板并且将调色板发送到视频解码器，从先前的调色板条目预测调色板，或其组合。根据基于调色板的译码的各个方面，视频译码器可对指示当前块的像素中的一或多者的索引值进行译码，而非对当前块的实际像素值或其残差进行译码。在基于调色板的译码的上下文中，索引值指示调色板中的用以表示当前块的个别像素的色彩的相应条目。
举例来说，视频编码器可通过确定用于块的调色板，定位调色板中的表示块的像素中的一或多者的色彩的条目以及用指示调色板中的条目的索引值编码块来编码视频数据块。对于所述块的具有映射到调色板中的条目的色彩值的那些像素，视频编码器可编码用于相应像素的条目的索引值。对于所述块的具有不映射到调色板中的条目的色彩值的那些像素，视频编码器可编码用于像素的特殊索引并且编码实际像素值或其残差值(或其经量化的版本)。这些像素被称为“逸出像素”。在一些实例中，调色板可包含表示无色彩值的零条目。在此实例中，所述块的所有像素具有不映射到调色板中的条目并且因此经编码为逸出像素的色彩值。
在一些实例中，视频编码器可用信号发送调色板、索引值，以及经编码位流中的任何逸出像素。继而，视频解码器可从经编码位流获得用于所述块的调色板，以及用于所述块的像素的任何索引值和用于所述块的任何逸出像素的像素值。视频解码器可将索引值映射到调色板的条目并且解码逸出像素以重构所述块的像素值。以上实例意在提供对基于调色板的译码的一般描述。
用于视频数据的基于调色板的译码的技术可与例如用于帧间或帧内预测性译码的技术的一或多个其它译码技术一起使用。举例来说，如下文更详细地描述，视频编码器或视频解码器或组合的编码器-解码器(编码解码器)可经配置以执行帧间和帧内预测性译码，以及基于调色板的译码。
在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，高效率视频译码(HEVC)是由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。在下文中被称作“HEVC版本1”的所完成HEVC标准被公开为“ITU-T H.265,SERIES H:视听及多媒体系统视听服务基础构架-移动视频的译码-高效率视频译码(ITU-T H.265,SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video-High efficiency video coding)”(国际电信联盟(ITU)的电信标准化部门，2013年4月)，且可从http://www.itu.int/rec/T-REC-H.265-201304-I得到。
JCT-VC还正在开发对HEVC的范围扩展(即HEVC-Rext)。范围扩展的最近工作草案(WD)(在下文中被称作“RExt WD7”)可从http://phenix.int-evry.fr/jct/doc_end_user/ documents/17_Valencia/wg11/JCTVC-Q1005-v4.zip得到。JCT-VC还正在开发是基于HEVC-Rext的HEVC屏幕内容译码(SCC)。HEVC SCC扩展的最近WD(在下文中被称作SCC WD1.0)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/18_Sapporo/wg11/JCTVC- R1005-v3.zip得到。HEVC SCC扩展的更为新近的WD(在下文中被称作SCC WD2.0)可从http://phenix.int-evry.fr/jct/doc_end_user/documents/19_Strasbourg/wg11/ JCTVC-S1005-v1.zip得到。
相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此，在CU模式的上下文中描述的所有以下所揭示过程可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文中所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用为独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。
基于调色板的译码的基本想法为，对于每一CU，导出包含当前CU中的最主要色彩(即，像素值)或在一些情况下无色彩的调色板。可将调色板大小和调色板的调色板条目从视频编码器传输到视频解码器。可使用用于一或多个相邻CU(例如，上方和/或左边经编码的CU)的调色板的分别地大小和条目直接编码或预测性地编码调色板大小和调色板的条目。接着可基于调色板根据特定扫描次序编码CU的像素。
对于CU中的每个像素位置，可传输一标志以指示像素的色彩是否包含在调色板中。对于映射到调色板中的条目的那些像素，可针对CU中的给定像素位置用信号发送与所述条目相关联的调色板索引。在一些情况下，可使用延行模式编码以使得用信号发送与CU中的像素位置相关联的调色板索引，接着是像素值的“延行”。在此情况下，不需要针对“延行”所覆盖的后续像素位置传输标志或调色板索引，这是因为所述位置全部具有相同像素值。对于具有不映射到调色板中的条目的色彩值的那些像素(即，逸出像素)，可为所述像素分配特殊索引，且可针对CU中的给定像素位置传输实际像素值或其残差值(或其经量化的版本)。可根据切片层级量化参数(QP)值或系数QP值量化逸出像素值。可使用任何现有熵译码方法(例如，固定长度译码，一元译码等)来对“逸出像素”进行译码。
下文更详细地描述基于调色板的译码的多个不同技术方面，包含指示基于调色板的译码模式，确定用于给定块的调色板，传输用以指示给定块的像素值的调色板索引值，以及对调色板和调色板索引值进行有损译码。
举例来说，可传输语法元素(例如标志“PLT_Mode_flag”或“palette_mode_flag”)以指示基于调色板的译码模式是否将用于当前CU(或在其它实例中为PU)。在一个实例中，语法元素palette_mode_flag的值可指定使用基于调色板的译码模式编码当前CU，或使用除基于调色板的译码模式以外的模式编码当前CU。举例来说，可使用多种帧间预测模式、帧内预测模式或其它译码模式中的任一者解码当前CU。出于实例目的描述palette_mode_flag的使用。在其它实例中，例如多位代码的其它语法元素可用以指示基于调色板的译码模式、帧间预测译码模式、帧内预测译码模式或另一译码模式是否将用于CU(或在其它实例中为PU)。
在一些实例中，可在CU层级在经编码位流中用信号发送指示基于调色板的译码模式的语法元素，且接着视频解码器在解码所述经编码位流后接收所述语法元素。在其它实例中，可在比CU层级更高的层级传输语法元素。举例来说，可在切片层级传输指示基于调色板的译码模式的标志，以指示是否将使用基于调色板的译码模式编码切片中的所有CU。在其它实例中，可在图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)层级用信号发送指示基于调色板的译码模式的标志。
在额外实例中，可在例如SPS、VPS、PPS或切片层级的较高层级中的一者传输语法元素，以指定对特定视频序列、图片或切片启用基于调色板的译码模式，而palette_mode_flag指示基于调色板的译码模式是否用于每一CU。在一个实例中，如果在SPS、VPS、PPS或切片层级处发送的标志或其它语法元素指示禁用基于调色板的译码模式，那么可能不需要另外用信号发送针对每一CU的palette_mode_flag。此外，如上文所提及，用于指示用于当前CU的基于调色板的译码模式的这些技术的应用可另外或替代地用以指示用于PU的基于调色板的译码模式。
还可或替代地基于旁侧信息有条件地传输或推断指示基于调色板的译码模式的语法元素或标志。用作用于传输或推断语法元素的条件的旁侧信息可为例如当前CU的大小、帧类型、色彩空间、色彩分量、帧大小、帧速率、可缩放视频译码中的层ID或多视图译码中的视图ID中的一或多者。
视频编码器可在经编码位流中传输由视频编码器为基于调色板的编码所使用的调色板，以供视频解码器用于基于调色板的解码。可为每一CU传输调色板，或调色板可能在不同CU当中共享。在一个实例中，可为当前CU的每一色彩分量单独地传输调色板。举例来说，可存在用于当前CU的明度(Y)分量的调色板，用于当前CU的第一色度(U)分量的另一调色板，以及用于当前CU的第二色度(V)分量的又一调色板。在用于Y分量的调色板中，调色板中的每一条目可为当前CU中的代表性明度值。在用于U分量和V分量的相应调色板中的每一者中，调色板中的每一条目可为当前CU中的代表性色度值。在另一实例中，可为当前CU的所有色彩分量传输单个调色板。在此实例中，调色板中的第i条目可表示为指示色彩分量中的每一者的值的三元组(Yi、Ui、Vi)。在又另一实例中，可传输用于当前CU的Y分量的明度调色板，同时可传输用于当前CU的U分量和V分量的色度调色板。
调色板的大小(例如，关于所包含的色彩值的数目)可为固定值，或可在经编码位流中由编码器用信号表示。在为当前CU的不同色彩分量定义单独的调色板的情况下，可为不同色彩分量中的每一者单独地用信号发送调色板的大小，或可为所有色彩分量用信号发送单个大小。可使用一元代码、截断的一元代码(例如，在调色板大小的最大限度下截断)、指数哥伦布(Golomb)或莱斯-哥伦布(Rice-Golomb)代码对经定义以指示调色板的大小的语法元素进行译码。在一些实例中，可通过在用信号发送调色板的条目之后用信号发送“停止”标志来指示调色板的大小。可基于旁侧信息有条件地传输或推断调色板的大小。
在一些实例中，对于每一CU，可传输标志以指示是否预测或显式地传输用于当前CU的调色板。可为不同色彩分量中的每一者单独地传输所述标志(例如，可传输用于YUV色彩分量中的每一者的三个标志)，或可为所有色彩分量传输单个标志。在一些实例中，可通过从一或多个先前经译码的相邻CU的预测值调色板复制一些或全部条目来预测当前CU的调色板。举例来说，预测值调色板可为左边相邻CU或顶部相邻CU的调色板。预测值调色板也可为两个或多于两个相邻CU的调色板的组合。举例来说，可应用一或多个公式、函数、规则或类似者体基于多个相邻CU中的两者或更多者来产生预测值调色板。还有可能的是，可构建候选列表，且可传输一或多个索引以指示一或多个候选CU，将至少部分地从所述候选CU复制当前CU的调色板。
在一些实例中，可在逐个条目基础上预测当前CU的调色板。在一个实例中，对于当前CU的调色板中的每一条目，传输标志以指示是否将从例如选定的相邻CU或一或多个相邻CU的组合的预测值调色板中的对应条目复制相应条目，所述相应条目将显式地从视频编码器传输到视频解码器。在另一实例中，对于选定的相邻CU或一或多个相邻CU的组合的预测值调色板中的每一条目，传输标志以指示相应条目是否将复制到当前CU的调色板。可基于旁侧信息有条件地传输或推断其调色板用作预测值调色板的相邻CU或用于从两个或多于两个相邻CU的组合构建预测值调色板的规则。
对用以显式地传输或预测调色板的所述方法的替代方案将动态地构建调色板。在此情况下，在CU开始处，调色盘中不存在条目，且当编码器为CU中的位置用信号发送新像素值时，这些值包含在调色板中。也就是说，在产生并且传输针对CU中的位置的色彩值时，编码器将所述色彩值添加到调色板。接着，CU中具有相同值的稍后位置可指调色板中的色彩值，例如，通过索引值，而非使编码器显式地传输色彩值。类似地，当解码器接收针对CU中的位置的新色彩值(例如，由编码器用信号发送)时，其包含由解码器构建的调色板中的色彩值。当CU中的稍后位置具有已添加到调色板的色彩值时，解码器可接收识别调色板中的用于重构CU中的像素的对应色彩值的信息，例如索引值。
一旦已确定用于当前CU的调色板，便可通过选择并且传输映射到调色板中的色彩值的针对CU内的一或多个像素的索引值来对CU进行译码(即，编码或解码)。举例来说，索引值映射中的第i条目可对应于CU中的第i位置。索引值映射中的第i条目的值等于1可指定CU中的此第i位置处的像素的色彩值是调色板中的色彩值中的一者，且进一步传输对应于调色板内的色彩值的调色板索引以使得视频解码器可重构CU。在调色板中仅一个条目存在的情况下，可跳过调色板索引的传输。索引值映射中的第i条目的值等于0可指定CU中的第i位置处的像素的色彩值不包含在调色板中(即，像素是逸出像素)，且逸出像素的色彩值显式地传输到视频解码器。
如果CU中的一个位置处的色彩值是调色板内的色彩值，那么可以观察到，CU中的相邻位置具有相同色彩值的概率很高。为利用此概率，在编码针对CU中的位置的调色板索引(例如，对应于色彩值s的索引j)之后，可传输语法元素“延行”以指示在扫描到达不同色彩值之前包含在所述CU中的具有相同色彩值s的连续像素的数目。举例来说，如果CU中的紧接着的下一个位置具有不同于s的值，那么传输延行＝0(run＝0)。如果CU中的下一个位置具有值s但下一个后续位置不具有值s，那么传输延行＝1(run＝1)。
在一些情况下，其中不显式地传输延行，延行的值可隐示为位置的恒定数目，例如4、8、16等，或延行的隐性值也可取决于旁侧信息。在一定额外情况下，其中不显式地传输索引值映射，可隐式地导出延行的起始位置。举例来说，延行可仅在某些位置(例如，每一行的开端，每N行的开端，其取决于扫描方向，或取决于旁侧信息)开始。还有可能组合隐式开始位置推导与隐式延行推导。举例来说，延行的值可隐示为等于两个相邻开始位置之间的距离。
在一些实例中，可通过用信号发送线排复制(line copying)来传输索引值映射。在CU中的像素的当前线排具有与CU内的上方或左边的像素的先前线排相同的色彩值的情况下，视频编码器可指示将从用于索引值映射内的上方或左边的像素的先前线排的索引值复制像素的当前线排的索引值。作为一实例，可存储索引值映射内的先前四个线排，且接着可用信号发送哪个先前线排将复制到当前线排以及将复制所述先前线排的多少个条目。
当调色板中的条目与CU中的像素的实际色彩值之间的匹配不精确时，视频编码器可无损地或以一定损失执行基于调色板的译码。视频解码器通常可应用相同处理程序，而不管视频编码器执行无损还是有损的基于调色板的译码。在有损的基于调色板的译码的情况下，可使用经量化调色板以使得具有接近的色彩值的两个或多于两个条目可合并(即，量化)为调色板中的单个值。在一个实例中，可基于新色彩值与已经包含在调色板中的现有色彩值中的每一者之间的绝对差是否大于阈值来将新色彩值添加到调色板。如果绝对差小于或等于阈值，那么新色彩值可不添加到调色板，且替代地被丢弃或与包含在调色板中的现有色彩值合并。
类似地，在另一实例中，待编码的当前CU内的像素的色彩值可与调色板中的条目中的每一者的色彩值相比。如果像素的色彩值与调色板中的条目中的一者之间的绝对差小于或等于阈值，那么像素值可编码为对应于调色板中的条目中的一者的索引值。在一些实例中，可选择得到与像素的色彩值的最小绝对差的调色板条目来编码像素。如果像素的色彩值与调色板中的所有条目之间的绝对差大于阈值，那么像素可编码为具有不包含在调色板中且替代地经显式地传输的色彩值的逸出像素。
在HEVC版本1中，在图片重构之后，视频编码器或视频解码器处的解块滤波过程尝试检测形成于经译码块之间的边界处的假影，以及通过将选定的解块滤波器应用于沿着所述边界的像素来减轻假影。视频编码器或视频解码器可单独地为具有位于将图片分成8×8像素块或样本的网格上的四个像素长度的每一块边界做出解块滤波决策。
图4是说明形成于两个邻近块170、172之间的四个像素长垂直块边界174的实例的概念图。出于解释的目的，第一块170可被称为块P且第二块172可被称为块Q。如图4中所说明，第一块170(P)包含4×4像素，每一像素标记为pj,i，其中j指示从块边界174开始的列编号0、3，且i指示从第一块170的顶部开始的行编号0、3。如在图4中所进一步说明，第二块172(Q)包含4×4像素，每一像素标记为qj,i，其中j指示从块边界174开始的列编号0到3，且i指示从第二块172的顶部开始的列编号0到3。
作为一实例，在第一块170和第二块172是明度块的情况下，视频编码器或视频解码器可基于以下三个准则为正确的而将解块滤波应用于第一块170和第二块172中的每一者中的沿着块边界174的明度像素：(1)块边界174是预测单元(PU)或变换单元(TU)边界，(2)块边界174的边界强度值大于零，以及(3)块边界174的两侧上的像素或样本的变差低于规定阈值。在下文所描述的某些额外条件也正确的情况下，可将强滤波器(而非正常或弱解块滤波器)应用于第一块170和第二块172中的每一者中的沿着块边界174的像素。
可根据包含在下文的表1中的条件确定块边界174的边界强度值Bs。
表1：形成于两个相邻明度块之间的块边界的边界强度值的定义
在块边界174是PU或TU边界且边界强度值Bs为正(即，大于0)的情况下，视频编码器或视频解码器为确定是否对块边界174启用解块滤波所另外使用的像素变化准则如下，其中像素值指示为如在图4中所说明。
|p2,0-2p1,0+p0,0|+|p2,3-2p1,3+p0,3|+|q2,0-2q1,0+q0,0|+|q2,3-2q1,3+q0,3|<β (1)
基于对块边界174启用解块滤波，视频编码器或视频解码器为确定解块滤波的类型(即，正常或强)所使用的额外准则如下，其中像素值指示为如图4中所说明且其中i＝0、3。
|p2,i-2p1,i+p0,i|+|q2,i-2q1,i+q0,i|<β/8 (2)
|p3,i-p0,i|+|q3,i-q0,i|<β/8 (3)
|p0,i-q0,i|<2.5tc (4)
在选择强解块滤波器的情况下，解块滤波器可应用于块边界174的每一侧上的三个明度像素，例如p2,i、p1,i、p0,i、q0,i、q1,i、q2,i。在选择正常或弱滤波器的情况下，解块滤波器可应用于块边界174的每一侧上的一个或两个明度像素，例如p0,i和q0,i；或p1,i、p0,i、q0,i、q1,i。
此外，在第一块170和第二块172是色度块的情况下，视频编码器或视频解码器可基于块边界174的边界强度值等于2而将解块滤波应用于第一块170和第二块172中的每一者中的沿着块边界174的色度像素。基于对块边界174启用解块滤波，解块滤波器可应用于块边界174的每一侧上的一个色度像素，例如p0,i和q0,i。
可以类似于上文关于图4所描述的垂直块边界的方式确定针对水平块边界的解块滤波器决策。HEVC中的解块滤波更详细地描述于HEVC版本1以及A.Norkin、G.Bjφntegaard、A.Fuldseth、M.Narroschke、M.Ikeda、K.Andersson、M.Zhou和G.V.der Auwera的“HEVC解块滤波器(HEVC deblocking filter)”(IEEE Trans.Cirt.&Sys.Video Technol.，第22卷，第12号，2012年12月)中。
在HEVC版本1中，在图片重构之后，视频编码器或视频解码器可应用两个不同类的SAO滤波，即带偏移(BO)和边缘偏移(EO)。在一个实例中，带偏移滤波可用以补偿系统性量化误差。在此实例中，视频编码器或视频解码器可根据像素值的强度对像素值进行分类，并且在位流中用信号发送一个开始带位置和四个偏移值以校正包含开始带的四个连续带中的像素值。
在另一实例中，边缘偏移滤波可用以补偿归因于量化的环状效应假影。在此实例中，视频编码器或视频解码器可基于当前译码树单元(CTU)中的主要环状效应假影方向而从四个候选者(例如，水平、垂直、45度对角线以及135度对角线)中选择一个边缘偏移类。在确定边缘偏移类之后，视频编码器或视频解码器可基于沿着选定边缘偏移类的方向的相邻像素之间的相对强度而将CTU中的像素分类为五个类别。出自五个类别的四个类别可与应用偏移以减少环状效应假影相关联，且第五类别可与不应用偏移或禁用边缘偏移滤波相关联。
在HEVC版本1中，切片层级量化参数(QP)可用以量化视频数据切片中的块。视频编码器或视频解码器可调整切片层级QP以便以至少三种不同方式量化或逆量化包含在当前量化组中的给定块。一般来说，本发明中所描述的QP值可包含明度调色板QP值和至少一个色度调色板QP值。举例来说，QP值可包含用于明度(Y)分量的QPY值、用于第一色度(Cb或U)分量的QPCb值，以及用于第二色度(Cr或V)分量的QPCr值。
作为第一实例，视频编码器或视频解码器可将切片层级QP调整达每个量化组至多一次用信号发送的差量QP值(有时被称为CuQpDeltaVal)。每一量化组可包含一或多个CU。可用信号发送针对其中经译码块旗标(CBF)等于1的第一TU的差量QP值。CBF可为明度(Y)CBF或色度(Cb或Cr)CBF。一般来说，用于TU的CBF设置成等于1以指示TU包含可量化的至少一个非零系数。因此，可在相应TU包含TU中的至少一个经量化系数的情况下用信号仅发送差量QP值。
用信号发送差量QP值可包含在位流中用信号发送CU层级下的差量QP值的绝对层级和符号。在一些实例中，可在通过cu_qp_delta_enabled_flag对CU启用差量QP机制的情况下用信号发送差量QP值的绝对层级和符号。可在位流中的SPS、VPS、PPS或切片标头中的一者中用信号发送cu_qp_delta_enabled_flag，以指示是否对CU启用差量QP值以使得可在TU层级下在位流中用信号发送差量QP值的绝对层级和符号。
可根据以下方程式将所预测的QP值(其可为切片层级QP值或与先前量化组中的块相关联的先前QP值)调整达差量QP值。
QpY＝((qPY_PRED+CuQpDeltaVal+52+2*QpBdOffsetY)％(52+QpBdOffsetY))-QpBdOffsetY (5)
在上述方程式中，QpY是变量，qPY_PRED是所预测的明度QP值，CuQpDeltaVal是差量QP值，且QpBdOffsetY是基于明度样本的输入位深的明度量化参数范围偏移值。
作为第二实例，视频编码器或视频解码器可将切片层级QP调整达QpBdOffset值以归因于不同的输入位深而偏移切片层级QP值。举例来说，可根据以下方程式确定明度QP值Qp'Y。
Qp'Y＝QpY+QpBdOffsetY (6)
在上述方程式中，QpY是在方程式(5)中确定的变量，且QpBdOffsetY是基于明度样本的输入位深的明度量化参数范围偏移值。输入位深可对于Y、Cb或Cr分量中的每一者为不同的。如下文更详细地描述，可通过至少部分地基于色度量化参数范围偏移值QpBdOffsetC(其基于色度样本的输入位深)进一步调整明度QP值来确定色度QP值。
在第三实例中，视频编码器或视频解码器可参照明度QP值，基于色度偏移值来确定色度QP值。色度偏移值可包含PPS层级偏移，例如pps_cb_qp_offset和pps_cr_qp_offset，以及切片层级偏移，例如slice_cb_qp_offset和slice_cr_qp_offset。色度偏移值可进一步包含色度QP偏移值，例如CuQpOffsetCb和CuQpOffsetCr。在一些实例中，可在通过cu_chroma_qp_offset_enabled_flag对CU启用色度QP偏移机制的情况下用信号发送色度QP偏移值。可在位流中的SPS、VPS、PPS或切片标头中的一者中用信号发送cu_chroma_qp_offset_enabled_flag，以指示是否对CU启用色度QP偏移值以使得可在TU层级下在位流中用信号发送色度QP偏移值。
举例来说，可根据以下方程式确定色度QP值Qp'Cb和Qp'Cr。
qPiCb＝Clip3(-QpBdOffsetC,57,QpY+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb) (7)
qPiCr＝Clip3(-QpBdOffsetC,57,QpY+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr) (8)
Qp′Cb＝qPCb+QpBdOffsetC (9)
Qp′Cr＝qPCr+QpBdOffsetC (10)
在上述方程式中，qPiCb和qPiCr是用以确定相应变量qPCb和qPCr的索引，QpY是在方程式(5)中确定的变量，且QpBdOffsetC是基于色度样本的输入位深的色度量化参数范围偏移值。
视频编码器和视频解码器可基于取决于输入色度格式的非线性调整而参照针对高QP值(例如，高于30)的明度QP来确定色度QP值。下文在表2中规定用以确定变量QpC的非线性调整。如在表2中规定，如果ChromaArrayType等于1，那么基于索引qPi等于qPiCb和qPiCr而分别将变量qPCb和qPCr设置成等于QpC的值。在使用具体色度格式(例如4:2:0)一起译码色彩分量(即，Y、Cb、Cr)的情况下，将变量ChromaArrayType设置成等于1。
表2：针对ChromaArrayType＝1随qPi而变的QpC的说明
qPi <30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 >43
Qp<sub>C</sub> ＝qPi 29 30 31 32 33 33 34 34 35 35 36 36 37 37 ＝qPi-6
在HEVC版本1中更详细地描述如何导出明度量化参数值Qp'Y和色度量化参数值Qp'Cb和Qp'Cr的完整过程。在一些情况下，QpY值可用作用于确定将解块滤波应用于给定CU中的像素的量化步长。如果解块滤波应用于两个不同CU中的像素，那么可将两个CU中的平均QpY用于解块滤波确定。
在当前CU译码为经调色板译码块的情况下，经设计用于HEVC译码模式的环路内滤波(例如，解块滤波和/或SAO滤波)过程可不为使用基于调色板的译码模式进行译码的屏幕内容提供良好结果。常规地，以与经帧间译码块相同的方式处理经调色板译码块，且因而，在存储于经解码图片缓冲器中之前将滤波自动应用于经重构块。可能需要根据与基于调色板的译码模式相关联的信号特性改变环路内滤波过程。在一些实例中，本发明描述用于确定用于经调色板译码块的像素的环路内滤波(例如，解块滤波和/或SAO滤波)的设计和应用的技术。更具体来说，描述用于在视频编码器或视频解码器处确定将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素的技术。
下文描述确定用于经调色板译码块的像素的解块滤波的设计和应用的各种实例。以下实例中的每一者可与其它实例中的任一者联合地或单独地使用(除非其具体地提供为替代性实例)。关于来自图4的第一块170、第二块172和块边界174描述以下实例。
在所揭示技术的一个实例中，在使用调色板译码模式对邻近于块边界174的第一块170进行译码的情况下，视频编码器或视频解码器可以与将第一块170译码为无损块(即，cu_transquant_bypass＝1以使得不对块应用变换和量化)类似的方式应用解块滤波。换句话说，所揭示技术包含以与经无损译码块相同的方式通过对经调色板译码第一块170内的在与第二块172形成的块边界174处的像素禁用解块滤波来处理经调色板译码第一块170。
作为一实例，在第一块170和第二块172包括明度块的情况下，可如下对第一块170的经重构版本内的第一明度像素禁用解块滤波。视频编码器或视频解码器可首先确定是否对形成于经重构第一块170与第二块172的经重构版本之间的块边界174启用解块滤波。此确定可基于上文关于解块滤波所描述的三个准则。基于对块边界174启用解块滤波，视频编码器或视频解码器接着可确定将被解块滤波的经重构第一块170内的第一明度像素的数目。如上文所描述，将被解块滤波的第一明度像素的数目可取决于所确定的将应用的解块滤波的类型(即，正常或强)。
基于将被解块滤波的第一明度像素的数目大于零以及基于第一块170是经调色板译码块，视频编码器或视频解码器可设置将被解块滤波的第一明度像素的数目为等于零，以便对经重构第一块170内的第一明度像素禁用解块滤波。此类似于在HEVC版本1中对经无损译码块的明度样本禁用解块滤波的方式，以使得根据所揭示技术，出于解块滤波的目的以与经无损译码块相同的方式处理明度经调色板译码块。
作为一实例，在第一块170和第二块172包括色度块的情况下，可如下对经重构第一块170内的第一色度像素禁用解块滤波。视频编码器或视频解码器可首先确定是否对块边界174启用解块滤波。如上文所描述，此确定可基于块边界174的边界强度值等于二。基于对块边界174启用解块滤波，视频编码器或视频解码器接着可确定经重构第一块170内的第一色度像素中的一或多者的经解块滤波值。
基于第一块170是经调色板译码块，视频编码器或视频解码器可将第一色度像素中的一或多者的经解块滤波值设置为等于第一色度像素中的一或多者的原始值，以便对经重构第一块170内的第一色度像素禁用解块滤波。此类似于在HEVC版本1中对经无损译码块的色度样本禁用解块滤波的方式，以使得根据所揭示技术，出于解块滤波的目的以与经无损译码块相同的方式处理色度经调色板译码块。
在所揭示技术的另一实例中，在邻近于块边界174的第一块170和第二块172两者均使用调色板译码模式经译码的情况下，视频编码器或视频解码器可对第一块170和第二块172两者中的沿着块边界174的像素禁用解块滤波。在一些实例中，可以上文关于对第一块170中的像素禁用解块滤波所描述的方式对第一块170和第二块172中的每一者禁用解块滤波。在其它实例中，可通过将块边界174的边界强度值设置为等于零来对第一块170和第二块172中的每一者禁用解块滤波。以此方式，对第一块170和第二块172中的沿着块边界174的明度像素和色度像素两者禁用解块滤波。
在所揭示技术的另一实例中，在第一块170使用调色板译码模式经译码且第二块172使用非调色板译码模式(例如，帧间译码模式或帧内译码模式等)经译码的情况下，视频编码器或视频解码器可仅对第一块170中的沿着块边界174的像素禁用解块滤波。在此实例中，解块滤波可应用于第二块172中的沿着块边界174的像素。作为一实例，视频编码器或视频解码器可确定是否对形成于经重构第一块170与经重构第二块172之间的块边界174启用解块滤波。基于对块边界174启用解块滤波，视频编码器或视频解码器可确定用于经重构第二块172内的第二像素的解块滤波的类型，并且将所确定类型的解块滤波应用于经重构第二块172内的第二像素中的一或多者。可将解块滤波应用于第二经重构块172内的第二像素，而不将解块滤波应用于经重构第一块170内的第一像素。
在所揭示技术的另一实例中，在邻近于块边界174的第一块170使用调色板译码模式经译码的情况下，视频编码器或视频解码器可对第一块170和第二块172两者内的邻近于块边界174的像素禁用解块滤波，而不管用以对第二块172进行译码的译码模式。举例来说，可通过将块边界174的边界强度值设置为等于零来禁用解块滤波。以此方式，对第一块170和第二块172中的沿着块边界174的明度像素和色度像素两者禁用解块滤波。
在所揭示技术的额外实例中，在邻近于块边界174的第一块170使用调色板译码模式经译码的情况下，视频编码器或视频解码器可基于经调色板译码第一块170的QP值经设置成等于零而确定是否将解块滤波应用于块边界174的两侧上的像素。
在所揭示技术的另一实例中，在仅第一块170使用调色板译码模式经译码且第二块172使用非调色板译码模式经译码的情况下，视频编码器或视频解码器可将块边界174的边界强度值设置为正值(即，大于0)，以使得可对块边界174的任一侧上的像素启用解块滤波。
在此实例的一种情况下，如果第一块170使用调色板译码模式经译码且第二块172使用帧内译码模式经译码，那么块边界174的边界强度值可设置成等于2。因此，上文表1中的规则1仍然保持在调色板译码模式的情况下。在此实例的另一情况下，如果第一块170使用调色板译码模式经译码且第二块172使用帧内块复制(IntraBC)译码模式经译码，那么块边界174的边界强度值可设置成等于1。替代地，可应用某些限定。举例来说，如果与经IntraBC译码第二块172相关联的运动向量具有大于阈值(例如，以整数像素为单位的1)的绝对值，那么边界强度值可设置成等于1。否则，边界强度值可设置成等于0。
在此实例的另一情况下，如果第一块170使用调色板译码模式经译码且第二块172使用帧间译码模式经译码，那么块边界174的边界强度值可设置成等于1。替代地，可应用某些限定。举例来说，如果与经帧间译码第二块172相关联的运动向量具有大于阈值(例如，以整数像素为单位的1)的绝对值，那么边界强度值可设置成等于1。否则，边界强度值可设置为0。
在所揭示技术的另一实例中，在仅第一块170(P)使用调色板译码模式经译码且第二块172(Q)使用非调色板译码模式经译码的情况下，视频编码器或视频解码器为确定是否对块边界174启用解块滤波所使用的像素变化准则可从上述方程式(1)改变为以下方程式。
|q2,0-2q1,0+q0,0|+|q2,3-2q1,3+q0,3|<c·β (11)
在上述方程式中，c是恒定的，例如设置成等于0.5，且β是取决于仅经非调色板译码第二块172(Q)的QP值的参数。替代地，如果经调色板译码第一块170(P)的QP值经明确定义(例如，如在上述实例中的一者中，经设置成等于零)，那么β可取决于第一块170和第二块172两者的QP值。
类似地，视频编码器或视频解码器为确定解块滤波的类型(即，正常或强)所使用的额外准则可从上述方程式(2)、(3)和(4)改变为以下方程式，其中i＝0、3。
|q2,i-2q1,i+q0,i|<c·β/8 (12)
|q3,i-q0,i|<c·β/8 (13)
|p0,i-q0,i|<c·2.5tc (14)
在所揭示技术的另一实例中，基于调色板的译码模式的QP值用以计算用以设计解块滤波的β和tc参数，所述QP值定义如下。举例来说，在仅第一块170(P)使用调色板译码模式经译码且第二块172(Q)使用非调色板译码模式经译码的情况下，经非调色板译码第二块172(Q)的QP值可假设为qpQ，且经调色板译码第一块170(P)的QP值可定义为qpP＝qpQ+pltQPOffset。参数pltQPOffset可为预定义恒定值，在SPS、VPS、PPS或切片标头中用信号发送的值，或隐式地导出的值。在一些实例中，参数pltQPOffset可为差量QP值。替代地，也可从一或多个其它相邻块的QP值导出经调色板译码第一块170(P)的QP值(即，qpP)。
在所揭示技术的另一实例中，可在SPS、VPS、PPS、切片标头、CTU或CU中用信号发送标志以指示是否在邻近于至少一个经调色板译码块(例如，第一块170)的块边界174处使用解块滤波。
下文描述确定用于经调色板译码块的SAO滤波的设计和应用的各种实例。以下实例中的每一者可与其它实例中的任一者联合地或单独地使用(除非其具体地提供为替代性实例)。
在所揭示技术的一个实例中，在CTU中的所有CU使用调色板译码模式经译码的情况下，视频编码器或视频解码器30可对CTU中的所有CU禁用SAO滤波。
在所揭示技术的替代实例中，如果CTU中的使用调色板译码模式经译码的CU的百分比高于阈值，那么视频编码器或视频解码器可对CTU中的所有CU禁用SAO滤波。CTU中的经调色板译码CU的百分比可被计算为经调色板译码像素的数目对比CTU中的总像素数目，或计算为经调色板译码CU的数目对比CTU中的总CU数目，或根据特定的其它准则。在此替代实例中，如果在CTU中启用SAO滤波，那么有可能的是经调色板译码CU和经非调色板译码CU可具有不同的SAO滤波器参数。举例来说，经调色板译码CU和经非调色板译码CU可具有不同SAO滤波器类型、不同SAO滤波器类，或不同SAO滤波器偏移。另外，经调色板译码CU中的每一者可具有不同SAO滤波器参数。
在所揭示技术的另一实例中，可如下增强用于经调色板译码块的SAO滤波过程。在一种情况下，经调色板译码块中的逸出像素和非逸出像素可具有不同偏移值。举例来说，SAO滤波可仅应用于逸出像素，而非逸出像素具有设置成等于零的偏移值。作为额外实例，仅带偏移滤波可应用于逸出像素。在一些实例中，可对四个带校正达带偏移值。在其它实例中，可对多于四个或少于四个带校正达带偏移值。在另一情况下，因为屏幕内容通常具有强水平和垂直图案，所以边缘偏移滤波可被限定于仅水平和垂直方向。
在另一情况下，如果转变偏移表(例如，{(index,offset_index)})用以确定在发生色彩转变时的偏移，那么可应用转变边缘偏移模式。在此情况下，可假设调色板译码模式中的经重构色彩索引块在光栅扫描次序中标示为INDEX[x]。如果INDEX[x-1]！＝INDEX[x]，那么在位置[x]处发生转变，且将等于offset_INDEX[x]的偏移(在此值存在于转变偏移表中的情况下)应用于位置[x]处的经重构像素值。偏移可以光栅扫描次序传播到后续像素。换句话说，相同偏移适用于位置[x+1]、[x+2]、…、[x+k]处的像素，直到INDEX[x+k]！＝INDEX[x]。可为每一调色板索引或仅调色板索引的子集用信号发送转变偏移表。举例来说，转变偏移可仅针对高达前四个调色板索引经译码并且用信号发送到位流中。如果不用信号发送针对具体索引的转变偏移，那么可使用默认值，例如0。三个色彩分量(例如，Y、Cb、Cr)可共享相同偏移值或具有个别偏移值。
在当前CU经译码为经调色板译码块的情况下，QP值可用于量化经调色板译码块的逸出像素值。在一些实例中，QP值和量化也可应用于新调色板条目的译码。常规地，调色板译码模式不包含用以调整每一CU或每一量化组(其可包含一或多个CU)的切片层级QP值的机制。因此，视频编码器或视频解码器必须在用以量化经调色板译码块的逸出像素值的恒定QP下操作。在一些实例中，本发明描述用于确定用以量化经调色板译码块的逸出像素值的QP值和差量QP值的技术。
下文描述确定或导出经调色板译码块的调色板QP值的各种实例。以下实例中的每一者可与其它实例中的任一者联合地或单独地使用(除非其具体地提供为替代性实例)。
在所揭示技术的一个实例中，视频编码器或视频解码器可确定经调色板译码块的从所预测的QP值调整的调色板QP(或对应的量化步长大小)值。经调色板译码块可包含在可包含一或多个其它块(包含其它经调色板译码块和非调色板译码块)的当前量化组中。所预测的QP值可为切片层级QP值或与包含在先前量化组中的块相关联的QP值。切片层级QP值是在HEVC版本1中用于量化切片内的块的QP值。
举例来说，代替使用经调色板译码块的切片层级QP值，视频编码器或视频解码器可将经调色板译码块的调色板QP值定义为切片层级QP+pltQPOffest。在其它实例中，可从与先前量化组中的块相关联或与还包含经调色板译码块的当前量化组中的相邻块相关联的QP值导出调色板QP值。参数pltQPOffset可为预定义恒定值，在SPS、VPS、PPS或切片标头中用信号发送的值，或隐式地导出的值。在一些实例中，参数pltQPOffset可为差量QP值。
在所揭示技术的另一实例中，视频编码器或视频解码器可使用经调色板译码块的两个不同QP值或对应偏移。在此实例中，第一pltQPOffset1可用以量化经调色板译码块的任何新调色板条目的至少一部分，且第二pltQPOffset2可用以量化经调色板译码块内的逸出像素的至少一部分。pltQPOffset1和pltQPOffset2中的每一者可为预定义恒定值，在SPS、VPS、PPS或切片标头中用信号发送的值，或隐式地导出的值。在一些情况下，pltQPOffset值中的至少一者可指示不使用量化(即，对经调色板译码块进行无损译码)。
在所揭示技术的另一实例中，视频编码器或视频解码器可使用经调色板译码块的数个不同QP值或对应偏移。在此实例中，第一pltQPOffset1可用以量化任何新调色板条目，直到一标志指示用以开始使用第二pltQPOffset2量化任何额外新调色板条目的切换点等。
在所揭示技术的额外实例中，可为经译码用于经调色板译码块内的像素的每一索引值或每一索引值子集用信号发送或预定义不同QP值或对应偏移，即pltQPOffsets。在一些情况下，不同pltQPOffset也可用于每一不同调色板延行模式中的像素。举例来说，“从左边复制”延行模式中的像素可具有不同于“从上方复制”延行模式中的像素的QP值。在其它情况下，pltQPOffset还可取决于延行长度。
下文描述确定用以确定或得到经调色板译码块的调色板QP值的差量QP值的各种实例。以下实例中的每一者可与其它实例中的任一者联合地或单独地使用(除非其具体地提供为替代性实例)。常规地，调色板译码模式不包含用以调整每一CU或每一量化组的切片层级QP值的机制。如上文所描述，对于非调色板译码块，在非调色板译码块包含可由相关联CBF等于1指示的至少一个非零系数的情况下，可基于为每一CU或每一量化组用信号发送一次的差量QP值而调整切片层级QP值。
在所揭示技术的一个实例中，视频编码器或视频解码器可确定经调色板译码块内的至少一个像素是否经译码为具有不包含在经调色板译码块的调色板中的色彩值的逸出像素，并且基于经调色板译码块内的被译码为逸出像素的至少一个像素，确定包含经调色板译码块的当前量化组的差量QP值。视频编码器或视频解码器接着可基于差量QP值调整所预测的QP值，以便确定经调色板译码块的调色板QP值。经调色板译码块可包含在当前量化组中。所预测的QP值可为切片层级QP值或与包含在先前量化组中的块相关联的QP值。
举例来说，可取决于指示当前CU是否包含经译码为逸出像素值的至少一个像素的CU层级逸出标志的值而用信号发送差量QP值(有时被称为CuQpDeltaVal)。此CU层级逸出标志(即palette_escape_val_present_flag)的一个实例描述于2015年5月21日申请的美国申请案第14/719,215号中，所述美国申请案主张2014年5月22日申请的美国临时申请案第62/002,054号的权益。如果CU层级逸出标志指示当前CU包含至少一个逸出标志，那么可刚好在CU层级逸出标志之后在CU层级在位流中用信号发送差量QP值。作为另一实例，可在存在用于使用调色板译码模式译码的CU内的像素的至少一个逸出标志的情况下用信号发送差量QP值。可刚好在用信号发送第一逸出标志之后或在CU结束时用信号发送差量QP值。用信号发送差量QP值可包含用信号发送差量QP值的绝对层级和符号。
上述实例可用以确定用以量化经译码为逸出像素的明度像素的明度调色板QP值。另外，基于经调色板译码块内的被译码为逸出像素的至少一个像素，视频编码器和视频解码器可确定包含经调色板译码块的当前量化组的色度QP偏移值，并且基于色度QP偏移值调整针对经调色板译码块所确定的明度调色板QP值，以便确定经调色板译码块的色度调色板QP值。
在所揭示技术的另一实例中，可取决于指示是否对经调色板译码块启用差量QP值的语法元素的值而用信号发送每一经调色板译码CU的差量QP值。在此实例中，可在SPS、VPS、PPS或切片标头中的一者中用信号发送语法元素以指示在CU层级用信号发送经调色板译码块的差量QP值。在明度像素的情况下，可在通过在位流中在SPS、VPS、PPS或切片标头中的一者中用信号发送的cu_qp_delta_enabled_flag对CU启用差量QP机制的情况下用信号发送差量QP值。在色度像素的情况下，可在通过在位流中在SPS、VPS、PPS或切片标头中的一者中用信号发送的cu_chroma_qp_offset_enabled_flag对CU启用色度QP偏移机制的情况下用信号发送色度QP偏移值。
作为所揭示技术的另一实例，可取决于是否量化新调色板条目的至少一部分而用信号发送经调色板译码CU的差量QP值。
下文描述使用所预测的QP值确定调色板译码块的调色板QP值的各种实例。以下实例中的每一者可与其它实例中的任一者联合地或单独地使用(除非其具体地提供为替代性实例)。
在所揭示技术的一个实例中，视频编码器或视频解码器可确定经调色板译码块是否是当前量化组中的第一块或当前量化组中的任何先前非调色板译码块是否包含非零系数。基于经调色板译码块是当前量化组中的第一块或当前量化组中的先前非调色板译码块都不包含非零系数，视频编码器或视频解码器可确定经调色板译码块的从所预测的QP值(例如来自上述方程式(5)的qPY_PRED)调整的调色板QP值。调色板QP值可包含明度和色度QP值，即来自上述方程式(6)和(11)以及表2的QpY、Qp'Y、QpC、Qp'Cb和Qp'Cr，其用以量化经调色板译码块内的逸出像素。
在此实例中，在一些情况下，可用信号发送用于经调色板译码块的差量QP值，所述差量QP值可不被假设等于零。在其它情况下，可用信号发送用于经调色板译码块的差量QP值，且可根据上文所描述的技术中的一或多者确定调色板QP值。为从先前相邻量化组中的块的QP值得到经调色板译码块的调色板QP值，可使用所预测的QP。在这方面中，可以类似于不具有非零系数(不用信号发送差量QP值)或具有非零系数(用信号发送差量QP值)的经非调色板译码TU的方式经调色板译码块。
替代地，基于经调色板译码块不为当前量化组中的第一块且当前量化组中的先前非调色板译码块中的至少一者包含非零系数，视频编码器或视频解码器可确定调色板QP值等于先前针对当前量化组中的至少一个先前非调色板译码块确定的量化组QP值(包含明度和色度QP值)。换句话说，对于当前量化组中的在当前量化组中的具有非零系数的至少一个TU之后经译码的经调色板译码块，针对量化组所确定的明度和色度QP值用于经调色板译码块。这些明度和色度QP值可为也用于量化组中的其它经非调色板译码TU的QP值。
在明度像素的情况下，可仅在先前未确定包含在还包含经调色板译码块的当前量化组中的块的差量QP值的情况下才用信号发送经调色板译码块的调色板差量QP值。此可在经调色板译码块是当前量化组中的第一块的情况下或在当前量化组中的先前非调色板译码块不包含非零系数的情况下发生。在一个实例中，语法元素(例如，IsCuQpDeltaCoded)可指示先前是否用信号发送用于当前量化组的明度块的差量QP值。在先前未确定当前量化组的差量QP值的情况下，用信号发送明度经调色板译码块的调色板差量QP值。如果不用信号发送明度经调色板译码块的调色板差量QP值，那么可显式地导出所述调色板差量QP值等于零。
在色度像素的情况下，可仅在先前未确定包含在还包含经调色板译码块的当前量化组的块的色度QP偏移值的情况下才用信号发送经调色板译码块的调色板色度QP偏移值。此可在经调色板译码块是当前量化组中的第一块的情况下或在当前量化组中的先前非调色板译码块不包含非零系数的情况下发生。在一个实例中，语法元素(例如，IsCuChromaQPOffsetCoded)可指示先前是否用信号发送用于当前量化组的色度块的色度QP偏移值。在先前已确定当前量化组的色度QP偏移值的情况下，用信号发送色度经调色板译码块的调色板色度QP偏移值。如果不用信号发送色度经调色板译码块的调色板色度QP偏移值，那么可显式地导出所述调色板色度QP偏移值等于零。
一般来说，可根据上文且在HEVC版本1、HEVC SCC WD1.0和HEVC SCC WD2.0中所描述的量化参数导出过程来确定经调色板译码块的调色板QP值。在所揭示技术的另一实例中，对于经调色板译码块，视频编码器或视频解码器可在基于显式地用信号发送的差量QP值而确定或导出调色板QP值与基于不具有差量QP值的所预测的QP值而确定或导出调色板QP值之间切换。可经由在SPS、VPS、PPS或切片标头中用信号发送的标志实现此切换。
下文描述用于经调色板译码块的随qPi而变的QpC的各种实例。如上文在表2中所说明，可非线性地调整随用于明度分量的QP值而变的用于色度分量的QP值。由于基于调色板的译码模式具有针对明度分量和色度分量的不同特性，因此可简化用于基于调色板的译码模式的非线性调整。作为一实例，对于经调色板译码块，变量QpC可设置成等于索引qPi。
下文描述用以确定将解块滤波应用于经调色板译码块内的像素的QP值的各种实例。举例来说，上文所描述的不同QP值和不同调整可用作用于确定对经调色板译码块应用解块滤波的QP值。
下文描述执行用于经调色板译码块的新调色板条目的量化的各种实例。在所揭示技术的一个实例中，在当前CU被译码为经调色板译码块的情况下，可量化用于经调色板译码块的调色板中的新调色板条目。用信号发送用于量化新调色板条目的QP值可如下。在一种情况下，用于新调色板条目的QP值可不同于用于量化经调色板译码块内的逸出像素值所确定的QP值。举例来说，用于新调色板条目的QP值可设置为从逸出像素QP值的偏移。
在另一情况下，语法元素(例如，标志或位置索引)可指示量化用于经调色板译码块的调色板中的哪些新条目以及不量化哪些新条目。举例来说，新调色板条目可拆分成两个子组，即包含不进行量化(即，无损地译码)的那些新条目的第一子集以及包含进行量化的那些新条目的第二子集。可在每一新调色板条目之后用信号发送标志以指示是否对其进行量化。替代地，可在不被量化的每一新调色板条目之后用信号发送标志，而可用信号发送另一标志以指示量化给定新调色板条目和所有后续新调色板条目。数个不同层级的量化可应用于新调色板条目。
图1是说明可使用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般是指视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地指代视频编码或视频解码。视频译码系统10的视频编码器20和视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20和视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU的各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC版本1指定的各种译码模式。
如图1中所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称为视频编码装置或视频编码设备。目的地装置14可以对由源装置12所产生的经编码的视频数据进行解码。因此，目的地装置14可以被称为视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12和目的地装置14可包括广泛范围的装置，包含桌上型计算机、移动计算装置、笔记型(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机(in-carcomputer)或其类似者。
目的地装置14可经由信道16从源装置12接收经编码的视频数据。信道16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使得源装置12能够实时地将经编码的视频数据直接传输到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)来调制经编码的视频数据，且可将经调制视频数据传输到目的地装置14。所述一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。所述一或多个通信媒体可以形成分组网络的一部分，所述分组网络例如局域网、广域网或全球网络(例如，因特网)。所述一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取存取存储媒体。存储媒体可以包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器或用于存储经编码的视频数据的其它合适数字存储媒体。
在另一实例中，信道16可以包含存储由源装置12产生的经编码的视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可以经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码的视频数据。文件服务器可为能够存储经编码视频数据并且将经编码视频数据传输到目的地装置14的一种类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、网络附接存储(NAS)装置和本地磁盘驱动器。
目的地装置14可以通过标准数据连接(例如因特网连接)来存取经编码的视频数据。实例类型的数据连接可包含适于存取存储在文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等)，或两者的组合。经编码视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用，例如，空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储在数据存储媒体上的视频数据，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频回放、视频广播和/或视频电话的应用。
图1中说明的视频译码系统10仅为实例，并且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，从本地存储器检索数据，经由网络流式传输数据，或类似者。视频编码装置可以对数据进行编码并且将数据存储到存储器，和/或视频解码装置可以从存储器检索数据并且对数据进行解码。在许多实例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的装置执行编码和解码。
在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或传输器。视频源18可包含视频俘获装置(例如，摄像机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，和/或用于产生视频数据的计算机图形系统，或此类视频数据源的组合。
视频编码器20可对来自视频源18的视频数据进行编码。在一些实例中，源装置12经由输出接口22将经编码的视频数据直接传输到目的地装置14。在其它实例中，经编码的视频数据也可存储到存储媒体或文件服务器上以供稍后由目的地装置14存取以用于解码和/或回放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30和显示装置32。在一些实例中，输入接口28包含接收器和/或调制解调器。输入接口28可以在信道16上接收经编码的视频数据。显示装置32可以与目的地装置14集成在一起或可以在目的地装置14的外部。一般来说，显示装置32显示经解码的视频数据。显示装置32可以包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20和视频解码器30各自可实施为例如以下各者的多种合适电路中的任一者：一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实施所述技术，那么装置可将软件的指令存储在合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器以硬件执行指令，从而执行本发明的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可被视为一或多个处理器。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的经组合编码器/解码器(编码解码器)的部分。
本发明可大体上涉及视频编码器20将某些信息“用信号发送”或“传输”到例如视频解码器30的另一装置。术语“用信号发送”或“传输”可大体上指代用以解码经压缩视频数据的语法元素和/或其它数据的传送。此传送可实时或几乎实时发生。替代地，此通信可在一段时间内发生，例如可当在编码时在经编码位流中将语法元素存储到计算机可读存储媒体时发生，解码装置接着可在所述语法元素存储到此媒体之后的任何时间检索所述语法元素。
在一些实例中，视频编码器20和视频解码器30根据视频压缩标准(例如上文提及且在HEVC版本1中描述的HEVC标准)操作。除基础HEVC标准以外，还正在努力产生用于HEVC的可缩放视频译码、多视图视频译码和3D译码扩展。另外，可提供(例如)如本发明中所描述的基于调色板的译码模式以用于HEVC标准的扩展。在一些实例中，本发明中针对基于调色板的译码而描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来的标准)操作的编码器和解码器。因此，出于实例的目的描述将基于调色板的译码模式用于HEVC编码解码器中的译码单元(CU)或预测单元(PU)的译码。
在HEVC和其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可以包含三个样本阵列，标示为SL、SCb以及SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb彩度(chrominance)样本的二维阵列。SCr是Cr彩度样本的二维阵列。彩度样本在本文中还可以被称为“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为了产生图片的经编码的表示，视频编码器20可以产生译码树单元(CTU)集。CTU中的每一者可为明度样本的译码树块、色度样本的两个对应译码树块及用于对译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可以广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含光栅扫描中连续排序的整数数目个CTU。
为了产生经译码CTU，视频编码器20可以递归方式对CTU的译码树块执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块是样本的N×N块。CU可为具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块是其上应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、图片的色度样本的两个对应的预测块，以及用以对预测块样本进行预测的语法结构。视频编码器20可以产生用于CU的每一PU的预测明度块、Cb预测块和Cr预测块的预测性明度块、Cb块和Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测块。如果视频编码器20使用帧内预测产生PU的预测性块，则视频编码器20可以基于与PU相关联的图片的经解码的样本来产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块，则视频编码器20可基于除与PU相关的图片以外的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单个运动向量(MV)。当视频编码器20使用双向预测来产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生用于CU的一或多个PU的预测性明度块、Cb块及Cr块之后，视频编码器20可产生CU的明度残差块。CU的明度残差块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差。另外，视频编码器20可以产生CU的Cb残差块。CU的Cb残差块中的每一样本可以指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可以指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可以使用四叉树分割将CU的明度残差块、Cb残差块和Cr残差块分解成一或多个明度变换块、Cb变换块和Cr变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应的变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可以与明度变换块、Cb变换块和Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化大体上是指对变换系数进行量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片和相关联数据的表示的位序列。位流可包括一序列网络抽象层(NAL)单元。所述NAL单元中的每一者包含NAL单元标头且封装原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位元。
不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可包封用于经译码切片的RBSP，第三类型的NAL单元可包封用于SEI的RBSP等等。封装视频译码数据的RBSP(与参数集及SEI消息的RBSP相对)的NAL单元可被称为视频译码层(VCL)NAL单元。
视频解码器30可以接收由视频编码器20产生的位流。另外，视频解码器30可以剖析位流以对来自位流的语法元素进行解码。视频解码器30可至少部分地基于来自位流的经解码语法元素来重构视频数据的图片。用于重构视频数据的过程通常可与由视频编码器20执行的过程互逆。
举例来说，视频解码器30可以使用PU的MV以确定用于当前CU的PU的预测性块。另外，视频解码器30可以逆量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构图片。
在一些实例中，视频编码器20和视频解码器30可经配置以执行基于调色板的译码。举例来说，在基于调色板的译码中，并非执行上文所描述的帧内预测性或帧间预测性译码技术，而是，视频编码器20和视频解码器30可将所谓的调色板译码为用于表示特定区域(例如，给定块)的视频数据的色彩表。每一像素可与调色板中表示像素的色彩的条目相关联。举例来说，视频编码器20和视频解码器30可对使像素值与调色板中的适当值相关的索引进行译码。
在以上实例中，视频编码器20可通过确定块的调色板、在调色板中定位表示每一像素的值的条目以及以使像素值与调色板相关的用于像素的索引值对调色板进行编码来对视频数据块进行编码。视频解码器30可从经编码位流获得块的调色板以及所述块的像素的索引值。视频解码器30可使像素的索引值与调色板的条目相关以重构块的像素值。
在一些实例中，视频编码器20可编码指示给定扫描次序中具有相同像素值的连续像素的数目的一或多个语法元素。相同值的索引值的字符串在本文中可被称作“延行”。在出于说明目的的实例中，如果给定扫描次序中的两个连续像素具有不同值，那么延行等于零。如果给定扫描次序的两个连续像素具有相同值但所述扫描次序中的第三像素具有不同值，那么延行等于一。视频解码器30可从经编码位流获得指示延行的语法元素且使用所述数据确定具有相同索引值的连续像素位置的数目。
在一些实例中，视频编码器20和视频解码器30可执行对索引值的映射的一或多个条目的线排复制。举例来说，视频编码器20可指示索引映射中的特定条目的像素值等于特定条目上方的线排中的条目的像素值。视频编码器20还可指示扫描次序中等于特定条目上方的线排中的条目的索引的数目，作为延行。在此实例中，视频编码器20和/或视频解码器30可从指定相邻线排且从映射的当前正被译码的线排的指定数目个条目复制索引值。
根据本发明的技术，视频编码器20和视频解码器30可确定用于经调色板译码块的像素的环路内滤波(例如，解块滤波和/或SAO滤波)的设计和应用。更具体来说，视频编码器20和视频解码器30可确定将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素。另外，视频编码器20和视频解码器30可确定用以量化经调色板译码块的逸出像素值的QP值和差量QP值。举例来说，基于经调色板译码块内的被译码为逸出像素的至少一个像素，视频编码器20和视频解码器30可确定经调色板译码块的调色板QP值，所述调色板QP值是从所预测的QP值经调整。特定来说，在一些实例中，视频编码器20和视频解码器30可经配置以执行关于图4到6更详细地描述的本发明的技术。
图2是说明可以实施本发明的技术的实例视频编码器20的框图。图2是出于解释的目的而提供，并且不应被视为将技术限制为本发明中所大致例示及描述者。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可以适用于其它译码标准或方法。
视频编码器20表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC版本1指定的各种译码模式。在一个实例中，视频编码器20可经配置以产生具有指示像素值的条目的调色板，选择调色板中的像素值来表示视频数据块中的至少一些像素位置的像素值，以及用信号发送使视频数据块中的像素位置中的至少一些与调色板中的分别对应于调色板中的选定像素值的条目相关联的信息。视频解码器30可将用信号发送的信息用以对视频数据进行解码。
在图2的实例中，视频编码器20包含视频数据存储器98、预测处理单元100、残差产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116以及熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120包含运动估计单元和运动补偿单元(未示出)。视频编码器20还包含基于调色板的编码单元122，其经配置以执行本发明中描述的基于调色板的译码技术的各种方面。在其它实例中，视频编码器20可包括更多、更少或不同的功能组件。
视频数据存储器98可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器98中的视频数据。经解码图片缓冲器116可为存储参考视频数据以供在视频编码器20例如以帧内或帧间译码模式编码视频数据时使用的参考图片存储器。视频数据存储器98和经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器98和经解码图片缓冲器116可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器98可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可以接收视频数据。视频编码器20可对视频数据的图片的切片中的每一CTU进行编码。CTU中的每一者可以与图片的大小相等的明度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可以执行四叉树分割以将CTU的CTB划分为逐渐更小的块。这些更小的块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个大小相等的子块，将子块中的一或多者分割成四个大小相等的子子块等。
视频编码器20可对CTU的CU进行编码以产生CU的经编码表示(即，经译码的CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与明度预测块和对应的色度预测块相关联。视频编码器20和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小并且PU的大小可指PU的明度预测块的大小。假设特定CU的大小为2N×2N，视频编码器20和视频解码器30可支持用于用于帧内预测的2N×2N或N×N的PU大小，以及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似大小的对称PU大小。视频编码器20和视频解码器30还可以支持用于帧间预测的2N×nU、2N×nD、nL×2N以及nR×2N的PU大小的非对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测来产生用于PU的预测性数据。PU的预测性数据可包含PU的预测性块和PU的运动信息。取决于PU是在I切片中、P切片中或B切片中，帧间预测单元121可以对CU的PU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，那么帧间预测单元121并不对PU执行帧间预测。因此，对于在I模式中经编码的块，使用来自同一帧内的先前经编码的相邻块的空间预测来形成所预测的块。
如果PU是在P切片中，那么帧间预测处理单元120的运动估计单元可搜索参考图片列表(例如，“RefPicList0”)中的参考图片，以寻找用于PU的参考区。用于PU的参考区可为在参考图片内含有最紧密地对应于PU的样本块的样本块的区。运动估计单元可产生指示含有用于PU的参考区的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与相关联于参考区的参考位置之间的空间位移的MV。举例来说，MV可为提供从当前经解码的图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可输出参考索引和MV，作为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于在由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性块。
如果PU是在B切片中，那么运动估计单元可对PU执行单向预测或双向预测。为了对PU执行单向预测，运动估计单元可在RefPicList0或第二参考图片列表(“RefPicList1”)的参考图片中搜索用于PU的参考区。运动估计单元可输出以下各项作为PU的运动信息：参考索引，其指示含有参考区的参考图片在RefPicList0或RefPicList1中的位置；MV，其指示PU的预测块与相关联于参考区的参考位置之间的空间位移；以及一或多个预测方向指示符，其指示参考图片是在RefPicList0还是在RefPicList1中。帧间预测处理单元120的运动补偿单元可至少部分地基于在由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
为了对PU执行双向帧间预测，运动估计单元可在RefPicList0中的参考图片内搜索用于PU的参考区，并且还可在RefPicList1中的参考图片内搜索用于PU的另一参考区。运动估计单元可产生指示含有参考区的参考图片在RefPicList0和RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示相关联于参考区的参考位置与PU的样本块之间的空间位移的MV。PU的运动信息可包含PU的参考索引和MV。运动补偿单元可至少部分地基于由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测来产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式来产生PU的多个预测性数据集。帧内预测处理单元126可使用来自相邻PU的样本块的样本来产生PU的预测性块。假设对于PU、CU和CTU采用从左到右、从上到下的编码次序，相邻PU可在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目个帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集的速率/失真量度选择CU的PU的预测性数据。所选定的预测性数据的预测性样本块在本文中可被称作所选定的预测性样本块。
残差产生单元102可基于CU的明度、Cb及Cr译码块以及CU的PU的所选预测性明度块、Cb块及Cr块产生CU的明度、Cb及Cr残差块。举例来说，残差产生单元102可产生CU的残差块以使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此，TU可以与明度变换块以及两个色度变换块相关联。CU的TU的明度变换块以及色度变换块的大小和位置可以或可不基于CU的PU的预测块的大小和位置。被称为“残差四叉树”(RQT)的四叉树结构可以包含与区中的每一者相关联的节点。CU的TU可以对应于RQT的叶节点。
变换处理单元104可以通过将一或多个变换应用于TU的变换块来产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可以将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可被视作变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间向下舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可能造成信息丢失，因此经量化的变换系数可以具有比原始变换系数更低的精确度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从所述系数块重构残差块。重构单元112可以将经重构的残差块添加到来自由预测处理单元100产生的一或多个预测性样本块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。
滤波器单元114可执行一或多个解块操作来减少与CU相关联的译码块中的成块假影。在滤波器单元114对经重构译码块执行一或多个解块操作之后，经解码图片缓冲器116可存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构译码块对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可以从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可以从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元118可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可以输出包含由熵编码单元118产生的经熵编码的数据的位流。举例来说，位流可以包含表示用于CU的RQT的数据。
根据本发明的各种实例，视频编码器20可经配置以执行基于调色板的译码。相对于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式。因此，本文中在CU模式的上下文中所揭示的所有过程(贯穿本发明)可另外或替代地应用于PU。然而，这些基于HEVC的实例不应被视为对本文中所描述的基于调色板的译码技术的限定或限制，因为此些技术可应用为独立地工作或作为其它现有或尚待开发的系统/标准的部分而应用。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状的区。
举例来说，当例如为CU或PU选择基于调色板的编码模式时，基于调色板的编码单元122可执行基于调色板的编码。举例来说，基于调色板的编码单元122可经配置以产生具有指示像素值的条目的调色板，选择调色板中的像素值来表示视频数据块中的至少一些像素位置的像素值，以及用信号发送使视频数据块中的像素位置中的至少一些与调色板中的分别对应于调色板中的选定像素值的条目相关联的信息。虽然将各种功能描述为由基于调色板的编码单元122执行，但此类功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
根据本发明的技术，视频编码器20可经配置以确定在将经重构块存储在经解码图片缓冲器116中之前通过滤波器单元114将环路内滤波(例如，解块滤波和/或SAO滤波)用于经重构的经调色板译码块的像素的设计和应用。更具体来说，视频编码器20的基于调色板的编码单元122可经配置以确定通过滤波器单元114将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素。举例来说，基于视频数据的第一块为经调色板译码块，基于调色板的编码单元122可通过滤波器单元114对视频数据的第一块的经重构版本内的形成于经重构第一块与经重构第二块之间的块边界处的像素禁用解块滤波。基于调色板的编码单元122还可确定滤波器单元114是否将解块滤波应用于经重构第二块内的在形成于经重构第一块与经重构第二块之间的块边界处的像素。关于图4和5更详细地描述用于确定经调色板译码块的解块滤波的应用的技术。
进一步根据本发明的技术，视频编码器20可经配置以确定量化单元106为量化经调色板译码块的逸出像素值所使用的QP值和差量QP值。举例来说，视频编码器20可经配置以在位流中编码指示经调色板译码块内的至少一个像素是否编码为具有不包含在经调色板译码块的调色板中的色彩值的逸出像素的第一语法元素。视频编码器20可经进一步配置以基于经调色板译码块内的被译码为逸出像素的至少一个像素，确定经调色板译码块的调色板QP值，所述调色板QP值是从所预测的QP值经调整。
在一个实例中，基于经调色板译码块内经编码为逸出像素的至少一个像素，并且在先前未确定包含用于经调色板译码块的当前量化组的差量QP值的情况下，视频编码器20可确定经调色板译码块的调色板QP值，确定调色板差量QP值(其为调色板QP值与所预测的QP值之间的差)，以及在位流中编码指示调色板差量QP值的第二语法元素。视频编码器20接着可量化根据调色板QP值的逸出像素的色彩值，以及编码位流中的逸出像素的经量化色彩值。关于图6更详细地描述用于确定经调色板译码块的调色板QP值的技术。
图3是说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释的目的而提供，并且不应被视为将技术限制为本发明中所大致例示及描述者。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。
视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性对例如HEVC译码中的CU或PU等各种视频数据块进行解码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC版本1指定的各种译码模式。在一个实例中，视频解码器30可经配置以产生具有指示像素值的条目的调色板，接收使视频数据块的至少一些位置与调色板中的条目相关联的信息，基于所述信息选择调色板中的像素值，以及基于选定像素值重构块的像素值。
在图3的实例中，视频解码器30包含视频数据存储器148、熵解码单元150、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160以及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。视频解码器30还包含基于调色板的解码单元165，其经配置以执行本发明中描述的基于调色板的译码技术的各个方面。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。
视频数据存储器148可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器148中的视频数据可例如从计算机可读媒体16获得，例如经由视频数据的有线或无线网络通信从本地视频源(例如相机)或通过存取物理数据存储媒体而获得。视频数据存储器148可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储参考视频数据以供在视频解码器30例如以帧内或帧间译码模式解码视频数据时使用的参考图片存储器。视频数据存储器148和经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器148和经解码图片缓冲器162可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器148可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频数据存储器148(即，CPB)可接收并且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器148接收经编码视频数据(例如，NAL单元)，且可剖析NAL单元以解码语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码的切片NAL单元。作为对位流进行解码的部分，熵解码单元150可从经译码的切片NAL单元提取语法元素并且对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头和切片数据。切片标头可以含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了对来自位流的语法元素进行解码之外，视频解码器30还可对未经分割的CU执行重构操作。为对未经分割的CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残差块。
作为对CU的TU执行重构操作的部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。逆量化单元154可使用与TU的CU相关联的QP值来确定量化的程度，且同样地确定逆量化单元154将应用的逆量化的程度。也就是说，可通过调整在量化变换系数时所使用的QP的值来控制压缩比，即用以表示原始序列的位数与用以表示经压缩序列的位数的比。压缩比还可取决于所采用的熵译码的方法。
在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于系数块以便产生与TU相关联的残差块。举例来说，逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。
如果使用帧内预测对PU进行编码，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可以使用帧内预测模式，以基于空间上相邻的PU的预测块而产生PU的预测性明度块、Cb块和Cr块。帧内预测处理单元166可基于来自位流的经解码的一或多个语法元素确定PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来构建第一参考图片列表(RefPicList0)和第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，那么熵解码单元150可以提取PU的运动信息。运动补偿单元164可基于PU的运动信息来确定PU的一或多个参考区。运动补偿单元164可以基于在PU的一或多个参考块处的样本块产生PU的预测性明度块、Cb块和Cr块。
重构单元158可以在适当时使用与CU的TU相关联的明度变换块、Cb变换块和Cr变换块以及CU的PU的预测性明度块、Cb块和Cr块(即，帧内预测数据或帧间预测数据)来重构CU的明度译码块、Cb译码块和Cr译码块。举例来说，重构单元158可将明度、Cb和Cr变换块的样本添加到预测性明度块、Cb块和Cr块的对应样本以重构CU的明度、Cb和Cr译码块。
滤波器单元160可执行解块操作以减少与CU的明度、Cb和Cr译码块相关联的成块假影。视频解码器30可将CU的明度、Cb和Cr译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的明度、Cb和Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可以从位流提取有效明度系数块的变换系数层级，逆量化变换系数层级，对变换系数层级应用变换以产生变换块，至少部分基于变换块产生译码块并且输出译码块以用于显示。
根据本发明的各种实例，视频解码器30可经配置以执行基于调色板的译码。举例来说，当例如为CU或PU选择基于调色板的解码模式时，基于调色板的解码单元165可执行基于调色板的解码。举例来说，基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板，接收使视频数据块中的至少一些像素位置与调色板中的条目相关联的信息，基于所述信息选择调色板中的像素值，且基于调色板中的选定像素值来重构块的像素值。虽然将各种功能描述为由基于调色板的解码单元165执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。
根据本发明的技术，视频解码器30可经配置以确定在将经重构块存储在经解码图片缓冲器162中或输出经重构块以用于显示之前通过滤波器单元160将环路内滤波(例如，解块滤波和/或SAO滤波)用于经重构的经调色板译码块的像素的设计和应用。更具体来说，视频解码器30的基于调色板的解码单元165可经配置以确定通过滤波器单元160将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素。举例来说，基于视频数据的第一块为经调色板译码块，基于调色板的解码单元165可通过滤波器单元160对视频数据的第一块的经重构版本内的形成于经重构第一块与经重构第二块之间的块边界处的像素禁用解块滤波。基于调色板的解码单元165还可确定滤波器单元160是否将解块滤波应用于经重构第二块内的在形成于经重构第一块与经重构第二块之间的块边界处的像素。关于图4和5更详细地描述用于确定经调色板译码块的解块滤波的应用的技术。
进一步根据本发明的技术，视频解码器30可经配置以确定逆量化单元154为量化经调色板译码块的逸出像素值所使用的QP值和差量QP值。举例来说，视频解码器30可经配置以从所接收位流解码指示经调色板译码块内的至少一个像素是否将解码为具有不包含在经调色板译码块的调色板中的色彩值的逸出像素的第一语法元素。视频解码器30可经进一步配置以基于经调色板译码块内的被解码为逸出像素的至少一个像素，确定经调色板译码块的调色板QP值，所述调色板QP值是从所预测的QP值经调整。
在一个实例中，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在先前未确定包含经调色板译码块的当前量化组的差量QP值的情况下，视频解码器30可从所接收的位流解码指示经调色板译码块的调色板差量QP值的第二语法元素，并且基于所述调色板差量QP值调整所预测的QP值，以便确定经调色板译码块的调色板QP值。视频解码器30接着可从所接收的位流解码逸出像素的经量化色彩值，并且根据所述调色板QP值逆量化逸出像素的色彩值。关于图6更详细地描述用于确定经调色板译码块的调色板QP值的技术。
图5是说明视频译码器确定是否将解块滤波应用于沿着由至少一个经调色板译码块形成的块边界的像素的实例操作的流程图。关于将解块滤波应用于沿着形成于图4的第一块170与第二块172之间的块边界174的像素描述图5的实例操作。图5中所说明的实例操作可由来自图2的视频编码器20或来自图3的视频解码器30执行。
将首先关于视频解码器30描述图5的实例操作。视频解码器30从视频编码器(例如视频编码器20)接收经编码位流。经编码位流包含至少一个图片的视频数据的经编码块的表示以及与所述视频数据相关联的一或多个语法元素。视频解码器30确定待解码的视频数据的第一块170是经调色板译码块(200)。在一些实例中，视频解码器30可接收位流中的指示视频数据的每一块是否是经调色板译码块的至少一个语法元素(例如，标志)。在其它实例中，视频解码器30可接收指示用以对视频数据的每一块进行译码的译码类型(例如，每一块是经调色板译码块、经帧间译码块抑或经帧内译码块等)的一或多个语法元素。
当第一块170是经调色板译码块时，视频解码器30的基于调色板的解码单元165确定用于第一块170的调色板(202)。用于第一块170的调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目。如上文更详细地描述，包含在调色板中的相应色彩值可为在第一块170中最频繁地发生的主要色彩值。基于调色板的解码单元165可根据调色板大小和在经编码位流中所接收的调色板条目来确定调色板。基于调色板的解码单元165接着参照所述调色板确定第一块170的像素的色彩值(204)。
在调色板包含零个调色板条目的情况下，第一块170内的所有像素将被解码为具有不包含在调色板中的色彩值的逸出像素，且基于调色板的解码单元165确定在经编码位流中所接收的逸出像素的色彩值。在调色板包含一或多个调色板条目的情况下，基于调色板的解码单元165确定在经编码位流中所接收的第一块170内的一或多个像素的索引值，并且确定述第一块内的经解码为逸出像素的像素中的任一者的色彩值，所述索引值中的每一者对应于调色板条目中的一者，所述调色板条目中的每一者指示第一块170内的像素中的一者的色彩值。
视频解码器30基于视频数据的第一块170的所确定的调色板和所确定的色彩值来重构第一块170(206)。视频解码器30接着可将经重构第一块170的视频数据存储在经解码图片缓冲器162中并且随后输出经重构第一块170的视频数据以用于显示。
常规地，以与经帧间译码块相同的方式处理经调色板译码块，且因而，在存储于经解码图片缓冲器中或输出以用于显示之前将滤波自动应用于经重构块。根据所揭示的技术，替代地出于解块滤波的目的以与经无损译码块类似的方式处理经调色板译码块。换句话说，所揭示技术包含对经调色板译码块内的像素禁用解块滤波。
基于第一块170为经调色板译码块，基于调色板的解码单元165对经重构第一块170内的在形成于经重构第一块170与经重构第二块172之间的块边界174处的第一像素禁用解块滤波(208)。以此方式，在存储或输出经重构第一块170之前可不将解块滤波应用于经重构第一块170中的第一像素。
在经重构第一块170和经重构第二块172包括明度块的情况下，基于调色板的解码单元165可按以下对经重构第一块170内的第一明度像素禁用解块滤波。基于调色板的解码单元165可首先确定是否对形成于经重构第一块170与经重构第二块172之间的块边界174启用解块滤波。此确定可基于块边界174为PU或TU边界，块边界174的边界强度值大于零，以及沿着块边界174两侧的第一明度像素和第二明度像素的变化低于阈值。
基于对块边界174启用解块滤波，基于调色板的解码单元165接着可确定经重构第一块170内的将被解块滤波的第一明度像素的数目。将被解块滤波的第一明度像素的数目可取决于是强解块滤波还是正常解块滤波将应用于第一明度像素，以及在正常解块滤波的情况下，将应用于第一明度像素的正常解块滤波的强度。基于将被解块滤波的第一明度像素的数目大于零并且基于第一块170为经调色板译码块，基于调色板的解码单元165可设置将被解块滤波的第一明度像素的数目为等于零，以便对经重构第一块170内的第一明度像素禁用解块滤波。此类似于在HEVC版本1中对经无损译码块的明度样本禁用解块滤波的方式，以使得根据所揭示技术，出于解块滤波的目的以与经无损译码块相同的方式处理经调色板译码块。
在经重构第一块170和经重构第二块172包括色度块的情况下，基于调色板的解码单元165可按以下对经重构第一块170内的第一色度像素禁用解块滤波。基于调色板的解码单元165可首先确定是否对形成于经重构第一块170与经重构第二块172之间的块边界174启用解块滤波。此确定可基于块边界174的边界强度值等于二。基于对块边界174启用解块滤波，基于调色板的解码单元165接着可确定用于经重构第一块170内的第一色度像素中的一或多者的经解块滤波值。基于第一块170为经调色板译码块，基于调色板的解码单元165可将第一色度像素中的一或多者的经解块滤波值设置成等于第一色度像素中的一或多者的原始值，以便对经重构第一块170内的第一色度像素禁用解块滤波。此类似于在HEVC版本1中对经无损译码块的色度样本禁用解块滤波的方式，以使得根据所揭示技术，出于解块滤波的目的以与经无损译码块相同的方式处理经调色板译码块。
另外，基于调色板的解码单元165确定是否将解块滤波应用于经重构第二块172内的在形成于经重构第一块170与经重构第二块172之间的块边界174处的第二像素(210)。在一个实例中，基于调色板的解码单元165可确定第二块172也是经调色板译码块。在重构第二块172之后，基于第二块172为经调色板译码块，基于调色板的解码单元165对经重构第二块172内的在形成于经重构第一块170与经重构第二块172之间的块边界174处的第二像素禁用解块滤波。以此方式，在存储或输出经重构第二块172之前可不将解块滤波应用于经重构第二块172中的第二像素。
在另一实例中，基于调色板的解码单元165可确定第二块172不为经调色板译码块，但为经帧间译码块或经帧内译码块等。在重构第二块172之后，基于调色板的解码单元165确定是否对形成于经重构第一块170与经重构第二块172之间的块边界174启用解块滤波。基于对块边界174启用解块滤波，基于调色板的解码单元165确定用于经重构第二块172内的第二像素的解块滤波的类型，并且将所确定的类型的解块滤波应用于经重构第二块172内的第二像素中的一或多者，而不将解块滤波应用于经重构第一块170内的第一像素。以此方式，在存储或输出经重构第二块172之前，解块滤波可应用于经重构第二块172中的第二像素。
现将关于视频编码器20描述图5的实例操作。视频编码器20确定视频数据的第一块170将编码为经调色板译码块(200)。在一些实例中，视频编码器20可在经编码位流中用信号发送指示视频数据的每一块是否为经调色板译码块的至少一个语法元素(例如，标志)。在其它实例中，视频编码器20可在经编码位流中用信号发送指示用以对视频数据的每一块进行译码的译码类型(例如，每一块是经调色板译码块、经帧间译码块抑或经帧内译码块等)的一或多个语法元素。
当第一块170将编码为经调色板译码块时，视频编码器20的基于调色板的编码单元122确定用于第一块170的调色板(202)。用于第一块170的调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目。如上文更详细地描述，包含在调色板中的相应色彩值可为在第一块170中最频繁地发生的主要色彩值。基于调色板的编码单元122可使用像素值群集方法确定调色板的调色板大小和调色板条目。
在确定调色板之后，基于调色板的编码单元122参照所述调色板确定第一块170的像素的色彩值(204)。在调色板包含零个调色板条目的情况下，第一块170内的所有像素将被解码为具有不包含在调色板中的色彩值的逸出像素，且基于调色板的编码单元122在经编码位流中编码逸出像素。在调色板包含一或多个调色板条目的情况下，基于调色板的编码单元122在经编码位流中编码第一块170内的一或多个像素的索引值，并且编码第一块内的经编码为逸出像素的像素中的任一者的色彩值，所述索引值中的每一者对应于调色板条目中的一者，所述调色板条目中的每一者指示第一块170内的像素中的一者的色彩值。
视频编码器20可将经编码位流中的用于第一块170的调色板和色彩值用信号发送到视频解码器，例如视频解码器30。视频编码器20接着在解码环路中基于视频数据的第一块170的所确定的调色板和所确定的色彩值来重构第一块170(206)。视频编码器20接着可将经重构第一块170的视频数据存储在经解码图片缓冲器116中。
根据所揭示技术，基于第一块170为经调色板译码块，基于调色板的编码单元122对经重构第一块170内的在形成于经重构第一块170与经重构第二块172之间的块边界174处的第一像素禁用解块滤波(208)。以此方式，在将经重构第一块170存储于经解码图片缓冲器116中之前，可不将解块滤波应用于经重构第一块170中的第一像素。另外，基于调色板的编码单元122确定是否将解块滤波应用于经重构第二块172内的在形成于经重构第一块170与经重构第二块172之间的块边界174处的第二像素(210)。此确定可至少部分地基于第二块172是经调色板译码块、经帧间译码块抑或经帧内译码块等。
图6是说明视频译码器确定用以量化经调色板译码块的逸出像素值的调色板QP值的的实例操作的流程图。图5中所说明的实例操作可由来自图2的视频编码器20或来自图3的视频解码器30执行。
将首先关于视频解码器30描述图6的实例操作。视频解码器30从视频编码器(例如，视频编码器20)接收经编码位流。经编码位流包含至少一个图片的视频数据的经编码块的表示以及与所述视频数据相关联的一或多个语法元素。在一些实例中，视频解码器30可接收位流中的指示视频数据的每一块是否是经调色板译码块的至少一个语法元素(例如，标志)。在其它实例中，视频解码器30可接收指示用以对视频数据的每一块进行译码的译码类型(例如，每一块是经调色板译码块、经帧间译码块抑或经帧内译码块等)的一或多个语法元素。
当待解码的当前块是经调色板译码块时，视频解码器30的基于调色板的解码单元165确定用于经调色板译码块的调色板，其中所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目(220)。基于调色板的解码单元165确定经调色板译码块内的至少一个像素是否将解码为具有不包含在调色板中的色彩值的逸出像素(224)。在一些实例中，视频解码器30可接收在CU层级在位流中的指示经调色板译码块是否包含至少一个逸出像素的至少一个语法元素(例如，标志)。在其它实例中，视频解码器30可接收用于经调色板译码块内的每一像素的指示所述像素是基于调色板经解码还是经解码为逸出像素的语法元素(例如，标志)。
在一些实例中，视频解码器30还可接收位流中的指示切片层级QP值的语法元素。切片层级QP值是用于在HEVC版本1中量化切片内的块的QP值。对于非经调色板译码块，可基于可针对每一CU用信号发送一次或针对包含多个CU的每一量化组用信号发送一次的差QP量值来调整切片层级QP值。在非调色板译码块包含至少一个非零系数的情况下，可为给定非调色板译码块的差量QP加符号。常规地，基于调色板的译码模式不包含用以调整每一CU或每一量化组的切片层级QP值以使得视频解码器30必须在恒定QP下操作以逆量化经调色板译码块的逸出像素值的机制。
根据本发明的技术，基于经调色板译码块内的至少一个像素经解码为逸出像素，视频解码器30确定经调色板译码块的调色板QP值，所述调色板QP值是从所预测的QP值经调整(226)。经调色板译码块可包含在可包含一或多个其它块(其包含其它经调色板译码块和非调色板译码块)的当前量化组中。在一些实例中，经调整以确定调色板QP值的所预测的QP值可为切片层级QP值。在其它实例中，经调整以确定调色板QP值的所预测的QP值可为与包含在先前量化组中的块相关联的QP值。虽然调色板QP值在本发明中主要描述为单一调色板QP值，但所述调色板QP值可包含明度调色板QP值和至少一个色度调色板QP值。举例来说，调色板QP值可包含调色板QPY值、调色板QPCb值以及调色板QPCr值。
在一个实例中，基于经调色板译码块内的至少一个像素经解码为逸出像素，视频解码器30可确定包含经调色板译码块的当前量化组的差量QP值，并且基于所述差量QP值调整所预测的QP值以便确定经调色板译码块的调色板QP值。
在一些情况下，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在先前未确定包含在还包含经调色板译码块的当前量化组中的块的差量QP值的情况下，视频解码器30可接收指示经调色板译码块的调色板差量QP值的语法元素，并且基于所述调色板差量QP值调整所预测的QP值，以便确定经调色板译码块的调色板QP值。在其它情况下，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在先前已确定包含在当前量化组中的块的差量QP值的情况下，视频解码器30可基于先前确定的差量QP值调整所预测的QP值，以便在无需接收经调色板译码块的差量QP值的情况下确定经调色板译码块的调色板QP值。
在一些实例中，视频解码器30可仅在对经调色板译码块启用差量QP值的情况下才接收指示经调色板译码块的调色板差量QP值的语法元素。举例来说，视频解码器30可接收SPS、VPS、PPS或切片标头中的一者中指示是否在CU层级用信号发送用于经调色板译码块的差量QP值的语法元素。
以上实例可用以确定用以量化明度像素的明度调色板QP值经解码为逸出像素。另外，基于经调色板译码块内的至少一个像素经解码为逸出像素，视频解码器30可确定包含经调色板译码块的当前量化组的色度QP偏移值，并且基于所述色度QP偏移值调整针对经调色板译码块所确定的明度调色板QP值，以便确定经调色板译码块的色度调色板QP值。
在一些情况下，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在先前未确定包含在还包含经调色板译码块的当前量化组中的块的色度QP偏移值的情况下，视频解码器30可接收指示经调色板译码块的调色板色度QP偏移值的语法元素，并且基于所述调色板色度QP偏移值调整明度调色板QP值以便确定经调色板译码块的色度调色板QP值。在其它情况下，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在先前已确定包含在当前量化组中的块的色度QP偏移值的情况下，视频解码器30可基于先前确定的色度QP偏移值调整明度调色板QP值，以便在无需接收经调色板译码块的色度QP偏移值的情况下确定经调色板译码块的色度调色板QP值。
在一些实例中，视频解码器30可仅在对经调色板译码块启用色度QP偏移值的情况下才接收指示经调色板译码块的调色板色度QP偏移值的语法元素。举例来说，视频解码器30可接收SPS、VPS、PPS或切片标头中的一者中指示是否在CU层级用信号发送用于经调色板译码块的色度QP偏移值的语法元素。
作为另一实例，为确定经调色板译码块的调色板QP值，视频解码器30可经配置以确定经调色板译码块是否是当前量化组中的第一块或当前量化组中的任何先前非调色板译码块是否包含非零系数。基于经调色板译码块是当前量化组中的第一块或当前量化组中的先前非调色板译码块都不包含非零系数，视频解码器30可确定从所预测的QP值调整的调色板QP值，所述调色板QP值包含明度和色度QP值。替代地，基于经调色板译码块不为当前量化组中的第一块且当前量化组中的先前非调色板译码块中的至少一者包含非零系数，视频解码器30可确定调色板QP值等于先前针对当前量化组中的至少一个先前非调色板译码块确定的量化组QP值(其包含明度和色度QP值)。
此外，基于经调色板译码块内的至少一个像素经解码为逸出像素，并且在确定经调色板译码块的调色板QP值后，视频解码器30确定逸出像素的不包含在调色板中的色彩值，并且根据调色板QP值量化逸出像素的色彩值(228)。更具体来说，视频解码器30从所接收的位流解码逸出像素的经量化色彩值，并且根据调色板QP值逆量化逸出像素的色彩值。
视频解码器30接着基于所确定的调色板、所确定的索引值以及经调色板译码块的逸出像素的经逆量化色彩值来重构视频数据的经调色板译码块。举例来说，视频解码器30可将所确定的索引值映射到调色板的条目以重构经调色板译码块的像素值。视频解码器30接着可将经重构经调色板译码块的视频数据存储在经解码图片缓冲器162中并且随后输出经重构经调色板译码块的视频数据以用于显示。
现将关于视频编码器20描述图6的实例操作。视频编码器20可在经编码位流中用信号发送指示视频数据的每一块是否是经调色板译码块的至少一个语法元素(例如，标志)。在其它实例中，视频编码器20可在经编码位流中用信号发送指示用以对视频数据的每一块进行译码的译码类型(例如，每一块是经调色板译码块、经帧间译码块抑或经帧内译码块等)的一或多个语法元素。
在当前块将被编码为经调色板译码块时，视频编码器20的基于调色板的编码单元122确定用于经调色板译码块的调色板，其中所述调色板包含指示一或多个相应色彩值的零个或大于零个调色板条目(220)。基于调色板的编码单元122确定经调色板译码块内的至少一个像素是否经编码为具有不包含在调色板中的色彩值的逸出像素(224)。在一些实例中，视频编码器20可在CU层级在位流中用信号发送指示经调色板译码块是否包含至少一个逸出像素的至少一个语法元素(例如，标志)。在其它实例中，视频编码器20可用信号发送用于经调色板译码块内的每一像素的指示所述像素是基于调色板经解码还是经解码为逸出像素的语法元素(例如，标志)。在一些实例中，视频编码器20还可在位流中用信号发送指示切片层级QP值的语法元素。
根据本发明的技术，基于经调色板译码块内的至少一个像素经编码为逸出像素，视频编码器20确定经调色板译码块的调色板QP值，所述调色板QP值是从所预测的QP值经调整(226)。经调色板译码块可包含在可包含一或多个其它块(其包含其它经调色板译码块和非调色板译码块)的当前量化组中。经调整以确定调色板QP值的所预测的QP值可为切片层级QP值或与包含在先前量化组中的块相关联的QP值。调色板QP值可包含明度调色板QP值和至少一个色度调色板QP值。
在一个实例中，基于经调色板译码块内的至少一个像素经编码为逸出像素，视频编码器20可确定包含经调色板译码块的当前量化组的差量QP值，并且基于所述差量QP值调整所预测的QP值以便确定经调色板译码块的调色板QP值。
在一些情况下，基于经调色板译码块内的至少一个像素经编码为逸出像素，并且在先前未确定包含在还包含经调色板译码块的当前量化组中的块的差量QP值的情况下，视频编码器20可确定经调色板译码块的调色板QP值，确定调色板差量QP值(其为调色板QP值与所预测的QP值之间的差)，以及用信号发送指示经调色板译码块的调色板差量QP值的语法元素。在其它情况下，基于经调色板译码块内的至少一个像素经编码为逸出像素，并且在先前已确定包含在当前量化组中的块的差量QP值的情况下，视频编码器20可基于先前确定的差量QP值调整所预测的QP值，以便在无需用信号发送经调色板译码块的差量QP值的情况下确定经调色板译码块的调色板QP值。
在另一实例中，为确定经调色板译码块的调色板QP值，视频编码器20可经配置以确定经调色板译码块是否是当前量化组中的第一块或当前量化组中的任何先前非调色板译码块是否包含非零系数。基于经调色板译码块是当前量化组中的第一块或当前量化组中的先前非调色板译码块都不包含非零系数，视频编码器20可确定从所预测的QP值调整的调色板QP值，所述调色板QP值包含明度和色度QP值。替代地，基于经调色板译码块不为当前量化组中的第一块且当前量化组中的先前非调色板译码块中的至少一者包含非零系数，视频编码器20可确定调色板QP值等于先前针对当前量化组中的至少一个先前非调色板译码块确定的量化组QP值(其包含明度和色度QP值)。
基于经调色板译码块内的至少一个像素经编码为逸出像素，并且在确定经调色板译码块的调色板QP值后，视频编码器20确定逸出像素的不包含在调色板中的色彩值，并且根据调色板QP值量化逸出像素的色彩值(228)。更具体来说，视频编码器20根据调色板QP值量化逸出像素的色彩值，并且在位流中编码逸出像素的量化色彩值。
视频编码器20接着在解码环路中基于所确定的调色板、所确定的索引值以及经调色板译码块的逸出像素的经逆量化色彩值来重构视频数据的经调色板译码块。举例来说，视频编码器20可将所确定的索引值映射到调色板的条目以重构经调色板译码块的像素值。视频编码器20接着可将经重构经调色板译码块的视频数据存储在经解码图片缓冲器116中。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同序列执行，可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非依序地执行动作或事件。另外，虽然为了清晰起见，本发明的某些方面被描述为由单一模块或单元执行，但是应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
出于说明的目的，已关于HEVC版本1以及HEVC SCC WD1.0和WD2.0描述了本发明的某些方面。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
上文所描述的技术可由视频编码器20(图1和2)和/或视频解码器30(图1和3)(其两者可通常被称作视频译码器)执行。同样地，在适用时，视频译码可指视频编码或视频解码。
虽然在上文描述所述技术的各种方面的特定组合，但提供这些组合仅为了说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想的组合。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体等有形媒体，通信媒体包含例如根据通信协议促进将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，任何连接适当地被称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编码解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种示例。这些和其它实例在所附权利要求书的范围内。

Claims (31)

1.一种解码视频数据的方法，所述方法包括：
确定用于经调色板编码块的调色板，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
从所接收位流中解码所述经调色板编码块内的至少一个像素将被解码为具有不包含在所述调色板中的色彩值的逸出像素的指示；以及
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
从所述所接收位流中解码所述逸出像素的经量化色彩值，并且
根据所述调色板QP值逆量化所述逸出像素的所述色彩值。
2.根据权利要求1所述的方法，其中所述调色板QP值包括明度调色板QP值和至少一个色度调色板QP值。
3.根据权利要求1所述的方法，其中所述经调色板编码块包含在当前量化组中，且其中所述所预测的QP值包括切片层级QP值或与包含在先前量化组中的块相关联的QP值中的一者。
4.根据权利要求1所述的方法，其中确定所述调色板QP值包括：
确定包含所述经调色板编码块的当前量化组的差量QP值；和
基于所述差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值。
5.根据权利要求1所述的方法，其中所述经调色板编码块是第一经调色板编码块，且其中确定所述调色板QP值包括：
基于先前已确定包含所述第一经调色板编码块的当前量化组的差量QP值，基于所述先前确定的差量QP值调整所述所预测的QP值，以便确定所述第一经调色板编码块的所述调色板QP值；和
基于先前未确定包含第二经调色板编码块的当前量化组的差量QP值，确定所述第二经调色板编码块的调色板差量QP值，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述第二经调色板编码块的所述调色板QP值。
6.根据权利要求5所述的方法，其中确定所述第二经调色板编码块的所述调色板差量QP值包括：
确定是否对经调色板编码块启用差量QP值；和
基于对经调色板编码块启用差量QP值，确定所述第二经调色板编码块的所述调色板差量QP值。
7.根据权利要求1所述的方法，其中所述调色板QP值包括明度调色板QP值，所述方法进一步包括：
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，确定包含所述经调色板编码块的当前量化组的色度QP偏移值；和
基于所述色度QP偏移值调整针对所述经调色板编码块所确定的所述明度调色板QP值，以便确定所述经调色板编码块的色度调色板QP值。
8.根据权利要求1所述的方法，其中所述经调色板编码块是第一经调色板编码块，且其中所述调色板QP值包括明度调色板QP值，所述方法进一步包括：
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且先前已确定包含所述第一经调色板编码块的当前量化组的色度QP偏移值，基于所述先前确定的色度QP偏移值调整针对所述第一经调色板编码块所确定的所述明度调色板QP值，以便确定所述第一经调色板编码块的色度调色板QP值；和
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且先前未确定包含第二经调色板编码块的当前量化组的色度QP偏移值，确定所述第二经调色板编码块的调色板色度QP偏移值，并且基于所述调色板色度QP偏移值调整针对所述第二经调色板编码块所确定的所述明度调色板QP值，以便确定所述第二经调色板编码块的所述色度调色板QP值。
9.根据权利要求8所述的方法，其中确定所述第二经调色板编码块的所述调色板色度QP偏移值包括：
确定是否对经调色板编码块启用色度QP偏移值；和
基于对经调色板编码块启用色度QP偏移值，确定所述第二经调色板编码块的所述调色板色度QP偏移值。
10.根据权利要求1所述的方法，其中确定所述调色板QP值包括：
确定所述经调色板编码块是否是当前量化组中的第一块或所述当前量化组中的任何先前非调色板编码块是否包含非零系数；
基于所述经调色板编码块是所述当前量化组中的所述第一块或所述当前量化组中的所述先前非调色板编码块都不包含非零系数，确定从所述所预测的QP值调整的所述调色板QP值，所述调色板QP值包含明度和色度调色板QP值；和
基于所述经调色板编码块不是所述当前量化组中的所述第一块，且所述当前量化组中的所述先前非调色板编码块中的至少一者包含非零系数，确定所述调色板QP值等于先前针对所述当前量化组中的所述至少一个先前非调色板编码块确定的量化组QP值，所述量化组QP值包含明度和色度QP值。
11.根据权利要求1所述的方法，：
其中解码所述指示包括解码来自所述所接收位流的指示所述经调色板编码块内的所述至少一个像素是否将解码为逸出像素的第一语法元素；以及
其中基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，确定所述调色板QP值包括：
在先前未确定包含在还包含所述经调色板编码块的当前量化组中的块的差量QP值的情况下，解码来自所述所接收的位流的指示所述经调色板编码块的调色板差量QP值的第二语法元素，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值；以及
在先前已确定包含在所述当前量化组中的块的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便在无需解码所述经调色板编码块的差量QP值的情况下确定所述经调色板编码块的所述调色板QP值。
12.一种视频解码装置，其包括：
存储器，其经配置以存储视频数据；和
一或多个处理器，其与所述存储器通信且经配置以：
确定用于经调色板编码块的调色板，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
从所接收位流中解码所述经调色板编码块内的至少一个像素将被解码具有不包含在所述调色板中的色彩值的逸出像素的指示；
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
从所述所接收位流中解码所述逸出像素的经量化色彩值，并且
根据所述调色板QP值逆量化所述逸出像素的所述色彩值。
13.根据权利要求12所述的视频解码装置，其中所述调色板QP值包括明度调色板QP值和至少一个色度调色板QP值。
14.根据权利要求12所述的视频解码装置，其中所述经调色板编码块包含在当前量化组中，且其中所述所预测的QP值包括切片层级QP值或与包含在先前量化组中的块相关联的QP值中的一者。
15.根据权利要求12所述的视频解码装置，其中所述一或多个处理器经配置以：
确定包含所述经调色板编码块的当前量化组的差量QP值；和
基于所述差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值。
16.根据权利要求12所述的视频解码装置，其中所述一或多个处理器经配置以：
在先前已确定包含所述经调色板编码块的当前量化组的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值；和
在先前未确定所述当前量化组的差量QP值的情况下，确定所述经调色板编码块的调色板差量QP值，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值。
17.根据权利要求16所述的视频解码装置，其中所述一或多个处理器经配置以：
确定是否对经调色板编码块启用差量QP值；和
基于对经调色板编码块启用差量QP值，确定所述经调色板编码块的所述调色板差量QP值。
18.根据权利要求12所述的视频解码装置，其中所述调色板QP值包括明度调色板QP值，且其中所述一或多个处理器经配置以：
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，确定包含所述经调色板编码块的当前量化组的色度QP偏移值；和
基于所述色度QP偏移值调整针对所述经调色板编码块所确定的所述明度调色板QP值，以便确定所述经调色板编码块的色度调色板QP值。
19.根据权利要求12所述的视频解码装置，其中所述调色板QP值包括明度调色板QP值，且其中所述一或多个处理器经配置以：
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且在先前已确定包含所述经调色板编码块的当前量化组的色度QP偏移值的情况下，基于所述先前确定的色度QP偏移值调整针对所述经调色板编码块所确定的所述明度调色板QP值，以便确定所述经调色板编码块的色度调色板QP值；和
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且在先前未确定所述当前量化组的色度QP偏移值的情况下，确定所述经调色板编码块的调色板色度QP偏移值，并且基于所述调色板色度QP偏移值调整针对所述经调色板编码块所确定的所述明度调色板QP值，以便确定所述经调色板编码块的所述色度调色板QP值。
20.根据权利要求19所述的视频解码装置，其中所述一或多个处理器经配置以：
确定是否对经调色板编码块启用色度QP偏移值；和
基于对经调色板编码块启用色度QP偏移值，确定所述经调色板编码块的所述调色板色度QP偏移值。
21.根据权利要求12所述的视频解码装置，其中所述一或多个处理器经配置以：
确定所述经调色板编码块是否是当前量化组中的第一块或所述当前量化组中的任何先前非调色板编码块是否包含非零系数；
基于所述经调色板编码块是所述当前量化组中的所述第一块或所述当前量化组中的所述先前非调色板编码块都不包含非零系数，确定从所述所预测的QP值调整的所述调色板QP值，所述调色板QP值包含明度和色度调色板QP值；和
基于所述经调色板编码块不是所述当前量化组中的所述第一块，且所述当前量化组中的所述先前非调色板编码块中的至少一者包含非零系数，确定所述调色板QP值等于先前针对所述当前量化组中的所述至少一个先前非调色板编码块确定的量化组QP值，所述量化组QP值包含明度和色度QP值。
22.根据权利要求12所述的视频解码装置，其中所述一或多个处理器经配置以：
解码来自所述所接收位流的指示所述经调色板编码块内的所述至少一个像素将解码为逸出像素的第一语法元素；
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且在先前未确定包含在还包含所述经调色板编码块的当前量化组中的块的差量QP值的情况下，解码来自所述所接收的位流的指示所述经调色板编码块的调色板差量QP值的第二语法元素，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值；以及
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素，并且在先前已确定包含在所述当前量化组中的块的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便在无需解码所述经调色板编码块的差量QP值的情况下确定所述经调色板编码块的所述调色板QP值。
23.根据权利要求12所述的视频解码装置，其中所述视频处理装置包括以下各项中的至少一者：
集成电路；
微处理器；或
无线通信装置。
24.一种视频解码装置，其包括：
用于确定用于经调色板编码块的调色板的装置，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
用于从所接收位流中解码所述经调色板编码块内的至少一个像素将被解码为具有不包含在所述调色板中的色彩值的逸出像素的装置；以及
用于基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值的装置，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
用于从所述所接收位流中解码所述逸出像素经量化色彩值的装置，以及
用于根据所述调色板QP值逆量化所述逸出像素的所述色彩值的装置。
25.根据权利要求24所述的视频解码装置，其中所述用于确定所述经调色板编码块的所述调色板QP值的装置进一步包括：
用于在先前已确定包含所述经调色板编码块的当前量化组的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值的装置；和
用于在先前未确定所述当前量化组的差量QP值的情况下，确定所述经调色板编码块的调色板差量QP值，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值的装置。
26.一种非暂时性计算机可读介质，具有存储于其上的用于解码视频数据的指令，所述指令在执行时致使一或多个处理器：
确定用于经调色板编码块的调色板，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
从所接收位流中解码所述经调色板编码块内的至少一个像素将被解码为具有不包含在所述调色板中的色彩值的逸出像素的指示；以及
基于所述经调色板编码块内的所述至少一个像素经解码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
从所述所接收位流中解码逸出像素的经量化色彩值，并且
根据所述调色板QP值逆量化所述逸出像素的所述色彩值。
27.根据权利要求26所述的非暂时性计算机可读介质，其中所述指令致使所述一或多个处理器：
在先前已确定包含所述经调色板编码块的当前量化组的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值；和
在先前未确定所述当前量化组的差量QP值的情况下，确定所述经调色板编码块的调色板差量QP值，并且基于所述调色板差量QP值调整所述所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值。
28.一种编码视频数据的方法，所述方法包括：
确定用于经调色板编码块的调色板，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
在位流中编码所述经调色板编码块内的至少一个像素被编码为具有不包含在所述调色板中的色彩值的逸出像素的指示；以及
基于所述经调色板编码块内的所述至少一个像素经编码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
根据所述调色板QP值量化所述逸出像素的所述色彩值，以及
在所述位流中编码所述逸出像素的经量化色彩值。
29.根据权利要求28所述的方法，
其中编码所述指示包括在所述位流中编码指示所述经调色板编码块内的所述至少一个像素编码为逸出像素的第一语法元素；以及
其中，基于所述经调色板编码块内的所述至少一个像素经编码为逸出像素，确定所述调色板QP值包括：
在先前未确定包含在还包含所述经调色板编码块的当前量化组中的块的差量QP值的情况下，确定所述经调色板编码块的所述调色板QP值，确定为所述调色板QP值与所述所预测的QP值之间的差的调色板差量QP值，以及在所述位流中编码指示所述经调色板编码块的所述调色板差量QP值的第二语法元素；以及
在先前已确定包含在所述当前量化组中的块的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便在无需编码所述经调色板编码块的差量QP值的情况下确定所述经调色板编码块的所述调色板QP值。
30.一种视频编码装置，其包括：
存储器，其经配置以存储视频数据；和
一或多个处理器，其与所述存储器通信且经配置以：
确定用于经调色板编码块的调色板，所述调色板包含表示无色彩值的零条目或指示一或多个相应色彩值的大于零个调色板条目；
在位流中编码所述经调色板编码块内的至少一个像素被编码为具有不包含在所述调色板中的色彩值的逸出像素的指示；以及
基于所述经调色板编码块内的所述至少一个像素经编码为逸出像素：
确定所述经调色板编码块的调色板量化参数QP值，其中确定所述调色板QP值包括：
确定用于所述经调色板编码块的差量QP值，以及
基于所述差量QP值调整所预测的QP值，以便确定所述经调色板编码块的所述调色板QP值，
根据所述调色板QP值量化所述逸出像素的所述色彩值，以及
在所述位流中编码所述逸出像素的经量化色彩值。
31.根据权利要求30所述的视频编码装置，其中所述一或多个处理器经配置以：
在所述位流中编码指示所述经调色板编码块内的所述至少一个像素编码为逸出像素的第一语法元素；
基于所述经调色板编码块内的所述至少一个像素经编码为逸出像素，并且在先前未确定包含在还包含所述经调色板编码块的当前量化组中的块的差量QP值的情况下，确定所述经调色板编码块的所述调色板QP值，确定为所述调色板QP值与所述所预测的QP值之间的差的调色板差量QP值，以及在所述位流中编码指示所述经调色板编码块的所述调色板差量QP值的第二语法元素；以及
基于所述经调色板编码块内的所述至少一个像素经编码为逸出像素，并且在先前已确定包含在所述当前量化组中的块的差量QP值的情况下，基于所述先前确定的差量QP值调整所述所预测的QP值，以便在无需编码所述经调色板编码块的差量QP值的情况下确定所述经调色板编码块的所述调色板QP值。
CN201580030946.5A 2014-06-11 2015-06-11 用于编码/解码视频数据的方法和装置 Active CN106416249B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201462010979P 2014-06-11 2014-06-11
US62/010,979 2014-06-11
US201462066851P 2014-10-21 2014-10-21
US201462066797P 2014-10-21 2014-10-21
US62/066,851 2014-10-21
US62/066,797 2014-10-21
US14/736,111 2015-06-10
US14/736,111 US10136141B2 (en) 2014-06-11 2015-06-10 Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
PCT/US2015/035301 WO2015191838A1 (en) 2014-06-11 2015-06-11 Determining quantization parameter (qp) values and delta qp values for palette coded blocks in video coding

Publications (2)

Publication Number Publication Date
CN106416249A CN106416249A (zh) 2017-02-15
CN106416249B true CN106416249B (zh) 2019-08-30

Family

ID=53719905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580030946.5A Active CN106416249B (zh) 2014-06-11 2015-06-11 用于编码/解码视频数据的方法和装置

Country Status (10)

Country Link
US (1) US10136141B2 (zh)
EP (1) EP3155815B1 (zh)
JP (1) JP6542268B2 (zh)
KR (1) KR102384090B1 (zh)
CN (1) CN106416249B (zh)
BR (1) BR112016028722A2 (zh)
CA (1) CA2950168C (zh)
ES (1) ES2767103T3 (zh)
HU (1) HUE046926T2 (zh)
WO (1) WO2015191838A1 (zh)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102275639B1 (ko) 2013-10-14 2021-07-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
JP6532222B2 (ja) * 2014-11-28 2019-06-19 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10659783B2 (en) * 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
WO2017203930A1 (en) * 2016-05-27 2017-11-30 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
US10448056B2 (en) * 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
JP2018107534A (ja) * 2016-12-22 2018-07-05 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、及び映像復号方法
EP3571844A1 (en) * 2017-03-23 2019-11-27 Huawei Technologies Co., Ltd. Apparatus and method for de-blocking filtering
EP3649782A4 (en) * 2017-07-05 2021-04-14 Telefonaktiebolaget LM Ericsson (PUBL) DECODING A BLOCK OF VIDEO SAMPLE
MX2020003656A (es) * 2017-10-02 2020-10-12 Arris Entpr Llc Sistema y método para reducir artefactos de bloque y proporcionar eficiencia de codificación mejorada.
WO2019135601A1 (ko) 2018-01-02 2019-07-11 삼성전자 주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11689722B2 (en) 2018-04-02 2023-06-27 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
JP7278719B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN110881129B (zh) * 2018-09-05 2024-01-05 华为技术有限公司 视频解码方法及视频解码器
KR20210089654A (ko) * 2018-10-01 2021-07-16 오피 솔루션즈, 엘엘씨 지수 파티셔닝의 방법들 및 시스템들
US10951895B2 (en) * 2018-12-31 2021-03-16 Alibaba Group Holding Limited Context model selection based on coding unit characteristics
KR20230164752A (ko) * 2019-01-02 2023-12-04 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치
US11019359B2 (en) 2019-01-15 2021-05-25 Tencent America LLC Chroma deblock filters for intra picture block compensation
CN113475062A (zh) 2019-02-24 2021-10-01 北京字节跳动网络技术有限公司 确定屏幕内容编解码的条件
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
US11503311B2 (en) 2019-03-08 2022-11-15 Sony Group Corporation Hybrid palette-DPCM coding for image compression
WO2020182113A1 (en) * 2019-03-10 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Combined screen content coding mode
AU2020260657A1 (en) * 2019-04-26 2021-11-11 Huawei Technologies Co., Ltd. Method and apparatus for signaling of mapping function of chroma quantization parameter
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
US11616962B2 (en) * 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
CN117459744A (zh) * 2019-07-20 2024-01-26 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
CN114208174B (zh) * 2019-07-29 2023-11-28 北京字节跳动网络技术有限公司 预测过程中的调色板模式编解码
KR20220044278A (ko) 2019-08-15 2022-04-07 바이트댄스 아이엔씨 상이한 분할 구조들을 갖는 팔레트 모드
EP4000263A4 (en) 2019-08-15 2022-09-07 ByteDance Inc. ENTROPIC CODING FOR VANE ESCAPE SYMBOL
CN116684634A (zh) 2019-08-26 2023-09-01 Lg电子株式会社 编码设备、解码设备和比特流发送设备
CN114556931B (zh) * 2019-08-26 2023-08-08 Lg电子株式会社 基于调色板模式的图像或视频编码
EP4014497A4 (en) * 2019-09-14 2022-11-30 ByteDance Inc. QUANTIZE PARAMETER FOR CHROMINANCE UNBLOCKING FILTERING
US11388443B2 (en) * 2019-09-18 2022-07-12 Qualcomm Incorporated Harmonization of deblocking conditions in video coding
JP2022548737A (ja) * 2019-09-19 2022-11-21 バイトダンス インコーポレイテッド パレット・モードのための量子化パラメータ導出
EP4022912A4 (en) * 2019-09-23 2022-11-09 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR SIGNALING AND DERIVING CHROMINANCE QP OFFSET TABLES
KR20230125862A (ko) * 2019-09-23 2023-08-29 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 비디오 코딩에서의 양자화 및 역-양자화 디자인을 위한 방법 및 장치
CN114651442A (zh) 2019-10-09 2022-06-21 字节跳动有限公司 视频编解码中的跨分量适应性回路滤波
JP2022552338A (ja) * 2019-10-14 2022-12-15 バイトダンス インコーポレイテッド クロマ残差の共同コーディング及びビデオ処理におけるフィルタリング
US20220408104A1 (en) * 2019-11-05 2022-12-22 Lg Electronics Inc. Image or video coding based on chroma quantization parameter offset information
WO2021091265A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 양자화 파라미터 오프셋 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
KR20220071268A (ko) * 2019-11-05 2022-05-31 엘지전자 주식회사 팔레트 코딩 또는 변환 유닛을 위한 양자화 파라미터 정보 기반 영상 또는 비디오 코딩
US20220368907A1 (en) * 2019-11-05 2022-11-17 Lg Electronics Inc. Image or video coding based on signaling of quantization parameter-related information
WO2021091261A1 (ko) * 2019-11-05 2021-05-14 엘지전자 주식회사 양자화 관련 정보 기반 영상 또는 비디오 코딩
US20220408093A1 (en) * 2019-11-05 2022-12-22 Lg Electronics Inc. Video decoding method and device for coding chroma quantization parameter offset-related information
KR20220106116A (ko) 2019-12-09 2022-07-28 바이트댄스 아이엔씨 비디오 코딩에서 양자화 그룹 사용
WO2021138293A1 (en) 2019-12-31 2021-07-08 Bytedance Inc. Adaptive color transform in video coding
US11516514B2 (en) * 2020-03-27 2022-11-29 Tencent America LLC High level control for deblocking operations
WO2023195330A1 (ja) * 2022-04-08 2023-10-12 ソニーグループ株式会社 画像処理装置および方法
CN116489373A (zh) * 2022-07-26 2023-07-25 杭州海康威视数字技术股份有限公司 一种图像解码方法、编码方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196266A (zh) * 2005-09-23 2011-09-21 喷流数据有限公司 利用逐颜色分裂向调色板图像提供熵约束颜色分裂的计算机系统
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0160610B1 (ko) * 1992-04-07 1999-01-15 강진구 가변장부호화에 의한 영상압축방법과 신장방법 및 그 장치
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US6937759B2 (en) * 2002-02-28 2005-08-30 Nokia Corporation Method and device for reducing image by palette modification
US6987807B2 (en) * 2002-04-19 2006-01-17 Seiko Epson Corporation Frame compression using differential codes and an escape code
WO2008005102A2 (en) 2006-05-13 2008-01-10 Sap Ag Consistent set of interfaces derived from a business object model
AU2007249117B2 (en) * 2007-12-19 2010-11-18 Canon Kabushiki Kaisha Variable-length encoding for image data compression
EP2297963B1 (en) 2008-06-20 2011-11-30 Dolby Laboratories Licensing Corporation Video compression under multiple distortion constraints
US9445121B2 (en) 2008-08-04 2016-09-13 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
WO2010022002A1 (en) 2008-08-19 2010-02-25 Marvell World Trade Ltd Systems and methods for perceptually lossless video compression
KR101813189B1 (ko) * 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
EP2580911A1 (en) * 2010-06-10 2013-04-17 Thomson Licensing Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
CN103098466B (zh) * 2010-09-13 2016-08-17 索尼电脑娱乐公司 图像处理装置和图像处理方法
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US20120114034A1 (en) * 2010-11-08 2012-05-10 Mediatek Inc. Method and Apparatus of Delta Quantization Parameter Processing for High Efficiency Video Coding
CA2825927A1 (en) * 2011-01-28 2012-08-02 Eye IO, LLC Color conversion based on an hvs model
PL3001682T3 (pl) 2011-03-01 2017-07-31 Telefonaktiebolaget Lm Ericsson (Publ) Sterowanie filtrowaniem pozbywania się bloków
EP2805493A1 (en) 2012-01-17 2014-11-26 Futurewei Technologies, Inc. In-loop filtering for lossless coding mode in high efficiency video coding
US9596461B2 (en) 2012-11-26 2017-03-14 Qualcomm Incorporated Loop filtering across constrained intra block boundaries in video coding
EP3085083B1 (en) 2013-12-18 2021-12-15 HFI Innovation Inc. Method and apparatus for palette initialization and management
KR101782280B1 (ko) 2013-12-18 2017-10-23 에이치에프아이 이노베이션 인크. 팔레트 테이블 예측을 위한 방법 및 장치
CN105981388B (zh) 2013-12-27 2019-05-10 寰发股份有限公司 调色板编码中句法冗余移除的方法和装置
CN110225345B (zh) 2013-12-27 2022-07-19 寰发股份有限公司 用于主颜色索引图编码的方法及装置
US10182242B2 (en) 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
WO2015101329A1 (en) 2014-01-02 2015-07-09 Mediatek Singapore Pte. Ltd. Method and apparatus for intra prediction coding with boundary filtering control
JP6322713B2 (ja) * 2014-01-02 2018-05-09 ヴィド スケール インコーポレイテッド スクリーンコンテンツコーディングのための２次元パレットコーディング
BR112016012449A2 (pt) 2014-01-07 2017-08-08 Mediatek Inc Método e aparelho para predição de índices de cores
WO2015131325A1 (en) * 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
US10368092B2 (en) * 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
KR20160129075A (ko) * 2014-03-04 2016-11-08 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인트라 블록 카피 예측에서의 스킵 모드 및 블록 플립핑
KR102494913B1 (ko) * 2014-03-14 2023-02-06 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 팔레트 코딩
CN106105229B (zh) 2014-03-14 2019-03-15 寰发股份有限公司 使用调色板编码来编码视频数据的块的方法及装置
JP6164360B2 (ja) 2014-03-14 2017-07-19 富士通株式会社 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
JP6640731B2 (ja) 2014-03-16 2020-02-05 ヴィド スケール インコーポレイテッド 無損失ビデオコーディングのシグナリングのための方法および装置
US9654806B2 (en) 2014-03-26 2017-05-16 Qualcomm Incorporated Determining palette size, palette entries and filtering of palette coded blocks in video coding
CN105409221B (zh) * 2014-04-29 2020-03-06 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
US10038915B2 (en) 2014-05-22 2018-07-31 Qualcomm Incorporated Escape sample coding in palette-based video coding
EP3130148A4 (en) 2014-05-23 2017-06-21 HFI Innovation Inc. Methods for palette size signaling and conditional palette escape flag signaling
US10091512B2 (en) * 2014-05-23 2018-10-02 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
CN105282550A (zh) * 2014-06-13 2016-01-27 财团法人工业技术研究院 编码方法与解码方法、编解码系统、编码器与解码器
CN105323583B (zh) * 2014-06-13 2019-11-15 财团法人工业技术研究院 编码方法、解码方法、编解码系统、编码器与解码器
EP4354856A2 (en) * 2014-06-19 2024-04-17 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
WO2015194187A1 (en) * 2014-06-20 2015-12-23 Sharp Kabushiki Kaisha Harmonized palette coding
US10237557B2 (en) 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor
US20150381994A1 (en) * 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US9807410B2 (en) * 2014-07-02 2017-10-31 Apple Inc. Late-stage mode conversions in pipelined video encoders
US9544607B2 (en) * 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding
CN106797471B (zh) * 2014-09-03 2020-03-10 联发科技股份有限公司 一种对图像内区块使用调色板预测模式的颜色索引图解码方法
US10812817B2 (en) * 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
CN105491379A (zh) * 2014-10-01 2016-04-13 财团法人工业技术研究院 解码器、编码器、解码方法、编码方法与编解码系统
EP3205107A2 (en) * 2014-10-06 2017-08-16 VID SCALE, Inc. Improved palette coding for screen content coding
US9807402B2 (en) * 2014-10-06 2017-10-31 Industrial Technology Research Institute Method of color palette coding applicable to electronic device and electronic device using the same
US10687069B2 (en) * 2014-10-08 2020-06-16 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
GB2542858A (en) * 2015-10-02 2017-04-05 Canon Kk Encoder optimizations for palette encoding of content with subsampled colour component
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102196266A (zh) * 2005-09-23 2011-09-21 喷流数据有限公司 利用逐颜色分裂向调色板图像提供熵约束颜色分裂的计算机系统
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《BoG report on Range Extensions topics》;D. Flynn;《Joint Collaborative Team on Video Coding (JCT-VC)》;20131101;正文第9节

Also Published As

Publication number Publication date
JP2017521920A (ja) 2017-08-03
CA2950168C (en) 2023-08-29
KR102384090B1 (ko) 2022-04-06
CN106416249A (zh) 2017-02-15
EP3155815B1 (en) 2019-10-16
KR20170016856A (ko) 2017-02-14
ES2767103T3 (es) 2020-06-16
US10136141B2 (en) 2018-11-20
BR112016028722A2 (pt) 2017-08-22
EP3155815A1 (en) 2017-04-19
JP6542268B2 (ja) 2019-07-10
HUE046926T2 (hu) 2020-03-30
WO2015191838A1 (en) 2015-12-17
CA2950168A1 (en) 2015-12-17
US20150365671A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN105874796B (zh) 用于基于调色板的视频译码的颜色索引译码
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106105200B (zh) 基于调色板的视频译码
CN106464915B (zh) 基于调色板的视频译码中的最大调色板参数
CN106464884B (zh) 基于调色板的视频译码中的译码行程
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN106464883B (zh) 基于调色板的视频译码中的逃脱样本译码方法、装置及设备
CN105191320B (zh) 对视频数据进行编码和解码的方法和设备
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN105556974B (zh) 基于调色板的视频译码中的调色板预测
CN105264891B (zh) 一种对视频数据进行解码、编码的方法及装置
TWI705697B (zh) 在視訊寫碼中調色板區塊大小之限制
CN104205837B (zh) 视频译码中的经译码块旗标推断
CN108781289A (zh) 针对视频译码工具的受约束块层级优化和用信号发送
CN104380748B (zh) 用于对视频数据进行编码和解码的方法和装置
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN107637080A (zh) 对最后的调色板索引进行分组以及使用调色板大小和游程值的索引译码
CN106717003A (zh) 调色板索引译码的解析依赖性减小
CN109076228A (zh) 滤波信息的发信号
CN107211144A (zh) 用于预测残差的增强型多重变换
CN107409215A (zh) 用于视频译码的调色板模式译码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant