CN108028940B - 调色板模式视频译码中转义像素信号值的限制 - Google Patents

调色板模式视频译码中转义像素信号值的限制 Download PDF

Info

Publication number
CN108028940B
CN108028940B CN201680053503.2A CN201680053503A CN108028940B CN 108028940 B CN108028940 B CN 108028940B CN 201680053503 A CN201680053503 A CN 201680053503A CN 108028940 B CN108028940 B CN 108028940B
Authority
CN
China
Prior art keywords
escape
value
video data
palette
bitstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053503.2A
Other languages
English (en)
Other versions
CN108028940A (zh
Inventor
瓦迪姆·谢廖金
瑞珍·雷克斯曼·乔许
克里希纳坎斯·拉帕卡
马尔塔·卡切维奇
谢成郑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108028940A publication Critical patent/CN108028940A/zh
Application granted granted Critical
Publication of CN108028940B publication Critical patent/CN108028940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种经配置以解码视频数据的设备，所述设备包括经配置以存储所述视频数据的存储器；及一或多个处理器。所述一或多个处理器经配置以：接收受约束以使得用于解码所述视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中所述位流包含用于确定表示待解码的所述视频数据的块中的样本的至少一个转义值的信息；且使用用于确定所述至少一个转义值的所述信息来重建所述视频数据的所述块中的所述样本。

Description

调色板模式视频译码中转义像素信号值的限制
本申请要求2015年9月18日申请的第62/220,675号美国临时专利申请的权益，所述申请的全部内容特此以引用的方式并入本文中。
技术领域
本发明涉及编码及解码内容，且更确切地说，涉及根据基于调色板的译码模式编码及解码内容。
背景技术
可将数字视频能力并入到广泛范围的装置中，所述装置包含数字电视、数字直播广播系统、无线广播系统、个人数字助理(PDA)、笔记本电脑或台式计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分高级视频译码(AVC)、ITU-T H.265、高效率视频译码(HEVC)所定义的标准及此些标准的扩展中所描述的那些视频压缩技术。视频装置可通过实施此些视频压缩技术来更高效地传输、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。图片的经帧内译码(I)切片中的视频块使用关于同一图片中的相邻块中的参考样本的空间预测来编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。空间或时间预测产生待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。经帧间译码的块是根据指向形成预测性块的参考样本的块的运动向量来编码，且残余数据指示经译码块与预测性块之间的差。经帧内译码的块是根据帧内译码模式及残余数据来编码。为进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余系数。
可使用调色板模式编码及解码内容，例如图像或视频。一般来说，调色板模式为用于译码图片中的像素的另一种技术。调色板模式包含使用色彩值的调色板表示像素的内容。可编码内容以使得所述内容像素为对应于调色板中的色彩值的经表示值。可解码索引图以将像素映射到调色板中的色彩值，且从而得到色彩值以重建内容。
发明内容
本发明的技术涉及基于调色板的视频译码。举例来说，在基于调色板的译码中，视频译码器(视频编码器或视频解码器)可形成作为用于表示特定区域(例如，给定块)的视频数据的色彩表的“调色板”。基于调色板的译码可尤其适用于译码具有相对较少数目种色彩的视频数据区域。视频译码器可译码用于像素中的一或多者的调色板索引，而非译码实际像素值(或其残余)，所述调色板索引使所述像素与表示所述像素的色彩的调色板中的条目相关。本发明中所描述的所述技术可包含用于进行以下操作中的一或多者的各种组合的技术：传信基于调色板的译码模式、传输调色板、导出调色板及传输基于调色板的译码映射及其它语法元素。
在一个实例中，一种解码视频数据的方法包括：接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中所述位流包含用于确定表示待解码的视频数据的块中的样本的至少一个转义值的信息；及使用用于确定至少一个转义值的信息来重建视频数据块中的样本。
在另一实例中，一种编码视频数据的方法包括：确定用于编码视频数据的调色板模式中所使用的转义值的最大值，其中所述转义值表示待编码的视频数据的块中的样本；将一或多个转义值限制为不超过所述最大值；及在经编码视频数据位流中编码一或多个转义值。
在另一实例中，一种解码视频数据的方法包括：接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数来量化的限制相符；基于限制从位流确定至少一个转义值；及使用至少一个转义值来重建视频数据的样本。
在另一实例中，一种编码视频数据的方法包括：确定用于视频数据的量化参数值；确定量化参数下限；如果量化参数值低于量化参数下限，那么根据量化参数下限量化用于编码视频数据的调色板模式中所使用的转义值，其中所述转义值表示待编码的视频数据的块中的样本；及在经编码视频数据位流中编码所述转义值。
在另一实例中，一种经配置以解码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及一或多个处理器，其经配置以：接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不超过最大值的位流，其中所述位流包含用于确定表示待解码的视频数据的块中的样本的至少一个转义值的信息；且使用用于确定至少一个转义值的信息来重建视频数据块中的样本。
在另一实例中，一种经配置以编码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及一或多个处理器，其经配置以：确定用于编码视频数据的调色板模式中所使用的转义值的最大值，其中所述转义值表示待编码的视频数据的块中的样本；将一或多个转义值限制为不大于最大值；且在经编码视频数据位流中编码一或多个转义值。
在另一实例中，一种经配置以解码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及一或多个处理器，其经配置以：接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数来量化的限制相符；基于限制从位流确定至少一个转义值；且使用至少一个转义值来重建视频数据的样本。
在另一实例中，一种经配置以编码视频数据的设备，所述设备包括：存储器，其经配置以存储视频数据；及一或多个处理器，其经配置以：确定用于视频数据的量化参数值；确定量化参数下限；如果量化参数值低于量化参数下限，那么根据量化参数下限量化用于编码视频数据的调色板模式中所使用的转义值，其中所述转义值表示待编码的视频数据的块中的样本；且在经编码的视频数据位流中编码所述转义值。
在另一实例中，一种经配置以解码视频数据的设备，所述设备包括：用于接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不超过最大值的位流的装置，其中所述位流包含用于确定表示待解码的视频数据的块中的样本的至少一个转义值的信息；及用于使用用于确定至少一个转义值的信息来重建视频数据块中的样本的装置。
在另一实例中，一种经配置以解码视频数据的设备，所述设备包括：用于接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流的装置，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数来量化的限制相符；用于基于限制从位流确定至少一个转义值的装置；及用于使用至少一个转义值来重建视频数据的样本的装置。
在另一实例中，一种其上存储有指令的非暂时性计算机可读媒体，所述指令在执行时使得一或多个处理器进行以下操作：接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不超过最大值的位流，其中所述位流包含用于确定表示待解码的视频数据的块中的样本的至少一个转义值的信息；且使用用于确定至少一个转义值的信息来重建视频数据的块中的样本。
在另一实例中，一种其上存储有指令的非暂时性计算机可读媒体，所述指令在执行时使得一或多个处理器进行以下操作：接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数来量化的限制相符；基于限制从位流确定至少一个转义值；及使用至少一个转义值来重建视频数据的样本。
在以下随附图式及描述中阐述一或多个实例的细节。其它特征、目标及优势将从描述、图式及权利要求书而显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4为说明与本发明的技术一致的确定用于基于调色板的视频译码的调色板条目的实例的概念图。
图5为说明与本发明的技术一致的确定用于像素块的调色板的索引的实例的概念图。
图6为说明实例编码过程的流程图，其中根据本发明的一或多个方面限制转义像素值。
图7为说明实例解码过程的流程图，其中根据本发明的一或多个方面限制转义像素值。
图8为说明实例编码过程的流程图，其中根据本发明的一或多个方面将下限应用于量化参数。
图9为说明实例解码过程的流程图，其中根据本发明的一或多个方面将下限应用于量化参数。
具体实施方式
本发明描述用于视频译码及压缩的技术。确切地说，本发明描述用于视频数据的基于调色板的译码的技术。在一些实例中，所述技术的方面还可用于译码其它内容(例如单个图片)。在传统视频译码中，假定图像为连续色调且在空间上平滑的自然图像。基于此些假定，已开发各种工具，例如基于块的变换、滤波等，且此些工具已展示针对天然内容视频的良好性能。
然而，在类似远程台式计算机、协同工作型及无线显示器的应用中，计算机产生的屏幕内容可为待压缩的主要内容。此类型的内容倾向于具有离散色调，且以锐线及高对比度对象边界为特征。连续色调及平滑度的假定可能不再适用，且因此，传统视频译码技术可能是低效的压缩内容方式。
在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，ITU-T H.265(高效率视频译码(HEVC))为由ITU-T视频译码专家组(VCEG)及ISO/IEC运动图片专家组(MPEG)的视频译码联合协作小组(JCT-VC)开发的新的视频译码标准。将HEVC标准公开为ITU-T H.265，H系列：视听及多媒体系统，视听服务的信息基础设施--移动视频的译码(Audiovisual and Multimedia Systems,Infrastructure ofaudiovisual services--Coding of moving video)，高效视频译码(下文“HEVC”)，国际电信联盟，2015年4月。
就HEVC构架来说，作为实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的构架中的PU模式。因此，在CU模式的上下文中描述的以下全部所公开过程可另外或替代地适用于PU译码。然而，此些基于HEVC的实例不应被视为对本文中所描述的基于调色板的译码技术的约束或限制，因而，此些技术可经应用以独立地或作为其它现有或尚待开发的系统/标准的部分工作。在此些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状区域。
在基于调色板的译码中，可假定视频数据的特定区域具有相对较少数目种色彩。视频译码器(视频编码器或视频解码器)可将所谓的“调色板”译码为用于表示特定区域(例如，给定块)的视频数据的色彩表。块中的各像素可与表示像素的色彩值的调色板中的条目相关联。举例来说，视频译码器可译码使块中的像素的色彩值与调色板中的适当色彩值相关的像素的索引。
在上述实例中，视频编码器可通过以下操作编码视频数据块：确定用于块的调色板；定位调色板中表示各像素的值的条目；及利用使像素值与调色板相关的像素的调色板索引(也被称作调色板索引值)来编码调色板。视频解码器可从经编码位流获得用于块的调色板，以及用于块的像素的调色板索引。视频解码器可使像素的调色板索引与调色板的条目相关以重建块的像素值。像素(及/或指示像素值的相关调色板索引)大体上可被称作样本。
假定使用某一扫描次序处理(例如，扫描)块中的样本。举例来说，视频编码器可通过使用扫描次序扫描调色板索引来将调色板索引的二维块转化成一维阵列。同样地，视频解码器可使用扫描次序重建调色板索引的块。因此，本发明可将先前样本称作按扫描次序在块中的当前经译码样本之前的样本。举例来说，扫描次序可为水平扫描次序、垂直扫描次序、横穿/横向(蛇形)扫描次序、向前或向后扫描次序等。应了解，除所提及的那些扫描外的扫描也可为可适用的。以上实例打算提供基于调色板的译码的一般描述。
调色板通常包含通过索引编号且表示色彩分量(例如，RGB、YUV等等)值或强度的条目。视频编码器及视频解码器两者确定调色板条目的数目、用于每一调色板条目的色彩分量值及用于当前块的调色板条目的确切排序。在本发明中，假定每一调色板条目指定样本的所有色彩分量的值。然而，本发明的概念可适用于针对每一色彩分量使用单独调色板。
在一些实例中，可使用来自先前经译码块的信息构成调色板。即，调色板可含有从用于译码一或多个先前块的一或多个调色板预测的经预测调色板条目。举例来说，如WeiPu等人的“AHG10：用于基于RExt6.0的调色板译码的推荐软件(AHG10:Suggested Softwarefor Palette Coding based on RExt6.0)”(JCTVC-Q0094，西班牙，巴伦西亚市，2014年3月27日到4月4日)(在下文中为JCTVC-Q0094)的标准提交文件中所描述，调色板可包含从预测子调色板复制的条目。预测子调色板可包含来自先前使用调色板模式译码的块或其它经重建样本的调色板条目。对于预测子调色板中的每一条目，可译码二进制旗标以指示是否将与旗标相关联的条目复制到当前调色板(例如，通过旗标＝1指示)。二进制旗标的字符串可被称作二进制调色板预测向量。用于译码当前块的调色板还可包含数个新调色板条目，所述新调色板条目可经明确地译码(例如，区别于调色板预测向量)。还可译码对新条目的数目的指示。经预测的条目及新条目的总和可指示用于块的总调色板大小。
在一些实例中，通过基于调色板的译码模式译码的块中的每一样本可使用如下文所阐述的三种调色板模式中的一者来译码：
转义模式：在此模式中，样本值可不作为调色板条目包含于调色板中，且明确地针对所有色彩分量通过编码器在位流中传信经量化的样本值。转义模式类似于新调色板条目的传信，尽管对于新调色板条目，并不量化色彩分量值。
复制顶部模式(也被称作复制上方模式)：在此模式中，从位于块中的正上方处的样本复制用于当前样本的调色板条目索引。仅指定复制长度(行程长度)的语法元素通过复制顶部模式的编码器在位流中传信。
索引模式(也被称作值模式或保留模式)：在此模式中，通过编码器使用(例如)截断二进制码继而使用指定扫描次序中共享同一索引作为经传信索引的后续像素的数目(行程长度)的另一语法元素来明确地在位流中传信调色板条目索引的值。
如本文所描述，调色板条目索引可被称作调色板索引或简称为索引。此些术语可互换地使用以描述本发明的技术。另外，如下文更详细描述，调色板索引可具有一或多个相关联的色彩或强度值。举例来说，调色板索引可具有与像素的单一色彩或强度分量(例如，RGB数据的红色分量、YUV数据的Y分量等等)相关联的单一相关联色彩或强度值。在另一实例中，调色板索引可具有多个相关联的色彩或强度值。在一些情况下，可将基于调色板的译码应用于译码单色视频。因此，“色彩值”可一般指代用以产生像素值的任何色彩或非色彩分量(就单色来说)。
对于复制顶部模式及索引模式，还可传信行程值(其也可简称作行程)。行程值可指示经调色板译码的块中按特定扫描次序经译码在一起的连续样本的数目(例如，样本的行程)。在一些情况下，样本的行程也可被称作调色板索引的行程，这是因为行程的每一样本具有关于调色板的相关联索引。
行程值可指示使用相同的调色板译码模式经译码的调色板索引的行程。举例来说，就索引模式来说，视频译码器(视频编码器或视频解码器)可译码调色板索引(也被称作调色板索引值或简称为索引值)，及指示具有相同调色板索引且通过调色板索引译码的按扫描次序的连续样本的数目的行程值。就复制顶部模式来说，视频译码器可译码当前样本值的索引是基于上方相邻样本(例如，定位于当前正在块中经译码的样本上方的样本)的索引复制的指示及指示也从上方相邻样本复制调色板索引的按扫描次序的数个连续样本的行程值。因此，在以上实例中，调色板索引的行程指代具有相同值的调色板索引的行程或从上方相邻调色板索引复制的调色板索引的行程。
因此，行程可针对给定模式指定属于相同模式的后续样本的数目。在一些情况下，传信索引及行程值可类似于行程长度译码。在实例中，出于说明的目的，块的连续调色板索引的字符串可为0、2、2、2、2、5(例如，其中每一索引对应于块中的样本)。在此实例中，视频译码器可使用索引模式译码第二样本(例如，第一调色板索引二)。在译码等于2的索引之后，视频译码器可译码行程三，所述行程三指示三个后续样本也具有相同的调色板索引二。以类似方式，在使用复制顶部模式译码索引之后译码四个调色板索引的行程可指示：总共五个调色板索引是从当前正经译码的样本位置上方的行中的对应调色板索引复制的。
转义样本(也被称作转义像素)可为不具有表示于用于译码块的调色板中的对应色彩的块的样本(或像素)。因此，可不使用来自调色板的色彩条目(或像素值)来重建转义样本。实际上，转义样本的色彩值在位流中与调色板的色彩值分开传信。
视频译码器(例如，视频编码器及视频解码器)可译码每一样本数据，所述样本数据指示经调色板译码的块的样本是否基于不包含于所述块的调色板中的样本的色彩(例如，使用上文被称作“转义模式”的过程)来译码。在一些实例中，视频译码器可经配置以将调色板的调色板条目的数目增加一从而将并不对应于任何调色板条目的特殊索引供应到调色板。视频译码器可包含作为给定块的经增大调色板中的最末调色板索引的额外索引。额外索引可用作转义模式的指示。
在上文所述的实例中，对于块的特定样本值，视频译码器可译码表示额外索引的数据以指示所述额外样本经译码为转义样本(例如，不具有表示于用于译码块的调色板中的色彩值的样本)。视频译码器还可译码转义样本的一或多个色彩值。在此实例中，存在待使用显式语法传信的仅两种可能模式(例如，复制顶部模式或索引模式(也被称作索引模式或值模式))。举例来说，如果在索引模式中译码样本且用于索引模式的索引等于转义索引(例如，调色板的上述额外索引)，那么视频译码器可将待译码的样本推断为转义样本。在一些情况下，行程不通过转义样本传信。
对于经调色板译码的块，一或多个语法元素可在块层级(例如，CU层级或LCU层级)下指示块的任一样本是否基于不包含于调色板中的样本的色彩值译码(例如，经译码为转义样本)。所述一或多个语法元素可被称作块层级转义语法。举例来说，块层级语法可指代在译码视频数据的块(例如CU或LCU)时经译码或确定的语法。块层级语法可包含于标头中或具有与块相关联的其它数据(例如，在块之前或之后经译码的描述块的特性的数据)。相反地，并非块层级语法的其它语法可包含于切片标头中或具有视频数据的个别像素。
在一个实例中，视频译码器可经配置以译码及/或确定指示块的任一样本是否在转义模式下译码的旗标(其可被称称作块层级转义旗标)。举例来说，旗标值零可指示块的样本中的无一者使用转义模式来译码。即，可基于包含于用于译码块的调色板中的色彩值确定块的所有样本的值。旗标值一可指示块的至少一个样本使用转义模式来译码。即，至少一个样本的值经译码为转义样本。因此，旗标可针对视频数据的块的所有样本指示块的至少一个样本是否具有并未包含于用于译码块的调色板中的色彩值。
因此，在一些实例中，CU层级转义旗标可在指定当前CU是否可具有转义像素的位流中传信。举例来说，CU层级转义旗标可指示转义值是否能用于特定CU。如上所述，转义样本在CU中的存在可影响用于CU的调色板索引的数目。举例来说，用于CU的调色板可具有含最大索引N(例如，使得所述索引可包含性地选自{0、1、…、N})的数个索引。
然而，在一些情况下，如果CU层级转义旗标指示在当前块中可存在转义像素，那么当前块中的可能索引值可为{0、1、…、N、N+1}，其中等于N+1的索引指示当前像素为转义像素。在此些情况下，对于经译码的特定样本，具有索引N+1的语法元素可为经量化的像素值。如上所述，小于N+1的索引可指示当前像素是由来自与所述索引相关联的调色板的色彩表示。
本发明的技术一般涉及转义像素译码。转义像素可包括明度样本或取决于块中的转义像素位置及色度格式的一个明度样本与两个色度样本的组合(例如4:4:4、4:2:2、4:2:0及/或单色)。色彩分量样本表示待译码为调色板模式的部分的原始像素且信号值可经量化。明度及色度样本可具有表示原始像素可具有的最大可能值的不同位深度。调色板转义值可由表示转义译码像素值的每色彩分量信号值的palette_escape_val表示，此值可经逆向量化以重建转义像素。
在一些实例中，用于有损译码(当cu_transquant_bypass_flag为假时)译码单元(CU)的3阶指数哥伦布码可用于palette_escape_val二进制化且可不含上限。举例来说，Bin Li等人的标准提交文件“On the Palette Escape Pixel Coding”，JCTVC-U0052，Warsaw，PL，2015年6月19日到26日(下文称作JCTVC-U0052)描述不含上限的此类代码。
在此类情况下，palette_escape_val可取要求解码器解码的任何较大值。而且，如下文参照图2及3更详细地描述，上下文自适应性二进制算术译码(CABAC)发动机无限剖析较大语法元素可能是个难题。举例来说，未受限的较大值可在转义重建过程期间引起溢出。本发明的技术可用于规范限制可在位流中传信的palette_escape_val的值。此可(例如)通过一致性位流不应含有大于特定值的palette_escape_val的位流约束定义或在二进制化之后通过多于特定数目的二进位表示。在其它实例中，此条件还可应用于经量化的信号转义值、经重建的转义值、未量化的转义值、及/或转义值，及/或呈任何其它形式的转义值。
本发明的其它方面涉及量化参数(QP)。举例来说，小于某一值(例如4)的QP的使用可致使输入值经扩展而非缩减。当QP等于特定值(在以上实例中的4)时，标称地相应量化器步长(qStep)可等于1，意谓量化过程将同一未修改值输出为其输入值。当QP小于某一值(例如4)时，量化处理可扩展输入值，即，其除以qStep<1，而非对输入值进行量化。此可用于提高输入值的准确度(例如，当一或多个输入值为变换系数时)。然而，具有等于1的qStep的转义译码像素可已表示输入值的完全精确度而无任何失真或误差。在此些情况下，进一步提高精确度就所提高的准确度来说可不引入任何改进。此可不仅针对转义译码像素发生，而且在使用变换跳跃时针对小于某一值(例如4)的QP发生。
本发明的实例包括对QP的范围的限制。举例来说，可将较低QP值剪切成标称地对应于为1的qStep的QP值。在另一实例中，可限制较低QP值在此情况下使用。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”大体上指代视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”大体上可指代视频编码或视频解码。视频译码系统10的视频编码器20及视频解码器30表示可经配置以执行根据本发明中所描述的各种实例的用于进行基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20及视频解码器30可配置以使用基于调色板的译码或非基于调色板的译码选择性译码视频数据的各种块(例如，HEVC译码中的CU或PU)。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如通过HEVC指定的各种译码模式。
如图1中所示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记型(例如，笔记本电脑)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等等。
目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够实时地将经编码视频数据直接传输到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据例如无线通信协议的通信标准来调制经编码视频数据，且可将经调制视频数据传输到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。一或多个通信媒体可形成基于数据包的网络(例如局域网、网络广域网或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站或促进从源装置12到目的装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12所产生的经编码视频数据的存储媒体。在此实例中，目的地设备14可(例如)经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、闪存器，或用于存储经编码视频数据的其它合适的数字存储媒体。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据传输到目的地装置14的服务器类型。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可经由例如因特网连接的标准数据连接来存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于文件服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。经编码视频数据从文件服务器的传输可为流式传输、下载传输或两者的组合。
本发明的技术不限于无线应用或设定。所述技术可应用于支持多种多媒体应用的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、(例如)经由因特网的流式视频传输、供存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频传输以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
图1中所说明的视频译码系统10仅为实例，且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从经由网络等等进行流式传输的本地存储器检索数据。视频编码装置可编码数据并将数据存储到存储器，及/或视频解码装置可从存储器检索数据并解码数据。在许多实例中，由彼此并不通信但仅将数据编码到存储器及/或从存储器检索数据并解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或传输器。视频源18可包含例如摄像机的视频捕获装置、含有先前所捕获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口，及/或用于产生视频数据的计算机图形系统，或视频数据的此些源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将经编码视频数据直接传输到目的地装置14。在其它实例中，经编码视频数据还可存储于存储媒体或文件服务器上，以供目的地装置14稍后存取以用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置外部。一般来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30各来自可实施为各种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、集成电路专用集成电路(ASIC)、编程门阵列现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件来实施所述技术，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可在硬件中使用一或多个处理器来执行所述指令以执行本发明的技术。可将上述各者(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可集成为各别装置中的组合式编码器/解码器(编解码器)的部分。
本发明通常可指代视频编码器20将某些信息“传信”或“传输”到例如视频解码器30的另一装置。术语“传信”或“传输”通常可指代用于解码经压缩视频数据的语法元素及/或其它数据的通信。此通信可实时地或近实时地发生。替代地，此通信可历时时间跨度而发生，例如可在编码时以经编码的位流将语法元素存储到计算机可读存储媒体，接着可在所述语法元素存储到此媒体之后通过解码装置在任何时间检索时发生。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准(例如上文所提及的及HEVC中所描述的HEVC标准)操作。除基本HEVC标准之外，还存在用于HEVC的可调式视频译码、多视图视频译码及3D译码扩展，以及所谓的范围扩展(RExt)及屏幕内容译码(SCC)。另外，可提供基于调色板的译码模式(例如，如本发明中所描述)以用于扩展HEVC标准。在一些实例中，本发明中描述的用于基于调色板的译码的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或将来标准)操作的编码器及解码器。因此，HEVC编解码器中用于译码单元(CU)或预测单元(PU)的译码的基于调色板的译码模式的应用是为了实例的目的而描述。
在HEVC及其它视频译码标准下，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，标示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度样本在本文中也可被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)的集合。CTU中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树型块，及用以对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(LCU)HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续定序的整数数目个CTU。
为产生经译码CTU，视频编码器20可对CTU的译码树型块递回地执行四叉树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。CU可为图片的明度样本的译码块及色度样本的两个对应译码块，所述图片具有明度样本阵列、Cb样本阵列及Cr样本阵列，以及用以对译码块的样本进行译码的语法结构。视频编码器20可将CU的译码块分割为一或多个预测块。预测块可为其上应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的明度样本的预测块、色度样本的两个对应预测块，及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度、Cb及Cr预测块产生预测性明度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。
如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于不同于与PU相关联的图片的一或多个图片的经解码样本产生PU的预测性块。视频编码器20可使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单一运动向量(MV)。当视频编码器20使用双向预测以产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性明度块、Cb块及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应变换块，及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化通常指代对变换系数进行量化以尽可能地减少用以表示变换系数的数据的量，从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。
视频编码器20可输出包含经熵编码的语法元素的位流。位流可包含形成经译码图片及相关联数据的表示的位的序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头且封装原始字节序列载荷(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装图片参数集(PPS)的RBSP，第二类型的NAL单元可封装经译码切片的RBSP，第三类型的NAL单元可封装SEI的RBSP，等等。封装视频译码数据的RBSP(与用于参数集及SEI消息的RBSP相对)的NAL单元可被称作视频译码层(VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以解码来自位流的语法元素。视频解码器30可至少部分基于从位流解码的语法元素来重建视频数据的图片。重建视频数据的程序通常可与通过视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的MV确定当前CU的PU的预测性块。另外，视频解码器30可逆量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行逆变换，以重建与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本来重建当前CU的译码块。通过重建图片的每一CU的译码块，视频解码器30可重建图片。
在一些实例中，视频编码器20及视频解码器30可经配置以执行基于调色板的译码。举例来说，在基于调色板的译码中，视频编码器20及视频解码器30可将所谓的调色板译码为用于表示特定区域(例如，给定块)的视频数据的色彩表，而非执行上文所描述的帧内预测性译码技术或帧间预测性译码技术。块中的每一像素可与调色板中表示像素的色彩的条目相关联。举例来说，视频编码器20及视频解码器30可译码使像素值与调色板中的适当值相关的索引。
在上述实例中，视频编码器20可通过以下操作来编码视频数据的块：确定用于块的调色板；定位调色板中表示每一像素的值的条目；及利用使像素值与调色板相关的像素的调色板索引来编码调色板。视频解码器30可从经编码的位流获得用于块的调色板，以及用于块的像素的调色板索引。视频解码器30可使像素的调色板索引与调色板的条目相关以重建块的像素值。
如上文所提及，视频编码器20及视频解码器30可使用数种不同的调色板译码模式来译码调色板的调色板索引。举例来说，视频编码器20及视频解码器30可使用转义模式、复制顶部模式(也被称作复制上方模式)或索引模式(也被称作值模式或保留模式)来译码块的调色板索引。一般来说，使用“转义模式”译码样本一般可指译码并不具有表示于用于译码块的调色板中的对应色彩的块的样本。如上文所提及，此些样本可被称作转义样本或转义像素。
就转义传信来说，视频编码器20可针对块的特定样本值编码表示额外调色板索引的数据，从而指示额外样本经译码为转义样本(例如，不具有表示于用于译码块的调色板中的色彩值的样本)。视频编码器20还可编码转义样本的一或多个色彩值。因此，在此实例中，视频编码器20及视频解码器30可译码语法以在复制顶部模式与索引模式之间进行区分。此外，视频编码器20及视频解码器30接着可基于经译码的像素的索引值(例如，基于索引值是否包含于调色板中的N个条目中或索引值是否为额外索引N+1)在转义译码像素与索引模式(或复制顶部模式)之间进行区分。
对于转义模式，视频编码器20在位流中传信，且视频解码器30在位流中接收经明确传信的像素值。在一些实例中，根据本发明的方面，视频编码器20及视频解码器30可经配置以执行本文中针对转义像素译码所描述的技术的任何组合，例如下文关于图5所描述的所述技术。在一些实例中，视频编码器20及视频解码器30可引入对经传信位流转义像素值的规范性限制，所述值可在未受限时另外产生剖析问题。举例来说，视频编码器20可基于最大位深度(例如16、32)或另一数目个二进位编码转义像素值。同样地，视频解码器30可从位流剖析转义值且基于最大位深度解码所述转义值。在其它实例中，视频编码器20及视频解码器30可引入对经量化信号转义值、经重建转义值、未量化转义值及/或呈任何其它形式的转义值的规范性限制。
此外，视频编码器20及视频解码器30可经配置以限制量化参数。即，如下文更详细地描述，视频编码器20及视频解码器30可在确定译码转义像素的QP时实施本发明的技术。
图2为说明可实施本发明的技术的实例视频编码器20的框图。出于解释的目的提供图2，且不应将其视为对如本发明中广泛例示及描述的技术的限制。出于解释的目的，本发明描述在HEVC译码的上下文中的视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
视频编码器20表示可经配置以执行根据本发明中所描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色板的译码或非基于调色板的译码来选择性地译码视频数据的各种块(例如，HEVC译码中的CU或PU)。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如通过HEVC指定的各种译码模式。在一个实例中，视频编码器20可经配置以产生具有指示像素值的条目的调色板；选择调色板中的像素值以表示视频数据块中的至少一些像素位置的像素值，及传信使视频数据块中的像素位置中的至少一些与调色板中分别对应于调色板中的所选像素值的条目相关联的信息。经传信信息可由视频解码器30使用以解码视频数据。
在图2的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重建单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未展示)。视频编码器20还包含经配置以执行本发明中所描述的基于调色板的译码技术的各种方面的基于调色板的编码单元122。在其它实例中，视频编码器20可包含更多、更少或不同功能组件。
视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储用于视频编码器20(例如)以帧内或帧间译码模式编码视频数据的参考视频数据的参考图片存储器。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或单独存储器装置提供视频数据存储器101及经解码图片缓冲器116。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行四叉树分割以将CTU的CTB划分成逐渐较小的块。较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将所述子块中的一或多者分割成四个相等大小的子块，等等。
视频编码器20可编码CTU的CU以产生所述CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU当中的CU相关联的译码块。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指代CU的明度译码块的大小，且PU的大小可指代PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及PU的运动信息。取决于PU是在I切片中、P切片中还是B切片中，帧间预测单元121可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测单元121并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测从同一帧内的先前经编码的相邻块来形成的。
如果PU在P切片中，那么帧间预测处理单元120的运动估计单元可在用于PU的参考区域的参考图片列表(例如，“RefPicList0”)中搜索参考图片。用于PU的参考区域可为参考图片内的含有最紧密地对应于PU的样本块的样本块的区域。运动估计单元可产生指示含有用于PU的参考区域的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与关联于参考区域的参考位置之间的空间移位的MV。举例来说，MV可为提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可将参考索引及MV输出为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于由PU的运动向量指示的参考位置处的实际或经内插的样本而产生PU的预测性块。
如果PU在B切片中，那么帧间预测处理单元120的运动估计单元可针对PU执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元可搜索RefPicList0或用于PU的参考区域的第二参考图片列表(“RefPicList1”)的参考图片。运动估计单元可输出以下各者作为PU的运动信息：指示含有参考区域的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与相关联于参考区域的参考位置之间的空间移位的MV，及指示参考图片在RefPicList0还是在RefPicList1中的一或多个预测方向指示符。帧间预测处理单元120的运动补偿单元可至少部分地基于由PU的运动向量指示的参考区域处的实际或经内插的样本而产生PU的预测性块。
为了针对PU执行双向帧间预测，运动估计单元可在用于PU的参考区域的RefPicList0中搜索参考图片，且还可在用于PU的另一参考区域的RefPicList1中搜索参考图片。运动估计单元可产生指示含有参考区域的参考图片的RefPicList0及RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示与参考区域相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可包含PU的参考索引及MV。帧间预测处理单元120的运动补偿单元可至少部分地基于由PU的运动向量指示的参考区域处的实际或内插样本而产生PU的预测性块。
视频编码器20可经配置以执行基于调色板的译码。就HEVC构架来说，作为实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的构架中的PU模式。因此，本文中(贯穿本发明)在CU模式的上下文中所描述的全部所公开过程可另外或替代地适用于PU。然而，此些基于HEVC的实例不应被视为对本文中所描述的基于调色板的译码技术的约束或限制，因而，此些技术可经应用以独立地或作为其它现有或尚待开发的系统/标准的部分工作。在此些情况下，用于调色板译码的单元可为正方形块、非正方形、矩形块或甚至非矩形形状区域。
举例来说，当(例如)针对CU或PU选择基于调色板的编码模式时，基于调色板的编码单元122可执行基于调色板的解码。举例来说，基于调色板的编码单元122可经配置以产生具有指示像素值的条目的调色板，选择调色板中的像素值以表示视频数据的块中的至少一些位置的像素值，及传信使视频数据的块的位置中的至少一些位置与调色板中分别对应于所选择像素值的条目相关联的信息。尽管将各种功能描述为通过基于调色板的编码单元122执行，但此些功能中的一些或全部可通过其它处理单元或不同处理单元的组合执行。
在一些实例中，根据本发明的方面，基于调色板的编码单元122可经配置以引入对可在位流中传信的经传信位流转义像素值(例如palette_escape_val)的规范性限制。此规范性限制可(例如)通过一致性位流可不含有大于某一值的转义像素值(例如，palette_escape_val)的位流约束定义或在熵译码二进制化(例如，CABAC译码的二进制化)之后由多于某一数目的二进位表示。在一些实例中，基于调色板的编码单元122可使用下文所描述的熵编码单元118施加本发明的技术。
举例来说，二进位数目可限于16或32个二进位内，或通常，限于特定视频译码架构可支持的二进位的任何最大数目。在一些实例中，二进位的最大数目可基于与经译码的视频数据相关联的特定层级或配置文件变化。
当可在位流中传信的转义像素值(例如，palette_escape_val)的最大值受限时，此可对应于对语法元素表示(例如，二进制化)中的二进位数目的限制。在另一实例中，对语法元素表示中的二进位数目施加限制对应于对可在位流中传信的palette_escape_val的最大值的限制。
帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式以产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本来产生PU的预测性块。对于PU、CU及CTU，假定从左到右、从上而下的编码次序，那么所述相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个方向性帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从由帧间预测处理单元120针对PU产生的预测性数据或由帧内预测处理单元126针对PU产生的预测性数据当中选择CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据的集合的率/失真度量而选择用于CU的PU的预测性数据。所选择的预测性数据的预测性块在本文中可被称作所选择的预测性块。
残余产生单元102可基于CU的明度、Cb及Cr译码块及CU的PU的所选预测性明度、Cb及Cr块而产生CU的明度、Cb及Cr残余块。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块及两个色度变换块相关联。CU的TU的明度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此些实例中，变换块可被视为变换系数块。
量化单元106可量化系数块中的变换系数。量化处理可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息损失；因此，经量化的变换系数可具有比原始变换系数低的精确度。在一些实例中，根据本发明的方面，量化单元106可将本文所描述的所述技术应用于确定转义像素的QP。
逆量化单元108及逆变换处理单元110可分别将逆量化及逆变换应用于系数块，以从系数块重建残余块。重建单元112可将经重建的残余块添加到来自通过预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重建变换块。通过以此方式重建CU的每一TU的变换块，视频编码器20可重建CU的译码块。
滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。在滤波器单元114对经重建的译码块执行一或多个解块操作之后，经解码图片缓冲器116可存储经重建的译码块。帧间预测处理单元120可使用含有经重建译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重建译码块来对与CU在同一图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元118可对数据执行上下文自适应性可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的残余四叉树(RQT)的数据。
在一些实例中，根据本发明的方面，基于调色板的编码单元122及/或熵编码单元118可经配置以引入对可在位流中传信的经传信位流转义像素值(例如palette_escape_val)的规范性限制。此可(例如)通过一致性位流可不含大于特定值的palette_escape_val的位流约束定义或在二进制化之后通过多于特定数目的二进位表示。举例来说，编码器20可在一个实例中将二进位数目限于16个二进位，或在另一实例中限于32，或通常，限于特定架构可支持的二进位的最大数目。因此，编码器20可传信不大于二进位的特定数目的转义值。解码器30可经配置以接收以所描述方式限制的位流，且解码器30可根据由编码器20施加的限制来解码位流。
当可在位流中传信的palette_escape_val的最大值受限制时，此可对应于对语法元素表示(二进制化)中的二进位数目的限制。在另一实例中，对语法元素表示中的二进位数目施加限制对应于对可在位流中传信的palette_escape_val的最大值的限制。尽管上文关于palette_escape_val描述一些方面，但在根据本发明的一或多个方面的其它实例中，可引入应用于经量化的信号转义值、经重建的转义值、未量化的转义值及/或呈任何其它形式的转义值的限制。
图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图3，且其并不限制如本发明中所广泛例示及描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
视频解码器30表示可经配置以执行根据本发明中所描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频解码器30可经配置以使用基于调色板的译码或非基于调色板的译码选择性解码视频数据的各种块(例如，HEVC译码中的CU或PU)。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如通过HEVC指定的各种译码模式。在一个实例中，视频解码器30可经配置以产生具有指示像素值的条目的调色板(例如，基于位流中的经传信或预测信息)，接收使视频数据的块中的至少一些像素位置与调色板中的条目相关联的信息，基于所述信息选择调色板中的像素值，且基于调色板中的所选像素值来重建块的像素值。
在图3的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158、滤波器单元160，及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。视频解码器30还包含经配置以执行本发明中所描述的基于调色板的译码技术的各种方面的基于调色板的解码单元165。在其它实例中，视频解码器30可包含更多、更少或不同功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)从计算机可读媒体(例如，从本地视频源(例如，摄影机))经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于视频解码器30(例如)以帧内或帧间译码模式解码视频数据的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。可通过同一存储器装置或单独存储器装置来提供视频数据存储器151及经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
(例如)由视频数据存储器151形成的经译码图片缓冲器(CPB)可接收且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)且剖析NAL单元以解码语法元素。熵解码单元150可熵解码NAL单元中的经熵编码的语法元素。预测处理单元152、逆量化单元154、逆变换处理单元156、重建单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可从经译码切片NAL单元提取语法元素并对所述语法元素进行熵解码。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了解码来自位流的语法元素以外，视频解码器30可对未分割的CU执行重建操作。为了对未分割的CU执行重建操作，视频解码器30可对CU的每一TU执行重建操作。通过对CU的每一TU执行重建操作，视频解码器30可重建CU的残余块。
作为对CU的TU执行重建操作的部分，逆量化单元154可对与TU相关联的系数块进行逆量化(即，解量化)。逆量化单元154可使用与TU的CU相关联的QP值来确定量化程度且同样地确定逆量化单元154应用的逆量化程度。即，可通过调整在量化变换系数时使用的QP值来控制压缩比，即，用以表示原始序列以及经压缩序列的位数目的比率。压缩比还可取决于所采用的熵译码的方法。在一些实例中，根据本发明的方面，逆量化单元154可将本文所描述的技术应用于确定转义像素的QP。
在逆量化单元对系数块进行逆量化之后，逆变换处理单元156可将一或多个逆变换应用于系数块，以便产生与TU相关联的残余块。举例来说，逆变换处理单元156可将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于系数块。
如果PU使用帧内预测来编码，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于在空间上相邻的PU的预测块而产生PU的预测性明度块、Cb块及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素而确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素而构建第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测对PU进行编码，那么熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息而确定用于PU的一或多个参考区域。运动补偿单元164可基于在用于PU的一或多个参考块处的样本块而产生用于PU的预测性明度块、Cb块及Cr块。
重建单元158可在适用时使用与CU的TU相关联的明度、Cb及Cr变换块及CU的PU的预测性明度、Cb及Cr块(即，帧内预测数据或帧间预测数据)来重建CU的明度、Cb及Cr译码块。举例来说，重建单元158可将明度、Cb及Cr变换块的样本添加到预测性明度、Cb及Cr块的对应样本，以重建CU的明度、Cb及Cr译码块。
滤波器单元160可执行解块操作以减少与CU的明度、Cb及Cr译码块相关联的块伪影。视频解码器30可将CU的明度、Cb及Cr译码块存储于经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的明度、Cb及Cr块对其它CU的PU执行帧内预测操作或帧间预测操作。
视频解码器30可经配置以执行基于调色板的译码。举例来说，当(例如)针对CU或PU选择基于调色板的解码模式时，基于调色板的解码单元165可执行基于调色板的解码。举例来说，基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板，接收使视频数据块中的至少一些像素位置与调色板中的条目相关联的信息，基于信息选择调色板中的像素值，及基于调色板中的所选像素值重建块的像素值。尽管各种功能被描述为通过基于调色板的解码单元165执行，但此些功能中的一些或全部可通过其它处理单元或不同处理单元的组合来执行。
基于调色板的解码单元165可接收调色板译码模式信息，且在调色板译码模式信息指示调色板译码模式适用于块时执行以上操作。当调色板译码模式信息指示调色板译码模式不适用于块时，或当其它模式信息指示不同模式的使用时，预测处理单位152使用非基于调色板的译码模式(例如，此HEVC帧间预测译码模式或HEVC帧内预测译码模式)来解码视频数据块。视频数据块可为(例如)根据HEVC译码程序产生的CU或PU。基于调色板的译码模式可包括多个不同的基于调色板的译码模式中的一者，或可存在单个基于调色板的译码模式。
在一些实例中，根据本发明的方面，基于调色板的解码单元165及/或熵解码单元150可经配置以引入对可在位流中传信的经传信位流转义像素值(例如palette_escape_val)的规范性限制。此可(例如)通过一致性位流可不含大于某一值的palette_escape_val的位流约束定义或在二进制化之后通过多于某一数目的二进位表示。举例来说，二进位数目在一个实例中可限于16个二进位内，或在另一实例中限于32个二进位内，或通常，限于特定结构可支持的二进位的任何最大数目。
当可在位流中传信的palette_escape_val的最大值受限制时，此可对应于对值的语法元素表示(二进制化)中的二进位数目的限制。在另一实例中，对语法元素表示中的二进位数目施加限制对应于对可在位流中传信的palette_escape_val的最大值的限制。
在其中palette_escape_val大于最大允许值的此情况下，视频解码器30可确定已出现误差。在此实例中，旗标可用于传信误差。替代地，在另一实施例中，解码器30可将所检测的情况视为可能已失去字节对准且可抛弃所有位流数据直到在位流中的较后位置处检测到字节对准为止的指示。
在一个实例中，视频编码器20、基于调色板的编码单元122及/或熵编码单元118可基于在位流中传信的色彩分量输入位深度来编码转义像素值。在此实例中，用于给定色彩分量的转义值可经限制以包含性地处于0到(1<<位深度)-1的范围内。在此方程式中，bitdepth可为在争议中的色彩分量的位深度。此位深度可为编码器的输入参数，其可在由编码器产生的位流中的序列参数集(SPS)中传信或以另一种方式确定。在其它实例中，视频编码器20可编码转义像素值，使得其不超出基于输出位深度(即，并非输入位深度)或基于由编码器或解码器针对处理所使用的任何内部位深度的最大值。视频解码器30、基于调色板的解码单元165及/或熵解码单元150可接收位流且基于对转义像素值的此限制解码位流。
在另一实例中，视频编码器20、基于调色板的编码单元122及/或熵编码单元118可针对一或多个色彩分量(例如，明度或色度色彩分量)基于对应于编解码器(例如，视频编码器20或视频解码器30)所支持的最大位深度的色彩分量位深度来编码转义像素值。在此实例中，位深度可对应于某一配置文件(例如屏幕内容译码配置文件)及/或某些层级的一个色彩分量或所有色彩分量的最大支持位深度。视频解码器30、基于调色板的解码单元165及/或熵解码单元150可接收位流且基于对转义像素值的此限制来解码位流。尽管已参考对palette_escape_val的值应用及/或实施限制来描述一些实例，但应理解，在根据本发明的一或多个方面的其它实例中，可将类似限制应用于经量化的信号转义值、经重建的转义值、未量化的转义值及/或呈任何其它形式的转义值。
其它实例考虑对转义值或转义值的最大值进行量化的影响。举例来说，视频编码器20及/或量化单元106可通过将值除以量化步长(qStep)且接着舍入所述结果来量化值(例如转义值)。视频解码器30及逆量化单元154可通过将此些值乘以qStep值来逆量化值。将qStep值确定为量化参数的函数。通常，qStep值可大于1，以使得量化(例如，除以qStep)可导致用以表示经量化值(例如转义值)的位数目减少。然而，对于一些量化参数值，qStep可小于1，其可意谓量化并不减少用以表示转义值的位数目，而相反地，量化扩展或增加用以表示转义值的位数目。换句话说，在qStep小于1的情况下，使一值除以qStep的量化处理有效地使所述值乘以大于一的数。
因此，在其它实例中，视频编码器20、基于调色板的编码单元122、熵编码单元118及/或量化单元106可不仅基于色彩分量位深度而且还基于量化参数来编码转义像素值。举例来说，视频编码器20、基于调色板的编码单元122及/或熵编码单元118可确定转义像素值的最大值，其中基于分量位深度及量化参数两者确定最大值。在一个实例中，可通过将给定色彩分量的转义值限制于包含性的处于0到((1<<位深度)-1)×k的范围内而适应由具有小于1的qStep的量化产生的任何提高的准确度，其中k为基于量化参数及/或qStep值的扩展因子，且位深度为在争议中的色彩分量(或另一色彩分量或所有色彩分量)的位深度。在另一实例中，可通过将给定色彩分量的转义值限制于包含性的处于0到((1<<位深度+b)-1)的范围内而适应由量化产生的任何提高的准确度，其中b为基于量化参数及/或qStep值的扩展因子，且位深度为在争议中的色彩分量(或另一色彩分量或所有色彩分量)的位深度。视频解码器30、基于调色板的解码单元165、熵解码单元150及/或逆量化单元154可接收位流并基于对转义像素值的限制来解码位流。
在其它实例中，视频编码器20及/或量化单元106可修改或限制量化参数的值以确保qStep值不小于1，而非提供由具有小于1的qStep的量化产生的提高的准确度。如上文所描述，在qStep小于1的情况下，通过视频编码器20及/或量化单元106进行的量化可导致所量化的值的扩展。然而，在一些情况下，在位流中译码的转义值可已表示转义值的完全精确度而无任何失真或误差。因此，对于利用小于一的qStep值量化转义值可能适得其反，这是由于转义值的完全精确度可能已在位流中经译码。就代码分量值的提高的精确度来说，扩展此些转义值无法提供任何改进，且可能不当地增加位流大小。
因此，在一些实例中，当编码或解码转义值时，可限制qStep值以使得其不小于1。由于qStep值可为量化参数(QP)的函数，所以可通过确定QP的下限在一些实例中执行此限制，其中所述下限对应于qStep值1，且其中QP的较高值对应于大于1的qStep值。当编码或解码转义值时，可将QP值限制为不低于QP下限。换句话说，在译码转义像素的量化或逆量化处理中使用QP值之前，低于下限的任何QP值可经修改以等于下限，从而确保qStep不小于1。在此实例中，视频编码器20及/或量化单元106可通过应用经修改QP来量化值(例如转义值)，且视频解码器30及逆量化单元154可通过应用经修改QP来逆量化值。
在另一实例中，视频编码器20、基于调色板的编码单元122及/或熵编码单元118可编码转义像素值，以使得所述值限于基于精确度信息(例如extended_precision_processing_flag)以及基于色彩分量位深度的最大值。下文进一步描述对应于此类实例的特定实例计算。视频解码器30、基于调色板的解码单元165及/或熵解码单元150可接收位流并根据基于精确度信息(例如extended_precision_processing_flag)以及基于色彩分量位深度确定的最大值来解码位流。
在其它实例中，可将转义值视为变换系数，且可将施加在变换系数上的所有限制应用于限制转义值的值。在又其它实例中，可基于extended_precision_processing_flag控制转义值的二进制化。取决于extended_precision_processing_flag的值，可以不同方式导出转义值的二进制化。下文进一步描述对应于不同二进制化处理的特定实例
图4为说明与本发明的技术一致的确定用于译码视频数据的调色板的实例的概念图。图4的实例包含具有与第一调色板184相关联的第一译码单元(CU)180及与第二调色板192相关联的第二CU 188的图片178。第一CU 180及第二CU 188使用调色模式(PAL)来译码。如下文更详细描述且根据本发明的技术，第二调色板192是基于第一调色板184。图片178还包含通过帧内预测译码模式译码的块196及通过帧间预测译码模式译码的块200。
出于解释的目的，在视频编码器20(图1及图2)及视频解码器30(图1及图3)的上下文中且关于HEVC视频译码标准描述图4的技术。然而，应理解，本发明的技术不限于此方式，且可通过其它视频译码处理器及/或装置在其它视频译码过程及/或标准中应用。
一般来说，调色板指代对于当前正经译码的CU(在图4的实例中的第二CU 188)来说为主要的及/或代表性的多个像素值。第一调色板184及第二调色板192经展示为包含多个调色板。在一些实例中，根据本发明的方面，视频译码器(例如，视频编码器20或视频解码器30)可针对CU的每一色彩分量单独地译码调色板。举例来说，视频编码器20可编码用于CU的明度(Y)分量的调色板、用于CU的色度(U)分量的另一调色板，及用于CU的色度(V)分量的又一调色板。在此实例中，Y调色板的条目可表示CU的像素的Y值，U调色板的条目可表示CU的像素的U值，且V调色板的条目可表示CU的像素的V值。
在其它实例中，视频编码器20可编码用于CU的全部色彩分量的单个调色板。在此实例中，视频编码器20可编码具有为三重值(包含Yi、Ui及Vi)的第i个条目的调色板。在此情况下，调色板包含像素的分量中的每一者的值。因此，将第一调色板184及第二调色板192作为具有多个单一调色板的一组调色板的表示仅为一个实例且并不打算为限制性的。
在图4的实例中，第一调色板184中的每一者包含分别具有条目索引值1、条目索引值2及条目索引值3的三个条目202到206。条目202到206使索引值分别与包含像素值A、像素值B及像素值C的像素值相关。如本文所描述，视频译码器(例如视频编码器20或视频解码器30)可使用基于调色板的译码以使用索引1到3来译码块的像素，而非译码第一CU 180的实际像素值。即，对于第一CU 180的每一像素位置，视频编码器20可编码像素的索引值，其中索引值与第一调色板184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值并使用索引值及第一调色板184中的一或多者来重建像素值。因此，第一调色板184通过视频编码器20在经编码视频数据位流中传输以供视频解码器30在基于调色板的解码中使用。
在一些实例中，视频编码器20及视频解码器30可基于第一调色板184来确定第二调色板192。举例来说，视频编码器20及/或视频解码器30可定位从其确定预测性调色板(在此实例中，第一调色板184)的一或多个块。用于预测的目的的条目的组合可被称作预测子调色板。
在图4的实例中，第二调色板192包含分别具有条目索引值1、条目索引值2及条目索引值3的三个条目208到212。条目208到212使索引值分别与包含像素值A、像素值B及像素值C的像素值相关。在此实例中，视频编码器20可译码指示第一调色板184(表示预测子调色板，但预测子调色板可包含多个块的条目)的哪些条目包含于第二调色板192中的一或多个语法元素。
在图4的实例中，将一或多个语法元素说明为向量216。向量216具有数个相关联二进位(或位)，其中每一二进位指示与所述二进位相关联的调色板预测子是否用于预测当前调色板的条目。举例来说，向量216指示第一调色板184之前两个条目(202及204)包含于第二调色板192中(向量216中的值“1”)，而第一调色板184的第三条目不包含于第二调色板192中(向量216中的值“0”)。在图4的实例中，向量为布林(Boolean)向量。向量可被称作调色板预测向量。
在一些实例中，视频编码器20及视频解码器30可在执行调色板预测时确定调色板预测子列表(其也可被称作调色板预测子表)。调色板预测子列表可包含来自用以预测用于译码当前块的调色板的一或多个条目的一或多个相邻块的调色板的条目。视频编码器20及视频解码器30可以相同方式来构建列表。视频编码器20及视频解码器30可译码数据(例如向量216)以指示调色板预测子列表的哪些条目包含于用于译码当前块的调色板中。
图5为说明与本发明的技术一致的确定用于像素块的调色板的调色板索引的实例的概念图。举例来说，图5包含使与调色板索引相关联的像素的各别位置与调色板244的条目相关的调色板索引的映射240。举例来说，索引1与值A相关联，索引2与值B关联，且索引3与值C相关联。另外，当使用隐式转义传信来指示转义样本时，视频编码器20及视频解码器30还可将额外索引(如图5中所说明的索引4)添加到调色板244，此可指示与索引4相关联的映射240的样本为转义样本。在此情况下，如果像素值不包含于调色板244中，那么视频编码器20可针对映射240中的位置编码(且视频解码器30可从经编码位流获得)实际像素值(或其经量化版本)的指示。
在一些实例中，视频编码器20及视频解码器30可经配置以译码指示哪些像素位置与调色板索引相关联的额外映射。举例来说，假定映射中的(i,j)条目对应于CU的(i,j)位置。视频编码器20可针对指示条目是否具有相关联索引值的映射的每一条目(即，每一像素位置)编码一或多个语法元素。举例来说，视频编码器20可编码具有值一的旗标以指示在CU中的(i,j)位置处的像素值为调色板244中的值中的一者。在此实例中，视频编码器20还可编码调色板索引(在图5的实例中展示为值1到3)以指示调色板中的所述像素值且以允许视频解码器重建所述像素值。
在调色板244包含单个条目及相关联像素值的情况下，视频编码器20可跳过索引值的传信。视频编码器20可编码具有值零的旗标以指示在CU中的(i,j)位置处的像素值并非调色板244中的值中的一者。在此实例中，视频编码器20还可编码像素值的指示以供视频解码器30用于重建像素值。举例来说，视频编码器20可显式地译码像素值。在一些情况下，可以有损方式译码像素值。
CU的一个位置中的像素的值可提供对CU的其它位置中的一或多个其它像素的值的指示。举例来说，可存在CU的相邻像素位置将具有相同像素值或可经映射到相同索引值(在有损译码的情况下，其中可将超过一个像素值映射到单个索引值)的相对较高概率。
因此，视频编码器20可编码指示按给定扫描次序经译码在一起的连续像素或调色板索引的数目的一或多个语法元素。如上所述，调色板索引(或由调色板索引指示的像素值)的字符串在本文中可被称作行程。视频解码器30可从经编码位流获得指示行程的语法元素，并使用数据以确定具有相同像素或索引值的连续位置的数目。
如上所述，可结合复制顶部模式或索引模式使用行程。在出于说明目的的实例中，考虑映射240的行264及268。假定水平的、从左到右的扫描方向，行264包含为“1”的三个调色板索引，为“2”的两个调色板索引及为“3”的三个调色板索引。行268包含为“1”的五个调色板索引，为“3”的两个调色板索引及不包含于调色板244中的一个样本(由索引4表示)，所述样本可被称为转义样本。
在此实例中，视频编码器20可使用复制顶部模式来编码行268的数据。举例来说，视频编码器20可编码指示行268中的第一位置(行268的最左位置)与行264中的第一位置相同的一或多个语法元素。视频编码器20还可编码指示在行268中的扫描方向上的两个连续条目的下一行程与行264中的第一位置相同的一或多个语法元素。
在编码指示行264中的第一位置及两个条目的行程(上文所提及)的一或多个语法元素之后，视频编码器20可使用值模式编码行268中的第四及第五位置(从左到右)。举例来说，视频编码器20可编码指示第四位置的值为1的一或多个语法元素及指示行程为1的一或多个语法元素(例如，值模式)。因此，视频编码器20在不参考另一行的情况下编码此些两个位置。
视频编码器20可接着相对于上部行264使用复制顶部模式编码行268中具有索引值3的第一位置。举例来说，视频编码器20可传信复制顶部模式及行程1。因此，视频编码器20可在相对于行的其它值译码行的像素值或调色板索引(例如，使用行程)、相对于另一行(或列(column))的值译码行的像素值或调色板索引，或其组合之间选择。在一些实例中，视频编码器20可执行率/失真优化以做出选择。
视频编码器20可接着针对行268的最末样本(从左到右)编码转义样本，所述转义样本不包含于调色板244中。举例来说，视频编码器20可将行268的最末位置编码为转义样本。即，视频编码器20可编码行268的最末位置为转义样本(例如，索引4)的指示以及对样本值的指示。视频解码器30可从经编码位流获得上述语法且使用此语法重建行268。
在一个实例中，为传信或译码转义样本，视频编码器20及视频解码器30可将额外索引添加到调色板244(条目索引4)。视频编码器20及视频解码器30可使用调色板244的额外索引来指示样本经译码为转义样本，例如索引4。然而，额外索引并不具有相关联的色彩值。确切来说，视频编码器20及视频解码器30还针对与额外索引相关联的每一样本译码色彩值。如果样本未译码为转义样本，那么视频编码器20及视频解码器30可译码数据以指示模式为复制顶部模式还是索引模式(例如palette_mode语法元素)。
在一些实例中，视频编码器20及视频解码器30可经配置以译码一或多个块层级语法元素，所述一或多个块层级语法元素针对视频数据块的所有样品指示块的至少一个样本是否基于不包含于块的色彩的调色板中的色彩值译码。就图5的实例来说，视频编码器20及视频解码器30可译码与映射240相关联的一或多个语法元素，所述一或多个语法元素指示映射240中的至少一个样本经译码为转义样本，即，行268的最末样本。
在实例中，所述一或多个语法元素可为块层级转义旗标。举例来说，视频编码器20可编码具有值一的转义旗标以指示映射240包含经译码为转义样本的样本。同样地，视频解码器30可解码具有值一的转义旗标，所述转义旗标指示映射240包含经译码为转义样本的样本。因此，视频编码器20可根据转义旗标编码映射240且视频解码器30可解码映射240。举例来说，视频编码器20及视频解码器30可将索引4添加到调色板244，所述索引可用于表示经译码为转义样本的样本。视频编码器20及视频解码器30可在映射240的译码期间使用此额外索引。
作为实例，视频解码器30可剖析来自位流的用于与映射240相关联的调色板经译码块的数据。视频解码器30可解码用于块的块层级转义旗标，所述旗标指示块中的一或多个样本是否可译码为转义像素。如果块层级转义旗标指示可存在经译码为转义样本的样本，那么视频解码器30可将索引4添加到调色板244。对于不在其它样本的行程中译码的样本(例如，经显式译码的样本，例如上文关于行264及行268所描述的那些)，视频解码器30还可解码指示调色板译码模式的一或多个语法元素(例如，palette_mode旗标)。
在以上实例中，视频解码器30还可解码用于所述样本的调色板索引。视频解码器30可使用经解码的调色板索引来确定对经解码的样本的样本值进行解码的方式。举例来说，如果样本具有索引4(例如，与转义样本相关联的索引)，那么视频解码器30可确定样本为转义译码样本且可解码样本的样本值。如果样本具有除外4的外的任何索引，那么视频解码器30可基于经解码索引从调色板244确定适当的样本值。视频解码器30还可解码指示其它样本的行程通过按扫描次序的当前样本经译码的一或多个语法元素。视频解码器30可使用具有等于调色板244的大小(四个索引)的输入参数的截断二进制码来解码索引。所得截断二进制码可包含首码及尾码(例如，尾随的一或零)。
本发明的技术可包含规范化限制palette_escape_val的值，所述值可在位流中编码(例如，通过视频编码器20)或从经编码位流解码(例如，通过视频解码器30)。举例来说，此限制可通过一致性位流不应含有大于某一值的palette_escape_val的位流约束定义或在二进制化之后通过多于某一数目的二进位表示。
此限制不仅可应用于经传信转义值(即，palette_escape_val)，而且还可应用于经量化的信号转义值、经重建的转义值、未量化的转义值及/或呈任何其它形式的转义值。(经重建的转义值可通过将逆量化应用于经量化的转义值来确定。)出于说明的目的，可参考palette_escape_val或其它值描述用于限制值的一或多种技术，但相同或类似技术可应用于其它量，例如经量化的信号转义值、经重建的转义值、未量化的转义值及/或转义值。因此，本文中描述的用于将值规范化限于给定最大值的任何技术不仅可应用于经传信转义值(即，palette_escape_val)，而且还可应用于经量化的信号转义值、经重建的转义值、未量化的转义值及/或呈任何其它形式的转义值。
举例来说，二进位数目可限于(即，小于或等于)16个二进位内或32个二进位内，或通常，限于特定架构可支持的二进位的任何最大数目。
当可在位流中传信的palette_escape_val的最大值受限制时，此对应于对语法元素表示(二进制化)中的二进位数目的限制。替代地，对语法元素表示中的二进位数目施加限制对应于对可在位流中传信的palette_escape_val的最大值的限制。
可(例如)至少通过以下各者中的一者限制palette_escape_val语法元素的值：
由于可在每色彩分量序列参数集(SPS)中传信的输入位深度为已知的，所以色彩分量的最大可能值同样可为已知的。色彩分量的此最大可能值可经计算为(1<<bitDepth)-1，其中bitDepth为色彩分量位深度，且『<<』算子表示二的补码整数表示的算术左移。经重建的转义译码样本色彩分量值可包含性的介于0与(1<<bitDepth)-1之间。因此，可为转义像素样本值的经量化表示的palette_escape_val可限于与输入或经重建像素值相同的范围内。换句话说，一致性位流可不含大于(1<<bitDepth)-1的palette_escape_val值，其中bitDepth为色彩分量输入位深度。在其它实例中，位深度还可为输出位深度或用于处理的任何内部位深度。
除上文所描述的所述范围外，当(例如)QP值小于4时，palette_escape_val的范围可经延伸以适应准确度提高。在此情况下，可将palette_escape_val值的范围定义于0与((1<<bitDepth)-1)×k之间，其中k(>1)为扩展因子。举例来说，可将palette_escape_val定义为1/qStep0，其中qStep0为QP等于0的量化步长。在替代实例中，palette_escape_val可为任何其它预定义的QP值。
在另一实例中，与特定QP值(例如其中QP小于4)相关联的范围增大可通过将所表达的palette_escape_val值限制在0与(1<<(bitDepth+b))-1之间的范围内来定址，其中b为表示(例如)与1/qStep0相关联的准确度增大的自然数。在一个实例中，将b的值设定等于1。然而，在其它实例中，将b的值设定成另一值。
替代地，在本发明的另一实例中，可将类似量化处理如应用于转义样本一样用于变换系数。在此实例中，可将语法元素palette_escape_val视为变换系数，且可将对变换系数施加的限制应用于限制此语法元素的经传信值。更确切地说，在另一实例中，转义像素译码可在变换系数译码的变换跳跃部分之后，其中所述过程的所有方面经借位，例如包含任选地使用相同莱斯(Rice)参数适应性的对量值、传信及二进制化的限制。在一些实例中，过程的仅一些方面经借位；例如，在一个实例中，仅再使用对量值的限制。在另一实例中，用于系数译码的二进制化与量值限制一起使用。可使用固定莱斯参数而非莱斯参数的适应性。在另一实例中，所使用的固定莱斯参数可为3。在替代性实例中，固定莱斯参数可大于或小于3。
在实例中，可如下导出变量Palette_escape_val_MinY、Palette_escape_val_MinC、Palette_escape_val_MaxY及Palette_escape_val_MaxC导出：
Palette_escape_val_MinY＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthY+6):15))
Palette_escape_val_MinC＝-(1<<(extended_precision_processing_flag？Max(15,BitDepthC+6):15))
Palette_escape_val_MaxY＝(1<<(extended_precision_processing_flag？Max(15,BitDepthY+6):15))-1
Palette_escape_val_MaxC＝(1<<(extended_precision_processing_flag？Max(15,BitDepthC+6):15))-1
其中陈述x？y:z表示如果x为真(TRUE)或不等于0，那么所述陈述评估y的值；否则，所述陈述评估z的值。当使用延伸的动态范围时，将extended_precision_processing_flag设定成真，且当不使用延伸的动态范围时将其设定成假(FALSE)。
在本发明的实例中，编码器20可将语法元素PaletteEscapeVal[cIdx][xC][yC]的值包含性的限于Palette_escape_val_MinY到Palette_escape_val_MaxY的范围内(针对cIdx等于0)及包含性的限于Palette_escape_val_MinC到Palette_escape_val_MaxC的范围内(针对cIdx不等于0)。针对所述PaletteIndexMap[xC][yC](其指定调色板索引，所述调色板索引为由指定当前调色板中的第i个元素的CurrentPaletteEntries[cIdx][i]表示的阵列的索引)等于MaxPaletteIndex(其指定用于当前译码单元的调色板索引的最大可能值)且palette_escape_val_present_flag等于1，PaletteEscapeVal[cIdx][xC][yC]指定样本的转义值。阵列索引cIdx指定色彩分量。阵列索引cIdx可指定色彩分量。阵列索引xC及yC可指定与图片的左上方明度样本相关的样本的位置(xC,yC)。解码器30可接收经受由编码器施加的限制的位流，且解码器30可基于所述限制重建PaletteEscapeVal[cIdx][xC][yC]。
在替代性实例中，编码器20可将palette_escape_val或PaletteEscapeVal[cIdx][xC][yC]的范围包含性的限于从0到(1<<bitDepthMax)-1的范围内。bitDepthMax可为最大位深度，例如由编解码器针对明度或色度分量或两者所支持的最大位深度，例如，例如8、9、10、11、12、13、14、15、16等的bitDepthMax值。在一个实例中，bitDepthMax可为用于某一配置文件(例如屏幕内容译码(SCC)配置文件)及/或某些层级的所有色彩分量当中的最大支持位深度。在另一实例中，bitDepthMax始终等于15。
在本发明的另一实例中，针对cIdx等于0，可将PaletteEscapeVal[cIdx][xC][yC]的值包含性的限于0到(1<<bitdepthMax)-1的范围内，且针对cIdx不等于0，包含性的限于0到(1<<bitdepthMax)-1的范围内。
在替代性实例中，将palette_escape_val或PaletteEscapeVal[cIdx][xC][yC]的范围包含性的限于从0到(1<<(extended_precision_processing_flag？Max(15,BitDepth+6):15))-1的范围内。范围可基于位深度及extended_precision_processing_flag定义如下：
可如下导出变量Palette_escape_val_MinY、Palette_escape_val_MinC、Palette_escape_val_MaxY及Palette_escape_val_MaxC：
Palette_escape_val_MinY＝0
Palette_escape_val_MinC＝0
Palette_escape_val_MaxY＝(1<<(extended_precision_processing_flag？Max(15,BitDepthY+6):15))-1
Palette_escape_val_MaxC＝(1<<(extended_precision_processing_flag？Max(15,BitDepthC+6):15))-1
在另一实例中，针对cIdx等于0，可将PaletteEscapeVal[cIdx][xC][yC]的值包含性的限于Palette_escape_val_MinY到Palette_escape_val_MaxY的范围内，且针对cIdx不等于0，包含性的限于Palette_escape_val_MinC到Palette_escape_val_MaxC的范围内。
在另一替代性实例中，基于extended_precision_processing_flag如下控制palette_escape_val的二进制化：
在其中extended_precision_processing_flag等于0的实例中，可通过调用第k阶指数哥伦布(EGk)二进制化过程导出palette_escape_val的二进制化。在实例中，可将k设定成等于3。在替代性实例中，可将k设定成任何值，例如，0、1、2、3、4、5、6等。
在其中extended_precision_processing_flag等于1的实例中，可通过调用第k阶EGk二进制化过程导出palette_escape_val的二进制化。在一示范性实例中，通过经设定等于3的变量riceParam及色彩分量cIdx执行palette_escape_val的二进制化。举例来说，所使用的二进制化处理可为第k阶指数哥伦布(EGk)二进制化处理及/或如Rajan Joshi等人的“High Efficiency Video Coding(HEVC)Screen Content Coding:Draft 4”(JCTVC-U1005，Warsaw，PL，2015年6月19日到6月26日)中所描述的受限第k阶指数哥伦布(EGk)二进制化处理。
在本发明的某些实例中，小于4的量化参数(QP)可造成值扩展的问题。在此实例中，当QP等于4时，标称地相应量化器步长(qStep)等于1。然而，当QP小于4时，量化处理扩展输入值(即，使其除以qStep<1)，而非对输入值进行量化。此可用于提高变换系数的准确度。然而，在某些实例中，具有等于1的qStep的转义译码像素已表示输入值的完全精确度而无任何失真或误差。因此，在此些实例中，进一步扩展可仅浪费存储器。
在一个实例中，进一步扩展可定址与某一QP值相关联的值扩展，在其中QP值小于4的实例中，可将QP值剪切成在转义像素的所需QP值范围内。在此实例中，可将例如(在此情况下)用于量化及逆量化处理中的所需QP值范围的下限设定成等于4。因此，在针对转义像素译码或变换跳跃在量化或逆量化处理中使用QP值之前，可首先将QP值剪切成所需QP范围内。举例来说，如果使用等于0的QP值，那么可首先将QP值剪切成值4且此后将经剪切的QP值用于相关的译码或解码过程中。应注意，对于除8以外的位深度，可通过4-6×(bitDepth-8)指定可经考虑等于4的QP。对于位深度10，QP值可从下剪切成值-8。在实例中，可将较低QP值剪切成标称地对应于为1的qStep的QP值。
在另一实例中，对QP范围的限制还适用于变换跳跃，即，旁路变换处理单元104的变换步骤的过程。
图6为说明实例编码过程的流程图，其中根据本发明的一或多个方面限制转义像素值。尽管通常出于说明的目的将图6的过程描述为由视频编码器20执行，然而多种其它处理器中的任一或多者还可进行图6中所展示的过程。
在图6的实例中，视频编码器20可确定用于编码视频数据的调色板模式中所使用的转义值的最大值，其中所述转义值表示待编码的视频数据块中的样本(602)。举例来说，视频编码器20可基于明度或色度分量的经传信输入位深度来确定转义值的最大值。在另一实例中，视频编码器20可基于编码器所支持的最大位深度来确定转义值的最大值。
视频编码器20可将一或多个转义值限制为不大于最大值(604)。举例来说，视频编码器20可规范性地限制一或多个转义值以使得基于经传信palette_escape_val确定的经重建转义值的值小于或等于所确定的最大值。视频编码器20可对经编码视频数据位流中的转义值进行编码(606)。
图7为说明实例解码过程的流程图，其中根据本发明的一或多个方面限制转义像素值。通常出于说明的目的将图7的过程描述为由视频解码器30执行，然而多种其它处理器中的任一或多者还可进行图7中所展示的过程。
在图7的实例中，视频解码器30可接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中位流包含用于确定表示待解码的视频数据块中的样本的至少一个转义值的信息(702)。举例来说，视频解码器30可接收受约束的位流以使得转义值不大于基于明度或色度分量的经传信输入位深度确定的最大值。在另一实例中，视频解码器30可接收受约束的位流以使得转义值不大于基于视频编码器20及/或视频解码器30所支持的最大位深度确定的最大值。
视频解码器30可使用用于确定至少一个转义值的信息来重建视频数据块中的样本(704)。举例来说，视频解码器30可基于经传信最大位深度从位流确定转义值且重建样本。在另一实例中，视频解码器30可基于编码器及/或解码器所支持的最大位深度从位流确定转义值。
图8为说明实例编码过程的流程图，其中根据本发明的一或多个方面将下限应用于量化参数。通常出于说明的目的将图8的过程描述为由视频编码器20执行，然而多种其它处理器中的任一或多者还可进行图8中所展示的过程。
在图8的实例中，视频编码器20可确定用于视频数据的量化参数值(802)。举例来说，视频编码器20可基于视频编码器20所使用的设定及/或基于待编码的内容确定量化参数值。
视频编码器20可确定量化参数下限(804)。举例来说，视频编码器20可确定对应于为1的qStep的量化参数，且视频编码器20可选择量化参数作为下限。在一些实例中，视频编码器20可将量化参数4确定为量化参数的下限。
如果量化参数值低于量化参数下限，那么视频编码器20可根据量化参数下限量化在编码视频数据的调色板模式中所使用的转义值，其中所述转义值表示待编码的视频数据块中的样本(806)。举例来说，其中下限经确定为4，如果遇到小于4的量化参数，那么视频编码器20可针对转义值或变换跳跃在使用量化处理中的量化参数之前将量化参数修改或剪切成值4。视频编码器20可对经编码视频数据位流中的转义值进行编码(808)。
图9为说明实例解码过程的流程图，其中根据本发明的一或多个方面将下限应用于量化参数。通常出于说明的目的将图9的过程描述为由视频解码器30执行，然而多种其它处理器中的任一或多者还可进行图9中所展示的过程。
在图9的实例中，视频解码器30可接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流经约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数来量化的限制相符(902)。举例来说，视频解码器30可接收受约束以使得转义值通过不小于对应于为1的qStep的所述量化参数的量化参数来量化的位流。在一些实例中，例如对于等于8的位深度值，量化参数下限可为4。因此，在此实例中，视频解码器30可接收受约束以使得转义值通过不小于4的量化参数来量化的位流。
视频解码器30可基于限制从位流确定至少一个转义值(904)。举例来说，视频解码器30可解码来自已受限以使得转义值通过不小于4的量化参数来量化的位流的转义值。视频解码器30可使用至少一个转义值重建视频数据的样本(906)。
对于包含于任何流程图(flowcharts or flow diagrams)中的本文所描述的过程、设备及其它实例或说明，包含于本文所描述的技术中的任一者中的某些操作、动作、步骤或事件可以不同序列执行、可经加入、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或事件皆为必要的)。此外，在某些实例中，操作、动作、步骤或事件可(例如)经由多线程过程、中断过程或多个处理器同时而非依序执行。其它某些操作、动作、步骤或事件(即使不特定识别为自动执行)可自动执行。而且，描述为自动执行的某些操作、动作、步骤或事件可替代地不自动执行，而相反地，在一些实例中，此类操作、动作、步骤或事件可响应于输入或另一事件执行。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或事件皆为必要的)。此外，在某些实例中，动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行。另外，虽然出于清晰的目的将本发明的某些方面描述为通过单一模块或单元执行，但应理解，本发明的技术可通过与视频译码器相关联的单元或模块的组合来执行。
出于说明的目的，已关于开发HEVC标准而描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
上文所描述的技术可通过视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，两者通常可称作视频译码器。同样地，视频译码可在适用时指代视频编码或视频解码。
虽然在上文描述所述技术的各种方面的特定组合，但提供此些组合仅为说明本发明中所描述的技术的实例。因此，本发明的技术不应限于此些实例组合且可涵盖本发明中所描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于有形媒体(例如数据存储媒体)，或包含促进将计算机程序从一处传送到另一处(例如，根据通信协议)的任何媒体的通信媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪存器，或可用以存储呈指令或数据结构形式的所需程序代码且可由计算机存取的任何其它媒体。而且，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光缆、双绞线、数字用户线(DSL)或无线技术(例如红外线、无线电及微波)从网站、服务器或其它远程源传输指令，那么同轴缆线、光缆、双绞线、DSL或无线技术(例如红外线、无线电及微波)包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而实际上涉及非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘用激光以光学方式再生数据。以上的组合还应包含于计算机可读媒体的范围内。
指令可由一或多个处理器执行，例如一或多个数字信号处理器(DSP)、通用微处理器、集成电路专用集成电路(ASIC)、场可编程逻辑阵列(FPGA)或其它等效的积体或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。此外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片组)。本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切来说，如上文所描述，可将各种单元组合于编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件来提供所述单元。

Claims (56)

1.一种解码视频数据的方法，其包括：
接收受约束以使得用于解码所述视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中所述位流包含用于确定表示待解码的所述视频数据的块中的样本的至少一个转义值的信息；
获得分量位深度n，其中所述最大值是根据(1<<(n+1))–1来计算的；及
使用用于确定所述至少一个转义值的所述信息来重建所述视频数据的所述块中的所述样本。
2.根据权利要求1所述的方法，其中在所述调色板模式中使用的所述转义值包括在所述位流中传信的转义值。
3.根据权利要求1所述的方法，其中所述至少一个转义值并不与调色板中用以表示所述视频数据的所述块中的样本的任何条目相关联。
4.根据权利要求1所述的方法，其中所述分量位深度为色彩分量输入位深度。
5.根据权利要求1所述的方法，其进一步包括：
接收在序列参数集中传信的所述分量位深度。
6.根据权利要求1所述的方法，其中所述分量位深度为解码器所支持的最大位深度。
7.根据权利要求1所述的方法，其进一步包括：
至少基于精确度信息通过调用指数哥伦布二进制化处理导出所述转义值的二进制化。
8.根据权利要求7所述的方法，其中，所述精确度信息包括extended_precision_processing_flag。
9.一种编码视频数据的方法，其包括：
至少基于分量位深度确定用于编码所述视频数据的调色板模式中使用的转义值的最大值，其中所述最大值是根据(1<<(n+1))–1来计算的，其中n是分量位深度，以及其中所述转义值表示待编码的视频数据的块中的样本；
将一或多个转义值限于不大于所述最大值；
在经编码视频数据位流中编码所述一或多个转义值；及
传信所述分量位深度。
10.根据权利要求9所述的方法，其中在所述调色板模式中使用的所述转义值包括在所述位流中传信的转义值。
11.根据权利要求9所述的方法，其中所述一或多个转义值并不与调色板中用以表示所述视频数据的所述块中的样本的任何条目相关联。
12.根据权利要求9所述的方法，其中所述分量位深度为色彩分量输入位深度。
13.根据权利要求9所述的方法，其进一步包括：
传信序列参数集中的所述分量位深度。
14.根据权利要求9所述的方法，其中所述分量位深度为解码器所支持的最大位深度。
15.根据权利要求9所述的方法，其进一步包括：
至少基于精确度信息通过调用指数哥伦布二进制化处理导出所述转义值的二进制化。
16.根据权利要求15所述的方法，其中所述精确度信息包含extended_precision_processing_flag。
17.一种解码视频数据的方法，其包括：
接收包含用于确定用于解码所述视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数量化的限制相符，以及其中所述位流进一步被约束使得在用于解码所述视频数据的调色板模式中所使用的转义值不再大于最大值，其中所述最大值是基于至少分量位深度的，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度；
基于所述限制从所述位流确定所述至少一个转义值；及
使用所述至少一个转义值重建所述视频数据的样本。
18.根据权利要求17所述的方法，其中所述至少一个转义值并不与调色板中用以表示待解码的视频数据的块中的样本的任何条目相关联。
19.根据权利要求17所述的方法，其中所述量化参数下限对应于为1的qStep值。
20.根据权利要求17所述的方法，其中所述量化参数下限是基于分量位深度。
21.根据权利要求20所述的方法，其中当所述分量位深度为8时，所述量化参数下限等于4。
22.一种编码视频数据的方法，其包括：
确定所述视频数据的量化参数值；
确定量化参数下限；
如果所述量化参数值低于所述量化参数下限，那么根据所述量化参数下限量化用于编码所述视频数据的调色板模式中所使用的转义值，其中所述转义值表示待编码的所述视频数据的块中的样本；
基于至少分量位深度，确定所述转义值的最大值，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度；
将一或多个转义值限于不大于所述最大值；及
在经编码视频数据位流中编码所述转义值。
23.根据权利要求22所述的方法，其中所述转义值并不与调色板中用以表示所述视频数据的所述块中的样本值的任何条目相关联。
24.根据权利要求22所述的方法，其中确定所述量化参数下限包括：
选择对应于为1的qStep值的所述量化参数下限。
25.根据权利要求22所述的方法，其中确定所述量化参数下限包括：
基于分量位深度确定所述量化参数下限。
26.根据权利要求25所述的方法，其中确定所述量化参数下限包括：
当所述分量位深度为8时，选择等于4的所述量化参数下限。
27.一种经配置以解码视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
接收受约束以使得用于解码所述视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中所述位流包含用于确定表示待解码的所述视频数据的块中的样本的至少一个转义值的信息；
获得分量位深度n，其中所述最大值是根据(1<<(n+1))–1来计算的；及
使用用于确定所述至少一个转义值的所述信息来重建所述视频数据的所述块中的所述样本。
28.根据权利要求27所述的设备，其中在所述调色板模式中使用的所述转义值包括在所述位流中传信的转义值。
29.根据权利要求27所述的设备，其中所述至少一个转义值并不与调色板中用以表示所述视频数据的所述块中的样本的任何条目相关联。
30.根据权利要求27所述的设备，其中所述分量位深度为色彩分量输入位深度。
31.根据权利要求27所述的设备，其中所述一或多个处理器经进一步配置以：
接收在序列参数集中传信的所述分量位深度。
32.根据权利要求27所述的设备，其中所述分量位深度为解码器所支持的最大位深度。
33.根据权利要求27所述的设备，其中所述一或多个处理器经进一步配置以：
至少基于精确度信息通过调用指数哥伦布二进制化处理导出所述转义值的二进制化。
34.根据权利要求33所述的设备，其中所述精确度信息包含extended_precision_processing_flag。
35.一种经配置以编码视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
至少基于分量位深度确定用于编码所述视频数据的调色板模式中使用的转义值的最大值，其中所述最大值是根据(1<<(n+1))–1来计算的，其中n是分量位深度，以及其中所述转义值表示待编码的所述视频数据的块中的样本，
将一或多个转义值限于不大于所述最大值，
在经编码视频数据位流中编码所述一或多个转义值；及传信所述分量位深度。
36.根据权利要求35所述的设备，其中在所述调色板模式中使用的所述转义值包括在所述位流中传信的转义值。
37.根据权利要求35所述的设备，其中所述一或多个转义值并不与调色板中用以表示所述视频数据的所述块中的样本的任何条目相关联。
38.根据权利要求35所述的设备，其中所述分量位深度为色彩分量输入位深度。
39.根据权利要求35所述的设备，其中所述一或多个处理器经进一步配置以：
在序列参数集中传信所述分量位深度。
40.根据权利要求35所述的设备，其中所述分量位深度为编码器所支持的最大位深度。
41.根据权利要求35所述的设备，其中所述一或多个处理器经进一步配置以：
至少基于精确度信息通过调用指数哥伦布二进制化处理导出所述转义值的二进制化。
42.根据权利要求41所述的设备，其中所述精确度信息包含extended_precision_processing_flag。
43.一种经配置以解码视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
接收包含用于确定用于解码所述视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流经约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数量化的限制相符，以及其中所述位流进一步被约束使得在用于解码所述视频数据的调色板模式中所使用的转义值不再大于最大值，其中所述最大值是基于至少分量位深度的，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度，
基于所述限制从所述位流确定所述至少一个转义值，及
使用所述至少一个转义值重建所述视频数据的样本。
44.根据权利要求43所述的设备，其中所述至少一个转义值并不与调色板中用以表示待解码的视频数据的块中的样本的任何条目相关联。
45.根据权利要求43所述的设备，其中所述量化参数下限对应于为1的qStep值。
46.根据权利要求43所述的设备，其中所述量化参数下限是基于分量位深度。
47.根据权利要求46所述的设备，其中当所述分量位深度为8时，所述量化参数下限等于4。
48.一种经配置以编码视频数据的设备，所述设备包括：
存储器，其经配置以存储所述视频数据；及
一或多个处理器，其经配置以：
确定所述视频数据的量化参数值；
确定量化参数下限；
如果所述量化参数值小于所述量化参数下限，那么根据所述量化参数下限量化用于编码所述视频数据的调色板模式中使用的转义值，其中所述转义值表示待编码的所述视频数据的块中的样本；
基于至少分量位深度，确定所述转义值的最大值，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度；
将一或多个转义值限于不大于所述最大值；及
在经编码视频数据位流中编码所述转义值。
49.根据权利要求48所述的设备，其中所述转义值并不与调色板中用以表示所述视频数据的所述块中的样本值的任何条目相关联。
50.根据权利要求48所述的设备，其中确定所述量化参数下限包括：
选择对应于为1的qStep值的所述量化参数下限。
51.根据权利要求48所述的设备，其中确定所述量化参数下限包括：
基于分量位深度确定所述量化参数下限。
52.根据权利要求51所述的设备，其中确定所述量化参数下限包括：
当所述分量位深度为8时，选择等于4的所述量化参数下限。
53.一种经配置以解码视频数据的设备，所述设备包括：
用于接收受约束以使得用于解码所述视频数据的调色板模式中所使用的转义值不大于最大值的位流的装置，其中所述位流包含用于确定表示待解码的所述视频数据的块中的样本的至少一个转义值的信息；
用于获得分量位深度n的装置，其中所述最大值是根据(1<<(n+1))–1来计算的；及
用于使用用于确定所述至少一个转义值的所述信息来重建所述视频数据的所述块中的所述样本的装置。
54.一种经配置以解码视频数据的设备，所述设备包括：
用于接收包含用于确定用于解码所述视频数据的调色板模式中所使用的至少一个转义值的信息的位流的装置，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数量化的限制相符，以及其中所述位流进一步被约束使得在用于解码所述视频数据的调色板模式中所使用的转义值不再大于最大值，其中所述最大值是基于至少分量位深度的，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度；
用于基于所述限制从所述位流确定所述至少一个转义值的装置；及
用于使用所述至少一个转义值重建所述视频数据的样本的装置。
55.一种具有存储于其上的指令的非暂时性计算机可读媒体，所述指令在执行时使得一或多个处理器进行以下操作：
接收受约束以使得用于解码视频数据的调色板模式中所使用的转义值不大于最大值的位流，其中所述位流包含用于确定表示待解码的所述视频数据的块中的样本的至少一个转义值的信息；
获得分量位深度n，其中所述最大值是根据(1<<(n+1))–1来计算的；及
使用用于确定所述至少一个转义值的所述信息来重建所述视频数据的所述块中的所述样本。
56.一种具有存储于其上的指令的非暂时性计算机可读媒体，所述指令在执行时使得一或多个处理器进行以下操作：
接收包含用于确定用于解码视频数据的调色板模式中所使用的至少一个转义值的信息的位流，其中所述位流受约束以使得其与确保所述至少一个转义值是根据不低于量化参数下限的量化参数量化的限制相符，以及其中所述位流进一步被约束使得在用于解码所述视频数据的调色板模式中所使用的转义值不再大于最大值，其中所述最大值是基于至少分量位深度的，其中所述最大值是根据(1<<(n+1))–1来计算的，以及其中n是分量位深度；
基于所述限制从所述位流确定所述至少一个转义值；及
使用所述至少一个转义值重建所述视频数据的样本。
CN201680053503.2A 2015-09-18 2016-09-16 调色板模式视频译码中转义像素信号值的限制 Active CN108028940B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562220675P 2015-09-18 2015-09-18
US62/220,675 2015-09-18
US15/266,623 US10097842B2 (en) 2015-09-18 2016-09-15 Restriction of escape pixel signaled values in palette mode video coding
US15/266,623 2016-09-15
PCT/US2016/052186 WO2017049119A1 (en) 2015-09-18 2016-09-16 Restriction of escape pixel signaled values in palette mode video coding

Publications (2)

Publication Number Publication Date
CN108028940A CN108028940A (zh) 2018-05-11
CN108028940B true CN108028940B (zh) 2021-07-23

Family

ID=58283640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053503.2A Active CN108028940B (zh) 2015-09-18 2016-09-16 调色板模式视频译码中转义像素信号值的限制

Country Status (9)

Country Link
US (1) US10097842B2 (zh)
EP (1) EP3350997B1 (zh)
JP (1) JP2018532319A (zh)
KR (1) KR20180056687A (zh)
CN (1) CN108028940B (zh)
AU (1) AU2016323800A1 (zh)
ES (1) ES2866035T3 (zh)
TW (1) TW201722164A (zh)
WO (1) WO2017049119A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115802033A (zh) * 2016-12-23 2023-03-14 华为技术有限公司 一种用于处理矩形视频编码块的比特流的系统及方法
WO2020141856A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 영상 코딩 시스템에서 레지듀얼 정보를 사용하는 영상 디코딩 방법 및 그 장치
AU2020226567A1 (en) 2019-02-24 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Joint coding of palette mode usage indication
US11423642B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
US10924750B2 (en) * 2019-03-01 2021-02-16 Alibaba Group Holding Limited Palette size constraint in palette mode for video compression system
US11503311B2 (en) * 2019-03-08 2022-11-15 Sony Group Corporation Hybrid palette-DPCM coding for image compression
WO2020207421A1 (en) * 2019-04-09 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Entry construction for palette mode coding
KR20220013938A (ko) 2019-05-31 2022-02-04 바이트댄스 아이엔씨 인트라 블록 복사 예측을 갖는 팔레트 모드
BR112021025916A2 (pt) 2019-06-28 2022-02-15 Bytedance Inc Método de processamento de dados de vídeo, aparelho para processar dados de vídeo, meio de armazenamento e meio de gravação não transitórios legíveis por computador
KR102612765B1 (ko) * 2019-06-28 2023-12-13 바이트댄스 아이엔씨 변환 스킵 모드에서 양자화 파라미터를 수정하는 기술
US11218700B2 (en) * 2019-07-01 2022-01-04 Qualcomm Incorporated Minimum allowed quantization parameter for transform skip mode and palette mode in video coding
JP7359936B2 (ja) * 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN114145013B (zh) 2019-07-23 2023-11-14 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018167A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
US11627327B2 (en) * 2019-08-05 2023-04-11 Qualcomm Incorporated Palette and prediction mode signaling
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
EP4000269A4 (en) * 2019-08-15 2022-09-07 ByteDance Inc. PALLET MODE WITH DIFFERENT DIVISION STRUCTURES
KR102521034B1 (ko) * 2019-08-15 2023-04-13 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 팔레트 모드를 이용한 비디오 코딩의 방법 및 장치
MX2022002304A (es) * 2019-08-26 2022-03-25 Lg Electronics Inc Codificacion de imagen o video basada en codificacion de escape de paleta.
KR20240056669A (ko) * 2019-08-26 2024-04-30 엘지전자 주식회사 팔레트 코딩 기반 영상 또는 비디오 코딩
KR20240056668A (ko) * 2019-08-26 2024-04-30 엘지전자 주식회사 팔레트 모드 기반 영상 또는 비디오 코딩
US20220295105A1 (en) * 2019-08-29 2022-09-15 Lg Electronics Inc. Image or video coding based on escape binarization in palette mode
JP7358136B2 (ja) * 2019-09-17 2023-10-10 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
EP4032275A4 (en) 2019-09-19 2022-11-30 ByteDance Inc. DERIVING QUANTIZE PARAMETERS FOR PALETTE MODE
WO2021061744A1 (en) * 2019-09-23 2021-04-01 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for quantization and de-quantization design in video coding
US11265536B2 (en) 2019-09-23 2022-03-01 Tencent America LLC Method to extend the range of rice parameter for residual coding in transform skip mode
CN114788277A (zh) * 2019-09-24 2022-07-22 北京达佳互联信息技术有限公司 残差和系数编解码的方法和装置
CN114930833A (zh) * 2019-10-10 2022-08-19 北京达佳互联信息技术有限公司 使用调色板模式的视频编解码的方法和装置
WO2021086020A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 색공간 변환을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021086023A1 (ko) * 2019-10-28 2021-05-06 엘지전자 주식회사 적응적 변환을 이용하여 레지듀얼 처리를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11683489B2 (en) * 2019-12-26 2023-06-20 Qualcomm Incorporated Monochrome palette mode for video coding
US11523137B2 (en) * 2020-06-09 2022-12-06 FG Innovation Company Limited Device and method for decoding video data using general constraints information

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870413A (zh) * 2010-04-09 2013-01-09 高通股份有限公司 用于视频数据译码的可变长度码
CN104023235A (zh) * 2013-02-28 2014-09-03 美国博通公司 图像编码中的索引颜色历史

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7944968B2 (en) * 2005-04-12 2011-05-17 Lsi Corporation Method for specification of quantized coefficient limit
GB2516021A (en) * 2013-07-05 2015-01-14 Canon Kk Method, device, and computer program for pre-encoding and post-decoding high bit-depth content in video encoder and decoder
US10362333B2 (en) 2014-01-02 2019-07-23 Qualcomm Incorporated Color index coding for palette-based video coding
PL3117617T3 (pl) * 2014-03-14 2022-08-22 Vid Scale, Inc. Kodowanie palety przeznaczone do kodowania zawartości ekranu
WO2015139165A1 (en) 2014-03-17 2015-09-24 Microsoft Technology Licensing, Llc Encoder-side decisions for screen content encoding
US9654806B2 (en) * 2014-03-26 2017-05-16 Qualcomm Incorporated Determining palette size, palette entries and filtering of palette coded blocks in video coding
US10264285B2 (en) * 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
US10313684B2 (en) * 2014-06-20 2019-06-04 Qualcomm Incorporated Copy from previous rows for palette mode coding
US9860560B2 (en) * 2014-07-02 2018-01-02 Qualcomm Incorporated Method for palette mode coding
EP3007423A1 (en) * 2014-10-06 2016-04-13 Industrial Technology Research Institute Method of color palette coding applicable to electronic device and electronic device using the same
CN110677656A (zh) 2014-10-06 2020-01-10 Vid拓展公司 执行调色板解码的方法及解码设备
GB2531005A (en) 2014-10-06 2016-04-13 Canon Kk Improved encoding process using a palette mode
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
EP4020983A1 (en) * 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102870413A (zh) * 2010-04-09 2013-01-09 高通股份有限公司 用于视频数据译码的可变长度码
CN104023235A (zh) * 2013-02-28 2014-09-03 美国博通公司 图像编码中的索引颜色历史

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AHG18: Worst-case Escape Code Length Mitigation;K. Sharman;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20140430;第2节，附录A *
Non-CE1: On escape color coding for palette coding mode;Xiaoyu Xiu;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20150218;第1.1、7.4.9.6、8.4.5.2.8、9.3.3.13小节 *
Xiaoyu Xiu.Non-CE1: On escape color coding for palette coding mode.《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》.2015,第1.1、7.4.9.6、8.4.5.2.8、9.3.3.13小节. *

Also Published As

Publication number Publication date
EP3350997A1 (en) 2018-07-25
AU2016323800A1 (en) 2018-04-26
KR20180056687A (ko) 2018-05-29
US20170085891A1 (en) 2017-03-23
WO2017049119A1 (en) 2017-03-23
US10097842B2 (en) 2018-10-09
JP2018532319A (ja) 2018-11-01
EP3350997B1 (en) 2021-03-24
CN108028940A (zh) 2018-05-11
TW201722164A (zh) 2017-06-16
ES2866035T3 (es) 2021-10-19

Similar Documents

Publication Publication Date Title
CN108028940B (zh) 调色板模式视频译码中转义像素信号值的限制
CN107409215B (zh) 用于视频译码的调色板模式译码
CN107113436B (zh) 用于解码视频数据的方法和装置以及计算机可读存储媒体
CN107211148B (zh) 在视频译码中调色板块大小的限制
CN106464877B (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
JP6556732B2 (ja) パレットベースのビデオコーディングのためのカラーインデックスコーディング
CN106105207B (zh) 用于编码/解码视频数据的方法和设备
CN107211138B (zh) 编码、解码视频数据的方法、装置和计算机可读存储媒体
KR102338145B1 (ko) 팔레트 모드 인코딩 및 디코딩 설계
CN107211139B (zh) 用于译码视频数据的方法、装置和计算机可读存储媒体
US10158866B2 (en) Parsing dependency reduction for palette index coding
US10097837B2 (en) Palette run hiding in palette-based video coding
US20160227254A1 (en) Coding palette run in palette-based video coding
US9961351B2 (en) Palette mode coding
US9848198B2 (en) Diagonal copy for palette mode coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant