CN107211160A - 通过调色板预测残余编码的视频译码 - Google Patents

通过调色板预测残余编码的视频译码 Download PDF

Info

Publication number
CN107211160A
CN107211160A CN201680006346.XA CN201680006346A CN107211160A CN 107211160 A CN107211160 A CN 107211160A CN 201680006346 A CN201680006346 A CN 201680006346A CN 107211160 A CN107211160 A CN 107211160A
Authority
CN
China
Prior art keywords
palette
entry
color
video
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680006346.XA
Other languages
English (en)
Inventor
克里希纳坎斯·拉帕卡
瑞珍·雷克斯曼·乔许
瓦迪姆·谢廖金
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN107211160A publication Critical patent/CN107211160A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明揭示一种用于对视频数据进行译码的装置，所述装置包含存储视频数据的存储器及包含一或多个处理器的视频译码器，所述一或多个处理器经配置以确定以调色板模式对所述视频数据的当前译码单元进行译码；通过对于调色板的第一条目，从所述译码单元的经重构相邻块中选择预测因子样本及对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的差进行译码来确定用于所述译码单元的所述调色板。

Description

通过调色板预测残余编码的视频译码
本申请案要求2015年1月30日申请的美国临时专利申请案第62/110,221号的权益，所述美国临时专利申请案的完整内容特此以引用的方式并入。
技术领域
本发明涉及视频译码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分、高级视频译码(AVC)定义的标准、最近已完成的高效率视频译码(HEVC)标准及此些标准的扩展中所描述的技术。视频装置可以通过实施此类视频压缩技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块也可被称作树块、译码单元(CU)及/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间编码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块的间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残余数据进行编码的。根据帧内译码模式和残余数据来对经帧内译码块进行编码。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初按二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现甚至更多压缩。
发明内容
本发明的各方面涉及对于视频数据块的调色板模式译码。本文中所描述的技术可应用于各种现有视频编解码器中的任一者，例如遵守高效视频译码(HEVC)标准、其扩展的编解码器，或任何未来视频编解码器。
在一个实例中，对视频数据进行解码的方法包含确定所述视频数据的当前译码单元以调色板模式进行译码；通过以下操作确定所述译码单元的调色板：对于所述调色板的第一条目，从译码单元的经重构相邻块中选择预测因子样本；对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行解码；及基于经解码残余数据及预测因子样本，确定用于当前译码单元的调色板的第一条目；对于当前译码单元的样本，接收索引值，其中所述索引值识别来自调色板的条目；将与第一条目相关联的一或多个色彩值分配到所述样本以确定经重构译码单元；以及输出包括经重构译码单元的经解码视频数据的图片。
在另一实例中，对视频数据进行编码的方法包含确定所述视频数据的当前译码单元以调色板模式进行译码；确定用于译码单元的调色板；对于调色板的第一条目，从译码单元的经重构相邻块中选择预测因子样本；确定第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差；以及产生指示第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差的一或多个语法元素以用于包含在视频数据的经编码位流中。
在另一实例中，用于对视频数据进行译码的装置包含存储视频数据的存储器及包括一或多个处理器的视频译码器，所述一或多个处理器经配置以确定视频数据的当前译码单元以调色板模式进行译码；确定用于译码单元的调色板，其中为了确定所述调色板，所述一或多个处理器进一步经配置以：对于调色板的第一条目，从译码单元的经重构相邻块中选择预测因子样本；以及对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码。
在另一实例中，计算机可读存储媒体存储指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器确定视频数据的当前译码单元以调色板模式进行译码；确定用于译码单元的调色板，其中为了确定用于译码单元的所述调色板，所述计算机可读存储媒体存储另外的指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器：对于调色板的第一条目，从译码单元的经重构相邻块中选择预测因子样本；以及对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码。
附图和以下描述中阐述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及权利要求书而显而易见。
附图说明
图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。
图2是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。
图3是说明与本发明的技术一致的确定到视频块的调色板的索引的实例的概念图。
图4是说明与本发明的技术一致的针对色度分量使用经自适应下取样的明度分量的调色板索引运行来确定视频块的几何边缘的实例的概念图。
图5是说明本发明的技术的流程图。
图6是说明可实施本发明中描述的技术的实例视频编码器的框图。
图7是说明可实施本发明中描述的技术的实例视频解码器的框图。
图8是说明本发明的技术的流程图。
图9是说明本发明的技术的流程图。
图10是说明本发明的技术的流程图。
具体实施方式
本发明描述用于视频译码(例如，视频编码及视频解码)及压缩的技术。确切地说，本发明描述用于视频数据的基于调色板的视频译码的技术。在基于调色板的视频译码中，视频译码器(例如，视频编码器或视频解码器)导出像素块的调色板表格(也被简称为“调色板”)，其中调色板表格中的每一条目包含通过到调色板表格中的索引识别的色彩值。
作为以调色板模式对块进行译码的部分，可首先对待用于所述块的调色板条目进行译码。接着，可对所述块的每个像素(或样本)的调色板索引进行译码以指示来自调色板的哪一条目应用于预测或重构所述像素(样本)。本发明大体上涉及用于产生调色板，即确定调色板的调色板条目的技术。
如下文将更详细地解释，可使用经预测调色板或新调色板对经调色板模式译码块进行译码。对于经预测调色板，视频解码器接收指示待用于当前块的调色板是先前使用的调色板的复制的仅数个位。对于新调色板，视频解码器相较于在经预测调色板的情况下通常接收更大量的数据，由于对于新调色板，视频解码器并不仅仅复制先前使用的调色板，而是实际上产生新调色板。当产生新调色板时，视频解码器逐条目产生新调色板的条目。对于每一条目，视频解码器接收指示所述条目是否是从先前调色板的条目复制或所述条目是否为新条目的旗标。根据现有技术，对于新条目，视频解码器针对新条目的每一分量接收色彩值。通常在用于视频数据的位深度处发信号通知色彩值。因此，为了发信号通知8位视频的调色板条目的明度值及两个色度值，视频解码器接收三个8位值。
根据本发明的技术，为了减少用于发信号通知新条目所需的位，视频解码器可定位经重构样本及将经重构样本的色彩值用作新调色板条目的预测因子。因此，视频解码器可实际上接收指示新调色板与预测因子样本的色彩值之间的差的残余数据，而不是接收指示新调色板条目的色彩值的三个8位值。由于预测因子样本与新调色板条目的色彩值之间的差常常可小于色彩值自身，因此可能够使用相较于用于直接发信号通知色彩值所需的位更少的位来发信号通知所述差。通过减少发信号通知新调色板的新条目所需的位数，可改进调色板模式译码的总体译码效率。
图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，其产生稍后将由目的地装置14解码的经编码视频数据。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含台式计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或其类似者。在一些情况下，可装备源装置12及目的地装置14以用于无线通信。
目的地装置14可经由链路16接收待解码的经编码视频数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括通信媒体，所述通信媒体使得源装置12能够直接将经编码视频数据实时地发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。
替代地，经编码数据可从输出接口22输出到存储装置26。类似地，经编码数据可通过输入接口从存储装置26存取。存储装置26可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置26可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置26经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置26的发射可为流式发射、下载发射或两者的组合。
本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、流式视频发射(例如，经由因特网)、对数字视频进行编码以存储于数据存储媒体上、对存储于数据存储媒体上的数字视频进行解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播及/或视频电话等应用。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些情况下，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。在源装置12中，视频源18可以包含例如视频捕获装置(例如，摄像机)、包含先前所捕获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据以作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，本发明中所描述的技术一般来说可适用于视频译码，且可应用于无线及/或有线应用。
经捕获、预捕获或计算机产生的视频可由视频编码器20进行编码。可经由源装置12的输出接口22将经编码视频数据直接发射到目的地装置14。经编码视频数据还可(或替代地)存储在存储装置26上以供稍后由目的地装置14或其它装置存取，用于解码及/或回放。
目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些情况下，输入接口28可包含接收器及/或调制解调器。目的地装置14的输入接口28经由链路16接收经编码视频数据。经由链路16传达或提供于存储装置26上的经编码视频数据可包含由视频编码器20产生以供视频解码器(例如视频解码器30)用于对视频数据进行解码的多种语法元素。此类语法元素可与在通信媒体上发射、存储于存储媒体上或存储文件服务器的经编码视频数据包含在一起。
显示装置32可与目的地装置14集成或在目的地装置14的外部。在一些实例中，目的地装置14可包含集成显示装置且还可经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
视频编码器20及视频解码器30可根据例如最近完成的高效视频译码(HEVC)标准等视频压缩标准操作，且可符合HEVC测试模型(HM)。视频编码器20及视频解码器30可以根据其它专有或业界标准来操作，除HEVC之外，所述标准还例如是ITU-T H.264标准，或者被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。
为了易于解释，本发明的技术可利用HEVC术语。然而，不应假设本发明的技术限于HEVC，且实际上，明确地设想本发明的技术可以HEVC的后继标准及其扩展以及其它未来编码解码器设计及标准实施。
尽管图1中未示,但在一些方面中，视频编码器20及视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分解器单元或其它硬件及软件以处置共用数据流或单独数据流中的音频和视频两者的编码。在一些实例中，如果适用的话，那么MUX-DEMUX单元可以符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
视频编码器20及视频解码器30各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器执行硬件中的指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编码解码器)的一部分。
如上文所介绍，JCT-VC最近已完成HEVC标准的开发。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假设视频译码裝置根据例如ITU-TH.264/AVC相对于现有裝置的几个额外能力。举例来说，虽然H.264提供了九个帧内预测编码模式，但是HM可提供多达三十五个帧内预测编码模式。
在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，表示为SL、SCb及SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可以被称为“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。
为了产生图片的经编码表示，视频编码器20可以产生一组译码树单元(CTU)。CTU中的每一者可包括明度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可以被称为“树块”或“最大译码单元”(LCU)。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
为了产生经译码CTU，视频编码器20可在CTU的译码树块上以递归方式执行四叉树分割，以将译码树块划分为译码块，因此命名为“译码树单元”。译码块可以是样本的NxN块。CU可包括具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块及用以对译码块的样本进行译码的语法结构。
视频编码器20可将CU的译码块分割为一或多个预测块。预测块是对其应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块和用以预测预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块及用以预测预测块的语法结构。视频编码器20可产生CU的每一PU的明度预测块、Cb预测块以及Cr预测块的预测性明度块、Cb块以及Cr块。
视频编码器20可使用帧内预测、帧间预测或例如调色板译码的另一译码模式以产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可以基于与PU相关联的图片的经解码的样本来产生PU的预测性块。如果视频编码器20使用帧间预测产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片以外的一或多个图片的经解码样本产生PU的预测性块。
在视频编码器20产生CU的一或多个PU的预测性明度、Cb及Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每个样本指示CU的预测性明度块中的一者中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器20可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四叉树分割将CU的明度、Cb及Cr残余块分解成一或多个明度、Cb及Cr变换块。变换块是对其应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。因此，CU的每个TU可以与明度变换块、Cb变换块以及Cr变换块相关联。与TU相关联的明度变换块可以是CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可以是CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块及用以对变换块的样本进行变换的语法结构。
视频编码器20可将一或多个变换应用到TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用至TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用到TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可以量化系数块。量化总体上是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可以对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。
视频编码器20可输出包含形成经译码图片及相关联数据的表示的位序列的位流。位流可包括一系列NAL单元。NAL单元为含有NAL单元中数据类型的指示及含有所述数据的字节的语法结构，所述字节呈RBSP形式，并且视需要与模拟防止位穿插。NAL单元中的每一者包含NAL单元标头且包封RBSP。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的所述NAL单元类型代码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位元。
不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封PPS的RBSP，第二类型的NAL单元可包封经译码切片的RBSP，第三类型的NAL单元可包封SEI消息的RBSP等等。包封视频译码数据的RBSP(与参数集及SEI消息的RBSP相反)的NAL单元可被称作VCL NAL单元。
视频解码器30可以接收由视频编码器20产生的位流。另外，视频解码器30可以剖析位流以获得来自位流的语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的过程可大体上与由视频编码器20执行的过程互逆。另外，视频解码器30可反量化与当前CU的TU相关联的系数块。视频解码器30可以对系数块执行反变换以重构与当前CU的TU相关联的变换块。通过将用于当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应的样本，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构图片。
如上文所介绍，对HEVC的扩展及其它译码标准可实施除帧内预测及帧间预测之外的译码模式。一个此类译码模式为视频编码器20及视频解码器30均可导出用于像素块的调色板的调色板模式，其中调色板表格中的每一条目包含通过到调色板表格中的索引识别的色彩值。视频编码器20可接着对指示调色板的哪一条目对应于所述块的各个样本的色彩值的调色板模式经编码块索引值的样本进行编码。视频解码器30接收索引值，且基于所述索引值重构所述块。
图2是说明与本发明的技术一致的确定用于对视频数据进行译码的调色板的实例的概念图。图2的实例包含图片178，其具有与第一组调色板(即，第一调色板184)相关联的第一译码单元(CU)180，以及与第二组调色板(即，第二调色板192)相关联的第二CU188。如下文更详细描述及根据本发明的技术中的一或多者，第二调色板192基于第一调色板184。图片178还包含以帧内预测译码模式进行译码的块196及以帧间预测译码模式进行译码的块200。
出于解释的目的，在视频编码器20(图1及图6)及视频解码器30(图1及图7)的上下文中且相对于HEVC视频译码标准来描述图2的技术。相对于HEVC框架，作为实例，基于调色板的译码技术可经配置以用作CU模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的PU模式或TU模式。因此，在CU模式的上下文中描述的所有以下所公开的过程可另外或替代地应用于PU或TU。然而，应理解，本发明的技术不限于此方式，且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。
一般来说，调色板指代主要的及/或代表目前正经译码的CU(例如，在图2的实例中的CU 188)的多个像素值。将第一调色板184和第二调色板192展示为包含多个调色板。在一些实例中，根据本发明的各方面，视频译码器(例如，视频编码器20或视频解码器30)可针对CU的每一色彩分量单独地对调色板进行译码。举例来说，视频编码器20可为CU的明度(Y)分量对一调色板进行编码、为CU的色度(U)分量对另一调色板进行编码以及为CU的色度(V)分量对又一调色板进行编码。在此实例中，Y调色板的条目可表示CU的像素的Y值，U调色板的条目可表示CU的像素的U值，且V调色板的条目可表示CU的像素的V值。
在其它实例中，视频编码器20可针对CU的所有色彩分量对单个调色板进行编码。在此实例中，视频编码器20可对具有为包含Yi、Ui和Vi的三重值的第i条目的调色板进行编码。在此情况下，调色板中的每一条目包含像素的分量中的每一者的值。因此，作为具有多个个别调色板的调色板的集合的调色板184和192的表示仅是一个实例且并不希望为限制性的。除了相反地陈述时之外，下文相对于图2描述的技术同样适用于使用三重值的调色板，如同所述技术适用于使用单个值的调色板一样。
在图2的实例中，第一调色板184中的每一者包含三个条目202到206，其分别具有条目索引值1、条目索引值2和条目索引值3。条目202到206使索引值与分别包含像素值A、像素值B和像素值C的像素值相关。应注意，第一调色板184中的每一者实际上不包含索引和列标头，而是仅包含像素值A、B和C，以及用以识别调色板中的条目的索引。
如本文中所描述，视频译码器(例如，视频编码器20或视频解码器30)可使用基于调色板的译码以使用索引1到3来对所述块的像素进行译码，而不是对第一CU 180的实际像素值进行译码。也就是说，对于第一CU 180的每一像素位置，视频编码器20可对像素的索引值进行编码，其中所述索引值与第一调色板184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值及可使用索引值及第一调色板184中的一或多者重构像素值。换句话说，对于块的每一相应索引值，视频解码器30可确定第一调色板184中的一者中的条目。视频解码器30可用调色板中的所确定条目所指定的像素值来代替所述块中的相应索引值。视频编码器20可在经编码的视频数据位流中发射第一调色板184，以供视频解码器30用于基于调色板的解码。一般来说，针对每一CU可发射一或多个调色板，或可在不同CU之间共享一或多个调色板。
视频编码器20和视频解码器30可基于第一调色板184来确定第二调色板192。举例来说，视频编码器20可为每一CU(作为一实例，包含第二CU 188)对pred_palette_flag进行编码，以指示CU的调色板是否是根据与一或多个其它CU(例如相邻CU(空间上或基于扫描次序)或因果相邻者的最频繁样本相关联的一或多个调色板预测。举例来说，当此旗标的值等于一时，视频解码器30可确定第二CU 188的第二调色板192是根据一或多个已经解码调色板预测，并且因此第二CU 188的新调色板不包含在含有pred_palette_flag的位流中。当此旗标等于零时，视频解码器30可确定第二CU 188的调色板192包含在位流中作为新调色板。在一些实例中，pred_palette_flag可针对CU的每一不同色彩分量单独地进行译码(例如，用于YUV视频中的CU的三个旗标，一个用于Y，一个用于U，且一个用于V)。在其它实例中，可针对CU的所有色彩分量对单个pred_palette_flag进行译码。
在以上实例中，每一CU地发信号通知pred_palette_flag以指示当前CU的调色板是否与先前CU的调色板相同。如果pred_palette_flag的值为真，那么第二调色板192与第一调色板184相同且不发信号通知额外信息。在其它实例中，可在每条目基础上发信号通知一或多个语法元素。即，可针对调色板预测因子的每一条目发信号通知旗标以指示所述条目是否存在于当前调色板中。如上所述，如果调色板条目并未预测，那么可明确地发信号通知所述调色板条目。在其它实例中，可组合这两种方法。举例来说，首先发信号通知pred_palette_flag。如果所述旗标为0，可发信号通知每条目预测旗标。另外，可发信号通知新条目的数目及其明确值。如下文将更详细地解释，根据本发明的技术，可发信号通知新条目的值以作为新条目的实际值与预测因子样本的值之间的差异信息。
当相对于第一调色板184确定第二调色板192(例如，pred_palette_flag等于一)时，视频编码器20和/或视频解码器30可定位一或多个块，由所述一或多个块确定预测性调色板(在此实例中为第一调色板184)。预测性调色板可与当前正译码的CU(即，第二CU 188)的一或多个相邻CU(例如，例如相邻CU(空间上或基于扫描次序)或因果相邻者的最频繁样本)相关联。一或多个相邻CU的调色板可与预测性调色板相关联。在一些实例(例如图2中所说明的实例)中，当为第二CU 188确定预测性调色板时，视频编码器20和/或视频解码器30可定位左相邻CU，第一CU 180。在其它实例中，视频编码器20和/或视频解码器30可将一或多个CU定位在相对于第二CU 188(例如上部CU，CU 196)的其它位置中。在另一实例中，用于使用调色板模式的扫描次序中的上一CU的调色板可用作预测性调色板。
视频编码器20和/或视频解码器30可基于层级确定用于调色板预测的CU。举例来说，视频编码器20和/或视频解码器30可最初识别用于调色板预测的左相邻CU，第一CU180。如果左相邻CU不可用于预测(例如用不同于基于调色板的译码模式的模式(例如帧内预测模式或帧内预测模式)来对左相邻CU进行译码，或左相邻CU位于图片或切片的最左边缘处)，那么视频编码器20和/或视频解码器30可识别上部相邻CU，CU 196。视频编码器20和/或视频解码器30可根据位置的预定次序继续搜索可用CU，直到定位到具有可用于调色板预测的调色板的CU为止。在一些实例中，视频编码器20和/或视频解码器30可基于多个块和/或相邻块的经重构样本确定预测性调色板。
虽然图2的实例将第一调色板184说明为来自单个CU(即，第一CU 180)的预测性调色板，但在其它实例中，视频编码器20和/或视频解码器30可从相邻CU的组合定位用于预测的调色板。举例来说，视频编码器20和/或视频解码器可应用一或多个公式、函数、规则等来基于多个相邻CU(空间上或在扫描次序中)中的一者或组合的调色板来产生预测性调色板。
在又其它实例中，视频编码器20和/或视频解码器30可构造包含用于调色板预测的若干潜在候选者的候选者列表。在此些实例中，视频编码器20可对到候选者列表的索引进行编码以指示从其选择用于调色板预测的当前CU(例如，复制所述调色板)的列表中的候选CU。视频解码器30可以相同方式构造候选者列表，对索引进行解码，且使用经解码索引选择用于与当前CU一起使用的对应CU的调色板。在另一实例中，列表中所指示的候选CU的调色板可用作当前CU的当前调色板的每条目预测的预测性调色板。
在用于说明目的的实例中，视频编码器20和视频解码器30可构造包含定位于当前正译码CU上方的一个CU和定位于当前正译码CU的左边的一个CU的候选者列表。在此实例中，视频编码器20可对一或多个语法元素进行编码以指示候选者选择。举例来说，视频编码器20可对具有零值的旗标进行编码以指示当前CU的调色板是从定位于当前CU的左边的CU复制。视频编码器20可对具有值一的旗标进行编码以指示当前CU的调色板是从定位于当前CU上方的CU复制。视频解码器30对所述旗标进行解码且选择用于调色板预测的适当CU。在另一实例中，所述旗标可指示顶部或左相邻CU的调色板是否用作预测性调色板。接着，对于预测性调色板中的每一条目，其可指示所述条目是否用于当前CU的调色板中。
在又其它实例中，视频编码器20和/或视频解码器30基于包含在一或多个其它调色板中的样本值在一或多个相邻CU中出现的频率而确定当前正译码CU的调色板。举例来说，视频编码器20和/或视频解码器30可在预定数目的CU的译码期间跟踪与最频繁使用的索引值相关联的色彩。视频编码器20和/或视频解码器30可将最频繁使用的色彩包含在当前正译码CU的调色板中。
如上所述，在一些实例中，视频编码器20和/或视频解码器可从用于对当前CU进行译码的相邻CU复制整个调色板。另外或替代地，视频编码器20和/或视频解码器30可执行基于逐条目的调色板预测。举例来说，视频编码器20可针对调色板的每一条目对一或多个语法元素进行编码，其指示相应条目是否是基于预测性调色板(例如，另一CU的调色板)而预测。在此实例中，当条目为来自预测性调色板的预测因子(例如，与相邻CU相关联的调色板的对应条目)时，视频编码器20可针对给定条目对具有值一的旗标进行编码。视频编码器20可针对特定条目对具有值零的旗标进行编码以指示所述特定条目并未根据另一CU的调色板预测。在此实例中，视频编码器20还可对指示非预测调色板条目的值的额外数据进行编码。
本发明描述为当前CU预测调色板的若干替代技术。在一个实例中，包含来自一或多个经先前译码相邻CU的调色板条目的预测性调色板包含若干(N个)条目。在此情况下，视频编码器20首先向视频解码器30发射二进制向量V，其与预测性调色板具有相同大小，即，大小为N。二进制向量中的每一条目指示预测性调色板中的对应条目是否将再用或复制到当前CU的调色板。举例来说，V(i)＝1意味着相邻CU的预测性调色板中的第i个条目将再用或复制到当前CU的调色板，其可在当前CU中具有不同索引。
另外，视频编码器20可发射数目M，其指示有多少新调色板条目包含于当前CU的调色板中，且接着将新调色板条目中的每一者的像素值发射到视频解码器30。在此实例中，可将当前CU的调色板的最终大小导出为等于M+S，其中S是预测性调色板中可再用或复制到当前CU的调色板的条目的数目(即，V(i)＝1)。为了产生当前CU的调色板，视频解码器30可合并所发射的新调色板条目与从预测性调色板再用的所复制调色板条目。在一些情况下，所述合并可基于像素值，使得当前CU的调色板中的条目可随着调色板索引而增加(或减少)。在其它情况下，合并可为两组条目(即，新调色板条目和复制的调色板条目)的级联。
在另一实例中，视频编码器20首先将当前CU的调色板的大小N的指示发射到视频解码器30。视频编码器20接着将具有与当前CU的调色板相同的大小(即，大小N)的向量V发射到视频解码器30。向量中的每一条目指示当前CU的调色板中的对应条目是由视频编码器20明确地发射还是从预测性调色板复制。举例来说，V(i)＝1意味着视频编码器20将调色板中的第i个条目发射到视频解码器30，且V(i)＝0意味着调色板中的第i个条目是从预测性调色板复制。对于从预测性调色板复制的条目(即，V(i)＝0)，视频编码器20可使用不同方法来发信号通知预测性调色板中的哪一条目用于当前CU的调色板中。在一些情况下，视频编码器20可发信号通知将从预测性调色板复制到当前CU的调色板的条目的调色板索引。在其它情况下，视频编码器20可发信号通知索引偏移，其为当前CU的调色板中的索引与预测性调色板中的索引之间的差。
在以上两个实例中，用以产生用于当前CU的调色板的预测的预测性调色板的一或多个经先前译码的相邻CU可为相对于当前CU的顶部相邻(即，上部)CU或左相邻CU。在一些实例中，可构造相邻CU的候选者列表，且视频编码器20发射指示哪一候选相邻CU和相关联的调色板用于当前CU的调色板预测的索引。对于某些CU，例如位于切片开头或其它切片边界的CU或视频数据的切片或图片中的最左侧CU，可停用调色板预测。
在额外实例中，视频编码器20将包含于当前CU的调色板中的条目的数目的指示发射到视频解码器30。接着，对于调色板条目中的每一者，视频编码器20发射旗标或其它语法元素，以指示调色板条目是否由视频编码器20明确地发射，或其是否从先前经重构像素中导出。举例来说，设定成等于1的一位旗标可意味着视频编码器20明确地发送调色板条目，且设定成等于0的一位旗标可意味着调色板条目是从先前经重构像素中导出。对于从先前经重构像素中导出的调色板条目中的每一者，视频编码器20发射关于当前CU或相邻CU中对应于调色板条目的经重构像素的像素位置的另一指示。在一些情况下，经重构的像素位置指示可为相对于当前CU的左上位置的移位向量。在其它情况下，经重构的像素位置指示可为到可用于为当前CU指定调色板条目的经重构像素列表中的索引。举例来说，此列表可包含可用于HEVC中的一般帧内预测的所有参考像素。
在图2的实例中，第二调色板192包含四个条目208到214，其分别具有条目索引值1、条目索引值2、条目索引值3和条目索引4。条目208到214使索引值与分别包含像素值A、像素值B、像素值C和像素值D的像素值相关。根据本发明的一或多个方面，视频编码器20和/或视频解码器30可使用上文所描述的技术中的任一者来定位用于调色板预测目的的第一CU180，并将第一调色板184的条目1到3复制到第二调色板192的条目1到3，以用于对第二CU188进行译码。以此方式，视频编码器20和/或视频解码器30可基于第一调色板184确定第二调色板192。另外，视频编码器20和/或视频解码器30可对用于条目4的数据进行译码，以与第二调色板192包含在一起。此类信息可包含不根据预测性调色板预测的调色板条目的数目，以及对应于那些调色板条目的像素值。
在一些实例中，根据本发明的各方面，一或多个语法元素可指示例如第二调色板192的调色板是否是完全从预测性调色板(图2中展示为第一调色板184，但其可由来自一或多个块的条目组成)预测或第二调色板192的特定条目是否经预测。举例来说，初始语法元素可指示所有条目是否经预测。如果初始语法元素指示并非所有条目经预测(例如，具有值0的旗标)，那么一或多个额外语法元素可指示第二调色板192的哪些条目是根据预测性调色板预测。
根据本发明的一些方面，与调色板预测相关联的某些信息可从正译码数据的一或多个特性推断。也就是说，并非视频编码器20对语法元素进行编码(且视频解码器30对此些语法元素进行解码)，视频编码器20和视频解码器30可基于正译码数据的一或多个特性执行调色板预测。
在实例中，出于说明的目的，上述pred_palette_flag的值可从以下各者(作为实例)中的一或多者推断：正译码CU的大小、帧类型、色彩空间、色彩分量、帧大小、帧速率、可缩放视频译码中的层id，或多视图译码中的视图id。即，相对于作为实例的CU的大小，视频编码器20和/或视频解码器30可确定对于超过或小于预定大小的任何CU，上述pred_palette_flag等于一。在此实例中，并不需要在经编码位流中发信号通知pred_palette_flag。
虽然上文相对于pred_palette_flag而描述，但视频编码器20和/或视频解码器30还可或替代地基于正译码数据的一或多个特性推断与调色板预测相关联的其它信息，例如调色板用于从其预测的候选CU，或用于构造调色板预测候选者的规则。
根据本发明的其它方面，视频编码器20和/或视频解码器30可在运行中构造调色板。举例来说，当最初对第二CU 188进行译码时，调色板192中不存在条目。在视频编码器20和视频解码器30对第二CU 188的像素的新值进行译码时，每一新值包含在调色板192中。即，举例来说，视频编码器20在针对CU 188中的位置产生且发信号通知像素值时将像素值添加到调色板192。在视频编码器20对CU中相对较晚的像素进行编码时，视频编码器20可使用索引值对具有与已经包含在调色板中的那些值相同的值的像素进行编码而不是发信号通知所述像素值。类似地，当视频解码器30接收到用于第二CU 188中的位置的(例如，由视频编码器20发信号通知的)新像素值时，视频解码器30将所述像素值包含在调色板192中。当第二CU 188中相对较晚解码的像素位置具有已经添加到第二调色板192的像素值时，视频解码器30可接收信息。例如索引值，其识别第二调色板192中的对应像素值，用于重构第二CU 188的像素值。
在一些实例中，如下文更详细地描述，视频编码器20和/或视频解码器30可将调色板184和192维持在最大调色板大小或低于最大调色板大小。根据本发明的各方面，如果达到最大调色板大小，例如在第二调色板192在运行中经动态构造时，那么视频编码器20和/或视频解码器30执行同一过程以去除第二调色板192的条目。用于去除调色板条目的一个实例过程是先进先出(FIFO)技术，其中视频编码器20和视频解码器30去除调色板的最旧的条目。在另一实例中，视频编码器20和视频解码器30可从调色板去除最不频繁使用的调色板条目。在再一实例中，视频编码器20和视频解码器30可对FIFO和使用过程的频率两者进行加权以确定去除哪一条目。即，条目的去除可基于条目有多旧以及条目使用的频繁程度。
根据一些方面，如果条目(像素值)从调色板去除且像素值在正译码CU中的较晚位置处再次发生，那么视频编码器20可对所述像素值进行编码而不是在调色板中包含条目且对索引进行编码。另外或替代地，视频编码器20可将调色板条目在已被去除之后再次进入到调色板中，例如在视频编码器20和视频解码器30扫描CU中的位置时。
在一些实例中，用于在运行中导出调色板的技术可与用于确定调色板的一或多个其它技术组合。明确地说，作为实例，视频编码器20和视频解码器30最初可对第二调色板192进行译码(例如，使用调色板预测来从第一调色板184预测第二调色板192)，且可在对第二CU 188的像素进行译码时更新第二调色板192。举例来说，在发射初始调色板后，视频编码器20可即刻将值添加到初始调色板，或在扫描CU中的额外位置的像素值时改变初始调色板中的值。同样地，在接收初始调色板后，视频解码器30可即刻将值添加(即，包含)到初始调色板或在扫描CU中的额外位置的像素值时改变初始调色板中的值。
视频编码器20可在一些实例中发信号通知当前CU是否使用整个调色板的发射、或在运行中的调色板产生，或者初始调色板的发射与通过在运行中的导出的初始调色板的更新的组合。在一些实例中，初始调色板可为处于最大调色板大小的全调色板，在此情况下可改变初始调色板中的值。在其它实例中，初始调色板可小于最大调色板大小，在此情况下视频编码器20和视频解码器30可将值添加到初始调色板和/或改变初始调色板的值。
根据本发明的一或多个方面，例如第一调色板184和第二调色板192等调色板的大小(例如依据包含于调色板中的像素值的数目)可为固定的或可使用经编码位流中的一或多个语法元素来发信号通知。举例来说，根据一些方面，视频编码器20和视频解码器30可使用一元码或截断一元码(例如，在调色板大小的最大限制处截断的码)对调色板大小进行译码。根据其它方面，视频编码器20和视频解码器30可使用指数-哥伦布或莱斯-哥伦布码对调色板大小进行译码。
根据再其它方面，视频编码器20和视频解码器30可在调色板的每一条目之后对指示调色板的大小的数据进行译码。相对于作为实例的第二调色板192，视频编码器20可在条目208到214中的每一者之后对停止旗标进行编码。在此实例中，等于一的停止旗标可指定当前正译码的条目是第二调色板192的最终条目，而等于零的停止旗标可指示第二调色板192中存在额外条目。因此，视频编码器20可在条目208到212中的每一者之后对具有值零的停止旗标进行编码且在条目214之后对具有值一的停止旗标进行编码。在一些情况下，在所构造调色板到达最大调色板大小界限之后即刻可不在位流中包含停止旗标。虽然以上实例公开用于明确地发信号通知调色板的大小的技术，但在其它实例中，调色板的大小也可以基于所谓的辅助信息(例如，特性信息，例如正译码CU的大小、帧类型、色彩空间、色彩分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id，如上所述)有条件地发射或推断。
本发明的技术包含无损地或者在某些损失(有损译码)的情况下对数据进行译码。举例来说，相对于有损译码，视频编码器20可对CU的像素进行译码而无需确切地将调色板的像素值与CU中的实际像素值确切匹配。当本发明的技术应用于有损译码时，一些限制可施加于调色板。举例来说，视频编码器20和视频解码器30可量化调色板，例如第一调色板184和第二调色板192。也就是说，当条目的像素值在彼此的预定范围内时，视频编码器20和视频解码器30可合并或组合(即，量化)调色板的条目。换句话说，如果已经存在在新调色板值的误差容限内的调色板值，那么不将新调色板值添加到调色板。在另一实例中，块中的多个不同像素值可映射到单个调色板条目，或等效地映射到单个调色板像素值。
视频解码器30可以相同方式对像素值进行解码，不管特定调色板是无损的还是有损的。作为一个实例，视频解码器30可针对经译码块中的给定像素位置使用由视频编码器20发射的索引值来选择调色板中用于所述像素位置的条目，而无关于所述调色板是无损的还是有损的。在此实例中，调色板条目的像素值用作经译码块中的像素值，无论其是否确切地匹配原始像素值。
在有损译码的实例中，出于说明的目的，视频编码器20可确定误差界限，称为差量值。候选像素值条目Plt_cand可对应于在例如CU或PU等待译码块中的位置处的像素值。在调色板的构造期间，视频编码器20确定候选像素值条目Plt_cand与调色板中的所有现有像素值条目之间的绝对差。如果候选像素值条目Plt_cand与调色板中的现有像素值条目之间的所有绝对差大于差量值，那么视频编码器20可将像素值候选者添加到调色板作为条目。如果像素值条目Plt_cand与调色板中的至少一个现有像素值条目之间的绝对差等于或小于差量值，那么视频编码器20可不将候选像素值条目Plt_cand添加到调色板。因此，当对像素值条目Plt_cand进行译码时，视频编码器20可选择具有为最接近于像素值条目Plt_cand的像素值的条目，进而将一些损失引入到系统中。当调色板由多个分量(例如，三个色彩分量)组成时，个别分量值的绝对差总和可以用于对照差量值进行比较。或者或另外，每一分量值的绝对差可对照第二差量值进行比较。
在一些实例中，上文提到的调色板中的现有像素值条目可能已经使用类似差量比较过程而添加。在其它实例中，调色板中的现有像素值可能已经使用其它过程而添加。举例来说，可将一或多个初始像素值条目添加到调色板(无需差量比较)以开始构造调色板的差量比较过程。上述过程可由视频编码器20和/或视频解码器30实施以产生明度和/或色度调色板。
上文相对于调色板构造描述的技术也可以由视频编码器20和视频解码器30在像素译码期间使用。举例来说，当对像素值进行编码时，视频编码器20可将像素的值与调色板中的条目的像素值进行比较。如果所述像素的值与调色板中的条目中的一者之间的绝对像素值差等于或小于差量值，那么视频编码器20可将所述像素值编码为调色板的条目。即，在此实例中，视频编码器20在像素值产生对比调色板条目的足够小(例如，在预定范围内)的绝对差时使用调色板的条目中的一者而对像素值进行编码。
在一些实例中，视频编码器20可选择产生最小绝对像素值差(与正译码的像素值相比)的调色板条目来对像素值进行编码。作为实例，视频编码器20可对索引进行编码来指示将用于所述像素值的调色板条目，例如将用以在视频解码器30处重构经译码像素值的调色板像素值条目。如果像素值与调色板中的所有条目之间的绝对像素值差大于差量，那么编码器可不使用调色板条目中的一者来对像素值进行编码，而是可将所述像素的像素值(可能在量化之后)发射到视频解码器30(且可能将所述像素值作为条目添加到调色板)。
在另一实例中，视频编码器20可选择调色板的条目以用于对像素值进行编码。视频编码器20可使用选定条目作为预测性像素值。也就是说，视频编码器20可确定表示实际像素值与选定条目之间的差的残余值且对所述残余进行编码。视频编码器20可针对块中通过调色板的条目预测的像素产生残余值，且可产生包含像素块的相应残余像素值的残余块。视频编码器20可随后将变换和量化(如上文相对于图2所提到)施加于所述残余块。以此方式，视频编码器20可产生经量化残余变换系数。在另一实例中，残余经无损译码(而无变换和量化)或无变换。
视频解码器30可反变换且反量化变换系数以再生残余块。视频解码器30可随后使用预测性调色板条目值和像素值的残余值重构像素值。举例来说，视频解码器30可将残余值与调色板条目值组合以重构经译码像素值。
在一些实例中，差量值可针对不同CU大小、图片大小、色彩空间或不同色彩分量而不同。差量值可为预定的或基于各种译码条件而确定。举例来说，视频编码器20可使用高级语法将差量值发信号通知给视频解码器30，所述高级语法例如PPS、SPS、VPS和/或切片标头中的语法。在其它实例中，视频编码器20和视频解码器30可经预配置以使用相同固定差量值。在又其它实例中，视频编码器20和/或视频解码器30可基于辅助信息(例如，例如CU大小、色彩空间、色彩分量或类似物，如上所述)自适应地导出差量值。
在一些实例中，可包含有损译码调色板模式作为HEVC译码模式。举例来说，译码模式可包含帧内预测模式、帧间预测模式、无损译码调色板模式和有损译码调色板模式。在HEVC译码中，如上文相对于图2和3所提到，量化参数(QP)用以控制允许的失真。用于基于调色板的译码的差量值可随QP而变而计算或另外确定。
本发明中描述的使用有损译码技术的调色板的产生可由视频编码器20、视频解码器30或两者执行。举例来说，视频编码器20可使用上述差量比较技术产生CU的调色板中的条目，且发信号通知供视频解码器30使用的用于构造调色板的信息。即，视频编码器20可经配置以发信号通知指示用于CU的调色板中的条目的像素值的信息，且随后使用与此些调色板条目相关联的像素值对像素值进行编码。视频解码器30可使用此信息来构造调色板，且随后使用条目对经译码块的像素值进行解码。在一些实例中，视频编码器20可发信号通知识别经译码块的一或多个像素位置的调色板条目的索引值，且视频解码器30可使用所述索引值从调色板检索相关像素值条目。
在其它实例中，视频解码器30可经配置以通过应用上述差量比较技术构造调色板。举例来说，视频解码器30可接收用于经译码块内的位置的像素值，且确定所述像素值与调色板中的现有像素值条目之间的绝对差是否大于差量值。如果是，视频解码器30可添加像素值作为调色板中的条目，例如以供稍后用于使用通过视频编码器20发信号通知的对应索引值针对块的其它像素位置的像素值的基于调色板的解码中。在此情况下，视频编码器20和视频解码器30应用相同或类似的过程来产生所述调色板。如果不是，那么视频解码器30可不将像素值添加到调色板。
在用于说明目的的实例中，视频解码器30可接收用于块中的各种像素位置的索引值或像素值。如果例如针对像素位置接收索引值，那么视频解码器30可使用所述索引值识别调色板中的条目，且使用所述调色板条目的像素值用于所述像素位置。如果针对像素位置接收像素值，那么视频解码器30可使用所接收的像素值用于所述像素位置，并且还可应用差量比较以确定所述像素值是否应添加到调色板且随后稍后用于调色板译码。
在编码器侧，如果用于块中的一位置的像素值产生所述像素值与调色板中的现有像素值条目之间小于或等于差量值的绝对差，那么视频编码器20可发送索引值以识别调色板中的条目以用于重构所述位置的像素值。如果用于块中的一位置的像素值产生所述像素值与调色板中的现有像素值条目之间全部大于差量值的绝对差值，那么视频编码器20可发送所述像素值且在调色板中添加所述像素值作为新条目。为了构造调色板，视频解码器30可使用由编码器发信号通知的差量值，依赖于固定或已知差量值，或推断或导出差量值，例如如上文所描述。
如上所述，视频编码器20和/或视频解码器30可在对视频数据进行译码时使用包含帧内预测模式、帧间预测模式、无损译码调色板模式和有损译码调色板模式在内的译码模式。根据本发明的一些方面，视频编码器20和视频解码器30可对指示基于调色板的译码是否经启用的一或多个语法元素进行译码。举例来说，在每一CU处，视频编码器20可对例如旗标PLT_Mode_flag等语法元素进行编码。PLT_Mode_flag或其它语法元素可指示基于调色板的译码模式是否将用于给定CU(或在其它实例中为PU)。举例来说，此旗标可在经编码视频位流中在CU层级发信号通知，且随后由视频解码器30在对所述经编码视频位流进行解码之后即刻接收。
在此实例中，等于1的此PLT_Mode_flag的值可指定当前CU是使用基于调色板的译码模式进行编码的。在此情况下，视频解码器30可应用基于调色板的译码模式以对CU进行解码。在一些实例中，语法元素可指示用于CU的多个不同基于调色板的译码模式中的一者(例如，有损或无损)。等于0的此PLT_Mode_flag的值可指定当前CU是使用除调色板模式外的模式进行编码。举例来说，可使用多种帧间预测性、帧内预测性或其它译码模式中的任一者。当PLT_Mode_flag的值是0时，视频编码器20还可对额外数据进行编码以指示用于对相应CU进行编码的特定模式(例如，HEVC译码模式)。PLT_Mode_flag的使用是出于实例的目的而描述。然而，在其它实例中，例如多位码等其它语法元素可用以指示基于调色板的译码模式是否将用于CU(或在其它实例中为PU)或指示多个模式中的哪一者将用于译码。
在一些实例中，上述旗标或其它语法元素可在比CU(或PU)层级高的层级发射。举例来说，视频编码器20可在切片层级发信号通知此旗标。在此情况下，等于1的值指示切片中的所有CU是使用调色板模式进行编码。在此实例中，在CU层级不发信号通知例如用于调色板模式或其它模式的额外模式信息。在另一实例中，视频编码器20可在PPS、SPS或VPS中发信号通知此旗标。
根据本发明的一些方面，视频编码器20和/或视频解码器30可在切片、PPS、SPS或VPS层级中的一者处对一或多个语法元素(例如，例如上述旗标)进行译码，其指定调色板模式是否针对特定切片、图片、序列或类似物经启用或停用，同时PLT_Mode_flag指示基于调色板的译码模式是否用于每一CU。在此情况下，如果在切片、PPS、SPS或VPS层级处发送的旗标或其它语法元素指示调色板译码模式经停用，那么在一些实例中，可不需要发信号通知每一CU的PLT_Mode_flag。或者，如果在切片、PPS、SPS或VPS层级处发送的旗标或其它语法元素指示调色板译码模式经启用，那么可进一步发信号通知PLT_Mode_flag以指示基于调色板的译码模式是否将用于每一CU。再次，如上所提到，用于指示CU的基于调色板的译码的这些技术的应用可另外或替代地用以指示PU的基于调色板的译码。
在一些实例中，可在位流中有条件地发信号通知上述语法元素。举例来说，视频编码器20和视频解码器30可基于CU的大小、帧类型、色彩空间、色彩分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id而分别仅对语法元素进行编码或解码。
虽然上述实例涉及例如具有位流中的一或多个语法元素的显式信令，但在其它实例中，视频编码器20和/或视频解码器30可隐式地确定调色板译码模式是否有效和/或用于对特定块进行译码。视频编码器20和视频解码器30可基于例如CU的大小、帧类型、色彩空间、色彩分量、帧大小、帧速率、可缩放视频译码中的层id或多视图译码中的视图id而确定基于调色板的译码是否用于块。
虽然上文在CU(HEVC)的上下文中描述图2的技术，但应理解，所述技术也可以应用于预测单元(PU)或其它视频译码过程和/或标准中。
图3是说明与本发明的技术一致的确定到视频块的调色板的索引的实例的概念图。举例来说，图3包含使与索引值相关联的像素的相应位置与调色板244的条目有关的索引值(值1、2和3)的映射240。可以与上文相对于图2所述的第一调色板184和第二调色板192类似的方式来确定调色板244。
并且，出于解释的目的，在视频编码器20(图1和图6)和视频解码器30(图1和图7)的上下文中且相对于HEVC视频译码标准来描述图3的技术。然而，应理解，本发明的技术不限于此方式，且可由其它视频译码处理器和/或装置在其它视频译码过程和/或标准中应用。
虽然在图3的实例中将图240说明为包含每一像素位置的索引值，但应理解，在其它实例中，不是所有的像素位置均可与指示调色板244的指定所述块的像素值的条目的索引值相关联。也就是说，如上所述，在一些实例中，如果像素值不包含于调色板244中，那么视频编码器20可对用于映射240中的位置的实际像素值(或其经量化版本)的指示进行编码(且视频解码器30可从经编码位流获得)。
在一些实例中，视频编码器20和视频解码器30可经配置以对指示哪些像素位置与索引值相关联的额外映射进行译码。举例来说，假设所述映射中的(i,j)条目对应于CU的(i,j)位置。视频编码器20可针对所述映射的每一条目(即，每一像素位置)对一或多个语法元素进行编码，其指示所述条目是否具有相关联索引值。举例来说，视频编码器20可对具有值1的旗标进行编码，以指示CU中的(i,j)位置处的像素值是调色板244中的值中的一者。在此实例中，视频编码器20还可对指示调色板中的像素值并且允许视频解码器重构所述像素值的调色板索引(在图3的实例中展示为值1到3)进行编码。在调色板244包含单个条目和相关联像素值的情况下，视频编码器20可跳过索引值的发信号通知。视频编码器20可将旗标编码为具有值零以指示在CU中的(i,j)位置处的像素值不是调色板244中的值中的一者。在此实例中，视频编码器20还可对供视频解码器30用于重构像素值的像素值的指示进行编码。在一些情况下，可以有损方式对像素值进行译码。
CU的一个位置中的像素的值可提供所述CU的其它位置中的一或多个其它像素的值的指示。举例来说，可存在CU的相邻像素位置将具有相同像素值或可映射到相同索引值(在有损译码的情况下，其中多于一个像素值可映射到单个索引值)的相对高概率。
根据本发明的各方面，视频编码器20可对一或多个语法元素进行编码，其指示给定扫描次序中具有相同像素值或索引值的连续像素或索引值的数目。如上所述，相同值的像素或索引值的串在本文中可被称作运行。在用于说明目的的实例中，如果给定扫描次序中的两个连续像素或索引具有不同值，那么运行等于零。如果给定扫描次序中的两个连续像素或索引具有相同值但所述扫描次序中的第三像素或索引具有不同值，那么运行等于一。对于具有相同值的三个连续索引或像素，运行为二，等等。视频解码器30可从经编码位流获得指示运行的语法元素且使用所述数据确定具有相同像素或索引值的连续位置的数目。
在一些实例中，当前CU中具有位于当前CU的调色板中的像素值的所有像素位置均编码有调色板索引，接着是连续像素位置处的像素值的“运行”。在调色板中仅存在一个条目时的情况下，对于当前CU可跳过调色板索引或“运行”的发射。在当前CU中的像素位置中的一者处的像素值不具有与调色板中的像素值的确切匹配的情况下，视频编码器20可选择调色板条目中具有最接近像素值的一者，并计算原始像素值与包含于调色板中的预测像素值之间的预测误差或残余值。视频编码器20为像素位置对残余值进行编码，并将其发射到视频解码器。视频解码器30可接着基于对应的接收到的调色板索引来导出所述像素位置处的像素值，且接着使用导出的像素值和残余值来预测当前CU中的像素位置处的原始像素值。在一个实例中，可使用HEVC方法对残余值进行编码，例如施加RQT以变换残余值、量化变换系数及对经量化变换系数进行熵编码。在一些情况下，以上实例可被称为有损译码。
在用于说明目的的实例中，考虑映射240的排248。假设水平的从左到右扫描方向，排248包含五个索引值“2”和三个索引值“3”。根据本发明的各方面，视频编码器20可针对在扫描方向中排248的第一位置对索引值2进行编码。另外，视频编码器20可对一或多个语法元素进行编码，其指示在扫描方向上具有与发信号通知的索引值相同的索引值的连续值的运行。在排248的实例中，视频编码器20可发信号通知运行4，进而指示在扫描方向上的随后四个位置的索引值共享与发信号通知的索引值相同的索引值。视频编码器20可针对排248中的下一不同索引值执行同一过程。即，视频编码器20可对索引值3和指示运行二的一或多个语法元素进行编码。视频解码器30可获得指示索引值和在扫描方向上具有相同索引值的连续索引的数目(运行)的语法元素。
如上所述，以特定次序扫描映射的索引。根据本发明的各方面，扫描方向可为垂直、水平或处于对角线(例如，在框中成对角线地45度或135度)。在一些实例中，视频编码器20可对每一块的指示用于扫描所述块的索引的扫描方向的一或多个语法元素进行编码。另外或替代地，可基于例如块大小、色彩空间和/或色彩分量等所谓的辅助信息来发信号通知或推断扫描方向。视频编码器20可指定用于块的每一色彩分量的扫描。或者，指定扫描可应用于块的所有色彩分量。
举例来说，相对于基于列的扫描，考虑映射240的列252。假设垂直的从上到下扫描方向，列252包含一个索引值“1”、五个索引值“2”以及两个索引值“3”。根据本发明的各方面，视频编码器20可针对扫描方向上排252的第一位置(在列252的相对顶部)对索引值1进行编码。另外，视频编码器20可发信号通知运行零，从而指示扫描方向上之后位置的索引值是不同的。视频编码器20可接着针对扫描方向上的下一位置对索引值2以及指示运行四的一或多个语法元素进行编码，即，扫描方向上后四个位置的索引值共享与发信号通知的索引值相同的索引值。视频编码器20可接着针对扫描方向上接下来的不同索引值对索引值3进行编码，以及对指示运行一的一或多个语法元素进行编码。视频解码器30可获得指示索引值和在扫描方向上具有相同索引值的连续索引的数目(运行)的语法元素。
根据本发明的各方面，视频编码器20和视频解码器30可另外或替代地执行用于映射240的一或多个条目的排复制。在一些实例中，所述排复制可取决于扫描方向。举例来说，视频编码器20可指示用于映射中的特定条目的像素或索引值等于特定条目上方(针对水平扫描)的排或特定条目左边(针对垂直扫描)的列中的像素或索引值。视频编码器20还可将扫描次序中等于特定条目上方的排或左边的列中的条目的像素或索引值的数目指示为运行。在此实例中，视频编码器20和或视频解码器30可从指定相邻排且从当前正译码的映射的排的指定数目的条目复制像素或索引值。
在用于说明目的的实例中，考虑映射240的列256和260。假设垂直的从上到下扫描方向，列256包含三个索引值“1”、三个索引值“2”和两个索引值“3”。列260包含在扫描方向上具有相同次序的相同索引值。根据本发明的各方面，视频编码器20可针对列260对一或多个语法元素进行编码，其指示整个列260是从列256复制的。所述一或多个语法元素可与在映射240的相对顶部处列260的第一条目相关联。视频解码器30可获得指示排复制的语法元素且当对列260进行解码时复制列256的索引值用于列260。
根据本发明的各方面，用于对所谓的条目运行进行译码的技术可与上述用于排复制的技术结合使用。举例来说，视频编码器20可对指示映射中的条目的值是否从调色板获得或映射中条目的值是否从映射240中的先前经译码排获得的一或多个语法元素(例如，旗标)进行编码。视频编码器20还可对指示调色板的索引值或排(行或列)中的条目的位置的一或多个语法元素进行编码。视频编码器20还可对指示共享相同值的若干连续条目的一或多个语法元素进行编码。视频解码器30可从经编码位流获得此信息，且可使用所述信息来重构块的映射和像素值。
在用于说明目的的实例中，考虑映射240的行264和268。假设水平的从左到右扫描方向，行264包含五个索引值“1”和三个索引值“3”。行268包含三个索引值“1”、两个索引值“2”和三个索引值“3”。在此实例中，视频编码器20可识别行264的特定条目，接着是当对用于行268的数据进行编码时的运行。举例来说，视频编码器20可对指示行268的第一位置(行268的最左边位置)与行264的第一位置相同的一或多个语法元素进行编码。视频编码器20还可对指示行268中在扫描方向上的两个连续条目的下一运行与行264的第一位置相同的一或多个语法元素进行编码。
在一些实例中，视频编码器20还可确定是相对于另一行(或列)中的位置对当前像素或索引值进行译码，还是使用运行语法元素对当前像素或索引值进行译码。举例来说，在对指示行264的第一位置和两个条目的运行(上文提到)的一或多个语法元素进行编码之后，视频编码器20可针对排268中的第四和第五位置(从左到右)编码指示用于第四位置的值2的一或多个语法元素以及指示运行1的一或多个语法元素。因此，视频编码器20在不参考另一排(或列)的情况下对这两个位置进行编码。视频编码器20可随后相对于上部行264对行268中具有索引值3的第一位置进行译码(例如，指示从上部行264的复制以及扫描次序中具有相同索引值的连续位置的运行)。因此，根据本发明的各方面，视频编码器20可在例如使用运行相对于排(或列)的其它值对所述排(或列)的像素或索引值进行译码、相对于另一排(或列)的值对排(或列)的像素或索引值进行译码或其组合之间进行选择。在一些实例中，视频编码器20可执行速率/失真优化以做出所述选择。
视频解码器30可接收上述语法元素且重构行268。举例来说，视频解码器30可获得指示相邻行中从其复制当前正译码的映射240的位置的相关联索引值的特定位置的数据。视频解码器30还可获得指示扫描次序中具有相同索引值的连续位置的数目的数据。
在一些情况下，从其复制条目的排可直接邻近于当前正译码的排的条目(如图3的实例中所说明)。然而，在其它实例中，若干排可由视频编码器20和/或视频解码器30缓冲，使得映射的若干排中的任一者可用作当前正译码的映射的排的预测性条目。因此，在一些实例中，可将用于条目的像素值发信号通知为等于当前行的紧邻上方的行(或左边的列)或者当前行的上方的两个或多于两个行(或左边的列)中的条目的像素值。
在用于说明目的的实例中，视频编码器20和/或视频解码器30可经配置以在对当前行条目进行译码之前存储先前n行条目。在此实例中，视频编码器20可在位流中以截断一元码或其它码指示预测性行(从其复制条目的行)。在另一实例中，视频编码器20可对当前排与用作对当前排进行译码的参考的映射240的预测性排之间的移位值进行编码(且视频解码器30可对其进行解码)。即，视频编码器20可对从其复制索引值的特定排(或列)的指示进行编码。在一些实例中，所述移位值可为移位向量。即，假设c[0]、c[1]、...表示映射240的当前排的索引且假设u[0]、u[1]、u[2]、...表示映射240的预测性排(例如上部相邻排)的索引。在此实例中，在给定移位向量为d的情况下，可根据u[i+d]或u[i-d]预测c[i]的索引值，以避免d取负值。d的值可使用一元、截断一元、指数哥伦布或哥伦布-莱斯码来进行译码。
作为另一实例，视频编码器20可发信号通知指令，例如“从上行左半部复制”或“从上行右半部复制”，其指示将复制到当前正译码映射的排的相邻排以及所述相邻排的条目的数目或部分。作为额外实例，在译码之前，可对索引值的映射进行重新排序。举例来说，可使索引值映射旋转90、180或270度，或上下或左右翻转，来改进译码效率。
在其它实例中，视频编码器20可不将映射240的相同值的索引值的运行发射到视频解码器30。在此情况下，视频编码器20和/或视频解码器30可隐式地导出运行的值。在一个实例中，运行的值可为常数值，例如4、8、16或类似者。在另一实例中，运行的值可取决于正译码的当前视频数据块的辅助信息，例如当前块的块大小、量化参数(QP)、帧类型、色彩分量、色彩格式(例如4:4:4、4:2:2或4:2:0)、色彩空间(例如YUV或RGB)、扫描方向和/或其它类型的特性信息。在其中运行的值取决于块大小的情况下，所述运行可等于当前块的宽度、当前块的高度、当前块的半宽度(或半高度)、当前块的宽度和/或高度的一部分，或当前块的宽度和/或高度的倍数。在另一实例中，视频编码器20可使用高级语法(例如图片参数集合(PPS)、序列参数集(SPS)、视频参数集(VPS)和/或片段标头中的语法)发信号通知到视频解码器30的运行的值。
另外或替代地，视频编码器20可甚至不需要将映射240发射到视频解码器30。实际上，视频编码器20和/或视频解码器30可隐式地导出包含于映射240中的索引值的每一运行的起始位置或位置。在一个实例中，视频编码器20和/或视频解码器30所应用的视频译码标准可确定运行可仅在某些位置处开始。举例来说，运行可仅在每一行的开头或正译码的当前块的每N行的开头开始。起始位置对于不同扫描方向可不同。举例来说，如果使用垂直扫描，那么运行可仅在列的开头或当前块的每N列的开头开始。
在另一实例中，可取决于当前块的辅助信息而导出起始位置，例如当前块的块大小、QP、帧类型、色彩分量、色彩格式(例如4:4:4、4:2:2或4:2:0)、色彩空间(例如YUV或RGB)、扫描方向和/或其它类型的特性信息。在其中运行的起始位置取决于块大小的情况下，起始位置可为每一行和/或每一列的中间点，或每一行和/或列的一部分(例如1/n、2/n、…(n-1)/n)。在另一实例中，视频编码器20可使用高级语法(例如PPS、SPS、VPS和/或片段标头中的语法)来向视频解码器30发信号通知起始位置。
在一些实例中，可组合隐式起始位置导出与隐式运行导出，各自在上文所述。举例来说，视频编码器20和/或视频解码器30可确定映射的相同值的索引值的运行等于两个相邻起始位置之间的距离。在起始位置为当前块的每一行的开头(即，第一位置)的情况下，接着视频编码器20和/或视频解码器30可确定运行的长度等于当前块的整个行的长度。
图4是说明与本发明的技术一致的将调色板索引的运行用于为色度分量自适应下取样的明度分量确定视频块的几何边缘270、272或274的实例的概念图。在图4中，将明度样本说明为未填充的圆，且将色度样本说明为与x符号重叠的明度样本中的一者。图4说明基于视频块的几何边缘270、272或274的位置的明度和色度分量的不同运行值的实例。
在一些情况下，产生一个调色板，并供当前块中的多个色彩分量共享，且在其它情况下，针对色彩分量中的一或多者产生单独的调色板。在一种情况下，可针对明度分量产生一个调色板，且可针对两个色度分量产生另一调色板。在任一情况下，几何信息可在色彩分量之间共享。通常，不同色彩分量中的并置块的边缘位置之间存在高相关性，因为色度分量可能已经以预定义方式从明度分量下取样，例如4：2：2或4：2：0取样。
举例来说，在基于调色板的译码中，可使用运行译码来指示当前块的几何形状信息，因为当前块的边缘将破坏所述运行。在4：4：4色度格式的情况下，可产生所述运行一次，并用于所有色彩分量。可基于色彩分量中的一者来产生运行，或可使用所述色彩分量中的多于一个来产生所述运行。在4：2：2色度格式的情况下，可将用于明度分量的运行水平下取样因子二，从而应用于色度分量。在4：2：0色度格式的情况下，可将用以明度分量的运行水平且垂直下取样因子二，以应用于色度分量。
在一些情况下，运行下取样方法可适应色度下取样方法。在此情况下，可根据如图4中展示的视频块的边缘(例如边缘270、272或274)的位置来不同地计算色度分量的经下取样的运行值。在第一实例中，图4说明定位成使得明度分量的运行在左侧块中具有值“1”且在右侧块中具有值“3”的两个相邻视频块之间的几何边缘270。在此情况下，色度分量的经下取样的运行在左侧块和右侧块两者中均具有值“1”。在第二实例中，图4说明定位成使得明度分量的运行在左侧块和右侧块两者中均具有值“2”的两个相邻视频块之间的几何边缘272。在此情况下，色度分量的经下取样的运行在左侧块和右侧块两者中均具有值“1”。在第三实例中，图4说明定位成使得明度分量的运行在左侧块中具有值“3”且在右侧块中具有值“1”的两个相邻视频块之间的几何边缘274。在此情况下，色度分量的经下取样的运行在左侧块中具有值“2”，且右侧块中具有值“0”。
除几何形状信息之外，还可有可能针对所有色彩分量的像素值具有单个调色板。举例来说，对于当前块中的每一像素位置，三个色彩分量(例如，Y明度以及U和V色度分量两者)中的像素值可形成向量(即，色彩向量)。接着，可通过选择某一数目的向量来表示当前块而形成调色板。针对明度分量具有像素值的一个调色板且针对色度分量具有像素值的另一调色板可为可能的。在一些情况下，还可有可能组合共享几何形状信息和具有使用色彩向量的像素值的单个调色板的两种方法。
在一些实例中，本发明中其它地方更详细描述的排复制也可对单个调色板起作用。在此情况下，如果扫描是水平的，那么将每一像素位置的调色板索引发信号通知为等于上一行的调色板索引，或如果扫描是垂直的，那么等于左侧的列，且接着还从前一行或列复制调色板索引的相关联运行。使用共享的调色板，调色板条目可为(Y,U,V)的三元组，使得可从调色板索引重构后面的Y、U、V值。经重构的值可充当经解码像素值，或可充当与残余值组合以导出经解码像素值的预测因子。在4：2：2色度格式和4：2：0色度格式中，与明度分量相比，已下取样色度分量。在2:1下取样的实例中，明度位置可位于0、1、2、…，且色度位置可位于1、3、5、…，或可位于0、2、4、…。对于其中不存在色度分量的位置，调色板条目中的U和V分量可丢弃。
图5是说明根据本发明的技术的视频解码器30如何可确定调色板的流程图。视频解码器30可接收或推断CU层级语法元素的值。基于所述语法元素，视频解码器可确定是否复制先前确定的整个调色板作为待用于当前CU的调色板(502)。如果语法元素的值指示复制整个调色板(502，是)，那么视频解码器30复制先前整个调色板及使用用于当前CU的相同调色板(504)。如果语法元素的值指示并不复制整个调色板(502，否)，那么视频解码器30产生新调色板。方框506的步骤展示如何可产生此类新调色板的实例。举例来说，可针对新调色板中的每一调色板条目执行方框506的步骤。
对于第一调色板条目，视频解码器30接收指示第一条目是否从先前调色板的条目复制的旗标(508)。如果旗标的值为真(510，是)，指示第一条目从先前调色板的条目复制，那么视频解码器30从先前调色板的条目复制用于新调色板的第一条目(512)。如果旗标的值为假(510，否)，指示第一条目并不从先前调色板的条目复制，那么视频解码器30确定新调色板的新条目。作为确定新条目的部分，视频解码器30接收指示新调色板的新条目是否基于预测因子样本预测的旗标(514)。如果旗标的值指示根据预测因子样本预测新条目(516，是)，那么视频解码器30确定预测因子样本(518)及接收指示第一调色板条目的色彩值与预测因子样本的色彩值之间的差的差值(520)。如果旗标的值指示并不根据预测因子样本预测新条目(516，否)，那么视频解码器30接收指示第一调色板条目的色彩值的值(522)。为了产生新调色板，视频解码器可针对包含在调色板中的各个条目执行方框506的步骤多次。
图5的技术仅为如何可将本发明的技术实施为用于确定调色板模式译码中使用的调色板的更大方案的一个实例。在一些实例中，可排除决策框514的旗标，在此情况下方框510的“否”路径可直接通向方框518，且可完全排除方框514、516及522。
本发明描述涉及对调色板条目进行译码的技术，且更具体地说，涉及对未预测的新调色板条目进行译码的技术。在此上下文中，“未预测”意味着调色板条目并不从已经使用的调色板复制。根据现有技术，从另一译码单元预测用于译码单元的调色板(即，全部复制)，或针对译码单元产生新调色板。如上文所解释，甚至在产生新调色板时，仍可从先前译码单元的调色板预测(即，复制)新调色板的一些条目。然而，新调色板中的其它条目可为并不根据先前调色板预测的新条目。本发明描述用于产生新调色板，且更具体来说，用于确定新调色板的新条目的技术。在调色板译码的各种现有实施方案中，使用具有取决于当前序列内样本的位深度的长度的固定长度码对新调色板条目进行译码。作为产生新调色板的部分，本发明的技术可包含确定调色板的新调色板条目的预测因子。然而，预测因子的此使用为单独的且不同于通过pred_palette_flag语法元素控制的预测的类型，其涉及整个调色板的直接复制。
可以观察到，新调色板条目确实展现相对于空间相邻样本的一定相关性且将高效地对其进行译码使得去除任何冗余。然而，在当前(从本申请案的申请日起)SCC WD中，使用固定长度码对新调色板条目进行译码而不会考虑可为低效的相邻样本。
在本文档中，描述用于对未预测的新调色板条目译码(编码及解码)的若干方面。这些方面可独立地或与各种组合共同起作用。
在以下实例中，样本由三个分量(YUV/RGB)组成且对每一分量独立地执行所有操作。类似地，PLT条目由三个分量组成。
为了对未经预测(即，语法元素pred_palette_flag指示并不复制调色板)的新PLT条目进行译码，发信号通知旁路经译码旗标以指示新PLT条目是否根据预测因子预测。如果条目未经预测，那么使用固定长度旁路代码对新PLT条目进行译码，所述旁路代码具有基于序列中样本的位深度的长度。
当根据预测因子预测新PLT条目时，接着实例译码系统可包含呈合适的组合的以下技术中的一或多者。
根据一种技术，可从当前译码单元的经重构相邻样本中选择预测因子样本。预测因子样本可包含三个分量(YUV/RGB)，且可从对应预测因子样本减除新条目的每一分量以确定残余。
根据另一技术，可通过确定以下各者中的一者或组合隐式地导出预测因子样本：对应于上方排的中心位置的样本、对应于上方排的样本位置中的一者的样本、对应于上方排样本的平均值的样本、对应于左方排的中心位置的样本、对应于左方排的样本位置中的一者的样本、对应于左方排样本的平均值的样本、对应于左上方排样本的平均值的样本。在另一实例中，可将来自相邻样本的多个候选者识别为预测因子，且可发信号通知来自所识别多个候选者当中的预测因子候选者。当相邻样本不可用时，默认预测因子可以认为是0或例如128的另一默认值。另外或替代地，如果预测因子不可用(超出帧、切片、图块的范围)，那么可停用预测，且旗标可并不需要发信号通知或应发信号通知为0，或者使用某一默认预测，例如，128。可例如在填充CIP之后使用来自帧内参考的预测因子。
可使用具有次序4的截断指数哥伦布代码对所述残余进行译码。可使用1位固定长度旁路代码对残余的符号进行译码。如果残余为零，那么并不对所述符号进行译码。替代地，可使用具有例如(0、1、2、3、4、5…)的其它次序的截断指数哥伦布代码对所述残余进行译码。替代地，可使用具有例如(0、1、2、3、4、5、6…)的次序的截断哥伦布代码对所述残余进行译码。
替代地，提议使用哥伦布代码族，例如，哥伦布莱斯代码、指数哥伦布代码、一元码或哥伦布莱斯代码与指数哥伦布代码的级联以表示所述残余。
下表展示可用于实施本发明中描述的技术中的一或多者的语法。在以下实例中，带下划线的文字表示可用于实施本发明的技术的额外语法。
palette_predicted_entry指定是否预测palette_entry。当不存在时，推断其为零。
delta_palette_entry指定当前调色板的调色板条目中分量的残余。
delta_palette_entry_sign_flag指定当前调色板的调色板条目中分量的残余的符号。
palette_entry指定当前调色板的调色板条目中分量的值。
变量PredictorPaletteEntries[cIdx][i]指定用于色彩分量cIdx的预测因子调色板中的第i元素。
变量CurrentPaletteEntries[cIdx][i]指定用于色彩分量cIdx的当前调色板中的第i元素且如下导出：
当palette_share_flag[x0][y0]等于1时，CurrentPaletteEntries如下导出：
-如果palette_share_flag[x0][y0]等于1，
for(cIdx＝0；cIdx<3；cIdx++)
for(i＝0；i<PreviousPaletteSize；i++) (7-73)
CurrentPaletteEntries[cIdx][i]＝PredictorPaletteEntries[cIdx][i]
-否则(palette_share_flag[x0][y0]等于0)
图6是说明可实施本发明中所描述的技术的实例视频编码器20的框图。视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或清除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或清除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指若干基于空间的压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。
在图6的实例中，视频编码器20包含视频数据存储器33、分割单元35、预测处理单元41、求和器50、变换处理单元52、量化单元54、熵编码单元56。预测处理单元41包含基于调色板的编码单元42、帧间预测处理单元44及帧内预测单元46。对于视频块重构，视频编码器20还包含反量化单元58、反变换处理单元60、求和器62、滤波器单元64及经解码的图片缓冲器(DPB)66。
如图6中所示，视频编码器20接收视频数据且将所接收到的视频数据存储在视频数据存储器33中。视频数据存储器33可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储于视频数据存储器33中的视频数据。DPB 66可为存储供用于例如在帧内或帧间译码模式下通过视频编码器20对视频数据进行编码时的参考视频数据的参考图片存储器。视频数据存储器33及DPB 66可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。可通过同一存储器装置或单独存储器装置提供视频数据存储器33及DPB 66。在各种实例中，视频数据存储器33可与视频编码器20的其它组件一起处于芯片上，或相对于那些组件处于芯片外。
分割单元35从视频数据存储器33检索视频数据并将视频数据分割成视频块。此分割还可包含分割成切片、图块或其它更大单元，以及例如根据LCU及CU的四叉树结构的视频块分割。视频编码器20一般说明对待编码的视频切片内的视频块进行编码的组件。所述切片可以分成多个视频块(并且可能分成被称作图块的视频块集合)。预测处理单元41可基于误差结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如，多种帧内译码模式中的一者或多种帧间译码模式中的一者。预测处理单元41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，并提供到求和器62以重构经编码块以用作参考图片。
预测处理单元41内的帧内预测单元46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测处理单元41内的帧间预测处理单元44相对于在一或多个参考图片中的一或多个预测性块执行当前视频块的帧间预测性译码以提供时间压缩。
帧间预测处理单元44可经配置以根据用于视频序列的预定模式来确定用于视频切片的帧间预测模式。预定模式可将序列中的视频切片表示为P切片或B切片。由帧间预测处理单元44执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
预测性块是被发现在像素差方面与待译码视频块的PU密切匹配的块，所述像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可计算存储于DPB 66中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，帧间预测处理单元44可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。
帧间预测处理单元44通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择参考图片，所述列表中的每一者识别存储在DPB 66中的一或多个参考图片。帧间预测处理单元44将计算出的运动向量发送到熵编码单元56。
由帧间预测处理单元44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精确度的内插)确定的运动向量取出或产生预测性块。在确定当前视频块的PU的所述运动向量之后，帧间预测处理单元44可将预测性块定位到参考图片列表中的一者中的运动向量点。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值来形成残余视频块，从而形成像素差值。像素差值形成用于所述块的残余数据，且可包含明度及色度差分量两者。求和器50表示执行此减法运算的一或多个组件。帧间预测处理单元44还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在对视频切片的视频块进行解码时使用。
预测处理单元41还包含经配置以执行本发明中描述的基于调色板的译码技术的各个方面的基于调色板的编码单元42。当(例如)针对CU或PU选择基于调色板的编码模式时，基于调色板的编码单元42(例如)可执行基于调色板的解码。举例来说，基于调色板的编码单元42可经配置以产生具有指示像素值的条目的调色板，选择调色板中表示视频数据块的至少一些位置的像素值的像素值，且发信号通知使视频数据块的位置中的至少一些与调色板中分别对应于选定像素值的条目关联的信息。虽然将各种功能描述为由基于调色板的编码单元42执行，但此类功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
基于调色板的编码单元42可经配置以产生本文中所描述的各种语法元素中的任一者，包含产生指示调色板的条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差的一或多个语法元素。因此，视频编码器20可经配置以使用如本发明中所描述的基于调色板的译码模式对视频数据块进行编码。视频编码器20可选择性地使用调色板译码模式对视频数据块进行编码，或使用不同模式(例如，HEVC帧间预测性或帧内预测性译码模式)对视频数据块进行编码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频编码器20可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行编码，且以基于调色板的译码模式对其它块进行解码。
在预测处理单元41产生当前视频块的预测性块之后，经由帧内预测、帧间预测或调色板模式译码，视频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。然而，对于一些译码模式，视频编码器20可并不对残余块进行编码。当产生时，残余块中的残余视频数据可包含在一或多个TU中且应用于变换处理单元52。变换处理单元52使用例如离散余弦变换(DCT)或概念上类似的变换的变换来将残余视频数据变换成残余变换系数。变换处理单元52可将残余视频数据从像素值域转换到变换域，例如频域。
变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化所述变换系数以进一步减小位速率。量化过程可以减小与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化的程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。
在量化之后，熵编码单元56对经量化变换系数进行熵编码。举例来说，熵编码单元56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在由熵编码单元56熵编码之后，经编码位流可发射到视频解码器30，或经存档以供稍后发射或由视频解码器30检索。熵编码单元56还可对正译码的当前视频切片的运动向量和其它语法元素进行熵编码。
反量化单元58及反变换处理单元60分别应用反量化及反变换以在像素域中重构残余块，以供稍后用作参考图片的参考块。帧间预测处理单元44可通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。帧间预测处理单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以供用于运动估计中。求和器62将经重构残余块添加到由帧间预测处理单元44产生的运动补偿预测块以产生经重构块。
滤波器单元64滤波经重构块(例如，求和器62的输出)且将经滤波经重构块存储在DPB 66中以用作参考块。参考块可由帧间预测处理单元44用作参考块以帧间预测后续视频帧或图片中的块。滤波器单元64可施加解块滤波、样本自适应偏移(SAO)滤波、自适应环路滤波(ALF)或其它类型的环路滤波中的一或多者。滤波器单元64可施加解块滤波以对块边界进行滤波从而从经重构视频去除方块效应假象且可施加其它类型的滤波以改进总体译码质量。还可使用额外环路滤波器(在回路中或在回路后)。
根据本发明的技术，预测处理单元41可确定译码单元以调色板模式进行译码。举例来说，预测处理单元41可通过在各种不同译码模式下及使用各种不同编码参数对CU进行编码而进行此确定且确定调色板模式为译码单元提供合乎需要的速率失真取舍。作为在调色板模式下对译码单元进行编码的部分，基于调色板的编码单元42可确定译码单元的调色板。为了确定调色板，对于调色板的第一条目，基于调色板的编码单元42可从译码单元的经重构相邻块中选择预测因子样本且对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码。举例来说，基于调色板的编码单元42可使用上文所描述的技术中的任一者选择当前译码单元的预测因子样本。
作为对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码的部分，基于调色板的编码单元42可确定当前译码单元的调色板的第一条目且比较调色板的第一条目与预测因子样本以确定调色板的第一条目与预测因子样本之间的差。举例来说，基于调色板的编码单元42可比较第一条目的每一色彩值与预测因子样本的对应色彩值，其中第一调色板条目及预测因子样本各自包含三个分量(例如，YUV分量或RGB分量)的色彩值。结合熵编码单元56，基于调色板的编码单元可通过产生指示第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差的一或多个语法元素对残余数据进行编码。熵编码单元56可使用哥伦布译码过程(例如，截断指数哥伦布代码或截断哥伦布代码)对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行熵编码。
图7是说明可实施本发明中描述的技术的实例视频解码器30的框图。在图7的实例中，视频解码器30包含视频数据存储器78、熵解码单元80、预测处理单元81、反量化单元86、反变换处理单元88、求和器90及DPB 94。预测处理单元81包含基于调色板的解码单元82、运动补偿单元(MCU)83及帧内预测单元84。在一些实例中，视频解码器30可执行一般与关于来自图6的视频编码器20描述的编码遍次互逆的解码遍次。
在解码过程期间，视频解码器30接收表示来自视频编码器20的经编码视频切片的视频块及相关联语法元素的经编码视频位流。视频解码器30将所接收到的经编码视频位流存储在视频数据存储器78中。视频数据存储器78可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储于视频数据存储器78中的视频数据可(例如)经由链路16从存储装置26或从例如相机的本地视频源，或通过存取物理数据存储媒体获得。视频数据存储器78可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。DPB 94可为存储用于由视频解码器30(例如)在帧内或帧间译码模式下对视频数据进行解码的参考视频数据的参考图片存储器。视频数据存储器78及DPB 94可由多种存储器装置中的任一者形成，例如DRAM、SDRAM、MRAM、RRAM或其它类型的存储器装置。视频数据存储器78及DPB 94可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器78可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频解码器30的熵解码单元80对存储于视频数据存储器78中的视频数据进行熵解码以产生经量化系数、运动向量及其它语法元素。熵解码单元80将运动向量和其它语法元素转发到预测处理单元81。视频解码器30可以接收视频切片层级和/或视频块层级的语法元素。
当视频切片经译码为经帧内译码(I)切片时，预测处理单元81的帧内预测单元84可基于发信号通知的帧内预测模式及来自当前帧或图片的先前经解码块的数据而产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(即，B或P)切片时，预测处理单元81的运动补偿单元83基于从熵解码单元80接收到的运动向量及其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测性块。视频解码器30可基于存储于DPB 94中的参考图片使用默认构造技术来构造参考帧列表，列表0和列表1。
运动补偿单元83通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，并且使用所述预测信息产生用于正被解码的当前视频块的预测性块。举例来说，运动补偿单元83使用所接收到的语法元素中的一些以确定用于对视频切片的视频块进行译码的预测模式(例如，帧内或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、用于切片的参考图片列表中的一或多者的构造信息、用于切片的每一经帧间编码视频块的运动向量、用于切片的每一经帧间译码视频块的帧间预测状态及用以对当前视频切片中的视频块进行解码的其它信息。
运动补偿单元83还可基于内插滤波器而执行内插。运动补偿单元83可以使用如视频编码器20在对视频块进行编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元83可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测性块。
反量化单元86将提供于位流中且由熵解码单元80解码的经量化的变换系数反量化(即，解量化)。反量化过程可包含使用视频编码器20针对视频切片中的每一视频块计算以确定应应用的量化程度和同样反量化程度的量化参数。反变换处理单元88将反变换，例如反DCT、反整数变换或在概念上类似的反变换过程，应用于变换系数，以便产生像素域中的残余块。
根据本发明的各种实例，视频解码器30可经配置以执行基于调色板的译码。当(例如)为CU或PU选择基于调色板的解码模式时，基于调色板的解码单元82(例如)可执行基于调色板的解码。举例来说，基于调色板的解码单元82可经配置以通过对残余数据进行解码以确定调色板条目的色彩值与预测因子样本的色彩值之间的差而产生具有指示像素值的条目的调色板。基于经解码的残余数据及预测因子样本，基于调色板的解码单元82可确定调色板条目。如上文所解释，可使用相同技术确定调色板的一些其它条目，而使用不同技术确定调色板的其它条目。
此外，在此实例中，基于调色板的解码单元82可接收使视频数据块的至少一些位置与调色板中的条目相关联的信息。在此实例中，基于调色板的解码单元82可基于信息选择调色板中的像素值。此外，在此实例中，基于调色板的解码单元82可基于所述选定像素值重构块的像素值。虽然将各种功能描述为由基于调色板的解码单元82执行，但此些功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。
基于调色板的解码单元82可接收调色板译码模式信息，且当调色板译码模式信息指示调色板译码模式应用于块时执行上述操作。当调色板译码模式信息指示调色板译码模式并不应用于所述块时，或当其它模式信息指示使用不同模式时，基于调色板的解码单元82使用基于非调色板的译码模式(例如，此HEVC帧间预测或帧内预测性译码模式)对视频数据块进行解码。视频数据块可(例如)为根据HEVC译码过程产生的CU或PU。视频解码器30可以帧间预测性时间预测或帧内预测性空间译码模式对一些块进行解码且以基于调色板的译码模式对其它块进行解码。基于调色板的译码模式可包括多个不同基于调色板的译码模式中的一者，或可存在单个基于调色板的译码模式。
在预测处理单元使用例如帧内或帧间预测产生用于当前视频块的预测性块之后，视频解码器30通过对来自反变换处理单元88的残余块与由运动补偿单元83产生的对应预测性块进行求和而形成经重构视频块。求和器90表示执行此求和运算的一或多个组件。滤波器单元92使用例如解块滤波、SAO滤波、ALF滤波或其它类型的滤波中的一或多者对经重构视频块进行滤波。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。接着将给定帧或图片中的经解码视频块存储于DPB 94中，所述DPB存储用于后续运动补偿的参考图片。DPB 94可为存储经解码视频以供稍后呈现于例如图1的显示装置32的显示装置上的额外存储器的部分或与其分离。
根据本发明的技术，预测处理单元81可确定当前译码单元以调色板模式进行译码。基于调色板的解码单元82可确定译码单元的调色板。为了确定调色板，对于调色板的第一条目，基于调色板的解码单元82可从译码单元的经重构相邻块中选择预测因子样本且对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码(即，解码)。举例来说，基于调色板的解码单元82可使用上文所描述的技术中的任一者选择当前译码单元的预测因子样本。
为了对第一调色板条目与预测因子样本之间的差进行译码，基于调色板的解码单元82可对残余数据进行解码以确定第一调色板条目的色彩值与预测因子样本的色彩值之间的差。基于经解码的残余数据及预测因子样本，基于调色板的解码单元82可确定当前译码单元的第一调色板条目。举例来说，基于调色板的解码单元82可将残余数据添加到预测因子样本的色彩值以确定调色板条目。为了对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行解码，熵解码单元80可使用哥伦布译码过程(例如，截断指数哥伦布代码或截断哥伦布代码)对一或多个差值进行解码。
基于调色板的解码单元82可接收用于调色板的第一条目的旗标，其中旗标的第一值指示根据预测因子样本预测调色板的第一条目。基于调色板的解码单元82可接收用于调色板的第二条目的旗标的第二实例，其中旗标的第二值指示并不根据任何预测因子样本预测调色板的第二条目。响应于接收用于调色板的第二条目的具有所述第二值的旗标，基于调色板的解码单元82可接收第二条目的色彩值的指示。举例来说，第二条目的色彩值的指示可为固定长度经译码码字。在此实例中，所述第一和第二条目仅意图表示调色板的不同条目，且术语第一与第二并不表示两个条目之间的任何类别的序数关系。
在基于调色板的解码单元82已产生待用于当前译码单元的调色板之后，基于调色板的解码单元82针对当前译码单元的样本接收识别来自调色板的条目的索引值。基于调色板的解码单元82将与条目相关联的一或多个色彩值分配到所述样本。作为确定经重构译码单元的部分，基于调色板的解码单元82可接收用于译码单元中的额外样本的索引值。视频解码器30可将包含经重构译码单元的视频数据帧输出(例如，显示或发射)到显示器。
图8是说明本发明的技术的流程图。将相对于通用视频译码器描述图8的技术。举例来说，通用视频译码器可对应于图1及6的视频编码器20或图1及7的视频解码器30，但本发明的技术不限于任何特定类型的视频译码器。在图8的实例中，视频译码器(例如，视频编码器20或视频解码器30)确定以调色板模式对当前译码单元进行译码(802)。视频译码器接着确定用于译码单元的调色板。举例来说，对于调色板的条目，视频译码器可从译码单元的经重构相邻块中选择预测因子样本且对所述条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行译码(804)。
举例来说，预测因子样本可包含三个分量，例如YUV分量或RGB分量。在其它实例中，预测因子样本可包含不同数目的分量或不同分量。在图8的实例中，视频译码器可对调色板条目的三个分量的值与预测因子样本的三个分量的值之间的差进行译码。在此实例中，为了对所述差进行译码，视频译码器可对三个单独差值(即，一个差值针对每一分量)进行译码。
图9是说明本发明的技术的流程图。将相对于通用视频解码器描述图9的技术。举例来说，通用视频解码器可对应于图1及7的视频解码器30，但本发明的技术不限于任何特定类型的视频解码器。在图9的实例中，视频解码器(例如，视频解码器30)可确定以调色板模式对视频数据的当前CU进行译码(902)。视频解码器可确定用于CU的调色板(904)。为了确定调色板，对于调色板的第一条目，视频解码器可从译码单元的经重构相邻块中选择预测因子样本(906)；对第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差进行解码(908)；及基于经解码的残余数据及预测因子样本，确定用于当前译码单元的调色板的第一条目(910)。
在视频解码器已构造调色板(其可包含方框904中所展示的步骤以及方框904中未展示的额外步骤的多个反复)之后，接着视频解码器可使用调色板以确定CU的样本的色彩值(912)。为了使用调色板以确定CU的样本的色彩值，视频解码器可执行方框912的步骤以及方框912中未展示的额外步骤的多个反复。作为使用调色板以确定CU的样本的色彩值的部分，对于当前译码单元的样本，视频解码器可接收索引值，其中索引值识别来自调色板的条目(914)；将与第一条目相关联的一或多个色彩值分配到所述样本以确定经重构译码单元(916)；及输出包含经重构译码单元的经解码视频数据的图片(918)。
图10是说明本发明的技术的流程图。将相对于通用视频编码器描述图10的技术。举例来说，通用视频编码器可对应于图1及6的视频编码器20，但本发明的技术不限于任何特定类型的视频解码器。在图10的实例中，视频编码器(例如，视频编码器20)可确定以调色板模式对视频数据的当前译码单元进行译码(1002)。视频编码器可确定用于译码单元的调色板(1004)。对于调色板的第一条目，视频编码器可从译码单元的经重构相邻块中选择预测因子样本(1006)。视频编码器可确定第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差(1008)。视频编码器可产生指示第一条目的一或多个色彩值与预测因子样本的一或多个色彩值之间的差的一或多个语法元素以用于包含在视频数据的经编码位流中(1010)。
在一或多个实例中，所描述功能可用硬件、软件、固件或其任何组合来实施。如果用软件实施，则所述功能可作为一或多个指令或代码在计算机可读媒体上存储或发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体等有形媒体，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体(例如，根据通信协议)。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其为非暂时性或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，任何连接被恰当地称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编码解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些和其它实例属于所附权利要求书的范围内。

Claims (30)

1.一种对视频数据进行解码的方法，所述方法包括：
确定以调色板模式对所述视频数据的当前译码单元进行译码；
确定用于所述译码单元的调色板，其中确定所述调色板包括：
对于所述调色板的第一条目，从所述译码单元的经重构相邻块中选择预测因子样本；
对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的差进行解码；以及
基于经解码的残余数据及所述预测因子样本，确定用于所述当前译码单元的所述调色板的所述第一条目；
对于所述当前译码单元的样本，接收索引值，其中所述索引值识别来自所述调色板的条目；
将与所述第一条目相关联的一或多个色彩值分配到所述样本以确定经重构译码单元；以及
输出包括所述经重构译码单元的经解码视频数据的图片。
2.根据权利要求1所述的方法，其中所述预测因子样本包括三个分量。
3.根据权利要求1所述的方法，其中选择用于所述当前译码单元的所述预测因子样本包括定位对应于所述当前译码单元上方的行的中心位置的样本。
4.根据权利要求1所述的方法，其进一步包括：
接收所述调色板的所述第一条目的旗标，其中所述旗标的第一值指示根据所述预测因子样本预测所述调色板的所述第一条目。
5.根据权利要求4所述的方法，其进一步包括：
接收所述调色板的第二条目的所述旗标，其中所述旗标的第二值指示并不根据任何预测因子样本预测所述调色板的所述第二条目。
6.根据权利要求8所述的方法，其进一步包括：
响应于接收所述调色板的所述第二条目的具有所述第二值的所述旗标，接收所述第二条目的所述色彩值的指示。
7.根据权利要求6所述的方法，其中所述第二条目的所述色彩值的所述指示包括固定长度经译码码字。
8.根据权利要求1所述的方法，其中对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的所述差进行解码包括使用哥伦布译码过程对一或多个差值进行解码。
9.一种对视频数据进行编码的方法，所述方法包括：
确定以调色板模式对所述视频数据的当前译码单元进行译码；
确定用于所述译码单元的调色板；
对于所述调色板的第一条目，从所述译码单元的经重构相邻块中选择预测因子样本；
确定所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的差；以及
产生指示所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的差的一或多个语法元素以用于包含在视频数据的经编码位流中。
10.根据权利要求9所述的方法，其中确定所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的所述差包括比较所述第一条目的每一色彩值与所述预测因子样本的对应色彩值。
11.根据权利要求9所述的方法，其中所述第一条目及所述预测因子样本各自包括三个分量的色彩值。
12.根据权利要求9所述的方法，其中选择用于所述当前译码单元的所述预测因子样本包括定位对应于所述当前译码单元上方的排的中心位置的样本。
13.根据权利要求9所述的方法，其中对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的所述差进行编码包括使用哥伦布译码过程对一或多个差值进行编码。
14.一种用于对视频数据进行译码的装置，所述设备包括：
存储器，其存储视频数据；以及
视频译码器，其包括一或多个处理器，所述一或多个处理器经配置以：
确定以调色板模式对所述视频数据的当前译码单元进行译码；
确定用于所述译码单元的调色板，其中为了确定所述调色板，所述一或多个处理器进一步经配置以：
对于所述调色板的第一条目，从所述译码单元的经重构相邻块中选择预测因子样本；以及
对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的差进行译码。
15.根据权利要求14所述的装置，其中为了对所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的所述差进行译码，所述一或多个处理器通过产生指示所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的所述差的一或多个语法元素而对残余数据进行编码。
16.根据权利要求14所述的装置，其中为了对所述第一条目与预测因子样本之间的所述差进行译码，所述一或多个处理器对残余数据进行解码以确定所述第一条目的色彩值与所述预测因子样本的色彩值之间的所述差，其中所述一或多个处理器进一步经配置以：
基于所述经解码残余数据及所述预测因子样本，确定用于所述当前译码单元的所述调色板的所述第一条目。
17.根据权利要求16所述的装置，其中所述一或多个处理器进一步经配置以：
对于所述当前译码单元的样本，接收索引值，其中所述索引值识别来自所述调色板的条目；以及
将与所述第一条目相关联的一或多个色彩值分配到所述样本以确定经重构译码单元。
18.根据权利要求14所述的装置，其中所述预测因子样本包括三个分量。
19.根据权利要求14所述的装置，其中为了选择用于所述当前译码单元的所述预测因子样本，所述一或多个处理器经配置以定位对应于所述当前译码单元上方的行的中心位置的样本。
20.根据权利要求14所述的装置，其中所述一或多个处理器进一步经配置以：
接收所述调色板的所述第一条目的旗标，其中所述旗标的第一值指示根据所述预测因子样本预测所述调色板的所述第一条目。
21.根据权利要求20所述的装置，其中所述一或多个处理器进一步经配置以：
接收所述调色板的第二条目的所述旗标，其中所述旗标的第二值指示并不根据任何预测因子样本预测所述调色板的所述第二条目。
22.根据权利要求14所述的装置，其中为了对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的所述差进行译码，所述一或多个处理器进一步经配置以使用哥伦布译码过程对一或多个差值进行译码。
23.根据权利要求14所述的装置，其中所述装置包括以下各者中的一或多者：
集成电路；
微处理器；或
包括所述视频译码器的无线通信装置。
24.一种存储指令的计算机可读存储媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：
确定以调色板模式对视频数据的当前译码单元进行译码；
确定用于所述译码单元的调色板，其中为了确定用于所述译码单元的所述调色板，所述计算机可读存储媒体存储另外的指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：
对于所述调色板的第一条目，从所述译码单元的经重构相邻块中选择预测因子样本；以及
对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的差进行译码。
25.根据权利要求24所述的计算机可读存储媒体，其中为了对所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的所述差进行译码，所述计算机可读存储媒体存储另外的指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器通过产生指示所述第一条目的所述一或多个色彩值与所述预测因子样本的所述一或多个色彩值之间的所述差的一或多个语法元素而对残余数据进行编码。
26.根据权利要求24所述的计算机可读存储媒体，其中为了对所述第一条目与预测因子样本之间的所述差进行译码，所述一或多个处理器对残余数据进行解码以确定所述第一条目的色彩值与所述预测因子样本的色彩值之间的所述差，所述计算机可读存储媒体存储另外的指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器进行以下操作：
基于所述经解码残余数据及所述预测因子样本，确定用于所述当前译码单元的所述调色板的所述第一条目。
27.根据权利要求24所述的计算机可读存储媒体，其存储在由一或多个处理器执行时致使所述一或多个处理器进行以下操作的另外指令：
对于所述当前译码单元的样本，接收索引值，其中所述索引值识别来自所述调色板的条目；以及
将与所述第一条目相关联的一或多个色彩值分配到所述样本以确定经重构译码单元。
28.根据权利要求24所述的计算机可读存储媒体，其存储在由一或多个处理器执行时致使所述一或多个处理器进行以下操作的另外指令：
接收所述调色板的所述第一条目的旗标，其中所述旗标的第一值指示根据所述预测因子样本预测所述调色板的所述第一条目。
29.根据权利要求28所述的计算机可读存储媒体，其存储在由一或多个处理器执行时致使所述一或多个处理器进行以下操作的另外指令：
接收所述调色板的第二条目的所述旗标，其中所述旗标的第二值指示并不根据任何预测因子样本预测所述调色板的所述第二条目。
30.根据权利要求24所述的计算机可读存储媒体，其中为了对所述第一条目的一或多个色彩值与所述预测因子样本的一或多个色彩值之间的所述差进行译码，所述计算机可读存储媒体存储另外的指令，所述指令在由一或多个处理器执行时致使所述一或多个处理器使用哥伦布译码过程对一或多个差值进行译码。
CN201680006346.XA 2015-01-30 2016-01-29 通过调色板预测残余编码的视频译码 Pending CN107211160A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562110221P 2015-01-30 2015-01-30
US62/110,221 2015-01-30
US15/009,650 2016-01-28
US15/009,650 US10212434B2 (en) 2015-01-30 2016-01-28 Palette entries coding in video coding
PCT/US2016/015717 WO2016123519A1 (en) 2015-01-30 2016-01-29 Video coding with palette prediction residual encoding

Publications (1)

Publication Number Publication Date
CN107211160A true CN107211160A (zh) 2017-09-26

Family

ID=55543031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680006346.XA Pending CN107211160A (zh) 2015-01-30 2016-01-29 通过调色板预测残余编码的视频译码

Country Status (5)

Country Link
US (1) US10212434B2 (zh)
EP (1) EP3251368A1 (zh)
JP (1) JP2018507613A (zh)
CN (1) CN107211160A (zh)
WO (1) WO2016123519A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114128277A (zh) * 2019-08-13 2022-03-01 高通股份有限公司 针对局部双树的调色板预测器更新
CN114208185A (zh) * 2019-07-23 2022-03-18 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
CN114788289A (zh) * 2019-12-03 2022-07-22 阿里巴巴集团控股有限公司 使用调色板模式的视频处理方法和装置
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
US10706492B2 (en) * 2017-09-05 2020-07-07 Texas Instruments Incorporated Image compression/decompression in a computer vision system
US11134258B2 (en) * 2019-02-11 2021-09-28 Qualcomm Incorporated Predictive coefficient coding
WO2020169104A1 (en) * 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Joint coding of palette mode usage indication
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
WO2021055114A1 (en) * 2019-09-20 2021-03-25 Alibaba Group Holding Limited Method and system for signaling chroma quantization parameter offset
US11356679B2 (en) * 2019-12-05 2022-06-07 Alibaba Group Holding Limited Method and apparatus for chroma sampling
US11451801B2 (en) * 2019-12-26 2022-09-20 Alibaba Group Holding Limited Methods for coding video data in palette mode
US11683489B2 (en) * 2019-12-26 2023-06-20 Qualcomm Incorporated Monochrome palette mode for video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101946501A (zh) * 2007-12-14 2011-01-12 高通股份有限公司 使用二进有理数的有效扩散抖动
CN103281538A (zh) * 2013-06-06 2013-09-04 上海交通大学 基于滚动哈希和块级别帧内预测的帧内编码方法
CN104137548A (zh) * 2011-12-27 2014-11-05 索尼电脑娱乐公司 运动图像压缩装置、图像处理装置、运动图像压缩方法、图像处理方法、以及运动图像压缩文件的数据结构
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US7343037B1 (en) 2004-02-04 2008-03-11 Microsoft Corporation Dynamic, locally-adaptive, lossless palettization of color and grayscale images
US10147202B2 (en) 2013-03-15 2018-12-04 Arm Limited Methods of and apparatus for encoding and decoding data
PL3425914T3 (pl) 2013-12-10 2022-02-14 Canon Kabushiki Kaisha Sposób i aparatura do kodowania lub dekodowania palety w trybie kodowania palety
CN110336999B (zh) 2013-12-18 2021-09-03 寰发股份有限公司 利用调色板编码的编码视频数据区块的方法和装置
WO2015096812A1 (en) * 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
US10055189B2 (en) 2014-01-02 2018-08-21 Vid Scale, Inc. Two-dimensional palette coding for screen content coding
EP4044602A1 (en) 2014-03-14 2022-08-17 Vid Scale, Inc. Palette coding for screen content coding
US20170171560A1 (en) * 2014-06-20 2017-06-15 Sharp Kabushiki Kaisha Efficient palette coding for screen content codings
US10237557B2 (en) 2014-06-20 2019-03-19 Hfi Innovation Inc. Method of run-length coding for palette predictor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101946501A (zh) * 2007-12-14 2011-01-12 高通股份有限公司 使用二进有理数的有效扩散抖动
CN104137548A (zh) * 2011-12-27 2014-11-05 索尼电脑娱乐公司 运动图像压缩装置、图像处理装置、运动图像压缩方法、图像处理方法、以及运动图像压缩文件的数据结构
CN103281538A (zh) * 2013-06-06 2013-09-04 上海交通大学 基于滚动哈希和块级别帧内预测的帧内编码方法
US20150016501A1 (en) * 2013-07-12 2015-01-15 Qualcomm Incorporated Palette prediction in palette-based video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENJING ZHU: "Template-based palette prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
CN114208185A (zh) * 2019-07-23 2022-03-18 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
CN114208185B (zh) * 2019-07-23 2023-12-29 北京字节跳动网络技术有限公司 预测处理中调色板模式的模式确定
CN114128277A (zh) * 2019-08-13 2022-03-01 高通股份有限公司 针对局部双树的调色板预测器更新
CN114128277B (zh) * 2019-08-13 2022-12-13 高通股份有限公司 针对局部双树的调色板预测器更新
CN114788289A (zh) * 2019-12-03 2022-07-22 阿里巴巴集团控股有限公司 使用调色板模式的视频处理方法和装置
US12015788B2 (en) 2019-12-03 2024-06-18 Alibaba Group Holding Limited Video processing method and apparatus for using palette mode

Also Published As

Publication number Publication date
EP3251368A1 (en) 2017-12-06
WO2016123519A1 (en) 2016-08-04
US20160227226A1 (en) 2016-08-04
JP2018507613A (ja) 2018-03-15
US10212434B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
CN107211160A (zh) 通过调色板预测残余编码的视频译码
CN105474645B (zh) 对视频数据进行解码的方法、对视频数据进行编码的方法、视频解码装置及视频编码装置
CN106464919B (zh) 用于编码和解码具有视频数据的多层位流的方法和装置
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN109716774A (zh) 用于视频译码的可变数目的帧内模式
CN104137542B (zh) 在视频译码过程中对与残余视频数据相关联的变换系数进行译码的方法、设备以及计算机可读介质
CN105493507B (zh) 用于帧内块复制的残余预测
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN104471942B (zh) 重新使用参数集用于视频译码
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN104704843B (zh) 视频性质的指示
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN104365106B (zh) 发信用于视频译码的长期参考图片的数据
CN106664425A (zh) 视频译码中的跨分量预测
CN107750455A (zh) 帧内预测及帧内模式译码
CN103975595B (zh) 用于视频译码的分段参数集
CN107750457A (zh) 帧内预测及帧内模式译码
CN107771393A (zh) 帧内预测及帧内模式译码
CN107743705A (zh) 帧内预测及帧内模式译码
CN106105228A (zh) 确定在视频译码中的调色板译码块的调色板大小、调色板条目及过滤
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN106416249A (zh) 在视频译码中确定用于经调色板译码块的量化参数(qp)值和差量qp值
CN107736022A (zh) 帧内预测及帧内模式译码
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN107660341A (zh) 切片级帧内块复制及其它视频译码改进

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication