CN106537916A - 调色盘模式编码及解码设计 - Google Patents

调色盘模式编码及解码设计 Download PDF

Info

Publication number
CN106537916A
CN106537916A CN201580040322.1A CN201580040322A CN106537916A CN 106537916 A CN106537916 A CN 106537916A CN 201580040322 A CN201580040322 A CN 201580040322A CN 106537916 A CN106537916 A CN 106537916A
Authority
CN
China
Prior art keywords
color saucer
video data
jing
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580040322.1A
Other languages
English (en)
Other versions
CN106537916B (zh
Inventor
拉詹·拉克斯曼·乔希
濮伟
瓦迪姆·谢廖金
霍埃尔·索赖·罗哈斯
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106537916A publication Critical patent/CN106537916A/zh
Application granted granted Critical
Publication of CN106537916B publication Critical patent/CN106537916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/93—Run-length coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在实例中，一种处理视频数据的方法可包含在不接收具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于所述第一经调色盘模式编码块的所述像素扫描次序。所述方法可包含使用所述经推断像素扫描次序来解码视频数据的所述第一经调色盘模式编码块。所述方法可包含接收具有表示用于视频数据的第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。所述方法可包含基于所述经接收块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序。所述方法可包含使用所述经确定像素扫描次序来解码视频数据的所述第二经调色盘模式编码块。

Description

调色盘模式编码及解码设计
相关申请案
本申请案主张2014年8月4日申请的美国临时申请案第62/033,067号、2014年8月29日申请的美国临时申请案第62/044,088号及2014年10月10日申请的美国临时申请案第62/062,674号的权利，所述临时申请案中的每一者的全文特此以引用方式并入。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(personal digital assistant；PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主控台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电信会议装置、视频流式传输装置及其类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4第10部分的高级视频译码(Advanced Video Coding；AVC)定义的标准、目前在开发中的高效率视频译码(High Efficiency Video Coding；HEVC)标准及这些标准的扩展中描述的视频压缩技术。视频装置可通过实施这些视频压缩技术而更有效率地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(帧内图片)预测及/或时间(帧间图片)预测以缩减或去除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的部分)分割成视频块。图片的经帧内译码(I)切片中的视频块是使用关于同一图片中的相邻块中的参考样本的空间预测予以编码。图片的经帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测引起用于待译码块的预测性块。残差数据表示原始待译码块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量予以编码，且残差数据指示经译码块与预测性块之间的差。经帧内译码块是根据帧内译码模式及残差数据予以编码。出于进一步压缩起见，可将残差数据从像素域变换到变换域，从而引起残差系数，其接着可被量化。可扫描最初按二维阵列而布置的经量化系数以便产生系数的一维向量，且可应用熵译码以达成甚至更多的压缩。
发明内容
本发明的技术涉及基于调色盘的视频译码。举例来说，在基于调色盘的视频译码中，视频译码器(例如，视频编码器或视频解码器)可形成“调色盘”作为用于表示特定区域(例如，给定块)的视频数据的色彩表。基于调色盘的视频译码可尤其有用于译码具有相对小数目种色彩的视频数据的区域。视频译码器可译码用于像素中的一或多者的调色盘索引，而非译码实际像素值(或其残差)，调色盘索引使像素与表示像素的色彩的调色盘中的条目相关。本发明中描述的技术可包含用于以下各者中的一或多者的各种组合的技术：传信基于调色盘的视频译码模式；发射调色盘；导出调色盘；导出未经发射语法元素的值；及发射基于调色盘的视频译码映像及其它语法元素。
在一个实例中，一种解码视频数据的方法可包含接收图片的视频数据的第一经调色盘模式编码块。所述方法可包含在不接收具有表示用于视频数据的所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于所述第一经调色盘模式编码块的所述像素扫描次序。所述方法可包含使用所述经推断像素扫描次序来解码视频数据的所述第一经调色盘模式编码块。所述方法可包含接收所述图片的视频数据的第二经调色盘模式编码块。所述方法可包含接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。所述方法可包含基于所述经接收块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序。所述方法可包含使用所述经确定像素扫描次序来解码视频数据的所述第二经调色盘模式编码块。
在另一实例中，一种装置可包含存储器，其经配置以存储图片的视频数据。所述装置可包含视频解码器，其经配置以接收图片的视频数据的第一经调色盘模式编码块。所述视频解码器可经配置以不基于具有表示用于所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素而推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。所述视频解码器可经配置以基于所述经推断像素扫描次序而解码视频数据的所述第一经调色盘模式编码块。所述视频解码器可经配置以接收所述图片的视频数据的第二经调色盘模式编码块。所述视频解码器可经配置以接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。所述视频解码器可经配置以基于用于视频数据的所述第二经调色盘模式编码块的所述块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序。所述视频解码器可经配置以基于所述经确定像素扫描次序而解码视频数据的所述第二经调色盘模式编码块。
在另一实例中，一种非暂时性计算机可读存储媒体在其上存储有在被执行时致使经配置以解码视频数据的计算装置的一或多个处理器接收图片的视频数据的第一经调色盘模式编码块的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器不基于具有表示用于所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素而推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器基于所述经推断像素扫描次序而解码视频数据的所述第一经调色盘模式编码块的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器接收所述图片的视频数据的第二经调色盘模式编码块的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器基于用于视频数据的所述第二经调色盘模式编码块的所述块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以解码视频数据的所述计算装置的一或多个处理器基于所述经确定像素扫描次序而解码视频数据的所述第二经调色盘模式编码块的指令。
在另一实例中，一种装置可包含用于接收图片的视频数据的第一经调色盘模式编码块的装置。所述装置可包含用于在不接收具有表示用于视频数据的所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于所述第一经调色盘模式编码块的所述像素扫描次序的装置。所述装置可包含用于使用所述经推断像素扫描次序来解码视频数据的所述第一经调色盘模式编码块的装置。所述装置可包含用于接收所述图片的视频数据的第二经调色盘模式编码块的装置。所述装置可包含用于接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素的装置。所述装置可包含用于基于所述经接收块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序的装置。所述装置可包含用于使用所述经确定像素扫描次序来解码视频数据的所述第二经调色盘模式编码块的装置。
在又一实例中，一种编码视频数据的方法可包含确定视频数据的块待使用调色盘模式予以编码。所述方法可包含确定用于视频数据的所述块的调色盘大小。所述方法可包含确定用于视频数据的所述块的像素扫描次序。所述方法可包含使用调色盘模式来编码视频数据的所述块。所述方法可包含基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素。
在又一实例中，一种装置可包含存储器，其经配置以存储图片的视频数据。所述装置可包含视频编码器，其经配置以确定视频数据的块待使用调色盘模式予以编码。所述视频编码器可经配置以确定用于视频数据的所述块的调色盘大小。所述视频编码器可经配置以确定用于视频数据的所述块的像素扫描次序。所述视频编码器可经配置以使用调色盘模式来编码视频数据的所述块。所述视频编码器可经配置以基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素。
在又一实例中，一种非暂时性计算机可读存储媒体在其上存储有在被执行时致使经配置以编码视频数据的计算装置的一或多个处理器确定视频数据的块待使用调色盘模式予以编码的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以编码视频数据的所述计算装置的一或多个处理器确定用于视频数据的所述块的调色盘大小的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以编码视频数据的所述计算装置的一或多个处理器确定用于视频数据的所述块的像素扫描次序的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以编码视频数据的所述计算装置的一或多个处理器使用调色盘模式来编码视频数据的所述块的指令。所述非暂时性计算机可读存储媒体可在其上存储有在被执行时致使经配置以编码视频数据的所述计算装置的一或多个处理器基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素的指令。
在又一实例中，一种装置可包含用于确定视频数据的块待使用调色盘模式予以编码的装置。所述装置可包含用于确定用于视频数据的所述块的调色盘大小的装置。所述装置可包含用于确定用于视频数据的所述块的像素扫描次序的装置。所述装置可包含用于使用调色盘模式来编码视频数据的所述块的装置。所述装置可包含用于基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素的装置。
在随附图式及以下描述中阐明本发明的一或多个实例的细节。其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为说明可利用用于本发明中描述的基于调色盘的视频译码的技术的实例视频译码系统的框图。
图2为说明可实施用于本发明中描述的基于调色盘的视频译码的技术的实例视频编码器的框图。
图3为说明可实施用于本发明中描述的基于调色盘的视频译码的技术的实例视频解码器的框图。
图4为说明根据本发明的技术的确定用于基于调色盘的视频译码的调色盘条目的实例的概念图。
图5为说明根据本发明的技术的确定到用于像素的块的调色盘的索引的实例的概念图。
图6A为说明像素扫描次序的一个实例的概念图。
图6B为说明像素扫描次序的一个实例的概念图。
图7为说明根据本发明的用于基于调色盘的视频译码的技术的用于解码视频数据的实例过程的流程图。
图8为说明根据本发明的用于基于调色盘的视频译码的技术的用于编码视频数据的实例过程的流程图。
图9为说明根据本发明的用于基于调色盘的视频译码的技术的针对视频数据的块的第一行启用复制模式的实例的概念图。
图10为说明根据本发明的用于基于调色盘的视频译码的技术的用于解码视频数据的实例过程的流程图。
图11为说明根据本发明的用于基于调色盘的视频译码的技术的用于编码视频数据的实例过程的流程图。
具体实施方式
本发明的方面是针对用于视频译码及视频数据压缩的技术。具体地说，本发明描述用于视频数据的基于调色盘的视频译码的技术。在传统视频译码中，图像被假设为连续色调且空间上平滑。基于这些假设，已开发例如基于块的变换、滤波及其它译码工具的各种工具，且这些工具已针对天然内容视频展示良好性能。然而，在比如远程桌面、合作工作及无线显示器的应用中，计算机产生屏幕内容可为待压缩的主要内容。此类型的屏幕内容趋向于具有离散色调、尖锐线及高对比度物件边界。连续色调及平滑度的假设可不再适用，且因此，传统视频译码技术可在压缩屏幕内容方面无效率。
本发明描述基于调色盘的视频译码技术，其可特别适合于计算机产生屏幕内容译码(例如，屏幕内容译码(screen content coding；SCC))或其它内容(其中一或多个传统译码工具无效率)。本发明中描述的用于视频数据的基于调色盘的视频译码的技术可与例如用于帧间或帧内预测性译码的技术的一或多种其它译码技术一起使用。举例来说，如下文更详细地所描述，编码器或解码器或组合式编码器-解码器(编解码器)可经配置以执行帧间及帧内预测性译码，以及基于调色盘的视频译码。
最近，新视频译码标准(即，高效率视频译码(HEVC))的设计已由ITU-T视频译码专家团体(Video Coding Experts Group；VCEG)及ISO/IEC动画专家团体(Motion PictureExperts Group；MPEG)的视频译码联合合作小组(Joint Collaboration Team on VideoCoding；JCT-VC)定案。到HEVC的屏幕内容译码扩展(名称为SCC)也正由JCT-VC开发。包含调色盘模式描述的最近SCC工作草案(Working Draft；WD)(SCC WD)可从JCTVC-R0348“JCTVC-R0348_18thMeetingFinalPaletteTextSpecification.doc”获得。
在一些实例中，基于调色盘的视频译码技术可经配置以与一或多种视频译码标准一起使用。实例视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)。高效率视频译码(HEVC)为由ITU-T视频译码专家团体(VCEG)及ISO/IEC动画专家团体(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。最近HEVC文字规范草案被描述于Bross等人在2013年1月14日到23日举行的第12届ITU-TSG16WP 3及ISO/IEC JCT 1/SC 29/WG 11的JCT-VC会议中的“高效率视频译码(HEVC)文字规范草案10(供FDIS&许可)(High Efficiency Video Coding(HEVC)Text SpecificationDraft 10(for FDIS&Consent))”(JCVC-L1003_v13)中(“HEVC草案10”)，其可从以下网址获得：http://phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v13.zip。
关于HEVC架构，作为实例，本发明的基于调色盘的视频译码技术可经配置以用于译码单元(CU)层级处。在用于HEVC的其它实例中，本发明的基于调色盘的视频译码技术可经配置以用于预测单元(PU)层级处。在用于HEVC的其它实例中，本发明的基于调色盘的视频译码技术可经配置以用于子预测单元(子PU)层级(例如，预测单元的子块)处。因此，另外或替代地，在CU层级的上下文中描述的所有以下所揭示过程可应用于PU层级或子PU层级。然而，这些基于HEVC的实例不应被视为限定或限制本文中所描述的基于调色盘的视频译码技术，这是因为这些技术可适用于独立地工作或作为其它现有或尚待开发的系统/标准的部分而工作。在这些状况下，用于调色盘译码的单元可为正方形块、矩形块或甚至为非矩形形状的区。
在基于调色盘的视频译码中，视频数据的特定区域可具有相对小数目种色彩。视频译码器(例如，视频编码器或视频解码器)可译码(即，编码或解码)所谓的“调色盘”作为用于表示特定区域(例如，给定块)的视频数据的色彩表。每一像素可与调色盘中表示所述像素的色彩的条目相关联。举例来说，视频译码器可译码使像素值与调色盘中的适当值相关的索引。
在以上实例中，视频编码器可通过以下操作而编码视频数据的块：确定用于块的调色盘；定位调色盘中的条目以表示每一像素的值；及运用用于像素的使像素值与调色盘相关的调色盘索引(也被称作调色盘索引值)来编码调色盘。视频解码器可从经编码位流获得用于块的调色盘，以及用于块的像素的调色盘索引。视频解码器可使像素的调色盘索引与调色盘的条目相关以重新构建块的像素值。像素(及/或指示像素值的相关调色盘索引)通常可被称作样本。
可使用水平光栅扫描次序或其它扫描次序来处理(例如，扫描)视频数据的块中的样本。举例来说，视频编码器可通过使用水平光栅扫描次序来扫描调色盘索引而将调色盘索引的二维块转换成一维阵列。同样地，视频解码器可使用水平光栅扫描次序来重新构建调色盘索引的块。因此，本发明可将先前样本称作按扫描次序先于块中当前正被译码的样本的样本。应了解，除了水平光栅扫描以外的扫描(例如垂直光栅扫描次序)也可为适用的。以上实例以及本发明中阐明的其它实例意图提供基于调色盘的视频译码的一般描述。
调色盘通常包含通过索引而编号且表示色彩分量(例如，RGB、YUV、YCbCr或其类似者)值或强度的条目。视频编码器及视频解码器两者确定调色盘条目的数目、用于每一调色盘条目的色彩分量值，及用于当前块的调色盘条目的确切排序。在本发明中，假设每一调色盘条目指定用于一样本的所有色彩分量的值。然而，本发明的概念适用于针对每一色彩分量使用一单独调色盘。
在一些实例中，可使用来自经先前译码块的信息来构成调色盘。即，调色盘可含有从用以译码先前块的调色盘预测的经预测调色盘条目。举例来说，如Wei Pu等人在2014年3月27日到4月4日于ES的巴伦西亚的“AHG10：为基于RExt6.0的调色盘译码建议的软件(AHG10:Suggested Software for Palette Coding based on RExt6.0)”(JCTVC-Q0094)(在下文中为JCTVC-Q0094)中所描述，调色盘可包含从预测符调色盘复制的条目。预测符调色盘可包含来自先前使用调色盘模式而译码的块或来自其它经重新构建样本的调色盘条目。对于预测符调色盘中的每一条目，可译码二进制旗标以指示是否将与旗标相关联的条目复制到当前调色盘(例如，由旗标＝1指示)。二进制旗标的字符串可被称作二进制调色盘预测向量。用于译码当前块的调色盘还可包含数个新调色盘条目，其可被明确地译码(例如，与调色盘预测向量分离地)。还可译码新条目的数目的指示。经预测条目与新条目的总和可指示用于块的总调色盘大小。
如所提议的JCTVC-Q0094，可使用如下文所阐明的三种调色盘模式中的一者来译码运用基于调色盘的视频译码模式而译码的块中的每一样本：
●逸出模式：在此模式中，不将样本值作为调色盘条目而包含到调色盘中，且针对所有色彩分量明确地传信经量化样本值。其相似于新调色盘条目的传信，但对于新调色盘条目，不量化色彩分量值。
●CopyFromTop模式(也被称作CopyAbove模式或复制模式)：在此模式中，从块中位于正上方处的样本复制用于当前样本的调色盘条目索引。
●值模式(也被称作索引模式)：在此模式中，明确地传信调色盘条目索引的值。
在一些实例中，逸出模式不为与CopyAbove模式或索引模式分离的模式。实情为，在这些实例中，逸出模式可包含于复制模式或索引模式中。
如本文中所描述，调色盘条目索引可被称作调色盘索引或简单地称作索引。这些术语可被互换地使用以描述本发明的技术。另外，如下文更详细地所描述，调色盘索引可具有一或多个关联色彩或强度值。举例来说，调色盘索引可具有与像素的单一色彩或强度分量(例如，RGB数据的红色分量、YUV数据的Y分量，或其类似者)相关联的单一关联色彩或强度值。在另一实例中，调色盘索引可具有多个关联色彩或强度值。在一些情况下，可应用基于调色盘的视频译码以译码单色视频。因此，“色彩值”通常可指用以产生像素值的任何色彩或非色彩分量。
对于CopyFromTop模式及值模式，还可传信行程值(其也可被简单地称作行程)。行程值可指示经调色盘译码块中被一起译码的按特定扫描次序的连续样本的数目(例如，样本的行程)。在一些情况下，样本的行程也可被称作调色盘索引的行程，这是因为行程的每一样本具有到一调色盘的一关联索引。
行程值可指示使用相同调色盘译码模式而译码的调色盘索引的行程。举例来说，关于值模式，视频译码器(视频编码器或视频解码器)可译码调色盘索引(也被称作调色盘索引值或简单地称作索引值)，及指示具有相同调色盘索引且正运用调色盘索引而译码的按扫描次序的连续样本的数目的行程值。关于CopyFromTop模式，视频译码器可译码用于当前样本值的索引是基于上方相邻样本(例如，定位于块中当前正被译码的样本上方的样本)的索引被复制的指示，及指示还从上方相邻样本复制调色盘索引且正运用调色盘索引而译码的按扫描次序的连续样本的数目的行程值。因此，在以上实例中，调色盘索引的行程是指具有相同值的调色盘索引的行程或从上方相邻调色盘索引复制的调色盘索引的行程。
因此，对于给定模式，行程可指定属于相同模式的后续样本的数目。在一些情况下，传信索引及行程值可相似于行程长度译码。在出于说明目的的实例中，块的连续调色盘索引的字符串可为0、2、2、2、2、5(例如，其中每一索引对应于块中的一样本)。在此实例中，视频译码器可使用值模式来译码第二样本(例如，为2的第一调色盘索引值)。在译码等于2的索引值之后，视频译码器可译码为3的行程，其指示三个后续样本也具有为2的相同调色盘索引值。以相似方式，在使用CopyFromTop模式来译码索引之后译码四个调色盘索引的行程可指示从当前正被译码的样本位置上方的行中的对应调色盘索引复制总共五个调色盘索引。
本发明中描述的技术可包含用于以下各者中的一或多者的各种组合的技术：传信基于调色盘的视频译码模式；发射调色盘；导出调色盘；传信扫描次序；导出扫描次序；针对视频数据的块中的第一行启用复制模式；及发射基于调色盘的视频译码映像及其它语法元素。在一些实例中，本发明的技术可用以解决JCTVC-Q0094(以及与稿件JCTVC-Q0094一起上传的实施调色盘模式的参考软件)中存在的与调色盘模式、调色盘索引、行程及调色盘大小的传信相关联的潜在冗余。在一些实例中，本发明的技术可尤其用以解决与扫描次序的传信相关联的潜在冗余。在其它实例中，本发明的技术可尤其用以去除扫描次序的不必要传信。在又其它实例中，本发明的技术可尤其针对视频数据的块的第一行启用复制模式，而不管在视频数据的所述块中的所述行正上方无像素。因此，如下文更详细地所描述，在一些情况下，本发明的技术可在使用调色盘模式来译码视频数据时改进效率且改进位速率。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文中所使用，术语“视频译码器”一般地是指视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般地是指视频编码或视频解码。视频译码系统10的视频编码器20及视频解码器30表示可经配置以根据本发明中描述的各种实例而执行用于基于调色盘的视频译码的技术的装置的实例。
如图1所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机上盒、例如所谓的“智能”电话的电话手机、电视、相机、显示装置、数字媒体播放器、视频游戏主控台、车载计算机或其类似者。
目的地装置14可经由信道16而从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，信道16可包括使源装置12能够将经编码视频数据直接实时地发射到目的地装置14的一或多个通信媒体。在此实例中，源装置12可根据通信标准(例如无线通信协议)而调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线。一或多个通信媒体可形成分组网络(例如局域网、广域网或全球网络(例如，因特网)的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可(例如)经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
在另外的实例中，信道16可包含存储由源装置12产生的经编码视频数据的档案服务器或另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载而存取存储于档案服务器或其它中间存储装置处的经编码视频数据。档案服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的服务器类型。实例档案服务器包含网页服务器(例如，用于网站)、档案传输协议(FTP)服务器、网络附接存储(NAS)装置及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如因特网连接)而存取经编码视频数据。数据连接的实例类型可包含适合于存取存储于档案服务器上的经编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等等)或此两者的组合。经编码视频数据从档案服务器的发射可为流式传输发射、下载发射或此两者的组合。
用于基于调色盘的视频译码的本发明的技术并不限于无线应用或设置。所述技术可应用于支持例如以下各者的多种多媒体应用的视频译码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、供存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射来支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
图1所说明的视频译码系统10仅仅为一实例，且本发明的技术可应用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设置(例如，视频编码或视频解码)。在其它实例中，数据是从本地存储器被检索、经由网络被流式传输，或其类似者。视频编码装置可编码数据且将数据存储到存储器，及/或视频解码装置可从存储器检索数据且解码数据。在许多实例中，编码及解码是由彼此不通信但简单地将数据编码到存储器及/或从存储器检索数据且解码数据的装置执行。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调制器(调制解调器)及/或发射器。视频源18可包含视频捕捉装置(例如，视频相机)、含有经先前捕捉视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈送接口，及/或用于产生视频数据的计算机图形系统，或这些视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22而将经编码视频数据直接发射到目的地装置14。在其它实例中，经编码视频数据还可存储到存储媒体或档案服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30，及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16而接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置14外部。一般来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(liquidcrystal display；LCD)、等离子显示器、有机发光二极管(organic light emittingdiode；OLED)显示器，或另一类型的显示装置。
视频编码器20及视频解码器30各自可被实施为多种合适电路系统中的任一者，例如一或多个微处理器、数字信号处理器(digital signal processor；DSP)、专用集成电路(application-specific integrated circuit；ASIC)、现场可编程门阵列(field-programmable gate array；FPGA)、离散逻辑、硬件，或其任何组合。如果部分地以软件来实施技术，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器而以硬件来执行所述指令以执行本发明的技术。可将前述各者(包含硬件、软件、硬件与软件的组合等等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含于一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器(CODEC))的部分。
根据本发明的技术，视频解码器30可经配置以推断用于视频数据的经调色盘模式编码块的像素扫描次序。举例来说，视频解码器30可经配置以在不接收具有表示用于视频数据的经编码块的像素扫描次序的值的块层级语法元素的情况下推断用于视频数据的经编码块的像素扫描次序。作为另一实例，视频解码器30可经配置以不基于具有表示用于视频数据的经编码块的像素扫描次序的值的块层级语法元素而推断用于视频数据的经编码块的像素扫描次序，这是因为块层级语法元素(i)未被发射到视频解码器30、(ii)未由视频解码器30接收，或(iii)由视频解码器30接收，但视频解码器30经配置以在不参考经接收块层级语法元素的情况下推断像素扫描次序。
举例来说，视频解码器30可经配置以接收图片的视频数据的第一经调色盘模式编码块。视频解码器30可经配置以在不接收具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于第一经调色盘模式编码块的像素扫描次序。在另一实例中，视频解码器30可经配置以不基于具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素(是否被接收)而推断用于第一经调色盘模式编码块的像素扫描次序。视频解码器30可经配置以使用经推断像素扫描次序来解码视频数据的第一经调色盘模式编码块。
在一些实例中，视频解码器30可经配置以接收图片的视频数据的第二经调色盘模式编码块。在这些实例中，视频解码器30可经配置以接收具有表示用于视频数据的第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。视频解码器30可经配置以基于经接收块层级语法元素而确定用于视频数据的第二经调色盘模式编码块的像素扫描次序。视频解码器30可经配置以使用经确定像素扫描次序来解码视频数据的第二经调色盘模式编码块。
在根据本发明的技术的另一实例中，视频编码器20可经配置以确定是否传信用于视频数据的块的扫描次序。视频编码器20可经配置以基于此确定而传信或不传信用于视频数据的块的扫描次序。举例来说，确定是否传信扫描次序可基于视频数据的块的调色盘大小。
举例来说，视频编码器20可经配置以确定视频数据的块待使用调色盘模式予以编码。视频编码器20可经配置以确定用于视频数据的块的调色盘大小。视频编码器20可经配置以确定用于视频数据的块的像素扫描次序。视频编码器20可经配置以使用调色盘模式来编码视频数据的块。视频编码器20可经配置以基于调色盘大小而确定是否传信表示用于视频数据的块的像素扫描次序的第一块层级语法元素。
本发明通常可指视频编码器20将某一信息“传信”或“发射”到另一装置，例如视频解码器30。术语“传信”或“发射”通常可指用以解码经压缩视频数据的语法元素及/或其它数据的传达。此传达可实时地或近实时地发生。替代地，此传达可遍及一时间跨度而发生，例如可能在编码时间在经编码位流中将语法元素存储到计算机可读存储媒体时发生，所述语法元素接着可在存储到此媒体之后的任何时间由解码装置检索。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准(例如上文所提及且描述于HEVC草案10中的HEVC标准)而操作。除了基本HEVC标准以外，还存在正在进行中的努力来产生用于HEVC的可缩放视频译码、多视图视频译码及3D译码扩展。另外，基于调色盘的视频译码模式(例如，如本发明中所描述)可经提供用于HEVC标准的扩展。在一些实例中，用于基于调色盘的视频译码的本发明中描述的技术可应用于经配置以根据其它视频译码标准(例如ITU-T-H.264/AVC标准或未来标准)而操作的编码器及解码器。因此，HEVC编解码器中用于译码单元(CU)或预测单元(PU)的译码的基于调色盘的视频译码模式的应用是出于实例目的而被描述。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，被表示为SL、SCb及SCr。SL为亮度样本的二维阵列(即，块)。SCb为Cb色度样本的二维阵列。SCr为Cr色度样本的二维阵列。色度(Chrominance)样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。
为了产生图片的经编码表示，视频编码器20可产生译码树型单元(coding treeunit；CTU)的集合。所述CTU中的每一者可为亮度样本的一译码树型块、色度样本的两个对应译码树型块，及用以译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。CTU也可被称作“树型块”或“最大译码单元”(largest coding unit；LCU)。HEVC的CTU可大致地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续地排序的整数数目个CTU。
为了产生经译码CTU，视频编码器20可对CTU的译码树型块递归地执行四叉树分割以将译码树型块划分成译码块，因此，名称为“译码树型单元”。译码块为样本的N×N块。CU可为具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的一译码块及色度样本的两个对应译码块，及用以译码所述译码块的样本的语法结构。视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为图片的亮度样本的一预测块、色度样本的两个对应预测块，及用以预测所述预测块样本的语法结构。视频编码器20可产生用于CU的每一PU的亮度、Cb及Cr预测块的预测性亮度、Cb及Cr块。
视频编码器20可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器20使用帧内预测以产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本而产生PU的预测性块。
如果视频编码器20使用帧间预测以产生PU的预测性块，那么视频编码器20可基于除了与PU相关联的图片以外的一或多个图片的经解码样本而产生PU的预测性块。视频编码器20可使用单向预测或双向预测以产生PU的预测性块。当视频编码器20使用单向预测以产生用于PU的预测性块时，PU可具有单一运动向量(MV)。当视频编码器20使用双向预测以产生用于PU的预测性块时，PU可具有两个MV。
在视频编码器20产生用于CU的一或多个PU的预测性亮度、Cb及Cr块之后，视频编码器20可产生用于CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生用于CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。
此外，视频编码器20可使用四叉树分割以将CU的亮度、Cb及Cr残差块分解成一或多个亮度、Cb及Cr变换块。变换块可为被应用相同变换的样本的矩形块。CU的变换单元(TU)可为亮度样本的一变换块、色度样本的两个对应变换块，及用以变换所述变换块样本的语法结构。因此，CU的每一TU可与一亮度变换块、一Cb变换块及一Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。
视频编码器20可将一或多个变换应用于TU的亮度变换块以产生用于TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生用于TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生用于TU的Cr系数块。
在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指如下过程：量化变换系数以可能地缩减用以表示变换系数的数据的量，从而提供进一步压缩。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(Context-Adaptive Binary Arithmetic Coding；CABAC)。视频编码器20可在位流中输出经熵编码语法元素。
视频编码器20可输出包含经熵编码语法元素的位流。位流可包含形成经译码图片及关联数据的表示的位序列。位流可包括网络抽象层(network abstraction layer；NAL)单元序列。NAL单元中的每一者包含一NAL单元标头，且封装一原始字节序列有效载荷(rawbyte sequence payload；RBSP)。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装于NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零位。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装用于图片参数集(picture parameter set；PPS)的RBSP，第二类型的NAL单元可封装用于经译码切片的RBSP，第三类型的NAL单元可封装用于SEI的RBSP，等等。封装用于视频译码数据的RBSP(相对于用于参数集及SEI消息的RBSP)的NAL单元可被称作视频译码层(videocoding layer；VCL)NAL单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析位流以从位流解码语法元素。视频解码器30可至少部分地基于从位流解码的语法元素而重新构建视频数据的图片。用以重新构建视频数据的过程可与由视频编码器20执行的过程大体上互逆。举例来说，视频解码器30可使用PU的MV以确定用于当前CU的PU的预测性块。另外，视频解码器30可反量化与当前CU的TU相关联的变换系数块。视频解码器30可对变换系数块执行反变换以重新构建与当前CU的TU相关联的变换块。视频解码器30可通过将用于当前CU的PU的预测性块的样本加到当前CU的TU的变换块的对应样本而重新构建当前CU的译码块。通过重新构建用于图片的每一CU的译码块，视频解码器30可重新构建图片。
在一些实例中，视频编码器20及视频解码器30可经配置以执行基于调色盘的视频译码。举例来说，在基于调色盘的视频译码中，视频编码器20及视频解码器30可译码所谓的调色盘作为用于表示特定区域(例如，给定块)的视频数据的色彩表，而非执行上文所描述的帧内预测性或帧间预测性译码技术。每一像素可与调色盘中表示所述像素的色彩的条目相关联。举例来说，视频编码器20及视频解码器30可译码使像素值与调色盘中的适当值相关的索引。
在基于调色盘的视频译码的实例中，视频编码器20可通过以下操作而编码视频数据的块：确定用于块的调色盘；定位调色盘中的条目以表示每一像素的值；及运用用于像素的使像素值与调色盘相关的索引值来编码调色盘。视频解码器30可从经编码位流获得用于块的调色盘，以及用于块的像素的索引值。视频解码器30可使像素的索引值与调色盘的条目相关以重新构建块的像素值。
在本发明的一些实例中，视频编码器20可编码指示具有相同像素值的按给定扫描次序的连续像素的数目的一或多个语法元素。具有类似值的像素值的字符串可在本文中被称作“行程”。在出于说明目的的实例中，如果按给定扫描次序的两个连续像素具有不同值，那么行程等于0。如果按给定扫描次序的两个连续像素具有相同值，但按所述扫描次序的第三像素具有不同值，那么行程等于1。视频解码器30可从经编码位流获得指示行程的语法元素，且使用数据以确定具有相同索引值的连续像素位置的数目。
在本发明的一些实例中，视频编码器20及视频解码器30可执行用于映像的一或多个条目的线复制(line copying)。举例来说，视频编码器20可指示用于映像中的特定条目的像素值等于所述特定条目上方的线中的条目。视频编码器20还可将等于特定条目上方的线中的条目的按扫描次序的索引的数目指示为行程。在此实例中，视频编码器20及或视频解码器30可从所指定相邻线及从用于当前正被译码的映像的线的所指定数目个条目复制索引值。
已作出若干提议以使基于HEVC的编解码器更具并行亲和性，包含图块(tile)及波前并行处理(wavefront parallel processing；WPP)。HEVC WD10将图块定义为在图块的译码树型块光栅扫描中连续地排序的以一个列及一个行同现的整数数目个译码树型块。将每一图片划分成图块为分割。可针对整个序列来定义或从图片到图片来改变图块的数目及图块的边界的位置。相似于切片边界，图块边界断开剖析及预测相依性，使得图块可被独立地处理，但环路内滤波器(解块及样本自适应偏移(sample adaptive offset；SAO))仍可跨越图块边界。HEVC WD10还指定对切片与图块之间的关系的一些约束。
根据本发明的方面，视频编码器20及视频解码器30可执行本文中所描述(例如关于以下图4到11)的用于调色盘模式译码的技术的任何组合。
图2为说明可实施本发明的技术的实例视频编码器20的框图。图2是出于解释目的而提供，且不应被视为限制如本发明中大致地例示及描述的技术。出于解释目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
视频编码器20表示可经配置以根据本发明中描述的各种实例而执行用于基于调色盘的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色盘的视频译码或非基于调色盘的视频译码而选择性地译码视频数据的各种块，例如HEVC译码中的CU或PU。非基于调色盘的视频译码模式可指各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。在一个实例中，视频编码器20可经配置以产生具有指示像素值的条目的调色盘，选择调色盘中的像素值以表示视频数据的块中的至少一些像素位置的像素值，及传信使视频数据的块中的像素位置中的至少一些与分别对应于调色盘中的选定像素值的调色盘中的条目相关联的信息。经传信信息可由视频解码器30使用以解码视频数据。
在图2的实例中，视频编码器20包含块编码单元100、视频数据存储器101、残差产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重新构建单元112、滤波器单元114、经解码图片缓冲器116，及熵编码单元118。块编码单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未图示)。视频编码器20还包含基于调色盘的编码单元122，其经配置以执行本发明中描述的基于调色盘的视频译码技术的各种方面。在其它实例中，视频编码器20可包含较多、较少或不同功能组件。
视频数据存储器101可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储于视频数据存储器101中的视频数据。经解码图片缓冲器(DPB)116可为参考图片存储器，其存储参考视频数据以供视频编码器20用来编码视频数据，例如，在帧内或帧间译码模式中。视频数据存储器101及经解码图片缓冲器116可由例如以下各者的多种存储器装置中的任一者形成：动态随机存取存储器(dynamic random access memory；DRAM)，包含同步DRAM(synchronous DRAM；SDRAM))；磁阻式RAM(magnetoresistive RAM；MRAM)；电阻式RAM(resistive RAM；RRAM)；或其它类型的存储器装置。视频数据存储器101及经解码图片缓冲器116可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的亮度译码树型块(CTB)及图片的对应CTB相关联。作为编码CTU的部分，块编码单元100可执行四叉树分割以将CTU的CTB划分成逐渐较小的块。较小块可为CU的译码块。举例来说，块编码单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将子块中的一或多者分割成四个相等大小的子子块，等等。
视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，块编码单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与一亮度预测块及对应色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假设特定CU的大小为2N×2N，则视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或其相似者的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于CU的PU在I切片、P切片抑或B切片中，帧间预测单元121可针对PU执行不同操作。在I切片中，所有PU被帧内预测。因此，如果PU在I切片中，那么帧间预测单元121不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测而由同一帧内的经先前编码相邻块形成。
如果PU在P切片中，那么帧间预测处理单元120的运动估计单元可针对用于PU的参考区搜寻参考图片列表(例如，“RefPicList0”)中的参考图片。用于PU的参考区可为参考图片内的含有最紧密地对应于PU的样本块的样本块的区。运动估计单元可产生指示含有用于PU的参考区的参考图片的RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与相关联于参考区的参考位置之间的空间位移的MV。举例来说，MV可为提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可输出参考索引及MV作为PU的运动信息。帧间预测处理单元120的运动补偿单元可基于由PU的运动向量指示的参考位置处的实际或经内插样本而产生PU的预测性块。
如果PU在B切片中，那么运动估计单元可针对PU执行单向预测或双向预测。为了针对PU执行单向预测，运动估计单元可搜寻RefPicList0的参考图片，或用于PU的参考区的第二参考图片列表(“RefPicList1”)。运动估计单元可输出以下各者作为PU的运动信息：指示含有参考区的参考图片的RefPicList0或RefPicList1中的位置的参考索引、指示PU的预测块与相关联于参考区的参考位置之间的空间位移的MV，及指示参考图片在RefPicList0抑或RefPicList1中的一或多个预测方向指示符。帧间预测处理单元120的运动补偿单元可至少部分地基于由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
为了针对PU执行双向帧间预测，运动估计单元可在用于PU的参考区的RefPicList0中搜寻参考图片，且还可在用于PU的另一参考区的RefPicList1中搜寻参考图片。运动估计单元可产生指示含有参考区的参考图片的RefPicList0及RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示相关联于参考区的参考位置与PU的样本块之间的空间位移的MV。PU的运动信息可包含参考索引及PU的MV。运动补偿单元可至少部分地基于由PU的运动向量指示的参考区处的实际或经内插样本而产生PU的预测性块。
根据本发明的各种实例，视频编码器20可经配置以执行基于调色盘的视频译码。关于HEVC架构，作为实例，基于调色盘的视频译码技术可经配置以用于CU层级处。在其它实例中，基于调色盘的视频译码技术可经配置以用于PU层级处。在其它实例中，基于调色盘的视频译码技术可经配置以用于子预测单元(子PU)层级(例如，预测单元的子块)处。因此，另外或替代地，本文中(贯穿本发明)在CU层级的上下文中所描述的所有所揭示过程可应用于PU层级或子PU层级。然而，这些基于HEVC的实例不应被视为限定或限制本文中所描述的基于调色盘的视频译码技术，这是因为这些技术可适用于独立地工作或作为其它现有或尚待开发的系统/标准的部分而工作。在这些状况下，用于调色盘译码的单元可为正方形块、矩形块或甚至为非矩形形状的区。
举例来说，当选择基于调色盘的编码模式(例如，针对CU或PU)时，基于调色盘的编码单元122可执行基于调色盘的编码。举例来说，基于调色盘的编码单元122可经配置以产生具有指示像素值的条目的调色盘，选择调色盘中的像素值以表示视频数据的块的至少一些位置的像素值，及传信使视频数据的块的位置中的至少一些与分别对应于选定像素值的调色盘中的条目相关联的信息。尽管各种功能被描述为由基于调色盘的编码单元122执行，但这些功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
根据本发明的方面，基于调色盘的编码单元122可经配置以执行本文中所描述(例如关于以下图4到11)的用于调色盘译码的技术的任何组合。
举例来说，基于调色盘的编码单元122可经配置以确定是否传信用于视频数据的块的扫描次序。基于调色盘的编码单元122可经配置以基于此确定而传信或不传信用于视频数据的块的扫描次序。举例来说，确定是否传信扫描次序可基于视频数据的块的调色盘大小。
举例来说，基于调色盘的编码单元122可经配置以确定视频数据的块待使用调色盘模式予以编码。基于调色盘的编码单元122可经配置以确定用于视频数据的块的调色盘大小。基于调色盘的编码单元122可经配置以确定用于视频数据的块的像素扫描次序。基于调色盘的编码单元122可经配置以使用调色盘模式来编码视频数据的块。基于调色盘的编码单元122可经配置以基于调色盘大小而确定是否传信表示用于视频数据的块的像素扫描次序的第一块层级语法元素。
作为另一实例，根据本发明的方面，基于调色盘的编码单元122可经配置以使用复制模式来编码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素，其中像素的多个行中的其它行不在第一行上方。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含用于PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式以产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。在针对PU、CU及CTU假设从左到右从上而下的编码次序的情况下，相邻PU可在PU上方、右上方、左上方或左侧。帧内预测处理单元126可使用各种数目个帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区的大小。
块编码单元100可从由帧间预测处理单元120针对CU的PU所产生的预测性数据或由帧内预测处理单元126针对所述PU所产生的预测性数据当中选择用于所述PU的预测性数据。在一些实例中，块编码单元100基于预测性数据的集合的速率/失真度量而选择用于CU的PU的预测性数据。选定预测性数据的预测性块可在本文中被称作选定预测性块。
残差产生单元102可基于CU的亮度、Cb及Cr译码块以及CU的PU的选定预测性亮度、Cb及Cr块而产生CU的亮度、Cb及Cr残差块。举例来说，残差产生单元102可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此，TU可与一亮度变换块及两个色度变换块相关联。CU的TU的亮度及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与区中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。
变换处理单元104可通过将一或多个变换应用于TU的变换块而产生用于CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(discrete cosine transform；DCT)、定向变换或概念上相似变换应用于变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在这些实例中，变换块可被视为变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可缩减与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间被向下舍入为m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值而量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值而调整应用于与CU相关联的系数块的量化程度。量化可引入信息遗失，因此，经量化变换系数相比于原始变换系数可具有较低精确度。
反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重新构建残差块。重新构建单元112可将经重新构建残差块加到来自由块编码单元100产生的一或多个预测性块的对应样本以产生与TU相关联的经重新构建变换块。通过以此方式重新构建用于CU的每一TU的变换块，视频编码器20可重新构建CU的译码块。
滤波器单元114可执行一或多个解块操作以缩减与CU相关联的译码块中的块假象(blocking artifact)。滤波器单元114可执行其它滤波操作，包含样本自适应偏移(SAO)滤波及/或自适应环路滤波(adaptive loop filtering；ALF)。在滤波器单元114对经重新构建译码块执行一或多个解块操作之后，经解码图片缓冲器116可存储经重新构建译码块。帧间预测处理单元120可使用含有经重新构建译码块的参考图片以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重新构建译码块以对与CU处于同一图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，且可从块编码单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行上下文自适应可变长度译码(context-adaptive variable length coding；CAVLC)操作、CABAC操作、可变到可变(variable-to-variable；V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(Probability IntervalPartitioning Entropy；PIPE)译码操作、指数-哥伦布(Exponential-Golomb)编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
根据本发明的方面，熵编码单元118可经配置以使用如本文中关于本发明的各种图(例如图1)所描述的第k阶截断指数-哥伦布(kth order truncated Exponential-Golomb；TEGk)码来译码调色盘数据。具体地说，根据本发明的方面，熵编码单元118可编码指示视频数据的经编码块的像素的第一行中的至少一个像素是使用复制模式予以编码的数据。在一些实例中，熵编码单元118可使用TEGk码来编码第一行复制模式启用数据。
图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。图3是出于解释目的而被提供，且并不限制如本发明中大致地例示及描述的技术。出于解释目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
视频编码器20表示可经配置以根据本发明中描述的各种实例而执行用于基于调色盘的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色盘的视频译码或非基于调色盘的视频译码而选择性地解码视频数据的各种块，例如HEVC译码中的CU或PU。非基于调色盘的视频译码模式可指各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC草案10指定的各种译码模式。在一个实例中，视频解码器30可经配置以产生具有指示像素值的条目的调色盘，接收使视频数据的块中的至少一些像素位置与调色盘中的条目相关联的信息，基于信息而选择调色盘中的像素值，及基于调色盘中的选定像素值而重新构建块的像素值。
在图3的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、块解码单元152、反量化单元154、反变换处理单元156、重新构建单元158、滤波器单元160及经解码图片缓冲器162。块解码单元152包含运动补偿单元164及帧内预测处理单元166。视频解码器30还包含基于调色盘的解码单元165，其经配置以执行本发明中描述的基于调色盘的视频译码技术的各种方面。在其它实例中，视频解码器30可包含较多、较少或不同功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)从信道16(例如，从本本地视频源，例如相机)、经由视频数据的有线或无线网络通信或通过存取物理数据存储媒体而获得存储于视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(coded picture buffer；CPB)。经解码图片缓冲器162可为存储供视频解码器30用来解码视频数据(例如，在帧内译码或帧间译码模式中)的参考视频数据的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由例如以下各者的多种存储器装置中的任一者形成：动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)；磁阻式RAM(MRAM)；电阻式RAM(RRAM)；或其它类型的存储器装置。视频数据存储器151及经解码图片缓冲器162可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
经译码图片缓冲器(CPB)可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从CPB接收经编码视频数据(例如，NAL单元)且剖析NAL单元以解码语法元素。熵解码单元150可熵解码NAL单元中的经熵编码语法元素。
根据本发明的方面，熵解码单元150可经配置以使用TEGk码来解码调色盘数据，如上文关于图1的实例所描述。具体地说，根据本发明的方面，熵解码单元150可解码指示视频数据的经编码块的像素的第一行中的至少一个像素是使用复制模式予以编码的数据。在一些实例中，熵解码单元150可使用TEGk码来解码第一行复制模式启用数据。
块解码单元152、反量化单元154、反变换处理单元156、重新构建单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的部分，熵解码单元150可提取及熵解码来自经译码切片NAL单元的语法元素。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了解码来自位流的语法元素以外，视频解码器30还可对未经分割CU执行重新构建操作。为了对未经分割CU执行重新构建操作，视频解码器30可对CU的每一TU执行重新构建操作。通过针对CU的每一TU执行重新构建操作，视频解码器30可重新构建CU的残差块。
作为对CU之的TU执行重新构建操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值以确定量化程度且同样地确定反量化单元154将应用的反量化程度。即，可通过调整在量化变换系数时使用的QP的值而控制压缩比率，即，用以表示原始序列的位的数目与用以表示经压缩序列的位的数目的比率。压缩比率还可取决于所使用的熵译码方法。
在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块以便产生与TU相关联的残差块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡忽南-拉维变换(Karhunen-Loeve transform；KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测来编码PU，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于空间上相邻PU的预测块而产生用于PU的预测性亮度、Cb及Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素而确定用于PU的帧内预测模式。
块解码单元152可基于从位流提取的语法元素而构建第一参考图片列表(RefPicList0)及第二参考图片列表(RefPicList1)。此外，如果使用帧间预测来编码PU，那么熵解码单元150可提取用于PU的运动信息。运动补偿单元164可基于PU的运动信息而确定用于PU的一或多个参考区。运动补偿单元164可基于用于PU的一或多个参考块处的样本块而产生用于PU的预测性亮度、Cb及Cr块。
重新构建单元158可在适用时使用与CU的TU相关联的亮度、Cb及Cr变换块以及CU的PU的预测性亮度、Cb及Cr块(即，帧内预测数据或帧间预测数据)以重新构建CU之的亮度、Cb及Cr译码块。举例来说，重新构建单元158可将亮度、Cb及Cr变换块之样本加到预测性亮度、Cb及Cr块的对应样本以重新构建CU的亮度、Cb及Cr译码块。
滤波器单元160可执行解块操作以缩减与CU的亮度、Cb及Cr译码块相关联的块假象。滤波器单元160可执行其它滤波操作，包含样本自适应偏移(SAO)滤波及/或自适应环路滤波(ALF)。视频解码器30可在经解码图片缓冲器162中存储CU的亮度、Cb及Cr译码块。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及呈现于显示装置(例如图1的显示装置32)上。举例来说，视频解码器30可基于经解码图片缓冲器162中的亮度、Cb及Cr块而对其它CU的PU执行帧内预测或帧间预测操作。
根据本发明的各种实例，视频解码器30可经配置以执行基于调色盘的视频译码。举例来说，当选择基于调色盘的解码模式(例如，用于CU或PU)时，基于调色盘的解码单元165可执行基于调色盘的解码。举例来说，基于调色盘的解码单元165可经配置以产生具有指示像素值的条目的调色盘，接收使视频数据的块中的至少一些像素位置与调色盘中的条目相关联的信息，基于信息而选择调色盘中的像素值，及基于调色盘中的选定像素值而重新构建块的像素值。尽管各种功能被描述为由基于调色盘的解码单元165执行，但这些功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
基于调色盘的解码单元165可接收调色盘译码模式信息，且在调色盘译码模式信息指示调色盘译码模式应用于块时执行以上操作。当调色盘译码模式信息指示调色盘译码模式未应用于块时，或当其它模式信息指示不同模式的使用时，视频解码器30可使用非基于调色盘的视频译码模式(例如，此HEVC帧间预测性或帧内预测性译码模式)来解码视频数据的块。视频数据的块可为(例如)根据HEVC译码过程而产生的CU或PU。
根据本发明的方面，基于调色盘的解码单元165可经配置以执行本文中所描述的用于调色盘译码的技术的任何组合。
根据本发明的技术，基于调色盘的解码单元165可经配置以推断用于视频数据的经调色盘模式编码块的像素扫描次序。举例来说，基于调色盘的解码单元165可经配置以在不接收具有表示用于视频数据的经编码块的像素扫描次序的值的块层级语法元素的情况下推断用于视频数据的经编码块的像素扫描次序。作为另一实例，基于调色盘的解码单元165可经配置以不基于具有表示用于视频数据的经编码块的像素扫描次序的值的块层级语法元素而推断用于视频数据的经编码块的像素扫描次序，这是因为块层级语法元素(i)未被发射到基于调色盘的解码单元165、(ii)未由基于调色盘的解码单元165接收，或(iii)由基于调色盘的解码单元165接收，但基于调色盘的解码单元165经配置以在不参考经接收块层级语法元素的情况下推断像素扫描次序。
举例来说，基于调色盘的解码单元165可经配置以接收图片的视频数据的第一经调色盘模式编码块。基于调色盘的解码单元165可经配置以在不接收具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于第一经调色盘模式编码块的像素扫描次序。在另一实例中，基于调色盘的解码单元165可经配置以不基于具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素(是否被接收)而推断用于第一经调色盘模式编码块的像素扫描次序。基于调色盘的解码单元165可经配置以使用经推断像素扫描次序来解码视频数据的第一经调色盘模式编码块。
在一些实例中，基于调色盘的解码单元165可经配置以接收图片的视频数据的第二经调色盘模式编码块。在这些实例中，基于调色盘的解码单元165可经配置以接收具有表示用于视频数据的第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。基于调色盘的解码单元165可经配置以基于经接收块层级语法元素而确定用于视频数据的第二经调色盘模式编码块的像素扫描次序。基于调色盘的解码单元165可经配置以使用经确定像素扫描次序来解码视频数据的第二经调色盘模式编码块。
作为另一实例，根据本发明的方面，基于调色盘的解码单元165可经配置以使用复制模式来解码视频数据的经调色盘模式编码块的像素的第一行中的至少一个像素，其中像素的多个行中的其它行不在第一行上方。
图4为说明根据本发明的技术的确定用于译码视频数据的调色盘的实例的概念图。图4的实例包含具有与第一调色盘184相关联的第一经调色盘译码(PAL)译码单元(CU)180及与第二调色盘192相关联的第二PAL CU 188的图片178。如下文更详细地所描述且根据本发明的技术，第二调色盘192是基于第一调色盘184。图片178还包含运用帧内预测译码模式而译码的块196及运用帧间预测译码模式而译码的块200。
出于解释目的而在视频编码器20(图1及图2)及视频解码器30(图1及图3)的上下文中且关于HEVC视频译码标准描述图4的技术。然而，应理解，本发明的技术并不以此方式受到限制，且可由其它视频译码处理器及/或装置应用于其它视频译码过程及/或标准中。
一般来说，调色盘是指对于当前正被译码的CU(在图4的实例中为CU 188)为主要的及/或代表性的数个像素值。第一调色盘184及第二调色盘192被展示为包含多个调色盘。在一些实例中，根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可针对CU的每一色彩分量分离地译码调色盘。举例来说，视频编码器20可编码用于CU的亮度(Y)分量的调色盘、用于CU的色度(U)分量的另一调色盘，及用于CU的色度(V)分量的又一调色盘。在此实例中，Y调色盘的条目可表示CU的像素的Y值，U调色盘的条目可表示CU的像素的U值，且V调色盘的条目可表示CU的像素的V值。
在其它实例中，视频编码器20可编码用于CU的全部色彩分量的单一调色盘。在此实例中，视频编码器20可编码具有为三重值(包含Yi、Ui及Vi)的第i条目的调色盘。在此状况下，调色盘包含用于像素的分量中的每一者的值。因此，将调色盘184及192表示为具有多个个别调色盘的调色盘集合仅仅为一个实例且不意图为限制性的。
在图4的实例中，第一调色盘184包含分别具有条目索引值1、条目索引值2及条目索引值3的三个条目202到206。条目202到206分别使索引值与包含像素值A、像素值B及像素值C的像素值相关。如本文中所描述，视频译码器(例如视频编码器20或视频解码器30)可使用基于调色盘的视频译码以使用索引1到3来译码块的像素，而非译码第一CU 180的实际像素值。即，对于第一CU 180的每一像素位置，视频编码器20可编码用于像素的索引值，其中索引值是与第一调色盘184中的一或多者中的像素值相关联。视频解码器30可从位流获得索引值，且使用索引值及第一调色盘184中的一或多者来重新构建像素值。因此，第一调色盘184是由视频编码器20在经编码视频数据位流中发射以供视频解码器30用于基于调色盘的解码。
在一些实例中，视频编码器20及视频解码器30可基于第一调色盘184而确定第二调色盘192。举例来说，视频编码器20及/或视频解码器30可定位供确定预测性调色盘(在此实例中，第一调色盘184)的一或多个块。用于预测目的的条目的组合可被称作预测符调色盘。
在图4的实例中，第二调色盘192包含分别具有条目索引值1、条目索引值2及条目索引值3的三个条目208到212。条目208到212分别使索引值与包含像素值A、像素值B及像素值D的像素值相关。在此实例中，视频编码器20可译码指示第一调色盘184的哪些条目(表示预测符调色盘，但预测符调色盘可包含数个块的条目)包含于第二调色盘192中的一或多个语法元素。
在图4的实例中，一或多个语法元素被说明为向量216。向量216具有数个关联二进制数(或位)，其中每一二进制数指示与所述二进制数相关联的预测符调色盘是否用以预测当前调色盘的条目。举例来说，向量216指示第一调色盘184的前两个条目(202及204)包含于第二调色盘192中(向量216中为“1”的值)，而第一调色盘184的第三条目不包含于第二调色盘192中(向量216中为“0”的值)。在图4的实例中，向量为布林(Boolean)向量。向量可被称作调色盘预测向量。
在一些实例中，如本文中所提到，视频编码器20及视频解码器30可在执行调色盘预测时确定预测符调色盘(其也可被称作预测符调色盘表或预测符调色盘列表)。预测符调色盘可包含来自用以预测用于译码当前块的调色盘的一或多个条目的一或多个相邻块的调色盘的条目。视频编码器20及视频解码器30可以相同方式来构建列表。视频编码器20及视频解码器30可译码数据(例如向量216)以指示预测符调色盘的哪些条目待复制到用于译码当前块的调色盘。
因此，在一些实例中，经先前解码调色盘条目存储于供用作调色盘预测符的列表中。此列表可用以预测当前调色盘模式CU中的调色盘条目。二进制预测向量可在位流中被传信以指示列表中的哪些条目重新用于当前调色盘中。在2014年6月27日申请的美国临时申请案第62/018,461号中，行程长度译码用以压缩二进制调色盘预测符。在一实例中，使用第0阶指数-哥伦布码来译码行程长度值。
根据本发明的方面，在一些实例中，视频编码器20及视频解码器30(例如，熵编码单元118及熵解码单元150)可经配置以使用第k阶截断指数-哥伦布(TEGk)码来译码(例如，分别为编码及解码)用于块的调色盘的二进制调色盘预测向量，如上文关于图1的实例所描述。
在一些情况下，视频编码器20及视频解码器30可经配置以结合描述于Seregin等人的“非SCCE3：用于调色盘预测符的行程长度译码(Non-SCCE3:Run-Length Coding forPalette Predictor)”(2014年6月30日到7月9日，日本札幌(Sapporo)，JCTVC-R0228(在下文中为JCTVC-R0228))的标准提交文件中的技术而使用TEGk码来译码二进制调色盘预测向量。在JCTVC-R0228中，行程长度译码用以运用以下条件及步骤来译码二进制向量中的零元素：
■等于1的行程长度值指示预测的结束
■不针对二进制向量中的最后1来传信预测的结束
■针对二进制向量中的每一1来译码前述零元素的数目
■如果零元素的数目大于0，那么归因于为1的逸出值而传信所述数目加1
■使用第0阶指数哥伦布码来译码行程长度值
在出于说明目的的实例中，二进制调色盘预测向量可等于{1100100010000}，其指示调色盘预测符的四个条目(由四个1指示)被复制到用于译码当前块的调色盘。在此实例中，视频编码器20及视频解码器30可将向量译码为0-0-3-4-1。
根据本发明的方面，视频编码器20及视频解码器30可针对二进制调色盘预测向量使用最大行程值X(其可等于调色盘预测符列表中的调色盘条目的数目减扫描次序中的当前位置减1)来译码所述向量。根据一个实例，视频编码器20及视频解码器30使用TEG0码以用于译码行程值。
图5为说明根据本发明的技术的确定到用于像素的块的调色盘的索引的实例的概念图。举例来说，图5包含调色盘索引的映像240，调色盘索引使与调色盘索引相关联的像素的相应位置与调色盘244的条目相关。
举例来说，索引1是与值A相关联，索引2是与值B相关联，且索引3是与值C相关联。另外，当使用隐含逸出传信来指示逸出样本时，视频编码器20及视频解码器30还可将额外索引(在图5中被说明为索引4)添加到调色盘244，索引4可指示与索引4相关联的映像240的样本为逸出样本。在此状况下，如果用于映像240中的位置的实际像素值不包含于调色盘244中，那么视频编码器20可编码(且视频解码器30可从经编码位流获得)所述像素值(或其经量化版本)的指示。
在一些实例中，视频编码器20及视频解码器30可经配置以译码指示哪些像素位置为关联调色盘索引的额外映像。举例来说，假设映像中的(i,j)条目对应于CU的(i,j)位置。视频编码器20可针对映像的每一条目(即，每一像素位置)编码一或多个语法元素，其指示条目是否具有关联索引值。举例来说，视频编码器20可编码具有为1的值的旗标以指示CU中的(i,j)位置处的像素值为调色盘244中的值中的一者。
在此实例中，视频编码器20还可编码调色盘索引(在图5的实例中被展示为值1到3)以指示调色盘中的所述像素值且允许视频解码器重新构建所述像素值。在调色盘244包含单一条目及关联像素值的情况下，视频编码器20可跳过索引值的传信。视频编码器20可将旗标编码为具有为0的值以指示CU中的(i,j)位置处的像素值不为调色盘244中的值中的一者。在此实例中，视频编码器20还可编码像素值的指示以供视频解码器30用来重新构建像素值。在一些情况下，可以有损方式来译码像素值。
CU的一个位置中的像素的值可提供CU的其它位置中的一或多个其它像素的值的指示。举例来说，可存在CU的相邻像素位置将具有相同像素值或可映射到相同索引值(在有损译码的状况下，其中一个以上像素值可映射到单一索引值)的相对高概率。
因此，视频编码器20可编码指示具有相同像素值或索引值的按给定扫描次序的连续像素或索引值的数目的一或多个语法元素。如上文所提到，具有类似值的像素或索引值的字符串可在本文中被称作行程。在出于说明目的的实例中，如果按给定扫描次序的两个连续像素或索引具有不同值，那么行程等于0。如果按给定扫描次序的两个连续像素或索引具有相同值，但按所述扫描次序的第三像素或索引具有不同值，那么行程等于1。对于具有相同值的三个连续索引或像素，行程为2，等等。视频解码器30可从经编码位流获得指示行程的语法元素，且使用数据以确定具有相同像素或索引值的连续位置的数目。
如上文所提到，可结合CopyFromTop或值模式而使用行程。在出于说明目的的实例中，考虑映像240的行264及268。在假设水平的从左到右的扫描方向的情况下，行264包含为“1”的三个调色盘索引、为“2”的两个调色盘索引，及为“3”的三个调色盘索引。行268包含为“1”的五个调色盘索引、为“3”的两个调色盘索引，及不包含于调色盘244中的一个样本(由索引4表示，但样本层级逸出旗标可用于明确逸出传信)，其可被称作逸出样本。
在此实例中，视频编码器20可使用CopyFromTop模式以编码用于行268的数据。举例来说，视频编码器20可编码指示行268的第一位置(行268的最左侧位置)相同于行264的第一位置的一或多个语法元素。视频编码器20还可编码指示在行268中的扫描方向上的两个连续条目的下一行程相同于行264的第一位置的一或多个语法元素。
在编码指示行264的第一位置及两个条目的行程的一或多个语法元素(上文所提到)之后，视频编码器20可使用值模式来编码行268中的第四及第五位置(从左到右)。举例来说，视频编码器20可编码针对第四位置指示为1的值的一或多个语法元素，及指示为1的行程(例如，值模式)的一或多个语法元素。因此，视频编码器20在不参考另一线的情况下编码此两个位置。
视频编码器20可接着使用相对于上部行264的CopyFromTop模式来编码行268中具有为3的索引值的第一位置。举例来说，视频编码器20可传信CopyFromTop模式及为1的行程。因此，视频编码器20可在如下各者之间进行选择：译码一线的像素值或调色盘索引相对于所述线的其它值，例如，使用行程；译码像素值或一线的像素值相对于另一线(或列)的值；或其组合。在一些实例中，视频编码器20可执行速率/失真优化以作出选择。
视频编码器20可接着根据扫描次序(例如，从左到右)而编码用于行268的最终样本的逸出样本，其不包含于第一调色盘244中。举例来说，视频编码器20可将行268的最终位置编码为逸出样本。即，视频编码器20可编码行268的最终位置为逸出样本(例如，索引4)的指示，以及样本值的指示。视频解码器30可从经编码位流获得上述语法且使用此语法来重新构建列268。
视频解码器30可接收上文所描述的语法元素且重新构建行268。举例来说，视频解码器30可获得指示相邻行中的特定位置的数据，从所述行将复制用于当前正被译码的映像240的位置的关联索引值。视频解码器30还可获得指示具有相同索引值的按扫描次序的连续位置的数目的数据。虽然关于水平扫描次序进行描述，但本发明的技术还可应用于另一扫描次序或扫描方向，例如垂直或对角(例如，在块中对角地为45度或135度)扫描次序或扫描方向。
如下文将更详细地所描述，本发明的技术涉及基于调色盘的视频译码设计，包含调色盘大小定义。本发明的技术可结合屏幕内容译码及对HEVC的其它扩展而使用，以及与利用屏幕内容译码的其它视频编解码器一起使用。
在HEVC调色盘译码的一个实例中，可运用行程模式、复制模式或逸出模式中的一者来译码块的像素，惟在仅使用行程模式或逸出模式时块的第一行除外。可产生语法元素palette_run_type_flag以指示使用行程模式抑或复制模式。在行程模式中，传信调色盘索引(palette_index)连同行程值(palette_run)。行程值指示将具有相同调色盘索引的像素的数目。在复制模式中，仅传信指示像素的数目的行程值，对于所述行程值，从位于当前像素正上方的像素复制调色盘索引。逸出模式是在行程模式中予以译码，其中使用特定调色盘索引以指示此模式。在一个调色盘译码模式提议中，特定调色盘索引等于调色盘大小。在逸出模式中，由于逸出模式应用于单一像素三重态(triplet)(例如，像素的Y、Cr及Cb色彩分量)而未译码行程值，其中色彩分量的值是使用语法元素palette_escape_val予以明确地传信。
可每块传信一旗标(例如，palette_escape_val_present_flag)以指示逸出像素的使用情况。等于1的palette_escape_val_present_flag指示在经调色盘译码块中存在至少一个逸出像素，且否则，palette_escape_val_present_flag等于0。
调色盘中的值的数目(即，调色盘大小)可被设置为若干值中的一者，且可具有预定最大大小。举例来说，在针对HEVC中的调色盘译码的一个提议中，调色盘大小被限定为在0到max_palette_size(在一个实例中，等于31)的范围内。
对于运用调色盘译码模式而译码的块，可从用于经先前调色盘译码块的调色盘的调色盘条目预测调色盘中的值。在一些实例中，调色盘的条目可被明确地传信为新条目。在其它实例中，来自经先前译码块的调色盘的条目可重新用于后续调色盘。此状况被称为调色盘共享，且可传信旗标(例如，palette_share_flag)以指示在无修改的情况下重新使用先前块的整个调色盘。
在针对调色盘译码模式的一些提议中，块中的像素扫描可属于两种类型：垂直横向或水平横向(例如，蛇形)扫描。图6A中展示水平扫描次序的一个实例，图6A展示被描绘为具有像素272的阵列的视频数据270的块，及水平扫描次序274。图6B中展示垂直扫描次序的一个实例，图6B展示被描绘为具有像素272的阵列的视频数据270的块，及垂直扫描次序276。用于特定块的扫描图案可从每块单元所传信的旗标(例如，palette_transpose_flag)被导出。
当前调色盘译码设计展现以下缺点。作为一个实例缺点，在针对调色盘译码的一些提议中，块中的最大调色盘大小可等于31，此意味着最大调色盘索引可等于30，且运用等于31的调色盘索引来传信逸出像素。换句话说，可被传信的有效调色盘索引可等于31，其对应于为32的最大调色盘大小。然而，如果palette_escape_val_present_flag指示在块中不存在逸出像素，那么可被译码的最大调色盘索引仍为30，且在此状况下不使用等于31的调色盘索引。相似地，当使用调色盘共享时，可使用高达等于30的调色盘索引，而不管在当前块中存在逸出像素。
作为另一缺点，在针对调色盘译码的一些提议中，可使用等于0的调色盘大小。在此状况下，可仅运用逸出模式来译码像素。因此，palette_escape_val_present_flag必须始终运用等于1的值予以传信，且不能具有0值。
作为另一缺点，在针对调色盘译码的一些提议中，如果调色盘大小等于0，那么唯一可能像素模式为逸出模式。在此状况下，像素被处理的扫描模式并不具有任何影响(即，垂直横向及水平横向扫描将产生相同结果)。然而，仍传信用以指示扫描模式的旗标。相似地，当调色盘大小等于1且不使用逸出像素时，唯一可能模式为具有等于0的调色盘索引的行程模式。所使用的扫描次序在此情形中同样不具有任何影响。
作为另一缺点，在针对调色盘译码的一些提议中，像素模式传信在块中被不均一地传信。这是因为：对于块的第一行，模式不能为复制模式。因而，对于块的第一行，模式索引被导出为等于行程模式(或用于特定调色盘索引值的逸出模式)。此导出过程在剖析期间引入检查，这是由于在一些状况下不剖析但导出模式值。
作为另一缺点，在针对用于调色盘译码的复制模式的一些提议中，运用逸出模式而译码的上方像素(即，在经当前译码像素正上方的像素)可被包含到复制模式的行程值中。然而，针对经逸出译码像素不定义复制过程，这是由于那些像素包含两个信息片段(即，调色盘索引及逸出值)。如果视频编码器20仅仅在复制模式中完成时从上方像素复制调色盘索引(其为表示逸出模式的特定调色盘索引)，那么不定义或传信用于当前像素的逸出值。此可在剖析中产生问题，这是由于当视频解码器30尝试解码逸出像素时不存在将预期为被传信的逸出色彩值。
作为另一缺点，在针对调色盘译码的一些提议中，存在用以导出用于当前块的调色盘的两种一般方法。一种方法涉及在不能传信新条目的情况下完全地重新使用来自先前经调色盘译码块的调色盘(调色盘共享)。第二方法涉及传信调色盘预测符二进制向量。调色盘预测符二进制向量包含先前经调色盘译码块的调色盘条目连同新调色盘条目的指示。在当前提议中，没有可能在所述两种调色盘导出方法之间进行某事，即，在不传信调色盘预测符向量的情况下完全地重新使用先前经调色盘译码块的调色盘，但仍另外传信新调色盘条目。因而，当前提议缺乏灵活性。
鉴于上述缺点，本发明提议调色盘译码设计的方法及技术，包含调色盘大小定义。
在本发明的一个实例中，提议经改进的调色盘大小定义。在此实例中，调色盘大小经定义成使得用于调色盘的最大可能索引包含表示逸出像素的索引。参考用于当前调色盘译码技术的以上实例，当最大调色盘大小为31时，最大调色盘索引针对逸出像素为31。本发明提议使最大调色盘大小等于32且使最大可能的经传信调色盘索引值为31。或更一般化地，最大可能的经传信调色盘索引值为小于最大调色盘大小的1。
在本发明的实例中，当逸出像素未用于当前块时(例如，如由palette_escape_val_present_flag旗标所指示)，可在行程模式中使用等于31的前一调色盘索引，其在此实例中为空缺的。palette_escape_val_present_flag语法元素可由一或多个位定义。在palette_escape_val_present_flag旗标为单一位的实例中，等于1的值可指定当前块可含有或实际上含有逸出像素。等于0的值可指定当前块可不含有或实际上不含有逸出像素。
逸出模式指示可保持不变，即，逸出模式指示将为高达等于为31的值的最大调色盘索引(即，为0到31的值)，且行程模式中的调色盘索引可高达等于30(即，为0到30的值)。换句话说，可看出，palette_size的调色盘内未保留用于经逸出译码像素的额外调色盘索引。
在更一般的意义上，用于行程模式中的最大调色盘索引可在块中不存在经逸出译码像素的情况下为palette_size-1，且在块中存在可由(例如)等于palette_size-1的调色盘索引指示的至少一个经逸出译码像素的情况下为palette_size-2。
在此状况下，palette_size始终大于0，且如果被导出为经重新使用的调色盘条目的数目与经传信的新调色盘条目的数目的总和的palette_size不等于max_palette_size，那么所述palette_size被增加1。
另外，当使用调色盘共享且调色盘内为palette_size的调色盘索引不可用于或以其它方式未经保留用于逸出像素时，调色盘大小不能被简单地扩展1，这是由于存在调色盘大小已经等于max_palette_size的可能性。在此实例中，视频编码器20及/或视频解码器30可执行针对调色盘大小的检查，且如果共享调色盘的palette_size小于max_palette_size，那么视频编码器20及/或视频解码器30可基于palette_escape_val_present_flag而更改或改变当前块的调色盘大小。举例来说，如果逸出像素用于块中(例如，如由palette_escape_val_present_flag所指示)，那么视频编码器20及/或视频解码器30将当前块的调色盘大小增加1。然而，视频编码器20及/或视频解码器30可确定palette_size已经等于max_palette_size，且可作为回应而更改或改变当前块的调色盘大小。举例来说，视频编码器20及/或视频解码器30可在针对逸出像素将当前块的调色盘大小增加1之前将其缩减1。在此实例中，视频编码器20及/或视频解码器30可针对最后条目将经重新使用的调色盘预测符旗标设置为0，所述最后条目是与等于max_palette_size减1的调色盘索引相关。
在另一实例中，如果不使用调色盘共享且调色盘大小等于max_palette_size，那么不能在块中译码逸出像素，且视频编码器20可运用等于0的值来传信palette_escape_val_present_flag。视频编码器20可取决于调色盘大小而运用对应值(例如，0或1)来有条件地传信palette_escape_val_present_flag。在另一实例中，视频编码器20可取决于调色盘共享模式且在当前块的调色盘大小等于max_palette_size的情况下而运用对应值(例如，0或1)来有条件地传信palette_escape_val_present_flag。在另一实例中，当需要在调色盘大小等于max_palette_size时运用经启用调色盘共享来启用逸出像素传信时，如果不使用调色盘共享，那么视频编码器20可不传信palette_escape_val_present_flag，且视频解码器30可将palette_escape_val_present_flag的值导出为等于0。在其它实例中，当palette_escape_val_present_flag未由视频编码器20传信时，视频解码器30可将palette_escape_val_present_flag的值导出为等于1。
以下章节论述用于导出palette_escape_val_present_flag的值的技术。基于等于0的调色盘大小，视频编码器20可确定可仅将在逸出模式中译码的像素用于当前块中。在此实例中，视频编码器可或始终运用等于1的值来传信palette_escape_val_present_flag。视频编码器20可不传信或始终不传信palette_escape_val_present_flag，这是因为palette_escape_val_present_flag的值在此实例中为恒定的。取而代之，视频解码器30可经配置以将palette_escape_val_present_flag的值推断为等于1。在其它实例中，视频解码器30可经配置以将palette_escape_val_present_flag的值推断为等于0。
视频编码器20可基于视频数据的当前块的调色盘大小而运用对应值来有条件地传信palette_escape_val_present_flag。举例来说，视频编码器20可回应于视频编码器20确定调色盘大小等于0而不传信palette_escape_val_present_flag。作为另一实例，由于调色盘索引还可被导出为等于0，故视频编码器20可经配置以不传信调色盘索引。在此状况下，调色盘模式相似于帧内PCM模式。然而，视频编码器20可经配置以在此状况下传信用于逸出值的行程，以使其不同于PCM且捕捉一些信号冗余。
举例来说，可关于SCC WD而如下实施此方法，其中添加是由划线文字表示。
等于1的palette_escape_val_present_flag指定当前块可含有逸出像素。等于0的escape_val_present_flag指定在当前块中不存在逸出像素。如果不存在palette_ escape_val_present_flag，那么其被推断为等于1。
在另一实例中，本发明的技术可如下被实施为对语法元素的规范性约束，其中到SCC WD的添加是由划线文字表示：
等于1的palette_escape_val_present_flag指定当前块可含有逸出像素。等于0的escape_val_present_flag指定在当前块中不存在逸出像素。如果palette_size等于1， 那么palette_escape_val_present_flag将等于1。
如果违反此规则，那么将此位流视为不符合标准。
上文针对调色盘大小定义及palette_escape_val_present_flag导出所描述的方法可与作为一实例而提供的以下实施组合在一起，其中到SCC WD的添加是由划线文字表示。
如果在启用调色盘共享时不能在调色盘模式中包含逸出像素(其中调色盘大小等于max_palette_size)，那么可去除以上呈斜体的条件。变量indexMax指示最大可能调色盘索引，且其可基于SCC WD中的palette_escape_val_present_flag而被无条件地设置为palette_size-1(与有条件调整相比较)。
本发明的此章节描述扫描次序传信。根据本发明的一些实例，当图片的视频数据的当前块的调色盘大小等于0，或调色盘大小等于1且逸出像素未用于块中时，并不需要用于视频数据的当前块(例如，当前CU、PU或子PU)的扫描次序传信(scanning ordersignaling或scan order signaling)，这是由于唯一可能像素模式分别为逸出模式或行程模式。
本发明提议视频编码器20仅针对其可具有影响(即，当不同扫描次序产生不同结果时)的状况(例如，当调色盘大小大于0且使用逸出像素时，或当调色盘大小在不使用逸出像素的情况下大于1时)传信扫描次序旗标。
作为两个实例，可关于SCC WD而如下实施此方法，其中添加是由划线文字表示：
或
等于1的palette_transpose_flag指定转置过程应用于当前CU(例如，正被编码或解码的图片的视频数据的当前块)的关联调色盘索引。等于0的palette_transpose_flag指定转置过程不应用于当前CU的关联调色盘索引。如果不存在palette_transpose_flag，那 么其被推断为等于0。
代替视频解码器30推断palette_transpose_flag的值在不存在的情况下等于0，可在其它实例中使用其它预定义扫描次序。此方法还可扩展到两个以上扫描图案。
在用于传信扫描次序的本发明的技术的一个实例中，视频编码器20必须在传信palette_transpose_flag的值之前传信palette_escape_val_present_flag的值。
在另一实例中，视频编码器可确定视频数据的当前块的调色盘大小等于0，且因此，视频编码器20可将每一像素译码为逸出像素。根据编码器速率-失真优化的观点，较不可能选择此状况。因此，提议对调色盘模式进行限定：如果选择调色盘模式，那么调色盘大小必须大于或等于1。
基于此位流限定，palette_num_signalled_entries语法元素的语义如下，其中到SCC WD的添加是由划线文字表示：
palette_num_signalled_entries指定在numPredPreviousPalette大于0的情况 下针对当前译码单元明确地传信的调色盘中的条目的数目。palette_num_signalled_ entries指定在numPredPreviousPalette等于0的情况下针对当前译码单元明确地传信的 调色盘中的条目的数目减1。
在本发明的另一实例中，代替在numPredPreviousPalette的值等于0时改变用于语法元素palette_num_signalled_entries的语义，如下仅改变用于语法元素palette_num_signalled_entries的值的有效范围，其中关于SCC WD的改变是由划线文字表示：
palette_num_signalled_entries指定针对当前译码单元明确地传信的调色盘中的条目的数目。如下限定palette_num_signalled_entries的值：如果 numPredPreviousPalette大于0，那么palette_num_signalled_entries的范围将为0到 (max_palette_size-numPredPreviousPalette)，包含在内。否则(即，如果 numPredPreviousPalette等于0)，palette_num_signalled_entries的范围将为1到max_ palette_size，包含在内。
图7为说明根据本发明的技术的用于解码视频数据的实例过程的流程图。出于说明目的而将图7的过程大体上描述为由视频解码器30执行，但多种其它处理器也可进行图7所展示的过程。在一些实例中，块解码单元152及/或基于调色盘的解码单元165可执行图7所展示的一或多个过程。
在图7的实例中，视频解码器30可接收(280)图片的视频数据的第一经调色盘模式编码块。视频解码器30可在不接收具有表示用于视频数据的第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断(282)用于第一经调色盘模式编码块的像素扫描次序。在一些实例中，未由视频解码器30接收的块层级语法元素可为palette_transpose_flag。视频解码器30可使用经推断像素扫描次序来解码(284)视频数据的第一经调色盘模式编码块。
在一些实例中，视频解码器30可通过推断用于视频数据的第一经调色盘模式编码块的第一块层级语法元素的值而推断用于第一经调色盘模式编码块的像素扫描次序，使得转置过程将应用于或将不应用于与视频数据的第一经调色盘模式编码块相关联的调色盘索引以解码视频数据的第一经调色盘模式编码块。在转置过程将应用于与视频数据的第一经调色盘模式编码块相关联的调色盘索引的实例中，块层级语法元素的经推断值可为1。在转置过程将不应用于与视频数据的第一经调色盘模式编码块相关联的调色盘索引的实例中，块层级语法元素的经推断值可为0。在一些实例中，视频解码器30可通过推断块层级语法元素的值而推断用于视频数据的第一经调色盘模式编码块的像素扫描次序，使得用于视频数据的第一经调色盘模式编码块的像素扫描次序被推断为非水平或非垂直像素扫描次序。
在一些实例中，视频解码器30可基于视频数据的第一经调色盘模式编码块的调色盘大小等于为0的值、等于为1的值、大于为0的值或大于为1的值而推断用于视频数据的第一经调色盘模式编码块的像素扫描次序。
视频解码器30可接收(286)图片的视频数据的第二经调色盘模式编码块。视频解码器30可接收(288)具有表示用于视频数据的第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素。在一些实例中，经接收块层级语法元素可为palette_transpose_flag。视频解码器30可基于经接收块层级语法元素而确定(290)用于视频数据的第二经调色盘模式编码块的像素扫描次序。视频解码器30可使用经确定像素扫描次序来解码(292)视频数据的第二经调色盘模式编码块。
图8为说明根据本发明的技术的用于编码视频数据的实例过程的流程图。出于说明目的而将图8的过程大体上描述为由视频编码器20执行，但多种其它处理器也可进行图7所展示的过程。在一些实例中，块编码单元100及/或基于调色盘的编码单元122可执行图8所展示的一或多个过程。
在图8的实例中，视频编码器20可确定(300)视频数据的块待使用调色盘模式予以编码。视频编码器20可确定(302)用于视频数据的块的调色盘大小。视频编码器20可确定(304)用于视频数据的块的像素扫描次序。视频编码器20可使用调色盘模式来编码(306)视频数据的块。视频编码器20可基于调色盘大小而确定(308)是否传信表示用于视频数据的块的像素扫描次序的第一块层级语法元素。在一些实例中，第一块层级语法元素可为palette_transpose_flag。
在一些实例中，确定是否传信第一块层级语法元素可基于调色盘大小等于为0的值、等于为1的值、大于为0的值或大于为1的值。在其它实例中，确定是否传信第一块层级语法元素可基于视频数据的经调色盘编码块是否包含至少一个逸出像素。在其它实例中，确定是否传信第一块层级语法元素可基于表示视频数据的经调色盘编码块是否包含至少一个逸出像素的第二块层级语法元素的值。
在一些实例中，图8的实例中所展示的方法可包含当调色盘大小等于为0的值时不传信第一块层级语法元素。在另一实例中，当调色盘大小等于为1的值且视频数据的经调色盘编码块不包含至少一个逸出像素时，可不传信第一块层级语法元素。在另一实例中，当调色盘大小等于为1的值且第二块层级语法元素的值表示视频数据的经调色盘编码块不包含至少一个逸出像素时，可不传信第一块层级语法元素。
图9为说明针对视频数据的块的第一行启用复制模式的实例的概念图。在针对调色盘译码的当前提议中，复制模式不用于块中的第一行，这是由于在位于当前块内部的第一行正上方不存在像素。因此，不针对第一行来传信复制模式，且在针对调色盘译码的当前提议下导出行程模式。此情形在剖析期间引入检查，这是由于有时不传信但导出像素模式。
在本发明的实例技术中，视频编码器20可通过将调色盘索引设置为等于用于第一行中运用复制模式而译码的像素的预设调色盘索引而针对图片的视频数据的当前块中的像素的第一行(例如，被描绘为视频数据320的当前块中的行0)启用复制模式。虽然视频数据320的当前块被展示为8×8块，但视频数据320的当前块在其它实例中可为任何其它大小。关于第一行，应理解，含有像素的多个行的视频数据320的块的其它行不在用于视频数据的当前块的第一行上方。然而，还应理解，其它像素可与来自同一图片的视频数据的另一块的视频数据320的当前块的第一行中的任何像素相邻(左侧、右侧、上方或对角地，此取决于所实施的扫描次序)。“视频数据的当前块”中的术语“当前”意味着视频数据的块为正由视频编码器20编码或正由视频解码器30解码的视频数据的当前块。
在一些实例中，预设调色盘索引可为用于至少每一块、切片标头、任何参数集(例如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS))或别处的固定索引或经传信索引。在一些实例中，针对第一行启用复制模式会使能够使用调色盘模式来编码视频数据的块，使得使用复制模式来编码视频数据的块中的像素的第一行中的至少一个像素。
预设(固定)索引可为范围为0到palette_size-1的当前块的有效调色盘索引中的一者。举例来说，预设索引可始终等于0，然而，其它值也是可能的。预设索引可取决于在第一行中传信的其它索引值。举例来说，如果第一经传信索引为1且第二经传信为2，那么在存在另一索引的情况下，很可能再次出现索引1。因此，预设索引可为通过用于第一行的复制模式而导出的索引值。
在一些实例中，预设调色盘索引可为对应于视频数据320的块的调色盘索引中的一者。在其它实例中，预设调色盘索引可为对应于视频数据的块的调色盘索引中的第一索引。预设调色盘索引可由为0的值(或对应于视频数据的当前块的另一有效调色盘索引的任何其它值)识别，其中调色盘索引中的第一索引是由为0的值识别。在又其它实例中，预设调色盘索引可不为对应于视频数据的当前块的调色盘索引中的一者。在这些实例中，预设调色盘索引可为来自对应于经先前编码或解码的视频数据的另一块的调色盘索引的索引。
对于用于第一行的经启用复制模式，可在传信之前调整调色盘索引及调色盘最大索引，此相似于针对用于视频数据320的当前块中的其它行的调色盘索引所进行的情形。另外，可定义：包含位于第一行上方的像素的位于视频数据320的当前块外部的虚拟像素(例如，来自经先前编码或解码的视频数据的另一块)未被逸出译码(例如，运用复制模式予以译码)，调色盘索引可等于预设调色盘索引。此额外定义可用以避免调色盘索引传信中的冗余。举例来说，第一像素的像素模式不能等于行程模式(其中调色盘索引等于预设调色盘索引)，这是由于此像素将运用复制模式予以译码。
举例来说，实施可为如下：
●如果像素为块中的第一像素，那么
○最大调色盘索引被缩减1
○调色盘索引被缩减1
●否则，如果按扫描次序的左侧经译码像素的像素模式为行程模式，那么以下适用：
○最大调色盘索引被缩减1
○如果调色盘索引大于按扫描次序的左侧像素的调色盘索引，那么调色盘索引被缩减1
●否则，如果按扫描次序的左侧经译码像素的像素模式为复制模式且当前像素位于第一行中，或像素不在第一行中且正上方像素的像素模式不为逸出模式，那么以下适用：
○最大调色盘索引被缩减1
○如果调色盘索引大于按扫描次序的上方像素的调色盘索引或在上方像素位于块外部的情况下等于预设调色盘索引，那么调色盘索引被缩减1。
举例来说，可关于SCC WD而如下实施此方法，其中添加是运用划线文字予以表示，且删除是运用删除线文字予以表示：
在本文中所描述的技术中，可使用一个以上预设索引。另外，索引被使用的次序可具有不同图案。所使用的图案可为固定的且存储于视频编码器20及视频解码器30两者处，或所述图案可从视频编码器20传信到视频解码器30，此相似于针对预设索引所进行的情形。
当在视频数据320的当前块的第一行中启用复制模式时，可针对所述第一行添加像素模式(行程模式或复制模式)传信。在一些实例中，用于像素模式传信的语法元素可使用上下文模型化予以CABAC译码。第一行中的像素模式语法元素的上下文可与用于视频数据320的当前块的其它行的像素模式语法元素的上下文共享。举例来说，如果参考像素是运用复制模式予以译码，那么可使用上下文0，且如果参考像素是运用行程模式予以译码，那么可使用上下文1，或反之亦然。
参考像素可为当前像素的左侧像素，可为始于第二行的上方像素，及/或可为用于第一行的左侧像素(由于在第一行中不存在上方像素)。更一般化地，参考像素可为像素模式信息是可用的已经译码像素。对于第一像素，可不存在任何可用参考像素。在此情形中，可预定义用于第一行的语法元素的上下文(例如，可选择经先前使用的上下文，或可使用单独上下文)。
在另一实例中，可使用仅单一上下文，且用以译码第一行中的像素模式语法元素的上下文可仅与上下文0或上下文1共享。
然而，由于调色盘索引选项在第一行中受到更多限制(例如，其中仅使用一/若干预设索引)，故共享上下文可不为所有情况下的最好选项，这是由于在第一行中使用特定像素模式的统计可不同于其它行中的统计。因而，在另一实例中，可针对用于第一行中的像素模式的像素模式语法元素分配一或若干单独上下文。举例来说，单独上下文可为仅单一额外上下文，例如上下文2，或单独上下文可取决于参考像素的像素模式。举例来说，如果参考像素是运用复制模式予以译码，那么上下文2可用以译码像素模式语法元素，且如果参考像素是在行程模式中予以译码，那么上下文3可用以译码像素模式语法元素。对于用于第一像素的语法元素，上下文可固定为上下文2或上下文3，或在另一实例中，可使用单独上下文4。
作为可在针对第一行启用或不启用复制模式的情况下使用的更一般的方法，视频编码器20及/或视频解码器30可根据包含逸出模式的参考像素模式而分裂上下文，其为当前与行程模式共享所针对的上下文。在此状况下，上下文的数目可为至少三：一个用于行程模式，一个用于复制模式，且一个用于逸出模式，其中所述模式为参考像素的模式。
相似地，可运用用于第一行的经启用复制模式来进行包含逸出模式的上下文扩展。
图10为说明根据本发明的技术的用于解码视频数据的实例过程的流程图。出于说明目的而将图10的过程大体上描述为由视频解码器30执行，但多种其它处理器也可进行图10所展示的过程。在一些实例中，块解码单元152及/或基于调色盘的解码单元165可执行图10所展示的一或多个过程。
在图10的实例中，视频解码器30可确定(330)视频数据的块待使用调色盘模式予以编码。视频解码器30可接收(332)具有像素的多个行的视频数据的经调色盘模式编码块。视频解码器30可接收(334)对应于视频数据的经调色盘模式编码块的调色盘索引。视频解码器30可确定(336)用于视频数据的经调色盘模式编码块的像素扫描次序。视频解码器30可使用像素扫描次序来解码(338)视频数据的经调色盘模式编码块。视频解码器30可使用复制模式来解码(340)视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素，其中像素的多个行中的其它行不在第一行上方。
在一些实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用预设调色盘索引。在其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用为对应于视频数据的经编码块的调色盘索引中的一者的预设调色盘索引。在其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用为调色盘索引中的第一索引的预设调色盘索引。
在又其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用由为0的值识别的预设调色盘索引，且调色盘索引中的第一索引是由为0的值识别。在又其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用不为对应于视频数据的块的调色盘索引中的一者的预设调色盘索引。在又其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用为来自对应于视频数据的另一块的调色盘索引的索引的预设调色盘索引。在又其它实例中，使用复制模式来解码视频数据的经调色盘模式编码块中的像素的第一行中的至少一个像素可包含基于在像素的第一行中的至少一个像素之前解码的一或多个像素的一或多个调色盘索引而针对所述至少一个像素使用调色盘索引。
图11为说明根据本发明的技术的用于编码视频数据的实例过程的流程图。出于说明目的而将图11的过程大体上描述为由视频编码器20执行，但多种其它处理器也可进行图11所展示的过程。在一些实例中，块编码单元100及/或基于调色盘的编码单元122可执行图11所展示的一或多个过程。
在图11的实例中，视频编码器20可确定(350)具有像素的多个行的视频数据的块待使用调色盘模式予以编码。视频编码器20可产生(352)用于视频数据的块的调色盘索引。视频编码器20可使用调色盘模式来编码(354)视频数据的块使得使用复制模式来编码视频数据的块中的像素的第一行中的至少一个像素，其中像素的多个行中的其它行不在第一行上方。
在一些实例中，使用调色盘模式来编码视频数据的块使得使用复制模式来编码视频数据的块中的像素的第一行中的至少一个像素可包含针对像素的第一行中的至少一个像素使用预设调色盘索引。在这些实例中，预设调色盘索引可为对应于视频数据的块的调色盘索引中的一者。举例来说，预设调色盘索引可为调色盘索引中的第一索引或调色盘索引中的任何其它索引。预设调色盘索引可由为0的值识别，且调色盘索引中的第一索引可由为0的值识别。在一些实例中，预设调色盘索引可不为对应于视频数据的块的调色盘索引中的一者。举例来说，预设调色盘索引可为来自对应于视频数据的另一块的调色盘索引的索引(例如，来自视频数据的经先前编码块的调色盘索引)。在一些实例中，使用调色盘模式来编码视频数据的块使得使用复制模式来编码视频数据的块中的像素的第一行中的至少一个像素可包含基于在像素的第一行中的至少一个像素之前编码的一或多个像素的一或多个调色盘索引而针对所述至少一个像素使用调色盘索引。
以下章节将论述逸出像素及复制模式。在针对调色盘译码的当前提议中，当上方像素是运用逸出模式予以译码时，针对经逸出译码像素不定义复制过程。解决方案可为针对逸出像素定义复制过程，或规范性地禁止发生此状况。作为实例，可使用下文所描述的以下方法中的一者来解决问题。
如2014年7月2日申请的美国临时申请案第62/019,223号中所描述，针对当前像素复制由特定调色盘索引表示的唯一逸出模式。此后传信用于三重态的逸出色彩值。
如果上方像素为逸出像素，那么代替复制逸出索引，可针对当前像素分配另一调色盘索引。举例来说，调色盘索引可为预设调色盘索引，其可为固定的，例如，等于用于当前块的有效调色盘索引中的一者(例如0)，或预设调色盘索引可至少针对每一块、切片标头、参数集(例如VPS、SPS、PPS)被传信，或在别处被传信。另外或替代地，逸出像素可由先前非逸出调色盘索引取代。举例来说，用于复制模式的索引被假设为最后经复制索引，其不为例如按扫描次序的上方像素左侧的第一可用者的逸出，或可为当前像素的左侧索引。此可与固定索引组合。举例来说，如果取代逸出调色盘索引为逸出，那么可使用预设索引。举例来说，如果左侧像素为逸出像素，那么出于复制目的而使用预设索引(例如，0)以替换逸出，否则使用左侧像素的索引。
在另一实例中，视频编码器20可经配置以规范性地不允许运用复制模式而译码的像素可具有运用逸出模式而译码的上方像素的状况。举例来说，此情形可实施于palette_run语法元素的语义中，如下文所展示。如果违反此规则，那么将位流视为不符合标准。
语法元素palette_run在palette_run_type_flag等于COPY_ABOVE_MODE时指示与上方行中的位置具有相同调色盘索引的连续位置的数目减1，或在palette_run_type_flag等于INDEX_MODE时表示具有相同调色盘索引的连续位置的数目减1。如果palette_run_type_flag等于COPY_ABOVE_MODE，那么由位于上方行中的palette_run值定义的连续像素中的一者不能被译码为ESCAPE_PIXEL。
以下章节论述根据一些实例的用于定义逸出像素的技术。如果使用上文针对调色盘大小定义所描述的技术，那么可发生的是：特定索引表示逸出像素或非逸出像素，此取决于palette_escape_val_present_flag的值。举例来说，考虑最大调色盘大小为32。如果palette_escape_val_present_flag为1，那么索引值31表示逸出像素。另一方面，当palette_escape_val_present_flag为0时，对于非逸出像素，为31的索引值是可能的。如果使用某一其它值(例如0)以表示逸出像素，那么相似情形适用。在此状况下，为0的索引值可在palette_escape_val_present_flag为1时表示逸出像素，但在palette_escape_val_present_flag为0时表示非逸出像素。
因此，根据一些实例，本发明提议如下改变逸出像素的定义：如果palette_escape_val_present_flag等于1，像素是在行程模式中予以译码，且具有特定调色盘索引值，那么像素被定义为逸出像素。特定索引值可(例如)等于调色盘大小或调色盘大小减1，或例如0的某一其它固定值。
本发明的此章节论述与新调色盘条目的调色盘共享。在本发明中，提议扩展与传信新调色盘条目的能力的调色盘共享。当在调色盘中存在用于其内含物的空间(即，调色盘大小小于max_palette_size)时，明确地传信新条目的数目及新条目自身的色彩值。
本发明的调色盘共享扩展可替换针对调色盘共享的当前提议(即，新条目的数目是针对调色盘共享被传信，或作为调色盘导出的第三方法被添加)。在后一状况下，如果不使用调色盘共享且先前调色盘大小小于max_palette_size，那么可能地在palette_share_flag之后且有条件地传信新旗标，以指示不传信调色盘预测符且重新使用先前块的调色盘。在此状况下，新条目的数目大于0，这是由于具有零数目个新条目与仅仅调色盘共享相同，因此可代替地传信新条目的数目减1。
对于调色盘导出的第三(此章节中所论述)方法，新调色盘条目此后是由视频编码器20传信，且可包含于经重新使用的调色盘条目之后或经重新使用的调色盘条目之前。替代地，新调色盘条目可始终放置于经重新使用的调色盘条目之前以横越所有调色盘导出方法具有均一调色盘导出。
由于可不全部使用起到经重新使用或经预测的条目作用的先前调色盘的条目，从而在调色盘索引传信中引入某种无效率(与全部用于块中的新条目相反)，故将新条目包含于经重新使用的条目之前可更有效率。将新条目放置于经重新使用的调色盘条目之前的另一优点为：归因于调色盘大小限制，并非所有经重新使用的条目可被添加。在此状况下，在当前调色盘大小小于max_palette_size时，首先添加新条目，且接着添加先前调色盘的条目。
当使用与新调色盘条目的调色盘共享时，可按以下方式重新使用现有传信，其中到SCC WD的添加是由划线文字表示：
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可被添加、合并，或完全地省去(例如，并非所有所描述的动作或事件对于实践所述技术是必要的)。此外，在某些实例中，动作或事件可(例如)经由多线程处理、中断处理或多个处理器同时地而非顺序地执行。另外，虽然出于清晰目的而将本发明的某些方面描述为由单一模块或单元执行，但应理解，本发明的技术可由与视频译码器相关联的单元或模块的组合执行。
根据本发明，在上下文不以其它方式规定的情况下，术语“或”可被解译为“及/或”。另外，虽然例如“一或多个”或“至少一个”或其类似者的短语可能已用于本文中所揭示的一些特征而非其它特征；但在上下文不以其它方式规定的情况下，此语言未被使用所针对的特征可被解译为具有此暗示意义。
出于说明目的，本发明的某些方面已关于开发HEVC标准予以描述。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专属视频译码过程。
上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，其两者可被整体上称作视频译码器。同样地，在适用时，视频译码可指视频编码或视频解码。
虽然上文描述技术的各种方面的特定组合，但提供这些组合以仅仅说明本发明中描述的技术的实例。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。可以任何组合而一起使用本发明中描述的技术。
在一或多个实例中，本发明中描述的功能可实施于硬件、软件、固件或其任何组合中。如果实施于软件中，那么功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体而发射，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含(例如)根据通信协议而促进计算机程序从一处到另一处的传送的任何媒体。以此方式，计算机可读媒体通常可对应于(1)为非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明中描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。
作为实例而非限制，这些计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要代码且可由计算机存取的任何其它媒体。又，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字用户线(digitalsubscriber line；DSL)或例如红外线、无线电及微波的无线技术而从网站、服务器或其它远程源发射指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是有关于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘运用激光而以光学方式再现数据。以上各者的组合也应包含于计算机可读媒体的范畴内。
可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等效集成或离散逻辑电路系统的一或多个处理器执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于经配置用于编码及解码的专用硬件及/或软件模块内，或并入于组合式编解码器中。又，所述技术可完全地实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如，芯片集)。本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元而实现。更确切地，如上文所描述，各种单元可组合于编解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件而提供。
已描述各种实例。这些及其它实例在所附权利要求书的范畴内。

Claims (24)

1.一种解码视频数据的方法，所述方法包括：
接收图片的视频数据的第一经调色盘模式编码块；
在不接收具有表示用于视频数据的所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素的情况下推断用于所述第一经调色盘模式编码块的所述像素扫描次序；
使用所述经推断像素扫描次序来解码视频数据的所述第一经调色盘模式编码块；
接收所述图片的视频数据的第二经调色盘模式编码块；
接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素；
基于所述经接收块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序；以及
使用所述经确定像素扫描次序来解码视频数据的所述第二经调色盘模式编码块。
2.根据权利要求1所述的方法，其中用于所述第一或第二经调色盘模式编码块的所述块层级语法元素为包括值0或1的palette_transpose_flag，其中为0的所述值指示转置过程将不应用于分别与视频数据的所述第一或第二经调色盘模式编码块相关联的调色盘索引，且为1的所述值指示转置过程将应用于分别与视频数据的所述第一或第二经调色盘模式编码块相关联的调色盘索引。
3.根据权利要求1所述的方法，其中推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序包括推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得转置过程将应用于与视频数据的所述第一经调色盘模式编码块相关联的调色盘索引以解码视频数据的所述第一经调色盘模式编码块。
4.根据权利要求3所述的方法，其中用于所述第一经调色盘模式编码块的所述块层级语法元素的所述经推断值为1。
5.根据权利要求1所述的方法，其中推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序包括推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得转置过程将不应用于与视频数据的所述第一经调色盘模式编码块相关联的调色盘索引以解码视频数据的所述第一经调色盘模式编码块。
6.根据权利要求5所述的方法，其中用于所述第一经调色盘模式编码块的所述块层级语法元素的所述经推断值为0。
7.根据权利要求1所述的方法，其中推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序包括推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序被推断为非水平或非垂直像素扫描次序。
8.根据权利要求1所述的方法，其中推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序包括基于视频数据的所述第一经调色盘模式编码块的调色盘大小等于为0的值、等于为1的值、大于为0的值或大于为1的值而推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。
9.一种用于解码视频数据的装置，所述装置包括：
存储器，其经配置以存储图片的视频数据；以及
视频解码器，其经配置以：
接收所述视频数据的第一经调色盘模式编码块；
不基于具有表示用于视频数据的所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素而推断用于所述第一经调色盘模式编码块的所述像素扫描次序；
基于所述经推断像素扫描次序而解码视频数据的所述第一经调色盘模式编码块；
接收所述图片的视频数据的第二经调色盘模式编码块；
接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素；
基于用于视频数据的所述第二经调色盘模式编码块的所述块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序；以及
基于所述经确定像素扫描次序而解码视频数据的所述第二经调色盘模式编码块。
10.根据权利要求9所述的装置，其中用于所述第一或第二经调色盘模式编码块的所述块层级语法元素为包括值0或1的palette_transpose_flag，其中为0的所述值指示转置过程将不应用于分别与视频数据的所述第一或第二经调色盘模式编码块相关联的调色盘索引，且为1的所述值指示转置过程将应用于分别与视频数据的所述第一或第二经调色盘模式编码块相关联的调色盘索引。
11.根据权利要求9所述的装置，其中所述视频解码器经配置以通过经配置以推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得转置过程将应用于与视频数据的所述第一经调色盘模式编码块相关联的调色盘索引以解码视频数据的所述第一经调色盘模式编码块，来推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。
12.根据权利要求11所述的装置，其中用于所述第一经调色盘模式编码块的所述块层级语法元素的所述经推断值为1。
13.根据权利要求9所述的装置，其中所述视频解码器经配置以通过经配置以推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得转置过程将不应用于与视频数据的所述第一经调色盘模式编码块相关联的调色盘索引以解码视频数据的所述第一经调色盘模式编码块，来推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。
14.根据权利要求13所述的装置，其中用于所述第一经调色盘模式编码块的所述块层级语法元素的所述经推断值为0。
15.根据权利要求9所述的装置，其中所述视频解码器经配置以通过经配置以推断用于所述第一经调色盘模式编码块的所述块层级语法元素的所述值，使得用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序被推断为非水平或非垂直像素扫描次序，来推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。
16.根据权利要求9所述的装置，其中所述视频解码器经配置以通过经配置以基于视频数据的所述第一经调色盘模式编码块的调色盘大小等于为0的值、等于为1的值、大于为0的值或大于为1的值而推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序，来推断用于视频数据的所述第一经调色盘模式编码块的所述像素扫描次序。
17.一种非暂时性计算机可读存储媒体，其上存储有指令，所述指令在被执行时致使经配置以解码视频数据的计算装置的一或多个处理器：
接收图片的视频数据的第一经调色盘模式编码块；
不基于具有表示用于视频数据的所述第一经调色盘模式编码块的像素扫描次序的值的块层级语法元素而推断用于所述第一经调色盘模式编码块的所述像素扫描次序；
基于所述经推断像素扫描次序而解码视频数据的所述第一经调色盘模式编码块；
接收所述图片的视频数据的第二经调色盘模式编码块；
接收具有表示用于视频数据的所述第二经调色盘模式编码块的像素扫描次序的值的块层级语法元素；
基于用于视频数据的所述第二经调色盘模式编码块的所述块层级语法元素而确定用于视频数据的所述第二经调色盘模式编码块的所述像素扫描次序；以及
基于所述经确定像素扫描次序而解码视频数据的所述第二经调色盘模式编码块。
18.一种编码视频数据的方法，所述方法包括：
确定视频数据的块待使用调色盘模式予以编码；
确定用于视频数据的所述块的调色盘大小；
确定用于视频数据的所述块的像素扫描次序；
使用调色盘模式来编码视频数据的所述块；以及
基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素。
19.根据权利要求18所述的方法，其中所述第一块层级语法元素为palette_transpose_flag。
20.根据权利要求18所述的方法，其中确定是否传信所述第一块层级语法元素是基于所述调色盘大小等于为0的值、等于为1的值、大于为0的值或大于为1的值。
21.根据权利要求18所述的方法，其中确定是否传信所述第一块层级语法元素是基于视频数据的所述经调色盘编码块是否包含至少一个逸出像素。
22.根据权利要求18所述的方法，其中确定是否传信所述第一块层级语法元素是基于表示视频数据的所述经调色盘编码块是否包含至少一个逸出像素的第二块层级语法元素的值。
23.根据权利要求18所述的方法，其进一步包括在以下情形中不传信所述第一块层级语法元素：当所述调色盘大小等于为0的值时；当所述调色盘大小等于为1的值且视频数据的所述经调色盘编码块不包含至少一个逸出像素时；或当所述调色盘大小等于为1的值且第二块层级语法元素的所述值表示视频数据的所述经调色盘编码块不包含至少一个逸出像素时。
24.一种用于编码视频数据的装置，所述装置包括：
存储器，其经配置以存储图片的视频数据；以及
视频编码器，其经配置以：
确定所述视频数据的块待使用调色盘模式予以编码；
确定用于视频数据的所述块的调色盘大小；
确定用于视频数据的所述块的像素扫描次序；
使用调色盘模式来编码视频数据的所述块；以及
基于所述调色盘大小而确定是否传信表示用于视频数据的所述块的所述像素扫描次序的第一块层级语法元素。
CN201580040322.1A 2014-08-04 2015-08-04 编码和解码视频数据的方法和装置及计算机可读存储介质 Active CN106537916B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201462033067P 2014-08-04 2014-08-04
US62/033,067 2014-08-04
US201462044088P 2014-08-29 2014-08-29
US62/044,088 2014-08-29
US201462062674P 2014-10-10 2014-10-10
US62/062,674 2014-10-10
US14/816,980 US10687064B2 (en) 2014-08-04 2015-08-03 Palette mode encoding and decoding with inferred pixel scan order
US14/816,980 2015-08-03
PCT/US2015/043572 WO2016022537A1 (en) 2014-08-04 2015-08-04 Palette mode encoding and decoding design

Publications (2)

Publication Number Publication Date
CN106537916A true CN106537916A (zh) 2017-03-22
CN106537916B CN106537916B (zh) 2019-10-25

Family

ID=55181443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580040322.1A Active CN106537916B (zh) 2014-08-04 2015-08-04 编码和解码视频数据的方法和装置及计算机可读存储介质

Country Status (10)

Country Link
US (2) US10687064B2 (zh)
EP (2) EP3178226B1 (zh)
JP (1) JP6571162B2 (zh)
KR (1) KR102338145B1 (zh)
CN (1) CN106537916B (zh)
AU (1) AU2015301222B2 (zh)
BR (1) BR112017002138A2 (zh)
ES (1) ES2874552T3 (zh)
TW (1) TWI718101B (zh)
WO (1) WO2016022537A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107367A (zh) * 2018-10-26 2020-05-05 北京字节跳动网络技术有限公司 块分割方法和装置
CN114466185A (zh) * 2019-04-25 2022-05-10 北京达佳互联信息技术有限公司 使用调色板模式进行视频编解码的方法和装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10687064B2 (en) 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
KR20160037111A (ko) 2014-09-26 2016-04-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3007423A1 (en) * 2014-10-06 2016-04-13 Industrial Technology Research Institute Method of color palette coding applicable to electronic device and electronic device using the same
CN106797469A (zh) * 2014-10-06 2017-05-31 Vid拓展公司 改进的用于屏幕内容编码的调色板编码
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
KR102470832B1 (ko) 2014-10-20 2022-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102596896B1 (ko) 2015-01-15 2023-11-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10477244B2 (en) * 2015-01-29 2019-11-12 Kt Corporation Method and apparatus for predicting and restoring a video signal using palette entry and palette mode
WO2016122251A1 (ko) 2015-01-29 2016-08-04 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
KR20160118945A (ko) 2015-04-02 2016-10-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016190627A1 (ko) * 2015-05-27 2016-12-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3298785A4 (en) * 2015-06-03 2019-02-13 MediaTek Inc. METHOD AND APPARATUS FOR RESOURCE SHARING BETWEEN INTRA BLOCK COPY MODE AND INTER-PREDICTION MODE IN VIDEO CODING SYSTEMS
US20160360205A1 (en) 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
US10728738B2 (en) * 2016-04-01 2020-07-28 Intel Corporation Smart device for notification loopback routing to a primary communication device
CN112673640A (zh) * 2018-08-30 2021-04-16 华为技术有限公司 使用调色板译码的编码器、解码器和相应方法
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
KR20200132761A (ko) * 2019-05-15 2020-11-25 현대자동차주식회사 동영상 데이터의 병렬 부호화 및 복호화를 위한 방법 및 장치
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
CN115209139B (zh) * 2019-09-07 2023-03-28 北京达佳互联信息技术有限公司 视频编解码中的预测模式信令
US11240507B2 (en) * 2019-09-24 2022-02-01 Qualcomm Incorporated Simplified palette predictor update for video coding
CN111755051B (zh) * 2020-06-19 2022-07-26 杭州电子科技大学 基于忆阻器的2-9线三值译码器电路

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0166966A2 (en) * 1984-05-31 1986-01-08 Ascii Corporation Video display controller
EP2618565A1 (en) * 2010-09-13 2013-07-24 Sony Computer Entertainment Inc. Image processing device, image processing method, data structure for video files, data compression device, data decoding device, data compression method, data decoding method, and data structure for compressed video files

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8413205B2 (en) * 2001-09-19 2013-04-02 Tvworks, Llc System and method for construction, delivery and display of iTV content
KR20070052642A (ko) * 2005-11-17 2007-05-22 엘지전자 주식회사 데이터 재생방법 및 재생장치와 데이터 전송방법
AU2006246497B2 (en) 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US8615138B2 (en) 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
GB201321851D0 (en) 2013-12-10 2014-01-22 Canon Kk Run length parameters coding for palette mode
GB2526337A (en) 2014-05-21 2015-11-25 Canon Kk Method and apparatus for syntax element encoding in video coding and decoding
US11323733B2 (en) 2014-05-23 2022-05-03 Qualcomm Incorporated Predictor palette initialization in palette-based video coding
US10382749B2 (en) 2014-05-23 2019-08-13 Qualcomm Incorporated Coding run values based on palette index in palette-based video coding
US10291940B2 (en) 2014-05-23 2019-05-14 Qualcomm Incorporated Coding runs with escape in palette-based video coding
EP3130148A4 (en) 2014-05-23 2017-06-21 HFI Innovation Inc. Methods for palette size signaling and conditional palette escape flag signaling
US10687064B2 (en) 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0166966A2 (en) * 1984-05-31 1986-01-08 Ascii Corporation Video display controller
EP2618565A1 (en) * 2010-09-13 2013-07-24 Sony Computer Entertainment Inc. Image processing device, image processing method, data structure for video files, data compression device, data decoding device, data compression method, data decoding method, and data structure for compressed video files

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DÖNE BUGDAYCI SANSLI: ""SCCE3:Test B.15 – Scanning indicator for the palette coded CUs"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
POLIN LAI等: ""Description of screen content coding technology proposal by MediaTek"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *
WEI PU: ""Non-RCE4: Refinement of the palette in RCE4 Test 2"", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107367A (zh) * 2018-10-26 2020-05-05 北京字节跳动网络技术有限公司 块分割方法和装置
CN111107367B (zh) * 2018-10-26 2023-12-08 北京字节跳动网络技术有限公司 块分割方法和装置
CN114466185A (zh) * 2019-04-25 2022-05-10 北京达佳互联信息技术有限公司 使用调色板模式进行视频编解码的方法和装置

Also Published As

Publication number Publication date
US20200267390A1 (en) 2020-08-20
AU2015301222B2 (en) 2019-07-11
EP3843397A1 (en) 2021-06-30
EP3178226A1 (en) 2017-06-14
US10687064B2 (en) 2020-06-16
KR20170039176A (ko) 2017-04-10
TWI718101B (zh) 2021-02-11
TW201615012A (en) 2016-04-16
US20160037164A1 (en) 2016-02-04
KR102338145B1 (ko) 2021-12-09
JP2017527193A (ja) 2017-09-14
JP6571162B2 (ja) 2019-09-04
US11785222B2 (en) 2023-10-10
AU2015301222A1 (en) 2017-02-02
ES2874552T3 (es) 2021-11-05
CN106537916B (zh) 2019-10-25
EP3178226B1 (en) 2021-03-10
BR112017002138A2 (pt) 2017-11-21
WO2016022537A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106464915B (zh) 基于调色板的视频译码中的最大调色板参数
CN106464884B (zh) 基于调色板的视频译码中的译码行程
CN106464883B (zh) 基于调色板的视频译码中的逃脱样本译码方法、装置及设备
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN105379266B (zh) 停用帧内预测滤波
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN105075272B (zh) 在基于调色板的视频译码中确定调色板索引的方法及设备
JP6541692B2 (ja) パレットベースのビデオコーディングにおけるパレットインデックスに基づくラン値のコーディング
CN106797466B (zh) 一种处理视频数据的方法及装置
CN106068648B (zh) 调色板译码模式中视频块的逸出像素的量化
CN106464873B (zh) 处理视频数据的方法和装置
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107211138A (zh) 用于高吞吐量cabac译码的调色板索引分组
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN110169064A (zh) 具有减低复杂性的视频译码中的双边滤波器
CN110393010A (zh) 视频译码中的帧内滤波旗标
CN107409215A (zh) 用于视频译码的调色板模式译码
CN107113436A (zh) 用于次取样格式的调色模式
CN106464877A (zh) 在视频译码中确定将解块滤波应用于经调色板译码块
CN106464871A (zh) 在基于调色板的视频译码中对具有逸出的行程进行译码
CN106105207A (zh) 用于视频译码的具有行程长度码的调色板预测器信令

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant