CN106105228B - 一种处理视频数据的方法、装置及计算机可读介质 - Google Patents

一种处理视频数据的方法、装置及计算机可读介质 Download PDF

Info

Publication number
CN106105228B
CN106105228B CN201580013700.7A CN201580013700A CN106105228B CN 106105228 B CN106105228 B CN 106105228B CN 201580013700 A CN201580013700 A CN 201580013700A CN 106105228 B CN106105228 B CN 106105228B
Authority
CN
China
Prior art keywords
palette
pixel
entry
block
index value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580013700.7A
Other languages
English (en)
Other versions
CN106105228A (zh
Inventor
邹锋
濮伟
拉詹·拉克斯曼·乔希
罗哈斯 霍埃尔·索赖
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106105228A publication Critical patent/CN106105228A/zh
Application granted granted Critical
Publication of CN106105228B publication Critical patent/CN106105228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

本发明描述用于基于调色板的译码的技术。在基于调色板的译码中，视频译码器可形成作为色彩表的调色板以用于表示给定块的视频数据。基于调色板的译码可适用于译码具有相对较小数目的色彩的视频数据的块。除译码所述给定块的实际像素值或其残余之外，所述视频译码器可译码像素中的一或多者的索引值。所述索引值将所述像素映射到表示所述像素的所述色彩的所述调色板中的条目。本发明描述用于确定是否在视频编码器或视频解码器处停用调色板译码块的过滤(例如解块过滤或样本适应性偏移SAO过滤)的技术。本发明还描述用于基于率失真成本在所述视频编码器处修改调色板的调色板大小及调色板条目的技术。

Description

一种处理视频数据的方法、装置及计算机可读介质
本申请案主张2014年3月26日申请的美国临时申请案第61/970,838号的权益，所述申请案的全部内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码及解码。
背景技术
数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流装置及类似者。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.188/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的那些视频压缩技术。视频装置可通过实施这些视频压缩技术来更有效地发射、接收、编码、解码及/或存储数字视频信息。
视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)的切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用关于同一图片中的相邻块中的参考样本的空间预测或关于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。
空间或时间预测导致待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量来编码帧间译码块，且残余数据指示经译码块与预测性块之间的差异。根据帧内译码模式及残余数据来编码帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余系数，随后可对残余系数进行量化。最初布置成二维阵列的经量化系数可经扫描以便产生系数的一维向量，且可应用熵译码以达成甚至更多压缩。
可通过(例如从多个视角)编码视图来产生多视图译码位流。已经开发利用多视图译码方面的一些三维(3D)视频标准。举例来说，不同视图可发射左眼及右眼视图以支持3D视频。替代地，一些3D视频译码过程可应用所谓的多视图加深度译码(multiview plusdepth)。在多视图加深度译码中，3D视频位流可不仅含有纹理视图分量而且含有深度视图分量。举例来说，每一视图可包括一个纹理视图分量及一个深度视图分量。
发明内容
一般来说,本发明描述用于基于调色板的视频译码的技术。在基于调色板的译码中，视频译码器(例如，视频编码器或视频解码器)可形成作为色彩表的所谓的“调色板”以用于表示特定区域(例如，给定块)的视频数据。基于调色板的译码可尤其适用于译码具有相对较小数目的色彩的视频数据的区域。除译码给定块的实际像素值或其残余之外，视频译码器可译码像素中的一或多者的索引值。所述索引值将像素映射到表示像素的色彩的调色板中的单元。调色板可经显式编码并且发送到解码器，从先前调色板条目预测，或其组合。在本发明中，描述用于确定是否在视频编码器或视频解码器处停用调色板译码块的过滤(例如解块过滤或样本适应性偏移(SAO)过滤)的技术。另外，描述用于至少部分基于率失真成本在视频编码器处修改调色板的调色板大小及调色板条目的技术。
在一个实例中，本发明涉及一种处理视频数据的方法，所述方法包括：确定视频数据块为调色板译码块；确定用于块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板；确定所述块的一或多个像素的索引值，所述索引值中的每一者对应于指示块的像素中的一者的色彩值的调色板条目中的一者；基于块的调色板及索引值重建构视频数据块；及基于块为调色板译码块确定停用重建构块的过滤。
在另一实例中，本发明涉及一种视频处理装置，其包括：经配置以存储视频数据的存储器；及与所述存储器通信的一或多个处理器。所述一或多个处理器经配置以：确定视频数据块为调色板译码块；确定用于块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板；确定块的一或多个像素的索引值，所述索引值中的每一者对应于指示块的像素中的一者的色彩值的调色板条目中的一者；基于块的调色板及索引值重建构视频数据块；及基于块为调色板译码块确定停用重建构块的过滤。
在又一实例中，本发明涉及一种视频处理装置，其包括：用于确定视频数据块为调色板译码块的装置；用于确定用于块的包括指示一或多个相应色彩值的一或多个调色板条目的调色板的装置；用于确定块的一或多个像素的索引值的装置，所述索引值中的每一者对应于指示块的像素中的一者的色彩值的调色板条目中的一者；用于基于块的调色板及索引值重建构视频数据块的装置；及用于基于块为调色板译码块确定停用重建构块的过滤的装置。
在额外实例中，本发明涉及一种计算机可读媒体，其上存储有用于处理视频数据的指令，所述指令在执行时引起一或多个处理器执行以下操作：确定视频数据块为调色板译码块；确定用于块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板；确定块的一或多个像素的索引值，所述索引值中的每一者对应于指示块的所述像素中的一者的色彩值的调色板条目中的一者；基于块的调色板及索引值重建构视频数据块；及基于块为调色板译码块确定停用重建构块过滤。
在随附图式及以下描述中阐述本发明的一或多个实例的细节。其它特征、目标及优点将从描述、图式及权利要求书显而易见。
附图说明
图1为说明可利用本发明中所描述的技术的实例视频译码系统的框图。
图2为说明可实施本发明中所描述的技术的实例视频编码器的框图。
图3为说明可实施本发明中所描述的技术的实例视频解码器的框图。
图4为说明符合本发明的技术的确定用于基于调色板的视频译码的调色板条目的实例的概念图。
图5为说明根据本发明的技术确定调色板译码块的过滤的视频译码器的实例操作的流程图。
图6为说明根据本发明的技术确定用于视频数据的调色板译码块的调色板的视频编码器的实例操作的流程图。
具体实施方式
本发明包含用于视频译码及压缩的技术。具体地说，本发明描述以基于调色板的译码支持视频内容(尤其是荧幕内容)的译码的技术。本发明描述基于调色板的译码的多个技术方面，包含用于确定在视频译码中的调色板译码块的调色板大小、调色板条目及过滤的技术。
在传统视频译码中，假设图像为连续色调的且在空间上平滑的。基于这些假设，已开发各种工具，例如基于块的变换、过滤等，且这类工具已展示针对译码自然内容视频的良好效能。然而，在如远程台式、协同工作且无线的显示器的应用中，计算机产生的荧幕内容(例如，文本或计算机图形)可为待压缩的主要内容。这种类型的内容倾向于具有离散色调并且以清晰线及高对比度物件边界为特征。连续色调及平滑度的假设可不再适用于荧幕内容，且因此传统视频译码技术可不为压缩包含荧幕内容的视频数据的有效方式。
本发明描述基于调色板的译码，其可特别适合于荧幕产生的内容译码。举例来说，假设视频数据的特定区域具有相对较少数目的色彩，那么视频译码器(例如，视频编码器或视频解码器)可形成所谓的“调色板”以表示特定区域的视频数据。调色板可表述为表示特定区域(例如，给定块)的视频数据的色彩表。举例来说，调色板可包含给定块中的最主要色彩(即，像素值)。在一些情况下，最主要色彩可包含在块内最频繁出现的一或多个色彩。另外，在一些情况下，视频译码器可应用阈值来确定是否包含一色彩来作为块中的最主要色彩中的一者。根据基于调色板的译码的各种方面，视频译码器可译码指示当前块的像素中的一或多者的索引值，而非译码当前块的实际像素值或其残余值。在基于调色板的译码的上下文中，索引值指示用于表示当前块的个别像素的色彩的调色板中的相应单元。
举例来说，视频编码器可通过确定用于块的调色板、定位调色板中表示块的像素中的一或多者的色彩的单元及用指示调色板中的单元的索引值编码块来编码视频数据块。针对映射到调色板中的单元的具有色彩值的块的那些像素，视频编码器可针对相应像素编码单元的索引值。针对不映射到调色板中的单元的具有色彩值的块的那些像素，视频编码器可针对像素编码特定索引且编码实际像素值或其残余值(或其量化版本)。这些像素可被称作“逸出像素”。在一些实例中，视频编码器可在经编码位流中用信号发送调色板以及索引值及任何逸出像素。相反，视频解码器可从经编码位流获得用于块的调色板以及块的像素中的一或多者的索引值及块的任何逸出像素的像素值。视频解码器可将索引值映射到调色板的单元且解码逸出像素以重建构块的像素值。
用于视频数据的基于调色板的译码的技术可与一或多个其它译码技术(例如用于帧间或帧内预测性译码的技术)一起使用。举例来说，如下文更详细描述，视频编码器或视频解码器或组合的编码器-解码器(编解码器)可经配置以执行帧间及帧内预测性译码以及基于调色板的译码。
在一些实例中，基于调色板的译码技术可经配置以与一或多个视频译码标准一起使用。举例来说，高效率视频译码(HEVC)为由ITU-T视频译码专家组(VCEG)及ISO/IEC 运动图片专家群组(MPEG)的视频译码联合合作小组(JCT-VC)开发的新视频译码标准。最近的HEVC文本说明书草案描述于Bross等人的“高效率视频译码(HEVC)文本说明书草案10(HighEfficiency Video Coding(HEVC)text specification draft 10)(针对FDIS&上一公告)”(ITU-T SG16WP 3及ISO/IEC JCT 1/SC 29/WG 11的JCT-VC，第12次会议:日内瓦,CH,2013年1月14至23日,JCTVC-L1003_v34(“HEVC草案10”))，其可从：http://phenix.int- evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip获得。定案的HEVC标准文件于2013年4月由国际电信联合会(ITU的电信标准化部门公开为“ITU-TH.265,系列H：视听及多媒体系统、视听服务的基础设施-移动视频的译码-高效率视频译码(SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisualservices-Coding of moving video-High efficiency video coding)”。
关于HEVC框架，作为一实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以用作HEVC的框架中的 PU模式。因此，在CU模式的上下文中描述的以下所有公开的过程可另外或替代地适用于PU。然而，不应认为这些基于HEVC的实例约束或限制本文中所描述的基于调色板的译码技术，因为这些技术可适用于独立地或作为其它现有或尚待开发系统/标准的一部分而工作。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状区域。
基于调色板的译码的基本理念为，针对每一CU，导出在当前CU中包含最主要色彩(即，像素值)的调色板。调色板的调色板大小及调色板条目可从视频编码器发射到视频解码器。可分别使用用于一或多个相邻CU(例如，上方及/或左方译码CU)的调色板的大小及单元直接译码或预测性译码所述调色板的调色板大小及单元。随后可根据某一扫描次序基于调色板编码CU的像素。针对CU中的每一像素位置，可发射标记以指示所述像素的色彩是否包含在调色板中。针对映射至调色板中的单元的那些像素，可针对 CU中的给定像素位置用信号发送与彼单元相关联的调色板索引。针对未映射到调色板中的单元的具有色彩值的那些像素(即，逸出像素)，可将特殊索引分配给像素且可针对 CU中的给定像素位置发射实际像素值或其残余值(或其量化版本)。可使用任何现有熵译码法(例如固定长度译码、一元译码等)来译码逸出像素。
在基于调色板的视频译码中，视频译码器(例如，视频编码器或视频解码器)导出用于待译码的给定视频块的调色板。如上文所论述，导出调色板以在给定块中包含最主要色彩或像素值。在一些实例中，为了确定最主要色彩，可使用直方图来将给定块的像素集群到不同群组中。可将使用适当算法导出调色板考虑为基于调色板的译码中的关键程序中的一者。本发明的技术涉及用于基于调色板的译码的调色板的导出的改良。
可从http://phenix.it-sudparis.eu/jct/doc_end_user/documents/16_San Jose/wg11/JCTVC-P0035-v1.zip获得的Guo等人的“RCE4:针对荧幕内容的调色板译码的HEVC范围扩展核心实验4(RCE4)的总结报告(Summary report of HEVC Range ExtensionsCore Experiments 4(RCE4)on palette coding for screen content)”(ITU-T SG 16 WP3及ISO/IEC JTC 1/SC 29/WG 11的视频译码联合合作小组(JCT-VC),第16次会议:San José,美国， 2014年1月9至17日，JCTVC-P0035)(下文称“JCTVC-P0035”)描述基于调色板的译码的两种方法，其据报告达成显著Bjontegaard失真率(BD率)降低，尤其对于荧幕内容是如此。在下文中简要概述所述两种方法。
在可从http://phenix.int-evry.fr/jct/doc_end_user/documents/16_San Jose/wg11/JCTVC-P0108-v1.zip获得的Guo等人的“RCE4:测试1.基于主要色彩的荧幕内容译码(Test 1. Major-color-based screen content coding)”(ITU-T SG 16WP 3及ISO/IEC JTC 1/SC 29/WG 11的JCT-VC,第16次会议：San José，美国，2014年1月9至17日,JCTVC-P0108)(下文称“JCTVC-P0108”)中更详细描述的第一方法中，使用基于直方图的算法来分类待译码的CU的像素。具体地说，选择直方图中的最高的N个峰值作为CU的主要色彩。接近主要色彩中的一者的像素值可经量化到主要色彩。将不属于任何主要色彩的像素考虑为逸出像素，其也在译码之前经量化。针对无损译码，不使用量化。
根据第一方法，通过使用分类，CU的像素可转换成色彩索引。对主要色彩的数目及值进行译码，且随后对色彩索引进行译码。针对CU的每一像素线，用信号发送标记以指示译码模式。存在三种模式：水平模式、垂直模式及普通模式。如果模式为水平模式，那么CU的整个像素线共用同一色彩索引，且发射每一像素线的色彩索引。如果模式为垂直模式，那么整个像素线与上方像素线相同。在这种情况下，由于当前像素线复制上方像素线的色彩索引，因此不发射任何事物(例如，不在经编码位流中用信号发送任何事物)。如果模式为普通模式，针对每一像素位置用信号发送标记以指示其是否与左方像素及上方像素中的一者相同。如果当前像素不同于左方像素及上方像素，那么发射当前像素的索引。另外，如果当前像素为逸出像素，那么发射像素值。
在可从http://phenix.int-evry.fr/jct/doc_end_user/documents/16_San Jose/wg11/JCTVC-P0198-v3.zip获得的Guo等人的“RCE4:对用于荧幕内容译码的调色板模式的测试2的结果(Results of Test 2 on Palette Mode for Screen Content Coding)”(ITU-T SG 16 WP 3及 ISO/IEC JTC 1/SC 29/WG 11的JCT-VC,第16次会议：San José，美国，2014年1月9 至17日,JCTVC-P0198)(下文简称“JCTVC-P0198”)中更详细描述的第二方法中，引入基于调色板的视频译码作为CU模式。第二方法的编码过程首先包含当前CU的调色板的发射。逐单元预测方案用于基于左方CU(即，与当前在左方的当前CU相邻的CU)的调色板来编码当前调色板。此后，发射调色板的未经预测单元。
第二方法的编码过程还包含当前CU的像素值的发射。使用以下三种模式以光栅扫描次序来编码当前CU中的像素。在“执行模式”中，首先用信号发送调色板索引，继之以长度为M的“palette_run”。以下M个调色板索引与用信号发送的调色板索引相同。在“复制上一模式”时，发射长度为N的值“copy_run”以指示以下N个调色板索引各自与上方像素线中的相应调色板索引相同。在“像素模式”中，首先发射预测标记。等于1的预测标记指示使用重建构顶部相邻像素作为预测因子来发射当前像素值的预测残余。如果预测标记等于0，那么在无需预测的情况下发射当前像素值。
本发明的技术涉及用于基于调色板的译码的调色板的导出的改良。更具体地说，本发明的技术包含在视频编码器处修改调色板的调色板大小及调色板条目，及确定是否在视频编码器或视频解码器处停用调色板译码块的过滤。
在一些实例中，在使用JCTVC-P0108中描述的集群法针对当前块确定调色板大小及调色板条目后，本发明的技术使得视频编码器能够根据率失真成本适应性地确定调色板大小及改变调色板条目。以此方式，所述技术使得能够修改最初通过集群法针对调色板确定的调色板大小及调色板条目。举例来说，所述技术包含：确定是保留还是移除调色板的给定索引值，确定是否将给定索引值合并到相邻索引值中，及改进经计算的调色板条目。尽管本发明主要描述了由视频编码器执行的调色板大小及调色板条目的修改技术，但在其它实例中，调色板修改技术还可由视频解码器执行。在那种情况下，例如，视频解码器可根据本发明的技术单独导出及修改调色板或可修改由视频编码器用信号发送的调色板。
另外，这些技术使得视频编码器及视频解码器能够停用调色板译码块的过滤(例如解块过滤或样本适应性偏移(SAO)过滤)。常规地，与帧间译码块同样地处理调色板译码块，因而，在将重建构块存储于经解码图片缓冲器中或输出以供显示之前对其自动应用过滤。根据所公开的技术，视频编码器及视频解码器可确定重建构块为调色板译码块，且基于彼确定在存储或输出块之前停用过滤。将过滤应用于调色板译块可不以与帧间译码块相同的方式产生改良的输出(例如，假设相对离散色调通常与调色板译码相关联)。因此，本发明的技术可用于在对品质无影响(或具有相对较小影响)的情况下降低调色板译码块的译码复杂性。
图1为说明可利用本发明的技术的实例视频译码系统10的框图。如本文所使用，术语“视频译码器”一般指代视频编码器及视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指代视频编码或视频解码。视频译码系统10的视频编码器20 及视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20及视频解码器30可经配置以使用基于调色板的译码或是非基于调色板的译码来选择性地译码视频数据的不同块 (例如HEVC译码中的CU或PU)。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC标准指定的各种译码模式。
如图1中所展示，视频译码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12所产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频译码装置或视频译码设备的实例。
源装置12及目的地装置14可包括广泛范围的装置，包含台式计算机、无线通信装置、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、电话手机(例如所谓的“智能”电话)、电视、照相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机或类似者。
目的地装置14可经由通道16从源装置12接收经编码视频数据。通道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一或多个媒体或装置。在一个实例中，通道16可包括使得源装置12能够即时地将经编码视频数据直接发射到目的地装置14的一或多个通信媒体。在这个实例中，源装置12可根据通信标准(例如，无线通信协议)调制经编码视频数据，且可将调制视频数据发射到目的地装置14。一或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一或多个实体发射线。一或多个通信媒体可形成基于数据包的网络(例如区域网络、广域网络或全球网络(例如，因特网))的部分。一或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，通道16可包含存储由源装置12产生的经编码视频数据的存储媒体。在这个实例中，目的地装置14可经由磁盘接入或卡接入来接入存储媒体。存储媒体可包含多种本地接入式数据存储媒体，例如蓝光光盘、DVD、CD-ROM、闪速存储器，或用于存储经编码视频数据的其它合适的数字存储媒体。
在又一实例中，通道16可包含存储由源装置12产生的经编码视频数据的文件服务器或另一中间存储装置。在这个实例中，目的地装置14可经由流式传输或下载来接入存储于文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据及将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附加存储 (NAS)装置及本地磁盘机。
目的地装置14可经由标准数据连接(例如，因特网连接)来接入经编码视频数据。数据连接的实例类型可包含适合于接入存储于文件服务器上的经编码视频数据的无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。经编码视频数据从文件服务器的发射可为流式传输发射、下载发射，或两者的组合。
本发明的技术并不限于无线应用或设定。所述技术可适用于(例如)经由网际网络支持多种多媒体应用(例如空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射)的视频译码、用于存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话的应用。
图1仅仅为一实例，且本发明的技术可适用于未必包含编码装置与解码装置之间的任何数据通信的视频译码设定(例如，视频编码或视频解码)。在其它实例中，从经由网络流式传输的本地存储器或类似者检索数据。视频编码装置可编码数据及将数据存储到存储器，及/或视频解码装置可从存储器检索数据及解码数据。在许多实例中，由并不彼此通信而是仅仅将数据编码到存储器及/或从存储器检索数据且解码数据的装置来执行编码及解码。
在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频检索装置(例如，摄影机)、含有先前所检索的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频馈入接口及/或用于产生视频数据的计算机图形系统，或视频数据的这些来源的组合。
视频编码器20可编码视频源18的视频数据。在一些实例中，源装置12经由输出接口22直接将经编码视频数据发射到目的地装置14。在其它实例中，经编码视频数据还可存储于存储媒体上或文件服务器上，以供目的地装置14稍后接入以用于解码及/或播放。
在图1的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由通道16 接收经编码视频数据。显示装置32可与目的地装置14集成或可在目的地装置外部。一般来说，显示装置32显示经解码视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
本发明可大体上涉及视频编码器20“用信息发送”或“发射”某些信息到另一装置(例如视频解码器30)。术语“用信息发送”或“发射”可大体上指代用于解码压缩视频数据的语法元素及/或其它数据的通信。可即时或近即时地发生此通信。替代地，可在一时间跨度内发生此通信，例如可于在编码时间处将语法元素以经编码位流存储到计算机可读存储媒体时发生，所述语法元素随后可由解码装置在存储到此媒体之后的任何时间进行检索。因此，虽然视频解码器30可被称作“接收”某些信息，但信息的接收未必即时或近即时发生且可在存储之后的某一时间处从媒体检索。
视频编码器20及视频解码器30各自可实施为多种合适电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、硬件或其任何组合。如果部分地在软件中实施技术，那么装置可将用于软件的指令存储于合适的非暂时性计算机可读存储媒体中，且可使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。可将前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者视为一或多个处理器。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器及解码器中的任一者可在对应装置(例如无线通信装置)中集成为组合编码器/解码器(编解码器)的一部分。
在一些实例中，视频编码器20及视频解码器30根据视频压缩标准(例如上文提及的 HEVC标准且描述于HEVC标准中)来操作。除基本HEVC标准以外，正持续努力产生 HEVC的可扩充视频译码、多视图视频译码及3D译码扩展。另外，可提供基于调色板的译码模式(例如，如本发明中所描述)以用于HEVC标准的扩展。在一些实例中，本发明中针对基于调色板的译码而描述的技术可适用于经配置以根据其它视频译码标准(例如ITU-T-H.188/AVC标准或未来标准)操作的编码器及解码器。因此，出于实例的目的而描述用于HEVC编解码器中的译码单元(CU)或预测单元(PU)的译码的基于调色板的译码模式的应用。
在HEVC及其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称作“帧”。图片可包含三个样本阵列，其标示为SL、SCb及SCr。SL为明度样本的二维阵列(即，块)。SCb为Cb彩度样本的二维阵列。SCr为Cr彩度样本的二维阵列。彩度样本在本文中还可被称作“色度”样本。在其它情况下，图片可为单色的，且可仅包含明度样本阵列。
为产生图片的经编码表示，视频编码器20可产生译码树型单元(CTU)集合。CTU 中的每一者可为明度样本的译码树型块、色度样本的两个对应译码树块及用于对译码树型块的样本进行译码的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛类似于例如H.188/AVC的其它标准的巨集块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续定序的整数数目个CTU。
为产生译码CTU，视频编码器20可对CTU的译码树型块递归地执行四分树分割，以将译码树型块划分成译码块，因此命名为“译码树型单元”。译码块为样本的N×N块。 CU可为具有明度样本阵列、Cb样本阵列及Cr样本阵列的图片的明度样本的译码块及色度样本的两个对应的译码块，以及用以译码所述译码块的样本的语法结构。视频编码器20可将CU的译码块分割成一或多个预测块。预测块可为应用了相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可为明度样本的预测块、图片的色度样本的两个对应预测块及用以对预测块样本进行预测的语法结构。视频编码器20可针对CU的每一PU的明度预测块、Cb预测块及Cr预测块产生预测性明块、预测性Cb块及预测性Cr块。
视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本来产生PU的预测性块。
如果视频编码器20使用帧间预测产生PU的预测性块，那么视频编码器20可基于除与PU相关联的图片之外的一或多个图片的经解码样本来产生PU的预测性块。视频编码器20可使用单向预测或双向预测来产生PU的预测性块。当视频编码器20使用单向预测来产生PU的预测性块时，PU可具有单一MV。当视频编码器20使用双向预测来产生PU的预测性块时，PU可具有两个MV。
在视频编码器20产生CU的一或多个PU的预测性明度块、预测性Cb块及预测性 Cr块之后，视频编码器20可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一者中的明度样本与CU的初始明度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的初始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的初始Cr译码块中的对应样本之间的差异。
此外，视频编码器20可使用四分树分割将CU的明度残余块、Cb残余块及Cr残余块分解成一或多个明度变换块、Cb变换块及Cr变换块。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可为明度样本的变换块、色度样本的两个对应的变换块及用于对变换块样本进行变换的语法结构。因此，CU的每一TU可与明度变换块、 Cb变换块及Cr变换块相关联。与TU相关联的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。
视频编码器20可将一或多个变换应用到TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量数量。视频编码器20可将一或多个变换应用到TU的Cb变换块，以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化所述系数块。量化大体上指代量化变换系数以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器20量化系数块之后，视频编码器20可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文适应性二进制算术译码(CABAC)。视频编码器20可在位流中输出熵编码语法元素。
视频编码器20可输出包含熵编码语法元素的位流。位流可包含形成译码图片及相关联数据的表示的位序列。位流可包括网络抽象层(NAL)单元的序列。NAL单元中的每一者包含NAL单元标头，且封装原始位元组序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个位元组的语法结构。在一些情况下，RBSP包含零个位元。
不同类型的NAL单元可封装不同类型的RBSP。举例来说，第一类型的NAL单元可封装用于图片参数集(PPS)的RBSP，第二类型的NAL单元可封装用于经译码切片的 RBSP，第三类型的NAL单元可封装用于SEI的RBSP，等等。封装视频译码数据的 RBSP(与参数集及SEI讯息的RBSP相反)的NAL单元可被称作视频译码层(VCL)NAL 单元。
视频解码器30可接收由视频编码器20产生的位流。另外，视频解码器30可剖析所述位流以从所述位流解码语法元素。视频解码器30可至少部分基于从位流解码的语法元素来重建构视频数据的图片。重建构视频数据的过程可大体上与由视频编码器20 执行的过程互逆。
举例来说，视频解码器30可使用PU的MV来确定当前CU的PU的预测性样本块。另外，视频解码器30可反量化与当前CU的TU相关联的变换系数块。视频解码器30 可对变换系数块执行反变换，以重建构与当前CU的TU相关联的变换块。通过将当前 CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重建构当前CU的译码块。通过重建构图片的每一CU的译码块，视频解码器 30可重建构图片。
在一些实例中，视频编码器20及视频解码器30可经配置以执行基于调色板的译码。举例来说，在基于调色板的译码中，除执行上文所描述的帧内预测性或帧间预测性译码技术之外，视频编码器20及视频解码器30可译码作为色彩表的所谓的调色板以用于表示特定区域(例如，给定块)的视频数据。每一像素可与调色板中表示像素的色彩的单元相关联。举例来说，视频编码器20及视频解码器30可译码使像素值与调色板中的适当值相关的索引。
在以上实例中，视频编码器20可通过确定用于块的调色板、定位调色板中表示每一像素的值的单元及使用使像素值与调色板相关的像素的索引值编码调色板来编码视频数据块。视频解码器30可从经编码位流获得用于块的调色板，以及块的像素的索引值。视频解码器30可使像素的索引值与调色板的单元相关以重建构块的像素值。
在一些实例中，视频编码器20可编码指示具有相同像素值的按给定扫描次序的大量连续像素的一或多个语法元素。类值像素值串在本文中可被称作“轮次(run)”。在出于说明的目的的实例中，如果按给定扫描次序的两个连续像素具有不同值，那么轮次等于零。如果按给定扫描次序的两个连续像素具有相同值，但按所述扫描次序的第三像素具有不同值，那么轮次等于一。视频解码器30可从经编码位流获得指示轮次的语法元素且使用所述数据来确定具有相同索引值的连续像素位置的数目。
在一些实例中，视频编码器20及视频解码器30可针对索引值的映射的一或多个单元执行线复制。举例来说，视频编码器20可指示索引图中的特定单元的像素值等于特定单元上方的线中的单元。视频编码器20还可按照轮次指示等于特定单元上方的线中的单元的按扫描次序的索引的数目。在这个实例中，视频编码器20及/或视频解码器30 可从指定相邻线及从用于当前被译码的图的线的指定数目的单元复制像素值。
根据本发明的技术，视频编码器20及视频解码器30可基于重建构块是否为调色板译码块来确定是否停用重建构块的过滤。另外，视频编码器20可导出用于调色板译码块的调色板，且确定是否至少部分基于率失真成本确定是否修改以下中的至少一者：调色板的调色板大小或一或多个调色板条目。具体地说，在一些实例中，视频编码器20 及视频解码器30可经配置以执行下文关于图4至6更详细描述的本发明的技术。
图2为说明可实施本发明的技术的实例视频编码器20的框图。出于解释的目的而提供图2，且不应将图2视为对本发明中所广泛例示及描述的技术的限制。出于解释的目的，本发明在HEVC译码的上下文中描述视频编码器20。然而，本发明的技术可适用于其它译码标准或方法。
视频编码器20表示可经配置以根据本发明中描述的各种实例执行用于基于调色板的视频译码的技术的装置的实例。举例来说，视频编码器20可经配置以使用基于调色板的译码或是非基于调色板的译码来选择性地对视频数据的各种块(例如，HEVC译码中的CU或PU)进行译码。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC标准指定的各种译码模式。在一个实例中，视频编码器20可经配置以产生具有指示像素值的单元的调色板、选择调色板中的像素值以表示视频数据块的至少一些位置的像素值及用信号发送使视频数据块的位置中的至少一些与调色板中分别对应于所选像素值的单元相关联的信息。用信号发送的信息可由视频解码器30用来解码视频数据。
在图2的实例中，视频编码器20包含视频数据存储器98、预测处理单元100、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元 110、重建构单元112、过滤器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单元120及帧内预测处理单元126。帧间预测处理单元120包含运动估计单元及运动补偿单元(未图示)。视频编码器20还包含经配置以执行本发明中所描述的基于调色板的译码技术的各种方面的基于调色板的编码单元122。在其它实例中，视频编码器20可包含更多、更少或不同功能性组件。
视频数据存储器98可存储待由视频编码器20的组件编码的视频数据。存储于视频数据存储器98中的视频数据可(例如)从视频源18获得。经解码图片缓冲器116可为参考图片存储器，其存储参考视频数据以供视频编码器20(例如)在帧内或帧间译码模式中编码视频数据时使用。视频数据存储器98及经解码图片缓冲器116可由多种存储器装置中的任一者形成，所述存储器装置例如动态随机接入存储器(DRAM)(包含同步DRAM (SDRAM))、磁电阻RAM(MRAM)、电阻RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或独立存储器装置提供视频数据存储器98及经解码图片缓冲器116。在各种实例中，视频数据存储器98可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频编码器20可接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。CTU中的每一者可与相等大小的明度译码树型块(CTB)及图片的对应CTB 相关联。作为编码CTU的一部分，预测处理单元100可执行四分树分割来将CTU的CTB 划分成逐渐更小的块。所述较小块可为CU的译码块。举例来说，预测处理单元100可将与CTU相关联的CTB分割成四个相等大小的子块，将子块中的一或多者分割成四个相等大小的次子块，等等。
视频编码器20可编码CTU的CU来产生所述CU的经编码表示(即，经译码CU)。作为编码CU的一部分，预测处理单元100可将与CU相关联的译码块分割成CU的一或多个PU。因此，每一PU可与明度预测块及对应的色度预测块相关联。视频编码器 20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指代CU 的明度译码块的大小且PU的大小可指代PU的明度预测块的大小。假设特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N 的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似者的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及 nR×2N的PU大小的不对称分割。
帧间预测处理单元120可通过对CU的每一PU执行帧间预测来产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性样本块及PU的运动信息。取决于 PU是在I切片中、P切片中还是B切片中，帧间预测单元121可针对CU的PU执行不同操作。在I切片中，所有PU经帧内预测。因此，如果PU在I切片中，那么帧间预测单元121不对PU执行帧间预测。因此，对于I模式中编码的块，使用空间预测同一帧内先前编码的相邻块形成经预测块。
如果PU在P切片中，那么帧间预测处理单元120的运动估计单元可在PU的参考区域的参考图片清单(例如，“RefPicList0”)中搜索参考图片。PU的参考区域可为参考图片内含有最紧密地对应于PU的样本块的样本块的区域。运动估计单元可产生指示含有PU的参考区域的参考图片在RefPicList0中的位置的参考索引。另外，运动估计单元可产生指示PU的译码块与关联于参考区域的参考位置之间的空间移位的MV。举例来说，MV可为提供从当前经解码图片中的坐标到参考图片中的坐标的偏移的二维向量。运动估计单元可将参考索引及MV作为PU的运动信息输出。帧间预测处理单元120的运动补偿单元可基于在由PU的运动向量指示的参考位置处的实际或内插样本产生PU 的预测性样本块。
如果PU在B切片中，那么运动估计单元可针对PU执行单向预测或双向预测。为针对PU执行单向预测，运动估计单元可针对PU的参考区域搜索RefPicList0或第二参考图片清单(“RefPicList1”)中的参考图片。运动估计单元可将指示含有参考区域的参考图片在RefPicList0或RefPicList1中的位置的参考索引、指示PU的样本块与关联于参考区域的参考位置之间的空间移位的MV及指示参考图片在RefPicList0还是RefPicList1 中的一或多个预测方向指示符作为PU的运动信息输出。帧间预测处理单元120的运动补偿单元可至少部分基于在由PU的运动向量指示的参考区域处的实际或内插样本产生 PU的预测性样本块。
为针对PU执行双向帧间预测，运动估计单元可针对PU的参考区域在RefPicList0中搜索参考图片，且也可针对PU的另一参考区域在RefPicList1中搜索参考图片。运动估计单元可产生指示含有参考区域的参考图片在RefPicList0及RefPicList1中的位置的参考图片索引。另外，运动估计单元可产生指示与参考区域相关联的参考位置与PU的样本块之间的空间移位的MV。PU的运动信息可包含PU的参考索引及MV。运动补偿单元可至少部分基于由PU的运动向量指示的参考区域处的实际样本或经内插样本来产生PU的预测性样本块。
帧内预测处理单元126可通过对PU执行帧内预测来产生PU的预测性数据。PU的预测性数据可包含PU的预测性样本块及各种语法元素。帧内预测处理单元126可对I 切片、P切片及B切片中的PU执行帧内预测。
为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式，以产生PU的预测性数据的多个集合。为了使用帧内预测模式来产生PU的预测性数据集合，帧内预测处理单元126可使样本在与帧内预测模式相关联的方向上从相邻PU的样本块延伸跨越PU的样本块。假设PU、CU及CTU的从左到右、从上到下的编码次序，相邻 PU可在PU上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目的帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。
预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的率/失真量度来选择用于CU的PU的预测性数据。具有所选预测性数据的预测性样本块在本文中可被称作所选预测性样本块。
残余产生单元102可基于CU的明度、Cb及Cr译码块及CU的PU的所选预测性明度块、预测性Cb块及预测性Cr块产生CU的明度残余块、Cb残余块及Cr残余块。举例来说，残余产生单元102可产生CU的残余块，以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四分树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与明度变换块及两个色度变换块相关联。CU的TU的明度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一者相关联的节点。CU 的TU可对应于RQT的叶节点。
通过将一或多个变换应用到TU的变换块，变换处理单元104可产生CU的每一TU 的变换系数块。变换处理单元104可将各种变换应用到与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、方向变换或概念上类似的变换应用到变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在这些实例中，可将变换块视作变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可降低与变换系数中的一些或全部相关联的位元深度。举例来说，可在量化期间将n位元变换系数四舍五入成m位元变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于关联于CU的系数块的量化程度。量化可引入信息丢失，因此经量化的变换系数可具有比初始变换系数更低的精度。
反量化单元108及反变换处理单元110可将反量化及反变换分别应用到系数块，以从系数块重建构残余块。重建构单元112可将重建构残余块添加到由预测处理单元100 产生的一或多个预测性样本块的对应样本，以产生与TU相关联的重建构变换块。通过以此方式重建构CU的每一TU的变换块，视频编码器20可重建构CU的译码块。
过滤器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块假影。经解码图片缓冲器116可在过滤器单元114对重建构译码块执行一或多个解块操作之后存储重建构译码块。帧间预测处理单元120可使用含有重建构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116 中的重建构译码块来对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可从视频编码器20的其它功能性组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生熵编码数据。举例来说，熵编码单元118可对数据执行上下文适应性可变长度译码(CAVLC)操作、CABAC操作、可变至可变(variable-to-variable；V2V)长度译码操作、基于语法的上下文适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数葛洛姆编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118产生的熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。
根据本发明的各种实例，视频编码器20可经配置以执行基于调色板的译码。就HEVC构架来说，作为实例，基于调色板的译码技术可经配置以用作译码单元(CU)模式。在其它实例中，基于调色板的译码技术可经配置以在HEVC的构架中用作PU模式。因此，本文中(贯穿本发明)在CU模式的上下文中描述的全部所公开过程可另外或替代地适用于PU。然而，不应认为这些基于HEVC的实例约束或限制本文中所描述的基于调色板的译码技术，因为这些技术可适用于独立地或作为其它现有或尚待开发系统/标准的一部分工作。在这些情况下，用于调色板译码的单元可为正方形块、矩形块或甚至非矩形形状区域。
当选择基于调色板的编码模式以(例如)用于CU或PU时，基于调色板的编码单元122(例如)可执行基于调色板的编码。举例来说，基于调色板的编码单元122可经配置以产生具有指示像素值的单元的调色板、选择调色板中的像素值以表示视频数据块的至少一些位置的像素值及用信号发送使视频数据块的位置中的至少一些与调色板中分别对应于所选像素值的单元相关联的信息。尽管描述了各种功能由基于调色板的编码单元 122执行，但这些功能中的一些或全部可由其它处理单元或不同处理单元的组合执行。
根据本发明的一些方面，基于调色板的编码单元122可经配置以导出用于调色板译码块的调色板及确定是否至少部分基于率失真成本修改以下中的至少一者：调色板的调色板大小或一或多个调色板条目。举例来说，在下文关于图4更详细描述的针对当前块使用像素值集群法确定调色板条目及调色板大小后，基于调色板的编码单元122确定是否减小最初由像素值集群法确定的调色板的调色板大小。在一个实例中，基于调色板的编码单元122基于率失真成本的比较确定是保留还是移除给定索引值，以用于使用给定索引值编码像素或将像素编码为逸出像素，包含编码像素的量化像素值。在另一实例中，基于调色板的编码单元122基于率失真成本的比较确定是否将给定索引值合并到相邻索引值中(例如，组合索引值以形成单个索引值)，以用于使用给定索引值编码像素或使用相邻索引值编码像素。
作为另一实例，基于调色板的编码单元122确定是否修改最初通过像素值集群法确定的调色板的调色板条目中的一或多者。在这个实例中，基于调色板的编码单元122使用k均值集群法确定用于调色板译码块的代表性调色板，下文关于图4更详细描述所述操作。代表性调色板包含指示块的像素的平均像素值的代表性调色板条目。基于调色板的编码单元122基于由代表性调色板的对应代表性调色板条目指示的平均像素值确定是否修改初始调色板的给定调色板条目。
关于图4及6在下文更详细描述用于确定调色板译码块的调色板的调色板大小及调色板条目的技术。尽管本发明主要描述由视频编码器执行的调色板大小及调色板条目的修改技术，但在其它实例中，调色板修改技术还可由视频解码器(例如视频解码器30)执行。在彼情况下，例如，视频解码器30可根据本发明的技术单独导出及修改调色板，或可修改由视频编码器20用信息发送的调色板。
根据本发明的其它方面，视频编码器20可经配置以确定是否在将重建构块存储于经解码图片缓冲器116之前停用过滤器单元114对重建构调色板译码块的过滤。举例来说，视频编码器20可停用过滤器单元114对调色板译码块的解块过滤及/或SAO过滤。常规地，与帧间译码块同样地处理调色板译码块，因而，在将重建构块存储于经解码图片缓冲器中或输出以供显示之前对其自动应用过滤。根据所公开的技术，视频编码器20 可确定重建构块为调色板译码块，且基于彼确定在将块存储于经解码图片缓冲器116之前停用过滤器单元114进行的过滤。下文关于图4及5更详细描述用于确定调色板译码块的过滤的技术。
图3为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图3，且其并不限制如本发明中所广泛例示及描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。
视频解码器30表示可经配置以执行根据本发明中描述的各种实例的用于基于调色板的视频译码的技术的装置的实例。举例来说，视频解码器30可经配置以使用基于调色板的译码或是非基于调色板的译码来选择性地解码视频数据的不同块(例如，HEVC译码中的CU或PU)。非基于调色板的译码模式可指代各种帧间预测性时间译码模式或帧内预测性空间译码模式，例如由HEVC标准指定的各种译码模式。在一个实例中，视频解码器30可经配置以产生具有指示像素值的单元的调色板、接收将视频数据块的至少一些位置与调色板中的单元相关联的信息、基于信息选择调色板中的像素值及基于所选像素值重建构块的像素值。
在图3的实例中，视频解码器30包含视频数据存储器148、熵解码单元150、预测处理单元152、反量化单元154、反变换处理单元156、重建构单元158、过滤器单元160 及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。视频解码器30还包含经配置以执行本发明中所描述的基于调色板的译码技术的各种方面的基于调色板的解码单元165。在其它实例中，视频解码器30可包含更多、更少或不同的功能性组件。
视频数据存储器148可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储于视频数据存储器148中的视频数据可(例如)经由视频数据的有线或无线网络通信或通过接入实体数据存储媒体而从计算机可读媒体16(例如，从本地视频源，例如，照相机)获得。视频数据存储器148可形成存储经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于由视频解码器30 (例如)在帧内或帧间译码模式中解码视频数据时使用的参考视频数据的参考图片存储器。视频数据存储器148及经解码图片缓冲器162可由多种存储器装置中的任一者形成，所述存储器装置例如动态随机接入存储器(DRAM)(包含同步DRAM(SDRAM))、磁电阻 RAM(MRAM)、电阻RAM(RRAM)或其它类型的存储器装置。可由同一存储器装置或独立存储器装置提供视频数据存储器148及经解码图片缓冲器162。在各种实例中，视频数据存储器148可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。
视频数据存储器148(即，CPB)可接收及存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器148接收经编码视频数据(例如，NAL单元) 且可剖析NAL单元来解码语法元素。熵解码单元150可对NAL单元中的熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重建构单元 158及过滤器单元160可基于从位流获得(例如，提取)的语法元素来产生经解码视频数据。
位流的NAL单元可包含经译码切片NAL单元。作为解码位流的一部分，熵解码单元150可从经译码切片NAL单元提取及熵解码语法元素。经译码切片中的每一者可包含切片标头及切片数据。切片标头可含有关于切片的语法元素。切片标头中的语法元素可包含识别与含有切片的图片相关联的PPS的语法元素。
除了从位流解码语法元素之外，视频解码器30可对未经分割的CU执行重建构操作。为了对未经分割的CU执行重建构操作，视频解码器30可对CU的每一TU执行重建构操作。通过对CU的每一TU执行重建构操作，视频解码器30可重建构CU的残余块。
作为对CU的TU执行重建构操作的一部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。反量化单元154可使用与TU的CU相关联的QP值来确定反量化单元154应用的量化的程度及(同样地)反量化的程度。也就是说，可通过调整在量化变换系数时所使用的QP值来控制压缩比(即，用以表示初始序列以及经压缩序列的位元的数目的比率)。压缩比还可取决于所采用的熵译码方法。
在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反 DCT、反整数变换、反卡忽南-拉維(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。
如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生用于PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于在空间上相邻的PU的预测块来产生PU的预测性明度块、预测性Cb块及预测性Cr块。帧内预测处理单元166可基于从位流解码的一或多个语法元素来确定用于PU的帧内预测模式。
预测处理单元152可基于从位流提取的语法元素来建构第一参考图片清单(RefPicList0)及第二参考图片清单(RefPicList1)。此外，如果使用帧间预测编码PU，那么熵解码单元150可提取PU的运动信息。运动补偿单元164可基于PU的运动信息来确定PU的一或多个参考区域。运动补偿单元164可基于在PU的一或多个参考块处的样本块产生PU的预测性明度块、预测性Cb块及预测性Cr块。
重建构单元158可使用与CU的TU相关联的明度变换块、Cb变换块及Cr变换块以及CU的PU的预测性明度块、预测性Cb块及预测性Cr块(即，帧内预测数据或是帧间预测数据)(如果适用)来重建构CU的明度译码块、Cb译码块以及Cr译码块。举例来说，重建构单元158可将明度变换块、Cb变换块及Cr变换块的样本添加到预测性明度块、预测性Cb块及预测性Cr块的对应样本以重建构CU的明度译码块、Cb译码块及 Cr译码块。
过滤器单元160可执行解块操作以减少与CU的明度译码块、Cb译码块及Cr译码块相关联的块假影。视频解码器30可将CU的明度译码块、Cb译码块及Cr译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器 30可基于经解码图片缓冲器162中的明度块、Cb块及Cr块对其它CU的PU执行帧内预测或帧间预测操作。以此方式，视频解码器30可从位流提取有效明度系数块的变换系数阶、反量化变换系数阶、对变换系数阶应用变换以产生变换块、至少部分基于所述变换块产生译码块及输出译码块以供显示。
根据本发明的各种实例，视频解码器30可经配置以执行基于调色板的译码。当选择基于调色板的解码模式以(例如)用于CU或PU时，基于调色板的解码单元165(例如) 可执行基于调色板的解码。举例来说，基于调色板的解码单元165可经配置以产生具有指示像素值的条目的调色板、接收将视频数据块的至少一些位置与调色板中的条目相关联的信息、基于所述信息选择调色板中的像素值及基于所选像素值重建构块的像素值。尽管描述了各种功能由基于调色板的解码单元165执行，但这些功能中的一些或全部可由其它处理单元或不同处理单元的组合来执行。
根据本发明的方面，视频解码器30可经配置以确定是否在将重建构块存储于经解码图片缓冲器162之前停用过滤器单元160对重建构调色板译码块的过滤。举例来说，视频解码器30可停用过滤器单元160对调色板译码块的解块过滤及/或SAO过滤。常规地，与帧间译码块同样地处理调色板译码块，且因而，在将重建构块存储于经解码图片缓冲器中或输出以供显示之前对其自动应用过滤。根据所公开的技术，视频解码器30 可确定重建构块为调色板译码块且基于彼确定在将块存储于经解码图片缓冲器162之前停用过滤器单元160进行的过滤。下文关于图4及5更详细描述用于确定调色板译码块的过滤的技术。
图4为说明根据本发明的技术确定用于译码视频数据的调色板的实例的概念图。图 4的实例包含图片178，其具有译码为与第一调色板184相关联的调色板(PAL)译码块的第一译码单元180(CU)及译码为与第二调色板192相关联的调色板(PAL)译码块的第二 CU188。图片178还包含通过帧内预测译码模式译码的帧内块196及通过帧间预测译码模式译码的帧间块200。出于解释的目的，在视频编码器20(图1及图2)及视频解码器 30(图1及图3)的上下文中且关于HEVC标准描述图4的技术。然而，应理解本发明的技术不限于此方式，且可由其它视频译码处理器及/或装置应用于其它视频译码过程及/ 或标准中。
一般来说，调色板指代对于当前正被译码的CU(图4的实例中的CU 188)来说为主要的及/或代表性的大量像素值。第一调色板184及第二调色板192经展示为包含多个调色板。在一些实例中，根据本发明的方面，视频译码器(例如视频编码器20或视频解码器30)可针对CU的每一色彩分量单独译码调色板。举例来说，视频编码器20可编码用于CU的明度(Y)分量的调色板、用于CU的色度(U)分量的另一调色板及用于CU的色度(V)分量的又一调色板。在这个实例中，Y调色板的单元可表示CU的像素的Y值，U 调色板的单元可表示CU的像素的U值，且V调色板的单元可表示CU的像素的V值。
在其它实例中，视频编码器20可编码用于CU的全部色彩分量的单个调色板。在此实例中，视频编码器20可编码具有为三重值(包含Yi、Ui及Vi)的第i个单元的调色板。在此情况下，调色板包含用于像素的分量中的每一者的值。因此，作为具有多个个别调色板的调色板集合的调色板184及192的表示仅为一个实例且并不意欲为限制性的。
在图4的实例中，第一调色板184包含分别具有索引值1、索引值2及索引值3的三个调色板条目202、204、206。调色板条目202、204、206使索引值与分别包含像素值A、像素值B及像素值C的像素值(即，色彩值)相关。如本文所描述，除译码第一CU 180的实际像素值之外，视频译码器(例如视频编码器20或视频解码器30)可使用基于调色板的译码来使用索引值1、2、3对块的像素进行译码。也就是说，针对第一CU 180 的每一像素位置，视频编码器20可编码像素的索引值，其中像素值对应于指示第一调色板184中的一或多者中的像素的像素值的调色板条目。视频解码器30可从位流获得索引值且使用索引值及第一调色板184中的一或多者重建构像素值。因此，通过视频编码器20在经编码视频数据位流中发射第一调色板184以供视频解码器30用于基于调色板的解码。
在一些实例中，视频编码器20及视频解码器30可基于第一调色板184确定第二调色板192。举例来说，视频编码器20及/或视频解码器30可定位一或多个块，从所述一或多个块确定预测性调色板(在此实例中，第一调色板184)。在一些实例中(例如图4中说明的实例)，视频编码器20及/或视频解码器30可在确定第二CU 188的预测性调色板时定位先前译码的CU(例如左相邻CU(第一CU 180))。
在图4的实例中，第二调色板192包含分别具有索引值1、索引值2及索引值3的三个调色板条目208、210、212。调色板条目208、210、212使索引值与分别包含像素值A、像素值B及像素值D的像素值相关。在这个实例中，视频编码器20可对指示第一调色板184的哪些单元包含在第二调色板192中的一或多个语法元素进行译码。在图 4的实例中，将所述一或多个语法元素说明为向量216。向量216具有大量相关联的二进制(或二进制位元)，其中每一二进制指示是否将与彼二进制相关联的调色板预测因子用于预测当前调色板的单元。举例来说，向量216指示第一调色板184的前两个单元(单元202及204)包含在第二调色板192中(在向量216的前两个二进制中的值“1”)，而第一调色板184的第三单元不包含在第二调色板192中(在向量216的第三二进制中的值“0”)。在图4的实例中，向量为布林(Boolean)向量。
本发明的技术涉及用于基于调色板的译码的调色板的导出的改良。更具体地说，本发明的技术包含在视频编码器20处修改调色板的调色板大小及调色板条目，及确定是否在视频编码器20及/或视频解码器30处停用调色板译码块的过滤。在图4的实例中，视频编码器20可执行本发明的调色板修改技术以导出第一调色板184。随后通过视频编码器20在经编码视频数据位流中发射第一调色板184以供视频解码器30用于基于调色板的解码。尽管主要关于视频编码器20在本发明中进行描述，但在其它实例中，本发明的调色板修改技术可通过视频编码器20及视频解码器30两者执行。在彼情况下，例如，视频解码器30可单独导出第一调色板184或可根据本发明的技术修改由视频编码器20发射的第一调色板184。虽然出于解释的目的关于第一调色板184进行描述，但可使用其它配置及/或大小的多种其它调色板执行所述技术。
在基于调色板的译码模式中，如JCTVC-P0035、JCTVC-P0108及JCTVC-P0198(上文引用)中所描述，视频编码器20可使用像素值集群法导出用于调色板译码块(例如，CU 180)的调色板。使用适当算法导出调色板(例如，第一调色板184)是调色板模式编码中的关键程序之一。举例来说，视频编码器20可导出包含多个单元的直方图，其中每一单元包含相应色彩值及映射到色彩值的块的相应数量的像素。作为一个实例，视频编码器 20可确定视频数据块的直方图H。直方图H可由H＝{(vi,fi)，i＝{0,1,2,…,M}}来表示，其中M+1为当前块中不同像素值的数目，vi为第i个像素的像素值，且fi为vi的出现次数 (即，当前块中有多少像素具有像素值vi)。在一些实例中，直方图的多个单元中的每一者表示具有相同像素值的像素的数量。在一些实例中，直方图的多个单元中的每一者表示当经量化时具有相同像素值的像素的数量。
在导出直方图后，视频编码器20可将调色板P初始化为空(即，)、将调色板的索引值初始化为零(即，idx＝0)及/或将直方图的索引值初始化为零(即，设定j＝0)。视频编码器20随后基于单元中的每一者的像素的相应数量按降序分类直方图的单元，以使得直方图的第一单元包含相对于其它色彩值具有最高数量的像素的色彩值。举例来说，视频编码器20可根据fi的降序分类直方图H，以将在当前块中具有更多出现次数的像素值置放于直方图的前部附近。可由Ho＝{(ui,fi),i＝{0,1,2,…,M},fi≥fi+1}来表示经分类直方图。
视频编码器20随后可基于直方图的单元确定当前块的调色板的调色板大小及调色板条目。举例来说，视频编码器20可将经分类直方图的第一单元(j,uj)插入到调色板中，即，P＝P∪{(idx,uj)}。视频编码器20随后可递增调色板索引(即，idx＝idx+1)及递增直方图索引(即，j＝j+1)。视频编码器20可确定对应于经分类直方图中的下一单元的像素值是否在邻近已包含于调色板中的像素值中的任一者。举例来说，视频编码器20可确定距离值，所述距离值对应于与经分类直方图中的下一单元对应的像素值与已包含于调色板中的像素值中的一或多者之间的差。如果确定的差值大于或等于阈值(即，Distance(uj, x)≥Thresh)，那么视频编码器20可将新单元插入指示对应于经分类直方图中的下一单元的像素值的调色板中。如果确定的差值不满足阈值(即，Distance(uj,x)<Thresh)，那么视频编码器20确定对应于经分类直方图中的下一单元的像素值邻近已包含于调色板中的像素值，且将不添加新单元到调色板中。视频编码器20随后可递增直方图索引，即， j＝j+1。
在一些实例中,如果一或多个条件满足一或多个相应阈值，那么视频编码器20可停止确定调色板(例如，停止将单元添加到调色板)。作为一个实例，当调色板的大小大于预定义值时，视频编码器20可停止确定调色板。作为另一实例，当调色板索引的值等于当前块中不同像素值的数目(即，idx＝M)时，视频编码器20可停止确定调色板。作为另一实例，当直方图索引的值等于当前块中不同像素值的数目(即，j＝M)时，视频编码器20可停止确定调色板。
根据本发明的技术，在确定调色板的调色板大小及调色板条目后，视频编码器20可至少部分基于率失真成本确定是否修改以下中的至少一者：调色板的调色板大小或调色板条目中的一或多者。以此方式，所述技术使得视频编码器20能够确定是否修改最初针对调色板确定的调色板大小及调色板条目。
举例来说，视频编码器20可基于使用索引值1编码CU 180的像素或将CU 180的同一像素编码为逸出像素(即，直接量化像素值及发射像素的经量化值)的率失真成本来确定是保留还是移除对应于调色板条目中的给定者的给定索引值(例如，调色板184中的单元202的索引值1)。在这个实例中，确定从调色板184移除索引值1及对应调色板条目202减小调色板大小，例如，调色板184可能仅包含单元204及206。
在一个实例中，视频编码器20计算用于使用对应于调色板条目中的给定者(其指示像素的色彩值)的给定索引值编码当前块的像素的第一率失真成本，例如，当用索引t对映射到调色板索引t的像素进行译码时，针对每一调色板索引t计算RD(idx_coding,t)。视频编码器20随后计算用于将当前块的同一像素编码为逸出像素的第二率失真成本，例如，当以逸出模式对属于调色板索引t的像素进行译码时针对每一调色板索引t计算 RD(escape_coding,t)，所述逸出模式包含编码特定索引值及直接量化像素值且发射像素的量化值。
视频编码器20随后比较第一率失真成本计算与第二率失真成本计算以确定是保留还是移除给定索引值及调色板的调色板条目中的对应者。举例来说，如果第一率失真成本高于第二率失真成本，那么视频编码器20可从调色板移除给定索引及调色板条目中的对应者，例如，从调色板184移除单元202的索引值1。在这个实例中，相对于调色板184中的其它色彩值，单元202的色彩值A很可能偶尔出现在CU 180中，即，具有较低数量的CU 180的相关联像素。
在一些实例中，视频编码器20可针对调色板184的每一调色板条目202、204、206执行此保留或移除确定，但在许多情况下，可能仅移除具有少量相关联像素的“低出现率”调色板条目。这是因为对包含低出现率调色板条目的较大调色板进行译码的成本及使用对应于低出现率调色板条目的高索引值对像素进行译码的成本可能高于将少量像素译码为逸出像素的成本。以此方式，所述技术使得视频编码器20能够从最初导出的调色板移除指示在待编码的当前块中偶尔出现的色彩值的一或多个调色板条目。
作为另一实例，视频编码器20可基于使用索引值1或使用相邻索引值2编码CU 180的像素的率失真成本确定是否将对应于调色板条目中的给定者的给定索引值(例如，调色板184中的单元202的索引值1)合并到对应于调色板条目中的相邻者的相邻索引值(例如，调色板184中的单元204的索引值2)。在一种情况下，单元204的相邻索引值2可为就距单元202的给定索引值1的最小欧几里得距离来说的最接近索引值。在另一情况下，单元204的相邻索引值2可为就相对于单元202的给定索引值1的索引次序来说的最接近索引值。在这个实例中，确定将给定索引值1及调色板184的对应调色板条目202 合并到相邻索引值2及调色板184的对应相邻调色板条目204中减小调色板大小，例如，调色板184可能仅包含单元204及206。
在一个实例中，视频编码器20计算用于使用对应于调色板条目中的给定者(其指示像素的第一色彩值)的给定索引值编码当前块的像素的第一率失真成本，例如，当用索引t对映射到调色板索引t的像素进行译码时，针对每一调色板索引t计算 RD(separate_coding,t)。视频编码器20随后计算用于使用对应于调色板条目中的相邻者 (其指示像素的第二色彩值)的相邻索引值编码当前块的同一像素的第二率失真成本，例如，当用相邻调色板索引m对映射到调色板索引t的像素进行译码时，针对调色板索引 t计算RD(merged_coding,t->m)。
视频编码器20随后比较第一率失真成本计算与第二率失真成本计算以确定是否将给定索引值及调色板的调色板条目中的对应者合并到相邻索引值及调色板的调色板条目中的相邻者中。举例来说，如果第一率失真成本高于第二率失真成本，那么视频编码器20可将给定索引及调色板条目中的对应者(例如，单元202的索引值1)合并到相邻索引值及调色板条目中的相邻者(例如，单元204的索引值2)中。在这个实例中，给定调色板条目202的第一色彩值A及相邻调色板条目204的第二色彩值B可能大体上为类似值。举例来说，第一色彩值A及第二色彩值B在经量化时可为同一色彩值。
在一些实例中，将单元202的给定索引值1合并到单元204的相邻索引值2中可导致从调色板184移除单元202及将先前映射到给定单元202的第一色彩值A的任何像素映射到相邻单元204的第二色彩值B。在其它实例中，将单元202的给定索引值1合并到单元204的相邻索引值2中可导致从调色板184移除给定单元202及相邻单元204两者及将单个新调色板条目添加到调色板184。新调色板条目可指示为给定单元202的第一色彩值A及相邻单元204的第二色彩值B的平均值或某一其它组合的色彩值。在这个实例中，先前映射到单元202或单元204的任何像素将映射到新调色板条目。
在一些实例中，视频编码器20可针对调色板184的每一调色板条目202、204、206执行这个合并确定，但在许多情况下，可能仅合并指示大体上类似色彩值(即，可量化为同一色彩值的色彩值)的“非常类似的”调色板条目。这是因为对包含非常类似的调色板条目的较大调色板进行译码的成本及使用对应于非常类似的调色板条目中的每一者的单独索引值对像素进行译码的成本可能高于使用单个合并索引值对像素进行译码的成本。以此方式，所述技术使得视频编码器20能够合并指示待编码的当前块中的大体上类似色彩值的最初导出的调色板中的一或多个调色板条目。
作为另一实例，视频编码器20可基于使用k均值集群法确定的代表性调色板确定是否修改调色板的调色板条目中的一或多者(例如，调色板184中的单元202、204、206)。视频编码器20可使用k均值集群法针对每一调色板索引计算代表性调色板的调色板条目，其中k均值集群法的迭代的数目是基于阈值的。举例来说，针对最初导出的调色板的调色板条目中的每一者(例如，调色板184中的单元202、204、206)，视频编码器20 计算CU 180的一或多个像素的平均像素值，所述一或多个像素映射到由调色板条目中的相应者(例如，单元202、204、206)指示的相应色彩值(例如，色彩值A、B、C)。视频编码器20随后确定包含指示相应平均像素值的代表性调色板条目的CU 180的代表性调色板。
在一些情况下，视频编码器20可执行k均值集群法的另一第二迭代，包含使用代表性调色板映射或分类CU块180的像素且针对代表性调色板条目中的每一者再次计算平均像素值以便导出代表性调色板的最终版本。在其它情况下，视频编码器20可执行由阈值确定的数目的k均值集群法的迭代。可根据可接受计算成本在视频编码器20处设定阈值。
在确定包含指示代表性平均像素值的代表性调色板条目的用于视频数据块的代表性调色板后，视频编码器20对映射到调色板索引中的每一者的块的最接近像素值执行搜索，且所述最接近像素值被视为最终调色板中用于调色板索引中的相应者的色彩值。举例来说，针对代表性调色板的代表性调色板条目中的给定者，视频编码器20确定映射到代表性调色板条目中的给定者的像素中的一者的像素值，所述像素值最接近由代表性调色板条目中的给定者指示的平均像素值。基于最接近像素值不同于由调色板的调色板条目中的对应者指示的色彩值，视频编码器20选择最接近像素值作为由调色板的调色板条目中的给定者指示的最终色彩值。
以此方式，视频编码器20基于与代表性调色板中的平均像素值最接近的像素值不同于由最初导出的调色板184中的给定调色板条目202指示的色彩值A来确定修改调色板条目中的给定者(例如，初始调色板184中的调色板条目202)。如果基于代表性调色板确定的最接近像素值与由最初导出的调色板184中的给定调色板条目202指示的色彩值A相同，那么视频编码器20不需要修改初始调色板184中的给定调色板条目202。
另外，根据本发明的技术，视频编码器20及/或视频解码器30可确定是否停用调色板译码块(例如，CU 180或CU 188)的过滤。举例来说，视频编码器20及/或视频解码器 30可在将调色板译码CU 180的重建构版本存储于经解码图片缓冲器以供稍后用作参考块或(在视频解码器30的情况下)输出以供显示给使用者之前停用对所述重建构版本的过滤(例如解块过滤及/或样本适应性偏移(SAO)过滤)。在一些实例中，视频编码器20及 /或视频解码器30可仅停用CU 180的解块过滤。在其它实例中，视频编码器20及/或视频解码器30可停用CU 180的SAO过滤。在其它实例中，视频编码器20及/或视频解码器30可停用解块过滤及SAO过滤两者，以及对CU 180的任何其它类型的过滤。
常规地，与帧间译码块同样地处理调色板译码块，因此在将重建构块存储于经解码图片缓冲器中或输出以供显示之前对其自动应用过滤。根据所公开的技术，视频编码器20及/或视频解码器30可不将过滤应用于调色板译码块(例如，CU 180及CU 188)，但可继续将过滤应用于帧间译码块(例如，帧间块)。举例来说，视频编码器20及/或视频解码器30可确定重建构块为调色板译码块(例如，CU 180或CU 188)，且基于对基于调色板的译码模式的确定停用对重建构块的过滤。在一些情况下，所述技术可添加条件性表述或检查到CU级语法，以使得如果当前CU为调色板译码块，那么针对当前CU停用过滤。
虽然在CU(HEVC)的上下文中描述图4的技术，但应理解，所述技术还可应用于预测单元(PU)或其它视频译码过程及/或标准中。
图5为说明根据本发明的技术确定调色板译码块的过滤的视频译码器的实例操作的流程图。可通过图2的视频编码器20或是图3的视频解码器30执行图5中说明的实例操作。
将首先关于视频解码器30描述图5的实例操作。视频解码器30从视频编码器(例如视频编码器20)接收经编码位流，其包含至少一个图片的视频数据的编码块及与所述视频数据相关联的一或多个语法元素。视频解码器30确定待解码的视频数据的当前块为调色板译码块(220)。在一些实例中，视频解码器30可接收位流中的至少一个语法元素(例如，标记)，所述至少一个语法元素指示是否视频数据的每一块为调色板译码块。在其它实例中，视频解码器30可接收一或多个语法元素，所述一或多个语法元素指示用于对视频数据的每一块进行译码的译码类型，例如，每一块为调色板译码块、帧间译码块还是帧内译码块等。
当待解码的当前块为调色板译码块时，视频解码器30的基于调色板的解码单元165 确定用于当前块的调色板，其中调色板包含指示一或多个相应色彩值的一或多个调色板条目(222)。如上文更详细描述，包含于调色板中的相应色彩值可为当前块中最频繁出现的主要色彩值。基于调色板的解码单元165可根据经编码位流中接收的调色板大小及调色板条目确定调色板。基于调色板的解码单元165随后确定经编码位流中接收的当前块的一或多个像素的索引值，所述索引值中的每一者对应于指示当前块的像素中的一者的色彩值的调色板条目中的一者(224)。
视频解码器30基于当前块的经确定调色板及经确定索引值来重建构视频数据的当前块(226)。举例来说，视频解码器30可将经确定索引值映射到调色板的单元以重建构当前块的像素值。视频解码器30随后可将重建构块的视频数据存储于经解码图片缓冲器162中且接着输出重建构块的视频数据以供显示。
常规地，与帧间译码块同样地处理调色板译码块，因而，在将重建构块存储于经解码图片缓冲器中或输出以供显示之前对其自动应用过滤。根据所公开的技术，视频解码器30基于当前块为调色板译码块来确定在存储或输出重建构块之前停用重建构块的过滤(228)。在一些实例中，视频解码器30可仅停用视频解码器30的过滤器单元160对当前调色板译码块的解块过滤。在其它实例中，视频解码器30可停用当前调色板译码块的SAO过滤。在其它实例中，视频解码器30可停用由过滤器单元160针对当前调色板译码块执行的所有类型的过滤。
现将关于视频编码器20描述图5的实例操作。视频编码器20确定视频数据的当前块将经编码为调色板译码块(220)。在一些实例中，视频编码器20可在经编码位流中用信号发送至少一个语法元素(例如，标记)，所述至少一个语法元素指示是否视频数据的每一块为调色板译码块。在其它实例中，视频编码器20可在经编码位流中用信号发送一或多个语法元素，所述一或多个语法元素指示用于对视频数据的每一块进行译码的译码类型，例如，每一块为调色板译码块、帧间译码块还是帧内译码块等。
当当前块将经编码为调色板译码块时，视频编码器20的基于调色板的编码单元122 确定用于当前块的调色板，其中调色板包含指示一或多个相应色彩值的一或多个调色板条目(222)。如上文更详细描述，包含于调色板中的相应色彩值可为当前块中最频繁出现的主要色彩值。基于调色板的编码单元122可使用像素值集群法(例如上文关于图4更详细描述的集群法)确定调色板的调色板大小及调色板条目。根据本发明的技术，基于调色板的编码单元122可至少部分基于率失真成本确定是否修改以下中的至少一者：调色板的调色板大小或调色板条目中的一或多者。下文关于图6更详细描述此修改确定。
在确定调色板后，基于调色板的编码单元122确定当前块的一或多个像素的索引值，所述索引值中的每一者对应于指示当前块的像素中的一者的色彩值的调色板条目中的一者(224)。举例来说，视频编码器20可通过定位调色板中表示当前块的像素中的一或多者的色彩的单元及使用指示调色板中的单元的索引值编码块来编码视频数据的当前块。视频编码器20可在经编码位流中将当前调色板译码块的调色板及索引值用信号发送到视频解码器(例如视频解码器30)。
视频编码器20随后基于解码回路中当前块的经确定调色板及经确定索引值来重建构视频数据的当前块(226)。举例来说，视频编码器20可将索引值映射到调色板的单元以重建构当前块的像素值。视频编码器20随后可将重建构块的视频数据存储于经解码图片缓冲器116中。根据所公开的技术，视频编码器20基于当前块为调色板译码块来确定在存储重建构块之前停用重建构块的过滤(228)。在一些实例中，视频编码器20可仅停用由视频编码器20的过滤器单元114对当前调色板译码块的解块过滤。在其它实例中，视频编码器20可停用当前调色板译码块的SAO过滤。在其它实例中，视频编码器20可停用由过滤器单元114针对当前调色板译码块执行的所有类型的过滤。
图6为说明根据本发明的技术确定视频数据的调色板译码块的调色板(例如，图5的步骤220)的视频编码器的实例操作的流程图。关于图2的视频编码器20描述图6中说明的实例操作。
如上文所描述，当视频数据的当前块将经编码为调色板译码块时，视频编码器20的基于调色板的编码单元122确定当前块的调色板，其中调色板包含指示一或多个相应色彩值且对应于相应索引值的一或多个调色板条目。为了确定调色板，视频编码器20 的基于调色板的编码单元122首先使用像素值集群法确定调色板的调色板大小及调色板条目(230)。举例来说，如上文关于图4更详细描述，针对视频数据的当前块，基于调色板的编码单元122可确定包含多个单元的直方图(每一单元包含相应色彩值及映射到色彩值的块的相应数量的像素)，基于单元中的每一者的像素的相应数量按降序对直方图的单元进行分类以使得直方图的第一单元包含相对于其它色彩值具有最高数量的像素的色彩值，且基于直方图的单元确定调色板的调色板大小及调色板条目。
根据本发明的技术，在确定调色板的调色板大小及调色板条目后，基于调色板的编码单元122可至少部分基于率失真成本确定是否修改以下中的至少一者：调色板的调色板大小或调色板条目中的一或多者。举例来说，基于调色板的编码单元122可基于使用给定索引值编码块的像素或将所述像素编码为逸出像素的率失真成本来确定是保留还是移除对应于调色板的调色板条目中的给定者的给定索引值(232)。在此实例中，确定从调色板移除给定索引值及调色板条目中的对应者减小调色板大小。
在一些情况下，基于调色板的编码单元122可执行率失真成本比较以如下确定是移除还是保留给定索引值。基于调色板的编码单元122计算用于使用对应于调色板条目中的给定者(其指示像素的色彩值)的给定索引值编码当前块的像素的第一率失真成本。基于调色板的编码单元122随后计算将当前块的同一像素编码为逸出像素(包含编码特殊索引值及像素的经量化像素值)的第二率失真成本。基于调色板的编码单元122基于第一率失真成本计算与第二率失真成本计算的比较来确定是保留还是移除给定索引值及调色板的调色板条目中的对应者。举例来说，如果第一率失真成本高于第二率失真成本，那么基于调色板的编码单元122可从调色板移除给定索引值及调色板条目中的对应者。在这个实例中，相对于调色板中的其它色彩值，由调色板条目中的给定者指示的色彩值可能偶尔出现在当前块中，即，具有较低数量的当前块的相关联像素。
在另一实例中，基于调色板的编码单元122可基于使用给定索引值或使用相邻索引值编码块的像素的率失真成本来确定是否将对应于调色板的调色板条目中的给定者的给定索引值合并到对应于调色板的调色板条目中的相邻者的相邻索引值中(234)。在一个实例中，相邻索引值可为就距所述给定索引值的最小欧几里得距离来说的最接近索引值。在另一实例中，相邻索引值可为相对于给定索引值的索引次序来说的最接近索引值。在这个实例中，确定将给定索引值及调色板的调色板条目中的对应者合并到相邻索引值及调色板的调色板条目中的相邻者中减小调色板大小。
在一些情况下，基于调色板的编码单元122可执行率失真成本比较以如下确定是否合并给定索引值。基于调色板的编码单元122计算用于使用对应于调色板条目中的给定者(其指示像素的第一色彩值)的给定索引值编码当前块的像素的第一率失真成本。基于调色板的编码单元122随后计算用于使用对应于调色板条目中的相邻者(其指示像素的第二色彩值)的相邻索引值编码当前块的同一像素的第二率失真成本。基于调色板的编码单元122基于第一率失真成本计算与第二率失真成本计算的比较确定是否将给定索引值及调色板的调色板条目中的对应者合并到相邻索引值及调色板的调色板条目中的相邻者中。举例来说，如果第一率失真成本高于第二率失真成本，那么基于调色板的编码单元122可将给定索引及调色板条目中的对应者合并到相邻索引值及调色板条目中的相邻者中。在这个实例中，由调色板条目中的给定者指示的第一色彩值与由调色板条目中的相邻者指示的第二色彩值可能为大体上类似的值。举例来说，第一色彩值及第二色彩值在经量化时可为同一色彩值。
在又一实例中，基于调色板的编码单元122可基于使用k均值集群法确定的代表性调色板来确定是否修改调色板的调色板条目中的一或多者(236)。举例来说，如上文关于图4更详细描述，针对最初导出的调色板的调色板条目中的每一者，基于调色板的编码单元122计算映射到由调色板条目中的相应者指示的相应色彩值的块的一或多个像素的平均像素值。基于调色板的编码单元122随后确定包含指示相应平均像素值的代表性调色板条目的用于视频数据的块的代表性调色板。在一些情况下，基于调色板的编码单元 122可执行由阈值确定的数目的k均值集群法的迭代。
在确定包含指示相应平均像素值的代表性调色板条目的用于视频数据块的代表性调色板后，基于调色板的编码单元122针对代表性调色板的代表性调色板条目中的给定者确定映射到代表性调色板条目中的给定者的像素中的一者的像素值，所述像素值最接近由代表性调色板条目中的给定者指示的平均像素值。基于最接近像素值不同于由调色板的调色板条目中的对应者指示的色彩值，基于调色板的编码单元122选择最接近像素值作为由调色板的调色板条目中的给定者指示的最终色彩值。以此方式，基于调色板的编码单元122基于最接近代表性调色板中的平均像素值的像素值与由最初导出的调色板中的调色板条目中的给定者指示的色彩值的比较来确定修改调色板条目中的给定者。
应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或完全省略(例如，对于实践所述技术来说并非所有所描述的动作或事件都为必要的)。此外，在某些实例中，可(例如)经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。此外，虽然出于清晰的目的将本发明的某些方面描述为由单一模组或单元执行，但应理解，本发明的技术可由与视频译码器相关联的单元或模组的组合来执行。
出于说明的目的，已关于发展中的HEVC标准描述本发明的某些方面。然而，本发明中所描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专属视频译码过程。
上文所描述的技术可由视频编码器20(图1及2)及/或视频解码器30(图1及3)执行，其两者可大体上被称作视频译码器。同样地，视频译码可指代视频编码或视频解码(如果适用)。
虽然在上文描述技术的各种方面的特定组合，但仅为了说明本发明中描述的技术的实例而提供这些组合。因此，本发明的技术不应限于这些实例组合且可涵盖本发明中描述的技术的各种方面的任何可设想组合。
在一或多个实例中，所描述的功能可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体发射，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于有形媒体(例如，数据存储媒体))，或通信媒体，所述通信媒体包含有助于(例如)根据通信协议将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器接入以检索用于实施本发明中所描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，闪速存储器，或可用以存储呈指令或数据结构形式的所要代码且可由计算机接入的任何其它媒体。此外，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远端源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是实际上关于非暂时性有形存储媒体。如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通过激光以光学方式再现数据。以上各物的组合也应包含于计算机可读媒体的范围内。
可通过一或多个处理器(例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路)来执行指令。因此，如本文中所使用，术语“处理器”可指代前述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可提供在经配置用于编码及解码的专用硬件及/或软件模组内，或并入于组合式编解码器中。此外，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可以多种装置或设备实施，所述装置或设备包含无线手机、集成电路 (IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模组或单元以强调经配置以执行所公开技术的装置的功能性方面，但未必需要通过不同硬件单元来实现。相反地，如上文所描述，可将各种单元组合于编码解码器硬件单元中，或由互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合结合合适软件及/或固件来提供所述单元。
已描述各种实例。这些及其它实例在以下权利要求书的范围内。

Claims (25)

1.一种处理视频数据的方法，所述方法包括：
确定视频数据块为调色板译码块；
确定用于所述块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板，其中确定用于所述块的所述调色板包括：
使用像素值集群法由视频编码器确定所述调色板的调色板大小及所述调色板条目；及
至少部分地基于率失真成本确定是否修改以下中的至少一者：所述调色板的所述调色板大小或所述调色板条目中的一或多者，其中确定是否修改所述调色板大小包括：
确定是否将对应于所述调色板的所述调色板条目中的给定者的给定索引值合并到对应于所述调色板的所述调色板条目中的相邻者的相邻索引值中，其中将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中减小所述调色板大小；
确定所述块的一或多个像素的索引值，所述索引值中的每一者对应于指示所述块的所述像素中的一者的色彩值的所述调色板条目中的一者；
基于所述块的所述调色板及所述索引值重建构视频数据的所述块；及
基于所述块为调色板译码块确定停用所述重建构块的过滤。
2.根据权利要求1所述的方法，其中确定停用所述重建构块的过滤包括停用所述重建构块的解块过滤或所述重建构块的样本适应性偏移SAO过滤中的至少一者。
3.根据权利要求1所述的方法，其中重建构所述块包括通过视频解码器重建构所述视频数据的所述块，所述方法进一步包括以下中的至少一者：基于停用所述过滤，由所述视频解码器输出所述视频数据以供显示或在不过滤所述视频数据的所述重建构块的情况下由所述视频解码器将所述视频数据存储于经解码图片缓冲器中。
4.根据权利要求1所述的方法，其中重建构所述块包括由视频编码器重建构所述视频数据的所述块，所述方法进一步包括基于停用所述过滤在不过滤所述视频数据的所述重建构块的情况下由所述视频编码器将所述视频数据存储于经解码图片缓冲器中。
5.根据权利要求1所述的方法，其中确定是否修改所述调色板大小包括确定是保留还是移除对应于所述调色板的所述调色板条目中的给定者的给定索引值，其中移除所述给定索引值及所述调色板的所述调色板条目中的所述对应者减小所述调色板大小。
6.根据权利要求5所述的方法，其进一步包括：
使用对应于所述调色板条目中的所述给定者的所述给定索引值计算用于编码所述块的至少一个像素的第一率失真成本，所述给定者指示所述至少一个像素的色彩值；
计算用于编码作为逸出像素的所述块的所述至少一个像素的第二率失真成本，所述编码包含编码所述至少一个像素的量化像素值；及
基于所述第一率失真成本计算与所述第二率失真成本计算的比较确定是保留还是移除所述给定索引值及所述调色板的所述调色板条目中的所述对应者。
7.根据权利要求1所述的方法，其中所述相邻索引值为就距所述给定索引值的最小欧几里得距离来说的最接近索引值或就相对于所述给定索引值的索引次序来说的最接近索引值中的一者。
8.根据权利要求1所述的方法，其进一步包括：
使用对应于所述调色板条目中的所述给定者的所述给定索引值计算用于编码所述块的至少一个像素的第一率失真成本，所述给定者指示所述至少一个像素的第一色彩值；
使用对应于所述调色板条目中的所述相邻者的所述相邻索引值计算用于编码所述块的所述至少一个像素的第二率失真成本，所述相邻者指示所述至少一个像素的第二色彩值，其中所述第二色彩值类似于所述第一色彩值；及
基于所述第一率失真成本计算与所述第二率失真成本计算的比较确定是否将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中。
9.根据权利要求1所述的方法，其中确定是否修改所述调色板的所述调色板条目中的一或多者包括：
使用k均值集群法确定用于所述视频数据的所述块的代表性调色板，所述代表性调色板包含指示相应平均像素值的代表性调色板条目；
针对所述代表性调色板的所述代表性调色板条目中的给定者，确定映射到所述代表性调色板条目中的所述给定者的所述像素中的一者的像素值，所述像素值最接近由所述代表性调色板条目中的所述给定者指示的所述平均像素值；及
基于所述最接近像素值不同于由所述调色板的所述调色板条目中的对应者指示的所述色彩值，选择所述最接近像素值作为由所述调色板的所述调色板条目中的所述给定者指示的最终色彩值。
10.根据权利要求9所述的方法，其中使用所述k均值集群法确定所述代表性调色板包括：
针对所述调色板的所述调色板条目中的每一者，计算所述块的一或多个像素的平均像素值，所述一或多个像素映射到由所述调色板条目中的所述相应者指示的所述相应色彩值；及
确定用于所述视频数据的所述块的所述代表性调色板，所述代表性调色板包含指示所述相应平均像素值的所述代表性调色板条目，其中由阈值确定所述k均值集群法的迭代的数目。
11.根据权利要求1所述的方法，其中使用所述像素值集群法确定所述调色板的所述调色板大小及所述调色板条目包括：
针对所述视频数据的所述块，确定包含多个条目的直方图，每一条目包含相应色彩值及映射到所述色彩值的所述块的相应数量的像素；
基于用于所述条目中的每一者的像素的所述相应数量按降序对所述直方图的所述条目分类，以使得所述直方图的第一条目包含相对于其它色彩值具有最高数量的像素的所述色彩值；及
基于所述直方图的所述条目确定所述调色板的所述调色板大小及所述调色板条目。
12.一种视频处理装置，其包括：
存储器，其经配置以存储视频数据；及
一或多个处理器，其与所述存储器通信且经配置以：
确定视频数据块为调色板译码块；
确定用于所述块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板，其中所述装置包括视频编码器，且其中，为了确定用于所述块的所述调色板，所述视频编码器的所述一或多个处理器经配置以：
使用像素值集群法确定所述调色板的调色板大小及所述调色板条目；及
至少部分地基于率失真成本确定是否修改以下中的至少一者：所述调色板的所述调色板大小或所述调色板条目中的一或多者，其中，为了确定是否修改所述调色板大小，所述一或多个处理器经配置以：
确定是否将对应于所述调色板的所述调色板条目中的给定者的给定索引值合并到对应于所述调色板的所述调色板条目中的相邻者的相邻索引值中，其中将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中减小所述调色板大小；
确定所述块的一或多个像素的索引值，所述索引值中的每一者对应于指示所述块的所述像素中的一者的色彩值的所述调色板条目中的一者；
基于所述块的所述调色板及所述索引值重建构视频数据的所述块；及
基于所述块为调色板译码块确定停用所述重建构块的过滤。
13.根据权利要求12所述的装置，其中所述一或多个处理器经配置以停用所述重建构块的解块过滤或所述重建构块的样本适应性偏移SAO过滤中的至少一者。
14.根据权利要求12所述的装置，其中所述装置包括视频解码器，且其中所述视频解码器的所述一或多个处理器经配置以基于停用所述过滤重建构所述视频数据的所述块及进行以下中的至少一者：输出所述视频数据以供显示或在不过滤所述视频数据的所述重建构块的情况下将所述视频数据存储于经解码图片缓冲器中。
15.根据权利要求12所述的装置，其中所述装置包括视频编码器，且其中所述视频编码器的所述一或多个处理器经配置以基于停用所述过滤重建构所述视频数据的所述块及在不过滤所述视频数据的所述重建构块的情况下将所述视频数据存储于经解码图片缓冲器中。
16.根据权利要求12所述的装置，其中，为了确定是否修改所述调色板大小，所述一或多个处理器经配置以确定是保留还是移除对应于所述调色板的所述调色板条目中的给定者的给定索引值，其中移除所述给定索引值及所述调色板的所述调色板条目中的所述对应者减小所述调色板大小。
17.根据权利要求16所述的装置，其中所述一或多个处理器经配置以：
使用对应于所述调色板条目中的所述给定者的所述给定索引值计算用于编码所述块的至少一个像素的第一率失真成本，所述给定者指示所述至少一个像素的色彩值；
计算用于编码作为逸出像素的所述块的所述至少一个像素的第二率失真成本，所述编码包含编码所述至少一个像素的量化像素值；及
基于所述第一率失真成本计算与所述第二率失真成本计算的比较确定是保留还是移除所述给定索引值及所述调色板的所述调色板条目中的所述对应者。
18.根据权利要求12所述的装置，其中所述相邻索引值为就距所述给定索引值的最小欧几里得距离来说的最接近索引值或就相对于所述给定索引值的索引次序来说的最接近索引值中的一者。
19.根据权利要求12所述的装置，其中所述一或多个处理器经配置以：
使用对应于所述调色板条目中的所述给定者的所述给定索引值计算用于编码所述块的至少一个像素的第一率失真成本，所述给定者指示所述至少一个像素的第一色彩值；
使用对应于所述调色板条目中的所述相邻者的所述相邻索引值计算用于编码所述块的所述至少一个像素的第二率失真成本，所述相邻者指示所述至少一个像素的第二色彩值，其中所述第二色彩值类似于所述第一色彩值；及
基于所述第一率失真成本计算与所述第二率失真成本计算的比较确定是否将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中。
20.根据权利要求12所述的装置，其中，为了确定是否修改所述调色板的所述调色板条目中的一或多者，所述一或多个处理器经配置以：
使用k均值集群法确定用于所述视频数据的所述块的代表性调色板，所述代表性调色板包含指示相应平均像素值的代表性调色板条目；
针对所述代表性调色板的所述代表性调色板条目中的给定者，确定映射到所述代表性调色板条目中的所述给定者的所述像素中的一者的像素值，所述像素值最接近由所述代表性调色板条目中的所述给定者指示的所述平均像素值；及
基于所述最接近像素值不同于由所述调色板的所述调色板条目中的对应给定者指示的所述色彩值，选择所述最接近像素值作为由所述调色板的所述调色板条目中的所述给定者指示的最终色彩值。
21.根据权利要求20所述的装置，其中，为了使用所述k均值集群法确定所述代表性调色板，所述一或多个处理器经配置以：
针对所述调色板的所述调色板条目中的每一者，计算所述块的一或多个像素的平均像素值，所述一或多个像素映射到由所述调色板条目中的所述相应者指示的所述相应色彩值；及
确定用于所述视频数据的所述块的所述代表性调色板，所述代表性调色板包含指示所述相应平均像素值的所述代表性调色板条目，其中由阈值确定所述k均值集群法的迭代的数目。
22.根据权利要求12所述的装置，其中，为了使用所述像素值集群法确定所述调色板的所述调色板大小及所述调色板条目，所述一或多个处理器经配置以：
针对所述视频数据的所述块，确定包含多个条目的直方图，每一条目包含相应色彩值及映射到所述色彩值的所述块的相应数量的像素；
基于用于所述条目中的每一者的像素的所述相应数量按降序对所述直方图的所述条目分类，以使得所述直方图的第一条目包含相对于其它色彩值具有最高数量的像素的所述色彩值；及
基于所述直方图的所述条目确定所述调色板的所述调色板大小及所述调色板条目。
23.根据权利要求12所述的装置，其中所述装置包括以下中的至少一者：
集成电路；
微处理器；或
无线通信装置。
24.一种视频处理装置，其包括：
用于确定视频数据块为调色板译码块的装置；
用于确定用于所述块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板的装置，其中用于确定用于所述块的所述调色板的装置包括：
用于使用像素值集群法由视频编码器确定所述调色板的调色板大小及所述调色板条目的装置；及
用于至少部分地基于率失真成本确定是否修改以下中的至少一者：所述调色板的所述调色板大小或所述调色板条目中的一或多者的装置，其中用于确定是否修改所述调色板大小的装置包括：
用于确定是否将对应于所述调色板的所述调色板条目中的给定者的给定索引值合并到对应于所述调色板的所述调色板条目中的相邻者的相邻索引值中的装置，其中将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中减小所述调色板大小；
用于确定所述块的一或多个像素的索引值的装置，所述索引值中的每一者对应于指示所述块的所述像素中的一者的色彩值的所述调色板条目中的一者；
用于基于所述块的所述调色板及所述索引值重建构视频数据的所述块的装置；及
用于基于所述块为调色板译码块确定停用所述重建构块的过滤的装置。
25.一种非暂时性计算机可读媒体，其上存储有用于处理视频数据的指令，所述指令在执行时引起一或多个处理器执行以下操作：
确定视频数据块为调色板译码块；
确定用于所述块的包含指示一或多个相应色彩值的一或多个调色板条目的调色板，其中，为了确定用于所述块的所述调色板，所述一或多个处理器经配置以：
使用像素值集群法确定所述调色板的调色板大小及所述调色板条目；及
至少部分地基于率失真成本确定是否修改以下中的至少一者：所述调色板的所述调色板大小或所述调色板条目中的一或多者，其中，为了确定是否修改所述调色板大小，所述一或多个处理器经配置以：
确定是否将对应于所述调色板的所述调色板条目中的给定者的给定索引值合并到对应于所述调色板的所述调色板条目中的相邻者的相邻索引值中，其中将所述给定索引值及所述调色板的所述调色板条目中的所述对应者合并到所述相邻索引值及所述调色板的所述调色板条目中的所述相邻者中减小所述调色板大小；
确定所述块的一或多个像素的索引值，所述索引值中的每一者对应于指示所述块的所述像素中的一者的色彩值的所述调色板条目中的一者；
基于所述块的所述调色板及所述索引值重建构视频数据的所述块；及
基于所述块为调色板译码块确定停用所述重建构块的过滤。
CN201580013700.7A 2014-03-26 2015-03-26 一种处理视频数据的方法、装置及计算机可读介质 Active CN106105228B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461970838P 2014-03-26 2014-03-26
US61/970,838 2014-03-26
US14/667,900 US9654806B2 (en) 2014-03-26 2015-03-25 Determining palette size, palette entries and filtering of palette coded blocks in video coding
US14/667,900 2015-03-25
PCT/US2015/022771 WO2015148814A1 (en) 2014-03-26 2015-03-26 Determining palette size, palette entries and filtering of palette coded blocks in video coding

Publications (2)

Publication Number Publication Date
CN106105228A CN106105228A (zh) 2016-11-09
CN106105228B true CN106105228B (zh) 2019-05-31

Family

ID=54192242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013700.7A Active CN106105228B (zh) 2014-03-26 2015-03-26 一种处理视频数据的方法、装置及计算机可读介质

Country Status (24)

Country Link
US (1) US9654806B2 (zh)
EP (1) EP3123727A1 (zh)
JP (1) JP6640105B2 (zh)
KR (1) KR102352642B1 (zh)
CN (1) CN106105228B (zh)
AU (1) AU2015235991B2 (zh)
BR (1) BR112016022085A8 (zh)
CA (1) CA2939678C (zh)
CL (1) CL2016002393A1 (zh)
CR (1) CR20160447A (zh)
DO (1) DOP2016000258A (zh)
GT (1) GT201600200A (zh)
HK (1) HK1226229A1 (zh)
IL (1) IL247899B (zh)
MX (1) MX357993B (zh)
MY (1) MY177780A (zh)
PH (1) PH12016501573A1 (zh)
RU (1) RU2678490C2 (zh)
SA (1) SA516371863B1 (zh)
SG (1) SG11201606420TA (zh)
SV (1) SV2016005285A (zh)
TW (1) TWI666918B (zh)
WO (1) WO2015148814A1 (zh)
ZA (1) ZA201607321B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105659606B (zh) 2013-10-14 2019-06-18 微软技术许可有限责任公司 用于视频和图像编码和解码的方法、系统和介质
EP3926955A1 (en) * 2013-12-10 2021-12-22 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding blocks of pixel
CN105981380B (zh) 2013-12-18 2019-08-20 寰发股份有限公司 利用调色板编码的编码视频数据区块的方法和装置
WO2015091879A2 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Improved encoding process using a palette mode
US10182242B2 (en) * 2013-12-27 2019-01-15 Mediatek Inc. Method and apparatus for palette coding with cross block prediction
WO2015096647A1 (en) 2013-12-27 2015-07-02 Mediatek Inc. Method and apparatus for major color index map coding
US10743031B2 (en) 2013-12-27 2020-08-11 Hfi Innovation Inc. Method and apparatus for syntax redundancy removal in palette coding
EP3061247A4 (en) 2014-01-07 2016-08-31 Mediatek Inc METHOD AND APPARATUS FOR COLOR INDEX PREDICTION
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US9924175B2 (en) 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10136141B2 (en) 2014-06-11 2018-11-20 Qualcomm Incorporated Determining quantization parameter (QP) values and delta QP values for palette coded blocks in video coding
CN105874795B (zh) 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
US9596479B2 (en) * 2014-10-07 2017-03-14 Hfi Innovation Inc. Method of pulse-code modulation and palette coding for video coding
JP6122516B2 (ja) 2015-01-28 2017-04-26 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ エンコーディング方法及びエンコーダ
MY183484A (en) * 2015-06-03 2021-02-20 Mediatek Inc Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
EP3308540B1 (en) * 2015-06-09 2020-04-15 Microsoft Technology Licensing, LLC Robust encoding/decoding of escape-coded pixels in palette mode
GB2539486B (en) * 2015-06-18 2019-07-31 Gurulogic Microsystems Oy Encoder, decoder and method employing palette compression
US10097842B2 (en) * 2015-09-18 2018-10-09 Qualcomm Incorporated Restriction of escape pixel signaled values in palette mode video coding
JP6613842B2 (ja) * 2015-11-24 2019-12-04 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP6662123B2 (ja) * 2016-03-14 2020-03-11 富士通株式会社 画像符号化装置、画像符号化方法、及び画像符号化プログラム
WO2018054570A1 (en) * 2016-09-23 2018-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Image compression technique
CN106604032B (zh) * 2016-11-29 2020-02-04 西安万像电子科技有限公司 图像中文字块的压缩方法和装置及图像压缩方法和装置
CN106686384B (zh) * 2016-11-29 2019-05-24 西安万像电子科技有限公司 文字块的压缩方法和装置以及图像压缩方法和装置
CN106851294B (zh) * 2017-01-03 2018-08-14 西安万像电子科技有限公司 图像的压缩方法和装置及其文字块的压缩方法和装置
US11004237B2 (en) * 2017-10-12 2021-05-11 Sony Group Corporation Palette coding for color compression of point clouds
US11616962B2 (en) * 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding
CN114175662B (zh) 2019-07-20 2023-11-24 北京字节跳动网络技术有限公司 调色板模式使用指示的条件相关编解码
MX2022000963A (es) * 2019-07-21 2022-03-22 Lg Electronics Inc Metodo y aparato de codificacion/decodificacion de imagen para realizar filtracion de desbloqueo de acuerdo a si el modo de paletas es aplicado, y metodo para transmitir flujo de bits.
US11076151B2 (en) * 2019-09-30 2021-07-27 Ati Technologies Ulc Hierarchical histogram calculation with application to palette table derivation
US11120289B2 (en) 2019-09-30 2021-09-14 Ati Technologies Ulc Parallel histogram calculation with application to palette table derivation
CN115211118A (zh) * 2019-12-31 2022-10-18 抖音视界有限公司 用于视频编解码的基于聚类的调色板模式
KR102589351B1 (ko) * 2020-03-25 2023-10-16 주식회사 케이티 비디오 신호 처리 방법 및 장치
US11937070B2 (en) 2021-07-01 2024-03-19 Tencent America LLC Layered description of space of interest

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597832A (zh) * 2011-06-09 2014-02-19 高通股份有限公司 用于使用相邻模式的视频译码的增强的帧内预测模式信令

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060204086A1 (en) * 2005-03-10 2006-09-14 Ullas Gargi Compression of palettized images
JP4623301B2 (ja) * 2005-12-17 2011-02-02 富士ゼロックス株式会社 画像処理装置、画像処理プログラム
US7903873B2 (en) * 2007-09-13 2011-03-08 Microsoft Corporation Textual image coding
RU2420021C2 (ru) * 2009-03-24 2011-05-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ сжатия изображений и видеопоследовательностей
US8571311B2 (en) * 2011-12-15 2013-10-29 Microsoft Corporation Raster graphics image transcoding for file size reduction
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
JP5632431B2 (ja) 2012-09-04 2014-11-26 株式会社東芝 画像符号化装置、及び画像符号化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597832A (zh) * 2011-06-09 2014-02-19 高通股份有限公司 用于使用相邻模式的视频译码的增强的帧内预测模式信令

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Description of screen content coding technology proposal by InterDigital;Xiaoyu Xiu等;《Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20100318(第JCTVC-Q0037期);第3-10页

Also Published As

Publication number Publication date
JP2017514365A (ja) 2017-06-01
CL2016002393A1 (es) 2017-04-17
ZA201607321B (en) 2019-04-24
CA2939678C (en) 2022-10-18
MX357993B (es) 2018-08-01
PH12016501573B1 (en) 2016-09-14
RU2016137792A3 (zh) 2018-11-23
KR102352642B1 (ko) 2022-01-17
CA2939678A1 (en) 2015-10-01
JP6640105B2 (ja) 2020-02-05
MX2016011213A (es) 2016-11-30
WO2015148814A1 (en) 2015-10-01
SV2016005285A (es) 2017-04-24
SG11201606420TA (en) 2016-10-28
RU2678490C2 (ru) 2019-01-29
BR112016022085A8 (pt) 2021-07-13
EP3123727A1 (en) 2017-02-01
CN106105228A (zh) 2016-11-09
GT201600200A (es) 2018-11-27
HK1226229A1 (zh) 2017-09-22
US9654806B2 (en) 2017-05-16
BR112016022085A2 (pt) 2017-08-15
CR20160447A (es) 2016-11-08
US20150281703A1 (en) 2015-10-01
TW201603562A (zh) 2016-01-16
RU2016137792A (ru) 2018-04-26
DOP2016000258A (es) 2016-12-31
TWI666918B (zh) 2019-07-21
PH12016501573A1 (en) 2016-09-14
MY177780A (en) 2020-09-23
AU2015235991B2 (en) 2019-07-25
SA516371863B1 (ar) 2019-08-05
AU2015235991A1 (en) 2016-09-01
KR20160138102A (ko) 2016-12-02
NZ723093A (en) 2022-03-25
IL247899B (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN106105228B (zh) 一种处理视频数据的方法、装置及计算机可读介质
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN105191320B (zh) 对视频数据进行编码和解码的方法和设备
CN106105200B (zh) 基于调色板的视频译码
CN106416249B (zh) 用于编码/解码视频数据的方法和装置
CN106068648B (zh) 调色板译码模式中视频块的逸出像素的量化
CN106464881B (zh) 块自适应颜色空间转换译码的方法和装置
CN105556974B (zh) 基于调色板的视频译码中的调色板预测
CN106464915B (zh) 基于调色板的视频译码中的最大调色板参数
CN106464884B (zh) 基于调色板的视频译码中的译码行程
CN106105207A (zh) 用于视频译码的具有行程长度码的调色板预测器信令
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN106797468B (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
CN110100439A (zh) 用于视频译码的帧内预测技术
CN107409215A (zh) 用于视频译码的调色板模式译码
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN110169064A (zh) 具有减低复杂性的视频译码中的双边滤波器
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN108605127A (zh) 用于视频译码的滤波器的几何变换
CN110393010A (zh) 视频译码中的帧内滤波旗标
CN107113436A (zh) 用于次取样格式的调色模式
CN105103557B (zh) 用于视频译码的方法、装置和存储媒体
CN107750457A (zh) 帧内预测及帧内模式译码
CN107750455A (zh) 帧内预测及帧内模式译码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1226229

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant